一種Lustre存儲系統(tǒng)數(shù)據(jù)共享方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于計算系統(tǒng)網(wǎng)絡(luò)傳輸領(lǐng)域，具體涉及一種Lustre存儲系統(tǒng)數(shù)據(jù)共享方法，可用于高能物理試驗(yàn)大批量數(shù)據(jù)的傳輸系統(tǒng)及傳輸方法。
【背景技術(shù)】
[0002]Lustre是由Peter Braam博士于1999年發(fā)起的開源項(xiàng)目，其目的是設(shè)id 個面向下一代的高性能、高擴(kuò)展、高可用的基于對象存儲的集群文件系統(tǒng)。Lustre同樣采用了元數(shù)據(jù)和存儲數(shù)據(jù)相分離的技術(shù)，可以充分分離計算和存儲資源，使得客戶端計算機(jī)可以專注于用戶和應(yīng)用程序的請求；存儲服務(wù)器和元數(shù)據(jù)服務(wù)器專注于讀、傳輸和寫數(shù)據(jù)。Lustre使用了 Sandia開放的Portals網(wǎng)絡(luò)傳輸協(xié)議，支持多種網(wǎng)絡(luò)，如GigE, QSffElan, Myrinet, InfiniBand, TCP/IP等。它實(shí)現(xiàn)了分布式鎖管理器，為文件訪問提供細(xì)粒度的并發(fā)控制。基于分布式鎖管理器，它還實(shí)現(xiàn)了客戶端數(shù)據(jù)寫回緩沖。Lustre通過failover機(jī)制以及自身的恢復(fù)協(xié)議，采用雙服務(wù)器共享存儲設(shè)備方式的容錯機(jī)制來消除單點(diǎn)失效，并進(jìn)行透明恢復(fù)，提高了系統(tǒng)的可用性。在Lustre文件系統(tǒng)中，客戶端和服務(wù)器通過Lustre提供mount命令即可加入存儲集群，可以方便的對Lustre集群進(jìn)行快速配置部署，同時新增的存儲容量可以自動合并到存儲系統(tǒng)中，還提供數(shù)據(jù)存儲服務(wù)器的對象分配的自動均衡技術(shù)和靜態(tài)的數(shù)據(jù)迀移功能，具有很好的擴(kuò)展性和易管理性。
[0003]dCache是由DESY IT (德國電子同步加速器計算中心)和FERMI (美國費(fèi)米實(shí)驗(yàn)室)共同開發(fā)的一個分布式的存儲系統(tǒng)。主要用于高能物理海量數(shù)據(jù)的傳輸和存儲。dCache提供廣域網(wǎng)訪問的協(xié)議，支持Gridftp、http、xrootd、srm等數(shù)據(jù)傳輸協(xié)議。
[0004]高能物理實(shí)驗(yàn)的海量數(shù)據(jù)都存儲在本地的數(shù)據(jù)中心，這些數(shù)據(jù)存儲在Lustre并行文件系統(tǒng)上。隨著高能物理實(shí)驗(yàn)設(shè)備的升級，加速器能量和亮度的增加，所產(chǎn)生的數(shù)據(jù)成爆炸式增長，本地的計算中心已經(jīng)無法滿足數(shù)據(jù)處理的需求，分布式計算已經(jīng)廣泛應(yīng)用于高能物理實(shí)驗(yàn)數(shù)據(jù)的處理。但是Lustre存儲系統(tǒng)只適合局域網(wǎng)內(nèi)訪問，由于lustre的文件傳輸協(xié)議對網(wǎng)絡(luò)的穩(wěn)定性和性能要求很高所以在廣域網(wǎng)直接使用lustre不現(xiàn)實(shí)。原始的使用方法是把存儲在Lustre上的數(shù)據(jù)人工手動傳輸?shù)絛Cache系統(tǒng)然后共享給異地用戶使用，這種方式需要額外的存儲資源，和大量人力資源。因此研究一種可以使Lustre直接提供廣域網(wǎng)訪問的方法實(shí)現(xiàn)數(shù)據(jù)的異地傳輸來滿足高能物理實(shí)驗(yàn)數(shù)據(jù)的分布式計算和處理。

【發(fā)明內(nèi)容】

[0005]針對現(xiàn)有技術(shù)中Lustre存儲系統(tǒng)無法提供廣域網(wǎng)訪問的問題，本發(fā)明提供了一種Lustre和dCache之間的訪問接口，dCache系統(tǒng)可以實(shí)現(xiàn)廣域網(wǎng)的數(shù)據(jù)傳輸，通過dCache實(shí)現(xiàn)Lustre數(shù)據(jù)的遠(yuǎn)程異地共享，從而使得廣域網(wǎng)的用戶可以通過dCache系統(tǒng)訪問本地Lustre的文件系統(tǒng)，本地Lustre系統(tǒng)上存儲的海量數(shù)據(jù)可以通過本發(fā)明共享到dCache系統(tǒng)，提供給廣域網(wǎng)用戶使用。
[0006]此方案的原理是通過擴(kuò)展Lustre和dCache存儲系統(tǒng)的底層元數(shù)據(jù)結(jié)構(gòu)，建立兩種元數(shù)據(jù)的對應(yīng)關(guān)系，通過這種對應(yīng)關(guān)系把Lustre元數(shù)據(jù)轉(zhuǎn)換為dCache可以識別的元數(shù)據(jù)結(jié)構(gòu)，并存入dCache的元數(shù)據(jù)數(shù)據(jù)庫，使得dCache系統(tǒng)可以識別存儲在Lustre上的數(shù)據(jù)，并對數(shù)據(jù)進(jìn)行讀寫操作。
[0007]本發(fā)明的技術(shù)方案為:
[0008]—種Lustre存儲系統(tǒng)數(shù)據(jù)共享方法，其步驟為:
[0009]I)在lustre系統(tǒng)所在的服務(wù)器上增加一 dCache系統(tǒng)，然后根據(jù)dCache系統(tǒng)與lustre系統(tǒng)的區(qū)別，擴(kuò)展該dcache系統(tǒng)的元數(shù)據(jù)庫；
[0010]2)服務(wù)器讀取該Lustre系統(tǒng)的元數(shù)據(jù)，并將其轉(zhuǎn)換為dCache可識別的元數(shù)據(jù)結(jié)構(gòu)，然后存入dCache系統(tǒng)的元數(shù)據(jù)庫對應(yīng)的擴(kuò)展字段中；
[0011]3)當(dāng)dCache系統(tǒng)接收到廣域網(wǎng)上的用戶數(shù)據(jù)傳輸請求后，根據(jù)該數(shù)據(jù)傳輸請求從dCache系統(tǒng)的元數(shù)據(jù)庫中查詢匹配的元數(shù)據(jù)信息，然后根據(jù)匹配的元數(shù)據(jù)信息從lustre系統(tǒng)讀取數(shù)據(jù)并緩存到dCache系統(tǒng)，返回查詢結(jié)果給該用戶。
[0012]進(jìn)一步的，擴(kuò)展該dcache系統(tǒng)的元數(shù)據(jù)庫的方法為:對該dcache系統(tǒng)的元數(shù)據(jù)庫中每個文件的條目添加屬性用來存儲lustre系統(tǒng)中文件的目錄信息和校驗(yàn)信息。
[0013]進(jìn)一步的，對該dcache系統(tǒng)的元數(shù)據(jù)庫中每個文件的條目添加一文件標(biāo)示記號用于識別文件的緩存狀態(tài)。
[0014]進(jìn)一步的，當(dāng)dCache系統(tǒng)接收到廣域網(wǎng)上的用戶數(shù)據(jù)傳輸請求后，首先讀取dcache元數(shù)據(jù)的文件標(biāo)識信息，判斷請求的文件的緩存狀態(tài)，如果沒有緩存則從lustre系統(tǒng)讀取該文件并緩存到dcache系統(tǒng)中。
[0015]進(jìn)一步的，所述將其轉(zhuǎn)換為dCache可識別的元數(shù)據(jù)結(jié)構(gòu)的方法為:首先根據(jù)存儲在lustre系統(tǒng)上的元數(shù)據(jù)信息讀取lustre系統(tǒng)上的文件信息，生成一文件信息列表；然后把文件信息列表中的信息逐條轉(zhuǎn)換成dcache數(shù)據(jù)的元數(shù)據(jù)信息。
[0016]進(jìn)一步的，所述把文件信息列表中的信息逐條轉(zhuǎn)換成dcache數(shù)據(jù)的元數(shù)據(jù)信息的方法為:首先在dcache系統(tǒng)中創(chuàng)建一個目錄對應(yīng)lustre系統(tǒng)的根目錄；然后根據(jù)文件信息列表在該目錄下為每一文件創(chuàng)建一文件唯一識別號pnfsid并在dcache系統(tǒng)元數(shù)據(jù)庫中對應(yīng)生成一 pnfsid記錄；然后根據(jù)文件信息列表為dcache系統(tǒng)元數(shù)據(jù)庫中每一 pnfsid記錄相應(yīng)的字段賦值，存入dcache系統(tǒng)的元數(shù)據(jù)庫中。
[0017]進(jìn)一步的，所述根據(jù)該數(shù)據(jù)傳輸請求從dCache系統(tǒng)的元數(shù)據(jù)庫中查詢匹配的元數(shù)據(jù)信息，然后根據(jù)匹配的元數(shù)據(jù)信息從lustre系統(tǒng)讀取數(shù)據(jù)并緩存到dCache系統(tǒng)的方法為:首先根據(jù)該數(shù)據(jù)傳輸請求從dCache系統(tǒng)的元數(shù)據(jù)庫中獲取到所請求lustre文件的原始地址和該lustre文件的pnfsid記錄，然后從lustre系統(tǒng)將該文件拷貝到dCache系統(tǒng)的緩存池中，并將文件名修改為該lustre文件的pnfsid。
[0018]進(jìn)一步的，所述pnfsid記錄的字段包括:權(quán)限信息、用戶屬性、組屬性、改動時間、訪問時間、修改時間、校驗(yàn)碼、lustre目錄信息、文件標(biāo)識。
[0019]進(jìn)一步的，所述文件信息列表包括-lustre目錄信息、文件的改動時間、訪問時間、修改時間、文件大小和文件屬性。
[0020]與現(xiàn)有技術(shù)相比，本發(fā)明具有以下優(yōu)點(diǎn):
[0021]1、本發(fā)明不需要將真實(shí)的數(shù)據(jù)再存入dCache系統(tǒng)，即只對元數(shù)據(jù)進(jìn)行操作，不用讀寫真實(shí)數(shù)據(jù)，用戶通過dCache的協(xié)議直接訪問存儲在Lustre上的數(shù)據(jù)，提高了數(shù)據(jù)的安全性和可靠性。
[0022]2、本發(fā)明省去了內(nèi)部數(shù)據(jù)的傳輸，可以顯著的節(jié)省時間，網(wǎng)絡(luò)帶寬和電力消耗。
[0023]3、本發(fā)明對原系統(tǒng)的改動小，對建立在原系統(tǒng)的應(yīng)用不會造成任何影響。
[0024]4、本發(fā)明可拓展性強(qiáng)，只需要對現(xiàn)有的系統(tǒng)的前端模塊進(jìn)行修改就可以實(shí)現(xiàn)其它本地存儲系統(tǒng)的遠(yuǎn)程共享。
【附圖說明】
[0025]圖1為lustre元數(shù)據(jù)和dcache元數(shù)據(jù)差別展示圖。
[0026]圖2為元數(shù)據(jù)轉(zhuǎn)換存儲方法流程圖。
[0027]圖3為數(shù)據(jù)的訪問方法流程圖。
【具體實(shí)施方式】
[0028]本發(fā)明所述的具體實(shí)施方案如下:
[0029]步驟1，根據(jù)dCache和lustre兩種文件系統(tǒng)區(qū)別，擴(kuò)展dcache的元數(shù)據(jù)庫。
[0030]如圖1所示本發(fā)明的關(guān)鍵在于找到兩種存儲系統(tǒng)的元數(shù)據(jù)的不同之處，并設(shè)計好擴(kuò)展的元數(shù)據(jù)使之相互兼容，這樣可以通過dcache直接訪問lustre數(shù)據(jù)。
[0031]dCache和lustre兩種文件系統(tǒng)都有存儲文件創(chuàng)建時間、修改時間、訪問時間、文件大小、文件屬性等元數(shù)據(jù)信息。不同之處是dCache的元數(shù)據(jù)存儲于數(shù)據(jù)庫中，數(shù)據(jù)庫中每條文件記錄都有一個pnfsid (文件唯一識別號)與之相對應(yīng)，而且每個pnfsid都有父文件pnfsid，通過這種形式來定義文件目錄結(jié)構(gòu)。Lustre的元數(shù)據(jù)屬于posix文件形式，通過文件inode來確定文件目錄結(jié)構(gòu)。本發(fā)明擴(kuò)展了 dcache的元數(shù)據(jù)庫，對該元數(shù)據(jù)庫中每個文件的條目添加屬性用來存儲lustre文件的目錄信息和校驗(yàn)信息，并添加文件標(biāo)示記號用于識別文件的緩存狀態(tài)；擴(kuò)展后的dcache系統(tǒng)把lustre的元數(shù)據(jù)信息注冊到dcache的系統(tǒng)中，dcache系統(tǒng)的元數(shù)據(jù)展示的是lustre的元數(shù)據(jù)。
[0032]步驟2，讀取Lustre元數(shù)據(jù)，并將其轉(zhuǎn)換為dCache可以識別的元數(shù)據(jù)結(jié)構(gòu)，并存入dCache的元數(shù)據(jù)數(shù)據(jù)庫對應(yīng)的擴(kuò)展字段中。
[0033]圖2所示是數(shù)據(jù)共享方法的核心模塊，dcache-lustre之間數(shù)據(jù)共享通過同步元數(shù)據(jù)的形式實(shí)現(xiàn)。
[0034]首先需要讀取存儲在lustre系統(tǒng)上的元數(shù)據(jù)信息。生成文件信息列表，包括lustre目錄信息、以及文件的改動時間ctime、訪問時間atime、修改時間mtime、文件大小size、文件屬性(owner、mask)，文件路徑信息。
[0035]然后把lustre元數(shù)據(jù)中每一個文件的元數(shù)據(jù)的信息，逐條轉(zhuǎn)換成dcache數(shù)據(jù)的元數(shù)據(jù)信息:
[0036]首先在dcache系統(tǒng)中創(chuàng)建一個目錄對應(yīng)lustre文件系統(tǒng)的根目錄，凡是在這個目錄下進(jìn)行的讀寫操作都對應(yīng)到lustre文