基于時間序列的流式數(shù)據(jù)分布式元數(shù)據(jù)管理方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及視頻流數(shù)據(jù)存儲技術(shù)，具體涉及基于時間序列的流式數(shù)據(jù)分布式元數(shù)據(jù)管理方法，屬于計算機軟件領(lǐng)域。
【背景技術(shù)】
[0002]存儲系統(tǒng)的規(guī)模正不斷增大，Petabyte級別甚至更大規(guī)模的海量存儲系統(tǒng)不斷出現(xiàn)。這樣的系統(tǒng)，不僅存儲空間巨大，還往往擁有1000數(shù)量級的客戶節(jié)點，10G/s級別以上的數(shù)據(jù)傳輸速度，文件的數(shù)目也很多，可以達到千萬甚至上億個。
[0003]海量存儲系統(tǒng)主要通過網(wǎng)絡存儲技術(shù)來實現(xiàn)。通過高速網(wǎng)絡把各種存儲設備和存儲節(jié)點連接起來，對外提供更大、更快、更安全和更可靠的存儲服務。所謂網(wǎng)絡存儲就是通過各種類型的網(wǎng)絡存儲設備，包括了硬盤、磁盤陣列或磁帶庫等存儲介質(zhì)、專用的數(shù)據(jù)交換設備以及專業(yè)的存儲軟件，利用一個高速的存儲專用網(wǎng)絡為用戶提供統(tǒng)一的信息存取和數(shù)據(jù)共享服務。網(wǎng)絡存儲具有數(shù)據(jù)容量大、數(shù)據(jù)傳輸率高、用戶權(quán)限控制、數(shù)據(jù)可靠性高、數(shù)據(jù)備份與安全性好、良好的可擴展性、數(shù)據(jù)統(tǒng)一管理和操作簡單等特點。常見的網(wǎng)絡存儲技術(shù)有NAS、SAN、iSCSI和對象存儲等。
[0004]在傳統(tǒng)的文件系統(tǒng)中，元數(shù)據(jù)和數(shù)據(jù)本身由同一個文件系統(tǒng)進行管理，它們被存儲在同一個存儲設備上面，并且在物理分布上也采取就近原則，以便提高訪問效率。用戶存取一個文件，首先必須得到它的元數(shù)據(jù)，然后才能根據(jù)元數(shù)據(jù)中的信息得到文件的相關(guān)屬性或者文件內(nèi)容。這兩個步驟是串行的，而且使用同一個數(shù)據(jù)傳輸通道。然而，一臺文件服務器的處理能力和數(shù)據(jù)傳輸能力是有限的，在文件系統(tǒng)規(guī)模較大或者文件訪問密度很高的情況下，這種傳統(tǒng)的文件訪問模式很容易造成數(shù)據(jù)傳輸通道的擁堵，形成I/O瓶頸，使得文件系統(tǒng)的整體性能大幅下降，也無法滿足高聚合I/O帶寬的需求。一些早期的分布式文件系統(tǒng)也采用了這種單一數(shù)據(jù)通道的處理模式，如NFs、sprite等。
[0005]現(xiàn)在的網(wǎng)絡存儲系統(tǒng)中，為了避免元數(shù)據(jù)訪問成為文件系統(tǒng)訪問的瓶頸，提高數(shù)據(jù)訪問效率，大多采用了將文件的數(shù)據(jù)與其元數(shù)據(jù)分開存儲的組織方式進行管理。文件的元數(shù)據(jù)存放在單獨的計算機節(jié)點，稱之為存儲系統(tǒng)的元數(shù)據(jù)服務器(Metadata Server)，簡稱為MS。MS負責管理網(wǎng)絡存儲文件系統(tǒng)的元數(shù)據(jù)，它包括文件的名字空間、訪問權(quán)限、數(shù)據(jù)塊的分布信息，用戶的身法驗證等。由于文件的數(shù)據(jù)和元數(shù)據(jù)分開存儲，實現(xiàn)了文件數(shù)據(jù)傳輸通道和元數(shù)據(jù)傳輸通道的分離。
[0006]在大規(guī)模的網(wǎng)絡存儲系統(tǒng)中實現(xiàn)數(shù)據(jù)通道與元數(shù)據(jù)通道的分離是很有必要的。這有以下幾個原因，首先，元數(shù)據(jù)訪問量很大。根據(jù)研究統(tǒng)計，超過50%的文件系統(tǒng)存取訪問中都是和元數(shù)據(jù)相關(guān)的，把這部分訪問量從文件服務器分離出去可以顯著降低原有文件服務器的訪問負載。其次，有一部分文件操作只涉及到文件的元數(shù)據(jù)，而與文件數(shù)據(jù)本身無關(guān)。如關(guān)于文件屬性或者目錄信息相關(guān)的文件操作等，這部分文件操作任務可以單獨分配給元數(shù)據(jù)服務器來完成，完全不需要文件數(shù)據(jù)服務器的參與。再次，元數(shù)據(jù)和文件數(shù)據(jù)具有不同的數(shù)據(jù)特征和訪問特性，而且兩者差別很大。元數(shù)據(jù)是用來描述文件的屬性等相關(guān)信息，長度很小，通常以Byte或KB的數(shù)量級來計量，而文件的長度因文件類型和內(nèi)容各異，變化很大，幾個字節(jié)到幾個GB大小的文件都有。另外，元數(shù)據(jù)是有數(shù)據(jù)結(jié)構(gòu)的，這種數(shù)據(jù)結(jié)構(gòu)較為固定且是已知的，而文件的數(shù)據(jù)就不一定有數(shù)據(jù)結(jié)構(gòu)了?？梢钥闯觯獢?shù)據(jù)的數(shù)據(jù)特性是尺寸小，結(jié)構(gòu)固定；文件的數(shù)據(jù)長度變化很大，大小和結(jié)構(gòu)都具有很大的隨機性。這種數(shù)據(jù)特性的差別也會對他們的處理方式產(chǎn)生不同的影響，需要使用不同的模式和算法。
[0007]流式數(shù)據(jù)信息資源與普通圖書、期刊、學位論文等數(shù)據(jù)形式區(qū)別很大，要進行有效、準確、全面、深入的揭示，決不能照搬通用的元數(shù)據(jù)體系。MARC元數(shù)據(jù)體系繁復，仍無法對流式數(shù)據(jù)信息資源的內(nèi)容進行精準描述，在流式數(shù)據(jù)信息資源數(shù)量相當龐大且急劇膨脹的今天，傳統(tǒng)的描述方式已是回天乏術(shù)。都柏林核心元數(shù)據(jù)(Dublin Core，簡稱DC元數(shù)據(jù))，簡單適用于數(shù)量龐大的一般信息資源的描述，但對于流式數(shù)據(jù)信息資源而言，某些元素或修飾詞的設置就顯得過于籠統(tǒng)。例如，流式數(shù)據(jù)信息資源的日期包括生產(chǎn)日期、主體事件的特定日期、版權(quán)生效日期、首次播放日期、末次播放日期、許可播放期限等在內(nèi)的多種內(nèi)涵，而DC元數(shù)據(jù)的日期元素無法全部揭示。這要求產(chǎn)生適用于流式數(shù)據(jù)信息資源的專門元數(shù)據(jù)集，即流式數(shù)據(jù)元數(shù)據(jù)集。
[0008]不同類型的流式數(shù)據(jù)信息資源在功能、用戶群、使用方式等方面也各不相同；對于同一類型的流式數(shù)據(jù)信息資源，不同的用戶也存在不同的檢索和使用需求。例如，對比賽類的流式數(shù)據(jù)信息資源而言，一般觀眾通常從欣賞的需求出發(fā)，希望檢索到某一場自己感興趣的比賽；而專業(yè)人士則往往從研究的角度出發(fā)，希望檢索到包含了某項比賽技巧應用的場景甚至是鏡頭。為滿足不同用戶的檢索需求，要求視頻元數(shù)據(jù)集能夠從多角度、多層次對視頻信息資源進行揭示。
[0009]就目前來說，基于流式視頻監(jiān)控數(shù)據(jù)應用需求的特點，用戶群希望根據(jù)時間區(qū)間調(diào)閱讀取以往流式視頻監(jiān)控數(shù)據(jù)。

【發(fā)明內(nèi)容】

[0010]本發(fā)明的目的在于提供基于時間序列的流式數(shù)據(jù)分布式元數(shù)據(jù)管理方法，保證了后續(xù)的視頻回放請求能夠定位到所需讀取的數(shù)據(jù)和故障后的正確恢復。
[0011]為了實現(xiàn)上述目的，本發(fā)明采用的技術(shù)方案如下:
基于時間序列的流式數(shù)據(jù)分布式元數(shù)據(jù)管理方法，包括如下步驟:
A、元數(shù)據(jù)服務器基于對象維度和時間維度，記錄和管理元數(shù)據(jù)；
B、元數(shù)據(jù)服務器記錄和管理視頻流的元數(shù)據(jù)，包括每個視頻流的攝像頭位置信息、當前副本定位信息、基于時間序列記錄的視頻流歷史數(shù)據(jù)的存儲位置；同時，元數(shù)據(jù)服務器基于對象維度，記錄所有數(shù)據(jù)存儲節(jié)點的元數(shù)據(jù)，包括每臺數(shù)據(jù)存儲節(jié)點的位置信息、負載情況；
C、數(shù)據(jù)存儲節(jié)點基于對象維度記錄視頻流數(shù)據(jù)在磁盤具體位置的元數(shù)據(jù)信息；同時記錄該數(shù)據(jù)存儲節(jié)點上所有磁盤的元數(shù)據(jù)信息，包括每塊磁盤所存儲數(shù)據(jù)的過期時間和每塊磁盤正在寫的具體位置信息；
D、數(shù)據(jù)存儲節(jié)點中的所有元數(shù)據(jù)持久化并集中存儲在某塊磁盤的固定位置。
[0012]具體地，所述步驟A中，對象維度為不同的攝像頭，時間維度為不同視頻流對應的時間段，元數(shù)據(jù)服務器根據(jù)攝像頭編號和時間段信息，定位所查詢的視頻流所在的數(shù)據(jù)存儲節(jié)點位置，攝像頭編號即視頻流編號。
[0013]進一步地，所述步驟B中，元數(shù)據(jù)服務器分別記錄管理視頻流數(shù)據(jù)的元數(shù)據(jù)和數(shù)據(jù)存儲節(jié)點的元數(shù)據(jù)。
[0014]更進一步地，所述步驟B中，元數(shù)據(jù)服務器以視頻流編號為關(guān)鍵字構(gòu)建一個樹狀結(jié)構(gòu)，能快速定位到流的基本信息。該樹狀結(jié)構(gòu)節(jié)點中記錄視頻流的主要信息包括當前存儲該視頻流數(shù)據(jù)的主數(shù)據(jù)存儲節(jié)點、從數(shù)據(jù)存儲節(jié)點，視頻流的位置信息、當前狀態(tài)，以及一張基于時間序列記錄的視頻流歷史數(shù)據(jù)的存儲位置的鏈表。
[0015]再進一步地，所述步驟B中，元數(shù)據(jù)服務器以數(shù)據(jù)存儲節(jié)點編號為關(guān)鍵字構(gòu)建一個樹狀結(jié)構(gòu)，該樹狀結(jié)構(gòu)節(jié)點記錄的主要信息包括該數(shù)據(jù)存儲節(jié)點當前負載情況，當前有哪些流使用該數(shù)據(jù)存儲節(jié)點作為主數(shù)據(jù)存儲節(jié)點和從數(shù)據(jù)存儲節(jié)點，當前正在進行的預切換流。
[0016]具體地，所述步驟C中，數(shù)據(jù)存儲節(jié)點中，對于每一個視頻流的每一片數(shù)據(jù)使用結(jié)構(gòu)體數(shù)據(jù)結(jié)構(gòu)形式，記錄如下元數(shù)據(jù)信息:
(1)磁盤ID:該片數(shù)據(jù)所在的磁盤號；
(2)塊文件ID:該片數(shù)據(jù)所在的塊文件號；
(3)數(shù)據(jù)片ID:該片數(shù)據(jù)在塊文件內(nèi)的數(shù)據(jù)片號。
[0017]進一步地，所述數(shù)據(jù)存儲節(jié)點保存每一個視頻流的所有數(shù)據(jù)片的元數(shù)據(jù)信息。
[0018]更進一步地，在數(shù)據(jù)存儲節(jié)點中，對于每一個視頻流只在尾部進行追加寫操作，用數(shù)組保存所有數(shù)據(jù)片的元數(shù)據(jù)信息。
[0019]更進一步地，在數(shù)據(jù)存儲節(jié)點中，每個數(shù)據(jù)存儲節(jié)點以視頻流編號為關(guān)鍵字將對應視頻流的元數(shù)據(jù)使用查找樹或哈希數(shù)據(jù)結(jié)構(gòu)進行存儲。
[0020]再進一步地，在數(shù)據(jù)存儲節(jié)點中，數(shù)據(jù)存儲節(jié)點記錄其上每塊磁盤所存儲數(shù)據(jù)的過期時間和每塊磁盤正在寫的塊文件ID和數(shù)據(jù)片ID。
[0021]與現(xiàn)有技術(shù)相比，本發(fā)明具有以下有益效果:
本發(fā)明的視頻流和數(shù)據(jù)存儲節(jié)點的元數(shù)據(jù)存儲在元數(shù)據(jù)服務器中，同時，數(shù)據(jù)存儲節(jié)點記錄視頻流數(shù)據(jù)在磁盤具體位置的元數(shù)據(jù)信息，因此保證了視頻流回放請求能夠快速定位到所需讀取的數(shù)據(jù)和故障后的高效正確恢復。
【附圖說明】
[0022]圖1為本發(fā)明的元數(shù)據(jù)服務器保存的視頻流元數(shù)據(jù)的組織形式圖。
[0023]圖2為本發(fā)明的元數(shù)據(jù)服務器保存的數(shù)據(jù)存儲節(jié)點元數(shù)據(jù)的組織形式圖。
[0024]圖3為本發(fā)明的數(shù)據(jù)存儲節(jié)點元數(shù)據(jù)的管理組織形式圖。
【具體實施方式】
[0025]下面結(jié)合實施例和附圖對本發(fā)明作進一步說明，本發(fā)明的實施方式包括但不限于下列實施例。
實施