本發(fā)明屬于文件系統(tǒng)海量元數據分布技術領域，特別是涉及一種海量元數據分片分布的方法及裝置。

背景技術：

任何文件系統(tǒng)中的數據分為數據和元數據。數據是指普通文件中的實際數據，而元數據指用來描述一個文件的特征的系統(tǒng)數據，諸如訪問權限、文件擁有者以及文件數據塊的分布信息（inode…）等等。在分布式文件系統(tǒng)中，分布信息包括文件在磁盤上的位置以及磁盤在集群中的位置。用戶需要操作一個文件必須首先得到它的元數據，才能定位到文件的位置并且得到文件的內容或相關屬性。用戶使用文件系統(tǒng)過程中，文件系統(tǒng)元數據請求占據了所有請求50%以上的比例，諸如（readdir、getattr、open、close、setattr…）文件系統(tǒng)元數據對整個文件系統(tǒng)有著重要的影響。

大數據時代非結構化的數據成爆炸式的增長，采用文件系統(tǒng)管理海量數據的方式越來越廣泛，但是文件數目巨大，例如，大規(guī)模傳感器會產生海量的數據片段，形成數量龐大的小數據文件。通常的元數據都要加載到內存緩存，才能完成文件系統(tǒng)的基本功能，但是數據量巨大的元數據加載到內存緩存過程慢、沖突檢測困難。傳統(tǒng)的文件系統(tǒng)元數據管理方法已經不能滿足數據增長的需要。例如：單目錄文件個數為n，那么一個目錄在存儲設備的空間大小m：m=4kb*n（假設單元數據大小4kb），當n為1億的時候，元數據數據塊m大概0.4tb，以單盤性能100mb/s計算，單是加載元數據到元數據的緩存就需要1個多小時，再加上超大的緩存問題，直接導致單目錄無法支持海量數量的文件。

技術實現要素：

本發(fā)明目的是提供一種海量元數據分片分布的方法及裝置，本發(fā)明解決了單目錄海量數目的文件，文件系統(tǒng)元數據管理效率低的問題。

為了實現上述目的，本發(fā)明采用以下的技術方案：

一種海量元數據分片分布的方法，包括以下步驟：

將單目錄的元數據數據塊劃分為多個元數據分片；

元數據數據塊依據預定規(guī)則分布在不同的元數據分片上；

將不同的元數據分片分別存儲在多個存儲設備上。

優(yōu)選地，元數據數據塊依據預定規(guī)則分布在不同的元數據分片上，進一步包括：

元數據數據塊依據名稱哈希到不同的元數據分片上；

同一個元數據分片對應具有相同哈希值的元數據數據塊。

優(yōu)選地，依據名稱的哈希值，獲得存儲在不同存儲設備上的元數據分片。

本發(fā)明還提供一種海量元數據分片分布的裝置，包括：

單目錄元數據數據塊劃分模塊，用于將單目錄的元數據數據塊劃分為多個元數據分片；

第一元數據數據塊分布模塊，用于元數據數據塊依據預定規(guī)則分布在不同的元數據分片上；

元數據分片存儲模塊，用于將不同的元數據分片分別存儲在多個存儲設備上。

優(yōu)選地，還包括：第二元數據數據塊分布模塊，用于元數據數據塊依據名稱哈希到不同的元數據分片上。

優(yōu)選地，還包括：元數據分片對應模塊，用于同一個元數據分片對應具有相同哈希值的元數據數據塊。

優(yōu)選地，還包括：元數據分片獲取模塊，用于依據名稱的哈希值，獲得存儲在不同存儲設備上的元數據分片。

與現有技術相比，本發(fā)明具有以下優(yōu)點：

1.本發(fā)明將單目錄的元數據數據塊劃分為多個元數據分片，元數據分片大小的減小，能夠實現元數據緩存的加載、同步。

2.不同的元數據分片分別存儲在多個存儲設備上，能夠實現元數據數據塊的并發(fā)讀寫，大大提升元數據數據塊的讀寫速度。

3.同一個元數據分片對應具有相同哈希值的元數據數據塊，所有元數據分片組成整個目錄的命名空間，方便元數據數據塊的管理和維護。

附圖說明

圖1是本發(fā)明一種海量元數據分片分布的方法的流程示意圖；

圖2是本發(fā)明單目錄的元數據數據塊劃分和存儲元數據分片的結構示意圖；

圖3是本發(fā)明一種海量元數據分片分布的裝置的結構示意圖。

具體實施方式

為了便于理解，對本發(fā)明中出現的部分名詞作以下解釋說明：

哈希值，哈希算法將任意長度的二進制值映射為固定長度的較小二進制值，這個小的二進制值成為哈希值。哈希值是一段數據唯一且極其緊湊的數值表示形式。如果散列一段明文而且哪怕只更改該段落的一個字母，隨后的哈希都將產生不同的值。

下面結合附圖和實施例，對本發(fā)明的具體實施方式作進一步詳細描述：

本實施例提供一種海量元數據分片分布的方法，包括：

將單目錄的元數據數據塊劃分為多個元數據分片；

元數據數據塊依據預定規(guī)則分布在不同的元數據分片上；

將不同的元數據分片分別存儲在多個存儲設備上。

請參考圖1和圖2，圖1是本發(fā)明一種海量元數據分片分布的方法的流程示意圖；圖2是本發(fā)明單目錄的元數據數據塊劃分和存儲元數據分片的結構示意圖；本實施例提供一種海量元數據分片分布的方法，包括以下步驟：

步驟s101，將單目錄的元數據數據塊劃分為多個元數據分片；

在本實施例中，將單目錄的元數據數據塊劃分為6個元數據分片。

步驟s102，單目錄的所有元數據數據塊依據名稱哈希到不同的元數據分片上，上面提到的名稱包括：目錄名稱、目錄下的文件名稱和子目錄名稱；

同一名稱的元數據數據塊分布在一個元數據分片上或者多個元數據分片上，但是同一個元數據分片對應具有相同哈希值的元數據數據塊。

步驟s103，將不同的元數據分片分別存儲在多個存儲設備上；

在本實施例中，采用4臺存儲設備存儲6個元數據分片。

步驟s104，依據名稱的哈希值，獲得存儲在不同存儲設備上的元數據分片。

在本實施例中，元數據數據塊加載過程依據名稱的哈希值，找到6個元數據分片，分片加載存儲設備上的元數據分片。

本發(fā)明提出了海量元數據數據塊采用分片分布到存儲設備，通過將元數據數據塊分割為一定數量的分片進行管理，使元數據數據塊能夠進行緩存的加載、同步，同時實現元數據數據塊的并發(fā)讀寫，大大提升元數據數據塊的讀寫速度。

本實施例提供一種海量元數據分片分布的裝置，包括：

單目錄元數據數據塊劃分模塊，用于將單目錄的元數據數據塊劃分為多個元數據分片；

第一元數據數據塊分布模塊，用于元數據數據塊依據預定規(guī)則分布在不同的元數據分片上；

元數據分片存儲模塊，用于將不同的元數據分片分別存儲在多個存儲設備上。

請參考圖3，圖3是本發(fā)明一種海量元數據分片分布的裝置的結構示意圖；本實施例提供一種海量元數據分片分布的裝置，包括：

單目錄元數據數據塊劃分模塊31，用于將單目錄的元數據數據塊劃分為多個元數據分片；

第一元數據數據塊分布模塊32，用于元數據數據塊依據預定規(guī)則分布在不同的元數據分片上；第一元數據數據塊分布模塊32包括第二元數據數據塊分布模塊34和元數據分片對應模塊35；第二元數據數據塊分布模塊34，用于元數據數據塊依據名稱哈希到不同的元數據分片上；元數據分片對應模塊35，用于同一個元數據分片對應具有相同哈希值的元數據數據塊；

元數據分片存儲模塊33，用于將不同的元數據分片分別存儲在多個存儲設備上；

元數據分片獲取模塊36，用于依據名稱的哈希值，獲得存儲在不同存儲設備上的元數據分片。

以上所示僅是本發(fā)明的優(yōu)選實施方式，應當指出，對于本技術領域的普通技術人員來說，在不脫離本發(fā)明原理的前提下，還可以做出若干改進和潤飾，這些改進和潤飾也應視為本發(fā)明的保護范圍。