本發(fā)明涉及分布式文件系統(tǒng)中小文件IO性能提升技術(shù)領(lǐng)域，尤其涉及一種分布式文件系統(tǒng)小文件性能提升方法，還涉及一種分布式文件系統(tǒng)目錄生成器，還涉及一種分布式文件系統(tǒng)。

背景技術(shù)：

在分布式文件系統(tǒng)實(shí)際應(yīng)用中，會(huì)遇到在海量小文件的應(yīng)用場景。元數(shù)據(jù)集群可以提升大量小文件的元數(shù)據(jù)性能，數(shù)據(jù)緩存、小文件數(shù)據(jù)合并等方法可以提高數(shù)據(jù)性能。但是有一種應(yīng)用場景存在性能瓶頸：單目錄下小文件性能。單目錄下小文件性能由元數(shù)據(jù)性能和數(shù)據(jù)性能兩部分。數(shù)據(jù)性能可通過數(shù)據(jù)緩存機(jī)制、小文件數(shù)據(jù)合并等機(jī)制保證，但是元數(shù)據(jù)性能受到單個(gè)元數(shù)據(jù)服務(wù)瓶頸影響，無法通過緩存機(jī)制進(jìn)行提升。除非是提升元數(shù)據(jù)服務(wù)性能，而分布式文件系統(tǒng)元數(shù)據(jù)性能受到分布式架構(gòu)影響，能力有限。

因此，對(duì)于本領(lǐng)域技術(shù)人員而言，如何在分布式文件系統(tǒng)中，提升小文件性能為亟需解決的技術(shù)問題。

技術(shù)實(shí)現(xiàn)要素：

為了便于理解，對(duì)本申請(qǐng)文件中出現(xiàn)的部分詞語，澄清如下：

IO：input/output，輸入/輸出。

基于背景技術(shù)存在的技術(shù)問題，本發(fā)明提出了一種分布式文件系統(tǒng)小文件性能提升方法，包括以下步驟：

目錄下，創(chuàng)建虛擬目錄層，虛擬目錄層包括多個(gè)虛擬目錄；

將上述目錄下任一小文件對(duì)應(yīng)于一個(gè)虛擬目錄；

將一個(gè)或多個(gè)元數(shù)據(jù)服務(wù)對(duì)應(yīng)于一個(gè)虛擬目錄。

優(yōu)選地，包括以下步驟：將單個(gè)虛擬目錄對(duì)應(yīng)的元數(shù)據(jù)服務(wù)形成元數(shù)據(jù)集群子樹分區(qū)。

優(yōu)選地，包括以下步驟：元數(shù)據(jù)服務(wù)操作中對(duì)虛擬目錄進(jìn)行過濾處理。

優(yōu)選地，包括以下步驟：根據(jù)單個(gè)虛擬目錄所對(duì)應(yīng)小文件數(shù)量調(diào)整該虛擬目錄所對(duì)應(yīng)的元數(shù)據(jù)服務(wù)數(shù)量，且上述元數(shù)據(jù)服務(wù)數(shù)量與上述小文件數(shù)量呈正相關(guān)關(guān)系。

優(yōu)選地，創(chuàng)建虛擬目錄層過程前，包括以下步驟：根據(jù)小文件IO性能要求，確定需要?jiǎng)?chuàng)建虛擬目錄層的目錄。

本發(fā)明中提供的一種分布式文件系統(tǒng)小文件性能提升方法，當(dāng)某一目錄下所存儲(chǔ)的小文件具有IO性能要求時(shí)，在該目錄下創(chuàng)建多個(gè)虛擬目錄形成虛擬目錄層，并將小文件分配至虛擬目錄下形成對(duì)應(yīng)關(guān)系，將一個(gè)或多個(gè)元數(shù)據(jù)服務(wù)形成元數(shù)據(jù)集群子樹分區(qū)，將元數(shù)據(jù)服務(wù)集群子樹分區(qū)分配至虛擬目錄形成對(duì)應(yīng)關(guān)系；從而使得該目錄下的小文件通過元數(shù)據(jù)集群子樹分區(qū)來保證IO性能；上述方法至少具有以下優(yōu)點(diǎn)：

1、通過虛擬目錄將單目錄下的小文件IO性能通過多個(gè)元數(shù)據(jù)服務(wù)來保證；

2、利用分布式文件支持元數(shù)據(jù)集群的特點(diǎn)，將單目錄、單元數(shù)據(jù)服務(wù)IO模型改為單目錄、多元數(shù)據(jù)服務(wù)IO模型，利用元數(shù)據(jù)集群并發(fā)性能，使得單目錄小文件IO性能由元數(shù)據(jù)集群子樹分區(qū)來保證，提升小文件性能。

本發(fā)明還提供了一種分布式文件系統(tǒng)目錄生成器，包括：

虛擬目錄創(chuàng)建模塊，用于在目錄下創(chuàng)建虛擬目錄層，虛擬目錄層包括多個(gè)虛擬目錄；

小文件配置模塊，用于將上述目錄下任一小文件與虛擬目錄層中一個(gè)虛擬目錄對(duì)應(yīng)；

元數(shù)據(jù)服務(wù)配置模塊，用于將一個(gè)或多個(gè)元數(shù)據(jù)服務(wù)與虛擬目錄層中一個(gè)虛擬目錄對(duì)應(yīng)。

優(yōu)選地，元數(shù)據(jù)服務(wù)配置模塊還用于將同一虛擬目錄對(duì)應(yīng)的元數(shù)據(jù)服務(wù)形成元數(shù)據(jù)集群子樹分區(qū)。

優(yōu)選地，還包括：過濾模塊，用于元數(shù)據(jù)服務(wù)操作中對(duì)虛擬目錄進(jìn)行過濾處理。

本發(fā)明還提供了一種分布式文件系統(tǒng)，包括：目錄層和小文件層；其中：

目錄層中至少一個(gè)目錄下設(shè)置有虛擬目錄層，該虛擬目錄層中具有多個(gè)虛擬目錄，小文件層中對(duì)應(yīng)該目錄的任一小文件均與所述虛擬目錄層中一個(gè)虛擬目錄對(duì)應(yīng)，所述虛擬目錄層中任一虛擬目錄均與一個(gè)所述元數(shù)據(jù)集群子樹分區(qū)對(duì)應(yīng)，所述元數(shù)據(jù)集群子樹分區(qū)由一個(gè)或多個(gè)元數(shù)據(jù)服務(wù)形成。

上述分布式文件系統(tǒng)目錄生成器和分布式文件系統(tǒng)的有益效果與分布式文件系統(tǒng)小文件性能提升方法中有益效果類似，此處不再贅述。

附圖說明

圖1為本發(fā)明提出的一種分布式文件系統(tǒng)小文件性能提升方法中一種實(shí)施例的流程示意圖；

圖2為本發(fā)明提出的一種分布式文件系統(tǒng)中一種實(shí)施例的系統(tǒng)拓?fù)鋱D。

具體實(shí)施方式

如圖1-2所示，圖1為本發(fā)明提出的一種分布式文件系統(tǒng)小文件性能提升方法中一種實(shí)施例的流程示意圖；圖2為本發(fā)明提出的一種分布式文件系統(tǒng)中一種實(shí)施例的系統(tǒng)拓?fù)鋱D。

下面結(jié)合附圖和實(shí)施例對(duì)本發(fā)明進(jìn)行詳細(xì)的描述。

參考圖1，一種分布式文件系統(tǒng)小文件性能提升方法，包括以下步驟：

根據(jù)小文件IO性能要求，確定需要?jiǎng)?chuàng)建虛擬目錄層的目錄；

在上述指定目錄下創(chuàng)建虛擬目錄層，虛擬目錄層包括多個(gè)虛擬目錄；

將指定目錄下的小文件分配到虛擬目錄下形成對(duì)應(yīng)關(guān)系；

根據(jù)單個(gè)虛擬目錄對(duì)應(yīng)小文件的數(shù)量，將多個(gè)元數(shù)據(jù)服務(wù)分配至虛擬目錄形成對(duì)應(yīng)關(guān)系，并將多個(gè)元數(shù)據(jù)服務(wù)形成元數(shù)據(jù)集群子樹分區(qū)；

在元數(shù)據(jù)服務(wù)操作中對(duì)虛擬目錄進(jìn)行過濾處理。

在上述實(shí)施例中，我們可以獲知，實(shí)施例采用的分布式文件系統(tǒng)小文件性能提升方法，通過虛擬目錄將單目錄下的小文件IO性能由多個(gè)元數(shù)據(jù)服務(wù)形成元數(shù)據(jù)集群子樹分區(qū)來保證；當(dāng)客戶端在一個(gè)目錄下發(fā)送創(chuàng)建、查看、刪除等文件操作請(qǐng)求時(shí)，可以依據(jù)所指定的文件將請(qǐng)求哈希到對(duì)應(yīng)虛擬目錄下，并將請(qǐng)求進(jìn)一步發(fā)送至該虛擬目錄對(duì)應(yīng)的元數(shù)據(jù)集群子樹分區(qū)，由多個(gè)元數(shù)據(jù)服務(wù)來響應(yīng)操作；同時(shí)，通過在元數(shù)據(jù)服務(wù)操作中對(duì)虛擬目錄進(jìn)行過濾處理，可以使得虛擬目錄不呈現(xiàn)給客戶端，從而不會(huì)改變用戶感知的目錄結(jié)構(gòu)。

一種分布式文件系統(tǒng)目錄生成器，包括：

虛擬目錄創(chuàng)建模塊，用于在目錄下創(chuàng)建虛擬目錄層，虛擬目錄層包括多個(gè)虛擬目錄；

小文件配置模塊，用于將上述目錄下任一小文件與虛擬目錄層中一個(gè)虛擬目錄對(duì)應(yīng)；

元數(shù)據(jù)服務(wù)配置模塊，用于將一個(gè)或多個(gè)元數(shù)據(jù)服務(wù)與虛擬目錄層中一個(gè)虛擬目錄對(duì)應(yīng)；并將同一虛擬目錄對(duì)應(yīng)的元數(shù)據(jù)服務(wù)形成元數(shù)據(jù)集群子樹分區(qū)；

過濾模塊，用于元數(shù)據(jù)服務(wù)操作中對(duì)虛擬目錄進(jìn)行過濾處理。

參考圖2，一種分布式文件系統(tǒng)，包括：目錄層和小文件層；其中：

目錄層中至少一個(gè)目錄下設(shè)置有虛擬目錄層，該虛擬目錄層中具有多個(gè)虛擬目錄，小文件層中對(duì)應(yīng)該目錄的任一小文件均與所述虛擬目錄層中一個(gè)虛擬目錄對(duì)應(yīng)，所述虛擬目錄層中任一虛擬目錄均與一個(gè)所述元數(shù)據(jù)集群子樹分區(qū)對(duì)應(yīng)，所述元數(shù)據(jù)集群子樹分區(qū)由一個(gè)或多個(gè)元數(shù)據(jù)服務(wù)形成。

以上所述，僅為本發(fā)明較佳的具體實(shí)施方式，但本發(fā)明的保護(hù)范圍并不局限于此，任何熟悉本技術(shù)領(lǐng)域的技術(shù)人員在本發(fā)明揭露的技術(shù)范圍內(nèi)，根據(jù)本發(fā)明的技術(shù)方案及其發(fā)明構(gòu)思加以等同替換或改變，都應(yīng)涵蓋在本發(fā)明的保護(hù)范圍之內(nèi)。