一種提升元數(shù)據(jù)集群性能的方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及計(jì)算機(jī)應(yīng)用技術(shù)領(lǐng)域，適用于文件系統(tǒng)支持元數(shù)據(jù)集群的情況，能夠在元數(shù)據(jù)集群范圍內(nèi)平衡負(fù)載，提高元數(shù)據(jù)集群處理數(shù)據(jù)的效率，具體地說，特別涉及一種提升元數(shù)據(jù)集群性能的方法。
【背景技術(shù)】
[0002]集群(cluster)技術(shù)是一種較新的技術(shù)，通過集群技術(shù)，可以在付出較低成本的情況下獲得在性能、可靠性、靈活性方面的相對(duì)較高的收益，其任務(wù)調(diào)度則是集群系統(tǒng)中的核心技術(shù)。
[0003]集群技術(shù)分別為科學(xué)集群，負(fù)載均衡集群和高可用性集群三類。其中，負(fù)載均衡集群為企業(yè)需求提供了更實(shí)用的系統(tǒng)。負(fù)載均衡集群使負(fù)載可以在計(jì)算機(jī)集群中盡可能平均地分?jǐn)偺幚?。?fù)載通常包括應(yīng)用程序處理負(fù)載和網(wǎng)絡(luò)流量負(fù)載。這樣的系統(tǒng)非常適合向使用同一組應(yīng)用程序的大量用戶提供服務(wù)。每個(gè)節(jié)點(diǎn)都可以承擔(dān)一定的處理負(fù)載，并且可以實(shí)現(xiàn)處理負(fù)載在節(jié)點(diǎn)之間的動(dòng)態(tài)分配，以實(shí)現(xiàn)負(fù)載均衡。對(duì)于網(wǎng)絡(luò)流量負(fù)載，當(dāng)網(wǎng)絡(luò)服務(wù)程序接受了高入網(wǎng)流量，以致無法迅速處理。這時(shí)，網(wǎng)絡(luò)流量就會(huì)發(fā)送給在其它節(jié)點(diǎn)上運(yùn)行的網(wǎng)絡(luò)服務(wù)程序。同時(shí)，還可以根據(jù)每個(gè)節(jié)點(diǎn)上不同的可用資源或網(wǎng)絡(luò)的特殊環(huán)境來進(jìn)行優(yōu)化。與科學(xué)計(jì)算集群一樣，負(fù)載均衡集群也在多節(jié)點(diǎn)之間分發(fā)計(jì)算處理負(fù)載。它們之間的最大區(qū)別在于缺少跨節(jié)點(diǎn)運(yùn)行的單并行程序。大多數(shù)情況下，負(fù)載均衡集群中的每個(gè)節(jié)點(diǎn)都是運(yùn)行單獨(dú)軟件的獨(dú)立系統(tǒng)。
[0004]分布式文件系統(tǒng)(Distributed File System)是指文件系統(tǒng)管理的物理存儲(chǔ)資源不一定直接連接在本地節(jié)點(diǎn)上，而是通過計(jì)算機(jī)網(wǎng)絡(luò)與節(jié)點(diǎn)相連?，F(xiàn)有的分布式文件系統(tǒng)主要分為兩大部分:元數(shù)據(jù)管理和數(shù)據(jù)管理。其中，元數(shù)據(jù)的請(qǐng)求占文件系統(tǒng)所有請(qǐng)求的50%以上，所以提升元數(shù)據(jù)請(qǐng)求的處理性能，可以有效提升整個(gè)文件系統(tǒng)的性能。
[0005]在多個(gè)元數(shù)據(jù)節(jié)點(diǎn)的系統(tǒng)里，每個(gè)元數(shù)據(jù)節(jié)點(diǎn)都有自己負(fù)責(zé)的目錄結(jié)構(gòu)。如果某個(gè)元數(shù)據(jù)下面的目錄內(nèi)容訪問量加大，構(gòu)成熱點(diǎn)數(shù)據(jù)，此元數(shù)據(jù)節(jié)點(diǎn)負(fù)載壓力將增加。這時(shí)，如果多個(gè)用戶同時(shí)訪問此元數(shù)據(jù)節(jié)點(diǎn)，會(huì)造成負(fù)載不平衡的情況。如果可以把該元數(shù)據(jù)節(jié)點(diǎn)下部分目錄分給其他元數(shù)據(jù)節(jié)點(diǎn)，在元數(shù)據(jù)集群范圍內(nèi)平衡負(fù)載，將有效提升元數(shù)據(jù)集群處理數(shù)據(jù)的效率，進(jìn)而提升整個(gè)文件系統(tǒng)的性能。
[0006]針對(duì)以上問題，本發(fā)明提出了一種通過手動(dòng)轉(zhuǎn)移元數(shù)據(jù)集群負(fù)載壓力以提升整個(gè)文件系統(tǒng)處理性能的方式。用戶可以在某個(gè)元數(shù)據(jù)負(fù)載壓力較大時(shí)，手動(dòng)將它負(fù)責(zé)的部分目錄分給其他元數(shù)據(jù)。

【發(fā)明內(nèi)容】

[0007]本發(fā)明為了彌補(bǔ)現(xiàn)有技術(shù)的缺陷，提供了一種能夠提高集群處理數(shù)據(jù)效率的提升元數(shù)據(jù)集群性能的方法。
[0008]本發(fā)明是通過如下技術(shù)方案實(shí)現(xiàn)的: 一種提升元數(shù)據(jù)集群性能的方法，其特征在于:該方法體系包括導(dǎo)出端、導(dǎo)入端和旁觀者三部分，該方法通過在所述導(dǎo)出端手動(dòng)執(zhí)行命令方式，將負(fù)載較大的元數(shù)據(jù)節(jié)點(diǎn)下的熱點(diǎn)目錄轉(zhuǎn)移到導(dǎo)入端，并更新旁觀者的目錄授權(quán)信息。
[0009]所述導(dǎo)出端負(fù)責(zé)驅(qū)動(dòng)整個(gè)導(dǎo)出過程，所述導(dǎo)入端負(fù)責(zé)配合導(dǎo)出端完成目錄迀移，所述旁觀者為待導(dǎo)出目錄的副本的擁有者。
[0010]本大明提升元數(shù)據(jù)集群性能的方法，其特征在于包括以下步驟:
(1)將導(dǎo)出端的元數(shù)據(jù)中待導(dǎo)出的目錄分片保存到導(dǎo)出端的導(dǎo)出隊(duì)列，將導(dǎo)出端的元數(shù)據(jù)通過手動(dòng)執(zhí)行export命令觸發(fā)導(dǎo)出隊(duì)列，進(jìn)入導(dǎo)出流程；
(2)將本地待導(dǎo)出目錄凍結(jié)，并發(fā)送消息到導(dǎo)入端，將待迀移目錄加載到導(dǎo)入端的緩存；
(3 )導(dǎo)入端將待迀移目錄加載至本地后，將待迀移目錄標(biāo)記為授權(quán)爭(zhēng)議并凍結(jié)，隨后向?qū)С龆嘶貜?fù)確認(rèn)字符ACK ；
(4)導(dǎo)出端接收到導(dǎo)入端回復(fù)的確認(rèn)字符ACK后，向旁觀者發(fā)送通告，告知副本此目錄進(jìn)入導(dǎo)出流程，待旁觀者回復(fù)確認(rèn)字符ACK后，更新日志信息；
(5)導(dǎo)出端將待導(dǎo)出目錄的狀態(tài)設(shè)為“正在導(dǎo)出”，并授權(quán)待導(dǎo)出目錄為授權(quán)爭(zhēng)議，調(diào)整本地負(fù)載，減去待導(dǎo)出目錄負(fù)載后，向?qū)攵税l(fā)送消息；
(6)導(dǎo)入端處理導(dǎo)出端發(fā)送來的消息，記錄日志并打開相關(guān)會(huì)話，向?qū)С龆嘶貜?fù)確認(rèn)字符 ACK ；
(7)導(dǎo)出端調(diào)整待導(dǎo)出目錄的授權(quán)并寫日志后，向旁觀者廣播此目錄授權(quán)信息已變更，等待旁觀者回復(fù)確認(rèn)字符ACK后，向?qū)攵税l(fā)送導(dǎo)出結(jié)束消息；
(8)導(dǎo)入端收到導(dǎo)出結(jié)束消息后，完成目錄導(dǎo)入，目錄迀移完成。
[0011]本發(fā)明的有益效果是:該提升元數(shù)據(jù)集群性能的方法，適用于支持多個(gè)元數(shù)據(jù)節(jié)點(diǎn)的分布式集群文件系統(tǒng)，在分布式集群文件系統(tǒng)的某個(gè)元數(shù)據(jù)負(fù)載較大時(shí)，能夠在元數(shù)據(jù)集群范圍內(nèi)平衡負(fù)載，提高元數(shù)據(jù)集群處理數(shù)據(jù)的效率，進(jìn)而有效提升系統(tǒng)性能。
【附圖說明】
[0012]附圖1為發(fā)明導(dǎo)出端、導(dǎo)入端以及旁觀者三者的流程關(guān)系示意圖。
【具體實(shí)施方式】
[0013]下面結(jié)合附圖對(duì)本發(fā)明進(jìn)行詳細(xì)的說明。
[0014]該提升元數(shù)據(jù)集群性能的方法體系包括導(dǎo)出端、導(dǎo)入端和旁觀者三部分，所述導(dǎo)出端負(fù)責(zé)驅(qū)動(dòng)整個(gè)導(dǎo)出過程，所述導(dǎo)入端負(fù)責(zé)配合導(dǎo)出端完成目錄迀移，所述旁觀者為待導(dǎo)出目錄的副本的擁有者。
[0015]該提升元數(shù)據(jù)集群性能的方法通過在所述導(dǎo)出端手動(dòng)執(zhí)行命令方式，將負(fù)載較大的元數(shù)據(jù)節(jié)點(diǎn)下的熱點(diǎn)目錄轉(zhuǎn)移到導(dǎo)入端，并更新旁觀者的目錄授權(quán)信息。
[0016]該提升元數(shù)據(jù)集群性能的方法，包括以下具體步驟:
(1)將導(dǎo)出端的元數(shù)據(jù)中待導(dǎo)出的目錄分片保存到導(dǎo)出端的導(dǎo)出隊(duì)列，將導(dǎo)出端的元數(shù)據(jù)通過手動(dòng)執(zhí)行export命令觸發(fā)導(dǎo)出隊(duì)列，進(jìn)入導(dǎo)出流程；
(2)將本地待導(dǎo)出目錄凍結(jié)，并發(fā)送消息到導(dǎo)入端，將待迀移目錄加載到導(dǎo)入端的緩存；
(3 )導(dǎo)入端將待迀移目錄加載至本地后，將待迀移目錄標(biāo)記為授權(quán)爭(zhēng)議并凍結(jié)，隨后向?qū)С龆嘶貜?fù)確認(rèn)字符ACK ；
(4)導(dǎo)出端接收到導(dǎo)入端回復(fù)的確認(rèn)字符ACK后，向旁觀者發(fā)送通告，告知副本此目錄進(jìn)入導(dǎo)出流程，待旁觀者回復(fù)確認(rèn)字符ACK后，更新日志信息；
(5)導(dǎo)出端將待導(dǎo)出目錄的狀態(tài)設(shè)為“正在導(dǎo)出”，并授權(quán)待導(dǎo)出目錄為授權(quán)爭(zhēng)議，調(diào)整本地負(fù)載，減去待導(dǎo)出目錄負(fù)載后，向?qū)攵税l(fā)送消息；
(6)導(dǎo)入端處理導(dǎo)出端發(fā)送來的消息，記錄日志并打開相關(guān)會(huì)話，向?qū)С龆嘶貜?fù)確認(rèn)字符 ACK ；
(7)導(dǎo)出端調(diào)整待導(dǎo)出目錄的授權(quán)并寫日志后，向旁觀者廣播此目錄授權(quán)信息已變更，等待旁觀者回復(fù)確認(rèn)字符ACK后，向?qū)攵税l(fā)送導(dǎo)出結(jié)束消息；
(8)導(dǎo)入端收到導(dǎo)出結(jié)束消息后，完成目錄導(dǎo)入，目錄迀移完成。
【主權(quán)項(xiàng)】
1.一種提升元數(shù)據(jù)集群性能的方法，其特征在于:該方法體系包括導(dǎo)出端、導(dǎo)入端和旁觀者三部分，該方法通過在所述導(dǎo)出端手動(dòng)執(zhí)行命令方式，將負(fù)載較大的元數(shù)據(jù)節(jié)點(diǎn)下的熱點(diǎn)目錄轉(zhuǎn)移到導(dǎo)入端，并更新旁觀者的目錄授權(quán)信息。
2.根據(jù)權(quán)利要求1所述的提升元數(shù)據(jù)集群性能的方法，其特征在于:所述導(dǎo)出端負(fù)責(zé)驅(qū)動(dòng)整個(gè)導(dǎo)出過程，所述導(dǎo)入端負(fù)責(zé)配合導(dǎo)出端完成目錄迀移，所述旁觀者為待導(dǎo)出目錄的副本的擁有者。
3.根據(jù)權(quán)利要求1或2所述的提升元數(shù)據(jù)集群性能的方法，其特征在于包括以下步驟: (1)將導(dǎo)出端的元數(shù)據(jù)中待導(dǎo)出的目錄分片保存到導(dǎo)出端的導(dǎo)出隊(duì)列，將導(dǎo)出端的元數(shù)據(jù)通過手動(dòng)執(zhí)行export命令觸發(fā)導(dǎo)出隊(duì)列，進(jìn)入導(dǎo)出流程； (2)將本地待導(dǎo)出目錄凍結(jié)，并發(fā)送消息到導(dǎo)入端，將待迀移目錄加載到導(dǎo)入端的緩存； (3 )導(dǎo)入端將待迀移目錄加載至本地后，將待迀移目錄標(biāo)記為授權(quán)爭(zhēng)議并凍結(jié)，隨后向?qū)С龆嘶貜?fù)確認(rèn)字符ACK ； (4)導(dǎo)出端接收到導(dǎo)入端回復(fù)的確認(rèn)字符ACK后，向旁觀者發(fā)送通告，告知副本此目錄進(jìn)入導(dǎo)出流程，待旁觀者回復(fù)確認(rèn)字符ACK后，更新日志信息； (5)導(dǎo)出端將待導(dǎo)出目錄的狀態(tài)設(shè)為“正在導(dǎo)出”，并授權(quán)待導(dǎo)出目錄為授權(quán)爭(zhēng)議，調(diào)整本地負(fù)載，減去待導(dǎo)出目錄負(fù)載后，向?qū)攵税l(fā)送消息； (6)導(dǎo)入端處理導(dǎo)出端發(fā)送來的消息，記錄日志并打開相關(guān)會(huì)話，向?qū)С龆嘶貜?fù)確認(rèn)字符 ACK ； (7)導(dǎo)出端調(diào)整待導(dǎo)出目錄的授權(quán)并寫日志后，向旁觀者廣播此目錄授權(quán)信息已變更，等待旁觀者回復(fù)確認(rèn)字符ACK后，向?qū)攵税l(fā)送導(dǎo)出結(jié)束消息； (8)導(dǎo)入端收到導(dǎo)出結(jié)束消息后，完成目錄導(dǎo)入，目錄迀移完成。
【專利摘要】本發(fā)明特別涉及一種提升元數(shù)據(jù)集群性能的方法。該提升元數(shù)據(jù)集群性能的方法體系包括導(dǎo)出端、導(dǎo)入端和旁觀者三部分，所述導(dǎo)出端負(fù)責(zé)驅(qū)動(dòng)整個(gè)導(dǎo)出過程，所述導(dǎo)入端負(fù)責(zé)配合導(dǎo)出端完成目錄遷移，所述旁觀者為待導(dǎo)出目錄的副本的擁有者；該方法通過在所述導(dǎo)出端手動(dòng)執(zhí)行命令方式，將負(fù)載較大的元數(shù)據(jù)節(jié)點(diǎn)下的熱點(diǎn)目錄轉(zhuǎn)移到導(dǎo)入端，并更新旁觀者的目錄授權(quán)信息。該提升元數(shù)據(jù)集群性能的方法，適用于支持多個(gè)元數(shù)據(jù)節(jié)點(diǎn)的分布式集群文件系統(tǒng)，在分布式集群文件系統(tǒng)的某個(gè)元數(shù)據(jù)負(fù)載較大時(shí)，能夠在元數(shù)據(jù)集群范圍內(nèi)平衡負(fù)載，提高元數(shù)據(jù)集群處理數(shù)據(jù)的效率，進(jìn)而有效提升系統(tǒng)性能。
【IPC分類】H04L29-08
【公開號(hào)】CN104580471
【申請(qǐng)?zhí)枴緾N201510013603
【發(fā)明人】程瑤
【申請(qǐng)人】浪潮電子信息產(chǎn)業(yè)股份有限公司
【公開日】2015年4月29日
【申請(qǐng)日】2015年1月12日