專利名稱：一種集群下的數(shù)據(jù)海量管理的系統(tǒng)的實(shí)現(xiàn)方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計(jì)算機(jī)領(lǐng)域，具體涉及一種集群下的數(shù)據(jù)海量管理的系統(tǒng)的實(shí)現(xiàn)方法。
背景技術(shù)：
管理是IT系統(tǒng)良性運(yùn)行的重要保障，不同的IT設(shè)備都有自己的管理系統(tǒng)。特別是大規(guī)模計(jì)算數(shù)據(jù)中心，必須通過集中的管理系統(tǒng)來運(yùn)行管理計(jì)算、存儲、網(wǎng)絡(luò)等設(shè)備，以能夠快速響應(yīng)和處理數(shù)據(jù)中心的業(yè)務(wù)變更、異常事件、持續(xù)優(yōu)化。在云計(jì)算環(huán)境下的數(shù)據(jù)中心，人們對計(jì)算機(jī)性能的要求越來越高，在工程設(shè)計(jì)，航空，生物科學(xué)，醫(yī)學(xué)，軍事等諸多領(lǐng)域的計(jì)算也越來越復(fù)雜，規(guī)模也在成級數(shù)的增長，如此龐大的計(jì)算任務(wù)，對于單個(gè)計(jì)算機(jī)是沒有辦法完成的，因此很多都使用超大規(guī)模的集群來進(jìn)行計(jì)算，在進(jìn)行大規(guī)模并行計(jì)算中，計(jì)算任務(wù)的調(diào)度是一個(gè)比較熱門的話題，同樣，計(jì)算完成如何管理數(shù)據(jù)同樣也是一個(gè)很重
要的話題，如何才能使得計(jì)算產(chǎn)生的數(shù)據(jù)，實(shí)時(shí)呈現(xiàn)在用戶面前，并且數(shù)據(jù)不發(fā)生混亂，很多科學(xué)計(jì)算中產(chǎn)生的數(shù)據(jù)都是保密性很高的數(shù)據(jù)，如何管理這些數(shù)據(jù)才能保證數(shù)據(jù)的安全性是個(gè)引人深思的問題。在云計(jì)算環(huán)境下，各自獨(dú)立分離的運(yùn)行模式不能支持云服務(wù)的展開，新的IT運(yùn)行模式對傳統(tǒng)的管理架構(gòu)提出了挑戰(zhàn)，對虛擬化，動態(tài)性，關(guān)聯(lián)性，自動化，實(shí)時(shí)性，高效性，安全性等的要求不斷提高，現(xiàn)有系統(tǒng)的問題實(shí)時(shí)性不強(qiáng)，用戶計(jì)算完成不能在計(jì)算任務(wù)真正完成以后就獲取到計(jì)算數(shù)據(jù)，總有一定延時(shí)；安全性不高，很多數(shù)據(jù)其實(shí)放入存儲中是沒有意義，以及對數(shù)據(jù)安全方面也有很多問題；正確性不高，在科學(xué)計(jì)算中如果有比較大的誤差產(chǎn)生，以至于可能影響生產(chǎn)的安全性；高效性不強(qiáng)，資源整體的利用率不高。

發(fā)明內(nèi)容
針對現(xiàn)有技術(shù)的不足，本發(fā)明提供一種集群下的數(shù)據(jù)海量管理的系統(tǒng)的實(shí)現(xiàn)方法，能夠保證數(shù)據(jù)的實(shí)時(shí)性，安全性，正確性，高效性。本發(fā)明提供的一種集群下的數(shù)據(jù)海量管理的系統(tǒng)的實(shí)現(xiàn)方法，其改進(jìn)之處在于，計(jì)算應(yīng)用程序計(jì)算作業(yè)完成后，將計(jì)算節(jié)點(diǎn)計(jì)算完成的數(shù)據(jù)通過作業(yè)的腳本處理過程拷貝到管理節(jié)點(diǎn)，當(dāng)拷貝出錯時(shí)，通過外圍線程管理過程進(jìn)行輔助拷貝，并修改數(shù)據(jù)狀態(tài)。其中，所述腳本處理過程為作業(yè)運(yùn)行完成后就自動拷貝到共享存儲。其中，所述外圍線程管理過程進(jìn)行輔助拷貝的步驟包括(I) PBS查詢計(jì)算節(jié)點(diǎn)；(2) Java進(jìn)程查詢數(shù)據(jù)庫中通過作業(yè)的腳本處理過程失敗的數(shù)據(jù)記錄；
(3)腳本打包，將通過作業(yè)的腳本處理過程失敗的數(shù)據(jù)拷貝到共享磁盤的共享目錄;(4)外圍線程更新數(shù)據(jù)庫成功標(biāo)記；(5)線程睡眠。若有需要，設(shè)定睡眠時(shí)間并進(jìn)行下一輪的輔助拷貝過程。其中，步驟(I) PBS查詢計(jì)算節(jié)點(diǎn)，并將作業(yè)的運(yùn)行狀態(tài)生成一個(gè)記賬文件。其中，通過java進(jìn)程監(jiān)控所述記賬文件的變換，并將所述記賬文件的變換實(shí)時(shí)寫入到mysql數(shù)據(jù)庫中，形成數(shù)據(jù)庫中對作業(yè)的歷史記錄信息；至少一個(gè)的歷史記錄信息構(gòu)成數(shù)據(jù)報(bào)表。其中，數(shù)據(jù)報(bào)表中設(shè)有索引功能，并且使用數(shù)據(jù)庫連接池存放η個(gè)數(shù)量的連接數(shù)。其中，數(shù)據(jù)拷貝時(shí)進(jìn)行加密設(shè)置。與現(xiàn)有技術(shù)比，本發(fā)明的有益效果為本發(fā)明能夠保證數(shù)據(jù)的實(shí)時(shí)性，安全性，正確性，高效性，避免用戶的數(shù)據(jù)被竊取，泄露。本發(fā)明處理了計(jì)算孤島、不均應(yīng)的問題、并設(shè)計(jì)了周期泄漏和延遲的結(jié)果普遍存在問題的對應(yīng)解法。本發(fā)明提升了用戶的云計(jì)算服務(wù)的體驗(yàn)。本發(fā)明提升了系統(tǒng)的穩(wěn)定性，可靠性。


圖I為本發(fā)明提供的多個(gè)刀片或者PC機(jī)節(jié)點(diǎn)之間通信示意圖。圖2為本發(fā)明提供的外圍線程管理過程進(jìn)行輔助拷貝的流程圖。
具體實(shí)施例方式下面結(jié)合附圖對本發(fā)明的具體實(shí)施方式
作進(jìn)一步的詳細(xì)說明。本實(shí)施例基于集群的分布式計(jì)算時(shí)多個(gè)刀片或者PC機(jī)節(jié)點(diǎn)之間通信示意圖如圖I所示，其通過高速局域網(wǎng)連接起來，并且配備一定的并行支持軟件，形成一個(gè)松散耦合的并行計(jì)算系統(tǒng)，使用PBS來進(jìn)行集群管理，作業(yè)調(diào)度。圖中分布式計(jì)算結(jié)構(gòu)包含三類節(jié)點(diǎn)，提交節(jié)點(diǎn)，管理節(jié)點(diǎn)，計(jì)算節(jié)點(diǎn)。提交節(jié)點(diǎn)負(fù)責(zé)將作業(yè)提交給PBS管理節(jié)點(diǎn)，管理節(jié)點(diǎn)對集群系統(tǒng)的資源進(jìn)行統(tǒng)一的監(jiān)控和合理調(diào)度，使集群各節(jié)點(diǎn)充分共享計(jì)算機(jī)的CPU，內(nèi)存，磁盤等資源，計(jì)算節(jié)點(diǎn)負(fù)責(zé)任務(wù)的計(jì)算工作，計(jì)算完成以后將結(jié)算結(jié)果返回給管理節(jié)點(diǎn)的存儲上，并且在集群系統(tǒng)的管理節(jié)點(diǎn)掛載NFS，所有計(jì)算節(jié)點(diǎn)都可以掛載訪問，管理節(jié)點(diǎn)是計(jì)算的核心，但它并不參數(shù)數(shù)據(jù)的計(jì)算，而只是對集群系統(tǒng)進(jìn)行管理，分別為任務(wù)管理，節(jié)點(diǎn)管理，通信管理，數(shù)據(jù)庫管理。本實(shí)施例在計(jì)算應(yīng)用程序計(jì)算作業(yè)完成后，進(jìn)行數(shù)據(jù)回收，即將計(jì)算節(jié)點(diǎn)計(jì)算完成的數(shù)據(jù)拷貝回管理節(jié)點(diǎn)，本實(shí)施例通過兩種方式來保證數(shù)據(jù)的實(shí)時(shí)性，高效性，正確性；I)通過作業(yè)的腳本來處理，即作業(yè)運(yùn)行完成就自動拷貝回共享存儲，本實(shí)施例是共享存儲，即本地磁盤的拷貝，不存在磁盤IO的問題，因此作業(yè)的計(jì)算和數(shù)據(jù)回收幾乎是同一個(gè)過程，可忽略其延時(shí)時(shí)間；
2)通過外圍線程來管理，其為輔助拷貝過程，流程圖如圖2所示。PBS查詢計(jì)算節(jié)點(diǎn)，對作業(yè)進(jìn)行管理，對每個(gè)作業(yè)的運(yùn)行狀態(tài)進(jìn)行記錄，會生成一個(gè)記賬文件來記錄作業(yè)的詳細(xì)信息。本發(fā)明使用一個(gè)java的進(jìn)程來監(jiān)控記賬文件的變化，并且實(shí)時(shí)寫入到mysql數(shù)據(jù)庫中，以形成數(shù)據(jù)庫中對作業(yè)的歷史記錄信息，將來可生成數(shù)據(jù)報(bào)表使用，隨著時(shí)間的不斷變化，數(shù)據(jù)庫中的數(shù)據(jù)會不斷增加，查詢的壓力也就不斷的增大，因此本實(shí)施例在歷史數(shù)據(jù)表中新建了索引，同時(shí)也使用了數(shù)據(jù)庫連接池來存放η個(gè)數(shù)量(η為正整數(shù))的連接數(shù)，使得數(shù)據(jù)庫的查詢效率更高，如第一種方式發(fā)生錯誤沒有將計(jì)算結(jié)果拷貝回存儲，第二種方式會有一個(gè)java線程不斷來監(jiān)控是否有數(shù)據(jù)自動回收失敗，若失敗將以腳本(即可以認(rèn)為是計(jì)算程序本身自己算完)打包，將通過作業(yè)的腳本處理過程失敗的數(shù)據(jù)拷貝到共享磁盤的共享目錄，然后再將記錄的狀態(tài)修改。此過程完成后線程進(jìn)入睡眠，若有需要，設(shè)定睡眠時(shí)間并進(jìn)行下一輪的輔助拷貝過程。用戶數(shù)據(jù)通過網(wǎng)絡(luò)傳輸?shù)皆朴?jì)算服務(wù)商時(shí)，通過嚴(yán)格的加密方式不讓用戶的數(shù)據(jù)被竊取，在云計(jì)算中產(chǎn)生的數(shù)據(jù)保證存儲數(shù)據(jù)的安全，存儲上的數(shù)據(jù)也是加密 的。同樣給用戶的傳輸?shù)慕Y(jié)果數(shù)據(jù)也是加密的。通過以上的方式能很好的保證數(shù)據(jù)的安全性，高效性，正確性，和實(shí)時(shí)性。讓用戶感覺不到計(jì)算和數(shù)據(jù)的管理是分開的。極大的提升的用戶體驗(yàn)，同時(shí)也強(qiáng)化了基礎(chǔ)架構(gòu)。最后應(yīng)當(dāng)說明的是以上實(shí)施例僅用以說明本發(fā)明的技術(shù)方案而非對其限制，盡管參照上述實(shí)施例對本發(fā)明進(jìn)行了詳細(xì)的說明，所屬領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解依然可以對本發(fā)明的具體實(shí)施方式
進(jìn)行修改或者等同替換，而未脫離本發(fā)明精神和范圍的任何修改或者等同替換，其均應(yīng)涵蓋在本發(fā)明的權(quán)利要求范圍當(dāng)中。
權(quán)利要求
1.一種集群下的數(shù)據(jù)海量管理的系統(tǒng)的實(shí)現(xiàn)方法，其特征在于，計(jì)算應(yīng)用程序計(jì)算作業(yè)完成后，將計(jì)算節(jié)點(diǎn)計(jì)算完成的數(shù)據(jù)通過作業(yè)的腳本處理過程拷貝到管理節(jié)點(diǎn)，當(dāng)拷貝出錯時(shí)，通過外圍線程管理過程進(jìn)行輔助拷貝，并修改數(shù)據(jù)狀態(tài)。
2.如權(quán)利要求I所述的實(shí)現(xiàn)方法，其特征在于，所述腳本處理過程為作業(yè)運(yùn)行完成后就自動拷貝到共享存儲。
3.如權(quán)利要求I所述的實(shí)現(xiàn)方法，其特征在于，所述外圍線程管理過程進(jìn)行輔助拷貝的步驟包括 (1)PBS查詢計(jì)算節(jié)點(diǎn)； (2)Java進(jìn)程查詢數(shù)據(jù)庫中通過作業(yè)的腳本處理過程失敗的數(shù)據(jù)記錄； (3)腳本打包，將通過作業(yè)的腳本處理過程失敗的數(shù)據(jù)拷貝到共享目錄； (4)外圍線程更新數(shù)據(jù)庫成功標(biāo)記； (5)線程睡眠。
4.如權(quán)利要求3所述的實(shí)現(xiàn)方法，其特征在于，步驟(I)PBS查詢計(jì)算節(jié)點(diǎn)，并將作業(yè)的運(yùn)行狀態(tài)生成一個(gè)記賬文件。
5.如權(quán)利要求4所述的實(shí)現(xiàn)方法，其特征在于，通過java進(jìn)程監(jiān)控所述記賬文件的變換，并將所述記賬文件的變換實(shí)時(shí)寫入到mysql數(shù)據(jù)庫中，形成數(shù)據(jù)庫中對作業(yè)的歷史記錄信息；至少一個(gè)的歷史記錄信息構(gòu)成數(shù)據(jù)報(bào)表。
6.如權(quán)利要求5所述的實(shí)現(xiàn)方法，其特征在于，數(shù)據(jù)報(bào)表中設(shè)有索引功能，并且使用數(shù)據(jù)庫連接池存放η個(gè)數(shù)量的連接數(shù)。
7.如權(quán)利要求I所述的實(shí)現(xiàn)方法，其特征在于，數(shù)據(jù)拷貝時(shí)進(jìn)行加密設(shè)置。
全文摘要
本發(fā)明屬于計(jì)算機(jī)領(lǐng)域，公開了一種集群下的數(shù)據(jù)海量管理的系統(tǒng)的實(shí)現(xiàn)方法，是在計(jì)算應(yīng)用程序計(jì)算作業(yè)完成后，將計(jì)算節(jié)點(diǎn)計(jì)算完成的數(shù)據(jù)通過作業(yè)的腳本處理過程拷貝到管理節(jié)點(diǎn)，當(dāng)拷貝出錯時(shí)，通過外圍線程管理過程進(jìn)行輔助拷貝，并修改數(shù)據(jù)狀態(tài)。本發(fā)明能夠保證數(shù)據(jù)的實(shí)時(shí)性，安全性，正確性，高效性。本發(fā)明處理了計(jì)算孤島、不均應(yīng)的處理、設(shè)計(jì)周期泄漏和延遲的結(jié)果普遍存在問題的對應(yīng)解決方法。并且本發(fā)明提升了系統(tǒng)的穩(wěn)定性，可靠性。
文檔編號G06F9/46GK102880832SQ201210309450
公開日2013年1月16日 申請日期2012年8月28日 優(yōu)先權(quán)日2012年8月28日
發(fā)明者呂灼恒 申請人:曙光信息產(chǎn)業(yè)(北京)有限公司