專利名稱：一種云環(huán)境下海量數(shù)據(jù)資源管理框架的制作方法
技術(shù)領(lǐng)域：
本發(fā)明屬于數(shù)據(jù)庫(kù)技術(shù)領(lǐng)域，特別涉及一種云環(huán)境下海量數(shù)據(jù)資源管理框架。
背景技術(shù)：
隨著互聯(lián)網(wǎng)的飛速發(fā)展，很多應(yīng)用的數(shù)據(jù)量都達(dá)到了 TB級(jí)別甚至PB級(jí)別，如 Google已經(jīng)在全球部署了 100多萬(wàn)臺(tái)服務(wù)器用來(lái)處理它龐大的數(shù)據(jù)量faceBook每天上載的照片均超過(guò)了 1億張以上，每天照片的瀏覽量超過(guò)150億張以上，隨著!^ceBook最近的進(jìn)入中國(guó)市場(chǎng)的步伐加快，其數(shù)據(jù)量將更加面臨著一個(gè)直線的上升。2010年9月份圖片共享網(wǎng)站Flickr所收錄的上傳圖片數(shù)量超過(guò)了 50億張。所有的這些數(shù)據(jù)存儲(chǔ)在不同的數(shù)據(jù)中心、集群和服務(wù)器中，這是一個(gè)非常復(fù)雜的異構(gòu)環(huán)境。如何管理這些海量數(shù)據(jù)資源，使之能夠以安全、高效、一致的方式提供按需服務(wù)是目前云環(huán)境下數(shù)據(jù)資源管理面臨的一個(gè)巨大的困難和挑戰(zhàn)。

發(fā)明內(nèi)容
為了克服上述現(xiàn)有技術(shù)的不足，本發(fā)明的目的在于提供一種云環(huán)境下海量數(shù)據(jù)資源管理框架，可以實(shí)現(xiàn)對(duì)云環(huán)境下異構(gòu)的海量資源的統(tǒng)一管理和組織，從而更好地服務(wù)于人類需求。為了實(shí)現(xiàn)上述目的，本發(fā)明采用的技術(shù)方案是一種云環(huán)境下海量數(shù)據(jù)資源管理框架，包括物理存儲(chǔ)層，包含存儲(chǔ)域與分布式文件系統(tǒng)，用于存儲(chǔ)互聯(lián)網(wǎng)中的所有數(shù)據(jù)；海量存儲(chǔ)網(wǎng)，是指所有的物理節(jié)點(diǎn)都抽象與虛擬化成邏輯節(jié)點(diǎn)，組成的一個(gè)存儲(chǔ)網(wǎng)絡(luò)，為后續(xù)的資源分配、調(diào)度、副本管理與調(diào)度提供基礎(chǔ)；數(shù)據(jù)轉(zhuǎn)換層，將各種異構(gòu)的結(jié)構(gòu)化或者非結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)換成為統(tǒng)一的云數(shù)據(jù)庫(kù)系統(tǒng)存儲(chǔ)的數(shù)據(jù)；數(shù)據(jù)管理層，管理所有存儲(chǔ)在云數(shù)據(jù)庫(kù)中的被轉(zhuǎn)換后的數(shù)據(jù)；安全管理層；資源組合層，根據(jù)應(yīng)用層對(duì)資源的需求，對(duì)下層的資源進(jìn)行資源組合，提供滿足應(yīng)用層需求的各種服務(wù)；應(yīng)用層，將用戶的需求進(jìn)行無(wú)損分解，形成云數(shù)據(jù)庫(kù)能夠提供的各種資源，然后通過(guò)資源組合得到用戶所需要的各種云服務(wù)。所述云數(shù)據(jù)庫(kù)支持從其他各種數(shù)據(jù)源轉(zhuǎn)換過(guò)來(lái)的數(shù)據(jù)并將其存儲(chǔ)，例如，我國(guó)清華大學(xué)開發(fā)的 THCloudDB (TsingHua Cloud DataBase)系統(tǒng)。所述物理存儲(chǔ)層中，存儲(chǔ)域由數(shù)據(jù)中心集群、各種企業(yè)集群和普通服務(wù)器組成；分布式文件系統(tǒng)能夠讓PB級(jí)的數(shù)據(jù)量分布在各種節(jié)點(diǎn)上面。所述安全管理層包括可信監(jiān)控、云資源認(rèn)證中心及其云安全協(xié)議CSP，其中可信監(jiān)控能夠?qū)λ匈Y源進(jìn)行可信監(jiān)控，云資源認(rèn)證中心對(duì)云環(huán)境下的所有資源進(jìn)行認(rèn)證，包括對(duì)應(yīng)用層的每個(gè)應(yīng)用程序以及應(yīng)用程序所有接口進(jìn)行認(rèn)證；對(duì)云數(shù)據(jù)庫(kù)系統(tǒng)進(jìn)行認(rèn)證；對(duì)云系統(tǒng)中的所有參與者進(jìn)行認(rèn)證；對(duì)云存儲(chǔ)系統(tǒng)中的每個(gè)數(shù)據(jù)中心，集群及其服務(wù)器進(jìn)行認(rèn)證。本發(fā)明與現(xiàn)有技術(shù)相比，建立了一個(gè)包含物理存儲(chǔ)層、海量存儲(chǔ)網(wǎng)、數(shù)據(jù)轉(zhuǎn)換層、 數(shù)據(jù)管理層、安全管理層、資源組合層及其應(yīng)用層的云環(huán)境下的海量數(shù)據(jù)資源組織與管理框架，實(shí)現(xiàn)了對(duì)云環(huán)境下海量數(shù)據(jù)資源的管理與組織，從而更好地服務(wù)于人類。


圖1為本發(fā)明的云環(huán)境下海量資源組織與管理體系架構(gòu)框圖。圖2為本發(fā)明所述海量存儲(chǔ)網(wǎng)框圖，圓圈表示將實(shí)際的每個(gè)物理存儲(chǔ)節(jié)點(diǎn)都虛擬后的邏輯節(jié)點(diǎn)，Ni, N2,……都是對(duì)邏輯節(jié)點(diǎn)的編號(hào)，物理節(jié)點(diǎn)之間的物理連接在該存儲(chǔ)網(wǎng)中用線條連接，用Setl, Set2,……表示節(jié)點(diǎn)與節(jié)點(diǎn)之間的數(shù)據(jù)流量，如節(jié)點(diǎn)Nm+2與節(jié)點(diǎn) Np之間的流量用kt T表示。圖3為本發(fā)明所述THCloudDB的體系架構(gòu)框圖。圖4為本發(fā)明所述云安全協(xié)議CSP框圖。
具體實(shí)施例方式下面結(jié)合附圖和實(shí)施例對(duì)本發(fā)明做進(jìn)一步詳細(xì)說(shuō)明。如圖1所示，本發(fā)明為一種云環(huán)境下海量數(shù)據(jù)資源管理框架，云數(shù)據(jù)庫(kù)支持從其他各種數(shù)據(jù)源轉(zhuǎn)換過(guò)來(lái)的數(shù)據(jù)并將其存儲(chǔ)，本實(shí)施例為我國(guó)清華大學(xué)開發(fā)的 THCloudDB(TsingHua Cloud DataBase)系統(tǒng)，本發(fā)明包括物理存儲(chǔ)層，主要由存儲(chǔ)域和分布式文件系統(tǒng)組成，它用于存儲(chǔ)互聯(lián)網(wǎng)中所有的數(shù)據(jù)。存儲(chǔ)域是指存儲(chǔ)各種互聯(lián)網(wǎng)數(shù)據(jù)的實(shí)際的物理設(shè)備，主要包括專用的數(shù)據(jù)中心集群 (主要是指專門給提供數(shù)據(jù)中心服務(wù)的機(jī)構(gòu)和企業(yè))、各個(gè)企業(yè)自己的數(shù)據(jù)中心集群(企業(yè)自建的數(shù)據(jù)中心)及其各種存儲(chǔ)服務(wù)器(有些企業(yè)沒(méi)有建立數(shù)據(jù)中心，則直接用存儲(chǔ)服務(wù)器存儲(chǔ))等等組成。分布式文件系統(tǒng)提供一種存儲(chǔ)策略，將互聯(lián)網(wǎng)上海量的PB級(jí)、EB級(jí)甚至觀級(jí)的數(shù)據(jù)分布存儲(chǔ)在各種村粗?jǐn)?shù)據(jù)節(jié)點(diǎn)上。本發(fā)明使用清華大學(xué)自己研發(fā)的分布式文件系統(tǒng)THDFS (TsingHua Distributed File System)作為文件存儲(chǔ)策略，將云環(huán)境下各種數(shù)據(jù)分布存儲(chǔ)在各種存儲(chǔ)數(shù)據(jù)節(jié)點(diǎn)上。物理層上由很多不同的云組成，云與云之間互相同構(gòu)或者異構(gòu)。數(shù)據(jù)塊可能存儲(chǔ)在不用的云中，如Ni，N2，……，Nll等等數(shù)據(jù)塊它們的數(shù)據(jù)副本可能存儲(chǔ)在不同的云中，如m在圖1中存儲(chǔ)在兩個(gè)不同的云中。同構(gòu)的云之間進(jìn)行各種交互比較簡(jiǎn)單，但是在異構(gòu)的云之間進(jìn)行數(shù)據(jù)交互則將十分復(fù)雜和困難，故云與云之間需要進(jìn)行互操作，建立的統(tǒng)一的互操作的標(biāo)準(zhǔn)可以實(shí)現(xiàn)在同構(gòu)或者異構(gòu)云之間進(jìn)行交互，從而屏蔽掉各種異構(gòu)云的差別，做到對(duì)外統(tǒng)一與透明。在物理層中再使用虛擬化技術(shù)， 將各種物理上的存儲(chǔ)節(jié)點(diǎn)虛擬化成為一個(gè)邏輯上的存儲(chǔ)節(jié)點(diǎn)，為構(gòu)建海量存儲(chǔ)網(wǎng)提供抽象基礎(chǔ)，海量存儲(chǔ)網(wǎng)為后續(xù)的資源分配、調(diào)度、副本管理與調(diào)度提供基礎(chǔ)；當(dāng)海量存儲(chǔ)網(wǎng)形成后，將互聯(lián)網(wǎng)中所有的數(shù)據(jù)通過(guò)海量存儲(chǔ)網(wǎng)歸類(當(dāng)海量存儲(chǔ)網(wǎng)更新時(shí)，可以動(dòng)態(tài)交互)并存儲(chǔ)到相應(yīng)的存儲(chǔ)系統(tǒng)中。其中RDBMS(Relational DataBase Management System)為關(guān)系數(shù)據(jù)庫(kù)系統(tǒng)；ORDBMS (Object Relational DataBase Management System)為對(duì)象關(guān)系數(shù)據(jù)庫(kù)系統(tǒng)；NoSQL(非關(guān)系型數(shù)據(jù)庫(kù))；Document (文檔)及其Others (其他數(shù)據(jù)源)等等。然后將各種數(shù)據(jù)來(lái)源統(tǒng)一進(jìn)行數(shù)據(jù)轉(zhuǎn)換成 THCloudDB (TingHua CloudDataBase)來(lái)進(jìn)行統(tǒng)一存儲(chǔ)。THCloudDB數(shù)據(jù)管理中心對(duì)應(yīng)著THCloudDB數(shù)據(jù)庫(kù)系統(tǒng)的管理功能，對(duì)THCloudDB 數(shù)據(jù)庫(kù)中的所有數(shù)據(jù)及其元數(shù)據(jù)、索引、數(shù)據(jù)庫(kù)安全等等進(jìn)行數(shù)據(jù)的管理監(jiān)控。云安全層包含可信監(jiān)控、云資源認(rèn)證中心及其CSP (Cloud SecurityProtocol，云安全協(xié)議)三大部分，它負(fù)責(zé)整個(gè)環(huán)境的安全管理。THCloudDB數(shù)據(jù)管理中心、THCloudDB、 所有各種數(shù)據(jù)源、海量存儲(chǔ)網(wǎng)及其所有的物理存儲(chǔ)節(jié)點(diǎn)都需要由該層進(jìn)行安全監(jiān)控與管理。在最上層應(yīng)用層中，所有的應(yīng)用都以用戶的需求為驅(qū)動(dòng)，整個(gè)應(yīng)用環(huán)境具有跨域、 異構(gòu)及其在云復(fù)雜網(wǎng)絡(luò)環(huán)境下。通過(guò)將這些用戶的需求進(jìn)行分解，分解過(guò)程中得知完成該應(yīng)用需要的資源(如在某個(gè)應(yīng)用中需要Ni，N4, N6及其WO四個(gè)資源)。在獲取應(yīng)用所需資源時(shí)候，需要通過(guò)THCloudD數(shù)據(jù)管理中心讀取相應(yīng)資源(如N1，N4, N6及其附0)。最后根據(jù)這些讀取的資源組合成用戶需求驅(qū)動(dòng)的某個(gè)復(fù)雜云(存儲(chǔ))應(yīng)用。海量存儲(chǔ)網(wǎng)，如圖2所示，底層數(shù)據(jù)存儲(chǔ)在復(fù)雜的異構(gòu)環(huán)境中，為了更好地管理并利用成千上萬(wàn)的服務(wù)器進(jìn)行云環(huán)境下的分布式存儲(chǔ)服務(wù)，在本層將所有的物理節(jié)點(diǎn)都抽象與虛擬化成邏輯節(jié)點(diǎn)，組成一個(gè)巨大的海量存儲(chǔ)網(wǎng)絡(luò)，從而為后續(xù)的資源分配、調(diào)度、副本管理與調(diào)度等等提供了一個(gè)基礎(chǔ)；海量存儲(chǔ)網(wǎng)的生成與更新基本方法如下步驟1 掃描“心跳”XML文件，若無(wú)新節(jié)點(diǎn)增加，也無(wú)節(jié)點(diǎn)刪除，維持原海量存儲(chǔ)圖不變，若有新節(jié)點(diǎn)增加，則轉(zhuǎn)到步驟2，若有節(jié)點(diǎn)刪除則轉(zhuǎn)到步驟3，其中“心跳” XML文件是分布式文件系統(tǒng)元數(shù)據(jù)管理節(jié)點(diǎn)固有的一個(gè)XML文件；步驟2 當(dāng)有新的節(jié)點(diǎn)增加時(shí)，判斷該新節(jié)點(diǎn)位置，并找到該節(jié)點(diǎn)物理連接的另外一節(jié)點(diǎn)，在該新增節(jié)點(diǎn)與物理連接節(jié)點(diǎn)之間連接一條線，并轉(zhuǎn)向步驟4;步驟3 當(dāng)有節(jié)點(diǎn)被刪除時(shí)，判斷該節(jié)點(diǎn)位置，并找到與該節(jié)點(diǎn)相連的所有其他物理節(jié)點(diǎn)，將它們之間的所有連線均刪除，并轉(zhuǎn)向步驟5 ；步驟4:計(jì)算該節(jié)點(diǎn)負(fù)載量，并將節(jié)點(diǎn)負(fù)載節(jié)點(diǎn)提交資源遷移算法，報(bào)告該節(jié)點(diǎn)的實(shí)際負(fù)載情況，以供其參考；步驟5 計(jì)算該刪除節(jié)點(diǎn)的存儲(chǔ)資源內(nèi)容包括資源名稱和數(shù)量，并轉(zhuǎn)向步驟6 ；步驟6 根據(jù)步驟5的內(nèi)容，計(jì)算需要復(fù)制的資源及其數(shù)量，并將結(jié)果提交給資源遷移算法與副本管理與控制算法；步驟7 循環(huán)進(jìn)行節(jié)點(diǎn)增加或者刪除判斷；步驟8 若無(wú)新節(jié)點(diǎn)增加，或者無(wú)節(jié)點(diǎn)被刪除，則算法終止。海量存儲(chǔ)網(wǎng)的負(fù)載平衡，海量存儲(chǔ)網(wǎng)的負(fù)載平衡主要考慮云環(huán)境下的數(shù)據(jù)存儲(chǔ)盡量保持平衡，以免出現(xiàn)有些節(jié)點(diǎn)過(guò)于繁忙，而其他節(jié)點(diǎn)則過(guò)于清閑的狀態(tài)，其基本方法如下步驟1 計(jì)算節(jié)點(diǎn)的當(dāng)前負(fù)載情況；
步驟2 獲取當(dāng)前存儲(chǔ)網(wǎng)總負(fù)載，并計(jì)算出每個(gè)節(jié)點(diǎn)平均負(fù)載；步驟3 若當(dāng)前節(jié)點(diǎn)負(fù)載大致等于平均負(fù)載，則該節(jié)點(diǎn)不發(fā)送任何信號(hào)，即不接受新資源，也不發(fā)送新資源；步驟4 若當(dāng)前節(jié)點(diǎn)負(fù)載小于平均負(fù)載，則該節(jié)點(diǎn)的副本標(biāo)記為Flag(R) =0，表示該節(jié)點(diǎn)可以接收遷移過(guò)來(lái)的資源；步驟5 若當(dāng)前節(jié)點(diǎn)負(fù)載大于平均負(fù)載，則該節(jié)點(diǎn)的副本標(biāo)記為Flag(R) = 1，表示該節(jié)點(diǎn)不再接收遷移過(guò)來(lái)的資源；步驟6 重復(fù)步驟1到步驟5，不斷維持該海量存儲(chǔ)網(wǎng)的負(fù)載平衡。海量存儲(chǔ)網(wǎng)的資源遷移，其基本方法如下步驟1 計(jì)算海量存儲(chǔ)網(wǎng)中各個(gè)節(jié)點(diǎn)資源的熱度；步驟2 若該節(jié)點(diǎn)的資源為原創(chuàng)資源，則不管其資源熱度大還是小，則均不遷移；步驟3 若該節(jié)點(diǎn)的資源為副本資源，則判斷其是否和原創(chuàng)資源在同一機(jī)架，若在同一機(jī)架則不遷移，否則轉(zhuǎn)到步驟4 ；步驟4:計(jì)算該資源最熱點(diǎn)訪問(wèn)服務(wù)器，將該資源遷移到海量存儲(chǔ)網(wǎng)中的訪問(wèn)該資源的熱點(diǎn)服務(wù)器中存儲(chǔ)，該熱點(diǎn)服務(wù)器必須滿足條件Flag(R) = 0，否則找其次熱服務(wù)器，以此類推；步驟5 在整個(gè)海量存儲(chǔ)網(wǎng)中重復(fù)步驟1到步驟4，動(dòng)態(tài)維持遷移。海量存儲(chǔ)網(wǎng)的副本管理與控制，其基本方法如下步驟1 副本在本地?cái)?shù)據(jù)節(jié)點(diǎn)創(chuàng)建，并復(fù)制；步驟2 副本復(fù)制按照數(shù)據(jù)重要性進(jìn)行，對(duì)于特別重要的數(shù)據(jù)復(fù)制4份，對(duì)于一般重要的數(shù)據(jù)復(fù)制3份，對(duì)于不重要的數(shù)據(jù)復(fù)制2份；步驟3 對(duì)于特別重要的數(shù)據(jù)本數(shù)據(jù)節(jié)點(diǎn)的機(jī)架內(nèi)放置兩份，其中另外的兩份， 通過(guò)對(duì)該數(shù)據(jù)的熱點(diǎn)進(jìn)行分析，將其放置在出本地?cái)?shù)據(jù)節(jié)點(diǎn)機(jī)架之外的最重要的兩個(gè)熱點(diǎn)機(jī)架之中存儲(chǔ)；步驟4 對(duì)于一般重要的數(shù)據(jù)本數(shù)據(jù)節(jié)點(diǎn)的機(jī)架內(nèi)放置兩份，其中另外的一份， 通過(guò)對(duì)該數(shù)據(jù)的熱點(diǎn)進(jìn)行分析，將其放置在出本地?cái)?shù)據(jù)節(jié)點(diǎn)機(jī)架之外的最重要的一個(gè)熱點(diǎn)機(jī)架之中存儲(chǔ)；步驟5 對(duì)于不重要的數(shù)據(jù)本數(shù)據(jù)節(jié)點(diǎn)的機(jī)架內(nèi)放置一份，其中另外的一份，通過(guò)對(duì)該數(shù)據(jù)的熱點(diǎn)進(jìn)行分析，將其放置在出本地?cái)?shù)據(jù)節(jié)點(diǎn)機(jī)架之外的最重要的一個(gè)熱點(diǎn)機(jī)架之中存儲(chǔ)。數(shù)據(jù)轉(zhuǎn)換層，將各種異構(gòu)的結(jié)構(gòu)化或者非結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)換成為統(tǒng)一的云數(shù)據(jù)庫(kù)系統(tǒng)存儲(chǔ)的數(shù)據(jù)，海量存儲(chǔ)網(wǎng)中包含了各類虛擬節(jié)點(diǎn)，每個(gè)單獨(dú)的節(jié)點(diǎn)以及不同的節(jié)點(diǎn)都可能存儲(chǔ)著各種不同類型的數(shù)據(jù)格式的數(shù)據(jù)，為了統(tǒng)一數(shù)據(jù)資源格式，統(tǒng)一為用戶提供更好的服務(wù)，將各種數(shù)據(jù)通過(guò)數(shù)據(jù)轉(zhuǎn)換，轉(zhuǎn)換成為消除各種不同語(yǔ)義格式的THCloudDB數(shù)據(jù)庫(kù)中的數(shù)據(jù)，其基本方法如下步驟1 判斷數(shù)據(jù)來(lái)源，如果是關(guān)系數(shù)據(jù)庫(kù)，首先在數(shù)據(jù)讀取前第一行做標(biāo)記Flag =0，隨后將數(shù)據(jù)按行讀入到云數(shù)據(jù)庫(kù)中的數(shù)據(jù)表中；步驟2 判斷數(shù)據(jù)來(lái)源，如果是非關(guān)系數(shù)據(jù)庫(kù)，首先在數(shù)據(jù)讀取前第一行做標(biāo)記 Flag = 1，隨后將數(shù)據(jù)按列讀入到云數(shù)據(jù)庫(kù)中的數(shù)據(jù)表中；
8
步驟3:重復(fù)步驟1和步驟2，直到將數(shù)據(jù)中心、集群或者服務(wù)器中數(shù)據(jù)均存儲(chǔ)到云數(shù)據(jù)庫(kù)中為止。數(shù)據(jù)管理層，管理所有存儲(chǔ)在云數(shù)據(jù)庫(kù)中的被轉(zhuǎn)換后的數(shù)據(jù)，參見(jiàn)圖3，本實(shí)施例中，THCLoudDB是一種云環(huán)境下的分布式數(shù)據(jù)庫(kù)管理系統(tǒng)，該系統(tǒng)主要存儲(chǔ)并管理從其他各種數(shù)據(jù)源轉(zhuǎn)化而來(lái)的數(shù)據(jù)，THCLoudDB是一種分布式、稀疏以及行列混合存儲(chǔ)的數(shù)據(jù)庫(kù)系統(tǒng)，THCLoudDB數(shù)據(jù)庫(kù)是一種混合數(shù)據(jù)庫(kù)，它既可以按照行存儲(chǔ)也可以按照列存儲(chǔ)，它的數(shù)據(jù)模型可以表示如下
權(quán)利要求
1.一種云環(huán)境下海量數(shù)據(jù)資源管理框架，其特征在于，包括物理存儲(chǔ)層，包含存儲(chǔ)域與分布式文件系統(tǒng)，用于存儲(chǔ)互聯(lián)網(wǎng)中的所有數(shù)據(jù)； 海量存儲(chǔ)網(wǎng)，是指所有的物理節(jié)點(diǎn)都抽象與虛擬化成邏輯節(jié)點(diǎn)，組成的一個(gè)存儲(chǔ)網(wǎng)絡(luò)， 為后續(xù)的資源分配、調(diào)度、副本管理與調(diào)度提供基礎(chǔ)；數(shù)據(jù)轉(zhuǎn)換層，將各種異構(gòu)的結(jié)構(gòu)化或者非結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)換成為統(tǒng)一的云數(shù)據(jù)庫(kù)系統(tǒng)存儲(chǔ)的數(shù)據(jù)；數(shù)據(jù)管理層，管理所有存儲(chǔ)在云數(shù)據(jù)庫(kù)中的被轉(zhuǎn)換后的數(shù)據(jù)； 安全管理層；資源組合層，根據(jù)應(yīng)用層對(duì)資源的需求，對(duì)下層的資源進(jìn)行資源組合，提供滿足應(yīng)用層需求的各種服務(wù)；應(yīng)用層，將用戶的需求進(jìn)行無(wú)損分解，形成云數(shù)據(jù)庫(kù)能夠提供的各種資源，然后通過(guò)資源組合得到用戶所需要的各種云服務(wù)。
2.根據(jù)權(quán)利要求1所述的云環(huán)境下海量數(shù)據(jù)資源管理框架，其特征在于，所述云數(shù)據(jù)庫(kù)支持從其他各種數(shù)據(jù)源轉(zhuǎn)換過(guò)來(lái)的數(shù)據(jù)并將其存儲(chǔ)。
3.根據(jù)權(quán)利要求2所述的云環(huán)境下海量數(shù)據(jù)資源管理框架，其特征在于，所述云數(shù)據(jù)庫(kù)為清華大學(xué)的 iTsingHua Cloud DataBase。
4.根據(jù)權(quán)利要求1所述的云環(huán)境下海量數(shù)據(jù)資源管理框架，其特征在于，所述存儲(chǔ)域由數(shù)據(jù)中心集群、各種企業(yè)集群和普通服務(wù)器組成；所述分布式文件系統(tǒng)能夠讓PB級(jí)的數(shù)據(jù)量分布在各種節(jié)點(diǎn)上面。
5.根據(jù)權(quán)利要求1所述的云環(huán)境下海量數(shù)據(jù)資源管理框架，其特征在于，通過(guò)如下方法實(shí)現(xiàn)海量存儲(chǔ)網(wǎng)的生成與更新步驟1 掃描“心跳” XML文件，若無(wú)新節(jié)點(diǎn)增加，也無(wú)節(jié)點(diǎn)刪除，維持原海量存儲(chǔ)圖不變，若有新節(jié)點(diǎn)增加，則轉(zhuǎn)到步驟2，若有節(jié)點(diǎn)刪除則轉(zhuǎn)到步驟3，其中“心跳”XML文件是分布式文件系統(tǒng)元數(shù)據(jù)管理節(jié)點(diǎn)固有的一個(gè)XML文件；步驟2:當(dāng)有新的節(jié)點(diǎn)增加時(shí)，判斷該新節(jié)點(diǎn)位置，并找到該節(jié)點(diǎn)物理連接的另外一節(jié)點(diǎn)，在該新增節(jié)點(diǎn)與物理連接節(jié)點(diǎn)之間連接一條線，并轉(zhuǎn)向步驟4;步驟3:當(dāng)有節(jié)點(diǎn)被刪除時(shí)，判斷該節(jié)點(diǎn)位置，并找到與該節(jié)點(diǎn)相連的所有其他物理節(jié)點(diǎn)，將它們之間的所有連線均刪除，并轉(zhuǎn)向步驟5 ；步驟4 計(jì)算該節(jié)點(diǎn)負(fù)載量，并將節(jié)點(diǎn)負(fù)載節(jié)點(diǎn)提交資源遷移算法，報(bào)告該節(jié)點(diǎn)的實(shí)際負(fù)載情況，以供其參考；步驟5 計(jì)算該刪除節(jié)點(diǎn)的存儲(chǔ)資源內(nèi)容包括資源名稱和數(shù)量，并轉(zhuǎn)向步驟6 ； 步驟6 根據(jù)步驟5的內(nèi)容，計(jì)算需要復(fù)制的資源及其數(shù)量，并將結(jié)果提交給資源遷移算法與副本管理與控制算法；步驟7 循環(huán)進(jìn)行節(jié)點(diǎn)增加或者刪除判斷；步驟8 若無(wú)新節(jié)點(diǎn)增加，或者無(wú)節(jié)點(diǎn)被刪除，則算法終止。
6.根據(jù)權(quán)利要求1所述的云環(huán)境下海量數(shù)據(jù)資源管理框架，其特征在于，通過(guò)如下方法實(shí)現(xiàn)海量存儲(chǔ)網(wǎng)的負(fù)載平衡步驟1 計(jì)算節(jié)點(diǎn)的當(dāng)前負(fù)載情況；步驟2 獲取當(dāng)前存儲(chǔ)網(wǎng)總負(fù)載，并計(jì)算出每個(gè)節(jié)點(diǎn)平均負(fù)載；步驟3 若當(dāng)前節(jié)點(diǎn)負(fù)載大致等于平均負(fù)載，則該節(jié)點(diǎn)不發(fā)送任何信號(hào)，即不接受新資源，也不發(fā)送新資源；步驟4 若當(dāng)前節(jié)點(diǎn)負(fù)載小于平均負(fù)載，則該節(jié)點(diǎn)的副本標(biāo)記為Flag(R) =0，表示該節(jié)點(diǎn)可以接收遷移過(guò)來(lái)的資源；步驟5 若當(dāng)前節(jié)點(diǎn)負(fù)載大于平均負(fù)載，則該節(jié)點(diǎn)的副本標(biāo)記為Flag(R) = 1，表示該節(jié)點(diǎn)不再接收遷移過(guò)來(lái)的資源；步驟6 重復(fù)步驟1到步驟5，不斷維持該海量存儲(chǔ)網(wǎng)的負(fù)載平衡。
7.根據(jù)權(quán)利要求1所述的云環(huán)境下海量數(shù)據(jù)資源管理框架，其特征在于，通過(guò)如下方法實(shí)現(xiàn)海量存儲(chǔ)網(wǎng)的資源遷移步驟1 計(jì)算海量存儲(chǔ)網(wǎng)中各個(gè)節(jié)點(diǎn)資源的熱度；步驟2 若該節(jié)點(diǎn)的資源為原創(chuàng)資源，則不管其資源熱度大還是小，則均不遷移； 步驟3 若該節(jié)點(diǎn)的資源為副本資源，則判斷其是否和原創(chuàng)資源在同一機(jī)架，若在同一機(jī)架則不遷移，否則轉(zhuǎn)到步驟4 ；步驟4:計(jì)算該資源最熱點(diǎn)訪問(wèn)服務(wù)器，將該資源遷移到海量存儲(chǔ)網(wǎng)中的訪問(wèn)該資源的熱點(diǎn)服務(wù)器中存儲(chǔ)，該熱點(diǎn)服務(wù)器必須滿足條件Flag(R) = 0，否則找其次熱服務(wù)器，以此類推；步驟5 在整個(gè)海量存儲(chǔ)網(wǎng)中重復(fù)步驟1到步驟4，動(dòng)態(tài)維持遷移。
8.根據(jù)權(quán)利要求1所述的云環(huán)境下海量數(shù)據(jù)資源管理框架，其特征在于，通過(guò)如下方法實(shí)現(xiàn)海量存儲(chǔ)網(wǎng)的副本管理與控制步驟1 副本在本地?cái)?shù)據(jù)節(jié)點(diǎn)創(chuàng)建，并復(fù)制；步驟2 副本復(fù)制按照數(shù)據(jù)重要性進(jìn)行，對(duì)于特別重要的數(shù)據(jù)復(fù)制4份，對(duì)于一般重要的數(shù)據(jù)復(fù)制3份，對(duì)于不重要的數(shù)據(jù)復(fù)制2份；步驟3 對(duì)于特別重要的數(shù)據(jù)本數(shù)據(jù)節(jié)點(diǎn)的機(jī)架內(nèi)放置兩份，其中另外的兩份，通過(guò)對(duì)該數(shù)據(jù)的熱點(diǎn)進(jìn)行分析，將其放置在出本地?cái)?shù)據(jù)節(jié)點(diǎn)機(jī)架之外的最重要的兩個(gè)熱點(diǎn)機(jī)架之中存儲(chǔ)；步驟4 對(duì)于一般重要的數(shù)據(jù)本數(shù)據(jù)節(jié)點(diǎn)的機(jī)架內(nèi)放置兩份，其中另外的一份，通過(guò)對(duì)該數(shù)據(jù)的熱點(diǎn)進(jìn)行分析，將其放置在出本地?cái)?shù)據(jù)節(jié)點(diǎn)機(jī)架之外的最重要的一個(gè)熱點(diǎn)機(jī)架之中存儲(chǔ)；步驟5:對(duì)于不重要的數(shù)據(jù)本數(shù)據(jù)節(jié)點(diǎn)的機(jī)架內(nèi)放置一份，其中另外的一份，通過(guò)對(duì)該數(shù)據(jù)的熱點(diǎn)進(jìn)行分析，將其放置在出本地?cái)?shù)據(jù)節(jié)點(diǎn)機(jī)架之外的最重要的一個(gè)熱點(diǎn)機(jī)架之中存儲(chǔ)。
9.根據(jù)權(quán)利要求1所述的云環(huán)境下海量數(shù)據(jù)資源管理框架，其特征在于，數(shù)據(jù)轉(zhuǎn)換層通過(guò)如下方法來(lái)實(shí)現(xiàn)將各種異構(gòu)的結(jié)構(gòu)化或者非結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)換成為統(tǒng)一的云數(shù)據(jù)庫(kù)系統(tǒng)存儲(chǔ)的數(shù)據(jù)步驟1 判斷數(shù)據(jù)來(lái)源，如果是關(guān)系數(shù)據(jù)庫(kù)，首先在數(shù)據(jù)讀取前第一行做標(biāo)記Flag = 0， 隨后將數(shù)據(jù)按行讀入到云數(shù)據(jù)庫(kù)中的數(shù)據(jù)表中；步驟2 判斷數(shù)據(jù)來(lái)源，如果是非關(guān)系數(shù)據(jù)庫(kù)，首先在數(shù)據(jù)讀取前第一行做標(biāo)記Flag = 1，隨后將數(shù)據(jù)按列讀入到云數(shù)據(jù)庫(kù)中的數(shù)據(jù)表中；步驟3 重復(fù)步驟1和步驟2，直到將數(shù)據(jù)中心、集群或者服務(wù)器中數(shù)據(jù)均存儲(chǔ)到云數(shù)據(jù)庫(kù)中為止。
10.根據(jù)權(quán)利要求1所述的云環(huán)境下海量數(shù)據(jù)資源管理框架，其特征在于，所述安全管理層包括可信監(jiān)控、云資源認(rèn)證中心及其云安全協(xié)議CSP，其中可信監(jiān)控能夠?qū)λ匈Y源進(jìn)行可信監(jiān)控，云資源認(rèn)證中心對(duì)云環(huán)境下的所有資源進(jìn)行認(rèn)證，包括 對(duì)應(yīng)用層的每個(gè)應(yīng)用程序以及應(yīng)用程序所有接口進(jìn)行認(rèn)證； 對(duì)云數(shù)據(jù)庫(kù)系統(tǒng)進(jìn)行認(rèn)證； 對(duì)云系統(tǒng)中的所有參與者進(jìn)行認(rèn)證； 對(duì)云存儲(chǔ)系統(tǒng)中的每個(gè)數(shù)據(jù)中心，集群及其服務(wù)器進(jìn)行認(rèn)證。
全文摘要
本發(fā)明為一種云環(huán)境下海量數(shù)據(jù)資源管理框架，包括物理存儲(chǔ)層、海量存儲(chǔ)網(wǎng)、數(shù)據(jù)轉(zhuǎn)換層、數(shù)據(jù)管理層、安全管理層、資源組合層和應(yīng)用層，其中涉及的述云數(shù)據(jù)庫(kù)支持從其他各種數(shù)據(jù)源轉(zhuǎn)換過(guò)來(lái)的數(shù)據(jù)并將其存儲(chǔ)，例如，我國(guó)清華大學(xué)開發(fā)的THCloudDB系統(tǒng)，本發(fā)明可以實(shí)現(xiàn)對(duì)云環(huán)境下異構(gòu)的海量資源的統(tǒng)一管理和組織，為云環(huán)境下的海量、異構(gòu)的數(shù)據(jù)組織和管理提供了一套完整的解決方案。
文檔編號(hào)H04L29/08GK102222090SQ20111014780
公開日2011年10月19日 申請(qǐng)日期2011年6月2日 優(yōu)先權(quán)日2011年6月2日
發(fā)明者張勇, 張桂剛, 李超, 邢春曉 申請(qǐng)人:清華大學(xué)