專利名稱：支持跨idc域功能的數(shù)據(jù)中心鏡像分發(fā)系統(tǒng)的制作方法
技術(shù)領域：
本發(fā)明涉及計算機科學中廣域網(wǎng)范圍的因特網(wǎng)數(shù)據(jù)中心的系統(tǒng)鏡像或文件的分發(fā)技術(shù)，特別是適用于對虛擬機系統(tǒng)鏡像或單個大型文件的大量分發(fā)。
背景技術(shù)：
因特網(wǎng)數(shù)據(jù)中心(Internet Data Center, IDC)是整個因特網(wǎng)的數(shù)據(jù)和服務的最主要支持者，它們往往分布在相距較遠的不同地域內(nèi)，彼此之間的網(wǎng)絡連接帶寬有限且成本高昂?；ヂ?lián)網(wǎng)企業(yè)或軟件服務公司的服務或應用一般都會部署在多個不同的IDC中，通過購買網(wǎng)絡連接帶寬實現(xiàn)不同IDC域之間應用的數(shù)據(jù)通信，帶寬小則影響數(shù)據(jù)通信性能，帶寬大則成本負擔太重。尤其是隨著虛擬化技術(shù)和數(shù)據(jù)中心技術(shù)的結(jié)合，IDC已廣泛采用虛擬機代替?zhèn)鹘y(tǒng)的物理機，在IDC域之間部署和傳輸虛擬機鏡像文件的需求逐漸上升。傳統(tǒng)方式的文件傳輸技術(shù)，比如ftp、http等，已根本無法有效解決上述需求問題。除了傳統(tǒng)的Client-Server方式的文件和數(shù)據(jù)傳輸技術(shù)外，對等網(wǎng)絡(Peer toPeer，P2P)方式早已成為整個互聯(lián)網(wǎng)使用最廣泛的文件、媒體等傳輸技術(shù)。P2P技術(shù)是一種面向應用的組網(wǎng)方式，其中的Peer端即為通常意義的客戶端，具有文件、網(wǎng)絡帶寬、磁盤存儲等資源，同時也具有文件等數(shù)據(jù)資源的傳輸需求。此外，在一些類型的P2P技術(shù)實現(xiàn)中還會包括tracker端,它是一個保存信息并對這些信息的請求進行響應的中心節(jié)點，負責發(fā)布資源信息。P2P網(wǎng)絡技術(shù)的主要目標是讓所有的客戶端(即Peer)都能提供資源，包括帶寬、存儲空間和計算能力，所以，當有更多的Peer加入且系統(tǒng)請求更多時，整個P2P網(wǎng)絡系統(tǒng)的容量也就更大。這是Client-Server結(jié)構(gòu)的固定服務器方式所不能夠?qū)崿F(xiàn)，因為在這種結(jié)構(gòu)中，客戶端的增加只會導致每個用戶的數(shù)據(jù)傳輸都變慢。傳統(tǒng)的P2P客戶端軟件都具有復雜的界面操作，僅適用于獨立用戶進行電影等資源的下載；而IDC域中的鏡像或文件分發(fā)系統(tǒng)與其目的不同，不能使用圖形界面，只能使用后臺進程運行的形式，并且接受遠程管理和控制。在分發(fā)系統(tǒng)中，功能和效率才是核心，并且不能占用太多的系統(tǒng)資源。同時，由于IDC域之間的網(wǎng)絡帶寬成本高昂，必須采用一定的措施減少帶寬資源的浪費，提高IDC域間網(wǎng)絡帶寬的有效利用率。

發(fā)明內(nèi)容
本發(fā)明以實現(xiàn)跨IDC域的快速鏡像分發(fā)為目標，設計了一套支持跨IDC域功能的鏡像分發(fā)系統(tǒng)，該系統(tǒng)除采用了基本的P2P網(wǎng)絡技術(shù)外，其設計重點包括了“橋頭堡”模式的雙層P2P網(wǎng)絡結(jié)構(gòu)，用以避免跨IDC域的重復數(shù)據(jù)流量，提高IDC域間的網(wǎng)絡帶寬效率，還包括了一個獨立的集中管理和控制功能節(jié)點，用以實現(xiàn)對分發(fā)系統(tǒng)中所有的節(jié)點的有效管理和控制。具體內(nèi)容包括:1.“橋頭堡”模式的雙層P2P網(wǎng)絡結(jié)構(gòu)在系統(tǒng)中，待分發(fā)的系統(tǒng)鏡像或文件被稱為資源，本系統(tǒng)對特定資源的分發(fā)使用了 “橋頭堡”模式的雙層P2P網(wǎng)絡結(jié)構(gòu)。在該模式的P2P網(wǎng)絡中，每個IDC域內(nèi)的Peer節(jié)點都處在同一個層次的P2P網(wǎng)絡中，它們互相可見，可以進行資源分片的傳輸；在每個IDC域中設置了若干具有公網(wǎng)IP地址的Peer節(jié)點，這些Peer節(jié)點稱為本IDC域的“橋頭堡”節(jié)點，只有“橋頭堡”節(jié)點可以進行IDC域間的資源分片傳輸。不同的資源具有不同的雙層P2P網(wǎng)絡結(jié)構(gòu)，每個資源在單個IDC域中只有一個“橋頭堡”節(jié)點。2.集中管理和控制功能除Peer節(jié)點和Tracker節(jié)點外，整個分發(fā)系統(tǒng)還設置有唯一的集中管理和控制功能節(jié)點，該節(jié)點與其它所有的Peer節(jié)點和Tracker節(jié)點通過http消息進行通信。集中管理和控制節(jié)點具有這樣的功能:查看Tracker和所有Peer節(jié)點的狀態(tài)信息JfPeer節(jié)點發(fā)出長傳或下載資源的控制指令，并且對Peer和Tracker節(jié)點進行管理配置；實時監(jiān)視整個P2P網(wǎng)絡的運行狀況。雖然P2P網(wǎng)絡技術(shù)已經(jīng)很成熟，但是其在IDC領域中的應用還非常少，尤其是在云計算和虛擬化技術(shù)的背景下，本系統(tǒng)所具有的創(chuàng)新點在于:(I)適用于IDC場景，支持虛擬機系統(tǒng)鏡像或文件的高效傳輸；(2)對特定分發(fā)目標資源，具有“橋頭堡”模式的雙層P2P網(wǎng)絡結(jié)構(gòu)的特征，能夠消除IDC域間可能的重復數(shù)據(jù)流量；(3)具有全局統(tǒng)一的集中管理和控制節(jié)點，負責對整個跨越多個IDC域的分發(fā)系統(tǒng)的方便控制和管理。


圖1鏡像分發(fā)系統(tǒng)組成結(jié)構(gòu)2鏡像分發(fā)系統(tǒng)部署3 “橋頭堡”模式雙層P2P網(wǎng)絡示意4 “橋頭堡”模式鏡像分發(fā)過程示意圖
具體實施例方式如圖1所示,鏡像分發(fā)系統(tǒng)是由大量Peer節(jié)點、一個Tracker節(jié)點和一個集中管理和控制節(jié)點構(gòu)成，系統(tǒng)管理員可以通過管理和控制節(jié)點完成對整個分發(fā)系統(tǒng)的有效管理和控制。Peer節(jié)點是分發(fā)系統(tǒng)的功能主體，具有查詢特定資源的Peer列表、上傳和下載資源的功能；Tracker節(jié)點負責記錄所有的Peer節(jié)點、實時記錄每個Peer節(jié)點正在上傳或下載的資源、維護特定資源的Peer列表、響應Peer節(jié)點的資源請求并返回資源Peer列表、管理IDC域等功能；集中管理和控制節(jié)點則負責查看Tracker和所有Peer節(jié)點的狀態(tài)信息，對Peer節(jié)點發(fā)出上傳或下載資源的控制指令,并且對Peer和Tracker節(jié)點進行管理配置，實時監(jiān)視整個P2P網(wǎng)絡的運行狀況。其中，只有管理和控制節(jié)點具有Web圖形管理界面，其它每個節(jié)點的功能都以系統(tǒng)后臺進程形式運行，所有節(jié)點之間都通過http消息進行通信。鏡像分發(fā)系統(tǒng)在跨IDC域的現(xiàn)實環(huán)境中的實際部署則如圖2所示=Peer節(jié)點分布部署在眾多的IDC域(圖示中IDC1-4)中，同一個IDC域內(nèi)的Peer節(jié)點可以自由進行消息通信和資源分片傳輸，其中大部分都是不可以跨越IDC域的普通Peer節(jié)點，只有少量的“橋頭堡”Peer節(jié)點可以進行IDC域間的消息通信和資源分片傳輸；Tracker節(jié)點是全局唯一的，它可以與所有Peer節(jié)點的進行消息傳遞，響應所有Peer節(jié)點的資源列表請求，返回對應資源的Peer列表；集中管理和控制節(jié)點則處在整個鏡像分發(fā)系統(tǒng)的邊緣，其部署位置可靈活確定，受系統(tǒng)管理的直接操作和控制，與所有的Peer節(jié)點以及Tracker節(jié)點進行消息通信，負責將系統(tǒng)管理員的所有控制操作通過系統(tǒng)定義的http消息發(fā)送給Tracker節(jié)點或?qū)腜eer節(jié)點?！皹蝾^堡”Peer節(jié)點要具有公網(wǎng)IP地址，從而能夠接收和處理其它任意Peer節(jié)點的連接請求。實現(xiàn)IDC域間網(wǎng)絡連接帶寬的高效利用和減少重復數(shù)據(jù)流量的關鍵在于本系統(tǒng)獨特的“橋頭堡”模式，該模式是雙層P2P網(wǎng)絡結(jié)構(gòu)。通過將單層扁平化的P2P網(wǎng)絡劃分層次，限制了 IDC域間可能引發(fā)的重復數(shù)據(jù)流量，提高了有限網(wǎng)絡帶寬的利用率?！皹蝾^堡”模式的雙層P2P網(wǎng)絡結(jié)構(gòu)如圖3所示，第一層P2P網(wǎng)絡是由虛線云圖所包括的Peer節(jié)點(圓形示意)構(gòu)成，每個Peer節(jié)點都可以是“橋頭堡”Peer節(jié)點，第一層P2P網(wǎng)絡跨越所有的IDC域；第二層P2P網(wǎng)絡則限制在單個IDC域內(nèi)，它是由實線云圖所包括的所有Peer節(jié)點構(gòu)成，Peer節(jié)點包括了 IDC域內(nèi)的所有普通Peer節(jié)點和“橋頭堡"Peer節(jié)點，圖中示意了 IDCA-D共四個二層P2P網(wǎng)絡。每個第二層P2P網(wǎng)絡中的普通Peer節(jié)點只能夠與本IDC域內(nèi)的所有節(jié)點進行消息通信和資源分片傳輸，每個第一層P2P網(wǎng)絡中的“橋頭堡”節(jié)點都可以與其它所有“橋頭堡”節(jié)點進行跨IDC域的資源分片傳輸。這樣，就把所有的跨IDC域的資源數(shù)據(jù)流量局限在了 “橋頭堡”Peer節(jié)點之間。“橋頭堡”模式的雙層P2P網(wǎng)絡結(jié)構(gòu)中的Peer節(jié)點并沒有實際的層次屬性劃分，其所處層次也不是固定不變的。對于每個Peer節(jié)點，它在雙層P2P網(wǎng)絡結(jié)構(gòu)中的層次位置既與它的IP地址相關，更直接取決于它對特定資源的Peer列表請求的返回結(jié)果。只有具備公網(wǎng)IP地址的Peer節(jié)點才有可能成為該IDC域的“橋頭堡”Peer節(jié)點，而能否最終成為“橋頭堡”節(jié)點則由Tracker的Peer列表返回結(jié)果所決定。一個資源的分發(fā)過程，對應一個不同的雙層P2P網(wǎng)絡結(jié)構(gòu)視圖，在該視圖的每個IDC域中只有一個“橋頭堡"Peer節(jié)點。如圖4所示，以某個位于Al節(jié)點的具體文件資源的分發(fā)過程為例說明:首先該文件資源存儲在Al節(jié)點，Al節(jié)點會向Tracker節(jié)點通告上傳文件資源，Tracker節(jié)點生成對應的信息；管理員通過集中管理和控制節(jié)點的操作通知A2、A3、A4、B2、B3、B4、C3、C4、C5、D3、D5和D6節(jié)點，上述所有節(jié)點向Tracker發(fā)送該文件資源的Peer列表請求，同時管理和控制節(jié)點與Tracker節(jié)點共同將A5、B5、C7和D7作為第一層P2P網(wǎng)絡節(jié)點納入到文件資源的下載過程中，Tracker節(jié)點對不同層次的Peer返回對應的Peer列表結(jié)果。對于A2節(jié)點，它的Peer列表請求結(jié)果包括了 Al、A3、A4和A5節(jié)點；對于B5節(jié)點，它的Peer列表請求結(jié)果包括了A5、C7和D7節(jié)點。這種動態(tài)非固定化的雙層P2P網(wǎng)絡結(jié)構(gòu)，可以提高整個鏡像分發(fā)系統(tǒng)的效率，避免靜態(tài)的固定式“橋頭堡”Peer節(jié)點可能引起的性能瓶頸問題。
權(quán)利要求
1.一種在多個因特網(wǎng)數(shù)據(jù)中心(IDC)環(huán)境中部署的基于P2P技術(shù)的鏡像分發(fā)系統(tǒng)，包括Peer節(jié)點、Tracker節(jié)點與集中管理和控制節(jié)點,其特征在于: (1)大量的Peer節(jié)點分布在多個IDC域環(huán)境中，每個Peer節(jié)點既可作為資源的上傳者，也可作為資源的下載者，都以系統(tǒng)后臺進程形式運行，無圖形化操作界面； (2)全局唯一的Tracker節(jié)點用于記錄系統(tǒng)中的所有Peer節(jié)點的信息、所有正在上傳和下載的資源信息、響應Peer節(jié)點對特定資源的Peer列表請求，以系統(tǒng)后臺進程形式運行，無圖形化操作界面； (3)全局唯一的集中管理和控制節(jié)點具有整個分發(fā)系統(tǒng)的圖形化管理和控制界面，由系統(tǒng)管理員進行控制操作向Peer節(jié)點和Tracker節(jié)點發(fā)送管理和控制命令消息； (4)所有系統(tǒng)節(jié)點都是用http消息進行通信。
2.如權(quán)利要求1所述的方法，其特征在于，所述大量的Peer節(jié)點構(gòu)成“橋頭堡”模式的雙層P2P網(wǎng)絡結(jié)構(gòu)，每個IDC域中都設置有具有公網(wǎng)IP地址的Peer節(jié)點，這些分布在不同IDC域中具有公網(wǎng)IP地址的所有Peer節(jié)點構(gòu)成第一層P2P網(wǎng)絡，該第一層P2P網(wǎng)絡內(nèi)的Peer節(jié)點被稱為“橋頭堡”節(jié)點，每個IDC域中的所有Peer節(jié)點分別構(gòu)成第二層P2P網(wǎng)絡，第一層P2P網(wǎng)絡跨越所有的IDC域，第二層P2P網(wǎng)絡則局限在單個IDC域內(nèi)；在資源傳輸方面，每個IDC域內(nèi)只有“橋頭堡”節(jié)點可以與其它“橋頭堡”節(jié)點進行跨IDC域的資源分片傳輸，第二層P2P網(wǎng)絡中所有節(jié)點都可以進行IDC域內(nèi)的資源分片傳輸。
3.如權(quán)利要求2所述的方法，其特征在于，“橋頭堡”模式的雙層P2P網(wǎng)絡結(jié)構(gòu)是動態(tài)非固定化的。
4.如權(quán)利要求1所述的方法，其特征在于，集中管理和控制節(jié)點的功能包括:查看Tracker和所有Peer節(jié)點的狀態(tài)信息；對Peer節(jié)點發(fā)出長傳或下載資源的控制指令,并且對Peer和Tracker節(jié)點進行管理配置；實時監(jiān)視整個P2P網(wǎng)絡的運行狀況。
5.如權(quán)利要求1所述的方法，其特征在于，系統(tǒng)可支持Linux和Windows操作系統(tǒng)。
全文摘要
一種部署在多個IDC域上的基于P2P技術(shù)的鏡像分發(fā)系統(tǒng)，支持虛擬機系統(tǒng)鏡像或文件的大規(guī)模分發(fā)部署，包括大量Peer節(jié)點、一個Tracker節(jié)點和一個集中管理和控制節(jié)點，具有“橋頭堡”模式的雙層P2P網(wǎng)絡結(jié)構(gòu)特點。Peer節(jié)點主要負責資源上傳和下載等；Tracker節(jié)點負責記錄Peer節(jié)點信息、資源的上傳和下載情況、響應Peer端的Peer列表請求等；集中管理和控制節(jié)點是整個鏡像分發(fā)系統(tǒng)的圖形化管理和控制界面，由系統(tǒng)管理員操作對Peer節(jié)點和Tracker節(jié)點通過http消息發(fā)送控制指令?！皹蝾^堡”模式的雙層P2P網(wǎng)絡結(jié)構(gòu)是支持跨IDC域特征的關鍵，它能夠通過減少IDC域間的重復數(shù)據(jù)流量來提高網(wǎng)絡連接帶寬的有效利用率。
文檔編號H04L29/08GK103078957SQ201310042619
公開日2013年5月1日 申請日期2013年2月1日 優(yōu)先權(quán)日2013年2月1日
發(fā)明者白躍彬, 呂多, 馬耀, 彭遠峰, 王忠釗, 畢重光, 程琨, 賈楊梅 申請人:北京航空航天大學