專利名稱：分布式數(shù)據(jù)中心數(shù)據(jù)冗余消除方法
技術(shù)領(lǐng)域：
本發(fā)明屬于網(wǎng)絡(luò)體系結(jié)構(gòu)技術(shù)領(lǐng)域，特別涉及一種分布式數(shù)據(jù)中心數(shù)據(jù)冗余消除方法。
背景技術(shù)：
近年來，隨著信息技術(shù)和網(wǎng)絡(luò)技術(shù)的發(fā)展，云存儲、云計算以及搜索引擎等新技術(shù)迅速發(fā)展，作為“云”基礎(chǔ)的數(shù)據(jù)中心網(wǎng)絡(luò)迅速發(fā)展，數(shù)據(jù)中心網(wǎng)絡(luò)的規(guī)模越來越大，這就給數(shù)據(jù)中心網(wǎng)絡(luò)的組織帶來了極大的挑戰(zhàn)，由于數(shù)據(jù)中心網(wǎng)絡(luò)要求高可靠性，因此在數(shù)據(jù)中心網(wǎng)絡(luò)中，采用冗余備份的方法來保證數(shù)據(jù)中心的高可靠性是非常見的，這些冗余備份對于可靠性而言是必要的，但也造成很多傳輸?shù)臄?shù)據(jù)的冗余(相同的數(shù)據(jù)在網(wǎng)絡(luò)中多次傳輸)，這些冗余是不必要的；另一方面，隨著“云”提供的服務(wù)越來越多樣化，一些服務(wù)比其他服務(wù)在特定的時間內(nèi)更受歡迎，這就造成這些應(yīng)用的數(shù)據(jù)在這段時間內(nèi)傳輸比其他服務(wù)更加多，這種受歡迎程度的不同造成了相同(或者相似)的數(shù)據(jù)在數(shù)據(jù)中心網(wǎng)絡(luò)中重復(fù)傳輸，即數(shù)據(jù)中心傳輸數(shù)據(jù)冗余，同時冗余程度也隨著這些應(yīng)用的受歡迎程度的不同而有所差別。目前，針對網(wǎng)絡(luò)中冗余數(shù)據(jù)的消除機制研究已經(jīng)廣泛開展，在較早的研究中，消除網(wǎng)絡(luò)冗余數(shù)據(jù)通過網(wǎng)絡(luò)緩存、代理服務(wù)器的方式，將在網(wǎng)絡(luò)中已經(jīng)傳輸?shù)臄?shù)據(jù)(這個文件) 在離目的節(jié)點較近的設(shè)備上緩存下來，在相同的數(shù)據(jù)請求達(dá)到的時候，代理服務(wù)器將緩存的數(shù)據(jù)發(fā)送到請求服務(wù)器，從而達(dá)到降低網(wǎng)絡(luò)流量的目的；spring等人在2000年提出了協(xié)議無關(guān)冗余消除機制(protocol-ind印endent RE)，通過這種方法，在網(wǎng)絡(luò)中傳輸?shù)臄?shù)據(jù)間的冗余在更小的粒度(數(shù)據(jù)包層面或者數(shù)據(jù)塊層面)被發(fā)現(xiàn)和消除，從而達(dá)到更好的冗余消除的效果；此后，更多的冗余消除機制被提出來，A. Muthitacharoen和S. Annapureddy 等人研究了給予內(nèi)容的命名機制；Anand等人提出了將冗余消除作為IP層的一種服務(wù)的冗余消除機制和協(xié)調(diào)緩存的冗余消除機制SmartRE ；B. Aggarwall等人提出了端系統(tǒng) (End-system)冗余消除機制?，F(xiàn)有的冗余消除機制應(yīng)用到數(shù)據(jù)中心網(wǎng)絡(luò)中至少存在以下不足1)現(xiàn)有的冗余消除機制都是集中式的冗余消除機制。由于數(shù)據(jù)中心的規(guī)模非常大，在數(shù)據(jù)中心網(wǎng)絡(luò)中，服務(wù)器數(shù)量常常是幾千甚至幾萬數(shù)量級。盡管集中式的冗余消除機制一定程度上也可以部署到數(shù)據(jù)中心網(wǎng)絡(luò)中，部署集中式的冗余消除機制必然導(dǎo)致較高的延遲，這對于那些對延遲要求高的數(shù)據(jù)中心(比如搜索引擎等)來說是不可接受的。2)現(xiàn)有的冗余消除機制忽略了數(shù)據(jù)間冗余程度的差別?，F(xiàn)有的冗余消除機制要么沒有從全網(wǎng)的角度對數(shù)據(jù)緩存進(jìn)行調(diào)度，使得不同的冗余度的數(shù)據(jù)緩存到不同的網(wǎng)絡(luò)“最佳”中間節(jié)點中，要么只是將數(shù)據(jù)隨機緩存到中間節(jié)點，這些緩存位置選擇的機制都沒有充分利用數(shù)據(jù)冗余程度的差別的特點來達(dá)到更佳的緩存效果?；矛F(xiàn)有的冗余消除機制沒有充分利用數(shù)據(jù)中心網(wǎng)絡(luò)的特點。數(shù)據(jù)中心網(wǎng)絡(luò)的一個最突出的特點是在數(shù)據(jù)中心網(wǎng)絡(luò)中，所有的設(shè)備(服務(wù)器和中間節(jié)點)都部署在一個相對比較小的空間中，這個特點使得數(shù)據(jù)中心網(wǎng)絡(luò)可以充分無線廣播技術(shù)來實現(xiàn)信息的快速擴散。

發(fā)明內(nèi)容
為了克服上述現(xiàn)有技術(shù)的不足，本發(fā)明的目的在于提供一種分布式數(shù)據(jù)中心數(shù)據(jù)冗余消除方法，充分利用數(shù)據(jù)中心網(wǎng)絡(luò)特點，使得數(shù)據(jù)中心網(wǎng)絡(luò)可以充分無線廣播技術(shù)來實現(xiàn)信息的快速擴散。為了實現(xiàn)上述目的，本發(fā)明采用的技術(shù)方案是分布式數(shù)據(jù)中心數(shù)據(jù)冗余消除方法，源服務(wù)器將數(shù)據(jù)通過中間節(jié)點發(fā)送至目標(biāo)服務(wù)器，在所述中間節(jié)點增加緩存，傳輸數(shù)據(jù)時中間節(jié)點緩存已經(jīng)傳輸?shù)臄?shù)據(jù)并將自身的緩存信息通知源服務(wù)器，從而在源服務(wù)器發(fā)送數(shù)據(jù)時，通過判斷，如果在傳輸路徑中該數(shù)據(jù)已經(jīng)緩存，則通過發(fā)送壓縮形式的數(shù)據(jù)到緩存該數(shù)據(jù)的中間節(jié)點，該中間節(jié)點將壓縮形式的數(shù)據(jù)進(jìn)行解碼還原成原始數(shù)據(jù)并轉(zhuǎn)發(fā)到目標(biāo)服務(wù)器，完成傳輸。在所述中間節(jié)點、源服務(wù)器以及目標(biāo)服務(wù)器上都設(shè)置有無線網(wǎng)卡，以實現(xiàn)緩存信息共享，中間節(jié)點通過無線網(wǎng)卡廣播其緩存信息，每個服務(wù)器維護(hù)一個緩存，當(dāng)服務(wù)器接收到來自中間節(jié)點廣播的緩存信息時，服務(wù)器將這些信息記錄在緩存中。所述廣播采用輪訓(xùn)的方式，中間節(jié)點按照一定的順序進(jìn)行編號，當(dāng)其中一個中間節(jié)點結(jié)束廣播時，下一個中間節(jié)點緊接著進(jìn)行廣播它的緩存信息，廣播時，每個中間節(jié)點廣播時間相同，都為一個單位時間T。當(dāng)源服務(wù)器發(fā)送數(shù)據(jù)時，如果該數(shù)據(jù)需要在某個中間節(jié)點中進(jìn)行緩存，那么服務(wù)器首先計算該數(shù)據(jù)緩存到不同中間節(jié)點的預(yù)期緩存效用，并選擇其中預(yù)期緩存效用最大的中間節(jié)點作為待緩存該數(shù)據(jù)的中間節(jié)點，將數(shù)據(jù)Cli緩存到中間節(jié)點在、到t2時間內(nèi)的
預(yù)期緩存效
權(quán)利要求
1.分布式數(shù)據(jù)中心數(shù)據(jù)冗余消除方法，源服務(wù)器將數(shù)據(jù)通過中間節(jié)點發(fā)送至目標(biāo)服務(wù)器，其特征在于，在所述中間節(jié)點增加緩存，傳輸數(shù)據(jù)時中間節(jié)點緩存已經(jīng)傳輸?shù)臄?shù)據(jù)并將自身的緩存信息通知源服務(wù)器，從而在源服務(wù)器發(fā)送數(shù)據(jù)時，通過判斷，如果在傳輸路徑中該數(shù)據(jù)已經(jīng)緩存，則通過發(fā)送壓縮形式的數(shù)據(jù)到緩存該數(shù)據(jù)的中間節(jié)點，該中間節(jié)點將壓縮形式的數(shù)據(jù)進(jìn)行解碼還原成原始數(shù)據(jù)并轉(zhuǎn)發(fā)到目標(biāo)服務(wù)器，完成傳輸。
2.根據(jù)權(quán)利要求1所述分布式數(shù)據(jù)中心數(shù)據(jù)冗余消除方法，其特征在于，在所述中間節(jié)點、源服務(wù)器以及目標(biāo)服務(wù)器上都設(shè)置有無線網(wǎng)卡，以實現(xiàn)緩存信息共享，中間節(jié)點通過無線網(wǎng)卡廣播其緩存信息，每個服務(wù)器維護(hù)一個緩存，當(dāng)服務(wù)器接收到來自中間節(jié)點廣播的緩存信息時，服務(wù)器將這些信息記錄在緩存中。
3.根據(jù)權(quán)利要求2所述分布式數(shù)據(jù)中心數(shù)據(jù)冗余消除方法，其特征在于，所述廣播采用輪訓(xùn)的方式，中間節(jié)點按照一定的順序進(jìn)行編號，當(dāng)其中一個中間節(jié)點結(jié)束廣播時，下一個中間節(jié)點緊接著進(jìn)行廣播它的緩存信息，廣播時，每個中間節(jié)點廣播時間相同，都為一個單位時間T。
4.根據(jù)權(quán)利要求1至3任一權(quán)利要求所述分布式數(shù)據(jù)中心數(shù)據(jù)冗余消除方法，其特征在于，當(dāng)源服務(wù)器發(fā)送數(shù)據(jù)時，如果該數(shù)據(jù)需要在某個中間節(jié)點中進(jìn)行緩存，那么服務(wù)器首先計算該數(shù)據(jù)緩存到不同中間節(jié)點的預(yù)期緩存效用，并選擇其中預(yù)期緩存效用最大的中間節(jié)點作為待緩存該數(shù)據(jù)的中間節(jié)點，將數(shù)據(jù)Cli緩存到中間節(jié)點1^在、到t2時間內(nèi)的預(yù)期緩存效用豸^^人)=Σ，其中u(i，j，k，ti; t2)為冗余消除的效j=VrkePj用，其算法如下在數(shù)據(jù)中心網(wǎng)絡(luò)中，需要發(fā)送的數(shù)據(jù)的集合為W1, d2，......，dM}，中間節(jié)點集合為R=Ir1, r2......，r|K|)，路徑集合為{Pl，p2，......，p|P|)，為數(shù)據(jù)(Ii在路徑的傳輸次數(shù)的期望，如果在中間節(jié)點中緩存了數(shù)據(jù)屯，并且中間節(jié)點對Cli的壓縮編碼d' i進(jìn)行解碼，則在、到t2時間內(nèi)冗余消除的效用= ΟιΛ) * (Μ - \d'\) * hP] k，其中tpic是路徑h的源節(jié)點到中間節(jié)點的跳數(shù)。
5.根據(jù)權(quán)利要求4所述分布式數(shù)據(jù)中心數(shù)據(jù)冗余消除方法，其特征在于，每個中間節(jié)點進(jìn)行廣播時，預(yù)期緩存效用最大的數(shù)據(jù)的緩存信息首先廣播出去。
6.根據(jù)權(quán)利要求1所述分布式數(shù)據(jù)中心數(shù)據(jù)冗余消除方法，其特征在于，所述中間節(jié)點為路由器或交換機。
全文摘要
一種分布式數(shù)據(jù)中心數(shù)據(jù)冗余消除方法，在服務(wù)器和中間節(jié)點中增加緩存和無線網(wǎng)卡；中間節(jié)點緩存源服務(wù)器間發(fā)送的數(shù)據(jù)；源服務(wù)器記錄哪些中間節(jié)點緩存了哪些數(shù)據(jù)的信息；中間節(jié)點和服務(wù)器之間通過無線廣播方式共享緩存信息；源服務(wù)器發(fā)送數(shù)據(jù)時，對數(shù)據(jù)緩存到不同中間節(jié)點帶來的緩存效用進(jìn)行比較，挑選使得緩存效用最大的中間節(jié)點使用；中間節(jié)點在接受緩存某個數(shù)據(jù)任務(wù)時，通過比較執(zhí)行緩存任務(wù)帶來的效用與替換出去的緩存數(shù)據(jù)的效用，決定是否執(zhí)行；中間節(jié)點將其中的緩存數(shù)據(jù)的緩存信息廣播給所有服務(wù)器；服務(wù)器在發(fā)送相同的數(shù)據(jù)時，根據(jù)中間節(jié)點中的緩存情況對數(shù)據(jù)進(jìn)行壓縮編碼；中間節(jié)點對壓縮編碼的數(shù)據(jù)進(jìn)行解碼轉(zhuǎn)發(fā)，完成數(shù)據(jù)傳輸。
文檔編號H04L1/00GK102571974SQ201210023268
公開日2012年7月11日 申請日期2012年2月2日 優(yōu)先權(quán)日2012年2月2日
發(fā)明者崔勇, 廖春鵬, 王弘毅 申請人:清華大學(xué)