一種云存儲系統(tǒng)及基于該系統(tǒng)的文件副本部署方法
【專利摘要】本發(fā)明公開了一種云存儲系統(tǒng)及基于該系統(tǒng)的文件副本部署方法，用于提高云存儲中數(shù)據(jù)的可靠性和可用性，屬于分布式計算和云存儲【技術(shù)領(lǐng)域】。本發(fā)明針對分散式云計算模型的入口服務(wù)器節(jié)點，根據(jù)各服務(wù)器節(jié)點到入口節(jié)點的最小通信代價，以及根據(jù)自身的負(fù)載波動率所得到的最優(yōu)路徑的帶寬流暢度，對整個云計算模型進(jìn)行分群；然后根據(jù)副本的讀寫比率，對副本進(jìn)行合理的放置。本發(fā)明從整體上降低了網(wǎng)絡(luò)的通信代價，同時提高了副本可用性。本發(fā)明技術(shù)方案無論在存儲空間利用率上還是在通信代價上相比于傳統(tǒng)的副本放置方案有更大的優(yōu)勢。
【專利說明】一種云存儲系統(tǒng)及基于該系統(tǒng)的文件副本部署方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種云存儲系統(tǒng)及基于該系統(tǒng)的文件副本部署方法，用于提高云存儲中數(shù)據(jù)的可靠性和可用性，屬于分布式計算和云存儲【技術(shù)領(lǐng)域】。
【背景技術(shù)】
[0002]隨著計算機技術(shù)和網(wǎng)絡(luò)技術(shù)的發(fā)展，Internet的規(guī)模不斷的擴大，網(wǎng)絡(luò)帶寬也在不斷的提高。Internet的快速發(fā)展，各種各樣的信息被網(wǎng)羅其中，形成了一個巨大廣闊的信息空間，海量的數(shù)據(jù)存放在這個空間中。
[0003]傳統(tǒng)的集中式存儲系統(tǒng)把數(shù)據(jù)存放在一個單一的設(shè)備上，所有對數(shù)據(jù)的訪問和請求都要通過該設(shè)備。這種做法造成該設(shè)備的負(fù)載較大，成為系統(tǒng)的瓶頸，不能滿足大規(guī)模存儲對可靠性和安全性的需要。如何去存儲這些數(shù)據(jù)，讓用戶能夠快速高效的找到和獲取自己所需要的資源，是互聯(lián)網(wǎng)發(fā)展必須要解決的問題之一。
[0004]在此背景下，云存儲作為一種全新的解決方案被提出。云存儲系統(tǒng)通過集群應(yīng)用，網(wǎng)格技術(shù)或分布式文件系統(tǒng)等技術(shù)，將網(wǎng)絡(luò)中大量不同類型的存儲設(shè)備通過應(yīng)用軟件集合起來協(xié)同工作，共同對外提供數(shù)據(jù)存儲和業(yè)務(wù)訪問功能。不但提高了系統(tǒng)的可靠性、可用性和存取效率，還易于擴展。
[0005]在云存儲系統(tǒng)中，數(shù)據(jù)副本是其重要的組成部分。如何構(gòu)建一個較好的副本存儲模型，如何管理這些數(shù)據(jù)副本資源是云存儲系統(tǒng)數(shù)據(jù)副本管理的重要任務(wù)。將數(shù)據(jù)副本部署到合適的服務(wù)器節(jié)點，能夠有效提高數(shù)據(jù)的訪問速度、降低網(wǎng)絡(luò)帶寬消耗和均衡系統(tǒng)負(fù)載，同時可以保持?jǐn)?shù)據(jù)較高的可用率。
[0006]云存儲中的副本管理技術(shù)根據(jù)系統(tǒng)的需求并通過監(jiān)控系統(tǒng)的參數(shù)指標(biāo)對副本資源進(jìn)行動態(tài)規(guī)劃、調(diào)整，是影響云計算系統(tǒng)性能的核心要素之一。當(dāng)前云存儲特別是基于HDFS架構(gòu)的云存儲系統(tǒng)在該方面仍然存在著一些不足。首先基于HDFS架構(gòu)的云存儲系統(tǒng)在選擇副本放置時是隨機選擇的，這樣沒有考慮用戶訪問的通信代價。其次，一些常規(guī)的放置策略只是在現(xiàn)有模型中對副本實行代價最優(yōu)放置，但是在當(dāng)今海量數(shù)據(jù)面前，針對熱門數(shù)據(jù)，最優(yōu)路徑顯然不夠用，大量請求不是走最優(yōu)路徑，必須把帶寬流暢度加入副本部署的考慮因素中，因此研究一種新型云存儲副本管理模型及部署方案具有重要意義。

【發(fā)明內(nèi)容】

[0007]本發(fā)明所要解決的技術(shù)問題在于克服現(xiàn)有技術(shù)的不足，提供一種云存儲系統(tǒng)及基于該系統(tǒng)的文件副本部署方法，可以有效的提高文件副本的可用率。
[0008]本發(fā)明的云存儲系統(tǒng)，包括服務(wù)器集群，所述服務(wù)器集群包括m個外圍節(jié)點和η個內(nèi)部節(jié)點，n、m均為大于I的整數(shù)；外圍節(jié)點作為入口節(jié)點，不存儲文件副本，所有文件副本只存儲于內(nèi)部節(jié)點；每個內(nèi)部節(jié)點均維護有以下三類信息:該內(nèi)部節(jié)點到各外圍節(jié)點的最小通信代價路徑、該內(nèi)部節(jié)點到各外圍節(jié)點的最小通信代價、該內(nèi)部節(jié)點的相鄰節(jié)點信息；所述服務(wù)器集群被按照以下方法分為m個群:[0009]首先將m個外圍節(jié)點一一對應(yīng)地劃分給這m個群；然后將第i個內(nèi)部節(jié)點RNi歸入
[0010]
【權(quán)利要求】
1.一種云存儲系統(tǒng)，包括服務(wù)器集群，所述服務(wù)器集群包括m個外圍節(jié)點和η個內(nèi)部節(jié)點，n、m均為大于I的整數(shù)；其特征在于，外圍節(jié)點作為入口節(jié)點，不存儲文件副本，所有文件副本只存儲于內(nèi)部節(jié)點；每個內(nèi)部節(jié)點均維護有以下三類信息:該內(nèi)部節(jié)點到各外圍節(jié)點的最小通信代價路徑、該內(nèi)部節(jié)點到各外圍節(jié)點的最小通信代價、該內(nèi)部節(jié)點的相鄰節(jié)點信息；所述服務(wù)器集群被按照以下方法分為m個群: 首先將m個外圍節(jié)點——對應(yīng)地劃分給這m個群；然后將第i個內(nèi)部節(jié)點RNi歸Λ
2.如權(quán)利要求1所述云存儲系統(tǒng)，其特征在于，所述內(nèi)部節(jié)點RNi到外圍節(jié)點的最小通信代價路徑及最小通信代價利用迪杰斯特拉算法得到。
3.一種基于權(quán)利要求1或2所述云存儲系統(tǒng)的文件副本部署方法，其特征在于，對于需要增加新的副本的文件F，首先計算文件F在一段時間內(nèi)被讀訪問次數(shù)與被寫訪問次數(shù)的比值RWTf，并判斷RWTf是否大于一預(yù)設(shè)的閾值，如是，則首先確定文件F的主副本Fp所在的內(nèi)部節(jié)點RNfp所屬群Gfp的相鄰群集合G&，并比較內(nèi)部節(jié)點RNfp到中各群的外圍節(jié)點的最小通信代價，選出各最小通信代價中最小的外圍節(jié)點所在的群；然后從群Inin(Gfp)中選出到群GFp中的外圍節(jié)點 的各最小通信代價中最小的內(nèi)部節(jié)點，并將文件F新的副本部署于該內(nèi)部節(jié)點； 如否，則在文件F的主副本Fp所在的內(nèi)部節(jié)點RNfp所屬群Gfp中找出所有與內(nèi)部節(jié)點RNfi^鄰的內(nèi)部節(jié)點，并從中找出到群Gfp中的外圍節(jié)點I##的各最小通信代價中最小的內(nèi)部節(jié)點，將文件F新的副本部署于該內(nèi)部節(jié)點。
4.如權(quán)利要求3所述文件 副本部署方法，其特征在于，所述閾值為I。
【文檔編號】H04L29/08GK103763363SQ201410016140
【公開日】2014年4月30日 申請日期:2014年1月14日 優(yōu)先權(quán)日:2014年1月14日
【發(fā)明者】付雄, 貢曉杰, 朱鑫鑫, 王汝傳, 季一木, 韓志杰, 張琳 申請人:南京郵電大學(xué)