基于數(shù)據(jù)規(guī)模和流行程度的虛擬資產(chǎn)數(shù)據(jù)副本處理方法
【專利摘要】本發(fā)明公開一種基于數(shù)據(jù)規(guī)模和流行程度的虛擬資產(chǎn)副本處理方法，包括以下步驟：首先根據(jù)數(shù)據(jù)規(guī)模大小決定數(shù)據(jù)副本數(shù)量，然后根據(jù)加權(quán)一致性hash算法映射到對應(yīng)的機器節(jié)點上。按照加權(quán)改進一致性hash算法對副本進行分配，數(shù)據(jù)先被分配到hash之后的虛擬節(jié)點，再被物理的存儲到虛擬節(jié)點對應(yīng)的物理節(jié)點。之后隨流行程度的變化以及數(shù)據(jù)塊的大小對數(shù)據(jù)副本進行相應(yīng)調(diào)整，并根據(jù)機器節(jié)點的變化，進行進一步調(diào)整；本發(fā)明將基于數(shù)據(jù)規(guī)模和流行程度的虛擬資產(chǎn)數(shù)據(jù)副本模型應(yīng)用到海量虛擬資產(chǎn)信息存儲當(dāng)中，提高了查詢效率，同時在一定程度上節(jié)省了存儲資源。
【專利說明】
基于數(shù)據(jù)規(guī)模和流行程度的虛擬資產(chǎn)數(shù)據(jù)副本處理方法
技術(shù)領(lǐng)域
[0001] 本技術(shù)屬于網(wǎng)絡(luò)與信息安全領(lǐng)域，涉及一種基于數(shù)據(jù)規(guī)模和流行程度的數(shù)據(jù)副本 動態(tài)處理方法。
【背景技術(shù)】
[0002] 由于信息技術(shù)的飛速發(fā)展，數(shù)據(jù)爆炸已成為當(dāng)前的一個突出問題，因此，海量數(shù)據(jù) 管理技術(shù)也已成為人們的研究熱點。
[0003] 近年來，人們嘗試提出了多種方法用于海量數(shù)據(jù)管理。如，Zaman S等[1]提出了 一種副本放置節(jié)點選擇的分布式算法，并將該問題轉(zhuǎn)化為背包問題，在考慮對副本訪問頻 率的基礎(chǔ)上，提出了一種近似算法。該方法以優(yōu)化用戶訪問時間為目標，但其有效使用范圍 卻會受到限制。Kumar N等[2]提出了一種基于概率的信任感知型數(shù)據(jù)副本放置策略，定義 了副本代價函數(shù)和信任計算指標，據(jù)此確定數(shù)據(jù)副本的放置位置。該方法面向特定網(wǎng)絡(luò)的 特殊情境，不能直接應(yīng)用于云存儲系統(tǒng)。Han Guodong等[3]提出了一種認知型副本放置方 法，根據(jù)用戶需求信息，啟發(fā)式地完成數(shù)據(jù)副本的分發(fā)和放置，通信時延低，運行開銷小。該 方法是針對內(nèi)容分發(fā)網(wǎng)絡(luò)數(shù)據(jù)傳輸開銷大的問題開展的，卻同樣難以直接應(yīng)用于云存儲。 Sun Dawei等[4]面向提高云系統(tǒng)可用性的需要，通過建立數(shù)學(xué)模型，描述了系統(tǒng)有效性和 副本數(shù)量的關(guān)系，給出了副本數(shù)量計算方法和副本復(fù)制算法。然而，該方法主要是從理論角 度研究如何實現(xiàn)數(shù)據(jù)副本在云環(huán)境下的均衡布局，卻沒有給出具體的數(shù)據(jù)副本放置機制。
[0004] [1]Zaman S, Grosu D. A distributed algorithm for the replica placement problem[J]. IEEE Transactions on,2011,22 (9):1455-1468.
[0005] [2]Kumar N, Kim J. Probabilistic trust aware data replica place-ment strategy for online video streaming applications delay tolerant networks[J]. Mathematical and Computer Modelling, 2013, 58(1):3-14.
[0006] [3]Han Guodong, Zhu Yige, Zhang Fan. A dynamic replica place-ment approach based on cognition[J]. Jisuanji Yingyong yu Ruanjian, 2013, 30(1):83-87.
[0007] [4]Sun Dawei, Chang Guiran, Gao Shang. Modeling a dynamic data replication strategy to increase system avail-ability in cloud computing[J]. Journal of computer science and technology, 2012, 27(2):256-272.

【發(fā)明內(nèi)容】

[0008] 針對已有技術(shù)缺陷，本發(fā)明提出了一種基于數(shù)據(jù)規(guī)模和流行程度的虛擬資產(chǎn)副本 處理方法，該方法將數(shù)據(jù)副本模型應(yīng)用到虛擬資產(chǎn)海量信息的存儲當(dāng)中，不僅能提高查詢 效率，同時也能在一定程度上節(jié)省存儲資源。
[0009] 本發(fā)明的技術(shù)方案包括：初始副本的處理和動態(tài)副本的處理。
[0010] 1)、初始副本的處理
[0011] 初始副本的處理主要針對一個新數(shù)據(jù)塊的副本數(shù)量及位置進行初始化，首先根據(jù) 數(shù)據(jù)規(guī)模的大小決定數(shù)據(jù)副本數(shù)量，然后再根據(jù)加權(quán)一致性hash算法映射到對應(yīng)的機器 節(jié)點上。初始化系統(tǒng)時，機器節(jié)點的數(shù)目是固定的，所以只考慮數(shù)據(jù)規(guī)模，即與數(shù)據(jù)規(guī)模的 方根成正比。初始化之時，本模型中數(shù)據(jù)最少的副本數(shù)量為1，系統(tǒng)中最大副本不超過4。之 后按照不同數(shù)據(jù)規(guī)模而進行合理分配。
[0012]
[0013] 其中％表示數(shù)據(jù)塊i的副本數(shù)量
[0014] η表示數(shù)據(jù)塊的數(shù)量
[0015] Mi表示第一個數(shù)據(jù)塊的規(guī)模，它是所有數(shù)據(jù)塊中規(guī)模最小的數(shù)據(jù)塊
[0016] Mn表示第η個數(shù)據(jù)塊的規(guī)模，它是所有數(shù)據(jù)塊中規(guī)模最大的數(shù)據(jù)塊
[0017] 2)、動態(tài)副本的處理
[0018] 根據(jù)對數(shù)據(jù)關(guān)注程度的提升或下降來動態(tài)增加或減少副本的數(shù)量。通過查詢?nèi)罩?或者緩存，可以知道數(shù)據(jù)的流行情況，即查詢頻率。大量實驗和數(shù)據(jù)顯示，沒有特殊情況，歷 史查詢頻率低于15%的數(shù)據(jù)的查詢情況會越來越低，查詢頻率大于75%的數(shù)據(jù)會越來越 流行。所以本模型中，在機器節(jié)點數(shù)目不變的情況下，每到達一個給定時間段Τ，對數(shù)據(jù)副本 情況進行調(diào)整：減少后20 %的副本數(shù)目，增加前30 %的副本數(shù)量，變化的數(shù)量還需考慮數(shù) 據(jù)規(guī)模的大小。根據(jù)數(shù)據(jù)塊的流行程度，這里指的是查詢頻率。隨著對數(shù)據(jù)塊關(guān)注程度的 提升或下降來動態(tài)增加或減少副本的數(shù)量：
[0019]
[0020] 其中％表示數(shù)據(jù)塊i的副本數(shù)量
[0021] η表示數(shù)據(jù)塊的數(shù)量
[0022] Mi表示第一個數(shù)據(jù)塊的規(guī)模，它是所有數(shù)據(jù)塊中規(guī)模最小的數(shù)據(jù)塊
[0023] Mn表示第η個數(shù)據(jù)塊的規(guī)模，它是所有數(shù)據(jù)塊中規(guī)模最大的數(shù)據(jù)塊
[0024] t表示在給定時間段內(nèi)的訪問概率
[0025] 根據(jù)機器節(jié)點的變化，對數(shù)據(jù)副本進行進一步調(diào)整。在增加機器節(jié)點時，同樣需要 考慮數(shù)據(jù)的流行程度，來增加其副本數(shù)量。為防止出現(xiàn)副本數(shù)量多的數(shù)據(jù)無限增加的情況， 本方法給出了一個時間閥值IV，即使數(shù)據(jù)很流行，而它在以機器節(jié)點增加的時刻為止的時 間段?Υ內(nèi)增加過副本數(shù)量，則不再增加副本數(shù)量，轉(zhuǎn)而判斷次流行數(shù)據(jù)。當(dāng)所有數(shù)據(jù)塊在 以機器節(jié)點增加時刻之前的時間段?Υ內(nèi)都增加過副本時，才選擇增加最流行的數(shù)據(jù)副本數(shù) 量。為保持新增機器節(jié)點的持續(xù)可利用性，在機器節(jié)點加入時存儲的數(shù)據(jù)量極限不能超過 該機器節(jié)點存儲限制的20 %。
[0026] 而對于減少機器節(jié)點的情況，同樣要考慮流行程度。對于刪除的節(jié)點中的數(shù)據(jù)塊， 通過它流行程度判斷是否需要增加副本，情況與初始副本類似。如果訪問概率 Vl高于70 %， 則增加一個該數(shù)據(jù)塊的副本，否則保持不變。
[0027] 本發(fā)明開發(fā)環(huán)境是在Linux操作系統(tǒng)的X86平臺，JDK1. 7基礎(chǔ)上，安裝Cassandra 1.0或更高版本的數(shù)據(jù)庫軟件為系統(tǒng)提供數(shù)據(jù)支持，主要采用java語言編寫。本發(fā)明要求 服務(wù)器運行于安裝有Linux操作系統(tǒng)的X86平臺，JDK1. 7或以上版本且具有多個機器節(jié)點 的計算機環(huán)境。
[0028] 本發(fā)明將基于數(shù)據(jù)規(guī)模和流行程度的虛擬資產(chǎn)數(shù)據(jù)副本處理方法應(yīng)用到海量虛 擬資產(chǎn)信息的存儲當(dāng)中，提高了查詢效率，并在一定程度上節(jié)省了存儲資源。
【附圖說明】
[0029] 圖1為整體分布邏輯圖
[0030] 圖2為增加機器節(jié)點流程圖
[0031] 圖3為減少機器節(jié)點流程圖
[0032] 圖4為實施例初態(tài)副本的分配圖
[0033] 圖5為實施例動態(tài)副本的變化圖
【具體實施方式】
[0034] 下面通過【具體實施方式】來進一步說明本發(fā)明的技術(shù)方案：
[0035] 本發(fā)明提出一種基于數(shù)據(jù)規(guī)模和流行程度的數(shù)據(jù)副本動態(tài)處理方法，其技術(shù)方案 包括初始副本的處理和動態(tài)副本的處理。具體步驟如下：
[0036] 1、建立副本初始化模型
[0037] 設(shè)數(shù)據(jù)Di是所有數(shù)據(jù)中的最小規(guī)模為Mi，副本數(shù)量仏為1。數(shù)據(jù)Dn是所有數(shù)據(jù) 中的最大規(guī)模為M n，副本數(shù)量％為4。則任意一個規(guī)模為M i的數(shù)據(jù)模塊Di的副本數(shù)量Qi 為：
[0038]
[0039] 對于A、B、C、D、E、F六個數(shù)據(jù)模塊，每個模塊對應(yīng)不同的數(shù)據(jù)大小，其中A的數(shù)據(jù) 規(guī)模最小，F(xiàn)的數(shù)據(jù)規(guī)模最大。該數(shù)據(jù)模塊進行基于加權(quán)改進一致性hash劃分的副本，如 圖4右側(cè)所示。圖4中，
[0040] A最小規(guī)模為500M--副本1 ;
[0041] B規(guī)模為625M--副本1 ;
[0042] C規(guī)模為900M--副本2 ;
[0043] D規(guī)模為1225M--副本3 ;
[0044] E規(guī)板為1600M--副本4 ;
[0045] F最大規(guī)模為2*1024M(2G)--副本4。
[0046] 2、建立流行動態(tài)模型
[0047] 根據(jù)加權(quán)改進一致性hash算法，數(shù)據(jù)先被分配到hash之后的虛擬節(jié)點，再被物理 存儲到虛擬節(jié)點對應(yīng)的物理節(jié)點。在創(chuàng)建集群時，只以數(shù)據(jù)規(guī)模大小來決定副本數(shù)量，數(shù)據(jù) 塊A、B、C、D、E的副本數(shù)量為1、1、2、3、4、4。之后隨流行程度的變化以及數(shù)據(jù)塊的大小進行 相應(yīng)調(diào)整，如圖5所示（圖5中F增加副本2 ;F減少副本1)，數(shù)據(jù)塊F的查詢頻率較高，根 據(jù)其數(shù)據(jù)規(guī)模，使它的副本數(shù)量增加2,由4變成6。如果數(shù)據(jù)塊F的查詢頻率變低，使它的 副本數(shù)量減少1，由4變成3。
[0048] 根據(jù)機器節(jié)點數(shù)量的變化，動態(tài)增加或減少數(shù)據(jù)塊副本的數(shù)量。機器節(jié)點數(shù)量增 加，則將不超過存儲要求的流行數(shù)據(jù)塊的副本存到增加的機器中；機器節(jié)點數(shù)量減少，則增 加流行程度大于要求的數(shù)據(jù)塊的副本數(shù)量。
[0049] 與已有技術(shù)相比，本專利申請考慮了數(shù)據(jù)塊的規(guī)模和流行程度，將此數(shù)據(jù)副本模 型應(yīng)用到虛擬資產(chǎn)海量信息的存儲當(dāng)中，在大大降低查詢時間，提高查詢效率的同時，在一 定程度上節(jié)省了存儲資源。
[0050] 以上是對本發(fā)明進行了示例性的描述，顯然本發(fā)明的實現(xiàn)并不受上述方式的限 制，只要采用了本發(fā)明技術(shù)方案進行的各種改進，或未經(jīng)改進將本發(fā)明的構(gòu)思和技術(shù)方案 直接應(yīng)用于其它場合的，均在本發(fā)明的保護范圍內(nèi)。
【主權(quán)項】
1. 一種考慮數(shù)據(jù)規(guī)模和流行程度的數(shù)據(jù)副本動態(tài)處理方法，其特征在于，包括W下步 驟： 初始副本的處理：初始化系統(tǒng)時，機器節(jié)點的數(shù)目是固定的，即副本數(shù)量與數(shù)據(jù)規(guī)模的 方根成正比；其中Qi表示數(shù)據(jù)塊i的副本數(shù)量； n表示數(shù)據(jù)塊的數(shù)量； Mi表示第一個數(shù)據(jù)塊的規(guī)模，它是所有數(shù)據(jù)塊中規(guī)模最小的數(shù)據(jù)塊； M。表示第n個數(shù)據(jù)塊的規(guī)模，它是所有數(shù)據(jù)塊中規(guī)模最大的數(shù)據(jù)塊； 動態(tài)副本的處理：根據(jù)數(shù)據(jù)塊的流行程度，運里指的是查詢頻率，隨著對數(shù)據(jù)塊關(guān)注程 度的提升或下降來動態(tài)增加或減少副本的數(shù)量；其中Qi表示數(shù)據(jù)塊i的副本數(shù)量； n表示數(shù)據(jù)塊的數(shù)量； Mi表示第一個數(shù)據(jù)塊的規(guī)模，它是所有數(shù)據(jù)塊中規(guī)模最小的數(shù)據(jù)塊； M。表示第n個數(shù)據(jù)塊的規(guī)模，它是所有數(shù)據(jù)塊中規(guī)模最大的數(shù)據(jù)塊； Vi表示在給定時間段內(nèi)的訪問概率； 根據(jù)機器節(jié)點數(shù)量的變化，動態(tài)地增加或減少數(shù)據(jù)塊副本的數(shù)量：如果機器節(jié)點數(shù)量 增加，就將不超過存儲要求的流行數(shù)據(jù)塊的副本存到增加的機器中；如果機器節(jié)點數(shù)量減 少，就增加流行程度大于要求的數(shù)據(jù)塊的副本數(shù)量。2. 根據(jù)權(quán)利要求1所述的一種考慮數(shù)據(jù)規(guī)模和流行程度的數(shù)據(jù)副本動態(tài)處理方法，其 特征在于，為防止出現(xiàn)副本數(shù)量多的數(shù)據(jù)無限增加的情況，設(shè)定一個時間閥值!；，即使數(shù)據(jù) 很流行，而它在W機器節(jié)點增加的時刻為止的時間段L內(nèi)增加過副本數(shù)量，則不再增加副 本數(shù)量，轉(zhuǎn)而判斷次流行數(shù)據(jù)；當(dāng)所有數(shù)據(jù)塊在W機器節(jié)點增加時刻之前的時間段T,內(nèi)都 增加過副本時，才選擇增加最流行的數(shù)據(jù)副本數(shù)量。為保持新增機器節(jié)點的持續(xù)可利用性， 在機器節(jié)點加入時存儲的數(shù)據(jù)量極限不能超過該機器節(jié)點存儲限制的20% ; 而對于減少機器節(jié)點的情況，如果訪問概率Vi高于70%，則增加一個該數(shù)據(jù)塊的副本， 否則保持不變。
【文檔編號】G06F17/30GK106033434SQ201510109391
【公開日】2016年10月19日
【申請日】2015年3月12日
【發(fā)明人】鄧璐, 賈焰, 韓偉紅, 李樹棟, 李虎, 全擁, 傅翔, 朱偉輝
【申請人】中國人民解放軍國防科學(xué)技術(shù)大學(xué)