專利名稱：一種地理空間數據在云計算平臺上的負載均衡方法
技術領域：
本發(fā)明涉及一種地理空間數據在云計算平臺上的負載均衡方法，屬于云計算技術領域。
背景技術：
云計算是一種商業(yè)計算模型將計算任務分布在大量計算機構成的資源池上，使各種應用系統(tǒng)能夠根據需要獲取計算力、存儲空間和信息服務。現在google公司和開源云計算平臺hadoop等都使用map-reduce平行計算模型。該模型為海量數據的處理提供了一個通用、高效的技術框架，從而在地理空間數據查詢處理、數據挖掘等領域得到了越來越廣泛的應用。地理空間數據是多維數據，基于map-reduce的地理空間數據處理首先要將多維的空間目標映射成一維的目標(key/value鍵值對)。常用的方法是采用希爾伯特或Z-排序等空間填充曲線編碼分塊。由于地理數據的空間分布一般是不均勻的，編碼后的數據分塊的數據信息量也不同。如何找到一種分配方法，將這些數據分塊按數據量均勻的分配給各個map節(jié)點，對改進云計算平臺的負載均衡、提高處理效率具有重要意義。已有的并行空間數據庫中的數據分配方法(如輪轉法、散列法等)均是按數據塊或元組的個數進行平均分配，并不能保證數據處理量的平衡，且易破壞數據塊之間的空間拓撲關系。而面向云計算map-reduce模型的空間數據分配方法的研究尚處于起步階段,相關工作還不成熟。Ariel Cary等人提出了在對Z-排序編碼的海量地理空間數據處理前進行采樣處理，然后根據采樣樣本和映射節(jié)點的數目，按個數將采樣樣本均分給映射節(jié)點。該文對海量數據采用了采樣策略，然而未考慮海量數據的不均衡性，這樣可能導致各個映射節(jié)點中的數據量大小不一致，使得mapreduce處理時負載失衡。Shubin Zhang等人提出了海量的地理空間數據在空間分布上是不均衡的,提出了基于空間填充曲線編碼和輪轉法相結合的數據分配均衡方法。但該方法也沒有考慮數據分塊之間的不均勻性，以及數據分塊之間的拓撲關系。這將導致mapreduce模型的整體運行效率下降。
發(fā)明內容
本發(fā)明針對上述背景技術的不足，提供了一種地理空間數據在云計算平臺上的負載均衡方法，該方法在處理海量的地理空間數據時，在考慮各個數據分塊相關性的前提下，為使map-reduce模型更有效的工作，綜合了三種算法(均值法、回溯法、二分法)各自的優(yōu)缺點之后，得到一個整體的算法，能均衡地將地理空間數據分配給各個映射節(jié)點進行處理。本發(fā)明為實現上述發(fā)明目的采用如下技術方案一種地理空間數據在云計算平臺上的負載均衡方法，其特征是對地理空間數據進行希爾伯特(Hilbert)空間填充曲線排序，根據地理空間數據所劃分的數據塊和云平臺處理時映射(map)節(jié)點的數量，對數據塊進行采樣，得到采樣數據塊；然后對采樣數據塊進行判斷是否適合使用均值法，若適合則直接求解劃分，不適合則再判斷是否適合使用回溯法，若適合則直接求解劃分，不適合則按照二分法，將采樣數據塊和映射節(jié)點數分成兩部分，對每一部分重復上面的操作，直到所有的采樣數據塊對應分配到各個映射節(jié)點為止。最后，將各采樣數據塊所對應的相鄰數據塊分配給各個映射節(jié)點進行處理。具體包括如下步驟步驟1，將地理空間數據按照希爾伯特(Hilbert)空間填充曲線劃分為一個按照空間分布規(guī)律編號遞增的數據塊集合，設劃分后的總數據塊數為龍,按照采樣間隔M=lg々/10進行采樣，得到采樣數據塊數為N，設S、P分別表示采樣數據塊的數據量數列和最后要分割的位置數列，M為要分配的映射(map)節(jié)點總數，H1為首采樣數據塊序號，n2為尾采樣數據塊序號，In1為首映射節(jié)點序號，Iii1為尾映射節(jié)點序號，n^-rii+l, Hi=Hi2-Hi1+!;對于給定的s，按照如下的方法找到一個分割方案，使得每個映射節(jié)點要處理的數據量盡量均步驟2，定義數據塊平均數據量滿足
4/]
判斷是否滿足均值法條件
W2-Hil+!
V4/]<，若成立，則利用均值法分配，否則進入步驟3 ；步驟3，判斷是否滿足回溯法的條件麟-勒+ ΚφΜψ = rig^l，若成立，則利用回溯法分配，否則進入步驟4;步驟4，利用二分法將采樣數據塊和映射節(jié)點分成兩部分，每部分分別進入步驟2繼續(xù)分配；步驟5，上述步驟結束后，根據最后的分配結果P [I]到P [M]，將各采樣數據塊所對應的相鄰Ns個數據塊分配給各個映射節(jié)點進行處理；其中a)均值法步驟a-Ι，依次對各個采樣數據塊的數據量進行疊加，直至出現如下情況
權利要求
1.一種地理空間數據在云計算平臺上的負載均衡方法，其特征是對地理空間數據進行希爾伯特空間填充曲線排序，根據地理空間數據所劃分的數據塊和云平臺處理時映射節(jié)點的數量，對數據塊進行采樣，得到采樣數據塊；然后對采樣數據塊進行判斷是否適合使用均值法，若適合則直接求解劃分，不適合則再判斷是否適合使用回溯法，若適合則直接求解劃分，不適合則按照二分法，將采樣數據塊和映射節(jié)點數分成兩部分，對每一部分重復上面的操作，直到所有的采樣數據塊對應分配到各個映射節(jié)點為止；最后，將各采樣數據塊所對應的相鄰數據塊分配給各個映射節(jié)點進行處理；包括如下步驟 步驟1，將地理空間數據按照希爾伯特空間填充曲線劃分為一個按照空間分布規(guī)律編號遞增的數據塊集合，設劃分后的總數據塊數為及，按照采樣間隔-L=IgA/10進行采樣，得到采樣數據塊數為N，設s、p分別表示采樣數據塊的數據量數列和最后要分割的位置數列，M為要分配的映射節(jié)點總數，H1為首采樣數據塊序號，n2為尾采樣數據塊序號，Hi1為首映射節(jié)點序號，In1為尾映射節(jié)點序號，n^-rii+l, Hi=Hi2-Hi1+!;對于給定的s,找到一個分割方案，使得每個映射節(jié)點要處理的數據量均衡； fl-yΤψ] 步驟2，定義數據塊平均數據量滿足y ￡ ,判斷是否滿足均值法條件 S,m2-mx+\ ’若成立，則利用均值法分配，否則進入步驟3 ； 步驟3，判斷是否滿足回溯法的條件/%-_+ 1<<ρ,取若成立，則利用回溯法分配，否則進入步驟4; 步驟4，利用二分法將采樣數據塊和映射節(jié)點分成兩部分，每部分分別進入步驟2繼續(xù)分配； 步驟5，上述步驟結束后，根據最后的分配結果P [I]到P [M]，將各采樣數據塊所對應的相鄰Ns個數據塊分配給各個映射節(jié)點進行處理； 其中 a)均值法 步驟a-Ι，依次對各個采樣數據塊的數據量進行疊加，直至出現如下情況 /_ y+i_ 工jjV]Sand^s{/] > k.S, \<k<m-\ i=r\i=}\ 作如下判斷操作 s,則第/個映射節(jié)點所分配的采樣數據塊到箄/個為止 —ηλ -Πγ j _ j+l _ H [朋-卜A則第外映射節(jié)點所分配的采樣數據塊到箄/+1個為止 I-Thi -Πγ 步驟a-2，分配完前m-Ι個映射節(jié)點之后，最后一個映射節(jié)點即是最后剩余所有的采樣數據塊，最后的分配結果存儲到P[mj到p[m2]中； b)回溯法 步驟b-Ι，回溯法是根據狀態(tài)空間樹，每個節(jié)點代表一個分割點，從中篩選出答案節(jié)點，再從答案節(jié)點中選擇出滿足條件的優(yōu)化答案節(jié)點，每個非葉子結點都生成n2-i-(m2-mi)個子節(jié)點，分別是當前遍歷的子節(jié)點后面連續(xù)數據塊所對應的分割點；初始限界函數如下定義先將η個數據塊均分為m份，其中第i個映射節(jié)點的數據為第
全文摘要
一種地理空間數據在云計算平臺上的負載均衡方法，其特征是對地理空間數據進行希爾伯特空間填充曲線排序，根據地理空間數據所劃分的數據塊和云平臺處理時映射節(jié)點的數量，對數據塊進行采樣，得到采樣數據塊；然后對采樣數據塊進行判斷是否適合使用均值法，若適合則直接求解劃分，不適合則再判斷是否適合使用回溯法，若適合則直接求解劃分，不適合則按照二分法，將采樣數據塊和映射節(jié)點數分成兩部分，對每一部分重復上面的操作，直到所有的采樣數據塊對應分配到各個映射節(jié)點為止。最后，將各采樣數據塊所對應的相鄰數據塊分配給各個映射節(jié)點進行處理。
文檔編號G06F17/30GK102929989SQ20121040151
公開日2013年2月13日 申請日期2012年10月19日 優(yōu)先權日2012年10月19日
發(fā)明者吳家皋, 周凡坤, 鄒志強, 劉林峰 申請人:南京郵電大學