基于三維數(shù)據(jù)訪問(wèn)的分布式服務(wù)器集群資源調(diào)度方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于計(jì)算機(jī)軟件領(lǐng)域，涉及三維數(shù)據(jù)服務(wù)器的資源管理，具體涉及一種基于三維數(shù)據(jù)訪問(wèn)的分布式服務(wù)器集群資源調(diào)度方法。
【背景技術(shù)】
[0002]在地理信息數(shù)據(jù)處理中，特別是三維數(shù)據(jù)的廣泛推廣使用，數(shù)據(jù)量相對(duì)以往具有幾何級(jí)數(shù)的增長(zhǎng)，例如一顆衛(wèi)星每半小時(shí)即可發(fā)回一次全波段數(shù)據(jù)(5個(gè)波段)，每天的數(shù)據(jù)量可達(dá)1.1GB ;采樣率較低的數(shù)字電話，按每一取樣用8位壓擴(kuò)量化，通常其數(shù)碼率也需要8X8 = 64kbps，一張A4(210mmX297mm)大小幅面的圖片，即使采用中等分辨率(300dpi)的掃描儀按真彩色掃描，共有(300X210/25.4) X (300X297/25.4)個(gè)象素，每個(gè)象素占3個(gè)字節(jié)，其數(shù)據(jù)量為26M字節(jié)。
[0003]由此可見(jiàn)，面對(duì)當(dāng)今如此大量的數(shù)據(jù)，對(duì)網(wǎng)絡(luò)服務(wù)器的性能提出了更高要求，通常采用分布式的服務(wù)器集群提高服務(wù)器帶寬，但另一方面，服務(wù)器對(duì)負(fù)載變化不具有良好的適應(yīng)性。在服務(wù)器集群的調(diào)度技術(shù)方面，大部分應(yīng)用仍然使用傳統(tǒng)服務(wù)器集群下使用的基于任務(wù)調(diào)度的策略。由于任務(wù)型的應(yīng)用不能覆蓋所有類(lèi)型的應(yīng)用；因此，基于任務(wù)調(diào)度的集群調(diào)度方法具有一定的局限性，并且調(diào)度粒度較大，難以發(fā)揮出服務(wù)器集群本身具有的特殊優(yōu)勢(shì)大量的數(shù)據(jù)傳輸和使有限的網(wǎng)絡(luò)帶寬變得不堪重負(fù)。
[0004]目前的經(jīng)濟(jì)運(yùn)行調(diào)度為根據(jù)當(dāng)前資源的負(fù)載情況，進(jìn)行服務(wù)器資源調(diào)度。當(dāng)發(fā)生突發(fā)大規(guī)模負(fù)載的情況時(shí)不能及時(shí)啟動(dòng)物理節(jié)點(diǎn)，從而導(dǎo)致運(yùn)行變慢。同時(shí)，服務(wù)器集群中不同品牌的服務(wù)器對(duì)數(shù)據(jù)處理格式不同，也限制了服務(wù)器集群的整體性能。

【發(fā)明內(nèi)容】

[0005]為克服現(xiàn)有技術(shù)不能及時(shí)應(yīng)對(duì)負(fù)載突增造成系統(tǒng)運(yùn)行速度突然減緩的技術(shù)缺陷，本發(fā)明公開(kāi)了一種基于三維數(shù)據(jù)訪問(wèn)的分布式服務(wù)器集群資源調(diào)度方法。
[0006]本發(fā)明所述基于三維數(shù)據(jù)訪問(wèn)的分布式服務(wù)器集群資源調(diào)度方法，包括如下步驟:
51.對(duì)各個(gè)服務(wù)器的數(shù)據(jù)進(jìn)行統(tǒng)一轉(zhuǎn)換，按照相同的格式輸出數(shù)據(jù)；
52.從歷史負(fù)荷數(shù)據(jù)庫(kù)中尋找服務(wù)器的負(fù)載警戒時(shí)間點(diǎn)；所謂負(fù)載警戒時(shí)間點(diǎn)，是當(dāng)一臺(tái)以上服務(wù)器的服務(wù)器資源利用量Dvm達(dá)到警戒值A(chǔ)LR時(shí)的時(shí)刻，
所述警戒值A(chǔ)LR= Mvm*Al，Al為預(yù)先設(shè)定的警戒百分比，服務(wù)器資源利用量Dvm=Mvm*Lvm,其中Mvm為服務(wù)器可調(diào)用資源，Lvm為服務(wù)器資源利用率；
53.預(yù)先設(shè)定第一時(shí)間長(zhǎng)度μ，在負(fù)載警戒時(shí)間點(diǎn)前μ時(shí)刻，開(kāi)啟備用服務(wù)器，新開(kāi)啟服務(wù)器的增加物理資源SN應(yīng)大于N*Mvm*A2 ；
其中N為SI步驟中服務(wù)器資源利用量Dvm達(dá)到警戒值A(chǔ)LR的服務(wù)器數(shù)量，A2為預(yù)設(shè)的削峰參數(shù)。
[0007]優(yōu)選的，所述步驟SI中進(jìn)行統(tǒng)一轉(zhuǎn)換數(shù)據(jù)采用基于OSGI組件架構(gòu)的調(diào)度適配器。
[0008]優(yōu)選的，所述負(fù)載警戒時(shí)間點(diǎn)的尋找方法為:
定義第二時(shí)間長(zhǎng)度At，從歷史負(fù)荷數(shù)據(jù)庫(kù)中找出與預(yù)測(cè)日類(lèi)型相同的多個(gè)比照日，對(duì)每一比照日按第二時(shí)間長(zhǎng)度At間隔劃分為N=24h/At個(gè)點(diǎn)，對(duì)多個(gè)比照日的屬于相同時(shí)間點(diǎn)的服務(wù)器資源利用量取平均值作為該時(shí)間點(diǎn)的比照值，當(dāng)任意連續(xù)兩個(gè)比照值均大于警戒值A(chǔ)LR時(shí)，則較早的比照值對(duì)應(yīng)的時(shí)間點(diǎn)為負(fù)載警戒時(shí)間點(diǎn)。
[0009]優(yōu)選的，所述所述第一時(shí)間長(zhǎng)度μ不少于500秒。
[0010]采用本發(fā)明所述的基于三維數(shù)據(jù)訪問(wèn)的分布式服務(wù)器集群資源調(diào)度方法，采用統(tǒng)一轉(zhuǎn)換后的數(shù)據(jù)進(jìn)行分配管理，提高了服務(wù)器集群的整體性能，根據(jù)歷史數(shù)據(jù)確定負(fù)載警戒時(shí)間點(diǎn)，預(yù)先開(kāi)啟備用服務(wù)器進(jìn)行分流遷移，保證每臺(tái)服務(wù)器提前降低資源使用率，通過(guò)提前對(duì)服務(wù)器的啟動(dòng)并對(duì)服務(wù)器進(jìn)行平滑遷移，達(dá)到負(fù)載平衡目的。
【附圖說(shuō)明】
[0011]圖1為本發(fā)明所述服務(wù)器群利用調(diào)度適配器統(tǒng)一輸出格式的示意圖；
圖2為本發(fā)明所述服務(wù)器資源利用量Dvm的一種具體計(jì)算方式示意圖。
【具體實(shí)施方式】
[0012]下面結(jié)合附圖，對(duì)本發(fā)明的【具體實(shí)施方式】作進(jìn)一步的詳細(xì)說(shuō)明。
[0013]本發(fā)明的典型應(yīng)用環(huán)境是在云計(jì)算資源池IaaS層，依賴(lài)的硬件系統(tǒng)為一個(gè)調(diào)度服務(wù)器管理的由多臺(tái)服務(wù)器組成的服務(wù)器集群，調(diào)度服務(wù)器負(fù)責(zé)管理服務(wù)器的調(diào)度及分配。云計(jì)算的目的在于為不同的用戶(hù)提供服務(wù)、計(jì)算能力和存儲(chǔ)等，需要更加注重用戶(hù)需求的滿足度，且盡量避免資源調(diào)度負(fù)載失衡，同時(shí)又要盡可能做到節(jié)約能源，降低系統(tǒng)的功耗。硬件系統(tǒng)工作時(shí)，調(diào)度服務(wù)器調(diào)動(dòng)集群中的不同服務(wù)器工作，并將任務(wù)分配至各個(gè)服務(wù)器。
[0014]本發(fā)明所述的基于三維數(shù)據(jù)訪問(wèn)的分布式服務(wù)器集群資源調(diào)度方法，包括如下步驟，
基于三維數(shù)據(jù)訪問(wèn)的分布式服務(wù)器集群資源調(diào)度方法，其特征在于，包括如下步驟 S1.對(duì)各個(gè)服務(wù)器的數(shù)據(jù)進(jìn)行統(tǒng)一轉(zhuǎn)換，按照相同的格式輸出數(shù)據(jù)；
現(xiàn)有服務(wù)器從大類(lèi)通常分為Χ86服務(wù)器、HP小型機(jī)、IBM小型機(jī)等。由于這些服務(wù)器的芯片架構(gòu)和制造商的不同，這四類(lèi)物理服務(wù)器的虛擬化技術(shù)也不同。
[0015]如圖1所示，可以通過(guò)調(diào)度適配器對(duì)多種不同的資源控制器接口及數(shù)據(jù)格式進(jìn)行統(tǒng)一轉(zhuǎn)換，形成對(duì)外一致的接口及數(shù)據(jù)格式。調(diào)度適配器通過(guò)對(duì)外開(kāi)放基于REST風(fēng)格的接口，供資源管理系統(tǒng)訪問(wèn)。
[0016]S2.從歷史負(fù)荷數(shù)據(jù)庫(kù)中尋找服務(wù)器的負(fù)載警戒時(shí)間點(diǎn)；所謂負(fù)載警戒時(shí)間點(diǎn)，是當(dāng)一臺(tái)以上服務(wù)器的服務(wù)器資源利用量Dvm達(dá)到警戒值A(chǔ)LR時(shí)的時(shí)刻，
所述警戒值A(chǔ)LR= Mvm*Al，Al為預(yù)先設(shè)定的警戒百分比，服務(wù)器資源利用量Dvm=Mvm*Lvm,其中Mvm為服務(wù)器可調(diào)用資源，Lvm為服務(wù)器資源利用率；
S3.預(yù)先設(shè)定第一時(shí)間長(zhǎng)度μ，在負(fù)載警戒時(shí)間點(diǎn)前μ時(shí)刻，開(kāi)啟備用服務(wù)器，新開(kāi)啟服務(wù)器的增加物理資源SN應(yīng)大于N*Mvm*A2 ；
其中N為SI步驟中服務(wù)器資源利用量Dvm達(dá)到警戒值A(chǔ)LR的服務(wù)器數(shù)量，A2為預(yù)設(shè)的削峰參數(shù)。
[0017]歷史負(fù)荷數(shù)據(jù)庫(kù)是儲(chǔ)存記錄服務(wù)器集群在過(guò)往運(yùn)行過(guò)程隨時(shí)間變化的負(fù)載使用情況數(shù)據(jù)庫(kù)，按照一般的負(fù)荷變化規(guī)律，每天的負(fù)荷變化隨用戶(hù)集中使用的時(shí)間變化，該變化規(guī)律通常是相似的，例如早上9點(diǎn)-11點(diǎn)，下午2點(diǎn)-6點(diǎn)一般負(fù)荷較高,而晚上10點(diǎn)至凌晨7點(diǎn)一般負(fù)荷較低。歷史負(fù)荷數(shù)據(jù)庫(kù)通常按天儲(chǔ)存數(shù)據(jù)，分析多個(gè)不同日期的全天歷史負(fù)荷曲線，可以總結(jié)出歷史負(fù)荷的一般規(guī)律，判斷出發(fā)生概率高的重負(fù)荷時(shí)間點(diǎn)作為負(fù)載警戒時(shí)間點(diǎn)。
[0018]為更好的定量描述負(fù)載警戒時(shí)間點(diǎn)的定義方法，針對(duì)按天為負(fù)荷儲(chǔ)存周期的歷史負(fù)荷數(shù)據(jù)庫(kù)，本發(fā)明給出一種負(fù)載警戒時(shí)間點(diǎn)的具體實(shí)現(xiàn)方式。
[0019]定義第二時(shí)間長(zhǎng)度At，從歷史負(fù)荷數(shù)據(jù)庫(kù)中找出與預(yù)測(cè)日類(lèi)型相同的多個(gè)比照日，對(duì)每一比照日按第二時(shí)間長(zhǎng)度Λ t間隔劃分為N=24h/ Δ t個(gè)點(diǎn)，對(duì)多個(gè)比照日的屬于相同時(shí)間點(diǎn)的服務(wù)器資源利用量取平均值作為該時(shí)間點(diǎn)的比照值，