本發(fā)明涉及一種加速云計(jì)算數(shù)據(jù)中心查詢的數(shù)據(jù)調(diào)度方法，屬于分布式計(jì)算和云計(jì)算技術(shù)領(lǐng)域。

背景技術(shù)：

21世紀(jì)初，互聯(lián)網(wǎng)發(fā)展迅速，計(jì)算機(jī)技術(shù)在各個(gè)行業(yè)廣泛使用。隨著互聯(lián)網(wǎng)的迅猛發(fā)展，信息量也快速增加，網(wǎng)站等業(yè)務(wù)系統(tǒng)所需要處理的業(yè)務(wù)量快速增長(zhǎng)。為了快速處理大幅增加的信息量，使信息得到及時(shí)的反饋，并使用信息為自身服務(wù)，云計(jì)算應(yīng)運(yùn)而生。

云計(jì)算是由分布式計(jì)算、并行處理、網(wǎng)格計(jì)算發(fā)展來的，是一種新興的計(jì)算模型。云計(jì)算的計(jì)算能力強(qiáng)大，應(yīng)用范圍廣泛，它不僅提供傳統(tǒng)意義的it資源和應(yīng)用服務(wù)，而且將支持包括it、通信、電視、移動(dòng)和物聯(lián)網(wǎng)等一切互聯(lián)網(wǎng)技術(shù)融合后的資源使用和業(yè)務(wù)應(yīng)用。云計(jì)算發(fā)展的關(guān)鍵技術(shù)主要有統(tǒng)一交換構(gòu)架、統(tǒng)一虛擬化和統(tǒng)一計(jì)算系統(tǒng)。

云計(jì)算模式具有許多優(yōu)點(diǎn)：超大規(guī)模，虛擬化，通用型，廉價(jià)等。但是云計(jì)算也存在一些不足，現(xiàn)有的網(wǎng)絡(luò)帶寬、存儲(chǔ)數(shù)據(jù)的可靠性和安全性，是目前限制云計(jì)算技術(shù)進(jìn)一步發(fā)展的關(guān)鍵因素。隨著云計(jì)算的發(fā)展，數(shù)據(jù)中心建立在各個(gè)位置，在云計(jì)算數(shù)據(jù)中心進(jìn)行數(shù)據(jù)分析變成了一個(gè)重要工作。分析內(nèi)容包括查詢用戶日志來選擇廣告投放策略，查詢網(wǎng)絡(luò)日志探測(cè)dos攻擊，查詢系統(tǒng)日志建立錯(cuò)誤預(yù)測(cè)模型等等。為了使查詢能夠得到較快的響應(yīng)，數(shù)據(jù)的放置方法便顯得尤為重要。

目前，在云計(jì)算數(shù)據(jù)中心對(duì)數(shù)據(jù)進(jìn)行分析主要是通過把各個(gè)數(shù)據(jù)中心的數(shù)據(jù)傳輸?shù)揭粋€(gè)數(shù)據(jù)中心，所有的查詢?nèi)蝿?wù)也發(fā)送到這個(gè)數(shù)據(jù)中心進(jìn)行處理，但由于各個(gè)線路帶寬的不同，數(shù)據(jù)傳輸?shù)乃俣纫膊煌瑤捄苄〉木€路會(huì)大大延長(zhǎng)數(shù)據(jù)的傳輸速度，從而使數(shù)據(jù)查詢的反應(yīng)時(shí)間很大。這種數(shù)據(jù)放置方法，同時(shí)還會(huì)造成大量帶寬的消耗，極大的增加了查詢的成本。除此之外，對(duì)于隱私的保護(hù)也使得在一個(gè)數(shù)據(jù)中心放置數(shù)據(jù)的方法不能長(zhǎng)久發(fā)展。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明所要解決的技術(shù)問題是提供一種能夠有效降低數(shù)據(jù)存儲(chǔ)成本，提高數(shù)據(jù)傳輸效率的加速云計(jì)算數(shù)據(jù)中心查詢的數(shù)據(jù)調(diào)度方法。

本發(fā)明為了解決上述技術(shù)問題采用以下技術(shù)方案：本發(fā)明設(shè)計(jì)了一種加速云計(jì)算數(shù)據(jù)中心查詢的數(shù)據(jù)調(diào)度方法，用于針對(duì)瓶頸網(wǎng)點(diǎn)上的放置數(shù)據(jù)進(jìn)行調(diào)度，其中，獲取云計(jì)算數(shù)據(jù)中心dk＜o(jì)或uk＜o(jì)的各個(gè)網(wǎng)點(diǎn)，作為瓶頸網(wǎng)點(diǎn)，k∈{1，…，k}，k表示云計(jì)算數(shù)據(jù)中心中網(wǎng)點(diǎn)的數(shù)量，dk表示第k個(gè)網(wǎng)點(diǎn)的下載速度，uk表示第k個(gè)網(wǎng)點(diǎn)的上傳速度，o表示預(yù)設(shè)云計(jì)算數(shù)據(jù)中心傳輸數(shù)據(jù)最小帶寬值；針對(duì)各個(gè)瓶頸網(wǎng)點(diǎn)，分別執(zhí)行如下調(diào)度方法：

步驟a.獲取云計(jì)算數(shù)據(jù)中心dk＞o'且uk＞o'的各個(gè)網(wǎng)點(diǎn)，作為各個(gè)待選網(wǎng)點(diǎn)，然后進(jìn)入步驟b，其中，o'表示預(yù)設(shè)云計(jì)算數(shù)據(jù)中心待接收數(shù)據(jù)網(wǎng)點(diǎn)的最小帶寬值；

步驟b.分別獲得各個(gè)待選網(wǎng)點(diǎn)的數(shù)據(jù)存儲(chǔ)成本，并進(jìn)一步獲得低于預(yù)設(shè)網(wǎng)點(diǎn)數(shù)據(jù)存儲(chǔ)成本閾值的各個(gè)數(shù)據(jù)存儲(chǔ)成本，針對(duì)該各個(gè)數(shù)據(jù)存儲(chǔ)成本分別所對(duì)應(yīng)的待選網(wǎng)點(diǎn)，構(gòu)建待傳輸網(wǎng)點(diǎn)集合s，然后進(jìn)入步驟c；

步驟c.從待傳輸網(wǎng)點(diǎn)集合s中隨機(jī)取出一個(gè)網(wǎng)點(diǎn)，作為待傳輸網(wǎng)點(diǎn)，并從待傳輸網(wǎng)點(diǎn)集合s中刪除該待傳輸網(wǎng)點(diǎn)，并獲取該待傳輸網(wǎng)點(diǎn)的放置數(shù)據(jù)的大小，以及初始化m為預(yù)設(shè)移動(dòng)數(shù)據(jù)量大小，然后進(jìn)入步驟d；

步驟d.若m≤該待傳輸網(wǎng)點(diǎn)的放置數(shù)據(jù)的大小，則獲取或更新假設(shè)由瓶頸網(wǎng)點(diǎn)中最高優(yōu)先級(jí)數(shù)據(jù)集中移出m大小的數(shù)據(jù)至該待傳輸網(wǎng)點(diǎn)后所對(duì)應(yīng)的查詢時(shí)間t1，然后進(jìn)入步驟e；若m＞該待傳輸網(wǎng)點(diǎn)的放置數(shù)據(jù)的大小，則進(jìn)入步驟f；

步驟e.待經(jīng)過預(yù)設(shè)t0時(shí)長(zhǎng)，獲得或更新基于步驟d中假設(shè)數(shù)據(jù)移動(dòng)后所對(duì)應(yīng)的查詢時(shí)間t2，判斷t2是否小于t1，是則采用(m+預(yù)設(shè)移動(dòng)數(shù)據(jù)增量)針對(duì)m進(jìn)行更新，并返回步驟d；否則將t1作為瓶頸網(wǎng)點(diǎn)向該待傳輸網(wǎng)點(diǎn)移動(dòng)數(shù)據(jù)后所對(duì)應(yīng)的最小查詢時(shí)間，并記錄最小查詢時(shí)間所對(duì)應(yīng)的移動(dòng)數(shù)據(jù)大小，然后進(jìn)入步驟f；

步驟f.判斷待傳輸網(wǎng)點(diǎn)集合s中是否存在網(wǎng)點(diǎn)，是則返回步驟c；否則進(jìn)入步驟g；

步驟g.針對(duì)各個(gè)最小查詢時(shí)間，獲得其中最小值所對(duì)應(yīng)的待傳輸網(wǎng)點(diǎn)和移動(dòng)數(shù)據(jù)大小，將該待傳輸網(wǎng)點(diǎn)作為目標(biāo)網(wǎng)點(diǎn)，將該移動(dòng)數(shù)據(jù)大小作為目標(biāo)移動(dòng)數(shù)據(jù)大小，由瓶頸網(wǎng)點(diǎn)中最高優(yōu)先數(shù)據(jù)集中移出目標(biāo)移動(dòng)數(shù)據(jù)大小的數(shù)據(jù)至該目標(biāo)網(wǎng)點(diǎn)。

作為本發(fā)明的一種優(yōu)選技術(shù)方案，所述步驟b中，根據(jù)如下公式：

costq＝nq*(cost'q+cost”q)+xq*cost”'q

分別獲得各個(gè)待選網(wǎng)點(diǎn)的數(shù)據(jù)存儲(chǔ)成本costq，其中，q∈{1，…，q}，q表示待選網(wǎng)點(diǎn)的數(shù)量，costq表示各個(gè)待選網(wǎng)點(diǎn)中第q個(gè)待選網(wǎng)點(diǎn)數(shù)據(jù)存儲(chǔ)成本，cost'q表示各個(gè)待選網(wǎng)點(diǎn)中第q個(gè)待選網(wǎng)點(diǎn)存儲(chǔ)數(shù)據(jù)的單位成本，cost”q表示各個(gè)待選網(wǎng)點(diǎn)中第q個(gè)待選網(wǎng)點(diǎn)的單位傳輸成本，cost”'q表示各個(gè)待選網(wǎng)點(diǎn)中第q個(gè)待選網(wǎng)點(diǎn)的數(shù)據(jù)請(qǐng)求成本，nq表示各個(gè)待選網(wǎng)點(diǎn)中第q個(gè)待選網(wǎng)點(diǎn)所需的數(shù)據(jù)存儲(chǔ)量，xq表示各個(gè)待選網(wǎng)點(diǎn)中第q個(gè)待選網(wǎng)點(diǎn)的請(qǐng)求次數(shù)。

作為本發(fā)明的一種優(yōu)選技術(shù)方案，所述步驟d中，所述瓶頸網(wǎng)點(diǎn)中最高優(yōu)先級(jí)數(shù)據(jù)集，根據(jù)如下過程獲得：

首先分別針對(duì)瓶頸網(wǎng)點(diǎn)中的各個(gè)數(shù)據(jù)集，獲得數(shù)據(jù)集的查詢q，對(duì)數(shù)據(jù)集的查詢次數(shù)c，數(shù)據(jù)集所引起中間數(shù)據(jù)傳輸延遲的改善j，數(shù)據(jù)集移動(dòng)所引起最大查詢時(shí)間的減少t'，以及數(shù)據(jù)集移動(dòng)所需的成本cost；然后分別針對(duì)瓶頸網(wǎng)點(diǎn)中的各個(gè)數(shù)據(jù)集，獲得各個(gè)數(shù)據(jù)集的價(jià)值，并根據(jù)數(shù)據(jù)集價(jià)值與數(shù)據(jù)集移動(dòng)所需成本的比值，獲得各個(gè)數(shù)據(jù)集的得分，根據(jù)得分由高到低的順序，排列各個(gè)數(shù)據(jù)集優(yōu)先級(jí)由高至低。

作為本發(fā)明的一種優(yōu)選技術(shù)方案，所述步驟e中的預(yù)設(shè)移動(dòng)數(shù)據(jù)增量為10mb。

本發(fā)明所述一種加速云計(jì)算數(shù)據(jù)中心查詢的數(shù)據(jù)調(diào)度方法采用以上技術(shù)方案與現(xiàn)有技術(shù)相比，具有以下技術(shù)效果：本發(fā)明所設(shè)計(jì)加速云計(jì)算數(shù)據(jù)中心查詢的數(shù)據(jù)調(diào)度方法，在靠近數(shù)據(jù)的數(shù)據(jù)中心存儲(chǔ)數(shù)據(jù)可以大大減小帶寬的消耗，減少數(shù)據(jù)傳輸對(duì)引起的查詢響應(yīng)的延遲，不必建立一個(gè)存儲(chǔ)量極大，對(duì)計(jì)算性能要求很高的中心數(shù)據(jù)中心；不論哪個(gè)數(shù)據(jù)中心是瓶頸網(wǎng)點(diǎn)，帶寬很小，都可以確保數(shù)據(jù)查詢的反應(yīng)時(shí)間較小；根據(jù)存儲(chǔ)成本選擇數(shù)據(jù)中心，可以在兼顧查詢反應(yīng)時(shí)間的情況下使數(shù)據(jù)的存儲(chǔ)成本較低。

附圖說明

圖1是本發(fā)明所設(shè)計(jì)加速云計(jì)算數(shù)據(jù)中心查詢的數(shù)據(jù)調(diào)度方法的流程示意圖。

具體實(shí)施方式

下面結(jié)合說明書附圖對(duì)本發(fā)明的具體實(shí)施方式作進(jìn)一步詳細(xì)的說明。

在云計(jì)算數(shù)據(jù)中心進(jìn)行數(shù)據(jù)查詢時(shí)，往往是把所有數(shù)據(jù)傳輸?shù)揭粋€(gè)數(shù)據(jù)中心，查詢?nèi)蝿?wù)也是發(fā)送到這個(gè)數(shù)據(jù)中心進(jìn)行處理，使用目前的數(shù)據(jù)中心間的分析框架進(jìn)行分析，由于這些框架在有些帶寬相對(duì)較小的線路下不能很好的工作，查詢的反應(yīng)時(shí)間較長(zhǎng)；與此同時(shí)，把數(shù)據(jù)傳輸?shù)揭粋€(gè)數(shù)據(jù)中心進(jìn)行處理，會(huì)消耗很大的帶寬。針對(duì)這些問題，本發(fā)明提出了一種基于云計(jì)算數(shù)據(jù)中心的數(shù)據(jù)放置方法。

本發(fā)明所設(shè)計(jì)一種加速云計(jì)算數(shù)據(jù)中心查詢的數(shù)據(jù)調(diào)度方法，在應(yīng)用時(shí)可以降低對(duì)單個(gè)數(shù)據(jù)中心的存儲(chǔ)容量和計(jì)算能力的要求；在目前的數(shù)據(jù)分析框架下可以減少任務(wù)查詢的反應(yīng)時(shí)間，減少對(duì)網(wǎng)絡(luò)帶寬的消耗，同時(shí)降低數(shù)據(jù)存儲(chǔ)的成本。其原理是把數(shù)據(jù)放到附近的數(shù)據(jù)中心進(jìn)行存儲(chǔ)，在考慮數(shù)據(jù)中心存儲(chǔ)成本的情況下，根據(jù)網(wǎng)點(diǎn)帶寬大小和查詢?nèi)蝿?wù)的特點(diǎn)來改變數(shù)據(jù)放置的位置，最終選擇存儲(chǔ)價(jià)格合適的數(shù)據(jù)查詢時(shí)間最小的數(shù)據(jù)中心即網(wǎng)點(diǎn)。

如圖1所示，本發(fā)明設(shè)計(jì)了一種加速云計(jì)算數(shù)據(jù)中心查詢的數(shù)據(jù)調(diào)度方法，用于針對(duì)瓶頸網(wǎng)點(diǎn)上的放置數(shù)據(jù)進(jìn)行調(diào)度，其中，獲取云計(jì)算數(shù)據(jù)中心dk＜o(jì)或uk＜o(jì)的各個(gè)網(wǎng)點(diǎn)，作為瓶頸網(wǎng)點(diǎn)，k∈{1，…，k}，k表示云計(jì)算數(shù)據(jù)中心中網(wǎng)點(diǎn)的數(shù)量，dk表示第k個(gè)網(wǎng)點(diǎn)的下載速度，uk表示第k個(gè)網(wǎng)點(diǎn)的上傳速度，o表示預(yù)設(shè)云計(jì)算數(shù)據(jù)中心傳輸數(shù)據(jù)最小帶寬值；實(shí)際應(yīng)用中，針對(duì)各個(gè)瓶頸網(wǎng)點(diǎn)，分別具體執(zhí)行如下調(diào)度方法：

步驟a.獲取云計(jì)算數(shù)據(jù)中心dk＞o'且uk＞o'的各個(gè)網(wǎng)點(diǎn)，作為各個(gè)待選網(wǎng)點(diǎn)，然后進(jìn)入步驟b，其中，o'表示預(yù)設(shè)云計(jì)算數(shù)據(jù)中心待接收數(shù)據(jù)網(wǎng)點(diǎn)的最小帶寬值。

步驟b.根據(jù)如下公式：

costq＝nq*(cost'q+cost”q)+xq*cost”'q

分別獲得各個(gè)待選網(wǎng)點(diǎn)的數(shù)據(jù)存儲(chǔ)成本costq，其中，q∈{1，…，q}，q表示待選網(wǎng)點(diǎn)的數(shù)量，costq表示各個(gè)待選網(wǎng)點(diǎn)中第q個(gè)待選網(wǎng)點(diǎn)數(shù)據(jù)存儲(chǔ)成本，cost'q表示各個(gè)待選網(wǎng)點(diǎn)中第q個(gè)待選網(wǎng)點(diǎn)存儲(chǔ)數(shù)據(jù)的單位成本，cost”q表示各個(gè)待選網(wǎng)點(diǎn)中第q個(gè)待選網(wǎng)點(diǎn)的單位傳輸成本，cost”'q表示各個(gè)待選網(wǎng)點(diǎn)中第q個(gè)待選網(wǎng)點(diǎn)的數(shù)據(jù)請(qǐng)求成本，nq表示各個(gè)待選網(wǎng)點(diǎn)中第q個(gè)待選網(wǎng)點(diǎn)所需的數(shù)據(jù)存儲(chǔ)量，xq表示各個(gè)待選網(wǎng)點(diǎn)中第q個(gè)待選網(wǎng)點(diǎn)的請(qǐng)求次數(shù)，并進(jìn)一步獲得低于預(yù)設(shè)網(wǎng)點(diǎn)數(shù)據(jù)存儲(chǔ)成本閾值的各個(gè)數(shù)據(jù)存儲(chǔ)成本，針對(duì)該各個(gè)數(shù)據(jù)存儲(chǔ)成本分別所對(duì)應(yīng)的待選網(wǎng)點(diǎn)，構(gòu)建待傳輸網(wǎng)點(diǎn)集合s，然后進(jìn)入步驟c。

步驟c.從待傳輸網(wǎng)點(diǎn)集合s中隨機(jī)取出一個(gè)網(wǎng)點(diǎn)，作為待傳輸網(wǎng)點(diǎn)，并從待傳輸網(wǎng)點(diǎn)集合s中刪除該待傳輸網(wǎng)點(diǎn)，并獲取該待傳輸網(wǎng)點(diǎn)的放置數(shù)據(jù)的大小，以及初始化m為預(yù)設(shè)移動(dòng)數(shù)據(jù)量大小，然后進(jìn)入步驟d。

步驟d.若m≤該待傳輸網(wǎng)點(diǎn)的放置數(shù)據(jù)的大小，則獲取或更新假設(shè)由瓶頸網(wǎng)點(diǎn)中最高優(yōu)先級(jí)數(shù)據(jù)集中移出m大小的數(shù)據(jù)至該待傳輸網(wǎng)點(diǎn)后所對(duì)應(yīng)的查詢時(shí)間t1，然后進(jìn)入步驟e；若m＞該待傳輸網(wǎng)點(diǎn)的放置數(shù)據(jù)的大小，則進(jìn)入步驟f。

其中步驟d中，所述瓶頸網(wǎng)點(diǎn)中最高優(yōu)先級(jí)數(shù)據(jù)集，根據(jù)如下過程獲得：

首先分別針對(duì)瓶頸網(wǎng)點(diǎn)中的各個(gè)數(shù)據(jù)集，獲得數(shù)據(jù)集的查詢q，對(duì)數(shù)據(jù)集的查詢次數(shù)c，數(shù)據(jù)集所引起中間數(shù)據(jù)傳輸延遲的改善j，數(shù)據(jù)集移動(dòng)所引起最大查詢時(shí)間的減少t'，以及數(shù)據(jù)集移動(dòng)所需的成本cost；然后分別針對(duì)瓶頸網(wǎng)點(diǎn)中的各個(gè)數(shù)據(jù)集，獲得各個(gè)數(shù)據(jù)集的價(jià)值，并根據(jù)數(shù)據(jù)集價(jià)值與數(shù)據(jù)集移動(dòng)所需成本的比值，獲得各個(gè)數(shù)據(jù)集的得分，根據(jù)得分由高到低的順序，排列各個(gè)數(shù)據(jù)集優(yōu)先級(jí)由高至低。

步驟e.待經(jīng)過預(yù)設(shè)t0時(shí)長(zhǎng)，獲得或更新基于步驟d中假設(shè)數(shù)據(jù)移動(dòng)后所對(duì)應(yīng)的查詢時(shí)間t2，判斷t2是否小于t1，是則采用(m+預(yù)設(shè)移動(dòng)數(shù)據(jù)增量)針對(duì)m進(jìn)行更新，并返回步驟d；否則將t1作為瓶頸網(wǎng)點(diǎn)向該待傳輸網(wǎng)點(diǎn)移動(dòng)數(shù)據(jù)后所對(duì)應(yīng)的最小查詢時(shí)間，并記錄最小查詢時(shí)間所對(duì)應(yīng)的移動(dòng)數(shù)據(jù)大小，然后進(jìn)入步驟f，實(shí)際應(yīng)用中，針對(duì)預(yù)設(shè)移動(dòng)數(shù)據(jù)增量，具體設(shè)計(jì)采用10mb作為移動(dòng)數(shù)據(jù)增量。

步驟f.判斷待傳輸網(wǎng)點(diǎn)集合s中是否存在網(wǎng)點(diǎn)，是則返回步驟c；否則進(jìn)入步驟g。

步驟g.針對(duì)各個(gè)最小查詢時(shí)間，獲得其中最小值所對(duì)應(yīng)的待傳輸網(wǎng)點(diǎn)和移動(dòng)數(shù)據(jù)大小，將該待傳輸網(wǎng)點(diǎn)作為目標(biāo)網(wǎng)點(diǎn)，將該移動(dòng)數(shù)據(jù)大小作為目標(biāo)移動(dòng)數(shù)據(jù)大小，由瓶頸網(wǎng)點(diǎn)中最高優(yōu)先數(shù)據(jù)集中移出目標(biāo)移動(dòng)數(shù)據(jù)大小的數(shù)據(jù)至該目標(biāo)網(wǎng)點(diǎn)。

上述技術(shù)方案所設(shè)計(jì)加速云計(jì)算數(shù)據(jù)中心查詢的數(shù)據(jù)調(diào)度方法，在靠近數(shù)據(jù)的數(shù)據(jù)中心存儲(chǔ)數(shù)據(jù)可以大大減小帶寬的消耗，減少數(shù)據(jù)傳輸對(duì)引起的查詢響應(yīng)的延遲，不必建立一個(gè)存儲(chǔ)量極大，對(duì)計(jì)算性能要求很高的中心數(shù)據(jù)中心；不論哪個(gè)數(shù)據(jù)中心是瓶頸網(wǎng)點(diǎn)，帶寬很小，都可以確保數(shù)據(jù)查詢的反應(yīng)時(shí)間較??；根據(jù)存儲(chǔ)成本選擇數(shù)據(jù)中心，可以在兼顧查詢反應(yīng)時(shí)間的情況下使數(shù)據(jù)的存儲(chǔ)成本較低。

上面結(jié)合附圖對(duì)本發(fā)明的實(shí)施方式作了詳細(xì)說明，但是本發(fā)明并不限于上述實(shí)施方式，在本領(lǐng)域普通技術(shù)人員所具備的知識(shí)范圍內(nèi)，還可以在不脫離本發(fā)明宗旨的前提下做出各種變化。