一種基于云計(jì)算的重復(fù)數(shù)據(jù)去重選擇方法及裝置的制造方法
【專(zhuān)利摘要】本發(fā)明公開(kāi)了一種基于云計(jì)算的重復(fù)數(shù)據(jù)去重選擇方法，包括：S10：當(dāng)獲取到包含有重復(fù)數(shù)據(jù)的待存儲(chǔ)數(shù)據(jù)后，獲取當(dāng)前時(shí)刻存儲(chǔ)系統(tǒng)的客戶(hù)端的負(fù)載值、服務(wù)器端的負(fù)載值以及當(dāng)前網(wǎng)絡(luò)帶寬值；S11：判斷所述客戶(hù)端的負(fù)載值、所述服務(wù)器端的負(fù)載值和當(dāng)前網(wǎng)絡(luò)帶寬值是否滿足預(yù)定條件，如果是，進(jìn)入步驟S12；S12：在預(yù)先設(shè)置的去重選擇模式中確定所述待存儲(chǔ)數(shù)據(jù)中重復(fù)數(shù)據(jù)的去重選擇方式。由于客戶(hù)端的負(fù)載值、服務(wù)器端的負(fù)載值以及當(dāng)前網(wǎng)絡(luò)帶寬值對(duì)于待存儲(chǔ)數(shù)據(jù)的去重方式選擇的影響較為重要，以上述三種參數(shù)作為參考對(duì)象可以提高去重的效率，提高存儲(chǔ)系統(tǒng)的整體利用率。另外，本發(fā)明還公開(kāi)一種基于云計(jì)算的重復(fù)數(shù)據(jù)去重選擇裝置，效果如上所述。
【專(zhuān)利說(shuō)明】
一種基于云計(jì)算的重復(fù)數(shù)據(jù)去重選擇方法及裝置
技術(shù)領(lǐng)域
[0001]本發(fā)明涉及云計(jì)算技術(shù)領(lǐng)域，特別是涉及一種基于云計(jì)算的重復(fù)數(shù)據(jù)去重選擇方法及裝置。
【背景技術(shù)】
[0002]當(dāng)前，云計(jì)算逐漸被行業(yè)認(rèn)可，云存儲(chǔ)系統(tǒng)已經(jīng)逐漸在社會(huì)生產(chǎn)和生活領(lǐng)域中起到越來(lái)越重要的作用。云存儲(chǔ)系統(tǒng)中存在著大量的重復(fù)數(shù)據(jù)，這些重復(fù)數(shù)據(jù)的存在大大影響了數(shù)據(jù)存儲(chǔ)、訪問(wèn)的效率，并造成了資源的大量浪費(fèi)。待存儲(chǔ)數(shù)據(jù)需要重復(fù)數(shù)據(jù)的去重工作，對(duì)于待存儲(chǔ)數(shù)據(jù)要實(shí)現(xiàn)重復(fù)數(shù)據(jù)的去重，一方面可以有效的節(jié)省用戶(hù)的存儲(chǔ)空間，可以間接節(jié)省服務(wù)商的硬件采購(gòu)成本、人力能耗和機(jī)房的使用空間等;另一個(gè)方面，重復(fù)數(shù)據(jù)去重通過(guò)互聯(lián)網(wǎng)并不傳輸或存儲(chǔ)多份相同數(shù)據(jù)，這樣就有效減少對(duì)存儲(chǔ)空間和網(wǎng)絡(luò)帶寬的占用，進(jìn)而提高訪問(wèn)和檢索效率。在具體實(shí)施中，重復(fù)數(shù)據(jù)去重的操作可以在存儲(chǔ)系統(tǒng)的客戶(hù)端進(jìn)行，也可以在存儲(chǔ)系統(tǒng)的服務(wù)器端進(jìn)行，而重復(fù)數(shù)據(jù)去重的選擇方法直接影響到去重的效率和存儲(chǔ)系統(tǒng)的整體利用率。
[0003 ]由此可見(jiàn)，如何選擇重復(fù)數(shù)據(jù)去重的方法以提高去重的效率和存儲(chǔ)系統(tǒng)的整體利用率是本領(lǐng)域技術(shù)人員亟待解決的問(wèn)題。

【發(fā)明內(nèi)容】

[0004]本發(fā)明的目的是提供一種基于云計(jì)算的重復(fù)數(shù)據(jù)去重選擇方法及裝置，用于提高去重的效率和存儲(chǔ)系統(tǒng)的整體利用率。
[0005]為解決上述技術(shù)問(wèn)題，本發(fā)明提供一種基于云計(jì)算的重復(fù)數(shù)據(jù)去重選擇方法，包括:
[0006]S10:當(dāng)獲取到包含有重復(fù)數(shù)據(jù)的待存儲(chǔ)數(shù)據(jù)后，獲取當(dāng)前時(shí)刻存儲(chǔ)系統(tǒng)的客戶(hù)端的負(fù)載值、服務(wù)器端的負(fù)載值以及當(dāng)前網(wǎng)絡(luò)帶寬值；
[0007]Sll:判斷所述客戶(hù)端的負(fù)載值、所述服務(wù)器端的負(fù)載值和當(dāng)前網(wǎng)絡(luò)帶寬值是否滿足預(yù)定條件，如果是，進(jìn)入步驟SI 2;
[0008]S12:在預(yù)先設(shè)置的去重選擇模式中確定所述待存儲(chǔ)數(shù)據(jù)中重復(fù)數(shù)據(jù)的去重選擇方式。
[0009]優(yōu)選地，所述步驟SII具體包括:
[0010]如果當(dāng)前網(wǎng)絡(luò)帶寬值小于預(yù)定網(wǎng)絡(luò)帶寬值，且所述服務(wù)器端的負(fù)載值大于預(yù)定負(fù)載值時(shí)，則確定滿足所述預(yù)定條件；
[0011]或如果當(dāng)前網(wǎng)絡(luò)帶寬值大于所述預(yù)定網(wǎng)絡(luò)帶寬值，且所述服務(wù)器端的負(fù)載值小于所述預(yù)定負(fù)載值時(shí)，則確定滿足所述預(yù)定條件；
[0012]其中，如果當(dāng)前網(wǎng)絡(luò)帶寬值小于預(yù)定網(wǎng)絡(luò)帶寬值，且所述服務(wù)器端的負(fù)載值大于預(yù)定負(fù)載值時(shí)，步驟S12具體為:確定在客戶(hù)端執(zhí)行所述待存儲(chǔ)數(shù)據(jù)的去重過(guò)程；
[0013]如果當(dāng)前網(wǎng)絡(luò)帶寬值大于所述預(yù)定網(wǎng)絡(luò)帶寬值，且所述服務(wù)器端的負(fù)載值小于所述預(yù)定負(fù)載值時(shí)，步驟S12具體為:確定在服務(wù)器端執(zhí)行所述待存儲(chǔ)數(shù)據(jù)的去重過(guò)程。
[0014]優(yōu)選地，在所述步驟SlO之前還包括:
[0015]S13:接收所述存儲(chǔ)系統(tǒng)的存儲(chǔ)請(qǐng)求和所述待存儲(chǔ)數(shù)據(jù)；
[0016]S14:判斷所述待存儲(chǔ)數(shù)據(jù)是否包含有所述重復(fù)數(shù)據(jù)，如果是，則進(jìn)入步驟SlO。
[0017]優(yōu)選地，在所述步驟SlO之前還包括:
[0018]S15:周期性地監(jiān)控所述客戶(hù)端的負(fù)載值、所述服務(wù)器端的負(fù)載值以及當(dāng)前網(wǎng)絡(luò)帶寬值。
[0019]優(yōu)選地，還包括:
[0020]記錄步驟SlO-步驟S15中的任意一個(gè)步驟或幾個(gè)步驟。
[0021]—種基于云計(jì)算的重復(fù)數(shù)據(jù)去重選擇裝置，包括:
[0022]存儲(chǔ)系統(tǒng)信息獲取模塊，用于當(dāng)獲取到包含有重復(fù)數(shù)據(jù)的待存儲(chǔ)數(shù)據(jù)后，獲取當(dāng)前時(shí)刻存儲(chǔ)系統(tǒng)的客戶(hù)端的負(fù)載值、服務(wù)器端的負(fù)載值以及當(dāng)前網(wǎng)絡(luò)帶寬值；
[0023]第一判斷模塊，與所述存儲(chǔ)系統(tǒng)信息獲取模塊連接，用于判斷所述客戶(hù)端的負(fù)載值、服務(wù)器端的負(fù)載值和當(dāng)前網(wǎng)絡(luò)帶寬值是否滿足預(yù)定條件；
[0024]確定模塊，與所述第一判斷模塊連接，用于在所述判斷模塊判斷出所述客戶(hù)端的負(fù)載值、所述服務(wù)器端的負(fù)載值和當(dāng)前網(wǎng)絡(luò)帶寬值滿足預(yù)定條件時(shí)，在預(yù)先設(shè)置的去重選擇模式中確定所述待存儲(chǔ)數(shù)據(jù)中重復(fù)數(shù)據(jù)的去重選擇方式。
[0025]優(yōu)選地，所述第一判斷模塊的判斷依據(jù)包括:
[0026]如果當(dāng)前網(wǎng)絡(luò)帶寬值小于預(yù)定網(wǎng)絡(luò)帶寬值，且所述服務(wù)器端的負(fù)載值大于預(yù)定負(fù)載值時(shí)，則確定滿足所述預(yù)定條件；
[0027]或如果當(dāng)前網(wǎng)絡(luò)帶寬值大于所述預(yù)定網(wǎng)絡(luò)帶寬值，且所述服務(wù)器端的負(fù)載值小于所述預(yù)定負(fù)載值時(shí)，則確定滿足所述預(yù)定條件；
[0028]其中，如果當(dāng)前網(wǎng)絡(luò)帶寬值小于預(yù)定網(wǎng)絡(luò)帶寬值，且所述服務(wù)器端的負(fù)載值大于預(yù)定負(fù)載值時(shí)，所述確定模塊確定在客戶(hù)端執(zhí)行所述待存儲(chǔ)數(shù)據(jù)的去重過(guò)程；
[0029]如果當(dāng)前網(wǎng)絡(luò)帶寬值大于所述預(yù)定網(wǎng)絡(luò)帶寬值，且所述服務(wù)器端的負(fù)載值小于所述預(yù)定負(fù)載值時(shí)，所述確定模塊確定在服務(wù)器端執(zhí)行所述待存儲(chǔ)數(shù)據(jù)的去重過(guò)程。
[0030]優(yōu)選地，還包括:
[0031 ]接收模塊，用于接收所述存儲(chǔ)系統(tǒng)的存儲(chǔ)請(qǐng)求和所述待存儲(chǔ)數(shù)據(jù)；
[0032]第二判斷模塊，與所述接收模塊和所述存儲(chǔ)系統(tǒng)信息獲取模塊連接，用于判斷所述待存儲(chǔ)數(shù)據(jù)是否包含有所述重復(fù)數(shù)據(jù)，且在所述待存儲(chǔ)數(shù)據(jù)包含有所述重復(fù)數(shù)據(jù)時(shí)，將所述待存儲(chǔ)數(shù)據(jù)發(fā)送給所述存儲(chǔ)系統(tǒng)信息獲取模塊。
[0033]優(yōu)選地，還包括:
[0034]存儲(chǔ)系統(tǒng)信息監(jiān)控模塊，與所述存儲(chǔ)系統(tǒng)信息獲取模塊連接，用于周期性地監(jiān)控所述客戶(hù)端的負(fù)載值、所述服務(wù)器端的負(fù)載值以及當(dāng)前網(wǎng)絡(luò)帶寬值。
[0035]優(yōu)選地，還包括:日志記錄模塊，與存儲(chǔ)系統(tǒng)信息獲取模塊、第一判斷模塊、確定模塊、接收模塊、第二判斷模塊、存儲(chǔ)系統(tǒng)信息監(jiān)控模塊中的任意一個(gè)或幾個(gè)模塊連接，用于記錄相應(yīng)的模塊的執(zhí)行步驟。
[0036]本發(fā)明所提供的基于云計(jì)算的重復(fù)數(shù)據(jù)去重選擇方法及裝置，當(dāng)判斷出客戶(hù)端的負(fù)載值、服務(wù)器端的負(fù)載值以及當(dāng)前網(wǎng)絡(luò)帶寬值滿足預(yù)設(shè)條件時(shí)，在去重選擇模式中確定待存儲(chǔ)數(shù)據(jù)中的重復(fù)數(shù)據(jù)的去重選擇方式。由于客戶(hù)端的負(fù)載值、服務(wù)器端的負(fù)載值以及當(dāng)前網(wǎng)絡(luò)帶寬值對(duì)于待存儲(chǔ)數(shù)據(jù)的去重方式選擇的影響較為重要，以上述三種參數(shù)作為參考對(duì)象可以提尚去重的效率，提尚存儲(chǔ)系統(tǒng)的整體利用率。
【附圖說(shuō)明】
[0037]為了更清楚地說(shuō)明本發(fā)明實(shí)施例，下面將對(duì)實(shí)施例中所需要使用的附圖做簡(jiǎn)單的介紹，顯而易見(jiàn)地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來(lái)講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)這些附圖獲得其他的附圖。
[0038]圖1為本發(fā)明提供的一種基于云計(jì)算的重復(fù)數(shù)據(jù)去重選擇方法的流程圖；
[0039]圖2為本發(fā)明提供的另一種基于云計(jì)算的重復(fù)數(shù)據(jù)去重選擇方法的流程圖；
[0040]圖3為本發(fā)明提供的一種基于云計(jì)算的重復(fù)數(shù)據(jù)去重選擇裝置的結(jié)構(gòu)圖；
[0041]圖4為本發(fā)明提供的另一種基于云計(jì)算的重復(fù)數(shù)據(jù)去重選擇裝置的結(jié)構(gòu)圖。
【具體實(shí)施方式】
[0042]下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒(méi)有做出創(chuàng)造性勞動(dòng)前提下，所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)范圍。
[0043]本發(fā)明的核心是提供一種基于云計(jì)算的重復(fù)數(shù)據(jù)去重選擇方法及裝置。
[0044]為了使本技術(shù)領(lǐng)域的人員更好地理解本發(fā)明方案，下面結(jié)合附圖和【具體實(shí)施方式】對(duì)本發(fā)明作進(jìn)一步的詳細(xì)說(shuō)明。
[0045]圖1為本發(fā)明提供的一種基于云計(jì)算的重復(fù)數(shù)據(jù)去重選擇方法的流程圖。如圖1所示，基于云計(jì)算的重復(fù)數(shù)據(jù)去重選擇方法包括:
[0046]S10:當(dāng)獲取到包含有重復(fù)數(shù)據(jù)的待存儲(chǔ)數(shù)據(jù)后，獲取當(dāng)前時(shí)刻存儲(chǔ)系統(tǒng)的客戶(hù)端的負(fù)載值、服務(wù)器端的負(fù)載值以及當(dāng)前網(wǎng)絡(luò)帶寬值；
[0047]Sll:判斷客戶(hù)端的負(fù)載值、服務(wù)器端的負(fù)載值和當(dāng)前網(wǎng)絡(luò)帶寬值是否滿足預(yù)定條件，如果是，進(jìn)入步驟S12;
[0048]SI 2:在預(yù)先設(shè)置的去重選擇模式中確定待存儲(chǔ)數(shù)據(jù)中重復(fù)數(shù)據(jù)的去重選擇方式。
[0049]在具體實(shí)施中，首先要獲取待存儲(chǔ)數(shù)據(jù)，可以理解的是，待存儲(chǔ)數(shù)據(jù)必須包含有重復(fù)數(shù)據(jù)，這里的重復(fù)數(shù)據(jù)指的是待存儲(chǔ)的數(shù)據(jù)與存儲(chǔ)系統(tǒng)中已經(jīng)存儲(chǔ)過(guò)的數(shù)據(jù)有重復(fù)的數(shù)據(jù)。獲取當(dāng)前時(shí)刻存儲(chǔ)系統(tǒng)的客戶(hù)端的負(fù)載值，服務(wù)器端的負(fù)載值以及當(dāng)前網(wǎng)絡(luò)帶寬值。本實(shí)施例中，通過(guò)上述三種參數(shù)確定如何選擇本次的重復(fù)數(shù)據(jù)去重的目的地，即在哪里去重。具體的選擇方法是:判斷客戶(hù)端的負(fù)載值、服務(wù)器端的負(fù)載值和當(dāng)前網(wǎng)絡(luò)帶寬值是否滿足預(yù)定條件，如果上述三種參數(shù)滿足預(yù)定條件，則在去重選擇模式中確定對(duì)應(yīng)的去重方式即可?？梢岳斫獾氖?，去重選擇模式需要預(yù)先設(shè)置，只要滿足預(yù)設(shè)條件，都能在去重選擇模式中找到對(duì)應(yīng)的去重方式。另外，如果上述三種參數(shù)不滿足預(yù)設(shè)條件，則無(wú)法在選擇模式中找到對(duì)應(yīng)的去重方式，本實(shí)施例不再贅述。
[0050]本實(shí)施例提供的基于云計(jì)算的重復(fù)數(shù)據(jù)去重選擇方法，當(dāng)判斷出客戶(hù)端的負(fù)載值、服務(wù)器端的負(fù)載值以及當(dāng)前網(wǎng)絡(luò)帶寬值滿足預(yù)設(shè)條件時(shí)，在去重選擇模式中確定待存儲(chǔ)數(shù)據(jù)中的重復(fù)數(shù)據(jù)的去重選擇方式。由于客戶(hù)端的負(fù)載值、服務(wù)器端的負(fù)載值以及當(dāng)前網(wǎng)絡(luò)帶寬值對(duì)于待存儲(chǔ)數(shù)據(jù)的去重方式選擇的影響較為重要，以上述三種參數(shù)作為參考對(duì)象可以提尚去重的效率，提尚存儲(chǔ)系統(tǒng)的整體利用率。
[0051]在上述實(shí)施例的基礎(chǔ)上，滿足預(yù)定條件可以為如下兩種情況，可以理解的是，預(yù)定條件可以自由設(shè)定，可以將當(dāng)前網(wǎng)絡(luò)帶寬值和服務(wù)器端的負(fù)載值作為判斷依據(jù)，也可以將當(dāng)前網(wǎng)絡(luò)帶寬值和客戶(hù)端的負(fù)載值作為判斷依據(jù)，二者并不影響方案的實(shí)施，只不過(guò)判斷判斷條件不同而已。步驟SI I具體包括兩種情況:
[0052]第一種是:如果當(dāng)前網(wǎng)絡(luò)帶寬值小于預(yù)定網(wǎng)絡(luò)帶寬值，且服務(wù)器端的負(fù)載值大于預(yù)定負(fù)載值時(shí)，則確定滿足預(yù)定條件；
[0053]其中，如果是第一種情況，步驟S12具體為:確定在客戶(hù)端執(zhí)行待存儲(chǔ)數(shù)據(jù)的去重過(guò)程；
[0054]第二種是:或如果當(dāng)前網(wǎng)絡(luò)帶寬值大于預(yù)定網(wǎng)絡(luò)帶寬值，且服務(wù)器端的負(fù)載值小于預(yù)定負(fù)載值時(shí)，則確定滿足預(yù)定條件；
[0055]其中，如果是第二種情況，步驟S12具體為:確定在服務(wù)器端執(zhí)行待存儲(chǔ)數(shù)據(jù)的去重過(guò)程。
[0056]上述過(guò)程中表明，只要待存儲(chǔ)數(shù)據(jù)包含有重復(fù)數(shù)據(jù)，且客戶(hù)端的負(fù)載值、服務(wù)器端的負(fù)載值以及當(dāng)前網(wǎng)絡(luò)帶寬值滿足預(yù)設(shè)條件時(shí)，去重的過(guò)程可以在服務(wù)器端，也可以在客戶(hù)端，而具體是在服務(wù)器端執(zhí)行還是客戶(hù)端執(zhí)行需要進(jìn)一步確定。之所以采用上述的選擇方式是考慮到，重復(fù)數(shù)據(jù)不參與數(shù)據(jù)傳輸，因此比較適合當(dāng)前網(wǎng)絡(luò)帶寬值較小的情況，另夕卜，如果服務(wù)器端的負(fù)載值較大，若仍然在服務(wù)器端進(jìn)行重復(fù)數(shù)據(jù)的去重操作，則降低了去重的效率，綜上所述，本實(shí)施例中，如果當(dāng)前網(wǎng)絡(luò)帶寬值小于預(yù)定網(wǎng)絡(luò)帶寬值，且服務(wù)器端的負(fù)載值大于預(yù)定負(fù)載值時(shí)，確定在客戶(hù)端執(zhí)行待存儲(chǔ)數(shù)據(jù)的去重過(guò)程。此外，如果當(dāng)前網(wǎng)絡(luò)帶寬值較大，且如果服務(wù)器端的負(fù)載值較小，若仍然在客戶(hù)端進(jìn)行重復(fù)數(shù)據(jù)的去重操作，則降低了去重的效率，綜上所述，本實(shí)施例中，如果當(dāng)前網(wǎng)絡(luò)帶寬值大于預(yù)定網(wǎng)絡(luò)帶寬值，且服務(wù)器端的負(fù)載值小于預(yù)定負(fù)載值時(shí)，確定在服務(wù)器端執(zhí)行待存儲(chǔ)數(shù)據(jù)的去重過(guò)程。
[0057]可以理解的是，上述判斷是否滿足預(yù)定條件可以根據(jù)實(shí)際情況設(shè)定，例如，只考慮當(dāng)前網(wǎng)絡(luò)帶寬值的大小，或者只考慮服務(wù)器端的負(fù)載值或者客戶(hù)端的負(fù)載值，本發(fā)明不再贅述。
[0058]圖2為本發(fā)明提供的另一種基于云計(jì)算的重復(fù)數(shù)據(jù)去重選擇方法的流程圖。如圖2所示，在上述實(shí)施例的基礎(chǔ)上，在步驟SlO之前還包括:
[0059]S13:接收存儲(chǔ)系統(tǒng)的存儲(chǔ)請(qǐng)求和待存儲(chǔ)數(shù)據(jù)；
[0060]S14:判斷待存儲(chǔ)數(shù)據(jù)是否包含有重復(fù)數(shù)據(jù)；
[0061]如果是，則進(jìn)入步驟SI O。
[0062]在上述實(shí)施例中是在待存儲(chǔ)數(shù)據(jù)包含有重復(fù)數(shù)據(jù)的基礎(chǔ)上實(shí)施的，而在具體實(shí)施中，待存儲(chǔ)數(shù)據(jù)有可能不包含有重復(fù)數(shù)據(jù)，那么就不需要執(zhí)行去重操作，也就不需要進(jìn)行去重方式的選擇，因此，當(dāng)接收到存儲(chǔ)系統(tǒng)的存儲(chǔ)請(qǐng)求時(shí)，首先判斷待存儲(chǔ)數(shù)據(jù)是否包含有重復(fù)數(shù)據(jù)，如果是，則執(zhí)行步驟SlO-步驟S12;如果不包含，則結(jié)束。
[0063]在上述實(shí)施例的基礎(chǔ)上，在步驟SlO之前還包括:
[0064 ] S15:周期性地監(jiān)控客戶(hù)端的負(fù)載值、服務(wù)器端的負(fù)載值以及當(dāng)前網(wǎng)絡(luò)帶寬值。
[0065]在具體實(shí)施中，即使不進(jìn)行重復(fù)數(shù)據(jù)的去重選擇方式，也需要周期性地監(jiān)控客戶(hù)端的負(fù)載值、服務(wù)器端的負(fù)載值以及當(dāng)前網(wǎng)絡(luò)帶寬值，以便做其它的記錄的分析。本實(shí)施例中，步驟SlO具體是通過(guò)步驟S15間接得到的客戶(hù)端的負(fù)載值、服務(wù)器端的負(fù)載值以及當(dāng)前網(wǎng)絡(luò)帶寬值?？梢岳斫獾氖?，這里的周期可以根據(jù)實(shí)際情況設(shè)定，本發(fā)明不做具體限定。
[0066]作為一種優(yōu)選的實(shí)施方式，在上述實(shí)施例的基礎(chǔ)上還包括:
[0067]記錄步驟SlO-步驟S15中的任意一個(gè)步驟或幾個(gè)步驟。
[0068]在具體實(shí)施中，需要記錄去重選擇方式中的一個(gè)步驟或幾個(gè)步驟，以便后續(xù)使用?？梢岳斫獾氖?，本步驟中的記錄操作可以根據(jù)實(shí)際情況設(shè)定，并沒(méi)有嚴(yán)格限定記錄哪個(gè)步驟。
[0069]圖3為本發(fā)明提供的一種基于云計(jì)算的重復(fù)數(shù)據(jù)去重選擇裝置的結(jié)構(gòu)圖。如圖3所示，一種基于云計(jì)算的重復(fù)數(shù)據(jù)去重選擇裝置，包括:
[0070]存儲(chǔ)系統(tǒng)信息獲取模塊10，用于當(dāng)獲取到包含有重復(fù)數(shù)據(jù)的待存儲(chǔ)數(shù)據(jù)后，獲取當(dāng)前時(shí)刻存儲(chǔ)系統(tǒng)的客戶(hù)端的負(fù)載值、服務(wù)器端的負(fù)載值以及當(dāng)前網(wǎng)絡(luò)帶寬值；
[0071]第一判斷模塊11，與存儲(chǔ)系統(tǒng)信息獲取模塊10連接，用于判斷客戶(hù)端的負(fù)載值、月艮務(wù)器端的負(fù)載值和當(dāng)前網(wǎng)絡(luò)帶寬值是否滿足預(yù)定條件；
[0072]確定模塊12，與第一判斷模塊11連接，用于在判斷模塊判斷出客戶(hù)端的負(fù)載值、月艮務(wù)器端的負(fù)載值和當(dāng)前網(wǎng)絡(luò)帶寬值滿足預(yù)定條件時(shí)，在預(yù)先設(shè)置的去重選擇模式中確定待存儲(chǔ)數(shù)據(jù)中重復(fù)數(shù)據(jù)的去重選擇方式。
[0073]在具體實(shí)施中，首先要獲取待存儲(chǔ)數(shù)據(jù)，可以理解的是，待存儲(chǔ)數(shù)據(jù)必須包含有重復(fù)數(shù)據(jù)，這里的重復(fù)數(shù)據(jù)指的是待存儲(chǔ)的數(shù)據(jù)與存儲(chǔ)系統(tǒng)中已經(jīng)存儲(chǔ)過(guò)的數(shù)據(jù)有重復(fù)的數(shù)據(jù)。存儲(chǔ)系統(tǒng)信息獲取模塊10獲取當(dāng)前時(shí)刻存儲(chǔ)系統(tǒng)的客戶(hù)端的負(fù)載值，服務(wù)器端的負(fù)載值以及當(dāng)前網(wǎng)絡(luò)帶寬值。本實(shí)施例中，通過(guò)上述三種參數(shù)確定如何選擇本次的重復(fù)數(shù)據(jù)去重的目的地，即在哪里去重。具體的選擇方法是:第一判斷模塊11判斷客戶(hù)端的負(fù)載值、月艮務(wù)器端的負(fù)載值和當(dāng)前網(wǎng)絡(luò)帶寬值是否滿足預(yù)定條件，如果上述三種參數(shù)滿足預(yù)定條件，則在去重選擇模式中確定對(duì)應(yīng)的去重方式即可?？梢岳斫獾氖牵ブ剡x擇模式需要預(yù)先設(shè)置，只要滿足預(yù)設(shè)條件，確定模塊12都能在去重選擇模式中找到對(duì)應(yīng)的去重方式。另外，如果上述三種參數(shù)不滿足預(yù)設(shè)條件，則無(wú)法在選擇模式中找到對(duì)應(yīng)的去重方式，本實(shí)施例不再贅述。
[0074]本實(shí)施例提供的基于云計(jì)算的重復(fù)數(shù)據(jù)去重選擇裝置，當(dāng)判斷出客戶(hù)端的負(fù)載值、服務(wù)器端的負(fù)載值以及當(dāng)前網(wǎng)絡(luò)帶寬值滿足預(yù)設(shè)條件時(shí)，在去重選擇模式中確定待存儲(chǔ)數(shù)據(jù)中的重復(fù)數(shù)據(jù)的去重選擇方式。由于客戶(hù)端的負(fù)載值、服務(wù)器端的負(fù)載值以及當(dāng)前網(wǎng)絡(luò)帶寬值對(duì)于待存儲(chǔ)數(shù)據(jù)的去重方式選擇的影響較為重要，以上述三種參數(shù)作為參考對(duì)象可以提尚去重的效率，提尚存儲(chǔ)系統(tǒng)的整體利用率。
[0075]在上述實(shí)施例的基礎(chǔ)上，第一判斷模塊11的判斷依據(jù)包括:
[0076]如果當(dāng)前網(wǎng)絡(luò)帶寬值小于預(yù)定網(wǎng)絡(luò)帶寬值，且服務(wù)器端的負(fù)載值大于預(yù)定負(fù)載值時(shí)，則確定滿足預(yù)定條件；
[0077]或如果當(dāng)前網(wǎng)絡(luò)帶寬值大于預(yù)定網(wǎng)絡(luò)帶寬值，且服務(wù)器端的負(fù)載值小于預(yù)定負(fù)載值時(shí)，則確定滿足預(yù)定條件；
[0078]其中，如果當(dāng)前網(wǎng)絡(luò)帶寬值小于預(yù)定網(wǎng)絡(luò)帶寬值，且服務(wù)器端的負(fù)載值大于預(yù)定負(fù)載值時(shí)，確定模塊12確定在客戶(hù)端執(zhí)行待存儲(chǔ)數(shù)據(jù)的去重過(guò)程；
[0079]如果當(dāng)前網(wǎng)絡(luò)帶寬值大于預(yù)定網(wǎng)絡(luò)帶寬值，且服務(wù)器端的負(fù)載值小于預(yù)定負(fù)載值時(shí)，確定模塊12確定在服務(wù)器端執(zhí)行待存儲(chǔ)數(shù)據(jù)的去重過(guò)程。
[0080]上述過(guò)程中表明，只要待存儲(chǔ)數(shù)據(jù)包含有重復(fù)數(shù)據(jù)，且客戶(hù)端的負(fù)載值、服務(wù)器端的負(fù)載值以及當(dāng)前網(wǎng)絡(luò)帶寬值滿足預(yù)設(shè)條件時(shí)，去重的過(guò)程可以在服務(wù)器端，也可以在客戶(hù)端，而具體是在服務(wù)器端執(zhí)行還是客戶(hù)端執(zhí)行需要確定模塊12進(jìn)一步確定。之所以采用上述的選擇方式是考慮到，重復(fù)數(shù)據(jù)不參與數(shù)據(jù)傳輸，因此比較適合當(dāng)前網(wǎng)絡(luò)帶寬值較小的情況，另外，如果服務(wù)器端的負(fù)載值較大，若仍然在服務(wù)器端進(jìn)行重復(fù)數(shù)據(jù)的去重操作，則降低了去重的效率，綜上所述，本實(shí)施例中，如果當(dāng)前網(wǎng)絡(luò)帶寬值小于預(yù)定網(wǎng)絡(luò)帶寬值，且服務(wù)器端的負(fù)載值大于預(yù)定負(fù)載值時(shí)，確定在客戶(hù)端執(zhí)行待存儲(chǔ)數(shù)據(jù)的去重過(guò)程。此外，如果當(dāng)前網(wǎng)絡(luò)帶寬值較大，且如果服務(wù)器端的負(fù)載值較小，若仍然在客戶(hù)端進(jìn)行重復(fù)數(shù)據(jù)的去重操作，則降低了去重的效率，綜上所述，本實(shí)施例中，如果當(dāng)前網(wǎng)絡(luò)帶寬值大于預(yù)定網(wǎng)絡(luò)帶寬值，且服務(wù)器端的負(fù)載值小于預(yù)定負(fù)載值時(shí)，確定在服務(wù)器端執(zhí)行待存儲(chǔ)數(shù)據(jù)的去重過(guò)程。
[0081]可以理解的是，上述判斷是否滿足預(yù)定條件可以根據(jù)實(shí)際情況設(shè)定，例如，只考慮當(dāng)前網(wǎng)絡(luò)帶寬值的大小，或者只考慮服務(wù)器端的負(fù)載值或者客戶(hù)端的負(fù)載值，本發(fā)明不再贅述。
[0082]圖4為本發(fā)明提供的另一種基于云計(jì)算的重復(fù)數(shù)據(jù)去重選擇裝置的結(jié)構(gòu)圖。如圖4所示，在上述實(shí)施例的基礎(chǔ)上，還包括:
[0083]接收模塊13，用于接收存儲(chǔ)系統(tǒng)的存儲(chǔ)請(qǐng)求和待存儲(chǔ)數(shù)據(jù)；
[0084]第二判斷模塊14，與接收模塊13和存儲(chǔ)系統(tǒng)信息獲取模塊10連接，用于判斷待存儲(chǔ)數(shù)據(jù)是否包含有重復(fù)數(shù)據(jù)，且在待存儲(chǔ)數(shù)據(jù)包含有重復(fù)數(shù)據(jù)時(shí)，將待存儲(chǔ)數(shù)據(jù)發(fā)送給存儲(chǔ)系統(tǒng)信息獲取模塊10。
[0085]在上述實(shí)施例中是在待存儲(chǔ)數(shù)據(jù)包含有重復(fù)數(shù)據(jù)的基礎(chǔ)上實(shí)施的，而在具體實(shí)施中，待存儲(chǔ)數(shù)據(jù)有可能不包含有重復(fù)數(shù)據(jù)，那么就不需要執(zhí)行去重操作，也就不需要進(jìn)行去重方式的選擇，因此，當(dāng)接收模塊13接收到存儲(chǔ)系統(tǒng)的存儲(chǔ)請(qǐng)求時(shí)，第二判斷模塊14判斷待存儲(chǔ)數(shù)據(jù)是否包含有重復(fù)數(shù)據(jù)，如果是，則將待存儲(chǔ)數(shù)據(jù)發(fā)送給存儲(chǔ)系統(tǒng)信息獲取模塊10。
[0086]在上述實(shí)施例的基礎(chǔ)上，還包括:
[0087]存儲(chǔ)系統(tǒng)信息監(jiān)控模塊15，與存儲(chǔ)系統(tǒng)信息獲取模塊10連接，用于周期性地監(jiān)控客戶(hù)端的負(fù)載值、服務(wù)器端的負(fù)載值以及當(dāng)前網(wǎng)絡(luò)帶寬值。
[0088]在具體實(shí)施中，即使不進(jìn)行重復(fù)數(shù)據(jù)的去重選擇方式，也需要存儲(chǔ)系統(tǒng)信息監(jiān)控模塊15周期性地監(jiān)控客戶(hù)端的負(fù)載值、服務(wù)器端的負(fù)載值以及當(dāng)前網(wǎng)絡(luò)帶寬值，以便做其它的記錄的分析。本實(shí)施例中，存儲(chǔ)系統(tǒng)信息獲取模塊10具體是通過(guò)存儲(chǔ)系統(tǒng)信息監(jiān)控模塊15間接得到的客戶(hù)端的負(fù)載值、服務(wù)器端的負(fù)載值以及當(dāng)前網(wǎng)絡(luò)帶寬值。可以理解的是，這里的周期可以根據(jù)實(shí)際情況設(shè)定，本發(fā)明不做具體限定。
[0089]在上述實(shí)施例的基礎(chǔ)上，還包括:
[0090]日志記錄模塊16，與存儲(chǔ)系統(tǒng)信息獲取模塊10、第一判斷模塊11、確定模塊12、接收模塊13、第二判斷模塊14、存儲(chǔ)系統(tǒng)信息監(jiān)控模塊15中的任意一個(gè)或幾個(gè)模塊連接，用于記錄相應(yīng)的模塊的執(zhí)行步驟。[0091 ]在具體實(shí)施中，需要日志記錄模塊16記錄去重選擇方式中的一個(gè)步驟或幾個(gè)步驟，以便后續(xù)使用?？梢岳斫獾氖牵罩居涗浤K16可以根據(jù)實(shí)際需求與存儲(chǔ)系統(tǒng)信息獲取模塊10、第一判斷模塊11、確定模塊12、接收模塊13、第二判斷模塊14或存儲(chǔ)系統(tǒng)信息監(jiān)控模塊15連接，圖4只是一種具體的表現(xiàn)形式。
[0092]需要說(shuō)明的是，在方法部分的實(shí)施例或者裝置部分的實(shí)施例中，在確定了去重選擇方式后，還包括:執(zhí)行模塊按照相應(yīng)的去重方式對(duì)待存儲(chǔ)數(shù)據(jù)進(jìn)行重復(fù)數(shù)據(jù)的去重。
[0093]以上對(duì)本發(fā)明所提供的基于云計(jì)算的重復(fù)數(shù)據(jù)去重選擇方法及裝置進(jìn)行了詳細(xì)介紹。說(shuō)明書(shū)中各個(gè)實(shí)施例采用遞進(jìn)的方式描述，每個(gè)實(shí)施例重點(diǎn)說(shuō)明的都是與其他實(shí)施例的不同之處，各個(gè)實(shí)施例之間相同相似部分互相參見(jiàn)即可。對(duì)于實(shí)施例公開(kāi)的裝置而言，由于其與實(shí)施例公開(kāi)的方法相對(duì)應(yīng)，所以描述的比較簡(jiǎn)單，相關(guān)之處參見(jiàn)方法部分說(shuō)明即可。應(yīng)當(dāng)指出，對(duì)于本技術(shù)領(lǐng)域的普通技術(shù)人員來(lái)說(shuō)，在不脫離本發(fā)明原理的前提下，還可以對(duì)本發(fā)明進(jìn)行若干改進(jìn)和修飾，這些改進(jìn)和修飾也落入本發(fā)明權(quán)利要求的保護(hù)范圍內(nèi)。
[0094]專(zhuān)業(yè)人員還可以進(jìn)一步意識(shí)到，結(jié)合本文中所公開(kāi)的實(shí)施例描述的各示例的單元及算法步驟，能夠以電子硬件、計(jì)算機(jī)軟件或者二者的結(jié)合來(lái)實(shí)現(xiàn)，為了清楚地說(shuō)明硬件和軟件的可互換性，在上述說(shuō)明中已經(jīng)按照功能一般性地描述了各示例的組成及步驟。這些功能究竟以硬件還是軟件方式來(lái)執(zhí)行，取決于技術(shù)方案的特定應(yīng)用和設(shè)計(jì)約束條件。專(zhuān)業(yè)技術(shù)人員可以對(duì)每個(gè)特定的應(yīng)用來(lái)使用不同方法來(lái)實(shí)現(xiàn)所描述的功能，但是這種實(shí)現(xiàn)不應(yīng)認(rèn)為超出本發(fā)明的范圍。
[0095]結(jié)合本文中所公開(kāi)的實(shí)施例描述的方法或算法的步驟可以直接用硬件、處理器執(zhí)行的軟件模塊，或者二者的結(jié)合來(lái)實(shí)施。軟件模塊可以置于隨機(jī)存儲(chǔ)器(RAM)、內(nèi)存、只讀存儲(chǔ)器(R0M)、電可編程R0M、電可擦除可編程R0M、寄存器、硬盤(pán)、可移動(dòng)磁盤(pán)、CD-ROM、或技術(shù)領(lǐng)域內(nèi)所公知的任意其它形式的存儲(chǔ)介質(zhì)中。
【主權(quán)項(xiàng)】
1.一種基于云計(jì)算的重復(fù)數(shù)據(jù)去重選擇方法，其特征在于，包括: SlO:當(dāng)獲取到包含有重復(fù)數(shù)據(jù)的待存儲(chǔ)數(shù)據(jù)后，獲取當(dāng)前時(shí)刻存儲(chǔ)系統(tǒng)的客戶(hù)端的負(fù)載值、服務(wù)器端的負(fù)載值以及當(dāng)前網(wǎng)絡(luò)帶寬值； Sll:判斷所述客戶(hù)端的負(fù)載值、所述服務(wù)器端的負(fù)載值和當(dāng)前網(wǎng)絡(luò)帶寬值是否滿足預(yù)定條件，如果是，進(jìn)入步驟S12; S12:在預(yù)先設(shè)置的去重選擇模式中確定所述待存儲(chǔ)數(shù)據(jù)中重復(fù)數(shù)據(jù)的去重選擇方式。2.根據(jù)權(quán)利要求1所述的基于云計(jì)算的重復(fù)數(shù)據(jù)去重選擇方法，其特征在于，所述步驟SI I具體包括: 如果當(dāng)前網(wǎng)絡(luò)帶寬值小于預(yù)定網(wǎng)絡(luò)帶寬值，且所述服務(wù)器端的負(fù)載值大于預(yù)定負(fù)載值時(shí)，則確定滿足所述預(yù)定條件； 或如果當(dāng)前網(wǎng)絡(luò)帶寬值大于所述預(yù)定網(wǎng)絡(luò)帶寬值，且所述服務(wù)器端的負(fù)載值小于所述預(yù)定負(fù)載值時(shí)，則確定滿足所述預(yù)定條件； 其中，如果當(dāng)前網(wǎng)絡(luò)帶寬值小于預(yù)定網(wǎng)絡(luò)帶寬值，且所述服務(wù)器端的負(fù)載值大于預(yù)定負(fù)載值時(shí)，步驟S12具體為:確定在客戶(hù)端執(zhí)行所述待存儲(chǔ)數(shù)據(jù)的去重過(guò)程； 如果當(dāng)前網(wǎng)絡(luò)帶寬值大于所述預(yù)定網(wǎng)絡(luò)帶寬值，且所述服務(wù)器端的負(fù)載值小于所述預(yù)定負(fù)載值時(shí)，步驟S12具體為:確定在服務(wù)器端執(zhí)行所述待存儲(chǔ)數(shù)據(jù)的去重過(guò)程。3.根據(jù)權(quán)利要求1所述的基于云計(jì)算的重復(fù)數(shù)據(jù)去重選擇方法，其特征在于，在所述步驟SlO之前還包括: S13:接收所述存儲(chǔ)系統(tǒng)的存儲(chǔ)請(qǐng)求和所述待存儲(chǔ)數(shù)據(jù)； S14:判斷所述待存儲(chǔ)數(shù)據(jù)是否包含有所述重復(fù)數(shù)據(jù)，如果是，則進(jìn)入步驟SlO。4.根據(jù)權(quán)利要求1所述的基于云計(jì)算的重復(fù)數(shù)據(jù)去重選擇方法，其特征在于，在所述步驟SlO之前還包括: S15:周期性地監(jiān)控所述客戶(hù)端的負(fù)載值、所述服務(wù)器端的負(fù)載值以及當(dāng)前網(wǎng)絡(luò)帶寬值。5.根據(jù)權(quán)利要求1-4任意一項(xiàng)所述的基于云計(jì)算的重復(fù)數(shù)據(jù)去重選擇方法，其特征在于，還包括: 記錄步驟SlO-步驟S15中的任意一個(gè)步驟或幾個(gè)步驟。6.一種基于云計(jì)算的重復(fù)數(shù)據(jù)去重選擇裝置，其特征在于，包括: 存儲(chǔ)系統(tǒng)信息獲取模塊，用于當(dāng)獲取到包含有重復(fù)數(shù)據(jù)的待存儲(chǔ)數(shù)據(jù)后，獲取當(dāng)前時(shí)刻存儲(chǔ)系統(tǒng)的客戶(hù)端的負(fù)載值、服務(wù)器端的負(fù)載值以及當(dāng)前網(wǎng)絡(luò)帶寬值； 第一判斷模塊，與所述存儲(chǔ)系統(tǒng)信息獲取模塊連接，用于判斷所述客戶(hù)端的負(fù)載值、月艮務(wù)器端的負(fù)載值和當(dāng)前網(wǎng)絡(luò)帶寬值是否滿足預(yù)定條件； 確定模塊，與所述第一判斷模塊連接，用于在所述判斷模塊判斷出所述客戶(hù)端的負(fù)載值、所述服務(wù)器端的負(fù)載值和當(dāng)前網(wǎng)絡(luò)帶寬值滿足預(yù)定條件時(shí)，在預(yù)先設(shè)置的去重選擇模式中確定所述待存儲(chǔ)數(shù)據(jù)中重復(fù)數(shù)據(jù)的去重選擇方式。7.根據(jù)權(quán)利要求6所述的基于云計(jì)算的重復(fù)數(shù)據(jù)去重選擇裝置，其特征在于，所述第一判斷模塊的判斷依據(jù)包括: 如果當(dāng)前網(wǎng)絡(luò)帶寬值小于預(yù)定網(wǎng)絡(luò)帶寬值，且所述服務(wù)器端的負(fù)載值大于預(yù)定負(fù)載值時(shí)，則確定滿足所述預(yù)定條件； 或如果當(dāng)前網(wǎng)絡(luò)帶寬值大于所述預(yù)定網(wǎng)絡(luò)帶寬值，且所述服務(wù)器端的負(fù)載值小于所述預(yù)定負(fù)載值時(shí)，則確定滿足所述預(yù)定條件； 其中，如果當(dāng)前網(wǎng)絡(luò)帶寬值小于預(yù)定網(wǎng)絡(luò)帶寬值，且所述服務(wù)器端的負(fù)載值大于預(yù)定負(fù)載值時(shí)，所述確定模塊確定在客戶(hù)端執(zhí)行所述待存儲(chǔ)數(shù)據(jù)的去重過(guò)程； 如果當(dāng)前網(wǎng)絡(luò)帶寬值大于所述預(yù)定網(wǎng)絡(luò)帶寬值，且所述服務(wù)器端的負(fù)載值小于所述預(yù)定負(fù)載值時(shí)，所述確定模塊確定在服務(wù)器端執(zhí)行所述待存儲(chǔ)數(shù)據(jù)的去重過(guò)程。8.根據(jù)權(quán)利要求6所述的基于云計(jì)算的重復(fù)數(shù)據(jù)去重選擇裝置，其特征在于，還包括: 接收模塊，用于接收所述存儲(chǔ)系統(tǒng)的存儲(chǔ)請(qǐng)求和所述待存儲(chǔ)數(shù)據(jù)； 第二判斷模塊，與所述接收模塊和所述存儲(chǔ)系統(tǒng)信息獲取模塊連接，用于判斷所述待存儲(chǔ)數(shù)據(jù)是否包含有所述重復(fù)數(shù)據(jù)，且在所述待存儲(chǔ)數(shù)據(jù)包含有所述重復(fù)數(shù)據(jù)時(shí)，將所述待存儲(chǔ)數(shù)據(jù)發(fā)送給所述存儲(chǔ)系統(tǒng)信息獲取模塊。9.根據(jù)權(quán)利要求6所述的基于云計(jì)算的重復(fù)數(shù)據(jù)去重選擇裝置，其特征在于，還包括: 存儲(chǔ)系統(tǒng)信息監(jiān)控模塊，與所述存儲(chǔ)系統(tǒng)信息獲取模塊連接，用于周期性地監(jiān)控所述客戶(hù)端的負(fù)載值、所述服務(wù)器端的負(fù)載值以及當(dāng)前網(wǎng)絡(luò)帶寬值。10.根據(jù)權(quán)利要求6-9任意一項(xiàng)所述的基于云計(jì)算的重復(fù)數(shù)據(jù)去重選擇裝置，其特征在于，還包括: 日志記錄模塊，與存儲(chǔ)系統(tǒng)信息獲取模塊、第一判斷模塊、確定模塊、接收模塊、第二判斷模塊、存儲(chǔ)系統(tǒng)信息監(jiān)控模塊中的任意一個(gè)或幾個(gè)模塊連接，用于記錄相應(yīng)的模塊的執(zhí)行步驟。
【文檔編號(hào)】G06F3/06GK106055271SQ201610325911
【公開(kāi)日】2016年10月26日
【申請(qǐng)日】2016年5月17日
【發(fā)明人】于輝, 劉俊朋
【申請(qǐng)人】浪潮(北京)電子信息產(chǎn)業(yè)有限公司