一種跨數(shù)據(jù)中心的數(shù)據(jù)同步方法和裝置的制造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及分布式存儲(chǔ)技術(shù)領(lǐng)域，特別是涉及一種跨數(shù)據(jù)中心的數(shù)據(jù)同步方法和
目.0
【背景技術(shù)】
[0002]隨著的互聯(lián)網(wǎng)時(shí)代已經(jīng)到來，遍布全世界的互聯(lián)網(wǎng)用戶每天都進(jìn)行多種多樣的交互，隨時(shí)都在制造各種各樣的數(shù)據(jù)，這些數(shù)據(jù)的數(shù)量是單機(jī)時(shí)代數(shù)據(jù)量的數(shù)倍。為存儲(chǔ)這些數(shù)據(jù)，各互聯(lián)網(wǎng)公司在世界各地建立了龐大的IDC(互聯(lián)網(wǎng)數(shù)據(jù)中心，Internet DataCenter)，單個(gè)數(shù)據(jù)中心的主機(jī)數(shù)量在幾百至數(shù)萬的數(shù)量級(jí)不等。
[0003]為了實(shí)現(xiàn)數(shù)據(jù)中心故障時(shí)數(shù)據(jù)中心之間的無縫對(duì)接，跨數(shù)據(jù)中心的數(shù)據(jù)同步變得尤為重要。
[0004]現(xiàn)有跨數(shù)據(jù)中心的數(shù)據(jù)同步方案通常由各數(shù)據(jù)中心基于數(shù)據(jù)中心之間的相互訪問來完成。例如，A數(shù)據(jù)中心側(cè)的數(shù)據(jù)同步過程具體包括:A數(shù)據(jù)中心首先依據(jù)key值查詢B數(shù)據(jù)中心以得到B數(shù)據(jù)中心所存儲(chǔ)key值對(duì)應(yīng)的第一 value值，然后，A數(shù)據(jù)中心將自身存儲(chǔ)key值對(duì)應(yīng)的第二 value值與上述第一 value值進(jìn)行比較，若不一致則對(duì)key值對(duì)應(yīng)的第二 value值進(jìn)行修復(fù)。B數(shù)據(jù)中心側(cè)的數(shù)據(jù)同步過程與A數(shù)據(jù)中心側(cè)的數(shù)據(jù)同步過程，也需要查詢A數(shù)據(jù)中心以得到A數(shù)據(jù)中心所存儲(chǔ)key值對(duì)應(yīng)的value值。
[0005]可以看出，現(xiàn)有跨數(shù)據(jù)中心的數(shù)據(jù)同步方案需要頻繁訪問數(shù)據(jù)中心的線上服務(wù)。例如，在待同步數(shù)據(jù)中心的數(shù)目為2時(shí)，A數(shù)據(jù)中心和B數(shù)據(jù)中心需要互相訪問；又如，在待同步數(shù)據(jù)中心的數(shù)目為3時(shí)，A數(shù)據(jù)中心、B數(shù)據(jù)中心和C數(shù)據(jù)中心也需要互相訪問，也即，A數(shù)據(jù)中心、B數(shù)據(jù)中心和C數(shù)據(jù)中心分別需要被另外的數(shù)據(jù)中心訪問，也即，需要向兩個(gè)數(shù)據(jù)中心提供線上服務(wù)?？梢?，在待同步的數(shù)據(jù)中心的數(shù)目較多時(shí)，大大增加了數(shù)據(jù)中心的線上訪問壓力。

【發(fā)明內(nèi)容】

[0006]鑒于上述問題，提出了本發(fā)明以便提供一種克服上述問題或者至少部分地解決上述問題的一種跨數(shù)據(jù)中心的數(shù)據(jù)同步方法和裝置。
[0007]依據(jù)本發(fā)明的一個(gè)方面，提供了一種跨數(shù)據(jù)中心的數(shù)據(jù)同步方法，包括:
[0008]收集待同步數(shù)據(jù)中心的鍵值對(duì)數(shù)據(jù)；以及
[0009]利用分布式計(jì)算框架進(jìn)行所述待同步數(shù)據(jù)中心的鍵值對(duì)數(shù)據(jù)的一致性檢測，得到一致或不一致的檢測結(jié)果。
[0010]可選地，所述方法還包括:
[0011]利用各數(shù)據(jù)庫中心的客戶端進(jìn)行不一致的檢測結(jié)果對(duì)應(yīng)鍵值對(duì)數(shù)據(jù)的修復(fù)。
[0012]可選地，所述利用各數(shù)據(jù)庫中心的客戶端進(jìn)行不一致的檢測結(jié)果對(duì)應(yīng)鍵值對(duì)數(shù)據(jù)的修復(fù)的步驟，包括:
[0013]將所述不一致的檢測結(jié)果對(duì)應(yīng)鍵值對(duì)數(shù)據(jù)劃分為多份子鍵值對(duì)數(shù)據(jù)；
[0014]在多臺(tái)機(jī)器上利用各數(shù)據(jù)庫中心的客戶端進(jìn)行所述多份子鍵值對(duì)數(shù)據(jù)的修復(fù)；其中，所述機(jī)器的數(shù)量等于所述子鍵值對(duì)數(shù)據(jù)的份數(shù)。
[0015]可選地，所述在多臺(tái)機(jī)器上利用各數(shù)據(jù)庫中心的客戶端進(jìn)行所述多份子鍵值對(duì)數(shù)據(jù)的修復(fù)的步驟，包括:
[0016]在每臺(tái)機(jī)器上啟動(dòng)進(jìn)程來運(yùn)行所有數(shù)據(jù)中心的客戶端，并利用所有數(shù)據(jù)中心的客戶端進(jìn)行所述每份子鍵值對(duì)數(shù)據(jù)的修復(fù)。
[0017]可選地，所述利用各數(shù)據(jù)庫中心的客戶端進(jìn)行不一致的檢測結(jié)果的修復(fù)的步驟，包括:
[0018]針對(duì)不一致的檢測結(jié)果，獲取其對(duì)應(yīng)待修復(fù)鍵及對(duì)應(yīng)主數(shù)據(jù)中心的值；
[0019]利用從數(shù)據(jù)中心的客戶端向?qū)?yīng)從數(shù)據(jù)中心發(fā)送命令；其中，所述命令用于指示所述從數(shù)據(jù)中心將所述不一致鍵對(duì)應(yīng)的值設(shè)置為所述主數(shù)據(jù)中心的值。
[0020]可選地，所述不一致的檢測結(jié)果對(duì)應(yīng)鍵值對(duì)數(shù)據(jù)存儲(chǔ)于數(shù)據(jù)庫文件中，則所述將所述不一致的檢測結(jié)果對(duì)應(yīng)鍵值對(duì)數(shù)據(jù)劃分為多份子鍵值對(duì)數(shù)據(jù)的步驟具體為，將所述數(shù)據(jù)庫文件分割為多個(gè)子數(shù)據(jù)庫文件，其中，每份子數(shù)據(jù)庫文件中存儲(chǔ)有對(duì)應(yīng)的子鍵值對(duì)數(shù)據(jù)。
[0021]可選地，所述利用分布式計(jì)算框架進(jìn)行所述待同步數(shù)據(jù)中心的鍵值對(duì)數(shù)據(jù)的一致性檢測，得到一致或不一致的檢測結(jié)果的步驟，包括:
[0022]在映射階段，利用所述分布式計(jì)算框架的計(jì)算節(jié)點(diǎn)從輸入的所述待同步數(shù)據(jù)中心的鍵值對(duì)數(shù)據(jù)中抽取鍵值對(duì)，將每個(gè)鍵值對(duì)作為參數(shù)傳遞給映射函數(shù)，經(jīng)過映射函數(shù)處理后將產(chǎn)生的中間結(jié)果寫入本地磁盤中；以及
[0023]在化簡階段，利用所述分布式計(jì)算框架的計(jì)算節(jié)點(diǎn)根據(jù)所述中間結(jié)果的位置從磁盤中讀取所述中間結(jié)果，對(duì)所述中間結(jié)果進(jìn)行排序，并針對(duì)排序后中間結(jié)果中每個(gè)唯一的鍵，將其鍵值對(duì)傳遞給化簡函數(shù)，經(jīng)過化簡函數(shù)處理后產(chǎn)生檢測結(jié)果；其中，所述化簡函數(shù)的處理過程包括:對(duì)每個(gè)唯一的鍵對(duì)應(yīng)的多個(gè)值進(jìn)行比較，若相同則得到一致的檢測結(jié)果，若不同則得到不一致的檢測結(jié)果。
[0024]依據(jù)本發(fā)明的另一方面，提供了一種跨數(shù)據(jù)中心的數(shù)據(jù)同步裝置，包括:
[0025]收集模塊，用于收集待同步數(shù)據(jù)中心的鍵值對(duì)數(shù)據(jù)；以及
[0026]檢測模塊，用于利用分布式計(jì)算框架進(jìn)行所述待同步數(shù)據(jù)中心的鍵值對(duì)數(shù)據(jù)的一致性檢測，得到一致或不一致的檢測結(jié)果。
[0027]可選地，所述裝置還包括:
[0028]修復(fù)模塊，用于利用各數(shù)據(jù)庫中心的客戶端進(jìn)行不一致的檢測結(jié)果對(duì)應(yīng)鍵值對(duì)數(shù)據(jù)的修復(fù)。
[0029]可選地，所述修復(fù)模塊，包括:
[0030]劃分子模塊，用于將所述不一致的檢測結(jié)果對(duì)應(yīng)鍵值對(duì)數(shù)據(jù)劃分為多份子鍵值對(duì)數(shù)據(jù)；以及
[0031]并行修復(fù)子模塊，用于在多臺(tái)機(jī)器上利用各數(shù)據(jù)庫中心的客戶端進(jìn)行所述多份子鍵值對(duì)數(shù)據(jù)的修復(fù)；其中，所述機(jī)器的數(shù)量等于所述子鍵值對(duì)數(shù)據(jù)的份數(shù)。
[0032]根據(jù)本發(fā)明實(shí)施例的一種跨數(shù)據(jù)中心的數(shù)據(jù)同步方法和裝置，可以收集待同步數(shù)據(jù)中心的鍵值對(duì)數(shù)據(jù)，并利用分布式計(jì)算框架進(jìn)行所述待同步數(shù)據(jù)中心的鍵值對(duì)數(shù)據(jù)的一致性檢測，得到一致或不一致的檢測結(jié)果；由于僅僅需要分別對(duì)各數(shù)據(jù)中心進(jìn)行一次訪問，即可完成待同步數(shù)據(jù)中心的鍵值對(duì)數(shù)據(jù)的收集，因此，相對(duì)于現(xiàn)有方案，本發(fā)明實(shí)施例能夠減少對(duì)各數(shù)據(jù)中心的訪問次數(shù)，從而能夠減輕對(duì)各數(shù)據(jù)中心的線上訪問壓力；
[0033]并且，相對(duì)于現(xiàn)有方案通常由各數(shù)據(jù)中心在自身機(jī)器上進(jìn)行鍵值對(duì)數(shù)據(jù)的一致性檢測，本發(fā)明實(shí)施例利用分布式計(jì)算框架進(jìn)行所述待同步數(shù)據(jù)中心的鍵值對(duì)數(shù)據(jù)的一致性檢測，能夠發(fā)揮分布式計(jì)算框架擴(kuò)容能力強(qiáng)、高效率和高可靠性的優(yōu)勢(shì)，既能夠提高跨數(shù)據(jù)中心的數(shù)據(jù)同步效率，又能夠避免占用各數(shù)據(jù)中心的計(jì)算資源，從而避免影響到各數(shù)據(jù)中心的性能。
[0034]上述說明僅是本發(fā)明技術(shù)方案的概述，為了能夠更清楚了解本發(fā)明的技術(shù)手段，而可依照說明書的內(nèi)容予以實(shí)施，并且為了讓本發(fā)明的上述和其它目的、特征和優(yōu)點(diǎn)能夠更明顯易懂，以下特舉本發(fā)明的【具體實(shí)施方式】。
【附圖說明】
[0035]通過閱讀下文可選實(shí)施方式的詳細(xì)描述，各種其他的優(yōu)點(diǎn)和益處對(duì)于本領(lǐng)域普通技術(shù)人員將變得清楚明了。附圖僅用于示出可選實(shí)施方式的目的，而并不認(rèn)為是對(duì)本發(fā)明的限制。而且在整個(gè)附圖中，用相同的參考符號(hào)表示相同的部件。在附圖中:
[0036]圖1示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的一種跨數(shù)據(jù)中心的數(shù)據(jù)同步方法的步驟流程不意圖；
[0037]圖2示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的一種跨數(shù)據(jù)中心的數(shù)據(jù)同步方法的步驟流程不意圖；
[0038]圖3示出了根據(jù)本發(fā)明一個(gè)示例的一種跨數(shù)據(jù)中心的數(shù)據(jù)同步方法的步驟流程示意圖；
[0039]圖4示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的一種跨數(shù)據(jù)中心的數(shù)據(jù)同步裝置的結(jié)構(gòu)示意圖；以及
[0040]圖5示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的一種跨數(shù)據(jù)中心的數(shù)據(jù)同步裝置的結(jié)構(gòu)示意圖。
【具體實(shí)施方式】
[0041]下面將參照附圖更詳細(xì)地描述本公開的示例性實(shí)施例。雖然附圖中顯示了本公開的示例性實(shí)施例，然而應(yīng)當(dāng)理解，可以以各種形式實(shí)現(xiàn)本公開而不應(yīng)被這里闡述的實(shí)施例所限制。相反，提供這些實(shí)施例是為了能夠更透徹地理解本公開，并且能夠?qū)⒈竟_的范圍完整的傳達(dá)給本領(lǐng)域的技術(shù)人員。
[0042]參照?qǐng)D1，示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的跨數(shù)據(jù)中心的數(shù)據(jù)同步方法的步驟流程示意圖，具體可以包括如下步驟:
[0043]步驟101、收集待同步數(shù)據(jù)中心的鍵值對(duì)數(shù)據(jù)；
[0044]步驟102、利用分布式計(jì)算框架進(jìn)行所述待同步數(shù)據(jù)中心的鍵值對(duì)數(shù)據(jù)的一致性檢測，得到一致或不一致的檢測結(jié)果。
[0045]本發(fā)明實(shí)施例可以應(yīng)用于各種分布式存儲(chǔ)系統(tǒng)中，用于進(jìn)行分布式存儲(chǔ)系統(tǒng)中跨數(shù)據(jù)中心的數(shù)據(jù)同步，其中，所述數(shù)據(jù)中心可以為IDC或者機(jī)房等等，本發(fā)明實(shí)施例對(duì)具體的數(shù)據(jù)中心不加以限制。
[0046]相對(duì)于現(xiàn)有方案通常由各數(shù)據(jù)中心基于數(shù)據(jù)中心之間的相互訪問來完成，本發(fā)明實(shí)施例可以