亚洲狠狠干,亚洲国产福利精品一区二区,国产八区,激情文学亚洲色图

一種多數(shù)據(jù)中心的數(shù)據(jù)同步方法

文檔序號:9551426閱讀:1688來源:國知局
一種多數(shù)據(jù)中心的數(shù)據(jù)同步方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及數(shù)據(jù)同步領(lǐng)域,特別涉及一種多數(shù)據(jù)中心的數(shù)據(jù)同步方法。
【背景技術(shù)】
[0002]為存儲海量數(shù)據(jù),各互聯(lián)網(wǎng)公司在世界各地建立了龐大的數(shù)據(jù)中心,存儲其全球用戶每天產(chǎn)生的海量數(shù)據(jù),單個(gè)數(shù)據(jù)中心的終端的主機(jī)數(shù)量在幾百萬至數(shù)萬的數(shù)量級不等。對這些數(shù)據(jù)的管理和使用都是巨大的挑戰(zhàn):包括數(shù)據(jù)的讀取和存儲、索引和尋址、配置和管理的接口、數(shù)據(jù)中心之間的數(shù)據(jù)復(fù)制等。為保持這些數(shù)據(jù)的一致性,在不同地理位置的數(shù)據(jù)中心之間進(jìn)行數(shù)據(jù)同步和復(fù)制成為越來越迫切的需求。
[0003]對于電子商務(wù)領(lǐng)域來說,以多數(shù)據(jù)中心部署的方式來提高訪問速度,從而提高用戶的體驗(yàn),是一種通常的做法。但是跨公網(wǎng)網(wǎng)絡(luò),尤其是跨國際公網(wǎng)網(wǎng)絡(luò)常常會出現(xiàn)一些不穩(wěn)定情況,如網(wǎng)絡(luò)丟包,網(wǎng)絡(luò)中斷等。常規(guī)做法是采用專線連接各個(gè)數(shù)據(jù)中心,但這種做法成本大,對于中小企業(yè)而言,投入產(chǎn)出比極低。
[0004]相比較而言,依靠軟件方法,采用消息隊(duì)列技術(shù)作為數(shù)據(jù)傳輸?shù)妮d體,通過消息機(jī)制保證數(shù)據(jù)的及時(shí)性、準(zhǔn)確性和可恢復(fù)性,這是一種比較實(shí)際和相對可靠做法。
[0005]CN 104539663A 一種跨數(shù)據(jù)中心的數(shù)據(jù)同步方法和裝置公開一種跨數(shù)據(jù)中心的數(shù)據(jù)同步方法和系統(tǒng),具體包括:收集待同步數(shù)據(jù)中心的鍵值對數(shù)據(jù);以及利用分布式計(jì)算框架進(jìn)行所述待同步數(shù)據(jù)中心的鍵值對數(shù)據(jù)的一致性檢測,得到一致或不一致的檢測結(jié)果。本發(fā)明重點(diǎn)在于主、備數(shù)據(jù)中心之間的傳輸方法,并未過多涉及到多數(shù)據(jù)中心間的數(shù)據(jù)傳輸。
[0006]CN103763368A 一種跨數(shù)據(jù)中心的數(shù)據(jù)同步方法公開一種跨數(shù)據(jù)庫同步的方法,其具體實(shí)現(xiàn)過程為:完成數(shù)據(jù)的寫入與日志的記錄;同步調(diào)度與推送;日志回放,完成數(shù)據(jù)同步;進(jìn)行跨數(shù)據(jù)中心的數(shù)據(jù)訪問,實(shí)現(xiàn)異步數(shù)據(jù)同步操作。該發(fā)明能夠?qū)崿F(xiàn)跨數(shù)據(jù)中心的異步數(shù)據(jù)同步操作,提高數(shù)據(jù)的安全性;有效地利用數(shù)據(jù)中心內(nèi)部的10資源和數(shù)據(jù)中心之間的網(wǎng)絡(luò)資源,但該方法主要通過日志回放的方式來實(shí)現(xiàn),這與本發(fā)明通過傳輸少量數(shù)據(jù),實(shí)時(shí)返回同步狀態(tài)的做法存在很大不同;
[0007]CN 104572921A —種跨數(shù)據(jù)中心的數(shù)據(jù)同步方法和裝置公布了一種跨數(shù)據(jù)中心的數(shù)據(jù)同步和裝置,具體包括:收集待同步數(shù)據(jù)中心的鍵值對數(shù)據(jù);以及利用分布式計(jì)算框架進(jìn)行所述待同步數(shù)據(jù)中心的鍵值對數(shù)據(jù)的一致性檢測,得到一致或不一致的檢測結(jié)果。本發(fā)明通過減少對各數(shù)據(jù)中心的訪問次數(shù)減輕對各數(shù)據(jù)中心的線上訪問壓力,其著重在對各分布式計(jì)算環(huán)境中的數(shù)據(jù)在各數(shù)據(jù)中心進(jìn)行比較,并未提及將數(shù)據(jù)分發(fā)至各數(shù)據(jù)中心進(jìn)行同步的方式。

【發(fā)明內(nèi)容】

[0008]為解決現(xiàn)有技術(shù)存在的局限性,本發(fā)明目的是,提供一種跨數(shù)據(jù)中心的數(shù)據(jù)同步方法,目的是在復(fù)雜網(wǎng)絡(luò)中完成數(shù)據(jù)傳輸,保證數(shù)據(jù)有序、且不被丟失。
[0009]本發(fā)明的技術(shù)方案是,一種多數(shù)據(jù)中心的數(shù)據(jù)同步方法,具體包括:
[0010]步驟1:變更數(shù)據(jù)的獲取:各應(yīng)用系統(tǒng)以消息的方式向本系統(tǒng)數(shù)據(jù)中心的客戶端發(fā)送數(shù)據(jù)變更請求,客戶端接收到經(jīng)序列化的請求后,對所接收的消息在當(dāng)前數(shù)據(jù)中心內(nèi)進(jìn)行持久化;
[0011]所述客戶端,是部署在服務(wù)器端的應(yīng)用,用于接收服務(wù)器端發(fā)出的數(shù)據(jù),并按照業(yè)務(wù)需求執(zhí)行數(shù)據(jù)同步操作;所述服務(wù)器端運(yùn)行時(shí),一方面用于獲取應(yīng)用系統(tǒng)需要在多數(shù)據(jù)中心同步執(zhí)行的數(shù)據(jù),一方面用于將數(shù)據(jù)分發(fā)給各個(gè)需數(shù)據(jù)同步的數(shù)據(jù)中心的客戶端
[0012]所述持久化,是客戶端將消息存儲到硬件上,可以是數(shù)據(jù)庫、緩存及分布式緩存;
[0013]步驟2:變更數(shù)據(jù)的分發(fā):根據(jù)當(dāng)前業(yè)務(wù)事務(wù)嚴(yán)格性要求,當(dāng)前數(shù)據(jù)中心選擇處理或轉(zhuǎn)發(fā)變更數(shù)據(jù);如若數(shù)據(jù)中心選擇處理變更數(shù)據(jù),應(yīng)用系統(tǒng)先執(zhí)行數(shù)據(jù),待確認(rèn)執(zhí)行成功后,再將變更數(shù)據(jù)分發(fā)至各數(shù)據(jù)中心;如若選擇轉(zhuǎn)發(fā)變更數(shù)據(jù),當(dāng)前數(shù)據(jù)中心在保存變更數(shù)據(jù)的同時(shí),將變更數(shù)據(jù)分發(fā)至其他需要數(shù)據(jù)同步的數(shù)據(jù)中心;
[0014]所謂事務(wù)嚴(yán)格性要求,指是否需要保證所有數(shù)據(jù)中心的數(shù)據(jù)變更一致性;
[0015]步驟3:變更數(shù)據(jù)的同步執(zhí)行:數(shù)據(jù)到達(dá)目的各自數(shù)據(jù)中心之后的同步執(zhí)行操作;
[0016]步驟4:變更發(fā)回到數(shù)據(jù)的執(zhí)行情況匯總:將數(shù)據(jù)執(zhí)行情況以消息的形式發(fā)回到數(shù)據(jù)產(chǎn)生的數(shù)據(jù)中心;
[0017]步驟5:失敗數(shù)據(jù)的定向重發(fā):定時(shí)分析各數(shù)據(jù)中心發(fā)出的數(shù)據(jù)同步執(zhí)行情況,針對不超過預(yù)設(shè)重發(fā)次數(shù)N的失敗同步或無返回狀態(tài)的同步,數(shù)據(jù)產(chǎn)生的數(shù)據(jù)中心將重發(fā)送變更數(shù)據(jù)至未成功執(zhí)行數(shù)據(jù)同步的數(shù)據(jù)中心,同時(shí)更新重新發(fā)送的次數(shù);
[0018]步驟6:多數(shù)據(jù)中心的同步數(shù)據(jù)運(yùn)轉(zhuǎn)監(jiān)控與異常報(bào)警:變更數(shù)據(jù)被重新發(fā)送到目的數(shù)據(jù)中心后的處理;
[0019]步驟2中如若數(shù)據(jù)中心選擇處理變更數(shù)據(jù),具體步驟包括:
[0020]步驟2-1:數(shù)據(jù)由請求同步方執(zhí)行完成后,將變更數(shù)據(jù)以消息的方式發(fā)送給當(dāng)前數(shù)據(jù)中心的客戶端,客戶端對變更數(shù)據(jù)進(jìn)行持久化,同時(shí)記錄數(shù)據(jù)中心接收該消息的時(shí)間;
[0021]特別地,請求同步方是指發(fā)出數(shù)據(jù)變更請求的應(yīng)用系統(tǒng);
[0022]步驟2-2:客戶端查找并統(tǒng)計(jì)除當(dāng)前數(shù)據(jù)中心以外的其他數(shù)據(jù)中心,并將消息復(fù)制成相應(yīng)的份數(shù),提交至數(shù)據(jù)中心的服務(wù)端;
[0023]步驟2-3:服務(wù)端遵照TCP協(xié)議將變更數(shù)據(jù)分發(fā)給各數(shù)據(jù)中心;
[0024]如若數(shù)據(jù)中心選擇轉(zhuǎn)發(fā)變更數(shù)據(jù),當(dāng)前數(shù)據(jù)中心在保存變更數(shù)據(jù)的同時(shí),將變更數(shù)據(jù)分發(fā)至其他需要數(shù)據(jù)同步的數(shù)據(jù)中心,具體步驟包括:
[0025]步驟2-4:請求同步方將變更數(shù)據(jù)提交至當(dāng)前數(shù)據(jù)中心的客戶端,客戶端對消息進(jìn)行持久化,并記錄接收消息的時(shí)間;
[0026]請求同步方是指發(fā)出數(shù)據(jù)變更請求的應(yīng)用系統(tǒng);
[0027]步驟2-5:客戶端查找并統(tǒng)計(jì)所有需要數(shù)據(jù)同步的數(shù)據(jù)中心,并將變更數(shù)據(jù)以消息形式發(fā)送給數(shù)據(jù)中心服務(wù)端;
[0028]步驟2-6:數(shù)據(jù)中心服務(wù)端按照TCP協(xié)議將變更數(shù)據(jù)分發(fā)至包括當(dāng)前數(shù)據(jù)中心在內(nèi)的各數(shù)據(jù)中心;
[0029]請求同步方是指發(fā)出數(shù)據(jù)變更請求的應(yīng)用系統(tǒng)。
[0030]針對步驟2中采用的方法不同,相應(yīng)地,步驟3的變更數(shù)據(jù)同步執(zhí)行具體步驟為:步驟3:變更數(shù)據(jù)的同步執(zhí)行:數(shù)據(jù)到達(dá)目的各自數(shù)據(jù)中心之后的同步執(zhí)行操作;
[0031]針對步驟2中的第一種變更數(shù)據(jù)分發(fā)情況,變更數(shù)據(jù)的同步執(zhí)行具體包括:
[0032]步驟3-1:數(shù)據(jù)中心服務(wù)端接收到變更數(shù)據(jù)的消息后,將消息分發(fā)給各自數(shù)據(jù)中心的客戶端;
[0033]步驟3-2:各數(shù)據(jù)中心客戶端接收到消息后,將變更數(shù)據(jù)的消息序列化至各數(shù)據(jù)中心的數(shù)據(jù)庫中進(jìn)行持久化,同時(shí)記錄消息已到達(dá)狀態(tài);
[0034]步驟3-3:客戶端執(zhí)行數(shù)據(jù)同步,執(zhí)行完成后,更新數(shù)據(jù)狀態(tài),即更新成功、失敗等;
[0035]針對步驟2中的第二種變更數(shù)據(jù)分發(fā)情況,變更數(shù)據(jù)的同步執(zhí)行前不做持久化處理,具體步驟沒有上述的步驟3-1和3-2,直接執(zhí)行步驟3-3 ;
[0036]步驟4:變更數(shù)據(jù)的執(zhí)行情況匯總:將數(shù)據(jù)執(zhí)行的情況,以消息的形式發(fā)回到數(shù)據(jù)產(chǎn)生的數(shù)據(jù)中心;收集不同數(shù)據(jù)中心返回的數(shù)據(jù)執(zhí)行情況;
[0037]各數(shù)據(jù)中心將數(shù)據(jù)執(zhí)行情況以消息的形式發(fā)回至產(chǎn)生數(shù)據(jù)的數(shù)據(jù)中心的服務(wù)端;執(zhí)行情況包括分為執(zhí)行成功、執(zhí)行失敗和未返回執(zhí)行情況三種;
[0038]服務(wù)端的消息隊(duì)列獲取到執(zhí)行情況的消息后,將各數(shù)據(jù)中心的數(shù)據(jù)同步執(zhí)行結(jié)果更新到持久化過的數(shù)據(jù)庫條目中,并在條目中標(biāo)記已成功實(shí)現(xiàn)同步的數(shù)據(jù)中心,同時(shí)記錄數(shù)據(jù)條目更新時(shí)間;
[0039]所謂數(shù)據(jù)條目,指數(shù)據(jù)庫記錄各數(shù)據(jù)中心執(zhí)行數(shù)據(jù)同步結(jié)果的數(shù)據(jù)格式;一個(gè)數(shù)據(jù)條目中包括數(shù)據(jù)變更消息ID號、各個(gè)數(shù)據(jù)中心的名稱、數(shù)據(jù)同步執(zhí)行失敗原因;
[0040]步驟5:失敗數(shù)據(jù)的定向重發(fā):定時(shí)分析各數(shù)據(jù)中心發(fā)出的數(shù)據(jù)同步執(zhí)行情況,針對不超過N次的失敗同步或無返回狀態(tài)的同步,數(shù)據(jù)產(chǎn)生的數(shù)據(jù)中心將重新發(fā)送變更數(shù)據(jù)至為未成功執(zhí)行數(shù)據(jù)同步的數(shù)據(jù)中心,同時(shí)更新重新發(fā)送的次數(shù);
[0041]具體涉及的步驟有:
[0042]步驟5-1:設(shè)定對各數(shù)據(jù)中心進(jìn)行數(shù)據(jù)檢查
當(dāng)前第1頁1 2 3 
網(wǎng)友詢問留言 已有0條留言
  • 還沒有人留言評論。精彩留言會獲得點(diǎn)贊!
1