數(shù)據(jù)同步系統(tǒng)及方法
【專利摘要】本發(fā)明提供一種數(shù)據(jù)同步系統(tǒng)及方法，觀測(cè)器獲取數(shù)據(jù)同步任務(wù)信息，數(shù)據(jù)同步任務(wù)信息包括待同步數(shù)據(jù)的源目錄和對(duì)應(yīng)接收同步數(shù)據(jù)的目標(biāo)目錄；觀測(cè)器收到源目錄中數(shù)據(jù)變化的信息后經(jīng)處理獲得一消息，消息包括數(shù)據(jù)同步任務(wù)信息、源目錄中待處理的數(shù)據(jù)名和每一數(shù)據(jù)名對(duì)應(yīng)的操作方式；處理器將消息處理后發(fā)送給復(fù)制器；復(fù)制器分析消息，對(duì)于操作方式為新增或修改的對(duì)應(yīng)的數(shù)據(jù)名，從源目錄中下載該些數(shù)據(jù)名中的數(shù)據(jù)，并上傳到對(duì)應(yīng)的目標(biāo)目錄，對(duì)于操作方式為刪除的對(duì)應(yīng)的數(shù)據(jù)名，直接從對(duì)應(yīng)的目標(biāo)目錄中刪除該些數(shù)據(jù)名中的數(shù)據(jù)。本發(fā)明能夠及時(shí)地發(fā)現(xiàn)源集群中數(shù)據(jù)的變化，靈活控制需要同步的數(shù)據(jù)，且在同步出現(xiàn)錯(cuò)誤時(shí)能夠自我修復(fù)，保證同步穩(wěn)定可靠。
【專利說明】
數(shù)據(jù)同步系統(tǒng)及方法
技術(shù)領(lǐng)域
[0001]本發(fā)明涉及一種數(shù)據(jù)同步系統(tǒng)及方法。
【背景技術(shù)】
[0002]現(xiàn)有的跨IDC(互聯(lián)網(wǎng)數(shù)據(jù)中心)集群數(shù)據(jù)同步方案，多通過輪詢的方式來發(fā)現(xiàn)源集群中數(shù)據(jù)的變化，一方面資源消耗大，另一方面發(fā)現(xiàn)不夠及時(shí);而且，現(xiàn)有的數(shù)據(jù)同步方案同步粒度基于整個(gè)集群，不夠靈活。此外，在數(shù)據(jù)同步出現(xiàn)錯(cuò)誤時(shí)不能自我修復(fù)，同步不可靠。

【發(fā)明內(nèi)容】

[0003]本發(fā)明要解決的技術(shù)問題是為了克服現(xiàn)有技術(shù)中的集群數(shù)據(jù)同步方案不及時(shí)、以輪詢的方式查看效率低、同步粒度太大導(dǎo)致靈活性差的缺陷，提供一種新的數(shù)據(jù)同步方法及系統(tǒng)。
[0004]本發(fā)明是通過下述技術(shù)方案來解決上述技術(shù)問題的:
[0005]本發(fā)明提供一種數(shù)據(jù)同步系統(tǒng)，其特點(diǎn)在于，其包括一觀測(cè)器、一處理器和一復(fù)制器；
[0006]該觀測(cè)器用于獲取一數(shù)據(jù)同步任務(wù)信息，該數(shù)據(jù)同步任務(wù)信息包括待同步數(shù)據(jù)的源目錄和對(duì)應(yīng)接收同步數(shù)據(jù)的目標(biāo)目錄；
[0007]該觀測(cè)器用于接收到一該源目錄中數(shù)據(jù)變化的信息后，經(jīng)處理獲得一消息并將該消息傳輸至該處理器，該消息包括該數(shù)據(jù)同步任務(wù)信息、該源目錄中待處理的數(shù)據(jù)名和每一數(shù)據(jù)名對(duì)應(yīng)的操作方式，該操作方式包括新增的、修改的和刪除的；
[0008]該處理器用于將該消息處理后發(fā)送給對(duì)應(yīng)的復(fù)制器；
[0009]該復(fù)制器用于分析獲得的消息，對(duì)于操作方式為新增或修改的所對(duì)應(yīng)的數(shù)據(jù)名，從該源目錄中下載該些數(shù)據(jù)名中的數(shù)據(jù)，并上傳到該對(duì)應(yīng)的目標(biāo)目錄，對(duì)于操作方式為刪除的所對(duì)應(yīng)的數(shù)據(jù)名，直接從該對(duì)應(yīng)的目標(biāo)目錄中刪除該些數(shù)據(jù)名中的數(shù)據(jù)。
[0010]較佳地，該觀測(cè)器用于定期對(duì)比該源目錄和該對(duì)應(yīng)的目標(biāo)目錄，在該源目錄和該對(duì)應(yīng)的目標(biāo)目錄中的數(shù)據(jù)不一致時(shí)生成一數(shù)據(jù)信息，該數(shù)據(jù)信息包括該源目錄中與該對(duì)應(yīng)的目標(biāo)目錄中數(shù)據(jù)不一致的數(shù)據(jù)名和僅該對(duì)應(yīng)的目標(biāo)目錄中具有的數(shù)據(jù)的數(shù)據(jù)名；
[0011 ] 該處理器用于將該數(shù)據(jù)信息處理后發(fā)送給該復(fù)制器；
[0012]該復(fù)制器用于從該源目錄中下載獲得的數(shù)據(jù)信息中數(shù)據(jù)不一致的數(shù)據(jù)名中的數(shù)據(jù)，并上傳到該對(duì)應(yīng)的目標(biāo)目錄，并直接刪除僅該對(duì)應(yīng)的目標(biāo)目錄中具有的數(shù)據(jù)名中的數(shù)據(jù)。
[0013]本方案的定期檢查方案能夠有效地解決同步錯(cuò)誤導(dǎo)致的源目錄和目標(biāo)目錄間數(shù)據(jù)不一致的問題，實(shí)現(xiàn)自我修復(fù)，保證同步穩(wěn)定可靠。
[0014]較佳地，該數(shù)據(jù)同步系統(tǒng)還包括一源集群和一目標(biāo)集群，該源集群包括多個(gè)存儲(chǔ)有多個(gè)數(shù)據(jù)的源目錄，該目標(biāo)集群包括多個(gè)目標(biāo)目錄。
[0015]本發(fā)明還提供一種數(shù)據(jù)同步方法，其特點(diǎn)在于，其利用上述的數(shù)據(jù)同步系統(tǒng)實(shí)現(xiàn)，該數(shù)據(jù)同步方法包括以下步驟:
[0016]S1、該觀測(cè)器獲取一數(shù)據(jù)同步任務(wù)信息，該數(shù)據(jù)同步任務(wù)信息包括待同步數(shù)據(jù)的源目錄和對(duì)應(yīng)接收同步數(shù)據(jù)的目標(biāo)目錄；
[0017]S2、該觀測(cè)器接收到一該源目錄中數(shù)據(jù)變化的信息后，經(jīng)處理獲得一消息并將該消息傳輸至該處理器，該消息包括該數(shù)據(jù)同步任務(wù)信息、該源目錄中待處理的數(shù)據(jù)名和每一數(shù)據(jù)名對(duì)應(yīng)的操作方式，該操作方式包括新增的、修改的和刪除的；
[0018]&、該處理器將該消息處理后發(fā)送給對(duì)應(yīng)的復(fù)制器；
[0019]S4、該復(fù)制器分析獲得的消息，對(duì)于操作方式為新增或修改的所對(duì)應(yīng)的數(shù)據(jù)名，從該源目錄中下載該些數(shù)據(jù)名中的數(shù)據(jù)，并上傳到該對(duì)應(yīng)的目標(biāo)目錄，對(duì)于操作方式為刪除的所對(duì)應(yīng)的數(shù)據(jù)名，直接從該對(duì)應(yīng)的目標(biāo)目錄中刪除該些數(shù)據(jù)名中的數(shù)據(jù)。
[0020]較佳地，在步驟S4之后還包括:
[0021 ] S5、該觀測(cè)器定期對(duì)比該源目錄和該對(duì)應(yīng)的目標(biāo)目錄，在該源目錄和該對(duì)應(yīng)的目標(biāo)目錄中的數(shù)據(jù)不一致時(shí)生成一數(shù)據(jù)信息，該數(shù)據(jù)信息包括該源目錄中與該對(duì)應(yīng)的目標(biāo)目錄中數(shù)據(jù)不一致的數(shù)據(jù)名和僅該對(duì)應(yīng)的目標(biāo)目錄中具有的數(shù)據(jù)的數(shù)據(jù)名；
[0022]S6、該處理器將該數(shù)據(jù)信息處理后發(fā)送給該復(fù)制器；
[0023]S7、該復(fù)制器從該源目錄中下載獲得的數(shù)據(jù)信息中數(shù)據(jù)不一致的數(shù)據(jù)名中的數(shù)據(jù)，并上傳到該對(duì)應(yīng)的目標(biāo)目錄，并直接刪除僅該對(duì)應(yīng)的目標(biāo)目錄中具有的數(shù)據(jù)名中的數(shù)據(jù)。
[0024]本發(fā)明的積極進(jìn)步效果在于:
[0025]本發(fā)明能夠及時(shí)地發(fā)現(xiàn)源集群中數(shù)據(jù)的變化，靈活控制需要同步的數(shù)據(jù)，且在同步出現(xiàn)錯(cuò)誤時(shí)能夠自我修復(fù)，保證同步穩(wěn)定可靠。
【附圖說明】
[0026]圖1為本發(fā)明較佳實(shí)施例的數(shù)據(jù)同步系統(tǒng)的結(jié)構(gòu)框圖。
[0027]圖2為本發(fā)明較佳實(shí)施例的數(shù)據(jù)同步方法的流程圖。
【具體實(shí)施方式】
[0028]下面通過實(shí)施例的方式進(jìn)一步說明本發(fā)明，但并不因此將本發(fā)明限制在所述的實(shí)施例范圍之中。
[0029]本實(shí)施例提供一種數(shù)據(jù)同步系統(tǒng)，其包括一源集群和一目標(biāo)集群，該源集群包括多個(gè)存儲(chǔ)有多個(gè)數(shù)據(jù)的源目錄，該目標(biāo)集群包括多個(gè)目標(biāo)目錄。
[0030]如圖1所示，該數(shù)據(jù)同步系統(tǒng)還包括一觀測(cè)器1、一處理器2和一復(fù)制器3。
[0031]該觀測(cè)器I用于獲取一數(shù)據(jù)同步任務(wù)信息，該數(shù)據(jù)同步任務(wù)信息包括待同步數(shù)據(jù)的源目錄和對(duì)應(yīng)接收同步數(shù)據(jù)的目標(biāo)目錄。
[0032]該觀測(cè)器I用于接收到一該源目錄中數(shù)據(jù)變化的信息后，經(jīng)處理獲得一消息并將該消息傳輸至該處理器，該消息包括該數(shù)據(jù)同步任務(wù)信息、該源目錄中待處理的數(shù)據(jù)名和每一數(shù)據(jù)名對(duì)應(yīng)的操作方式，該操作方式包括新增的、修改的和刪除的。
[0033]該處理器2用于將該消息處理后發(fā)送給對(duì)應(yīng)的復(fù)制器。
[0034]該復(fù)制器3用于分析獲得的消息，對(duì)于操作方式為新增或修改的所對(duì)應(yīng)的數(shù)據(jù)名，從該源目錄中下載該些數(shù)據(jù)名中的數(shù)據(jù)，并上傳到該對(duì)應(yīng)的目標(biāo)目錄，對(duì)于操作方式為刪除的所對(duì)應(yīng)的數(shù)據(jù)名，直接從該對(duì)應(yīng)的目標(biāo)目錄中刪除該些數(shù)據(jù)名中的數(shù)據(jù)。
[0035]而且，該觀測(cè)器I還用于定期對(duì)比該源目錄和該對(duì)應(yīng)的目標(biāo)目錄，在該源目錄和該對(duì)應(yīng)的目標(biāo)目錄中的數(shù)據(jù)不一致時(shí)生成一數(shù)據(jù)信息，該數(shù)據(jù)信息包括該源目錄中與該對(duì)應(yīng)的目標(biāo)目錄中數(shù)據(jù)不一致的數(shù)據(jù)名和僅該對(duì)應(yīng)的目標(biāo)目錄中具有的數(shù)據(jù)的數(shù)據(jù)名。
[0036]該處理器2還用于將該數(shù)據(jù)信息處理后發(fā)送給該復(fù)制器。
[0037]該復(fù)制器3還用于從該源目錄中下載獲得的數(shù)據(jù)信息中數(shù)據(jù)不一致的數(shù)據(jù)名中的數(shù)據(jù)，并上傳到該對(duì)應(yīng)的目標(biāo)目錄，并直接刪除僅該對(duì)應(yīng)的目標(biāo)目錄中具有的數(shù)據(jù)名中的數(shù)據(jù)。
[0038]本實(shí)施例的定期檢查方案能夠有效地解決同步錯(cuò)誤導(dǎo)致的源目錄和目標(biāo)目錄間數(shù)據(jù)不一致的問題，實(shí)現(xiàn)自我修復(fù)，保證同步穩(wěn)定可靠。
[0039]如圖2所示，本實(shí)施例還提供一種數(shù)據(jù)同步方法，其利用上述的數(shù)據(jù)同步系統(tǒng)實(shí)現(xiàn)，該數(shù)據(jù)同步方法包括以下步驟:
[0040]步驟101、該觀測(cè)器獲取一數(shù)據(jù)同步任務(wù)信息，該數(shù)據(jù)同步任務(wù)信息包括待同步數(shù)據(jù)的源目錄和對(duì)應(yīng)接收同步數(shù)據(jù)的目標(biāo)目錄。
[0041 ]步驟102、該觀測(cè)器接收到一該源目錄中數(shù)據(jù)變化的信息后，經(jīng)處理獲得一消息并將該消息傳輸至該處理器，該消息包括該數(shù)據(jù)同步任務(wù)信息、該源目錄中待處理的數(shù)據(jù)名和每一數(shù)據(jù)名對(duì)應(yīng)的操作方式，該操作方式包括新增的、修改的和刪除的。
[0042]步驟103、該處理器將該消息處理后發(fā)送給對(duì)應(yīng)的復(fù)制器。
[0043]步驟104、該復(fù)制器分析獲得的消息，對(duì)于操作方式為新增或修改的所對(duì)應(yīng)的數(shù)據(jù)名，從該源目錄中下載該些數(shù)據(jù)名中的數(shù)據(jù)，并上傳到該對(duì)應(yīng)的目標(biāo)目錄，對(duì)于操作方式為刪除的所對(duì)應(yīng)的數(shù)據(jù)名，直接從該對(duì)應(yīng)的目標(biāo)目錄中刪除該些數(shù)據(jù)名中的數(shù)據(jù)。
[0044]而且，在步驟104之后還包括:
[0045]步驟105、該觀測(cè)器定期對(duì)比該源目錄和該對(duì)應(yīng)的目標(biāo)目錄，在該源目錄和該對(duì)應(yīng)的目標(biāo)目錄中的數(shù)據(jù)不一致時(shí)生成一數(shù)據(jù)信息，該數(shù)據(jù)信息包括該源目錄中與該對(duì)應(yīng)的目標(biāo)目錄中數(shù)據(jù)不一致的數(shù)據(jù)名和僅該對(duì)應(yīng)的目標(biāo)目錄中具有的數(shù)據(jù)的數(shù)據(jù)名。
[0046]步驟106、該處理器將該數(shù)據(jù)信息處理后發(fā)送給該復(fù)制器。
[0047]步驟107、該復(fù)制器從該源目錄中下載獲得的數(shù)據(jù)信息中數(shù)據(jù)不一致的數(shù)據(jù)名中的數(shù)據(jù)，并上傳到該對(duì)應(yīng)的目標(biāo)目錄，并直接刪除僅該對(duì)應(yīng)的目標(biāo)目錄中具有的數(shù)據(jù)名中的數(shù)據(jù)。
[0048]雖然以上描述了本發(fā)明的【具體實(shí)施方式】，但是本領(lǐng)域的技術(shù)人員應(yīng)當(dāng)理解，這些僅是舉例說明，本發(fā)明的保護(hù)范圍是由所附權(quán)利要求書限定的。本領(lǐng)域的技術(shù)人員在不背離本發(fā)明的原理和實(shí)質(zhì)的前提下，可以對(duì)這些實(shí)施方式做出多種變更或修改，但這些變更和修改均落入本發(fā)明的保護(hù)范圍。
【主權(quán)項(xiàng)】
1.一種數(shù)據(jù)同步系統(tǒng)，其特征在于，其包括一觀測(cè)器、一處理器和一復(fù)制器； 該觀測(cè)器用于獲取一數(shù)據(jù)同步任務(wù)信息，該數(shù)據(jù)同步任務(wù)信息包括待同步數(shù)據(jù)的源目錄和對(duì)應(yīng)接收同步數(shù)據(jù)的目標(biāo)目錄； 該觀測(cè)器用于接收到一該源目錄中數(shù)據(jù)變化的信息后，經(jīng)處理獲得一消息并將該消息傳輸至該處理器，該消息包括該數(shù)據(jù)同步任務(wù)信息、該源目錄中待處理的數(shù)據(jù)名和每一數(shù)據(jù)名對(duì)應(yīng)的操作方式，該操作方式包括新增的、修改的和刪除的； 該處理器用于將該消息處理后發(fā)送給對(duì)應(yīng)的復(fù)制器； 該復(fù)制器用于分析獲得的消息，對(duì)于操作方式為新增或修改的所對(duì)應(yīng)的數(shù)據(jù)名，從該源目錄中下載該些數(shù)據(jù)名中的數(shù)據(jù)，并上傳到該對(duì)應(yīng)的目標(biāo)目錄，對(duì)于操作方式為刪除的所對(duì)應(yīng)的數(shù)據(jù)名，直接從該對(duì)應(yīng)的目標(biāo)目錄中刪除該些數(shù)據(jù)名中的數(shù)據(jù)。2.如權(quán)利要求1所述的數(shù)據(jù)同步系統(tǒng)，其特征在于，該觀測(cè)器用于定期對(duì)比該源目錄和該對(duì)應(yīng)的目標(biāo)目錄，在該源目錄和該對(duì)應(yīng)的目標(biāo)目錄中的數(shù)據(jù)不一致時(shí)生成一數(shù)據(jù)信息，該數(shù)據(jù)信息包括該源目錄中與該對(duì)應(yīng)的目標(biāo)目錄中數(shù)據(jù)不一致的數(shù)據(jù)名和僅該對(duì)應(yīng)的目標(biāo)目錄中具有的數(shù)據(jù)的數(shù)據(jù)名； 該處理器用于將該數(shù)據(jù)信息處理后發(fā)送給該復(fù)制器； 該復(fù)制器用于從該源目錄中下載獲得的數(shù)據(jù)信息中數(shù)據(jù)不一致的數(shù)據(jù)名中的數(shù)據(jù)，并上傳到該對(duì)應(yīng)的目標(biāo)目錄，并直接刪除僅該對(duì)應(yīng)的目標(biāo)目錄中具有的數(shù)據(jù)名中的數(shù)據(jù)。3.如權(quán)利要求1所述的數(shù)據(jù)同步系統(tǒng)，其特征在于，該數(shù)據(jù)同步系統(tǒng)還包括一源集群和一目標(biāo)集群，該源集群包括多個(gè)存儲(chǔ)有多個(gè)數(shù)據(jù)的源目錄，該目標(biāo)集群包括多個(gè)目標(biāo)目錄。4.一種數(shù)據(jù)同步方法，其特征在于，其利用如權(quán)利要求1所述的數(shù)據(jù)同步系統(tǒng)實(shí)現(xiàn)，該數(shù)據(jù)同步方法包括以下步驟: S1、該觀測(cè)器獲取一數(shù)據(jù)同步任務(wù)信息，該數(shù)據(jù)同步任務(wù)信息包括待同步數(shù)據(jù)的源目錄和對(duì)應(yīng)接收同步數(shù)據(jù)的目標(biāo)目錄； &、該觀測(cè)器接收到一該源目錄中數(shù)據(jù)變化的信息后，經(jīng)處理獲得一消息并將該消息傳輸至該處理器，該消息包括該數(shù)據(jù)同步任務(wù)信息、該源目錄中待處理的數(shù)據(jù)名和每一數(shù)據(jù)名對(duì)應(yīng)的操作方式，該操作方式包括新增的、修改的和刪除的； &、該處理器將該消息處理后發(fā)送給對(duì)應(yīng)的復(fù)制器； S4、該復(fù)制器分析獲得的消息，對(duì)于操作方式為新增或修改的所對(duì)應(yīng)的數(shù)據(jù)名，從該源目錄中下載該些數(shù)據(jù)名中的數(shù)據(jù)，并上傳到該對(duì)應(yīng)的目標(biāo)目錄，對(duì)于操作方式為刪除的所對(duì)應(yīng)的數(shù)據(jù)名，直接從該對(duì)應(yīng)的目標(biāo)目錄中刪除該些數(shù)據(jù)名中的數(shù)據(jù)。5.如權(quán)利要求4所述的數(shù)據(jù)同步方法，其特征在于，在步驟S4之后還包括: S5、該觀測(cè)器定期對(duì)比該源目錄和該對(duì)應(yīng)的目標(biāo)目錄，在該源目錄和該對(duì)應(yīng)的目標(biāo)目錄中的數(shù)據(jù)不一致時(shí)生成一數(shù)據(jù)信息，該數(shù)據(jù)信息包括該源目錄中與該對(duì)應(yīng)的目標(biāo)目錄中數(shù)據(jù)不一致的數(shù)據(jù)名和僅該對(duì)應(yīng)的目標(biāo)目錄中具有的數(shù)據(jù)的數(shù)據(jù)名； S6、該處理器將該數(shù)據(jù)信息處理后發(fā)送給該復(fù)制器； S7、該復(fù)制器從該源目錄中下載獲得的數(shù)據(jù)信息中數(shù)據(jù)不一致的數(shù)據(jù)名中的數(shù)據(jù)，并上傳到該對(duì)應(yīng)的目標(biāo)目錄，并直接刪除僅該對(duì)應(yīng)的目標(biāo)目錄中具有的數(shù)據(jù)名中的數(shù)據(jù)。
【文檔編號(hào)】G06F17/30GK105824916SQ201610149652
【公開日】2016年8月3日
【申請(qǐng)日】2016年3月16日
【發(fā)明人】蔡峰, 劉俊, 羅勇
【申請(qǐng)人】上海攜程商務(wù)有限公司