本發(fā)明實(shí)施例涉及數(shù)據(jù)倉(cāng)庫(kù)技術(shù)，尤其涉及一種數(shù)據(jù)同步方法、裝置、電子設(shè)備和存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、隨著業(yè)務(wù)的發(fā)展，海量的數(shù)據(jù)應(yīng)運(yùn)而生，生產(chǎn)系統(tǒng)為了適配業(yè)務(wù)的高頻度需求，本身的庫(kù)表結(jié)構(gòu)也在不斷發(fā)生變化。數(shù)據(jù)倉(cāng)庫(kù)作為線上生產(chǎn)系統(tǒng)和下游數(shù)據(jù)應(yīng)用系統(tǒng)的橋梁，為確保數(shù)據(jù)的一致性，也需要進(jìn)行相應(yīng)的調(diào)整，保持上下游(即線上生產(chǎn)系統(tǒng)與下游數(shù)據(jù)應(yīng)用系統(tǒng))的聯(lián)動(dòng)性，以避免數(shù)據(jù)抽取作業(yè)異常，線上數(shù)據(jù)無(wú)法接入，影響下游使用。

2、目前上下游聯(lián)動(dòng)主要是通過(guò)人工維護(hù)實(shí)現(xiàn)的，即當(dāng)上游生產(chǎn)庫(kù)表發(fā)生變更時(shí)，由線上系統(tǒng)研發(fā)人員以郵件的形式向下游數(shù)據(jù)研發(fā)人員發(fā)送表結(jié)構(gòu)變更通知或發(fā)送變動(dòng)請(qǐng)求給運(yùn)維人員，由運(yùn)維人員對(duì)數(shù)據(jù)執(zhí)行變更操作，并完成后續(xù)數(shù)據(jù)的補(bǔ)錄及追溯。在實(shí)現(xiàn)本發(fā)明的過(guò)程中，發(fā)明人發(fā)現(xiàn)，人工維護(hù)實(shí)現(xiàn)上下游聯(lián)動(dòng)，人力成本高、效率低、且容易出現(xiàn)誤操作，導(dǎo)致上下游數(shù)據(jù)不能健康的聯(lián)動(dòng)。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明實(shí)施例提供一種數(shù)據(jù)同步方法、裝置、電子設(shè)備和存儲(chǔ)介質(zhì)，能夠減少人工參與，降低人力成本，提高數(shù)據(jù)同步的效率和準(zhǔn)確率，保證上下游數(shù)據(jù)的健康聯(lián)動(dòng)。

2、第一方面，本發(fā)明實(shí)施例提供一種數(shù)據(jù)同步方法，包括：

3、獲取源數(shù)據(jù)庫(kù)的原始操作日志，解析所述原始操作日志得到所述源數(shù)據(jù)庫(kù)的表操作信息；

4、根據(jù)所述表操作信息調(diào)整當(dāng)前抽數(shù)任務(wù)的配置信息得到目標(biāo)抽數(shù)任務(wù)；

5、執(zhí)行所述目標(biāo)抽數(shù)任務(wù)以將所述源數(shù)據(jù)庫(kù)中的數(shù)據(jù)同步至數(shù)據(jù)倉(cāng)庫(kù)；

6、將所述數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)同步至各個(gè)數(shù)據(jù)集市。

7、第二方面，本發(fā)明實(shí)施例提供一種數(shù)據(jù)同步裝置，包括：

8、日志處理模塊，用于獲取源數(shù)據(jù)庫(kù)的原始操作日志，解析所述原始操作日志得到所述源數(shù)據(jù)庫(kù)的表操作信息；

9、調(diào)整模塊，用于根據(jù)所述表操作信息調(diào)整當(dāng)前抽數(shù)任務(wù)的配置信息得到目標(biāo)抽數(shù)任務(wù)；

10、執(zhí)行模塊，用于執(zhí)行所述目標(biāo)抽數(shù)任務(wù)以將所述源數(shù)據(jù)庫(kù)中的數(shù)據(jù)同步至數(shù)據(jù)倉(cāng)庫(kù)；

11、同步模塊，用于將所述數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)同步至各個(gè)數(shù)據(jù)集市。

12、第三方面，本發(fā)明實(shí)施例提供一種電子設(shè)備，包括存儲(chǔ)器、處理器及存儲(chǔ)在所述存儲(chǔ)器上并可在所述處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述程序時(shí)實(shí)現(xiàn)如本發(fā)明實(shí)施例任一所述的數(shù)據(jù)同步方法。

13、第四方面，本發(fā)明實(shí)施例提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，該程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如本發(fā)明實(shí)施例任一所述的數(shù)據(jù)同步方法。

14、本發(fā)明實(shí)施例中，可以獲取源數(shù)據(jù)庫(kù)的原始操作日志，解析原始操作日志得到源數(shù)據(jù)庫(kù)的表操作信息；根據(jù)表操作信息調(diào)整當(dāng)前抽數(shù)任務(wù)的配置信息，得到目標(biāo)抽數(shù)任務(wù)；執(zhí)行目標(biāo)抽數(shù)任務(wù)以將源數(shù)據(jù)庫(kù)中的數(shù)據(jù)同步至數(shù)據(jù)倉(cāng)庫(kù)；將數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)同步至各個(gè)數(shù)據(jù)集市。即本發(fā)明可以基于源數(shù)據(jù)庫(kù)的操作日志調(diào)整抽數(shù)任務(wù)，通過(guò)執(zhí)行調(diào)整后的抽數(shù)任務(wù)實(shí)現(xiàn)數(shù)據(jù)同步，整個(gè)數(shù)據(jù)同步過(guò)程通過(guò)自動(dòng)化方式完成，減少了人工參與，降低了人力成本，提高了數(shù)據(jù)同步的效率和準(zhǔn)確率，能夠保證上下游數(shù)據(jù)的健康聯(lián)動(dòng)。

技術(shù)特征：

1.一種數(shù)據(jù)同步方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的數(shù)據(jù)同步方法，其特征在于，所述解析所述原始操作日志得到所述源數(shù)據(jù)庫(kù)的表操作信息，包括：

3.根據(jù)權(quán)利要求2所述的數(shù)據(jù)同步方法，其特征在于，所述基于當(dāng)前解析樹(shù)確定所述結(jié)構(gòu)化操作日志對(duì)應(yīng)的候選日志組，包括：

4.根據(jù)權(quán)利要求3所述的數(shù)據(jù)同步方法，其特征在于，所述確定所述當(dāng)前解析樹(shù)的葉子節(jié)點(diǎn)存儲(chǔ)的日志組中是否存在與所述結(jié)構(gòu)化操作日志匹配的日志組，包括：

5.根據(jù)權(quán)利要求4所述的數(shù)據(jù)同步方法，其特征在于，所述根據(jù)所述目標(biāo)解析樹(shù)確定所述源數(shù)據(jù)庫(kù)的表操作信息，包括：

6.根據(jù)權(quán)利要求1所述的數(shù)據(jù)同步方法，其特征在于，在根據(jù)所述表操作信息調(diào)整當(dāng)前抽數(shù)任務(wù)的配置信息之前，還包括：

7.根據(jù)權(quán)利要求1所述的數(shù)據(jù)同步方法，其特征在于，所述獲取源數(shù)據(jù)庫(kù)的原始操作日志，包括：

8.一種數(shù)據(jù)同步裝置，其特征在于，包括：

9.一種電子設(shè)備，包括存儲(chǔ)器、處理器及存儲(chǔ)在所述存儲(chǔ)器上并可在所述處理器上運(yùn)行的計(jì)算機(jī)程序，其特征在于，所述處理器執(zhí)行所述程序時(shí)實(shí)現(xiàn)如權(quán)利要求1至7中任一所述的數(shù)據(jù)同步方法。

10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，該程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至7中任一所述的數(shù)據(jù)同步方法。

技術(shù)總結(jié)
本發(fā)明實(shí)施例公開(kāi)一種數(shù)據(jù)同步方法、裝置、電子設(shè)備和存儲(chǔ)介質(zhì)，該方法包括：獲取源數(shù)據(jù)庫(kù)的原始操作日志，解析原始操作日志得到源數(shù)據(jù)庫(kù)的表操作信息；根據(jù)表操作信息調(diào)整當(dāng)前抽數(shù)任務(wù)的配置信息得到目標(biāo)抽數(shù)任務(wù)；執(zhí)行目標(biāo)抽數(shù)任務(wù)以將源數(shù)據(jù)庫(kù)中的數(shù)據(jù)同步至數(shù)據(jù)倉(cāng)庫(kù)；將數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)同步至各個(gè)數(shù)據(jù)集市。即本發(fā)明可以基于源數(shù)據(jù)庫(kù)的操作日志調(diào)整抽數(shù)任務(wù)，通過(guò)執(zhí)行調(diào)整后的抽數(shù)任務(wù)實(shí)現(xiàn)數(shù)據(jù)同步，整個(gè)數(shù)據(jù)同步過(guò)程通過(guò)自動(dòng)化方式完成，減少了人工參與，降低了人力成本，提高了數(shù)據(jù)同步的效率和準(zhǔn)確率，能夠保證上下游數(shù)據(jù)的健康聯(lián)動(dòng)。

技術(shù)研發(fā)人員：劉忠際
受保護(hù)的技術(shù)使用者：北京京東振世信息技術(shù)有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/10/28