亚洲狠狠干,亚洲国产福利精品一区二区,国产八区,激情文学亚洲色图

數(shù)據(jù)同步方法、裝置、電子設(shè)備和存儲(chǔ)介質(zhì)與流程

文檔序號(hào):39799860發(fā)布日期:2024-10-29 17:13閱讀:7來(lái)源:國(guó)知局
數(shù)據(jù)同步方法、裝置、電子設(shè)備和存儲(chǔ)介質(zhì)與流程

本發(fā)明實(shí)施例涉及數(shù)據(jù)倉(cāng)庫(kù)技術(shù),尤其涉及一種數(shù)據(jù)同步方法、裝置、電子設(shè)備和存儲(chǔ)介質(zhì)。


背景技術(shù):

1、隨著業(yè)務(wù)的發(fā)展,海量的數(shù)據(jù)應(yīng)運(yùn)而生,生產(chǎn)系統(tǒng)為了適配業(yè)務(wù)的高頻度需求,本身的庫(kù)表結(jié)構(gòu)也在不斷發(fā)生變化。數(shù)據(jù)倉(cāng)庫(kù)作為線上生產(chǎn)系統(tǒng)和下游數(shù)據(jù)應(yīng)用系統(tǒng)的橋梁,為確保數(shù)據(jù)的一致性,也需要進(jìn)行相應(yīng)的調(diào)整,保持上下游(即線上生產(chǎn)系統(tǒng)與下游數(shù)據(jù)應(yīng)用系統(tǒng))的聯(lián)動(dòng)性,以避免數(shù)據(jù)抽取作業(yè)異常,線上數(shù)據(jù)無(wú)法接入,影響下游使用。

2、目前上下游聯(lián)動(dòng)主要是通過(guò)人工維護(hù)實(shí)現(xiàn)的,即當(dāng)上游生產(chǎn)庫(kù)表發(fā)生變更時(shí),由線上系統(tǒng)研發(fā)人員以郵件的形式向下游數(shù)據(jù)研發(fā)人員發(fā)送表結(jié)構(gòu)變更通知或發(fā)送變動(dòng)請(qǐng)求給運(yùn)維人員,由運(yùn)維人員對(duì)數(shù)據(jù)執(zhí)行變更操作,并完成后續(xù)數(shù)據(jù)的補(bǔ)錄及追溯。在實(shí)現(xiàn)本發(fā)明的過(guò)程中,發(fā)明人發(fā)現(xiàn),人工維護(hù)實(shí)現(xiàn)上下游聯(lián)動(dòng),人力成本高、效率低、且容易出現(xiàn)誤操作,導(dǎo)致上下游數(shù)據(jù)不能健康的聯(lián)動(dòng)。


技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明實(shí)施例提供一種數(shù)據(jù)同步方法、裝置、電子設(shè)備和存儲(chǔ)介質(zhì),能夠減少人工參與,降低人力成本,提高數(shù)據(jù)同步的效率和準(zhǔn)確率,保證上下游數(shù)據(jù)的健康聯(lián)動(dòng)。

2、第一方面,本發(fā)明實(shí)施例提供一種數(shù)據(jù)同步方法,包括:

3、獲取源數(shù)據(jù)庫(kù)的原始操作日志,解析所述原始操作日志得到所述源數(shù)據(jù)庫(kù)的表操作信息;

4、根據(jù)所述表操作信息調(diào)整當(dāng)前抽數(shù)任務(wù)的配置信息得到目標(biāo)抽數(shù)任務(wù);

5、執(zhí)行所述目標(biāo)抽數(shù)任務(wù)以將所述源數(shù)據(jù)庫(kù)中的數(shù)據(jù)同步至數(shù)據(jù)倉(cāng)庫(kù);

6、將所述數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)同步至各個(gè)數(shù)據(jù)集市。

7、第二方面,本發(fā)明實(shí)施例提供一種數(shù)據(jù)同步裝置,包括:

8、日志處理模塊,用于獲取源數(shù)據(jù)庫(kù)的原始操作日志,解析所述原始操作日志得到所述源數(shù)據(jù)庫(kù)的表操作信息;

9、調(diào)整模塊,用于根據(jù)所述表操作信息調(diào)整當(dāng)前抽數(shù)任務(wù)的配置信息得到目標(biāo)抽數(shù)任務(wù);

10、執(zhí)行模塊,用于執(zhí)行所述目標(biāo)抽數(shù)任務(wù)以將所述源數(shù)據(jù)庫(kù)中的數(shù)據(jù)同步至數(shù)據(jù)倉(cāng)庫(kù);

11、同步模塊,用于將所述數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)同步至各個(gè)數(shù)據(jù)集市。

12、第三方面,本發(fā)明實(shí)施例提供一種電子設(shè)備,包括存儲(chǔ)器、處理器及存儲(chǔ)在所述存儲(chǔ)器上并可在所述處理器上運(yùn)行的計(jì)算機(jī)程序,所述處理器執(zhí)行所述程序時(shí)實(shí)現(xiàn)如本發(fā)明實(shí)施例任一所述的數(shù)據(jù)同步方法。

13、第四方面,本發(fā)明實(shí)施例提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì),其上存儲(chǔ)有計(jì)算機(jī)程序,該程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如本發(fā)明實(shí)施例任一所述的數(shù)據(jù)同步方法。

14、本發(fā)明實(shí)施例中,可以獲取源數(shù)據(jù)庫(kù)的原始操作日志,解析原始操作日志得到源數(shù)據(jù)庫(kù)的表操作信息;根據(jù)表操作信息調(diào)整當(dāng)前抽數(shù)任務(wù)的配置信息,得到目標(biāo)抽數(shù)任務(wù);執(zhí)行目標(biāo)抽數(shù)任務(wù)以將源數(shù)據(jù)庫(kù)中的數(shù)據(jù)同步至數(shù)據(jù)倉(cāng)庫(kù);將數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)同步至各個(gè)數(shù)據(jù)集市。即本發(fā)明可以基于源數(shù)據(jù)庫(kù)的操作日志調(diào)整抽數(shù)任務(wù),通過(guò)執(zhí)行調(diào)整后的抽數(shù)任務(wù)實(shí)現(xiàn)數(shù)據(jù)同步,整個(gè)數(shù)據(jù)同步過(guò)程通過(guò)自動(dòng)化方式完成,減少了人工參與,降低了人力成本,提高了數(shù)據(jù)同步的效率和準(zhǔn)確率,能夠保證上下游數(shù)據(jù)的健康聯(lián)動(dòng)。



技術(shù)特征:

1.一種數(shù)據(jù)同步方法,其特征在于,包括:

2.根據(jù)權(quán)利要求1所述的數(shù)據(jù)同步方法,其特征在于,所述解析所述原始操作日志得到所述源數(shù)據(jù)庫(kù)的表操作信息,包括:

3.根據(jù)權(quán)利要求2所述的數(shù)據(jù)同步方法,其特征在于,所述基于當(dāng)前解析樹(shù)確定所述結(jié)構(gòu)化操作日志對(duì)應(yīng)的候選日志組,包括:

4.根據(jù)權(quán)利要求3所述的數(shù)據(jù)同步方法,其特征在于,所述確定所述當(dāng)前解析樹(shù)的葉子節(jié)點(diǎn)存儲(chǔ)的日志組中是否存在與所述結(jié)構(gòu)化操作日志匹配的日志組,包括:

5.根據(jù)權(quán)利要求4所述的數(shù)據(jù)同步方法,其特征在于,所述根據(jù)所述目標(biāo)解析樹(shù)確定所述源數(shù)據(jù)庫(kù)的表操作信息,包括:

6.根據(jù)權(quán)利要求1所述的數(shù)據(jù)同步方法,其特征在于,在根據(jù)所述表操作信息調(diào)整當(dāng)前抽數(shù)任務(wù)的配置信息之前,還包括:

7.根據(jù)權(quán)利要求1所述的數(shù)據(jù)同步方法,其特征在于,所述獲取源數(shù)據(jù)庫(kù)的原始操作日志,包括:

8.一種數(shù)據(jù)同步裝置,其特征在于,包括:

9.一種電子設(shè)備,包括存儲(chǔ)器、處理器及存儲(chǔ)在所述存儲(chǔ)器上并可在所述處理器上運(yùn)行的計(jì)算機(jī)程序,其特征在于,所述處理器執(zhí)行所述程序時(shí)實(shí)現(xiàn)如權(quán)利要求1至7中任一所述的數(shù)據(jù)同步方法。

10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì),其上存儲(chǔ)有計(jì)算機(jī)程序,其特征在于,該程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至7中任一所述的數(shù)據(jù)同步方法。


技術(shù)總結(jié)
本發(fā)明實(shí)施例公開(kāi)一種數(shù)據(jù)同步方法、裝置、電子設(shè)備和存儲(chǔ)介質(zhì),該方法包括:獲取源數(shù)據(jù)庫(kù)的原始操作日志,解析原始操作日志得到源數(shù)據(jù)庫(kù)的表操作信息;根據(jù)表操作信息調(diào)整當(dāng)前抽數(shù)任務(wù)的配置信息得到目標(biāo)抽數(shù)任務(wù);執(zhí)行目標(biāo)抽數(shù)任務(wù)以將源數(shù)據(jù)庫(kù)中的數(shù)據(jù)同步至數(shù)據(jù)倉(cāng)庫(kù);將數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)同步至各個(gè)數(shù)據(jù)集市。即本發(fā)明可以基于源數(shù)據(jù)庫(kù)的操作日志調(diào)整抽數(shù)任務(wù),通過(guò)執(zhí)行調(diào)整后的抽數(shù)任務(wù)實(shí)現(xiàn)數(shù)據(jù)同步,整個(gè)數(shù)據(jù)同步過(guò)程通過(guò)自動(dòng)化方式完成,減少了人工參與,降低了人力成本,提高了數(shù)據(jù)同步的效率和準(zhǔn)確率,能夠保證上下游數(shù)據(jù)的健康聯(lián)動(dòng)。

技術(shù)研發(fā)人員:劉忠際
受保護(hù)的技術(shù)使用者:北京京東振世信息技術(shù)有限公司
技術(shù)研發(fā)日:
技術(shù)公布日:2024/10/28
網(wǎng)友詢(xún)問(wèn)留言 已有0條留言
  • 還沒(méi)有人留言評(píng)論。精彩留言會(huì)獲得點(diǎn)贊!
1