本發(fā)明屬于數(shù)據(jù)庫(kù)管理，尤其是涉及一種基于動(dòng)態(tài)優(yōu)先級(jí)的雙通道臟數(shù)據(jù)處理系統(tǒng)及方法。

背景技術(shù)：

1、在數(shù)據(jù)庫(kù)系統(tǒng)中，數(shù)據(jù)的一致性和完整性至關(guān)重要。然而，由于各種不可預(yù)見(jiàn)的因素，如硬件故障、軟件錯(cuò)誤、網(wǎng)絡(luò)問(wèn)題等，可能會(huì)導(dǎo)致部分?jǐn)?shù)據(jù)出現(xiàn)臟數(shù)據(jù)的情況。臟數(shù)據(jù)的存在會(huì)影響數(shù)據(jù)庫(kù)的性能、準(zhǔn)確性以及業(yè)務(wù)決策的可靠性。傳統(tǒng)的臟數(shù)據(jù)處理方法往往采用單一的處理方式，無(wú)法根據(jù)臟數(shù)據(jù)的緊急程度和重要性進(jìn)行靈活處理，導(dǎo)致處理效率低下，甚至可能影響到系統(tǒng)的正常運(yùn)行。因此，迫切需要一種能夠根據(jù)臟數(shù)據(jù)的動(dòng)態(tài)優(yōu)先級(jí)進(jìn)行高效處理的系統(tǒng)和方法。

2、現(xiàn)有技術(shù)中，臟數(shù)據(jù)清理通常采用離線批量處理模式，存在以下缺陷：1.業(yè)務(wù)影響大：全量掃描或表鎖定導(dǎo)致在線業(yè)務(wù)中斷（如電商大促期間訂單表頻繁鎖表）。2.修復(fù)效率低：依賴(lài)人工制定規(guī)則，無(wú)法動(dòng)態(tài)適應(yīng)數(shù)據(jù)分布變化（如新增異常數(shù)據(jù)類(lèi)型未及時(shí)處理）。3.敏感數(shù)據(jù)風(fēng)險(xiǎn)：未區(qū)分?jǐn)?shù)據(jù)優(yōu)先級(jí)，高風(fēng)險(xiǎn)數(shù)據(jù)（如用戶(hù)支付信息）與低頻數(shù)據(jù)混合處理，增加泄露風(fēng)險(xiǎn)。

技術(shù)實(shí)現(xiàn)思路

1、有鑒于此，本發(fā)明旨在提出一種基于動(dòng)態(tài)優(yōu)先級(jí)的雙通道臟數(shù)據(jù)處理系統(tǒng)及方法，以解決傳統(tǒng)數(shù)據(jù)庫(kù)臟數(shù)據(jù)處理方法無(wú)法根據(jù)臟數(shù)據(jù)的緊急程度和重要性進(jìn)行靈活處理的問(wèn)題。

2、為達(dá)到上述目的，本發(fā)明的技術(shù)方案是這樣實(shí)現(xiàn)的：

3、第一方面，本發(fā)明提出一種基于動(dòng)態(tài)優(yōu)先級(jí)的雙通道臟數(shù)據(jù)處理系統(tǒng)，包括臟數(shù)據(jù)監(jiān)測(cè)模塊、動(dòng)態(tài)優(yōu)先級(jí)評(píng)估模塊、熱修復(fù)通道模塊、冷處理通道模塊、通道協(xié)同機(jī)制和日志記錄與監(jiān)控模塊，所述臟數(shù)據(jù)監(jiān)測(cè)模塊將臟數(shù)據(jù)信息輸出至動(dòng)態(tài)優(yōu)先級(jí)評(píng)估模塊，所述動(dòng)態(tài)優(yōu)先級(jí)評(píng)估模塊將處理數(shù)據(jù)信息輸出至熱修復(fù)通道模塊或冷處理通道模塊，所述通道協(xié)同機(jī)制分別與熱修復(fù)通道模塊和冷處理通道模塊交互數(shù)據(jù)信息，所述臟數(shù)據(jù)監(jiān)測(cè)模塊、動(dòng)態(tài)優(yōu)先級(jí)評(píng)估模塊、熱修復(fù)通道模塊、冷處理通道模塊和通道協(xié)同機(jī)制均將日志信息輸出至日志記錄與監(jiān)控模塊。

4、第二方面，基于同一方面構(gòu)思，本發(fā)明還提出一種基于動(dòng)態(tài)優(yōu)先級(jí)的雙通道臟數(shù)據(jù)處理方法，包括以下步驟：

5、s1、臟數(shù)據(jù)監(jiān)測(cè)模塊實(shí)時(shí)監(jiān)測(cè)數(shù)據(jù)庫(kù)中的數(shù)據(jù)狀態(tài)：基于預(yù)設(shè)規(guī)則和算法捕獲臟數(shù)據(jù)信息，并將其發(fā)送至動(dòng)態(tài)優(yōu)先級(jí)評(píng)估模塊；

6、s2、動(dòng)態(tài)優(yōu)先級(jí)評(píng)估模塊接收到臟數(shù)據(jù)信息后，基于數(shù)據(jù)訪問(wèn)頻率以及字段敏感性自動(dòng)劃分?jǐn)?shù)據(jù)優(yōu)先級(jí)，并根據(jù)數(shù)據(jù)優(yōu)先級(jí)發(fā)送數(shù)據(jù)信息至熱修復(fù)通道模塊或冷處理通道模塊；

7、s3、熱修復(fù)通道模塊接收到高優(yōu)先級(jí)數(shù)據(jù)信息后，對(duì)數(shù)據(jù)進(jìn)行實(shí)時(shí)修復(fù)；

8、s4、冷處理通道模塊接收到低優(yōu)先級(jí)數(shù)據(jù)信息后，對(duì)數(shù)據(jù)進(jìn)行異步批量處理；

9、s5、通道協(xié)同機(jī)制對(duì)熱修復(fù)進(jìn)行資源隔離，并實(shí)時(shí)控制熱修復(fù)和冷處理的數(shù)據(jù)版本；

10、s6、日志記錄與監(jiān)控模塊負(fù)責(zé)實(shí)時(shí)記錄和監(jiān)控臟數(shù)據(jù)的相關(guān)信息及其處理過(guò)程。

11、進(jìn)一步的，在步驟s1中，臟數(shù)據(jù)監(jiān)測(cè)模塊實(shí)時(shí)監(jiān)測(cè)數(shù)據(jù)庫(kù)中的數(shù)據(jù)狀態(tài)，包括：

12、s11、數(shù)據(jù)采集層通過(guò)數(shù)據(jù)庫(kù)日志捕捉變更事件；

13、s12、通過(guò)預(yù)設(shè)規(guī)則對(duì)變更數(shù)據(jù)進(jìn)行校驗(yàn)；

14、s13、如果捕捉到臟數(shù)據(jù)信息，則將其發(fā)送至日志記錄與監(jiān)控模塊和動(dòng)態(tài)優(yōu)先級(jí)評(píng)估模塊。

15、進(jìn)一步的，在步驟s2中，基于數(shù)據(jù)訪問(wèn)頻率以及字段敏感性自動(dòng)劃分?jǐn)?shù)據(jù)優(yōu)先級(jí)，包括：

16、s21、接收臟數(shù)據(jù)監(jiān)測(cè)模塊發(fā)送的臟數(shù)據(jù)信息；

17、s22、動(dòng)態(tài)權(quán)重調(diào)整機(jī)制進(jìn)行優(yōu)先級(jí)判斷，優(yōu)先級(jí)表達(dá)式的公式如下：

18、優(yōu)先級(jí)值=(α×敏感系數(shù))+(β×訪問(wèn)頻率)+(γ×最近修改時(shí)間衰減因子)+(δ×數(shù)據(jù)量級(jí))；

19、式中，α為敏感系數(shù)權(quán)重，β為訪問(wèn)頻率權(quán)重，γ為時(shí)間衰減因子權(quán)重，δ為數(shù)據(jù)量級(jí)因子權(quán)重，敏感系數(shù)基于字段類(lèi)型自動(dòng)映射，訪問(wèn)頻率統(tǒng)計(jì)周期為24小時(shí)內(nèi)的查詢(xún)次數(shù)，最近修改時(shí)間衰減因子表達(dá)式的公式如下：

20、1/(1+e^(-λ(t_current-t_last_modified)))；

21、式中，t_current為數(shù)據(jù)評(píng)估的當(dāng)前時(shí)刻，t_last_modified為最近一次變更的時(shí)間點(diǎn)，λ為調(diào)節(jié)系數(shù)；

22、數(shù)據(jù)量級(jí)表達(dá)式的公式如下：

23、數(shù)據(jù)量級(jí)=log10(v)/log10(1tb)；

24、式中，v為字段或表的實(shí)際數(shù)據(jù)體積；

25、s23、若優(yōu)先級(jí)為p0-p1，則發(fā)送數(shù)據(jù)信息至熱修復(fù)通道模塊；

26、s24、若優(yōu)先級(jí)為p2，則發(fā)送數(shù)據(jù)信息至冷處理通道模塊；

27、s25、將日志信息發(fā)送至日志記錄與監(jiān)控模塊。

28、進(jìn)一步的，在步驟s3中，熱修復(fù)通道模塊接收到高優(yōu)先級(jí)數(shù)據(jù)信息后，對(duì)數(shù)據(jù)進(jìn)行實(shí)時(shí)修復(fù)，包括：

29、s31、接收動(dòng)態(tài)優(yōu)先級(jí)評(píng)估模塊發(fā)送的數(shù)據(jù)信息；

30、s32、若優(yōu)先級(jí)為p0，則將數(shù)據(jù)存放至獨(dú)立內(nèi)存區(qū)域，并替換合法值；

31、s33、若優(yōu)先級(jí)為p1，則檢查是否有未修復(fù)的優(yōu)先級(jí)為p0的數(shù)據(jù)，若有，則進(jìn)行步驟s32操作，否則，將優(yōu)先級(jí)為p1的數(shù)據(jù)緩存至相應(yīng)內(nèi)存區(qū)域，并替換合法值；

32、s34、事務(wù)日志雙寫(xiě)：利用無(wú)鎖哈希表，采用比較與交換操作實(shí)現(xiàn)內(nèi)存數(shù)據(jù)替換，并預(yù)分配內(nèi)存池；采用雙寫(xiě)日志一致性協(xié)議，同時(shí)寫(xiě)入數(shù)據(jù)庫(kù)事務(wù)日志和獨(dú)立修復(fù)日志，并通過(guò)日志位置標(biāo)識(shí)符完成二者的原子性提交，將日志信息發(fā)送至日志記錄與監(jiān)控模塊。

33、進(jìn)一步的，在步驟s4中，冷處理通道模塊接收到低優(yōu)先級(jí)數(shù)據(jù)信息后，對(duì)數(shù)據(jù)進(jìn)行異步批量處理，包括：

34、s41、接收動(dòng)態(tài)優(yōu)先級(jí)評(píng)估模塊發(fā)送的數(shù)據(jù)信息；

35、s42、分布式任務(wù)分片：將優(yōu)先級(jí)為p2的數(shù)據(jù)信息劃分為多個(gè)分片，通過(guò)kafka消息隊(duì)列分發(fā)至多個(gè)節(jié)點(diǎn)并行處理；

36、s43、批量模式優(yōu)化：合并多次更新為單次批量sql，合并單條更新為批量操作；

37、s44、異步校驗(yàn)：更新前生成數(shù)據(jù)快照，若修復(fù)失敗，則回滾至快照版本，冷處理完成后通過(guò)抽樣驗(yàn)證修復(fù)結(jié)果，失敗任務(wù)自動(dòng)重試，并觸發(fā)告警通知，若重試3次，則標(biāo)記為“人工審核”任務(wù)。

38、進(jìn)一步的，在步驟s5中，通道協(xié)同機(jī)制對(duì)熱修復(fù)進(jìn)行資源隔離，并實(shí)時(shí)控制熱修復(fù)和冷處理的數(shù)據(jù)版本，包括：

39、s51、資源隔離：熱修復(fù)線程池獨(dú)立于業(yè)務(wù)線程池，通過(guò)hystrix式隔離策略限制最大并發(fā)數(shù)；

40、s52、內(nèi)存區(qū)域劃分：熱修復(fù)使用java?virtual?machine堆外內(nèi)存；

41、s53、數(shù)據(jù)版本控制：采用多版本并發(fā)控制，熱修復(fù)修改當(dāng)前活躍版本，冷處理基于歷史快照版本修復(fù)，通過(guò)全局版本號(hào)防止沖突。

42、進(jìn)一步的，在步驟s6中，日志記錄與監(jiān)控模塊負(fù)責(zé)實(shí)時(shí)記錄和監(jiān)控臟數(shù)據(jù)的相關(guān)信息及其處理過(guò)程，包括：

43、s61、接收臟數(shù)據(jù)監(jiān)測(cè)模塊發(fā)送的數(shù)據(jù)信息；

44、s62、接收熱修復(fù)通道模塊和冷處理通道模塊的修復(fù)信息，對(duì)修復(fù)字段和處理結(jié)果進(jìn)行標(biāo)記；

45、s63、接收通道協(xié)同機(jī)制版本信息，并標(biāo)記數(shù)據(jù)版本號(hào)；

46、s64、若冷處理隊(duì)列積壓數(shù)據(jù)超過(guò)10萬(wàn)條，則進(jìn)行擴(kuò)容處理。

47、相對(duì)于現(xiàn)有技術(shù)，本發(fā)明所述的一種基于動(dòng)態(tài)優(yōu)先級(jí)的雙通道臟數(shù)據(jù)處理系統(tǒng)及方法具有以下優(yōu)勢(shì)：

48、優(yōu)勢(shì)1：動(dòng)態(tài)優(yōu)先級(jí)調(diào)度機(jī)制

49、基于臟數(shù)據(jù)的業(yè)務(wù)影響權(quán)重（如涉及交易金額、用戶(hù)量級(jí)）和敏感等級(jí)（如支付信息、隱私字段），動(dòng)態(tài)分配處理優(yōu)先級(jí)，并通過(guò)實(shí)時(shí)權(quán)重計(jì)算模型驅(qū)動(dòng)任務(wù)調(diào)度。業(yè)務(wù)影響權(quán)重：通過(guò)實(shí)時(shí)統(tǒng)計(jì)臟數(shù)據(jù)關(guān)聯(lián)的業(yè)務(wù)指標(biāo)（如訂單金額、用戶(hù)活躍度），量化其對(duì)核心業(yè)務(wù)的影響程度。敏感等級(jí)：基于數(shù)據(jù)分類(lèi)分級(jí)策略，標(biāo)記高風(fēng)險(xiǎn)字段（如支付卡號(hào)）并賦予高優(yōu)先級(jí)。

50、相應(yīng)的有益效果如下：

51、（1）解決“業(yè)務(wù)影響大”的缺陷：高風(fēng)險(xiǎn)數(shù)據(jù)（如支付信息）優(yōu)先處理，避免鎖表或長(zhǎng)事務(wù)阻塞在線業(yè)務(wù)；低優(yōu)先級(jí)任務(wù)（如歷史訂單糾錯(cuò)）延后處理，減少業(yè)務(wù)中斷時(shí)間。

52、（2）解決：“修復(fù)效率低”的缺陷：依據(jù)權(quán)重動(dòng)態(tài)調(diào)整，動(dòng)態(tài)適應(yīng)數(shù)據(jù)分布變化，及時(shí)處理新增異常數(shù)據(jù)類(lèi)型。

53、（3）解決“敏感數(shù)據(jù)風(fēng)險(xiǎn)”的缺陷：區(qū)分?jǐn)?shù)據(jù)優(yōu)先級(jí)，避免與普通數(shù)據(jù)混合操作。

54、優(yōu)勢(shì)2：分級(jí)處理與資源隔離架構(gòu)

55、采用分級(jí)處理通道，按數(shù)據(jù)敏感性和業(yè)務(wù)重要性隔離資源，并通過(guò)冷熱數(shù)據(jù)分流技術(shù)優(yōu)化存儲(chǔ)訪問(wèn)。通道隔離設(shè)計(jì)：高風(fēng)險(xiǎn)數(shù)據(jù)通過(guò)高速緩存單元（如redis）實(shí)時(shí)處理，低頻數(shù)據(jù)通過(guò)對(duì)象存儲(chǔ)批量處理。資源分配策略：高優(yōu)先級(jí)任務(wù)獨(dú)占計(jì)算節(jié)點(diǎn)，低優(yōu)先級(jí)任務(wù)共享閑置資源，提升資源利用率提升。

56、相應(yīng)的有益效果如下：

57、（1）解決“業(yè)務(wù)影響大”的缺陷：在線業(yè)務(wù)與低優(yōu)先級(jí)修復(fù)任務(wù)物理隔離，鎖表操作減少100%，數(shù)據(jù)庫(kù)可用性達(dá)99.99%。

58、（2）解決“敏感數(shù)據(jù)風(fēng)險(xiǎn)”的缺陷：支付信息等敏感數(shù)據(jù)單獨(dú)加密處理，全鏈路訪問(wèn)權(quán)限控制，合規(guī)風(fēng)險(xiǎn)降低。