一種多對(duì)多的數(shù)據(jù)采集系統(tǒng)及其采集方法
【專利摘要】本發(fā)明涉及計(jì)算機(jī)應(yīng)用【技術(shù)領(lǐng)域】，特別涉及一種多對(duì)多的數(shù)據(jù)采集系統(tǒng)及其采集方法。本發(fā)明的系統(tǒng)由采集管理平臺(tái)、采集引擎和數(shù)據(jù)處理服務(wù)器三部分構(gòu)成。采集管理平臺(tái)，用于管理節(jié)點(diǎn)、通信協(xié)議、ETL規(guī)則和采集任務(wù)；采集引擎，支持多種通信方式，通過(guò)通信協(xié)議與數(shù)據(jù)提供方節(jié)點(diǎn)進(jìn)行握手，識(shí)別提供方的合法性并進(jìn)行數(shù)據(jù)采集，完成后通知數(shù)據(jù)處理服務(wù)器；數(shù)據(jù)處理服務(wù)器包括了數(shù)據(jù)清洗和拔插式的數(shù)據(jù)處理組件。本發(fā)明將數(shù)據(jù)采集流程規(guī)范化，組件接口標(biāo)準(zhǔn)化，具有擴(kuò)展性好，適用范圍廣等特點(diǎn)，可應(yīng)用于多種關(guān)系型數(shù)據(jù)庫(kù)的系統(tǒng)中。
【專利說(shuō)明】一種多對(duì)多的數(shù)據(jù)采集系統(tǒng)及其采集方法

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及計(jì)算機(jī)應(yīng)用【技術(shù)領(lǐng)域】，特別涉及一種多對(duì)多的數(shù)據(jù)采集系統(tǒng)及其采集方法。

【背景技術(shù)】
[0002]隨著計(jì)算機(jī)應(yīng)用技術(shù)的發(fā)展，應(yīng)用系統(tǒng)間的數(shù)據(jù)關(guān)聯(lián)越趨緊密，無(wú)時(shí)無(wú)刻都有大量數(shù)據(jù)信息進(jìn)行交互。同時(shí)，伴隨著發(fā)展的多樣性，各系統(tǒng)數(shù)據(jù)交互方式不一，當(dāng)交互方式增加時(shí)，數(shù)據(jù)提供方與接收方均需要額外添加渠道，或者各自建立自己的一套方案來(lái)解決這一兼容性問(wèn)題。當(dāng)原有交互方式改變時(shí)，往往伴隨著大量變更工作。


【發(fā)明內(nèi)容】

[0003]本發(fā)明解決的技術(shù)問(wèn)題之一在于針對(duì)交互方式多樣，各系統(tǒng)增加渠道開(kāi)銷大的問(wèn)題，提供了一種多對(duì)多的數(shù)據(jù)采集系統(tǒng)。實(shí)現(xiàn)數(shù)據(jù)提供方與接收方統(tǒng)一管理，大大減少了多個(gè)系統(tǒng)間新增渠道造成的額外開(kāi)銷，保證了采集任務(wù)流程化、節(jié)點(diǎn)間交互多樣性及可擴(kuò)展性。
[0004]本發(fā)明解決的技術(shù)問(wèn)題之二在于針對(duì)交互方式多樣，各系統(tǒng)增加渠道開(kāi)銷大的問(wèn)題，提供了一種多對(duì)多的數(shù)據(jù)采集系統(tǒng)的采集方法。實(shí)現(xiàn)數(shù)據(jù)提供方與接收方統(tǒng)一管理，減少多個(gè)系統(tǒng)間新增渠道造成的額外開(kāi)銷，保證采集任務(wù)流程化、節(jié)點(diǎn)間交互多樣性及可擴(kuò)展性。
[0005]本發(fā)明解決上述技術(shù)問(wèn)題之一的技術(shù)方案是:
[0006]所述的系統(tǒng)由采集管理平臺(tái)、采集引擎和數(shù)據(jù)處理服務(wù)器構(gòu)成，并提供相應(yīng)的開(kāi)發(fā)和集成接口；
[0007]所述的采集管理平臺(tái)，用于管理數(shù)據(jù)提供方節(jié)點(diǎn)、接收方節(jié)點(diǎn)、通信協(xié)議、ETL規(guī)則和采集任務(wù)；每一個(gè)提供方或接收方作為一個(gè)子節(jié)點(diǎn)，描述了與平臺(tái)的交互及狀態(tài)，通過(guò)平臺(tái)統(tǒng)一管理；通信協(xié)議包括了可配置的通信方式及其規(guī)則，是數(shù)據(jù)采集的方式；ETL規(guī)則負(fù)責(zé)對(duì)采集文件進(jìn)行欄位、條件清洗；采集任務(wù)是一條包含了節(jié)點(diǎn)信息、通信協(xié)議、ETL規(guī)則以及其他任務(wù)補(bǔ)充信息的數(shù)據(jù)集合；
[0008]所述的采集引擎，支持多種通信方式，通過(guò)通信協(xié)議與數(shù)據(jù)提供方進(jìn)行握手，識(shí)別提供方的合法性并進(jìn)行數(shù)據(jù)采集，通知數(shù)據(jù)處理服務(wù)器；
[0009]所述的數(shù)據(jù)處理服務(wù)器，包括了數(shù)據(jù)清洗和拔插式的數(shù)據(jù)處理組件；數(shù)據(jù)清洗模塊利用ETL規(guī)則以及任務(wù)指定的數(shù)據(jù)處理組件對(duì)采集數(shù)據(jù)進(jìn)行萃取、轉(zhuǎn)換并加載至目標(biāo)節(jié)點(diǎn)；數(shù)據(jù)處理組件采用系統(tǒng)提供的標(biāo)準(zhǔn)接口，每一個(gè)組件處理一種數(shù)據(jù)文件，可根據(jù)實(shí)際情況進(jìn)行拔插。
[0010]所述的采集管理平臺(tái)提供CRUD訪問(wèn)接口，用于查詢及維護(hù)節(jié)點(diǎn)信息、通信協(xié)議、ETL規(guī)則和采集任務(wù)。
[0011]本發(fā)明解決上述技術(shù)問(wèn)題之二的技術(shù)方案是:
[0012]所述的方法中，建立新任務(wù)的詳細(xì)流程是:
[0013]第一步，分配提供方和接收方節(jié)點(diǎn)編號(hào)，維護(hù)節(jié)點(diǎn)信息；
[0014]第二步，維護(hù)通信協(xié)議，添加通信方式及其規(guī)則；
[0015]第三步，與數(shù)據(jù)提供方和接收方進(jìn)行通信綠燈測(cè)試；
[0016]第四步，維護(hù)ETL規(guī)則；
[0017]第五步，維護(hù)任務(wù)信息，添加任務(wù)使用的節(jié)點(diǎn)信息、通信協(xié)議、ETL規(guī)則及其他任務(wù)補(bǔ)充信息；
[0018]第六步，日志記錄，完成；
[0019]采集引擎的詳細(xì)工作流程是:
[0020]第一步，采集引擎調(diào)度服務(wù)處于監(jiān)聽(tīng)狀態(tài)；
[0021]第二步，根據(jù)任務(wù)循環(huán)周期開(kāi)始執(zhí)行任務(wù)；
[0022]第三步，根據(jù)任務(wù)節(jié)點(diǎn)參數(shù)驗(yàn)證節(jié)點(diǎn)活動(dòng)狀態(tài)；
[0023]第四步，根據(jù)任務(wù)通信協(xié)議與提供方節(jié)點(diǎn)握手，連接成功后檢查文件完整性并進(jìn)行文件采集；
[0024]第五步，添加數(shù)據(jù)清洗任務(wù)至數(shù)據(jù)處理服務(wù)器隊(duì)列；
[0025]第六步，日志記錄，完成；
[0026]數(shù)據(jù)處理服務(wù)器的詳細(xì)工作流程是:
[0027]第一步，數(shù)據(jù)處理服務(wù)器隊(duì)列處于運(yùn)行狀態(tài)；
[0028]第二步，分析任務(wù)，獲取ETL規(guī)則、文件類型、目標(biāo)節(jié)點(diǎn)數(shù)據(jù)庫(kù)類型及存儲(chǔ)位置；
[0029]第三步，根據(jù)文件類型調(diào)用對(duì)應(yīng)的數(shù)據(jù)處理組件；
[0030]第四步，根據(jù)ETL規(guī)則對(duì)數(shù)據(jù)文件進(jìn)行萃取、轉(zhuǎn)換及入庫(kù)；
[0031]第五步，日志記錄，完成。
[0032]本發(fā)明針對(duì)交互方式多樣，各系統(tǒng)增加渠道開(kāi)銷大的問(wèn)題，通過(guò)管理平臺(tái)、引擎和服務(wù)器的三大部件，將多個(gè)系統(tǒng)以節(jié)點(diǎn)的模式通過(guò)采集、清洗、入庫(kù)任務(wù)鏈緊密結(jié)合在一起。管理平臺(tái)統(tǒng)一管理節(jié)點(diǎn)、通信協(xié)議、ETL規(guī)則和任務(wù)，實(shí)現(xiàn)任務(wù)流程化管理；采集引擎支持協(xié)議多樣性，提供標(biāo)準(zhǔn)接口，保證了協(xié)議可擴(kuò)展；數(shù)據(jù)處理服務(wù)器支持可拔插的數(shù)據(jù)處理模塊，同時(shí)將任務(wù)以隊(duì)列的方式進(jìn)行自動(dòng)化處理。

【專利附圖】

【附圖說(shuō)明】
[0033]下面結(jié)合附圖對(duì)本發(fā)明進(jìn)一步說(shuō)明:
[0034]圖1是本發(fā)明的總體結(jié)構(gòu)圖；
[0035]圖2是本發(fā)明的總體流程框圖；
[0036]圖3是本發(fā)明任務(wù)流程的序列圖；
[0037]圖4是本發(fā)明數(shù)據(jù)處理服務(wù)器的處理活動(dòng)圖。

【具體實(shí)施方式】
[0038]本發(fā)明針對(duì)交互方式多樣，各系統(tǒng)增加渠道開(kāi)銷大的問(wèn)題，提供了一種多對(duì)多的數(shù)據(jù)采集系統(tǒng)及其方法。實(shí)現(xiàn)了數(shù)據(jù)提供方與接收方統(tǒng)一管理，大大減少了多個(gè)系統(tǒng)間新增渠道造成的額外開(kāi)銷，保證了采集任務(wù)流程化、節(jié)點(diǎn)間交互多樣性及可擴(kuò)展性。
[0039]見(jiàn)圖1、2所示，本發(fā)明由采集管理平臺(tái)、采集引擎和數(shù)據(jù)處理服務(wù)器構(gòu)成；
[0040]采集管理平臺(tái):用于管理數(shù)據(jù)提供方和接收方節(jié)點(diǎn)、通信協(xié)議、ETL規(guī)則以及采集任務(wù)；
[0041]節(jié)點(diǎn):每一個(gè)提供方或接收方作為一個(gè)子節(jié)點(diǎn)，描述了與平臺(tái)的交互及狀態(tài)，通過(guò)平臺(tái)統(tǒng)一管理；
[0042]通信協(xié)議:包括了可配置的通信方式及其規(guī)則，是數(shù)據(jù)采集的方式；
[0043]ETL規(guī)則:負(fù)責(zé)對(duì)采集文件進(jìn)行欄位、條件清洗；
[0044]采集任務(wù):指一條包含了節(jié)點(diǎn)信息、通信協(xié)議、ETL規(guī)則以及其他任務(wù)補(bǔ)充信息的數(shù)據(jù)集合。
[0045]圖2表示了任務(wù)的序列流程，任務(wù)執(zhí)行的詳細(xì)流程是:
[0046]第一步，采集引擎調(diào)度服務(wù)拆分任務(wù)信息；
[0047]第二步，根據(jù)任務(wù)節(jié)點(diǎn)參數(shù)驗(yàn)證提供方節(jié)點(diǎn)活動(dòng)狀態(tài)；
[0048]第三步，接收狀態(tài)反饋；
[0049]第四步，根據(jù)任務(wù)通信協(xié)議與提供方節(jié)點(diǎn)握手；
[0050]第五步，接收狀態(tài)反饋；
[0051]第六步，連接成功后檢查文件完整性并進(jìn)行文件采集；
[0052]第七步，添加數(shù)據(jù)清洗任務(wù)至數(shù)據(jù)處理服務(wù)器隊(duì)列；
[0053]第八步，隊(duì)列處理清洗任務(wù)；
[0054]第九步，加載清洗后數(shù)據(jù)至接收方節(jié)點(diǎn)；
[0055]第十步，接收狀態(tài)反饋；
[0056]第十一步，任務(wù)狀態(tài)更新；
[0057]第十二步，日志記錄，完成。
[0058]圖3表示了數(shù)據(jù)處理服務(wù)器的處理活動(dòng)狀態(tài)，數(shù)據(jù)處理服務(wù)器詳細(xì)的業(yè)務(wù)流程為:
[0059]第一步，數(shù)據(jù)處理服務(wù)器解析清洗任務(wù)，獲取ETL規(guī)則、文件類型、目標(biāo)節(jié)點(diǎn)數(shù)據(jù)庫(kù)類型及存儲(chǔ)位置；
[0060]第二步，根據(jù)文件類型調(diào)用對(duì)應(yīng)的數(shù)據(jù)處理組件；
[0061]第三步，加載文件入緩存庫(kù)；
[0062]第四步，根據(jù)ETL規(guī)則對(duì)緩存數(shù)據(jù)進(jìn)行萃取、轉(zhuǎn)換；
[0063]第五步，根據(jù)目標(biāo)節(jié)點(diǎn)數(shù)據(jù)庫(kù)類型及存儲(chǔ)位置進(jìn)行載入；
[0064]第六步，任務(wù)狀態(tài)更新；
[0065]第七步，日志記錄，完成。
【權(quán)利要求】
1.一種多對(duì)多的數(shù)據(jù)采集系統(tǒng)，其特征在于:所述的系統(tǒng)由采集管理平臺(tái)、采集引擎和數(shù)據(jù)處理服務(wù)器構(gòu)成，并提供相應(yīng)的開(kāi)發(fā)和集成接口 ； 所述的采集管理平臺(tái)，用于管理數(shù)據(jù)提供方節(jié)點(diǎn)、接收方節(jié)點(diǎn)、通信協(xié)議、￡11規(guī)則和采集任務(wù)；每一個(gè)提供方或接收方作為一個(gè)子節(jié)點(diǎn)，描述了與平臺(tái)的交互及狀態(tài)，通過(guò)平臺(tái)統(tǒng)一管理；通信協(xié)議包括了可配置的通信方式及其規(guī)則，是數(shù)據(jù)采集的方式；2扎規(guī)則負(fù)責(zé)對(duì)采集文件進(jìn)行欄位、條件清洗；采集任務(wù)是一條包含了節(jié)點(diǎn)信息、通信協(xié)議、2孔規(guī)則以及其他任務(wù)補(bǔ)充信息的數(shù)據(jù)集合； 所述的采集引擎，支持多種通信方式，通過(guò)通信協(xié)議與數(shù)據(jù)提供方進(jìn)行握手，識(shí)別提供方的合法性并進(jìn)行數(shù)據(jù)采集，通知數(shù)據(jù)處理服務(wù)器； 所述的數(shù)據(jù)處理服務(wù)器，包括了數(shù)據(jù)清洗和拔插式的數(shù)據(jù)處理組件；數(shù)據(jù)清洗模塊利用￡11規(guī)則以及任務(wù)指定的數(shù)據(jù)處理組件對(duì)采集數(shù)據(jù)進(jìn)行萃取、轉(zhuǎn)換并加載至目標(biāo)節(jié)點(diǎn)；數(shù)據(jù)處理組件采用系統(tǒng)提供的標(biāo)準(zhǔn)接口，每一個(gè)組件處理一種數(shù)據(jù)文件，可根據(jù)實(shí)際情況進(jìn)行拔插。
2.根據(jù)權(quán)利要求1所述的一種多對(duì)多的數(shù)據(jù)采集系統(tǒng)，其特征在于:所述的采集管理平臺(tái)提供0^0訪問(wèn)接口，用于查詢及維護(hù)節(jié)點(diǎn)信息、通信協(xié)議、2X1規(guī)則和采集任務(wù)。
3.權(quán)利要求1或2任一項(xiàng)所述的多對(duì)多的數(shù)據(jù)采集系統(tǒng)的采集方法，其特征在于:所述的方法中，建立新任務(wù)的詳細(xì)流程是: 第一步，分配提供方和接收方節(jié)點(diǎn)編號(hào)，維護(hù)節(jié)點(diǎn)信息； 第二步，維護(hù)通信協(xié)議，添加通信方式及其規(guī)則； 第三步，與數(shù)據(jù)提供方和接收方進(jìn)行通信綠燈測(cè)試； 第四步，維護(hù)￡1規(guī)則； 第五步，維護(hù)任務(wù)信息，添加任務(wù)使用的節(jié)點(diǎn)信息、通信協(xié)議、￡11規(guī)則及其他任務(wù)補(bǔ)充信息； 第六步，日志記錄，完成； 采集引擎的詳細(xì)工作流程是: 第一步，采集引擎調(diào)度服務(wù)處于監(jiān)聽(tīng)狀態(tài)； 第二步，根據(jù)任務(wù)循環(huán)周期開(kāi)始執(zhí)行任務(wù)； 第三步，根據(jù)任務(wù)節(jié)點(diǎn)參數(shù)驗(yàn)證節(jié)點(diǎn)活動(dòng)狀態(tài)； 第四步，根據(jù)任務(wù)通信協(xié)議與提供方節(jié)點(diǎn)握手，連接成功后檢查文件完整性并進(jìn)行文件米集； 第五步，添加數(shù)據(jù)清洗任務(wù)至數(shù)據(jù)處理服務(wù)器隊(duì)列； 第六步，日志記錄，完成； 數(shù)據(jù)處理服務(wù)器的詳細(xì)工作流程是: 第一步，數(shù)據(jù)處理服務(wù)器隊(duì)列處于運(yùn)行狀態(tài)； 第二步，分析任務(wù)，獲取￡11規(guī)則、文件類型、目標(biāo)節(jié)點(diǎn)數(shù)據(jù)庫(kù)類型及存儲(chǔ)位置； 第三步，根據(jù)文件類型調(diào)用對(duì)應(yīng)的數(shù)據(jù)處理組件； 第四步，根據(jù)￡11規(guī)則對(duì)數(shù)據(jù)文件進(jìn)行萃取、轉(zhuǎn)換及入庫(kù)； 第五步，日志記錄，完成。
【文檔編號(hào)】G06F17/30GK104504010SQ201410758012
【公開(kāi)日】2015年4月8日 申請(qǐng)日期:2014年12月11日 優(yōu)先權(quán)日:2014年12月11日
【發(fā)明者】鄭葵榮, 艾建文, 安宏偉, 季統(tǒng)凱 申請(qǐng)人:國(guó)云科技股份有限公司