數(shù)據(jù)匯總系統(tǒng)及方法
【技術(shù)領(lǐng)域】
[0001 ]本發(fā)明涉及數(shù)據(jù)匯總系統(tǒng)及方法。
【背景技術(shù)】
[0002]目前，在金融機(jī)構(gòu)中，存在著大量對(duì)數(shù)據(jù)進(jìn)行匯總處理的需求。數(shù)據(jù)匯總通常體現(xiàn)為從多個(gè)不同類型的源數(shù)據(jù)表中提取感興趣數(shù)據(jù)，根據(jù)用戶需要來組成一種或多種類型的目標(biāo)數(shù)據(jù)表。
[0003]現(xiàn)有技術(shù)中，數(shù)據(jù)匯總一般以下面兩種方式實(shí)現(xiàn)。一、采用在原系統(tǒng)中新增匯總模塊、匯總目標(biāo)表格的方式。但這種方式有以下缺點(diǎn):每次想要生成新類型的目標(biāo)數(shù)據(jù)表或加入新類型的源數(shù)據(jù)表，都需要重新開發(fā)匯總模塊，開發(fā)效率低，無法做到對(duì)需求的快速響應(yīng)，且已有模塊不能重復(fù)利用是一種資源浪費(fèi)。二、使用已有的目標(biāo)表，修改已有的匯總模塊，增加數(shù)據(jù)匯總口徑或重新設(shè)置數(shù)據(jù)匯總規(guī)則。這種方式存在以下缺點(diǎn):匯總口徑越多，匯總目標(biāo)表數(shù)據(jù)量越大，從而影響處理速度方面的性能。此外，因?yàn)閰R總口徑太多，甚至需要進(jìn)行二次數(shù)據(jù)匯總的方式才能獲得目標(biāo)數(shù)據(jù)表，這無疑又必須對(duì)匯總模塊進(jìn)行大幅度修改或重新開發(fā)。無論上述哪種方式，為不同的匯總需求而頻繁地修改系統(tǒng)，都不利于系統(tǒng)的穩(wěn)定和維護(hù)。
[0004]因此，本領(lǐng)域技術(shù)人員期望獲得一種能夠自適應(yīng)地匹配數(shù)據(jù)匯總規(guī)則而無需重復(fù)開發(fā)的數(shù)據(jù)匯總系統(tǒng)。

【發(fā)明內(nèi)容】

[0005]本發(fā)明的一個(gè)目的在于提供一種能夠自適應(yīng)地匹配數(shù)據(jù)匯總規(guī)則的數(shù)據(jù)匯總系統(tǒng)。
[0006]為實(shí)現(xiàn)上述目的，本發(fā)明提供一種技術(shù)方案如下:
一種數(shù)據(jù)匯總系統(tǒng)，用于將至少一種類型的源表中的數(shù)據(jù)經(jīng)由至少一種類型的中間表匯總到至少一種類型的目標(biāo)表中，進(jìn)行匯總的規(guī)則可編輯地記錄于一配置模板中，該系統(tǒng)包括如下單元:配置模板解析單元，用于從配置模板中解析各源表的相應(yīng)字段與各中間表的相應(yīng)字段之間的對(duì)應(yīng)關(guān)系、以及各中間表的相應(yīng)字段與各目標(biāo)表的相應(yīng)字段之間的對(duì)應(yīng)關(guān)系;數(shù)據(jù)抽取單元，從各源表中分別抽取相應(yīng)字段對(duì)應(yīng)的第一數(shù)據(jù);數(shù)據(jù)形變匯總單元，分別與數(shù)據(jù)抽取單元、配置模板解析單元耦合，用于對(duì)第一數(shù)據(jù)進(jìn)行形變以形成適應(yīng)各中間表的相應(yīng)字段的第二數(shù)據(jù)，其中，形變依照各源表的相應(yīng)字段與各中間表的相應(yīng)字段之間的對(duì)應(yīng)關(guān)系來進(jìn)行；以及數(shù)據(jù)裝載單元，與配置模板解析單元耦合，用于將各中間表的相應(yīng)字段對(duì)應(yīng)的數(shù)據(jù)分別存入各目標(biāo)表中，其中，存入依照各中間表的相應(yīng)字段與各目標(biāo)表的相應(yīng)字段之間的對(duì)應(yīng)關(guān)系來進(jìn)行。
[0007]優(yōu)選地，中間表存儲(chǔ)在系統(tǒng)的專用內(nèi)存中。
[0008]優(yōu)選地，該系統(tǒng)還包括內(nèi)存初始化單元，其與配置模板解析單元耦合，用于根據(jù)從配置模板解析單元所獲取的中間表的數(shù)量，對(duì)各中間表進(jìn)行初始化。
[0009]優(yōu)選地，該系統(tǒng)還包括一用戶編輯單元，供用戶對(duì)配置模板進(jìn)行編輯和/或定制。
[0010]本發(fā)明還公開一種數(shù)據(jù)匯總方法，其用于將至少一種類型的源表中的數(shù)據(jù)經(jīng)由至少一種類型的中間表匯總到至少一種類型的目標(biāo)表中，進(jìn)行匯總的規(guī)則可編輯地記錄于一配置模板中，該方法包括如下步驟:a)、從配置模板中解析各源表的相應(yīng)字段與各中間表的相應(yīng)字段之間的對(duì)應(yīng)關(guān)系、以及各中間表的相應(yīng)字段與各目標(biāo)表的相應(yīng)字段之間的對(duì)應(yīng)關(guān)系;b)、從各源表中分別抽取相應(yīng)字段對(duì)應(yīng)的第一數(shù)據(jù);C)、對(duì)第一數(shù)據(jù)進(jìn)行形變以形成適應(yīng)各中間表的相應(yīng)字段的第二數(shù)據(jù)，并存入各中間表中，其中，形變依照各源表的相應(yīng)字段與各中間表的相應(yīng)字段之間的對(duì)應(yīng)關(guān)系來進(jìn)行;d)、將各中間表的相應(yīng)字段對(duì)應(yīng)的數(shù)據(jù)分別存入各目標(biāo)表中，其中，存入依照各中間表的相應(yīng)字段與各目標(biāo)表的相應(yīng)字段之間的對(duì)應(yīng)關(guān)系來進(jìn)行。
[0011 ]本發(fā)明所提供的數(shù)據(jù)匯總系統(tǒng)及方法，能夠自適應(yīng)地匹配各種數(shù)據(jù)匯總規(guī)則而無需重復(fù)開發(fā);通過先后進(jìn)行的兩次數(shù)據(jù)匯總過程能夠?yàn)榭赡艽嬖诘?、種類繁多的匯總口徑提供支持。
[0012]數(shù)據(jù)匯總系統(tǒng)將各中間表記錄在系統(tǒng)專用內(nèi)存中，顯著提升了系統(tǒng)的數(shù)據(jù)匯總性會(huì)K。
[0013]數(shù)據(jù)匯總方法還能夠以流水線方式作業(yè)，進(jìn)一步優(yōu)化了數(shù)據(jù)處理速度。
[0014]此外，上述系統(tǒng)及方法實(shí)施簡單、實(shí)現(xiàn)成本低，利于在行業(yè)內(nèi)推廣應(yīng)用。
【附圖說明】
[0015]圖1示出本發(fā)明第一實(shí)施例提供的數(shù)據(jù)匯總系統(tǒng)的結(jié)構(gòu)框圖。
[0016]圖2示出本發(fā)明第一實(shí)施例中數(shù)據(jù)流向示意圖。
[0017]圖3示出本發(fā)明第二實(shí)施例提供的數(shù)據(jù)匯總方法的流程示意圖。
【具體實(shí)施方式】
[0018]需要說明的是，本發(fā)明各實(shí)施例針對(duì)從不同類型的多個(gè)源表中分別提取數(shù)據(jù)，經(jīng)由多種不同的數(shù)據(jù)匯總口徑，最終匯總形成多個(gè)不同類型的目標(biāo)表。
[0019]其中，數(shù)據(jù)匯總口徑至少表明目標(biāo)表期望從源表中獲得哪些字段的數(shù)據(jù)。以金融機(jī)構(gòu)的數(shù)據(jù)匯總為例，在一種可能情形中，匯總口徑A要求按照交易類型來匯總本金、手續(xù)費(fèi);匯總口徑B要求按照商戶來匯總本金、手續(xù)費(fèi);匯總口徑C要求按照機(jī)構(gòu)、交易渠道、卡介質(zhì)來匯總本金、手續(xù)費(fèi)、交易筆數(shù)。
[0020]數(shù)據(jù)匯總規(guī)則至少表明在對(duì)不同類型的多個(gè)源表、按多種不同的數(shù)據(jù)匯總口徑、進(jìn)行各種匯總過程中所采用的規(guī)則，數(shù)據(jù)匯總規(guī)則包括但不限于:源表的數(shù)量、各源表的相應(yīng)字段信息；中間表的數(shù)量、各中間表的相應(yīng)字段信息；目標(biāo)表的數(shù)量、各目標(biāo)表的相應(yīng)字段信息;各源表的相應(yīng)字段與各中間表的相應(yīng)字段之間的對(duì)應(yīng)關(guān)系；以及，各中間表的相應(yīng)字段與各目標(biāo)表的相應(yīng)字段之間的對(duì)應(yīng)關(guān)系。
[°021 ]本文所稱的“第一數(shù)據(jù)”表不從各源表200中抽取的、各源表200的相應(yīng)字段所對(duì)應(yīng)的各類數(shù)據(jù)?！暗诙?shù)據(jù)”表示適應(yīng)各中間表201的相應(yīng)字段的各類數(shù)據(jù)，在其形成后將相應(yīng)地存入各中間表201中。
[0022]如圖1所示，本發(fā)明第一實(shí)施例提供一種數(shù)據(jù)匯總系統(tǒng)30，其用于將至少一種類型的源表200中的數(shù)據(jù)經(jīng)由至少一種類型的中間表201匯總到至少一種類型的目標(biāo)表202中，進(jìn)行匯總的規(guī)則可編輯地記錄于配置模板10中，該系統(tǒng)30包括配置模板解析單元301、數(shù)據(jù)抽取單元302、數(shù)據(jù)形變匯總單元303以及數(shù)據(jù)裝載單元304。
[0023]具體地，系統(tǒng)管理員事先將匯總規(guī)則錄入配置模板10中。配置模板解析單元301從配置模板10中解析各源表的相應(yīng)字段與各中間表的相應(yīng)字段之間的對(duì)應(yīng)關(guān)系、以及各中間表的相應(yīng)字段與各目標(biāo)表的相應(yīng)字段之間的對(duì)應(yīng)關(guān)系。
[0024]數(shù)據(jù)抽取單元302從各源表200中分別抽取相應(yīng)字段對(duì)應(yīng)的第一數(shù)據(jù)。
[0025]從各源表200抽取第一數(shù)據(jù)的過程可分批進(jìn)行，例如，按數(shù)據(jù)行來逐行進(jìn)行，也可以每次抽取多個(gè)數(shù)據(jù)行，用戶定義的其他分批方式也能夠使用。進(jìn)行一次數(shù)據(jù)抽取所得到的一批第一數(shù)據(jù)可交由數(shù)據(jù)形變匯總單元303進(jìn)行處理，待數(shù)據(jù)形變匯總單元303處理(下面具體論述)完成后，再進(jìn)行下一次的數(shù)據(jù)抽取過程，得到下一批第一數(shù)據(jù)，依此類推，直至第一數(shù)據(jù)被分批抽取完成。換言之，每次數(shù)據(jù)抽取均對(duì)應(yīng)地觸發(fā)一次數(shù)據(jù)形變。
[0026]根據(jù)一種改進(jìn)實(shí)施方式，提升系統(tǒng)性能、加速數(shù)據(jù)匯總，可采用流水線作業(yè)方式。例如，在第一工作周期，數(shù)據(jù)抽取單元302進(jìn)行第一次數(shù)據(jù)抽取，并將所得到的第一批第一數(shù)據(jù)交給形變匯總單元303;在第二工作周期，數(shù)據(jù)形變匯總單元303對(duì)第一批第一數(shù)據(jù)進(jìn)行處理，與此同時(shí)，數(shù)據(jù)抽取單元302進(jìn)行第二次數(shù)據(jù)抽取，以獲得第二批第一數(shù)據(jù);依次類推。
[0027]根據(jù)另一改進(jìn)實(shí)施方式，可將各源表200的數(shù)據(jù)分塊，多進(jìn)程并發(fā)進(jìn)行數(shù)據(jù)匯總，每個(gè)進(jìn)程執(zhí)行獨(dú)立的匯總，每個(gè)進(jìn)程均形成獨(dú)立的中間表201，但最后數(shù)據(jù)經(jīng)第二次數(shù)據(jù)匯總進(jìn)入相同的目標(biāo)表202。這種操作方式可以明顯提升數(shù)據(jù)處理速度，使得系統(tǒng)能夠快速完成數(shù)據(jù)匯總工作。
[0028]數(shù)據(jù)形變匯總單元303分別與數(shù)據(jù)抽取單元302、配置模板解析單元301耦合，其對(duì)第一數(shù)據(jù)進(jìn)行形變以形成適應(yīng)各中間表302的相應(yīng)字段的第二數(shù)據(jù)。
[0029]作為數(shù)據(jù)匯總系統(tǒng)30的核心處理單元，數(shù)據(jù)形變匯總單元303可以經(jīng)由與配置模板解析單元301之間的耦合，來獲知各源表200的相應(yīng)字段與各中間表201的相應(yīng)字段之間的對(duì)應(yīng)關(guān)系，并依照該對(duì)應(yīng)關(guān)系來執(zhí)行具體的數(shù)據(jù)形變，將第一數(shù)據(jù)形變?yōu)閷?duì)應(yīng)的第二數(shù)據(jù)。
[0030]具體地，根據(jù)配置模板10，數(shù)據(jù)形變匯總單元303可以判斷任一批第一數(shù)據(jù)是否需要進(jìn)行匯總，如果不需要匯總，則直接過濾掉。根據(jù)配置模板10，數(shù)據(jù)形變匯總單元303可以對(duì)任一批第一數(shù)據(jù)進(jìn)行形變(因?yàn)樵撆谝粩?shù)據(jù)不一定是最終要展現(xiàn)的數(shù)據(jù))，使得形變后的數(shù)據(jù)能夠適應(yīng)各中間表201的相應(yīng)字段，進(jìn)而便于最終展現(xiàn)在各目標(biāo)表202中。例如，根據(jù)客戶需求，數(shù)據(jù)形變匯總單元303可以將不同的交易類型數(shù)據(jù)形變?yōu)楦敿?xì)的漢語描述，數(shù)據(jù)形變匯總單元303還可以將交易時(shí)間數(shù)據(jù)形變?yōu)榻灰兹諗?shù)據(jù)，等等。
[0031]此外，因?yàn)橹虚g表201的每個(gè)數(shù)據(jù)行按照主鍵有序排列，根據(jù)配置模板10定義的中間表主鍵，數(shù)據(jù)形變匯總單元303還可以在對(duì)某一批第一數(shù)據(jù)執(zhí)行形變以獲得對(duì)應(yīng)的一批第二數(shù)據(jù)后，通過二分法查找該批第二數(shù)據(jù)是否已存在于各中間表201中，如果存在，則由數(shù)據(jù)形變匯總單元303直接在各中間表201中繼續(xù)匯總，如果不存在，則將該批第二數(shù)據(jù)按