一種異構數據環(huán)境下的數據交換與集成方法
【技術領域】
[0001]本發(fā)明涉及異構數據處理技術領域，尤其涉及一種異構數據環(huán)境下的數據交換與集成方法。
【背景技術】
[0002]隨著信息技術快速發(fā)展，特別是互聯網和移動互聯網的迅猛發(fā)展，在許多企業(yè)、單位或機構、部門內部都各自建設了信息化系統(tǒng)。但是，各個企業(yè)、部門或機構由于業(yè)務和各自狀況不同，所以這些應用系統(tǒng)擁有各自的數據存儲和訪問方式，彼此之間相對獨立，進而形成一個個“信息孤島”。隨著信息化管理水平的提高，社會對信息共享、信息維護方面的需求越來越迫切。數據共享，可以使更多的人更充分地使用已有的數據資源，減少資料收集、數據采集等重復勞動和相應費用。但是，在實施數據共享的過程中，由于不同系統(tǒng)提供的數據可能來自不同的途徑，其數據內容、數據格式和數據質量千差萬別，有時甚至會遇到數據格式不能轉換或數據轉換格式后丟失信息等棘手問題，嚴重阻礙數據在各部門和軟件系統(tǒng)中的流動和共享。此外，由于現代化進程的飛速發(fā)展和部門間逐漸從一個獨立節(jié)點發(fā)展成為不斷與網絡交換信息和進行事務的實體。因此，如何把各種有效的使數據在異構環(huán)境中有機的集成在一個平臺中并實現數據交換，使得用戶能夠高效、簡明的操作各類信息，已經成為一個重要的問題。
[0003]目前，數據交換與集成大都采用中間件模式，通過在中間層提供一個統(tǒng)一的數據邏輯視圖來隱藏底層的數據細節(jié)，使得用戶可以把集成數據源看為一個統(tǒng)一的整體。這種模型下的關鍵問題是如何構造這個邏輯視圖并使得不同數據源之間能映射到這個中間層。
[0004]中間件模式數據交換與集成通過統(tǒng)一的全局數據模型來訪問異構的數據庫、遺留系統(tǒng)、Web資源等。中間件位于異構數據源系統(tǒng)(數據層)和應用程序(應用層)之間，向下協(xié)調各數據源系統(tǒng)，向上為訪問集成數據的應用提供統(tǒng)一數據模式和數據訪問的通用接口。各數據源的應用仍然完成它們的任務，中間件系統(tǒng)則主要集中為異構數據源提供一個高層次檢索服務。中間件模式在中間層上存在一個虛擬的數據服務層，該層通過JDBC，FILE適配器、應用適配器等與數據層的各種數據源實現連接，將數據源中的各種數據實體映射成中間件的虛擬數據層的表，虛擬數據層中的表都只有元數據，而不存儲實際的生產數據。用戶可以在虛擬數據層上采用可視化圖形界面定義數據映射關系，進行數據加工整合，這些數據加工邏輯一般會以文件或者數據庫方式存儲。
[0005]但是，中間件模式數據交換與集成方法具有如下缺點:
[0006]異構數據源兼容性弱:當前數據源種類繁多，中間件集成方法對HBaSe、m0ng0db等大數據數據源的交換與集成兼容性較弱；
[0007]可重用性差:將數據整合模式應用到特定集成場景后，能夠將該整合過程作為服務提供給多個服務者使用的變化能力差。

【發(fā)明內容】

[0008]本發(fā)明的目的在于提供一種異構數據環(huán)境下的數據交換與集成方法，從而解決現有技術中存在的前述問題。
[0009]為了實現上述目的，本發(fā)明采用的技術方案如下:
[0010]一種異構數據環(huán)境下的數據交換與集成方法，包括如下步驟:
[0011]S1，集成引擎模塊采集獲取存在于不同異構信息化系統(tǒng)中的數據源中的數據，根據數據交換與集成需求配置數據處理和轉換步驟，并將所述數據處理和轉換步驟封裝成作業(yè)文件；
[0012]S2，調度與監(jiān)控模塊對所述作業(yè)文件進行解析、執(zhí)行，并對所述解析、執(zhí)行的過程進行監(jiān)控和異常通知，并進行問題報告的記錄。
[0013]優(yōu)選地，S1中，所述集成引擎模塊包括:源數據管理引擎、工作引擎、步驟引擎和/或數據庫訪問引擎。
[0014]優(yōu)選地，S1中，所述數據源包括:數據庫、XML數據和/或文件。
[0015]優(yōu)選地，S1中，所述數據處理和轉換步驟，包括:
[0016]S101，獲取需要進行數據處理和轉換的第一數據源和第二數據源；
[0017]S102，將所述第一數據源和所述第二數據源進行比對，得到比對結果；
[0018]S103，根據所述比對結果，確定數據處理和轉換的目標和任務；
[0019]S104，根據所述數據處理和轉換的目標和任務，進行數據處理和轉換的操作。
[0020]優(yōu)選地，所述數據處理和轉換的操作，包括:插入、刪除、更新和/或修改數據。
[0021 ]優(yōu)選地，S2中，所述調度與監(jiān)控模塊對所述作業(yè)文件進行執(zhí)行，具體為，所述調度與監(jiān)控模塊根據用戶配置的時間策略自動執(zhí)行所述作業(yè)文件。
[0022]優(yōu)選地，所述時間策略包括:執(zhí)行啟動時間、執(zhí)行截止時間、執(zhí)行頻度和/或執(zhí)行引擎。
[0023]優(yōu)選地，S2中，還包括步驟:在web端對所述監(jiān)控進行統(tǒng)一的數據可視化視圖展示。
[0024]優(yōu)選地，所述在web端對所述監(jiān)控進行統(tǒng)一的數據可視化視圖展示，在web作業(yè)管理與監(jiān)控模塊中實現，且所述web作業(yè)管理與監(jiān)控模塊基于REST接口形式對外提供服務。
[0025]優(yōu)選地，所述作業(yè)文件被封裝成XML格式的作業(yè)文件。
[0026]本發(fā)明的有益效果是:本發(fā)明實施例提供的異構數據環(huán)境下的數據交換與集成方法，提供了面向各種數據源和處理過程的可復用的數據處理組件，而且數據處理組件的可復用性強，提高了對多種數據源的兼容性和可重用性。
【附圖說明】
[0027]圖1是本發(fā)明實施例提供的數據交換與集成方法示意圖；
[0028]圖2是數據處理與轉換步驟流程示意圖；
[0029]圖3是作業(yè)文件部分內容示意圖；
[0030]圖4是用戶配置作業(yè)文件信息的界面示意圖；
[0031]圖5是用戶設置執(zhí)行策略的界面示意圖；
[0032]圖6是監(jiān)控記錄的顯示界面示意圖。
【具體實施方式】
[0033]為了使本發(fā)明的目的、技術方案及優(yōu)點更加清楚明白，以下結合附圖，對本發(fā)明進行進一步詳細說明。應當理解，此處所描述的【具體實施方式】僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。
[0034]隨著信息化技術發(fā)展，當前大數據技術已經得到了快速的發(fā)展，并出現了很多非結構化數據源，針對異構的數據源，本發(fā)明采用可插拔組件方式，實現多數據源集成、數據訪問的透明性以及實現數據源的即插即用。所以本發(fā)明的首要任務就是根據數據源類型設計數據模型，以對來自不同數據源的各種數據進行表示，從而便于進行統(tǒng)一處理;其次考慮到數據的轉換問題，將來自不同數據源的各種數據轉換成統(tǒng)一的數據格式以便進行統(tǒng)一的處理，最后對集成目標數據源進行統(tǒng)一的數據加載。
[0035]在此方法中，用戶對信息的訪問、操作并不是直接作用于數據源，而是通過訪問虛擬數據庫接口實現的。該方法采用C/S和B/S架構相結合方式，其中集成引擎的工作區(qū)采用C/S實現，基于配置可視化形式，用戶對于數據交換與集成采用組件選擇和動態(tài)配置方式，其中組件設計為可插拔形式，且針對不同異構數據源可快速進行開發(fā)新的組件，組件之間通信采用統(tǒng)一接口，實現組件之間的快速對接。
[0036]如圖1所示，本發(fā)明實施例提供了一種異構數據環(huán)境下的數據交換與集成方法，包括如下步驟:
[0037]S1，集成引擎模塊采集獲取存在于不同異構信息化系統(tǒng)中的數據源中的數據，根據數據交換與集成需求配置數據處理和轉換步驟，并將所述數據處理和轉換步驟封裝成作業(yè)文件；
[0038]S2，調度與監(jiān)控模塊對所述作業(yè)文件進行解析、執(zhí)行，并對所述解析、執(zhí)行的過程進行監(jiān)控和異常通知，并進行問題報告的記錄。
[0039]其中，S1中，所述集成引擎模塊包括:源數據管理引擎、工作引擎、步驟引擎和/或數據庫訪問引擎。
[0040]S1中，所述數據源包括:數據庫、XML數據和/或文件。
[0041 ] S1中，所述數據處理和轉換步驟，包括:
[0042]S101，獲取需要進行數據處理