一種完成異構數(shù)據(jù)庫歸集的方法
【專利摘要】本發(fā)明公開了一種完成異構數(shù)據(jù)庫歸集的方法，所述方法包括：步驟1，啟動JAVA中間件程序，使用JAVA中間件程序根據(jù)配置文件初始化數(shù)據(jù)庫連接池；步驟2，調用JDBC接口通過所述數(shù)據(jù)庫連接池連接多個源數(shù)據(jù)庫；步驟3，判斷是否已通過JAVA多線程連接目標數(shù)據(jù)庫，如果是，執(zhí)行下一步，否則啟動JAVA多線程；步驟4，判斷所述源數(shù)據(jù)庫的日志文件中數(shù)據(jù)表和/或字段的內容是否有更新，如果有，以JAVA多線程的方式將所述數(shù)據(jù)表和/或所述字段的內容寫入至所述目標數(shù)據(jù)庫。本發(fā)明提高了貿易企業(yè)運營中不同部門的大量數(shù)據(jù)的有效管理，同時有效提高數(shù)據(jù)庫的連接效率，為數(shù)據(jù)挖掘提供良好易用的數(shù)據(jù)基礎。
【專利說明】一種完成異構數(shù)據(jù)庫歸集的方法

【技術領域】
[0001]本發(fā)明涉及數(shù)據(jù)庫信息處理技術，尤其涉及一種完成異構數(shù)據(jù)庫歸集的方法。

【背景技術】
[0002]針對貿易企業(yè)生產要求的復雜性和特殊性，需使用到供應鏈管理(311卯17 0118111?。?！冊#61116社，簡稱300、財務、預算、電子人力資源等多套信息信息系統(tǒng)以及信息數(shù)據(jù)庫。目前上述各系統(tǒng)的數(shù)據(jù)庫的版本和類型均不一致，數(shù)據(jù)庫類型包括133亂、鮮3亂、0狀0^2等類型。各數(shù)據(jù)庫產生的日志都需要被記錄，隨著時間的推移，數(shù)量越來越大，大量不同類型的日志文件需要進行處理，從而產生很多讀寫操作，對系統(tǒng)整體性能造成影響。


【發(fā)明內容】

[0003]本發(fā)明旨在解決上面描述的問題，本發(fā)明提供了一種完成異構數(shù)據(jù)庫歸集的方法，解決貿易企業(yè)中不同類型及不同版本的數(shù)據(jù)庫的日志數(shù)據(jù)難于管理的問題。
[0004]本發(fā)明提供了一種完成異構數(shù)據(jù)庫歸集的方法，所述方法包括:
[0005]步驟1，啟動中間件程序，使用中間件程序根據(jù)配置文件初始化數(shù)據(jù)庫連接池，所述配置文件至少包含以下配置項:源數(shù)據(jù)庫地址、目標數(shù)據(jù)庫地址、數(shù)據(jù)庫實例、帳號、密碼、數(shù)據(jù)表、字段；
[0006]步驟2，調用108(:接口通過所述數(shù)據(jù)庫連接池連接多個源數(shù)據(jù)庫；
[0007]步驟3，判斷是否已通過扉多線程連接目標數(shù)據(jù)庫，如果是，執(zhí)行下一步，否則啟動扉多線程；
[0008]步驟4，判斷所述源數(shù)據(jù)庫的日志文件中數(shù)據(jù)表和/或字段的內容是否有更新，如果有，以扉多線程的方式將所述數(shù)據(jù)表和/或所述字段的內容寫入至所述目標數(shù)據(jù)庫。
[0009]其中，所述步驟1中還包括:確定各個源數(shù)據(jù)庫中需監(jiān)測的數(shù)據(jù)表和/或字段；所述步驟3中以從多線程的方式判斷所述源數(shù)據(jù)庫的日志文件中數(shù)據(jù)表和丨或字段的內容是否有更新具體是指:以扉多線程的方式判斷所述源數(shù)據(jù)庫的日志文件中需監(jiān)測的數(shù)據(jù)表和/或字段的內容是否有更新。
[0010]其中，所述步驟3中還包括根據(jù)所述源數(shù)據(jù)庫的類型和版本以及所述目標數(shù)據(jù)庫的類型和版本生成3嘰語句。
[0011]其中，以先入先出的方式維護所述從乂八多線程的隊列。
[0012]其中，所述步驟3中還包括所述目標數(shù)據(jù)庫將接收到的所述數(shù)據(jù)表和/或所述字段的內容寫入日志文件。
[0013]本發(fā)明通過批量的、異步的方式實現(xiàn)了不同類型及不同版本的數(shù)據(jù)庫的日志數(shù)據(jù)的管理，提高了貿易企業(yè)運營中不同部門的大量數(shù)據(jù)的有效管理，同時有效提高數(shù)據(jù)庫的連接效率，為數(shù)據(jù)挖掘提供良好易用的數(shù)據(jù)基礎。

【專利附圖】

【附圖說明】
[0014]并入到說明書中并且構成說明書的一部分的附圖示出了本發(fā)明的實施例，并且與描述一起用于解釋本發(fā)明的原理。在這些附圖中，類似的附圖標記用于表示類似的要素。下面描述中的附圖是本發(fā)明的一些實施例，而不是全部實施例。對于本領域普通技術人員來講，在不付出創(chuàng)造性勞動的前提下，可以根據(jù)這些附圖獲得其他的附圖。
[0015]圖1是本發(fā)明中完成異構數(shù)據(jù)庫歸集的方法的流程圖。
具體實施例
[0016]為使本發(fā)明實施例的目的、技術方案和優(yōu)點更加清楚，下面將結合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例是本發(fā)明一部分實施例，而不是全部的實施例。基于本發(fā)明中的實施例，本領域普通技術人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明保護的范圍。需要說明的是，在不沖突的情況下，本申請中的實施例及實施例中的特征可以相互任意組合。
[0017]數(shù)據(jù)庫連接是一種關鍵的有限的昂貴的資源，對數(shù)據(jù)庫連接的管理能顯著影響到整個應用程序的伸縮性和健壯性。本發(fā)明中采用了數(shù)據(jù)庫連接池，數(shù)據(jù)庫連接池負責分配、管理和釋放數(shù)據(jù)庫連接，允許應用程序重復使用一個現(xiàn)有的數(shù)據(jù)庫連接，而再不是重新建立一個；釋放空閑時間超過最大空閑時間的數(shù)據(jù)庫連接來避免因為沒有釋放數(shù)據(jù)庫連接而引起的數(shù)據(jù)庫連接遺漏。
[0018]圖1是本發(fā)明中完成異構數(shù)據(jù)庫歸集的方法的流程圖。如圖1所示，完成異構數(shù)據(jù)庫歸集的方法包括:
[0019]步驟1，啟動中間件程序，使用中間件程序根據(jù)配置文件初始化數(shù)據(jù)庫連接池，配置文件至少包含以下配置項:源數(shù)據(jù)庫地址、目標數(shù)據(jù)庫地址、數(shù)據(jù)庫實例、帳號、密碼、數(shù)據(jù)表、字段。
[0020]步驟2，調用了―八數(shù)據(jù)庫連接(]跳0社￡1 0886 00111160^1^1^7, 1080接口通過數(shù)據(jù)庫連接池連接多個源數(shù)據(jù)庫。
[0021]步驟3，判斷是否已通過扉多線程連接目標數(shù)據(jù)庫，如果是，執(zhí)行下一步，否則啟動興多線程。
[0022]步驟4，判斷源數(shù)據(jù)庫的日志文件中數(shù)據(jù)表和/或字段的內容是否有更新，如果有，以扉多線程的方式將上述數(shù)據(jù)表和/或所述字段的內容寫入至目標數(shù)據(jù)庫。
[0023]本方法中采用的了08(:接口是一種用于執(zhí)行3嘰語句的從#八?I，可以為多種關系數(shù)據(jù)庫提供統(tǒng)一訪問，它由一組用扉語言編寫的類和接口組成。
[0024]本方法中，本方法中了^八多線程中的隊列以先入先出的方式進行維護。了^八多線程包括多個扉線程。扉線程指利用扉中與線程相關的八?I啟動的線程，包括對線程的管理，比如阻塞、喚醒、鎖機制等。
[0025]本方法中，不同的源數(shù)據(jù)庫中需監(jiān)測的數(shù)據(jù)表和/或字段均不同。本方法的步驟1中還包括:確定各個源數(shù)據(jù)庫中需監(jiān)測的數(shù)據(jù)表和/或字段。步驟3中以從V八多線程的方式判斷所述源數(shù)據(jù)庫的日志文件中數(shù)據(jù)表和/或字段的內容是否有更新具體是指:以扉多線程的方式判斷源數(shù)據(jù)庫的日志文件中需監(jiān)測的數(shù)據(jù)表和/或字段的內容是否有更新。
[0026]上述步驟3中還包括根據(jù)源數(shù)據(jù)庫的類型和版本以及目標數(shù)據(jù)庫的類型和版本生成3嘰語句，并執(zhí)行此3嘰語句。
[0027]上述步驟3中還包括目標數(shù)據(jù)庫將接收到的數(shù)據(jù)表和丨或所述字段的內容寫入日志文件，從而為數(shù)據(jù)挖掘提供格式一致的良好易用的數(shù)據(jù)基礎。
[0028]本發(fā)明通過批量的、異步的方式實現(xiàn)了不同類型及不同版本的數(shù)據(jù)庫的日志數(shù)據(jù)的管理，提高了貿易企業(yè)運營中不同部門的大量數(shù)據(jù)的有效管理，同時有效提高數(shù)據(jù)庫的連接效率，。
[0029]本扉中間件基于異步方式、批量的進行數(shù)據(jù)比對和存儲。且此扉中間件可以提高開發(fā)效率，參數(shù)可配置化程度高。
[0030]上面描述的內容可以單獨地或者以各種方式組合起來實施，而這些變型方式都在本發(fā)明的保護范圍之內。
[0031]最后應說明的是:以上實施例僅用以說明本發(fā)明的技術方案，而非對其限制。盡管參照前述實施例對本發(fā)明進行了詳細的說明，本領域的普通技術人員應當理解:其依然可以對前述各實施例所記載的技術方案進行修改，或者對其中部分技術特征進行等同替換；而這些修改或者替換，并不使相應技術方案的本質脫離本發(fā)明各實施例技術方案的精神和范圍。
【權利要求】
1.一種完成異構數(shù)據(jù)庫歸集的方法，其特征在于，所述方法包括: 步驟1，啟動JAVA中間件程序，使用JAVA中間件程序根據(jù)配置文件初始化數(shù)據(jù)庫連接池，所述配置文件至少包含以下配置項:源數(shù)據(jù)庫地址、目標數(shù)據(jù)庫地址、數(shù)據(jù)庫實例、帳號、密碼、數(shù)據(jù)表、字段； 步驟2，調用JDBC接口通過所述數(shù)據(jù)庫連接池連接多個源數(shù)據(jù)庫； 步驟3，判斷是否已通過JAVA多線程連接目標數(shù)據(jù)庫，如果是，執(zhí)行下一步，否則啟動JAVA多線程； 步驟4，判斷所述源數(shù)據(jù)庫的日志文件中數(shù)據(jù)表和/或字段的內容是否有更新，如果有，以JAVA多線程的方式將所述數(shù)據(jù)表和/或所述字段的內容寫入至所述目標數(shù)據(jù)庫。
2.如權利要求1所述的完成異構數(shù)據(jù)庫歸集的方法，其特征在于， 所述步驟1中還包括:確定各個源數(shù)據(jù)庫中需監(jiān)測的數(shù)據(jù)表和/或字段；所述步驟3中以JAVA多線程的方式判斷所述源數(shù)據(jù)庫的日志文件中數(shù)據(jù)表和/或字段的內容是否有更新具體是指:以JAVA多線程的方式判斷所述源數(shù)據(jù)庫的日志文件中需監(jiān)測的數(shù)據(jù)表和/或字段的內容是否有更新。
3.如權利要求1所述的完成異構數(shù)據(jù)庫歸集的方法，其特征在于， 所述步驟3中還包括根據(jù)所述源數(shù)據(jù)庫的類型和版本以及所述目標數(shù)據(jù)庫的類型和版本生成SQL語句。
4.如權利要求1所述的完成異構數(shù)據(jù)庫歸集的方法，其特征在于， 以先入先出的方式維護所述JAVA多線程的隊列。
5.如權利要求1所述的完成異構數(shù)據(jù)庫歸集的方法，其特征在于， 所述步驟3中還包括所述目標數(shù)據(jù)庫將接收到的所述數(shù)據(jù)表和/或所述字段的內容寫入日志文件。
【文檔編號】G06F17/30GK104503989SQ201410725871
【公開日】2015年4月8日 申請日期:2014年12月3日 優(yōu)先權日:2014年12月3日
【發(fā)明者】張勁松, 樸超美, 王云飛, 王新華, 師繼鋒, 許文超, 門慶平, 楊燕明, 羅振立, 李曉川, 于晶京, 彭琳, 劉軍, 郅天奇 申請人:中建材國際貿易有限公司