歷史數(shù)據(jù)歸檔集成系統(tǒng)及方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種數(shù)據(jù)歸檔系統(tǒng)及方法，具體涉及一種歷史數(shù)據(jù)歸檔集成系統(tǒng)以及方法。
【背景技術(shù)】
[0002]現(xiàn)有技術(shù)中，數(shù)據(jù)庫環(huán)境都基于單個(gè)項(xiàng)目獨(dú)立建設(shè)的，其特點(diǎn)為“煙囪式”，每套數(shù)據(jù)庫服務(wù)器都有獨(dú)立的存儲(chǔ)和管理工具，相互不能共享資源，形成了一大堆孤立的數(shù)據(jù)庫服務(wù)器。會(huì)導(dǎo)致以下問題:數(shù)據(jù)庫服務(wù)器和存儲(chǔ)設(shè)備規(guī)模大而分散，資源利用率低下；數(shù)據(jù)庫環(huán)境的維護(hù)難度大，難以適應(yīng)業(yè)務(wù)變化的需求；服務(wù)器數(shù)量和管理的總體成本偏高。
[0003]傳統(tǒng)的獨(dú)立部署模式導(dǎo)致服務(wù)器硬件資源難以合理分配，大部分系統(tǒng)CPU負(fù)載在20%以下，某些業(yè)務(wù)高峰期空閑主機(jī)資源無法做到動(dòng)態(tài)分配；資源利用率低的同時(shí)也導(dǎo)致增加更多的冗余設(shè)備。
[0004]隨著企業(yè)信息化的不斷建設(shè)，機(jī)房資源已經(jīng)成為瓶頸，提升優(yōu)化迫在眉睫；機(jī)房空間前期規(guī)劃不足，機(jī)房擴(kuò)建成本昂貴，技術(shù)難點(diǎn)多。
[0005]隨著信息系統(tǒng)運(yùn)行年限越久，業(yè)務(wù)量和數(shù)據(jù)量不斷增長(zhǎng)，在信息化建設(shè)過程中，未考慮數(shù)據(jù)的生命周期，數(shù)據(jù)庫臃腫存在風(fēng)險(xiǎn)；數(shù)據(jù)恢復(fù)難度大，周期長(zhǎng)，需將歷史數(shù)據(jù)下線分咼。
[0006]因主機(jī)、數(shù)據(jù)庫宕機(jī)等原因造成的數(shù)據(jù)庫故障無法自動(dòng)切換，部分應(yīng)用業(yè)務(wù)中斷無法被及時(shí)發(fā)現(xiàn)；因主機(jī)層面檢修、內(nèi)存擴(kuò)容等需數(shù)據(jù)庫停機(jī)操作無法在線操作，周期長(zhǎng)，需要技術(shù)人員夜間操作，加大工作量及操作風(fēng)險(xiǎn)，且業(yè)務(wù)系統(tǒng)重大版本升級(jí)無環(huán)境測(cè)試。
[0007]因業(yè)務(wù)系統(tǒng)關(guān)聯(lián)，導(dǎo)致多個(gè)業(yè)務(wù)系統(tǒng)從生產(chǎn)數(shù)據(jù)庫重復(fù)抽數(shù)，接口冗余，無故增加數(shù)據(jù)庫運(yùn)行風(fēng)險(xiǎn)，及維護(hù)難度；對(duì)于數(shù)據(jù)流轉(zhuǎn)無有效監(jiān)控工具。

【發(fā)明內(nèi)容】

[0008]為了解決上述問題，本發(fā)明提供一種歷史數(shù)據(jù)歸檔集成系統(tǒng)及方法，解決因運(yùn)行年限增加而導(dǎo)致數(shù)據(jù)庫臃腫的業(yè)務(wù)系統(tǒng)來開展歷史數(shù)據(jù)歸檔處理工作，從而遏制系統(tǒng)數(shù)據(jù)指數(shù)級(jí)增長(zhǎng)的趨勢(shì)，降低系統(tǒng)數(shù)據(jù)庫運(yùn)行風(fēng)險(xiǎn)。
[0009]本發(fā)明提供了如下的技術(shù)方案:
[0010]一種歷史數(shù)據(jù)歸檔集成系統(tǒng)，包括生產(chǎn)庫模塊、在線歷史庫模塊、離線歸檔庫模塊、高端分布式存儲(chǔ)模塊和高端分布式存儲(chǔ)模塊；
[0011]所述生產(chǎn)庫模塊作為寫庫，所述在線歷史庫模塊作為讀庫；
[0012]所述生產(chǎn)庫模塊的數(shù)據(jù)實(shí)時(shí)同步到所述在線歷史庫模塊；
[0013]所述在線歷史庫模塊根據(jù)數(shù)據(jù)的活躍情況將部分?jǐn)?shù)據(jù)存儲(chǔ)到所述離線歸檔庫模塊；
[0014]所述高端分布式存儲(chǔ)模塊為所述在線歷史數(shù)據(jù)庫提供數(shù)據(jù)存儲(chǔ)；
[0015]所述低端分布式存儲(chǔ)模塊為所述離線歸檔庫模塊提供數(shù)據(jù)存儲(chǔ)。
[0016]優(yōu)選的，所述高端分布式存儲(chǔ)模塊為一高端分布式存儲(chǔ)一體機(jī)。
[0017]優(yōu)選的，所述低端分布式存儲(chǔ)模塊為一 PC服務(wù)器。
[0018]—種歷史數(shù)據(jù)歸檔集成方法，
[0019]對(duì)數(shù)據(jù)進(jìn)行分類；
[0020]設(shè)置生產(chǎn)庫與在線歷史庫實(shí)時(shí)同步，設(shè)置生產(chǎn)庫為讀庫，設(shè)置在線歷史庫為寫庫，實(shí)現(xiàn)讀寫分離；
[0021]設(shè)置離線歸檔數(shù)據(jù)庫，存儲(chǔ)不活躍數(shù)據(jù)；
[0022]分布存儲(chǔ)所述離線歸檔數(shù)據(jù)庫與所述在線歷史庫數(shù)據(jù)。
[0023]優(yōu)選的，所述在線歷史庫采用高端分布式存儲(chǔ)一體機(jī)存儲(chǔ)數(shù)據(jù)。
[0024]優(yōu)選的，所述離線數(shù)據(jù)歸檔庫采用PC服務(wù)器存儲(chǔ)數(shù)據(jù)。
[0025]進(jìn)一步的，為所述在線歷史庫設(shè)置數(shù)據(jù)庫資源池，所述數(shù)據(jù)庫資源池采用集群的方式管理。
[0026]本發(fā)明的有益效果是:
[0027]1.生產(chǎn)庫與在線歷史庫實(shí)時(shí)同步，在線歷史庫可用于讀寫分離，分擔(dān)生產(chǎn)庫負(fù)擔(dān)，
一庫多用；
[0028]生產(chǎn)庫與在線歷史庫采用GoldenGate/Streams技術(shù)實(shí)現(xiàn)生產(chǎn)庫與在線歷史庫的實(shí)時(shí)同步，生產(chǎn)庫的數(shù)據(jù)變化會(huì)實(shí)時(shí)的同步到在線歷史庫，在線歷史庫可以作為讀庫，生產(chǎn)庫作為寫庫，實(shí)現(xiàn)讀寫分離，最大限度的減少生產(chǎn)庫的負(fù)擔(dān)。在線歷史庫的數(shù)據(jù)是生產(chǎn)庫數(shù)據(jù)的一個(gè)超集，在對(duì)近年的歷史數(shù)據(jù)進(jìn)行查詢時(shí)，可以直接到在線歷史庫進(jìn)行查詢，方便歷史數(shù)據(jù)的追溯。目前主流的歸檔解決方案一般把歸檔數(shù)據(jù)作為文件形式存放，當(dāng)需要查詢歷史數(shù)據(jù)時(shí)，需要對(duì)歸檔數(shù)據(jù)進(jìn)行恢復(fù)，代價(jià)較高。也有些歸檔解決方案支持直接對(duì)歸檔的文件進(jìn)行查詢，例如IBM Optim，但查詢效率非常低，而且需要對(duì)查詢功能部分進(jìn)行二次開發(fā)，成本較高。本發(fā)明采用在線歷史庫和離線歸檔庫實(shí)現(xiàn)對(duì)數(shù)據(jù)的分級(jí)存放，既能保證歷史數(shù)據(jù)的可追溯性，同時(shí)也實(shí)現(xiàn)了歷史數(shù)據(jù)方便、高效的查詢。
[0029]2.分布式存儲(chǔ)降低硬件成本；
[0030]歷史數(shù)據(jù)的重要特點(diǎn)之一是數(shù)據(jù)量龐大，為了存儲(chǔ)這些海量級(jí)的歷史數(shù)據(jù)，需要海量級(jí)的存儲(chǔ)解決方案，然而傳統(tǒng)的存儲(chǔ)非常昂貴，且擴(kuò)展性較差。為了解決這一問題，本發(fā)明采用分布式存儲(chǔ)作為存儲(chǔ)解決方案，分布式存儲(chǔ)的特點(diǎn)是容量巨大、擴(kuò)展性較高、價(jià)格低廉。在線歷史庫和離線歸檔庫對(duì)于存儲(chǔ)性能的要求完全不一樣，在線歷史庫需要承擔(dān)歷史數(shù)據(jù)查詢或者讀寫分離的工作，對(duì)于存儲(chǔ)性能的要求較高，因此本發(fā)明采用公司自主研發(fā)的高端分布式存儲(chǔ)一體機(jī)，保證在線歷史庫的高效穩(wěn)定運(yùn)行。而離線歸檔庫對(duì)于存儲(chǔ)的性能要求較低，因此采用自主研發(fā)的分布式存儲(chǔ)技術(shù)，用普通PC服務(wù)器搭建分布式存儲(chǔ)，大大降低了硬件成本。
[0031]3.在線歷史庫采用數(shù)據(jù)庫資源池技術(shù)，降低在線歷史庫的硬件成本，使在線歷史庫高度集成，方便在線歷史庫的管理；
[0032]在線歷史庫能夠很好的解決歷史數(shù)據(jù)查詢問題，但是需要為每一個(gè)生產(chǎn)庫搭建一套在線歷史庫，對(duì)硬件的需求量較大，因此我們本發(fā)明采用數(shù)據(jù)庫資源池技術(shù)，采用池化技術(shù)充分利用硬件資源，大大降低對(duì)硬件的需要。同時(shí)數(shù)據(jù)庫采用集群的方式管理，采用集群軟件對(duì)數(shù)據(jù)庫進(jìn)行管理，降低了管理的難度，提高整個(gè)平臺(tái)的可維護(hù)性。
【附圖說明】
[0033]附圖用來提供對(duì)本發(fā)明的進(jìn)一步理解，并且構(gòu)成說明書的一部分，與本發(fā)明的實(shí)施例一起用于解釋本發(fā)明，并不構(gòu)成對(duì)本發(fā)明的限制。在附圖中:
[0034]圖1是本發(fā)明一個(gè)較佳實(shí)施例的流程示意圖；
[0035]圖2是本發(fā)明一個(gè)較佳實(shí)施例數(shù)據(jù)分類示意圖；
[0036]圖3是本發(fā)明一個(gè)較佳實(shí)施例外部結(jié)構(gòu)示意圖。
【具體實(shí)施方式】
[0037]實(shí)施例1，如圖1-3所示，本發(fā)明公開一種歷史數(shù)據(jù)歸檔集成系統(tǒng)及方法，在本實(shí)施例中，包括如下步驟:
[0038]1、歷