史數(shù)據(jù)范圍界定與分級(jí)
[0039]根據(jù)每個(gè)系統(tǒng)的業(yè)務(wù)需求和審計(jì)需求對(duì)生產(chǎn)數(shù)據(jù)進(jìn)行歷史數(shù)據(jù)范圍界定，將據(jù)最近η年的活躍業(yè)務(wù)數(shù)據(jù)定級(jí)為活躍數(shù)據(jù)，這部分?jǐn)?shù)據(jù)是日常業(yè)務(wù)必須的，經(jīng)常訪問和修改的數(shù)據(jù)；處于η年之前到n+m年之間數(shù)據(jù)在日常業(yè)務(wù)中不會(huì)進(jìn)行訪問和修改，只有在極少的特殊業(yè)務(wù)，例如歷史查詢、歷史審計(jì)等情況才會(huì)進(jìn)行訪問，但絕對(duì)不會(huì)設(shè)計(jì)修改，這部分?jǐn)?shù)據(jù)定義為次活躍數(shù)據(jù)；n+m年前的數(shù)據(jù)對(duì)于系統(tǒng)正常的業(yè)務(wù)及審計(jì)都不會(huì)再進(jìn)行任何查詢和修改，這部分?jǐn)?shù)據(jù)定義為不活躍數(shù)據(jù)或者靜態(tài)數(shù)據(jù)。
[0040]2、歸檔平臺(tái)搭建
[0041]使用軟硬件資源池技術(shù)，搭建一套或多套數(shù)據(jù)庫(kù)資源池，作為在線歷史數(shù)據(jù)歸檔平臺(tái)，存儲(chǔ)采用高端分布式存儲(chǔ)。數(shù)據(jù)庫(kù)資源池能夠有效利用服務(wù)器資源，節(jié)省硬件成本；提高數(shù)據(jù)庫(kù)容錯(cuò)能力，實(shí)現(xiàn)故障轉(zhuǎn)移；整合數(shù)據(jù)庫(kù)實(shí)例，降低維護(hù)難度。在線歷史數(shù)據(jù)歸檔平臺(tái)可用于對(duì)歷史數(shù)據(jù)庫(kù)的查詢和讀寫分離，因此對(duì)于性能有一定要求，所以采用高端的分布式存儲(chǔ)，提供良好的I/O性能。
[0042]使用低端分布式存儲(chǔ)搭建一套離線數(shù)據(jù)歸檔平臺(tái)，支持結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)歸檔，支持多種多樣的數(shù)據(jù)歸檔方式，包括離線邏輯備份、離線物理備份、離線非結(jié)構(gòu)化轉(zhuǎn)儲(chǔ)、分布式數(shù)據(jù)庫(kù)轉(zhuǎn)儲(chǔ)、表空間版本庫(kù)管理等。
[0043]數(shù)據(jù)庫(kù)資源池采用Sever pool、RAC ONE NODE、EXTEND RAC ONE NODE 技術(shù)實(shí)現(xiàn)，其中Sever pool,RAC ONE NODE為Oracle 11G現(xiàn)有技術(shù)，但目前大部分客戶的環(huán)境中還存在10G環(huán)境，為保證平臺(tái)的通用性和兼容性，公司自主研發(fā)了 EXTEND RAC ONE NODE (ER0N),將RAC ONE NODE擴(kuò)展到10G，從而為數(shù)據(jù)庫(kù)提供了完整的池化技術(shù)。
[0044]搭建分布式存儲(chǔ)環(huán)境，客戶可選擇訂購(gòu)分布式文件系統(tǒng)一體機(jī)(存放非結(jié)構(gòu)化數(shù)據(jù))及分布式存儲(chǔ)一體機(jī)(存放結(jié)構(gòu)化數(shù)據(jù))，歷史數(shù)據(jù)歸檔集成平臺(tái)解決方案同樣提供分布式存儲(chǔ)環(huán)境的定制搭建，可采購(gòu)自主研發(fā)的分布式軟件，利用普通兩路PC服務(wù)器結(jié)合普通硬盤、SSD盤搭建分布式存儲(chǔ)。
[0045]3、數(shù)據(jù)初始化階段
[0046]使用Stream或Golden Gate將生產(chǎn)庫(kù)數(shù)據(jù)全量同步到在線歷史歸檔平臺(tái)，后續(xù)生產(chǎn)庫(kù)的操作也會(huì)由Stream或Golden Gate實(shí)時(shí)同步到在線歷史歸檔平臺(tái)。
[0047]4、歷史數(shù)據(jù)下線階段
[0048]將近η年的活躍數(shù)據(jù)保留在生產(chǎn)庫(kù)中，η年前的數(shù)據(jù)從生產(chǎn)庫(kù)上刪除。在線歷史庫(kù)保留近n+m年的活躍和次活躍數(shù)據(jù)，n+m年前的靜態(tài)數(shù)據(jù)通過RAMN備份或其他方式備份到離線數(shù)據(jù)歸檔平臺(tái)，然后從在線歷史庫(kù)中刪除n+m年前數(shù)據(jù)。
[0049]到此，生產(chǎn)庫(kù)中只保留了近η年的活躍數(shù)據(jù)，在線歷史數(shù)據(jù)歸檔平臺(tái)保留了近n+m年的數(shù)據(jù)，包括活躍數(shù)據(jù)和次活躍數(shù)據(jù)，離線歸檔平臺(tái)保留了 n+m年前的靜態(tài)數(shù)據(jù)，實(shí)現(xiàn)的數(shù)據(jù)的分級(jí)存儲(chǔ)，歷史數(shù)據(jù)從生產(chǎn)庫(kù)中脫離，進(jìn)行歸檔處理。
[0050]由于在線歸檔平臺(tái)是生產(chǎn)庫(kù)的超集，而且是實(shí)時(shí)同步的，如果生產(chǎn)庫(kù)負(fù)擔(dān)過重，可以將應(yīng)用進(jìn)行讀寫分離，生產(chǎn)庫(kù)作為寫庫(kù)，在線歷史庫(kù)作為讀庫(kù)，分擔(dān)生產(chǎn)庫(kù)負(fù)擔(dān)。另外如果偶爾會(huì)存在歷史數(shù)據(jù)與在線數(shù)據(jù)聯(lián)合查詢的情況，可以在生產(chǎn)庫(kù)和歷史庫(kù)直接建立DBLink或者物化視圖等方式實(shí)現(xiàn)聯(lián)合查詢。
[0051]5、數(shù)據(jù)交換中心搭建
[0052]結(jié)合客戶需求針對(duì)業(yè)務(wù)系統(tǒng)定制化修訂數(shù)據(jù)交換中心平臺(tái)管理系統(tǒng)并部署上線，功能包括數(shù)據(jù)流轉(zhuǎn)狀態(tài)監(jiān)控、故障告警、自動(dòng)故障切換、重啟、節(jié)點(diǎn)資源一鍵靈活調(diào)度等。提供整個(gè)歸檔平臺(tái)的可視化監(jiān)控、圖像界面操作，提高平臺(tái)的易用性。
[0053]以上所述僅為本發(fā)明的優(yōu)選實(shí)施例而已，并不用于限制本發(fā)明，盡管參照前述實(shí)施例對(duì)本發(fā)明進(jìn)行了詳細(xì)的說明，對(duì)于本領(lǐng)域的技術(shù)人員來說，其依然可以對(duì)前述各實(shí)施例所記載的技術(shù)方案進(jìn)行修改，或者對(duì)其中部分技術(shù)特征進(jìn)行等同替換。凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。
【主權(quán)項(xiàng)】
1.一種歷史數(shù)據(jù)歸檔集成系統(tǒng)，其特征在于，包括生產(chǎn)庫(kù)模塊、在線歷史庫(kù)模塊、離線歸檔庫(kù)模塊、高端分布式存儲(chǔ)模塊和高端分布式存儲(chǔ)模塊； 所述生產(chǎn)庫(kù)模塊作為寫庫(kù)，所述在線歷史庫(kù)模塊作為讀庫(kù)； 所述生產(chǎn)庫(kù)模塊的數(shù)據(jù)實(shí)時(shí)同步到所述在線歷史庫(kù)模塊； 所述在線歷史庫(kù)模塊根據(jù)數(shù)據(jù)的活躍情況將部分?jǐn)?shù)據(jù)存儲(chǔ)到所述離線歸檔庫(kù)模塊； 所述高端分布式存儲(chǔ)模塊為所述在線歷史數(shù)據(jù)庫(kù)提供數(shù)據(jù)存儲(chǔ)； 所述低端分布式存儲(chǔ)模塊為所述離線歸檔庫(kù)模塊提供數(shù)據(jù)存儲(chǔ)。2.根據(jù)權(quán)利要求1所述的歷史數(shù)據(jù)歸檔集成系統(tǒng)，其特征在于，所述高端分布式存儲(chǔ)模塊為一高端分布式存儲(chǔ)一體機(jī)。3.根據(jù)權(quán)利要求1所述的歷史數(shù)據(jù)歸檔集成系統(tǒng)，其特征在于，所述低端分布式存儲(chǔ)模塊為一 PC服務(wù)器。4.一種歷史數(shù)據(jù)歸檔集成方法，其特征在于， 對(duì)數(shù)據(jù)進(jìn)行分類； 設(shè)置生產(chǎn)庫(kù)與在線歷史庫(kù)實(shí)時(shí)同步，設(shè)置生產(chǎn)庫(kù)為讀庫(kù)，設(shè)置在線歷史庫(kù)為寫庫(kù)，實(shí)現(xiàn)讀寫分離； 設(shè)置離線歸檔數(shù)據(jù)庫(kù)，存儲(chǔ)不活躍數(shù)據(jù)； 分布存儲(chǔ)所述離線歸檔數(shù)據(jù)庫(kù)與所述在線歷史庫(kù)數(shù)據(jù)。5.根據(jù)權(quán)利要求4所述的歷史數(shù)據(jù)歸檔集成方法，其特征在于，所述在線歷史庫(kù)采用高端分布式存儲(chǔ)一體機(jī)存儲(chǔ)數(shù)據(jù)。6.根據(jù)權(quán)利要求4所述的歷史數(shù)據(jù)歸檔集成方法，其特征在于，所述離線數(shù)據(jù)歸檔庫(kù)采用PC服務(wù)器存儲(chǔ)數(shù)據(jù)。7.根據(jù)權(quán)利要求4所述的歷史數(shù)據(jù)歸檔集成方法，其特征在于，為所述在線歷史庫(kù)設(shè)置數(shù)據(jù)庫(kù)資源池，所述數(shù)據(jù)庫(kù)資源池采用集群的方式管理。
【專利摘要】本發(fā)明提供一種歷史數(shù)據(jù)歸檔集成系統(tǒng)及方法，設(shè)置生產(chǎn)庫(kù)與在線歷史庫(kù)實(shí)時(shí)同步，所述在線歷史庫(kù)讀寫分離；分布存儲(chǔ)所述生產(chǎn)庫(kù)與所述在線歷史庫(kù)；為所述在線歷史庫(kù)設(shè)置數(shù)據(jù)庫(kù)資源池，所述數(shù)據(jù)庫(kù)資源池采用集群的方式管理。發(fā)明為客戶提供多元化組合解決方案，以達(dá)到對(duì)數(shù)據(jù)全生命周期管理，在系統(tǒng)開發(fā)廠商及運(yùn)維方配合下合理規(guī)劃集成平臺(tái)建設(shè)。
【IPC分類】G06F17/30
【公開號(hào)】CN105243163
【申請(qǐng)?zhí)枴緾N201510744670
【發(fā)明人】石浩瀚, 耿佩劍, 郭耀龍, 李東輝, 俞俊, 朱廣新, 鄭磊, 黃高攀, 張明明
【申請(qǐng)人】國(guó)家電網(wǎng)公司, 南京南瑞集團(tuán)公司, 國(guó)網(wǎng)江蘇省電力公司信息通信分公司, 南京南瑞集團(tuán)公司信息系統(tǒng)集成分公司
【公開日】2016年1月13日
【申請(qǐng)日】2015年11月5日