基于大數(shù)據(jù)量的數(shù)據(jù)庫表采集優(yōu)化技術(shù)的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種數(shù)據(jù)庫數(shù)據(jù)采集技術(shù)，特別是一種基于大數(shù)據(jù)量的數(shù)據(jù)庫表采集優(yōu)化技術(shù)。
【背景技術(shù)】
[0002]基于國網(wǎng)福建一體化集成平臺進(jìn)行財務(wù)應(yīng)用與營銷系統(tǒng)接口實施，實現(xiàn)財務(wù)核算與營銷應(yīng)收、實收及賬務(wù)核算數(shù)據(jù)的集成，保證營銷系統(tǒng)與財務(wù)應(yīng)用數(shù)據(jù)的一致性、準(zhǔn)確性和時效性，全面推進(jìn)國網(wǎng)福建營銷電費賬務(wù)與財務(wù)電費賬務(wù)的協(xié)同工作和集約化管理。
[0003]國網(wǎng)福建的財務(wù)應(yīng)用從營銷系統(tǒng)采集電費用戶信息進(jìn)行全量同步，目的主要用于電價分析。目錄電價信息財務(wù)應(yīng)用與營銷系統(tǒng)首次進(jìn)行全量同步，之后每月進(jìn)行增量方式同步，目的主要用于電價分析。按照雙方約定時間，應(yīng)收電費到戶明細(xì)信息財務(wù)應(yīng)用與營銷系統(tǒng)每月進(jìn)行全量同步，目的主要用于電價分析。按照雙方約定時間，財務(wù)應(yīng)用與營銷系統(tǒng)按需對應(yīng)收電費匯總信息進(jìn)行全量同步，目的主要用于電費核算。使用營銷系統(tǒng)實現(xiàn)營銷賬務(wù)核算的單位，不需傳遞應(yīng)收電費核算匯總信息。
[0004]如圖1所示，具體過程如下:
(O營銷系統(tǒng)按照數(shù)據(jù)中心提供的存儲方式將電費用戶、目錄電價、到戶應(yīng)收電費等應(yīng)收數(shù)據(jù)信息存儲到數(shù)據(jù)中心指定數(shù)據(jù)表；
(2)營銷系統(tǒng)將應(yīng)收數(shù)據(jù)信息保存成功后，調(diào)用ESB上財務(wù)管控注冊的服務(wù)；
(3)ESB啟動代理服務(wù)，將服務(wù)請求路由至業(yè)務(wù)服務(wù)，調(diào)用注冊的業(yè)務(wù)服務(wù)；
(4)財務(wù)管控獲取通知信息后向數(shù)據(jù)中心進(jìn)行數(shù)據(jù)檢索；
(5)財務(wù)管控根據(jù)檢索結(jié)果從數(shù)據(jù)中心獲取應(yīng)收數(shù)據(jù)信息。
[0005]其中，國網(wǎng)福建的營銷系統(tǒng)電費用戶、目錄電價、到戶應(yīng)收電費等每月應(yīng)收數(shù)據(jù)信息都有千萬級的數(shù)據(jù)、數(shù)據(jù)中心數(shù)據(jù)表經(jīng)過數(shù)月的數(shù)據(jù)累積，已經(jīng)成為了極大表。經(jīng)過生產(chǎn)環(huán)境的使用與測試得出在(4)過程中的數(shù)據(jù)檢索都會耗費大量時間。且耗費的時間還隨著數(shù)據(jù)的增長而增加。
[0006]過長的檢索過程容易受到其他因素的影響，比如網(wǎng)絡(luò)暫時中斷等因素都會增加檢索中斷的風(fēng)險性，這樣進(jìn)一步增加了總體集成時間的耗費。從而影響了業(yè)務(wù)部門使用電費應(yīng)收數(shù)據(jù)進(jìn)行電價分析等業(yè)務(wù)。
[0007]電費采集的效率上的提升關(guān)鍵在于將營銷系統(tǒng)的電費數(shù)據(jù)轉(zhuǎn)換為財務(wù)管控需要的數(shù)據(jù)結(jié)構(gòu)后傳輸?shù)截攧?wù)管控的數(shù)據(jù)庫中。其中大部分的時間耗費在數(shù)據(jù)轉(zhuǎn)換中。
[0008]營銷系統(tǒng)是將所有的歷史數(shù)據(jù)都推送到五張臺賬表。隨著時間的推移每個表的數(shù)據(jù)量都極其龐大。采集數(shù)據(jù)時是分單位分月份采集。中間表的所有數(shù)據(jù)都是在一個表中，那么每次采集都需要從所有的記錄出檢索出我們需要的數(shù)據(jù)。因為采集存儲過程復(fù)雜，需要過濾許多的條件。每一個條件都增加了查詢出數(shù)據(jù)的時間。中間表的數(shù)據(jù)量越大每次查詢過濾條件時就要更長的時間。把采集存儲過程中的查詢語句直接提取出來在數(shù)據(jù)庫中運(yùn)行，很少數(shù)據(jù)量的縣公司都需要十幾分鐘才能夠查出結(jié)果。采集的大部分時間都用在了查詢過程中而不是用在傳輸過程中。
[0009]在財務(wù)管控的電費采集模塊中，電費數(shù)據(jù)需要采集電費明細(xì)數(shù)據(jù)。每個月都需要使用電費銷售側(cè)數(shù)據(jù)采集工具采集大量的電費數(shù)據(jù)。2012年數(shù)據(jù)中心的五張臺賬表中電度電費表有兩億條記錄、用電客戶快照表有一億五千萬條記錄。管控中的電價業(yè)務(wù)表擁有三億條記錄。
[0010]這么大的數(shù)據(jù)量造成電費數(shù)據(jù)的采集速度一直很不理想，采集一個縣公司一個月的電費數(shù)據(jù)就需要半小時左右。采集擁有千萬級數(shù)據(jù)量的電業(yè)局需要一個多小時甚至更長的時間。另外隨著數(shù)據(jù)庫中歷史數(shù)據(jù)的增加，采集速度還在逐漸下降。過長采集時間很容易受到其它因素的影響，比如網(wǎng)絡(luò)暫時的中斷或者采集計算機(jī)的卡機(jī)經(jīng)常造成采集過程長時間未響應(yīng)，這樣進(jìn)一步增加了電費的采集時間。每個月電費采集工作都需要半個月以上的時間，不但造成了人工的浪費，還不能預(yù)留出時間處理采集后可能發(fā)生的問題，極大的影響了電價月度報表與預(yù)算的工作。

【發(fā)明內(nèi)容】

[0011]本發(fā)明的目的在于在現(xiàn)有的采集工具基礎(chǔ)上通過重新設(shè)計數(shù)據(jù)庫的表結(jié)構(gòu)與優(yōu)化采集存儲過程來提高采集數(shù)據(jù)效率。
[0012]本發(fā)明采用以下方案實現(xiàn):一種基于大數(shù)據(jù)量的數(shù)據(jù)庫表采集優(yōu)化技術(shù)，其特征在于包括以下步驟:
步驟1:備份歷史的電費數(shù)據(jù)；
步驟2:分析ORACLE采集存儲過程中查詢語句的FROM子句，包括其中的子查詢與子查詢中的FROM語句；根據(jù)FROM中的各實表與虛擬表的大小與查詢速率進(jìn)行排序，按照速率從小到大以先右后左、先下后上的順序重新修改FROM子句；
步驟3:分析ORACLE采集存儲過程中的查詢語句的WHERE子句，將所有條件逐一單獨提取出在實際環(huán)境中進(jìn)行查詢測試；將查詢的速率進(jìn)行排序，按照速率小到大以先右后左、先下后上的順序優(yōu)化WHERE子句；并將耗時最久的查詢條件與使用頻率最高的幾個查詢條件記錄；從以上步驟得出出現(xiàn)頻率最高與耗費時間最多的檢索條件中包含了以下YM、0RG_NO、CAT_PRC_ID、C0NS_ID 與 PRC_AMT_ID ；
步驟4:結(jié)合采集存儲過程的業(yè)務(wù)需求與步驟3中的得出的查詢耗時最久與使用頻率最高的幾個查詢條件，進(jìn)行綜合分析；以得出會影響查詢速度的查詢過濾條件；分析這些查詢條件，將其分為兩類:一、查詢出的數(shù)據(jù)粒度較小的且查詢頻率較高的查詢條件優(yōu)先建立索引；二、將查詢的數(shù)據(jù)粒度較大的查詢條件優(yōu)先建立分區(qū)表；
步驟5:通過數(shù)據(jù)庫腳本對字段CAT_PRC_ID、C0NS_ID、PRC_AMT_ID建立數(shù)據(jù)庫索引；步驟6:通過數(shù)據(jù)庫腳本以字段年月YM與單位代碼0RG_N0為關(guān)鍵字建立五張分區(qū)表:電度電費ARC_E_KWH_AMT、基本電費ARC_E_BASE_AMT、代征電費ARC_E_PL_AMT、用電客戶快照 ARC_E_C0NS_SNAP、用戶電價電費 ARC_E_C0NS_PRC_AMT ；
步驟7:將備份表中的數(shù)據(jù)導(dǎo)入到分區(qū)表中；在保證業(yè)務(wù)能夠執(zhí)行的情況下刪除備份表。
[0013]在本發(fā)明一實施例中，所述步驟I中備份的方式包括:將電力營銷系統(tǒng)與財務(wù)管控的中間表通過改名的方式進(jìn)行備份。
[0014]在本發(fā)明一實施例中，從所述步驟2得出CAT_PRC_ID、C0NS_ID、PRC_AMT_ID字段過濾的是用戶標(biāo)識、用戶電價電費標(biāo)識、電價碼編碼優(yōu)先建立索引；YM、0RG_N0分別為年月與單位優(yōu)先建立分區(qū)表。
[0015]使用這種發(fā)明后，直接在數(shù)據(jù)庫使用語句查詢數(shù)據(jù)可以在極短的時間內(nèi)查詢出結(jié)果?？梢允拐麄€采集過程的耗費的時間大為減少，進(jìn)一步了增強(qiáng)了了采集的穩(wěn)定性。同時解決了隨著數(shù)據(jù)量的累積會增加采集耗費時間的問題。
【附圖說明】
[0016]圖1為現(xiàn)有電費用戶信息、目錄電價信息、應(yīng)收電費到戶明細(xì)信息、賬齡信息集成技術(shù)架構(gòu)示意圖。
【具體實施方式】
[0017]本實施例提供一種基于大數(shù)據(jù)量的數(shù)據(jù)庫表采集優(yōu)化技術(shù)，在優(yōu)化時數(shù)據(jù)中心已經(jīng)存了近一年的電費數(shù)據(jù)，這些數(shù)據(jù)在年底的財務(wù)決算中還需要使用，所以不能刪除。而大數(shù)據(jù)量數(shù)據(jù)的備份與導(dǎo)入需要很多的時間。這個問題的解決方法是將原先的表直接改名，然后按照舊表的名稱創(chuàng)建新的分區(qū)表，再將原表的數(shù)據(jù)導(dǎo)入到新的表中去。這樣做還有一個好處，優(yōu)化過程結(jié)束后表名沒有變更，所以營銷系統(tǒng)的推送腳本與管控系統(tǒng)的采集存儲過程都不需要變更。
[0018]該優(yōu)化技術(shù)包括以下步驟:1、備份歷史的電費數(shù)據(jù)；2、分析ORACLE采集存儲過程中查詢語句的FROM子句，包括其中的子查詢與子查詢中的FROM語句；根據(jù)FROM中的各實表與虛擬表的大小與查詢速率進(jìn)行排序，按照速率從小到大以先