專利名稱：一種話單入庫的系統(tǒng)及方法
技術領域：
本發(fā)明涉及電信技術領域，特別涉及到在海量數(shù)據(jù)下實時準確地采集話單、入庫 話單的系統(tǒng)及方法。
背景技術：
在電信業(yè)務領域中，隨著業(yè)務需求量的爆炸性增長，帶動了服務提供商(Service Provider,縮寫為SP)對高額利潤和高速發(fā)展的熱情，越來越多的SP涌現(xiàn)，而使用業(yè) 務的用戶也不斷增長。這樣終端用戶對業(yè)務的需求量和SP的大量涌現(xiàn)互相促進，使得 短信業(yè)務管理系統(tǒng)中，產(chǎn)生的話單量成爆炸性的增長，在話單量較多的業(yè)務系統(tǒng)中， 通常半年就會達到T級別，相應的話單增長的速度也大大提高了，已經(jīng)達到甚至超過 千條/秒。而短信業(yè)務系統(tǒng)需要提供給用戶實時準確的話單查詢功能，這就需要系統(tǒng)及 時，準確的將這些話單轉化入庫，成為可以提供給用戶實時查詢的數(shù)據(jù)。同時用戶界 面的查詢速度也需要得到保障，這就需要在相應的關鍵字段上建立索引。但實踐證明 建立索引后，數(shù)據(jù)大批量的轉化導入的速度就會成倍的降低，這就有可能導致話單轉 化入庫的速度跟不上話單的增長速度，所以就存在入庫速度和提高查詢速度的矛盾。 而隨著SP以及終端用戶的一些需求的增加，又需要對話單進行不同的統(tǒng)計分析。
所以，現(xiàn)有技術在滿足用戶界面的查詢速度時，很難保證將話單數(shù)據(jù)大批量的、 快速的轉換導入。而且為達到各種系統(tǒng)下分析統(tǒng)計的不同要求，需要為每一種需求單 獨建立一整套從入庫到査詢分析的系統(tǒng)，耦合性較高，不具備通用性。

發(fā)明內容
本發(fā)明所要解決的技術問題是，提供一種話單入庫的系統(tǒng)及方法，用于解決海量 話單快速實時入庫和提高用戶查詢速度的矛盾，降低整個話單入庫過程的耦合性。 為解決上述技術問題，本發(fā)明提出了一種話單入庫的系統(tǒng)，它包括業(yè)務處理機、
話單格式轉換接口機、話單批量入庫接口機、中間庫和査詢分析庫；
所述話單格式轉換接口機用來從業(yè)務處理機上下載原始話單并將原始話單進行格
式轉換；
4所述話單批量入庫接口機用來將格式轉換后的話單導入到所述中間庫； 所述中間庫用來存放從所述話單批量入庫接口機導入的話單；
所述查詢分析庫用來存放從所述中間庫抽取的話單。
所述中間庫設置有至少一個分表，用來存放從所述話單批量入庫接口機導入的話 單；所述查詢分析庫設置有至少一個分表，用來存放從中間庫抽取的話單；所述中間 庫和所述査詢分析庫的分表之間存在對應關系；所述對應關系是一對多模式或者一對 一模式。
所述中間庫的每張分表都設置一個自增長的ID,所述自增長的ID用來定位上次抽 取的位置；所述查詢分析庫的分表的關鍵字段上建立有索引；所述查詢分析庫設置有 配置表，所述配置表用于存放上一次抽取結束時，讀取到中間庫每張表被抽取的數(shù)據(jù) 的最大自增ID。
另，本發(fā)明還提供了一種話單入庫的方法，它包括如下步驟 步驟l、話單格式轉換接口機從業(yè)務處理機上下載原始話單；
步驟2、話單格式轉換接口機將原始話單轉化為直接導入的話單格式，然后話單批 量入庫接口機將轉換后的話單導入到中間庫；
步驟3、查詢分析庫定時把中間庫的數(shù)據(jù)抽取到査詢分析庫。
所述話單格式轉換接口機對原始換單進行轉換的具體步驟包括所述話單格式轉 換接口機對原始換單進行轉換，將原始話單中的話單信息按照所述中間庫中的分表的 字段順序進行重新排列，轉換完畢后刪除業(yè)務處理解上下載的原始話單。
所述話單批量入庫接口機將轉換后的話單導入到所述中間庫的具體步驟包括所 述話單批量入庫接口機將轉換后的話單用數(shù)據(jù)庫系統(tǒng)提供的數(shù)據(jù)快速批量導入方式導 入到中間庫。
所述步驟3的具體歩驟包括
抽取開始，讀取當前時間；
判斷一，判斷所述配置表中的最大自增ID是否小于要抽取的中間庫中分表的最大
自增ID;如果小于，進入下一個步驟，否則跳轉到判斷二步驟； 開始本次時間單位對應的中間表的抽取； 抽取結束，更新配置表中對應的最大ID;
判斷二，判斷是否處理到前N個時間單位的表，如果是則結束本次抽取，否則跳 轉到判斷一步驟。
上述步驟中開始本次時間單位對應的中間表的抽取，具體步驟包括根據(jù)時間和上次抽取的最大自增ID進行數(shù)據(jù)抽取即組裝語句，在組裝語句時，對中間庫中原始數(shù) 據(jù)的字段進行取舍和順序調整。
采用本發(fā)明所述技術方案使得查詢與入庫速度得到平衡，因為數(shù)據(jù)在同一個數(shù)據(jù) 庫內部進行抽取，其操作速度非?？?，所以采用了中間庫模式，這樣就解決了索引帶 來的入庫速度慢的問題。不同的査詢分析庫可以從同一個中間庫中抽取合成各自所需 的話單數(shù)據(jù)，不需要為每一種査詢分析庫獨立設計中間庫或者從原始話單文件提取數(shù) 據(jù)，從而達到各種系統(tǒng)下分析統(tǒng)計的不同要求，對話單文件進行不同數(shù)據(jù)結構的快速 入庫和采集，使得各種數(shù)據(jù)庫系統(tǒng)都可以適用于本發(fā)明，具有較強的通用性。


圖1為本發(fā)明話單入庫的系統(tǒng)圖。
圖2為本發(fā)明數(shù)據(jù)從接口機入庫中間庫的流程圖。
圖3為本發(fā)明數(shù)據(jù)從中間庫抽取到査詢分析庫的流程圖。
具體實施例方式
本發(fā)明采取了一種利用中間庫轉換數(shù)據(jù)的思路，來提高入庫速度，降低話單入庫 的耦合性，即在話單服務器的數(shù)據(jù)庫系統(tǒng)上建立兩個庫， 一個臨時庫稱之為"中間庫"， 一個最終供查詢、統(tǒng)計、分析的庫稱之為"查詢分析庫"。
本發(fā)明是基于如下原因提出了該技術方案
(1) 因為數(shù)據(jù)庫內部的批量數(shù)據(jù)從一個庫到另一個庫以抽取方式如"insert into...select...from"導入非?？?，速度受索引影響相對較小，所以，將入庫到査詢的一 套系統(tǒng)劃分成兩部分中間庫和查詢分析庫，而且如果兩個庫又都建立在同一個數(shù)據(jù) 庫系統(tǒng)下，數(shù)據(jù)的抽取速度可大幅提高。
(2) 因為使用了中間庫的模式，而中間庫不帶索引，話單文件批量導入到中間庫 其速度非?？?，大大降低了話單增長速度大于入庫速度的幾率，提高了話單入庫的速 度。
(3) 對于不同需求的査詢分析庫，可以根據(jù)各自的需求建立必要的索引，從而降 低了索引數(shù)量，提高了查詢分析速度。
中間庫和査詢分析庫內部需要建立分表以存放話單數(shù)據(jù)，具體說明如下
中間庫和查詢分析庫可根據(jù)數(shù)據(jù)量和各種不同需求按天、周、月來建立分表，中間庫和查詢分析庫中表的數(shù)量也可以根據(jù)入庫需要、數(shù)據(jù)庫性能以及轉化的復雜性來 調節(jié)。比如數(shù)據(jù)量大或復雜性大，可以較小的時間單位為依據(jù)分表，如R表；數(shù)據(jù)量 小或復雜性小，可以較大的時間單位為依據(jù)分表，如月表。
設計中間庫和查詢分析庫的分表模式，原則是要這兩個庫的表之間有對應關系(可 以是中間庫對查詢分析庫為一對多也可以中間庫對査詢分析庫是一對一的模式)，以方 便中間庫到查詢分析庫的抽取，例如采取中間庫31張日表，查詢分析庫31*12=372張 日表的模式，此模式為一對多的映射，中間庫的31張表對應每個月的31天，査詢分 析庫的372張表是對應每個月為31天有12個月一共372天，中間庫日表中的數(shù)據(jù)是 變化的，數(shù)據(jù)按照日期實時對應所在查詢分析庫中的表。這種模式可以應用在話單量 很大的系統(tǒng)，而且方便話單的轉化抽取。
下面結合附圖對本發(fā)明一種話單入庫的系統(tǒng)進行說明，見圖1。 一種話單入庫的系 統(tǒng)，它包括業(yè)務處理機、話單格式轉換接口機、話單批量入庫接口機、中間庫和査 詢分析庫。所述業(yè)務處理機存放多個原始話單文件，話單格式轉換接口機用來從業(yè)務 處理機下載話單文件并將原始話單文件進行格式轉換，話單批量入庫接口機將轉換后 的批量話單入庫中間庫，中間庫用來存放從接口機導入的話單數(shù)據(jù)，査詢分析庫用來 存放按照査詢分析需求從中間庫抽取的數(shù)據(jù)，并提供具體査詢分析功能。
根據(jù)圖1所示，話單入庫的方法可描述為如下步驟
(1) 話單格式轉換接口機從業(yè)務處理機上下載原始話單；
(2) 話單格式轉換接口機將原始話單轉化為可以直接導入的話單格式，然后話單 批量入庫接口機用各種數(shù)據(jù)庫系統(tǒng)提供的數(shù)據(jù)快速批量導入方式將話單文件逐一導入 到中間庫，但是這樣的導入沒有索引；
(3) 査詢分析庫以數(shù)據(jù)庫中的定時作業(yè)的方式，定時把中間庫的話單數(shù)據(jù)以抽取
方式如"insert into…select…from"查詢插入到對應的分表中，并且實際操作
時可在查詢分析庫的表中的關鍵字段上(如計費號碼)建立索引，以提高查詢分析效 率；
對于所有的話單數(shù)據(jù)，步驟(1)、 (2)、 (3)是實時定時并行執(zhí)行的，每一個步驟 是獨立的，不需要前面一個步驟的響應，會連續(xù)處理各自的工作。 下面就這個方案對每一步的實施方式進行詳細說明 實施例一
話單入庫中間庫，見圖2: (1)準備工作，在中間庫建立需求數(shù)量的表，可以是日表，周表，月表。每張表都設置一個自增長的ID，以供每次査詢分析庫來抽取時定位上次抽取的位置。
(2) 話單格式轉換接口機從業(yè)務處理機上下載原始話單。
(3) 話單格式轉換接口機對原始換單進行轉換，將原始話單中的話單信息按照中 間庫中的分表的字段順序進行重新排列，以方便批量導入，轉換完畢后刪除業(yè)務處理 解上下載的原始話單。
(4)話單批量入庫接口機將轉換好的話單文件用數(shù)據(jù)庫系統(tǒng)提供的數(shù)據(jù)快速批量 導入方式入庫，如ORACLE數(shù)據(jù)庫下的SQL LOAD方式以及SQL SERVER數(shù)據(jù)庫下的BULK INSERT方式，這些入庫的數(shù)據(jù)在相應的表上都沒有索引。
實施例二
中間庫抽取數(shù)據(jù)到査詢分析庫，見圖3: (1)準備工作，査詢分析庫對應中間庫建立不同日表、周表、月表，以適應不同 話單査詢統(tǒng)計需求，并在這些表的關鍵字段上建立適當類型的索引(盡量根據(jù)查詢分
析統(tǒng)計的需求減少索引數(shù)量)以提高查詢分析速度；建立一張配置表，用于存放上一 次抽取結束時，讀取到中間庫每張表被抽取的數(shù)據(jù)的最大"自增ID"(可以是兩個字段， 一個字段記錄生產(chǎn)庫中被抽取的表的表名， 一個字段記錄上次該表被抽取數(shù)據(jù)最大"自 增ID")。
在數(shù)據(jù)庫系統(tǒng)中建立一個定時作業(yè)，以執(zhí)行抽取工作，可以根據(jù)實際的話務量配 置作業(yè)運行的時間間隔，正常在10分鐘左右，這樣可以做到話單的實時入庫及實時査 詢分析。
(2) 這個抽取作業(yè)在某時刻開始工作，讀取當前日期，根據(jù)當前日期決定要從中 間庫的哪一張表開始抽取以及抽取的數(shù)據(jù)放到查詢庫的哪一張表中去，考慮到異常情 況(如數(shù)據(jù)庫服務異常停止這些極端情況)，每次抽取向前退N個日期單位抽取，也就 是從當前日期開始抽取，抽取近N個日期單位的所有話單入庫。
(3) 在每一次日期單位對應的抽取開始前判斷配置表中的上次這個日期單位抽取 的最大"自增ID"是否小于要抽取的中間庫表的最大"自增ID"，如果小于則進入步 驟(4)，否則進入步驟(6)判斷。
(4) 開始本次日期單位對應的表的抽取根據(jù)日期和上次抽取的最大"自增ID" 進行數(shù)據(jù)抽取即組裝語句，在組裝"insert into... select... from"語句時，可以對中間庫 中原始數(shù)據(jù)的字段進行相應取舍，以及順序上調整(例如查詢分析庫中只需要統(tǒng)計分 析話單的費用信息，就只需要從中間庫中選擇出用戶號碼及其相關的費用信息到查詢 分析庫中)，以適應各種查詢，統(tǒng)計和分析的需求。(5) —次日期單位對應的抽取結束，更新配置表中對應的最大ID，保證下一抽取 從上次抽取的最后一條數(shù)據(jù)開始。
(6) 判斷是否已經(jīng)處理到前N個時間單位的表，如果是，則結束抽取，否則，丌 始進行對應下一個時間單位的表的抽取，即回到歩驟(3)。
同現(xiàn)有的技術相比較，本發(fā)明具有如下特點-
(1) 查詢與入庫速度得到平衡，因為采用了中間庫模式，而數(shù)據(jù)在同一個數(shù)據(jù)庫 內部進行抽取，其操作速度非?？?，這樣就解決了索引帶來的入庫速度慢的問題。并 且可以根據(jù)不同的査詢，統(tǒng)計，分析需求在最終的查詢分析庫中因地制宜的建立各自 所需的索引，有效降低索引數(shù)量，而且有效提高系統(tǒng)速度。
(2) 低耦合性，話單入庫采取中間庫+中間表的轉化機制，因此話單在中間庫就 存在一個可轉換性，即在查詢分析庫對中間庫的話單進行抽取時，對話單內容進行各 種不同的組織，轉化分發(fā)到不同的査詢分析庫中。
(3) 通用性，因為只采取分表的策略，而不需要數(shù)據(jù)庫提供對單張表的分區(qū)管理 功能，所以本發(fā)明可以適用于各種數(shù)據(jù)庫系統(tǒng)，具有較強的通用性。
(4) 性價比高，這樣的批量導入結合中間轉換抽取的方式，不需要提供服務的數(shù) 據(jù)庫有很高的性能，只要數(shù)據(jù)庫所在的硬件環(huán)境有一定的性能就可以正常在大話務量
下運轉，節(jié)約了軟件成本，卻實現(xiàn)了高級功能。
通過本發(fā)明的技術方案，能夠很好的完成每月數(shù)千萬以至上億話單量的業(yè)務管理
系統(tǒng)話單的快速入庫工作，并在此基礎上降低了話單服務器進行話單入庫的耦合性，
使不同的查詢分析庫都可以方便的從中間庫提取數(shù)據(jù)，采集自己需要的話單數(shù)據(jù)進行
査詢、統(tǒng)計以及進一步的分析工作。
以上所述實現(xiàn)方式在各種大話務量下需要話單快速入庫的系統(tǒng)中可以有多種變 化，凡在本發(fā)明的精神和原則之內，所做的任何修改、等同替換、改進等，均應包含 在本發(fā)明的保護范圍之內。
9
權利要求
1、一種話單入庫的系統(tǒng)，它包括業(yè)務處理機，其特征在于，它還包括話單格式轉換接口機、話單批量入庫接口機、中間庫和查詢分析庫；所述話單格式轉換接口機用來從業(yè)務處理機上下載原始話單并將原始話單進行格式轉換；所述話單批量入庫接口機用來將格式轉換后的話單導入到所述中間庫；所述中間庫用來存放從所述話單批量入庫接口機導入的話單；所述查詢分析庫用來存放從所述中間庫抽取的話單。
2、 按照權利要求1所述的系統(tǒng)，其特征在于所述中間庫設置有至少一個分表， 用來存放從所述話單批量入庫接口機導入的話單；所述査詢分析庫設置有至少一個分 表，用來存放從中間庫抽取的話單；所述中間庫和所述査詢分析庫的分表之間存在對 應關系；所述對應關系是一對多模式或者一對一模式。
3、 按照權利要求2所述的系統(tǒng)，其特征在于所述中間庫的每張分表都設置一個 自增長的ID，所述自增長的ID用來定位上次抽取的位置；所述査詢分析庫的分表的關 鍵字段上建立有索引；所述查詢分析庫設置有配置表，所述配置表用于存放上一次抽 取結束吋，讀取到中間庫每張表被抽取的數(shù)據(jù)的最大自增ID。
4、 一種話單入庫的方法，其特征在于，它包括如下步驟 步驟l、話單格式轉換接口機從業(yè)務處理機上下載原始話單；步驟2、話單格式轉換接口機將原始話單轉化為直接導入的話單格式，然后話單批量入庫接口機將轉換后的話單導入到中間庫；步驟3、査詢分析庫定時把中間庫的數(shù)據(jù)抽取到查詢分析庫。
5、 按照權利要求4所述的方法，其特征在于所述中間庫設置有至少一個分表， 用來存放從所述話單批量入庫接口機導入的話單；所述査詢分析庫設置有至少一個分 表，用來存放從中間庫抽取的話單；所述中間庫和所述查詢分析庫的分表之間存在對 應關系；所述對應關系是一對多模式或者一對一模式。
6、 按照權利要求4所述的方法，其特征在于所述中間庫的每張分表都設置 -個 自增長的ID，所述自增長的ID用來定位上次抽取的位置；所述查詢分析庫的分表的關 鍵字段上建立有索引；所述查詢分析庫設置有配置表，所述配置表用于存放上一次抽 取結束時，讀取到中間庫每張表被抽取的數(shù)據(jù)的最大自增ID。
7、 按照權利要求4所述的方法，其特征在于所述話單格式轉換接口機對原始換單進行轉換的具體步驟包括所述話單格式轉換接口機對原始換單進行轉換，將原始 話單中的話單信息按照所述中間庫中的分表的字段順序進行重新排列，轉換完畢后刪除業(yè)務處理機上下載的原始話單。
8、 按照權利要求4所述的方法，其特征在于所述話單批量入庫接口機將轉換后 的話單導入到所述中間庫的具體步驟包括所述話單批量入庫接口機將轉換后的話單 用數(shù)據(jù)庫系統(tǒng)提供的數(shù)據(jù)快速批量導入方式導入到所述中間庫。
9、 按照權利要求4所述的方法，其特征在于所述步驟3的具體步驟包括 抽取開始，讀取當前時間；判斷一，判斷所述配置表中的最大自增ID是否小于要抽取的中間庫中分表的最大 自增ID;如果小于，進入下一個步驟，否則跳轉到判斷二步驟； 開始本次時間單位對應的中間表的抽?。?抽取結束，更新配置表中對應的最大ID;判斷二，判斷是否處理到前N個時間單位的表，如果是則結束本次抽取，否則跳 轉到判斷一步驟。
10、 按照權利要求9所述的方法，其特征在于所述步驟中開始本次時間單位對 應的中間表的抽取，具體步驟包括根據(jù)本次判斷的時間和上次抽取的最大自增ID進 行數(shù)據(jù)抽取即組裝語句，在組裝語句時，對中間庫中原始數(shù)據(jù)的字段進行取舍和順序 調整。
全文摘要
本發(fā)明公開了一種話單入庫的系統(tǒng)及方法，該系統(tǒng)包括業(yè)務處理機、話單格式轉換接口機、話單批量入庫接口機、中間庫和查詢分析庫；話單格式轉換接口機用來從業(yè)務處理機上下載原始話單并將原始話單進行格式轉換，話單批量入庫接口機用來將話單導入到中間庫，中間庫用來存放導入的話單；查詢分析庫用來存放抽取的話單。話單入庫的方法步驟是，首先話單格式轉換接口機從業(yè)務處理機上下載原始話單，并將原始話單進行格式轉換，然后話單批量入庫接口機將轉換后的話單導入到中間庫，最后查詢分析庫從中間庫定時抽取數(shù)據(jù)。該發(fā)明用于解決海量話單快速實時入庫和提高用戶查詢速度的矛盾，降低了整個話單入庫過程的耦合性。
文檔編號H04M15/00GK101478622SQ20081024198
公開日2009年7月8日 申請日期2008年12月31日 優(yōu)先權日2008年12月31日
發(fā)明者嚴鵬翔 申請人:中興通訊股份有限公司