一種信令數(shù)據(jù)的預(yù)處理方法
【專利摘要】本發(fā)明公開了一種信令數(shù)據(jù)的預(yù)處理方法，包括以下步驟：監(jiān)測信令采集層的FTP接口機(jī)的新增信令文件、信令數(shù)據(jù)傳輸?shù)叫帕罟蚕韺拥腂uffer、Buffer中信令數(shù)據(jù)清洗和轉(zhuǎn)換。該一種信令數(shù)據(jù)的預(yù)處理方法與現(xiàn)有技術(shù)相比，信令數(shù)據(jù)從信令采集層傳輸?shù)叫帕罟蚕韺釉趯懭胛募凹催M(jìn)行數(shù)據(jù)預(yù)處理操作，避免信令文件在預(yù)處理過程中的二次讀取，有效節(jié)省了整個(gè)信令數(shù)據(jù)處理的時(shí)間，實(shí)用性強(qiáng)。
【專利說明】一種信令數(shù)據(jù)的預(yù)處理方法

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及移動通信行業(yè)信令監(jiān)測技術(shù)，具體地說是一種實(shí)用性強(qiáng)、信令數(shù)據(jù)的預(yù)處理方法。

【背景技術(shù)】
[0002]移動通信網(wǎng)絡(luò)的發(fā)展不斷增速，網(wǎng)絡(luò)內(nèi)各類設(shè)備混合組網(wǎng)，網(wǎng)絡(luò)結(jié)構(gòu)日趨復(fù)雜，網(wǎng)內(nèi)業(yè)務(wù)種類也不斷更新，隨著網(wǎng)絡(luò)規(guī)模不斷擴(kuò)大、用戶數(shù)量增加，每分鐘都會產(chǎn)生大量的信令數(shù)據(jù)，對信令信息的采集、存庫和處理效率等都提出了更高的要求。
[0003]在一個(gè)通信信令監(jiān)測平臺中，信令采集層，主要是從移動通信網(wǎng)中取得原始的信令數(shù)據(jù)，并向匯聚設(shè)備傳送所需的數(shù)據(jù)，通過分流、分光、分路等方式，實(shí)現(xiàn)對現(xiàn)網(wǎng)中傳送的原始信令編碼的采集，并在采用規(guī)定的格式進(jìn)行封裝后向信令共享層傳送，以備解析處理，具備一定的存儲能力。信令共享層，主要功能是接收從采集層匯聚設(shè)備發(fā)送到來的信令數(shù)據(jù)，進(jìn)行數(shù)據(jù)清洗按照特定格式入庫，并對全量信令數(shù)據(jù)進(jìn)行解析。
[0004]按照傳統(tǒng)的技術(shù)架構(gòu)，信令數(shù)據(jù)在信令采集層主要匯總到[嚇①丨匕1以118？61~^1-0^0001)接口機(jī)上，每當(dāng)有新的信令數(shù)據(jù)文件的被生成的時(shí)候，都要將信令文件由接口機(jī)通過冗？傳輸協(xié)議傳送到數(shù)據(jù)共享層，然后再重新讀取傳輸過來的信令文件進(jìn)行數(shù)據(jù)清洗等預(yù)處理。由于移動用戶的增長和通信業(yè)務(wù)的擴(kuò)展，信令數(shù)據(jù)會越來越大，傳統(tǒng)方法難以滿足實(shí)時(shí)性處理的需求，基于此，現(xiàn)提供一種可有效解決上述難題的信令數(shù)據(jù)的預(yù)處理方法，該方法避免信令文件在預(yù)處理過程中的二次讀取，有效節(jié)省了整個(gè)信令數(shù)據(jù)處理的時(shí)間。


【發(fā)明內(nèi)容】

[0005]本發(fā)明的技術(shù)任務(wù)是針對以上不足之處，提供一種實(shí)用性強(qiáng)、信令數(shù)據(jù)的預(yù)處理方法。
[0006]一種信令數(shù)據(jù)的預(yù)處理方法，其具體實(shí)現(xiàn)過程為:
1?監(jiān)測信令采集層的接口機(jī)的新增信令文件；
2)信令數(shù)據(jù)傳輸?shù)叫帕罟蚕韺拥?11打:信令數(shù)據(jù)傳輸?shù)叫帕罟蚕韺又笆紫葘懭氲?11打中暫存，然后信令數(shù)據(jù)采用協(xié)議傳輸；
3)81:^61-中信令數(shù)據(jù)清洗和轉(zhuǎn)換:匹配811打中暫存的信令數(shù)據(jù)的換行符，獲取一行數(shù)據(jù)，對每行數(shù)據(jù)進(jìn)行字段分割，然后獲取字段清洗轉(zhuǎn)換規(guī)則對每行數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗和轉(zhuǎn)換操作，然后將清洗和轉(zhuǎn)換之后的數(shù)據(jù)寫入到信令共享層本地文件；
4)釋放內(nèi)存811打跳轉(zhuǎn)到步驟1),繼續(xù)對信令采集層的接口機(jī)進(jìn)行新增文件的監(jiān)控。
[0007]所述步驟1)的詳細(xì)過程為:定時(shí)監(jiān)控信令采集層？I？接口機(jī)中是否有新的信令文件生成，如果有則獲取新增的文件名稱，在信令共享層的存儲中新建同名信令文件，然后啟動數(shù)據(jù)抽取任務(wù)。
[0008]所述步驟2)的詳細(xì)過程為:
一、在信令共享層開辟一塊內(nèi)存811打61~；
二、通過傳輸協(xié)議將信令采集層接口機(jī)中的新增文件通過數(shù)據(jù)流的形式傳輸?shù)絻?nèi)存811打61~中，填滿811打61'，然后執(zhí)行步驟3中的數(shù)據(jù)進(jìn)行清洗和轉(zhuǎn)換；如果未填滿，說明信令采集層中的信令文件已經(jīng)讀取完畢，然后執(zhí)行步驟3)和步驟4)；
三、當(dāng)信令采集層信令文件未讀取完畢:通過尋找換行符的方式獲取存儲在內(nèi)存中的一行信令數(shù)據(jù)，如果811打61~中的數(shù)據(jù)不滿一行則清空811打61'，將這些不滿一行的數(shù)據(jù)重新存儲在811打中，然后執(zhí)行步驟一，否則執(zhí)行步驟四；
信令采集層信令文件讀取完畢:通過尋找換行符的方式獲取存儲在內(nèi)存81！打虹中的一行信令數(shù)據(jù)，如果811打中的數(shù)據(jù)滿足一行，執(zhí)行步驟四，否則將未滿一行的信令數(shù)據(jù)寫入到錯(cuò)誤日志中，然后跳轉(zhuǎn)到步驟4)；
四、將獲取的一行數(shù)據(jù)按照字段分割符分割字段。
[0009]所述步驟3)的詳細(xì)過程為:獲取信令數(shù)據(jù)清洗轉(zhuǎn)換規(guī)則，對字段分割之后的數(shù)據(jù)進(jìn)行字段清洗和轉(zhuǎn)換，轉(zhuǎn)換成功則將這行數(shù)據(jù)以文件流的形式寫到步驟1)新建的信令文件中，轉(zhuǎn)換失敗則將錯(cuò)誤原因?qū)懙藉e(cuò)誤日志中；當(dāng)信令采集層信令文件未讀取完畢，最后跳轉(zhuǎn)到步驟三，否則跳轉(zhuǎn)到步驟4?。本發(fā)明的一種信令數(shù)據(jù)的預(yù)處理方法，具有以下優(yōu)點(diǎn):
該發(fā)明的一種信令數(shù)據(jù)的預(yù)處理方法可以縮短整個(gè)信令預(yù)處理的流程，提高處理效率；信令數(shù)據(jù)從信令采集層傳輸?shù)叫帕罟蚕韺釉趯懭胛募凹催M(jìn)行數(shù)據(jù)預(yù)處理操作，避免信令文件在預(yù)處理過程中的二次讀取，有效節(jié)省了整個(gè)信令數(shù)據(jù)處理的時(shí)間，實(shí)用性強(qiáng)，適用范圍廣泛，易于推廣。

【專利附圖】

【附圖說明】
[0010]附圖1為本發(fā)明預(yù)處理實(shí)現(xiàn)流程圖。

【具體實(shí)施方式】
[0011]下面結(jié)合附圖和具體實(shí)施例對本發(fā)明作進(jìn)一步說明。
[0012]傳統(tǒng)的信令文件由信令采集層的？I？接口機(jī)傳輸?shù)叫帕罟蚕韺又螅俅巫x取傳輸過來的信令文件，對信令進(jìn)行清洗和轉(zhuǎn)換的操作，本發(fā)明提出一種信令數(shù)據(jù)的預(yù)處理方法，該方法考慮到信令從冗？接口機(jī)傳輸?shù)叫帕罟蚕韺訒陆ㄎ募鲗鬏斶^來的數(shù)據(jù)通過文件流寫入到文件的特點(diǎn)，在數(shù)據(jù)寫入文件之前首先寫入到內(nèi)存811打中，對內(nèi)存
中的數(shù)據(jù)進(jìn)行清洗等預(yù)處理，然后將811打中的數(shù)據(jù)通過文件流寫入到數(shù)據(jù)共享層的文件，該方法可以縮短整個(gè)信令預(yù)處理的流程，提高處理效率。即信令數(shù)據(jù)從信令采集層傳輸?shù)叫帕罟蚕韺釉趯懭胛募凹催M(jìn)行數(shù)據(jù)預(yù)處理操作，避免信令文件在預(yù)處理過程中的二次讀取，有效節(jié)省了整個(gè)信令數(shù)據(jù)處理的時(shí)間。如附圖1所示，其具體實(shí)現(xiàn)過程為:
1)監(jiān)測信令采集層的接口機(jī)的新增信令文件；
2)信令數(shù)據(jù)傳輸?shù)叫帕罟蚕韺拥?11打:信令數(shù)據(jù)傳輸?shù)叫帕罟蚕韺又笆紫葘懭氲?11打中暫存，然后信令數(shù)據(jù)采用協(xié)議傳輸；
3)81:^61-中信令數(shù)據(jù)清洗和轉(zhuǎn)換:匹配811打中暫存的信令數(shù)據(jù)的換行符，獲取一行數(shù)據(jù)，對每行數(shù)據(jù)進(jìn)行字段分割，然后獲取字段清洗轉(zhuǎn)換規(guī)則對每行數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗和轉(zhuǎn)換操作，然后將清洗和轉(zhuǎn)換之后的數(shù)據(jù)寫入到信令共享層本地文件；
4)釋放內(nèi)存811打跳轉(zhuǎn)到步驟1 ),繼續(xù)對信令采集層的接口機(jī)進(jìn)行新增文件的監(jiān)控。
[0013]進(jìn)一步的，上述步驟的詳細(xì)過程為:
1、定時(shí)監(jiān)控信令采集層冗？接口機(jī)中是否有新的信令文件生成，如果有則獲取新增的文件名稱，在信令共享層的存儲中新建同名信令文件，然后啟動數(shù)據(jù)抽取任務(wù)；
2、在信令共享層開辟一塊內(nèi)存811打；
3、通過傳輸協(xié)議將信令采集層接口機(jī)中的新增文件通過數(shù)據(jù)流的形式傳輸?shù)絻?nèi)存811打61~中，填滿811打61'，然后執(zhí)行步驟4-6對811打61~中的數(shù)據(jù)進(jìn)行清洗和轉(zhuǎn)換；如果未填滿，說明信令采集層中的信令文件已經(jīng)讀取完畢，然后執(zhí)行步驟4-7 ；
4、信令采集層信令文件未讀取完畢:通過尋找換行符的方式獲取存儲在內(nèi)存81！打虹中的一行信令數(shù)據(jù)，如果811打中的數(shù)據(jù)不滿一行則清空811打61'，將這些不滿一行的數(shù)據(jù)重新存儲在811打中，然后執(zhí)行步驟3，否則執(zhí)行步驟5 ；
信令采集層信令文件讀取完畢:通過尋找換行符的方式獲取存儲在內(nèi)存81！打虹中的一行信令數(shù)據(jù)，如果811打中的數(shù)據(jù)滿足一行，執(zhí)行步驟5，否則將未滿一行的信令數(shù)據(jù)寫入到錯(cuò)誤日志中，然后跳轉(zhuǎn)到步驟7 ；
5、將獲取的一行數(shù)據(jù)按照字段分割符分割字段；
6、獲取信令數(shù)據(jù)清洗轉(zhuǎn)換規(guī)則，對字段分割之后的數(shù)據(jù)進(jìn)行字段清洗和轉(zhuǎn)換，轉(zhuǎn)換成功則將這行數(shù)據(jù)以文件流的形式寫到步驟1新建的信令文件中，轉(zhuǎn)換失敗則將錯(cuò)誤原因?qū)懙藉e(cuò)誤日志中；
如果信令采集層信令文件未讀取完畢，最后跳轉(zhuǎn)到步驟4，否則跳轉(zhuǎn)到步驟7 ；
7、釋放內(nèi)存811打跳轉(zhuǎn)到步驟1，繼續(xù)對信令采集層的接口機(jī)進(jìn)行新增文件的監(jiān)控。
[0014]上述【具體實(shí)施方式】僅是本發(fā)明的具體個(gè)案，本發(fā)明的專利保護(hù)范圍包括但不限于上述【具體實(shí)施方式】，任何符合本發(fā)明的一種信令數(shù)據(jù)的預(yù)處理方法的權(quán)利要求書的且任何所述【技術(shù)領(lǐng)域】的普通技術(shù)人員對其所做的適當(dāng)變化或替換，皆應(yīng)落入本發(fā)明的專利保護(hù)范圍。
【權(quán)利要求】
1.一種信令數(shù)據(jù)的預(yù)處理方法，其特征在于，其具體實(shí)現(xiàn)過程為: O監(jiān)測信令采集層的FTP接口機(jī)的新增信令文件； 2)信令數(shù)據(jù)傳輸?shù)叫帕罟蚕韺拥腂uffer:信令數(shù)據(jù)傳輸?shù)叫帕罟蚕韺又笆紫葘懭氲紹uffer中暫存，然后信令數(shù)據(jù)采用FTP協(xié)議傳輸； 3)Buffer中信令數(shù)據(jù)清洗和轉(zhuǎn)換:匹配Buffer中暫存的信令數(shù)據(jù)的換行符，獲取一行數(shù)據(jù)，對每行數(shù)據(jù)進(jìn)行字段分割，然后獲取字段清洗轉(zhuǎn)換規(guī)則對每行數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗和轉(zhuǎn)換操作，然后將清洗和轉(zhuǎn)換之后的數(shù)據(jù)寫入到信令共享層本地文件； 4)釋放內(nèi)存Buffer，跳轉(zhuǎn)到步驟I)，繼續(xù)對信令采集層的FTP接口機(jī)進(jìn)行新增文件的監(jiān)控。
2.根據(jù)權(quán)利要求1所述的一種信令數(shù)據(jù)的預(yù)處理方法，其特征在于，所述步驟I)的詳細(xì)過程為:定時(shí)監(jiān)控信令采集層FTP接口機(jī)中是否有新的信令文件生成，如果有則獲取新增的文件名稱，在信令共享層的存儲中新建同名信令文件，然后啟動數(shù)據(jù)抽取任務(wù)。
3.根據(jù)權(quán)利要求2所述的一種信令數(shù)據(jù)的預(yù)處理方法，其特征在于，所述步驟2)的詳細(xì)過程為: 一、在信令共享層開辟一塊內(nèi)存Buffer； 二、通過FTP傳輸協(xié)議將信令采集層FTP接口機(jī)中的新增文件通過數(shù)據(jù)流的形式傳輸?shù)絻?nèi)存Buffer中，填滿Buffer，然后執(zhí)行步驟3)對Buffer中的數(shù)據(jù)進(jìn)行清洗和轉(zhuǎn)換；如果Buffer未填滿，說明信令采集層中的信令文件已經(jīng)讀取完畢，然后執(zhí)行步驟3)和步驟4); 三、當(dāng)信令采集層信令文件未讀取完畢:通過尋找換行符的方式獲取存儲在內(nèi)存Buffer中的一行信令數(shù)據(jù)，如果Buffer中的數(shù)據(jù)不滿一行則清空Buffer，將這些不滿一行的數(shù)據(jù)重新存儲在Buffer中，然后執(zhí)行步驟一，否則執(zhí)行步驟四； 信令采集層信令文件讀取完畢:通過尋找換行符的方式獲取存儲在內(nèi)存Buffer中的一行信令數(shù)據(jù)，如果Buffer中的數(shù)據(jù)滿足一行，執(zhí)行步驟四，否則將未滿一行的信令數(shù)據(jù)寫入到錯(cuò)誤日志中，然后跳轉(zhuǎn)到步驟4); 四、將獲取的一行數(shù)據(jù)按照字段分割符分割字段。
4.根據(jù)權(quán)利要求3所述的一種信令數(shù)據(jù)的預(yù)處理方法，其特征在于，所述步驟3)的詳細(xì)過程為:獲取信令數(shù)據(jù)清洗轉(zhuǎn)換規(guī)則，對字段分割之后的數(shù)據(jù)進(jìn)行字段清洗和轉(zhuǎn)換，轉(zhuǎn)換成功則將這行數(shù)據(jù)以文件流的形式寫到步驟I)新建的信令文件中，轉(zhuǎn)換失敗則將錯(cuò)誤原因?qū)懙藉e(cuò)誤日志中；當(dāng)信令采集層信令文件未讀取完畢，最后跳轉(zhuǎn)到步驟三，否則跳轉(zhuǎn)到步驟4)0
【文檔編號】H04W24/02GK104507107SQ201410791579
【公開日】2015年4月8日 申請日期:2014年12月19日 優(yōu)先權(quán)日:2014年12月19日
【發(fā)明者】曹連超, 辛國茂, 亓開元, 李占強(qiáng), 劉偉, 盧軍佐 申請人:浪潮電子信息產(chǎn)業(yè)股份有限公司