本發(fā)明涉及光纖探測領(lǐng)域，尤其是涉及一種用于光纖安防大數(shù)據(jù)存儲的方法。
背景技術(shù)：
當(dāng)今世界，恐怖組織和恐怖分子活動日益頻繁，各種社會不穩(wěn)定因素不斷上升，國家安全和國民財產(chǎn)安全面臨極大的挑戰(zhàn)，各種可以預(yù)見和難以預(yù)見的風(fēng)險因素明顯增多。
伴隨著安全國家、安全城市以及智慧城市的建設(shè)，當(dāng)前周界安全呈現(xiàn)出越來越重要的地位。以分布式光纖傳感為基礎(chǔ)的周界安防監(jiān)測系統(tǒng)，正顯示出比傳統(tǒng)周界安防更加優(yōu)越的性能。
當(dāng)前的光纖周界安防系統(tǒng)，需要7X24小時連續(xù)不中斷的進(jìn)行工作，如實記錄周界覆蓋范圍發(fā)生的一切信息。如果采樣點是5000（覆蓋50Km），采樣頻率為2k，即2048byte/s，每個采樣數(shù)據(jù)是一個SHORT類型（2字節(jié)），那么對于2個通道，每秒鐘產(chǎn)生的數(shù)據(jù)量為：5000*2048*2*2=40960000字節(jié)=40000k字節(jié)；
每天的數(shù)據(jù)量為：
40000*3600*24=3456000000k=3TB；
每月的數(shù)據(jù)量為：
3TB*30=90TB。
如果由于安防的需要，增加采樣頻率，以便于能更加準(zhǔn)確的采集到現(xiàn)場的原始數(shù)據(jù)，那么這些數(shù)據(jù)量將是非常驚人的?？陀^上，龐大的數(shù)據(jù)不僅增加了硬件的成本，而且也不便于數(shù)據(jù)管理以及進(jìn)行后期的查詢。
即使是龐大的數(shù)據(jù)，但是對于客戶來講可能大部分信息是無效，有效信息可能只分布在一個較短的時間段內(nèi)。按照數(shù)學(xué)統(tǒng)計的說法，信息是呈現(xiàn)冪律分布的，也稱之為信息的密度，往往越高密度的信息對客戶價值越大。所以，這種海量數(shù)據(jù)和實際的有效數(shù)據(jù)之間存在著突出的矛盾。
大數(shù)據(jù)背景下，這種飛速增長的監(jiān)控數(shù)據(jù)，使得傳統(tǒng)監(jiān)控體系架構(gòu)、數(shù)據(jù)的管理方式、數(shù)據(jù)分析應(yīng)用等面臨新的困境。
技術(shù)實現(xiàn)要素：
為了解決上述現(xiàn)有技術(shù)中存在的不足,本發(fā)明提供一種用于光纖安防大數(shù)據(jù)存儲的方法,能夠只保存用戶需要的有效數(shù)據(jù),有效地提高了同等硬件存儲條件下進(jìn)行數(shù)據(jù)存儲的天數(shù),不僅方便用戶查詢,同時降低了成本。
為實現(xiàn)上述發(fā)明目的，本發(fā)明提供的技術(shù)方案如下：
一種用于光纖安防大數(shù)據(jù)存儲的方法，該方法包括以下步驟：
一、采集信號并進(jìn)行緩存：在光纖上選取若干個節(jié)點，對每個節(jié)點的信號進(jìn)行采集，并將各個節(jié)點的信號按照時間順序進(jìn)行緩存；
二、確定有效數(shù)據(jù)：對上一步驟中緩存的信號進(jìn)行分析處理，檢測其中是否存在擾動信號，若存在擾動信號，則為有效數(shù)據(jù)，若不存在擾動信號，則為無效數(shù)據(jù)；
三、保存有效數(shù)據(jù)：將上一步驟中得到的有效數(shù)據(jù)保存至存儲設(shè)備中。
進(jìn)一步地，步驟二中所述的確定有效數(shù)據(jù)的方法包括以下步驟：
Ⅰ、信號處理：對步驟一中緩存的信號進(jìn)行處理，處理的方式包括計算信號差值、計算信號方差和標(biāo)準(zhǔn)差、計算信號相關(guān)度值和計算FFT變換后某個頻段的功率；
Ⅱ、制成瀑布圖：將步驟Ⅰ中所得的信號數(shù)據(jù)作為特征量數(shù)值，分別以距離和時間為X、Y軸形成二維的瀑布圖；
Ⅲ、確定保存數(shù)據(jù)范圍：根據(jù)二維圖像的斑點形態(tài)確定需要保存的原始OTDR數(shù)據(jù)的范圍。
進(jìn)一步地，步驟Ⅲ中確定保存數(shù)據(jù)范圍的方法包括以下步驟：
①、二值化處理：對瀑布圖做二值化處理，使其變成由0和1組成的黑白圖像；
②、獲取輪廓：獲取步驟②中黑白圖像中所有擾動信號的輪廓；
③、記錄及計算輪廓指標(biāo)：記錄和計算步驟③中得到的各項輪廓指標(biāo)；
④、確定保存區(qū)域：設(shè)定輪廓各項指標(biāo)的閾值，將輪廓對應(yīng)的起始時間、結(jié)束時間、起始位置和結(jié)束位置作為需要保存的數(shù)據(jù)區(qū)域。
進(jìn)一步地，在進(jìn)行所述步驟①前對瀑布圖進(jìn)行二維平滑處理
進(jìn)一步地，所述輪廓指標(biāo)包括輪廓自身指標(biāo)和輪廓最小外接矩形的形狀信息，輪廓自身指標(biāo)包括輪廓點數(shù)、輪廓周長和輪廓包圍面積，最小外接矩形的形狀信息包括最小外接矩形的寬度、長度和面積。
進(jìn)一步地，在進(jìn)行步驟③之前，通過輪廓膨脹技術(shù)將輪廓區(qū)域做放大處理。
進(jìn)一步地，在進(jìn)行步驟⑤之后作外接矩形的交叉性判斷,判斷瀑布圖中任意兩個外接矩形是否有交叉,若有交叉,則將兩個外接矩形合并成一個更大的新矩形區(qū)域。
進(jìn)一步地，所述新矩形區(qū)域的起始點位置為兩個外接矩形的起始點的最小值；所述新矩形區(qū)域的終點位置為兩個外接矩形的終點位置的最大值；所述新矩形區(qū)域的開始時刻為兩個外接矩形的開始時刻的最小值；所述新矩形區(qū)域的結(jié)束時刻為兩個外接矩形的結(jié)束時刻的最大值。
進(jìn)一步地，根據(jù)瀑布圖確定并存儲擾動信號的起始時刻、結(jié)束時刻、起始位置和結(jié)束位置的數(shù)據(jù)信息，其中起始時刻：
=-，其中為擾動信號實際發(fā)生時刻，為預(yù)存儲時間；
結(jié)束時刻：
t，其中為擾動信號實際結(jié)束時刻，為額外存儲時間。
根據(jù)上述技術(shù)方案，相比于現(xiàn)有技術(shù)本發(fā)明具有以下優(yōu)點：
1、本發(fā)明只存儲用戶需要的有效數(shù)據(jù)信息，從而使得用戶在使用時更加方便快捷地查找；
2、本發(fā)明剔除了大量的無效數(shù)據(jù)的存儲，大大減少了存儲設(shè)備的占用空間，從而使得存儲設(shè)備能夠存儲更多的有效數(shù)據(jù)，減少了存儲設(shè)備的使用數(shù)目，因此降低了成本；
3、本發(fā)明能夠根據(jù)需要設(shè)定閾值的大小，進(jìn)而調(diào)整靈敏度，進(jìn)而實現(xiàn)監(jiān)控數(shù)據(jù)的靈活性。
附圖說明
圖1是本發(fā)明的工作流程圖。
具體實施方式
下面根據(jù)附圖和具體的實施例對本發(fā)明一種用于光纖安防大數(shù)據(jù)存儲的方法做進(jìn)一步地詳細(xì)闡述，以求更為清楚明了地理解其工作方式和使用步驟，但不能以此來限制本發(fā)明專利的保護(hù)范圍。
一種用于光纖安防大數(shù)據(jù)存儲的方法，該方法包括以下步驟：
一、采集信號并進(jìn)行緩存：在光纖上選取若干個節(jié)點，對每個節(jié)點的信號進(jìn)行采集，并將各個節(jié)點的信號按照時間順序進(jìn)行緩存，以長度為5000m的光纖為例，每1秒采樣100次，采樣點個數(shù)為5000，那么相當(dāng)于每個數(shù)據(jù)點代表1m，第i次t時刻采樣得到1*5000的一個數(shù)組x[t][5000]；
二、確定有效數(shù)據(jù)：對上一步驟中緩存的信號進(jìn)行分析處理，檢測其中是否存在擾動信號，若存在擾動信號，則為有效數(shù)據(jù)，若不存在擾動信號，則為無效數(shù)據(jù)；
三、保存有效數(shù)據(jù)：將上一步驟中得到的有效數(shù)據(jù)保存至存儲設(shè)備中。
步驟二中所述的確定有效數(shù)據(jù)的方法包括以下步驟：
Ⅰ、信號處理：對步驟一中緩存的信號進(jìn)行處理，處理的方式包括計算信號差值、計算信號方差、計算信號相關(guān)度值和計算FFT變換后某個頻段的功率；
1）信號的差值，即本時刻的數(shù)據(jù)減去上一個時刻的數(shù)據(jù)：
d[t][1:5000]=x[t][1:5000]-x[t-1][1:5000] ；
x[t][1:5000]表示5000個采樣點在t時刻的信號，
x[t-1][1:5000]表示5000個采樣點在t-1時刻的信號，
d[t][1:5000]表示5000個采樣點在t時刻的信號差值，即特征量的值。
2）信號的方差，任一光纖位置的信號差值計算公式如下：
n表示在某個位置計算方差數(shù)據(jù)的個數(shù)，表示第i個數(shù)據(jù)，表示n個數(shù)據(jù)的均值
3）相關(guān)度，任一光纖位置的信號相關(guān)度計算公式如下：
其中 表示(i-1)T時刻的原始信號數(shù)值，
表示(i-1-k)T時刻的原始信號數(shù)值，
k表示延遲的采樣周期數(shù)；
4）FFT變換的頻點系數(shù)，任一光纖位置的信號FFT變換計算公式如下：
輸入x(n)為當(dāng)前t時刻之前的第n個信號數(shù)據(jù)。
對于N點序列的離散傅里葉變換（DFT）為：
其中e 是自然對數(shù)的底數(shù)，i是虛數(shù)單位，輸出量為傅里葉變換后各個頻點的系數(shù)。
Ⅱ、制成瀑布圖：將步驟Ⅰ中所得的信號數(shù)據(jù)作為特征量數(shù)值，分別以距離和時間為X、Y軸形成二維的瀑布圖；
Ⅲ、確定保存數(shù)據(jù)范圍：根據(jù)二維圖像的斑點形態(tài)確定需要保存的原始OTDR數(shù)據(jù)的范圍。
步驟Ⅲ中確定保存數(shù)據(jù)范圍的方法包括以下步驟：
①、平滑處理：對瀑布圖進(jìn)行二維平滑處理；
②、二值化處理：采用閾值對瀑布圖做二值化處理，使其變成由0和1組成的黑白圖像；
③、獲取輪廓：獲取步驟②中黑白圖像中所有擾動信號的輪廓；
④、記錄及計算輪廓指標(biāo)：記錄和計算步驟③中得到的輪廓的各項指標(biāo)；
⑤、確定保存區(qū)域：設(shè)定輪廓各項指標(biāo)的閾值，將輪廓對應(yīng)的起始時間、結(jié)束時間、起始位置和結(jié)束位置作為需要保存的數(shù)據(jù)區(qū)域，
輪廓的點數(shù)超過閾值Th1，和/或；
輪廓的周長超過閾值Th2，和/或；
輪廓包圍的面積超過閾值Th3，和/或；
輪廓最小外接矩形的寬度超過閾值Th4，和/或；
輪廓最小外接矩形的高度超過閾值Th5，和/或；
輪廓最小外接矩形的面積超過閾值Th6，和/或；
可以通過設(shè)置Th1～Th6的閾值，來調(diào)節(jié)待保存的數(shù)據(jù)量，如果小的擾動也不保存的話，則可以提高這些數(shù)值，那么數(shù)據(jù)保存量會更加減少，即：可以設(shè)置的非常靈敏，可以剛剛超過底噪，此時保存的數(shù)據(jù)較全面；可以設(shè)置的中等靈敏，即過濾掉很小的擾動，例如1~2級風(fēng)產(chǎn)生的擾動，保存的有效數(shù)據(jù)量就會減小。
所述輪廓指標(biāo)包括輪廓自身指標(biāo)和輪廓最小外接矩形的形狀信息，輪廓自身指標(biāo)包括輪廓點數(shù)、輪廓周長和輪廓包圍面積，最小外接矩形的形狀信息包括最小外接矩形的寬度、長度和面積。
在進(jìn)行步驟③之前，通過輪廓膨脹技術(shù)將輪廓區(qū)域做放大處理。
在進(jìn)行步驟⑤之后作外接矩形的交叉性判斷,判斷瀑布圖中任意兩個外接矩形是否有交叉,若有交叉,則將兩個外接矩形合并成一個更大的新矩形區(qū)域。
所述新矩形區(qū)域的起始點位置為兩個外接矩形的起始點的最小值；所述新矩形區(qū)域的終點位置為兩個外接矩形的終點位置的最大值；所述新矩形區(qū)域的開始時刻為兩個外接矩形的開始時刻的最小值；所述新矩形區(qū)域的結(jié)束時刻為兩個外接矩形的結(jié)束時刻的最大值。
根據(jù)瀑布圖確定并存儲擾動信號的起始時刻、結(jié)束時刻、起始位置和結(jié)束位置的數(shù)據(jù)信息，其中起始時刻：
=-，其中為擾動信號實際發(fā)生時刻，為預(yù)存儲時間；
結(jié)束時刻：
t，其中為擾動信號實際結(jié)束時刻，為額外存儲時間。
就是瀑布圖中矩形區(qū)域第一個點對應(yīng)的OTDR緩存數(shù)據(jù)的第一個數(shù)據(jù)，相應(yīng)的，就是瀑布圖中矩形區(qū)域最后一個點對應(yīng)的OTDR緩存數(shù)據(jù)的最后一個數(shù)據(jù)，起始位置和結(jié)束位置就是瀑布圖矩形區(qū)域的起始位置和結(jié)束位置。
毫無疑問，本發(fā)明一種用于光纖安防大數(shù)據(jù)存儲的方法除了上述實施例中講述的類型和方式以外，還包括其他類似的工作方式和使用方法。總而言之，本發(fā)明還包括其他對于本領(lǐng)域技術(shù)人員顯而易見的變換和替代。