專利名稱：數(shù)字化的實(shí)時(shí)多通道視、音頻異態(tài)檢測(cè)的方法
技術(shù)領(lǐng)域：
本發(fā)明屬于視頻、音頻異態(tài)檢測(cè)的方法，應(yīng)用在廣播電視監(jiān)測(cè)網(wǎng)絡(luò)中檢測(cè)視頻、音頻異態(tài)告警。
背景技術(shù)：
在我國(guó)，隨著有線電視覆蓋網(wǎng)的迅猛發(fā)展，與之相適應(yīng)的廣播電視監(jiān)測(cè)網(wǎng)絡(luò)將很快形成。它對(duì)改善廣播電視傳輸和播出質(zhì)量，核查廣播電視覆蓋網(wǎng)效果，為擬定、修改覆蓋網(wǎng)技術(shù)規(guī)劃提供科學(xué)依據(jù)，是開展節(jié)目制作、傳輸和播出系統(tǒng)技術(shù)質(zhì)量評(píng)比競(jìng)賽的評(píng)判依據(jù)，是各級(jí)廣播電視行政主管部門和各級(jí)電視臺(tái)、有線臺(tái)進(jìn)行科學(xué)管理的現(xiàn)代化技術(shù)手段。
有線電視監(jiān)測(cè)網(wǎng)絡(luò)的主要任務(wù)是實(shí)時(shí)地監(jiān)視整個(gè)有線電視網(wǎng)絡(luò)中播出的電視信號(hào)質(zhì)量和電視節(jié)目?jī)?nèi)容，視頻、音頻異態(tài)主要包括無(wú)視頻、無(wú)音頻和視頻圖象靜止。目前，有線電視網(wǎng)絡(luò)中的視頻、音頻的異態(tài)檢測(cè)主要靠人工觀察完成，很難實(shí)現(xiàn)長(zhǎng)時(shí)間、多通道的檢測(cè)。

發(fā)明內(nèi)容
本發(fā)明的目的是為克服已有對(duì)有線電視監(jiān)測(cè)手段的不足之處，提供一種數(shù)字化的實(shí)時(shí)多通道視頻、音頻異態(tài)檢測(cè)方法。實(shí)現(xiàn)長(zhǎng)時(shí)間、實(shí)時(shí)、多通道的視頻、音頻異態(tài)自動(dòng)檢測(cè)。
本發(fā)明包括將多路視頻、音頻信號(hào)數(shù)字化后，對(duì)數(shù)據(jù)進(jìn)行實(shí)時(shí)處理，將處理結(jié)果與相關(guān)異態(tài)閾值比較，超出閾值將被判為異態(tài)，該方法具體包括視頻信號(hào)異態(tài)檢測(cè)，其步驟為1)利用視頻采集卡實(shí)時(shí)采集多路視頻信號(hào)，存儲(chǔ)在幀圖象緩沖區(qū)中；2)幀圖象緩沖區(qū)中提取當(dāng)前幀圖象轉(zhuǎn)換成為數(shù)字化灰度圖象后，對(duì)該當(dāng)前幀圖象各列灰度值的和nC進(jìn)行分類；3)以判別各分類內(nèi)的nC分布是否均勻來(lái)確定該分類是否為非噪聲分類；4)若屬于非噪聲分類的列數(shù)占到全部列數(shù)的比例達(dá)到均勻分布閾值SR以上，則認(rèn)為是彩底或彩條信號(hào)，進(jìn)一步，若非噪聲分類數(shù)小于最小彩條數(shù)閾值CBMin為彩底，大于CBMin且小于最大彩條數(shù)閾值CBMax為彩條，其中，0％＜SR＜100％，SR越大，條件越苛刻，1＜CBMin＜5，8＜CBMax＜12；5)若屬于非噪聲分類的列數(shù)占到全部列數(shù)的比例小于SR，計(jì)算當(dāng)前幀圖象與事先存儲(chǔ)的用來(lái)和當(dāng)前幀圖象比較的特定圖樣矢量的相關(guān)值A(chǔ)；6)如果相關(guān)值A(chǔ)大于相似閾值A(chǔ)min則認(rèn)為當(dāng)前幀圖象與特定圖樣相似，則當(dāng)前幀圖像異態(tài)，采用不同的特定圖樣可以判定當(dāng)前幀圖象的不同異態(tài)，其中，90％＜Amin＜100％，Amin越大，則條件越苛刻；音頻信號(hào)異態(tài)檢測(cè)，其步驟為1)采集多路音頻信號(hào)進(jìn)行模數(shù)轉(zhuǎn)換成數(shù)字化信號(hào)后從中提取音頻信號(hào)幅度值，減去平均噪聲幅度得到信噪比snr；2)比較音頻信號(hào)信噪比snr與音頻門限閾值A(chǔ)T，如果snr大于AT則認(rèn)為音頻正常，否則認(rèn)為是無(wú)聲音，并繼續(xù)判斷音頻是否正常，若無(wú)聲音時(shí)間超過(guò)靜音時(shí)間間隔閾值MT則判斷出無(wú)音頻異態(tài)；其中，3＜AT＜30db，1秒＜MT＜10分。
所說(shuō)的分類方法可為判斷nC與前一類各列nC的平均值(即重心nCg)的距離是否大于分類閾值S，大于則產(chǎn)生一新類，否則歸入前一類，其中，100＜S＜500，S越大條件越寬松。
所說(shuō)的判別各分類內(nèi)的nC分布是否均勻的方法可為計(jì)算分類內(nèi)nC的均方差N，與線性閾值nL比較，均方差小于nL的則為均勻分布，即確定為非噪聲分類，5000＜nL＜15000，nL越大，條件越寬松。
計(jì)算所說(shuō)的特定圖樣的矢量和當(dāng)前幀圖象矢量的方法可為將圖樣分為多個(gè)正方形面積(例如8*8)的小塊，計(jì)算每一塊灰度的平均值，然后從左上到右下排列，即為圖樣的矢量。計(jì)算當(dāng)前幀圖象矢量與特定圖樣矢量的相關(guān)值A(chǔ)的方法可為設(shè)當(dāng)前幀圖象矢量為X(x1，x2，....xn)，其中x1，x2......xn為圖象中各個(gè)小塊的灰度平均值，特定圖樣矢量為Y(y1，y2，....yn)，其中y1，y2......yn為特定圖樣中各個(gè)小塊的灰度平均值，則相關(guān)值A(chǔ)=X·Y=x1y1+x2y2+...+xnyn(x12+x22+...+xn2)(y12+y22+...+yn2);]]>所說(shuō)的特定圖樣可包括前一幀圖象、噪聲圖象和自定義異態(tài)圖象；若當(dāng)前幀圖象與前一幀圖象相似，則判定前幀圖像是靜止異態(tài)；若當(dāng)前幀圖象圖象與特定噪聲圖樣相似，則判定前幀圖像是無(wú)視頻異態(tài)；若當(dāng)前幀圖象與自定義異態(tài)圖象相似，則判定前幀圖像是自定義異態(tài)。
在本發(fā)明中各項(xiàng)閾值可以根據(jù)實(shí)際情況自行設(shè)定，特定圖樣也可以根據(jù)實(shí)際情況自定義。
本發(fā)明的特點(diǎn)為本發(fā)明利用數(shù)字圖像處理技術(shù)可對(duì)當(dāng)前幀圖象進(jìn)行實(shí)時(shí)自動(dòng)檢測(cè)，確定出視頻異態(tài)圖象(無(wú)圖象、圖象靜止、彩條、彩底及任意自定義圖象)；利用檢測(cè)音頻信噪比方法對(duì)音頻進(jìn)行自動(dòng)檢測(cè)確定其是否異態(tài)；并可實(shí)現(xiàn)長(zhǎng)時(shí)間、多通道的檢測(cè)；還可根據(jù)本發(fā)明檢測(cè)出的異態(tài)情況，很容易實(shí)現(xiàn)自動(dòng)告警上報(bào)和記錄的功能。


圖1為本發(fā)明的視頻異態(tài)檢測(cè)方法實(shí)施例流程圖；圖2為本發(fā)明的音頻異態(tài)檢測(cè)方法實(shí)施例流程圖。
具體實(shí)施例方式
以下結(jié)合附圖及實(shí)施例進(jìn)一步說(shuō)明。本發(fā)明方法的實(shí)施例為在視頻、音頻處理工作站中安裝5片視頻、音頻采集卡，每卡4路，用來(lái)實(shí)時(shí)檢測(cè)20路視頻、音頻。由該卡實(shí)時(shí)采集的20路視頻、音頻數(shù)據(jù)送給采用本發(fā)明方法編制的固化在工作站中的視頻、音頻異態(tài)檢測(cè)告警應(yīng)用程序處理，這樣就可以實(shí)時(shí)地將檢測(cè)到的各種視頻、音頻異態(tài)告警通過(guò)網(wǎng)絡(luò)發(fā)送給監(jiān)測(cè)(分)中心，并且可以在本地工作站中存儲(chǔ)視頻、音頻異態(tài)告警日志信息。
在本發(fā)明的實(shí)施例中視頻、音頻采集卡可以采用德加拉AVE2000卡，工作站采用奔騰4工控機(jī)，操作系統(tǒng)為WINDOWS2000。
本實(shí)施例的視頻異態(tài)檢測(cè)方法是提取視頻采集卡實(shí)時(shí)采集的20路視頻圖像進(jìn)行模數(shù)轉(zhuǎn)換后，成為數(shù)字化圖像，對(duì)當(dāng)前幀圖像的處理程序流程如圖1所示，包括以下步驟1)對(duì)當(dāng)前幀圖像的各列灰度值的和nC進(jìn)行分類，分類方法可為判斷nC與前一類各列nC的平均值(即重心nCg)的距離是否大于分類閾值S大于則產(chǎn)生一新類，否則歸入前一類，本實(shí)施例的分類閾值S＝300；2)然后判別各分類是否均勻分布，確定該分類是否為非噪聲分類，判別方法為計(jì)算各分類內(nèi)nC的均方差N，與線性閾值nL(本實(shí)施例取線性閾值nL＝10000；)比較，均方差小于nL的則為均勻分布，即確定為非噪聲分類；3)計(jì)算均勻分布的分類中列數(shù)占全部列數(shù)的比例，本實(shí)施例取均勻分布閾值SR＝80％，如果該比例大于SR，則認(rèn)為是彩底或彩條信號(hào)，進(jìn)一步，判別是彩條還是彩底，取最小彩條數(shù)閾值CBMin＝4，最大彩條數(shù)閾值CBMax＝10，如果非噪聲分類數(shù)小于CBMin為彩底，大于CBMin且小于CBMax為彩條；4)如果均勻分布的分類中樣本數(shù)占全部樣本比例小于SR，計(jì)算圖象與特定圖樣矢量的相關(guān)值A(chǔ)；特定圖樣的矢量和當(dāng)前幀圖象矢量的計(jì)算方法為將圖樣分為8*8的小塊，計(jì)算每一塊灰度的平均值，然后從左上到右下排列，即為圖樣的矢量；計(jì)算該當(dāng)前幀圖象矢量與特定圖樣矢量的相關(guān)值A(chǔ)的方法為設(shè)當(dāng)前幀圖象矢量為X(x1，x2，....xn)，其中x1，x2......xn為圖象中各個(gè)小塊的灰度平均值，特定圖樣矢量為Y(y1，y2，....yn)，其中y1，y2......yn為特定圖樣中各個(gè)小塊的灰度平均值，則相關(guān)值A(chǔ)=X·Y=x1y1+x2y2+...+xnyn(x12+x22+...+xn2)(y12+y22+...+yn2);]]>5)如果相關(guān)值A(chǔ)大于相似閾值A(chǔ)min(本實(shí)施例取0.98)，則可判定圖象與特定圖樣相似，采用不同的特定圖樣可以判定圖象靜止、無(wú)圖象(噪聲)異態(tài)；本實(shí)施例的特定圖樣包括前一幀圖象、噪聲圖象和自定義異態(tài)圖象；若當(dāng)前幀圖象與前一幀圖象相似，則判定前幀圖像是靜止異態(tài)；若當(dāng)前幀圖象圖象與特定噪聲圖樣相似，則判定前幀圖像是無(wú)視頻異態(tài)(無(wú)圖象)；若當(dāng)前幀圖象圖象與自定義異態(tài)圖象相似，則判定前幀圖像是自定義異態(tài)。
本實(shí)施例的音頻異態(tài)檢測(cè)是從采集卡中采集20路音頻信號(hào)進(jìn)行模數(shù)轉(zhuǎn)換成數(shù)字化信號(hào)后，對(duì)該數(shù)字信號(hào)的處理流程如圖2所示，包括以下步驟1)提取音頻信號(hào)幅度值，減去平均噪聲幅度得到信噪比snr；2)比較snr和音頻門限閾值A(chǔ)T，如果snr＞AT，則認(rèn)為音頻正常，否則認(rèn)為無(wú)音頻，如果在持續(xù)的MT時(shí)間內(nèi)始終無(wú)音頻，則判斷出無(wú)音頻異態(tài)，其中音頻門限閾值A(chǔ)T取20db，靜音時(shí)間間隔閾值MT取20秒。
權(quán)利要求
1.一種數(shù)字化的實(shí)時(shí)多通道視、音頻異態(tài)檢測(cè)的方法，其特征在于，包括將多路視頻、音頻信號(hào)數(shù)字化后，對(duì)數(shù)據(jù)進(jìn)行實(shí)時(shí)處理，將處理結(jié)果與相關(guān)異態(tài)閾值比較，超出閾值將被判為異態(tài)，該方法具體包括視頻信號(hào)異態(tài)檢測(cè)，其步驟為1)利用視頻采集卡實(shí)時(shí)多路采集視頻信號(hào)，存儲(chǔ)在幀圖象緩沖區(qū)中；2)從幀圖象緩沖區(qū)中提取當(dāng)前幀圖象轉(zhuǎn)換成為數(shù)字化灰度圖象后，對(duì)該當(dāng)前幀圖象各列灰度值的和nC進(jìn)行分類；3)以判別各分類內(nèi)的nC分布是否均勻來(lái)確定該分類是否為非噪聲分類；4)若屬于非噪聲分類的列數(shù)占到全部列數(shù)的比例達(dá)到均勻分布閾值SR以上，則認(rèn)為是彩底或彩條信號(hào)，進(jìn)一步，若非噪聲分類數(shù)小于最小彩條數(shù)閾值CBMin為彩底，大于CBMin且小于最大彩條數(shù)閾值CBMax為彩條，其中，0％＜SR＜100％，1＜CBMin＜5，8＜CBMax＜12；5)若屬于非噪聲分類的列數(shù)占到全部列數(shù)的比例小于SR，計(jì)算當(dāng)前幀圖象與事先存儲(chǔ)的用來(lái)和當(dāng)前幀圖象比較的特定圖樣矢量的相關(guān)值A(chǔ)；6)如果相關(guān)值A(chǔ)大于相似閾值A(chǔ)min則認(rèn)為當(dāng)前幀圖象與特定圖樣相似，則當(dāng)前幀圖像異態(tài)，采用不同的特定圖樣可以判定當(dāng)前幀圖象的不同異態(tài)，其中，90％＜Amin＜100％；音頻信號(hào)異態(tài)檢測(cè)，其步驟為1)采集多路音頻信號(hào)進(jìn)行模數(shù)轉(zhuǎn)換成數(shù)字化信號(hào)后從中提取音頻信號(hào)幅度值，減去平均噪聲幅度得到信噪比snr；2)比較音頻信號(hào)信噪比snr與音頻門限閾值A(chǔ)T，如果snr大于AT則認(rèn)為音頻正常，否則認(rèn)為是無(wú)聲音，并繼續(xù)判斷音頻是否正常，若無(wú)聲音時(shí)間超過(guò)靜音時(shí)間間隔閾值MT則判斷出無(wú)音頻異態(tài)；其中，3＜AT＜30db，1秒＜MT＜10分。
2.如權(quán)利要求1所述的數(shù)字化的實(shí)時(shí)多通道視、音頻異態(tài)檢測(cè)的方法，其特征在于，所說(shuō)的分類方法為判斷nC與前一類各列nC的平均值的距離是否大于分類閾值S，大于則產(chǎn)生一新類，否則歸入前一類，其中，100＜S＜500。
3.如權(quán)利要求1所述的數(shù)字化的實(shí)時(shí)多通道視、音頻異態(tài)檢測(cè)的方法，其特征在于，所說(shuō)的判別各分類內(nèi)的nC分布是否均勻的方法為計(jì)算分類內(nèi)nC的均方差N，與線性閾值nL比較，均方差小于nL的則為均勻分布，即確定為非噪聲分類，5000＜nL＜15000。
4.如權(quán)利要求1所述的數(shù)字化的實(shí)時(shí)多通道視、音頻異態(tài)檢測(cè)的方法，其特征在于，所說(shuō)的特定圖樣的矢量和當(dāng)前幀圖象矢量的計(jì)算方法為將圖樣分為多個(gè)正方形面積的小塊，計(jì)算每一塊灰度的平均值，然后從左上到右下排列，即為圖樣的矢量。
5.如權(quán)利要求4所述的數(shù)字化的實(shí)時(shí)多通道視、音頻異態(tài)檢測(cè)的方法，其特征在于，所說(shuō)的當(dāng)前幀圖象矢量與特定圖樣矢量的相關(guān)值A(chǔ)的計(jì)算方法為設(shè)當(dāng)前幀圖象矢量為X(x1，x2，....xn)，其中x1，x2......xn為圖象中各個(gè)小塊的灰度平均值，特定圖樣矢量為Y(y1，y2，....yn)，其中y1，y2......yn為特定圖樣中各個(gè)小塊的灰度平均值，則相關(guān)值A(chǔ)=X·Y=x1y1+x2y2+...+xnyn(x12+x22+...+xn2)(y12+y22+...+yn2).]]>
6.如權(quán)利要求1所述的數(shù)字化的實(shí)時(shí)多通道視、音頻異態(tài)檢測(cè)的方法，其特征在于，所說(shuō)的特定圖樣包括前一幀圖象、噪聲圖象或自定義異態(tài)圖象的一種或多種；若當(dāng)前幀圖象與前一幀圖象相似，則判定前幀圖像是靜止異態(tài)；若當(dāng)前幀圖象圖象與特定噪聲圖樣相似，則判定前幀圖像是無(wú)視頻異態(tài)；若當(dāng)前幀圖象與自定義異態(tài)圖象相似，則判定前幀圖像是自定義異態(tài)。
全文摘要
本發(fā)明屬于視頻、音頻異態(tài)檢測(cè)的方法，涉及數(shù)字化的實(shí)時(shí)多通道視、音頻異態(tài)檢測(cè)的方法。包括將多路視頻、音頻信號(hào)數(shù)字化后，對(duì)數(shù)據(jù)進(jìn)行實(shí)時(shí)處理，將處理結(jié)果與相關(guān)異態(tài)閾值比較，超出閾值將被判為異態(tài)。本發(fā)明利用數(shù)字圖像處理技術(shù)可對(duì)當(dāng)前幀圖象進(jìn)行實(shí)時(shí)自動(dòng)檢測(cè)，確定出視頻異態(tài)圖象(無(wú)圖象、圖象靜止、彩條、彩底及任意自定義圖象)；利用檢測(cè)音頻信噪比方法對(duì)音頻進(jìn)行自動(dòng)檢測(cè)確定其是否異態(tài)；并可實(shí)現(xiàn)長(zhǎng)時(shí)間、多通道的檢測(cè)；還可根據(jù)本發(fā)明檢測(cè)出的異態(tài)情況，很容易實(shí)現(xiàn)自動(dòng)告警上報(bào)和記錄的功能。
文檔編號(hào)H04B17/00GK1452331SQ0312870
公開日2003年10月29日 申請(qǐng)日期2003年4月24日 優(yōu)先權(quán)日2003年4月24日
發(fā)明者洪鈞, 肖子輝 申請(qǐng)人:北京永新同方信息工程有限公司