基于視頻摘要的突發(fā)事件智能識別系統(tǒng)的制作方法
【專利摘要】本發(fā)明公開一種基于視頻摘要的突發(fā)事件智能識別系統(tǒng)，包括有計算機以及多個攝像頭，該計算機內(nèi)設(shè)置有視頻摘要子系統(tǒng)、煙火檢測子系統(tǒng)、色情檢測子系統(tǒng)、敏感信息檢測子系統(tǒng)以及橫幅識別子系統(tǒng)，該多個攝像頭均連接計算機。通過配合利用視頻摘要子系統(tǒng)、煙火檢測子系統(tǒng)、色情檢測子系統(tǒng)、敏感信息檢測子系統(tǒng)以及橫幅識別子系統(tǒng)，如此，視頻摘要技術(shù)和視頻事件分析技術(shù)并不需要知道視頻事件的具體特征，可以很快的將整個視頻的摘要事件提取出來并采用視頻事件分析技術(shù)對其進行分析，判定它們分別屬于什么類型的事件，達到視頻監(jiān)控自動化，快速化，高效化的效果。
【專利說明】基于視頻摘要的突發(fā)事件智能識別系統(tǒng)
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及視頻監(jiān)控領(lǐng)域技術(shù)，尤其是指一種基于視頻摘要的突發(fā)事件智能識別系統(tǒng)。
【背景技術(shù)】
[0002]近年來，隨著社會的迅速進步和國力的不斷增強，銀行、電力、交通、安檢以及軍事設(shè)施等領(lǐng)域?qū)Π踩婪逗同F(xiàn)場記錄報警系統(tǒng)的需求與日俱增，要求越來越高，視頻監(jiān)控在生產(chǎn)生活各方面得到了非常廣泛的應(yīng)用。雖然監(jiān)控系統(tǒng)己經(jīng)廣泛地存在于銀行、商場、車站和交通路口等公共場所，但實際的監(jiān)控任務(wù)仍需要較多的人工完成，而且現(xiàn)有的視頻監(jiān)控系統(tǒng)通常只是錄制視頻圖像，提供的信息是沒有經(jīng)過解釋的視頻圖像，只能用作事后取證，沒有充分發(fā)揮監(jiān)控的實時性和主動性。為了能實時分析、跟蹤、判別監(jiān)控對象，并在異常事件發(fā)生時提示、上報，為政府部門、安全領(lǐng)域及時決策、正確行動提供支持，視頻監(jiān)控的“智能化”就顯得尤為重要。
[0003]在現(xiàn)在的視頻監(jiān)控領(lǐng)域中，往往一個監(jiān)控視頻就有幾十個小時，而且監(jiān)控攝像頭也數(shù)不勝數(shù)，一般來說很難有這么多人力資源來監(jiān)控或者查看這么龐大的視頻資源，因此將視頻監(jiān)控自動化，智能提取視頻的感興趣部分以及智能識別視頻事件的類別能大大減少人力資源的占用。這對提高監(jiān)控效率以及安全防護等起著很大的作用。
[0004]當前智能視頻處理軟件比較主流的歸類有:
(I)物體識別
能區(qū)分出移動物體的類別，是轎車，還是摩托車、還是人、還是飛機等等，這是其他識別的基礎(chǔ)。
[0005](2)越界識別
在視頻畫面上人為的畫一道線或曲線，可以識別出物體穿越此界限的行為。比如視野是個馬路上，畫一條線把道路分成兩端，假設(shè)定義了從左到右是合法，從右到左為非法，一旦車輛行駛跨越了這個界線，設(shè)備判斷其是否非法，非法則產(chǎn)生報警。
[0006](3)軌跡跟蹤
識別處移動物體之后，能在移動的元素后面畫出其運動經(jīng)過場所的軌跡。如廣場、車站等公眾場所，人流穿梭，設(shè)備能顯示并記錄下每個人的走動軌跡，如果一個人長時間在視野中徘徊游蕩，超過一定時間，則設(shè)備自動報警提示發(fā)現(xiàn)可疑行為人物。
[0007](4)遺留或丟失物體識別
設(shè)備能識別出視野場景中的物體多出一個或者少了一個，適合倉庫、車站、展廳、安檢等場所，如果有背包長時間丟失在某處無人拾取，超過設(shè)定的時間，系統(tǒng)將產(chǎn)生報警，或者像展廳這些場所，如果展示品缺少一件，設(shè)備也能發(fā)現(xiàn)并報警。
[0008](5)車牌識別
如果視頻場景是個道路口或者小區(qū)出入口 ；只要車牌區(qū)域在視頻中出現(xiàn)過，設(shè)備能自動識別出車牌號碼；并以文字的方式提示用戶。可以用于違規(guī)車輛稽查，比如某牌照車輛在事故后逃逸不知去處，如果市內(nèi)各要道口都有智能識視頻服務(wù)器，系統(tǒng)只有通過網(wǎng)絡(luò)一次性把一個或幾個需要稽查的車牌號碼設(shè)置到系統(tǒng)中的各個智能設(shè)備中，一旦此牌照的車輛在視野中出現(xiàn)過，就能立即告警。節(jié)省許多警力資源。
[0009](6)車速測量
比如高速路上有200M的速度提示區(qū)，時時提醒駕駛員不要超速行駛，然而超速行駛還是屢屢發(fā)生；試想如果在高速路上安裝一個智能視頻服務(wù)器，我們只要在視野中畫兩道線，如果確知這兩道線的實際距離是100M，輸入到設(shè)備中，設(shè)備就能自動計算出每個進過車輛的速度，并且超速時立即報警。
[0010](7)流量統(tǒng)計
智能設(shè)備能識別出過往的行人和車輛，同時能統(tǒng)計出過往的人或車的數(shù)量；試想在一個十字路口或者一個會展中心的門口，安裝這樣一個智能設(shè)備，就能統(tǒng)計處過往車流量或人流量。為公交調(diào)度提供更多更及時的信息。
[0011](8)逆行告警
比如單行道，或者車站、機場的出口或入口，車流人流都是單方向的，一旦有人逆行，系統(tǒng)會自動識別出，并產(chǎn)生報警。
[0012](9)涂鴉行為識別
原本潔凈的墻面，被人亂貼小廣告、電話或者亂涂亂畫等，有礙市容。有了智能監(jiān)控系統(tǒng)設(shè)備，就能及時發(fā)現(xiàn)這樣的涂鴉行為，并及時告警。
[0013](10)打架等反常行為視頻
公園、廣場、車站等公眾場合，人流眾多，任何突發(fā)的危害人身安全的行為都可能造成重大損失和負面影響。智能識別系統(tǒng)，能及時發(fā)現(xiàn)人或車輛的異常行為，突然奔跑、摔倒，追打等行為，系統(tǒng)都會及時發(fā)現(xiàn)并提醒管理者。
[0014]以上這些只能識別軟件所要檢測的視頻事件或者物體都帶有確定性，有一定的顏色、形狀等特征，現(xiàn)在的主要問題是，如果你并不知道某一物體的具體特征的時候，就要以人工的方式去將一個監(jiān)控視頻從頭到尾查看一次，這樣非常耗費人力資源和時間資源。

【發(fā)明內(nèi)容】

[0015]有鑒于此，本發(fā)明針對現(xiàn)有技術(shù)存在之缺失，其主要目的是提供一種基于視頻摘要的突發(fā)事件智能識別系統(tǒng)，其能有效解決現(xiàn)有之視頻監(jiān)控耗費人力資源和時間資源的問題。
[0016]為實現(xiàn)上述目的，本發(fā)明采用如下之技術(shù)方案:
一種基于視頻摘要的突發(fā)事件智能識別系統(tǒng)，包括有計算機以及多個攝像頭，該計算機內(nèi)設(shè)置有視頻摘要子系統(tǒng)、煙火檢測子系統(tǒng)、色情檢測子系統(tǒng)、敏感信息檢測子系統(tǒng)以及橫幅識別子系統(tǒng)，該多個攝像頭均連接計算機。
[0017]優(yōu)選的，所述視頻摘要子系統(tǒng)可同時處理的視頻摘要事件為至少150個，所生成的所有摘要事件視頻長度在2分鐘內(nèi)。
[0018]優(yōu)選的，所述視頻摘要子系統(tǒng)在視頻摘要提取過程中，提取時間要小于整個視頻長度的五分之一。
[0019]優(yōu)選的，所述煙火檢測子系統(tǒng)在實時監(jiān)控視頻當碰到疑似煙霧標識和疑似火焰標識的時候在I秒內(nèi)發(fā)出警報，并且返回在實時監(jiān)控中出現(xiàn)疑似火警出現(xiàn)的時間。
[0020]優(yōu)選的，所述色情檢測子系統(tǒng)區(qū)分泳裝、男性上半身裸露、大面積非色情的皮膚圖片和嬰兒裸體。
[0021]優(yōu)選的，所述橫幅識別子系統(tǒng)在實時監(jiān)控視頻當碰到疑似橫幅事件時候能在I秒內(nèi)發(fā)出警報，并且返回在實時監(jiān)控中出現(xiàn)疑似橫幅出現(xiàn)的時間。
[0022]優(yōu)選的，所述多個攝像頭均為高清防爆攝像頭。
[0023]本發(fā)明與現(xiàn)有技術(shù)相比具有明顯的優(yōu)點和有益效果，具體而言，由上述技術(shù)方案可知:
通過配合利用視頻摘要子系統(tǒng)、煙火檢測子系統(tǒng)、色情檢測子系統(tǒng)、敏感信息檢測子系統(tǒng)以及橫幅識別子系統(tǒng)，視頻摘要技術(shù)和視頻事件分析技術(shù)并不需要知道視頻事件的具體特征，可以很快的將整個視頻的摘要事件提取出來并采用視頻事件分析技術(shù)對其進行分析，判定它們分別屬于什么類型的事件，達到視頻監(jiān)控自動化，快速化，高效化的效果，本發(fā)明利用計算機視覺技術(shù)對視頻信號進行處理、分析和理解，在不需要人為干預(yù)的情況下，通過對序列圖像自動分析對監(jiān)控場景中的變化進行定位、識別和跟蹤，并在此基礎(chǔ)上分析和判斷目標的行為，能在異常情況發(fā)生時及時發(fā)出警報或提供有用信息，有效地協(xié)助安全人員處理危機，并最大限度地降低誤報和漏報現(xiàn)象。
[0024]為更清楚地闡述本發(fā)明的結(jié)構(gòu)特征和功效，下面結(jié)合附圖與具體實施例來對本發(fā)明進行詳細說明。
【專利附圖】

【附圖說明】
[0025]圖1是本發(fā)明之較佳實施例的整體結(jié)構(gòu)示意圖；
圖2是本發(fā)明之較佳實施例中視頻摘要子系統(tǒng)的主界面；
圖3是本發(fā)明之較佳實施例中視頻摘要子系統(tǒng)提取的流程圖；
圖4是本發(fā)明之較佳實施例中煙火檢測流程圖；
圖5是本發(fā)明之較佳實施例中色情圖片識別的流程圖；
圖6是本發(fā)明之較佳實施例中視頻信息的處理流程圖；
圖7是本發(fā)明之較佳實施例中橫幅檢測流程圖。
[0026]附圖標識說明:
10、計算機11、視頻摘要子系統(tǒng)
12、煙火檢測子系統(tǒng)13、色情檢測子系統(tǒng)
14、敏感信息檢測子系統(tǒng) 15、橫幅識別子系統(tǒng) 20、攝像頭
【具體實施方式】
[0027]請參照圖1至圖7所示，其顯示出了本發(fā)明之較佳實施例的具體結(jié)構(gòu)，包括有計算機10以及多個攝像頭20。
[0028]其中，該計算機10內(nèi)設(shè)置有視頻摘要子系統(tǒng)11、煙火檢測子系統(tǒng)12、色情檢測子系統(tǒng)13、敏感信息檢測子系統(tǒng)14以及橫幅識別子系統(tǒng)15，該多個攝像頭20均連接計算機10，在本實施例中，該多個攝像頭20均為高清防爆攝像頭。[0029]該視頻摘要子系統(tǒng)11可同時處理的視頻摘要事件為至少150個，所生成的所有摘要事件視頻長度在2分鐘內(nèi)。該視頻摘要子系統(tǒng)11在視頻摘要提取過程中，提取時間要小于整個視頻長度的五分之一。該煙火檢測子系統(tǒng)12在實時監(jiān)控視頻當碰到疑似煙霧標識和疑似火焰標識的時候在I秒內(nèi)發(fā)出警報，并且返回在實時監(jiān)控中出現(xiàn)疑似火警出現(xiàn)的時間。該色情檢測子系統(tǒng)13區(qū)分泳裝、男性上半身裸露、大面積非色情的皮膚圖片和嬰兒裸體。該橫幅識別子系統(tǒng)15在實時監(jiān)控視頻當碰到疑似橫幅事件時候能在I秒內(nèi)發(fā)出警報，并且返回在實時監(jiān)控中出現(xiàn)疑似橫幅出現(xiàn)的時間。
[0030]具體而言，如圖2所示，為視頻摘要子系統(tǒng)11的主界面。
[0031]①“選擇視頻文件”按鈕:選擇一個本地視頻文件。
[0032]②“選擇文件夾”按鈕:選擇一個包含多個視頻的本地文件夾。
[0033]③顯示所選擇的文件路徑。
[0034]④“分析視頻”按鈕:點擊此按鈕進行視頻分析。
[0035]⑤顯示分析視頻的進度條。
[0036]⑥顯示分析結(jié)果。
[0037]⑦“播放選中事件”按鈕:播放從列表中選中的事件。
[0038]⑧“播放所有事件”按鈕:播放所有事件。
[0039]⑨顯示視頻摘要事件的列表框。
[0040]視頻摘要子系統(tǒng)11能將視頻中的運動事件作為視頻的摘要提取出來并可以供用戶查看摘要事件。智能視頻摘要軟件主要分為2個大功能:視頻摘要提取(視頻分析)和視頻摘要的播放，如圖3所示，為視頻摘要子系統(tǒng)11提取的流程圖。
[0041]如圖4所示，為煙火檢測流程圖，對煙火的識別主要是基于煙霧和火焰圖像的基本特性來實現(xiàn)的?；馂?zāi)是一種失去控制的燃燒，初期火災(zāi)的煙霧和火焰是從無到有，是非定常的，不同時刻的火焰形狀、面積、輻射強度都在發(fā)生變化，煙霧也是逐漸擴散不斷變大。抓住火災(zāi)火焰和煙霧的這些特點可以為煙火識別提供很好的特征依據(jù)。
[0042]煙霧圖像的基本特征主要表現(xiàn)在如下幾個方面:
①煙霧出現(xiàn)的有無。在初期檢測時對于煙霧來說可以從視頻圖像中檢測有無煙霧的出現(xiàn)來判斷。
[0043]②煙霧的動態(tài)性。煙霧的動態(tài)性是由于無規(guī)則的擴散形成。它包括形狀的不規(guī)則性和擴散性。我們把不規(guī)則性和擴散性結(jié)合起來檢測煙霧。對提取出來的煙霧顏色區(qū)域進行檢測，判斷是否具有不規(guī)則性和擴散性。這樣可以將假煙霧(具有煙霧顏色，但不是煙霧)區(qū)域濾除。動態(tài)特征的檢測將極大地提高準確報警率。
[0044]③煙霧的顏色特征。煙霧的顏色都是在一定范圍內(nèi)變化的，可以根據(jù)RGB顏色空間中煙霧顏色范圍來判定某個區(qū)域是否為煙霧顏色。
[0045]同時，火焰圖像的基本特性主要表現(xiàn)為如下幾個方面:
①面積的變化?；馂?zāi)發(fā)生后其火焰在不斷的發(fā)展著，隨著火勢的增大，火焰也不斷增強。因而從火焰的圖像特性來說，火焰面積呈連續(xù)擴展性增加的趨勢；
②邊緣的變化?；馂?zāi)火焰的邊緣變化與其他的高溫物體和燈光及穩(wěn)定火焰的邊緣變化也有一定的區(qū)別。可以利用火焰邊緣的變化來進行火災(zāi)判別。火焰邊緣抖動是火災(zāi)火焰的特性,而其他高溫物體、燈光和穩(wěn)定火焰邊緣比較穩(wěn)定； ③火焰的顏色特征。火焰顏色都是在一定的范圍內(nèi)變化的，可以根據(jù)RGB顏色空間中火焰顏色范圍來判定某個區(qū)域是否為火焰顏色。
[0046]如圖5所示，為色情圖片識別的流程圖，對于色情圖片有如下幾個特征:(1)顏色特征，在色情圖片里面，人體的裸露皮膚面積會非常大，通過提取人體膚色在整個圖像中所占的比例，形狀等特征可以作為識別色情圖片的依據(jù)；(2)敏感部位的形狀、紋理特征，判斷一副圖片是否為色情圖片最關(guān)鍵的還是是否裸露了人體敏感部位，在膚色區(qū)域檢測的基礎(chǔ)上，對這個區(qū)域進行輪廓檢測以及局部紋理特征提取，是識別色情圖片的第二個依據(jù)。
[0047]對色情圖片的識別采用svm分類器分類的方法，先對足夠多的樣本進行顏色、形狀、紋理等特征進行提取，然后反復(fù)訓(xùn)練這些樣本的特征，得出一個合理的sm分類器。再用訓(xùn)練完畢的分類器對其他圖片進行分類，將色情圖片跟正常圖片分離出來。
[0048]如圖6所示，敏感信息檢測子系統(tǒng)14采用以下技術(shù)路線:
(I)建立整體結(jié)構(gòu)，即信息的分類存儲，信息的錄入，信息模板存儲，敏感信息關(guān)聯(lián)視頻信息等。采用數(shù)據(jù)庫(MySQL/SQL server)對數(shù)據(jù)進行持久化保存。
[0049](2)由于在檢測攜帶敏感信息的logo時，需要預(yù)先對模板logo進行處理，存儲和建立索引，因此無論在視頻處理階段還是作為目標進行搜索視頻，都需要進行一定的處理如提取顏色直方圖，計算它的hu矩，取得模板的輪廓等一些圖像特征。
[0050](3) UI 效果圖
可以手工添加新的敏感信息。
[0051](4)首先，大量視頻或圖片由攝像機拍攝注入到系統(tǒng)當中，或者直接和外界視頻源建立聯(lián)系。并在數(shù)據(jù)庫中保存相關(guān)信息。然后系統(tǒng)將通過系統(tǒng)編寫的細粒度分解軟件對視頻進行分析，通過OpenCV的圖像處理技術(shù)庫對交通視頻的內(nèi)容的特征值進行提取。接著創(chuàng)建多媒體副本，并根據(jù)提取的特征值對多媒體副本進行分割和壓縮。該操作便于日后提高搜索的速度。與此同時，機器將原多媒體與處理過的多媒體按照一定的規(guī)則進行存檔分類統(tǒng)一保存管理并建立索引。當用戶提交一些搜索的請求時，則通過數(shù)據(jù)庫所保存的信息對數(shù)據(jù)經(jīng)行訪問控制。
[0052]如圖7所示，為橫幅檢測流程圖，橫幅的有如下幾個特征:(I)背景為純色(純紅色，純白色，純黃色等)，然后橫幅上面是一些標語或者字段，我們可以根據(jù)它的背景色將整個橫幅的輪廓提取出來；(2)橫幅的整體輪廓為矩形或者類矩形輪廓，而且長寬比很懸殊，可以在提取了橫幅的矩形輪廓之后再用其長寬相比，如果大于5:1的話則可以判定為橫幅；(3)橫幅只有背景色是純色，但是整個橫幅并不是純色，因為有文字，這樣就可以過濾掉一些偽橫幅(偽橫幅的全部顏色都是一樣的)。
[0053]本發(fā)明的設(shè)計重點是:通過配合利用視頻摘要子系統(tǒng)、煙火檢測子系統(tǒng)、色情檢測子系統(tǒng)、敏感信息檢測子系統(tǒng)以及橫幅識別子系統(tǒng)，視頻摘要技術(shù)和視頻事件分析技術(shù)并不需要知道視頻事件的具體特征，可以很快的將整個視頻的摘要事件提取出來并采用視頻事件分析技術(shù)對其進行分析，判定它們分別屬于什么類型的事件，達到視頻監(jiān)控自動化，快速化，高效化的效果，本發(fā)明利用計算機視覺技術(shù)對視頻信號進行處理、分析和理解，在不需要人為干預(yù)的情況下，通過對序列圖像自動分析對監(jiān)控場景中的變化進行定位、識別和跟蹤，并在此基礎(chǔ)上分析和判斷目標的行為，能在異常情況發(fā)生時及時發(fā)出警報或提供有用信息，有效地協(xié)助安全人員處理危機，并最大限度地降低誤報和漏報現(xiàn)象。[0054]上結(jié)合具體實施例描述了本發(fā)明的技術(shù)原理。這些描述只是為了解釋本發(fā)明的原理，而不能以任何方式解釋為對本發(fā)明保護范圍的限制。基于此處的解釋，本領(lǐng)域的技術(shù)人員不需要付出創(chuàng)造性的勞動即可聯(lián)想到本發(fā)明的其它【具體實施方式】，這些方式都將落入本發(fā)明的保護范圍之內(nèi)。
【權(quán)利要求】
1.一種基于視頻摘要的突發(fā)事件智能識別系統(tǒng)，其特征在于:包括有計算機以及多個攝像頭，該計算機內(nèi)設(shè)置有視頻摘要子系統(tǒng)、煙火檢測子系統(tǒng)、色情檢測子系統(tǒng)、敏感信息檢測子系統(tǒng)以及橫幅識別子系統(tǒng)，該多個攝像頭均連接計算機。
2.如權(quán)利要求1所述的基于視頻摘要的突發(fā)事件智能識別系統(tǒng)，其特征在于:所述視頻摘要子系統(tǒng)可同時處理的視頻摘要事件為至少150個，所生成的所有摘要事件視頻長度在2分鐘內(nèi)。
3.如權(quán)利要求1所述的基于視頻摘要的突發(fā)事件智能識別系統(tǒng)，其特征在于:所述視頻摘要子系統(tǒng)在視頻摘要提取過程中，提取時間要小于整個視頻長度的五分之一。
4.如權(quán)利要求1所述的基于視頻摘要的突發(fā)事件智能識別系統(tǒng)，其特征在于:所述煙火檢測子系統(tǒng)在實時監(jiān)控視頻當碰到疑似煙霧標識和疑似火焰標識的時候在I秒內(nèi)發(fā)出警報，并且返回在實時監(jiān)控中出現(xiàn)疑似火警出現(xiàn)的時間。
5.如權(quán)利要求1所述的基于視頻摘要的突發(fā)事件智能識別系統(tǒng)，其特征在于:所述色情檢測子系統(tǒng)區(qū)分泳裝、男性上半身裸露、大面積非色情的皮膚圖片和嬰兒裸體。
6.如權(quán)利要求1所述的基于視頻摘要的突發(fā)事件智能識別系統(tǒng)，其特征在于:所述橫幅識別子系統(tǒng)在實時監(jiān)控視頻當碰到疑似橫幅事件時候能在I秒內(nèi)發(fā)出警報，并且返回在實時監(jiān)控中出現(xiàn)疑似橫幅出現(xiàn)的時間。
7.如權(quán)利要求1所述的基于視頻摘要的突發(fā)事件智能識別系統(tǒng)，其特征在于:所述多個攝像頭均為高清防爆攝像頭。
【文檔編號】G06K9/00GK103605956SQ201310536952
【公開日】2014年2月26日 申請日期:2013年11月4日 優(yōu)先權(quán)日:2013年11月4日
【發(fā)明者】魏文紅 申請人:魏文紅