專利名稱：基于行進方向檢測的刑偵視頻預處理方法
技術領域：
本發(fā)明涉及多媒體中視頻處理方法，具體地指一種基于行進方向檢測的刑偵視頻預處理方法，用于刑偵視頻處理。
背景技術：
為了提高社會治安綜合防控能力，大量已建視頻監(jiān)控系統(tǒng)在公安刑偵業(yè)務中得到廣泛的應用，從視頻錄像中發(fā)現(xiàn)和追蹤嫌疑目標的視頻偵查技術已成為繼刑事技術、行動技術、網偵技術之后偵查破案的第四大技術支撐。視頻偵查的實質是通過監(jiān)控視頻尋找偵查線索、發(fā)現(xiàn)嫌疑目標。然而大量的視頻監(jiān)控系統(tǒng)也帶來了海量的監(jiān)控視頻錄像，在目前的視頻偵查工作中，刑偵人員都是眼睛“盯著”播放器邊觀看邊記錄，即使是夜間或偏僻地段的監(jiān)控錄像中 很少有活動目標出現(xiàn)時，也只能“完整”地瀏覽，而不能出現(xiàn)哪怕是“一秒”的遺漏；長時間瀏覽視頻錄像，非常容易造成刑偵人員的視覺疲勞而影響了視頻瀏覽工作質量，甚至造成偵查人員的視力損傷，完全由偵查員人工方式瀏覽、查找嫌疑目標的工作方式費時、費力，效率低下。刑偵人員利用監(jiān)控錄像來發(fā)現(xiàn)和分析犯罪行為時，往往比較關注監(jiān)控錄像中有活動目標的畫面，特別的，刑偵人員更可能關注視頻中某一局部區(qū)域(例如停車場)的活動目標，刑偵人員還有可能關注跨過某一警戒線(例如在小區(qū)入口處劃定一條警戒線)的活動目標，區(qū)域范圍的縮小往往會更有助于發(fā)現(xiàn)和分析犯罪行為。在這樣的情況下，刑偵人員往往更關注感興趣區(qū)域(局部區(qū)域和警戒線)內是否有活動目標，但是錄像中往往有大量的“靜止”(包括不在感興趣區(qū)域內的活動目標)畫面。盡管常用的視頻播放器都有快放功能，但是并不區(qū)分視頻中的靜止部分和活動部分，如果有一種視頻預處理方法，在刑偵人員觀看監(jiān)控視頻之前能夠把視頻中具有活動目標(或者僅在感興趣區(qū)域內的活動目標)的視頻巾貞號(以下簡稱運動幀號)自動提取出來，過濾掉視頻中不具有活動目標(包括不在感興趣區(qū)域內的活動目標)的視頻幀號(以下簡稱非運動幀號)，然后對這些提取出來的運動幀號進行分割、組織成視頻片段，刑偵人員就可以只觀看這些視頻片段，而不用觀看整個視頻錄像，必然能提高瀏覽大量視頻的效率。但是，目前還未見到這樣的視頻預處理方法。

發(fā)明內容
本發(fā)明在于克服上述現(xiàn)有技術的不足而提供了一種基于行進方向檢測的刑偵視頻預處理方法，能夠從視頻的用戶感興趣區(qū)域內提取出活動目標片段，過濾掉“靜止”的片段，在減少需要觀看的視頻畫面的同時而不遺漏重要畫面，從而提高視頻瀏覽的效率。實現(xiàn)本發(fā)明目的采用的技術方案是一種基于行進方向檢測的刑偵視頻預處理方法，包括以下步驟獲取視頻畫面，用鼠標在所述視頻畫面上感興趣區(qū)域劃定一條直線，并記錄鼠標的軌跡坐標，將所述鼠標軌跡繪制在另一幅尺寸相等的全黑圖像中，將鼠標軌跡直線設置為白色，加寬所述鼠標軌跡直線的像素得到一個長方形的封閉區(qū)域，并將所述封閉區(qū)域設置為白色，得到一個掩模圖；根據劃定的直線設置關注方向，檢測活動目標，判斷每個檢測到的活動目標的行進方向，記錄關鍵幀號；將提取的關鍵幀號所對應的視頻幀合并成新的視頻。在上述技術方案中，所述設置關注方向是在待處理的視頻中設置參考方向，該參考方向與時鐘平面的刻度盤對應。在上述技術方案中，所述利用背景差法檢測活動目標，具體步驟為讀入待處理視頻，創(chuàng)建背景圖像；取當前幀與背景圖的幀差； 將所述幀差與面積閾值比較，若大于面積閾值，則為活動目標。進一步地，對所述幀差進行二值化、膨脹、中值濾波操作后再與面積閾值比較。進一步地，通過以下公式對所述幀差進行二值化
〔255 if D> T￡>(x,j)=i
丨 o if i)<r其中，D(x，y)表示幀差結果圖像中位置(x，y)處的像素灰度值，T為給定的一個閾值。在上述技術方案中，所述判斷每個檢測到的活動目標的行進方向具體步驟為利用時間戳，使用運動歷史圖記錄下每個運動部件一段時間內歷史軌跡的梯度信息；根據記錄的梯度信息采用加權的方式計算每個部件的方向；保留與關注方向一致的部件，即為活動目標行進的方向。進一步地,通過以下公式計算運動部件的全局梯度方向
(P = (pr,f + Σ ^isiamP) · AngDiffUpix, v), (Pixj)其中，$是計算的部件的全局梯度方向，即為運動部件的方向，為基本參考角度，W(stamp)為根據時間戳設置的權重>飯0#(識(^)， )為所得運動方向同參考角度之間的最小角度差。在上述技術方案中，記錄關鍵幀號包括判斷是否存在保留的目標的中心點落在設置的關注線區(qū)域范圍內，存在則認為當前幀為關鍵幀并記錄當前幀的幀號，否則為非關鍵幀。在上述技術方案中，所述合并成新的視頻包括以下步驟按照選取的關鍵幀號，讀取第一個關鍵幀并將其作為輸出視頻的開始幀按關鍵幀號順序，讀取所述第一個關鍵幀之后的關鍵幀并按序加入輸出視頻，直至讀取最后的關鍵幀并將其作為輸出視頻的結束幀。與現(xiàn)有技術中直接觀看原始視頻相比，本發(fā)明的有益效果在于基于運動檢測的刑偵視頻預處理算法，通過全局、任意指定區(qū)域、跨警戒線活動目標檢測三種方法獲取視頻中具有活動目標的視頻幀號，過濾掉“靜止”畫面幀號，再將運動幀號分割、組織成視頻片段，通過這一預處理就減少了刑偵人員需要觀看的視頻幀數量，但沒有遺漏重要畫面，從而提聞了視頻的瀏覽效率。


圖I為本發(fā)明基于行進方向檢測的刑偵視頻預處理方法的流程圖；圖2為圖I中關注線設置方法流程圖；圖3為圖I中關鍵幀號提取方法流程圖；圖4為圖I中關鍵幀合并方法流程圖；圖5-1是某時刻運動歷史圖實例；圖5-2是相應的方向判斷的結果。
具體實施例方式下面結合附圖和具體實施例對本發(fā)明作進一步的說明。如圖I所示，基于行進方向檢測的刑偵視頻預處理方法包括以下步驟步驟SlOl :導入原始視頻，在原始視頻的視頻畫面中指定感興趣區(qū)域，在感興趣區(qū)域內設置關注線，如圖2所示，其具體步驟為步驟S201 :獲取一幀視頻畫面。步驟S202 :用鼠標在該視頻畫面上的感興趣區(qū)域劃定一條直線，并記錄鼠標的軌跡坐標。步驟S203 :創(chuàng)建一幅和步驟S202中視頻畫面尺寸大小相等的黑白圖像，并將該黑白圖像的所有像素值設置為0，即將黑白圖像變成全黑，將由步驟S202記錄的鼠標軌跡線畫到該全黑圖像中。步驟S204 :將步驟S203中得到的黑白圖像中鼠標軌跡直線設置為白色，寬度加至5個像素，由于理想的直線是I個像素寬，此處將直線擴展至5個像素寬，形成一個長方形區(qū)域，便于判斷該區(qū)域內是否存在活動目標跨線。將由此得到的長方形封閉區(qū)域設置為白色(像素值為255)，這樣得到一個二值圖。加寬后的關注線對應二值圖中的白色部分，像素值全部為255，其它部分為黑色，像素值全部為O。由此得到的圖即為掩模圖像。步驟S102 :根據設置的關注線對視頻內容進行活動目標行進方向檢測，提取關鍵幀號，如圖3所示，其具體步驟為步驟S301 :首先針對將要處理的視頻，設定關注的方向，本實施例采用12小時時鐘法來指定方向，例如對于一條水平道路，如果只關注跨過關注線向右邊運動的目標，則可以指定為沿著表盤3點鐘的方向；步驟S302 :初始化運動歷史圖，本實施例中初始化為全黑圖像(像素值為0)，運動歷史圖的作用是保留一段時間內運動目標的歷史軌跡以用來計算目標的運動方向；步驟S303 :讀入待處理視頻；步驟S304 以視頻的前100幀圖像的像素平均值創(chuàng)建背景圖像，并將其轉成灰度圖；步驟S305 :重新讀入視頻的第一幀圖像，轉為灰度圖，開始處理過程；步驟S306 :將該幀圖像與背景圖像作幀差，對幀差結果取絕對值并存入一幅灰度圖中。在這里作背景差所用的閾值是可調節(jié)的，對于夜間等背景和運動前景對比不明顯的視頻，背景差閾值可以調低一點，對于背景和運動前景對比明顯的視頻該閾值可以相對調高一些。背景差閾值的調節(jié)可以在用戶操作界面上實現(xiàn)，由用戶根據特定的刑偵視頻自行設置以達到最好的檢測效果。步驟S307 :對步驟S306得到的幀差結果圖像中的每一個像素按如下公式進行二值化
「255 if D> TD(x,y) = \；
0if I) < I其中，D(x，y)表示幀差結果圖像中位置(x，y)處的像素灰度值，T為給定的一個閾 值，即將幀差結果圖像中每一個像素的灰度值D與閾值T比較，若D大于等于T，則將該像素值賦值255，否則賦值為O ;步驟S308 :對步驟S307中得到的圖像進行現(xiàn)有技術中的膨脹操作；步驟S309 :對步驟S308中得到的圖像進行現(xiàn)有技術中的中值濾波操作；步驟S310 :判斷步驟S309所得圖像中的各個運動目標面積是否大于S，去除面積小于S的目標，其中S為一給定面積閾值，S的設置可以去除樹葉擾動等較小噪聲的影響。另外，在不同的刑偵視頻中S的值可以不固定，在目標離鏡頭較近的情況下S可以設高一些，目標離鏡頭較遠情況下S可以相對設低一些。面積閾值S的調節(jié)可以在用戶操作界面上實現(xiàn)，在用戶調整S的大小時，我們會將檢測結果以動態(tài)可視化(視頻中的所有活動目標會被一個外接矩形框框住，用戶設置S的值也是通過隨意調整不同大小的矩形框來直觀地設置)的形式反饋給用戶，方便用戶調整。通過這種用戶根據特定的刑偵視頻自行設置的方式達到最好的檢測效果。面積閾值為根據待確定的所需活動目標而設定，如待確定的所需活動目標為行人，則此時面積閾值為人的面積大小范圍中的最小值，人的面積大小范圍可以由統(tǒng)計而得出。步驟S311 :為步驟S310得到的運動圖像(設為silh)保留下來的運動目標像素賦值為當前時間戳(timestamp),更新到運動歷史圖(mhi)中
limesiamp if si/h(x, y)! = Omhi{x, r) = ·■、Oif silh(x” r) = 0 and mhi(x, y) < fimesiamp — diiraiion
mhi(x, y) otherwise時間戳的設計是為了保證最新檢測出來的運動目標具有比其之前的軌跡更大的灰度值，這樣在運動歷史圖中，就保留了各個運動目標一段時間(即上式中的duration，設置為O. 5秒)內的歷史軌跡，更重要的，加入的時間戳使得不同時期的軌跡具有不同的灰度值，方便下面進一步計算目標的運動方向。圖5-1為運動歷史圖某個時刻的效果示例，圖5-2是相應的方向判斷的結果?？梢钥吹疆斍皫\動目標的輪廓具有最亮的灰度，距離當前時刻越久的歷史輪廓灰度就越淡，超過設置的時間區(qū)間的歷史軌跡像素值恢復成O (黑色)。這樣形成了梯度信息以供方向的計算。步驟S312 :步驟S311中的運動歷史圖可能記錄有多個帶梯度信息的活動目標(下面記為運動部件)，需要把它們逐一分割出來分別計算方向；步驟S313 :對于步驟S312中分割出來的每個運動部件，首先計算每個像素點的梯度方向
權利要求
1.一種基于行進方向檢測的刑偵視頻預處理方法，其特征在于，包括以下步驟 獲取視頻畫面，用鼠標在所述視頻畫面上感興趣區(qū)域劃定一條直線，并記錄鼠標的軌跡坐標，將所述鼠標軌跡繪制在另一幅尺寸相等的全黑圖像中，將鼠標軌跡直線設置為白色，加寬所述鼠標軌跡直線的像素得到一個長方形的封閉區(qū)域，并將所述封閉區(qū)域設置為白色，得到一個掩模圖； 根據劃定的直線設置關注方向，檢測活動目標，判斷每個檢測到的活動目標的行進方向，記錄關鍵幀號； 將提取的關鍵幀號所對應的視頻幀合并成新的視頻。
2.根據權利要求I所述基于行進方向檢測的刑偵視頻預處理方法，其特征在于，所述設置關注方向是在待處理的視頻中設置參考方向，該參考方向與時鐘平面的刻度盤對應。
3.根據權利要求I所述基于行進方向檢測的刑偵視頻預處理方法，其特征在于，所述利用背景差法檢測活動目標，具體步驟為 讀入待處理視頻，創(chuàng)建背景圖像； 取當前幀與背景圖的幀差； 將所述巾貞差與面積閾值比較，若大于面積閾值，則為活動目標。
4.根據權利要求3所述基于行進方向檢測的刑偵視頻預處理方法，其特征在于對所述幀差進行二值化、膨脹、中值濾波操作后再與面積閾值比較。
5.根據權利要求4所述基于行進方向檢測的刑偵視頻預處理方法，其特征在于，通過以下公式對所述幀差進行二值化 [255 if D>T IO //./)< 7 其中，D(x，y)表示幀差結果圖像中位置(x，y)處的像素灰度值，T為給定的一個閾值。
6.根據權利要求I所述基于行進方向檢測的刑偵視頻預處理方法，其特征在于，所述判斷每個檢測到的活動目標的行進方向具體步驟為 利用時間戳，使用運動歷史圖記錄下每個運動部件一段時間內歷史軌跡的梯度信息； 根據記錄的梯度信息采用加權的方式計算每個部件的方向； 保留與關注方向一致的部件，即為活動目標行進的方向。
7.根據權利要求6所述基于行進方向檢測的刑偵視頻預處理方法，其特征在于，通過以下公式計算運動部件的全局梯度方向V = (Prd + Ya W(StamP) A)V^WUP(^\ y), (prcf ) 其中，i是計算的部件的全局梯度方向，即為運動部件的方向，外Cf為基本參考角度，W (stamp)為根據時間戳設置的權重，為所得運動方向同參考角度之間的最小角度差。
8.根據權利要求I所述基于行進方向檢測的刑偵視頻預處理方法，其特征在于，所述記錄關鍵幀號包括判斷是否存在保留的目標的中心點落在設置的關注線區(qū)域范圍內，存在則認為當前幀為關鍵幀并記錄當前幀的幀號，否則為非關鍵幀。
9.根據權利要求I所述基于行進方向檢測的刑偵視頻預處理方法，其特征在于，所述合并成新的視頻包括以下步驟按照選取的關鍵幀號，讀取第一個關鍵幀并將其作為輸出視頻的開始幀； 按關 鍵幀號順序，讀取所述第一個關鍵幀之后的關鍵幀并按序加入輸出視頻，直至讀取最后的關鍵幀并將其作為輸出視頻的結束幀。
全文摘要
本發(fā)明公開了一種基于行進方向檢測的刑偵視頻預處理方法，其首先根據視頻畫面在感興趣區(qū)域設置關注線，再結合設置的關注線對視頻內容進行活動目標行進方向檢測，提取關鍵幀號；最后將提取的視頻幀合并成新的視頻。本預處理方法可以結合行進方向檢測和跨關注線目標檢測獲取刑偵視頻中具有關注范圍內目標的視頻幀號，過濾掉視頻中不感興趣的視頻幀，然后對這些提取出來的關鍵幀重新整合成一段新的視頻以供瀏覽，減少了需要觀看的視頻幀數量，同時沒有遺漏想要關注的信息，從而提高了刑偵視頻的瀏覽效率。
文檔編號G06T7/20GK102810208SQ201210257970
公開日2012年12月5日 申請日期2012年7月24日 優(yōu)先權日2012年7月24日
發(fā)明者嚴國建 申請人:武漢大千信息技術有限公司