專利名稱：實(shí)現(xiàn)多目標(biāo)跟蹤的視頻圖像數(shù)據(jù)結(jié)構(gòu)化描述處理的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻處理技術(shù)領(lǐng)域，特別涉及基于視頻圖像的多運(yùn)動(dòng)目標(biāo)跟蹤技術(shù)領(lǐng)域，具體是指一種實(shí)現(xiàn)多目標(biāo)跟蹤的視頻圖像數(shù)據(jù)結(jié)構(gòu)化描述處理的方法。
背景技術(shù)：
安全防范領(lǐng)域中已廣泛采用視覺傳感器監(jiān)控場(chǎng)景，但大多數(shù)基于視覺傳感器的場(chǎng)景監(jiān)控系統(tǒng)仍停留在半人工式的模擬監(jiān)控階段。其中監(jiān)控視頻自動(dòng)化處理能力薄弱是制約視頻監(jiān)控應(yīng)用進(jìn)一步深入發(fā)展的瓶頸，高效精準(zhǔn)的視頻檢索手段缺失使得數(shù)據(jù)共享能力受限，視頻監(jiān)控系統(tǒng)很難與公安信息系統(tǒng)實(shí)現(xiàn)資源整合和互操作，視頻監(jiān)控系統(tǒng)的數(shù)據(jù)壓縮與細(xì)節(jié)保留之間存在矛盾，視頻監(jiān)控的應(yīng)用缺乏統(tǒng)一的標(biāo)準(zhǔn)和規(guī)范，迫切需要研制智能化的視覺監(jiān)控系統(tǒng)，而多運(yùn)動(dòng)目標(biāo)檢測(cè)、跟蹤式智能視覺監(jiān)控的基礎(chǔ)性問題，同時(shí)也是關(guān)鍵性的難點(diǎn)問題。
而目前針對(duì)多運(yùn)動(dòng)目標(biāo)跟蹤采用的表征方法主要有以下幾種I、改進(jìn)的顏色直方圖建立外觀模型的跟蹤方法，將顏色直方圖與空間信息結(jié)合建立外觀模型來跟蹤多目標(biāo)，如將人體形狀分割為三個(gè)部分，對(duì)各部分用顏色直方圖描述其顏色特征，并用粒子濾波算法實(shí)現(xiàn)人體跟蹤，但是，這種方法缺乏對(duì)目標(biāo)各部分間結(jié)構(gòu)關(guān)系的描述，無法處理復(fù)雜遮擋情況下的跟蹤。2、顏色相關(guān)圖(color correlogram)跟蹤方法，顏色相關(guān)圖用共生矩陣計(jì)算兩像素之間相隔某一距離的概率，可將相關(guān)圖與直方圖結(jié)合來建模人體外觀，為了跟蹤多運(yùn)動(dòng)目標(biāo)，該方法采用了一個(gè)結(jié)合空間信息的簡(jiǎn)化的顏色相關(guān)圖表征目標(biāo)，但是該模型沒有包含尺度和光線特征，并且由于采用三維數(shù)組表征不同顏色對(duì)及其距離，計(jì)算復(fù)雜度很高。3、屬性關(guān)系圖(Attributed Relational Graph, ARG)跟蹤方法，屬性關(guān)系圖不僅能表征目標(biāo)的局部特征，還能表達(dá)目標(biāo)特征的屬性結(jié)構(gòu)，式一種表達(dá)目標(biāo)特征的有效方法。用ARG方法將像素聚類為具有特征一致性的區(qū)域塊，用于表示有交互運(yùn)動(dòng)的多人體的身體部分，或用ARG來表達(dá)目標(biāo)的不變特征及它們的關(guān)聯(lián)關(guān)系。顯然，與沒有包含結(jié)構(gòu)特征的方法相比，ARG模型是表達(dá)外觀特征的更有效的方法，但是ARG模型在視頻的每幀都要計(jì)算及產(chǎn)生很多身體區(qū)域進(jìn)行跟蹤，因此建立的跟蹤系統(tǒng)并不能達(dá)到實(shí)時(shí)監(jiān)控的要求，并且ARG模型依賴于局部特征的穩(wěn)定性，在目標(biāo)被嚴(yán)重遮擋時(shí)特征丟失會(huì)導(dǎo)致跟蹤失敗。4、光流圖像跟蹤方法，光流圖像跟蹤方法利用圖像像素?cái)?shù)據(jù)的相關(guān)性和時(shí)域變化來確定各個(gè)像素的運(yùn)動(dòng)情況，通過對(duì)圖像灰度值隨時(shí)間的變化來探索目標(biāo)的結(jié)構(gòu)信息和運(yùn)動(dòng)過程。該方法提出了兩個(gè)假設(shè)一，目標(biāo)的灰度值在短暫的時(shí)間間隔內(nèi)保持不變；二，場(chǎng)景給定的情況下速度向量場(chǎng)變化時(shí)緩慢的。光流法適用于攝像機(jī)靜止和運(yùn)動(dòng)的場(chǎng)景，但是應(yīng)對(duì)目標(biāo)遮擋、多光源和噪聲影響等情況時(shí)，前提假設(shè)常不成立，在沒有硬件支持的情況下難以應(yīng)用到實(shí)時(shí)處理中去。

發(fā)明內(nèi)容
本發(fā)明的目的是克服了上述現(xiàn)有技術(shù)中的缺點(diǎn)，提供一種將視頻內(nèi)容進(jìn)行時(shí)空分害I]、特征提取和對(duì)象識(shí)別，并根據(jù)語義關(guān)系組織成可供計(jì)算機(jī)和人理解的文本信息，從而在不降低圖像質(zhì)量，不增加碼率的基礎(chǔ)上，提高視頻搜索速度，以適應(yīng)視頻圖像在網(wǎng)絡(luò)傳輸中的應(yīng)用，且實(shí)現(xiàn)方法簡(jiǎn)便，應(yīng)用成本低廉，應(yīng)用范圍廣泛的計(jì)算機(jī)系統(tǒng)中實(shí)現(xiàn)多目標(biāo)跟蹤功能的對(duì)視頻圖像數(shù)據(jù)進(jìn)行結(jié)構(gòu)化描述處理的方法。為了實(shí)現(xiàn)上述的目的，本發(fā)明的計(jì)算機(jī)系統(tǒng)中實(shí)現(xiàn)多目標(biāo)跟蹤功能的對(duì)視頻圖像數(shù)據(jù)進(jìn)行結(jié)構(gòu)化描述處理的方法中，所述的系統(tǒng)包括目標(biāo)檢測(cè)模塊和信息表述模塊，所述的方法包括以下步驟( I)所述的系統(tǒng)的目標(biāo)檢測(cè)模塊獲得視頻圖像數(shù)據(jù)；該目標(biāo)檢測(cè)模塊對(duì)所述的視 頻圖像數(shù)據(jù)進(jìn)行動(dòng)態(tài)目標(biāo)檢測(cè)；(2)所述的目標(biāo)檢測(cè)模塊判斷動(dòng)態(tài)目標(biāo)與其運(yùn)動(dòng)軌跡是否匹配，若匹配，則進(jìn)入步驟(3)，若不匹配，則進(jìn)入步驟(4)；(3)所述的目標(biāo)檢測(cè)模塊判斷所述的動(dòng)態(tài)目標(biāo)是否被遮擋，若是，則進(jìn)行圖像處理后，進(jìn)入步驟(5)，若否，則直接進(jìn)入步驟(5)；(4)所述的目標(biāo)檢測(cè)模塊進(jìn)行目標(biāo)狀態(tài)更新，并進(jìn)入步驟(5)；(5)所述的目標(biāo)檢測(cè)模塊進(jìn)行目標(biāo)及軌跡更新；(6)所述的信息表述模塊根據(jù)所述的目標(biāo)檢測(cè)模塊獲得的目標(biāo)及其軌跡進(jìn)行信息表述，產(chǎn)生結(jié)構(gòu)化描述信息。該計(jì)算機(jī)系統(tǒng)中實(shí)現(xiàn)多目標(biāo)跟蹤功能的對(duì)視頻圖像數(shù)據(jù)進(jìn)行結(jié)構(gòu)化描述處理的方法中，所述的目標(biāo)檢測(cè)模塊還包括目標(biāo)信息庫，所述的目標(biāo)信息庫存儲(chǔ)有目標(biāo)與其運(yùn)行軌跡的對(duì)應(yīng)信息，所述的目標(biāo)檢測(cè)模塊判斷動(dòng)態(tài)目標(biāo)與其運(yùn)動(dòng)軌跡是否匹配，具體為所述的目標(biāo)檢測(cè)模塊判斷動(dòng)態(tài)目標(biāo)的運(yùn)動(dòng)路徑與所述的目標(biāo)信息庫存儲(chǔ)的對(duì)應(yīng)的運(yùn)行軌跡是
否一致。該計(jì)算機(jī)系統(tǒng)中實(shí)現(xiàn)多目標(biāo)跟蹤功能的對(duì)視頻圖像數(shù)據(jù)進(jìn)行結(jié)構(gòu)化描述處理的方法中，所述的步驟(3)具體包括以下步驟(31)所述的目標(biāo)檢測(cè)模塊判斷所述的動(dòng)態(tài)目標(biāo)是否被遮擋，若是，則進(jìn)入步驟
(32)，若否，則直接進(jìn)入步驟(33)；(32)所述的目標(biāo)檢測(cè)模塊判斷遮擋是否超出閾值，若是，則進(jìn)行目標(biāo)整合或目標(biāo)清除，而后進(jìn)入步驟(5)，若否，則對(duì)目標(biāo)進(jìn)行粒子濾波跟蹤，而后進(jìn)入步驟(5)；(33 )所述的目標(biāo)檢測(cè)模塊對(duì)目標(biāo)進(jìn)行均值漂移跟蹤，而后進(jìn)入步驟(5 )。該計(jì)算機(jī)系統(tǒng)中實(shí)現(xiàn)多目標(biāo)跟蹤功能的對(duì)視頻圖像數(shù)據(jù)進(jìn)行結(jié)構(gòu)化描述處理的方法中，所述的目標(biāo)整合為對(duì)目標(biāo)進(jìn)行粒子整合。該計(jì)算機(jī)系統(tǒng)中實(shí)現(xiàn)多目標(biāo)跟蹤功能的對(duì)視頻圖像數(shù)據(jù)進(jìn)行結(jié)構(gòu)化描述處理的方法中，所述的目標(biāo)清除具體為所述的目標(biāo)檢測(cè)模塊進(jìn)行曲線擬合，將單個(gè)目標(biāo)整合為整體目標(biāo)后，去除不存在的目標(biāo)。該計(jì)算機(jī)系統(tǒng)中實(shí)現(xiàn)多目標(biāo)跟蹤功能的對(duì)視頻圖像數(shù)據(jù)進(jìn)行結(jié)構(gòu)化描述處理的方法中，所述的步驟(4)具體包括以下步驟(41)所述的目標(biāo)檢測(cè)模塊判斷是否出現(xiàn)新目標(biāo)，若是，則進(jìn)入步驟(42)，若否，則進(jìn)入步驟(43)；(42)所述的目標(biāo)檢測(cè)模塊進(jìn)行曲線擬合，將整體目標(biāo)分割為單個(gè)目標(biāo)，并進(jìn)入步驟(5)；(43)所述的目標(biāo)檢測(cè)模塊進(jìn)行去除不存在的目標(biāo)，并進(jìn)入步驟(5)。該計(jì)算機(jī)系統(tǒng)中實(shí)現(xiàn)多目標(biāo)跟蹤功能的對(duì)視頻圖像數(shù)據(jù)進(jìn)行結(jié)構(gòu)化描述處理的方法中，所述的步驟(5)具體包括以下步驟(51)所述的目標(biāo)檢測(cè)模塊對(duì)檢測(cè)獲得的動(dòng)態(tài)目標(biāo)的軌跡進(jìn)行更新；
(52)所述的目標(biāo)檢測(cè)模塊將動(dòng)態(tài)目標(biāo)信息及其軌跡信息發(fā)送到所述的信息表述模塊；(53)返回步驟(I)。該計(jì)算機(jī)系統(tǒng)中實(shí)現(xiàn)多目標(biāo)跟蹤功能的對(duì)視頻圖像數(shù)據(jù)進(jìn)行結(jié)構(gòu)化描述處理的方法中，所述的信息表述模塊包括描述單元和描述方案庫，所述的描述方案庫存儲(chǔ)與動(dòng)態(tài)對(duì)象及軌跡對(duì)應(yīng)的描述方案信息，所述的步驟(6)具體包括以下步驟(61)所述的描述單元從所述的目標(biāo)檢測(cè)模塊獲得動(dòng)態(tài)目標(biāo)信息及其軌跡信息；(62)所述的描述單元根據(jù)所述的動(dòng)態(tài)目標(biāo)信息及其軌跡信息從所述的描述方案庫獲得對(duì)應(yīng)的描述方案信息；(63)所述的描述單兀根據(jù)所述的描述方案信息產(chǎn)生結(jié)構(gòu)化描述信息。采用了該發(fā)明計(jì)算機(jī)系統(tǒng)中實(shí)現(xiàn)多目標(biāo)跟蹤功能的對(duì)視頻圖像數(shù)據(jù)進(jìn)行結(jié)構(gòu)化描述處理的方法，其目標(biāo)檢測(cè)模塊對(duì)所述的視頻圖像數(shù)據(jù)進(jìn)行動(dòng)態(tài)目標(biāo)檢測(cè)與匹配，并根據(jù)動(dòng)態(tài)目標(biāo)被遮擋的情況，進(jìn)行目標(biāo)狀態(tài)更新，然后進(jìn)行目標(biāo)及軌跡更新；最后通過信息表述模塊進(jìn)行信息表述，產(chǎn)生可供計(jì)算機(jī)和人理解的結(jié)構(gòu)化描述信息。從而能夠在不降低圖像質(zhì)量，不增加碼率的基礎(chǔ)上，有效提高視頻搜索速度，以適應(yīng)視頻圖像在網(wǎng)絡(luò)傳輸中的應(yīng)用，且本發(fā)明的計(jì)算機(jī)系統(tǒng)中實(shí)現(xiàn)多目標(biāo)跟蹤功能的對(duì)視頻圖像數(shù)據(jù)進(jìn)行結(jié)構(gòu)化描述處理的方法，其實(shí)現(xiàn)方式簡(jiǎn)便，應(yīng)用成本低廉，應(yīng)用范圍也較為廣泛。


圖I為本發(fā)明的計(jì)算機(jī)系統(tǒng)中實(shí)現(xiàn)多目標(biāo)跟蹤功能的對(duì)視頻圖像數(shù)據(jù)進(jìn)行結(jié)構(gòu)化描述處理的方法的步驟流程圖。圖2為本發(fā)明的方法在實(shí)際應(yīng)用中的單攝像頭多運(yùn)動(dòng)目標(biāo)跟蹤系統(tǒng)算法流程圖。圖3為本發(fā)明的方法在實(shí)際應(yīng)用中的視頻結(jié)構(gòu)化描述技術(shù)方案的示意圖。圖4為本發(fā)明的方法在實(shí)際應(yīng)用中的監(jiān)控視頻內(nèi)容信息標(biāo)準(zhǔn)化表達(dá)示意圖。
具體實(shí)施例方式為了能夠更清楚地理解本發(fā)明的技術(shù)頁面，特舉以下實(shí)施例詳細(xì)說明。請(qǐng)參閱圖I所示，為本發(fā)明的計(jì)算機(jī)系統(tǒng)中實(shí)現(xiàn)多目標(biāo)跟蹤功能的對(duì)視頻圖像數(shù)據(jù)進(jìn)行結(jié)構(gòu)化描述處理的方法的步驟流程圖。在一種實(shí)施方式中，所述的計(jì)算機(jī)系統(tǒng)包括目標(biāo)檢測(cè)模塊和信息表述模塊，所述的方法包括以下步驟( I)所述的目標(biāo)檢測(cè)模塊獲得視頻圖像數(shù)據(jù)，該目標(biāo)檢測(cè)模塊對(duì)所述的視頻圖像數(shù)據(jù)進(jìn)行動(dòng)態(tài)目標(biāo)檢測(cè)；(2)所述的目標(biāo)檢測(cè)模塊判斷動(dòng)態(tài)目標(biāo)與其運(yùn)動(dòng)軌跡是否匹配，若匹配，則進(jìn)入步驟(3)，若不匹配，則進(jìn)入步驟(4)；(3)所述的目標(biāo)檢測(cè)模塊判斷所述的動(dòng)態(tài)目標(biāo)是否被遮擋，若是，則進(jìn)行圖像處理后，進(jìn)入步驟(5)，若否，則直接進(jìn)入步驟(5)；(4)所述的目標(biāo)檢測(cè)模塊進(jìn)行目標(biāo)狀態(tài)更新，并進(jìn)入步驟(5)；(5)所述的目標(biāo)檢測(cè)模塊進(jìn)行目標(biāo)及軌跡更新；·(6)所述的信息表述模塊根據(jù)所述的目標(biāo)檢測(cè)模塊獲得的目標(biāo)及其軌跡進(jìn)行信息表述，產(chǎn)生結(jié)構(gòu)化描述信息。在一種較優(yōu)選的實(shí)施方式中，所述的目標(biāo)檢測(cè)模塊還包括目標(biāo)信息庫，所述的目標(biāo)信息庫存儲(chǔ)有目標(biāo)與其運(yùn)行軌跡的對(duì)應(yīng)信息，所述的目標(biāo)檢測(cè)模塊判斷動(dòng)態(tài)目標(biāo)與其運(yùn)動(dòng)軌跡是否匹配，具體為所述的目標(biāo)檢測(cè)模塊判斷動(dòng)態(tài)目標(biāo)的運(yùn)動(dòng)路徑與所述的目標(biāo)信息庫存儲(chǔ)的對(duì)應(yīng)的運(yùn)行軌跡是否一致。在另一種較優(yōu)選的實(shí)施方式中，所述的步驟(3)具體包括以下步驟(31)所述的目標(biāo)檢測(cè)模塊判斷所述的動(dòng)態(tài)目標(biāo)是否被遮擋，若是，則進(jìn)入步驟
(32)，若否，則直接進(jìn)入步驟(33)；(32)所述的目標(biāo)檢測(cè)模塊判斷遮擋是否超出閾值，若是，則進(jìn)行目標(biāo)整合或目標(biāo)清除，而后進(jìn)入步驟(5)，若否，則對(duì)目標(biāo)進(jìn)行粒子濾波跟蹤，而后進(jìn)入步驟(5)；(33 )所述的目標(biāo)檢測(cè)模塊對(duì)目標(biāo)進(jìn)行均值漂移跟蹤，而后進(jìn)入步驟(5 )。步驟(32)中所述的對(duì)目標(biāo)進(jìn)行粒子濾波跟蹤具體是指，通過尋找一組在狀態(tài)空間傳播的隨機(jī)樣本，對(duì)概率密度函數(shù)進(jìn)行近似，以樣本均值代替積分運(yùn)算，從而獲得狀態(tài)最小方差分布的過程。步驟(33)中所述的對(duì)目標(biāo)進(jìn)行均值漂移跟蹤具體是指，通過有效的迭代運(yùn)算找到目標(biāo)位置，并基于密度梯度上升的非參數(shù)方法，使每一個(gè)點(diǎn)“漂移”到密度函數(shù)的局部極大值點(diǎn)，實(shí)現(xiàn)目標(biāo)跟蹤。在一種進(jìn)一步優(yōu)選的實(shí)施方式中，所述的目標(biāo)整合為對(duì)目標(biāo)進(jìn)行粒子整合，具體為首先結(jié)合使用粒子群優(yōu)化算法和K-均值算法搜索全局最優(yōu)解的位置，然后再利用K-均值算法在全局最優(yōu)解附近的局部空間內(nèi)快速尋找最優(yōu)聚類中心，實(shí)現(xiàn)粒子整合。在另一種進(jìn)一步優(yōu)選的實(shí)施方式中，所述的目標(biāo)清除具體為所述的目標(biāo)檢測(cè)模塊進(jìn)行曲線擬合，將單個(gè)目標(biāo)整合為整體目標(biāo)后，去除不存在的目標(biāo)。在又一種較優(yōu)選的實(shí)施方式中，所述的步驟(4)具體包括以下步驟(41)所述的目標(biāo)檢測(cè)模塊判斷是否出現(xiàn)新目標(biāo)，若是，則進(jìn)入步驟(42)，若否，則進(jìn)入步驟(43)；(42)所述的目標(biāo)檢測(cè)模塊進(jìn)行曲線擬合，將整體目標(biāo)分割為單個(gè)目標(biāo)，并進(jìn)入步驟(5)；(43)所述的目標(biāo)檢測(cè)模塊進(jìn)行去除不存在的目標(biāo)，并進(jìn)入步驟(5)。在進(jìn)一步優(yōu)選的實(shí)施方式中，所述的步驟(5)具體包括以下步驟
(51)所述的目標(biāo)檢測(cè)模塊對(duì)檢測(cè)獲得的動(dòng)態(tài)目標(biāo)的軌跡進(jìn)行更新；(52)所述的目標(biāo)檢測(cè)模塊將動(dòng)態(tài)目標(biāo)信息及其軌跡信息發(fā)送到所述的信息表述模塊；(53)返回步驟(I)。在更優(yōu)選的實(shí)施方式中，所述的信息表述模塊包括描述單元和描述方案庫，所述的描述方案庫存儲(chǔ)與動(dòng)態(tài)對(duì)象及軌跡對(duì)應(yīng)的描述方案信息，所述的步驟(6)具體包括以下步驟(61)所述的描述單元從所述的目標(biāo)檢測(cè)模塊獲得動(dòng)態(tài)目標(biāo)信息及其軌跡信息；(62)所述的描述單元根據(jù)所述的動(dòng)態(tài)目標(biāo)信息及其軌跡信息從所述的描述方案庫獲得對(duì)應(yīng)的描述方案信息；
(63)所述的描述單兀根據(jù)所述的描述方案信息產(chǎn)生結(jié)構(gòu)化描述信息。在實(shí)際應(yīng)用中，本發(fā)明的視頻結(jié)構(gòu)化描述的實(shí)現(xiàn)和應(yīng)用的流程如圖2所示。其中，視頻理解和描述單元對(duì)應(yīng)于視頻內(nèi)容信息結(jié)構(gòu)化描述的專門視頻處理硬件設(shè)備、軟件程序或者其它理解和解釋視頻的手段。輸入視頻數(shù)據(jù)，輸出原視頻數(shù)據(jù)的內(nèi)容描述。此時(shí)在視頻與內(nèi)容描述之間建立了確定的對(duì)應(yīng)關(guān)系。視頻結(jié)構(gòu)化描述強(qiáng)調(diào)特定場(chǎng)景(如公安監(jiān)控場(chǎng)景)下特定信息(如公安業(yè)務(wù)關(guān)注信息)的提取和描述，因此這一過程是在一定的知識(shí)模型的指導(dǎo)之下完成的。簡(jiǎn)單而言，知識(shí)模型是對(duì)視頻監(jiān)控應(yīng)用經(jīng)驗(yàn)、視頻內(nèi)容本身特點(diǎn)等規(guī)律性的總結(jié)和形式化表達(dá)。單攝像頭多運(yùn)動(dòng)目標(biāo)跟蹤的視頻結(jié)構(gòu)化描述裝置包括多運(yùn)動(dòng)目標(biāo)跟蹤系統(tǒng)和視頻結(jié)構(gòu)化的包括以下幾個(gè)層次。I、層次多粒度的視頻特征分析研究；2、面向描述的視頻內(nèi)容知識(shí)模型研究；3、視頻內(nèi)容描述語言定義。對(duì)應(yīng)如圖2所示的單攝像頭多運(yùn)動(dòng)目標(biāo)跟蹤的視頻結(jié)構(gòu)化描述步驟流程圖。視頻結(jié)構(gòu)化描述的方法包括以下步驟( I)所述的多運(yùn)動(dòng)目標(biāo)跟蹤系統(tǒng)的檢測(cè)目標(biāo)部分；(2)所述的多運(yùn)動(dòng)目標(biāo)跟蹤系統(tǒng)匹配目標(biāo)與軌跡部分；(3)所述的多運(yùn)動(dòng)目標(biāo)跟蹤系統(tǒng)跟蹤及新目標(biāo)初始化和目標(biāo)終止部分；(4)所述的多運(yùn)動(dòng)目標(biāo)跟蹤系統(tǒng)系統(tǒng)狀態(tài)更新部分；并返回步驟(I)。具體而言，多目標(biāo)跟蹤系統(tǒng)對(duì)圖像序列中每一個(gè)目標(biāo)都要進(jìn)行跟蹤，并實(shí)時(shí)更新。(I)利用視頻結(jié)構(gòu)化描述方法進(jìn)行推理判斷，確定檢測(cè)目標(biāo)與運(yùn)動(dòng)軌跡能否匹配。若匹配成功，則進(jìn)入步驟(2);若匹配不成功，則進(jìn)入步驟(3)。(2)對(duì)于匹配成功的目標(biāo)軌跡組合，檢測(cè)目標(biāo)間的遮擋情況，若發(fā)現(xiàn)無遮擋情況，則進(jìn)行優(yōu)化Mean-Shift跟蹤，并進(jìn)入步驟(4)。若遮擋情況出現(xiàn)，則要對(duì)遮擋的情況作出判斷若超過閾值條件，目標(biāo)出現(xiàn)較長(zhǎng)時(shí)間遮擋，則對(duì)目標(biāo)進(jìn)行整合和清除，之后進(jìn)入步驟
(4)。若為超過閾值條件，目標(biāo)只是出現(xiàn)較短時(shí)間遮擋，可對(duì)目標(biāo)進(jìn)行粒子濾波跟蹤。這里，如果粒子簇的數(shù)量超過一定的閾值后，可進(jìn)行可選的粒子整合過程，在盡可能降低粒子數(shù)量的同時(shí)保持粒子取樣的合理性。當(dāng)然，如果粒子簇的數(shù)量未超過該閾值，則直接進(jìn)行粒子濾波跟蹤。文成粒子濾波跟蹤后也進(jìn)入步驟(4)。
(3)對(duì)于匹配不成功的目標(biāo)或者軌跡，可能出現(xiàn)的情況如新的目標(biāo)產(chǎn)生或者是原先的目標(biāo)消失。新的目標(biāo)我們要為它進(jìn)行初始化過程，然后進(jìn)入步驟(4)。而原先目標(biāo)消失可能有目標(biāo)移出畫面或者目標(biāo)在畫面中由運(yùn)動(dòng)狀態(tài)轉(zhuǎn)為靜止?fàn)顟B(tài)，則對(duì)已經(jīng)小時(shí)的目標(biāo)進(jìn)行清除處理，然后進(jìn)入步驟(4)。(4)更行系統(tǒng)參數(shù)，包括目標(biāo)和軌跡及其它參數(shù)。Mean-Shift算法跟蹤獨(dú)立的運(yùn)動(dòng)物體時(shí)簡(jiǎn)單迅速，而且準(zhǔn)確性符合要求。該視頻結(jié)構(gòu)化描述方法基于視頻監(jiān)控的應(yīng)用知識(shí)庫，通過對(duì)視頻特征分析提出有關(guān)視頻描述的元數(shù)據(jù)列表，并以此建立有關(guān)視頻內(nèi)容的描述模型，定義相應(yīng)的描述語言，對(duì)視頻描述的知識(shí)樣本進(jìn)行管理，提供有關(guān)視頻特征提取和描述的參考軟件工具。各部分的相互關(guān)系如圖3所示。該視頻結(jié)構(gòu)化描述方法以層次化多粒度的方式組織視頻信息，將高層語義信息和低級(jí)視覺信息有效地結(jié)合起來。高級(jí)語義信息包含視頻對(duì)象、對(duì)象行為、對(duì)象間交互等信息；低級(jí)視覺信息主要描述視頻對(duì)象的具體屬性，如形狀、位置、面積、顏色等。層次化多粒 度的結(jié)構(gòu)化描述方法需要提出復(fù)雜場(chǎng)景視頻中人、車、物、行為、事件的多粒度、多層次結(jié)構(gòu)化描述規(guī)范和實(shí)現(xiàn)方法。具體包括研究圖像的顏色、紋理、形狀等低層特征提取描述方法；視頻數(shù)據(jù)的時(shí)間、空間分割規(guī)則和關(guān)鍵幀提取描述規(guī)則；監(jiān)控視頻的對(duì)象識(shí)別、場(chǎng)景理解，視頻片斷理解分析等高級(jí)語義特征的組織原則等描述技術(shù)；提出警務(wù)視頻描述的元數(shù)據(jù)集
口 ο該視頻結(jié)構(gòu)化描述方法模型主要實(shí)現(xiàn)基于元數(shù)據(jù)的視頻內(nèi)容知識(shí)表達(dá)。需要在元數(shù)據(jù)、元結(jié)構(gòu)的基礎(chǔ)上，根據(jù)需要建立基于原語的警務(wù)應(yīng)用監(jiān)控視頻描述集合；結(jié)合視頻應(yīng)用知識(shí)庫，根據(jù)視頻特內(nèi)容信息的組織原則，提出視頻內(nèi)容描述的描述子、描述方案，形成針對(duì)典型描述的描述規(guī)范、描述框架和描述工具，并使用知識(shí)表達(dá)方法，例如圖像本體，對(duì)上述內(nèi)容描述方法進(jìn)行建模表達(dá)。監(jiān)控視頻內(nèi)容信息標(biāo)準(zhǔn)化表達(dá)如圖4所示。該視頻結(jié)構(gòu)化描述方法描述語言定義要對(duì)通用的XML語言進(jìn)行擴(kuò)展，例如專用數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)，封裝標(biāo)簽，實(shí)現(xiàn)面向警務(wù)應(yīng)用的結(jié)構(gòu)化表征和描述語言(Police-orientedMakeup and Description Language, PMDL),既能實(shí)現(xiàn)視頻內(nèi)容分析和理解，又能夠充分考慮到低層次語義特征，有利于語義視頻信息的提取。針對(duì)視頻內(nèi)容知識(shí)模型，使用擴(kuò)展的XML語言實(shí)例化描述模型。針對(duì)內(nèi)容數(shù)據(jù)的傳輸和存儲(chǔ)，需要使用描述文件的二進(jìn)制表達(dá)和壓縮方法。采用了該發(fā)明計(jì)算機(jī)系統(tǒng)中實(shí)現(xiàn)多目標(biāo)跟蹤功能的對(duì)視頻圖像數(shù)據(jù)進(jìn)行結(jié)構(gòu)化描述處理的方法，其目標(biāo)檢測(cè)模塊對(duì)所述的視頻圖像數(shù)據(jù)進(jìn)行動(dòng)態(tài)目標(biāo)檢測(cè)與匹配，并根據(jù)動(dòng)態(tài)目標(biāo)被遮擋的情況，進(jìn)行目標(biāo)狀態(tài)更新，然后進(jìn)行目標(biāo)及軌跡更新；最后通過信息表述模塊進(jìn)行信息表述，產(chǎn)生可供計(jì)算機(jī)和人理解的結(jié)構(gòu)化描述信息。從而能夠在不降低圖像質(zhì)量，不增加碼率的基礎(chǔ)上，有效提高視頻搜索速度，以適應(yīng)視頻圖像在網(wǎng)絡(luò)傳輸中的應(yīng)用，且本發(fā)明的計(jì)算機(jī)系統(tǒng)中實(shí)現(xiàn)多目標(biāo)跟蹤功能的對(duì)視頻圖像數(shù)據(jù)進(jìn)行結(jié)構(gòu)化描述處理的方法，其實(shí)現(xiàn)方式簡(jiǎn)便，應(yīng)用成本低廉，應(yīng)用范圍也較為廣泛。在此說明書中，本發(fā)明已參照其特定的實(shí)施例作了描述。但是，很顯然仍可以作出各種修改和變換而不背離本發(fā)明的精神和范圍。因此，說明書和附圖應(yīng)被認(rèn)為是說明性的而非限制性的。
權(quán)利要求
1.一種計(jì)算機(jī)系統(tǒng)中實(shí)現(xiàn)多目標(biāo)跟蹤功能的對(duì)視頻圖像數(shù)據(jù)進(jìn)行結(jié)構(gòu)化描述處理的方法，其特征在于，所述的系統(tǒng)包括目標(biāo)檢測(cè)模塊和信息表述模塊，所述的方法包括以下步驟 (1)所述的目標(biāo)檢測(cè)模塊獲得視頻圖像數(shù)據(jù)，該目標(biāo)檢測(cè)模塊對(duì)所述的視頻圖像數(shù)據(jù)進(jìn)行動(dòng)態(tài)目標(biāo)檢測(cè)； (2)所述的目標(biāo)檢測(cè)模塊判斷動(dòng)態(tài)目標(biāo)與其運(yùn)動(dòng)軌跡是否匹配，若匹配，則進(jìn)入步驟(3)，若不匹配，則進(jìn)入步驟(4)； (3)所述的目標(biāo)檢測(cè)模塊判斷所述的動(dòng)態(tài)目標(biāo)是否被遮擋，若是，則進(jìn)行圖像處理后，進(jìn)入步驟(5)，若否，則直接進(jìn)入步驟(5)； (4 )所述的目標(biāo)檢測(cè)模塊進(jìn)行目標(biāo)狀態(tài)更新，并進(jìn)入步驟(5 ); (5)所述的目標(biāo)檢測(cè)模塊進(jìn)行目標(biāo)及軌跡更新； (6)所述的信息表述模塊根據(jù)所述的目標(biāo)檢測(cè)模塊獲得的目標(biāo)及其軌跡進(jìn)行信息表述，產(chǎn)生結(jié)構(gòu)化描述信息。
2.根據(jù)權(quán)利要求I所述的計(jì)算機(jī)系統(tǒng)中實(shí)現(xiàn)多目標(biāo)跟蹤功能的對(duì)視頻圖像數(shù)據(jù)進(jìn)行結(jié)構(gòu)化描述處理的方法，其特征在于，所述的目標(biāo)檢測(cè)模塊還包括目標(biāo)信息庫，所述的目標(biāo)信息庫存儲(chǔ)有目標(biāo)與其運(yùn)行軌跡的對(duì)應(yīng)信息，所述的目標(biāo)檢測(cè)模塊判斷動(dòng)態(tài)目標(biāo)與其運(yùn)動(dòng)軌跡是否匹配，具體為 所述的目標(biāo)檢測(cè)模塊判斷動(dòng)態(tài)目標(biāo)的運(yùn)動(dòng)路徑與所述的目標(biāo)信息庫存儲(chǔ)的對(duì)應(yīng)的運(yùn)行軌跡是否一致。
3.根據(jù)權(quán)利要求I所述的計(jì)算機(jī)系統(tǒng)中實(shí)現(xiàn)多目標(biāo)跟蹤功能的對(duì)視頻圖像數(shù)據(jù)進(jìn)行結(jié)構(gòu)化描述處理的方法，其特征在于，所述的步驟(3)具體包括以下步驟 (31)所述的目標(biāo)檢測(cè)模塊判斷所述的動(dòng)態(tài)目標(biāo)是否被遮擋，若是，則進(jìn)入步驟(32)，若否，則直接進(jìn)入步驟(33)； (32)所述的目標(biāo)檢測(cè)模塊判斷遮擋是否超出閾值，若是，則進(jìn)行目標(biāo)整合或目標(biāo)清除，而后進(jìn)入步驟(5)，若否，則對(duì)目標(biāo)進(jìn)行粒子濾波跟蹤，而后進(jìn)入步驟(5)； (33 )所述的目標(biāo)檢測(cè)模塊對(duì)目標(biāo)進(jìn)行均值漂移跟蹤，而后進(jìn)入步驟(5 )。
4.根據(jù)權(quán)利要求3所述的計(jì)算機(jī)系統(tǒng)中實(shí)現(xiàn)多目標(biāo)跟蹤功能的對(duì)視頻圖像數(shù)據(jù)進(jìn)行結(jié)構(gòu)化描述處理的方法，其特征在于，所述的目標(biāo)整合為對(duì)目標(biāo)進(jìn)行粒子整合。
5.根據(jù)權(quán)利要求3所述的計(jì)算機(jī)系統(tǒng)中實(shí)現(xiàn)多目標(biāo)跟蹤功能的對(duì)視頻圖像數(shù)據(jù)進(jìn)行結(jié)構(gòu)化描述處理的方法，其特征在于，所述的目標(biāo)清除具體為 所述的目標(biāo)檢測(cè)模塊進(jìn)行曲線擬合，將單個(gè)目標(biāo)整合為整體目標(biāo)后，去除不存在的目標(biāo)。
6.根據(jù)權(quán)利要求I所述的計(jì)算機(jī)系統(tǒng)中實(shí)現(xiàn)多目標(biāo)跟蹤功能的對(duì)視頻圖像數(shù)據(jù)進(jìn)行結(jié)構(gòu)化描述處理的方法，其特征在于，所述的步驟(4)具體包括以下步驟 (41)所述的目標(biāo)檢測(cè)模塊判斷是否出現(xiàn)新目標(biāo)，若是，則進(jìn)入步驟(42)，若否，則進(jìn)入步驟(43)； (42)所述的目標(biāo)檢測(cè)模塊進(jìn)行曲線擬合，將整體目標(biāo)分割為單個(gè)目標(biāo)，并進(jìn)入步驟(5)； (43)所述的目標(biāo)檢測(cè)模塊進(jìn)行去除不存在的目標(biāo)，并進(jìn)入步驟(5)。
7.根據(jù)權(quán)利要求I所述的計(jì)算機(jī)系統(tǒng)中實(shí)現(xiàn)多目標(biāo)跟蹤功能的對(duì)視頻圖像數(shù)據(jù)進(jìn)行結(jié)構(gòu)化描述處理的方法，其特征在于，所述的步驟(5)具體包括以下步驟 (51)所述的目標(biāo)檢測(cè)模塊對(duì)檢測(cè)獲得的動(dòng)態(tài)目標(biāo)的軌跡進(jìn)行更新； (52)所述的目標(biāo)檢測(cè)模塊將動(dòng)態(tài)目標(biāo)信息及其軌跡信息發(fā)送到所述的信息表述模塊； (53)返回步驟(I)。
8.根據(jù)權(quán)利要求I所述的計(jì)算機(jī)系統(tǒng)中實(shí)現(xiàn)多目標(biāo)跟蹤功能的對(duì)視頻圖像數(shù)據(jù)進(jìn)行結(jié)構(gòu)化描述處理的方法，其特征在于，所述的信息表述模塊包括描述單元和描述方案庫，所述的描述方案庫存儲(chǔ)與動(dòng)態(tài)對(duì)象及軌跡對(duì)應(yīng)的描述方案信息，所述的步驟(6)具體包括以下步驟 (61)所述的描述單元從所述的目標(biāo)檢測(cè)模塊獲得動(dòng)態(tài)目標(biāo)信息及其軌跡信息； (62)所述的描述單元根據(jù)所述的動(dòng)態(tài)目標(biāo)信息及其軌跡信息從所述的描述方案庫獲得對(duì)應(yīng)的描述方案信息； (63)所述的描述單元根據(jù)所述的描述方案信息產(chǎn)生結(jié)構(gòu)化描述信息。
全文摘要
本發(fā)明涉及一種計(jì)算機(jī)系統(tǒng)中實(shí)現(xiàn)多目標(biāo)跟蹤功能的對(duì)視頻圖像數(shù)據(jù)進(jìn)行結(jié)構(gòu)化描述處理的方法，屬于視頻處理技術(shù)領(lǐng)域。該方法中，目標(biāo)檢測(cè)模塊對(duì)視頻圖像數(shù)據(jù)進(jìn)行動(dòng)態(tài)目標(biāo)檢測(cè)與匹配，并根據(jù)動(dòng)態(tài)目標(biāo)被遮擋的情況，進(jìn)行目標(biāo)狀態(tài)更新，然后進(jìn)行目標(biāo)及軌跡更新；最后通過信息表述模塊進(jìn)行信息表述，產(chǎn)生可供計(jì)算機(jī)和人理解的結(jié)構(gòu)化描述信息。從而能夠在不降低圖像質(zhì)量，不增加碼率的基礎(chǔ)上，有效提高視頻搜索速度，以適應(yīng)視頻圖像在網(wǎng)絡(luò)傳輸中的應(yīng)用，且本發(fā)明的計(jì)算機(jī)系統(tǒng)中實(shí)現(xiàn)多目標(biāo)跟蹤功能的對(duì)視頻圖像數(shù)據(jù)進(jìn)行結(jié)構(gòu)化描述處理的方法，其實(shí)現(xiàn)方式簡(jiǎn)便，應(yīng)用成本低廉，應(yīng)用范圍也較為廣泛。
文檔編號(hào)G06K9/00GK102902965SQ201210380608
公開日2013年1月30日 申請(qǐng)日期2012年10月9日 優(yōu)先權(quán)日2012年10月9日
發(fā)明者李萬才, 湯志偉, 沈冬青, 梅林 , 吳軼軒 申請(qǐng)人:公安部第三研究所