基于目標(biāo)空間關(guān)系約束的視頻監(jiān)控智能預(yù)警系統(tǒng)及方法
【專利摘要】本發(fā)明公開(kāi)了一種基于目標(biāo)空間關(guān)系約束的視頻監(jiān)控智能預(yù)警系統(tǒng)及方法，該系統(tǒng)包括視頻采集模塊、目標(biāo)要素智能解析功能模塊、視頻內(nèi)容可視化解析模塊、一般行為規(guī)則樣本數(shù)據(jù)庫(kù)和報(bào)警模塊。本系統(tǒng)基于對(duì)目標(biāo)要素行為理解，針對(duì)目標(biāo)與目標(biāo)的空間關(guān)聯(lián)，進(jìn)行行為特征分析、演化、歸類，建立空間關(guān)聯(lián)模式樣本庫(kù)，實(shí)現(xiàn)異常行為的檢測(cè)和辨別，能更有效和準(zhǔn)確地對(duì)突發(fā)事件進(jìn)行辨別和判斷，并能鎖定異常觸發(fā)點(diǎn)，為事后取證留以憑證。本系統(tǒng)引入目標(biāo)空間約束關(guān)系，對(duì)視頻場(chǎng)景區(qū)域分割完備定義視頻目標(biāo)要素相關(guān)概念，排除空間語(yǔ)義信息中的一定模糊和錯(cuò)誤，解決了視頻內(nèi)容解析中不完整和不準(zhǔn)確的問(wèn)題，對(duì)視頻監(jiān)控范圍內(nèi)的異常事件的檢測(cè)更準(zhǔn)確，更高效。
【專利說(shuō)明】基于目標(biāo)空間關(guān)系約束的視頻監(jiān)控智能預(yù)警系統(tǒng)及方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于智能預(yù)警領(lǐng)域，涉及視頻監(jiān)控系統(tǒng)和視頻監(jiān)控智能預(yù)警方法，尤其針對(duì)公共監(jiān)控系統(tǒng)。
【背景技術(shù)】
[0002]當(dāng)前視頻監(jiān)控的發(fā)展趨勢(shì)是從人工監(jiān)看的被動(dòng)模式向智能預(yù)警的主動(dòng)方式轉(zhuǎn)變，其關(guān)鍵是視頻內(nèi)容解析過(guò)程的自動(dòng)化和智能化。目前視頻內(nèi)容解析技術(shù)主要采用數(shù)據(jù)驅(qū)動(dòng)的思路，面對(duì)海量數(shù)據(jù)和復(fù)雜類型，利用自身及其上下文信息，從中挖掘信息、學(xué)習(xí)知識(shí)，對(duì)視頻進(jìn)行智能處理。通常采用機(jī)器學(xué)習(xí)和基于內(nèi)容的視頻檢索及索引方法，改善了基于模型方法難以解決的多事例、多樣性和多模態(tài)等問(wèn)題，能夠比較有效的獲取信息。然而，所提取的特征局限于低層特征，而低層特征難以反映高層語(yǔ)義，視頻內(nèi)容解析中存在的“語(yǔ)義鴻溝”仍是待解決的問(wèn)題。
[0003]應(yīng)用實(shí)踐中，人們通過(guò)建立行為的隱馬爾可夫拓?fù)浣Y(jié)構(gòu)實(shí)現(xiàn)半監(jiān)督學(xué)習(xí)的異常行為模式檢測(cè)，還有學(xué)者提出基于概念空間的通過(guò)事件特征袋描述實(shí)現(xiàn)地理視頻事件建模的語(yǔ)義事件檢測(cè)方法。隨著大量不同類別的傳感器廣泛地運(yùn)用到智能交通系統(tǒng)，相關(guān)模型也相應(yīng)而生，以解決交通監(jiān)控的信息處理，實(shí)現(xiàn)對(duì)小范圍內(nèi)的目標(biāo)跟蹤和速度監(jiān)測(cè)，以及車輛識(shí)別和車距測(cè)量等。此外，現(xiàn)有技術(shù)中還存在一種監(jiān)控系統(tǒng)，實(shí)現(xiàn)的是遠(yuǎn)程監(jiān)控系統(tǒng)，系統(tǒng)服務(wù)器接收來(lái)自移動(dòng)終端的訪問(wèn)請(qǐng)求，服務(wù)器通過(guò)建立的連接接收來(lái)自監(jiān)控終端的監(jiān)控點(diǎn)的當(dāng)前實(shí)時(shí)圖像，并將當(dāng)前實(shí)時(shí)圖像轉(zhuǎn)發(fā)給移動(dòng)終端。
[0004]在實(shí)現(xiàn)本發(fā)明過(guò)程中，發(fā)明人發(fā)現(xiàn)現(xiàn)有技術(shù)中至少存在如下問(wèn)題:
[0005]現(xiàn)有技術(shù)中對(duì)視頻智能監(jiān)控系統(tǒng)，其解析的方法主要是針對(duì)視頻低層特征(紋理，顏色等)，較少地探究監(jiān)控目標(biāo)之間的空間關(guān)聯(lián)。因此低層信息與高層語(yǔ)義之間就形成了“語(yǔ)義鴻溝”，使其對(duì)視頻的高層語(yǔ)義解析不足，無(wú)法完全達(dá)到實(shí)時(shí)監(jiān)控的智能預(yù)警的需求。
[0006]另一方面，由于缺乏對(duì)空間約束的探索，對(duì)視頻的解析通常帶有不確定性和不完整性，只能反映觀測(cè)空間的部分知識(shí)，存在技術(shù)上的“盲點(diǎn)”。

【發(fā)明內(nèi)容】

[0007]針對(duì)以上現(xiàn)有技術(shù)中的不足，本發(fā)明的目的在于提供一種更準(zhǔn)確、更高效地檢測(cè)突發(fā)事件的視頻監(jiān)控智能預(yù)警系統(tǒng)和智能預(yù)警方法。本發(fā)明的技術(shù)方案如下:一種基于目標(biāo)空間關(guān)系約束的視頻監(jiān)控智能預(yù)警系統(tǒng)，包括視頻采集模塊、目標(biāo)要素智能解析模塊、視頻內(nèi)容可視化解析模塊、一般行為規(guī)則樣本數(shù)據(jù)庫(kù)和報(bào)警模塊；其中，
[0008]視頻采集模塊:用于獲取攝像機(jī)經(jīng)過(guò)標(biāo)定后T時(shí)刻的監(jiān)控畫面數(shù)字視頻序列，并通過(guò)對(duì)若干攝像機(jī)的幾何位置以及采集參數(shù)計(jì)算相關(guān)性后將若干個(gè)攝像機(jī)的視頻融合成一個(gè)融合視頻；
[0009]目標(biāo)要素智能解析模塊:對(duì)視頻采集模塊得到的融合視頻設(shè)置目標(biāo)要素，對(duì)目標(biāo)要素進(jìn)行檢測(cè)、跟蹤；采用時(shí)空要素圖表示目標(biāo)要素的運(yùn)動(dòng)內(nèi)容。時(shí)空要素圖在低層表示目標(biāo)要素的位置與狀態(tài)，在高層通過(guò)隨機(jī)子圖表示目標(biāo)要素在時(shí)間序列上空間關(guān)系的變化。
[0010]視頻內(nèi)容可視化解析模塊:用于在目標(biāo)要素智能解析模塊的基礎(chǔ)上，用空間關(guān)聯(lián)權(quán)重矩陣W表示目標(biāo)要素空間關(guān)聯(lián)的語(yǔ)義特征；用于將將時(shí)空要素圖表示的視頻幀序列解析，獲取每一幀的基本屬性；用于采用地理標(biāo)記語(yǔ)言，實(shí)時(shí)記錄每幀目標(biāo)要素的基本屬性信息和空間動(dòng)態(tài)信息，生成可檢索視頻的特征文件結(jié)構(gòu)；
[0011]一般行為規(guī)則樣本數(shù)據(jù)庫(kù):用于根據(jù)目標(biāo)要素的行為模式和分布模式分析結(jié)果，建立一般行為規(guī)則樣本數(shù)據(jù)庫(kù)；
[0012]行為識(shí)別模塊:將目標(biāo)行為與一般行為規(guī)則樣本數(shù)據(jù)庫(kù)中的一般行為進(jìn)行匹配，當(dāng)異常時(shí)，則發(fā)送異常行為信號(hào)給報(bào)警模塊；
[0013]報(bào)警模塊:用于接受行為識(shí)別模塊的異常行為信號(hào)，并報(bào)警。
[0014]進(jìn)一步的，所述空間關(guān)系包括距尚關(guān)系、方向關(guān)系和拓?fù)潢P(guān)系。
[0015]進(jìn)一步的，所述方向關(guān)系通過(guò)將視頻觀測(cè)范圍內(nèi)的監(jiān)控目標(biāo)作為實(shí)體點(diǎn)，將任一點(diǎn)作為參考點(diǎn)，把場(chǎng)景中約束空間分為東南、南、西南、北、西北、東北、西、東和原點(diǎn)O。
[0016]進(jìn)一步的，所述視頻內(nèi)容可視化解析模塊中的基本屬性信息和空間動(dòng)態(tài)信息包括序號(hào)、行為狀態(tài)、所在幀號(hào)、持續(xù)時(shí)長(zhǎng)、像空間坐標(biāo)、物空間坐標(biāo)、相對(duì)移動(dòng)距離、速度及空間關(guān)聯(lián)數(shù)目。
[0017]一種基于目標(biāo)空間關(guān)系約束的視頻監(jiān)控智能預(yù)警方法，其包括以下步驟:
[0018]A、獲取攝像機(jī)經(jīng)過(guò)標(biāo)定后T時(shí)刻的監(jiān)控畫面數(shù)字視頻序列，并通過(guò)對(duì)若干攝像機(jī)的幾何位置以及采集參數(shù)計(jì)算相關(guān)性后將若干個(gè)攝像機(jī)的視頻融合成一個(gè)融合視頻；
[0019]B、對(duì)視頻采集模塊得到的融合視頻設(shè)置目標(biāo)要素，對(duì)目標(biāo)要素進(jìn)行檢測(cè)、跟蹤；采用時(shí)空要素圖表示目標(biāo)要素的運(yùn)動(dòng)內(nèi)容。時(shí)空要素圖是一種目標(biāo)要素的表示模型，分為兩個(gè)層次:
[0020]低層為目標(biāo)要素層，代表影像幀中目標(biāo)要素的位置與狀態(tài)。狀態(tài)是對(duì)運(yùn)動(dòng)要素所有屬性的一種抽象，是運(yùn)動(dòng)要素在某一時(shí)刻所處的狀況或活動(dòng)的一種靜態(tài)描述。State={Appear, Move, Stop, Disappear },指地理視頻中某一運(yùn)動(dòng)要素在空間約束范圍內(nèi)自身呈現(xiàn)的基本狀態(tài)，包括出現(xiàn)(Appear)、消失(Disappear)、運(yùn)動(dòng)(Move)、靜止(Stop)等基本狀態(tài)描述信息。
[0021]高層為隱變量層，代表目標(biāo)要素在時(shí)間序列上空間關(guān)系的變化，采用隨機(jī)子圖表不?？臻g關(guān)系的度量表達(dá)式為:
[0022]P (t+1) =Min [I, Max (O, sqrt (P2 (t) + ω (t+1) X η (l_c (t))))]
[0023]其中，P(t)，{P e [O, I]}表示目標(biāo)要素間空間關(guān)聯(lián)的度量值，取值越大空間關(guān)聯(lián)越強(qiáng)，其初始值定義為P(O) = P yAu+P 2Χ Θ (i, j)，其中A。為i，j兩兩目標(biāo)要素間的可達(dá)性。ω (t)表示當(dāng)前狀態(tài)下空間關(guān)聯(lián)持續(xù)時(shí)間的評(píng)價(jià)；置信度c(t)受學(xué)習(xí)率影響在[0，I]內(nèi)動(dòng)態(tài)調(diào)整。在此基礎(chǔ)上，引入時(shí)間維，建立隨機(jī)子圖，表達(dá)式如下:
[0024]G=(S,Vn,R, δ ,Ch)
[0025]其中，S為根節(jié)點(diǎn)，表示一個(gè)融合視頻中語(yǔ)義事件的初始節(jié)點(diǎn)，在一個(gè)視頻事件發(fā)展序列中僅有唯一的S節(jié)點(diǎn)；運(yùn)動(dòng)要素節(jié)點(diǎn)Vn={V1，V2，V3，...}包含特定空間區(qū)域內(nèi)出現(xiàn)的所有運(yùn)動(dòng)要素。公式中的R表示隨機(jī)圖G的演化過(guò)程與規(guī)則，δ表示隨機(jī)圖的狀態(tài)轉(zhuǎn)移函數(shù)；隨機(jī)子圖內(nèi)聚度Ch(Cohesion)表示隨機(jī)子圖中運(yùn)動(dòng)要素群體內(nèi)部耦合度。[0026]C、用空間關(guān)聯(lián)權(quán)重矩陣^=[、]_α [PiJb描述目標(biāo)要素空間關(guān)聯(lián)的語(yǔ)義特征，其中其中A。為i，j兩目標(biāo)要素間的可達(dá)性，Pu為i，j兩目標(biāo)要素空間關(guān)聯(lián)的度量值，a、b為參數(shù)，參數(shù)a、b為預(yù)先設(shè)定的常量，取值范圍為[0，1]，同時(shí)，A。取值范圍也是[0，1]。實(shí)現(xiàn)地理視頻內(nèi)容的自動(dòng)理解；將視頻序列幀自動(dòng)解析,獲取每一幀的基本屬性,并采用地理標(biāo)記語(yǔ)言，實(shí)時(shí)記錄每幀目標(biāo)要素的基本屬性信息和空間動(dòng)態(tài)信息，生成可檢索視頻的特征文件結(jié)構(gòu)；
[0027]D、根據(jù)目標(biāo)要素的行為模式和分布模式分析結(jié)果，建立一般行為規(guī)則樣本數(shù)據(jù)庫(kù)；
[0028]E、將步驟C中得到的目標(biāo)行為特征文件結(jié)構(gòu)與步驟D中的一般行為規(guī)則樣本數(shù)據(jù)庫(kù)中的一般行為進(jìn)行匹配，實(shí)現(xiàn)對(duì)目標(biāo)行為異常監(jiān)測(cè)；
[0029]F、當(dāng)監(jiān)測(cè)異常時(shí)，則發(fā)送異常行為信號(hào)并報(bào)警。
[0030]進(jìn)一步的，步驟C中所述的基本屬性信息和空間動(dòng)態(tài)信息包括序號(hào)、行為狀態(tài)、所在幀號(hào)、持續(xù)時(shí)長(zhǎng) 、像空間坐標(biāo)、物空間坐標(biāo)、相對(duì)移動(dòng)距離、速度、空間關(guān)聯(lián)數(shù)目、空間關(guān)聯(lián)。
[0031]本發(fā)明的優(yōu)點(diǎn)及有益效果如下:
[0032]與現(xiàn)有的智能監(jiān)控系統(tǒng)相比，本系統(tǒng)從狀態(tài)、行為屬性和空間關(guān)系對(duì)視頻監(jiān)控目標(biāo)實(shí)現(xiàn)空間關(guān)系和行為的客觀描述，建立視頻內(nèi)容可視化解析模型，實(shí)現(xiàn)視頻語(yǔ)義的動(dòng)態(tài)表達(dá)，以完成對(duì)異常事件的自動(dòng)監(jiān)測(cè)。本系統(tǒng)針對(duì)目標(biāo)要素運(yùn)動(dòng)的連續(xù)性和空間關(guān)系的演變，引入了空間約束的概念，對(duì)視頻監(jiān)控場(chǎng)景區(qū)域分割，將目標(biāo)要素的空間關(guān)系解析限定在特定空間范圍內(nèi)，消除“盲點(diǎn)”增加準(zhǔn)確度和可信性；觀測(cè)連續(xù)的目標(biāo)要素空間關(guān)系變化過(guò)程，并利用時(shí)空要素圖建立一個(gè)動(dòng)態(tài)的目標(biāo)要素表示模型，以實(shí)現(xiàn)視頻目標(biāo)要素的空間關(guān)系和行為的客觀描述，解決“語(yǔ)義鴻溝”問(wèn)題。對(duì)高層語(yǔ)義的有效解析能夠?qū)σ曨l監(jiān)控范圍內(nèi)的異常事件達(dá)到更準(zhǔn)確，更高效地檢測(cè)，為快速應(yīng)對(duì)突發(fā)事件提供更好的先決條件。由于視頻可視化解析后的視頻文件的可檢索性，本系統(tǒng)可快速定位異常事件。
[0033]本系統(tǒng)實(shí)時(shí)觀測(cè)監(jiān)控范圍內(nèi)目標(biāo)要素的狀態(tài)改變，挖掘視頻目標(biāo)要素之間的空間關(guān)聯(lián)，實(shí)現(xiàn)視頻語(yǔ)義信息的智能化解析，以達(dá)到對(duì)異常事件的自動(dòng)預(yù)警。此系統(tǒng)引入地理空間約束，對(duì)視頻監(jiān)控范圍進(jìn)行場(chǎng)景劃分，基于視頻影像幀中目標(biāo)要素空間關(guān)系的描述方法，并借由時(shí)空要素圖予以演示，建立針對(duì)全局觀測(cè)的可分析時(shí)空要素圖動(dòng)態(tài)演化模型。其中對(duì)于目標(biāo)要素的相關(guān)概念和定義包括:狀態(tài)(出現(xiàn)，消失，停止，運(yùn)動(dòng))，行為屬性(空間位置，速度)，關(guān)系(目標(biāo)要素間的相互影響)，空間關(guān)系(距尚關(guān)系，方向關(guān)系，拓?fù)潢P(guān)系)，視覺(jué)特征(顏色，紋理，形狀，大小)。對(duì)于海量的視頻觀測(cè)數(shù)據(jù)，為尋求突發(fā)事件快速響應(yīng)，視頻的及時(shí)處理和高效理解為實(shí)現(xiàn)智能預(yù)警奠定了理論基礎(chǔ)，在公共安全日趨引起關(guān)注的當(dāng)下，有效的預(yù)警對(duì)保障社會(huì)日常生活的有序性起著尤為重要的作用。
[0034]本系統(tǒng)引入目標(biāo)空間約束關(guān)系，對(duì)視頻場(chǎng)景區(qū)域分割完備定義視頻目標(biāo)要素相關(guān)概念，排除空間語(yǔ)義信息中的一定模糊和錯(cuò)誤，解決了視頻內(nèi)容解析中不完整和不準(zhǔn)確的問(wèn)題。
[0035]本系統(tǒng)運(yùn)用時(shí)空要素圖建立全局視角觀察和分析的目標(biāo)要素的表示模型，表達(dá)視頻內(nèi)容變化過(guò)程，其詳細(xì)描述了視頻目標(biāo)要素的相互作用和空間關(guān)系的連續(xù)過(guò)程，客觀描述了可觀測(cè)目標(biāo)行為特征。[0036]本系統(tǒng)使用自動(dòng)化可視化視頻內(nèi)容解析模塊，解決從視頻低層特征到高層視頻語(yǔ)義之間的“語(yǔ)義鴻溝”，實(shí)現(xiàn)視頻內(nèi)容的語(yǔ)義挖掘和智能解析。
[0037]本系統(tǒng)基于對(duì)目標(biāo)要素行為理解，針對(duì)目標(biāo)與目標(biāo)的空間關(guān)聯(lián)，進(jìn)行行為特征分析、演化、歸類，建立空間關(guān)聯(lián)模式樣本庫(kù)，實(shí)現(xiàn)異常行為的檢測(cè)和辨別，能更有效和準(zhǔn)確地對(duì)突發(fā)事件進(jìn)行辨別和判斷，并能鎖定異常觸發(fā)點(diǎn)，為事后取證留以憑證。
【專利附圖】

【附圖說(shuō)明】
[0038]圖1是本發(fā)明一較佳實(shí)施例的結(jié)構(gòu)框架圖；
[0039]圖2是本發(fā)明所述預(yù)警方法流程框架圖；
[0040]圖3是本發(fā)明所述預(yù)警方法中的空間方向關(guān)系圖；
[0041]圖4是本發(fā)明所述預(yù)警方法的時(shí)空要素演化規(guī)則圖；
[0042]圖5是本發(fā)明所述預(yù)警方法的時(shí)空要素圖中空間關(guān)聯(lián)子圖。
【具體實(shí)施方式】
[0043]下面結(jié)合附圖給出一個(gè)非限定性的實(shí)施例對(duì)本發(fā)明作進(jìn)一步的闡述。但是應(yīng)該理解，這些描述只是示例性的，而并非要限制本發(fā)明的范圍。此外，在以下說(shuō)明中，省略了對(duì)公知結(jié)構(gòu)和技術(shù)的描述，以避免不必要地混淆本發(fā)明的概念。
[0044]視頻采集模塊:用于獲取攝像機(jī)經(jīng)過(guò)標(biāo)定后T時(shí)刻的監(jiān)控畫面數(shù)字視頻序列，并通過(guò)對(duì)若干攝像機(jī)的幾何位置以及采集參數(shù)計(jì)算相關(guān)性后將若干個(gè)攝像機(jī)的視頻融合成一個(gè)融合視頻；
[0045]目標(biāo)要素智能解析功能模塊:對(duì)融合視頻中目標(biāo)要素進(jìn)行檢測(cè)、跟蹤；采用時(shí)空要素圖表示目標(biāo)要素的運(yùn)動(dòng)內(nèi)容。時(shí)空要素圖是一種目標(biāo)要素的表示模型，分為兩個(gè)層次:低層為目標(biāo)要素層，代表影像幀中目標(biāo)要素的位置與狀態(tài)。高層為隱變量層，代表目標(biāo)要素在時(shí)間序列上空間關(guān)系的變化，采用隨機(jī)子圖表示。所述空間關(guān)系包括距離關(guān)系、方向關(guān)系和拓?fù)潢P(guān)系。該方向關(guān)系具體是目標(biāo)要素與空間約束之間的方向關(guān)系，是空間約束和參考點(diǎn)之間的關(guān)系并集；把視頻觀測(cè)范圍內(nèi)的目標(biāo)看做實(shí)體點(diǎn)，將任一點(diǎn)作為參考點(diǎn)，把場(chǎng)景中約束空間分為9個(gè)區(qū)域，并用其他實(shí)體點(diǎn)與此九個(gè)區(qū)域之間的相對(duì)位置關(guān)系來(lái)描述實(shí)體點(diǎn)的方向關(guān)系。
[0046]視頻內(nèi)容可視化解析模塊:在智能解析可視化功能模塊解析的基礎(chǔ)上，用空間關(guān)聯(lián)權(quán)重矩陣描述目標(biāo)要素空間關(guān)聯(lián)的語(yǔ)義特征，實(shí)現(xiàn)監(jiān)控視頻內(nèi)容的自動(dòng)理解；將視頻幀序列自動(dòng)解析，獲取每一幀的基本屬性；采用地理標(biāo)記語(yǔ)言，實(shí)時(shí)記錄每幀目標(biāo)要素的基本屬性信息和空間動(dòng)態(tài)信息，如序號(hào)、行為狀態(tài)、所在幀號(hào)、持續(xù)時(shí)長(zhǎng)、像空間坐標(biāo)、物空間坐標(biāo)、相對(duì)移動(dòng)距離、速度、空間關(guān)聯(lián)數(shù)目空間關(guān)聯(lián)，生成可檢索視頻的特征文件結(jié)構(gòu)。
[0047]一般行為規(guī)則樣本數(shù)據(jù)庫(kù):根據(jù)目標(biāo)要素的行為模式和分布模式分析結(jié)果，建立一般行為規(guī)則樣本數(shù)據(jù)庫(kù)；
[0048]行為識(shí)別模塊:將目標(biāo)行為與一般行為規(guī)則樣本數(shù)據(jù)庫(kù)中的一般行為進(jìn)行匹配，實(shí)現(xiàn)對(duì)目標(biāo)行為異常檢測(cè)；
[0049]報(bào)警模塊:接受行為識(shí)別模塊的異常行為信號(hào)，并報(bào)警。
[0050]本系統(tǒng)的預(yù)警方法流程包括:獲取視頻信息并進(jìn)行攝像機(jī)標(biāo)定，運(yùn)動(dòng)目標(biāo)的檢測(cè)與跟蹤，引入空間參考，解析單幀的目標(biāo)要素關(guān)系，采用時(shí)空要素圖演化連續(xù)運(yùn)動(dòng)目標(biāo)的空間關(guān)系和相互作用，結(jié)構(gòu)化視頻內(nèi)容解析，生成視頻目標(biāo)要素的視頻特征描述文件，建立空間關(guān)聯(lián)模式樣本庫(kù)，對(duì)比分析，針對(duì)異常事件報(bào)警。具體的流程框架如圖2所示。
[0051]以下通過(guò)非限定性的實(shí)施例對(duì)步驟2中的運(yùn)動(dòng)目標(biāo)的檢測(cè)與跟蹤的一實(shí)施例進(jìn)行描述；
[0052]1、單幀的目標(biāo)要素關(guān)系解析
[0053]解析單幀的目標(biāo)要素關(guān)系，把視頻幀觀測(cè)范圍內(nèi)的目標(biāo)看做實(shí)體點(diǎn)，將任一點(diǎn)作為參考點(diǎn)把場(chǎng)景中約束空間分為九個(gè)區(qū)域(NE，N, NW, W，Sff, S，Sff, E, O),并用其他實(shí)體點(diǎn)與此九個(gè)區(qū)域之間的相對(duì)位置關(guān)系來(lái)描述實(shí)體點(diǎn)的方向關(guān)系，圖3 (a)。加入空間約束的地理空間，可對(duì)視頻場(chǎng)景進(jìn)行區(qū)域分割，空間約束和參考點(diǎn)之間的關(guān)系并集即為目標(biāo)要素與空間約束之間的方向關(guān)系，如圖3 (b)。地理空間實(shí)體之間存在的一些具有空間特征的關(guān)系，即空間關(guān)系，包括距離關(guān)系、方向關(guān)系、拓?fù)潢P(guān)系、順序關(guān)系等，其中距離關(guān)系、方向關(guān)系和拓?fù)潢P(guān)系是二種基本空間關(guān)系，也是本方法中分析和挖掘目標(biāo)要素運(yùn)動(dòng)約束的空間關(guān)系特征的基礎(chǔ)性內(nèi)容，兩者從不同的角度描述空間關(guān)系特征。
[0054]以下通過(guò)非限定性的實(shí)施例對(duì)步驟運(yùn)動(dòng)目標(biāo)的檢測(cè)與跟蹤又一實(shí)施例進(jìn)行描述；
[0055]2、連續(xù)視頻運(yùn)動(dòng)目標(biāo)要素空間關(guān)系變化解析
[0056]在視頻幀目標(biāo)要素關(guān)系解析的基礎(chǔ)上，引入時(shí)間維度，采用隨機(jī)子圖表示目標(biāo)要素的運(yùn)動(dòng)內(nèi)容。
[0057]隨機(jī)子圖動(dòng)態(tài)描述目標(biāo)要素在時(shí)間序列上空間關(guān)系的變化，即目標(biāo)要素的規(guī)則性、隨機(jī)性的行為特征，進(jìn)而動(dòng)態(tài)反映視頻內(nèi)容的變化過(guò)程，便于后續(xù)的視頻理解與異常檢測(cè)。針對(duì)獲得的融合視頻，對(duì)目標(biāo)要素進(jìn)行檢測(cè)和跟蹤，在單幀解析基礎(chǔ)上，將要素運(yùn)動(dòng)過(guò)程完整體現(xiàn)在隨機(jī)子圖。
[0058]在某一時(shí)刻T，頂點(diǎn)集Vi代表實(shí)體點(diǎn)表現(xiàn)的視頻觀測(cè)目標(biāo)，邊集E(i, j0代表各運(yùn)動(dòng)目標(biāo)間的關(guān)聯(lián)關(guān)系P，且各邊相互獨(dú)立，任意兩個(gè)關(guān)聯(lián)頂點(diǎn)獨(dú)立地以度量值P連接，如圖4。在隨著時(shí)間因素變化的同時(shí)，目標(biāo)要素在運(yùn)動(dòng)過(guò)程中的空間關(guān)系也會(huì)隨之動(dòng)態(tài)改變，因此時(shí)空要素圖可就約束空間內(nèi)目標(biāo)的運(yùn)動(dòng)狀態(tài)和空間關(guān)聯(lián)進(jìn)行動(dòng)態(tài)描述。
[0059]其中，在空間約束范圍的兩個(gè)目標(biāo)要素之間空間關(guān)聯(lián)的動(dòng)態(tài)更新函數(shù)為:
[0060]P (t+1) =Min [I, Max (O, sqrt (P2 (t) + ω (t+1) X η (l_c (t))))]
[0061]P(t)，{P e [0，I]}表示目標(biāo)要素間空間關(guān)聯(lián)的度量值，取值越大空間關(guān)聯(lián)越強(qiáng)，其初始值定義為P(O) = P yAu+P 2Χ Θ (i，j)，其中A。為i，j兩兩目標(biāo)要素間的可達(dá)性。ω (t)表示當(dāng)前狀態(tài)下空間關(guān)聯(lián)持續(xù)時(shí)間的評(píng)價(jià)。置信度c(t)受學(xué)習(xí)率影響在[0，I]內(nèi)動(dòng)態(tài)調(diào)整。隨時(shí)間因素T的發(fā)展，各個(gè)被觀測(cè)實(shí)體點(diǎn)形成的空間關(guān)聯(lián)隨時(shí)間更新，如圖5所
/Jn ο
[0062]以下通過(guò)非限定性的實(shí)施例對(duì)結(jié)構(gòu)化視頻內(nèi)容解析進(jìn)行描述；
[0063]3、視頻內(nèi)容可視化解析
[0064]在目標(biāo)要素之間空間關(guān)聯(lián)的動(dòng)態(tài)更新函數(shù)基礎(chǔ)上，建立空間關(guān)聯(lián)權(quán)重矩陣W:在某一時(shí)刻T，矩陣的表現(xiàn)形式為％，」=[\」]_°防，」]\其中其中\(zhòng)」為1，」兩目標(biāo)要素間的可達(dá)性，Pu為i，j兩目標(biāo)要素空間關(guān)聯(lián)的度量值，a、b為參數(shù)。參數(shù)d、b為預(yù)先設(shè)定的常量，取值范圍為[0，1]，同時(shí)，Au取值范圍也是[0，1]。在考慮時(shí)間因素的條件下，形成一個(gè)空間關(guān)聯(lián)權(quán)重矩陣序列{Ατ}，{Ατ}用以描述目標(biāo)要素的動(dòng)態(tài)空間結(jié)構(gòu)，實(shí)現(xiàn)視頻內(nèi)容的自動(dòng)理解。
[0065]GML (地理標(biāo)記語(yǔ)言)可以視頻內(nèi)容和描述方式分離的特征客觀地描述視頻內(nèi)容結(jié)構(gòu)，結(jié)合解析的時(shí)空要素圖特征文件結(jié)構(gòu)能結(jié)構(gòu)化的表述視頻目標(biāo)要素的基本屬性，以及動(dòng)態(tài)拓?fù)潢P(guān)系中表達(dá)的空間關(guān)聯(lián)演化過(guò)程，為可分析化視頻內(nèi)容提供前提。
[0066]將視頻序列幀進(jìn)行自動(dòng)解析，獲取每一幀的基本屬性，如序號(hào)(index)、行為狀態(tài)描述(State)、所在幀(Frame)、空間關(guān)聯(lián)(SpatialAssociation)以及空間關(guān)聯(lián)數(shù)字度量P等，以GML語(yǔ)法描述記錄。
[0067]至此，每幀目標(biāo)要素的基本屬性信息和空間動(dòng)態(tài)信息實(shí)時(shí)記錄格式表示為:
[0068]
〈attribute naine二〃MotionElement">
<index="4〃//序號(hào)
Stat C=" 21〃//行為狀態(tài)
frame=" 112〃//所在 1I5貞號(hào)
timeDelay=〃16//持續(xù)時(shí)長(zhǎng)
PixelX=〃105〃 PixolΥ=〃,517"http://像空間坐標(biāo)
LoctX=〃29.4675〃 LoctY="106.5842〃//物空丨、丨ijaK
檸
DeltX=〃-3〃 DeltY=〃0〃//相對(duì)移動(dòng)距離
Spocd=" (-0.31, -0.00) "http://速度
SpatialAssociation =〃2〃//空間關(guān)聯(lián)數(shù)目
SpatialAssociation =" { (6，5 3, 0.4)//空
間關(guān)聯(lián)
(6，4，2，0.4) (6，5，2，0.3) }〃
VF="0"
0ther=〃0〃/〉
</attribute〉。
[0069]4、視頻特征行為分析
[0070]包括建立一般行為規(guī)則樣本數(shù)據(jù)庫(kù)和目標(biāo)行為識(shí)別。
[0071]經(jīng)過(guò)上述解析之后，對(duì)目標(biāo)要素行為特征進(jìn)行分類。分析視頻內(nèi)目標(biāo)要素的行為模式和分布模式，建立一般行為規(guī)則樣本庫(kù)，將實(shí)時(shí)視頻監(jiān)控解析的相互關(guān)系演變過(guò)程與之進(jìn)行比對(duì)，可實(shí)現(xiàn)對(duì)目標(biāo)行為異常檢測(cè)。一般行為規(guī)則樣本庫(kù)的建立，是總結(jié)一般常態(tài)行為特征規(guī)律，由自動(dòng)統(tǒng)計(jì)的約束物理空間內(nèi)實(shí)體運(yùn)動(dòng)軌跡行為特征的時(shí)空要素圖模型演化其模式以及行為規(guī)則，并以特征文件建立的統(tǒng)計(jì)描述。
[0072]當(dāng)視頻監(jiān)控實(shí)時(shí)信息違反樣本庫(kù)一般事件的行為規(guī)則，如監(jiān)控視頻內(nèi)人群的異常聚集，突發(fā)性分散等非常態(tài)情況，認(rèn)定異常潛在可能并發(fā)出警告，并對(duì)潛在異常事件涉及視頻對(duì)象進(jìn)行特征分析并自動(dòng)記錄。
[0073]以上這些實(shí)施例應(yīng)理解為僅用于說(shuō)明本發(fā)明而不用于限制本發(fā)明的保護(hù)范圍。在閱讀了本發(fā)明的記載的內(nèi)容之后，技術(shù)人員可以對(duì)本發(fā)明作各種改動(dòng)或修改，這些等效變化和修飾同樣落入本發(fā)明視頻編碼方法權(quán)利要求所限定的范圍。
【權(quán)利要求】
1.一種基于目標(biāo)空間關(guān)系約束的視頻監(jiān)控智能預(yù)警系統(tǒng)，其特征在于:包括視頻采集模塊、目標(biāo)要素智能解析模塊、視頻內(nèi)容可視化解析模塊、一般行為規(guī)則樣本數(shù)據(jù)庫(kù)和報(bào)警模塊；其中， 視頻采集模塊:用于獲取攝像機(jī)經(jīng)過(guò)標(biāo)定后T時(shí)刻的監(jiān)控畫面數(shù)字視頻序列，并通過(guò)對(duì)若干攝像機(jī)的幾何位置以及采集參數(shù)計(jì)算相關(guān)性后將若干個(gè)攝像機(jī)的視頻融合成一個(gè)融合視頻； 目標(biāo)要素智能解析模塊:用于對(duì)視頻采集模塊得到的融合視頻設(shè)置目標(biāo)要素，對(duì)該目標(biāo)要素進(jìn)行檢測(cè)、跟蹤；采用時(shí)空要素圖表示目標(biāo)要素的運(yùn)動(dòng)內(nèi)容；其中時(shí)空要素圖在低層表示目標(biāo)要素的位置與狀態(tài)，在高層通過(guò)隨機(jī)子圖表示目標(biāo)要素在時(shí)間序列上空間關(guān)系的變化； 視頻內(nèi)容可視化解析模塊:用于在目標(biāo)要素智能解析模塊的基礎(chǔ)上，用空間關(guān)聯(lián)權(quán)重矩陣W表示目標(biāo)要素空間關(guān)聯(lián)的語(yǔ)義特征；用于將時(shí)空要素圖表示的視頻幀序列解析，獲取每一幀的基本屬性；用于采用地理標(biāo)記語(yǔ)言，實(shí)時(shí)記錄每幀目標(biāo)要素的基本屬性信息和空間動(dòng)態(tài)信息，生成可檢索視頻的特征文件結(jié)構(gòu)； 一般行為規(guī)則樣本數(shù)據(jù)庫(kù):用于根據(jù)目標(biāo)要素的行為模式和分布模式分析結(jié)果，建立一般行為規(guī)則樣本數(shù)據(jù)庫(kù)； 行為識(shí)別模塊:將目標(biāo)行為與一般行為規(guī)則樣本數(shù)據(jù)庫(kù)中的一般行為進(jìn)行匹配，當(dāng)異常時(shí)，則發(fā)送異常行為信 號(hào)給報(bào)警模塊； 報(bào)警模塊:用于接受行為識(shí)別模塊的異常行為信號(hào)，并報(bào)警。
2.根據(jù)權(quán)利要求1所述的基于目標(biāo)空間關(guān)系約束的視頻監(jiān)控智能預(yù)警系統(tǒng)，其特征在于:所述空間關(guān)系包括距尚關(guān)系、方向關(guān)系和拓?fù)潢P(guān)系。
3.根據(jù)權(quán)利要求2所述的基于目標(biāo)空間關(guān)系約束的視頻監(jiān)控智能預(yù)警系統(tǒng)，其特征在于:所述方向關(guān)系通過(guò)將視頻觀測(cè)范圍內(nèi)的監(jiān)控目標(biāo)作為實(shí)體點(diǎn)，將任一點(diǎn)作為參考點(diǎn)，把場(chǎng)景中約束空間分為東南、南、西南、北、西北、東北、西、東和原點(diǎn)O。
4.根據(jù)權(quán)利要求1所述的基于目標(biāo)空間關(guān)系約束的視頻監(jiān)控智能預(yù)警系統(tǒng)，其特征在于:所述視頻內(nèi)容可視化解析模塊中的基本屬性信息和空間動(dòng)態(tài)信息包括序號(hào)、行為狀態(tài)、所在幀號(hào)、持續(xù)時(shí)長(zhǎng)、像空間坐標(biāo)、物空間坐標(biāo)、相對(duì)移動(dòng)距離、速度及空間關(guān)聯(lián)數(shù)目。
5.一種基于目標(biāo)空間關(guān)系約束的視頻監(jiān)控智能預(yù)警方法，其特征在于，包括以下步驟: A、獲取攝像機(jī)經(jīng)過(guò)標(biāo)定后T時(shí)刻的監(jiān)控畫面數(shù)字視頻序列，并通過(guò)對(duì)若干攝像機(jī)的幾何位置以及采集參數(shù)計(jì)算相關(guān)性后將若干個(gè)攝像機(jī)的視頻融合成一個(gè)融合視頻； B、對(duì)視頻采集模塊得到的融合視頻設(shè)置目標(biāo)要素，對(duì)目標(biāo)要素進(jìn)行檢測(cè)、跟蹤；采用時(shí)空要素圖表示目標(biāo)要素的運(yùn)動(dòng)內(nèi)容。時(shí)空要素圖是一種目標(biāo)要素的表示模型，分為兩個(gè)層次:低層為目標(biāo)要素層，代表影像幀中目標(biāo)要素的位置與狀態(tài)，高層為隱變量層，代表目標(biāo)要素在時(shí)間序列上空間關(guān)系的變化，采用隨機(jī)子圖表示； C、用空間關(guān)聯(lián)權(quán)重矩陣描述目標(biāo)要素空間關(guān)聯(lián)的語(yǔ)義特征，其中其中A。為i，j兩目標(biāo)要素間的可達(dá)性，Pu為i，j兩目標(biāo)要素空間關(guān)聯(lián)的度量值，a、b為參數(shù)，實(shí)現(xiàn)地理視頻內(nèi)容的自動(dòng)理解；將視頻序列幀自動(dòng)解析，獲取每一幀的基本屬性，并采用地理標(biāo)記語(yǔ)言，實(shí)時(shí)記錄每幀目標(biāo)要素的基本屬性信息和空間動(dòng)態(tài)信息，生成可檢索視頻的特征文件結(jié)構(gòu)； D、根據(jù)目標(biāo)要素的行為模式和分布模式分析結(jié)果，建立一般行為規(guī)則樣本數(shù)據(jù)庫(kù)； E、將步驟C中得到的目標(biāo)行為特征文件結(jié)構(gòu)與步驟D中的一般行為規(guī)則樣本數(shù)據(jù)庫(kù)中的一般行為進(jìn)行匹配，實(shí)現(xiàn)對(duì)目標(biāo)行為異常監(jiān)測(cè)； F、當(dāng)監(jiān)測(cè)異常時(shí)，則發(fā)送異常行為信號(hào)并報(bào)警。
6.根據(jù)權(quán)利要求5所述的基于目標(biāo)空間關(guān)系約束的視頻監(jiān)控智能預(yù)警方法，其特征在于:步驟C中所述的基本屬性信息和空間動(dòng)態(tài)信息包括序號(hào)、行為狀態(tài)、所在幀號(hào)、持續(xù)時(shí)長(zhǎng)、像空間坐標(biāo)、物空間坐標(biāo)、·相對(duì)移動(dòng)距離、速度、空間關(guān)聯(lián)數(shù)目、空間關(guān)聯(lián)。
【文檔編號(hào)】H04N7/18GK103530995SQ201310475410
【公開(kāi)日】2014年1月22日 申請(qǐng)日期:2013年10月12日 優(yōu)先權(quán)日:2013年10月12日
【發(fā)明者】豐江帆, 周文雯, 夏英, 宋虎 申請(qǐng)人:重慶郵電大學(xué)