跨區(qū) 域監(jiān)控場景中多尺度復(fù)雜行為事件的認(rèn)知計(jì)算能力與信息表達(dá)效率。
[0064] 本發(fā)明方法的處理流程將依次設(shè)及Ξ個結(jié)構(gòu)粒度層次的地理視頻數(shù)據(jù)對象：
[0065] 對象一：將用于解析地理視頻內(nèi)容時(shí)空變化的最小結(jié)構(gòu)粒度，稱為地理視頻帖 (GeoVideo Rrame,GVF);
[0066] 對象二:將用于記錄時(shí)空變化特征并用于建立地理視頻數(shù)據(jù)關(guān)聯(lián)關(guān)系的基本結(jié)構(gòu) 粒度，稱為地理視頻鏡頭(GeoVideo化ot，GVS);從GVF到GVS層次:①在視頻數(shù)據(jù)層面可視 為從圖像到圖像序列的擴(kuò)展;②在視頻內(nèi)容層面則對應(yīng)了從靜態(tài)狀態(tài)到動態(tài)過程的記錄。
[0067] 對象Ξ:將用于保存關(guān)聯(lián)結(jié)果的結(jié)構(gòu)粒度，稱為地理視頻鏡頭組(GeoVideo化ot Group，GVSG)。從GVS到GVSG層次:①在視頻數(shù)據(jù)層面可視為從小尺度、局部連續(xù)的視頻序列 到跨時(shí)空區(qū)間地理視頻集的擴(kuò)展;②在視頻內(nèi)容層面則對應(yīng)了從特定地點(diǎn)的短時(shí)動態(tài)過程 到跨時(shí)空區(qū)域、多尺度復(fù)雜事件信息的表達(dá)。相對于傳統(tǒng)由單攝像頭記錄的物理上連續(xù)的 視頻對象，地理視頻鏡頭組可視為一個更廣義的虛擬視頻對象，該對象的"廣義性"指從對 "數(shù)據(jù)獲取物理連續(xù)性"的支持?jǐn)U展到對"數(shù)據(jù)內(nèi)容邏輯相關(guān)性"的支持，可W包含來自相同 或不同攝像機(jī)的地理視頻鏡頭。
[0068] 本發(fā)明實(shí)施例面向室內(nèi)公共安全監(jiān)控專題，入室盜竊"可疑人員移動行為監(jiān)控 任務(wù)。相較于室外環(huán)境，室內(nèi)環(huán)境具有更為立體的空間拓?fù)浣Y(jié)構(gòu)、更加復(fù)雜且空間密集的功 能語義劃分與語義關(guān)系。
[0069] 如圖3所示，本發(fā)明實(shí)施例的實(shí)現(xiàn)過程包括W下步驟：
[0070] 步驟1，接入各路待處理原始地理視頻數(shù)據(jù)的同時(shí)，將其結(jié)構(gòu)化為統(tǒng)一特征項(xiàng)表達(dá) 的地理視頻帖序列(GVF)(圖3a))。原始地理視頻數(shù)據(jù)可W是實(shí)時(shí)接入的監(jiān)控視頻流，也可 W是分布式存儲的監(jiān)控視頻檔案，原始地理視頻可能由于數(shù)據(jù)獲取設(shè)備、傳輸條件和存儲 環(huán)境的不同，在數(shù)據(jù)格式、數(shù)據(jù)內(nèi)容、數(shù)據(jù)精度和時(shí)空分辨率等方面存在差異。地理視頻結(jié) 構(gòu)化即W攝像機(jī)為處理單位，對接入的原始數(shù)據(jù)進(jìn)行信息抽取和格式轉(zhuǎn)換的預(yù)處理:將具 有差異性數(shù)據(jù)特征的原始監(jiān)控視頻統(tǒng)一轉(zhuǎn)換為W柵格圖像為基礎(chǔ)數(shù)據(jù)，并統(tǒng)一信息特征項(xiàng) 信息的地理視頻帖序列，序列內(nèi)部的地理視頻帖按照時(shí)間次序組織，w數(shù)組形式存儲。
[0071] 地理視頻結(jié)構(gòu)化的預(yù)處理過程的目的是為"基于圖像特征增量的時(shí)空變化解析" 提供統(tǒng)一形式的數(shù)據(jù)基礎(chǔ)構(gòu)型，W便于利用現(xiàn)有圖像處理算法進(jìn)行快速、自動的分析處理。
[0072] 本發(fā)明實(shí)施例的地理視頻帖WBMP為基礎(chǔ)柵格圖像存儲格式，并統(tǒng)一記錄W下4類 特征項(xiàng)：
[0073] 步驟la,成像特征項(xiàng):帖對象統(tǒng)一時(shí)空參考基準(zhǔn)下成像時(shí)刻、攝像機(jī)位置、方位、姿 態(tài)；
[0074] 步驟化，結(jié)構(gòu)特征項(xiàng):帖對象的編碼格式、帖率、碼率、尺寸、分辨率；
[0075] 步驟Ic，圖像特征項(xiàng):帖圖像的顏色特征組、幾何特征組、紋理特征組；
[0076] 步驟Id,應(yīng)用特征項(xiàng)：實(shí)體對象"人員"、"建筑結(jié)構(gòu)"、"室內(nèi)功能空間"等的圖像分 割約束條件與分割規(guī)則。
[0077] 步驟2,解析各路GVF序列數(shù)據(jù)內(nèi)容包含的時(shí)空變化特征："狀態(tài)變化的地理實(shí)體" 和"地理實(shí)體的行為過程"。采用面向?qū)ο蟮姆椒ū４鏁r(shí)空變化特征為地理實(shí)體對象和行為 過程對象，所述地理實(shí)體對象W狀態(tài)圖像集為載體，記錄其描述對象個體特征的內(nèi)容語義 項(xiàng)（SCe)和描述各狀態(tài)統(tǒng)一基準(zhǔn)下位置特征的地理語義項(xiàng)（SGe);所述行為過程對象W時(shí)空 軌跡為載體，記錄其描述行為動作類型的內(nèi)容語義項(xiàng)（SCb)和描述統(tǒng)一基準(zhǔn)下位置關(guān)系變 化模式的地理語義項(xiàng)(SGb);創(chuàng)建對象實(shí)例的同時(shí)，保存其與原始地理視頻帖的解析映射關(guān) 系（圖3b))。
[0078] 本發(fā)明實(shí)施例解析的狀態(tài)變化的地理實(shí)體主要為"人員"對象，執(zhí)行W下解析步 驟：
[0079] 步驟2.1，采用現(xiàn)有運(yùn)動目標(biāo)檢測技術(shù)，從GVF圖像中解析出"人員"對象的個體狀 態(tài)?，F(xiàn)有運(yùn)動目標(biāo)檢測方法根據(jù)基本原理可主要劃分為適用于固定成像窗口的背景差分 法、帖間差分法、光流法等和適用于變化成像窗口的全局運(yùn)動估計(jì)與補(bǔ)償建模法。其中，背 景差分法既能滿足對人員狀態(tài)位置和輪廓的提取需求，也很好地適應(yīng)室內(nèi)監(jiān)控場景實(shí)例中 各攝像機(jī)位置、姿態(tài)和成像參數(shù)等成像特征項(xiàng)固定，監(jiān)控場景背景擾動小的特點(diǎn)，因此，本 發(fā)明實(shí)例采用一種被廣泛使用的背景差分法（Stauffer C,G;rimson E.Tracking-Based Automatic Object Recognition[J].Artificial Intelligence Laboratory, Massachusetts Institute of Technology , Cambridge,MA http://www.ai.mit.edu, 2001:133-134)提取"人員"狀態(tài)的前景圖像。
[0080] 步驟2.2,采用現(xiàn)有圖像去噪技術(shù)，對"人員"狀態(tài)的前景圖像進(jìn)行優(yōu)化處理，去除 由于移動速率不均衡而可能出現(xiàn)的狀態(tài)內(nèi)部空桐或輪廓的擴(kuò)大現(xiàn)象?，F(xiàn)有圖像去噪可W采 用包括形態(tài)學(xué)算子和各類濾波算法執(zhí)行。其中，本發(fā)明實(shí)例考慮形態(tài)學(xué)算子能較好地針對 狀態(tài)信息的局域性，去除狀態(tài)內(nèi)部空桐的像素和輪廓擴(kuò)大的像素，因此，本發(fā)明實(shí)例采用形 態(tài)學(xué)算子，具體針對每一幅人員狀態(tài)前景圖像，依次采用向下采樣、豎直方向膨脹、豎直方 向腐蝕和向上采樣4個形態(tài)學(xué)算子的組合去除噪聲，強(qiáng)化對象狀態(tài)。
[0081] 步驟2.3,全局冗余的對象特征識別與狀態(tài)映射。利用專題領(lǐng)域分類器對全局范圍 內(nèi)提取的地理實(shí)體狀態(tài)進(jìn)行"人員"個體識別；專題領(lǐng)域分類器通過應(yīng)用特征項(xiàng)關(guān)聯(lián)，每個 "人員"對象記錄為：
[0082] 步驟2.3a:表達(dá)個體特征的一組內(nèi)容語義項(xiàng)(SCe)
[0083] +全局對象唯一標(biāo)識碼OID;
[0084] +類型編碼:ACE;
[0085] +專題對象類型:eruimWF來人員，本地人員};
[0086] + 性別:enum{:男，女};
[0087] +年齡段:enum{兒童，少年，青年，中年，老年};
[008引 +臉型:ermm{圓型，方型，梨型，長型，鉆石型，屯、型};
[0089] +著裝：{類型，款式，花色};
[0090] +發(fā)型：{enum{長，中長，短}，611皿{直，卷}};
[0091] + 體型：{enum楠，中等，緻，enum{#，瘦}};
[0092] +體表特殊標(biāo)記；
[0093] 步驟2.3b: -組對應(yīng)各狀態(tài)的位置的地理語義項(xiàng)（SGe)，定位像素點(diǎn)可選擇如對象 矩形外輪廓底邊中點(diǎn)等特征點(diǎn)：
[0094] +H立置}
[00M] +位置i = {:像素位置，空間位置，語義位置}
[00%] + 像素位置：{Xi，Yi};
[0097] + 空間位置：{xi ,yi ,zi};
[0098] +語義位置：{建筑結(jié)構(gòu)部件，室內(nèi)功能空間};
[0099] i.像素位置基于圖像局部空間表達(dá)；
[0100] ii.空間位置基于全局統(tǒng)一的時(shí)空參考基準(zhǔn)，如常用投影坐標(biāo)系統(tǒng)高斯一克呂投 影等，同時(shí)，統(tǒng)一空間粒度，即統(tǒng)一精度和單位，如常用的米;空間位置通過像素位置和帖對 象成像特征中的攝像機(jī)位置、方位、姿態(tài)求解獲得；
[010。 iii.語義位置W城市地理標(biāo)識語言0GC CityGML和室內(nèi)多維位置信息標(biāo)識語言 0GC IndoorGML的國際標(biāo)準(zhǔn)中室內(nèi)對象類型的概念，包括為室內(nèi)功能空間位置和建筑結(jié)構(gòu) 部件位置;語義位置通過空間位置與基于全局統(tǒng)一的室內(nèi)定位空間劃分域的關(guān)系求解獲 得;同時(shí)保存語義位置在全局統(tǒng)一的室內(nèi)定位空間劃分域中層次關(guān)系和聯(lián)通關(guān)系。
[0102] 本發(fā)明實(shí)施例解析的地理實(shí)體的行為過程主要為"人員"對象的移動行為過程，W 行為軌跡為特征載體，執(zhí)行W下解析步驟：
[0103] 步驟2.4，采用現(xiàn)有運(yùn)動目標(biāo)跟蹤技術(shù)，從GVF序列中跟蹤"人員"對象的移動行為 軌跡?，F(xiàn)有運(yùn)動目標(biāo)跟蹤方法根據(jù)跟蹤要素可主要劃分為基于輪廓的跟蹤法、基于特征的 跟蹤法、基于區(qū)域的跟蹤法和基于模型的跟蹤法等。其中，考慮"人員"對象顯著視覺外觀特 征體現(xiàn)在顏色信息上(如服裝、發(fā)色等），因此，本發(fā)明實(shí)施例采用一種基于運(yùn)動物體顏色信 息進(jìn)里艮臣宗的算'法（Bradski G R. Computer vision face tracking for use in a percepUial user interface[J]. 1998)從各連續(xù)GVF序列中提取"人員"對象在局部成像空 間包含時(shí)間標(biāo)簽的序列點(diǎn)軌跡{Toid}，提取的任意一段軌跡數(shù)據(jù)表達(dá)為：
[0104] T〇iDi = {(xO'yO'tO), (xl ,yl ,tl),, (xn'yn'tn)}，丹€-網(wǎng)，'M =化 1，2'，或.'"}'
[010日]步驟2.5,采用移動平均法(Moving Average Method)平滑{Toid}中的序列點(diǎn)，用W 去除軌跡抖動;考慮軌跡點(diǎn)的等價(jià)性和誤差的隨機(jī)性，本實(shí)施例采用各元素的權(quán)重都相等 的簡單移動平均法，時(shí)距項(xiàng)數(shù)N=3,即對每個點(diǎn)的處理W前后兩個點(diǎn)為參照，保存各優(yōu)化后 的點(diǎn)序列為{Toid} '，任意一段軌跡數(shù)據(jù)表達(dá)為：
[0106] ToiDi，= {(xO'yO, to)，，（xl ,yl, tl)，，...，（xn'yn, tn)，}，巧居風(fēng)，':-N =班，1，2,或'-4
[0107] 步驟2.6,利用GVF元數(shù)據(jù)中的成像特征項(xiàng)和結(jié)構(gòu)特征項(xiàng)，將{Toid}'映射到高維空 間，本實(shí)施例采用拍攝視頻時(shí)相機(jī)的空間參考和攝像機(jī)成像參數(shù)將{Toid} '映射到統(tǒng)一時(shí)空 參考基準(zhǔn)的Ξ維空間和時(shí)間特征空間(Χ，Υ，Ζ，Τ)，得到4維特征空間中的軌跡點(diǎn)序列{T4d}， 任意一段軌跡數(shù)據(jù)表達(dá)為：
[0108] T〇iD_4di = {(xO，yO，zO, to), (xl,yl,zl, tl),..., (xn,yn,zn, tn)}，η居化。=!()，1，2,3'…； 其中，統(tǒng)一