rame，GVF)，用于解析地理視頻內(nèi)容時空變化的最小 結(jié)構(gòu)粒度； 對象二:地理視頻鏡頭(GeoVideo Shot,GVS)，用于記錄時空變化特征并用于建立地理 視頻數(shù)據(jù)關(guān)聯(lián)關(guān)系的基本結(jié)構(gòu)粒度； 對象三:地理視頻鏡頭組(GeoVideo Shot Group，GVSG)，用于保存多層次關(guān)聯(lián)結(jié)果的 結(jié)構(gòu)粒度，稱為地理視頻鏡頭組;具體包括以下步驟： 步驟1，地理視頻結(jié)構(gòu)解析:結(jié)構(gòu)化各路待處理地理視頻數(shù)據(jù)為統(tǒng)一特征項表達(dá)的GVF 序列;GVF對象以柵格圖像為基礎(chǔ)數(shù)據(jù)，以各項特征項為元數(shù)據(jù);根據(jù)現(xiàn)有圖像處理算法處 理需要，將特征項統(tǒng)一表達(dá)為成像特征、結(jié)構(gòu)特征、圖像特征和應(yīng)用特征四類;統(tǒng)一的特征 項用于支持步驟2中基于圖像特征增量的時空變化解析;其中，GVF統(tǒng)一表達(dá)的特征項包括 以下4類： 步驟la，成像特征項:記錄攝像機(jī)成像的時空參考信息，用于成像空間到地理空間的映 射； 步驟lb，結(jié)構(gòu)特征項:記錄GVF圖像實例化固有屬性，作為視頻內(nèi)容解析的前提條件； 步驟lc，圖像特征項:記錄GVF圖像的可視特征，用于視頻內(nèi)容解析； 步驟ld，應(yīng)用特征項:記錄專題領(lǐng)域應(yīng)用相關(guān)的圖像分割約束條件與分割規(guī)則，作為視 頻內(nèi)容解析的約束條件； 步驟2，地理視頻內(nèi)容解析:依次解析步驟1輸出的統(tǒng)一特征項表達(dá)的各路GVF序列數(shù)據(jù) 內(nèi)容，提取內(nèi)容中的共性時空變化特征;包括狀態(tài)變化的地理實體解析步驟，以及針對經(jīng)過 地理實體解析步驟處理后得到的地理實體進(jìn)行的地理實體的行為過程解析步驟;采用面向 對象的方法保存時空變化特征為地理實體對象和行為過程對象； 其中，所述地理實體對象以狀態(tài)圖像集為載體，記錄其描述對象個體特征的內(nèi)容語義 項和描述各狀態(tài)統(tǒng)一基準(zhǔn)下位置特征的地理語義項； 其中，所述行為過程對象以時空軌跡為載體，記錄其描述行為動作類型的內(nèi)容語義項 和描述統(tǒng)一基準(zhǔn)下位置關(guān)系變化模式的地理語義項； 并且，創(chuàng)建對象實例的同時，保存其與原始地理視頻幀的解析映射關(guān)系;語義解析用于 提取融合內(nèi)容語義和統(tǒng)一參考基準(zhǔn)下地理語義的時空變化特征，作為步驟3語義清洗的參 考信息和步驟4語義關(guān)聯(lián)的關(guān)聯(lián)要素； 步驟3,地理視頻語義清洗:基于步驟2解析得到的兩類時空變化特征，從步驟1輸出的 各路GVF序列數(shù)據(jù)中提取包含時空變化特征對象的地理視頻數(shù)據(jù)集，構(gòu)建為GVS;所述GVS對 象以連續(xù)GVF子序列為基礎(chǔ)數(shù)據(jù)，以時空變化特征對象為語義元數(shù)據(jù);語義清洗實現(xiàn)對有效 地理視頻數(shù)據(jù)的提取并建立地理視頻數(shù)據(jù)到語義關(guān)聯(lián)要素的規(guī)則函數(shù)映射； 步驟4，地理視頻語義關(guān)聯(lián);利用步驟3構(gòu)建的GVS語義元數(shù)據(jù)的內(nèi)容相似性和地理相關(guān) 性，生成基于多層次事件的GVS語義關(guān)聯(lián)關(guān)系，所述事件指公共安全監(jiān)測任務(wù)中呈現(xiàn)專題特 征的時空變化集，所述多層次指用戶能從"隨時空尺度增長而擴(kuò)大的時空變化集"中層級遞 進(jìn)理解的時空變化的專題特征;利用關(guān)系的層次性逐層遞進(jìn)地聚合關(guān)聯(lián)GVS，構(gòu)建為GVSG， 所述GVSG對象以關(guān)聯(lián)的GVS為基礎(chǔ)數(shù)據(jù)，以相應(yīng)層次的事件對象為語義元數(shù)據(jù);保存GVSG作 為已知信息用于后續(xù)數(shù)據(jù)組織與檢索。2. 根據(jù)權(quán)利要求1所述的一種內(nèi)容感知的地理視頻多層次關(guān)聯(lián)方法，其特征在于:所述 步驟2中，狀態(tài)變化的地理實體解析的實現(xiàn)方式包括以下步驟： 步驟2.1，提取地理實體狀態(tài)前景圖像;采用運動目標(biāo)檢測通用技術(shù)，包括按照基本原 理劃分的適用于固定成像窗口的背景差分法、幀間差分法、光流法等和適用于變化成像窗 口的全局運動估計與補(bǔ)償建模法中的一種或多種組合，從GVF圖像中解析出地理實體對象 的個體狀態(tài)； 步驟2.2,優(yōu)化地理實體狀態(tài)信息；采用圖像去噪通用技術(shù)，包括形態(tài)學(xué)算子、均值濾 波、中值濾波、維納濾波等中的一種或多種組合，補(bǔ)償步驟2.1提取結(jié)果中錯檢、漏檢的像 素，強(qiáng)化地理實體的狀態(tài)信息； 步驟2.3,全局冗余的對象特征識別與狀態(tài)映射;利用專題領(lǐng)域分類器對全局范圍內(nèi)提 取的地理實體狀態(tài)進(jìn)行地理實體對象個體識別，保存每個地理實體對象為描述個體特征的 一組內(nèi)容語義項和一組對應(yīng)各狀態(tài)的位置的地理語義項，每個狀態(tài)的位置包括像素位置、 空間位置和語義位置，所述空間位置基于全局統(tǒng)一的時空參考基準(zhǔn)表達(dá)，所述語義位置基 于全局統(tǒng)一的定位空間劃分域表達(dá)，同時保存語義位置在定位空間劃分域中的層次關(guān)系和 聯(lián)通關(guān)系。3. 根據(jù)權(quán)利要求1所述的一種內(nèi)容感知的地理視頻多層次關(guān)聯(lián)方法，其特征在于:所述 步驟2中，地理實體的行為過程解析的實現(xiàn)方式包括以下子步驟： 步驟2.4，提取地理實體移動行為軌跡;采用運動目標(biāo)跟蹤通用技術(shù)，包括按照跟蹤要 素劃分的基于輪廓的跟蹤法、基于特征的跟蹤法、基于區(qū)域的跟蹤法和基于模型的跟蹤法 等中的一種或多種組合，從GVF序列中跟蹤地理實體對象在二維圖像空間包含時間標(biāo)簽的 序列點軌跡，軌跡數(shù)據(jù)的優(yōu)點是兼具變化過程的內(nèi)容要素和時空要素； 步驟2.5,優(yōu)化軌跡形態(tài);采用移動平均法平滑步驟2.4提取結(jié)果中的序列點，用以去除 軌跡抖動； 步驟2.6，增強(qiáng)軌跡時空特征;利用GVF的成像特征和結(jié)構(gòu)特征將步驟2.5處理結(jié)果中二 維圖像空間的點序列軌跡映射到統(tǒng)一時空參考基準(zhǔn)的高維特征空間，所述高維特征至少包 括三維空間和時間；統(tǒng)一的時空參考基準(zhǔn)用于將時空離散分布變化過程映射到統(tǒng)一地理框 架中，提供全局關(guān)聯(lián)和整體解析的基礎(chǔ)； 步驟2.7，劃分連續(xù)軌跡片段;通過設(shè)置全局時空評價值EVAL=f；i>_/Μ從步驟2.6映 V i=i J 射結(jié)果中劃分出連續(xù)軌跡片段，其中，η為高維特征空間的維數(shù)，Si為軌跡在第i維特征空間 上的特征值區(qū)間;EVAL用以控制全局多軌跡時空特征的區(qū)分度； 步驟2.8，增強(qiáng)軌跡語義;對步驟2.7劃分結(jié)果中的連續(xù)軌跡片段，逐一挖掘其內(nèi)容語義 和統(tǒng)一參考基準(zhǔn)下的地理語義： 步驟2.8.1，對時空特征增強(qiáng)的連續(xù)軌跡片段，計算其局部結(jié)構(gòu)特征和全局統(tǒng)計特征， 利用現(xiàn)有基于上述特征閾值的專題行為模型判別所對應(yīng)的專題動作類型，保存TQID_4d、特征 閾值和動作類型為軌跡內(nèi)容語義； 步驟2.8.2，利用軌跡結(jié)構(gòu)特征、軌跡運動趨勢與語義位置的相對空間關(guān)系變化判別軌 跡運動模式，所述軌跡運動模式包括以語義位置為參照的離開/抵達(dá)、來自/去往、接近/遠(yuǎn) 離、進(jìn)/出/穿越、經(jīng)過/伴隨/繞過、環(huán)繞/折返、徘徊/穿梭，保存軌跡運動模式和所參照的語 義位置為軌跡地理語義。4. 根據(jù)權(quán)利要求1所述的一種內(nèi)容感知的地理視頻多層次關(guān)聯(lián)方法，其特征在于:所述 步驟3的實現(xiàn)方式包括以下子步驟： 步驟3.1，抽取有效數(shù)據(jù)集;依次抽取原始GVF序列中與各地理實體對象狀態(tài)具有解析 映射關(guān)系的GVF對象，精簡有效數(shù)據(jù)； 步驟3.2，構(gòu)建GVS數(shù)據(jù)對象;提取步驟3.1抽取結(jié)果中與任意行為過程對象具有解析映 射關(guān)系的連續(xù)GVF構(gòu)建GVS對象;保存各GVF全局唯一編碼為GVS的基礎(chǔ)數(shù)據(jù)的同時，保存行 為過程對象及相應(yīng)地理實體對象為該GVS的語義元數(shù)據(jù)；當(dāng)不同行為過程對象所對應(yīng)的GVF 序列存在區(qū)間重疊時，本發(fā)明方法以行為過程對象的完整性為評價指標(biāo)，允許不同GVS對象 重復(fù)引用步驟3.1抽取結(jié)果中的GVF的FID。5. 根據(jù)權(quán)利要求1所述的一種內(nèi)容感知的地理視頻多層次關(guān)聯(lián)方法，其特征在于:所述 步驟4的實現(xiàn)方式包括以下子步驟： 步驟4.1，建立面向任務(wù)的事件層次;所述事件層次包括共性特征:事件標(biāo)簽E、事件規(guī) 則Ru;根據(jù)公共安全監(jiān)測對時空變化的理解任務(wù)，設(shè)定事件層次iVe Η氣= {1，2Λ...丨，創(chuàng) 建與各層次對應(yīng)、具有層次關(guān)系的事件標(biāo)簽E={el，e2, . . .，eN};抽取GVS語義元數(shù)據(jù) (GVSs)為內(nèi)容語義元組（T。）和地理語義元組（Tg)，即GVSs = {T。，Tg}，T。= {SCe，SCb}，Tg = {SGe3，SGb};從T。的相似性和(或)Tg的相關(guān)性角度建立從GVS s到各層次事件標(biāo)簽E的映射關(guān)系 Ru = {rl，r2, · · ·，rN}，其中，其中，T。的相似性通過內(nèi)容特征項差值判別;Tg的相關(guān)性通過軌跡運動模式參考位置的 時空分布距離和位置概念的層次關(guān)系以及聯(lián)通關(guān)系判別； 步驟4.2，解析基于事件層次的GVS語義元數(shù)據(jù)關(guān)聯(lián)關(guān)系;基于各GVSs語義項取值，以Ru 作為關(guān)聯(lián)性的判別依據(jù)，解析判別各GVSs在各事件層次的關(guān)聯(lián)性;保存滿足任一層次事件 規(guī)則rn，η={1，2，···，Ν}的兩兩GVS s的關(guān)聯(lián)關(guān)系Ri j (if i矣j)，將相應(yīng)事件層次標(biāo)簽賦值為 其關(guān)聯(lián)屬性，即Rij = {en}; 步驟4.3，元數(shù)據(jù)語義關(guān)聯(lián)的GVS層次聚合;根據(jù)Ri j關(guān)聯(lián)屬性的層次性，自底向上，依次 聚合GVS，高層次的聚合過程繼承低層次的聚合結(jié)果，構(gòu)建為多層次GVSG對象，保存各GVS全 局唯一編碼為GVSG的基礎(chǔ)數(shù)據(jù)； 對各事件層次中的聚集單元，通過計算在事件層次η中的語義距離:Dijn，i矣j，n={l, 2，···，Ν}進(jìn)行排序，Dijn采用如下公式：其中，Δ Tij為兩兩GVSs在統(tǒng)一時間參考基準(zhǔn)和時間粒度下的時間距離，sgn( Δ Tij)為Δ Tij的時間次序，其正負(fù)決定語義距離的方向；I Δ tcn_ij I和I Δ tgn_ij I分別為兩兩GVSs在rn映 射中內(nèi)容語義項差值和地理語義項差值;Wt，W。，Wg為給定權(quán)重向量;保存以該層次事件標(biāo)簽 en、事件規(guī)則rn和排序的GVS s為構(gòu)成項的事件對象，為該GVSG的語義元數(shù)據(jù)。
【專利摘要】本發(fā)明涉及一種內(nèi)容感知的地理視頻多層次關(guān)聯(lián)方法，包括以下步驟：a）統(tǒng)一多源地理視頻的結(jié)構(gòu)特征；b）解析以軌跡對象為載體的時空變化共性特征，建立結(jié)合內(nèi)容語義和統(tǒng)一參考基準(zhǔn)下地理語義的關(guān)聯(lián)要素視圖；c）提取包含時空變化特征的地理視頻數(shù)據(jù)集，建立數(shù)據(jù)到關(guān)聯(lián)要素的規(guī)則函數(shù)映射；d）基于規(guī)則判別地理視頻數(shù)據(jù)實例的關(guān)聯(lián)性并計算關(guān)聯(lián)距離，依據(jù)關(guān)聯(lián)層次屬性逐層聚集地理數(shù)據(jù)并根據(jù)關(guān)聯(lián)距離排序集合內(nèi)數(shù)據(jù)對象。本發(fā)明可以支持綜合地理視頻內(nèi)容相似和統(tǒng)一參考基準(zhǔn)下地理相關(guān)的全局關(guān)聯(lián)，進(jìn)而提升監(jiān)控網(wǎng)絡(luò)系統(tǒng)中多路地理視頻背后所蘊(yùn)含的非連續(xù)和跨區(qū)域監(jiān)控場景中多尺度復(fù)雜行為事件的認(rèn)知計算能力與信息表達(dá)效率。
【IPC分類】G06F17/30
【公開號】CN105630897
【申請?zhí)枴緾N201510960343
【發(fā)明人】張葉廷, 謝瀟, 朱慶, 杜志強(qiáng), 吳晨
【申請人】武漢大學(xué)
【公開日】2016年6月1日
【申請日】2015年12月18日