一種內(nèi)容感知的地理視頻多層次關(guān)聯(lián)方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于地理空間數(shù)據(jù)處理技術(shù)領(lǐng)域，特別是設(shè)及一種內(nèi)容感知的地理視頻多 層次關(guān)聯(lián)方法。
【背景技術(shù)】
[0002] 地理視頻(GeoVideo)是包含地理時(shí)空參考信息的視頻數(shù)據(jù)。作為時(shí)空表達(dá)的新媒 體，地理視頻影像具有對地理空間動(dòng)態(tài)、實(shí)時(shí)和真實(shí)感表達(dá)的優(yōu)勢，符合人類直觀感知和認(rèn) 知特點(diǎn)，已成為當(dāng)前公共安全事件監(jiān)測和應(yīng)急管理所廣泛采用的重要地理空間數(shù)據(jù)類型。 在監(jiān)控網(wǎng)絡(luò)基礎(chǔ)設(shè)施大規(guī)模建設(shè)的背景下，W非結(jié)構(gòu)化流媒體為源數(shù)據(jù)形式地理視頻已包 含總量PB級甚至EB級的歷史檔案和實(shí)時(shí)接入的大規(guī)模密集型視頻流，其動(dòng)態(tài)、海量、非結(jié)構(gòu) 化的復(fù)雜數(shù)據(jù)集兼具體量大、類型多、變化速度快的外部特征和高維關(guān)聯(lián)、低價(jià)值密度、非 平穩(wěn)的內(nèi)部特征。應(yīng)急管理的實(shí)時(shí)性、綜合性與知識性亟需有效的地理視頻處理技術(shù)，支持 數(shù)據(jù)的快速整合，特別是數(shù)據(jù)中信息與知識的高效理解。
[0003] 特定攝像機(jī)所獲取的地理視頻數(shù)據(jù)是動(dòng)態(tài)城市環(huán)境在特定尺度"時(shí)空窗口"（即攝 像機(jī)成像的局域時(shí)空范圍和視角）中的映射，反映城市環(huán)境不同的并行變化片段，視頻數(shù)據(jù) 內(nèi)容因此具有相對于地理環(huán)境的時(shí)空局域性。但是，監(jiān)控網(wǎng)絡(luò)系統(tǒng)中面向城市地理環(huán)境整 體獲取的多路地理視頻具有多時(shí)空尺度、多視角W及多方位全局展示城市地理監(jiān)控場景的 獨(dú)特性。由于人們對復(fù)雜公共安全事件的認(rèn)知是一個(gè)隨時(shí)空尺度增長而層級遞進(jìn)的過程， 面向城市地理環(huán)境整體獲取的多路地理視頻由此具有其獨(dú)特的信息與知識價(jià)值，即數(shù)據(jù)內(nèi) 容背后對應(yīng)的局部小尺度、階段中尺度和多階段聯(lián)合的全局大尺度共同構(gòu)成的多尺度復(fù)雜 公共安全事件信息。
[0004] 然而，長期W來，監(jiān)控視頻的管理多采取W行政區(qū)劃為數(shù)據(jù)組織單元，W交管、公 安等職能部口為組織單位的數(shù)據(jù)流分散、獨(dú)立存檔模式，形成了地理區(qū)域間孤立的數(shù)據(jù)集； 傳統(tǒng)地理視頻處理方法也主要局限于W攝像機(jī)為處理單位，將每一個(gè)攝像機(jī)獲取的視頻數(shù) 據(jù)作為基本數(shù)據(jù)對象和獨(dú)立處理單元。隨著城市環(huán)境日趨復(fù)雜，公共安全事件逐步呈現(xiàn)出 時(shí)間上多頻次、空間上跨區(qū)域的多尺度流動(dòng)性，W及多階段演化、單體引發(fā)群體等多因素復(fù) 雜性的新特征。運(yùn)些特征一方面使設(shè)案地理視頻的時(shí)空范圍從局部擴(kuò)大到整體，迫使現(xiàn)有 數(shù)據(jù)組織管理方式下的視頻數(shù)據(jù)的處理范圍和數(shù)據(jù)量急劇膨脹，大數(shù)據(jù)量和低價(jià)值密度的 矛盾日益突出；另一方面還使設(shè)案視頻的內(nèi)容特征從局部圖像相似發(fā)展為全局內(nèi)容相關(guān)， 且相關(guān)性呈現(xiàn)地理空間局部稠密與全局稀疏特征。現(xiàn)有分散獨(dú)立存檔和局部解析分析的地 理視頻數(shù)據(jù)處理模式因而割裂了數(shù)據(jù)內(nèi)容的整體性，嚴(yán)重制約了其知識的高效表達(dá)能力。 因此，為支持設(shè)案地理視頻數(shù)據(jù)的高效整合和公共安全事件的深度理解，針對公共安全事 件跨時(shí)空區(qū)域的分散性和地理視頻自身內(nèi)容與現(xiàn)有處理方式的局域性特征，如何實(shí)現(xiàn)提升 數(shù)據(jù)價(jià)值密度的同時(shí)，建立地理視頻在局部圖像（圖像序列）小尺度和地理空間大尺度間的 全局關(guān)聯(lián)成為發(fā)揮其安防價(jià)值的前提，因而也是當(dāng)前地理視頻處理技術(shù)亟需解決的關(guān)鍵問 題。
[0005] 地理空間數(shù)據(jù)關(guān)聯(lián)的要點(diǎn)是關(guān)聯(lián)要素的確定和映射規(guī)則的建立。地理視頻作為一 種典型的地理空間數(shù)據(jù)，其現(xiàn)有關(guān)聯(lián)方法主要集中在地理信息系統(tǒng)（Geographic Information System,GIS)和計(jì)算機(jī)兩個(gè)領(lǐng)域。
[0006] (l)GIS領(lǐng)域的相關(guān)方法主要面向地理視頻與空間數(shù)據(jù)的關(guān)聯(lián)，其中，空間數(shù)據(jù)主 要采用全球定位系統(tǒng)(Global化sitioning System,GPS)獲取的攝像機(jī)時(shí)空參考信息。根 據(jù)關(guān)聯(lián)要素的不同，可W分為基于時(shí)間戳索引的時(shí)間關(guān)聯(lián)模式和基于攝像機(jī)定位信息的位 置關(guān)聯(lián)模式。
[0007] 由于GIS長期面向具有結(jié)構(gòu)性、體量有限性和靜態(tài)持久性特征的傳統(tǒng)空間數(shù)據(jù)進(jìn) 行表達(dá)、組織存儲和管理研究，在數(shù)據(jù)結(jié)構(gòu)上不僅幾乎沒有設(shè)及非結(jié)構(gòu)化數(shù)據(jù)類型，也缺乏 對空間和屬性信息連續(xù)綜合變化的地理對象或地學(xué)現(xiàn)象的成熟表達(dá)方法。因此，難W實(shí)現(xiàn) 結(jié)構(gòu)化地理實(shí)體數(shù)據(jù)和與之異構(gòu)的，具有非結(jié)構(gòu)化、連續(xù)并無限增長特性的流質(zhì)地理視頻 數(shù)據(jù)的統(tǒng)一表達(dá)、管理和分析。地理視頻和地理實(shí)體間矛盾與對立的數(shù)據(jù)特征使傳統(tǒng)Video GIS長期將地理視頻作為一個(gè)整體表達(dá)為地理實(shí)體數(shù)據(jù)的多媒體屬性，GIS領(lǐng)域的地理視頻 關(guān)聯(lián)方法中所采用的關(guān)聯(lián)要素也由此局限于拍攝地理視頻的攝像機(jī)時(shí)空參考信息，進(jìn)而在 整體視頻流的數(shù)據(jù)粒度層次建立時(shí)間維度或空間位置維度的攝像機(jī)時(shí)空參考元數(shù)據(jù)關(guān)聯(lián) 映射。運(yùn)些關(guān)聯(lián)方法雖然為地理視頻影像與時(shí)間點(diǎn)/空間位置的映射和交互檢索等提供了 外部關(guān)聯(lián)的基礎(chǔ)，但相較于含義豐富的高維視頻內(nèi)容，其支持關(guān)聯(lián)信息項(xiàng)單一，僅適用于將 整體地理視頻數(shù)據(jù)與攝像機(jī)GPS時(shí)間或定位信息間的相互調(diào)用與查詢，難W支持視頻內(nèi)容 中監(jiān)控對象、監(jiān)控區(qū)域與地理環(huán)境信息的關(guān)聯(lián)，特別是難W支持低價(jià)值密度的地理視頻內(nèi) 容中非連續(xù)和跨區(qū)域監(jiān)控場景動(dòng)態(tài)演化過程的關(guān)聯(lián)。
[0008] (2)計(jì)算機(jī)領(lǐng)域的相關(guān)研究雖然面向視頻內(nèi)容，但主要側(cè)重于W視頻圖像中所能 識別的實(shí)體對象(包括圖形對象和語義實(shí)體對象)為關(guān)聯(lián)要素，從局部時(shí)空關(guān)系角度，建立 其在單帖視頻圖像內(nèi)或連續(xù)有限視頻帖間的時(shí)空關(guān)聯(lián)映射。
[0009] 計(jì)算機(jī)領(lǐng)域的研究雖然設(shè)及視頻內(nèi)容中圖形對象、語義對象及其時(shí)空關(guān)系，但由 于其主要面向特定場景中對象識別、跟蹤和事件探測等微觀尺度或小尺度中的局域問題， 在數(shù)據(jù)的關(guān)聯(lián)方法中主要采用實(shí)體對象的距離和方位等空間關(guān)系為關(guān)聯(lián)要素，進(jìn)而在視頻 帖的粒度層次建立獨(dú)立視頻帖間對象特征的相似性關(guān)聯(lián)或連續(xù)視頻序列中對象的局部空 間關(guān)聯(lián)。運(yùn)些關(guān)聯(lián)方法缺乏對面向復(fù)雜動(dòng)態(tài)監(jiān)控場景的視頻內(nèi)容在地理空間宏觀格局中的 語義和語境思考，難W支持跨時(shí)空區(qū)域問題所需要的語義關(guān)聯(lián)，特別是離散時(shí)空窗口下面 向多尺度地理問題的視頻內(nèi)容關(guān)聯(lián)。由于與局部數(shù)據(jù)對應(yīng)的是對象在特定地點(diǎn)的短時(shí)行 為，因此難W實(shí)現(xiàn)對數(shù)據(jù)中所蘊(yùn)含的多尺度復(fù)雜行為事件信息的理解。

【發(fā)明內(nèi)容】

[0010] 本發(fā)明的目的在于提供一種內(nèi)容感知的地理視頻多層次關(guān)聯(lián)方法。具體針對多時(shí) 空尺度城市環(huán)境下整體獲取的多路地理視頻，提供一種面向數(shù)據(jù)內(nèi)容時(shí)空變化的地理視頻 多層次語義關(guān)聯(lián)方法。所述時(shí)空變化是指公共安全監(jiān)測重點(diǎn)關(guān)注并能通過序列圖像的特征 增量解析的人類活動(dòng)和活動(dòng)依托的地理環(huán)境變化，具體包括地理實(shí)體對象的位置遷移、對 象外觀形態(tài)的改變W及對象所處背景環(huán)境結(jié)構(gòu)特征的改變。
[0011] 本發(fā)明的技術(shù)方案包括W下步驟：
[0012] 一種內(nèi)容感知的地理視頻多層次關(guān)聯(lián)方法，其特征在于:基于Ξ個(gè)結(jié)構(gòu)粒度層次 的地理視頻數(shù)據(jù)對象：
[0013] 對象一:地理視頻帖(GeoVideo Frame，GVF)，用于解析地理視頻內(nèi)容時(shí)空變化的 最小結(jié)構(gòu)粒度；
[0014] 對象二:地理視頻鏡頭(GeoVideo化ot，GVS)，用于記錄時(shí)空變化特征并用于建立 地理視頻數(shù)據(jù)關(guān)聯(lián)關(guān)系的基本結(jié)構(gòu)粒度；
[0015] 對象Ξ:地理視頻鏡頭組(GeoVideo化ot Group，GVSG)，用于保存多層次關(guān)聯(lián)結(jié) 果的結(jié)構(gòu)粒度，稱為地理視頻鏡頭組;具體包括W下步驟：
[0016] 步驟1，地理視頻結(jié)構(gòu)解析:結(jié)構(gòu)化各路待處理地理視頻數(shù)據(jù)為統(tǒng)一特征項(xiàng)表達(dá)的 GVF序列;GVF對象W柵格圖像為基礎(chǔ)數(shù)據(jù)，W各項(xiàng)特征項(xiàng)為元數(shù)據(jù);根據(jù)現(xiàn)有圖像處理算法 處理需要，將特征項(xiàng)統(tǒng)一表達(dá)為成像特征、結(jié)構(gòu)特征、圖像特征和應(yīng)用特征四類;統(tǒng)一的特 征項(xiàng)用于支持步驟2中基于圖像特征增量的時(shí)空變化解析;其中，GVF統(tǒng)一表達(dá)的特征項(xiàng)包 括W下4類：
[0017] 步驟la,成像特征項(xiàng):記錄攝像機(jī)成像的時(shí)空參考信息，用于成像空間到地理空間 的映射；
[0018] 步驟Ib，結(jié)構(gòu)特征項(xiàng)：記錄GVF圖像實(shí)例化固有屬性，作為視頻內(nèi)容解析的前提條 件；
[0019] 步驟Ic，圖像特征項(xiàng):記錄GVF圖像的可視特征，用于視頻內(nèi)容解析；
[0020] 步驟Id,應(yīng)用特征項(xiàng):記錄專題領(lǐng)域應(yīng)用相關(guān)的圖像分割約束條件與分割規(guī)則，作 為視頻內(nèi)容解析的約束條件。
[0021 ]步驟2，地理視頻內(nèi)容解析:依次解析步驟1輸出的統(tǒng)一特征項(xiàng)表達(dá)的各路GVF序列 數(shù)據(jù)內(nèi)容，提取內(nèi)容中的共性時(shí)空變化特征;包括狀態(tài)變化的地理實(shí)體解析步驟，W及針對 經(jīng)過地理實(shí)體解析步驟處理后得到的地理實(shí)體進(jìn)行的地理實(shí)體的行為過程解析步驟;采用 面向?qū)ο蟮姆椒ū４鏁r(shí)空變化特征為地理實(shí)體對象和行為過程對象；
[0022] 其中，所述地理實(shí)體對象W狀態(tài)圖像集為載體，記錄其描述對象個(gè)體特征的內(nèi)容 語義項(xiàng)和描述各狀態(tài)統(tǒng)一基準(zhǔn)下位置特征的地理語義項(xiàng)；
[0023] 其中，所述行為過程對象W時(shí)空軌跡為載體，記錄其描述行為動(dòng)作類型的內(nèi)容語 義項(xiàng)和描述統(tǒng)一基準(zhǔn)下位置關(guān)系變化模式的地理語義項(xiàng)；
[0024] 并且，創(chuàng)建對象實(shí)例的同時(shí)，保存其與原始地理視頻帖的解析映射關(guān)系;語義解析 用于提取融合內(nèi)容語義和統(tǒng)一參考基準(zhǔn)下地理語義的時(shí)空變化特征，作為步驟3語義清洗 的參考信息和步驟4語義關(guān)聯(lián)的關(guān)聯(lián)要素。
[0025] 步驟3,地理視頻語義清洗:基于步驟2解析得到的兩類時(shí)空變化特征，從步驟1輸 出的各路GVF序列數(shù)據(jù)中提取包含時(shí)空變化特征對象的地理視頻數(shù)據(jù)集，構(gòu)建為GVS;所述 GVS對象W連續(xù)GVF子序列為基礎(chǔ)數(shù)據(jù)，W時(shí)空變化特征對象為語義元數(shù)據(jù);語義清洗實(shí)現(xiàn) 對有效地理視頻數(shù)據(jù)的提取并建立地理視頻數(shù)據(jù)到語義關(guān)聯(lián)要素的規(guī)則函數(shù)映射。
[0026] 步驟4,地理視頻語義關(guān)聯(lián)。利用步驟3構(gòu)建的GVS語義元數(shù)據(jù)的內(nèi)容相似性和地理 相關(guān)性，生成基于多層次事件的GVS語義關(guān)聯(lián)關(guān)系，所述事件指公共安全監(jiān)測任務(wù)中呈現(xiàn)專 題特征的時(shí)空變化集，所述多層次指用戶能從"隨時(shí)空尺度增長而擴(kuò)大的時(shí)空變化集"中層 級遞進(jìn)理解的時(shí)空變化的專題特征；利用關(guān)系的層次性逐層遞進(jìn)地聚合關(guān)聯(lián)GVS，構(gòu)建為 GVSG，所述GVSG對象W關(guān)聯(lián)的GVS為基礎(chǔ)數(shù)據(jù)，W相應(yīng)層次的事件對象為語義元數(shù)據(jù);保存 GVSG作為已知信息用于后續(xù)數(shù)據(jù)組織與檢索。
[0027]在上述的一種內(nèi)容感知的地理視頻多層次關(guān)聯(lián)方法，所述步驟2中，狀態(tài)變化的地 理實(shí)體解析的實(shí)現(xiàn)方式包括W下步驟：
[00%]步驟2.1，提取地理實(shí)體狀態(tài)前景圖像