主動式視頻濃縮裝置及方法
【專利摘要】本發(fā)明公開了一種主動式視頻濃縮裝置及方法，整個方案首先通過分析輸入視頻，生成視頻結(jié)構(gòu)化描述文件，并建立相關(guān)數(shù)據(jù)庫;進(jìn)行檢索，將檢索結(jié)果按照相關(guān)度排序；根據(jù)檢索的結(jié)果生成摘要視頻。其中視頻濃縮過程是對目標(biāo)軌跡的重排（時間平移）和緊密堆疊，將不同時間段出現(xiàn)的運動目標(biāo)平移到同一時間段，并采用透明貼圖的形式確保多個目標(biāo)重疊的區(qū)域各自均可見。對摘要視頻中的每個目標(biāo)標(biāo)注其原始的時間戳及前景矩形，并實現(xiàn)了視頻索引功能，點擊運動目標(biāo)即可跳轉(zhuǎn)至對應(yīng)的原始視頻片段。主動式視頻濃縮方案，可以剔除冗余的目標(biāo)軌跡，展現(xiàn)用戶需求的信息，提高基于視頻的偵查效率。
【專利說明】主動式視頻濃縮裝置及方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種視頻處理技術(shù)，具體涉及一種視頻濃縮(即生成視頻摘要)的技術(shù)。
【背景技術(shù)】
[0002]在社會公共安全領(lǐng)域，視頻監(jiān)控系統(tǒng)成為維護(hù)社會治安，加強社會管理的一個重要組成部分。然而視頻錄像存在存儲數(shù)據(jù)量大，存儲時間長等特點，通過錄像尋找線索，獲取證據(jù)傳統(tǒng)的做法是要耗費大量人力、物力以及時間，效率極其低下，以至于錯過最佳破案時機。
[0003]視頻摘要是對視頻內(nèi)容的一個簡單概括，以自動或半自動的方式，先通過運動目標(biāo)分析，提取運動目標(biāo)，然后對各個目標(biāo)的運動軌跡進(jìn)行分析，將不同的目標(biāo)重組并拼接到共同的背景場景中，形成視頻。因此在視頻監(jiān)控系統(tǒng)中，人們可以通過視頻摘要快速瀏覽，鎖定檢索對象，對于公安加快破案速度，提高大案、要案的破案效率具有重要指導(dǎo)意義。
[0004]視頻媒體的無結(jié)構(gòu)性是阻礙新一代視頻應(yīng)用的瓶頸問題，為了解決視頻的無結(jié)構(gòu)性問題，研究者提出了視頻結(jié)構(gòu)化描述的技術(shù)途徑。視頻結(jié)構(gòu)化描述技術(shù)包含兩層含義:對視頻中目標(biāo)特征的識別和提取形成描述信息文本，基于描述信息實現(xiàn)視頻內(nèi)容檢索與數(shù)據(jù)挖掘。
[0005]傳統(tǒng)的生成視頻摘要的技術(shù)主要有兩種:第一種方法是基于視頻關(guān)鍵幀的視頻摘要，此方法首先獲取視頻的關(guān)鍵幀，然后通過分級聚類的方法檢測視頻片段的相似度，將相似度超過閾值的片段去除，將保留下來的部分拼接成視頻摘要；另一種方法是基于視頻特征的視頻摘要，此方法是根據(jù)提取的輸入視頻的特征，計算視頻的精彩度，并將精彩度較高的精彩鏡頭通過簡單地拼接，形成視頻摘要。
[0006]但是這兩種方法所形成的視頻摘要都無法滿足用戶獲取特定目標(biāo)的信息的要求。并且這兩種方法都是由視頻片段拼接起來的，仍存在時長較長、運動不緊湊的問題。

【發(fā)明內(nèi)容】

[0007]針對上述現(xiàn)有技術(shù)，本發(fā)明的目的在于提供一種主動式視頻濃縮方案，用于解決現(xiàn)有的視頻摘要方法無法滿足用戶對指定特定目標(biāo)生成摘要視頻的需求，以及傳統(tǒng)技術(shù)所產(chǎn)生的摘要視頻時長較長、運動不緊湊的問題。
[0008]為了達(dá)到上述目的，本發(fā)明采用如下的技術(shù)方案:
[0009]一種主動式視頻濃縮裝置，所述裝置包括:
[0010]視頻結(jié)構(gòu)化描述模塊，所述視頻結(jié)構(gòu)化描述模塊用于對輸入視頻進(jìn)行分析，生成視頻結(jié)構(gòu)化描述文件；
[0011]存儲管理模塊，所述存儲管理模塊用于儲存及管理視頻結(jié)構(gòu)化描述文件，并根據(jù)視頻結(jié)構(gòu)化描述文件建立的數(shù)據(jù)庫；
[0012]檢索模塊，所述檢索模塊對存儲管理模塊中的視頻結(jié)構(gòu)化描述文件進(jìn)行檢索，并將檢索結(jié)果按照其相關(guān)度排序；
[0013]視頻濃縮摘要模塊，所述視頻濃縮摘要模塊用于生成符合檢索條件的摘要視頻，在不丟失運動目標(biāo)并且不重疊或沒有嚴(yán)重重疊前提下，將不同時間段出現(xiàn)的運動目標(biāo)平移到同一時間段，濃縮為摘要視頻。
[0014]在濃縮裝置的優(yōu)選實例中，所述視頻結(jié)構(gòu)化描述模塊生成的視頻結(jié)構(gòu)化描述文件包括目標(biāo)特征描述文件和目標(biāo)軌跡描述文件，所述目標(biāo)特征描述文件包含每個目標(biāo)的描述信息；所述目標(biāo)軌跡描述文件包含每個目標(biāo)軌跡的基本信息。
[0015]進(jìn)一步的，所述存儲管理模塊通過視頻結(jié)構(gòu)化描述文件中的目標(biāo)特征描述文件建立相關(guān)的數(shù)據(jù)庫，同時由數(shù)據(jù)庫管理目標(biāo)特征描述文件的所有信息。
[0016]進(jìn)一步的，所述視頻濃縮摘要模塊在生成摘要視頻時，根據(jù)目標(biāo)軌跡描述文件提供軌跡對應(yīng)的前景矩形序列的空間位置和時間信息，確保運動目標(biāo)平移后不重疊或沒有嚴(yán)
重重疊。
[0017]進(jìn)一步的，所述視頻濃縮摘要模塊在生成摘要視頻時，對運動目標(biāo)的平移是指對運動目標(biāo)的時間的平移。
[0018]進(jìn)一步的，所述視頻濃縮摘要模塊在生成摘要視頻時，對于多個目標(biāo)軌跡相互重疊的區(qū)域以透明貼圖的形式確保每個目標(biāo)都可見；同時對摘要視頻中的每個目標(biāo)標(biāo)注其原始的時間戳和前景矩形，并實現(xiàn)了視頻索引功能，點擊運動目標(biāo)即可跳轉(zhuǎn)至對應(yīng)的原始視頻片段。
[0019]一種主動式視頻濃縮的方法，該方法包括如下步驟:
[0020]( I)對輸入視頻進(jìn)行分析，生成視頻結(jié)構(gòu)化描述文件，并根據(jù)生成的結(jié)構(gòu)化描述文件建立相關(guān)數(shù)據(jù)庫；
[0021](2)對建立的數(shù)據(jù)庫進(jìn)行檢索，并將檢索結(jié)果按照相關(guān)度排序；
[0022]( 3 )根據(jù)步驟(2 )檢索結(jié)果，對目標(biāo)軌跡篩選及重排，在確保運動目標(biāo)平移后不重疊或沒有嚴(yán)重重疊的前提下，將不同時間段出現(xiàn)的運動目標(biāo)平移到同一時間段，濃縮為摘要視頻。
[0023]在該方法的優(yōu)選方案中，所述步驟(I)中生成的視頻結(jié)構(gòu)化描述文件具體包括:目標(biāo)特征描述文件和目標(biāo)軌跡描述文件，所述目標(biāo)特征描述文件包含每個目標(biāo)的描述信息，所述目標(biāo)軌跡描述文件包含每個目標(biāo)的基本信息。
[0024]進(jìn)一步的，所述步驟(I)中利用視頻結(jié)構(gòu)化描述文件中的目標(biāo)特征描述文件來建立相關(guān)的數(shù)據(jù)庫，并由相關(guān)數(shù)據(jù)庫管理目標(biāo)特征描述文件的所有信息。
[0025]進(jìn)一步的，所述步驟(3)中濃縮摘要視頻時，由視頻結(jié)構(gòu)化描述文件中的目標(biāo)軌跡描述文件來提供軌跡對應(yīng)的前景矩形序列的空間位置和時間信息，確保運動目標(biāo)平移后不
重疊或沒有嚴(yán)重重疊。
[0026]進(jìn)一步的，所述步驟(3)中對于多個目標(biāo)軌跡相互重疊的區(qū)域以透明貼圖的形式確保每個目標(biāo)都可見。
[0027]進(jìn)一步的，所述步驟(3)中在濃縮摘要視頻時，對摘要視頻中的每個目標(biāo)標(biāo)注其原始的時間戳及前景矩形，由此實現(xiàn)視頻索弓I功能。
[0028]進(jìn)一步的，所述步驟(3)中對運動目標(biāo)的平移是對運動目標(biāo)的時間的平移，并不包括空間位置的平移。[0029]進(jìn)一步的所述步驟(3)中對運動目標(biāo)平移采用如下方法:
[0030](31)依據(jù)目標(biāo)軌跡描述文件記錄的每個目標(biāo)軌跡的每個前景圖片在原始視頻畫面中的精確位置，得到目標(biāo)軌跡對應(yīng)的前景矩形序列；
[0031](32)新建用于存儲軌跡的前景矩形序列的隊列容器，即濃縮隊列；
[0032]( 33 )對于每個目標(biāo)軌跡對應(yīng)的前景矩形序列，查找合適并平移放置到最優(yōu)放置區(qū)間:
[0033](34)將當(dāng)前目標(biāo)軌跡平移放置到到該最優(yōu)放置區(qū)間。
[0034]再進(jìn)一步的，所述步驟(33)通過如下步驟實現(xiàn):
[0035]a)計算當(dāng)前目標(biāo)軌跡的前景矩形序列與濃縮隊列中已有其他軌跡的前景矩形序列之間的重疊面積之和；
[0036]b)設(shè)定重疊面積的最大閾值，低于該閾值表示該區(qū)間能夠容納當(dāng)前的目標(biāo)軌跡，否則不能；
[0037]c)從濃縮隊列的開始到結(jié)尾以固定的步長遍歷，記錄可以容納當(dāng)前目標(biāo)軌跡的所有區(qū)間；
[0038]d)計算時間代價:在c)步驟中，每個可能的區(qū)間分別計算當(dāng)前目標(biāo)軌跡與此區(qū)間已有的若干個軌跡之間的時間差值的平均值；
[0039]e)查找以上若干個時間代價的最小整數(shù)值，記錄其對應(yīng)的區(qū)間，作為最優(yōu)放置區(qū)間。
[0040]進(jìn)一步的，所述步驟(3)中的摘要視頻是通過選用檢索結(jié)果中列出的目標(biāo)軌跡，將多個運動目標(biāo)對應(yīng)的前景圖片拼接到同一背景而形成。
[0041]再進(jìn)一步的，將多個運動目標(biāo)對應(yīng)的前景圖片拼接到同一背景的具體過程如下:
[0042]通過混合高斯模型方法計算靜態(tài)背景圖片；
[0043]依據(jù)目標(biāo)軌跡描述文件記錄的每個目標(biāo)軌跡的每個前景圖片在原始視頻畫面中的精確位置和精確的時間，提取到目標(biāo)軌跡對應(yīng)的如景圖片序列；
[0044]從頭至尾遍歷濃縮隊列中的所有目標(biāo)軌跡對應(yīng)的前景矩形，實現(xiàn)透明貼圖:
[0045]a)對于不與其他目標(biāo)相互重疊的運動目標(biāo)區(qū)域，直接拷貝運動目標(biāo)的原始像素到背景圖片對應(yīng)的位置；
[0046]b)對于多個運動目標(biāo)相互重疊的區(qū)域，每個像素值是多個運動目標(biāo)對應(yīng)像素值的平均。
[0047]本發(fā)明提供的主動式視頻濃縮方法，可以剔除冗余的目標(biāo)軌跡，展現(xiàn)用戶需求的信息，提高基于視頻的偵查效率。
[0048]同時，本方案能夠滿足用戶對指定特定目標(biāo)生成摘要視頻的需求，且生成摘要視頻所花時間大大縮短，并且所產(chǎn)生的摘要視頻時長短、運動緊湊。
【專利附圖】

【附圖說明】
[0049]以下結(jié)合附圖和【具體實施方式】來進(jìn)一步說明本發(fā)明。
[0050]圖1為本發(fā)明中基于視頻結(jié)構(gòu)化描述的主動式視頻濃縮裝置示意圖；
[0051]圖2為主動式視頻濃縮裝置中存儲管理模塊中存儲內(nèi)容的示意圖；
[0052]圖3為本發(fā)明中基于視頻結(jié)構(gòu)化描述的主動式視頻濃縮方法的流程圖?！揪唧w實施方式】
[0053]為了使本發(fā)明實現(xiàn)的技術(shù)手段、創(chuàng)作特征、達(dá)成目的與功效易于明白了解，下面結(jié)合具體圖示，進(jìn)一步闡述本發(fā)明。
[0054]參見圖2，其所示為基于視頻結(jié)構(gòu)化描述的主動式視頻濃縮裝置的結(jié)構(gòu)示意圖。該主動式視頻濃縮裝置能夠根據(jù)用戶的實際需求，輸入檢索的條件，并根據(jù)其檢索的結(jié)果生成濃縮的摘要視頻的功能。
[0055]由圖可知，該視頻濃縮裝置100主要包括視頻結(jié)構(gòu)化描述模塊101、存儲管理模塊102、檢索模塊103以及視頻濃縮摘要模塊104。
[0056]其中，視頻結(jié)構(gòu)化描述模塊101用于對輸入視頻進(jìn)行分析，并生成視頻結(jié)構(gòu)化描述文件。該視頻結(jié)構(gòu)化描述文件具體包括:目標(biāo)特征描述文件和目標(biāo)軌跡描述文件。其中目標(biāo)特征描述文件包含每個目標(biāo)的描述信息，用于建立相關(guān)的數(shù)據(jù)庫；目標(biāo)軌跡描述文件包含每個目標(biāo)的基本信息，用于視頻濃縮摘要模塊104中提供前景矩形序列的空間位置和時間信息，以確保運動目標(biāo)平移后不重疊或沒有嚴(yán)重重疊。
[0057]存儲管理模塊102與視頻結(jié)構(gòu)化描述模塊101數(shù)據(jù)相接，用于儲存及管理視頻結(jié)構(gòu)化描述模塊101生成的視頻結(jié)構(gòu)化描述文件，并根據(jù)該文件建立相應(yīng)的數(shù)據(jù)庫。
[0058]參見圖2，其所示為存儲管理模塊102的存儲內(nèi)容的示意圖。該模塊存儲管理目標(biāo)特征描述文件102a、目標(biāo)軌跡描述文件102b以及數(shù)據(jù)庫102c ;數(shù)據(jù)庫102c由存儲管理模塊102根據(jù)目標(biāo)特征描述文件102a來建立，并由該數(shù)據(jù)庫102c來管理目標(biāo)特征描述文件102a的所有信息。
[0059]檢索模塊103與存儲管理模塊102數(shù)據(jù)相接，其提供一個圖形用戶界面，使用戶能根據(jù)其實際情況的需求，對存儲管理模塊102中的視頻結(jié)構(gòu)化描述信息進(jìn)行檢索，并將檢索結(jié)果按照其相關(guān)度排序。其中視頻結(jié)構(gòu)化描述信息包括:視頻結(jié)構(gòu)化描述文件中的目標(biāo)特征描述文件和目標(biāo)軌跡描述文件中記錄的信息。
[0060]視頻濃縮摘要模塊104分別與檢索模塊103和存儲管理模塊102數(shù)據(jù)相接，用于生成符合檢索條件的摘要視頻。具體的，該視頻濃縮摘要模塊104根據(jù)檢索模塊103檢索返回的檢索結(jié)果，對目標(biāo)軌跡篩選及重排，根據(jù)目標(biāo)軌跡描述文件提供的前景矩形序列的空間位置和時間信息，確保運動目標(biāo)平移后不丟失運動目標(biāo)并且不重疊或沒有嚴(yán)重重疊的前提下，將不同時間段出現(xiàn)的運動目標(biāo)平移到同一時間段，由此濃縮為摘要視頻。
[0061]該模塊在濃縮摘要視頻時，對于多個目標(biāo)軌跡相互重疊的區(qū)域以透明貼圖的形式確保每個目標(biāo)都可見；同時對摘要視頻中的每個目標(biāo)標(biāo)注其原始的時間戳及前景矩形，由此來實現(xiàn)視頻索引功能，點擊運動目標(biāo)即可跳轉(zhuǎn)至對應(yīng)的原始視頻片段。
[0062]參見圖3，其所示為主動式視頻濃縮裝置進(jìn)行濃縮形成摘要視頻的流程圖。由圖可知，整個流程分為三個大步驟:
[0063]步驟1，對輸入視頻進(jìn)行分析，通過對輸入視頻的結(jié)構(gòu)化描述生成視頻結(jié)構(gòu)化描述文件，能夠?qū)σ曨l進(jìn)行結(jié)構(gòu)化描述是本方法的前提，現(xiàn)有的視頻結(jié)構(gòu)化描述技術(shù)通常是在工控機或服務(wù)器上實現(xiàn)的，當(dāng)然也有基于DSP、ARM等嵌入式平臺實現(xiàn)視頻結(jié)構(gòu)化描述。
[0064]結(jié)構(gòu)化描述生成的視頻結(jié)構(gòu)化描述文件主要包括兩個部分:目標(biāo)特征描述文件和目標(biāo)軌跡描述文件。[0065]其中，目標(biāo)特征描述文件用于建立相關(guān)的數(shù)據(jù)庫，其包含每個運動目標(biāo)的描述信息。該描述信息可以包括但不限于:目標(biāo)出現(xiàn)時間、地點、車牌號、車型、車輛的顏色、車輛行駛方向、是否違規(guī)、人的服飾特征、發(fā)型、視頻源URL等信息。
[0066]目標(biāo)軌跡描述文件用于將摘要視頻濃縮，其包含每個運動目標(biāo)軌跡對應(yīng)的前景矩形序列信息。該前景矩形序列信息可以包括但不限于:記錄視頻在磁盤中的路徑或視頻的URL、每個運動目標(biāo)前景矩形的個數(shù)、在原始視頻中的幀序號、原始時間戳、前景矩形形成的序列(矩形位置及大小信息形成的序列)等信息。
[0067]在得到視頻結(jié)構(gòu)化描述文件后，利用其中的目標(biāo)特征描述文件建立相關(guān)數(shù)據(jù)庫，并由該數(shù)據(jù)庫管理目標(biāo)特征描述文件的所有信息，包括:目標(biāo)出現(xiàn)時間、地點、車牌號、車型、車輛的顏色、車輛行駛方向、是否違規(guī)、人的服飾特征、發(fā)型、視頻源URL等信息。
[0068]步驟2，在數(shù)據(jù)庫建立之后，根據(jù)相應(yīng)的檢索條件(具體可以由用戶通過圖形用戶界面輸入相應(yīng)的檢索條件，該檢索條件具體可以是目標(biāo)特征描述文件102a中記錄的信息的組合)，生成SQL查詢語句，隨后訪問并檢索數(shù)據(jù)庫。在此之后解析檢索結(jié)果，按照其與檢索條件的相關(guān)性進(jìn)行排序，將相關(guān)性高的結(jié)果排在前面，具體檢索返回的結(jié)果可為按照相關(guān)性排序的目標(biāo)軌跡的序號。
[0069]步驟3，視頻濃縮摘要模塊依據(jù)檢索結(jié)果中給出的目標(biāo)軌跡序號，從目標(biāo)軌跡描述文件中篩選出對應(yīng)的目標(biāo)軌跡；并將篩選出來的目標(biāo)軌跡濃縮形成摘要視頻。
[0070]具體而言，該摘要視頻是通過選用檢索結(jié)果中列出的目標(biāo)軌跡，將多個運動目標(biāo)對應(yīng)的前景圖片拼接到同一背景而形成。
[0071]該摘要視頻不是由運動片段簡單拼接形成，而是高度濃縮的視頻:將不同時間段出現(xiàn)的運動目標(biāo)平移到同一時間段，濃縮為摘要視頻，實現(xiàn)多個目標(biāo)同時播放的目的；這里對運動目標(biāo)的平移是對運動目標(biāo)的時間的平移，并不包括空間位置的平移。
[0072]將不同時間段出現(xiàn)的運動目標(biāo)軌跡平移到同一時間段的過程具體如下:
[0073]1.依據(jù)目標(biāo)軌跡描述文件記錄的每個目標(biāo)軌跡的每個前景圖片在原始視頻畫面中的精確位置，得到目標(biāo)軌跡對應(yīng)的前景矩形序列(運動目標(biāo)所在的矩形區(qū)域，在連續(xù)若干個視頻畫面中出現(xiàn)，形成運動目標(biāo)軌跡對應(yīng)的前景矩形序列)；
[0074]2.新建用于存儲軌跡的前景矩形序列的隊列容器，簡稱為濃縮隊列；
[0075]3.對于每個目標(biāo)軌跡對應(yīng)的前景矩形序列，查找合適并平移放置到最優(yōu)放置區(qū)間:
[0076]a)計算當(dāng)前目標(biāo)軌跡的前景矩形序列與濃縮隊列中已有其他軌跡的前景矩形序列之間的重疊面積之和；
[0077]b)設(shè)定重疊面積的最大閾值，低于該閾值表示該區(qū)間能夠容納當(dāng)前的目標(biāo)軌跡，否則不能(可以理解為“懲罰”);
[0078]c)從濃縮隊列的開始到結(jié)尾以固定的步長遍歷，記錄可以容納當(dāng)前目標(biāo)軌跡的所有區(qū)間；
[0079]d)計算時間代價:在c)步驟中，每個可能的區(qū)間分別計算當(dāng)前目標(biāo)軌跡與此區(qū)間已有的若干個軌跡之間的時間差值(當(dāng)前軌跡在原始視頻中的開始時間與鄰近的軌跡在原始視頻中的開始時間的差量)的平均值；
[0080]e)查找以上若干個時間代價的最小整數(shù)值，記錄其對應(yīng)的區(qū)間，作為最優(yōu)放置區(qū)間(可以理解為“獎勵”);
[0081]4.將當(dāng)前目標(biāo)軌跡平移放置到到該最優(yōu)放置區(qū)間。
[0082]依據(jù)以上方法將所有的目標(biāo)軌跡放置到濃縮隊列，可以確保軌跡之間重疊不嚴(yán)重，并且基本保持與其他軌跡之間原有的時間先后關(guān)系。
[0083]同時，將多個運動目標(biāo)對應(yīng)的前景圖片拼接到同一背景的過程如下:
[0084]1.通過混合高斯模型方法計算靜態(tài)背景圖片；
[0085]2.依據(jù)目標(biāo)軌跡描述文件記錄的每個目標(biāo)軌跡的每個前景圖片在原始視頻畫面中的精確位置和精確的時間，提取到目標(biāo)軌跡對應(yīng)的前景圖片序列(運動目標(biāo)所在的矩形子圖，在連續(xù)若干個視頻畫面中出現(xiàn)，形成運動目標(biāo)軌跡對應(yīng)的前景圖片序列)；
[0086]3.從頭至尾遍歷濃縮隊列中的所有目標(biāo)軌跡對應(yīng)的前景矩形，實現(xiàn)透明貼圖:
[0087]a)對于不與其他目標(biāo)相互重疊的運動目標(biāo)區(qū)域，直接拷貝運動目標(biāo)的原始像素到背景圖片對應(yīng)的位置；
[0088]b)對于多個運動目標(biāo)相互重疊的區(qū)域，每個像素值是多個運動目標(biāo)對應(yīng)像素值的平均。
[0089]以上透明貼圖方式可以確保:多個目標(biāo)軌跡相互重疊的區(qū)域，每個運動目標(biāo)都可見。
[0090]由上可知，在生成濃縮摘要視頻的過程中，按照檢索結(jié)果記錄的目標(biāo)軌跡序號篩選出現(xiàn)在濃縮視頻中的運動目標(biāo)。為了保證較高的活動密度和濃縮率，將時間順序混亂程度更低、軌跡之間碰撞重疊更少這樣的原則轉(zhuǎn)化為“獎勵”和“懲罰”，采用貪婪算法，求解最優(yōu)的排序組合。隨后按照最優(yōu)排列方式將原本不在同一時間段的目標(biāo)軌跡平移到相同時間段。軌跡之間緊密堆疊鑲嵌，并采用透明貼圖的形式確保多個目標(biāo)重疊的區(qū)域各自均可見。形成包含所有目標(biāo)軌跡的簡短且活動密集的視頻。這樣形成的摘要視頻充分利用畫面空間，以最短的時間展現(xiàn)原視頻所有的事件(目標(biāo)軌跡)。
[0091]再者，在生成摘要視頻的過程中還根據(jù)目標(biāo)軌跡描述文件，在濃縮摘要中對每個目標(biāo)標(biāo)注附加信息，具體為每個目標(biāo)標(biāo)注原始時間戳和前景矩形，由此來實現(xiàn)了視頻索弓I功能。在生成摘要視頻的過程中同步播放已生成的摘要視頻，同時已生成的摘要視頻中的前景矩形提供視頻索引功能，即點擊前景矩形即可跳轉(zhuǎn)至其對應(yīng)的原視頻片段。
[0092]最后摘要視頻生成完成后，可回放已生成的視頻，播放過程中同樣也提供視頻索引功能。
[0093]以上顯示和描述了本發(fā)明的基本原理、主要特征和本發(fā)明的優(yōu)點。本行業(yè)的技術(shù)人員應(yīng)該了解，本發(fā)明不受上述實施例的限制，上述實施例和說明書中描述的只是說明本發(fā)明的原理，在不脫離本發(fā)明精神和范圍的前提下，本發(fā)明還會有各種變化和改進(jìn)，這些變化和改進(jìn)都落入要求保護(hù)的本發(fā)明范圍內(nèi)。本發(fā)明要求保護(hù)范圍由所附的權(quán)利要求書及其等效物界定。
【權(quán)利要求】
1.一種主動式視頻濃縮裝置，其特征在于，所述裝置包括: 視頻結(jié)構(gòu)化描述模塊，所述視頻結(jié)構(gòu)化描述模塊用于對輸入視頻進(jìn)行分析，生成視頻結(jié)構(gòu)化描述文件； 存儲管理模塊，所述存儲管理模塊用于儲存及管理視頻結(jié)構(gòu)化描述文件，并根據(jù)視頻結(jié)構(gòu)化描述文件建立的數(shù)據(jù)庫； 檢索模塊，所述檢索模塊對存儲管理模塊中的視頻結(jié)構(gòu)化描述文件進(jìn)行檢索，并將檢索結(jié)果按照其相關(guān)度排序； 視頻濃縮摘要模塊，所述視頻濃縮摘要模塊用于生成符合檢索條件的摘要視頻，在不丟失運動目標(biāo)并且不重疊或沒有嚴(yán)重重疊前提下，將不同時間段出現(xiàn)的運動目標(biāo)平移到同一時間段，濃縮為摘要視頻。
2.根據(jù)權(quán)利要求1所述的一種主動式視頻濃縮裝置，其特征在于，所述視頻結(jié)構(gòu)化描述模塊生成的視頻結(jié)構(gòu)化描述文件包括目標(biāo)特征描述文件和目標(biāo)軌跡描述文件，所述目標(biāo)特征描述文件包含每個目標(biāo)的描述信息；所述目標(biāo)軌跡描述文件包含每個目標(biāo)軌跡的基本信息。
3.根據(jù)權(quán)利要求2所述的一種主動式視頻濃縮裝置，其特征在于，所述存儲管理模塊通過視頻結(jié)構(gòu)化描述文件中的目標(biāo)特征描述文件建立相關(guān)的數(shù)據(jù)庫，同時由數(shù)據(jù)庫管理目標(biāo)特征描述文件的所有信息。
4.根據(jù)權(quán)利 要求2所述的一種主動式視頻濃縮裝置，其特征在于，所述視頻濃縮摘要模塊在生成摘要視頻時，根據(jù)目標(biāo)軌跡描述文件提供軌跡對應(yīng)的前景矩形序列的空間位置和時間信息，確保運動目標(biāo)平移后不重疊或沒有嚴(yán)重重疊。
5.根據(jù)權(quán)利要求1所述的一種主動式視頻濃縮裝置，其特征在于，所述視頻濃縮摘要模塊在生成摘要視頻時，對運動目標(biāo)的平移是指對運動目標(biāo)的時間的平移。
6.根據(jù)權(quán)利要求1所述的一種主動式視頻濃縮裝置，其特征在于，所述視頻濃縮摘要模塊在生成摘要視頻時，對于多個目標(biāo)軌跡相互重疊的區(qū)域以透明貼圖的形式確保每個目標(biāo)都可見；同時對摘要視頻中的每個目標(biāo)標(biāo)注其原始的時間戳和前景矩形，并實現(xiàn)了視頻索引功能，點擊運動目標(biāo)即可跳轉(zhuǎn)至對應(yīng)的原始視頻片段。
7.—種主動式視頻濃縮的方法，其特征在于，所述方法包括如下步驟: (1)對輸入視頻進(jìn)行分析，生成視頻結(jié)構(gòu)化描述文件，并根據(jù)生成的結(jié)構(gòu)化描述文件建立相關(guān)數(shù)據(jù)庫； (2)對建立的數(shù)據(jù)庫進(jìn)行檢索，并將檢索結(jié)果按照相關(guān)度排序； (3 )根據(jù)步驟(2 )檢索結(jié)果，對目標(biāo)軌跡篩選及重排，在確保運動目標(biāo)平移后不重疊或沒有嚴(yán)重重疊的前提下，將不同時間段出現(xiàn)的運動目標(biāo)平移到同一時間段，濃縮為摘要視頻。
8.根據(jù)權(quán)利要求7所述的一種主動式視頻濃縮的方法，其特征在于，所述步驟(1)中生成的視頻結(jié)構(gòu)化描述文件具體包括:目標(biāo)特征描述文件和目標(biāo)軌跡描述文件，所述目標(biāo)特征描述文件包含每個目標(biāo)的描述信息，所述目標(biāo)軌跡描述文件包含每個目標(biāo)的基本信息。
9.根據(jù)權(quán)利要求8所述的一種主動式視頻濃縮的方法，其特征在于，所述步驟(1)中利用視頻結(jié)構(gòu)化描述文件中的目標(biāo)特征描述文件來建立相關(guān)的數(shù)據(jù)庫，并由相關(guān)數(shù)據(jù)庫管理目標(biāo)特征描述文件的所有信息；所述步驟(3)中濃縮摘要視頻時，由視頻結(jié)構(gòu)化描述文件中的目標(biāo)軌跡描述文件來提供軌跡對應(yīng)的前景矩形序列的空間位置和時間信息，確保運動目標(biāo)平移后不重疊或沒有嚴(yán)重重疊。
10.根據(jù)權(quán)利要求7所述的一種主動式視頻濃縮的方法，其特征在于，所述步驟(3)中在濃縮摘要視頻時，對于多個目標(biāo)軌跡相互重疊的區(qū)域以透明貼圖的形式確保每個目標(biāo)都可見；對摘要視頻中的每個目標(biāo)標(biāo)注其原始的時間戳及前景矩形，由此實現(xiàn)視頻索引功能；對運動目標(biāo)的平移是對運動目標(biāo)的時間的平移。
11.根據(jù)權(quán)利要求7或10所述的一種主動式視頻濃縮的方法，其特征在于，所述步驟(3)中對運動目標(biāo)平移采用如下方法: (31)依據(jù)目標(biāo)軌跡描述文件記錄的每個目標(biāo)軌跡的每個前景圖片在原始視頻畫面中的精確位置，得到目標(biāo)軌跡對應(yīng)的前景矩形序列； (32)新建用于存儲軌跡的前景矩形序列的隊列容器，即濃縮隊列； (33)對于每個目標(biāo)軌跡對應(yīng)的前景矩形序列，查找合適并平移放置到最優(yōu)放置區(qū)間: (34)將當(dāng)前目標(biāo)軌跡平移放置到到該最優(yōu)放置區(qū)間。
12.根據(jù)權(quán)利要求11所述的一種主動式視頻濃縮的方法，其特征在于，所述步驟(33)通過如下步驟實現(xiàn): a)計算當(dāng)前目標(biāo)軌跡的前景矩形序列與濃縮隊列中已有其他軌跡的前景矩形序列之間的重疊面積之和； b)設(shè)定重疊面積的最大閾值，低于該閾值表示該區(qū)間能夠容納當(dāng)前的目標(biāo)軌跡，否則不能； c)從濃縮隊列的開始到結(jié)尾以固定的步長遍歷，記錄可以容納當(dāng)前目標(biāo)軌跡的所有區(qū)間； d)計算時間代價:在c)步驟中，每個可能的區(qū)間分別計算當(dāng)前目標(biāo)軌跡與此區(qū)間已有的若干個軌跡之間的時間差值的平均值； e)查找以上若干個時間代價的最小整數(shù)值，記錄其對應(yīng)的區(qū)間，作為最優(yōu)放置區(qū)間。
13.根據(jù)權(quán)利要求7或10所述的一種主動式視頻濃縮的方法，其特征在于，所述步驟(3)中的摘要視頻是通過選用檢索結(jié)果中列出的目標(biāo)軌跡，將多個運動目標(biāo)對應(yīng)的前景圖片拼接到同一背景而形成。
14.根據(jù)權(quán)利要求13所述的一種主動式視頻濃縮的方法，其特征在于，將多個運動目標(biāo)對應(yīng)的前景圖片拼接到同一背景的具體過程如下: 通過混合高斯模型方法計算靜態(tài)背景圖片； 依據(jù)目標(biāo)軌跡描述文件記錄的每個目標(biāo)軌跡的每個前景圖片在原始視頻畫面中的精確位置和精確的時間，提取到目標(biāo)軌跡對應(yīng)的前景圖片序列； 從頭至尾遍歷濃縮隊列中的所有目標(biāo)軌跡對應(yīng)的前景矩形，實現(xiàn)透明貼圖: a)對于不與其他目標(biāo)相互重疊的運動目標(biāo)區(qū)域，直接拷貝運動目標(biāo)的原始像素到背景圖片對應(yīng)的位置； b)對于多個運動目標(biāo)相互重疊的區(qū)域，每個像素值是多個運動目標(biāo)對應(yīng)像素值的平均。
【文檔編號】G06F17/30GK103617234SQ201310611321
【公開日】2014年3月5日 申請日期:2013年11月26日 優(yōu)先權(quán)日:2013年11月26日
【發(fā)明者】胡傳平, 唐世杰, 尚巖峰, 梅林 , 齊力, 劉云淮, 鄭旭平, 王春, 黃國政, 李超, 譚懿先, 陳健, 徐磊, 王文斐, 梁辰, 徐小明, 高鑫, 潘淳 申請人:公安部第三研究所