用于視頻處理的時(shí)空顯著性檢測(cè)方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種視頻處理方法，具體涉及一種作為預(yù)處理的時(shí)空顯著性檢測(cè)方 法。
【背景技術(shù)】
[0002] 通過(guò)注意力選擇機(jī)制，人眼可以在沒(méi)有訓(xùn)練的情況下將注意力集中在圖像和視頻 的感興趣區(qū)域。顯著性檢測(cè)就是通過(guò)模擬人眼的這種視覺(jué)注意機(jī)制來(lái)快速檢測(cè)出圖像或視 頻中的感興趣目標(biāo)，而時(shí)空顯著性檢測(cè)是融合了視頻中運(yùn)動(dòng)特征的顯著性檢測(cè)。
[0003] 在圖像和視頻的處理與分析的應(yīng)用中，視覺(jué)顯著性的計(jì)算往往作為一個(gè)預(yù)處理的 過(guò)程，是圖像與視頻分割、目標(biāo)檢測(cè)以及目標(biāo)跟蹤等任務(wù)的重要基礎(chǔ)，它為解決這些問(wèn)題提 供了一條新的思路。不僅如此，顯著性在目標(biāo)識(shí)別、圖像視頻的自適應(yīng)壓縮、圖像視頻的檢 索等領(lǐng)域也有重要應(yīng)用。高效而準(zhǔn)確地對(duì)圖像和視頻的顯著區(qū)域提取對(duì)后續(xù)的各種處理和 應(yīng)用都有著顯著的積極影響。
[0004] 近年來(lái)，對(duì)于視頻的顯著性研究已經(jīng)越來(lái)越受到關(guān)注，Itti等人在圖像顯著性計(jì) 算模型Itti98中加入了運(yùn)動(dòng)特征和幀間閃爍，將Itti98模型擴(kuò)展到視頻中。Guo等人則將 譜殘差方法擴(kuò)展到視頻中，對(duì)視頻幀分別提取運(yùn)動(dòng)、紅綠對(duì)比、藍(lán)橙對(duì)比色以及亮度特征， 然后通過(guò)四元傅里葉變換得到各特征的相位譜，最后將各通道融合成最終的顯著圖。Lu等 人在顯著性模型中使用了底層特征如顏色、紋理和運(yùn)動(dòng)以及一些認(rèn)知特征。Cheng等人也 在他們的靜態(tài)圖像的顯著模型中加入了運(yùn)動(dòng)信息，通過(guò)分析水平方向和垂直方向的像素運(yùn) 動(dòng)，計(jì)算顯著圖。Bioman等人提出了視頻中的時(shí)空維度上不規(guī)則性的檢測(cè)方法，該方法通過(guò) 視頻塊的2維和3維紋理與訓(xùn)練數(shù)據(jù)進(jìn)行比較，檢測(cè)得到視頻中的不規(guī)則的運(yùn)動(dòng)。Meur等 提出了基于視覺(jué)注意機(jī)制的時(shí)空模型，該方法的時(shí)間顯著圖是通過(guò)對(duì)仿射分量的分析得到 的。Kienzle通過(guò)對(duì)眼動(dòng)數(shù)據(jù)的學(xué)習(xí)，構(gòu)建了基于時(shí)空興趣點(diǎn)的檢測(cè)器對(duì)輸入信號(hào)分別在時(shí) 間和空間域內(nèi)濾波，從而檢測(cè)得到顯著目標(biāo)。
[0005] 當(dāng)前顯著性計(jì)算模型還不成熟，各種計(jì)算模型都有一些局限性，不可避免地存在 將非顯著區(qū)域計(jì)算成顯著區(qū)域，或是將顯著區(qū)域計(jì)算成非顯著區(qū)域的情況。對(duì)于第一種情 況，往往與計(jì)算顯著性所選取的特征有關(guān)，例如Guo的四元傅里葉（PQFT)顯著性計(jì)算模型， 保留的是頻域中的不規(guī)則頻譜的分量，這些分量多數(shù)是物體的邊緣信息。這種顯著性方法 對(duì)小的顯著目標(biāo)有很好的凸顯效果，但是對(duì)于尺度較大的目標(biāo)，容易造成內(nèi)部的空洞。一 些特征單一的顯著性計(jì)算模型更容易出現(xiàn)上述第一種情況。第二種情況通常是場(chǎng)景的復(fù)雜 性引起的，復(fù)雜場(chǎng)景下，顏色特征往往難以區(qū)分前背景，且背景區(qū)域也往往有差異明顯的顏 色，這使得背景的某些部分很容易計(jì)算得到較高的顯著度值。
[0006] 當(dāng)用于視頻監(jiān)控時(shí)，存在以下問(wèn)題：在視頻監(jiān)控的應(yīng)用中往往攝像頭是固定靜止 的，背景基本也是靜止的，并且背景的紋理可能是比較復(fù)雜的，運(yùn)動(dòng)目標(biāo)在什么位置出現(xiàn)是 不可知的；視頻監(jiān)控中往往背景的動(dòng)態(tài)性不強(qiáng)，但是場(chǎng)景本身復(fù)雜，一些從空間維度計(jì)算的 背景先驗(yàn)往往得不得魯棒的結(jié)果。
[0007] 特別是，當(dāng)視頻監(jiān)控被用在復(fù)雜背景和成像條件動(dòng)態(tài)改變的復(fù)雜自然場(chǎng)景中時(shí)， 顯著性檢測(cè)的難度更大。這種復(fù)雜自然場(chǎng)景包括如光照、視點(diǎn)、尺度變化以及遮擋等引起前 景和背景運(yùn)動(dòng)的場(chǎng)景等。在多個(gè)動(dòng)態(tài)實(shí)體組成的復(fù)雜動(dòng)態(tài)自然場(chǎng)景中，場(chǎng)景對(duì)象不是孤立 的，與其周?chē)h(huán)境、場(chǎng)景及場(chǎng)景中其它目標(biāo)有著密切聯(lián)系，存在各類(lèi)主題的組合變化，場(chǎng)景 類(lèi)內(nèi)變化和場(chǎng)景類(lèi)間視覺(jué)表征相似性，以及隨時(shí)間演變等特征，如搖擺的樹(shù)葉、密集人群、 鳥(niǎo)群、流水、波浪、下雪、下雨和煙霧等環(huán)境，單獨(dú)依靠運(yùn)動(dòng)能量去檢測(cè)場(chǎng)景中的目標(biāo)效果不 佳。因此動(dòng)態(tài)場(chǎng)景顯著目標(biāo)檢測(cè)和提取更難。
[0008] 因此，如何獲得一種適應(yīng)視頻監(jiān)控應(yīng)用需要的顯著性檢測(cè)方法，是本領(lǐng)域需要解 決的問(wèn)題。

【發(fā)明內(nèi)容】

[0009] 本發(fā)明的發(fā)明目的是提供一種用于視頻處理的時(shí)空顯著性檢測(cè)方法，以提高對(duì)于 監(jiān)控視頻的目標(biāo)檢測(cè)過(guò)程中顯著性檢測(cè)的效果。
[0010] 為達(dá)到上述發(fā)明目的，本發(fā)明采用的技術(shù)方案是：一種用于視頻處理的時(shí)空顯著 性檢測(cè)方法，包括： (1)采用層次視頻分割方法對(duì)輸入視頻進(jìn)行分割，先將輸入視頻序列分成m段互不重 疊的子序列，其中，m是小于視頻序列幀數(shù)的正整數(shù)，再對(duì)視頻序列進(jìn)行層次分割； 層次分割的方法可以采用現(xiàn)有技術(shù)，例如，文獻(xiàn)Xu C, Xiong C, Corso J J. Streaming Hierarchical Video Segmentation[J]. Lecture Notes in Computer Science, 2012，7577(1):626-639.中提出了一個(gè)層次視頻分割框架，利用數(shù)據(jù)流的思 想，在視頻流上執(zhí)行馬爾科夫假設(shè)將整個(gè)視頻分割。
[0011] 基于圖論的層次分割算法，將視頻V分成m段，V={V1，V2…Vm}，針對(duì)每個(gè)視頻段 處理，獲得結(jié)果S= {Sl，S2,…Sm}。
[0012] (2)對(duì)于每一個(gè)分割得到的區(qū)域，分別統(tǒng)計(jì)L、a、b顏色通道的直方圖，其中L通道 分成8個(gè)組（bin)，a通道和b通道各分成16個(gè)組，組成維的特征向量； (3) 利用相鄰兩幀計(jì)算圖像中每一個(gè)像素的光流大小和方向，對(duì)于每個(gè)分割區(qū)域，統(tǒng)計(jì) 16個(gè)組的光流大小直方圖，和9個(gè)組的光流方向直方圖； (4) 對(duì)于每一個(gè)分割區(qū)域，分別獲得特征對(duì)比度，所述特征對(duì)比度通過(guò)該區(qū)域與其它區(qū) 域的顏色通道的直方圖、光流大小直方圖和光流方向直方圖的距離求和來(lái)度量； (5) 獲取視頻的先驗(yàn)顯著圖，包括： ① 位置先驗(yàn)：對(duì)于第一幀圖像，采用與視頻幀中心點(diǎn)的距離作為位置先驗(yàn)，對(duì)于其它 幀，采用前一幀中顯著目標(biāo)所在的位置作為位置先驗(yàn)，由此獲得位置先驗(yàn)顯著圖； ② 速度先驗(yàn)和加速度先驗(yàn)：利用步驟（3)獲得的像素的光流大小和方向，分別獲得像 素的運(yùn)動(dòng)速度和加速度，得到速度先驗(yàn)顯著圖和加速度先驗(yàn)顯著圖； ③ 背景先驗(yàn)：提供時(shí)間維度上的一個(gè)滑動(dòng)窗口，所述滑動(dòng)窗口的幀數(shù)大于10,對(duì)窗口 內(nèi)的每個(gè)像素均值濾波，濾波的結(jié)果作為這個(gè)窗口中間一幀對(duì)應(yīng)的背景，由此獲得背景先 驗(yàn)顯著圖； (6) 顯著性融合：將步驟（4)得到的特征對(duì)比度與步驟（5)得到的各先驗(yàn)顯著圖進(jìn)行 融合，方法是，將所有的分割層次融合起來(lái)，特定的一幀中每一個(gè)像素的顯著度是特征對(duì)比 度和先驗(yàn)的線性組合，由此獲得時(shí)空顯著圖，并實(shí)現(xiàn)對(duì)目標(biāo)的檢測(cè)。
[0013] 上述技術(shù)方案中，步驟（6)中對(duì)于每一幀中檢測(cè)到的目標(biāo)的位置作為步驟（5)中 進(jìn)行下一幀位置先驗(yàn)時(shí)對(duì)應(yīng)的前一幀中顯著目標(biāo)所在的位置。
[0014] 上述技術(shù)方案中，所述步驟（2)中，對(duì)組成的特征向量進(jìn)行歸一化處理獲得用于 后續(xù)處理的顏色特征向量。
[0015] 所述步驟（3)中，每個(gè)像素的光流大小表達(dá)為
式中， fm是光流大小，（X，y)表示像素在視頻幀中的位置，u是X方向的速度，V是y方向的速度； 每個(gè)像素的光流方向表示為
，式中，f〇是光流方向；獲得光 流方向直方圖時(shí)，每個(gè)組為40°，所有直方圖都?xì)w一化為長(zhǎng)度為1的向量。
[0016] 所述步驟⑷中，對(duì)于每一個(gè)以第t幀為中心的分割區(qū)域^、即第t幀為中心的第 c個(gè)像素所屬的分割區(qū)域，特征對(duì)比度由下式獲得：
式中，表示以第t幀為中心的分區(qū)域的特征對(duì)比度，.
col是 步驟（2)獲得的顏色直方圖的特征向量，表示第t幀第i個(gè)像素所屬的分割區(qū)域， I是區(qū)域的大小，
是兩個(gè)不同區(qū)域的重心和Py接近程度的度量，
是歸一化經(jīng)驗(yàn)值。
[0017] 其中，例如,可以取0.04,目的是將結(jié)果歸一化到【0，1】。
[0018] 所述步驟（4)之①中，對(duì)于當(dāng)前