基于改進(jìn)視覺注意模型的序列圖像顯著區(qū)域檢測(cè)方法
【專利摘要】本發(fā)明公開了一種基于改進(jìn)視覺注意模型的序列圖像顯著區(qū)域檢測(cè)方法，主要解決現(xiàn)有基于視覺注意力模型顯著區(qū)域檢測(cè)過程復(fù)雜、實(shí)時(shí)性差的問題，其實(shí)現(xiàn)步驟是：(1)生成學(xué)習(xí)圖像顯著區(qū)域的注視圖，并生成學(xué)習(xí)圖像的特征顯著度圖和特征顯著度圖權(quán)值向量，記錄顯著點(diǎn)坐標(biāo)；(2)生成測(cè)試圖像的顯著度圖，利用學(xué)習(xí)圖像的顯著點(diǎn)坐標(biāo)遞推預(yù)測(cè)出測(cè)試圖像顯著度圖的顯著點(diǎn)坐標(biāo)，建立抑制核心函數(shù)凸顯顯著點(diǎn)所在區(qū)域；(3)更新顯著點(diǎn)坐標(biāo)，利用顯著點(diǎn)坐標(biāo)遞推關(guān)系和抑制核心函數(shù)，預(yù)測(cè)下一幀測(cè)試圖像顯著區(qū)域；(5)通過循環(huán)(3)-(4)，完成序列圖像顯著區(qū)域的檢測(cè)。本發(fā)明能實(shí)時(shí)地檢測(cè)序列圖像中的顯著區(qū)域，模型簡(jiǎn)單有效，可用于目標(biāo)識(shí)別。
【專利說明】基于改進(jìn)視覺注意模型的序列圖像顯著區(qū)域檢測(cè)方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于圖像處理【技術(shù)領(lǐng)域】，特別涉及一種圖像區(qū)域檢索方法，可用于目標(biāo)識(shí) 別。

【背景技術(shù)】
[0002] 視覺選擇性注意機(jī)制是一個(gè)心理學(xué)和計(jì)算機(jī)學(xué)的交叉學(xué)科。"注意"是人類感知外 界環(huán)境過程中的一項(xiàng)重要機(jī)制，正是由于"注意"機(jī)制的作用，人類才能迅速將注意力集中 于少數(shù)感興趣的信息源上，提高自身的信息處理效率。
[0003] 如今隨著信息科技的飛速發(fā)展，數(shù)字圖像應(yīng)用技術(shù)越來越受到人們的重視。數(shù)字 圖像所包含的數(shù)據(jù)量和信息量越來越大，而傳統(tǒng)的圖像處理算法對(duì)圖像中的每個(gè)像元都賦 予了同等優(yōu)先級(jí)，這使得圖像的時(shí)間復(fù)雜度和空間復(fù)雜度都居高不下。
[0004] 心理學(xué)領(lǐng)域已經(jīng)提出了不同的視覺注意模型，但這些模型大都僅僅適用于解釋某 些心理物理學(xué)實(shí)驗(yàn)的結(jié)果，并不能直接用于感興趣信息源的檢測(cè)。因此，如何利用計(jì)算機(jī)視 覺和圖像處理等理論和知識(shí)將傳統(tǒng)圖像處理算法與視覺選擇性注意機(jī)制結(jié)合起來，讓計(jì)算 機(jī)更加主動(dòng)地、有針對(duì)性地檢測(cè)出視覺注意中心已經(jīng)成為世界各國亟待解決的熱門課題。
[0005] 從所處理的信息源圖像上來看，視覺注意模型可以分為空域視覺注意模型和空時(shí) 視覺注意模型兩大類?？沼蛞曈X注意模型是指輸入圖像數(shù)據(jù)是單幅圖像的視覺注意模型， 空時(shí)視覺注意模型是指輸入圖像數(shù)據(jù)是一組相同場(chǎng)景連續(xù)圖像的視覺注意模型。
[0006] 現(xiàn)有最著名的空域視覺注意計(jì)算模型就是視覺顯著性計(jì)算模型，視覺注意是與 周圍環(huán)境完全與眾不同的目標(biāo)物會(huì)自動(dòng)的從視野環(huán)境中"跳出"并且吸引注意力的關(guān)注。 選擇性注意力機(jī)制可以將人們的視覺關(guān)注引導(dǎo)到在場(chǎng)景中稱之為"顯著性區(qū)域"的那一 部分。視覺的顯著性計(jì)算模型提供了關(guān)于這些可能吸引觀測(cè)者注意力的預(yù)測(cè)區(qū)域。這 些模型在圖像本身能夠提供少許語義信息以及人們不需要執(zhí)行特定觀測(cè)任務(wù)時(shí)，能夠達(dá) 到良好的檢測(cè)效果。Fisher 在文章中"A Object-based visual attention for computer vision，Artificial Intelligence，2003，vl46(l) :77-123.，'利用 "groupings"來針對(duì)基于 目標(biāo)和基于位置視覺注意的通用模型。對(duì)于這種手工的預(yù)處理的圖像上，他們的模型可以 整個(gè)復(fù)制出人類對(duì)于人工以及自然場(chǎng)景的注視行為。Koch和Ullman在其文章中"Shifts in selective visual attention:Towards the underlying neural circuitry,Hum. Neurobiol. 1985, 4:219 - 297. "根據(jù)已有的視覺生理和心理物理實(shí)驗(yàn)結(jié)果基礎(chǔ)上提出了 一個(gè)計(jì)算模型，用于模擬生物體"自底向上"選擇性注意機(jī)制。隨后Itti和Koch在文章 uk model of saliency-based visual attention for rapid scene analysis, IEEE Trans. Pattern Anal. Mach. Intell. 1998, 20:1254 - 1259."中進(jìn)一步完善了這個(gè)模型，并將它用于 包含自然物、交通及軍事目標(biāo)的檢測(cè)。Koch和Itti的模型將多尺度拓?fù)?特征圖"在亮度、 色度以及方向空間上檢測(cè)到的圖像局部空間的不連續(xù)性來作為早期基本的視覺注意特征， 最后對(duì)帶有不同動(dòng)態(tài)范圍且來自不同視覺形態(tài)的特征進(jìn)行整合，得到最后的"顯著性圖"。 該模型不需要任何先驗(yàn)知識(shí)，處理結(jié)果完全由輸入圖像的初級(jí)視覺特征決定?，F(xiàn)在很多的 基于視覺注意力模型的目標(biāo)檢測(cè)中，其中視覺注意力模型都是在Itti這個(gè)模型的基礎(chǔ)之 上改進(jìn)的。這些模型在對(duì)目標(biāo)檢測(cè)的過程中，它將所有的特征等同對(duì)待，而很多時(shí)候，圖像 某些區(qū)域，如邊界處的物體并不能引起人腦真正的視覺關(guān)注，但是由于其具有非常顯著的 顏色等單一特征值，因此，在最終得到的顯著性圖中其顯著性區(qū)域是最為明顯的。這和人 腦真正的視覺關(guān)注是不相吻合的，且對(duì)目標(biāo)的檢測(cè)造成很大的誤差。進(jìn)一步地，有證據(jù)顯 示特征越多并不一定會(huì)增強(qiáng)顯著性區(qū)域的顯著性，有時(shí)候反而會(huì)導(dǎo)致更多的誤檢。因此， 有必要去確定哪些特征對(duì)最后的顯著圖的生成起主要作用。文獻(xiàn)"Feature combination strategies for saliency-based visual attention systems. Journal of Electronic Imaging, 2001，10⑴：161 - 169, "中，Itti等已比較了四種不同的特征整合策略。在這四 種策略中，簡(jiǎn)單線性加和的方法給所有特征都賦予了正權(quán)值，這種線性加和的方法并不適 合人眼的視覺習(xí)慣；學(xué)習(xí)權(quán)值的線性合成方法是無監(jiān)督的學(xué)習(xí)方法，它需要關(guān)于訓(xùn)練圖像 的顯著區(qū)域的先驗(yàn)知識(shí)；而另一個(gè)迭代的非線性局部競(jìng)爭(zhēng)策略可以用來克服全局非線性標(biāo) 準(zhǔn)化方法的缺陷。
[0007] 空時(shí)視覺注意模型是對(duì)空域視覺注意模型在空間上的擴(kuò)展，并且相較于空域視 覺注意模型，空時(shí)視覺注意模型在視頻監(jiān)控、物體識(shí)別、物體追蹤等領(lǐng)域中有著更加廣泛 的應(yīng)用。其主要思想就是將視頻或者序列圖像中相鄰兩幀的連續(xù)性信息整合到空域視 覺注意模型中，實(shí)現(xiàn)視覺注意機(jī)制。Y.Liu等人在文章中"ASpatiotemporal Saliency Framework. Image Processing, IEEE International Conference, 2006.，' 提出了 一 種基 于特征探測(cè)和特征追蹤的視覺注意模型。該模型首先對(duì)各幅靜止圖像計(jì)算出顯著度圖， 再對(duì)視頻中相鄰兩幀進(jìn)行特征探測(cè)和特征追蹤，最后生成運(yùn)動(dòng)特征的特征圖，將其整合 進(jìn)顯著度圖中。文獻(xiàn)"A Spatiotemporal Saliency Model for Video Surveillance. Cogn Comput，2011，3:241-263. "中，T.Yubing等人同樣先對(duì)各幅靜止圖像計(jì)算出顯著度圖，將圖 像中的前景與背景相減，得到圖像中的前景，再對(duì)前景中的運(yùn)動(dòng)物體建立運(yùn)動(dòng)向量，將運(yùn)動(dòng) 向量的特征圖整合進(jìn)顯著度圖中。但是，這些方法都是對(duì)靜態(tài)圖像先做處理得到特征圖，再 將特征圖整合到顯著圖中，效率不高，并未實(shí)現(xiàn)對(duì)序列圖像的直接處理。


【發(fā)明內(nèi)容】

[0008] 本發(fā)明的目的在于克服上述方法的不足，提出一種基于改進(jìn)視覺注意模型的序列 圖像顯著區(qū)域檢測(cè)方法，以實(shí)現(xiàn)對(duì)序列圖像直接進(jìn)行實(shí)時(shí)處理，提高檢測(cè)效率。
[0009] 實(shí)現(xiàn)本發(fā)明目的技術(shù)思路是：將整個(gè)技術(shù)方案分為學(xué)習(xí)和顯著區(qū)域預(yù)測(cè)兩部分； 將序列圖像按時(shí)序分為學(xué)習(xí)圖像和測(cè)試圖像，在學(xué)習(xí)過程對(duì)學(xué)習(xí)圖像進(jìn)行處理得到特征顯 著度圖權(quán)值和顯著點(diǎn)的坐標(biāo)；在顯著區(qū)域預(yù)測(cè)過程中，利用學(xué)習(xí)過程所求得的顯著點(diǎn)遞推 預(yù)測(cè)出測(cè)試圖像顯著點(diǎn)的坐標(biāo)，并建立抑制核心函數(shù)使顯著點(diǎn)所在區(qū)域在測(cè)試圖像顯著度 圖中得到進(jìn)一步凸顯，從而得到測(cè)試圖像的最終顯著度圖，即實(shí)現(xiàn)了序列圖像顯著區(qū)域的 檢測(cè)。其具體步驟如下：
[0010] A.將序列圖像按時(shí)間的先后順序分為學(xué)習(xí)圖像α和測(cè)試圖像β兩部分，然后按 照先驗(yàn)知識(shí)，生成學(xué)習(xí)圖像顯著區(qū)域的注視圖Μ ;
[0011] Β.利用改進(jìn)的Itti視覺注意模型，生成每一幀學(xué)習(xí)圖像α的特征顯著度圖Υ和 特征顯著度圖權(quán)值向量wl，并將注視圖Μ與特征顯著度圖γ進(jìn)行點(diǎn)對(duì)點(diǎn)相乘，得到排除非 顯著物體運(yùn)動(dòng)干擾的特征顯著度圖X1，同時(shí)記錄該特征顯著度圖X1中對(duì)應(yīng)注視區(qū)域的顯 著點(diǎn)坐標(biāo)；去掉顯著度圖權(quán)值向量中方差大于0. 005的權(quán)值向量，對(duì)剩余的多組權(quán)值向量 取平均，作為最終的特征顯著度圖的權(quán)值向量W ;
[0012] C.讀入一幀測(cè)試圖像β，令其特征顯著度圖權(quán)值向量等于學(xué)習(xí)圖像α的特征顯 著度圖權(quán)值向量w，并利用改進(jìn)的Itti視覺注意模型生成該幀測(cè)試圖像的顯著度圖X 2 ;讀 入記錄的學(xué)習(xí)圖像α的顯著點(diǎn)坐標(biāo)，遞推預(yù)測(cè)出顯著度圖X2的顯著點(diǎn)坐標(biāo)；根據(jù)預(yù)測(cè)出 的顯著點(diǎn)坐標(biāo)建立抑制核心函數(shù)，并將該函數(shù)與顯著度圖X 2進(jìn)行點(diǎn)對(duì)點(diǎn)相乘以凸顯顯著 點(diǎn)周圍的區(qū)域，并抑制其余區(qū)域，得到測(cè)試圖像β最終的顯著度圖X ;
[0013] D.將該幀測(cè)試圖像顯著點(diǎn)的實(shí)際坐標(biāo)反饋到顯著點(diǎn)坐標(biāo)讀入處，更新顯著點(diǎn)坐標(biāo) 值，利用已建立的顯著點(diǎn)坐標(biāo)遞推關(guān)系和抑制核心函數(shù)，實(shí)現(xiàn)對(duì)下一幀測(cè)試圖像顯著區(qū)域 的預(yù)測(cè)；
[0014] Ε.重復(fù)上述步驟C-D，得到每一幀測(cè)試圖像的最終顯著度圖，實(shí)現(xiàn)序列圖像顯著 區(qū)域的檢測(cè)。
[0015] 本發(fā)明與現(xiàn)有技術(shù)相比具有如下優(yōu)點(diǎn)：
[0016] 本發(fā)明在顯著點(diǎn)預(yù)測(cè)過程中利用相鄰幀圖像間顯著點(diǎn)坐標(biāo)的遞推關(guān)系，并將用以 預(yù)測(cè)圖像顯著點(diǎn)位置的坐標(biāo)實(shí)時(shí)更新，實(shí)現(xiàn)對(duì)序列圖像的實(shí)時(shí)處理，模型結(jié)構(gòu)簡(jiǎn)單，能夠達(dá) 到實(shí)時(shí)檢測(cè)的要求，提高了檢測(cè)效率。

【專利附圖】

【附圖說明】
[0017] 圖1是本發(fā)明的實(shí)現(xiàn)流程圖；
[0018] 圖2是本發(fā)明仿真實(shí)驗(yàn)采用的測(cè)試圖像；
[0019] 圖3是本發(fā)明序列圖像中一個(gè)視覺注意點(diǎn)顯著區(qū)域檢測(cè)的實(shí)驗(yàn)結(jié)果圖；
[0020] 圖4是本發(fā)明序列圖像中另一視覺注意點(diǎn)顯著區(qū)域的實(shí)驗(yàn)結(jié)果圖。

【具體實(shí)施方式】
[0021] 參照?qǐng)D1，本發(fā)明基于改進(jìn)視覺注意模型的序列圖像顯著區(qū)域檢測(cè)方法，包括如下 步驟：
[0022] 步驟一，將序列圖像按時(shí)間的先后順序分為學(xué)習(xí)圖像α和測(cè)試圖像β兩部分，按 照先驗(yàn)知識(shí)，生成學(xué)習(xí)圖像顯著區(qū)域的注視圖Μ。
[0023] 1. 1)用人眼確定注視點(diǎn)在圖像中的區(qū)域，將注視點(diǎn)集中的區(qū)域用白色標(biāo)記，背景 部分用黑色標(biāo)記；
[0024] 1. 2)將標(biāo)記后的圖像與二維高斯核函數(shù)進(jìn)行卷積運(yùn)算，得到注視圖Μ。
[0025] 步驟二，生成學(xué)習(xí)圖像的特征顯著度圖X1和特征顯著度圖權(quán)值向量w，得到注視 區(qū)域的顯著點(diǎn)坐標(biāo)。
[0026] 2. 1)利用Itti的視覺注意模型對(duì)學(xué)習(xí)圖像提取初始的顏色、亮度和方向的特征 圖，并對(duì)這些特征圖進(jìn)行多尺度幾何分解、合并及歸一化，得到顏色7,亮度乙和方向孑三 個(gè)通道特征的顯著度圖I、C、0和I、C、0融合后的特征顯著度圖γ ;
[0027] 2. 2)將Itti模型中各個(gè)特征通道生成的特征顯著度圖I、C、0以及注視圖Μ分別 進(jìn)行向量化操作，得到對(duì)應(yīng)的向量Iv，C v，0V，Μν ;
[0028] 2. 3)根據(jù)線性方差最小準(zhǔn)則求出特征顯著度圖權(quán)值向量wl :
[0029]

【權(quán)利要求】
1. 一種基于改進(jìn)視覺注意模型的序列圖像顯著區(qū)域檢測(cè)方法，包括如下過程： A.將序列圖像按時(shí)間的先后順序分為學(xué)習(xí)圖像α和測(cè)試圖像β兩部分，然后按照先 驗(yàn)知識(shí)，生成學(xué)習(xí)圖像顯著區(qū)域的注視圖Μ ; Β.利用改進(jìn)的Itti視覺注意模型，生成每一幀學(xué)習(xí)圖像α的特征顯著度圖γ和特征 顯著度圖權(quán)值向量wl，并將注視圖Μ與特征顯著度圖γ進(jìn)行點(diǎn)對(duì)點(diǎn)相乘，得到排除非顯著 物體運(yùn)動(dòng)干擾的特征顯著度圖X1，同時(shí)記錄該特征顯著度圖X 1中對(duì)應(yīng)注視區(qū)域的顯著點(diǎn) 坐標(biāo)；去掉顯著度圖權(quán)值向量wl中方差大于0. 005的權(quán)值向量，對(duì)剩余的多組權(quán)值向量取 平均，作為最終的特征顯著度圖的權(quán)值向量w ; C. 讀入一幀測(cè)試圖像β，令其特征顯著度圖權(quán)值向量等于學(xué)習(xí)圖像α的特征顯著度 圖權(quán)值向量w，并利用改進(jìn)的Itti視覺注意模型生成該幀測(cè)試圖像的顯著度圖X2 ;讀入記 錄的學(xué)習(xí)圖像α的顯著點(diǎn)坐標(biāo)，遞推預(yù)測(cè)出顯著度圖X2的顯著點(diǎn)坐標(biāo)；根據(jù)預(yù)測(cè)出的顯 著點(diǎn)坐標(biāo)建立抑制核心函數(shù)，并將該函數(shù)與顯著度圖X 2進(jìn)行點(diǎn)對(duì)點(diǎn)相乘以凸顯顯著點(diǎn)周 圍的區(qū)域，并抑制其余區(qū)域，得到測(cè)試圖像β最終的顯著度圖X ; D. 將該幀測(cè)試圖像顯著點(diǎn)的實(shí)際坐標(biāo)反饋到顯著點(diǎn)坐標(biāo)讀入處，更新顯著點(diǎn)坐標(biāo)值， 利用已建立的顯著點(diǎn)坐標(biāo)遞推關(guān)系和抑制核心函數(shù)，實(shí)現(xiàn)對(duì)下一幀測(cè)試圖像顯著區(qū)域的預(yù) 測(cè)； Ε.重復(fù)上述步驟C-D，得到每一幀測(cè)試圖像的最終顯著度圖，實(shí)現(xiàn)序列圖像顯著區(qū)域 的檢測(cè)。
2. 根據(jù)權(quán)利要求1所述的序列圖像顯著區(qū)域檢測(cè)方法，其中步驟Α所述的按照先驗(yàn)知 識(shí)生成學(xué)習(xí)圖像顯著區(qū)域的注視圖M，按如下步驟進(jìn)行： A1.用人眼確定注視點(diǎn)在圖像中的區(qū)域，將注視點(diǎn)集中的區(qū)域用白色標(biāo)記，背景部分用 黑色標(biāo)記； A2.將標(biāo)記后的圖像與二維高斯核函數(shù)進(jìn)行卷積運(yùn)算，得到注視圖M。
3. 根據(jù)權(quán)利要求1所述的序列圖像顯著區(qū)域檢測(cè)方法，其中步驟B所述的利用改進(jìn)的 Itti視覺注意模型生成特征顯著度圖γ和特征顯著度圖權(quán)值向量w，按如下步驟進(jìn)行： B1.利用Itti的視覺注意模型對(duì)學(xué)習(xí)圖像α提取初始的顏色、亮度和方向的特征圖， 并對(duì)這些特征圖進(jìn)行多尺度幾何分解、合并及歸一化，得到顏色了、亮度Ρ和方向&三個(gè)通 道的特征顯著度圖I、C、0和I、C、0融合后的特征顯著度圖γ ; B2.將所述三個(gè)通道生成的特征顯著度圖I、C、0以及注視圖Μ分別進(jìn)行向量化操作， 得到對(duì)應(yīng)的向量Iv，Cv，Ov，Mv; B3.根據(jù)線性方差最小準(zhǔn)則求出特征顯著度圖權(quán)值向量wl :
其中，V = [Iv，Cv，Ov]，wl = [11，^，1(/且胃1彡0, Wp Wc，WQ分別是顏色7、亮度E和 方向3三個(gè)通道的特征顯著度權(quán)值。
4. 根據(jù)權(quán)利要求1所述的序列圖像顯著區(qū)域檢測(cè)方法，其中步驟C所述的遞推預(yù)測(cè)出 顯著度圖X 2的顯著點(diǎn)坐標(biāo)，按如下步驟進(jìn)行： C1.假設(shè)在第n-1幀測(cè)試圖像的顯著度圖中，顯著點(diǎn)的坐標(biāo)為Ln_1= (x^yj，在第η 幀測(cè)試圖像的顯著度圖中，對(duì)應(yīng)的顯著點(diǎn)坐標(biāo)為Ln = (xn，yn)，按如下公式預(yù)測(cè)第n+1幀測(cè) 試圖像的顯著度圖中對(duì)應(yīng)顯著點(diǎn)的坐標(biāo)： 對(duì)于運(yùn)動(dòng)軌跡單一場(chǎng)景中的運(yùn)動(dòng)物體，其顯著點(diǎn)的坐標(biāo)為： Ln+1 = 21^-1^， 對(duì)于運(yùn)動(dòng)軌跡復(fù)雜場(chǎng)景中的運(yùn)動(dòng)物體，其顯著點(diǎn)的坐標(biāo)為： Ln+1 - 式中Ln_2 = (xn_2, yn_2)，是第n-2幀測(cè)試圖像的顯著度圖對(duì)應(yīng)的顯著點(diǎn)坐標(biāo)。
5.根據(jù)權(quán)利要求1所述的序列圖像顯著區(qū)域檢測(cè)方法，其中步驟C所述的根據(jù)預(yù)測(cè)出 的顯著點(diǎn)坐標(biāo)建立抑制核心函數(shù)，按如下步驟進(jìn)行： C2.定義第n+1幀測(cè)試圖像所對(duì)應(yīng)的抑制核心函數(shù)為：
其中，（xn+1，yn+1)是顯著點(diǎn)坐標(biāo)轉(zhuǎn)移方程預(yù)測(cè)出的第n+1幀測(cè)試圖像的顯著度圖中顯著 點(diǎn)出現(xiàn)的位置，且〇 >〇。
【文檔編號(hào)】G06T7/00GK104063872SQ201410317739
【公開日】2014年9月24日 申請(qǐng)日期:2014年7月4日 優(yōu)先權(quán)日:2014年7月4日
【發(fā)明者】胡艷艷, 韓冰, 黃帥, 李 瑞, 沙露露, 仇文亮, 王韻彤, 柳暢 申請(qǐng)人:西安電子科技大學(xué)