本發(fā)明屬于計(jì)算機(jī)視覺技術(shù)領(lǐng)域，涉及圖像信息處理的技術(shù)領(lǐng)域，特別涉及到一種基于流形正則化支持向量機(jī)模型的圖像顯著性檢測方法，適用于靜態(tài)圖像的顯著目標(biāo)檢測。

背景技術(shù)：

隨著計(jì)算機(jī)技術(shù)的發(fā)展及數(shù)碼電子產(chǎn)品的普及，圖像資源越來越豐富，滿足了人們對(duì)圖像信息的大量采集與應(yīng)用，但信息繁雜冗余的問題也隨之而來。受生物視覺系統(tǒng)高效的視覺信息處理機(jī)制原理啟發(fā)，計(jì)算機(jī)視覺領(lǐng)域的圖像顯著性檢測應(yīng)運(yùn)而生。圖像場景中具有顯著性的事物基本上富含了本幅圖像的主要信息，越來越多的研究人員開始探尋在大量圖像中根據(jù)圖像特征(比如，顏色、空間位置、紋理等信息)提取有代表性信息從而間接有效地代表原有圖像，進(jìn)而較快速高效準(zhǔn)確地檢測出圖像或場景中的顯著性物體。圖像顯著性檢測作為預(yù)處理部分，可以應(yīng)用于計(jì)算機(jī)圖像檢索、圖像分割、自適應(yīng)壓縮、目標(biāo)定位、感興趣區(qū)域檢測、圖像匹配等，有很大的發(fā)展前景。

盡管圖像顯著性檢測領(lǐng)域已經(jīng)取得了很大的研究成果，但仍然有很多問題沒有解決，比如圖像中含有多個(gè)顯著目標(biāo)、目標(biāo)尺度過大或過小問題，有些算法的檢測結(jié)果還不太準(zhǔn)確。除此之外，有的顯著性檢測算法采用監(jiān)督的方式，需要大量的人工標(biāo)記的真值訓(xùn)練樣本來訓(xùn)練檢測模型，成本比較高；有的顯著性檢測算法僅從圖像局部或者圖像全局的角度進(jìn)行顯著性檢測，導(dǎo)致檢測出的顯著目標(biāo)不完整或者目標(biāo)不夠突出。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明所要解決的技術(shù)問題是：彌補(bǔ)上述現(xiàn)有算法的不足，提供一種基于半監(jiān)督的流形正則化支持向量機(jī)的圖像顯著性檢測方法，無需人工標(biāo)記的真值，只需少量的訓(xùn)練樣本，而且分別從圖像全局和局部的角度進(jìn)行顯著目標(biāo)檢測。

本發(fā)明的技術(shù)方案：

一種基于流形正則化支持向量機(jī)的圖像顯著性檢測方法，步驟如下：

a、根據(jù)先驗(yàn)知識(shí)計(jì)算得到初始的顯著性圖

a1、將給定圖像分割成100～300個(gè)超像素，提取所有超像素的坐標(biāo)、顏色、文理特征，得到每個(gè)超像素的75維特征向量；

a2、采用隨機(jī)森林方法，學(xué)習(xí)圖像中所有超像素的稠密關(guān)聯(lián)矩陣a；

a3、采用測地目標(biāo)預(yù)測方法，產(chǎn)生多個(gè)給定圖像的目標(biāo)預(yù)測二值圖，基于稠密關(guān)聯(lián)矩陣a，分別根據(jù)邊界先驗(yàn)和平滑先驗(yàn)計(jì)算每個(gè)目標(biāo)預(yù)測二值圖中白色部分對(duì)應(yīng)的圖像區(qū)域的背景分值和目標(biāo)分值計(jì)算公式如下：

式(1)中，b表示位于圖像邊界的超像素的集合，ri表示位于目標(biāo)預(yù)測二值圖i內(nèi)圖像的超像素的集合，u和v分別表示兩個(gè)超像素；

a4、將所有的目標(biāo)預(yù)測二值圖的背景分值和目標(biāo)分值分別進(jìn)行歸一化，按照公式(2)計(jì)算每個(gè)像素的顯著性值；

式(2)中，n表示目標(biāo)預(yù)測二值圖的數(shù)目，i表示第i個(gè)目標(biāo)預(yù)測二值圖，如果像素p∈ri，δp＝1，否則δp＝0；將所有的像素的顯著性值都進(jìn)行歸一化，得到初始的顯著性圖sin，如圖2(b)所示。

b、根據(jù)初始顯著性圖選擇偽標(biāo)記樣本和未標(biāo)記樣本

b1、將步驟a1得到的超像素集合為s＝l∪u，l表示標(biāo)記樣本，包含標(biāo)記的前景樣本和背景樣本，u表示圖像中未標(biāo)記的樣本；計(jì)算初始顯著性圖中所有超像素的顯著性值的均值，將顯著性值大于1.7倍顯著性均值的超像素標(biāo)記為前景樣本，標(biāo)簽yi設(shè)置為1；將顯著性值低于0.05的超像素標(biāo)記為背景樣本，標(biāo)簽yi設(shè)置為-1；將圖像中顯著性值介于上面兩者之間的超像素作為未標(biāo)記樣本u。

c、構(gòu)建局部流形正則項(xiàng)

c1、提取圖像中超像素的rgb、cielab、坐標(biāo)特征，構(gòu)建無向閉環(huán)圖模型，并將每個(gè)超像素與和它位置相近的15～20個(gè)超像素連接。

c2、兩超像素之間相似度值的計(jì)算公式如下：

式(3)中，xi和xj分別表示超像素i和超像素j的特征向量，σ是一個(gè)常數(shù)，它控制了權(quán)重的強(qiáng)度。則圖模型的鄰接矩陣可以表示為w＝[wij]i,j＝1,...,n，n表示超像素集合s中超像素的數(shù)目，超像素i的度di可以通過計(jì)算得到。將未歸一化的拉普拉斯矩陣定義為局部流形正則矩陣，即：

rl＝d-w(4)

式(4)中，d＝diag{di,...,dn}為圖模型的度矩陣。那么，局部流形正則項(xiàng)可以寫成如下的形式：

ωl＝f^trlf＝w^tkrlkw(5)

式(5)中，k為rbf核矩陣，w為要學(xué)習(xí)的參數(shù)。

d、構(gòu)建全局流形正則項(xiàng)

d1、對(duì)于一幅圖像中超像素集合s中的每個(gè)超像素i，在特征空間(包含超像素的顏色特征和坐標(biāo)特征)選取與之最鄰近的15～20個(gè)鄰居超像素構(gòu)建相應(yīng)的局部流形正則矩陣gi。

d2、全局的流形正則項(xiàng)ωg可以按照公式(6)構(gòu)建得到。

式(6)中，fi表示鄰居超像素集合ni中15～20個(gè)超像素的顯著性預(yù)測值f組成的向量。δi表示一個(gè)指示矩陣，它的第l(i)列元素為1，其余列的元素均為0。l(i)表示超像素i在它的鄰居超像素集合ni中的索引。ki表示定義在鄰居超像素集合ni上的一個(gè)核矩陣，描述了鄰居超像素之間的相似程度，可以根據(jù)公式(3)計(jì)算得到，但σ在鄰居超像素集合ni上是自適應(yīng)的，而非常數(shù)。為ki的偽逆矩陣。按照{(diào)fi|i∈s}在f中的索引將{gi|i∈s}重新進(jìn)行整理排列，便得到了全局流形正則矩陣rg。則全局正則項(xiàng)為：

ωg＝f^trgf＝w^tkrgkw(7)

e、訓(xùn)練局部和全局流形正則化支持向量機(jī)模型，預(yù)測每個(gè)超像素的顯著性值

e1、流形正則化支持向量機(jī)模型表示成如下公式：

式(8)中，γ1為解邊界的權(quán)重，γ2為流形正則項(xiàng)的權(quán)重，ξi為超像素i的松弛變量，ω為流形正則項(xiàng)。

e2、將ω＝ωl和ω＝ωg分別代入公式(8)中，訓(xùn)練兩個(gè)流形正則化支持向量機(jī)模型，并預(yù)測超像素i的顯著性值sl(i)和sg(i)。

f、構(gòu)造聯(lián)合優(yōu)化模型，從多尺度角度融合步驟e2得到的兩個(gè)顯著性檢測結(jié)果，得到最終的顯著性檢測結(jié)果。

f1、將給定圖像進(jìn)行多尺度分割，v＝s∪s'包含了3～5個(gè)不同尺度下的超像素集合，根據(jù)公式(9)計(jì)算

xi和xj分別表示超像素i和超像素j的特征向量，σ是一個(gè)常數(shù)，它控制了權(quán)重的強(qiáng)度。則多尺度超像素間的關(guān)聯(lián)矩陣為|v|表示位于集合v內(nèi)的超像素的個(gè)數(shù)，超像素i的度可以通過計(jì)算得到。多尺度圖模型的拉普拉斯矩陣為：

式(10)中，為多尺度圖模型的度矩陣。

f2、聯(lián)合優(yōu)化模型可以表示成如下的形式：

式(11)中，和分別表示超像素i屬于前景和背景的概率，為關(guān)聯(lián)矩陣中第i行第j列的元素，表示了超像素i和超像素j之間的相似度。

f3、聯(lián)合優(yōu)化模型的閉合解為：

式(12)中，i是一個(gè)|v|維的全1列向量。若超像素i屬于集合s'，則若超像素i屬于s，則若超像素i屬于集合s'，則若超像素i屬于s，則根據(jù)公式(12)，集合v中所有尺度的超像素的顯著性值便可計(jì)算出來。

f4、根據(jù)公式(13)平均所有尺度的顯著性圖，計(jì)算得到圖像中每個(gè)像素的顯著性值：

式(13)中，p表示一個(gè)像素，m表示某一尺度，sm表示在尺度m下得到的圖像顯著性圖，s表示融合多尺度下的顯著性圖的結(jié)果。這樣，最終的圖像顯著性檢測結(jié)果便得到了，如圖2(c)所示。

本發(fā)明的有益效果：

(1)采用少量偽標(biāo)記樣本進(jìn)行訓(xùn)練，減少了人工工作量和模型訓(xùn)練成本；

(2)分別從圖像全局和局部的角度構(gòu)建流形正則矩陣，保證了檢測出的顯著目標(biāo)的突出性和完整性；

(3)聯(lián)合優(yōu)化方法進(jìn)一步優(yōu)化了支持向量機(jī)模型預(yù)測的顯著性檢測結(jié)果，使得檢測更加準(zhǔn)確，目標(biāo)區(qū)域更加高亮平滑；

(4)在一些特殊的圖像中，比如顯著目標(biāo)尺寸過大或過小、多目標(biāo)的圖像中，本發(fā)明的方法也可以較好地檢測出來。

附圖說明

圖1為本發(fā)明方法的流程示意圖。

圖2為本發(fā)明方法即利用流形正則化支持向量機(jī)方法檢測的結(jié)果。

具體實(shí)施方式

以下結(jié)合附圖和技術(shù)方案，進(jìn)一步說明本發(fā)明的具體實(shí)施方式。

一種基于流形正則化支持向量機(jī)的圖像顯著性檢測方法，步驟如下：

a、根據(jù)先驗(yàn)知識(shí)計(jì)算得到初始的顯著性圖

a1、將給定的圖像分割成100～300個(gè)超像素，提取所有超像素的坐標(biāo)、顏色、文理特征，得到每個(gè)超像素的75維特征向量；

a2、采用隨機(jī)森林方法，學(xué)習(xí)圖像中所有超像素的稠密關(guān)聯(lián)矩陣a；

a3、采用測地目標(biāo)預(yù)測方法，產(chǎn)生1000個(gè)給定的圖像的目標(biāo)預(yù)測二值圖，基于關(guān)聯(lián)矩陣a，分別根據(jù)邊界先驗(yàn)和平滑先驗(yàn)計(jì)算每個(gè)目標(biāo)預(yù)測二值圖中白色部分對(duì)應(yīng)的圖像區(qū)域的背景分值和目標(biāo)分值計(jì)算公式如下：

式(1)中，b表示位于圖像邊界的超像素的集合，ri表示位于目標(biāo)預(yù)測二值圖i內(nèi)圖像的超像素的集合。

a4、將所有的目標(biāo)預(yù)測二值圖的背景分值和目標(biāo)分值分別進(jìn)行歸一化。按照公式(2)計(jì)算每個(gè)像素的顯著性值。

式(2)中，將所有的超像素的顯著性值都進(jìn)行歸一化，得到初始的顯著性圖sin，如圖2(b)所示。

b、根據(jù)初始的顯著性圖選擇偽標(biāo)記樣本和未標(biāo)記樣本：

b1、所有的超像素集合為s＝l∪u，l表示標(biāo)記樣本，包含標(biāo)記的前景樣本和背景樣本，u表示圖像中未標(biāo)記的樣本。計(jì)算初始顯著性圖中所有超像素的顯著性值的均值，將顯著性值大于1.7倍顯著性均值的超像素標(biāo)記為前景樣本，標(biāo)簽yi設(shè)置為1；將顯著性值低于0.05的超像素標(biāo)記為背景樣本，標(biāo)簽yi設(shè)置為-1；將圖像中顯著性值介于上面兩者之間的超像素作為未標(biāo)記樣本u。

c、構(gòu)建局部流形正則項(xiàng)：

c1、提取圖像中超像素的rgb、cielab、坐標(biāo)特征，構(gòu)建無向閉環(huán)圖模型，并將每個(gè)超像素與和它位置相近的k個(gè)超像素連接。

c2、兩超像素之間相似度值的計(jì)算公式如下：

式(3)中，xi和xj分別表示超像素i和超像素j的特征向量，σ是一個(gè)常數(shù)，它控制了權(quán)重的強(qiáng)度。則圖模型的鄰接矩陣可以表示為w＝[wij]i,j＝1,...,n，超像素i的度di可以通過計(jì)算得到。將未歸一化的拉普拉斯矩陣定義為局部流形正則矩陣，即：

rl＝d-w(4)

式(4)中，d＝diag{di,...,dn}為圖模型的度矩陣。那么，局部流形正則項(xiàng)可以寫成如下的形式：

ωl＝f^trlf＝w^tkrlkw(5)

d、構(gòu)建全局流形正則項(xiàng)：

d1、對(duì)于一幅圖像中超像素集合s中的每個(gè)超像素i，在特征空間(包含超像素的顏色特征和坐標(biāo)特征)選取與之最鄰近的k個(gè)鄰居超像素構(gòu)建相應(yīng)的局部流形正則矩陣gi。

d2、全局的流形正則項(xiàng)ωg可以按照公式(6)構(gòu)建得到。

式(6)中，fi表示鄰居超像素集合ni中k個(gè)超像素的顯著性預(yù)測值f組成的向量。δi表示一個(gè)指示矩陣，它的第l(i)列元素為1，其余列的元素均為0。l(i)表示超像素i在它的鄰居超像素集合ni中的索引。ki表示定義在鄰居超像素集合ni上的一個(gè)核矩陣，描述了鄰居超像素之間的相似程度，可以根據(jù)公式(3)計(jì)算得到，但σ在鄰居超像素集合ni上是自適應(yīng)的，而非常數(shù)。為ki的偽逆矩陣。按照{(diào)fi|i∈s}在f中的索引將{gi|i∈s}重新進(jìn)行整理排列，便得到了全局流形正則矩陣rg。則全局正則項(xiàng)為：

ωg＝f^trgf＝w^tkrgkw(7)

e、訓(xùn)練局部和全局流形正則化支持向量機(jī)模型，預(yù)測每個(gè)超像素的顯著性值。

e1、流形正則化支持向量機(jī)模型表示成如下公式：

式(8)中，γ1為解邊界的權(quán)重，γ2為流形正則項(xiàng)的權(quán)重。

e2、將ω＝ωl和ω＝ωg分別代入公式(8)中，訓(xùn)練兩個(gè)流形正則化支持向量機(jī)模型，并預(yù)測超像素的顯著性值。

f、構(gòu)造聯(lián)合優(yōu)化模型，從多尺度角度融合第e2步得到的兩個(gè)顯著性檢測結(jié)果，得到最終的顯著性檢測結(jié)果。

f1、將給定圖像進(jìn)行多尺度分割，v＝s∪s'包含了四個(gè)不同尺度下的超像素集合。計(jì)算得到一個(gè)多尺度超像素間的關(guān)聯(lián)矩陣計(jì)算方法和第c2步相同。

f2、聯(lián)合優(yōu)化模型可以表示成如下的形式：

式(9)中，|v|表示位于集合v內(nèi)的超像素的個(gè)數(shù)，和分別表示超像素i屬于前景和背景的概率，為關(guān)聯(lián)矩陣中第i行第j列的元素，表示了超像素i和超像素j之間的相似度。

f3、聯(lián)合優(yōu)化模型的閉合解為：

式(10)中，表示多尺度圖模型的拉普拉斯矩陣，根據(jù)公式(4)由關(guān)聯(lián)矩陣得到。i是一個(gè)|v|維的全1列向量。若超像素i屬于集合s'，則若超像素i屬于s，則若超像素i屬于集合s'，則若超像素i屬于s，則根據(jù)公式(10)，集合v中所有尺度的超像素的顯著性值便可計(jì)算出來。

f4、根據(jù)公式(11)平均所有尺度的顯著性圖，計(jì)算得到圖像中每個(gè)像素的顯著性值：

式(11)中，p表示一個(gè)像素，m表示某一尺度，sm表示在尺度m下得到的圖像顯著性圖，s表示融合多尺度下的顯著性圖的結(jié)果。這樣，最終的圖像顯著性檢測結(jié)果便得到了，如圖2(c)所示。