本發(fā)明屬于圖像處理領域,涉及一種基于Choquet積分的顯著圖融合方法。
背景技術(shù):
圖像顯著性檢測旨在找出圖像中最重要的部分,是計算機視覺領域用來降低計算復雜度的重要的預處理步驟,在圖像壓縮、目標識別、圖像分割等領域有著廣泛的應用,同時它又是計算機視覺中具有挑戰(zhàn)性的問題,吸引著大量學者的研究興趣。目前已出現(xiàn)了大量優(yōu)秀的圖像顯著性檢測的方法,這些方法各自都有自己的優(yōu)勢與不足,即使是同一種顯著性檢測方法,對于不同的圖片檢測效果也是差異巨大的。為此能夠融合多種顯著性檢測方法的結(jié)果,以得到更優(yōu)顯著圖的方法就顯得尤為重要了。有一些傳統(tǒng)的顯著圖融合的方法,它們多是對于多幅顯著圖進行簡單的加和平均或是簡單相乘取平均,這種顯著圖融合方式將各種顯著圖同等對待,把各種顯著性檢測方法的權(quán)值設為同一數(shù)值,這在實際中是不合理的,因為對于一幅圖片甚至是每一個像素點,各種顯著性檢測方法的檢測效果都是不同的,為此各顯著性檢測方法的權(quán)值也理應設置不同。當前也存在一些研究融合多幅顯著圖的方法,如Mai等人利用條件隨機場(CRF)來融合多幅顯著圖,但計算速度太慢;Qin等人利用多層元胞自動機(MCA)來融合多幅顯著圖,得到了非常好的效果,但是其召回率方面效果并不能令人滿意。
我們發(fā)現(xiàn)Choquet積分在目標識別及多分類器融合中表現(xiàn)出的優(yōu)異性,考慮到Choquet積分中的模糊測度將各種決策的重要程度考慮在內(nèi),這在融合多種顯著性檢測算法得到的顯著圖時是非常合理的,但Choquet積分在顯著性檢測領域還沒有應用,本發(fā)明將Choquet積分應用范圍擴展到圖像顯著性檢測領域,使用Choquet積分對多幅顯著圖進行像素級的融合,充分利用多個顯著圖的優(yōu)點,提高了顯著性檢測的效果,融合后的效果明顯高于各單獨的顯著性檢測方法的效果,在準確率與召回率上均得到了很好的效果。
技術(shù)實現(xiàn)要素:
本發(fā)明提出了一種基于Choquet積分的顯著圖融合方法,目的在于克服上述現(xiàn)有技術(shù)的不足,得到一種更優(yōu)的多幅顯著圖的融合方法。
為了實現(xiàn)上述目的,本發(fā)明的技術(shù)方案為:
一種基于Choquet積分的顯著圖融合方法,包括以下步驟:
第一步,使用要融合的n種(n>1)方法生成n幅初始顯著圖,由n幅顯著圖組合得到有限集合X={x1,x2,…,xn},其中xn表示第n幅顯著圖。我們可以將每一幅顯著圖都當作是一種分類器,將顯著性檢測視為一種二分類問題,得到?jīng)Q策剖面的矩陣DP表示如公式(1)所示:
其中第一列為各分類器判定像素點為前景的可能性,第二列為各分類器判定像素點為背景的可能性,每一行代表一種分類器。第i(1≤i≤n)個分類器判定像素點為前景的概率Fi表示為Fi=f(xi),判定像素點為背景的概率Bi表示為Bi=1-f(xi),其中f(xi)為第i幅顯著圖的顯著值(本發(fā)明是在像素級對顯著圖進行融合,發(fā)明中指出的顯著圖的顯著值均指對應某一像素處的顯著值)。為此我們可以將融合多幅顯著圖的問題轉(zhuǎn)化為求DP矩陣第一列對應的Choquet積分問題。
第二步,計算各顯著圖間相關系數(shù),求出相似矩陣。相似系數(shù)dij的計算如公式(2)所示:
其中||f(xi),f(xj)||表示第i幅顯著圖與第j幅顯著圖顯著值的歐氏距離,本發(fā)明中σ2=0.1。相似系數(shù)dij用來描述顯著圖間的相似程度,dij∈[0,1],其值越大表示顯著圖xi與xj間越相似。
由相關系數(shù),我們可以得到n幅顯著圖所對應的相似矩陣如公式(3)所示:
第三步,求出各顯著圖間的支持度與可信度。顯著圖xi的被支持度表示被其他顯著圖的支持程度,如果一幅顯著圖和其他顯著圖都比較相似,則認為他們的相互支持度也較高,顯著圖xi的被支持度Sup(xi)計算公式如公式(4)所示:
顯著圖的可信度反映了某幅顯著圖得到顯著值的可信程度,一般一幅顯著圖被其他顯著圖所支持的程度越高,該顯著圖可信度就越大,顯著圖的可信度計算如公式(5)所示:
第四步,求出各顯著圖組成有限集合X冪集的模糊測度。我們定義Y是由X的子集構(gòu)成的冪集,μ:Y→[0,1]表示從冪集Y到[0,1]的映射,本發(fā)明中我們?nèi)ˇ虨槲覀兊哪:郎y度,其滿足μ(φ)=0,μ(X)=1,為正則模糊測度。我們知道λ模糊測度計算公式如公式(6)所示:
μ(A∪B)=μ(A)+μ(B)+λμ(A)μ(B) (6)
其中存在常數(shù)λ>-1。λ的值可以通過求解公式(7),公式(8)來得到。
μi=μ({xi})=Crd(xi) (8)
其中μi表示顯著圖xi對最終融合結(jié)果的重要程度,冪集Y中的其他測度值可由公式(6)進行計算。
第五步,對于顯著圖每一像素處,我們定義Choquet積分中的非負實值可測函數(shù)f:X→[0,1]是離散值函數(shù),函數(shù)值為{f(x1),f(x2),…,f(xn)},其中f(xn)為第n幅顯著圖的顯著值。對n幅顯著圖進行排序,使得排序后的函數(shù)f滿足0=f(xθ(0))≤f(xθ(1))≤…≤f(xθ(n))≤1,其中θ為排序函數(shù)。
第六步,計算Choquet積分得到融合的顯著圖。我們知道Choquet模糊積分的定義如公式(9)所示:
其中α∈[0,∞),本發(fā)明中X為有限集合,因此可由公式(9)得到我們的Choquet積分計算公式如公式(10),公式(11),公式(12),公式(13)所示:
μ(Kθ(n))=μ({xθ(n)})=μθ(n) (11)
μ({xθ(i)})=μθ(i) (12)
μ(Kθ(i))=μθ(i)+μ(Kθ(i+1))+λμθ(i)μ(Kθ(i+1)),i=2,...,n (13)
其中Kθ(i)={xθ(i),xθ(i+1),…,xθ(n)},i=1,2,...,n,μθ(i)是與f(xθ(i))相對應的模糊測度。計算得到(c)∫fdμ的值即為在某一像素點處,使用Choquet積分融合n種顯著圖得到的融合后顯著值。
本發(fā)明的有益效果為:該方法區(qū)別于已有方法的特色在于綜合利用各種顯著性檢測方法的優(yōu)點,得到的效果優(yōu)于每個單獨顯著性檢測方法的結(jié)果。同時與傳統(tǒng)的融合多顯著圖的方法相比,本發(fā)明區(qū)別對待各種要融合的顯著性檢測方法,分別賦予不同的權(quán)值,效果更優(yōu)。另外本發(fā)明還首次將Choquet積分理論引入到了顯著性檢測領域,并得到了無論是準確率還是召回率都較優(yōu)的效果。
附圖說明
圖1是本發(fā)明方法的流程示意圖;
圖2是不同算法的顯著性檢測結(jié)果對比圖;(a)待檢測圖片,(b)真值,(c)BSCA算法得到的顯著性結(jié)果,(d)DSR算法得到的顯著性結(jié)果,(e)HS算法得到的顯著性結(jié)果,(f)RBD算法得到的顯著性結(jié)果,(g)MR算法得到的顯著性結(jié)果,(h)MCA融合上述5種算法得到的顯著性結(jié)果,(i)本發(fā)明得到的顯著性檢測結(jié)果;
圖3為本發(fā)明與其他顯著性檢測方法在ECSSD標準數(shù)據(jù)庫上的PR(準確率、召回率)曲線;
圖4為本發(fā)明與其他顯著性檢測方法在DUT-OMRON標準數(shù)據(jù)庫上的PR(準確率、召回率)曲線;
圖5為本發(fā)明與其他顯著性檢測方法在MSRA10K標準數(shù)據(jù)庫上的PR(準確率、召回率)曲線;
具體實施方式
下面結(jié)合附圖對本發(fā)明的實施方式進行詳細說明。本實施例以本發(fā)明技術(shù)方案為前提進行實施,給出了詳細的實施方式和具體的操作過程,但本發(fā)明的保護范圍不限于下述的實施例。
本發(fā)明在三個標準的數(shù)據(jù)庫上對提出的算法進行測試:ECSSD數(shù)據(jù)庫,該數(shù)據(jù)庫包含了1000張圖片,圖片大小不同且有多種目標,其中一些圖片取自非常難的伯克利300數(shù)據(jù)庫。MSRA10K數(shù)據(jù)庫,它是MSRA數(shù)據(jù)庫的擴展,包含10000張圖片,覆蓋了ASD數(shù)據(jù)集中的所有1000張圖片,包含了很多復雜背景的圖片。DUT-OMRON數(shù)據(jù)庫,該數(shù)據(jù)庫中包含5168張圖片,含有像素級別的真值標注,圖片背景復雜,目標大小不同,具有很大的挑戰(zhàn)性。這三個數(shù)據(jù)庫都有相應的人工標定的顯著性區(qū)域圖。
圖1是本發(fā)明方法的流程示意圖;圖2是本發(fā)明與其他不同算法的顯著性檢測結(jié)果對比圖;圖3、圖4、圖5是不同顯著性檢測方法在三個標準數(shù)據(jù)庫上PR(準確率,召回率)曲線。實現(xiàn)本發(fā)明的具體步驟為:
第一步,使用BSCA,DSR,HS,RBD,MR等5種顯著性檢測方法生成5幅初始顯著圖。由這5幅顯著圖組合得到有限集合X={x1,x2,x3,x4,x5},其中x1表示BSCA方法得到的顯著圖,x2表示DSR方法得到的顯著圖,以此類推。我們將顯著性檢測視為一種二分類問題,得到?jīng)Q策剖面的矩陣DP表示如公式(1)所示:
其中第一列為各分類器判定像素點為前景的可能性,第二列為各分類器判定像素點為背景的可能性,每一行代表一種分類器。第i(1≤i≤5)個分類器判定像素點為前景的概率Fi表示為Fi=f(xi),判定像素點為背景的概率Bi表示為Bi=1-f(xi),其中f(xi)為第i幅顯著圖的顯著值(本發(fā)明是在像素級對顯著圖進行融合,發(fā)明中指出的顯著圖的顯著值均指對應某一像素處的顯著值)。為此我們將融合多幅顯著圖的問題轉(zhuǎn)化為求DP矩陣第一列對應的Choquet積分問題。
第二步,計算5幅顯著圖間相關系數(shù),求出相似矩陣。相似系數(shù)dij的計算如公式(2)所示:
其中||f(xi),f(xj)||表示第i(1≤i≤5)幅顯著圖與第j(1≤j≤5)幅顯著圖顯著值的歐氏距離,本發(fā)明中σ2=0.1。相似系數(shù)dij用來描述顯著圖間的相似程度,dij∈[0,1],其值越大表示顯著圖xi與xj間越相似。
由相關系數(shù),我們可以得到5幅顯著圖所對應的相似矩陣如公式(3)所示:
第三步,求出各顯著圖間的支持度與可信度。顯著圖xi的被支持度表示被其他4幅顯著圖支持的程度,如果一幅顯著圖和其他4幅顯著圖都比較相似,則認為他們的相互支持度也較高,顯著圖xi的被支持度Sup(xi)計算公式如公式(4)所示:
顯著圖的可信度反映了某幅顯著圖得到顯著值的可信程度,一般一幅顯著圖被其他其他4幅顯著圖所支持的程度越高,該顯著圖可信度就越大,顯著圖的可信度計算如公式(5)所示:
第四步,求出各顯著圖組成有限集合X冪集的模糊測度。我們定義Y是由X的子集構(gòu)成的冪集,μ:Y→[0,1]表示從冪集Y到[0,1]的映射,本發(fā)明中我們?nèi)ˇ虨槲覀兊哪:郎y度,其滿足μ(φ)=0,μ(X)=1,為正則模糊測度。我們知道λ模糊測度計算公式如公式(6)所示:
μ(A∪B)=μ(A)+μ(B)+λμ(A)μ(B) (6)
其中存在常數(shù)λ>-1。λ的值可以通過求解公式(7),公式(8)來得到。
μi=μ({xi})=Crd(xi) (8)
其中μi表示顯著圖xi對最終融合結(jié)果的重要程度,冪集Y中的其他測度值可由公式(6)進行計算。本發(fā)明中為保證顯著性區(qū)域檢測的效率,我們?nèi)ˇ说闹禐?,也可以說我們所使用的測度滿足概率測度。
第五步,對于顯著圖每一像素處,我們定義Choquet積分中的非負實值可測函數(shù)f:X→[0,1]是離散值函數(shù),函數(shù)值為{f(x1),f(x2),…,f(x5)},其中f(xi)為第i(1≤i≤5)幅顯著圖的顯著值。在每一個像素處,對5幅顯著圖進行排序,使得排序后的函數(shù)f滿足0=f(xθ(0))≤f(xθ(1))≤…≤f(xθ(5))≤1,其中θ為排序函數(shù)。
第六步,計算Choquet積分得到融合的顯著圖。我們知道Choquet模糊積分的定義如公式(9)所示:
其中α∈[0,∞),本發(fā)明中X為有限集合,因此可由公式(9)得到我們的Choquet積分計算公式如公式(10),公式(11),公式(12),公式(13)所示:
μ(Kθ(5))=μ({xθ(5)})=μθ(5) (11)
μ({xθ(i)})=μθ(i) (12)
μ(Kθ(i))=μθ(i)+μ(Kθ(i+1))+λμθ(i)μ(Kθ(i+1)),i=2,...,n (13)
其中Kθ(i)={xθ(i),xθ(i+1),…,xθ(5)},i=1,2,...,5,μθ(i)是與f(xθ(i))相對應的模糊測度。計算得到(c)∫fdμ的值即為在某一像素點處,使用Choquet積分融合5種顯著圖得到的融合后顯著值。
至此本發(fā)明就得到了融合BSCA,DSR,HS,RBD,MR5種方法最終的顯著圖。