本發(fā)明涉及視覺顯著性領(lǐng)域，尤其涉及一種基于先驗(yàn)知識(shí)和深度權(quán)重的3D顯著性模型的建立方法。

背景技術(shù)：

對(duì)一個(gè)多目標(biāo)場景中的重要信息進(jìn)行選擇是人類視覺系統(tǒng)的一個(gè)重要功能。用計(jì)算機(jī)來建立用于模擬人類上述機(jī)制的模型是視覺顯著性研究的方向，同時(shí)也為目標(biāo)分割和質(zhì)量評(píng)價(jià)等應(yīng)用提供了基礎(chǔ)。近年來，3D顯示技術(shù)的廣泛應(yīng)用使得研究3D立體顯著性具有重要的意義。

當(dāng)人在觀看3D電影的時(shí)候，大腦通過立體通道分離技術(shù)產(chǎn)生的雙目視差平移獲得深度知識(shí)而產(chǎn)生立體感，這一技術(shù)的引入導(dǎo)致人類對(duì)視覺觀測行為的改變。因此區(qū)別于2D顯著性模型的設(shè)計(jì)，立體顯著性模型除了需要考慮2D顯著性模型中的色彩，亮度，紋理，方向等常用特征外，還應(yīng)該考慮深度通道上的特征(比如深度的對(duì)比度等)。目前深度圖像的獲取途徑有：從相機(jī)獲得深度圖像，通過匹配算法獲取視差圖(視差和深度呈現(xiàn)反比例關(guān)系)。

人類在關(guān)注感興趣的目標(biāo)時(shí)受到先驗(yàn)知識(shí)的影響，所以不管是3D還是2D的顯著性模型中先驗(yàn)知識(shí)都能實(shí)現(xiàn)補(bǔ)充顯著性模型的作用。常用的先驗(yàn)知識(shí)包括兩種，第一種是中央偏置即人類視覺偏好圖像中央的信息。第二種是邊界背景先驗(yàn)，即圖像的邊界像素可以作為背景作為顯著性模型的參考。

綜上所述，需要設(shè)計(jì)出一種更接近人眼注視的3D顯著性模型的建立方法。

技術(shù)實(shí)現(xiàn)要素：

針對(duì)上述技術(shù)問題，本發(fā)明提供了一種基于先驗(yàn)知識(shí)和深度權(quán)重的3D顯著性模型的建立方法，特征不僅取自于2D的彩色信息，還取自于深度通道的信息，背景先驗(yàn)和顏色緊密度等先驗(yàn)知識(shí)使得本發(fā)明所建立的3D顯著性模型具有更接近于人類注視效果。

本發(fā)明提供的技術(shù)方案為：

一種基于先驗(yàn)知識(shí)和深度權(quán)重的3D顯著性模型的建立方法，包括：

步驟一、提取3D特征：

將3D圖像對(duì)中的左視圖用超像素分割方法分割成N個(gè)區(qū)域，標(biāo)記為R_i，其中i取值1到N；為區(qū)域R_i定義一個(gè)區(qū)域特征f＝[l,a,b,d]，其中，N_i為區(qū)域R_i中像素的個(gè)數(shù)，l_i，a_i，b_i分別為區(qū)域R_i中像素的l值、a值和b值；

步驟二、計(jì)算特征對(duì)比度：

將區(qū)域之間的特征對(duì)比度用矩陣C表示，則c_ij表示區(qū)域R_i的區(qū)域特征和區(qū)域R_j的區(qū)域特征之間的范式距離，其計(jì)算公式為：c_ij＝||u_if_i-u_jf_j||₂，其中u為區(qū)域特征f的權(quán)重，u＝[1,1,1,q]，而變量q代表左視圖中N個(gè)區(qū)域的顏色緊密度；

步驟三、設(shè)計(jì)特征對(duì)比度的權(quán)重：

步驟(1)在視差圖上通過深度領(lǐng)域分析方法得到深度顯著性圖s_s，則區(qū)域R_i的深度顯著性s_d為：

步驟(2)計(jì)算視差圖上的背景先驗(yàn)；

步驟(3)利用背景先驗(yàn)優(yōu)化深度顯著性，其具體過程包括：

針對(duì)區(qū)域R_i，利用區(qū)域R_i在視差圖上的平均視差判斷深度顯著性s_d(i)是否在背景范圍內(nèi)，則有：

其中，閾值thresh為深度背景B_d中標(biāo)記為背景的部分在視差圖上的最小視差；

步驟(4)設(shè)計(jì)特征對(duì)比度的權(quán)重

區(qū)域R_i和區(qū)域R_j的特征對(duì)比度的權(quán)重用變量w_i，j表示，則有：

w_i，j＝exp(-Dst(i，j)/σ²)α(i)s_d(i)，

其中，α(i)為區(qū)域R_i的大小，exp(-Dst(i，j)/σ²)代表區(qū)域R_i和區(qū)域R_j之間的高斯距離；

步驟四、計(jì)算初始3D顯著性：

區(qū)域R_i的顯著性的值

則區(qū)域R_i的初始3D顯著性S^p(i)的計(jì)算公式為：

其中，α＝0.33，β＝0.33，N_i為區(qū)域R_i中像素的個(gè)數(shù)。

步驟五、增強(qiáng)初始3D顯著性：

區(qū)域R_i的最終3D顯著性S(i)為：其中，為區(qū)域R_i的2D顯著性，S_pca(p)是在像素級(jí)別上的顯著性，

DstToCt(i)為像素到中心坐標(biāo)的歐氏距離，B＝(B_b∪B_d)，H和W分別為左視圖的寬和高，B_d代表深度背景，B_b代表邊界背景。

優(yōu)選的是，所述的基于先驗(yàn)知識(shí)和深度權(quán)重的3D顯著性模型的建立方法中，所述步驟二中，k為高斯比例因子，k＝4，t_i的計(jì)算公式為：為區(qū)域R_i和區(qū)域R_j的RGB平均值的顏色距離，p_j為區(qū)域R_j的質(zhì)心的中心坐標(biāo)，μ_i為顏色clr_i的權(quán)重位置，

優(yōu)選的是，所述的基于先驗(yàn)知識(shí)和深度權(quán)重的3D顯著性模型的建立方法中，所述步驟(2)中，計(jì)算視差圖上背景先驗(yàn)的具體過程包括：

1)定義初始背景圖像：B_d＝0；

2)初始化最遠(yuǎn)背景，首先找到視差圖I_d最大視差的坐標(biāo)，P_xy＝Pos(max(I_d))；接著設(shè)置初始值

3)背景傳播計(jì)算：其中符號(hào)Contour表示基于活動(dòng)輪廓分割，深度背景B_d中背景部分像素表示為1，前景部分像素表示為0。

優(yōu)選的是，所述的基于先驗(yàn)知識(shí)和深度權(quán)重的3D顯著性模型的建立方法中，所述步驟(2)中，計(jì)算視差圖上背景先驗(yàn)的具體過程包括：

1)定義初始背景圖像：B_d＝0；

2)初始化最遠(yuǎn)背景，首先找到視差圖I_d最大視差的坐標(biāo)，P_xy＝Pos(max(I_d))；接著設(shè)置初始值

3)背景傳播計(jì)算：其中符號(hào)Contour表示基于活動(dòng)輪廓分割，深度背景的圖像B_d中背景部分像素表示為1，前景部分像素表示為0。

本發(fā)明所述的基于先驗(yàn)知識(shí)和深度權(quán)重的3D顯著性模型的建立方法具有以下有益效果：

(1)本發(fā)明在特征提取方面，顏色對(duì)比度和視差對(duì)比度強(qiáng)的區(qū)域可以得到高的顯著性值；

(2)本發(fā)明利用顏色緊密度(即2D圖像中顏色分布情況)計(jì)算特征對(duì)比度，提高了顯著性值；

(3)本發(fā)明不僅考慮到邊界背景的先驗(yàn)，還從3D視差圖上獲得背景先驗(yàn)，利用背景先驗(yàn)優(yōu)化深度顯著性，從而在3D顯著性模型中去掉背景的干擾；

(4)本發(fā)明將深度顯著性以及區(qū)域之間的空間高斯距離作為特征對(duì)比度的權(quán)重，并利用2D圖像中結(jié)構(gòu)不相似度對(duì)初始3D顯著性進(jìn)行增強(qiáng)，從而增強(qiáng)了深度上顯著的區(qū)域，降低了3D圖像中相關(guān)性低的背景部分的顯著性值。

附圖說明

圖1為本發(fā)明所述的基于先驗(yàn)知識(shí)和深度權(quán)重的3D顯著性模型的建立方法的流程圖；

圖2(a)為本發(fā)明所述的基于先驗(yàn)知識(shí)和深度權(quán)重的3D顯著性模型的建立方法的ROC(Receiver operating characteristic)曲線性能展示圖，橫坐標(biāo)為False Positive Rate(FPR)即真正類率，縱坐標(biāo)為True Positive Rate(TPR)即假正類率；圖2(b)是PR(Precision-Recall)曲線，橫坐標(biāo)為Recall即召回率，縱坐標(biāo)為Precision即預(yù)測的精度；圖2(a)和圖2(b)中的圖標(biāo)DWRC(depth-weighted region contrast)是本發(fā)明方法的簡寫。

圖3(a)至圖3(e)為本發(fā)明所述的一個(gè)實(shí)施例中3D顯著性模型的可視化顯示，圖3(a)為3D圖像對(duì)中的左視圖，圖3(b)為3D圖像對(duì)中的右視圖；圖3(c)為視差圖；圖3(d)為初始3D顯著圖；圖3(e)為目標(biāo)圖(即最終的3D顯著圖)；

圖4(a)至圖4(e)為本發(fā)明所述的另一個(gè)實(shí)施例中3D顯著性模型的可視化顯示，圖4(a)為3D圖像對(duì)中的左視圖，圖4(b)為4D圖像對(duì)中的右視圖；圖4(c)為視差圖；圖4(d)為初始3D顯著圖；圖4(e)為目標(biāo)圖(即最終的3D顯著圖)。

具體實(shí)施方式

下面結(jié)合附圖對(duì)本發(fā)明做進(jìn)一步的詳細(xì)說明，以令本領(lǐng)域技術(shù)人員參照說明書文字能夠據(jù)以實(shí)施。

如圖1所示，本發(fā)明提供一種基于先驗(yàn)知識(shí)和深度權(quán)重的3D顯著性模型的建立方法，包括：將3D圖像對(duì)中的左視圖用超像素分割方法分割成多個(gè)區(qū)域，用色彩和視差信息合成一組特征對(duì)每個(gè)區(qū)域進(jìn)行描述；使用顏色緊密度作為區(qū)域特征分量中視差的權(quán)重，計(jì)算一個(gè)區(qū)域?qū)χ車膮^(qū)域的特征對(duì)比度；在視差圖上得到在深度上的背景先驗(yàn)，并聯(lián)合該背景先驗(yàn)和顏色緊密度完善深度顯著性；以深度顯著性和區(qū)域之間的高斯距離作為特征對(duì)比度的權(quán)重，并利用特征對(duì)比度的權(quán)重相加得出初始3D顯著性；利用2D顯著性和中央偏置權(quán)重對(duì)初始3D顯著性進(jìn)行增強(qiáng)。本發(fā)明所建立的3D顯著性模型具有更接近于人類注視效果。

具體來說，本發(fā)明所述的3D顯著性模型的建立方法包括：

步驟一、提取3D特征：

將3D圖像對(duì)中的左視圖用超像素分割方法(SLIC)分割成N個(gè)區(qū)域，標(biāo)記為R_i，其中i取值1到N。本發(fā)明采用CIELab顏色和視差定義一個(gè)區(qū)域特征，即為區(qū)域R_i定義一個(gè)區(qū)域特征f＝[l,a,b,d](將區(qū)別R_i的特征表示為這個(gè)區(qū)域中彩色圖像的L*a*b均值和視差均值)，其中，N_i為區(qū)域R_i中像素的個(gè)數(shù)，l_i，a_i，b_i分別為區(qū)域R_i中像素的l值、a值和b值；

步驟二、計(jì)算特征對(duì)比度：

將區(qū)域之間的特征對(duì)比度用矩陣C表示，則c_ij表示區(qū)域R_i的區(qū)域特征和區(qū)域R_j的區(qū)域特征之間的范式距離，其計(jì)算公式為：

c_ij＝||u_if_i-u_jf_j||₂，

其中u為區(qū)域特征f的權(quán)重，u＝[1,1,1,q]。

而變量q代表左視圖中N個(gè)區(qū)域的顏色緊密度，用于表示左視圖中各區(qū)域的顏色的分布情況，其中，k為高斯比例因子，k＝4；t_i的計(jì)算公式為：

其中，為區(qū)域R_i和區(qū)域R_j的RGB平均值的顏色距離，p_j為區(qū)域R_j的質(zhì)心的中心坐標(biāo)，μ_i為顏色clr_i的權(quán)重位置，

步驟三、設(shè)計(jì)特征對(duì)比度的權(quán)重：

在計(jì)算完各區(qū)域的特征對(duì)比度C之后，特征對(duì)比度的權(quán)重用矩陣W表示，w_i，j表示c_ij對(duì)應(yīng)的權(quán)重大小。

特征對(duì)比度的權(quán)重考慮到深度顯著性s_d，區(qū)域大小a(i)和區(qū)域之間的高斯距離exp(-Dst(i，j)/σ²)。其中，深度顯著性s_d的計(jì)算過程大致為：在視差圖上通過領(lǐng)域分析方法得到結(jié)果s_s，再使用背景先驗(yàn)(包括深度背景B_d和邊界背景B_b)和顏色緊密度(公式)進(jìn)行完善。詳細(xì)過程如下：

步驟(1)計(jì)算深度顯著性圖：

在視差圖上通過深度領(lǐng)域分析的方法得到深度顯著性s_s，再通過顏色緊密度增強(qiáng)得到s_d。則區(qū)域R_i的深度顯著性s_d為：

步驟(2)計(jì)算視差圖上的背景先驗(yàn)：

視差圖上提取背景先驗(yàn)需要經(jīng)過兩個(gè)階段：背景初始化以及背景的傳播。具體的步驟包括：

1)定義初始背景圖像：B_d＝0；

2)初始化最遠(yuǎn)背景，首先找到視差圖I_d最大視差的坐標(biāo)，P_xy＝Pos(max(I_d))；接著設(shè)置初始值

3)背景傳播計(jì)算：其中符號(hào)Contour表示基于活動(dòng)輪廓分割，深度背景B_d中背景部分像素表示為1，前景部分像素表示為0。

步驟(3)利用背景先驗(yàn)優(yōu)化深度顯著性，其具體過程包括：

針對(duì)區(qū)域R_i，利用區(qū)域R_i在視差圖上的平均視差判斷深度顯著性s_d(i)是否在背景范圍內(nèi)。如果區(qū)域的平均視差小于一個(gè)閾值thresh的時(shí)候，顯著性s_d(i)的值需要重新賦值。則有：

其中，閾值thresh為深度背景B_d中標(biāo)記為背景的部分在視差圖上的最小視差，即thresh＝min(I_d(q))，q∈{B_d＞0}。

邊界背景為B_b，邊界背景中的背景區(qū)域表示為1，其他區(qū)域表示為0。如果R_i區(qū)域在邊界背景的位置，顯著性的s_d(i)標(biāo)記為0，否則不變。

步驟(4)設(shè)計(jì)特征對(duì)比度的權(quán)重

區(qū)域R_i和區(qū)域R_j的特征對(duì)比度的權(quán)重用變量w_i，j表示，它通過高斯距離，區(qū)域大小和深度顯著性的乘積計(jì)算得出，即：

w_i，j＝exp(-Dst(i，j)/σ2⁾α(i)s_d(i)，

其中，α(i)為區(qū)域R_i的大小，exp(-Dst(i，j)/σ²)代表區(qū)域R_i和區(qū)域R_j之間的高斯距離。

步驟四、計(jì)算初始3D顯著性：

完成區(qū)域R_i的特征對(duì)比度c_i，j和權(quán)重w_i，j的計(jì)算之后，區(qū)域R_i的顯著性的值可以通過以下公式計(jì)算得到：

為了消除超像素分割錯(cuò)誤所帶來的影響，每個(gè)區(qū)域的超像素的顯著性(即初始3D顯著性)均通過它周圍區(qū)域的顯著性線性組合得到，則區(qū)域R_i的超像素的顯著性S^p(i)的計(jì)算公式為：

其中，α和β分別是控制顏色距離(||clr_i-clr_j||)和位置距離(||p_i-p_j||)的參數(shù)，α＝0.33，β＝0.33；N_i為區(qū)域R_i中像素的個(gè)數(shù)。

步驟五、增強(qiáng)初始3D顯著性：

在計(jì)算完初始3D顯著性S^p(i)之后，通過2D顯著性和中央偏置權(quán)重進(jìn)行增強(qiáng)。區(qū)域R_i的超像素的最終3D顯著性S(i)為：

其中，為區(qū)域R_i的2D顯著性，S_pca(p)是在像素級(jí)別上的顯著性，CBW(i)(中央偏置權(quán)重)是一個(gè)用背景先驗(yàn)修改后的高斯函數(shù)，通過下列公式計(jì)算得到，

DstToCt(i)為像素到中心坐標(biāo)的歐氏距離，B＝(B_b∪B_d)，H和W分別為左視圖的寬和高，B_d代表深度背景，B_b代表邊界背景。

請(qǐng)查閱圖2(a)和圖2(b)，圖2(a)中曲線靠近左上角點(diǎn)，根據(jù)圖2(a)的顯示結(jié)果計(jì)算的AUC(area under roc curve)值為0.89；圖2(b)中召回率增加沒有引起精度的劇烈下降，根據(jù)圖2(b)所示計(jì)算的F_(β＝0.3)＝0.61。即本發(fā)明可以獲得建立接近于人眼注視的3D顯著性模型。

請(qǐng)查閱圖3(a)至圖3(e)，圖4(a)至圖4(e)，在這兩個(gè)實(shí)施例中，應(yīng)用本發(fā)明所述的3D顯著性模型的建立方法，最終均得到了接近于人眼注視的3D顯著性模型。并且由圖3(e)、圖4(e)中均可以看出，顏色對(duì)比度和視差對(duì)比度強(qiáng)的區(qū)域均得到了高的顯著性值；均去掉了背景的干擾，而使得所關(guān)注的目標(biāo)的顯著性得到提高。

本發(fā)明所述的方法將中，特征取自于彩色圖像和視差圖，利用顏色緊密度計(jì)算特征對(duì)比度；除了傳統(tǒng)的邊界背景先驗(yàn)，還利用在視差圖中根據(jù)物體到觀察者的距離所提取到的背景先驗(yàn)，以及彩色圖像中物體的緊密度作為深度顯著性的補(bǔ)充；以視差圖的深度顯著性作為特征對(duì)比度的權(quán)重，進(jìn)而得到初始3D顯著性；再采用2D顯著性以及中央偏置權(quán)重對(duì)初始3D顯著性進(jìn)行增強(qiáng)。由于特征不僅取自于2D圖像的彩色信息，還含有深度通道的信息，結(jié)合背景和顏色緊密度等先驗(yàn)知識(shí)，使得本發(fā)明的3D顯著性模型具有更接近于人類注視效果。

盡管本發(fā)明的實(shí)施方案已公開如上，但其并不僅僅限于說明書和實(shí)施方式中所列運(yùn)用，它完全可以被適用于各種適合本發(fā)明的領(lǐng)域，對(duì)于熟悉本領(lǐng)域的人員而言，可容易地實(shí)現(xiàn)另外的修改，因此在不背離權(quán)利要求及等同范圍所限定的一般概念下，本發(fā)明并不限于特定的細(xì)節(jié)和這里示出與描述的圖例。