結(jié)合彩色和深度信息的圖像顯著性檢測(cè)方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，具體涉及一種結(jié)合彩色和深度信息的圖像顯著性 檢測(cè)方法。
【背景技術(shù)】
[0002] 圖像顯著性檢測(cè)是當(dāng)前計(jì)算機(jī)視覺(jué)和模式識(shí)別領(lǐng)域的熱點(diǎn)課題之一。研宄發(fā)現(xiàn)人 眼視覺(jué)機(jī)制總是能快速地提取圖像中重要的，感興趣的區(qū)域，進(jìn)而對(duì)這些區(qū)域進(jìn)行分析和 處理，而基本不會(huì)處理圖像中剩余的并不顯著的區(qū)域。這個(gè)原理為計(jì)算機(jī)視覺(jué)領(lǐng)域研宄者 提供很多啟示，即可以對(duì)圖像中的顯著區(qū)域進(jìn)行檢測(cè)，提取出圖像中顯著的目標(biāo)進(jìn)行后續(xù) 處理，節(jié)省了對(duì)全圖處理的時(shí)間，大大提高了圖像處理的效率。因此，圖像顯著性檢測(cè)可以 廣泛的應(yīng)用在圖像分割，目標(biāo)識(shí)別和圖像檢索等領(lǐng)域。
[0003] 圖像顯著性檢測(cè)按照處理問(wèn)題過(guò)程的不同，可以分為兩類(lèi)：自頂而下的檢測(cè)和自 底而上的檢測(cè)。自頂而下的檢測(cè)方法依賴(lài)于特定的檢測(cè)任務(wù)，而自底而上的檢測(cè)方法則完 全基于圖像本身的性質(zhì)進(jìn)行檢測(cè)。大多數(shù)的顯著性檢測(cè)的計(jì)算模型均利用圖像的顏色，紋 理，梯度等信息，通過(guò)計(jì)算圖像不同區(qū)域的特征對(duì)比度實(shí)現(xiàn)的。
[0004] 然而，以往的圖像顯著性算法大部分僅在彩色圖像上實(shí)現(xiàn)，沒(méi)有利用場(chǎng)景的深度 信息，而深度信息對(duì)于人類(lèi)進(jìn)行場(chǎng)景理解是至關(guān)重要的。隨著彩色與深度結(jié)合的傳感器的 廣泛應(yīng)用，如何綜合利用彩色和深度信息也日益成為圖像顯著性研宄的熱點(diǎn)方向。Houwen Peng等人利用彩色和深度特征計(jì)算局部的對(duì)比度，然后利用區(qū)域生長(zhǎng)算法進(jìn)行顯著區(qū)域的 聚類(lèi)，最后利用物體位置的先驗(yàn)對(duì)結(jié)果進(jìn)行改進(jìn)，該方法僅將深度信息以及通過(guò)深度計(jì)算 得到的法向信息作為顏色之外的圖像特征分量，但對(duì)顏色信息對(duì)比不明顯的物體檢測(cè)效果 不好。RanJu等人利用深度信息，計(jì)算視差圖的各向異性中心一周邊差異實(shí)現(xiàn)顯著性的檢 測(cè)，但是沒(méi)有與顏色信息相結(jié)合。YuzhenNiu等人計(jì)算全局的視差對(duì)比度，并基于顯著物體 通常位于立體圖像的視覺(jué)舒適區(qū)域這一假設(shè)實(shí)現(xiàn)顯著性的分析，但是對(duì)于視差或深度對(duì)物 體顯著性影響的挖掘依然不夠深入。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明的目的在于克服上述現(xiàn)有技術(shù)的不足，充分利用深度信息的全局先驗(yàn)特 征，改進(jìn)結(jié)合彩色和深度信息的顯著性檢測(cè)效果。
[0006] 本發(fā)明的目的是通過(guò)以下技術(shù)方案來(lái)實(shí)現(xiàn)的：一種結(jié)合彩色和深度信息的圖像顯 著性檢測(cè)方法，包括以下步驟：
[0007] (1)輸入待檢測(cè)彩色圖像及其對(duì)應(yīng)的深度信息D;待檢測(cè)彩色圖像由紅、藍(lán)、綠三 個(gè)顏色通道組成；深度信息D為彩色圖像每個(gè)像素對(duì)應(yīng)的實(shí)際深度；
[0008] (2)對(duì)步驟1輸入的彩色圖像進(jìn)行顏色空間轉(zhuǎn)換，由RGB顏色空間變換為CIELab 顏色空間，對(duì)轉(zhuǎn)換后得到的圖像的每個(gè)像素提取5維向量（x，y，L，a，b)，其中x表示圖像中 當(dāng)前像素的水平坐標(biāo)，y表示圖像中當(dāng)前像素的垂直坐標(biāo)，L、a、b分別為顏色空間轉(zhuǎn)換后三 個(gè)顏色通道的數(shù)值，對(duì)圖像所有像素對(duì)應(yīng)的向量進(jìn)行Meanshift聚類(lèi)，實(shí)現(xiàn)圖像的超像素 分割，將圖像分割成多塊區(qū)域的集合R=lri;l彡i彡n，iGZ}，其中r廣示分割得到的 第i個(gè)區(qū)域，n表示區(qū)域總數(shù)目，Z表示整數(shù)集合；
[0009] (3)對(duì)步驟1輸入的深度信息D進(jìn)行歸一化操作，最遠(yuǎn)的深度值變換為1，最近的 深度值變換為〇,得到歸一化后的深度圖Dmap;
[0010] (4)結(jié)合拍攝圖像的相機(jī)的參數(shù)，將步驟1輸入的深度信息D轉(zhuǎn)換為三維點(diǎn)云數(shù) 據(jù)，并計(jì)算每個(gè)三維點(diǎn)與其鄰域三維點(diǎn)所在平面的法向量，得到法向圖N;
[0011] (5)對(duì)步驟2得到的圖像超像素分割結(jié)果的每個(gè)區(qū)域ri(i= 1?n)提取特征& =[LCr^aCrihbCri)，ydCri)]，其中LCrD為區(qū)域內(nèi)所有像素L的均值，aCr)為區(qū)域 內(nèi)所有像素a的均值，b(rj為區(qū)域ri內(nèi)所有像素b的均值，d(rJ為變換后的深度圖Dmap 中區(qū)域A的深度均值，y的值由用戶(hù)設(shè)定；
[0012] (6)對(duì)步驟2得到的區(qū)域集合，計(jì)算其中任意一對(duì)區(qū)域1^和rj(i辛j)之間的對(duì) 比度C(:^，rp，其描述如下：
[0013]
【主權(quán)項(xiàng)】
1. 一種結(jié)合彩色和深度信息的圖像顯著性檢測(cè)方法，其特征是，包括如下步驟： (1) 輸入待檢測(cè)彩色圖像及其對(duì)應(yīng)的深度信息D;待檢測(cè)彩色圖像由紅、藍(lán)、綠三個(gè)顏 色通道組成；深度信息D為彩色圖像每個(gè)像素對(duì)應(yīng)的實(shí)際深度； (2) 對(duì)步驟1輸入的彩色圖像進(jìn)行顏色空間轉(zhuǎn)換，由RGB顏色空間變換為CIELab顏色 空間，對(duì)轉(zhuǎn)換后得到的圖像的每個(gè)像素提取5維向量（x，y，L，a，b)，其中x表示圖像中當(dāng)前 像素的水平坐標(biāo)，y表示圖像中當(dāng)前像素的垂直坐標(biāo)，L、a、b分別為顏色空間轉(zhuǎn)換后三個(gè)顏 色通道的數(shù)值，對(duì)圖像所有像素對(duì)應(yīng)的向量進(jìn)行Meanshift聚類(lèi)，實(shí)現(xiàn)圖像的超像素分割， 將圖像分割成多塊區(qū)域的集合R=lri;l彡i彡n，iGZ}，其中ri表示分割得到的第i個(gè) 區(qū)域，n表示區(qū)域總數(shù)目，Z表示整數(shù)集合； (3) 對(duì)步驟1輸入的深度信息D進(jìn)行歸一化操作，最遠(yuǎn)的深度值變換為1，最近的深度 值變換為〇,得到歸一化后的深度圖Dmap; (4) 結(jié)合拍攝圖像的相機(jī)的參數(shù)，將步驟1輸入的深度信息D轉(zhuǎn)換為三維點(diǎn)云數(shù)據(jù)，并 計(jì)算每個(gè)三維點(diǎn)與其鄰域三維點(diǎn)所在平面的法向量，得到法向圖N; (5) 對(duì)步驟2得到的圖像超像素分割結(jié)果的每個(gè)區(qū)域ri(i= 1?n)提取特征&= [L( ri)，a(r)，b(r)，yd(ri)]，其中L(ri)為區(qū)域ri內(nèi)所有像素L的均值，a(r)為區(qū)域ri內(nèi)所 有像素a的均值，b(^)為區(qū)域&內(nèi)所有像素b的均值，dO^)為變換后的深度圖Dmap中區(qū) 域A的深度均值，y的值由用戶(hù)設(shè)定； (6) 對(duì)步驟2得到的區(qū)域集合，計(jì)算其中任意一對(duì)區(qū)域rdPrj(i辛j)之間的對(duì)比度 C(ri，rp，其描述如下：
其中exp(*)表示指數(shù)函數(shù)，Xi表示區(qū)域1^重心的位置，〇x的值由用戶(hù)設(shè)定，|卜| | 2 表示L2范數(shù)； (7) 對(duì)步驟2得到的區(qū)域集合中的每一個(gè)區(qū)域ri(i= 1?n)，結(jié)合步驟6中得到的對(duì) 比度C(ri，rj)，計(jì)算該區(qū)域的區(qū)域?qū)Ρ榷葓DS,。，S,。圖像中區(qū)域r啲取值描述如下：
其中A(rj)表示區(qū)域?的面積； (8) 對(duì)步驟2得到的區(qū)域集合中的每一個(gè)區(qū)域(i= 1?n)，結(jié)合步驟5計(jì)算的區(qū)域 深度均值d(ri)，計(jì)算深度先驗(yàn)圖Sdp，Sdp圖像中區(qū)域r^勺取值描述如下：
(9) 對(duì)步驟2得到的區(qū)域集合中的每一個(gè)區(qū)域ri(i= 1?n)，結(jié)合步驟4得到的法向 圖N，計(jì)算區(qū)域ri的法向量均值作為該區(qū)域的法向量n(r^，進(jìn)而計(jì)算方向先驗(yàn)圖S%，5。1)圖 像中區(qū)域^的取值描述如下： S〇p(ri) = <z,n(ri)> (4) 其中z表示沿著光軸方向的單位矢量，〈?>表示向量的內(nèi)積運(yùn)算； (10) 結(jié)合步驟7, 8, 9得到的區(qū)域?qū)Ρ榷葓DS"、深度先驗(yàn)圖Sdp和方向先驗(yàn)圖S，計(jì)算 得到融合先驗(yàn)信息的對(duì)比度圖，其描述如下： SireSrcSdpS〇p(5) (11) 對(duì)步驟2得到的區(qū)域集合中的每一個(gè)區(qū)域ri(i= 1?n)，以步驟10中的得到 的融合先驗(yàn)信息的對(duì)比度圖SiM作為區(qū)域顯著度的初始值，進(jìn)行法向內(nèi)積加權(quán)的網(wǎng)頁(yè)排名 (PageRank)算法，得到更新后的顯著度值Sf其描述如下：
其中N(i)表示與區(qū)域^鄰接的區(qū)域的標(biāo)號(hào)集合； (12) 將步驟11得到的更新后的顯著度值按照區(qū)域標(biāo)號(hào)排序，組成列向量& = [&&)，Sp>2)，…，，Sp>n) ]T，構(gòu)建基于馬爾科夫隨機(jī)場(chǎng)模型的圖像恢復(fù)優(yōu)化問(wèn)題，并用 最小二乘算法求解；優(yōu)化問(wèn)題描述如下：
其中M表示采樣矩陣，對(duì)Sp，中數(shù)值大小為前t%和后t%的元素所在位置進(jìn)行采樣，Si表示向量S中第i個(gè)元素，S#為最后的優(yōu)化結(jié)果；其中，t，a和〇f取值由用戶(hù)設(shè)定； (13) 將步驟12得到的優(yōu)化結(jié)果S#中第i個(gè)元素的數(shù)值作為區(qū)域ri的顯著性值，將顯 著性值歸一化并平方之后得到顯著性圖像； (14) 對(duì)顯著性圖像進(jìn)行中心偏移運(yùn)算，得到最終的顯著性圖像。
2. 如權(quán)利要求1所述的圖像顯著性檢測(cè)方法，其特征是，步驟3中進(jìn)行歸一化操作的方 法如下：對(duì)深度信息D中各個(gè)像素點(diǎn)的原始深度值分別作為x代入下述公式： y= (x-MinValue)/(MaxValue-MinValue) y表示歸一化后各個(gè)像素的深度值，MinValue和MaxValue分別為深度信息D中各個(gè)像 素點(diǎn)原始深度值的最小值和最大值。
3. 如權(quán)利要求1所述的圖像顯著性檢測(cè)方法，其特征是，步驟4中結(jié)合拍攝圖像的相機(jī) 的參數(shù)，將步驟1輸入的深度信息D轉(zhuǎn)換為三維點(diǎn)云數(shù)據(jù)的過(guò)程如下： Z=D(x,y)； X= (x~cx)XZ/fx； Y= (y-cy)XZ/fy； cx表示光軸中心的水平像素坐標(biāo)，cy表示光軸中心的垂直像素坐標(biāo)，fx表示相機(jī)水平 方向的焦距，fy表示相機(jī)垂直方向的焦距；通過(guò)上述公式將深度信息D中（x，y)對(duì)應(yīng)的像 素點(diǎn)轉(zhuǎn)換為三維點(diǎn)云數(shù)據(jù)（X，Y，Z)。
4. 如權(quán)利要求1所述的圖像顯著性檢測(cè)方法，其特征是，步驟13中進(jìn)行歸一化操作的 方法如下：對(duì)各個(gè)像素對(duì)應(yīng)的顯著性值分別作為x代入下述公式： y= (x-MinValue)/(MaxValue-MinValue) y表示歸一化后各個(gè)像素的顯著性值，MinValue和MaxValue分別為各個(gè)像素顯著性值 的最小值和最大值。
5.如權(quán)利要求1所述的圖像顯著性檢測(cè)方法，其特征是，步驟14中進(jìn)行中心偏移的方 法如下：利用二維高斯函數(shù)產(chǎn)生一個(gè)高斯模板圖像，高斯函數(shù)的方差大小由用戶(hù)設(shè)定，將高 斯函數(shù)模板尺寸縮放為顯著性圖像的尺寸大小并進(jìn)行歸一化，之后與顯著性圖像相乘，得 到最終的顯著性圖像。
【專(zhuān)利摘要】本發(fā)明公開(kāi)了一種結(jié)合彩色和深度信息的圖像顯著性檢測(cè)方法，該方法包括：對(duì)待檢測(cè)彩色圖像進(jìn)行超像素分割,在分割得到的每一個(gè)區(qū)域中結(jié)合深度和彩色特征計(jì)算區(qū)域?qū)Ρ榷葓D,并利用深度信息得到深度先驗(yàn)圖和方向先驗(yàn)圖；融合區(qū)域?qū)Ρ榷葓D,深度先驗(yàn)圖和方向先驗(yàn)圖,計(jì)算得到融合先驗(yàn)信息的對(duì)比度圖；對(duì)融合先驗(yàn)的對(duì)比度圖進(jìn)行全局優(yōu)化：執(zhí)行法向內(nèi)積加權(quán)的網(wǎng)頁(yè)排名算法，并選取置信度高的區(qū)域作為采樣區(qū)域，設(shè)計(jì)基于馬爾科夫隨機(jī)場(chǎng)模型的圖像恢復(fù)問(wèn)題，求解得到最終的顯著性檢測(cè)圖。本發(fā)明挖掘了深度和方向信息對(duì)顯著性的影響，與以往結(jié)合彩色和深度信息的圖像顯著性檢測(cè)方法相比取得了更好的效果。
【IPC分類(lèi)】G06T7-00
【公開(kāi)號(hào)】CN104574375
【申請(qǐng)?zhí)枴緾N201410814816
【發(fā)明人】任健強(qiáng), 龔小謹(jǐn)
【申請(qǐng)人】浙江大學(xué)
【公開(kāi)日】2015年4月29日
【申請(qǐng)日】2014年12月23日