一種立體圖像視覺顯著圖提取方法
【專利摘要】本發(fā)明公開了一種立體圖像視覺顯著圖提取方法，其首先通過訓(xùn)練構(gòu)建立體圖像的視覺舒適度特征與視覺舒適度預(yù)測值的關(guān)系模型，然后利用該關(guān)系模型來預(yù)測立體圖像的視覺舒適度，得到視覺舒適度顯著圖；采用基于圖論的視覺顯著性模型提取出立體圖像的二維顯著圖；根據(jù)區(qū)域之間的空間相似性和視差相似性，得到立體圖像的深度顯著圖；最后對(duì)二維顯著圖、深度顯著圖和視覺舒適度顯著圖進(jìn)行融合，得到最終的三維視覺顯著圖，優(yōu)點(diǎn)是獲得的三維視覺顯著圖能夠很好地符合顯著語義的特征。
【專利說明】一種立體圖像視覺顯著圖提取方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種圖像信號(hào)的處理方法，尤其是涉及一種立體圖像視覺顯著圖提取 方法。

【背景技術(shù)】
[0002] 在人類視覺接收與信息處理中，由于大腦資源有限以及外界環(huán)境信息重要性區(qū) 另IJ，因此在處理過程中人腦對(duì)外界環(huán)境信息并不是一視同仁的，而是表現(xiàn)出選擇特征。人們 在觀看圖像或者視頻片段時(shí)注意力并非均勻分布到圖像的每個(gè)區(qū)域，而是對(duì)某些顯著區(qū)域 關(guān)注度更高。如何將視頻中視覺注意度高的顯著區(qū)域檢測并提取出來是計(jì)算機(jī)視覺以及基 于內(nèi)容的視頻檢索領(lǐng)域的一個(gè)重要的研究內(nèi)容。
[0003] 然而，人眼感知立體圖像產(chǎn)生立體視覺的過程并不是簡單的左右視點(diǎn)圖像疊加的 過程，因此，立體視覺特征（例如，三維視覺注意力）并不是平面視覺特性的簡單拓展，如何 從立體圖像中有效地提取出立體視覺特征、如何使得提取的立體視覺特征符合人眼三維觀 看行為，都是在對(duì)立體圖像進(jìn)行視覺顯著圖提取過程中需要研究解決的問題。


【發(fā)明內(nèi)容】

[0004] 本發(fā)明所要解決的技術(shù)問題是提供一種立體圖像視覺顯著圖提取方法，其符合顯 著語義特征，且具有較強(qiáng)的提取穩(wěn)定性和較高的提取準(zhǔn)確性。
[0005] 本發(fā)明解決上述技術(shù)問題所采用的技術(shù)方案為：一種立體圖像視覺顯著圖提取方 法，其特征在于包括訓(xùn)練階段和測試階段兩個(gè)過程，具體步驟如下：
[0006] ①選取N副各不相同而尺寸大小一致的立體圖像以及每幅立體圖像對(duì)應(yīng) 的右視差圖像，構(gòu)成訓(xùn)練圖像集，記為{Li，氏，φ | 1彡i彡N}，其中，N彡1，Q表示 {Li，氏，φ 11彡i彡N}中的第i幅立體圖像的左視點(diǎn)圖像，氏表示{Li，氏，φ 11彡i彡N}中 的第i幅立體圖像的右視點(diǎn)圖像，φ表示{Li，氏，φ 11彡i彡N}中的第i幅立體圖像對(duì)應(yīng) 的右視差圖像；
[0007] ②計(jì)算ΙΑ,氏，φ | 1彡i彡N}中的每幅立體圖像對(duì)應(yīng)的右視差圖像中的所有像素 點(diǎn)的視差均值、視差方差和視差范圍，將Φ中的所有像素點(diǎn)的視差均值、視差方差和視差范 圍對(duì)應(yīng)記為μ i、δ i和X i ;然后將{Li,氏，φ | 1 < i < N}中的每幅立體圖像對(duì)應(yīng)的右視差 圖像中的所有像素點(diǎn)的視差均值、視差方差和視差范圍按順序進(jìn)行排列構(gòu)成每幅立體圖像 的用于反映視覺舒適度的特征矢量，將第i幅立體圖像的用于反映視覺舒適度的特征矢量 記為Xi，Xi= [Ui，xj，其中，此處符號(hào)" □"為矢量表示符號(hào)，\的維數(shù)為3;
[0008] ③采用支持向量回歸，對(duì){Li，Ri，dil 1彡i彡N}中的所有立體圖像的特征矢量進(jìn) 行訓(xùn)練，并使得經(jīng)過訓(xùn)練得到的回歸函數(shù)值與平均主觀評(píng)分均值之間的誤差最小，得到最 優(yōu)的權(quán)重矢量w° pt和最優(yōu)的偏置項(xiàng)b°pt，然后利用得到的最優(yōu)的權(quán)重矢量w°pt和最優(yōu)的偏置 項(xiàng)b°pt構(gòu)造支持向量回歸訓(xùn)練模型，記為

【權(quán)利要求】
1. 一種立體圖像視覺顯著圖提取方法，其特征在于包括訓(xùn)練階段和測試階段兩個(gè)過 程，具體步驟如下： ① 選取N副各不相同而尺寸大小一致的立體圖像以及每幅立體圖像對(duì)應(yīng)的右視差圖 像，構(gòu)成訓(xùn)練圖像集，記為O^LdiIl彡i彡N}，其中，N彡1山表示HdiIl彡i彡N} 中的第i幅立體圖像的左視點(diǎn)圖像，Ri表示ILi,Ri,cl」1彡i彡N}中的第i幅立體圖像的 右視點(diǎn)圖像，Cli表不ILi,Ri, (Ii 11 <i<N}中的第i幅立體圖像對(duì)應(yīng)的右視差圖像； ② 計(jì)算ILi,Ri,cl」1彡i彡N}中的每幅立體圖像對(duì)應(yīng)的右視差圖像中的所有像素點(diǎn)的 視差均值、視差方差和視差范圍，將Cli中的所有像素點(diǎn)的視差均值、視差方差和視差范圍對(duì) 應(yīng)記為Ui、Si和Xi;然后將ILi,Ri, (Ii 11 <i<N}中的每幅立體圖像對(duì)應(yīng)的右視差圖像 中的所有像素點(diǎn)的視差均值、視差方差和視差范圍按順序進(jìn)行排列構(gòu)成每幅立體圖像的用 于反映視覺舒適度的特征矢量，將第i幅立體圖像的用于反映視覺舒適度的特征矢量記為 Xi,
，其中，此處符號(hào)" □"為矢量表示符號(hào)，Xi的維數(shù)為3 ; ③ 采用支持向量回歸，對(duì)ILi,Ri,Cli11彡i彡N}中的所有立體圖像的特征矢量進(jìn)行訓(xùn) 練，并使得經(jīng)過訓(xùn)練得到的回歸函數(shù)值與平均主觀評(píng)分均值之間的誤差最小，得到最優(yōu)的 權(quán)重矢量w°pt和最優(yōu)的偏置項(xiàng)b°pt，然后利用得到的最優(yōu)的權(quán)重矢量w°pt和最優(yōu)的偏置項(xiàng) b°pt構(gòu)造支持向量回歸訓(xùn)練模型，記為
，其中，Xinp表示 支持向量回歸訓(xùn)練模型的輸入矢量，（w°pt)TSw°pt的轉(zhuǎn)置矢量，Pd,,,,)表示支持向量回歸訓(xùn) 練模型的輸入矢量Xinp的線性函數(shù)； ④ 將待測試的立體圖像的左視點(diǎn)圖像和右視點(diǎn)圖像對(duì)應(yīng)記為IA(x，y)}和{IK(x，y)}， 將待測試的立體圖像對(duì)應(yīng)的右視差圖像記為{dK(x，y)}，其中，此處（x，y)表示{IJX，y)}、 {IK(x，y)}和{dK(x，y)}中的像素點(diǎn)的坐標(biāo)位置，1<叉<1，1<7<11，此處1表示 {IL(x，y)}、{IK(x，y)}和{dK(x，y)}的寬度，H表示{IL(x，y)}、{IK(x，y)}和{dK(x，y)}的高 度，IL(x，y)表示{IL(x，y)}中坐標(biāo)位置為（x，y)的像素點(diǎn)的像素值，IK(x，y)表示{IK(x，y)} 中坐標(biāo)位置為（x，y)的像素點(diǎn)的像素值,dK(x，y)表示{dK(x，y)}中坐標(biāo)位置為（x，y)的像 素點(diǎn)的視差值； ⑤ 采用基于圖論的視覺顯著性模型提取出{IK(x，y)}的二維顯著圖，記為{S2D(x，y)}， 其中，S2D(x，y)表示{S2D(x，y)}中坐標(biāo)位置為（x，y)的像素點(diǎn)的像素值； ⑥ 采用超像素分割技術(shù)將{IK(x，y)}分割成M個(gè)互不重疊的區(qū)域，然后將{IK(x，y)}重 新表示為M個(gè)區(qū)域的集合，記為{SPJ，再根據(jù){SPJ中的不同區(qū)域之間的視差相似性和空間 相似性，計(jì)算{IK(x，y)}的深度顯著圖，記為{SDP(x，y)}，其中，M彡l，SPh表示{SPJ中的第 h個(gè)區(qū)域，1彡h彡M，SDP(x，y)表示{SDP(x，y)}中坐標(biāo)位置為（X，y)的像素點(diǎn)的像素值； ⑦ 根據(jù)利用訓(xùn)練得到的最優(yōu)的權(quán)重矢量和最優(yōu)的偏置項(xiàng)b°pt構(gòu)造的支持向量回歸 訓(xùn)練模型f(Xinp)，計(jì)算{IK(x，y)}的視覺舒適度顯著圖，記為{STO(x，y)}，其中，STC(x，y)表 示{STC(x，y)}中坐標(biāo)位置為（x，y)的像素點(diǎn)的像素值； ⑧ 對(duì){IK(x，y)}的二維顯著圖{S2D(x，y)}、{IK(x，y)}的深度顯著圖{SDP(x，y)}及 {IK(x，y)}的視覺舒適度顯著圖{Svc(x，y)}進(jìn)行融合，得到{IK(x，y)}的最終的三維視覺顯 著圖，記為{S3D(x,y)},將{S3D(x,y)}中坐標(biāo)位置為（X，y)的像素點(diǎn)的像素值記為
，
1 〇
2. 根據(jù)權(quán)利要求1所述的一種立體圖像視覺顯著圖提取方法，其特征在于所述的步驟 ②中Cli中的所有像素點(diǎn)的視差均值、視差方差和視差范圍的獲取過程為： ②-1、計(jì)算Cli中的所有像素點(diǎn)的視差均值，記為Ui,
其中，
1彡X彡W，1彡y彡H，此處W表示di的寬度，H表示di的高度，di(x，y)表示di中坐標(biāo)位 置為（x，y)的像素點(diǎn)的視差值； ②-2、計(jì)算(Ii中的所有像素點(diǎn)的視差方差,記為5i， _ * ② -3、計(jì)算Cli中的所有像素點(diǎn)的視差范圍，記為Xi,Xi =CLx-Clniin，其中，d_表示Cli 中的所有像素點(diǎn)的視差值按從大到小的順序排序后，前1%的視差值對(duì)應(yīng)的所有像素點(diǎn)的 視差均值；Clmin表示Cli中的所有像素點(diǎn)的視差值按從大到小的順序排序后，后1%的視差值 對(duì)應(yīng)的所有像素點(diǎn)的視差均值。
3. 根據(jù)權(quán)利要求1或2所述的一種立體圖像視覺顯著圖提取方法，其特征在于所述的 步驟③的具體過程為： ③ -1、將O^RpdiIl彡i彡N}中的所有立體圖像的特征矢量和平均主觀評(píng)分均值構(gòu) 成訓(xùn)練樣本數(shù)據(jù)集合，記為QN，（Xi,MOSJGQn，其中，MOSi表示HdiIl彡i彡N}中 的第i幅立體圖像的平均主觀評(píng)分均值，MOSiG[1，5]，1彡i彡N; ③-2、構(gòu)造Qn中的每個(gè)特征矢量的回歸函數(shù)，將Xi的回歸函數(shù)記為f(Xi),
?其中，f()為函數(shù)表示形式，w為權(quán)重矢量,wT為w的轉(zhuǎn)置矢量,b為偏 置項(xiàng)，MD表示Xi的線性函數(shù)，
^DdX1O為支持向量回歸中的核函 數(shù)。
fX1，表示Qn中的第1'個(gè)特征矢量，1彡1'彡N，Y為核 參數(shù)，exp〇表示以自然基數(shù)e為底的指數(shù)函數(shù)，符號(hào)"IIII"為求歐式距離符號(hào)； ③-3、采用支持向量回歸作為機(jī)器學(xué)習(xí)的方法，對(duì)Qn中的所有特征矢量進(jìn)行訓(xùn)練， 使得經(jīng)過訓(xùn)練得到的回歸函數(shù)值與平均主觀評(píng)分均值之間的誤差最小，得到最優(yōu)的權(quán)重矢 量w°pt和最優(yōu)的偏置項(xiàng)b°pt，將最優(yōu)的權(quán)重矢量，1和最優(yōu)的偏置項(xiàng)b°pt的組合記為（《_，
?然后利用得到的最優(yōu)的權(quán)重矢量和最優(yōu) 的偏置項(xiàng)b°pt構(gòu)造支持向量回歸訓(xùn)練模型，記為f(Xinp)，
'，其 中，W表示對(duì)Qn中的所有特征矢量進(jìn)行訓(xùn)練的所有的權(quán)重矢量和偏置項(xiàng)的組合的集合，
表示取使得
的值最小的w和b的值，Xinp表示 支持向量回歸訓(xùn)練模型的輸入矢量，
{為
的轉(zhuǎn)置矢量，
g示支持向量回歸訓(xùn) 練模型的輸入矢量Xinp的線性函數(shù)。
4. 根據(jù)權(quán)利要求3所述的一種立體圖像視覺顯著圖提取方法，其特征在于所述的步驟 ③-2中取核參數(shù)Y= 54。
5. 根據(jù)權(quán)利要求4所述的一種立體圖像視覺顯著圖提取方法，其特征在于所述的步驟 ⑥ 中{IK(x，y)}的深度顯著圖{SDP(x，y)}的獲取過程為： ⑥-1、計(jì)算{SPJ中的不同區(qū)域之間的視差相似性，將{SPJ中 的第P個(gè)區(qū)域與第q個(gè)區(qū)域之間的視差相似性記為Simd (SPp，SPq)，
SPp表示{SPJ中的第p個(gè)區(qū)域，SPq表示{SPJ中的第q個(gè)區(qū)域，符號(hào)"II"為取絕對(duì)值符 號(hào)，dK(x，y)表示{dK(x，y)}中坐標(biāo)位置為（x，y)的像素點(diǎn)的視差值，表示SPp中包含 的像素點(diǎn)的總個(gè)數(shù)，表示SPq中包含的像素點(diǎn)的總個(gè)數(shù)； ⑥-2、計(jì)算{SPJ中的不同區(qū)域之間的空間相似件,將ISPJ中的第D個(gè)區(qū)域與第q個(gè) 區(qū)域之間的空間相似性記為
，」
，其中， 1彡p彡M，1彡q彡M，p關(guān)q，SPp表示{SPJ中的第p個(gè)區(qū)域，SPq表示{SPJ中的第q個(gè) 區(qū)域，xsp,表示SPp中的中心像素點(diǎn)的坐標(biāo)位置，表示SPq中的中心像素點(diǎn)的坐標(biāo)位置， 符號(hào)"I I I I"為求歐式距離符號(hào)，max〇為取最大值函數(shù)，expO表示以自然基數(shù)e為底的 指數(shù)函數(shù)，A為控制參數(shù)； ⑥_3、根據(jù){SPJ中的不同區(qū)域之間的視差相似性和空間相似性，計(jì)算{SPJ中 的每個(gè)區(qū)域的深度顯著值，將{SPJ中的第h個(gè)區(qū)域SPh的深度顯著值記為，
，其中，l<h<M，l<q<M，h尹q， Simd(SPh，SPq)表示SPh與SPq之間的視差相似性，Sims (SPh，SPq)表示SPh與SPq之間的空間 相似性； ⑥ -4、將{SPJ中的每個(gè)區(qū)域的深度顯著值作為對(duì)應(yīng)區(qū)域中的所有像素點(diǎn)的顯著值，從 而得到UR(x，y)}的深度顯著圖，記為{SDP(x，y)}，其中，SDP(x，y)表示{SDP(x，y)}中坐標(biāo)位 置為（x，y)的像素點(diǎn)的像素值。
6. 根據(jù)權(quán)利要求5所述的一種立體圖像視覺顯著圖提取方法，其特征在于所述的步驟 ⑦ 的具體過程為： ⑦ -1、計(jì)算{SPJ中的每個(gè)區(qū)域的第一視差對(duì)比度，將{SPJ中的第h個(gè)區(qū)域SPh的第 一視差對(duì)比度記為，
，其中，J表示{dK(X，y)}中與SPh 對(duì)應(yīng)的區(qū)域中的所有像素點(diǎn)的視差均值，dh，_表示{dK(x，y)}中與SPh對(duì)應(yīng)的區(qū)域中的所有 像素點(diǎn)的視差值按從大到小的順序排序后，前1%的視差值對(duì)應(yīng)的所有像素點(diǎn)的視差均值； C^niin表示{dK(x，y)}中與SPh對(duì)應(yīng)的區(qū)域中的所有像素點(diǎn)的視差值按從大到小的順序排序 后，后1%的視差值對(duì)應(yīng)的所有像素點(diǎn)的視差均值；
⑦-2、計(jì)算{SP丨由的毎+反秘的笛一視差對(duì)比度，將{SPJ中的第h個(gè)區(qū)域SPh的第 二視差對(duì)比度記為 '! ⑦-3、計(jì)算{SPJ中的每個(gè)區(qū)域的視覺舒適度預(yù)測值，將{SPJ中的第h個(gè)區(qū)域SPh的視 覺舒適度預(yù)測值記為
，其中，Xsffc為采用與步驟 ②相同的方法計(jì)算得到的SPh的用于反映視覺舒適度的特征矢量，Xsil的維數(shù)為3,WXn > 表示xM的線性函數(shù)； ⑦-4、根據(jù){SPJ中的每個(gè)區(qū)域的第一視差對(duì)比度、第二視差對(duì)比度和視覺舒適度預(yù)測 值，計(jì)算{SPJ中的每個(gè)區(qū)域的視覺舒適度顯著值，將{SPJ中的第h個(gè)區(qū)域SPh的視覺舒 適度顯著值記為
，其中，P為控制 參數(shù)，T為閾值； ⑦-5、將{SPJ中的每個(gè)區(qū)域的視覺舒適度顯著值作為對(duì)應(yīng)區(qū)域中的所有像素點(diǎn)的 顯著值，從而得到{IK(x，y)}的視覺舒適度顯著圖，記為{、〇^7)}，其中，、〇^，7)表示 {Svc(x，y)}中坐標(biāo)位置為（x，y)的像素點(diǎn)的像素值。
【文檔編號(hào)】H04N13/00GK104243956SQ201410466553
【公開日】2014年12月24日 申請(qǐng)日期:2014年9月12日 優(yōu)先權(quán)日:2014年9月12日
【發(fā)明者】邵楓, 姜求平, 郁梅, 李福翠 申請(qǐng)人:寧波大學(xué)