基于內(nèi)容感知的不同立體顯示設(shè)備的視差調(diào)整方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，涉及一種基于內(nèi)容感知的雙目立體圖像的視差調(diào) 整方法。
【背景技術(shù)】
[0002] 隨著3D電視以及異質(zhì)手機(jī)等立體顯示設(shè)備的廣泛應(yīng)用，立體3D受到了廣泛關(guān)注。 然而，人眼視覺感知和顯示設(shè)備特性之間存在復(fù)雜的關(guān)系，因此不同的立體顯示屏的特性 決定了不同的視差，因此，當(dāng)同一幅圖像在不同的顯示設(shè)備上進(jìn)行顯示時(shí)，觀看者的視覺體 驗(yàn)是不同的。立體顯示屏的固有特性會影響視差，在這種情況下，觀看者往往會產(chǎn)生不舒適 的視覺體驗(yàn)，而且這種關(guān)系會對各種媒介的立體內(nèi)容分布產(chǎn)生影響。因此，控制圖像視差對 立體3D的廣泛應(yīng)用起著不可或缺的作用。
[0003] 為了制作一幅視覺舒適的立體圖像，在近些年的研究中，提出了一些立體圖像后 處理的方法。Zitnick等人提出了一種圖像的視覺插值法來調(diào)整圖像視差，但是該方法往往 涉及相機(jī)參數(shù)估計(jì)、密集立體重建以及封閉場景內(nèi)容印跡等工作。然而，這些工作不能為一 般的場景和經(jīng)典的2視點(diǎn)立體鏡頭帶來準(zhǔn)確和魯棒性的結(jié)果。因此，先前的一些工作允許在 具體的應(yīng)用場景中使用手動驅(qū)動進(jìn)行視差編輯。然而，該方法在一些場景后期制作的過程 中非常昂貴。Lin等人提出了一種基于裁剪和變形的方法來優(yōu)化立體3D體驗(yàn)。Wang等人提出 了一種通過增加顏色和深度信息來修補(bǔ)立體圖像的方法。Smolic等人調(diào)查了 3D后處理領(lǐng)域 最先進(jìn)的技術(shù)。Goferman等人以及Kang等人分別提出了廣泛接受的顯著性理論，基于內(nèi)容 感知的變形方法廣泛應(yīng)用于基于內(nèi)容感知的3D圖像調(diào)整，3D視頻穩(wěn)定，立體圖像克隆，視差 立體圖像操作?；趦?nèi)容感知的變形技術(shù)的關(guān)鍵在于只要顯著區(qū)域的變形結(jié)果接近于預(yù)先 定義的邊界，非顯著區(qū)域引入的失真對于觀看者來說就會不明顯。Chang等人提出了一種立 體圖像重定位方法，該方法試圖調(diào)整圖像特征點(diǎn)視差，然而，該方法主要關(guān)注3D圖像重定 位，而沒有考慮到簡單的視差縮放會引起3D圖像內(nèi)容的失真。Lang等人提出了一種立體圖 像非線性視差映射方法。為了避免視覺失真，該方法迫使顯著圖像區(qū)域大小保持不變，然 而，該方法總是能夠造成視覺失真約束和其視差映射約束之間的沖突。為了減小沖突，他們 采取了一種方法平衡視覺失真約束和視差約束。因此，Lang等人提出的方法不能在實(shí)現(xiàn)視 差編輯的同時(shí)避免視覺失真。

【發(fā)明內(nèi)容】

[0004] 為克服現(xiàn)有技術(shù)的不足，本發(fā)明的目的是提出不同立體顯示設(shè)備的視差調(diào)整方 法，實(shí)現(xiàn)不迫使圖像顯著區(qū)域保持不變，通過視差縮放因子來確定網(wǎng)格細(xì)胞縮放因子，為 此，本發(fā)明采取的技術(shù)方案是，基于內(nèi)容感知的不同立體顯示設(shè)備的視差調(diào)整方法，首先使 用均勻網(wǎng)格細(xì)胞劃分立體圖像對，之后建立視差映射來控制并且重定位立體場景深度，接 下來建立視差編輯和圖像內(nèi)容編輯之間的關(guān)系來指導(dǎo)提出的變形模型，最后，使用立體網(wǎng) 格變形模型避免顯著區(qū)域的失真的同時(shí)將視差調(diào)整到目標(biāo)范圍。
[0005] 首先使用均勻網(wǎng)格細(xì)胞劃分立體圖像對，之后建立視差映射來控制并且重定位立 體場景深度，具體步驟是，
[0006] 1)網(wǎng)格劃分
[0007] 使用均勻網(wǎng)格細(xì)胞MmXn=(V，E，F(xiàn))劃分圖像，其中mXn表示網(wǎng)格細(xì)胞的個(gè)數(shù)，V，E和 F分別表示頂點(diǎn)、邊和四邊形的集合，相應(yīng)地立體圖像對的右圖網(wǎng)格通過頂點(diǎn)匹配獲得，其 中，vi, j,k，Vi, j,k分別表示原始網(wǎng)格和變形網(wǎng)格中網(wǎng)格細(xì)胞的頂點(diǎn)坐標(biāo)，其中i表示網(wǎng)格細(xì)胞 橫坐標(biāo)的索引值，j表示網(wǎng)格細(xì)胞縱坐標(biāo)的索引值，k表示立體圖像對左右網(wǎng)格的索引值，且 i = l，…，m; j = l，…，n;k=l，r，其中1表示左網(wǎng)格，r表示右網(wǎng)格；
[0008] 2)視差映射
[0009] 建立視差映射舛〇，該視差映射將原始范圍Ω = [dmin，dmax]映射到目標(biāo)范圍Ω ' = [d'min，d'max]，視差映射的公式如下：
[0010]
[0011] 其中，例y。/)表不視差映射，K表不視差縮放因子，dmin表不原始視差的最小值，dmax 表示原始視差的最大值，d'min表示目標(biāo)視差的最小值，d'max表示目標(biāo)視差的最大值，(1^ = Vi, j,r-Vi, j,l表示原始視差。
[0012] 建立視差編輯和圖像內(nèi)容編輯之間的關(guān)系來指導(dǎo)提出的變形模型具體步驟是，建 立視差編輯和圖像內(nèi)容編輯之間的關(guān)系，該關(guān)系可以在避免視覺失真的同時(shí)將視差調(diào)整到 目標(biāo)范圍，并且該關(guān)系會為后續(xù)的圖像變形提供指導(dǎo)：
[0013] 假定四邊形（i，j)的內(nèi)容發(fā)生形狀失真，并且定義縮放因子Sf，立體圖像對的左圖 和立體圖像對的右圖的網(wǎng)格細(xì)胞的原始頂點(diǎn)和變形頂點(diǎn)之間的關(guān)系表示如下：
[0014]
[0015]
[0016] 為了調(diào)整視差，變形后的網(wǎng)格頂點(diǎn)視差表示如下：
[0017]
[0018] 為了將視差調(diào)整到目標(biāo)區(qū)域的同時(shí)避免視覺失真，變形頂點(diǎn)應(yīng)同時(shí)滿足上述公 式，經(jīng)上述公式推導(dǎo)出來的公式如下：
[0019]
[0020]
[0021]因此，當(dāng)顯著內(nèi)容縮放因子Sf和視差縮放因子K相等時(shí)，變形的頂點(diǎn)可以在滿足視 差映射的同時(shí)避免視覺失真，顯著內(nèi)容縮放因子和視差縮放因子之間的關(guān)系為后續(xù)的圖像 網(wǎng)格變形提供指導(dǎo)。
[0022]建立網(wǎng)格變形模型，實(shí)現(xiàn)將視差調(diào)整到目標(biāo)范圍的同時(shí)避免顯著區(qū)域發(fā)生失真： 網(wǎng)格變形通過解決包括視差調(diào)整能量和形狀保持能量在內(nèi)的能量最小化問題來實(shí)現(xiàn)，能量 項(xiàng)的詳細(xì)表述如下：
[0023] 視差調(diào)整項(xiàng)：
[0024] 頂點(diǎn)視差應(yīng)滿足視差映射公式，視差調(diào)整能量項(xiàng)定義如下：
[0025]
[0026] 其中Ed表示視差調(diào)整能量，pW,,)表示第2步中的視差映射；
[0027]形狀保持項(xiàng)：
[0028] 為避免圖像顯著區(qū)域發(fā)生失真，對每一個(gè)原始網(wǎng)格細(xì)胞縮放后的網(wǎng)格細(xì)胞計(jì)算形 狀失真能量。網(wǎng)格細(xì)胞的變形能量項(xiàng)定義如下：
[0029] Ei,j= | | (Vi,j,i-Vi,j+i,i)-Sf(Vi,j,i_Vi,j+i,i) | |2
[0030] +| | (Vi,j,i-Vi+i,j,i)-Sf(vi,j,i-Vi+ij,i) | |2
[0031] +| | (Vi,j+i,i-Vi+i,j+i,i)-Sf(vij+i,i-Vi+ij+i,i) | |2
[0032] +| | (Vi+i,j,i-Vi+i,j+i,i)-Sf(vi+i,j,i-Vi+ij+i,i) | |2 [0033]其中，Eu表示網(wǎng)格細(xì)胞的變形能量；
[0034] 縮放因子Sf取決于視差縮放因子K，所有網(wǎng)格細(xì)胞變形總能量為所有網(wǎng)格細(xì)胞變 形能量的總和，網(wǎng)格細(xì)胞變形總能量的計(jì)算公式如下：
[0035]
[0036] 其中，Ef表示網(wǎng)格細(xì)胞變形總能量，Wi,j表示網(wǎng)格顯著值，f表示網(wǎng)格四邊形，E(f) 表示網(wǎng)格四邊形的邊的結(jié)合。因?yàn)轱@著對象往往跨越多個(gè)相連的網(wǎng)格細(xì)胞，為防止這些網(wǎng) 格細(xì)胞發(fā)生失真，網(wǎng)格變形的過程中允許其長度發(fā)生改變而方向保持不變，其中1^用Wang (Wang Y S)提出的優(yōu)化的縮放和拉伸方法獲得，能量項(xiàng)公式表示如下：
[0037]
[0038] 其中，Ele表示網(wǎng)格線變形能量，1^表示變形后和變形前的邊長的長度比；
[0039] 立體圖像對的左圖形狀保持項(xiàng)定義如下：
[0040] Eis = Ef+Eie
[0041 ]其中，Eis表示立體圖像對的左圖的形狀保持能量，Ef表示網(wǎng)格細(xì)胞變形總能量，Eie 表示網(wǎng)格線變形能量；
[0042]立體圖像對的右圖的能量函數(shù)Ers以相同的方式定義；
[0043]能量優(yōu)化：
[0044]為獲取使包含上述所有能量項(xiàng)的總能量保持最小，總能量計(jì)算公式 如下：
[0045] E = Ed+Eis+Ers
[0046] 其中，E表示總能量，Ed表示表示視差調(diào)整能量，Eis表示立體圖像對的左圖的形狀 保持能量，Ers表示立體圖像對的右圖的形狀保持能量；
[0047] 能量E是V^jPVi,μ的二次函數(shù)，使用稀疏線性求解器解決能量最小化問題，輸 出網(wǎng)格確定后，使用雙線性插值算法來獲得最終的結(jié)果。
[0048]本發(fā)明的特點(diǎn)及有益效果是：
[0049]提出的基于內(nèi)容感知的不同立體顯示設(shè)備的視差調(diào)整方法，可以在避免顯著區(qū)域 失真的同時(shí)將視差調(diào)整到目標(biāo)范圍，為觀看者帶來較為舒適的視覺體驗(yàn)。
【附圖說明】：
[0050] 圖1給出了單個(gè)網(wǎng)格細(xì)胞頂點(diǎn)變化示意圖。(a)原始網(wǎng)格頂點(diǎn)；（b)變形網(wǎng)格頂點(diǎn)。
[0051] 圖2本發(fā)明原始圖像和變形圖像的結(jié)果的比較。圖中，（a)帶有網(wǎng)格細(xì)胞的左圖（雪 人圖）；（b)帶有網(wǎng)格細(xì)胞的右圖（雪人圖）；（c)帶有特征點(diǎn)視差的立體圖像(雪人圖）；（d)立 體圖像(雪人圖）。第一行:原始圖像(雪人圖）；第二行:變形圖像(雪人圖）。
[0052] 圖3本發(fā)明和Lang等人提出的方法的比較。（a)原始立體圖像(蘆薈圖）；（b)Lang等 人的方法的結(jié)果；（c)本發(fā)明的結(jié)果。第一行到第四行：左圖（蘆薈圖）；右圖（蘆薈圖）；立體 圖（蘆薈圖）；視差超過目標(biāo)范圍[-40，0]的特征點(diǎn)視差。
[0053]圖4本發(fā)明和Lang等人提出的方法的比較。（a)原始立體圖像(戴安娜圖）；（b)Lang 等人的方法的結(jié)果；（c)本發(fā)明的結(jié)果。第一行到第四行：左圖（戴安娜圖）；右圖（戴安娜 圖）；立體圖（戴安娜圖）；視差超過目標(biāo)范圍[_40,0]的特征點(diǎn)視差圖（戴安娜圖）。
[0054] 圖5本發(fā)明在不同目標(biāo)視差范圍下的結(jié)果。（a)原始立體圖像(雪人圖）；（b)目標(biāo)視 差范圍為[_40,0];(c)目標(biāo)視差范圍為[_30,0]。