一種基于立體視覺(jué)感知的全盲立體圖像質(zhì)量客觀評(píng)價(jià)方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種立體圖像質(zhì)量客觀評(píng)價(jià)方法，尤其是涉及一種基于立體視覺(jué)感知 的全盲立體圖像質(zhì)量客觀評(píng)價(jià)方法。
【背景技術(shù)】
[0002] 進(jìn)入二十一世紀(jì)以來(lái)，隨著立體圖像/視頻系統(tǒng)處理技術(shù)的日趨成熟，以及計(jì)算 機(jī)網(wǎng)絡(luò)與通信技術(shù)的快速發(fā)展，已引起人們對(duì)立體圖像/視頻系統(tǒng)的強(qiáng)烈需求。相比傳統(tǒng) 的單視點(diǎn)圖像/視頻系統(tǒng)，立體圖像/視頻系統(tǒng)由于能夠提供深度信息來(lái)增強(qiáng)視覺(jué)的真實(shí) 感，給用戶以身臨其境的全新視覺(jué)體驗(yàn)而越來(lái)越受到人們的歡迎，已被認(rèn)為是下一代媒體 主要的發(fā)展方向，已引發(fā)了學(xué)術(shù)界、產(chǎn)業(yè)界的廣泛關(guān)注。然而，人們?yōu)榱双@得更好的立體臨 場(chǎng)感和視覺(jué)體驗(yàn)，對(duì)立體視覺(jué)主觀感知質(zhì)量提出了更高的要求。在立體圖像/視頻系統(tǒng)中， 采集、編碼、傳輸、解碼及顯示等處理環(huán)節(jié)都會(huì)引入一定失真，這些失真將對(duì)立體視覺(jué)主觀 感知質(zhì)量產(chǎn)生不同程度的影響，因此如何有效地進(jìn)行無(wú)參考質(zhì)量評(píng)價(jià)是亟需解決的難點(diǎn)問(wèn) 題。綜上，評(píng)價(jià)立體圖像質(zhì)量，并建立與主觀質(zhì)量評(píng)價(jià)相一致的客觀評(píng)價(jià)模型顯得尤為重 要。
[0003] 目前，研究人員提出了不少針對(duì)單視點(diǎn)圖像質(zhì)量的無(wú)參考評(píng)價(jià)方法，然而由于缺 乏系統(tǒng)理論深入研究立體視覺(jué)感知特性，因此還沒(méi)有有效地?zé)o參考立體圖像質(zhì)量評(píng)價(jià)方 法?，F(xiàn)有的無(wú)參考立體圖像質(zhì)量評(píng)價(jià)方法主要是通過(guò)機(jī)器學(xué)習(xí)來(lái)預(yù)測(cè)立體圖像質(zhì)量，不僅 計(jì)算復(fù)雜度較高，而且需要測(cè)試數(shù)據(jù)庫(kù)（包括大量不同失真類型的失真立體圖像及相應(yīng)的 主觀評(píng)價(jià)值），使得該無(wú)參考立體圖像質(zhì)量評(píng)價(jià)方法并不適用于實(shí)際的應(yīng)用場(chǎng)合，存在一定 的局限性。因此，如何深入挖掘立體視覺(jué)感知；以及如何在無(wú)參考模型構(gòu)建中采用全盲方 法，都是無(wú)參考質(zhì)量評(píng)價(jià)研究中需要重點(diǎn)解決的技術(shù)問(wèn)題。

【發(fā)明內(nèi)容】

[0004] 本發(fā)明所要解決的技術(shù)問(wèn)題是提供一種基于立體視覺(jué)感知的全盲立體圖像質(zhì)量 客觀評(píng)價(jià)方法，其能夠充分考慮到立體視覺(jué)感知特性，從而能夠有效地提高客觀評(píng)價(jià)結(jié)果 與主觀感知之間的相關(guān)性。
[0005] 本發(fā)明解決上述技術(shù)問(wèn)題所采用的技術(shù)方案為：一種基于立體視覺(jué)感知的全盲立 體圖像質(zhì)量客觀評(píng)價(jià)方法，其特征在于包括訓(xùn)練階段和測(cè)試階段兩個(gè)過(guò)程，所述的訓(xùn)練階 段過(guò)程的具體步驟如下：
[0006] ①-1、選取K幅原始的無(wú)失真立體圖像，其中，K多1，原始的無(wú)失真立體圖像的寬 度為M，原始的無(wú)失真立體圖像的高度為N;
[0007] ①_2、采用雙目融合技術(shù)對(duì)每幅原始的無(wú)失真立體圖像的左視點(diǎn)圖像和右視點(diǎn)圖 像進(jìn)行融合，得到每幅原始的無(wú)失真立體圖像的融合視點(diǎn)圖像；
[0008] ①_3、對(duì)每幅原始的無(wú)失真立體圖像的融合視點(diǎn)圖像進(jìn)行去均值歸一化操作，得 到每幅原始的無(wú)失真立體圖像的融合視點(diǎn)圖像的去均值歸一化圖像；
[0009] ①_4、將每幅原始的無(wú)失真立體圖像的融合視點(diǎn)圖像的去均值歸一化圖像輸入到 實(shí)證密度函數(shù)中，得到每幅原始的無(wú)失真立體圖像的融合視點(diǎn)圖像的去均值歸一化圖像的 紋理信息向量；
[0010] ①-5、對(duì)每幅原始的無(wú)失真立體圖像的融合視點(diǎn)圖像的去均值歸一化圖像進(jìn)行四 個(gè)方向的濾波處理，得到每幅原始的無(wú)失真立體圖像的融合視點(diǎn)圖像的去均值歸一化圖像 的水平方向信息圖像、垂直方向信息圖像、主對(duì)角線方向信息圖像和副對(duì)角線方向信息圖 像；然后將每幅原始的無(wú)失真立體圖像的融合視點(diǎn)圖像的去均值歸一化圖像的水平方向信 息圖像、垂直方向信息圖像、主對(duì)角線方向信息圖像和副對(duì)角線方向信息圖像輸入到非對(duì) 稱廣義高斯分布模型中，得到每幅原始的無(wú)失真立體圖像的融合視點(diǎn)圖像的去均值歸一化 圖像的方向信息向量；
[0011] ①_6、將所有原始的無(wú)失真立體圖像的融合視點(diǎn)圖像的去均值歸一化圖像的紋理 信息向量和方向信息向量作為輸入?yún)?shù)，輸入到高斯分布模型中，得到所有原始的無(wú)失真 立體圖像對(duì)應(yīng)的無(wú)失真高斯分布模型；
[0012] 所述的測(cè)試階段過(guò)程的具體步驟如下：
[0013] ②-1、對(duì)于任意一幅尺寸大小與步驟①-1中選取的原始的無(wú)失真立體圖像的尺 寸大小一致的失真立體圖像，將該失真立體圖像作為待評(píng)價(jià)的失真立體圖像；
[0014] ②-2、采用雙目融合技術(shù)對(duì)待評(píng)價(jià)的失真立體圖像的左視點(diǎn)圖像和右視點(diǎn)圖像進(jìn) 行融合，得到待評(píng)價(jià)的失真立體圖像的融合視點(diǎn)圖像；
[0015] ②_3、對(duì)待評(píng)價(jià)的失真立體圖像的融合視點(diǎn)圖像進(jìn)行去均值歸一化操作，得到待 評(píng)價(jià)的失真立體圖像的融合視點(diǎn)圖像的去均值歸一化圖像；
[0016] ②_4、將待評(píng)價(jià)的失真立體圖像的融合視點(diǎn)圖像的去均值歸一化圖像輸入到實(shí)證 密度函數(shù)中，得到待評(píng)價(jià)的失真立體圖像的融合視點(diǎn)圖像的去均值歸一化圖像的紋理信息 向量；
[0017] ②_5、對(duì)待評(píng)價(jià)的失真立體圖像的融合視點(diǎn)圖像的去均值歸一化圖像進(jìn)行四個(gè) 方向的濾波處理，得到待評(píng)價(jià)的失真立體圖像的融合視點(diǎn)圖像的去均值歸一化圖像的水平 方向信息圖像、垂直方向信息圖像、主對(duì)角線方向信息圖像和副對(duì)角線方向信息圖像；然后 將待評(píng)價(jià)的失真立體圖像的融合視點(diǎn)圖像的去均值歸一化圖像的水平方向信息圖像、垂直 方向信息圖像、主對(duì)角線方向信息圖像和副對(duì)角線方向信息圖像輸入到非對(duì)稱廣義高斯分 布模型中，得到待評(píng)價(jià)的失真立體圖像的融合視點(diǎn)圖像的去均值歸一化圖像的方向信息向 量；
[0018] ②_6、將待評(píng)價(jià)的失真立體圖像的融合視點(diǎn)圖像的去均值歸一化圖像的紋理信息 向量和方向信息向量作為輸入?yún)?shù)，輸入到高斯分布模型中，得到待評(píng)價(jià)的失真立體圖像 對(duì)應(yīng)的失真高斯分布模型；
[0019] ②_7、采用馬氏距離公式衡量步驟①-6中得到的所有原始的無(wú)失真立體圖像對(duì) 應(yīng)的無(wú)失真高斯分布模型與步驟②_6中得到的待評(píng)價(jià)的失真立體圖像對(duì)應(yīng)的失真高斯分 布模型之間的誤差，將衡量得到的誤差作為待評(píng)價(jià)的失真立體圖像的圖像質(zhì)量客觀評(píng)價(jià)預(yù) 測(cè)值。
[0020] 所述的步驟①_3中，將第k幅原始的無(wú)失真立體圖像的融合視點(diǎn)圖像的去均 值歸一化圖像記為{Gk,OTg,UR(m，n)}，將{Gk,OTg,UR(m，n)}中坐標(biāo)位置為（m，n)的像素點(diǎn) 的像素值記為Gk,OTg,uR (m,η)，
G中，1彡k彡K， 1彡m彡M，1彡n彡N，Rk,OTg,UR(m，n)表示第k幅原始的無(wú)失真立體圖像的融合視點(diǎn)圖像 中坐標(biāo)位置為（m，n)的像素點(diǎn)的像素值，yk,OTg,UR表示lRk,OTg,uR(m，n)}中 的所有像素點(diǎn)的像素值的均值，表示{RklOTglUR(m，n)}中的所有像素點(diǎn)的像素值的 方差。
[0021]所述的步驟①_5中，將第k幅原始的無(wú)失真立體圖像的融合視點(diǎn)圖像 的去均值歸一化圖像的水平方向信息圖像、垂直方向信息圖像、主對(duì)角線方向 信息圖像和副對(duì)角線方向信息圖像對(duì)應(yīng)記為{HkiOTgiUR (m,n)}、{VkiOTgiUR (m,η)}、 的像素值記為Hk, OTg,uR (m，η)，將{Vk, OTg,uR (m，η)}中坐標(biāo)位置為（m，n)的像素點(diǎn)的像 素值記為Vk, OTg,uR (m,η)，將{Dk, OTg,uR (m,η)}中坐標(biāo)位置為（m,η)的像素點(diǎn)的像素值 記為Dk,OTg,UR (m,η)，將中坐標(biāo)位置為（m,η)的像素點(diǎn)的像素值記為 ^i,〇rg,L,s(fni^)?Hk_org_ L_R (m,η) -Gkj〇rgLR (m,η)XGkorgLR (m,n+1) ,VkorgLR (m,n) -Gk, 〇rg,l,r(m,η)XGk，org，L，R (m+1，n)，Dk，org，L，R (m,n) =Gk_org_ L_R (m,η)XGk_org_ L_R (m+1,n+1), Kη<N，GkiOTgiUR(m,n)表示第k幅原始的無(wú)失真立體圖像的融合視點(diǎn)圖像的去均值歸 一化圖像{GkiOTgiUR(m，n)}中坐標(biāo)位置為（m，n)的像素點(diǎn)的像素值；GkiOTgiUR(m，n+l)表示 {Gk,OTg,UR(m，n)}中坐標(biāo)位置為（m，n+l)的像素點(diǎn)的像素值，若n+l>N，則令Gk,OTg,UR(m，n+l) =Gk,OTg,UR(m，N)，Gk,OTg,UR(m，N)表示{Gk,OTg,UR(m，n)}中坐標(biāo)位置為（m，N)的像素點(diǎn)的像 素值；Gk^UR(m+l，n)表示{Gk^UR(m，n)}中坐標(biāo)位置為（m+l，n)的像素點(diǎn)的像素值， 若111+1>]\1，則令61^。1^ 1?(111+1，11)=61^。1^1?(]\1，11)，6 1^。1^1?(]\1，11)表示隊(duì)。1^1?(111，11)}中坐 標(biāo)位置為（M，n)的像素點(diǎn)的像素值；Gk,OTg,UR(m+l，n+l)表示{Gk,OTg,UR(m，n)}中坐標(biāo)位置 為〇11+1，11+1)的像素點(diǎn)的像素值，若111+1>]\1且1彡11+1彡1則令6 1^。1^1?(111+1，11+1)= Gk，org，L，R(M，n+1)，若 1 彡m+1 彡Μ且n+l>N，則令Gk，org，L，R(m+l,n+1) =Gk，org，L，R(m+l,N)，若 111+1>1且11+1汛則令心。1^ 1?(111+1，11+1)=心。1^1^，吣，心。 1^,1^，11+1)、心。1^,1?(111+1，吣 對(duì)應(yīng)表示{Gk,OTg,UR(m，n)}中坐標(biāo)位置為（M，n+1)、（m+l，N)和（M，N)的 像素點(diǎn)的像素值而,。1^,1?(111+1，11-1)表示隊(duì)。 1^1?(111，11)}中坐標(biāo)位置為（111+1，11-1)的像 素點(diǎn)的像素值，若m+l>M且 1 彡n-Ι彡N，則令GkiM^R(m+l，n-l) =GkiM^R(M，n-l)，若 1 彡m+1 彡Μ且n-l〈l，則令Gk,org,L,R(m+l，n-1) =Gk,org,L,R(m+l，1)，若m+l>M且n-l〈l，貝lj 令Gk,OTg,L,R(m+1，η-1) =Gk,R (Μ, 1)，Gk,R (Μ,η-1)、Gk,R (m+1，1)和Gk,R(M，^^ 應(yīng)表示{Gk,"g,UR(m，n)}中坐標(biāo)位置為（M，n-1)、（m+l，l)和（M，l)的像素點(diǎn)的像素值；上 述，Gk,org,l,r(m，n+l) 一Gk_ org_ L_R (m,N)nGkorgLR (m+1,n) 一Gk, org丄R (Μ,n)、Gk, org,L,R (m+l,n+1) =Gk，org，L，R(M，n+l)、Gk，org，L，R(m+l，n+l) =Gk，org，L，R(m+l，N)、Gk，org，L，R(m+l，n+l)= Gk,org,L,R(M>N)' Gk,org,L,R(m+1>n_1) = Gk, org, L, R (M> Π_ 1) ' Gk, org, L, R 1 >