一種基于立體視覺顯著性的立體圖像質(zhì)量客觀評價(jià)方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及立體圖像領(lǐng)域，尤其涉及一種基于立體視覺顯著性的立體圖像質(zhì)量客 觀評價(jià)方法。
【背景技術(shù)】
[0002] 近年來，立體圖像處理技術(shù)在娛樂行業(yè)和科學(xué)領(lǐng)域的應(yīng)用越來越廣泛，與平面圖 像帶給人的視覺感受不同，立體圖像為人們提供更加真實(shí)的立體視覺感受。但是立體圖像 在采集、壓縮、儲存、運(yùn)輸和顯示等過程中會(huì)產(chǎn)生各種失真，影響人們的立體視覺感受。立體 圖像質(zhì)量作為立體圖像的固有屬性是評判立體圖像失真的一個(gè)重要指標(biāo)。雖然主觀質(zhì)量評 價(jià)方法的準(zhǔn)確性較高，但是具有費(fèi)時(shí)費(fèi)力且成本較高的缺陷，因此建立一個(gè)能夠準(zhǔn)確高效 模擬人眼主觀評價(jià)結(jié)果的立體圖像質(zhì)量客觀評價(jià)算法具有重要的意義。
[0003] 經(jīng)過多年的研宄，國內(nèi)外研宄者已提出了許多立體圖像質(zhì)量客觀評價(jià)算法。最初， 將均方誤差（Mean Squared Error, MSE)、峰值信噪比（Peak Signal Noise Ratio, PSNR)、 結(jié)構(gòu)相似度（Structural Similarity, SSIM) [1]等一些經(jīng)典的平面圖像質(zhì)量評價(jià)算法直接 應(yīng)用于立體圖像的左右視點(diǎn)，通過加權(quán)左右圖像質(zhì)量得到立體圖像質(zhì)量客觀評價(jià)值[2]。文 獻(xiàn)[3]和文獻(xiàn)[4]考慮深度感知對立體圖像質(zhì)量評價(jià)的影響，將2D評價(jià)方法融合立體圖像 的差異信息或深度信息進(jìn)行立體圖像質(zhì)量評價(jià)。
[0004] 目前，研宄者已將一些容易建模的人眼視覺特性，例如：亮度幅度非線性特性、多 通道特性、對比度敏感度特性和掩蓋效應(yīng)等，用于立體圖像質(zhì)量客觀評價(jià)算法中。隨著各研 宄領(lǐng)域?qū)θ祟愐曈X系統(tǒng)的認(rèn)識逐漸加深，客觀評價(jià)模型中融入更加復(fù)雜和高級的人眼視覺 特性成為了必然的發(fā)展方向。視覺顯著性作為一種人類視覺系統(tǒng)高級特性，是指人眼對圖 像不同區(qū)域分配的注意力強(qiáng)度不同。顯著區(qū)域是人眼比較容易關(guān)注的區(qū)域，所以觀看失真 立體圖像時(shí)，顯著區(qū)域出現(xiàn)的失真對人眼的視覺感受影響更大。視覺顯著圖為立體圖像質(zhì) 量客觀評價(jià)提供了重要依據(jù)，文獻(xiàn)[5-8]將視覺顯著性的影響用到立體圖像質(zhì)量客觀評價(jià) 算法中。文獻(xiàn)[6]結(jié)合立體顯著性和SSIM算法[1]對繪制圖像進(jìn)行質(zhì)量評價(jià)。文獻(xiàn)[7] 將相位一致性圖和顯著圖作為失真立體圖像的特征，使用局部匹配函數(shù)加權(quán)兩個(gè)特征圖的 差異以計(jì)算左右視點(diǎn)間的相關(guān)性，進(jìn)行立體圖像質(zhì)量經(jīng)驗(yàn)值評價(jià)。文獻(xiàn)[8]使用SSIM算法 得到原始與失真立體圖像的合成圖像的結(jié)構(gòu)相似度圖，將其與立體顯著圖融合得到立體圖 像質(zhì)量評價(jià)指標(biāo)。文獻(xiàn)[9]將原始和失真立體圖像左右視圖和其顯著圖結(jié)合，確定原始、失 真立體圖像左右視圖的選擇性顯著圖；然后對選擇性顯著圖采用SSIM算法來獲取顯著結(jié) 構(gòu)相似度圖，通過給其邊緣區(qū)域、平滑區(qū)域和紋理區(qū)域的分配不同的權(quán)值來獲取單視圖的 客觀評價(jià)值；最后，加權(quán)平均左右視圖的客觀評價(jià)值得到立體圖像質(zhì)量客觀評價(jià)值。文獻(xiàn)
[5] [7]提取立體顯著圖時(shí)使用原始立體圖像的視差圖，忽略了失真立體圖像的深度信息失 真對失真立體圖像的立體顯著圖檢測的影響。
[0005] 但是上述方法沒有考慮人眼的其它視覺特性和深度信息對立體圖像質(zhì)量評價(jià)的 影響，導(dǎo)致客觀評價(jià)值不能有效的反映主觀評價(jià)結(jié)果。

【發(fā)明內(nèi)容】

[0006] 本發(fā)明提供了一種基于立體視覺顯著性的立體圖像質(zhì)量客觀評價(jià)方法，本發(fā)明根 據(jù)融合立體視覺顯著圖和立體圖像綜合質(zhì)量圖，準(zhǔn)確有效地建立了反映主觀評價(jià)結(jié)果的立 體圖像質(zhì)量的客觀評價(jià)模型，詳見下文描述：
[0007] -種基于立體視覺顯著性的立體圖像質(zhì)量客觀評價(jià)方法，所述立體圖像質(zhì)量客觀 評價(jià)方法包括以下步驟：
[0008] 通過模擬中央偏移和中心凹特性，對立體視覺顯著圖進(jìn)行優(yōu)化，提取優(yōu)化后的立 體視覺顯著圖；
[0009] 根據(jù)失真立體圖像質(zhì)量圖、絕對差值圖的質(zhì)量圖得到立體圖像綜合質(zhì)量圖；
[0010] 通過所述立體視覺顯著圖對所述立體圖像綜合質(zhì)量圖進(jìn)行加權(quán)求和，獲取失真立 體圖像質(zhì)量客觀評價(jià)值。
[0011] 其中，在所述通過模擬中央偏移和中心凹特性，對立體視覺顯著圖進(jìn)行優(yōu)化，提取 優(yōu)化后的立體視覺顯著圖的步驟之前，所述立體圖像質(zhì)量客觀評價(jià)方法還包括以下步驟：
[0012] 通過模擬視覺顯著性，獲取失真立體圖像的立體視覺顯著圖。
[0013] 其中，所述通過模擬視覺顯著性，獲取失真立體圖像的立體視覺顯著圖的步驟具 體為：
[0014] 將失真立體圖像右視圖從RGB色彩空間轉(zhuǎn)換到Y(jié)CbCr色彩空間，劃分為不重疊的 圖像塊，對圖像塊進(jìn)行離散余弦變換；
[0015] 將亮度對比度特征顯著圖、色度對比度特征顯著圖、紋理對比度特征顯著圖和失 真立體圖像的絕對差值圖進(jìn)行歸一化，通過將歸一化后的這些圖線性組合獲取失真立體圖 像的立體視覺顯著圖。
[0016] 其中，所述通過模擬中央偏移和中心凹特性，對立體視覺顯著圖進(jìn)行優(yōu)化，提取優(yōu) 化后的立體視覺顯著圖的步驟具體為：
[0017] 模擬中央偏移因子，對立體視覺顯著圖進(jìn)行初步優(yōu)化；
[0018] 模擬中心凹特性，對初步優(yōu)化后的立體視覺顯著圖進(jìn)行最終優(yōu)化。
[0019] 其中，所述根據(jù)失真立體圖像質(zhì)量圖、絕對差值圖的質(zhì)量圖得到立體圖像綜合質(zhì) 量圖的步驟具體為：
[0020] 提取失真立體圖像右視圖的相位相似度；
[0021] 提取失真立體圖像右視圖的梯度相似度；
[0022] 分別提取失真立體圖像右視圖的色度的相似度；
[0023] 計(jì)算原始立體圖像右視圖和失真立體圖像右視圖之間的相似度；
[0024] 計(jì)算失真立體圖像左視圖的相似度，將失真立體圖像右視圖的相似度、左視圖的 相似度圖使用平均值法得到失真立體圖像質(zhì)量圖；
[0025] 對原始立體圖像的絕對差值圖和失真立體圖像的絕對差值圖采用結(jié)構(gòu)相似度算 法，提取失真立體圖像的絕對差值圖的質(zhì)量圖；
[0026] 將失真立體圖像質(zhì)量圖與絕對差值圖的質(zhì)量圖融合，得到立體圖像綜合質(zhì)量圖。
[0027] 本發(fā)明提供的技術(shù)方案的有益效果是：本方法在初始立體顯著圖的基礎(chǔ)上，采用 中央偏移與中心凹特性得到最優(yōu)立體視覺顯著圖，更好地模擬了人類視覺系統(tǒng)提取顯著區(qū) 域的視覺過程。然后將立體視覺顯著圖和立體圖像質(zhì)量圖加權(quán)相乘并歸一化，獲取立體圖 像客觀評價(jià)值。與其它三種算法相比較，本算法避免了對整幅圖像不同區(qū)域采用同等權(quán)重 的缺陷。通過實(shí)驗(yàn)驗(yàn)證表明，本方法在立體圖像質(zhì)量客觀評價(jià)方面整體性能優(yōu)于3SIQA[8] 算法、DSSM[3]算法和SSM[1]算法，具有實(shí)際可行性。
【附圖說明】
[0028] 圖1為源圖像"tree2"的示意圖；
[0029] 圖2為源圖像"girl"的示意圖；
[0030] 圖3為源圖像"tree1"的示意圖；
[0031] 圖4為源圖像"tju"的示意圖；
[0032] 圖5為源圖像"family"的示意圖；
[0033] 圖6為降質(zhì)圖像"river"的示意圖；
[0034] 圖7為源圖像"ox"的示意圖；
[0035] 圖8為源圖像"woman"的示意圖；
[0036] 圖9為基于立體視覺顯著性的立體圖像質(zhì)量評價(jià)方法框圖；
[0037] 圖10為原始顯著圖、結(jié)合兩種影響因素的顯著圖對比圖；
[0038] (a)為失真立體圖像右視圖；(b)為優(yōu)化前的立體顯著圖SMl; (C)為經(jīng)中央偏移 優(yōu)化后的立體顯著圖SM' ；（d)為SM'經(jīng)中心凹優(yōu)化后的立體顯著圖SM。
[0039] 圖11為基于立體視覺顯著性的立體圖像質(zhì)量客觀評價(jià)方法的流程圖。
【具體實(shí)施方式】
[0040] 為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面對本發(fā)明實(shí)施方式作進(jìn)一步 地詳細(xì)描述。
[0041] 為了解決【背景技術(shù)】中存在的問題，本發(fā)明旨在首先通過模擬視覺顯著性以初步確 定失真立體圖像的立體視覺顯著圖，再通過模擬中央偏移和中心凹特性對初步確定的立體 視覺顯著圖進(jìn)行優(yōu)化，提取較準(zhǔn)確的立體視覺顯著圖；其次，融合左、右視圖的質(zhì)量圖和絕 對差值圖的質(zhì)量圖得到立體圖像綜合質(zhì)量圖；最后，使用立體視覺顯著圖對立體圖像綜合 質(zhì)量圖進(jìn)行加權(quán)求和，得到失真立體圖像質(zhì)量的客觀評價(jià)值，詳見下文描述。
[0042] 實(shí)施例1
[0043] 一種基于立體視覺顯著性的立體圖像質(zhì)量客觀評價(jià)方法，參見圖11，立體圖像質(zhì) 量客觀評價(jià)方法包括以下步驟：
[0044] 101 :通過模擬中央偏移和中心凹特性，對立體視覺顯著圖進(jìn)行優(yōu)化，提取優(yōu)化后 的立體視覺顯著圖；
[0045] 102 :根據(jù)失真立體圖像質(zhì)量圖、絕對差值圖的質(zhì)量圖得到立體圖像綜合質(zhì)量圖；
[0046] 103:通過立體視覺顯著圖對立體圖像綜合質(zhì)量圖進(jìn)行加權(quán)求和，獲取失真立體圖 像質(zhì)量客觀評價(jià)值。
[0047] 其中，在步驟101之前，該立體圖像質(zhì)量客觀評價(jià)方法還包括：通過模擬視覺顯著 性，獲取失真立體圖像的立體視覺顯著圖，該步驟具體為：
[0048] 將失真立體圖像右視圖從RGB色彩空間轉(zhuǎn)換到Y(jié)CbCr色彩空間，劃分為不重疊的 圖像塊，對圖像塊進(jìn)行離散余弦變換（Discrete Cosine Transform，離散余弦）變換； [0049] 將亮度對比度特征顯著圖、色度對比度特征顯著圖、紋理對比度特征顯著圖和失 真立體圖像的絕對差值圖進(jìn)行歸一