基于視覺感知特性的立體圖像無參考質(zhì)量評價方法
【專利摘要】本發(fā)明涉及一種基于視覺感知特性的立體圖像無參考質(zhì)量評價方法，首先對圖像運用視覺顯著度模型算法選取人眼關(guān)注的區(qū)域；接著，對關(guān)注區(qū)域利用左右視圖提取表征立體視覺信息的深度圖作為評價依據(jù)；然后，對該區(qū)域的深度值做特征統(tǒng)計處理，并且在這一過程考慮了人眼深度敏感特性對深度感的影響；最后，結(jié)合時域的特征信息計算視頻序列深度質(zhì)量值。本發(fā)明方法較傳統(tǒng)方法結(jié)果精度有較大提高，且具有較高的深度圖生成效率，在立體感質(zhì)量評價模型中增加表示深度級影響人眼深度敏感性的權(quán)重因子，對立體圖像質(zhì)量具有更準(zhǔn)確的評價。
【專利說明】基于視覺感知特性的立體圖像無參考質(zhì)量評價方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種基于視覺感知特性的立體圖像無參考質(zhì)量評價方法。
【背景技術(shù)】
[0002]立體圖像深度感質(zhì)量評價指的是一種評價立體圖像內(nèi)容的立體感體驗質(zhì)量好壞的方法，評價立體圖像質(zhì)量的方法分為主觀評價和客觀評價兩種。主觀評價方法[1]的結(jié)果雖然更準(zhǔn)確，但需要組織專門人員進行觀測，代價昂貴且耗時，不適用于實時應(yīng)用和系統(tǒng)集成。因此，客觀質(zhì)量評價方法3]近年來已經(jīng)成為關(guān)注熱點。
[0003]在立體圖像客觀評價方法中，2008年，Benoit擴展了傳統(tǒng)2D圖像客觀質(zhì)量評價方法，引入表示左右兩圖差異的視差圖，將視差圖的失真值與左右圖客觀質(zhì)量的平均值進行線性結(jié)合，最終的值表示立體圖像質(zhì)量M。該方法在傳統(tǒng)2D圖像客觀質(zhì)量基礎(chǔ)上增加考慮了深度質(zhì)量，但是沒有討論視差圖對于深度質(zhì)量的影響。
[0004]2009年，Jiachen Yang等提出將圖像質(zhì)量和立體感知分開評價,通過左右圖相減得到的絕對視差圖來判斷圖像立體感，用視差圖的失真表示立體感知客觀質(zhì)量[5]。該方法計算簡單，但是僅僅用實驗表明絕對視差圖對立體感的作用，缺乏相關(guān)理論分析。
[0005]2010年，You等人通過將2D質(zhì)量評價算法應(yīng)用在立體圖像對和視差圖上進一步擴展預(yù)測3D立體圖像對質(zhì)量的方法[6]。他們應(yīng)用了大量的全參考2D質(zhì)量評價算法測試立體圖像對和視差圖，并得出結(jié)論，預(yù)測3D立體影像的質(zhì)量時使用SSIM計算立體圖像對質(zhì)量，應(yīng)用平均絕對差(MAD)估計視差圖質(zhì)量可以產(chǎn)生良好的性能。
[0006]2011年，Sarikan將深度圖分割成不同的深度平面，并利用SSM對層，幀，序列三個級別進行了加權(quán)計算，將深度圖的評價擴展到了立體視頻質(zhì)量評價[7]。
[0007]2012年，Lebreton深入分析了產(chǎn)生立體感知的原理，對視差圖的生成，深度圖分割和空時域信息的運用都做出具體討論分析，從而建立了立體視頻深度感知模型[2]，同時不同于之前的方法，該模型是一種非參考質(zhì)量評價方法。
[0008]2013年，Sohn等人M利用立體圖像的感知質(zhì)量和視覺信息之間的關(guān)系，并引入雙目質(zhì)量感知模型，提出一種立體圖像無參考質(zhì)量方法。該方法在模糊和塊效應(yīng)失真的情況下建立人眼視覺系統(tǒng)的雙目質(zhì)量感知模型。左右圖像感知模糊強度和塊效應(yīng)的分?jǐn)?shù)被計算使用局部模糊強度，塊效應(yīng)強度和視覺顯著度信息，然后使用雙目質(zhì)量感知模型合成整體質(zhì)量索引。該方法適用于存在失真并且左右視點圖像不對稱的應(yīng)用場景。
[0009]由文獻分析可知，利用視差信息的立體圖像質(zhì)量評價方法主要包含全參考和無參考兩種方法，全參考評價方法沿用2D圖像客觀質(zhì)量評價方法預(yù)測左右視圖和視差圖質(zhì)量，但是全參考方法需要原始圖像作參考，而許多應(yīng)用中無法滿足該條件，因而無參考方法成為近期的研究熱點。
[0010]前沿的立體圖像無參考質(zhì)量評價方法M中，第一步，依據(jù)視差生成深度圖，視差代表著雙眼線索的差異，深度值通過視差、左右攝像機的焦距以及基線位置三個參數(shù)并量化計算轉(zhuǎn)化成8位數(shù)值可得，并以深度圖的形式保存。第二步，將所得的深度圖劃分成若干區(qū)域，進行分割，當(dāng)這些區(qū)域的深度變化值小于某規(guī)定閾值時，則不考慮此塊對該立體圖像客觀評價結(jié)果的影響。第三步，對所選擇區(qū)域的特征統(tǒng)計，特征統(tǒng)計的方法是計算選擇區(qū)域的每個像素點的標(biāo)準(zhǔn)差，并取對數(shù)標(biāo)準(zhǔn)化，所得結(jié)果為前沿的立體圖像質(zhì)量評價方法的評價結(jié)果。
[0011]在第一步中，前沿方法中生成深度圖的過程復(fù)雜度較高，而第二步中的區(qū)域分割所選取的區(qū)域與人眼關(guān)注區(qū)域也不一定相同，因此未先提取圖像中對人眼視覺有顯著影響的信息而生成深度圖不僅造成該質(zhì)量評價方法實現(xiàn)效率較低，且將影響到評價結(jié)果的準(zhǔn)確性。
[0012]在第三步中，區(qū)域內(nèi)的像素值到深度感質(zhì)量值的過程使用線性映射，沒有區(qū)分對待不同像素值的敏感度特點，這導(dǎo)致該方法獲得的深度感評價值與實際人眼感知不一致。
[0013]在立體圖像的無參考質(zhì)量評價方法中，分析影響立體圖像視覺效果的因素，準(zhǔn)確地提取反映立體圖像深度質(zhì)量的特征信息，是建立有效的質(zhì)量評價方法的前提和基礎(chǔ)。因此，本文方法首先對圖像運用視覺顯著度模型算法選取人眼關(guān)注的區(qū)域，接著，對關(guān)注區(qū)域利用左右視圖提取了表征立體視覺信息的深度圖作為評價依據(jù)；然后對該區(qū)域的深度值做特征統(tǒng)計處理，并且在這一過程考慮了人眼深度敏感特性對深度感的影響；最后，結(jié)合時域的特征信息計算視頻序列深度質(zhì)量值。因此，模型的總體框架有4個主要步驟:1)視覺關(guān)注區(qū)域選取；2)深度圖生成；3)所選擇區(qū)域的特征統(tǒng)計；4)視頻深度質(zhì)量值計算；下面我們主要討論前3個具體步驟。
[0014]傳統(tǒng)方法需要依據(jù)深度信息評價立體圖像深度感知，深度圖的生成步驟成為評價過程的重要環(huán)節(jié)。該步驟通過估計左右視圖視差信息，進而轉(zhuǎn)化成相應(yīng)的深度值，但視差估計要匹配左右圖相應(yīng)像素的位置，計算復(fù)雜度很高，導(dǎo)致評價效率低；由于深度圖中人眼關(guān)注區(qū)域?qū)ψ詈笊疃雀兄挠绊懘驧，而顯著度模型能夠計算圖像的人眼關(guān)注程度，我們利用基于圖形的視覺關(guān)注度模型M獲取關(guān)注度圖，該模型通過馬爾科夫鏈構(gòu)建節(jié)點間關(guān)系，計算簡單并且性能優(yōu)秀。

【發(fā)明內(nèi)容】

[0015]本發(fā)明的目的在于提供一種計算簡單并且性能優(yōu)秀的基于視覺感知特性的立體圖像無參考質(zhì)量評價方法。
[0016]為實現(xiàn)上述目的，本發(fā)明的技術(shù)方案是:一種基于視覺感知特性的立體圖像無參考質(zhì)量評價方法，包括如下步驟，
步驟S1:視覺關(guān)注區(qū)域選取:對圖像運用視覺顯著度模型算法選取人眼關(guān)注的區(qū)域； 步驟S2:深度圖生成:對上述關(guān)注區(qū)域的左右視圖提取表征立體視覺信息，生成深度
圖；
步驟S3:深度圖的特征統(tǒng)計:對深度圖的深度值做特征統(tǒng)計處理，即通過深度最小可覺察誤差模型確定人眼對深度圖像素值的可感知范圍和敏感度因子，并結(jié)合計算深度的相對層次性，得出立體圖像的立體感客觀質(zhì)量值；
步驟S4:視頻深度質(zhì)量值計算:結(jié)合時域的特征信息計算視頻序列深度質(zhì)量值，即通過將連續(xù)相鄰多幀圖像的深度質(zhì)量估計值進行平均。
[0017]在本發(fā)明實施例中，所述步驟SI中對圖像運用視覺顯著度模型算法選取人眼關(guān)注的區(qū)域，具體方法如下，
選取絕對顯著圖A中像素值大于第75百分位數(shù)的區(qū)域A’，即通過設(shè)置一閾值ε選取
人眼關(guān)注區(qū)域，該人眼關(guān)注區(qū)域選取公式如下，
【權(quán)利要求】
1.一種基于視覺感知特性的立體圖像無參考質(zhì)量評價方法，其特征在于:包括如下步驟， 步驟S1:視覺關(guān)注區(qū)域選取:對圖像運用視覺顯著度模型算法選取人眼關(guān)注的區(qū)域； 步驟S2:深度圖生成:對上述關(guān)注區(qū)域的左右視圖提取表征立體視覺信息，生成深度圖； 步驟S3:深度圖的特征統(tǒng)計:對深度圖的深度值做特征統(tǒng)計處理，即通過深度最小可覺察誤差模型確定人眼對深度圖像素值的可感知范圍和敏感度因子，并結(jié)合計算深度的相對層次性，得出立體圖像的立體感客觀質(zhì)量值； 步驟S4:視頻深度質(zhì)量值計算:結(jié)合時域的特征信息計算視頻序列深度質(zhì)量值，即通過將連續(xù)相鄰多幀圖像的深度質(zhì)量估計值進行平均。
2.根據(jù)權(quán)利要求1所述的基于視覺感知特性的立體圖像無參考質(zhì)量評價方法，其特征在于:所述步驟SI中對圖像運用視覺顯著度模型算法選取人眼關(guān)注的區(qū)域，具體方法如下， 選取絕對顯著圖A中像素值大于第75百分位數(shù)的區(qū)域A’，即通過設(shè)置一閾值ε選取人眼關(guān)注區(qū)域，該人眼關(guān)注區(qū)域選取公式如下，
3.根據(jù)權(quán)利要求2所述的基于視覺感知特性的立體圖像無參考質(zhì)量評價方法，其特征在于:所述步驟S2的深度圖生成，具體包括如下步驟， 步驟S21:設(shè)上述關(guān)注區(qū)域的左視圖中的A’非零區(qū)域的分塊為Yi,在上述關(guān)注區(qū)域的右視圖中水平方向匹配尋找最相似分塊Yj ; 步驟S22:計算得分塊Yi的視差為: s=yi-yj(2) 其中，yi為分塊Yi中以左視圖中心為原點的特征點位置，yj為分塊Yj中以右視圖中心為原點的特征點位置，所述視差即雙眼線索的差異； 步驟S23:根據(jù)視差與像素間的關(guān)系可知: Z = fxb/s(3) 其中，Z為深度值，/為焦距，6為基線，即雙目攝像頭間距； 步驟S24:根據(jù)非線性8位深度量化函數(shù)將深度值量化為離散的深度級并保存為深度圖，該函數(shù)公式如下，
4.根據(jù)權(quán)利要求3所述的基于視覺感知特性的立體圖像無參考質(zhì)量評價方法，其特征在于:所述步驟S3深度圖的特征統(tǒng)計，具體方式為，利用標(biāo)準(zhǔn)差公式表示深度層次性，該公式如下，
5.根據(jù)權(quán)利要求4所述的基于視覺感知特性的立體圖像無參考質(zhì)量評價方法，其特征在于:當(dāng)深度值^的變化小于D-NOSE(V)范圍或深度最小可覺察誤差JNDD閾值時，人眼無法判別到立體感變化，因此，公式(5)的標(biāo)準(zhǔn)差計算之前需將每一個深度值依據(jù)JNDD閾值進行預(yù)處理，該公式如下，
6.根據(jù)權(quán)利要求5所述的基于視覺感知特性的立體圖像無參考質(zhì)量評價方法，其特征在于:所述JNDD通用計算模型如公式(8)，并根據(jù)公式(8)，將雙眼視差的JNDD定義為
7.根據(jù)權(quán)利要求6所述的基于視覺感知特性的立體圖像無參考質(zhì)量評價方法，其特征在于:所述視頻深度質(zhì)量值計算，即在立體感質(zhì)量評價模型中增加表示深度級影響人眼深度敏感性的權(quán)重因子，假設(shè)該權(quán)重因子與JNDD成反比，則深度質(zhì)量可表示為:
【文檔編號】H04N17/00GK103763552SQ201410052909
【公開日】2014年4月30日 申請日期:2014年2月17日 優(yōu)先權(quán)日:2014年2月17日
【發(fā)明者】蘭誠棟, 吳宇笙, 李亞格, 楊秀芝, 陳建 申請人:福州大學(xué)