一種基于顯著性的深度感知增強(qiáng)方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及圖像處理技術(shù)及立體成像領(lǐng)域，尤其涉及一種考慮到視覺(jué)注意機(jī)制和 場(chǎng)景復(fù)雜度的深度感知增強(qiáng)方法。
【背景技術(shù)】
[0002] 深度感知增強(qiáng)是一種改善立體顯示效果的新型技術(shù)。隨著立體顯示技術(shù)的蓬勃發(fā) 展，人類(lèi)在享受3D盛宴的同時(shí)，對(duì)立體顯示效果的要求也越來(lái)越高。近幾年，廣大研究者針 對(duì)如何增強(qiáng)立體顯示的立體感，從不同角度進(jìn)行了大量的研究。其中，Yang等[1]通過(guò)對(duì)一 定數(shù)量的觀察者進(jìn)行統(tǒng)計(jì)，評(píng)估他們對(duì)于3D場(chǎng)景中相鄰物體的深度差的靈敏度，得出背景 視差越小感知相鄰物體深度差異的能力越強(qiáng)。Sohn等[2]將視差圖分為粗略視差層和細(xì)節(jié) 視差層，通過(guò)增強(qiáng)細(xì)節(jié)視差層的權(quán)重達(dá)到感知增強(qiáng)的目的。Jung[3]提出一種深度感知增強(qiáng) 算法，通過(guò)對(duì)恰可察覺(jué)深度差異（JNDD, Just Noticeable Depth Difference)模型的研究， 對(duì)深度圖進(jìn)行分割分層處理，對(duì)層間的深度差值小于JNDD閾值的對(duì)象，采用能量最小化方 法進(jìn)行增強(qiáng)。此后，Jung等[4]還提出一種修正的JNDD模型，該模型表示由于場(chǎng)景深度的 不同，人眼觀測(cè)同一物體的大小尺寸會(huì)有差異，從而在進(jìn)行深度感知增強(qiáng)時(shí)，這種差異性是 應(yīng)該被考慮，從而得到修正的JNDD模型，并將該模型應(yīng)用于深度感知增強(qiáng)。以上提到的深 度感知增強(qiáng)算法并不能保證所有相鄰深度層都能夠被拉伸，甚至不能保證人眼感興趣區(qū)域 的立體感知被有效的改善。
[0003] 眾所周知，人類(lèi)視覺(jué)系統(tǒng)具有在圖像中迅速定位對(duì)象、精確識(shí)別對(duì)象的卓越能力。 使機(jī)器也擁有這種能力并代替人類(lèi)對(duì)圖像進(jìn)行識(shí)別、分類(lèi)的美好愿景催生了計(jì)算機(jī)視覺(jué)學(xué) 科。視覺(jué)注意（Visual Attention) /圖像顯著性（Image Saliency)作為計(jì)算機(jī)視覺(jué)的一 個(gè)分支，是指在圖像中提取引起人視覺(jué)關(guān)注或吸引觀看者興趣的區(qū)域或?qū)ο蟮倪^(guò)程。同時(shí)， 認(rèn)知心理學(xué)和神經(jīng)生理學(xué)領(lǐng)域的研究也指出，人類(lèi)視覺(jué)系統(tǒng)在面對(duì)復(fù)雜場(chǎng)景時(shí)，人類(lèi)的注 意力會(huì)迅速集中在少數(shù)顯著的視覺(jué)對(duì)象上，并對(duì)這些對(duì)象進(jìn)行優(yōu)先處理。因此，視覺(jué)注意涉 及計(jì)算機(jī)視覺(jué)、認(rèn)知心理學(xué)與神經(jīng)生理學(xué)等學(xué)科。視覺(jué)注意模型通過(guò)計(jì)算顯著圖來(lái)模擬人 類(lèi)的視覺(jué)認(rèn)知能力，并以之定位給定復(fù)雜場(chǎng)景中吸引人眼關(guān)注的關(guān)鍵對(duì)象，雖然較之人類(lèi) 視覺(jué)系統(tǒng)其效果和效率較低，但是其已經(jīng)獲得了廣泛的應(yīng)用。
[0004] 本發(fā)明對(duì)深度感知增強(qiáng)中存在的不足進(jìn)行研究，提出了一種基于顯著性的深度感 知增強(qiáng)方法。
[0005] 參考文獻(xiàn)：
[0006] [1]S. Yang et al., "Discernible difference and change in object depth afforded by stereoscopic three-dimensional content, '，in Proc. SPIE, Stereoscopic Displays Appl. XXIV，2013, pp. 86481C-1 - 86481C-11.
[0007] [2]H. Sohn, Y. J. Jung, andY. M. Ro, "Local disparity remappingto enhance depth quality of stereoscopic 3-D images using stereoacuity function, '，in Proc. SPIE,Stereoscopic Displays Appl. XXV, 2014, pp. 90110L-1 - 90110L-6.
[0008] [3] S.-W. Jung and S.-J. Ko, "Depth sensation enhancement using the just noticeable depth difference,'，IEEE Trans. Image Process. , vol. 21, no. 8, pp. 3624 - 3637, Aug. 2012.
[0009] [4]S.-ff. Jung, aA modified model of the just noticeable depth difference and its application to depth sensation enhancement, '，IEEE Trans. Image Process. , vol. 22, no. 10, pp. 3892 - 3903, Oct. 2013

【發(fā)明內(nèi)容】

[0010] 本發(fā)明提供了一種基于顯著性的深度感知增強(qiáng)方法，本發(fā)明通過(guò)對(duì)圖像場(chǎng)景進(jìn)行 顯著性提取，進(jìn)行有選擇性的基于顯著性的深度感知增強(qiáng)，改善立體顯示效果，詳見(jiàn)下文描 述：
[0011] 一種基于顯著性的深度感知增強(qiáng)方法，所述深度感知增強(qiáng)方法包括以下步驟：
[0012] 統(tǒng)計(jì)分割圖的場(chǎng)景中對(duì)象的數(shù)量，進(jìn)行場(chǎng)景復(fù)雜度分析，篩選復(fù)雜場(chǎng)景；
[0013] 對(duì)復(fù)雜場(chǎng)景進(jìn)行顯著性提取，獲取顯著性因子，并獲取基于顯著性因子的顯著性 感知增強(qiáng)的能量函數(shù)；
[0014] 通過(guò)顯著性感知增強(qiáng)的能量函數(shù)獲取深度感知增強(qiáng)后的深度圖；
[0015] 根據(jù)深度感知增強(qiáng)后的深度圖進(jìn)行虛擬視點(diǎn)繪制。
[0016] 其中，所述深度感知增強(qiáng)方法還包括：
[0017] 對(duì)深度圖進(jìn)行信息標(biāo)注，將深度圖和標(biāo)記信息作為半自動(dòng)分割法的輸入，輸出分 割圖。
[0018] 其中，所述顯著性因子具體為：
[0020] 其中，λ是比1大的一個(gè)常量。
[0021] 進(jìn)一步地，所述基于顯著性因子的顯著性感知增強(qiáng)的能量函數(shù)具體為：
[0023] 其中，x°表示原始深度圖的每一層的平均深度像素值的集合；X表示感知增強(qiáng)后深 度圖的每一層的平均深度像素值的集合;Wl是常量因子；M表示分割圖的分割層數(shù)；Φ 1表 示與第i分割層相鄰的分割層的集合;<表示原始深度圖中位于第i層的物體深度平均值； X1表示感知增強(qiáng)后深度圖中位于第i層的物體深度平均值；X 表示感知增強(qiáng)后深度圖中位 于第j層的物體深度平均值；D_d表示恰可察覺(jué)深度差異模型。
[0024] 本發(fā)明提供的技術(shù)方案的有益效果是：本發(fā)明依據(jù)顯著性原理來(lái)選擇性的拉伸深 度圖，優(yōu)先保證與顯著性物體相鄰分割層的深度差異達(dá)到人眼可察覺(jué)的深度差異閾值，使 得人眼能夠感知到場(chǎng)景中視覺(jué)注意區(qū)域之間的層次感，有效的增強(qiáng)了顯示圖像的深度感、 改善了立體效果。
【附圖說(shuō)明】
[0025] 圖1為一種基于顯著性的深度感知增強(qiáng)方法的流程圖；
[0026] 圖2為未采用本發(fā)明方法的原始深度圖和彩色圖；
[0027] 圖3為顯著性物體提取結(jié)果和采用本方法的增強(qiáng)后的深度圖。
【具體實(shí)施方式】
[0028] 為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面對(duì)本發(fā)明實(shí)施方式作進(jìn)一步 地詳細(xì)描述。
[0029] 實(shí)施例1
[0030] 本發(fā)明實(shí)施例旨在克服現(xiàn)有技術(shù)的不足，針對(duì)當(dāng)前深度感知增強(qiáng)算法對(duì)復(fù)雜場(chǎng)景 的適應(yīng)性有限，研究基于顯著性的深度感知增強(qiáng)算法，為立體顯示，深度感知增強(qiáng)奠定基 礎(chǔ)。研究表明人眼會(huì)首先關(guān)注復(fù)雜場(chǎng)景吸引觀看者興趣的物體或區(qū)域，稱(chēng)為視覺(jué)注意或者 視覺(jué)顯著性。因此為達(dá)到上述目的，本發(fā)明實(shí)施例依據(jù)視覺(jué)注意原理，實(shí)現(xiàn)了一種基于視覺(jué) 顯著性的深度感知增強(qiáng)方法，參見(jiàn)圖1，具體的技術(shù)方案分為下列步驟：
[0031] 101 :對(duì)深度圖進(jìn)行信息標(biāo)注，將深度圖和標(biāo)記信息作為半自動(dòng)分割法的輸入，輸 出分割圖；
[0032] 為了獲得較為精確的分割效果，本發(fā)明實(shí)施例采用精確的半自動(dòng)分割法，該方法 為非局部隨機(jī)游走算法，該步驟具體為：首先對(duì)深度圖進(jìn)行信息標(biāo)注，之后將標(biāo)記信息和深 度圖作為非局部隨機(jī)游走算法的輸入，獲得分割圖。其中，非局部隨機(jī)游走算法為本領(lǐng)域技 術(shù)人員所公知，本發(fā)明實(shí)施例對(duì)此不做贅述。
[0033] 具體實(shí)現(xiàn)時(shí)，也可以為其他的半自動(dòng)分割法，本發(fā)明實(shí)施例對(duì)此不做限制。
[0034] 102 :統(tǒng)計(jì)分割圖的場(chǎng)景中對(duì)象的數(shù)量，進(jìn)行場(chǎng)景復(fù)雜度分析，篩選復(fù)雜場(chǎng)景；
[0035] 即，根據(jù)上述的分割圖，統(tǒng)計(jì)場(chǎng)景中對(duì)象數(shù)量（與分割圖的分割層數(shù)一致）進(jìn)行場(chǎng) 景復(fù)雜度分析。場(chǎng)景復(fù)雜度分析公式如下：
[0037] 其中，N表示繪制中間虛擬視點(diǎn)的數(shù)量，根據(jù)立體顯示環(huán)境的要求指定N的大??； d表示深度圖的像素值；將對(duì)象數(shù)量即深度層大于K的定義為復(fù)雜場(chǎng)景，其它情況為簡(jiǎn)單場(chǎng) 景。Djndd是恰可察覺(jué)深度差異模型，定義如下：
[0039] 103 :對(duì)復(fù)雜場(chǎng)景進(jìn)行顯著性提取，獲取顯著性因子，并獲取基于顯著性因子的顯 著性感知增強(qiáng)的能量函數(shù)；
[0040] 對(duì)上述復(fù)雜場(chǎng)景進(jìn)行顯著性提取，設(shè)計(jì)顯著性因子，優(yōu)先保證拉伸