一種基于視差變化連續(xù)性調(diào)節(jié)的立體視頻舒適度增強(qiáng)方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及立體視頻舒適度增強(qiáng)和3D圖像處理領(lǐng)域，特別涉及一種基于視差變 化連續(xù)性調(diào)節(jié)的立體視頻舒適度增強(qiáng)方法。 技術(shù)背景
[0002] 3D電視的誕生，給很多喜歡看3D電影的朋友帶來了福音，但是由于目前3D電視 技術(shù)的不完善，也導(dǎo)致了長時(shí)間觀看3D電視節(jié)目，容易導(dǎo)致惡心、頭暈眼花、頭痛等不同程 度的視覺疲勞。相關(guān)統(tǒng)計(jì)研宄表明，在看過3D視頻圖像的人中，36%的人有嚴(yán)重視覺疲勞 的感覺，7%的人由于嚴(yán)重視覺疲勞而無法持續(xù)觀看3D電影[1]。從1987年開始有少量的學(xué) 者對(duì)觀看3D視頻的視覺疲勞問題進(jìn)行研宄，隨著3D顯示技術(shù)取得突破性進(jìn)展和3D應(yīng)用需 求的不斷增長，最近幾年開始有較多的學(xué)者參與到觀看3D視頻視覺疲勞問題的研宄中。但 是，根據(jù)文獻(xiàn)檢索信息，這方面的研宄尚處于起步階段，研宄成果較少。對(duì)觀看3D視頻視覺 舒適度增強(qiáng)（視覺疲勞改善）問題的研宄主要有三個(gè)方面：產(chǎn)生視覺疲勞的因素分析和檢 測 [2^2°]、視覺疲勞的評(píng)價(jià)方法[m]以及增強(qiáng)視覺舒適度（改善視覺疲勞）的方法[& 38]。
[0003] 從人眼的視覺感知機(jī)理研宄表明，引起3D視頻視覺疲勞的原因主要有輻輳和調(diào) 節(jié)的不一致、垂直視差、視差變化的不連續(xù)性和串?dāng)_等。Emoto,M等人的研宄表明，即使不 考慮過度視差，視差的不連續(xù)變化也是導(dǎo)致立體視疲勞的主要因素[5]。
[0004] 國際上，2010年開始美國舊金山杜比實(shí)驗(yàn)室的科學(xué)家就已經(jīng)與加州大學(xué)舊金山分 校等高校展開合作，改善3D互動(dòng)技術(shù)的欣賞舒適度。2011年美國加州大學(xué)伯克利分校的 研宄團(tuán)隊(duì)通過改進(jìn)3D眼鏡為改善視覺疲勞問題提供了解決方法，該方法在眼鏡上安裝特 殊的監(jiān)控設(shè)備，當(dāng)影像出現(xiàn)時(shí)，可以通過遮擋部分影像來幫助雙眼對(duì)焦，以此緩解眼部的緊 張，這種方法在一定程度上起到了幫助改善視覺疲勞的作用。2012年韓國光州科學(xué)技術(shù)院 和三星公司聯(lián)合申請(qǐng)的美國專利中公開了一種提高3D攝像儀3D效果和減輕視覺疲勞的方 法和儀器，該方法首先利用左右眼圖像的匹配特征點(diǎn)計(jì)算出視差，如果視差不在舒適觀賞 的視差范圍內(nèi)，則移動(dòng)左眼或同時(shí)移動(dòng)雙眼的鏡頭調(diào)整視差，使達(dá)到輻輳和調(diào)節(jié)的一致性， 從而達(dá)到減輕視覺疲勞的目的。2010年日本日立顯示器開發(fā)出可降低視覺疲勞的3D液晶 面板，其采用視差柵格方式，即在液晶面板前方配置長條狀格柵，使雙眼可分別觀賞3D顯 示的左眼用及右眼用影像，這種面板減弱了會(huì)導(dǎo)致視覺疲勞的過度立體感。
[0005] 國內(nèi)在增強(qiáng)視覺舒適度（改善視覺疲勞）方法的研宄方面，有北京郵電大學(xué)的王 飛課題組在深入分析觀看立體影像引起視覺疲勞原因的基礎(chǔ)上，提出了可以用增加補(bǔ)正透 鏡等方法改善視覺疲勞以及可以通過控制觀看時(shí)間和避免視差過大和視差不連續(xù)變化改 善視覺疲勞。但是對(duì)由于視差變化不連續(xù)性引起的視覺疲勞的改善方法尚未見研宄報(bào)道。

【發(fā)明內(nèi)容】

[0006] 本發(fā)明要解決的技術(shù)問題在于提供一種基于視差變化連續(xù)性調(diào)節(jié)的立體視頻舒 適度增強(qiáng)方法，通過本發(fā)明可以有效地增強(qiáng)觀看立體視頻的舒適度。該方法詳見下文描 述：
[0007] -種基于視差變化連續(xù)性調(diào)節(jié)的立體視頻舒適度增強(qiáng)方法，所述方法包括以下步 驟：
[0008] 第一步：將0.2秒作為一個(gè)考察時(shí)段，在立體視頻解碼過程中提取當(dāng)前時(shí)段幀的 視差和運(yùn)動(dòng)矢量彳目息；
[0009] 第二步：根據(jù)立體視頻舒適度模型，設(shè)每一時(shí)刻圖像幀的立體視頻舒適度為CL， 計(jì)算每個(gè)考察時(shí)段的立體視頻舒適度的平均值Ft;
[0010] 每一時(shí)刻圖像幀的立體視頻舒適度CL計(jì)算公式如下：
[0011] CL=MV+DV
[0012] 其中，
[0015]其中，
[0016]CL表示每一時(shí)刻立體視頻舒適度值；
[0017]N表示每一時(shí)刻圖像幀中的宏塊總數(shù)；
[0018] n表示第n個(gè)宏塊；
[0019]MV表示運(yùn)動(dòng)矢量值；
[0020] DV表不視差值；
[0021] 和別表示第n個(gè)宏塊的運(yùn)動(dòng)矢量在水平和垂直方向上的分量值；
[0022] 和分別表示第n個(gè)宏塊的水平視差和垂直視差。
[0023] 第三步：判斷前一個(gè)時(shí)段的立體視頻舒適度平均值Ft_a2和后一時(shí)段立體視頻舒 適度平均值匕+(|.2的關(guān)系是否滿足
其中和$_分別表示 所有時(shí)段內(nèi)立體視頻舒適度平均值的最大值和最小值，F(xiàn)th表示設(shè)定閾值。若滿足，則對(duì)當(dāng) 前考察時(shí)段進(jìn)行非舒適幀調(diào)節(jié)，生成新的圖像替換原圖像，播放生成的新視頻；若不滿足， 則直接播放視頻；
[0024] 非舒適幀視差調(diào)節(jié)方法包括下列步驟：
[0025] 步驟1):提取當(dāng)前考察時(shí)段內(nèi)立體視頻舒適度CL值最大的視頻幀的前后兩幀匹 配點(diǎn)對(duì)應(yīng)像素的R、G、B分量值；
[0026] 步驟2):將R、G、B分量值加權(quán)平均計(jì)算如下：
[0027] Dest[h] [w]_r = (aSource1 [h] [w]_r+0 Source2 [hr ] [wr ]_r)
[0028] Dest[h] [w]_g = (aSource1 [h] [w]_g+0 Source2 [hr ] [wr ]_g)
[0029] Dest[h][w]_b =(a Source1[h][w]_b+0 Source2[h' ] [w' ]_b)
[0030]h' =h+Ah [0031]wr =w+Aw [0032]a+|3 = 1
[0033]其中，
[0034]Sourcel[h] [w]_r、Sourcel[h] [w]_g和Sourcel[h] [w]_b分別表不前幀每個(gè)像素 的R、G、B分量值，h和w分別為前幀每個(gè)像素的水平和垂直坐標(biāo)；
[0035]Source2[h' ] [w' ]_r、Source2[h' ] [w' ]_g和Source2[h' ] [w' ]_b分別 表示后幀每個(gè)像素的
[0036]R、G、B分量值，h'和w'分別為后幀每個(gè)像素的水平和垂直坐標(biāo)；
[0037]Dest[h] [w]_r、Dest[h] [w]_g和Dest[h] [w]_b分別表示新圖像的每個(gè)像素的R、 G、B分量值，h和w分別為新圖像的每個(gè)像素的水平和垂直坐標(biāo)；
[0038]Ah和Aw分別表示后幀和前幀對(duì)應(yīng)匹配點(diǎn)的運(yùn)動(dòng)矢量的水平和垂直方向的分量 值；a和0均為常數(shù)，表示權(quán)值。
[0039] 本發(fā)明的特點(diǎn)及有益效果：
[0040] 本發(fā)明提出一種基于視差變化連續(xù)性調(diào)節(jié)的立體視頻舒適度增強(qiáng)方法，由于視差 和運(yùn)動(dòng)矢量變化過快，產(chǎn)生視覺感知突兀，視線匯聚困難，增加觀視者眼部負(fù)擔(dān)，產(chǎn)生視覺 疲勞，通過本發(fā)明可以有效地增強(qiáng)觀看立體視頻的舒適度。
【附圖說明】：
[0041] 圖1為本發(fā)明的方案流程圖。
【具體實(shí)施方式】
[0042] 為使本發(fā)明的目的，技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面將結(jié)合附圖和JMVC(Joint Multi-viewVideoCoding)多視點(diǎn)視頻編碼系統(tǒng)對(duì)本發(fā)明實(shí)施方式做進(jìn)一步的詳細(xì)敘述：
[0043] (1)將0.2秒作為一個(gè)考察時(shí)段，在JMVC(JointMulti-viewVideoCoding)多視 點(diǎn)編碼系統(tǒng)的解碼過程中提取當(dāng)前時(shí)段各幀的視差信息和運(yùn)動(dòng)矢量信息。視差信息為 和￡?17，其中，DF,"和分別表示第n個(gè)宏塊的水平視差和垂直視差。運(yùn)動(dòng)矢量信息為： If和其中If和分別表示第n個(gè)宏塊的運(yùn)動(dòng)矢量在水平和垂直方向上的分 量值。實(shí)驗(yàn)采用200幀分辨率為320X240的AC序列作為測試視頻，其幀率為25幀/秒， 將0. 2秒作為一個(gè)考察時(shí)段，S卩每個(gè)考察時(shí)段內(nèi)有5幀。
[0044] (2)根據(jù)立體視頻舒適度模型CL，計(jì)算每一時(shí)刻圖像幀的立體視頻舒適度如下：
[0045]CL=MV+DV
[0046]其中，
[0049]其中，
[0050] CL表示每一時(shí)刻立體視頻舒適度值；
[0051] N表示每一時(shí)刻圖像幀中的宏塊總數(shù)；
[0052] n表示第