深度延時運動對觀看舒適度影響的erp分析方法
【專利摘要】本發(fā)明涉及一種深度延時運動對觀看舒適度影響的ERP分析方法，包括：對3D視頻右路在不同的位置分別進行不同的延時等級處理。將主觀評定標(biāo)準(zhǔn)劃分為兩個指標(biāo)：協(xié)調(diào)，不協(xié)調(diào)。分析被試者的主觀實驗結(jié)果。測量檢測率最一致的視差位置下不同延時等級的3D視頻所誘發(fā)的腦電波，得出不同延時等級的N200和P300成分能，呈現(xiàn)出ERP平均波形幅值。對不同延時等級下得到的ERP平均波形幅值進行比較分析，并與主觀實驗結(jié)果比較，得出腦電波N200和P300成分與3D視頻深度延時運動對立體舒適度影響之間的關(guān)系。本發(fā)明可以為建立基于ERP的立體圖像深度延時運動對觀看舒適度客觀評價方法提供基礎(chǔ)。
【專利說明】
深度延時運動對觀看舒適度影響的ERP分析方法
技術(shù)領(lǐng)域：
[0001 ]本發(fā)明涉及分析3D視頻舒適度領(lǐng)域。
【背景技術(shù)】：
[0002] 目前國內(nèi)外在分析3D圖像/視頻舒適度領(lǐng)域主要采用主觀和客觀兩種類型[1]。主 觀分析方法具有覆蓋范圍廣的特點，但由于被試的情緒、思維等差異性因素很容易導(dǎo)致給 出的分析結(jié)果沒有規(guī)律性，所以其應(yīng)用相對較少?？陀^分析方法包括兩者，一種是利用數(shù)字 圖像處理的算法提取3D圖像/視頻的特征，然后根據(jù)提取的特征來分析圖像/視頻的舒適 度，但是這種分析方法在數(shù)據(jù)量較少的情況下明顯存在很大的不足;另外一種就是采用ERP 腦電技術(shù)，由于人的立體感是在人的大腦中產(chǎn)生的，因此分析生理指標(biāo)應(yīng)該是最能體現(xiàn)人 眼視覺系統(tǒng)對3D圖像/視頻反應(yīng)的一種手段。目前以ERP技術(shù)為基礎(chǔ)的生理指標(biāo)分析方法已 經(jīng)成為研究3D圖像/視頻舒適度的新方法 [24]。將主觀行為實驗與以ERP為基礎(chǔ)的客觀實驗 結(jié)合起來，將得到更加合理的實驗結(jié)果。
[0003] [l]Li J,Barkowsky M,Le Callet P.Visual discomfort of stereoscopic 3D videos:Influence of 3D motion[J].Displays,2014,35(1):49~57.
[0004] [2]Kim D ff,Yoo J S,Seo Y H.Qualitative analysis of individual and composite content factors of stereoscopic 3D video causing visual discomfort [J],Displays,2013,34(3):223-240.
[0005] [3]Moorthy A K,Su C C,Mittal A,et al.Subjective evaluation of stereoscopic image quality[J].Signal Processing:Image Communication,2013,28 (8):870-883.
[0006] [4]Polonen M,Salmimaa M,HiikkincnJ.Effect of ambient illumination level on perceived autostereoscopic display quality and depth perception!!J] .Displays,2011,32(3):135-141.

【發(fā)明內(nèi)容】
：
[0007] 本發(fā)明的目的是提供一種基于ERP腦電技術(shù)來分析深度延時運動對立體觀看舒適 度影響的方法，為分析3D圖像/視頻出現(xiàn)延時所誘發(fā)的觀看舒適度問題提供基礎(chǔ)。本發(fā)明的 技術(shù)路線如下：
[0008] 一種深度延時運動對觀看舒適度影響的ERP分析方法，包括以下步驟：
[0009] 1)對3D視頻右路在不同的位置分別進行不同的延時等級處理，具體位置為視差-0.6°，-0.4°，-0.2°，0°，+0.2°，+0.4°，+0.6°處，在每一個延時位置設(shè)置四種延時等級無延 時、延時1幀、延時2幀、延時3幀。
[0010] 2)將主觀評定標(biāo)準(zhǔn)劃分為兩個指標(biāo):協(xié)調(diào)，不協(xié)調(diào)。
[0011] 3)分析被試者的主觀實驗結(jié)果，包括:不同視差位置處的延時檢測率，不同視差位 置處平均檢測率差異性統(tǒng)計。
[0012] 4)測量檢測率最一致的視差位置下不同延時等級的3D視頻所誘發(fā)的腦電波，得出 不同延時等級的N200和P300成分能，呈現(xiàn)出ERP平均波形幅值。
[0013] 5)對不同延時等級下得到的ERP平均波形幅值進行比較分析，并與主觀實驗結(jié)果 比較，得出腦電波N200和P300成分與3D視頻深度延時運動對立體舒適度影響之間的關(guān)系。
[0014] 主觀實驗得出的深度延時等級對3D視頻舒適度影響的結(jié)果是確切的，本發(fā)明提供 了一種分析不同深度延時等級條件下被試者腦電N200和P300成分的差異，得出其與舒適度 主觀實驗規(guī)律之間的聯(lián)系的方法。
【附圖說明】：
[0015] 通過附圖可以使本發(fā)明的實施步驟及優(yōu)點更加凸顯，也更加有利于使用者的理解 與操作。
[0016] 圖1 (a)為3D視頻首幀的左視圖，（b)為3D視頻末幀的左視圖，（C)為3D視頻首幀的 右視圖，（d)為3D視頻末幀的右視圖；
[0017] 圖2為實驗流程圖，A為圓點圖，B為無延時視頻，C為圓點圖，D為延時等級隨機視 頻，E為圓點圖；
[0018] 圖3為主觀實驗不同視差位置處不同延時等級的檢測率，圖（a)、（b)、（c)、（d)、 (e)、（f)、（g)依次為視差-0.6°，-0.4°，-0.2°，0°，+0.2°，+0.4°，+0.6°處；
[0019] 圖4為主觀實驗的平均檢測率差異性統(tǒng)計；
[0020] 圖5(a)為746ms時N200腦電地形圖，（b)為994ms時P300腦電地型圖；
[0021 ]圖6為Cz電極上不同延時等級誘發(fā)的N200和P300腦電波形圖；
[0022]圖7不同延時等級下ERP信號幅度差異性統(tǒng)計。 具體實施方案：
[0023] 為了使本發(fā)明的方案更加清楚明了和便于實施，以達到凸顯本發(fā)明優(yōu)點的目的， 對實施方案作詳細(xì)的闡述與說明。
[0024] 101:搭建 ERP 平臺
[0025] ERP實驗平臺的組成包括：高性能計算機2臺、Neuroscan信號放大器、立體顯示器 (刺激呈現(xiàn)裝置）、64導(dǎo)電極帽(Ag-AgCl電極，根據(jù)國際10-20系統(tǒng)分布）、偏光式立體眼鏡。 [0026] 立體顯示器為分辨率為1366X768，刷新頻率為60Hz的長虹立體電視，用E-prime 2.0呈現(xiàn)圖像刺激。被試者被要求佩戴偏光式立體眼鏡及Neuroscan公司的64導(dǎo)電極帽（阻 抗小于等于5KQ .被試距顯示屏距離為顯示屏垂直高度3倍處，圖像水平視角為32.86°，垂 直視角為18.48°。
[0027]對被試者的要求及條件為：身體健康，男女比例合適，年齡為23~27歲。所有被試 視力正常或矯正視力正常。所有被試精神狀態(tài)良好，實驗開始前簽署被試知情同意書，并獲 得相應(yīng)補償，預(yù)先使其熟悉整個實驗過程及注意事項，但不被告知實驗?zāi)康摹?br>[0028]實驗3D視頻刺激用Autodesk Maya軟件生成，攝像機參數(shù)嚴(yán)格參照水平運動的立 體素材制作。如圖1所示，視覺刺激為一個半徑為5cm的三維立體足球由屏內(nèi)向屏外作勻速 直線運動，運動距離為屏內(nèi)77.84cm至屏外31.46cm，運動時間為Is，幀頻為60Hz，設(shè)置7個不 同的延時位置，即在視差為-〇 . 6°，-〇. 4°，-〇 . 2°，0°，+0.2°，+0.4°，+0.6°處實現(xiàn)右視圖延 時。主觀實驗被試10個人，4女6男，ERP實驗被試6人，2男4女，年齡均為23~27歲之間。所有 被試視力正?；虺C正視力正常，其中主觀實驗2名被試有3D視頻/圖像相關(guān)工作經(jīng)驗，所有 被試精神狀態(tài)良好。
[0029] 實驗采用經(jīng)典的Oddball范式標(biāo)準(zhǔn)刺激呈現(xiàn)概率為70%，靶刺激呈現(xiàn)概率為30%。 一共分為500個試次，對于每一個試次，首先在屏幕中間呈現(xiàn)一個白色圓點以使被試者集中 注意力，時長為500ms;緊接著呈現(xiàn)無延時的視頻;之后呈現(xiàn)500ms的休息間隔以緩解視差過 大變動引起的不舒適感;然后以隨機方式呈現(xiàn)不同視差等級的延時視頻;最后在屏幕中間 呈現(xiàn)白色圓點，緊接著讓被試者判斷是否感知到由延時效應(yīng)引起的不協(xié)調(diào)感，若判斷為不 協(xié)調(diào)則點擊鼠標(biāo)左鍵，反之則點擊鼠標(biāo)右鍵，當(dāng)被試者點擊鼠標(biāo)時即進入下一個試次。實驗 過程排除噪音干擾，并要求被試保持放松狀態(tài)，不允許有任何實際動作。實驗中同時記錄被 試的腦電信號和行為數(shù)據(jù)。實驗流程如圖2所示。
[0030] 102:主觀行為數(shù)據(jù)的統(tǒng)計分析
[0031] 圖3為被試在不同視差位置不同延時等級下對延時感知的不協(xié)調(diào)率檢測曲線，可 以看出檢測率折線走勢基本一致，即隨著延時幀數(shù)的增加，檢測率逐漸增加。當(dāng)延時幀數(shù)為 1幀時，檢測率低于50%，當(dāng)延時幀數(shù)為2幀或3幀時，檢測率大于50%甚至幾乎為100%，說 名被試者對1幀以上的延時反映強烈。觀察7個視差等級發(fā)現(xiàn)，當(dāng)在+0.2°視差處設(shè)置延時 時，10個被試者的不協(xié)調(diào)檢測率比較一致，這意味著此視差下，被試者更易于判斷不協(xié)調(diào) 性。
[0032] 為了進一步分析不同視差位置下不同延時等級之間的差異，如圖4所示，盡管設(shè)置 延時處的視差有所不同，但隨著延時幀數(shù)的增加平均檢測率亦隨之增加。其中，延時1幀的 平均檢測率小于20 %，當(dāng)延時2幀時平均檢測率超過50 %，當(dāng)延時3幀時，被試者幾乎完全可 以感知到延時效應(yīng)引起的不協(xié)調(diào)感，延時1幀的平均檢測率與延時2幀、3幀的平均檢測率具 有極顯著差異。行為數(shù)據(jù)分析結(jié)果表明，為保證觀看舒適度，深度運動延時應(yīng)小于1幀。
[0033] 103:測量被試的腦電信號，存儲于離線分析
[0034]腦電數(shù)據(jù)由64導(dǎo)聯(lián)、國際10-20系統(tǒng)的電極帽記錄，數(shù)據(jù)采樣頻率為1000Hz，濾波 的低通截止頻率為〇.05Hz、高通截止頻率為100Hz。參考電極為右側(cè)乳突電極，各個電極電 阻值不大于5kfK使用Scan軟件對腦電數(shù)據(jù)離線分析，包括合并行為數(shù)據(jù)、腦電預(yù)覽、眼電 祛除、腦電分段、基線矯正、偽跡祛除、疊加平均、濾波等。分析的數(shù)據(jù)為刺激出現(xiàn)前100ms至 刺激后400ms。
[0035] 104:對被試的腦電信號進行離線處理，分析相應(yīng)腦區(qū)的ERP信號
[0036]采用egglab對實驗中采集到的腦電信號進行分析。包括：
[0037] 1.進行帶通濾波處理:濾波器范圍為0.01Hz至35Hz，凡是被污染的腦電數(shù)據(jù)及偽 跡大于70yV的腦電數(shù)據(jù)均被剔除掉。
[0038] 2.腦電數(shù)據(jù)的分段疊加處理:根據(jù)不同的亮度差異類型，對各個類型的的數(shù)據(jù)進 行分段，然后進行疊加平均處理。
[0039] 3.腦電數(shù)據(jù)的初步分類:對疊加平均后的波形校正基線，在相應(yīng)成分最高點處，以 左右正負(fù)40ms的時間窗口，計算出平均幅值。潛伏期為這個最高點所對應(yīng)的時間點。
[0040] 4.創(chuàng)建study:創(chuàng)建study，所有被試數(shù)據(jù)進行疊加平均，進行差異性檢驗。
[0041] 105:對不同偏差類型的腦電信號進行疊加平均，探測前額、頂葉和枕葉的成分
[0042] 觀察整個大腦電極波形圖，在額區(qū)、枕葉和后頂葉（(^、02、02、？7、？8、？213和卩4) 500ms附近出現(xiàn)N200成分，大約在1200ms附近出現(xiàn)P300成分，該成分與延時刺激有關(guān)。（如圖 6所示）
[0043] 106:不同延時等級刺激下ERP波形
[0044] 本實驗采用經(jīng)典oddball范式，觀察的主要ERP成分為P300。而在實際中，P300之前 通常會有一個負(fù)波，稱作N200，N200反映人腦對靶刺激的空間加工過程，這個過程發(fā)生在對 靶刺激的判斷選擇之前。圖5是左右視圖延時為3幀時的腦電地形圖，觀察地形圖發(fā)現(xiàn)，由時 間偏差引起的N200成分主要分布在額區(qū)和頂(枕）區(qū)，且以頂區(qū)附近的幅度最大。P300成分 主要分布在額區(qū)、中央一頂區(qū)及枕區(qū)，且以中央一頂區(qū)幅度最大。
[0045]圖6為Cz電極上時間偏差在大腦皮層誘發(fā)的平均ERP信號?？梢钥闯?00ms附近出 現(xiàn)的N200成分隨著測試視頻延時等級不同呈現(xiàn)不同的ERP波形，并且伴隨延時幀數(shù)的增加 波形幅度明顯增加。在1200ms附近出現(xiàn)P300成分。由于分類任務(wù)較難，刺激較復(fù)雜，所以 P300的潛伏期較長，大約為700ms，并且幅值較大。偏差為2幀、3幀時的P300幅度明顯高于偏 差為〇和1幀的波形幅度，說明人類大腦對于大于1幀的時間偏差反應(yīng)強烈。P300幅值是信息 加工容量的指標(biāo)，幅值增大意味著要求投入的信息資源更大，更易于實現(xiàn)記憶的更新。延時 2幀和3幀的等級比其他等級在潛伏期上要提前，而潛伏期反映了被試分析刺激或分類所需 要的時間，潛伏期縮短表明刺激被更快地分類和作出分析。ERP波形分析表明，人腦對延時1 幀以上的偏差反應(yīng)強烈。
[0046]為了進一步分析不同延時等級引起的ERP波形差異，對被試在Cz位置的ERP數(shù)據(jù)進 行了幅值探測，并進行統(tǒng)計分析，得到不同時間偏差等級幅值顯著性檢驗統(tǒng)計情況如圖7。 對于P300成分，0偏差與1幀偏差平均幅值無差異，0偏差與2幀、3幀偏差具有極顯著性差異， 2幀偏差與3幀偏差無差異，表明1幀以上的時間偏差引起的不協(xié)調(diào)感顯著，所以建議立體視 頻時間偏差應(yīng)不大于1幀。
[0047] 107:偏差閾值
[0048]本發(fā)明利用ERP技術(shù)，采用經(jīng)典Oddball范式設(shè)計客觀實驗，并且結(jié)合了主觀實驗 數(shù)據(jù)。主觀實驗數(shù)據(jù)表明，在視差為+0.2°處，10個被試者的不協(xié)調(diào)檢測率比較一致，這意味 著此視差下，被試者可能更易于判斷不協(xié)調(diào)性。檢測率差異性統(tǒng)計表明延時1幀的平均檢測 率與延時2幀、3幀的平均檢測率具有極顯著差異?？陀^實驗采用基于ERP原理的腦電技術(shù)， 觀察腦電地形圖發(fā)現(xiàn)由時間偏差引起的N200成分主要分布在額區(qū)和頂(枕)區(qū)，且以頂區(qū)附 近的幅度最大。P300成分主要分布在額區(qū)、中央一頂區(qū)及枕區(qū)，且以中央一頂區(qū)幅度最大。 ERP波形表明延時等級大的立體視頻會引起人腦整體活動的加強，從而表現(xiàn)出更高的反映 幅度和較早的反映。幅值顯著性差異統(tǒng)計分析結(jié)果與行為數(shù)據(jù)及ERP分析結(jié)果一致，表明應(yīng) 將延時控制在1幀以內(nèi)。綜合主觀實驗與客觀實驗，對于3D視頻的深度運動，為保證觀看舒 適度，其延時不能超過1幀。
[0049]本發(fā)明采用的ERP腦電技術(shù)在分析3D視頻深度延時運動對觀看舒適度的影響方面 取得了優(yōu)異的表現(xiàn)，而且通過實驗證明了其正確性，可以用于3D視頻舒適度的分析方法。由 于ERP腦電信號具有客觀性，在本發(fā)明的基礎(chǔ)之上可以將ERP技術(shù)用于其他3D視頻舒適度的 分析方法中。
【主權(quán)項】
1. 一種深度延時運動對觀看舒適度影響的ERP分析方法，包括以下步驟： 1) 對3D視頻右路在不同的位置分別進行不同的延時等級處理，具體位置為視差- 0.6°，-0.4°，-0.2°，0°，+0.2°，+0.4°，+0.6°處，在每一個延時位置設(shè)置四種延時等級無延 時、延時1幀、延時2幀、延時3幀； 2) 將主觀評定標(biāo)準(zhǔn)劃分為兩個指標(biāo):協(xié)調(diào)，不協(xié)調(diào)； 3) 分析被試者的主觀實驗結(jié)果，包括:不同視差位置處的延時檢測率，不同視差位置處 平均檢測率差異性統(tǒng)計； 4) 測量檢測率最一致的視差位置下不同延時等級的3D視頻所誘發(fā)的腦電波，得出不同 延時等級的N200和P300成分能，呈現(xiàn)出ERP平均波形幅值； 5) 對不同延時等級下得到的ERP平均波形幅值進行比較分析，并與主觀實驗結(jié)果比較， 得出腦電波N200和P300成分與3D視頻深度延時運動對立體舒適度影響之間的關(guān)系。
【文檔編號】H04N17/00GK105959681SQ201610283342
【公開日】2016年9月21日
【申請日】2016年4月28日
【發(fā)明人】沈麗麗, 雷錦藝
【申請人】天津大學(xué)