融合局部和全局時(shí)空特性的無參考視頻質(zhì)量評(píng)估方法
【專利摘要】本發(fā)明公開了一種融合局部和全局時(shí)空特性的無參考視頻質(zhì)量評(píng)估方法，首先訓(xùn)練融合局部和全局時(shí)空特性的視頻質(zhì)量回歸器，其次利用訓(xùn)練的視頻質(zhì)量回歸器進(jìn)行視頻質(zhì)量預(yù)測(cè)，在對(duì)未知質(zhì)量的視頻片段判別視頻質(zhì)量時(shí)，計(jì)算該段視頻對(duì)應(yīng)的視頻片段質(zhì)量特征向量，把視頻片段質(zhì)量特征向量輸入已完成訓(xùn)練的支持向量回歸器，該支持向量回歸器的輸出值即為未知質(zhì)量的視頻片段對(duì)應(yīng)的視頻質(zhì)量評(píng)估值。本發(fā)明在對(duì)受損視頻進(jìn)行質(zhì)量評(píng)估時(shí)，不需要無損視頻片段作為參考，減少了視頻信息的丟失。
【專利說明】
融合局部和全局時(shí)空特性的無參考視頻質(zhì)量評(píng)估方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明屬于視頻分析技術(shù)領(lǐng)域，特別是一種融合局部和全局時(shí)空特性的無參考視 頻質(zhì)量評(píng)估方法。
【背景技術(shù)】
[0002] 客觀視頻質(zhì)量評(píng)估是模擬人的主觀視頻質(zhì)量評(píng)價(jià)過程，對(duì)任意視頻的質(zhì)量進(jìn)行算 法評(píng)分的過程。由于主觀質(zhì)量平均過程耗費(fèi)大量時(shí)間、人力物力資源，使用范圍非常受限。 而客觀視頻質(zhì)量評(píng)估由計(jì)算機(jī)自動(dòng)完成，具有很好的使用效能。通常人的主觀視頻質(zhì)量評(píng) 分用MOS值表示，是取值在0到5的數(shù)，0表示最低質(zhì)量，5表示最高質(zhì)量。視頻質(zhì)量評(píng)估對(duì) 多媒體應(yīng)用具有重要的意義，可W用于評(píng)價(jià)視頻編碼算法性能、視頻傳輸網(wǎng)絡(luò)性能、視頻顯 示設(shè)備性能等。
[0003] W VSSIM[文獻(xiàn) 1 :Farenzena M，Bazzani L，Perina A，et al. Video 如ality Assessment Based on Structural Distortion Measurement. Signal Processing ：Image Communication, Vol. 19, No. 1，Jan 2004, PP :1-9]為代表的視頻質(zhì)量評(píng)估方法，用單帖 的全局速度計(jì)算加權(quán)系數(shù)，完成從帖到視頻的質(zhì)量指標(biāo)匯聚。運(yùn)類方法把空間和時(shí)間作 為兩個(gè)不同的因素進(jìn)行處理，缺乏明顯的視覺屯、理學(xué)支持。W VIS3[文獻(xiàn)2 =Phong V.化， Chandler D. M，ViS3:an Agorithm for Vdeo Qality Assessment via Analysis of Spatial and Spatiotemporal Slices. Journal of Electronic Imaging，Vol23，No. 1， Jan, 2014, PP :1-24]為代表的方法，構(gòu)造了空間平均指標(biāo)和時(shí)空平均指標(biāo)，把最終的視頻 指標(biāo)設(shè)計(jì)為空間平均指標(biāo)和時(shí)空平均指標(biāo)的幾何平均。VIS3更多考慮了時(shí)間和空間的聯(lián) 合作用，具有較高的評(píng)估相關(guān)性。^10￥16[文獻(xiàn)3記6311曰化111曰地曰11.1(，80￥化4.(：，]\1〇^〇11 Tuned Spatio-Temporal Quality Assessment of Natural Videos， IEEE Transation on image processing, Vol 19, No. 2, Feb, 2010, PP :335-350]為代表的視頻質(zhì)量評(píng)估方法 計(jì)算單個(gè)像素的時(shí)空G油or變換，分解出像素相關(guān)的空間紋理和時(shí)間運(yùn)動(dòng)信息，完成像素 區(qū)域的視覺質(zhì)量評(píng)估，最后算術(shù)平均形成視頻片段的質(zhì)量指標(biāo)。但是VIS3和MOVIE都是 一種全參考的方法，在實(shí)際使用時(shí)受限。Video化IINDS[文獻(xiàn)4 :Saad M.A，Bovik A.C， Charrier C，Blind Prediction of Natural Video Quality， IEEE Transation on image processing, Vol23, No. 3, Mar, 2014, PP :423-43引方法計(jì)算帖差信息的空間統(tǒng)計(jì)測(cè)度，W 此作為時(shí)間信息，與單帖圖像質(zhì)量進(jìn)行加權(quán)后，再完成整段視頻的質(zhì)量指標(biāo)匯聚。Video 化IINDS是一種無參考算法。但是Video化IINDS形成的視頻特征向量是多個(gè)不同視頻特 性參數(shù)時(shí)間平均值的級(jí)聯(lián)，掩蓋了視頻特征隨時(shí)間波動(dòng)對(duì)視頻質(zhì)量的影響。
[0004] 羅忠等人的國家發(fā)明授權(quán)專利[文獻(xiàn)5 : -種視頻質(zhì)量評(píng)估方法， CN200510002201]和李永利等人的國家發(fā)明授權(quán)專利[文獻(xiàn)6 :視頻質(zhì)量評(píng)估方法及裝置， CN200810103640]側(cè)重于運(yùn)動(dòng)矢量的分析，建立參考視頻與待評(píng)估視頻的差異性，從而獲得 待評(píng)估視頻質(zhì)量。陳耀武等人的國家發(fā)明授權(quán)專利[文獻(xiàn)7 =MOTION JPEG2000視頻客觀質(zhì) 量的無參考評(píng)估方法，CN200810163592]雖然是無參考方法，但是依據(jù)梯度特征訓(xùn)練的線性 視頻質(zhì)量擬合函數(shù)，無法得到合適的判決性能。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明的目的在于提供一種融合局部和全局時(shí)空信息的無參考視頻質(zhì)量評(píng)估方 法，通過模擬人的視覺感知過程，在接收端只使用待評(píng)估的視頻數(shù)據(jù)，就可W獲得它的視頻 主觀感知質(zhì)量。使用該算法，不但避免了對(duì)參考視頻數(shù)據(jù)的需要，而且獲得了目前最好的視 頻主觀質(zhì)量無參考評(píng)估效果。
[0006] 實(shí)現(xiàn)本發(fā)明目的的技術(shù)解決方案為：一種融合局部和全局時(shí)空特性的無參考視頻 質(zhì)量評(píng)估方法，首先，訓(xùn)練融合局部和全局時(shí)空特性的視頻質(zhì)量回歸器，步驟如下：
[0007] 步驟1，模擬運(yùn)動(dòng)一致性、灰度敏感性和紋理復(fù)雜性對(duì)人眼視覺感知的效應(yīng)，完成 單帖的局部時(shí)空特征計(jì)算；
[0008] 步驟2,通過奇異值分解匯聚成單帖圖像的特征向量，完成單帖均值特征向量與單 帖差值特征向量級(jí)聯(lián)，形成視頻片段特征向量；
[0009] 步驟3,用訓(xùn)練視頻的視頻片段特征向量和對(duì)應(yīng)主觀質(zhì)量評(píng)分MOS值完成對(duì)支持 向量回歸器SVR的訓(xùn)練；
[0010] 其次，利用訓(xùn)練的視頻質(zhì)量回歸器進(jìn)行視頻質(zhì)量預(yù)測(cè)，在對(duì)未知質(zhì)量的視頻片段 判別視頻質(zhì)量時(shí)，首先按照上述步驟1至步驟3計(jì)算該段視頻對(duì)應(yīng)的視頻片段質(zhì)量特征向 量，然后把視頻片段質(zhì)量特征向量輸入已完成訓(xùn)練的支持向量回歸器，該支持向量回歸器 的輸出值即為未知質(zhì)量的視頻片段對(duì)應(yīng)的視頻質(zhì)量評(píng)估值。
[0011] 本發(fā)明與現(xiàn)有技術(shù)相比，其顯著優(yōu)點(diǎn)：（1)本發(fā)明是一種無參考方法，在對(duì)受損視 頻進(jìn)行質(zhì)量評(píng)估時(shí)，不需要無損視頻片段作為參考。（2)本發(fā)明W視頻特征向量為視頻質(zhì)量 評(píng)估的基礎(chǔ)，更多地保留了視頻片段的信息。首先進(jìn)行單帖圖像質(zhì)量評(píng)估，然后進(jìn)行多帖圖 像質(zhì)量值加權(quán)融合的過程相比較，減少了視頻信息的丟失。（3)本發(fā)明計(jì)算強(qiáng)度不大，可W 進(jìn)行逐帖計(jì)算，不再像MOVIE -樣采用跳帖策略，丟失大量時(shí)間動(dòng)態(tài)信息。
[0012] 下面結(jié)合附圖對(duì)本發(fā)明作進(jìn)一步詳細(xì)描述。
【附圖說明】
[0013] 圖1是本發(fā)明融合局部和全局時(shí)空特性的無參考視頻質(zhì)量評(píng)估方法流程圖。
[0014] 圖2是條帶劃分示意圖。
[0015] 圖3是視頻質(zhì)量回歸器預(yù)測(cè)的視頻質(zhì)量。
【具體實(shí)施方式】
[0016] 本發(fā)明融合局部和全局時(shí)空特性的無參考視頻質(zhì)量評(píng)估方法具體實(shí)現(xiàn)步驟如 下：
[0017] 1、構(gòu)造單帖內(nèi)的局部塊
[0018] 對(duì)單個(gè)的視頻帖，劃分為相互不覆蓋的矩形塊：假設(shè)單帖的寬、高分別為W和H個(gè) 像素，每個(gè)局部塊的長、寬都等于B個(gè)像素，則單帖劃分為個(gè)局部塊，其中 符號(hào)「1表示下取整運(yùn)算；分割完成的局部塊按各自在帖內(nèi)出現(xiàn)的位置排放；
[0019] 2、構(gòu)造運(yùn)動(dòng)信息圖
[0020] 采用視頻編碼中的經(jīng)典=步法對(duì)每個(gè)局部塊局部捜索其運(yùn)動(dòng)向量，利用捜索獲得 的運(yùn)動(dòng)向量，構(gòu)造局部運(yùn)動(dòng)張量T :
陽 02U (1)
[0022]
[0023]
[0024] 陽0巧]
[0026] m，n是當(dāng)前局部塊中屯、像素對(duì)應(yīng)的帖內(nèi)空間位置下標(biāo)，w(i，如是加權(quán)窗函數(shù)，Mx 是指運(yùn)動(dòng)向量X軸方向的值，My是指運(yùn)動(dòng)向量Y軸方向的值，i，j是指求和的下標(biāo)；
[0027] 計(jì)算張量T的特征值A(chǔ)l和A 2,則局部的運(yùn)動(dòng)一致性。定義為：
[0028]
(2)
[0029] 把每個(gè)局部塊的運(yùn)動(dòng)一致性信息按局部塊在帖內(nèi)出現(xiàn)的位置進(jìn)行排列，構(gòu)成單帖 的運(yùn)動(dòng)信息圖「= IiVrJ ;
[0030] 3、構(gòu)造空間復(fù)雜性圖
[0031] 在濾波器（0。，45°，90° ,135° )4個(gè)方向，分別對(duì)每個(gè)局部塊的像素進(jìn)行1維 Psudo-Wigner濾波，濾波器形成的窗口寬度N等于8,按Psudo-Wigner分布的定義：
[0032]
(3)
[0033] 其中Zm,"( ?)是處于濾波器窗口中的局部塊像素灰度值，是其共輛，b是指 濾波器窗口中的局部塊像素位置下標(biāo)，k是空間頻率下標(biāo)，代表不同的空間頻率，不同方向 的濾波器窗口構(gòu)成不同的Wigner分布；
[0034] 對(duì)P虹，n，k]能量歸一化后，得到各個(gè)方向的Psudo-Wi即er分布?xì)w一化形式：
[0035] (4)
[0036] 其中下標(biāo)0表示不同濾波器窗口的方向。根據(jù)局部塊的歸一化Psudo-Wigner分 布，各個(gè)方向?yàn)V波器對(duì)局部塊的Renyi賭表示為：
[0037]
(5)
[0038] 紋理的復(fù)雜程度由不同方向的Renyi賭的差異性來表示，把紋理復(fù)雜度表示為四 個(gè)方向Ren^賭的標(biāo)準(zhǔn)差Std與均值Mean的比值：
[0039]
(6)：
[0040] 通過計(jì)算單帖中每個(gè)局部塊的紋理復(fù)雜性nm,。，形成局部塊的空間復(fù)雜性圖A =Um'nK
[0041] 4、形成感知權(quán)重圖
[0042] 對(duì)運(yùn)動(dòng)信息圖「和空間復(fù)雜性圖A進(jìn)行合成，形成每個(gè)局部塊的感知權(quán)重Wm,。： 師]
餅
[0044] 其中max (iv。）是對(duì)單帖內(nèi)所有局部塊求取最大值。
[0045] 5、變換域條帶劃分
[0046] 對(duì)每個(gè)局部塊的灰度分量進(jìn)行DCT變換，形成DCT變換域系數(shù)屯,V，U，V表示變換 域系數(shù)的下標(biāo)，對(duì)變換后的系數(shù)du,y非直流系數(shù)按條帶劃分，將DCT變換域系數(shù)從低頻向高 頻劃分為{C。，Cl, C2,……條帶，其中每個(gè)條帶的取值滿足：
[0047]
[0048] i是指條帶編號(hào)，取值為0-S，S與局部塊像素寬度B的關(guān)系是S = 2B-1 ;
[0049] 在DCT變換后，根據(jù)人眼視覺感知的掩碼效應(yīng)，去除條帶編號(hào)i大于S的高頻信息 和條帶編號(hào)i等于0的直流分量，將保留的成分IA，C2,……。J級(jí)聯(lián)形成S-I維的向量， 用于表示局部塊的視覺特征信息；
[0050] 6、合成單帖質(zhì)量特征向量
[0051] 根據(jù)運(yùn)動(dòng)信息和紋理復(fù)雜性信息對(duì)人眼感知的加權(quán)效應(yīng)，模擬運(yùn)動(dòng)信息和紋理復(fù) 雜性對(duì)視頻感知質(zhì)量的屏蔽效應(yīng)，用感知權(quán)重Wm,。對(duì)每個(gè)局部塊內(nèi)的DCT條帶進(jìn)行加權(quán)的 結(jié)果地
[0052]
做 陽05引按公式做加權(quán)后，形成單帖內(nèi)局部塊的時(shí)空質(zhì)量指標(biāo)圖地=(QBm,。}，其中的每 個(gè)元素地m,。是17維向量；根據(jù)時(shí)空質(zhì)量指標(biāo)圖，對(duì)單帖內(nèi)所有局部塊的特征向量求均值， 形成的單偵質(zhì)量特征向量QFk表示為：
[0054]
(9,)
[0055] 上式的求和按向量加法進(jìn)行，形成的QFk是17維向量。對(duì)視頻序列的每帖分別計(jì) 算單帖質(zhì)量特征向量，由此獲得視頻所有帖的時(shí)空特性指標(biāo){QFk，k = 1，...，U，L是指該 視頻片段所有帖的數(shù)量； 陽056] 7、合成視頻片段質(zhì)量特征向量
[0057] 根據(jù)視頻序列對(duì)應(yīng)的單帖質(zhì)量特征向量序列IQFJ，對(duì)視頻片段的所有單帖質(zhì)量 特征向量求均值，形成的視頻平均質(zhì)量向量MV表示為：
[0058]
(說）
[0059] 對(duì)視鎖巧量特祉問量序列IQFkI的相鄰單帖質(zhì)量特征向量求差，獲得相鄰帖的質(zhì) 量差值特征向量，質(zhì)量差值特征向量代表了視頻序列中大的視覺效應(yīng)突變；然后，把視頻片 段所有質(zhì)量差值特征向量進(jìn)行平均，形成的視頻差值特征向量DV表示為：
[0060]
(11) 陽061] 公式（11)中的絕對(duì)值運(yùn)算表示對(duì)向量的每個(gè)元素求絕對(duì)值，視頻平均質(zhì)量向量 和視頻差值向量級(jí)聯(lián)，構(gòu)成視頻片段質(zhì)量特征向量MF= [MVT，DVT]t。由于QFk是17維向量， 所W最終形成的MF向量維數(shù)是34。
[0062] 8、支持向量回歸器的訓(xùn)練
[0063] 利用帶主觀視頻質(zhì)量評(píng)分值的訓(xùn)練視頻庫，完成客觀視頻質(zhì)量回歸器的訓(xùn)練，即 對(duì)訓(xùn)練視頻庫中的每段視頻計(jì)算它的視頻片段質(zhì)量特征向量MFi,其對(duì)應(yīng)的主觀質(zhì)量評(píng)分 MOSi值已知，把視頻片段質(zhì)量特征向量集合{MFi，l = 1，..，幻和對(duì)應(yīng)的主觀質(zhì)量評(píng)分集合 {M0Si，l = 1，..，幻送入支持向量回歸器SVR，完成視頻質(zhì)量回歸器的訓(xùn)練。其中S是視頻 片段的數(shù)量。 W64] 實(shí)施例 陽0化]一、訓(xùn)練融合局部和全局時(shí)空特性的視頻質(zhì)量回歸器
[0066] 1、構(gòu)造單帖內(nèi)的局部塊
[0067] 對(duì)單個(gè)的視頻帖，劃分為相互不覆蓋的矩形塊。假設(shè)單帖的寬、高分別為W和H個(gè) 像素，每個(gè)局部塊的長、寬都等于B個(gè)像素，則單帖可W劃分為(/表示除 法）個(gè)局部塊，其中符號(hào)f]表示下取整運(yùn)算。在本發(fā)明中，B等于17度取值可W是4-32)。 視頻編碼時(shí)，宏塊劃分使用4、8、16等像素值，采用17可W對(duì)塊效應(yīng)等損傷也充分考慮。分 割完成的局部塊按各自在帖內(nèi)出現(xiàn)的位置排放。
[0068] 2、構(gòu)造運(yùn)動(dòng)信息圖
[0069] 對(duì)每個(gè)局部塊局部捜索其運(yùn)動(dòng)向量，采用視頻編碼中的經(jīng)典=步法，具體的步驟 可參考H. 261視頻編碼標(biāo)準(zhǔn)。由于捜索獲得的局部塊運(yùn)動(dòng)向量存在一定誤差，在進(jìn)行視覺 質(zhì)量的運(yùn)動(dòng)掩蔽效應(yīng)模擬時(shí)，需要在更大范圍內(nèi)對(duì)局部塊的運(yùn)動(dòng)信息進(jìn)行平滑和匯聚。運(yùn) 里，利用捜索獲得的運(yùn)動(dòng)向量，可W構(gòu)造局部運(yùn)動(dòng)張量T :
[0070] (!)
[0071]
[0072]
[0073]
[0074] 陽07引 m，n是當(dāng)前局部塊中屯、像素對(duì)應(yīng)的帖內(nèi)空間位置下標(biāo)，w(i，如是加權(quán)窗函數(shù)。 是指運(yùn)動(dòng)向量X軸方向的值，My是指運(yùn)動(dòng)向量Y軸方向的值，i，j是指求和的下標(biāo)。本發(fā)明 中采用高斯窗函數(shù)，對(duì)高斯窗函數(shù)的方差取為1.5,則可W在7X7個(gè)局部塊的范圍內(nèi)考察 運(yùn)動(dòng)一致性。計(jì)算張量T的特征值A(chǔ)l和A 2,則局部的運(yùn)動(dòng)一致性Wm,。定義為：
[0076]
[0077] 顯然，運(yùn)動(dòng)一致性越明顯的局部塊，它的兩個(gè)特征值差值越大，按公式（2)獲得的 運(yùn)動(dòng)一致性測(cè)度越趨近于1。把每個(gè)局部塊的運(yùn)動(dòng)一致性信息按局部塊在帖內(nèi)出現(xiàn)的位置 進(jìn)行排列，構(gòu)成單帖的運(yùn)動(dòng)信息圖
陽07引 3、構(gòu)造空間復(fù)雜性圖
[00巧]在濾波器（0。，45°，90° ,135° )4個(gè)方向，分別對(duì)每個(gè)局部塊的像素進(jìn)行1維 Psudo-Wigner濾波，濾波器形成的窗口寬度N等于8。按Psudo-Wigner分布的定義：
[0080]
(3：：)
[0081] 其中Zm,。（ ?）是處于濾波器窗口中的局部塊像素灰度值，4，《的是其共輛。b是 指濾波器窗口中的局部塊像素位置下標(biāo)（濾波器窗口中的局部塊像素位置可W由m，n、濾 波器方向和窗口寬度按常規(guī)的直線方程采樣得到）。k是空間頻率下標(biāo)，代表不同的空間頻 率。不同方向的濾波器窗口構(gòu)成不同的Wigner分布。對(duì)P虹，n，k]能量歸一化后，得到各 個(gè)方向的Psudo-Wigner分布?xì)w一化形式：
[0082]
(4)
[008引其中下標(biāo)0表示不同濾波器窗口的方向。在方向固定的情況下，局部塊的歸一化 Psudo-Wigner分布是空間頻率的函數(shù)。根據(jù)局部塊的歸一化Psudo-Wigner分布，各個(gè)方向 濾波器對(duì)局部塊的Renyi賭可W表示為：
[0084]
(5)
[0085] 紋理的復(fù)雜程度可W由不同方向的Renyi賭的差異性來表示。在本發(fā)明中，把紋 理復(fù)雜度表示為四個(gè)方向Ren^賭的標(biāo)準(zhǔn)差Std與均值Mean的比值：
[0086]
(6)
[0087] 通過計(jì)算單帖中每個(gè)局部塊的紋理復(fù)雜性rim,。，形成局部塊的空間復(fù)雜性圖A =Um'nK
[0088] 4、形成感知權(quán)重圖
[0089] 根據(jù)人眼對(duì)運(yùn)動(dòng)信息感知的特性，對(duì)快速運(yùn)動(dòng)目標(biāo)的視覺信號(hào)可W有很強(qiáng)的模糊 容忍度，而對(duì)慢速運(yùn)動(dòng)目標(biāo)的視覺信號(hào)能感知到輕微的失真。另外，人眼對(duì)紋理復(fù)雜的區(qū)域 更敏感，能分辨紋理區(qū)域中的失真細(xì)節(jié)，而對(duì)紋理簡單區(qū)域可W容忍較大失真而不影響主 觀評(píng)價(jià)。根據(jù)人眼的上述生理特征，我們對(duì)運(yùn)動(dòng)信息圖「和空間復(fù)雜性圖A進(jìn)行合成，形 成每個(gè)局部塊的感知權(quán)重Wm,。：
[0090]
口）
[0091] 其中max(iV。）是對(duì)單帖內(nèi)所有局部塊求取最大值。
[0092] 5、變換域條帶劃分
[0093] 每一帖圖像的DCT(離散余弦變換）變換的系數(shù)的分布情況能夠反映圖像的亮度 信息和紋理分布特性。在進(jìn)行質(zhì)量評(píng)估時(shí)，系數(shù)的分布情況也能很好的體現(xiàn)視頻帖的質(zhì)量。 對(duì)每個(gè)局部塊的灰度分量進(jìn)行DCT變換，形成DCT變換域系數(shù)d。,、，U，V表示變換域系數(shù)的 下標(biāo)。
[0094] 對(duì)變換后的系數(shù)du,y非直流系數(shù)按條帶劃分。由于DCT變換系數(shù)從低頻向高頻分 布。人眼視覺系統(tǒng)對(duì)低頻信號(hào)敏感，對(duì)過高頻信號(hào)不敏感，本發(fā)明依據(jù)此來對(duì)DCT系數(shù)進(jìn)行 劃分。本發(fā)明中的圖像塊大小W選取17 X 17為例進(jìn)行說明，將DCT變換域系數(shù)從低頻向高 頻劃分為{C。，Cl, C2,……CJ條帶，如圖2所示。圖中相同灰度值的DCT系數(shù)屬于同一個(gè) 條帶。
[00巧]其中每個(gè)條帶的取值滿足：
[0096]
[0097] i是指條帶編號(hào)，取值為0-S，S與局部塊像素寬度B的關(guān)系是S = 2B-1。在計(jì)算 變換域系數(shù)時(shí)，算法需考慮局部塊DCT變換后的高頻信息的處理，在實(shí)際的人眼視覺效應(yīng) 中，人眼對(duì)高頻信息并不是特別敏感，所W在DCT變換后，通過掩碼效應(yīng)去除高頻信息（如 條帶編號(hào)大于17)和直流分量（條帶編號(hào)等于0)。所W，在本發(fā)明中，只保留了去除直流和 高頻的成分IA，C2,……CJ。把運(yùn)些成分級(jí)聯(lián)形成17維的向量，用于表示局部塊的視覺 特征信息。 陽098] 6、合成單帖質(zhì)量特征向量
[0099] 根據(jù)運(yùn)動(dòng)信息和紋理復(fù)雜性信息對(duì)人眼感知的加權(quán)效應(yīng)，本發(fā)明模擬運(yùn)動(dòng)信息和 紋理復(fù)雜性對(duì)視頻感知質(zhì)量的屏蔽效應(yīng)。用感知權(quán)重Wm,。對(duì)每個(gè)局部塊內(nèi)的DCT條帶進(jìn)行 加權(quán)的結(jié)果地
[0100] QBm,n, I=Wm,瓜 做 陽W] 按公式做加權(quán)后，形成單帖內(nèi)局部塊的時(shí)空質(zhì)量指標(biāo)圖地=IQBm,。}，其中的每 個(gè)元素地m,。是17維向量。根據(jù)單帖時(shí)空質(zhì)量指標(biāo)圖，對(duì)單帖內(nèi)所有局部塊的特征向量求 均值，形成的單帖席音特佈向音QFk可W表示為： 陽 102]
(Qi 陽103] 上式的求和按向量加法進(jìn)行，形成的QFk是17維向量。對(duì)視頻序列的每帖分別計(jì) 算單帖質(zhì)量特征向量，由此獲得視頻所有帖的時(shí)空特性指標(biāo){QFk，k = 1，. . .，L}。L是指視 頻片段所有帖的數(shù)量。 陽104] 7、合成視頻片段質(zhì)量特征向量
[0105] 根據(jù)視頻序列對(duì)應(yīng)的單帖質(zhì)量特征向量序列IQFJ，對(duì)視頻片段的所有單帖質(zhì)量 特征向量求均值，形成的視頻平均質(zhì)量向量MV可W表示為： 陽 106] UU) 陽107] 然后對(duì)視頻質(zhì)量特征向量序列{QFkl的相鄰單帖質(zhì)量特征向量求差，獲得相鄰帖 的質(zhì)量差值特征向量。質(zhì)量差值特征向量代表了視頻序列中大的視覺效應(yīng)突變。然后，把 視頻片段所有質(zhì)量差估特佈向量講行平均，形成的視頻差值特征向量DV可W表示為：
[0108]
ni)
[0109] 公式（11)中的絕對(duì)值運(yùn)算表示對(duì)向量的每個(gè)元素求絕對(duì)值。視頻平均質(zhì)量向量 和視頻差值向量級(jí)聯(lián)，構(gòu)成視頻片段質(zhì)量特征向量MF= [MVT，DVT]t。由于QFk是17維向量， 所W最終形成的MF向量維數(shù)是34。
[0110] 8、視頻質(zhì)量回歸器的訓(xùn)練 陽111] 利用帶主觀視頻質(zhì)量評(píng)分值的訓(xùn)練視頻庫，完成客觀視頻質(zhì)量回歸器的訓(xùn)練。對(duì) 訓(xùn)練視頻庫中的每段視頻計(jì)算它的視頻片段質(zhì)量特征向量MFi,其對(duì)應(yīng)的主觀質(zhì)量評(píng)分 MOSi值已知。把視頻片段質(zhì)量特征向量集合{MFi，1 = 1，..，幻和對(duì)應(yīng)的主觀質(zhì)量評(píng)分集 合{MOSi，1 = 1，..，幻送入支持向量回歸器SVR，完成SVR的訓(xùn)練。其中S是視頻片段的 數(shù)量。
[0112] 二、利用訓(xùn)練的視頻質(zhì)量回歸器進(jìn)行視頻質(zhì)量預(yù)測(cè)
[0113] 在對(duì)未知質(zhì)量評(píng)分的視頻片段進(jìn)行客觀視頻質(zhì)量判斷時(shí)，首先計(jì)算該段視頻對(duì)應(yīng) 的視頻片段質(zhì)量特征向量，然后把視頻片段質(zhì)量特征向量輸入已完成訓(xùn)練的支持向量回歸 器SVR，該SVR的輸出值就是該視頻片段的客觀視頻質(zhì)量。預(yù)測(cè)的效果如圖3所示。與典型 的無參考視頻評(píng)估算法Video-BLIINDS的比較數(shù)據(jù)如表1所示。
[0114] 表1無參考視頻質(zhì)量評(píng)估算法性能比較 陽115]
【主權(quán)項(xiàng)】
1. 一種融合局部和全局時(shí)空特性的無參考視頻質(zhì)量評(píng)估方法，其特征在于首先，訓(xùn)練 融合局部和全局時(shí)空特性的視頻質(zhì)量回歸器，步驟如下： 步驟1，模擬運(yùn)動(dòng)一致性、灰度敏感性和紋理復(fù)雜性對(duì)人眼視覺感知的效應(yīng)，完成單幀 的局部時(shí)空特征計(jì)算； 步驟2,通過奇異值分解匯聚成單幀圖像的特征向量，完成單幀均值特征向量與單幀差 值特征向量級(jí)聯(lián)，形成視頻片段特征向量； 步驟3,用訓(xùn)練視頻的視頻片段特征向量和對(duì)應(yīng)主觀質(zhì)量評(píng)分MOS值完成對(duì)支持向量 回歸器SVR的訓(xùn)練； 其次，利用訓(xùn)練的視頻質(zhì)量回歸器進(jìn)行視頻質(zhì)量預(yù)測(cè)，在對(duì)未知質(zhì)量的視頻片段判別 視頻質(zhì)量時(shí)，首先按照上述步驟1至步驟3計(jì)算該段視頻對(duì)應(yīng)的視頻片段質(zhì)量特征向量，然 后把視頻片段質(zhì)量特征向量輸入已完成訓(xùn)練的支持向量回歸器，該支持向量回歸器的輸出 值即為未知質(zhì)量的視頻片段對(duì)應(yīng)的視頻質(zhì)量評(píng)估值。2. 根據(jù)權(quán)利要求1所述的融合局部和全局時(shí)空特性的無參考視頻質(zhì)量評(píng)估方法，其特 征在于步驟1中的步驟為： 2.1構(gòu)造單幀內(nèi)的局部塊 對(duì)單個(gè)的視頻幀，劃分為相互不覆蓋的矩形塊：假設(shè)單幀的寬、高分別為W和Η個(gè)像素， 每個(gè)局部塊的長、寬都等于Β個(gè)像素，則單幀劃分為「『/冽x「///Sl個(gè)局部塊，其中符號(hào) 「]表示下取整運(yùn)算；分割完成的局部塊按各自在幀內(nèi)出現(xiàn)的位置排放； 2. 2、構(gòu)造運(yùn)動(dòng)信息圖 采用視頻編碼中的經(jīng)典三步法對(duì)每個(gè)局部塊局部搜索其運(yùn)動(dòng)向量，利用搜索獲得的運(yùn) 動(dòng)向量，構(gòu)造局部運(yùn)動(dòng)張量T :m，η是當(dāng)前局部塊中心像素對(duì)應(yīng)的幀內(nèi)空間位置下標(biāo)，w(i，j)是加權(quán)窗函數(shù)，Mx是指 運(yùn)動(dòng)向量X軸方向的值，My是指運(yùn)動(dòng)向量Y軸方向的值，i，j是指求和的下標(biāo)； 計(jì)算張量T的特征值λ^Ρ λ 2，則局部的運(yùn)動(dòng)一致性μηι,η定義為：把每個(gè)局部塊的運(yùn)動(dòng)一致性信息按局部塊在幀內(nèi)出現(xiàn)的位置進(jìn)行排列，構(gòu)成單幀的運(yùn) 動(dòng)信息圖Γ = {ym,n}; 2. 3構(gòu)造空間復(fù)雜性圖 在濾波器（0°，45°，90°，135° )4個(gè)方向，分別對(duì)每個(gè)局部塊的像素進(jìn)行1維 Psudo-Wigner濾波，濾波器形成的窗口寬度N等于8,按Psudo-Wigner分布的定義：其中2_(·)是處于濾波器窗口中的局部塊像素灰度值，是其共輒，b是指濾波 器窗口中的局部塊像素位置下標(biāo)，k是空間頻率下標(biāo)，代表不同的空間頻率，不同方向的濾 波器窗口構(gòu)成不同的Wigner分布； 對(duì)P[m，n，k]能量歸一化后，得到各個(gè)方向的Psudo-Wigner分布?xì)w一化形式：其中下標(biāo)Θ表不不同濾波器窗口的方向。根據(jù)局部塊的歸一化Psudo-Wigner分布， 各個(gè)方向?yàn)V波器對(duì)局部塊的Renyi熵表示為：紋理的復(fù)雜程度由不同方向的Renyi熵的差異性來表示，把紋理復(fù)雜度表示為四個(gè)方 向Renyi熵的標(biāo)準(zhǔn)差Std與均值Mean的比值：通過計(jì)算單幀中每個(gè)局部塊的紋理復(fù)雜性，形成局部塊的空間復(fù)雜性圖Λ = {nj。3. 根據(jù)權(quán)利要求1所述的融合局部和全局時(shí)空特性的無參考視頻質(zhì)量評(píng)估方法，其特 征在于步驟2中的步驟為： 3. 1形成感知權(quán)重圖 對(duì)運(yùn)動(dòng)信息圖Γ和空間復(fù)雜性圖Λ進(jìn)行合成，形成每個(gè)局部塊的感知權(quán)重W^:其中max (μ _)是對(duì)單幀內(nèi)所有局部塊求取最大值。 3. 2變換域條帶劃分 對(duì)每個(gè)局部塊的灰度分量進(jìn)行DCT變換，形成DCT變換域系數(shù)du, v，u，ν表示變換域系 數(shù)的下標(biāo)，對(duì)變換后的系數(shù)(1_非直流系數(shù)按條帶劃分，將DCT變換域系數(shù)從低頻向高頻劃 分為{C。，Q，C2，……CJ條帶，其中每個(gè)條帶的取值滿足：i是指條帶編號(hào)，取值為〇-s，s與局部塊像素寬度B的關(guān)系是s = 2B-1 ; 在DCT變換后，根據(jù)人眼視覺感知的掩碼效應(yīng)，去除條帶編號(hào)i大于s的高頻信息和條 帶編號(hào)i等于〇的直流分量，將保留的成分ΙΑ，(：2,……Cs J級(jí)聯(lián)形成s-Ι維的向量，用于 表示局部塊的視覺特征信息； 3. 3合成單幀質(zhì)量特征向量 根據(jù)運(yùn)動(dòng)信息和紋理復(fù)雜性信息對(duì)人眼感知的加權(quán)效應(yīng)，模擬運(yùn)動(dòng)信息和紋理復(fù)雜性 對(duì)視頻感知質(zhì)量的屏蔽效應(yīng)，用感知權(quán)重Wm, n對(duì)每個(gè)局部塊內(nèi)的DCT條帶進(jìn)行加權(quán)的結(jié)果 QBn,n, ,= 1 (8) 按公式（8)加權(quán)后，形成單幀內(nèi)局部塊的時(shí)空質(zhì)量指標(biāo)圖QB= {QB^}，其中的每個(gè)元 素(^_是17維向量；根據(jù)時(shí)空質(zhì)量指標(biāo)圖，對(duì)單幀內(nèi)所有局部塊的特征向量求均值，形成 的單幀質(zhì)量特征向量QFk表示為：上式的求和按向量加法進(jìn)行，形成的9匕是17維向量。對(duì)視頻序列的每幀分別計(jì)算單 幀質(zhì)量特征向量，由此獲得視頻所有幀的時(shí)空特性指標(biāo){QFk，k = 1，...，L}，L是指該視頻 片段所有幀的數(shù)量； 3. 4合成視頻片段質(zhì)量特征向量 根據(jù)視頻序列對(duì)應(yīng)的單幀質(zhì)量特征向量序列{QFJ，對(duì)視頻片段的所有單幀質(zhì)量特征 向量求均值，形成的視頻平均質(zhì)量向量MV表示為：對(duì)視頻質(zhì)量特征向量序列{QFJ的相鄰單幀質(zhì)量特征向量求差，獲得相鄰幀的質(zhì)量差 值特征向量，質(zhì)量差值特征向量代表了視頻序列中大的視覺效應(yīng)突變；然后，把視頻片段所 有質(zhì)量差值特征向量進(jìn)行平均，形成的視頻差值特征向量DV表示為：公式（11)中的絕對(duì)值運(yùn)算表示對(duì)向量的每個(gè)元素求絕對(duì)值，視頻平均質(zhì)量向量和視 頻差值向量級(jí)聯(lián)，構(gòu)成視頻片段質(zhì)量特征向量MF = [MVT，DVT]T。由于〇?1<是17維向量，所 以最終形成的MF向量維數(shù)是34。4. 根據(jù)權(quán)利要求1所述的融合局部和全局時(shí)空特性的無參考視頻質(zhì)量評(píng)估方法，其特 征在于步驟3中的步驟為：利用帶主觀視頻質(zhì)量評(píng)分值的訓(xùn)練視頻庫，完成客觀視頻質(zhì)量 回歸器的訓(xùn)練，即對(duì)訓(xùn)練視頻庫中的每段視頻計(jì)算它的視頻片段質(zhì)量特征向量MG，其對(duì)應(yīng) 的主觀質(zhì)量評(píng)分MOSi值已知，把視頻片段質(zhì)量特征向量集合{MFp 1 = 1，. .，S}和對(duì)應(yīng)的 主觀質(zhì)量評(píng)分集合{MOSpl = 1，..，S}送入支持向量回歸器，完成視頻質(zhì)量回歸器的訓(xùn)練。 其中S是視頻片段的數(shù)量。
【文檔編號(hào)】H04N17/00GK105828064SQ201510007317
【公開日】2016年8月3日
【申請(qǐng)日】2015年1月7日
【發(fā)明人】吳澤民, 邱正倫, 彭濤頻, 田暢, 張磊, 胡磊, 劉熹
【申請(qǐng)人】中國人民解放軍理工大學(xué), 江蘇惠緯訊信息科技有限公司