一種基于時空域結(jié)構(gòu)的高效視頻質(zhì)量客觀評價方法
【專利摘要】本發(fā)明公開了一種基于時空域結(jié)構(gòu)的高效視頻質(zhì)量客觀評價方法，其首先通過時空域梯度結(jié)合顏色信息計算時空域局部相似度，然后在空域融合階段采用方差融合，將時空域局部相似度融合成幀級的客觀質(zhì)量值，再通過模擬人類視覺系統(tǒng)中三個重要的全局時域效應，即平滑效應、不對稱追蹤效應和時近效應，建立時域融合模型，對幀級的客觀質(zhì)量值進行時域融合，最終得到失真視頻序列的客觀質(zhì)量值，通過對人類視覺時域效應建模，使得本發(fā)明的時域加權(quán)方法可以準確高效的評價失真視頻的客觀質(zhì)量。
【專利說明】
一種基于時空域結(jié)構(gòu)的高效視頻質(zhì)量客觀評價方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明涉及一種視頻質(zhì)量評價方法，尤其是涉及一種基于時空域結(jié)構(gòu)的高效視頻 質(zhì)量客觀評價方法。
【背景技術(shù)】
[0002] 視頻質(zhì)量評價(Video Quality Assessment，VQA)在視頻相關(guān)應用的快速發(fā)展中 起著關(guān)鍵作用，常用于各種各樣視頻服務的質(zhì)量控制和各種視頻處理算法的性能比較。視 頻質(zhì)量客觀評價研究通過算法估計視頻質(zhì)量，去逼近人類視覺系統(tǒng)感受到的視頻質(zhì)量。根 據(jù)原始無失真視頻的可用情況，視頻質(zhì)量客觀評價方法通?？蓜澐譃槿?全參考(Full Reference，F(xiàn)R)、半?yún)⒖己蜔o參考視頻質(zhì)量評價方法。由于全參考視頻質(zhì)量評價方法(FR-VQA)的準確性更高，因此在感知視頻處理中得到了廣泛應用，如視頻壓縮中的編碼模塊選 擇、量化參數(shù)配置、碼率控制、錯誤隱藏等等。
[0003] 全參考視頻質(zhì)量評價方法要求能夠快速準確的評價視頻的客觀質(zhì)量，實時處理能 力就顯得非常重要，如源端在線視頻質(zhì)量監(jiān)控和率失真優(yōu)化視頻編碼器的失真度量，同時， 在其他的應用場合中，低復雜度也是全參考視頻質(zhì)量評價方法的一項非常重要的性能要 求。像素級的全參考評價方法峰值信噪比（peak signal-to-noise ratio，PSNR)是視頻處 理領(lǐng)域目前應用最廣的性能量化指標，由于峰值信噪比具有易于實現(xiàn)、評價速度快、性能穩(wěn) 定、物理意思明確等優(yōu)勢，因此在目前應用最廣泛的視頻編碼標準H.264/AVC和最新的 H.265/HEVC中，峰值信噪比依然是最主要的客觀評價方法，然而，平等對待每個像素點的失 真而沒有考慮人類視覺系統(tǒng)的感知特性，這使得峰值信噪比與主觀質(zhì)量感受的一致性較 低，從而阻礙了視頻處理技術(shù)的進步，尤其是阻礙了視頻壓縮效率的進一步提升。
[0004] 現(xiàn)有的全參考視頻質(zhì)量評價方法可以分為兩類:第一類最直接的視頻質(zhì)量評價方 法就是獨立幀使用頂尖的圖像質(zhì)量評價方法，然后平均或者加權(quán)平均得到視頻的質(zhì)量，但 是這類視頻質(zhì)量評價方法缺乏時域信息，評價效果較差;第二類方法分別考察空域和時域 失真得到視頻質(zhì)量，或直接根據(jù)時空域信息進行評估，雖然這類視頻質(zhì)量評價方法的評價 效果優(yōu)于峰值信噪比，但是這類視頻質(zhì)量評價方法的復雜度都較高，部分需要非常耗時的 運動估計，存在實現(xiàn)復雜、無法實時處理、不易集成等缺點而阻礙了這類視頻質(zhì)量評價方法 的推廣應用。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明所要解決的技術(shù)問題是提供一種基于時空域結(jié)構(gòu)的高效視頻質(zhì)量客觀評 價方法，其能夠有效地提高客觀評價結(jié)果與主觀感知之間的相關(guān)性，且計算復雜度低。
[0006] 本發(fā)明解決上述技術(shù)問題所采用的技術(shù)方案為:一種基于時空域結(jié)構(gòu)的高效視頻 質(zhì)量客觀評價方法，其特征在于包括以下步驟：
[0007] ①令Sr表示無失真參考視頻序列，令Sd表示Sr經(jīng)失真后得到的失真視頻序列，其 中，S r中包含的圖像的總幀數(shù)和Sd中包含的圖像的總幀數(shù)均為F幀，F(xiàn)> 1，Sr中包含的圖像和 Sd中包含的圖像的寬度均為W且高度均為Η;將Sr中的所有圖像各自的亮度分量構(gòu)成的序列 定義為Sr的亮度分量序列，并記為Yr;將Sr中的所有圖像各自的第一色度分量構(gòu)成的序列定 義為Sr的第一色度分量序列，并記為Ur;將Sr中的所有圖像各自的第二色度分量構(gòu)成的序列 定義為Sr的第二色度分量序列，并記為Vr;將Sd中的所有圖像各自的亮度分量構(gòu)成的序列定 義為Sd的亮度分量序列，并記為Yd;將Sd中的所有圖像各自的第一色度分量構(gòu)成的序列定義 為Sd的第一色度分量序列，并記為Ud;將Sd中的所有圖像各自的第二色度分量構(gòu)成的序列定 義為Sd的第二色度分量序列，并記為Vd;上述，￥:、1]:1、￥< 1、1](1、￥(1中包含的圖像的寬度均為1 且高度均為H;
[0008]②采用三維Prewitt算子計算Yr的時空域梯度幅值序列，記為Gr，將Gr中的第t幀圖 像中坐標位置為(X，y)的像素點的像素值記為Gr(X，y，t)，
[0009] 同樣，采用三維Prewitt算子計算Yd的時空域梯度幅值序列，記為Gd，將Gd中的第t 幀圖像中坐標位置為(X，y)的像素點的像素值記為Gd (X，y，t)，
[0010] 其中，t的初始值為1，1彡t彡F，1彡x彡W，1彡y彡H，Yrx(x，y，t)表示Y r的水平方向梯 度幅值序列Yrx中的第t幀圖像中坐標位置為(X，y )的像素點的像素值，Yry ( X，y，t )表示Yr的 豎直方向梯度幅值序列Yry中的第t幀圖像中坐標位置為(X，y )的像素點的像素值，Yrt ( X，y， t )表示Yr的時間軸方向梯度幅值序列Yrt中的第t幀圖像中坐標位置為(X，y )的像素點的像 素值，Ydx( X，y，t)表示Yd的水平方向梯度幅值序列Ydx中的第t幀圖像中坐標位置為(X，y)的 像素點的像素值，Ydy (X，y，t)表示Yd的豎直方向梯度幅值序列Ydy中的第t幀圖像中坐標位置 為(X，y)的像素點的像素值，Ydt(x，y，t)表示Yd的時間軸方向梯度幅值序列Ydt中的第t幀圖 像中坐標位置為(x，y)的像素點的像素值，符號"?"表示補零截斷的卷積運算符號，經(jīng)卷 積運算得到的Y rx、Yry、Yrt的維度與Yr的維度相同，經(jīng)卷積運算得到的Ydx、Ydy、Ydt的維度與Yd 的維度相同，F(xiàn)x、Fy、Ft對應表示三維Prewi 11算子的水平方向模板、豎直方向模板和時間軸 方向模板；
[0011] ③計算Sr中的每幀圖像中的每個像素點與Sd中對應圖像中的對應像素點之間的時 空域局部梯度相似度，將Sr中的第t幀圖像中坐標位置為(x，y)的像素點與Sd中的第t幀圖像 中坐標位置為（x，y)的像素點之間的時空域局部梯度相似度記為G sim(x，y，t)，
I其中，(^為防止分式無意義的正常數(shù)；
[0012] ④計算Sr中的每幀圖像中的每個像素點與Sd中對應圖像中的對應像素點之間的時 空域局部顏色相似度，將Sr中的第t幀圖像中坐標位置為(x，y)的像素點與Sd中的第t幀圖像 中坐標位置為（x，y)的像素點之間的時空域局部顏色相似度記為C sim(x，y，t)，
，其中，Ur(x， y，t)表示Ur中的第t幀圖像中坐標位置為(x，y)的像素點的像素值，也即Sr中的第t幀圖像的 第一色度分量中坐標位置為(X，y )的像素點的像素值，Vr ( X，y，t )表示Vr中的第t幀圖像中坐 標位置為(x，y)的像素點的像素值，也即Sr中的第t幀圖像的第二色度分量中坐標位置為 (x，y)的像素點的像素值，Ud(x，y，t)表示Ud中的第t幀圖像中坐標位置為(x，y)的像素點的 像素值，也即S d中的第t幀圖像的第一色度分量中坐標位置為(x，y)的像素點的像素值，Vd (x，y，t)表示Vd中的第t幀圖像中坐標位置為(x，y)的像素點的像素值，也即Sd中的第t幀圖 像的第二色度分量中坐標位置為(x，y)的像素點的像素值，C2和C3為防止分式無意義的正常 數(shù)；
[0013 ]⑤根據(jù)Sr中的每幀圖像中的每個像素點與Sd中對應圖像中的對應像素點之間的時 空域局部梯度相似度，及Sr中的每幀圖像中的每個像素點與Sd中對應圖像中的對應像素點 之間的時空域局部顏色相似度，計算Sr中的每幀圖像中的每個像素點與Sd中對應圖像中的 對應像素點之間的時空域局部相似度，將Sr中的第t幀圖像中坐標位置為(x，y)的像素點與 Sd中的第t幀圖像中坐標位置為(x，y)的像素點之間的時空域局部相似度記為Q LS(x，y，t)， QLs(x，y，t)=GSim(x，y，t) X (CSim(x，y，t))A，其中，λ用于調(diào)整顏色分量所占的權(quán)重，λ>〇;
[0014] ⑥采用方差融合方法計算Sd中的每幀圖像的客觀質(zhì)量值，將Sd中的第t幀圖像的客 觀質(zhì)量值記為Qfmme(t)，
，其中，Qmean ( t )表 示Sr中的第t幀圖像中的所有像素點與Sd中的第t幀圖像中對應像素點之間的時空域局部相 似度的平均值，
[0015] ⑦采用時域加權(quán)方法計算Sd的客觀質(zhì)量值，記為Q，

(t)-QLP(t-l)，α表示質(zhì)量上升時的權(quán)重，β表示質(zhì)量下降時的權(quán)重，γ用于調(diào)整時近效應的 強度。
[0016] 所述的步驟⑤中取λ = 3。
[0017] 所述的步驟⑦中取α = 〇·〇3、β = 〇·2、γ =1000。
[0018] 與現(xiàn)有技術(shù)相比，本發(fā)明的優(yōu)點在于：
[0019] 1)時空域梯度可以同時反映空域失真和時域失真，顏色信息在視頻質(zhì)量評價中非 常重要，本發(fā)明方法結(jié)合時空域梯度幅值和顏色信息兩個特征計算無失真參考視頻序列中 的每幀圖像中的每個像素點與失真視頻序列中對應圖像中的對應像素點之間的時空域局 部相似度，通過這些底層特征同時反映失真視頻序列的空域失真和時域失真情況，避免了 常用的基于運行估計的方法，使得本發(fā)明方法準確、快速。
[0020] 2)本發(fā)明方法的空域融合采用方差融合，將時空域局部相似度融合成幀級的客觀 質(zhì)量值，再通過模擬人類視覺系統(tǒng)中三個重要的全局時域效應，即平滑效應、不對稱追蹤效 應和時近效應，建立時域融合模型，對幀級的客觀質(zhì)量值進行時域融合，最終得到失真視頻 序列的客觀質(zhì)量值，通過對人類視覺時域效應建模，使得本發(fā)明的時域加權(quán)方法可以準確 高效的評價失真視頻的客觀質(zhì)量。
[0021] 3)本發(fā)明方法在衡量時域失真時，首先通過時空域局部梯度相似度反映局部時域 失真，然后在時域融合階段，通過模擬全局時域效應進行加權(quán)，對局部時域失真情況進行全 局整合，這種方式避開了常用的從運動矢量中評價時域失真，無需進行耗時的運動估計，保 證了本發(fā)明方法的高效性，計算復雜度低。
【附圖說明】
[0022] 圖1為本發(fā)明方法的總體實現(xiàn)框圖；
[0023]圖2為三維Prewi tt算子的水平方向模板、豎直方向模板和時間軸方向模板。
【具體實施方式】
[0024]以下結(jié)合附圖實施例對本發(fā)明作進一步詳細描述。
[0025] 優(yōu)秀的全參考視頻質(zhì)量評價方法，不但要有較高的預測準確性，對時空域失真都 敏感，而且還要有盡可能低的計算復雜度，對視頻序列進行實時處理。本發(fā)明通過時空域梯 度幅值和顏色信息兩個特征計算時空域局部相似度;再將整個視頻序列看作動態(tài)的時間序 列，先通過方差融合方法得到每幀圖像的客觀質(zhì)量值，再模擬人類視覺系統(tǒng)中三個重要的 全局時域效應，即平滑效應、不對稱追蹤效應和時近效應，對幀級的客觀質(zhì)量值進行時域融 合，得到失真視頻的客觀質(zhì)量值。底層特征計算簡單且對時域失真和空域失真同時敏感，時 域融合模型通過模擬時域效應，保證了本發(fā)明方法的準確性和高效性。
[0026] 本發(fā)明提出的一種基于時空域結(jié)構(gòu)的高效視頻質(zhì)量客觀評價方法，其總體實現(xiàn)框 圖如圖1所示，其包括以下步驟：
[0027] ①令Sr表示無失真參考視頻序列，令Sd表示Sr經(jīng)失真后得到的失真視頻序列，其 中，Sr中包含的圖像的總幀數(shù)和Sd中包含的圖像的總幀數(shù)均為F幀，F(xiàn)> 1，Sr中包含的圖像和 Sd中包含的圖像的寬度均為W且高度均為Η;將Sr中的所有圖像各自的亮度分量構(gòu)成的序列 定義為Sr的亮度分量序列，并記為Yr;將Sr中的所有圖像各自的第一色度分量構(gòu)成的序列定 義為Sr的第一色度分量序列，并記為Ur;將Sr中的所有圖像各自的第二色度分量構(gòu)成的序列 定義為Sr的第二色度分量序列，并記為Vr;將Sd中的所有圖像各自的亮度分量構(gòu)成的序列定 義為Sd的亮度分量序列，并記為Yd;將Sd中的所有圖像各自的第一色度分量構(gòu)成的序列定義 為Sd的第一色度分量序列，并記為Ud;將Sd中的所有圖像各自的第二色度分量構(gòu)成的序列定 義為Sd的第二色度分量序列，并記為Vd;上述，￥:、1]:1、￥< 1、1](1、￥(1中包含的圖像的寬度均為1 且高度均為H。
[0028]②采用三維Prewitt算子計算Yr的時空域梯度幅值序列，記為Gr，將Gr中的第t幀圖 像中坐標位置為(X，y)的像素點的像素值記為Gr(X，y，t)，
[0029]同樣，采用三維Prewitt算子計算Yd的時空域梯度幅值序列，記為Gd，將Gd中的第t 幀圖像中坐標位置為(X，y)的像素點的像素值記為Gd (X，y，t)，
[0030] 其中，t的初始值為1，1彡t彡F，1彡x彡W，1彡y彡H，Yrx(x，y，t)表示Yr的水平方向梯 度幅值序列Υη中的第t幀圖像中坐標位置為(X，y)的像素點的像素值，Yry (X，y，t)表示Yr的 豎直方向梯度幅值序列Yry中的第t幀圖像中坐標位置為(X，y )的像素點的像素值，Yrt ( X，y， t )表示Yr的時間軸方向梯度幅值序列Yrt中的第t幀圖像中坐標位置為(X，y )的像素點的像 素值，Ydx( X，y，t)表示Yd的水平方向梯度幅值序列Ydx中的第t幀圖像中坐標位置為(X，y)的 像素點的像素值，Ydy (X，y，t)表示Yd的豎直方向梯度幅值序列Ydy中的第t幀圖像中坐標位置 為(X，y)的像素點的像素值，Ydt(x，y，t)表示Yd的時間軸方向梯度幅值序列Ydt中的第t幀圖 像中坐標位置為(x，y)的像素點的像素值，符號"您"表示補零截斷的卷積運算符號，經(jīng)卷 積運算得到的Y rx、Yry、Yrt的維度與Yr的維度相同，經(jīng)卷積運算得到的Ydx、Ydy、Ydt的維度與Yd 的維度相同，F(xiàn)x、Fy、Ft對應表示三維Prewi 11算子的水平方向模板、豎直方向模板和時間軸 方向模板，F(xiàn)x、Fy、Ft如圖2所示，三維Prewitt算子在二維Prewitt算子的基礎(chǔ)上通過現(xiàn)有技 術(shù)手段可得到。
[0031] ③計算Sr中的每幀圖像中的每個像素點與Sd中對應圖像中的對應像素點之間的時 空域局部梯度相似度，將S r中的第t幀圖像中坐標位置為(x，y)的像素點與Sd中的第t幀圖像 中坐標位置為（x，y)的像素點之間的時空域局部梯度相似度記為G sim(x，y，t)，
其中，C1為防止分式無意義的正常數(shù)，在本實 施例中取(^ = 90。
[0032] ④計算Sr中的每幀圖像中的每個像素點與Sd中對應圖像中的對應像素點之間的時 空域局部顏色相似度，將Sr中的第t幀圖像中坐標位置為(x，y)的像素點與Sd中的第t幀圖像 中坐標位置為（x，y)的像素點之間的時空域局部顏色相似度記為C sim(x，y，t)，
，其中，Ur(x， y，t)表示Ur中的第t幀圖像中坐標位置為(x，y)的像素點的像素值，也即Sr中的第t幀圖像的 第一色度分量中坐標位置為(X，y )的像素點的像素值，Vr ( X，y，t )表示Vr中的第t幀圖像中坐 標位置為(X，y)的像素點的像素值，也即Sr中的第t幀圖像的第二色度分量中坐標位置為 (x，y)的像素點的像素值，Ud(x，y，t)表示Ud中的第t幀圖像中坐標位置為(x，y)的像素點的 像素值，也即S d中的第t幀圖像的第一色度分量中坐標位置為(x，y)的像素點的像素值，Vd (x，y，t)表示Vd中的第t幀圖像中坐標位置為(x，y)的像素點的像素值，也即Sd中的第t幀圖 像的第二色度分量中坐標位置為(X，y)的像素點的像素值，C2和C3為防止分式無意義的正常 數(shù)，在本實施例中取C2 = C3 = 300。
[0033] ⑤根據(jù)Sr中的每幀圖像中的每個像素點與Sd中對應圖像中的對應像素點之間的時 空域局部梯度相似度，及Sr中的每幀圖像中的每個像素點與Sd中對應圖像中的對應像素點 之間的時空域局部顏色相似度，計算Sr中的每幀圖像中的每個像素點與Sd中對應圖像中的 對應像素點之間的時空域局部相似度，將Sr中的第t幀圖像中坐標位置為(x，y)的像素點與 Sd中的第t幀圖像中坐標位置為(x，y)的像素點之間的時空域局部相似度記為QLS(x，y，t)， QLs(x，y，t)=GSim(x，y，t) X (CSim(x，y，t))A，其中，λ用于調(diào)整顏色分量所占的權(quán)重，λ>〇,在 本實施例中取λ = 3。
[0034] ⑥采用方差融合方法計算Sd中的每幀圖像的客觀質(zhì)量值，將Sd中的第t幀圖像的客 觀質(zhì)量值記為Qfmme(t),
,其中，Qm_ ( t )表 示Sr中的第t幀圖像中的所有像素點與Sd中的第t幀圖像中對應像素點之間的時空域局部相 似度的平均值，

[0035] ⑦采用時域加權(quán)方法計算Sd的客觀質(zhì)量值，記為Q，
(t)-QLp(t-l)，α表示質(zhì)量上升時的權(quán)重，β表示質(zhì)量下降時的權(quán)重，γ用于調(diào)整時近效應的 強度，在本實施例中取α = 0·03、β=0·2、γ =1000。
[0036] 為進一步說明本發(fā)明方法的可行性和有效性，對本發(fā)明方法進行試驗。
[0037]采用LIVE視頻數(shù)據(jù)庫和CSIQ視頻數(shù)據(jù)庫，LIVE視頻數(shù)據(jù)庫包含10段無失真視頻，4 種失真類型為MPEG-2壓縮失真、H. 264壓縮失真、H. 264壓縮比特流經(jīng)IP網(wǎng)絡的傳輸失真和 經(jīng)無線網(wǎng)絡的傳輸失真，總共150段失真視頻，所有視頻都是YUV420格式，分辨率為768 X 432，10秒長度，有25幀/秒和50幀/秒兩種幀率;CSIQ視頻數(shù)據(jù)庫包含12段無失真視頻，6種 失真類型為運動JPEG壓縮失真、H. 264壓縮失真、HEVC壓縮失真、小波壓縮失真、無線傳輸中 的丟包失真和加性高斯白噪聲失真，總共216段失真視頻，所有視頻都是YUV420格式，分辨 率為832X480，10秒長度，有24幀/秒、25幀/秒、30幀/秒、50幀/秒和60幀/秒五種幀率。LIVE 視頻數(shù)據(jù)庫和CSIQ視頻數(shù)據(jù)庫都提供了每段失真視頻的平均主觀意見分數(shù)。由于在YUV420 格式的視頻中，兩個色度分量都只有亮度分量的1/4,因此為了使亮度分量和色度分量的維 度匹配，首先對亮度分量在空域做2X2的均值濾波，然后以因子2進行下采樣，再按照步驟 ①至步驟⑦的過程，以相同的方式計算每段失真視頻的客觀質(zhì)量值。對于其他格式如 YUV444和YUYV格式的視頻，由于本發(fā)明方法要求亮度分量及第一色度分量和第二色度分量 的維度相同，因此也應通過下采樣或上采樣處理，以使第一色度分量和第二色度分量的維 度與亮度分量的維度保持一致，本發(fā)明方法中處理的視頻中的每一幀的尺寸大小均一致。
[0038]這里，利用評估視頻質(zhì)量評價方法的3個常用客觀參量作為評價指標，即Pearson 線性相關(guān)性系數(shù)（Pearson Linear Correlation Coefficients，PLCC)、Spearman秩相關(guān)系 數(shù)（Spearman Rank Order Correlation coefficient，SROCC)和均方根誤差RMSE(Rooted Mean Squared Error，RMSE)。PLCC和SR0CC的取值范圍是[0，1 ]，其值越接近1，表明評價方 法越好，反之，越差;RMSE的值越小說明評價方法越好，反之，越差。LIVE視頻數(shù)據(jù)庫表示評 價性能的PLCC、SR0CC和RMSE系數(shù)如表1所列，CSIQ視頻數(shù)據(jù)庫表示評價性能的PLCC、SR0CC 和RMSE系數(shù)如表2所列。從表1所列的數(shù)據(jù)可知，PLCC和SR0CC的值都超過了 0.84，從表2所列 的數(shù)據(jù)可知，PLCC和SR0CC的值都超過了 0.80,也就是說，利用本發(fā)明方法計算得到的失真 視頻的客觀質(zhì)量值與平均主觀意見分數(shù)之間的相關(guān)性是很高的，表明客觀評價結(jié)果與人眼 主觀感知的結(jié)果較為一致，足以說明本發(fā)明方法的有效性。
[0039]表1在LIVE視頻數(shù)據(jù)庫上按本發(fā)明方法計算得到的每段失真視頻的客觀質(zhì)量值與 平均主觀意見分數(shù)之間的相關(guān)性
[0041] 表2在CSIQ視頻數(shù)據(jù)庫上按本發(fā)明方法計算得到的每段失真視頻的客觀質(zhì)量值與 平均主觀意見分數(shù)之間的相關(guān)性
[0042]
【主權(quán)項】
1. 一種基于時空域結(jié)構(gòu)的高效視頻質(zhì)量客觀評價方法，其特征在于包括以下步驟： ① 令Sr表示無失真參考視頻序列，令Sd表示Sr經(jīng)失真后得到的失真視頻序列，其中，Sr中 包含的圖像的總幀數(shù)和Sd中包含的圖像的總幀數(shù)均為F幀，F(xiàn)> 1，Sr中包含的圖像和Sd中包含 的圖像的寬度均為W且高度均為H;將Sr中的所有圖像各自的亮度分量構(gòu)成的序列定義為Sr 的亮度分量序列，并記為Yr;將Sr中的所有圖像各自的第一色度分量構(gòu)成的序列定義為Sr的 第一色度分量序列，并記為Ur;將Sr中的所有圖像各自的第二色度分量構(gòu)成的序列定義為Sr 的第二色度分量序列，并記為Vr;將Sd中的所有圖像各自的亮度分量構(gòu)成的序列定義為Sd的 亮度分量序列，并記為Yd;將Sd中的所有圖像各自的第一色度分量構(gòu)成的序列定義為Sd的第 一色度分量序列，并記為Ud;將Sd中的所有圖像各自的第二色度分量構(gòu)成的序列定義為Sd的 第二色度分量序列，并記為Vd;上述，￥:、隊1、￥ (1、1](1、￥(1中包含的圖像的寬度均為胃且高度均 為H; ② 采用三維Prewitt算子計算Yr的時空域梯度幅值序列，記為Gr，將Gr中的第t幀圖像中 坐標位置為（X.ν')的像素 ?的像素倌iR為Γττ·(χ.V. t), 同樣，采用三維Prewitt算子計算Yd的時空域梯度幅值序列，記為Gd,將Gd中的第t幀圖 像中坐標位置為(X，y)的像素點的像素值記為Gd (X，y，t)，其中，t的初始值為1，1^^^^，1^^<￥，1^^<^上，7,〇表示￥1的水平方向梯度幅 值序列Yrx中的第t幀圖像中坐標位置為(X，y)的像素點的像素值，Yry (X，y，t)表示Yr的豎直 方向梯度幅值序列Yry中的第t幀圖像中坐標位置為(X，y)的像素點的像素值，Y rt (X，y，t)表 示Yr的時間軸方向梯度幅值序列Yrt中的第t幀圖像中坐標位置為(X，y)的像素點的像素值， Ydx (X，y，t)表示Yd的水平方向梯度幅值序列Ydx中的第t幀圖像中坐標位置為(X，y)的像素點 的像素值，Yd y (X，y，t)表示Yd的豎直方向梯度幅值序列Ydy中的第t幀圖像中坐標位置為(X， y)的像素點的像素值，Y dt(x，y，t)表示Yd的時間軸方向梯度幅值序列Ydt中的第t幀圖像中坐 標位置為(x，y)的像素點的像素值，符號"?"表示補零截斷的卷積運算符號，經(jīng)卷積運算 得到的^^1*的維度與1的維度相同，經(jīng)卷積運算得到的￥<^、￥<^、￥<^的維度與￥ (1的維度 相同，F(xiàn)x、Fy、Ft對應表示三維Prewitt算子的水平方向模板、豎直方向模板和時間軸方向模 板； ③ 計算Sr中的每幀圖像中的每個像素點與Sd中對應圖像中的對應像素點之間的時空域 局部梯度相似度，將S r中的第t幀圖像中坐標位置為(X，y)的像素點與Sd中的第t幀圖像中坐 標位置為（x，y)的像素點之間的時空域局部梯度相似度記為G sim(x，y，t)，,(^為防止分式無意義的正常數(shù)； ④ 計算Sr中的每幀圖像中的每個像素點與Sd中對應圖像中的對應像素點之間的時空域 局部顏色相似度，將Sr中的第t幀圖像中坐標位置為(X, y)的像素點與Sd中的第t幀圖像中坐 標位置為（x，y)的像素點之間的時空域局部顏色相似度記為Csim(x，y，t)，沖，Ur(x， y，t)表示Ur中的第t幀圖像中坐標位置為(x，y)的像素點的像素值，也即Sr中的第t幀圖像的 第一色度分量中坐標位置為(X，y)的像素點的像素值，Vr (X，y，t)表示Vr中的第t幀圖像中坐 標位置為(x，y)的像素點的像素值，也即Sr中的第t幀圖像的第二色度分量中坐標位置為 (x，y)的像素點的像素值，Ud(x，y，t)表示Ud中的第t幀圖像中坐標位置為(x，y)的像素點的 像素值，也即S d中的第t幀圖像的第一色度分量中坐標位置為(x，y)的像素點的像素值，Vd (x，y，t)表示Vd中的第t幀圖像中坐標位置為(x，y)的像素點的像素值，也即Sd中的第t幀圖 像的第二色度分量中坐標位置為(x，y)的像素點的像素值，C 2和C3為防止分式無意義的正常 數(shù)； ⑤ 根據(jù)Sr中的每幀圖像中的每個像素點與Sd中對應圖像中的對應像素點之間的時空域 局部梯度相似度，及S r中的每幀圖像中的每個像素點與Sd中對應圖像中的對應像素點之間 的時空域局部顏色相似度，計算Sr中的每幀圖像中的每個像素點與Sd中對應圖像中的對應 像素點之間的時空域局部相似度，將Sr中的第t幀圖像中坐標位置為(x，y)的像素點與Sd中 的第t幀圖像中坐標位置為(x，y)的像素點之間的時空域局部相似度記為Q LS(X，y，t)，QLS (x，y，t)=GSim(x，y，t) X (CSim(x，y，t))A，其中，λ用于調(diào)整顏色分量所占的權(quán)重，λ>〇; ⑥ 采用方差融合方法計算Sd中的每幀圖像的客觀質(zhì)量值，將Sd中的第t幀圖像的客觀質(zhì) 量值記戈其中，Qm_(t)表示Sr中 的第t幀圖像中的所有像素點與Sd中的第t幀圖像中對應像素點之間的時空域局部相似度 的平均值⑦ 采用時域加權(quán)方法計算Sd的客觀質(zhì)量值，記為Q，其 中(t)-QLP(t-l)，α表示質(zhì)量上升時的權(quán)重，β表示質(zhì)量下降時的權(quán)重，γ用于調(diào)整時近效應的 強度。2. 根據(jù)權(quán)利要求1所述的一種基于時空域結(jié)構(gòu)的高效視頻質(zhì)量客觀評價方法，其特征 在于所述的步驟⑤中取λ = 3。3. 根據(jù)權(quán)利要求1所述的一種基于時空域結(jié)構(gòu)的高效視頻質(zhì)量客觀評價方法，其特征 在于所述的步驟⑦中取α = 0·03、β = 0·2、γ =1000。
【文檔編號】H04N19/154GK106028026SQ201610367702
【公開日】2016年10月12日
【申請日】2016年5月27日
【發(fā)明人】郁梅, 呂亞奇, 陳芬, 劉姍姍
【申請人】寧波大學