一種減小時(shí)域質(zhì)量波動(dòng)的三維小波視頻編碼碼率控制方法
【專利摘要】一種減小時(shí)域質(zhì)量波動(dòng)的三維小波視頻編碼碼率控制方法，本發(fā)明涉及三維小波視頻編碼碼率控制方法。本發(fā)明是要解決現(xiàn)有解碼視頻質(zhì)量波動(dòng)較大；視頻編碼系統(tǒng)不能準(zhǔn)確估計(jì)GOP率失真及合成GOP率失真方法反映的對(duì)應(yīng)的GOP內(nèi)容的編碼復(fù)雜度的問題，而提出了一種減小時(shí)域質(zhì)量波動(dòng)的三維小波視頻編碼碼率控制方法。該方法是通過兩遍掃描編碼的步驟完成的；一、第一遍掃描編碼，步驟1、GOP之間均勻分配碼率；步驟2、根據(jù)小波子帶率失真合成GOP率失真；二、第二遍掃描編碼，步驟1、GOP級(jí)比特分配；步驟2、子帶級(jí)碼率分配；步驟3、每個(gè)子帶根據(jù)獲得碼率進(jìn)行量化編碼。本發(fā)明應(yīng)用于編碼碼率控制領(lǐng)域。
【專利說明】一種減小時(shí)域質(zhì)量波動(dòng)的三維小波視頻編碼碼率控制方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種三維小波視頻編碼碼率控制方法。
【背景技術(shù)】
[0002]根據(jù)視頻編碼所使用技術(shù)，編碼方案主要有兩種，一種是預(yù)測(cè)、離散余弦變換及熵編碼的混合編碼框架；另一種是基于小波變換技術(shù)的視頻編碼框架，視頻信號(hào)首先分別經(jīng)過時(shí)間、水平、垂直三個(gè)方向的小波變換，變換后的小波系數(shù)再經(jīng)過熵編碼(如3D-ESC0T)過程得到嵌入式的碼流。在提供高質(zhì)量的編碼效率的同時(shí)，三維小波視頻編碼還具有嵌入式的特點(diǎn)，即數(shù)據(jù)碼流可以在任意比特處截?cái)嗖@得最好的解碼質(zhì)量。在三維小波編碼中，由于原始視頻信號(hào)被分解為時(shí)間-空間小波子帶，因此碼率控制可以簡(jiǎn)化為如何決定各個(gè)小波子帶間的碼率分配問題。在3D-ESC0T編碼方法中，屬于同一子帶的小波系數(shù)組合為三維的子立體塊并進(jìn)行獨(dú)立的熵編碼，同時(shí)可以獲得每個(gè)子塊的率失真信息，碼率控制是根據(jù)各子塊的率失真信息進(jìn)行碼率分配以實(shí)現(xiàn)整體視頻質(zhì)量平均最優(yōu)的，它的出發(fā)點(diǎn)是全局最優(yōu)，并沒有注意到時(shí)間方向幀質(zhì)量波動(dòng)問題。觀察發(fā)現(xiàn)，質(zhì)量波動(dòng)大致分為宏觀和微觀兩種情況:宏觀是指在一段視頻中內(nèi)容發(fā)生了變化，或者是場(chǎng)景發(fā)生切換，碼率沒有及時(shí)的調(diào)整而造成的質(zhì)量波動(dòng)；微觀是指由于小波逆變換的結(jié)構(gòu)而導(dǎo)致的質(zhì)量周期振蕩。這兩種現(xiàn)象在實(shí)際編碼過程都是可以明顯觀察到的。
[0003]目前文獻(xiàn)中出現(xiàn)的控制質(zhì)量波動(dòng)的方法主要集中在解決上述的第二種情況。而基于MCTF的編碼器碼率分配基本方式都是將所有的碼率平均分配給所有的G0P，使得某些GOP會(huì)因?yàn)榘膱D像所表示的內(nèi)容變化劇烈或紋理豐富而出現(xiàn)較大的失真，另外一些GOP會(huì)因?yàn)榘膱D像所表示的內(nèi)容變化緩慢或紋理稀少而產(chǎn)生較小的失真。這種在所有GOP之間平均分配方法雖然簡(jiǎn)單，但沒有考慮實(shí)際GOP內(nèi)包括的具體內(nèi)容，使得解碼視頻質(zhì)量波動(dòng)較大，視頻質(zhì)量在一段視頻中包含兩部分不同的場(chǎng)景情況下則尤為明顯。并且基于MCTF小波視頻編碼系統(tǒng)缺少有效地GOP級(jí)碼率分配方法，不能準(zhǔn)確地估計(jì)GOP率失真?，F(xiàn)有的一種由時(shí)間-空間子帶率失真合成時(shí)間子帶率失真，進(jìn)而合成GOP率失真的方法，也體現(xiàn)了該率失真反映的對(duì)應(yīng)的GOP內(nèi)容編碼復(fù)雜度的問題。

【發(fā)明內(nèi)容】

[0004]本發(fā)明的目的是為了解決基于MCTF的編碼器碼率分配基本方式所產(chǎn)生的解碼視頻質(zhì)量波動(dòng)較大；基于MCTF小波視頻編碼系統(tǒng)缺少有效地GOP級(jí)碼率分配方法，不能準(zhǔn)確地估計(jì)GOP率失真及一種由時(shí)間-空間子帶率失真合成時(shí)間子帶率失真,進(jìn)而合成GOP率失真方法，反映的GOP率失真對(duì)應(yīng)的GOP內(nèi)容的編碼復(fù)雜度的問題，而提出了一種減小時(shí)域質(zhì)量波動(dòng)的三維小波視頻編碼碼率控制方法。
[0005]一種減小時(shí)域質(zhì)量波動(dòng)的三維小波視頻編碼碼率控制方法，包括兩遍掃描編碼碼率分配算法:
[0006]一、第一遍掃描編碼[0007]步驟1、采用原始的編碼參數(shù)對(duì)視頻信號(hào)進(jìn)行編碼，編碼后的視頻信號(hào)在GOP之間利用均勻碼率分配算法分配碼率；
[0008]步驟2、每個(gè)GOP根據(jù)步驟一中均勻碼率分配的結(jié)果，進(jìn)行GOP內(nèi)小波分解得到時(shí)間-空間小波子帶的率失真Ds (R)，由得到的時(shí)間-空間小波子帶的率失真％0?)再合成GOP的率失真Dot(R)，其中GOP的率失真Dotp(R)為對(duì)應(yīng)GOP場(chǎng)景復(fù)雜度模型；
[0009]其中，所述GOP內(nèi)小波分解得到時(shí)間-空間小波子帶具體過程為:每個(gè)GOP經(jīng)過多層次的小波分解后，生成時(shí)間小波子帶，每個(gè)時(shí)間小波子帶再經(jīng)過二維小波分解，形成時(shí)間-空間小波子帶；所述時(shí)間-空間小波子帶進(jìn)行編碼，根據(jù)時(shí)間-空間小波子帶的編碼結(jié)果，計(jì)算時(shí)間-空間小波子帶的率失真DS (R)；
[0010]其中，所述時(shí)間-空間小波子帶再合成GOP的率失真Dot(R)具體過程為:由時(shí)間-空間小波子帶的率失真Ds (R)合成時(shí)間子帶率失真Dt(R);由時(shí)間子帶率失真Dt (R)再合成GOP的率失真Dtop(R)；
[0011]二、第二遍掃描編碼
[0012]步驟1、GOP級(jí)比特分配；其中GOP級(jí)比特分配具體過程為:依據(jù)整個(gè)視頻序列所有GOP的率失真Dg°p (R)，在所有GOP之間分配碼率，使得所有GOP的解碼質(zhì)量相當(dāng)?shù)那闆r下，計(jì)算出分配給每個(gè)GOP的碼率；
[0013]步驟2、子帶級(jí)碼率分配；其具體過程為:將每個(gè)GOP分配得到的碼率按照小波分解形式和時(shí)間-空間小波子帶率失真進(jìn)一步分配給所有子帶；
[0014]步驟3、每個(gè)子帶根據(jù)獲得碼率進(jìn)行量化編碼；
[0015]其中第一遍編碼與第二遍編碼的參數(shù)應(yīng)保持一致，即完成了一種減小時(shí)域質(zhì)量波動(dòng)的三維小波視頻編碼碼率控制方法。
[0016]發(fā)明效果
[0017]本發(fā)明以三維小波變換的可伸縮多視頻編碼系統(tǒng)為基礎(chǔ)，解決了一種由時(shí)間-空間子帶率失真合成時(shí)間子帶率失真，進(jìn)而合成GOP率失真的方法中GOP率失真對(duì)應(yīng)的GOP內(nèi)容的編碼復(fù)雜度的問題。并且基于優(yōu)化碼率分配原則，研究了子帶率失真與原始視頻信號(hào)率失真之間的數(shù)學(xué)關(guān)系，估計(jì)了原始視頻信號(hào)GOP率失真。在此基礎(chǔ)上提出了一種利用兩遍編碼的碼率控制方法，在視頻GOP之間合理分配碼率，實(shí)現(xiàn)GOP級(jí)控制視頻質(zhì)量波動(dòng)的目的。在編碼器端，利用生成的GOP率失真，在不同GOP之間分配碼率，使得所有GOP重建的質(zhì)量相等。仿真結(jié)果表明按照這種方法分配結(jié)果，與傳統(tǒng)的分配方法相比，重建視頻質(zhì)量波動(dòng)更小。結(jié)合了時(shí)域穩(wěn)定碼率控制的三維小波視頻編碼器壓縮的視頻在保證整體平均視頻質(zhì)量變化不大的情況下，明顯地改善了視頻質(zhì)量波動(dòng)性。提出的方法與MSSVC相比，在PSNR均值(M)變化不大，在視頻總體質(zhì)量變化不大或沒有變化的情況下，PSNR方差(S)有較大降低，視頻質(zhì)量的波動(dòng)明顯減少。“BUS-PARIS”序列在第128幀處為場(chǎng)景切換處，與MSSVC相比，雖然平均質(zhì)量有所下降(1.0dB左右)，但是視頻質(zhì)量波動(dòng)卻顯著減??；“M0BILE”序列沒有這樣的場(chǎng)景切換，在平均質(zhì)量變化不大的情況下，得到的解碼視頻質(zhì)量波動(dòng)減少也是非常明顯的。本發(fā)明從小波變換結(jié)構(gòu)的角度研究了小波分解獲得子帶與原始信號(hào)之間率失真關(guān)系。將這種關(guān)系應(yīng)用于小波編碼器中，基于子塊率失真R-D的指數(shù)衰減形式，建立由子帶信號(hào)率失真構(gòu)建原始信號(hào)GOP率失真的模型，基于構(gòu)建的GOP率失真，提出了減少質(zhì)量波動(dòng)的碼率控制方法，應(yīng)用于三維小波編系統(tǒng)中?！緦＠綀D】

【附圖說明】
[0018]圖1是【具體實(shí)施方式】一中的本文提出的兩遍碼率分配算法流程圖；
[0019]圖2是【具體實(shí)施方式】一中的本文提出的時(shí)間子帶空間分解示意圖；
[0020]圖3是【具體實(shí)施方式】一中的本文提出的一個(gè)GOP的兩層時(shí)間分解示意圖；
[0021]圖4是【具體實(shí)施方式】一中的本文提出的BUS-PARIS序列在碼率為768kbps時(shí)Y分量PSNR (峰值信噪比)曲線比較圖，圖中Λ表示使用MSSVC(微軟公司提出的小波視頻編碼軟件)測(cè)試碼率分配算法所得數(shù)據(jù)，圖中O表示本發(fā)明提出的方法測(cè)試碼率分配算法得到的數(shù)據(jù)；
[0022]圖5是【具體實(shí)施方式】一中的本文提出的Mobile序列在碼率為768kbps時(shí)Y分量PSNR (峰值信噪比)曲線比較圖，圖中Λ表示使用MSSVC(微軟公司提出的小波視頻編碼軟件)測(cè)試碼率分配算法所得數(shù)據(jù)，圖中O表示本發(fā)明提出的方法測(cè)試碼率分配算法得到的數(shù)據(jù)。
【具體實(shí)施方式】
[0023]本發(fā)明技術(shù)方案不局限于以下所列舉的【具體實(shí)施方式】，還包括各【具體實(shí)施方式】之間的任意組合。
[0024]【具體實(shí)施方式】一:本實(shí)施方式一種減小時(shí)域質(zhì)量波動(dòng)的三維小波視頻編碼碼率控制方法，具體是按照以下步驟制備的: [0025]一、第一遍掃描編碼
[0026]步驟1、采用原始的編碼參數(shù)對(duì)視頻信號(hào)進(jìn)行編碼，編碼后的視頻信號(hào)在GOP之間利用均勻碼率分配算法分配碼率；
[0027]步驟2、每個(gè)GOP根據(jù)步驟一中均勻碼率分配的結(jié)果，進(jìn)行GOP內(nèi)小波分解得到時(shí)間-空間小波子帶的率失真Ds (R)，由得到的時(shí)間-空間小波子帶的率失真％0?)再合成GOP的率失真Dot(R)，其中GOP的率失真Dotp(R)為對(duì)應(yīng)GOP場(chǎng)景復(fù)雜度模型；
[0028]其中，所述GOP內(nèi)小波分解得到時(shí)間-空間小波子帶具體過程為:每個(gè)GOP經(jīng)過多層次的小波分解后，生成時(shí)間小波子帶，每個(gè)時(shí)間小波子帶再經(jīng)過二維小波分解，形成時(shí)間-空間小波子帶；所述時(shí)間-空間小波子帶進(jìn)行編碼，根據(jù)時(shí)間-空間小波子帶的編碼結(jié)果，計(jì)算時(shí)間-空間小波子帶的率失真Ds (R)；
[0029]其中，所述時(shí)間-空間小波子帶再合成GOP的率失真Dot(R)具體過程為:由時(shí)間-空間小波子帶的率失真Ds (R)合成時(shí)間子帶率失真Dt(R);由時(shí)間子帶率失真Dt (R)再合成GOP的率失真Dtop(R)；
[0030]二、第二遍掃描編碼
[0031]步驟1、GOP級(jí)比特分配；其中GOP級(jí)比特分配具體過程為:依據(jù)整個(gè)視頻序列所有GOP的率失真Dg°p (R)，在所有GOP之間分配碼率，使得所有GOP的解碼質(zhì)量相當(dāng)?shù)那闆r下，計(jì)算出分配給每個(gè)GOP的碼率；
[0032]步驟2、子帶級(jí)碼率分配；其具體過程為:將每個(gè)GOP分配得到的碼率按照小波分解形式和時(shí)間-空間小波子帶率失真進(jìn)一步分配給所有子帶；
[0033]步驟3、每個(gè)子帶根據(jù)獲得碼率進(jìn)行量化編碼；[0034]其中第一遍編碼與第二遍編碼的參數(shù)應(yīng)保持一致，所述的GOP率失真是通過分析每一個(gè)GOP分解過程，利用子帶率失真并按照基于率失真優(yōu)化原則生成的；即完成了一種減小時(shí)域質(zhì)量波動(dòng)的三維小波視頻編碼碼率控制方法；
[0035]本實(shí)施方式的實(shí)驗(yàn)結(jié)果及分析:
[0036]利用基于小波變換視頻編碼系統(tǒng)，使用MSSVC(微軟公司提出的小波視頻編碼軟件)測(cè)試以上所述的碼率分配算法；測(cè)試序列為四個(gè)CIF序列(“Bus-Paris ”，“Coastguard”，“Foreman”和“Mobile”)，幀速率為30fps，編碼是選擇的GOP的大小為16，GOP的大小為64，編碼碼率分別為512kbps，768kbps和1024kbps。其中序列“Bus-Paris”為“Bus”的前128幀與“Paris”的前128合成的視頻，以模擬視頻場(chǎng)景在編碼范圍內(nèi)發(fā)生變化的情況，如表1所示；
[0037]表1測(cè)試序列亮度分量PSNR (峰值信噪比)均值M和GOP均值的方差[S]
[0038]
【權(quán)利要求】
1.一種減小時(shí)域質(zhì)量波動(dòng)的三維小波視頻編碼碼率控制方法，其特征在于一種減小時(shí)域質(zhì)量波動(dòng)的三維小波視頻編碼碼率控制方法是按照以下步驟實(shí)現(xiàn)的: 一、第一遍掃描編碼 步驟1、采用原始的編碼參數(shù)對(duì)視頻信號(hào)進(jìn)行編碼，編碼后的視頻信號(hào)在GOP之間利用均勻碼率分配算法分配碼率； 步驟2、每個(gè)GOP根據(jù)步驟一中均勻碼率分配的結(jié)果，進(jìn)行GOP內(nèi)小波分解得到時(shí)間-空間小波子帶的率失真Ds (R)，由得到的時(shí)間-空間小波子帶的率失真％0?)再合成GOP的率失真Dot(R)，其中GOP的率失真Dotp(R)為對(duì)應(yīng)GOP場(chǎng)景復(fù)雜度模型； 其中，所述GOP內(nèi)小波分解得到時(shí)間-空間小波子帶具體過程為:每個(gè)GOP經(jīng)過多層次的小波分解后，生成時(shí)間小波子帶，每個(gè)時(shí)間小波子帶再經(jīng)過二維小波分解，形成時(shí)間-空間小波子帶；所述時(shí)間-空間小波子帶進(jìn)行編碼，根據(jù)時(shí)間-空間小波子帶的編碼結(jié)果，計(jì)算時(shí)間-空間小波子帶的率失真Ds (R)； 其中，所述時(shí)間-空間小波子帶再合成GOP的率失真De°p(R)具體過程為:由時(shí)間-空間小波子帶的率失真Ds(R)合成時(shí)間子帶率失真Dt (R);由時(shí)間子帶率失真Dt (R)再合成GOP的率失真Dot(R)； 二、第二遍掃描編碼 步驟1、G0P級(jí)比特分配；其中GOP級(jí)比特分配具體過程為:依據(jù)整個(gè)視頻序列所有GOP的率失真Dot(R)，在所有GOP之間分配碼率，使得所有GOP的解碼質(zhì)量相當(dāng)?shù)那闆r下，計(jì)算出分配給每個(gè)GOP的碼率； 步驟2、子帶級(jí)碼率分配；其具體過程為:將每個(gè)GOP分配得到的碼率按照小波分解形式和時(shí)間-空間小波子帶率失真進(jìn)一步分配給所有子帶； 步驟3、每個(gè)子帶根據(jù)獲得碼率進(jìn)行量化編碼；即完成了一種減小時(shí)域質(zhì)量波動(dòng)的三維小波視頻編碼碼率控制方法。
2.根據(jù)權(quán)利要求1所述一種減小時(shí)域質(zhì)量波動(dòng)的三維小波視頻編碼碼率控制方法，其特征在于所述第一遍掃描編碼步驟2中GOP的率失真函數(shù)推導(dǎo)過程為: (1)計(jì)算時(shí)間-空間子帶率失真Ds(R) 經(jīng)MCTF分解獲得的每個(gè)時(shí)間子帶再執(zhí)行二維小波變換(2D-DWT)，假設(shè)分解層數(shù)為I層，則獲得1+1層時(shí)間-空間子帶；其中第i (I < i < I)層包含表示三個(gè)不同方向(k=l, 2，3)的高通時(shí)間-空間子帶Suik和一個(gè)低通子帶Swm ;根據(jù)時(shí)間-空間小波子帶的編碼結(jié)果，計(jì)算時(shí)間-空間小波子帶的率失真Ds(R)； 其時(shí)間-空間子帶率失真Ds (R)假設(shè)為指數(shù)形式為: D(R) = Ese^(1) 由于實(shí)際編碼器采用嵌入式編碼技術(shù)，隨著量化步長(zhǎng)的變化，在編碼過程中可以獲得離散的碼率-失真點(diǎn)，利用上述指數(shù)形式對(duì)碼率-失真點(diǎn)擬合可以獲得參數(shù)Es，a s的值，其中Es為碼率為零是子帶的失真，一般使用子帶的方差表示，a s為表示率失真函數(shù)衰減程度； (2)計(jì)算時(shí)間子帶率失真Dt(R) 其主要過程為每個(gè)GOP內(nèi)包含#( = 2'1€2+)1幀乂>=1，2，...，吣，L層MCTF后，生成L+1個(gè)時(shí)間子帶T1 (1=1，2，...，L+1)，其中第I (1=1，2，...，L)層有N/21幀高通時(shí)間子帶tu (j=l, 2，...，N/21)，第L+1層有一幀低通時(shí)間子帶； 其推導(dǎo)過程為假設(shè)時(shí)間子帶T1中的元素(幀)tXJ經(jīng)過I層二維小波空間分解獲得，其率失真函數(shù)的參數(shù)分別為Ewik, a 1Jik ;則的碼率和失真函數(shù)分別為:
3.根據(jù)權(quán)利要求1所述一種減小時(shí)域質(zhì)量波動(dòng)的三維小波視頻編碼碼率控制方法，其特征在于對(duì)第一遍掃描過程中步驟2所述合成的GOP的率失真函數(shù)Dot(R)進(jìn)行合成增益G1的計(jì)算過程如下: 如果MCTF中小波基采用5/3濾波器，低通合成濾波器系數(shù)h [η]為(1/2，I, 1/2)，高通合成濾波器g[n]系數(shù)為(-1/8，-1/4，3/4，-1/4，-1/8);基于這些濾波器系數(shù)，單層或多層MCTF的每個(gè)時(shí)間子帶變換增益可以以下步驟計(jì)算； 單層MCTF的低通子帶和高通子帶增益為:
4.根據(jù)權(quán)利要求2所述一種減小時(shí)域質(zhì)量波動(dòng)的三維小波視頻編碼碼率控制方法，其特征在于公式(2)、(3)、(5)、(6)是通過以下過程推導(dǎo)的: 一段信號(hào)GOS (group of signal)包含況(= 2Uez+)個(gè)元素XiQ=I, 2，…，N),小波變換后，產(chǎn)生L+1層子帶，第I (1=1，2，...，L)層高通子帶S1包含N/21個(gè)系數(shù)，第L+1層為包含I個(gè)元素的低通子帶Sm ;子帶的S1率失真為D1 (R1)，1=1，2，...，L+1 ;假設(shè)它們的率失真均為指數(shù)形式，即
5.根據(jù)權(quán)利要求1所述一種減小時(shí)域質(zhì)量波動(dòng)的三維小波視頻編碼碼率控制方法，其特征在于在第二遍掃描過程中，步驟一中所述GOP率失真是利用第一遍掃描過程中生成GOP率失真。
6.根據(jù)權(quán)利要求1所述一種減小時(shí)域質(zhì)量波動(dòng)的三維小波視頻編碼碼率控制方法，其特征在于步驟一中所述GOP級(jí)比特分配函數(shù)推導(dǎo)過程為: 假設(shè)視頻序列分為M個(gè)G0P，第j個(gè)GOP的率失真為Df3p(R) = E,a】'[j = 1,2，…，M)；按照下列方法將Rt比特分配給所有GOP:
【文檔編號(hào)】H04N19/177GK103533362SQ201310516019
【公開日】2014年1月22日 申請(qǐng)日期:2013年10月28日 優(yōu)先權(quán)日:2013年10月28日
【發(fā)明者】金雪松, 牟麗娟, 王華兵, 徐建山, 張必英 申請(qǐng)人:哈爾濱商業(yè)大學(xué)