專利名稱：視頻編碼中編碼和重建圖像塊的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種視頻編碼方法，特別涉及一種用于視頻編碼預(yù)測(cè)殘差的變換及反變換方法。
背景技術(shù)：
在視頻編碼器中，視頻數(shù)據(jù)首先被劃分為若干個(gè)16X16大小的塊，其中每一個(gè)16 X 16大小的塊在國(guó)際視頻編碼標(biāo)準(zhǔn)H. 264/AVC及中國(guó)自主知識(shí)產(chǎn)權(quán)的AVS標(biāo)準(zhǔn)中被稱為宏塊(Macroblock)，視頻編碼的過程正是以宏塊(Macroblock)為基本單位進(jìn)行。在編碼一個(gè)宏塊的過程當(dāng)中，編碼器會(huì)進(jìn)一步將宏塊劃分為多個(gè)更小的單元，比如16個(gè)4X4的塊，如圖1所示，或者4個(gè)8X8的塊等。以H. 264/AVC中4X4塊的幀內(nèi)編碼為例，如圖2所示，編碼器首先利用每個(gè)4X4塊周圍的像素(A L，Q，圖2左)根據(jù)某個(gè)預(yù)測(cè)方向(圖2右)生成一個(gè)4X4大小的預(yù)測(cè)塊(Predicted block)，然后將4X4塊與這個(gè)預(yù)測(cè)塊逐個(gè)像素求差值，得到一個(gè)4X4大小的殘差塊(Residual block)，殘差塊中的16個(gè)元素稱之為殘差采樣(Residualsample)值。由于不同的預(yù)測(cè)方向?qū)?yīng)的殘差的統(tǒng)計(jì)特性有所不同，近年來，有研究者提出模式相關(guān)的方向變換(Mode-dependentDirectional Transform,MDDT)(Y. Ye and Μ. Karczewicz,"Improved h.264 intra codingbased on bi-directional intra prediction, directional transform, andadaptivecoefficient scanning,"Proceedings of the 2008 IEEE International Conference onImageProcessing (ICIP)，pp. 2116-2119，Oct. 2008)，即對(duì)不同的預(yù)測(cè)方向，采用不同的變換函數(shù)，如下式描述，F(xiàn) = Ci · X · Ri(1)其中，Ci為預(yù)測(cè)模式i所對(duì)應(yīng)的列變換矩陣，Ri為預(yù)測(cè)模式i所對(duì)應(yīng)的行變換矩陣，X為殘差塊，F(xiàn)為計(jì)算變換所得到的變換系數(shù)矩陣。CpRyX和F均為NXN大小的矩陣。MDDT采用更加細(xì)化的變換，顯著地提高了 H. 264/AVC的幀內(nèi)編碼性能。在MDDT的基礎(chǔ)之上，又有研究者進(jìn)一步對(duì)圖像像素進(jìn)行建模，分析了某些預(yù)測(cè)方向?qū)?yīng)的殘差在水平方向和垂直方向上的協(xié)方差矩陣，推導(dǎo)得出對(duì)于某些預(yù)測(cè)方向，采用給定形式的離散正弦變換(Discrete Sine Transform, DST) (Chuohao Yeo, YihHan Tan, Zhengguo Li, Susanto Rahardja, "TE7 :Results for Mode-Dependent FastSeparable KLT for Block-based IntraCoding，，，Joint Collaborative Team on VideoCoding (JCT-VC) of ITU-T SG16 WP3 and IS0/IECJTC1/SC29/WG11, JCTVC-C037,3rdJCT-VC Meeting, Guangzhou, China, Oct. ,2010)優(yōu)于離散余弦變換，給定形式的離散正弦變換如下式描述(2)
’J ^inVI I ^N+ \ J其中，Cijj為DST的變換矩陣C中位于(i，j)位置的元素。MDDT顯著地提高了 H. 264/AVC幀內(nèi)編碼的性能，但同時(shí)由于變換函數(shù)的數(shù)量顯著增加，變換的計(jì)算沒有快速算法，編碼器和解碼器的復(fù)雜度也顯著提高了。

發(fā)明內(nèi)容
針對(duì)上述問題，本發(fā)明的目的在于提出一種新的低復(fù)雜度的DST變換方法，使得這種變換方法與MDDT的性能近似相同，但變換函數(shù)的數(shù)量大大降低，變換過程的動(dòng)態(tài)位寬降低，實(shí)現(xiàn)無乘法的DST。為實(shí)現(xiàn)上述目的，本發(fā)明提供了如下的技術(shù)方案方案1 一種視頻編碼中編碼圖像塊的方法，所述圖像塊為圖像像素值的集合，其特征在于，所述方法包括如下步驟a)選擇一種預(yù)測(cè)模式，根據(jù)圖像塊周圍的像素生成預(yù)測(cè)塊；b)計(jì)算圖像塊和預(yù)測(cè)塊對(duì)應(yīng)像素之間的差值，得到殘差值，所有殘差值組成一個(gè)殘差塊；c)選擇變換矩陣S，對(duì)殘差塊的每一行/列的元素進(jìn)行行/列變換，得到變換系數(shù)塊；d)根據(jù)幀內(nèi)預(yù)測(cè)模式，從多個(gè)縮放系數(shù)矩陣中選擇一個(gè)對(duì)變換系數(shù)進(jìn)行量化，得到量化的變換系數(shù)；其中，所述變換矩陣S具有如下特征-S為整數(shù)矩陣；-S中的每個(gè)元素的絕對(duì)值均小于20 ；-S中每一行/列的元素不完全相同；-S · St近似對(duì)角矩陣，St為S的轉(zhuǎn)置；-S經(jīng)過歸一化近似DST矩陣。更具體地，如果S · St的全部對(duì)角元素的平方和與全部元素的平方和之比大于0. 96，則稱S · St近似對(duì)角矩陣；記S’為S除以S第一行全部元素的平方和的平方根得到的矩陣，那么如果S’與DST矩陣C相減得到的矩陣的各元素絕對(duì)值之和小于0. 9，則稱S經(jīng)過歸一化近似DST矩陣。方案2 作為方案1的一種優(yōu)選實(shí)現(xiàn)，其特征在于，所述殘差塊為4X 4或者8 X 8大??；對(duì)于4X4的殘差塊，所選的變換矩陣S為4X4的矩陣；對(duì)于8X8的殘差塊，所選的變換矩陣S為8X8的矩陣。方案3 作為方案1的一種優(yōu)選實(shí)現(xiàn)，其特征在于，選擇變換矩陣S進(jìn)行變換的過程中，每一步計(jì)算通過加法、減法和移位操作實(shí)現(xiàn)，而不用通過乘法操作。方案4 作為方案2的一種優(yōu)選實(shí)現(xiàn)，其特征在于，對(duì)于4X4的殘差塊，所選的變換矩陣S的元素的絕對(duì)值均為小于10的整數(shù)；對(duì)于8X8的殘差塊，所選的變換矩陣S的元素的絕對(duì)值均為小于20的整數(shù)。方案5 作為方案1的一種優(yōu)選實(shí)現(xiàn)，其特征在于，所述多個(gè)縮放系數(shù)矩陣包括三個(gè)縮放矩陣(M1, M2, M3),其中縮放矩陣M1的每一行和每一列元素均相同；縮放矩陣M2的每一行元素相同，但是每一列元素不完全相同；縮放矩陣M3的每一列元素相同，但是每一行元素不完全相同。本發(fā)明同時(shí)提供了對(duì)應(yīng)的重建圖像塊的方法
方案6 —種視頻編碼中重建圖像塊的方法，所述圖像塊是圖像像素值的集合，其特征在于，所述方法包括如下步驟a)接收的編碼預(yù)測(cè)模式根據(jù)圖像塊周圍的像素生成預(yù)測(cè)塊；b)根據(jù)接收的編碼預(yù)測(cè)模式，從多個(gè)縮放系數(shù)矩陣中選擇一個(gè)對(duì)接收的量化的變換系數(shù)塊進(jìn)行反量化，得到變換系數(shù)塊；c)選擇變換矩陣S的轉(zhuǎn)置對(duì)反量化的變換系數(shù)塊的每一行/列的元素進(jìn)行行/列變換，得到殘差塊；d)根據(jù)預(yù)測(cè)塊和殘差塊生成重建圖像塊；其中，所述變換矩陣S具有如下特征-S為整數(shù)矩陣；-S中的每個(gè)元素的絕對(duì)值均小于20 ；-S中每一行/列的元素不完全相同；-S · St近似對(duì)角矩陣，St為S的轉(zhuǎn)置；-S經(jīng)過歸一化近似DST矩陣。更具體地，如果S · St的全部對(duì)角元素的平方和與全部元素的平方和之比大于0. 96，則稱S · St近似對(duì)角矩陣；記S’為S除以S第一行全部元素的平方和的平方根得到的矩陣，那么如果S’與DST矩陣C相減得到的矩陣的各元素絕對(duì)值之和小于0. 9，則稱S經(jīng)過歸一化近似DST矩陣。方案7 作為方案6的一種優(yōu)選實(shí)現(xiàn)，其特征在于，所述變換系數(shù)塊為4X4或者8X8大?。粚?duì)于4X4的變換系數(shù)塊，所選的變換矩陣S為4X4的矩陣；對(duì)于8X8的變換系數(shù)塊，所選的變換矩陣S為8X8的矩陣。方案8 作為方案6的一種優(yōu)選實(shí)現(xiàn)，其特征在于，選擇變換矩陣S的轉(zhuǎn)置進(jìn)行反變換的過程中，每一步計(jì)算通過加法、減法和移位操作實(shí)現(xiàn)，而不用通過乘法操作。方案9 作為方案7的一種優(yōu)選實(shí)現(xiàn)，其特征在于，對(duì)于4X4的殘差塊，所選的變換矩陣S的元素的絕對(duì)值均為小于10的整數(shù)；對(duì)于8X8的殘差塊，所選的變換矩陣S的元素的絕對(duì)值均為小于20的整數(shù)。方案10 作為方案6的一種優(yōu)選實(shí)現(xiàn)，其特征在于，所述多個(gè)縮放系數(shù)矩陣包括三個(gè)縮放矩陣(M1, M2, M3),縮放矩陣M1的每一行和每一列元素均相同；縮放矩陣M2的每一行元素相同，但是每一列元素不完全相同；縮放矩陣M3的每一列元素相同，但是每一行元素不完全相同。本發(fā)明的有益效果本發(fā)明實(shí)現(xiàn)了無乘法的DST，其性能與MDDT近似相同，但顯著地降低了編解碼器的存儲(chǔ)復(fù)雜度和計(jì)算復(fù)雜度。


圖1是將單個(gè)宏塊劃分為16個(gè)4X4的塊的示意圖。圖2是H. 264/AVC中4X4塊的幀內(nèi)預(yù)測(cè)示意圖。圖3是發(fā)明的變換函數(shù)與DST的變換函數(shù)的比較。
具體實(shí)施方式
實(shí)施例1 首先根據(jù)變換矩陣S的約束條件尋找得到一個(gè)滿足(I)S為整數(shù)矩陣；O) S中的每個(gè)元素的絕對(duì)值均小于10 ； (3) S中每一行/列的元素不完全相同；(4) 與、的轉(zhuǎn)置相乘結(jié)果為對(duì)角矩陣，即、的行向量間相互正交；(5) S4經(jīng)過歸一化后近似4X4的DST矩陣。尋找、的方法如下描述，定義這樣一個(gè)矩陣
權(quán)利要求
1.一種視頻編碼中編碼圖像塊的方法，其特征在于，包括如下步驟a)選擇一種預(yù)測(cè)模式，根據(jù)圖像塊周圍的像素生成預(yù)測(cè)塊；b)計(jì)算圖像塊和預(yù)測(cè)塊對(duì)應(yīng)像素之間的差值，得到殘差值，所有殘差值組成一個(gè)殘差塊；c)選擇變換矩陣S，對(duì)殘差塊的每一行/列的元素進(jìn)行行/列變換，得到變換系數(shù)塊；d)根據(jù)幀內(nèi)預(yù)測(cè)模式，從多個(gè)縮放系數(shù)矩陣中選擇一個(gè)對(duì)變換系數(shù)進(jìn)行量化，得到量化的變換系數(shù)；其中，所述變換矩陣S具有如下特征-S為整數(shù)矩陣；-S中的每個(gè)元素的絕對(duì)值均小于20 ；-S中每一行/列的元素不完全相同；-S · St近似對(duì)角矩陣，St為S的轉(zhuǎn)置；-S經(jīng)過歸一化近似DST矩陣。
2.按照權(quán)利要求1所述的方法，其特征在于，所述殘差塊為4X4或者8X8大小；對(duì)于4X4的殘差塊，所選的變換矩陣S為4X4的矩陣；對(duì)于8X8的殘差塊，所選的變換矩陣S為8X8的矩陣。
3.按照權(quán)利要求1所述的方法，其特征在于，選擇變換矩陣S進(jìn)行變換的過程中，每一步計(jì)算通過加法、減法和移位操作實(shí)現(xiàn)。
4.按照權(quán)利要求2所述的方法，其特征在于，對(duì)于4X 4的殘差塊，所選的變換矩陣S的元素的絕對(duì)值均為小于10的整數(shù)；對(duì)于8X8的殘差塊，所選的變換矩陣S的元素的絕對(duì)值均為小于20的整數(shù)。
5.按照權(quán)利要求1所述的方法，其特征在于，所述多個(gè)縮放系數(shù)矩陣包括三個(gè)縮放矩陣，其中縮放矩陣M1的每一行和每一列元素均相同；縮放矩陣M2的每一行元素相同，但是每一列元素不完全相同；縮放矩陣M3的每一列元素相同，但是每一行元素不完全相同。
6.一種視頻編碼中重建圖像塊的方法，其特征在于，包括如下步驟a)接收的編碼預(yù)測(cè)模式根據(jù)圖像塊周圍的像素生成預(yù)測(cè)塊；b)根據(jù)接收的編碼預(yù)測(cè)模式，從多個(gè)縮放系數(shù)矩陣中選擇一個(gè)對(duì)接收的量化的變換系數(shù)塊進(jìn)行反量化，得到變換系數(shù)塊；c)選擇變換矩陣S的轉(zhuǎn)置對(duì)反量化的變換系數(shù)塊的每一行/列的元素進(jìn)行行/列反變換，得到殘差塊；d)根據(jù)預(yù)測(cè)塊和殘差塊生成重建圖像塊；其中，所述變換矩陣S具有如下特征-S為整數(shù)矩陣；-S中的每個(gè)元素的絕對(duì)值均小于20 ；-S中每一行/列的元素不完全相同；-S · St近似對(duì)角矩陣，St為S的轉(zhuǎn)置；-S經(jīng)過歸一化近似DST矩陣。
7.按照權(quán)利要求6所述的方法，其特征在于，所述變換系數(shù)塊為4X4或者8X8大??；對(duì)于4X4的變換系數(shù)塊，所選的變換矩陣S為4X4的矩陣；對(duì)于8X8的變換系數(shù)塊，所選的變換矩陣S為8X8的矩陣。
8.按照權(quán)利要求6所述的方法，其特征在于，選擇變換矩陣S的轉(zhuǎn)置進(jìn)行反變換的過程中，每一步計(jì)算通過加法、減法和移位操作實(shí)現(xiàn)。
9.按照權(quán)利要求7所述的方法，其特征在于，對(duì)于4X 4的殘差塊，所選的變換矩陣S的元素的絕對(duì)值均為小于10的整數(shù)；對(duì)于8X8的殘差塊，所選的變換矩陣S的元素的絕對(duì)值均為小于20的整數(shù)。
10.按照權(quán)利要求6所述的方法，其特征在于，所述多個(gè)縮放系數(shù)矩陣包括三個(gè)縮放矩陣，縮放矩陣M1的每一行和每一列元素均相同；縮放矩陣M2的每一行元素相同，但是每一列元素不完全相同；縮放矩陣M3的每一列元素相同，但是每一行元素不完全相同。
全文摘要
本發(fā)明涉及一種視頻編碼中編碼和重建圖像塊的方法。編碼過程首先根據(jù)當(dāng)前塊選定的預(yù)測(cè)模式，生成圖像預(yù)測(cè)塊，選擇發(fā)明的一組低復(fù)雜度整數(shù)DST變換函數(shù)，對(duì)殘差塊進(jìn)行變換，得到變換系數(shù)塊，對(duì)變換系數(shù)塊進(jìn)行量化；重建過程接收量化的變換系數(shù)塊，并進(jìn)行反量化，得到變換系數(shù)塊，選擇發(fā)明的一組低復(fù)雜度整數(shù)DST變換函數(shù)，對(duì)變換系數(shù)塊進(jìn)行反變換，計(jì)算得到殘差塊，根據(jù)當(dāng)前塊選定的預(yù)測(cè)模式，生成圖像預(yù)測(cè)塊，并結(jié)合反變換計(jì)算得到殘差塊生成重建圖像塊。本發(fā)明實(shí)現(xiàn)了無乘法的DST，其性能與MDDT近似相同，但顯著地降低了編解碼器的存儲(chǔ)復(fù)雜度，可以直接應(yīng)用于視頻編碼過程中，有效提高編碼效率，并降低模式相關(guān)變換的計(jì)算復(fù)雜度。
文檔編號(hào)H04N7/50GK102595112SQ20111000564
公開日2012年7月18日 申請(qǐng)日期2011年1月12日 優(yōu)先權(quán)日2011年1月12日
發(fā)明者張莉, 趙欣, 馬思偉, 高文 申請(qǐng)人:北京大學(xué)