無(wú)損圖像和視頻壓縮的制作方法
【專利摘要】本發(fā)明提供了編碼在圖像或視頻壓縮中使用的圖像的幀內(nèi)預(yù)測(cè)殘留塊的方法。所述幀內(nèi)預(yù)測(cè)殘留塊與幀內(nèi)預(yù)測(cè)編碼模式有關(guān)。所述方法包括產(chǎn)生一組殘差塊，所述殘差塊包括殘留數(shù)據(jù)，所述殘留數(shù)據(jù)具有不同于所述幀內(nèi)預(yù)測(cè)殘留塊中殘留數(shù)據(jù)的統(tǒng)計(jì)特征。掃描和熵編碼每個(gè)所述殘差塊以產(chǎn)生第一組比特流。記錄每個(gè)所述第一組比特流的長(zhǎng)度。所述幀內(nèi)預(yù)測(cè)殘留塊也被掃描和熵編碼以產(chǎn)生第二比特流。記錄所述第二比特流的長(zhǎng)度。從所述第一組比特流和所述第二比特流中選擇最小長(zhǎng)度的比特流作為所述幀內(nèi)預(yù)測(cè)殘留塊的輸出編碼比特流。
【專利說(shuō)明】無(wú)損圖像和視頻壓縮

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種用于執(zhí)行無(wú)損圖像或視頻壓縮的方法和裝置。更具體地，本發(fā)明涉及一種方法和裝置，該方法和裝置通過(guò)修改殘留數(shù)據(jù)的統(tǒng)計(jì)特征和修改在熵編碼之前的掃描順序來(lái)編碼圖像的殘留幀內(nèi)預(yù)測(cè)塊以及解碼所述已編碼的殘留幀內(nèi)預(yù)測(cè)塊。

【背景技術(shù)】
[0002]對(duì)無(wú)損視頻壓縮技術(shù)中的越來(lái)越大的興趣在諸如醫(yī)學(xué)圖像編碼和長(zhǎng)期圖像/視頻歸檔的領(lǐng)域中被觀察到。對(duì)于高壓縮無(wú)損/近無(wú)損壓縮算法的愿望由經(jīng)濟(jì)方面的原因所驅(qū)動(dòng)，以保持用于傳輸和存儲(chǔ)的文件大小盡可能小，同時(shí)保持高的圖像/視頻質(zhì)量。由于最近高清晰度(HD)視頻引入消費(fèi)市場(chǎng)，目前迫切需要更有效的無(wú)損/近無(wú)損壓縮算法。相較于標(biāo)準(zhǔn)清晰度(SD)視頻，更多的細(xì)節(jié)和紋理有望記錄在HD視頻中。
[0003]由于絕對(duì)的分辨率，傳輸和存儲(chǔ)要求構(gòu)成了實(shí)時(shí)給予終端用戶HD視頻流或廣播的障礙。但是，這種應(yīng)用已在電影院中被看到，在那體育賽事或演出的現(xiàn)場(chǎng)直播已成為節(jié)目制作界的穩(wěn)定收入來(lái)源。從歸檔的角度來(lái)看，無(wú)損視頻編碼有利于保持最可能的易于管理的包中的內(nèi)容而不丟棄任何重要信息。
[0004]通過(guò)基于國(guó)際電信聯(lián)盟-電信(ITU-T)視頻編碼專家組和國(guó)際標(biāo)準(zhǔn)化組織(ISO)/國(guó)際電工技術(shù)委員會(huì)(IEC)動(dòng)態(tài)圖像專家組的聯(lián)合視頻組(JVT)開(kāi)發(fā)了最新的視頻編碼標(biāo)準(zhǔn)一H.264/高級(jí)視頻編碼(AVC)。由于其高壓縮性能，H.264/AVC已成為廣泛應(yīng)用的有前景的視頻壓縮標(biāo)準(zhǔn)。這些應(yīng)用包括在如下文獻(xiàn)中描述的多媒體流和視頻會(huì)議:例如，ITU-T Rec.H.264 | IS0/IEC14496-10高級(jí)視頻編碼的編輯修正草案——為ITU-T SG16AAP一致(Consent)做準(zhǔn)備，文件 JVT-AD205.doc,2009 年 2 月的 IS0/IEC14496-10AVC、ISO/IEC JTC1/SC29/WG11 和 ITU-T Q.6/SG16 的聯(lián)合視頻組；A.盧特拉(A.Luthra)、G.J.蘇利文(G.J.Sullivan)和T.魏根德(T.Wiegand) “在H.264/AVC視頻編碼標(biāo)準(zhǔn)上引進(jìn)特定問(wèn)題”(“Introduct1n to the special issue on the H.264/AVC video codingstandar”)，電氣與電子工程師協(xié)會(huì)視頻技術(shù)電路與系統(tǒng)學(xué)報(bào)(IEEE Trans.CircuitsSyst.Video Technol.)，2003 年 7 月 13 卷 7 期 557-559 頁(yè)；Τ.魏根德、G.J.蘇利文、G.邦特加德(G.Bjontegaard)和A.盧特拉“H.264/AVC視頻編碼標(biāo)準(zhǔn)概述”，電氣與電子工程師協(xié)會(huì)視頻技術(shù)電路與系統(tǒng)學(xué)報(bào)(IEEE Trans.Circuits Syst.Video Technol.，)，2003 年 7月13卷7期560-576頁(yè)；和G.J.蘇利文和Τ.魏根德“視頻壓縮:從概念到H.264/AVC標(biāo)準(zhǔn)”，電氣與電子工程師協(xié)會(huì)論文集，2005年I月93卷I期18-31頁(yè)。然而，H.264/AVC標(biāo)準(zhǔn)的發(fā)展主要集中在有損編碼/壓縮技術(shù)。
[0005]由正在發(fā)展的無(wú)損編碼市場(chǎng)所誘惑，H.264/AVC已發(fā)展到為無(wú)損視頻編碼提供改進(jìn)功能。H.264/AVC標(biāo)準(zhǔn)包括所謂的脈沖編碼調(diào)制(PCM)的宏模塊編碼模式，其中原始圖像樣本的值被直接傳送而不預(yù)測(cè)、轉(zhuǎn)換以及量化。PCM模式通過(guò)在位數(shù)上施加最小上限值而設(shè)計(jì)為簡(jiǎn)易的，該位數(shù)可以表示具有足夠精度的宏模塊。但是，這方面也降低了其編碼效率，正如Y.-L.李(Y.-L.Lee)、K.H.韓(K.H.Han)和G.J.蘇利文“用于H.264/MPEG-4AVC的改進(jìn)的無(wú)損幀內(nèi)編碼”，電氣與電子工程師協(xié)會(huì)圖像處理學(xué)報(bào)(IEEE Trans.1mage Process.)，2006 年 9 月 15 卷 9 期 2610-2615 頁(yè)中描述的。
[0006]在完成H.264/AVC標(biāo)準(zhǔn)的第一個(gè)版本后，JVT開(kāi)發(fā)了被稱為是保真度范圍擴(kuò)展(FRExt)的原標(biāo)準(zhǔn)的擴(kuò)展，例如如下文獻(xiàn)所描述的:關(guān)于ITU TRec.H.264的H.264/AVC保真度范圍擴(kuò)展修正的案草擬文本、文件JVT-L047.doc、2004年7月的IS0/IEC14496-10AVC、IS0/IEC JTC1/SC29/WG11和ITU-T Q.6/SG16的聯(lián)合視頻組，并且在G.J.蘇利文、P.托皮瓦拉(P.Topiwala)和A.盧特拉“H.264/AVC標(biāo)準(zhǔn):保真度范圍擴(kuò)展的概述和介紹”，光學(xué)學(xué)報(bào)會(huì)議論文集(Proc.SPIE Conf.),關(guān)于新的突發(fā)事故標(biāo)準(zhǔn):H.264/AVC的特殊會(huì)議(SpecialSess1n Adv.New Emerg.Standard:H.264/AVC)丹佛(Denver, CO) 2004 年 8 月 454-474 頁(yè)中被進(jìn)一步描述。在完善FRExt的修正時(shí)，用于滿足更苛刻的應(yīng)用需要的更有效的無(wú)損編碼的方法被決定了。因此，F(xiàn)RExt還包括轉(zhuǎn)換旁路無(wú)損模式，該模式采用兩個(gè)主編碼過(guò)程、預(yù)測(cè)和熵編碼，這是在以前的PCM宏模塊模式中沒(méi)有使用的，如在幀內(nèi)無(wú)損編碼和QP范圍選擇、文件 JVTC023.doc,2002 年 5 月的 IS0/IEC JTC1/SC29/WG11 和 ITU-TQ.6/SG16 的聯(lián)合視頻組中所描述的。仍需要更高效的用于預(yù)測(cè)的編碼技術(shù)，以進(jìn)一步加強(qiáng)無(wú)損編碼的編碼性能。
[0007]在此期間，引入被稱為是樣本-方式差分脈沖編碼調(diào)制(DPCM)的新的幀內(nèi)預(yù)測(cè)方法用于無(wú)損幀內(nèi)預(yù)測(cè)，參見(jiàn)例如，在H.264/MPEG-4AVC中用于改進(jìn)的4:4:4編碼的差分脈沖編碼調(diào)制(DPCM)無(wú)損幀內(nèi)編碼、文件JVT-P016.doc,2005年7月的IS0/IECJTC1/SC29/WGll和ITU-T Q.6/SG16的聯(lián)合視頻組；和所推薦的無(wú)損幀內(nèi)的復(fù)雜度、文件JVT_Q035rl.doc,2005 年 10 月的 IS0/IEC JTC1/SC29/WG11 和 ITU-T Q.6/SG16 的聯(lián)合視頻組。DPCM認(rèn)為緊挨著被預(yù)測(cè)的樣本比幾個(gè)樣本遠(yuǎn)的相鄰塊中的樣本是更好的預(yù)測(cè)器。其結(jié)果是，樣本-方式DPCM可以提供更好的壓縮性能，而且不會(huì)產(chǎn)生計(jì)算復(fù)雜性的大幅增加。它隨后被采用作為有關(guān) ITUT Rec.H.264 | IS0/IEC14496-10AVC 的 H.264/AVC 改進(jìn) 4:4:4 輪廓修正的草擬文本、文件 JVT-Q209.doc,2005 年 10 月的 IS0/IEC JTC1/SC29/WG11 和 ITU-T Q.6/SG16的聯(lián)合視頻組中用于H.264/AVC標(biāo)準(zhǔn)的新的修正草案的一部分。
[0008]H.264/AVC標(biāo)準(zhǔn)采用兩種熵編碼器:如在上下文自適應(yīng)VLC(CVLC)的編碼系數(shù)、文件 JVTC028.doc,2002 年 5 月的 IS0/IEC JTC1/SC29/WG11 和 ITU_TQ6/SG16m 的聯(lián)合視頻組中描述的基于上下文自適應(yīng)的可變長(zhǎng)度的編碼器(CAVLC);和如D.馬普(D.Marpe)、H.施瓦茲(H.Schwarz)、T.魏根德“H.264/AVC視頻壓縮中基于上下文自適應(yīng)的二進(jìn)制算法編碼”，電氣與電子工程師協(xié)會(huì)視頻技術(shù)電路與系統(tǒng)學(xué)報(bào)(IEEE Trans.Circuits Syst.VideoTechnol.)，13卷(7期)(2003年)620-636頁(yè)中所描述的基于上下文自適應(yīng)的二進(jìn)制算法編碼器(CABAC)。然而，熵編碼方法均設(shè)計(jì)為適應(yīng)殘留誤差的統(tǒng)計(jì)特征，該殘留誤差是量化的轉(zhuǎn)換系數(shù)。但是，在無(wú)損編碼中，殘留誤差是原始的和未經(jīng)轉(zhuǎn)換和量化的預(yù)測(cè)的像素值之間的差分像素值。用于有損編碼和用于無(wú)損視頻編碼的殘留數(shù)據(jù)的統(tǒng)計(jì)特征是非常不同的。在H.264/AVC中所用的常規(guī)的熵編碼方法未提供用于無(wú)損視頻編碼的最佳編碼性能。
[0009]在H.264/AVC幀內(nèi)編碼中，如圖1所示，當(dāng)給定4X4塊時(shí)，將9種幀內(nèi)預(yù)測(cè)的模式用于空間冗余簡(jiǎn)化。這也在Y.W.黃(Y.ff.Huang)等人“用于H.264/AVC幀內(nèi)編碼器的分析、快速算法和VLSI (超大規(guī)模集成電路)結(jié)構(gòu)設(shè)計(jì)”，電氣與電子工程師協(xié)會(huì)視頻技術(shù)電路與系統(tǒng)學(xué)報(bào)(IEEE Trans.Circuits Syst.Video Technol.)，2005 年 3 月 15 卷 3 期 378-401頁(yè)中被描述。圖2(a)示出了用于移動(dòng)序列的幀內(nèi)預(yù)測(cè)誤差塊的整數(shù)離散余弦轉(zhuǎn)換(ICT)和量化的例子，該移動(dòng)序列在http://media.xiph.0rg/video/derf/中說(shuō)明。圖2(b)是鋸齒形掃描順序的例子。對(duì)于有損編碼，整數(shù)離散余弦轉(zhuǎn)換(ICT)和量化首先被應(yīng)用于輸入幀內(nèi)預(yù)測(cè)殘留塊，之后是鋸齒形掃描，其掃描順序示于圖2 (b)。將掃描系數(shù)發(fā)送給熵編碼器用于統(tǒng)計(jì)冗余去除。
[0010]值得注意的是，在ICT后，高幅度系數(shù)傾向集中于該塊的左上角。在量化之后，如圖2 (a)所示，該塊的左上部分相較于該塊的右下部分具有更高的非零系數(shù)的概率。這意味著，在鋸齒形掃描后，前期部分相較于后期部分更可能具有非零系數(shù)。由于右下角的系數(shù)傾向于是小的，所以在量化后，它們更可能被量化為連續(xù)的零；量化的步長(zhǎng)越長(zhǎng)，越會(huì)產(chǎn)生更多的零。設(shè)計(jì)H.264/AVC中的熵編碼器以利用這些統(tǒng)計(jì)特征。
[0011]然而，在無(wú)損編碼中，發(fā)送到熵編碼器中的數(shù)據(jù)是殘留誤差，該殘留誤差是原始的和未經(jīng)ICT(轉(zhuǎn)換)和量化的預(yù)測(cè)的像素值之間的差分像素值。殘留數(shù)據(jù)在兩個(gè)方面不同于量化系數(shù):
[0012]I)殘留數(shù)據(jù)具有較少的零項(xiàng)；和
[0013]2)預(yù)測(cè)殘留塊中的所有位置都幾乎具有相同的非零項(xiàng)概率。
[0014]H.264/AVC中的傳統(tǒng)熵編碼方法根本無(wú)法提供用于無(wú)損視頻編碼的最佳編碼性能。這嚴(yán)重限制了實(shí)時(shí)無(wú)損/近無(wú)損視頻傳輸和存儲(chǔ)的使用。
[0015]用于實(shí)時(shí)無(wú)損或近無(wú)損的視頻傳輸和存儲(chǔ)的應(yīng)用可以包括，例如，HD流、HD遠(yuǎn)程呈現(xiàn)(要求至少24Mbps的帶寬和50毫秒的延遲)、遠(yuǎn)程外科手術(shù)應(yīng)用(通常需要1Mbps和I毫秒的延遲)、醫(yī)療成像和備份(醫(yī)院每年存儲(chǔ)500000張圖像包括備份可能需要120TB的存儲(chǔ))。然而，使用現(xiàn)有的無(wú)損視頻編碼技術(shù)大多數(shù)的通信網(wǎng)絡(luò)/存儲(chǔ)系統(tǒng)均不能滿足這些要求。在當(dāng)前壓縮率中即使純粹的8%的改善都可以導(dǎo)致用于無(wú)損/近無(wú)損視頻傳輸和存儲(chǔ)在帶寬和存儲(chǔ)要求上的相當(dāng)大的節(jié)省。
[0016]人們?cè)絹?lái)越渴望更高的無(wú)損視頻壓縮率。


【發(fā)明內(nèi)容】

[0017]本發(fā)明的目的在于提供一種用于修改無(wú)損殘留誤差的統(tǒng)計(jì)特征的機(jī)理以允許熵編碼器實(shí)現(xiàn)更高的壓縮率。
[0018]本發(fā)明的第一方面，提供了一種編碼在圖像或視頻壓縮中使用的圖像的幀內(nèi)預(yù)測(cè)殘留塊的方法。所述幀內(nèi)預(yù)測(cè)殘留塊與幀內(nèi)預(yù)測(cè)編碼模式有關(guān)。所述方法包括產(chǎn)生一組殘差塊，該殘差塊包括殘留數(shù)據(jù)，該殘留數(shù)據(jù)具有不同于幀內(nèi)預(yù)測(cè)殘留塊中的殘留數(shù)據(jù)的統(tǒng)計(jì)特征。每個(gè)所述殘差塊被掃描和熵編碼以產(chǎn)生第一組比特流。記錄每個(gè)所述第一組比特流的長(zhǎng)度。所述幀內(nèi)預(yù)測(cè)殘留塊也被掃描和熵編碼以產(chǎn)生第二比特流。記錄所述第二比特流的長(zhǎng)度。來(lái)自所述第一組比特流和所述第二比特流的最小長(zhǎng)度的比特流被選擇作為幀內(nèi)預(yù)測(cè)殘留塊的輸出編碼比特流。
[0019]作為選項(xiàng)，產(chǎn)生一組殘差塊包括從與幀內(nèi)預(yù)測(cè)編碼模式有關(guān)的加權(quán)的預(yù)定義模板塊組中減去幀內(nèi)預(yù)測(cè)殘留塊。注意在這里使用的術(shù)語(yǔ)“減去”是“找到不同點(diǎn)”的意思，即可適用于不用考慮兩個(gè)運(yùn)算對(duì)象的哪一個(gè)從另一個(gè)中被減去。每個(gè)預(yù)定義模板塊是與特定掃描順序有關(guān)的二元矩陣。
[0020]可選地，每個(gè)所述第一組比特流包括代表與相應(yīng)的殘差塊有關(guān)的信息的報(bào)頭數(shù)據(jù)。
[0021]作為選項(xiàng)，產(chǎn)生一組殘差塊、掃描和熵編碼每個(gè)所述殘差塊的步驟進(jìn)一步包括:
[0022]為來(lái)自多個(gè)比例因子的每個(gè)比例因子％產(chǎn)生所述第一組比特流，以及為來(lái)自與所述幀內(nèi)預(yù)測(cè)編碼模式有關(guān)的多個(gè)預(yù)定義模板塊的每個(gè)模板塊Wk產(chǎn)生所述第一組比特流；通過(guò):
[0023]通過(guò)從加權(quán)的預(yù)定義模板塊a#k中減去幀內(nèi)預(yù)測(cè)殘留塊Xi計(jì)算殘差塊Ri,所述加權(quán)的預(yù)定義模板塊包括所述每個(gè)預(yù)定義的模板塊乘以所述每個(gè)比例因子；
[0024]以與Wk有關(guān)的相應(yīng)的掃描順序掃描Ri ;
[0025]熵編碼所述已掃描的Ri,輸出包括在所述第一組比特流中的編碼比特流；和
[0026]記錄輸出編碼比特流的長(zhǎng)度I (ai; Wk)。
[0027]可選地，所述方法包括從第一組比特流中選擇具有最小記錄長(zhǎng)度的第一編碼比特流的步驟。
[0028]作為選項(xiàng)，每個(gè)所述第一編碼比特流包括代表與相應(yīng)的第一編碼比特流有關(guān)的比例因子的報(bào)頭數(shù)據(jù)。此外，每個(gè)所述第一編碼比特流可以包括代表與相應(yīng)第一編碼比特流有關(guān)的預(yù)定義模板塊的報(bào)頭數(shù)據(jù)。
[0029]作為選項(xiàng)，掃描和熵編碼所述幀內(nèi)預(yù)測(cè)殘留塊Xi的步驟進(jìn)一步包括:
[0030]以鋸齒形掃描順序掃描Xi ;
[0031]熵編碼所述掃描的Xi以輸出所述第二編碼比特流；和
[0032]記錄所述第二編碼比特流的長(zhǎng)度。
[0033]可選地，所述方法包括以下步驟:比較所述第一編碼比特流的記錄長(zhǎng)度和所述第二編碼比特流的記錄長(zhǎng)度；和當(dāng)所述最小記錄長(zhǎng)度小于所述第二編碼比特流的記錄長(zhǎng)度時(shí)，選擇所述第一編碼比特流作為所述輸出比特流。
[0034]根據(jù)本發(fā)明的第二方面，提供了一種解碼已編碼的在圖像或視頻壓縮中使用的圖像的幀內(nèi)預(yù)測(cè)殘留塊的方法。所述已編碼的幀內(nèi)預(yù)測(cè)殘留塊與幀內(nèi)預(yù)測(cè)編碼模式有關(guān)。所述方法包括:檢測(cè)與編碼殘差塊有關(guān)的報(bào)頭信息，所述殘差塊包括殘留數(shù)據(jù)，所述殘留數(shù)據(jù)具有不同于幀內(nèi)預(yù)測(cè)殘留塊中的殘留數(shù)據(jù)的統(tǒng)計(jì)特征。通過(guò)熵解碼和去掃描(de-scanning)所述已編碼的幀內(nèi)預(yù)測(cè)殘留塊來(lái)產(chǎn)生所述殘差塊。將所述報(bào)頭信息應(yīng)用到所述殘差塊以輸出在解碼圖像中使用的所述幀內(nèi)預(yù)測(cè)殘留塊。
[0035]根據(jù)本發(fā)明的第三方面，提供了一種編碼在圖像或視頻壓縮中使用的圖像的幀內(nèi)預(yù)測(cè)殘留塊的裝置。所述幀內(nèi)預(yù)測(cè)殘留塊與幀內(nèi)預(yù)測(cè)編碼模式有關(guān)。所述裝置包括結(jié)合在一起的產(chǎn)生單元、掃描單元、熵編碼單元和存儲(chǔ)。所述產(chǎn)生單元被配置為產(chǎn)生多個(gè)殘差塊，該殘差塊包括殘留數(shù)據(jù)，所述殘留數(shù)據(jù)具有不同于幀內(nèi)預(yù)測(cè)殘留塊中的殘留數(shù)據(jù)的統(tǒng)計(jì)特征。所述掃描單元被配置為掃描每個(gè)所述殘差塊以產(chǎn)生多個(gè)掃描的殘留塊；和掃描幀內(nèi)預(yù)測(cè)殘留塊以產(chǎn)生掃描的幀內(nèi)預(yù)測(cè)殘留塊。所述熵編碼單元被配置為熵編碼每個(gè)所述掃描的殘差塊以產(chǎn)生第一多個(gè)比特流；熵編碼已掃描的幀內(nèi)預(yù)測(cè)殘留塊以產(chǎn)生第二比特流。所述存儲(chǔ)單元被配置為記錄每個(gè)所述第一多個(gè)比特流的長(zhǎng)度和第二比特流的長(zhǎng)度。選擇單元被配置為從所述第一多個(gè)比特流和所述第二比特流選擇最小長(zhǎng)度的比特流作為幀內(nèi)預(yù)測(cè)殘留塊的輸出編碼比特流。
[0036]根據(jù)本發(fā)明的第四方面，提供了一種解碼已編碼的在圖像或視頻壓縮中使用的圖像的幀內(nèi)預(yù)測(cè)殘留塊的裝置。所述已編碼的幀內(nèi)預(yù)測(cè)殘留塊與幀內(nèi)預(yù)測(cè)編碼模式有關(guān)。所述裝置包括結(jié)合在一起的檢測(cè)單元、熵解碼和掃描單元和產(chǎn)生單元。所述檢測(cè)單元被配置為檢測(cè)與編碼殘差塊有關(guān)的報(bào)頭信息，所述殘差塊包括殘留數(shù)據(jù)，所述殘留數(shù)據(jù)具有不同于幀內(nèi)預(yù)測(cè)殘留塊中的殘留數(shù)據(jù)的統(tǒng)計(jì)特征。所述熵解碼和掃描單元被配置為通過(guò)熵解碼和去掃描所述已編碼的幀內(nèi)預(yù)測(cè)殘留塊來(lái)產(chǎn)生所述殘差塊。所述產(chǎn)生單元被配置為將所述報(bào)頭信息應(yīng)用到所述殘差塊以輸出所述幀內(nèi)預(yù)測(cè)殘留塊。
[0037]根據(jù)本發(fā)明的另一方面，提供了一種在如本文所描述的用于編碼和解碼的方法和裝置中使用的產(chǎn)生一個(gè)或多個(gè)預(yù)定義模板塊的方法。該方法包括通過(guò)最
[0038]= ψ minZIvec^ _ α^)|Ιο
[0039]小化:s.tff(r, c) e {0,1}，
[0040]產(chǎn)生一個(gè)或多個(gè)與幀內(nèi)預(yù)測(cè)編碼模式有關(guān)的預(yù)定義模板塊，其中Xi是給定的與所述幀內(nèi)預(yù)測(cè)編碼模式有關(guān)的nXn幀內(nèi)預(yù)測(cè)殘留塊，W是來(lái)自一組模板塊的nXn模板塊，其中每個(gè)條目是O或1，a,是具有預(yù)定義范圍的比例整數(shù)，vec()是矢量化運(yùn)算符，它將所有矩陣元素變成逐行順序的矢量形式，I 1.1 Ici是用于計(jì)算矢量的非零元素總數(shù)的LO范數(shù)，其中二元矩陣W_是第一模板塊，其中對(duì)于與所述幀內(nèi)預(yù)測(cè)模式有關(guān)的一個(gè)或多個(gè)幀內(nèi)預(yù)測(cè)殘留塊給定組，非零系數(shù)的數(shù)目是最小化的。
[0041]作為選項(xiàng)，所述方法進(jìn)一步包括通過(guò)再次執(zhí)行所述確定步驟來(lái)產(chǎn)生第二預(yù)定義模板塊，其中所述第一模板塊在所述第二最小化期間從所述模板塊組中被排除，這樣所述二元矩陣Wtjpt是所述第二模板塊，其中對(duì)于與所述幀內(nèi)預(yù)測(cè)模式有關(guān)的一個(gè)或多個(gè)幀內(nèi)預(yù)測(cè)殘留塊給定組，所述非零系數(shù)的數(shù)目是最小化的。
[0042]可選地，當(dāng)所述幀內(nèi)預(yù)測(cè)模式是O并且所述殘留幀內(nèi)預(yù)測(cè)塊是4X4塊時(shí)，所述多個(gè)預(yù)定義模板塊包括至少一塊選自如本文參照?qǐng)D4描述的模板塊的組。此外，對(duì)于所述模板塊的組的掃描順序可以是逐行、從頂?shù)降?、從左到右的順序，其中?O ”位置首先被掃描并且“I”位置最后被掃描。
[0043]作為選項(xiàng)，當(dāng)所述幀內(nèi)預(yù)測(cè)模式是I并且所述殘留幀內(nèi)預(yù)測(cè)塊是4X4塊時(shí)，所述多個(gè)預(yù)定義模板塊包括至少一塊選自如本文參照?qǐng)D5描述的模板塊的組。此外，對(duì)于所述模板塊組的掃描順序是可以是逐列、從左到右、從頂?shù)降椎捻樞?，其中“O ”位置首先被掃描并且“I”位置最后被掃描。
[0044]可選地，當(dāng)所述幀內(nèi)預(yù)測(cè)模式是3并且所述殘留幀內(nèi)預(yù)測(cè)塊是4X4塊時(shí)，所述多個(gè)預(yù)定義模板塊包括至少一塊選自如本文參照?qǐng)D6描述的模板塊的組。此外，對(duì)于所述模板塊組的掃描順序可以是“ I ”位置被重排的鋸齒形的反射順序，其中“O”位置首先被掃描并且“I”位置最后被掃描。
[0045]作為選項(xiàng)，當(dāng)所述幀內(nèi)預(yù)測(cè)模式是4并且所述殘留幀內(nèi)預(yù)測(cè)塊是4X4塊時(shí)，所述多個(gè)預(yù)定義模板塊包括至少一塊選自如本文參照?qǐng)D7描述的模板塊的組。此外，對(duì)于所述模板塊組的掃描順序可以是鋸齒形順序，其中“O”位置首先被掃描并且“ I”位置最后被掃描。
[0046]可選地，當(dāng)所述幀內(nèi)預(yù)測(cè)模式是2并且所述殘留幀內(nèi)預(yù)測(cè)塊是4X4塊時(shí)，所述多個(gè)預(yù)定義模板塊包括至少一塊選自如本文參照?qǐng)D8描述的模板塊的組。此外，對(duì)于所述模板塊組的掃描順序可以是如本文參照?qǐng)D8描述的:
[0047](a)到(b)是逐行、從頂?shù)降住淖蟮接翼樞颍?br> [0048](c)到⑴是逐列、從左到右、從頂?shù)降醉樞颍?br> [0049](g)到(k)是鋸齒形的反射順序；和
[0050](I)到(P)是鋸齒形順序；
[0051]其中“O”位置首先被掃描并且“I”位置最后被掃描。
[0052]本發(fā)明實(shí)施例提供了用于壓縮無(wú)損/近無(wú)損圖像或視頻序列的相對(duì)簡(jiǎn)單和有效的機(jī)理。本發(fā)明的特定應(yīng)用涉及那些在醫(yī)學(xué)成像中使用的圖像。當(dāng)然，本發(fā)明可被用于其它圖像和視頻格式和它們的組合。本發(fā)明可以表示成方法、用于實(shí)施該方法的裝置，例如包括處理器和以永久形式存儲(chǔ)的有形的數(shù)據(jù)存儲(chǔ)裝置，通過(guò)處理器的程序指令操作可使所述處理器實(shí)施該方法。
[0053]附圖的簡(jiǎn)要i兌明
[0054]現(xiàn)將參照附圖并僅以舉例的方式來(lái)描述本發(fā)明的一些實(shí)施例，其中:
[0055]圖1簡(jiǎn)要的示出了在H.264/AVC標(biāo)準(zhǔn)中使用的9種幀內(nèi)預(yù)測(cè)模式；
[0056]圖2a示出了幀內(nèi)預(yù)測(cè)誤差塊的ICT和對(duì)于的量化的例子；
[0057]圖2b示出了鋸齒形掃描順序的例子；
[0058]圖3示出了從一系列測(cè)試圖像中導(dǎo)出的殘留塊的非零系數(shù)的絕對(duì)值的概率分布；
[0059]圖4由圖4(a)到4(p)組成，示出了與模式O有關(guān)的16個(gè)模式依賴的模板塊的例子;
[0060]圖5由圖5(a)到5 (p)組成，示出了與模式I有關(guān)的16個(gè)模式依賴的模板塊的例子;
[0061]圖6由圖6(a)到6 (p)組成，示出了與模式3有關(guān)的16個(gè)模式依賴的模板塊的例子;
[0062]圖7由圖7(a)到7 (p)組成，示出了與模式4有關(guān)的16個(gè)模式依賴的模板塊的例子;
[0063]圖8由圖8(a)到8 (p)組成，示出了與模式2有關(guān)的16個(gè)模式依賴的模板塊的例子;
[0064]圖9 (a)示出了用于模式O的模式依賴的模板塊的例子；
[0065]圖9 (b)示出了與圖9 (a)的模板塊有關(guān)的相應(yīng)的掃描順序；
[0066]圖9 (C)示出了用于模式3的模式依賴的模板塊的例子；
[0067]圖9 (d)示出了與圖9 (C)的模板塊有關(guān)的相應(yīng)的掃描順序；
[0068]圖10是示出了實(shí)施本發(fā)明實(shí)施例的一組步驟的流程圖；
[0069]圖11示出了在使用測(cè)試圖像序列的MD模板方法之前和之后非零系數(shù)的存在相對(duì)于掃描位置的概率分布。

【具體實(shí)施方式】
[0070]為了克服上述認(rèn)定的問(wèn)題，下面將描述用于執(zhí)行無(wú)損/近無(wú)損視頻編碼以實(shí)現(xiàn)更高壓縮率的方法和裝置。本發(fā)明的實(shí)施例和例子是基于定制的無(wú)損殘留誤差的統(tǒng)計(jì)特性的概念，以允許可以實(shí)現(xiàn)更高壓縮率的更好的熵編碼。分析了幀內(nèi)預(yù)測(cè)模式中預(yù)測(cè)殘留誤差的統(tǒng)計(jì)相關(guān)性，并且導(dǎo)出的模板塊可從每個(gè)幀內(nèi)預(yù)測(cè)模式的塊中被減去，模板塊在本文中也被稱為模式依賴的模板(MD模板)。這會(huì)產(chǎn)生更多的零項(xiàng)；通過(guò)設(shè)計(jì)每個(gè)模板的掃描順序，掃描的系數(shù)序列的前期部分與后期部分相比具有更高的非零系數(shù)概率。這樣，處理的結(jié)果更適合于無(wú)損/近無(wú)損視頻編碼的熵編碼方法，例如，H.264/AVC或H.265和其他合適的圖像/視頻編碼標(biāo)準(zhǔn)/技術(shù)。示出的例子說(shuō)明相較于其他無(wú)損/近無(wú)損編碼技術(shù)(如
H.264/AVC的保真度范圍擴(kuò)展高調(diào)編碼方法)，通過(guò)根據(jù)本發(fā)明的基于MD模板的編碼/解碼方法可以實(shí)現(xiàn)在位數(shù)方面的相當(dāng)大的節(jié)省。
[0071]特別是，為了使用用于修改無(wú)損殘留誤差的統(tǒng)計(jì)特征的該模板塊，它們需要被定義。模板塊(MD模板)可以從每個(gè)幀內(nèi)預(yù)測(cè)模式中被推導(dǎo)出，如下所示:

【權(quán)利要求】
1.一種編碼在圖像或視頻壓縮中使用的圖像的幀內(nèi)預(yù)測(cè)殘留塊的方法，其中所述幀內(nèi)預(yù)測(cè)殘留塊與幀內(nèi)預(yù)測(cè)編碼模式有關(guān)，所述方法包括: 產(chǎn)生多個(gè)殘差塊，所述殘差塊包括殘留數(shù)據(jù)，所述殘留數(shù)據(jù)具有不同于所述幀內(nèi)預(yù)測(cè)殘留塊中殘留數(shù)據(jù)的統(tǒng)計(jì)特征； 掃描和熵編碼每個(gè)所述殘差塊以產(chǎn)生第一多個(gè)比特流，記錄每個(gè)所述第一多個(gè)比特流的長(zhǎng)度； 掃描和熵編碼所述幀內(nèi)預(yù)測(cè)殘留塊以產(chǎn)生第二比特流，記錄該第二比特流的長(zhǎng)度；從所述第一多個(gè)比特流和所述第二比特流選擇最小長(zhǎng)度的比特流作為所述幀內(nèi)預(yù)測(cè)殘留塊的輸出編碼比特流。
2.根據(jù)權(quán)利要求1所述的方法，其中所述產(chǎn)生多個(gè)殘差塊的步驟包括從與所述幀內(nèi)預(yù)測(cè)編碼模式有關(guān)的加權(quán)的多個(gè)預(yù)定義的模板塊減去幀內(nèi)預(yù)測(cè)殘留塊，其中每個(gè)預(yù)定義的模板塊是與特定掃描順序有關(guān)的二元矩陣。
3.根據(jù)權(quán)利要求1或2所述的方法，其中每個(gè)第一多個(gè)比特流包括代表與相應(yīng)的殘差塊有關(guān)的信息的報(bào)頭數(shù)據(jù)。
4.根據(jù)權(quán)利要求1-3任一項(xiàng)所述的方法，其中所述產(chǎn)生多個(gè)殘差塊、掃描和熵編碼每個(gè)所述殘差塊和記錄所述第一多個(gè)比特流的長(zhǎng)度的步驟包括: 從多個(gè)比例因子為每個(gè)比例因子％產(chǎn)生所述第一多個(gè)比特流，和從多個(gè)與所述幀內(nèi)預(yù)測(cè)編碼模式有關(guān)的預(yù)定義的模板塊為每個(gè)模板塊Wk產(chǎn)生所述第一多個(gè)比特流；通過(guò): 通過(guò)從加權(quán)的預(yù)定義的模板塊a」Wk減去幀內(nèi)預(yù)測(cè)殘留塊Xi計(jì)算殘差塊Ri ； 以與Wk有關(guān)的相應(yīng)的掃描順序掃描Ri ； 熵編碼所述已掃描的Ri,輸出包括在所述第一組比特流中的編碼比特流；和 記錄輸出編碼比特流的長(zhǎng)度I (ai; Wk)。
5.根據(jù)權(quán)利要求4所述的方法，其中，每個(gè)所述第一比特流包括相應(yīng)的輸出編碼比特流和代表與相應(yīng)的所述第一編碼比特流有關(guān)的比例因子的報(bào)頭數(shù)據(jù)。
6.根據(jù)權(quán)利要求5所述的方法，其中，每個(gè)所述第一比特流進(jìn)一步包括代表與相應(yīng)第一編碼比特流有關(guān)的所述預(yù)定義模板塊的報(bào)頭數(shù)據(jù)。
7.根據(jù)權(quán)利要求1-6任一項(xiàng)所述的方法，其中所述掃描和熵編碼所述幀內(nèi)預(yù)測(cè)殘留塊Xi的步驟進(jìn)一步包括: 以鋸齒形掃描順序掃描Xi ； 熵編碼所述掃描的Xi以輸出所述第二編碼比特流；和 記錄所述第二編碼比特流的長(zhǎng)度。
8.根據(jù)權(quán)利要求1-7任一項(xiàng)所述的方法，進(jìn)一步包括從所述第一多個(gè)比特流中選擇具有最小記錄長(zhǎng)度的第一編碼比特流的步驟。
9.根據(jù)權(quán)利要求8所述的方法，進(jìn)一步包括: 比較所述第一編碼比特流的記錄長(zhǎng)度和所述第二編碼比特流的記錄長(zhǎng)度； 當(dāng)所述最小記錄長(zhǎng)度小于所述第二編碼比特流的記錄長(zhǎng)度時(shí)，選擇所述第一編碼比特流作為所述輸出比特流。
10.一種解碼已編碼的在圖像或視頻壓縮中使用的圖像的幀內(nèi)預(yù)測(cè)殘留塊的方法，其中所述已編碼的幀內(nèi)預(yù)測(cè)殘留塊與所述幀內(nèi)預(yù)測(cè)編碼模式有關(guān)，所述方法包括:檢測(cè)與編碼殘差塊有關(guān)的報(bào)頭信息，所述殘差塊包括殘留數(shù)據(jù)，所述殘留數(shù)據(jù)具有不同于所述幀內(nèi)預(yù)測(cè)殘留塊中殘留數(shù)據(jù)的統(tǒng)計(jì)特征； 通過(guò)熵解碼和去掃描所述已編碼的幀內(nèi)預(yù)測(cè)殘留塊產(chǎn)生所述殘差塊； 將所述報(bào)頭信息應(yīng)用到所述殘差塊以輸出所述幀內(nèi)預(yù)測(cè)殘留塊。
11.根據(jù)權(quán)利要求10所述的方法，其中所述報(bào)頭信息包括比例因子和預(yù)定義的模板塊的說(shuō)明，并且所述產(chǎn)生所述殘差塊的步驟進(jìn)一步包括: 根據(jù)由所述預(yù)定義的模板塊和相關(guān)的幀內(nèi)預(yù)測(cè)編碼模式定義的特定掃描順序去掃描所述熵解碼的殘差塊； 通過(guò)所述去掃描熵解碼的殘差塊和由比例因子加權(quán)的所述預(yù)定義的模板塊的總和計(jì)算所述幀內(nèi)預(yù)測(cè)殘留塊。
12.—種產(chǎn)生用于根據(jù)權(quán)利要求1-9任一項(xiàng)所述的編碼方法和根據(jù)權(quán)利要求10-11任一項(xiàng)所述的解碼方法的預(yù)定義模板塊的方法，所述該方法包括: 通過(guò)最小化:
s.t W (r，c) ∈ {O, 1} ， 確定與所述幀內(nèi)預(yù)測(cè)編碼模式有關(guān)的第一模板塊， 其中Xi是給定的與所述幀內(nèi)預(yù)測(cè)編碼模式有關(guān)的nXn幀內(nèi)預(yù)測(cè)殘留塊，W是來(lái)自模板塊的組的ηΧη模板塊，其中每個(gè)條目是O或Lai是具有預(yù)定義范圍的比例整數(shù)，vec O是矢量化運(yùn)算符，它將所有矩陣元素變成逐行順序的矢量形式，I 1.1 Ici是用于計(jì)算矢量的非零元素總數(shù)的LO范數(shù)，其中二元矩陣W_是第一模板塊，其中對(duì)于與所述幀內(nèi)預(yù)測(cè)模式有關(guān)的一個(gè)或多個(gè)幀內(nèi)預(yù)測(cè)殘留塊乂1~41~4?的給定組，所述非零系數(shù)的數(shù)目是最小化的。
13.根據(jù)權(quán)利要求12所述的方法，進(jìn)一步包括通過(guò)再次執(zhí)行所述確定步驟產(chǎn)生第二預(yù)定義的模板塊，其中所述第一模板塊在所述最小化期間從所述模板塊的組中被排除，以使所述二元矩陣Wtjpt是所述第二模板塊，其中對(duì)于與所述幀內(nèi)預(yù)測(cè)模式有關(guān)的一個(gè)或多個(gè)幀內(nèi)預(yù)測(cè)殘留塊給定組，所述非零系數(shù)的數(shù)目是最小化的。
14.根據(jù)權(quán)利要求2-13任一項(xiàng)所述的方法，其中，當(dāng)所述幀內(nèi)預(yù)測(cè)模式是O并且所述殘留幀內(nèi)預(yù)測(cè)塊是4X4塊時(shí)，所述多個(gè)預(yù)定義模板塊包括以下的組中選出的至少一塊:

15.根據(jù)權(quán)利要求14所述的方法，其中對(duì)于所述模板塊的組的掃描順序是逐行、從頂?shù)降?、從左到右的順序，其中“O”位置首先被掃描并且“I”位置最后被掃描。
16.根據(jù)權(quán)利要求2-15任一項(xiàng)所述的方法，其中，當(dāng)所述幀內(nèi)預(yù)測(cè)模式是I并且所述殘留幀內(nèi)預(yù)測(cè)塊是4X4的塊時(shí)，所述多個(gè)預(yù)定義模板塊包括選自根據(jù)本文圖5描述的模板塊的組的至少一塊。
17.根據(jù)權(quán)利要求16所述的方法，其中所述模板塊的組的掃描順序是逐列、從左到右、從頂?shù)降椎捻樞?，其中“O”位置首先被掃描并且“I”位置最后被掃描。
18.根據(jù)權(quán)利要求2-17任一項(xiàng)所述的方法，其中，當(dāng)所述幀內(nèi)預(yù)測(cè)模式是3并且所述殘留幀內(nèi)預(yù)測(cè)塊是4X4的塊時(shí)，所述多個(gè)預(yù)定義模板塊包括選自根據(jù)本文圖6描述的模板塊的組的至少一塊。
19.根據(jù)權(quán)利要求18所述的方法，其中所述模板塊的組的掃描順序是“I”位置被重排的鋸齒形的反射順序，其中“O”位置首先被掃描并且“I”位置最后被掃描。
20.根據(jù)權(quán)利要求2-19任一項(xiàng)所述的方法，其中，當(dāng)所述幀內(nèi)預(yù)測(cè)模式是4并且所述殘留幀內(nèi)預(yù)測(cè)塊是4X4的塊時(shí)，所述多個(gè)預(yù)定義模板塊包括選自根據(jù)本文圖7描述的模板塊的組的至少一塊。
21.根據(jù)權(quán)利要求20所述的方法，其中所述模板塊的組的掃描順序是鋸齒形順序，其中“O”位置首先被掃描并且“ I”位置最后被掃描。
22.根據(jù)權(quán)利要求2-21任一項(xiàng)所述的方法，其中，當(dāng)所述幀內(nèi)預(yù)測(cè)模式是2并且所述殘留幀內(nèi)預(yù)測(cè)塊是4X4的塊時(shí)，所述多個(gè)預(yù)定義模板塊包括選自根據(jù)本文圖8描述的模板塊的組的至少一塊。
23.根據(jù)權(quán)利要求22所述的方法，其中所述模板塊的組的掃描順序: (a)到(b)是逐行、從頂?shù)降?、從左到右的順序? (C)到⑴是逐列、從左到右、從頂?shù)降椎捻樞颍? (g)到(k)是鋸齒形的反射順序；和 (I)到(P)是鋸齒形順序； 其中“O”位置首先被掃描并且“ I”位置最后被掃描。
24.一種編碼在圖像或視頻壓縮中使用的圖像的幀內(nèi)預(yù)測(cè)殘留塊的裝置，其中所述幀內(nèi)預(yù)測(cè)殘留塊與幀內(nèi)預(yù)測(cè)編碼模式有關(guān)，所述裝置包括: 產(chǎn)生單元，被配置為產(chǎn)生多個(gè)殘差塊，所述殘差塊包括殘留數(shù)據(jù)，所述殘留數(shù)據(jù)具有不同于所述幀內(nèi)預(yù)測(cè)殘留塊中的殘留數(shù)據(jù)的統(tǒng)計(jì)特征； 掃描單元，被配置為掃描每個(gè)所述殘差塊以產(chǎn)生多個(gè)掃描的殘差塊；和掃描所述幀內(nèi)預(yù)測(cè)殘留塊以產(chǎn)生掃描的幀內(nèi)預(yù)測(cè)殘留塊； 熵編碼單元，被配置為熵編碼每個(gè)掃描的所述殘差塊以產(chǎn)生第一多個(gè)比特流；熵編碼已掃描的幀內(nèi)預(yù)測(cè)殘留塊以產(chǎn)生第二比特流； 存儲(chǔ)單元，被配置為記錄每個(gè)所述第一多個(gè)比特流的長(zhǎng)度和第二比特流的長(zhǎng)度； 選擇單元，被配置為從所述第一多個(gè)比特流和所述第二比特流選擇最小長(zhǎng)度的比特流作為所述幀內(nèi)預(yù)測(cè)殘留塊的輸出編碼比特流。
25.一種解碼已編碼的在圖像或視頻壓縮中使用的圖像的幀內(nèi)預(yù)測(cè)殘留塊的裝置，其中所述已編碼的幀內(nèi)預(yù)測(cè)殘留塊與幀內(nèi)預(yù)測(cè)編碼模式有關(guān)，所述裝置包括: 檢測(cè)單元，被配置為檢測(cè)與編碼殘差塊有關(guān)的報(bào)頭信息，所述殘差塊包括殘留數(shù)據(jù)，所述殘留數(shù)據(jù)具有不同于所述幀內(nèi)預(yù)測(cè)殘留塊中的殘留數(shù)據(jù)的統(tǒng)計(jì)特征； 熵解碼和掃描單元，被配置為通過(guò)熵解碼和去掃描所述已編碼的所述幀內(nèi)預(yù)測(cè)殘留塊來(lái)產(chǎn)生所述殘差塊； 產(chǎn)生單元，被配置為將所述報(bào)頭信息應(yīng)用到所述殘差塊以輸出所述幀內(nèi)預(yù)測(cè)殘留塊。
【文檔編號(hào)】H04N19/91GK104137541SQ201280053919
【公開(kāi)日】2014年11月5日 申請(qǐng)日期:2012年10月30日 優(yōu)先權(quán)日:2011年10月31日
【發(fā)明者】顧舟葉, 林維斯, 李武松, 劉樹(shù)棠 申請(qǐng)人:南洋理工大學(xué)