用于幀內預測的自適應參考圖片數(shù)據(jù)生成的制作方法

文檔序號：7681373閱讀：216來源：國知局

專利名稱：用于幀內預測的自適應參考圖片數(shù)據(jù)生成的制作方法
技術領域：
本發(fā)明總地涉及通信系統(tǒng)，更具體而言涉及視頻編碼和解碼。
背景技術：
在諸如MPEG-2和JVT/H.264/MPEG AVC (例如，參見ITU-T Rec. H.264, "Advanced video coding for generic audiovisual services", 2005 )之類
的典型的視頻壓縮系統(tǒng)和標準中，編碼器和解碼器一般依賴于幀內預測和幀間預測來實現(xiàn)壓縮。對于幀內預測而言，已經(jīng)提出了各種方法來改進幀內預領U。例如，移位式幀內預測(displaced intra prediction, DIP)和模板匹酉己(template matching, TM)對于紋理預測已經(jīng)實現(xiàn)了良好的編碼效率。這兩種方法之間的相似之處在于它們都搜索正在編碼的當前圖片的先前編碼的內區(qū)域(intm region)(即，它們使用當前圖片作為參考)并且通過執(zhí)行例如區(qū)域匹配和/或自回歸模板匹配來根據(jù)某種編碼成本找出最佳

發(fā)明內容
我們已經(jīng)注意到，移位式幀內預測(DIP)和模板匹配(TM)都遇到了類似的問題，這些問題使編碼性能和/或視覺質量惡化。具體而言，來自當前圖片的先前編碼的內區(qū)域的參考圖片數(shù)據(jù)可能包含某種塊化的或者其他的編碼偽影，這使得編碼性能和/或視覺質量惡化。然而，我們也已經(jīng)意識到，對于幀內編碼，是有可能解決上述的編碼性能問題的。具體地，根據(jù)本發(fā)明的原理，一種用于編碼的方法包括以下步驟根據(jù)當前圖片的先前編碼的宏塊來生成自適應參考圖片數(shù)據(jù)；以及根據(jù)該自適應參考圖片數(shù)據(jù)來預測當前圖片的未編碼宏塊。
在本發(fā)明的一個實施例中，一種設備結合了用于提供經(jīng)壓縮的或者說經(jīng)編碼的視頻數(shù)據(jù)的、符合H.264的視頻編碼器。該H.264編碼器包括用于存儲正在編碼的當前圖片的先前編碼的宏塊的緩沖器；以及用于根據(jù)當前圖片的先前編碼的宏塊來生成自適應參考圖片數(shù)據(jù)的處理器；其中，該自適應參考圖片數(shù)據(jù)被用于預測當前圖片的未編碼宏塊。
在本發(fā)明的另一個實施例中，一種設備結合了用于提供視頻數(shù)據(jù)的、符合H.264的視頻解碼器。該H.264解碼器包括用于存儲正在解碼的當前圖片的先前編碼的宏塊的緩沖器；以及用于根據(jù)當前圖片的先前編碼的宏塊來生成自適應參考圖片數(shù)據(jù)的處理器；其中，該自適應參考圖片數(shù)據(jù)被用于對當前圖片的宏塊進行解碼。
考慮到以上內容，在閱讀詳細描述之后將會清楚，其他實施例和特征也是可能的并且落在本發(fā)明的原理之內。

圖1至8圖示了使用DIP或TM的幀內預測的現(xiàn)有技術視頻編碼和解
碼；
圖9示出了根據(jù)本發(fā)明原理的示例性設備；
圖IO示出了根據(jù)本發(fā)明原理的H.264編碼器的示例性框圖11示出了根據(jù)本發(fā)明原理的視頻編碼器的另一示例性框圖12示出了表一，該表一圖示了根據(jù)本發(fā)明原理的不同類型的處
理；
圖13示出了表二，該表二圖示了用于圖9的設備或圖10的H.264編碼器中的高級別語法；
圖14和15示出了根據(jù)本發(fā)明原理的視頻編碼器的其他示例性框圖；圖16示出了用于根據(jù)本發(fā)明原理的視頻編碼器中的示例性流程圖17示出了根據(jù)本發(fā)明原理的另一示例性設備；圖18和19示出了根據(jù)本發(fā)明原理的視頻解碼器的示例性框圖20示出了用于根據(jù)本發(fā)明原理的視頻解碼器中的示例性流程并且
圖21至26示出了根據(jù)本發(fā)明原理的其他示例性實施例。
具體實施例方式
除了創(chuàng)造性的思想之外，圖中示出的要素是公知的并且不會被詳細描述。另外，這里假定熟悉視頻廣播、接收機和視頻編碼，因此不對其進行
詳細描述。例如，除了創(chuàng)造性的思想之外，假定熟悉TV標準的當前推薦和提議推薦，例如NTSC (國家電視系統(tǒng)委員會)、PAL (逐行倒相)、 SECAM (順序傳送與存儲彩色電視系統(tǒng))、ATSC (高級電視系統(tǒng)委員會)(ATSC)。同樣，除了創(chuàng)造性的思想之外，假定諸如八級殘留邊帶 (8-VSB)、正交幅度調制(AQM)之類的傳輸思想、諸如射頻(RF)前端之類的接收機組件或者諸如低噪聲塊、調諧器、解調器、相關器、泄漏積分器和平方器之類的接收機部件。類似地，除了創(chuàng)造性的思想之外，用于生成比特流的格式化和編碼方法(例如運動圖片專家組(MPEG) -2系統(tǒng)標準(ISO/IEC 13818-1 )) 以及尤其是H.264: International Telecommunication Union, "Recommendation ITU-T H.264: Advanced Video Coding for Generic Audiovisual Services," /7I/-r, 2005是公知的，并且在這里不做描述。鑒于此，應當注意，只有與已知的視頻編碼不同的創(chuàng)造性思想的部分才在下面描述并在附圖中示出。因此，這里假定了圖片、幀、場、宏塊、亮度、色度、幀內預測、幀間預測等等的H.264視頻編碼思想，并且不對其進行描述。例如，除了創(chuàng)造性的思想之外，諸如空間方向預測之類的幀內預測技術，以及當前提議的用于包括在H.264的擴展之中的那些技術(例如移位式幀內預測(DIP)和模板匹配(TM)技術)是已知的，并且在這里不對其做詳細描述。還應當注意，創(chuàng)造性思想可利用傳統(tǒng)的編程技術來實現(xiàn)，這里也不會描述這些編程技術。最后，附圖中的相似的數(shù)字表示類似的要素。
暫且參看圖1-8，給出一些概括的背景信息。一般來說，正如本領域中已知的，視頻的圖片或者說喊被劃分成若干個宏塊(MB)。此外，MB被組織成若干個片層(slice)。圖1中就圖片10示出了這一點，該圖片IO包括三個片層16、 17、 18;其中每個片層包括若干個以MB 11為代表的MB。如上所述，對于幀內預測，空間方向預測、移位式幀內預測
(DIP)和模板匹配(TM)的技術可用于處理圖片IO的MB。
現(xiàn)有技術的基于H.264的編碼器50的高級別表示在圖2中示出，該編碼器50用于使用H.264的DIP或TM提議擴展的幀內預測(以下簡稱其為編碼器50)。因此，這里不描述R264編碼器支持的其他模式。輸入視頻信號54被施加到編碼器50，該編碼器50提供一經(jīng)編碼的或者說經(jīng)壓縮的輸出視頻信號56。應當注意到，編碼器50包括視頻編碼器55、視頻解碼器60和參考圖片緩沖器70。具體地，編碼器50復制解碼器處理，使得編碼器50和相應的基于H.264的解碼器(圖2中沒有示出)都將為后續(xù)數(shù)據(jù)生成相同的預測。從而，編碼器50也對經(jīng)編碼的輸出視頻信號56進行解碼(解壓縮)并且提供經(jīng)編碼的視頻信號61。如圖2所示，經(jīng)解碼的視頻信號61被存儲在參考圖片緩沖器70中，以用于DIP或TM幀內預測技術中的后續(xù)編碼MB的預測。應當注意，DIP或TM都是按MB工作的，即，參考圖片緩沖器70存儲一MB，該MB被用于預測后續(xù)編碼的MB。為了完整，現(xiàn)有技術編碼器50的更詳細框圖在圖3中示出，其元件和操作是本領域己知的，因此這里不對其進行進一步描述。應當注意，編碼器控制75以虛線形式示出，以用簡化方式來表示對圖3的所有元件的控制
(而不是示出編碼器控制75和圖3的其他元件之間的各個控制/信令路徑)。鑒于此，應當注意，在DIP或TM幀內預測期間，每個解碼的MB經(jīng)由信令路徑62通過開關80 (其受編碼器控制75的控制)被提供到參考圖片緩沖器70。換言之，每個先前編碼的MB不被解塊濾波器65所處理。在執(zhí)行DIP或TM幀內預測時編碼器50中的數(shù)據(jù)流的更簡化視圖在圖4中示出。類似地，相應的現(xiàn)有技術的基于H.264的解碼器90在圖5中示出，該解碼器90用于使用H.264的DIP或TM提議擴展的幀內預測。同樣，基于H.264的解碼器90執(zhí)行DIP或TM幀內預測時的簡化形式在圖6中示出。如上所述，H.264編碼器的擴展可執(zhí)行DIP或TM幀內預測。DIP幀
內預測在圖7中圖示出，該圖針對的是在幀內編碼過程中的時間點r的圖
片20 (例如，參見S.-L. Yu and C. Chrysafis， "New Intra Prediction using Intra-Macroblock Motion Compensation", JVT meeting Fairfax, doc JVT-C151, May 2002;以及J. Balle, and M. Wien, "Extended Texture Prediction for H.264 Intra Coding", VCEG-AEl 1. doc, Jan 2007)。如上所述，DIP是按 MB實現(xiàn)的。在時刻T，圖片20的區(qū)域26已被編碼，即區(qū)域26是幀內編碼區(qū)域；而圖片20的區(qū)域27尚未被編碼，即未編碼。在DIP中，通過一移位向量來參考先前編碼的MB，以預測當前MB。這在圖7中圖示出，其中通過移位向量(箭頭)25來參考先前編碼的MB21，以預測當前MB 22。類似于H.264的幀間運動向量，移位向量是通過利用相鄰塊的中值進行預測來差分地編碼的。
以類似的方式，TM在圖8中圖示出，該圖針對的是幀內編碼過程中的時間點的圖片30 (例如，參見T.K. Tan, CS. Boon, and Y. Suzuki, "Intra Prediction by Template Matching", ICIP 2006;以及J. Balle, and M. Wien, "Extended Texture Prediction for H.264 Intra Coding", VCEG-AEl 1. doc, Jan 2007)。與DIP—樣，TM是按MB實現(xiàn)的。在時刻71，圖片30的區(qū) 域36已被編碼，即區(qū)域36是幀內編碼區(qū)域；而圖片30的區(qū)域37尚未被編碼，即未編碼。在TM中，利用圖像區(qū)域的自相似性來進行預測。具體地，TM算法通過搜索幀內編碼區(qū)域以尋找相似的像素鄰居，來遞歸地確定當前像素(或目標)的值。這在圖8中圖示出，其中當前MB43，即目標，具有由周圍編碼MB構成的相關聯(lián)鄰居(或模板)31。幀內編碼區(qū)域 36隨后被搜索，以識別相似的候選鄰居，該候選鄰居在這里由鄰居32表示。一旦相似鄰居被定位到，則如圖8所圖示的，候選鄰居的MB33被用作預測目標MB 43的候選MB 。
如前所述，DIP和TM對于紋理預測都實現(xiàn)了良好的編碼效率。這兩種方法之間的相似之處在于它們都搜索正在編碼的當前圖片的先前編碼的內區(qū)域(即，它們使用當前圖片作為參考)并且通過執(zhí)行例如區(qū)域匹配和/ 或自回歸模板匹配來根據(jù)某種編碼成本找出最佳預測。不幸的是，DIP和TM都遇到了類似的問題，這些問題使編碼性能和/或視覺質量惡化。具體
而言，存儲在參考圖片緩沖器70中的來自當前圖片的先前編碼的內區(qū)域 (例如，圖7的內區(qū)域26或圖8的內區(qū)域36)的參考圖片數(shù)據(jù)可能包含某種塊化的或者其他的編碼偽影，這使得編碼性能和/或視覺質量惡化。然而，對于幀內編碼，是有可能解決上述的編碼性能問題的。具體地，根據(jù) 本發(fā)明的原理，一種用于編碼的方法包括以下步驟根據(jù)當前圖片的先前編碼的宏塊來生成自適應參考圖片數(shù)據(jù)；以及根據(jù)該自適應參考圖片數(shù)據(jù) 來預測當前圖片的未編碼宏塊。
根據(jù)本發(fā)明原理的設備105的示例性實施例在圖9中示出。設備105 代表了任何基于處理的平臺，例如PC、服務器、個人數(shù)字助理 (PDA)、蜂窩電話等等。鑒于此，設備105包括一個或多個帶有相關聯(lián) 的存儲器(未示出)的處理器。設備105包括根據(jù)創(chuàng)造性思想而修改的擴展的H.264編碼器150 (以下稱之為編碼器150)。除了創(chuàng)造性的思想之外，假定編碼器150符合ITU-T H.264 (如上所述)，并且還支持以上提及的移位式幀內預測(DIP)和模板匹配(TM)提議擴展的幀內預測技術。編碼器150接收視頻信號149 (該視頻信號149例如是從輸入信號 104得出的)并且提供經(jīng)編碼的視頻信號151。后者可被包括作為輸出信號106的一部分，該輸出信號106表示從設備105到例如另外的設備或網(wǎng) 絡(有線的、無線的等等)的輸出信號。應當注意，雖然圖9示出了編碼器150是設備105的一部分，但是本發(fā)明并不限于此，編碼器150也可以在設備105外部，例如，物理上鄰近設備105，或者被部署在網(wǎng)絡(線纜網(wǎng)絡、因特網(wǎng)、蜂窩網(wǎng)絡等等)中的其他位置，使得設備105可以使用編碼器150來提供經(jīng)編碼的視頻信號。僅針對本示例，假定視頻信號149是符合CIF (通用中間格式)視頻格式的實時視頻信號。
編碼器150的示例性框圖在圖IO中示出。例如，編碼器150是如處理器190和存儲器195所表示的基于軟件的視頻編碼器，其中處理器190和存儲器195在圖10中以虛線框的形式示出。在這里的上下文中，計算機程序或者說軟件被存儲在存儲器195中以供處理器190執(zhí)行。后者代表了一個或多個存儲程序控制處理器，而不一定專用于視頻編碼器功能，例如，處理器190還可控制設備105的其他功能。存儲器195代表了任何存儲設備，例如隨機存取存儲器(RAM)、只讀存儲器(ROM)等等；并且可以在編碼器150內部和/或外部，并且是易失性和/或非易失性存儲器。除了創(chuàng)造性的思想之外，編碼器150具有本領域中已知的兩層，這兩層由視頻編碼層160和網(wǎng)絡抽象層165表示。鑒于此，編碼器150的視頻編碼層160結合了創(chuàng)造性的思想(下文中進一步描述)。視頻編碼層160提供經(jīng)編碼的信號161，該經(jīng)編碼的信號161包括本領域中已知的經(jīng)視頻編碼的數(shù)據(jù)，例如，視頻序列、圖片、片層和MB。視頻編碼層160包括輸入緩沖器180、編碼器170和輸出緩沖器185。輸入緩沖器180存儲來自視頻信號149的視頻數(shù)據(jù)以供編碼器170處理。除了下文描述的創(chuàng)造性的思想之外，編碼器170根據(jù)如上所述的H.264對視頻數(shù)據(jù)進行壓縮，并且將經(jīng)壓縮的視頻數(shù)據(jù)提供給輸出緩沖器185。后者以經(jīng)編碼的信號161的形式將經(jīng)壓縮的視頻數(shù)據(jù)提供給網(wǎng)絡抽象層165，網(wǎng)絡抽象層165以適合于在各種通信信道或存儲信道上傳送的方式對經(jīng)編碼的信號161進行格式化，以提供經(jīng)H.264視頻編碼的信號151。例如，網(wǎng)絡抽象層165促成了將經(jīng)編碼的信號161映射到傳輸層(例如，RTP (實時協(xié)議)/IP (因特網(wǎng)協(xié)議)、文件格式(例如，用于存儲和多媒體消息傳遞(MMS)的ISOMP4 (MPEG-4標準(ISO 14496-14))、用于有線和無線會話服務的H.32X)、用于廣播服務的MPEG-2系統(tǒng)，等等)的能力。
根據(jù)本發(fā)明原理的用于幀內預測的視頻編碼器160的示例性框圖在圖ll中示出。僅針對此示例，假定視頻編碼器160對于當前圖片執(zhí)行DIP或TM幀內預測。因此，這里不描述視頻編碼層160所支持的根據(jù)H.264標準的其他模式。視頻編碼層160包括視頻編碼器55、視頻解碼器60、參考圖片緩沖器70和參考處理單元205。表示當前圖片的輸入視頻信號149被施加到視頻編碼器55，視頻編碼器55提供經(jīng)編碼的或者說經(jīng)壓縮的輸出信號161。經(jīng)編碼的輸出信號161還被施加到視頻解碼器60，視頻解碼器60提供經(jīng)解碼的視頻信號61。后者表示當前圖片的先前編碼的MB，并且被存儲在參考圖片緩沖器70中。根據(jù)本發(fā)明的原理，參考處理單元205根據(jù)存儲在參考圖片緩沖器70中的先前編碼的MB圖片數(shù)據(jù)來為當前
14正在編碼的圖片(即，當前圖片)生成自適應參考圖片數(shù)據(jù)(信號
206)。正是該自適應參考圖片數(shù)據(jù)現(xiàn)在被用在DIP或TM幀內預測技術中用于為當前圖片預測后續(xù)編碼的MB。從而，參考處理單元205可以對先前編碼的MB圖片數(shù)據(jù)進行濾波以去除或減輕任何塊化或其他編碼偽影。
實際上，參考處理單元205可以應用若干種濾波器中的任何一種來生成不同的自適應參考圖片數(shù)據(jù)。這在圖12的表一中示出。表一示出了參考處理單元205可用來生成自適應參考圖片數(shù)據(jù)的不同濾波或處理技術的列表。表一示出了六種不同的處理技術，這里將其概括稱為"濾波器類型"。在此示例中，每個濾波器類型與Fz7^JV畫Z^參數(shù)相關聯(lián)。例如，如果Fi/ter一A^m&r參數(shù)的值為零，則參考處理單元205使用中值型濾波器來對存儲在參考圖片緩沖器70中的先前編碼的MB圖片數(shù)據(jù)進行處理。類似地，如果M7/erJ^wZ^r參數(shù)的值為1，則參考處理單元205使用解塊濾波器來對存儲在參考圖片緩沖器70中的先前編碼的MB圖片數(shù)據(jù)進行處理。該解塊濾波器類似于H.264中規(guī)定的圖3的解塊65。如表一所示，還可定義一種定制的濾波器類型。
應當注意，表一只是一個示例，而根據(jù)本發(fā)明原理，參考處理單元205可對存儲在參考圖片緩沖器70中的數(shù)據(jù)應用濾波、變換、翹曲(warping)或投影中的任何一種。實際上，用來生成自適應參考圖片數(shù)據(jù)的濾波器可以是任何空間濾波器、中值濾波器、Wiener濾波器、幾何平均、最小平方等等。事實上，可以使用任何可用來去除當前(參考)圖片的編碼偽影的線性和非線性濾波器。還可以考慮時間性方法，例如對先前編碼的圖片進行時間性濾波。同樣，翹曲可以是仿射變換或其他線性和非線性變換，這使得當前要編碼的內塊可以更好地匹配。
如果參考處理單元205使用多種類型的濾波器，則還使用一參考索引來將濾波器類型與參考處理單元205所產(chǎn)生的特定自適應參考圖片數(shù)據(jù)關聯(lián)起來。現(xiàn)在參看圖13，根據(jù)本發(fā)明原理的示例性的參考列表在表二中示出。表二示出了用于向H.264解碼器傳達信息的示例性語法。該信息是在H.264的高級別語法中傳達的，例如，序列參數(shù)集、圖片參數(shù)集、片層頭部等等。例如，參見以上提及的H.264標準的第7.2節(jié)。在表二中，參數(shù)y ter一肌mZ^^/規(guī)定第/個參考的濾波器類型；參數(shù)wwm—o/—coe#—wz>ws—/
W^/規(guī)定系數(shù)的數(shù)目；參數(shù)^""/—o ^Z/;/規(guī)定第y個系數(shù)的量化值。描述
符u(l), ue(v)和se(v)在H,264中定義(例如，參見第7.2節(jié))。例如，u(l)是1位的無符號整數(shù)；ue(v)是無符號整數(shù)Exp-Colomb編碼語法元素，左邊的位是第一位，其中此描述符的解析過程在H.264標準的第9.1節(jié)中規(guī)定；se(v)是有符號整數(shù)Exp-Colomb編碼語法元素，左邊的位是第一位，其中此描述符的解析過程在11264標準的第9.1節(jié)中規(guī)定。
如上所述，編碼器或其他設備可向來自正在編碼的當前圖片的參考圖片數(shù)據(jù)應用多個不同的濾波器。編碼器可以使用這些濾波器類型中的一種或多種來執(zhí)行當前圖片的幀內預測。例如，編碼器可以為當前圖片創(chuàng)建使用中值濾波器的第一參考。編碼器還可以創(chuàng)建使用幾何平均濾波器的第二參考，并且創(chuàng)建使用Wiener濾波器的第三參考，等等。這樣，實現(xiàn)時可以提供一種為當前圖片的任何給定MB或者區(qū)域自適應地確定使用哪個參考(哪個濾波器)的編碼器。編碼器例如可以為當前圖片的前一半使用中值濾波器參考，并且為當前圖片的后一半使用幾何平均濾波器參考。
為了完整，根據(jù)本發(fā)明原理的視頻編碼層160的更詳細框圖在圖14中示出。除了創(chuàng)造性的思想之外，圖14所示的元件表示本領域中已知的基于H.264的編碼器，并且這里不對其進行進一步描述。應當注意，編碼器控制77以虛線形式示出，以用簡化方式來表示對圖14的所有元件的控制(而不是示出編碼器控制77和圖14的其他元件之間的各個控制/信令路徑)。鑒于此，應當注意，在DIP或TM幀內預測期間，每個解碼的MB經(jīng)由信令路徑62通過開關80 (其受編碼器控制77的控制)被提供到參考圖片緩沖器70。根據(jù)本發(fā)明的原理，編碼器控制77還控制用于提供自適應參考圖片數(shù)據(jù)206的開關85，并且如果有多種處理技術可用，則其還控制對供參考處理單元205使用的濾波器類型的選擇。在根據(jù)本發(fā)明原理執(zhí)行DIP或TM幀內預測時視頻編碼層160中的數(shù)據(jù)流的更簡化視圖在圖15中示出。
現(xiàn)在參見圖16，示出了根據(jù)本發(fā)明原理用在圖10的視頻編碼層160中用于執(zhí)行圖10的視頻信號149的至少一個圖片或幀的幀內預測的示例
性流程圖。一般來說，如本領域中已知的，當前圖片(未示出)被劃分成
若干個宏塊(MB)。在此示例中，假定移位式幀內預測(DIP)被用于幀內預測。根據(jù)本發(fā)明的原理，對TM執(zhí)行類似的處理，因此在這里不對其進行描述。如上所述，DIP是按宏塊實現(xiàn)的。具體地，在步驟305中，為了進行當前圖片的幀內預測，進行初始化。例如，確定當前圖片的MB數(shù)目見將循環(huán)參數(shù)z'設定為等于0 (其中0 S<AO ，并且初始化參考圖片緩沖器。在步驟310中，檢査循環(huán)參數(shù)z'的值以判定是否已經(jīng)處理了所有MB，如果是，則例程退出或結束。否則，對于每個MB，執(zhí)行步驟315至330以對當前圖片執(zhí)行幀內預測。在步驟315中，利用來自第"7個編碼的MB的數(shù)據(jù)來更新參考圖片緩沖器。例如，存儲在參考圖片緩沖器中的數(shù)據(jù)表示來自第個DIP編碼的MB的未編碼像素。在步驟330中，根據(jù)本發(fā)明的原理，根據(jù)第W個編碼的MB生成自適應參考圖片數(shù)據(jù)Mi^，如上所述(例如，參見圖11的參考處理單元205和圖12的表一)。在步驟325和330中，DIP被執(zhí)行并且利用自適應參考圖片數(shù)據(jù)M萬,^來搜索最佳參考索引(步驟325)，并且一旦找到，則利用最佳參考索引來對第Z個MB編碼(步驟330)。
現(xiàn)在參看圖17，示出了根據(jù)本發(fā)明原理的設備405的另一個示例性實施例。設備405代表了任何基于處理的平臺，例如PC、服務器、個人數(shù)字助理(PDA)、蜂窩電話等等。鑒于此，設備405包括一個或多個帶有相關聯(lián)的存儲器(未示出)的處理器。設備405包括根據(jù)創(chuàng)造性思想而修改的擴展的H.264解碼器450 (以下稱之為解碼器450)。除了創(chuàng)造性的思想之外，假定解碼器450符合ITU-T H.264 (如上所述)，并且還支持以上提及的移位式幀內預測(DIP)和模板匹配(TM)提議擴展的幀內預測技術。解碼器450接收經(jīng)編碼的視頻信號449 (該經(jīng)編碼的視頻信號449例如是從輸入信號404得出的)并且提供經(jīng)解碼的視頻信號451。后者可被包括作為輸出信號406的一部分，該輸出信號406表示從設備405到例如另外的設備或網(wǎng)絡(有線的、無線的等等)的輸出信號。應當注意，雖然圖17示出了解碼器450是設備405的一部分，但是本發(fā)明并不限于此，解碼器450也可以在設備405外部，例如，物理上鄰近設備405，或者被部署在網(wǎng)絡(線纜網(wǎng)絡、因特網(wǎng)、蜂窩網(wǎng)絡等等)中的其他位置，使得設備405可以使用解碼器450來提供經(jīng)解碼的視頻信號。
為了完整，根據(jù)本發(fā)明原理的解碼器450的更詳細框圖在圖18中示出。除了創(chuàng)造性的思想之外，圖18所示的元件表示本領域中已知的基于 H.264的解碼器，并且這里不對其進行進一步描述。解碼器450的執(zhí)行方式與以上所述的視頻編碼層160的執(zhí)行方式互補。解碼器450接收輸入比特流449并且從其恢復出輸出圖片451。應當注意，解碼器控制97以虛線形式示出，以用簡化方式來表示對圖18的所有元件的控制(而不是示出解碼器控制97和圖18的其他元件之間的各個控制/信令路徑)。鑒于此，應當注意，在DIP或TM幀內預測期間，每個解碼的MB經(jīng)由信令路徑 462通過開關80 (其受解碼器控制97的控制)被提供到參考圖片緩沖器 70。根據(jù)本發(fā)明的原理，解碼器控制97還控制用于提供自適應參考圖片數(shù)據(jù)206的開關85，并且如果有多種處理技術可用，則其還控制對供參考處理單元205使用的濾波器類型的選擇。應當回憶起，如果存在多種濾波器類型，則解碼器450從例如接收到的片層頭部中取得參考列表，以確定濾波器類型。在根據(jù)本發(fā)明原理執(zhí)行DIP或TM幀內預測時解碼器450中的數(shù)據(jù)流的更簡化視圖在圖19中示出。
現(xiàn)在參見圖20，示出了根據(jù)本發(fā)明原理用在圖17的解碼器450中的示例性流程圖。圖20的流程圖與圖16中所示的用于對視頻信號編碼的流程圖互補。同樣，假定移位式幀內預測(DIP)被用于幀內預測。根據(jù)本發(fā)明的原理，對TM執(zhí)行類似的處理，因此在這里不對其進行描述。如上所述，DIP是按宏塊實現(xiàn)的。具體地，在步驟505中，為了進行當前圖片的幀內預測，進行初始化。例如，確定當前圖片的MB數(shù)目W，將循環(huán)參數(shù)/設定為等于0 (其中O S<AO ，并且初始化參考圖片緩沖器。在步驟 510中，檢查循環(huán)參數(shù)/的值以判定是否已經(jīng)處理了所有MB，如果是，則例程退出或結束。否則，對于每個MB，執(zhí)行步驟515至530以對當前圖片執(zhí)行幀內預測。在歩驟515中，利用來自第"7個編碼的MB的數(shù)據(jù)來更新參考圖片緩沖器。例如，存儲在參考圖片緩沖器中的數(shù)據(jù)表示來自第z'-7個DIP編碼的MB的未編碼像素。在步驟520中，根據(jù)本發(fā)明的原理，根據(jù)第！'-7個編碼的MB生成自適應參考圖片數(shù)據(jù)M5^，如上所述(例如，參見圖18的參考處理單元205、圖12的表一和圖13的表二)。應當回憶起，如果存在多種濾波器類型，則解碼器450從例如接收到的片層頭部中取得參考列表，以確定濾波器類型。在步驟530中，根據(jù)DIP對MB 解碼。
根據(jù)本發(fā)明原理的其他示例性實施例在圖21至26中示出。圖21至 23示出了其他編碼器變體。從圖12的表一中可以注意到，參考處理單元 205可包括解塊濾波器。因此，可以從編碼器中去除單獨的解塊濾波器65 并利用參考處理單元205的解塊濾波器來代替它。該變體在圖21的編碼器600中示出。對編碼器600的另一修改在圖22的編碼器620中示出。在此實施例中，去除了參考圖片緩沖器70，并且參考處理單元205實時地 (即，on-the-fly)工作。最后，圖23的編碼器640所例示的實施例示出了對所有MB使用解塊濾波器65。通常，如本領域中已知的，解塊濾波器 65被用在整個片層和/或圖片完成解碼之后(即，是按片層和/或按圖片使用的，而不是按MB使用的)，或者被用在單個MB上。與之不同，編碼器640對于所有MB都使用解塊濾波器。因此，去除了參考處理單元 205?，F(xiàn)在轉到圖24至26，這些圖示出了對解碼器的類似修改。例如，圖 24的解碼器700類似于圖21的編碼器600，即，參考處理單元205的解塊濾波器被用來代替單獨的解塊濾波器。圖25的解碼器720類似于圖22的編碼器620， S卩，去除了參考圖片緩沖器70，并且參考處理單元205實時地(即，on-the-fly)工作。最后，圖26的解碼器740類似于圖23的編碼器640，即，對所有MB使用解塊濾波器。
如上所述，根據(jù)本發(fā)明的原理，自適應地生成用于幀內預測的自適應參考圖片數(shù)據(jù)。應當注意，雖然創(chuàng)造性的思想是在H.264的DIP和/或TM 擴展的上下文中例示的，但是創(chuàng)造性的思想并不限于此，而是可應用到其他類型的視頻編碼。
考慮到以上內容，上文僅僅例示了本發(fā)明的原理，因此應當明白，本領域的技術人員將能夠設計許多替換布置，這些替換布置雖然在這里沒有
19明確描述，但也包含了本發(fā)明的原理并且在其精神和范圍之內。例如，雖然是在單獨的功能元件的上下文中例示的，但是這些功能元件也可以包含在一個或多個集成電路(IC)中。類似地，雖然被示為單獨的元件，但是
任何或所有元件可實現(xiàn)在執(zhí)行與例如圖16和20等等中所示的步驟中的一
個或多個相對應的相關軟件的存儲程序控制處理器(例如數(shù)字信號處理器)。另外，本發(fā)明的原理可應用到其他類型的通信系統(tǒng)，例如衛(wèi)星、無
線保真(Wi-Fi)、蜂窩，等等。實際上，創(chuàng)造性的思想也可應用到靜止或移動接收機。因此，應當理解，可以對示例性實施例進行許多修改，并且可以設計出其他布置，而不脫離由所附權利要求限定的本發(fā)明的精神和范圍。
權利要求
1.一種用于視頻編碼中的方法，該方法包括根據(jù)當前圖片的先前編碼的宏塊來生成自適應參考圖片數(shù)據(jù)；以及根據(jù)所述自適應參考圖片數(shù)據(jù)來預測所述當前圖片的未編碼宏塊。
2. 如權利要求1所述的方法，其中所述生成步驟包括利用濾波器來生成所述自適應參考圖片數(shù)據(jù)。
3. 如權利要求1所述的方法，還包括以下步驟存儲所述當前圖片的先前編碼的宏塊；其中，所存儲的當前圖片的先前編碼的宏塊用于所述生成步驟中。
4. 如權利要求1所述的方法，其中，所述預測步驟還包括利用所述自適應參考圖片數(shù)據(jù)來執(zhí)行幀內預測編碼；其中，所述執(zhí)行步驟搜索所述當前圖片的先前編碼的區(qū)域以預測當前宏塊。
5. 如權利要求4所述的方法，其中，所述執(zhí)行步驟包括以下步驟對所述當前圖片的至少一些執(zhí)行移位式幀內預測。
6. 如權利要求4所述的方法，其中，所述執(zhí)行歩驟包括以下步驟對所述當前圖片的至少一些執(zhí)行模板匹配。
7. 如權利要求1所述的方法，其中，所述生成步驟包括選擇多種濾波器類型中的一種；以及根據(jù)所選擇的濾波器類型來生成所述自適應參考圖片數(shù)據(jù)。
8. 如權利要求7所述的方法，其中，所選擇的濾波器類型是解塊濾波器。
9. 如權利要求7所述的方法，其中，所選擇的濾波器類型在變換域工作。
10. 如權利要求7所述的方法，其中，所選擇的濾波器類型是中值濾波器。
11. 如權利要求7所述的方法，還包括以下步驟形成供解碼器使用的參考列表；其中，所述參考列表標識用于對正在編碼的當前圖片進行解碼的所選擇的濾波器類型。
12. —種計算機可讀介質，具有用于基于處理器的系統(tǒng)的計算機可讀指令，使得當所述計算機可讀指令被執(zhí)行時所述基于處理器的系統(tǒng)執(zhí)行用于視頻編碼的方法，所述方法包括根據(jù)當前圖片的先前編碼的宏塊來生成自適應參考圖片數(shù)據(jù)；以及根據(jù)所述自適應參考圖片數(shù)據(jù)來預測所述當前圖片的未編碼宏塊。
13. 如權利要求12所述的計算機可讀介質，其中所述生成步驟包括利用濾波器來生成所述自適應參考圖片數(shù)據(jù)。
14. 如權利要求12所述的計算機可讀介質，其中所述方法還包括存儲所述當前圖片的先前編碼的宏塊；其中，所存儲的當前圖片的先前編碼的宏塊用于所述生成步驟中。
15. 如權利要求12所述的計算機可讀介質，其中，所述預測步驟還包括利用所述自適應參考圖片數(shù)據(jù)來執(zhí)行幀內預測編碼；其中，所述執(zhí)行步驟搜索所述當前圖片的先前編碼的區(qū)域以預測當前宏塊。
16. 如權利要求15所述的計算機可讀介質，其中，所述執(zhí)行步驟包括以下步驟對所述當前圖片的至少一些執(zhí)行移位式幀內預測。
17. 如權利要求15所述的計算機可讀介質，其中，所述執(zhí)行步驟包括以下步驟對所述當前圖片的至少一些執(zhí)行模板匹配。
18. 如權利要求12所述的計算機可讀介質，其中所述生成步驟包括選擇多種濾波器類型中的一種；以及根據(jù)所選擇的濾波器類型來生成所述自適應參考圖片數(shù)據(jù)。
19. 如權利要求18所述的計算機可讀介質，其中，所選擇的濾波器類型是解塊濾波器。
20. 如權利要求18所述的計算機可讀介質，其中，所選擇的濾波器類型在變換域工作。
21. 如權利要求18所述的計算機可讀介質，其中，所選擇的濾波器類型是中值濾波器。
22. 如權利要求18所述的計算機可讀介質，其中所述方法還包括形成供解碼器使用的參考列表；其中，所述參考列表標識用于對正在編碼的當前圖片進行解碼的所選擇的濾波器類型。
23. —種用于視頻編碼中的裝置，該裝置包括用于存儲正在編碼的當前圖片的先前編碼的宏塊的緩沖器；以及用于根據(jù)所述當前圖片的先前編碼的宏塊來生成自適應參考圖片數(shù)據(jù)的處理器；其中，所述自適應參考圖片數(shù)據(jù)被用于預測所述當前圖片的未編碼宏塊。
24. 如權利要求23所述的裝置，其中，所述處理器使用解塊濾波器來生成所述自適應參考圖片數(shù)據(jù)。
25. 如權利要求23所述的裝置，其中，所述處理器通過搜索所述當前圖片的先前編碼的區(qū)域以預測當前宏塊，來利用所述自適應參考圖片數(shù)據(jù)執(zhí)行幀內預測編碼。
26. 如權利要求25所述的裝置，其中，所述處理器對所述當前圖片的至少一些執(zhí)行移位式幀內預測。
27. 如權利要求25所述的裝置，其中，所述處理器對所述當前圖片的至少一些執(zhí)行模板匹配。
28. 如權利要求23所述的裝置，其中，所述處理器選擇多種濾波器類型中的一種；并且根據(jù)所選擇的濾波器類型來生成所述自適應參考圖片數(shù)據(jù)。
29. 如權利要求28所述的裝置，其中，所選擇的濾波器類型是解塊濾波器。
30. 如權利要求28所述的裝置，其中，所選擇的濾波器類型在變換域工作。
31. 如權利要求28所述的裝置，其中，所選擇的濾波器類型是中值濾波器。
32. 如權利要求28所述的裝置，其中，所述處理器形成供解碼器使用的參考列表；其中，所述參考列表標識用于對正在編碼的當前圖片進行解碼的所選擇的濾波器類型。
33. 如權利要求23所述的裝置，其中，所述裝置根據(jù)R264視頻編碼來執(zhí)行視頻編碼。
34. —種用于視頻解碼中的方法，該方法包括根據(jù)當前圖片的先前編碼的宏塊來生成自適應參考圖片數(shù)據(jù)；以及根據(jù)所述自適應參考圖片數(shù)據(jù)來對所述當前圖片的宏塊進行解碼。
35. 如權利要求34所述的方法，其中所述生成步驟包括利用濾波器來生成所述自適應參考圖片數(shù)據(jù)。
36. 如權利要求34所述的方法，還包括以下步驟存儲所述當前圖片的先前編碼的宏塊；其中，所存儲的當前圖片的先前編碼的宏塊用于所述生成步驟中。
37. 如權利要求34所述的方法，其中，所述解碼步驟還包括利用所述自適應參考圖片數(shù)據(jù)來執(zhí)行幀內預測解碼；其中，所述執(zhí)行步驟搜索所述當前圖片的先前編碼的區(qū)域以對當前宏塊進行解碼。
38. 如權利要求37所述的方法，其中，所述執(zhí)行步驟包括以下步驟對所述當前圖片的至少一些執(zhí)行移位式幀內預測。
39. 如權利要求37所述的方法，其中，所述執(zhí)行步驟包括以下步驟對所述當前圖片的至少一些執(zhí)行模板匹配。
40. 如權利要求34所述的方法，其中，所述生成步驟包括接收參考列表，該參考列表標識出用于生成所述自適應參考圖片數(shù)據(jù)的至少一種濾波器類型；以及根據(jù)所標識的濾波器類型來生成所述自適應參考圖片數(shù)據(jù)。
41. 如權利要求40所述的方法，其中所述濾波器類型是解塊濾波器。
42. 如權利要求40所述的方法，其中所述濾波器類型在變換域工作。
43. 如權利要求40所述的方法，其中所述濾波器類型是中值濾波器。
44. 一種計算機可讀介質，具有用于基于處理器的系統(tǒng)的計算機可讀指令，使得當所述計算機可讀指令被執(zhí)行時所述基于處理器的系統(tǒng)執(zhí)行用于視頻解碼的方法，所述方法包括根據(jù)當前圖片的先前編碼的宏塊來生成自適應參考圖片數(shù)據(jù)；以及根據(jù)所述自適應參考圖片數(shù)據(jù)來對所述當前圖片的宏塊進行解碼。
45. 如權利要求44所述的計算機可讀介質，其中所述生成步驟包括-利用濾波器來生成所述自適應參考圖片數(shù)據(jù)。
46. 如權利要求44所述的計算機可讀介質，其中所述方法還包括存儲所述當前圖片的先前編碼的宏塊；其中，所存儲的當前圖片的先前編碼的宏塊用于所述生成步驟中。
47. 如權利要求44所述的計算機可讀介質，其中，所述解碼步驟還包括利用所述自適應參考圖片數(shù)據(jù)來執(zhí)行幀內預測解碼；其中，所述執(zhí)行步驟搜索所述當前圖片的先前編碼的區(qū)域以對當前宏塊進行解碼。
48. 如權利要求47所述的計算機可讀介質，其中，所述執(zhí)行步驟包括以下步驟對所述當前圖片的至少一些執(zhí)行移位式幀內預測。
49. 如權利要求47所述的計算機可讀介質，其中，所述執(zhí)行步驟包括以下步驟對所述當前圖片的至少一些執(zhí)行模板匹配。
50. 如權利要求44所述的計算機可讀介質，其中所述生成步驟包括接收參考列表，該參考列表標識出用于生成所述自適應參考圖片數(shù)據(jù)的至少一種濾波器類型；以及根據(jù)所標識的濾波器類型來生成所述自適應參考圖片數(shù)據(jù)。
51. 如權利要求50所述的計算機可讀介質，其中，所述濾波器類型是解塊濾波器。
52. 如權利要求50所述的計算機可讀介質，其中，所述濾波器類型在變換域工作。
53. 如權利要求50所述的計算機可讀介質，其中，所述濾波器類型是中值濾波器。
54. —種用于視頻解碼中的裝置，該裝置包括用于存儲正在解碼的當前圖片的先前編碼的宏塊的緩沖器；以及用于根據(jù)所述當前圖片的先前編碼的宏塊來生成自適應參考圖片數(shù)據(jù)的處理器；其中，所述自適應參考圖片數(shù)據(jù)被用于對所述當前圖片的宏塊進行解碼。
55. 如權利要求54所述的裝置，其中，所述處理器使用解塊濾波器來生成所述自適應參考圖片數(shù)據(jù)。
56. 如權利要求54所述的裝置，其中，所述處理器通過搜索所述當前圖片的先前編碼的區(qū)域以預測當前宏塊，來利用所述自適應參考圖片數(shù)據(jù) 執(zhí)行幀內預測解碼。
57. 如權利要求56所述的裝置，其中，所述處理器對所述當前圖片的至少一些執(zhí)行移位式幀內預測。
58. 如權利要求56所述的裝置，其中，所述處理器對所述當前圖片的至少一些執(zhí)行模板匹配。
59. 如權利要求54所述的裝置，其中，所述處理器響應于標識出用于生成所述自適應參考圖片數(shù)據(jù)的至少一種濾波器類型的參考列表；并且所述處理器根據(jù)所標識的濾波器類型來生成所述自適應參考圖片數(shù)據(jù)。
60. 如權利要求59所述的裝置，其中所述濾波器類型是解塊濾波器。
61. 如權利要求59所述的裝置，其中所述濾波器類型在變換域工作。
62. 如權利要求59所述的裝置，其中所述濾波器類型是中值濾波器。
63. 如權利要求54所述的裝置，其中，所述裝置根據(jù)H.264視頻解碼來執(zhí)行視頻解碼。
全文摘要
一種設備結合了用于提供經(jīng)壓縮的或者說經(jīng)編碼的視頻數(shù)據(jù)的、符合H.264的視頻編碼器。該H.264編碼器包括用于存儲正在編碼的當前圖片的先前編碼的宏塊的緩沖器；以及用于根據(jù)當前圖片的先前編碼的宏塊來生成自適應參考圖片數(shù)據(jù)的處理器；其中，該自適應參考圖片數(shù)據(jù)被用于預測當前圖片的未編碼宏塊。
文檔編號H04N7/34GK101682784SQ200780052643
公開日2010年3月24日申請日期2007年6月25日優(yōu)先權日2007年4月19日
發(fā)明者奧斯卡·帝文瑞艾斯柯達, 鵬尹, 戴聰霞申請人:湯姆遜許可證公司

完整全部詳細技術資料下載