專利名稱：圖像處理設(shè)備和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種圖像處理設(shè)備和方法，更具體地涉及能夠使用對(duì)應(yīng)像素值的差改進(jìn)編碼效率的圖像編碼設(shè)備和方法以及圖像解碼設(shè)備和方法。
背景技術(shù)：
近年來(lái)，這樣的設(shè)備已得到廣泛普及其對(duì)圖像信息進(jìn)行數(shù)字處理，并且根據(jù)諸如離散余弦變換的正交變換和運(yùn)動(dòng)補(bǔ)償，使用作為圖像信息的特征的冗余將圖像壓縮和編碼，以便高效地輸送和存儲(chǔ)信息。編碼方法的示例包括MPEG(運(yùn)動(dòng)圖像專家組)。具體地，MPEG2(IS0/IEC 13818-2)被定義為一般圖像編碼方法，并且是一種標(biāo)準(zhǔn)方案，其被配置成處理隔行掃描圖像和順序掃描圖像兩者以及處理標(biāo)準(zhǔn)分辨率圖像和高分辨率圖像兩者。例如，MPEG2被廣泛用于面向?qū)I(yè)和消費(fèi)者用途的應(yīng)用。當(dāng)使用MPEG2壓縮方案時(shí)，可以將4Mbps到8Mbps的編碼率(比特率)分配給具有例如720X480像素的標(biāo)準(zhǔn)分辨率的隔行掃描圖像。此外，當(dāng)使用MPEG2壓縮方案時(shí)，可以將18Mbps到22Mbps的編碼率(比特率)分配給具有例如1920X1088像素的高分辨率的隔行掃描圖像。因此，可實(shí)現(xiàn)高壓縮比和出色的圖像質(zhì)量。MPEG2主要用于適合于廣播的高圖像質(zhì)量編碼，但并不對(duì)應(yīng)于具有比MPEGl的編碼率(比特率)低的編碼率的編碼方案，即，具有較高的壓縮比。隨著便攜式終端的普及， 認(rèn)為增加了對(duì)編碼方案的需求。因此，MPEG4編碼方案已被標(biāo)準(zhǔn)化以符合該趨勢(shì)。1998年 12月，圖像編碼方案被批準(zhǔn)為IS0/IEC 14496-2中的國(guó)際標(biāo)準(zhǔn)。此外，近年來(lái)，稱為H. ^L(ITU-T Q6/16 VCEG)的方案的標(biāo)準(zhǔn)化正在發(fā)展中，以便首先用于視頻會(huì)議的圖像編碼。已知H. 26L能夠?qū)崿F(xiàn)比諸如MPEG2或MPEG4的已知編碼方案更高的編碼效率，盡管在編碼和解碼處理中需要很大的計(jì)算量。目前，作為MPEG4的活動(dòng)之一，如增強(qiáng)壓縮視頻編碼聯(lián)合模型的標(biāo)準(zhǔn)化正在發(fā)展中，以提供H. 26L不支持的功能并基于H. 26L來(lái)實(shí)現(xiàn)更高的編碼效率。2003年3月，H. 264和MPEG-4第10部分(高級(jí)視頻編碼，在下文中稱作H. 264/AVC)被批準(zhǔn)為國(guó)際標(biāo)準(zhǔn)。2005年2月完成了 FRExt (保真度范圍擴(kuò)展，F(xiàn)idelity Range Extension)的標(biāo)準(zhǔn)化，F(xiàn)RExt是以上標(biāo)準(zhǔn)的擴(kuò)展并且包括商業(yè)用途需要的4:4:4和4:2:2或編碼工具RGB、定義MPEG-2的8 X 8DCT (離散余弦變換)、或者量化矩陣。因此，H. 264/AVC用作能夠滿意地表達(dá)電影中包含的影片語(yǔ)音的編碼方案，并由此在諸如藍(lán)光光盤(商標(biāo))的應(yīng)用的廣范圍中使用。然而，近年來(lái)，在諸如因特網(wǎng)的限制傳輸容量環(huán)境下，對(duì)約4000X2000的圖像(其是高畫質(zhì)圖像(high-vision image)的四倍)的壓縮或高畫質(zhì)圖像的傳輸以及高壓縮比編碼的需求不斷增加。因此，ITU-T的VCEG(視頻編碼專家組，Video Coding Expert Group) 不斷研究編碼效率的改進(jìn)。與已知的MPEG2方案相比，H. 264/AVC方案中實(shí)現(xiàn)更高的編碼效率的一個(gè)因素是幀內(nèi)預(yù)測(cè)處理。
在H. 264/AVC方案中，亮度信號(hào)的幀內(nèi)預(yù)測(cè)模式包括以4X4像素和8X8像素為塊單位的χ九種類型的預(yù)測(cè)模式、以及以16X16像素為宏塊單位的四種類型的預(yù)測(cè)模式。 此外，色差信號(hào)的幀內(nèi)預(yù)測(cè)模式包括以8X8像素為塊單位的四種類型的預(yù)測(cè)模式。色差信號(hào)的幀內(nèi)預(yù)測(cè)模式能夠被設(shè)置成獨(dú)立于亮度信號(hào)的幀內(nèi)預(yù)測(cè)模式。在亮度信號(hào)的4 X 4像素和8X8像素的幀內(nèi)預(yù)測(cè)模式下，針對(duì)4X4像素和8X8 像素的亮度信號(hào)的每個(gè)塊，定義一個(gè)幀內(nèi)預(yù)測(cè)模式。在亮度信號(hào)的16X16像素的幀內(nèi)預(yù)測(cè)模式和色差信號(hào)的幀內(nèi)預(yù)測(cè)模式下，針對(duì)一個(gè)宏塊定義一個(gè)預(yù)測(cè)模式。近年來(lái)，例如，非專利文獻(xiàn)1和2提出了一種改進(jìn)H. 264/AVC方案的幀內(nèi)預(yù)測(cè)的效率的方法。將參考圖1來(lái)描述作為非專利文獻(xiàn)1中提出的幀內(nèi)預(yù)測(cè)方法的幀內(nèi)模板匹配方法。在圖1的示例中，在要編碼的目標(biāo)幀(未示出)上示出了具有4X4像素的塊A和在具有XXY(=水平X豎直)的面積中僅有已進(jìn)行編碼處理的像素的預(yù)定搜索范圍。在預(yù)定塊A中示出了現(xiàn)在要編碼的目標(biāo)塊a。預(yù)定塊A例如是宏塊或子宏塊。目標(biāo)塊a是在形成預(yù)定塊A的具有2X2像素的塊之中的位于左上側(cè)的塊。具有已進(jìn)行編碼處理的像素的模板區(qū)域b與目標(biāo)塊a鄰近。例如，當(dāng)以光柵掃描順序來(lái)執(zhí)行編碼處理時(shí)，如圖1所示，模板區(qū)域b是位于目標(biāo)塊a的左上側(cè)的區(qū)域，并且是在幀存儲(chǔ)器中累積解碼圖像的區(qū)域。根據(jù)幀內(nèi)模板匹配方法，例如，使用模板區(qū)域b在預(yù)定搜索范圍E內(nèi)執(zhí)行模板匹配處理，在模板區(qū)域b中諸如SAD(絕對(duì)差的和)等的成本函數(shù)值最小。因此，搜索具有與模板區(qū)域b的像素值的最高相關(guān)性的塊b'，并且通過(guò)使用對(duì)應(yīng)于搜索到的區(qū)域b'的塊a' 作為目標(biāo)塊a的預(yù)測(cè)圖像，來(lái)搜索目標(biāo)塊a的運(yùn)動(dòng)向量。以這種方式，在幀內(nèi)模板匹配方法的運(yùn)動(dòng)向量搜索處理時(shí)，在模板匹配處理中使用解碼圖像。因此，當(dāng)預(yù)先確定了預(yù)定搜索范圍E時(shí)，可以在編碼側(cè)和解碼側(cè)執(zhí)行處理，并且不需要將關(guān)于運(yùn)動(dòng)向量的信息傳輸給解碼側(cè)。在圖1中，已描述了具有2X2像素的目標(biāo)子塊，但本發(fā)明并不局限于此。反而，可以使用具有任意尺寸的子塊。將參考圖2來(lái)描述非專利文獻(xiàn)2中提出的幀內(nèi)預(yù)測(cè)方法的幀內(nèi)運(yùn)動(dòng)預(yù)測(cè)方法。在圖2的示例中，在目標(biāo)幀上示出了要編碼的宏塊A和已進(jìn)行編碼處理的預(yù)定搜索范圍E。宏塊A包括塊al到a4，并且塊a2是要編碼的塊。例如，根據(jù)幀內(nèi)運(yùn)動(dòng)預(yù)測(cè)方法， 從預(yù)定搜索范圍E中搜索具有與塊a2的像素值的最高相關(guān)性的塊a2'，并認(rèn)為搜索到的塊 a2'是目標(biāo)塊a2的預(yù)測(cè)圖像。當(dāng)塊a2'為目標(biāo)時(shí)，預(yù)定搜索范圍E還包括塊al。此時(shí)，在該幀內(nèi)運(yùn)動(dòng)預(yù)測(cè)方法中，畫面中對(duì)應(yīng)于從塊a2'到塊a2的運(yùn)動(dòng)向量mv的信息被傳輸?shù)浇獯a側(cè)，這與以上參考圖1所描述的幀內(nèi)模板匹配方法不同。這里，根據(jù)MPEG2方案，根據(jù)線性內(nèi)插處理以1/2像素精度來(lái)執(zhí)行運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償處理。另一方面，根據(jù)H. ^4/AVC方案，使用6抽頭的FIR(有限脈沖響應(yīng)，F(xiàn)inite Impulse Response)濾波器以1/4像素精度來(lái)執(zhí)行預(yù)測(cè)/補(bǔ)償處理。根據(jù)MPEG2方案，在幀運(yùn)動(dòng)補(bǔ)償模式下，以16 X 16像素為單位來(lái)執(zhí)行運(yùn)動(dòng)預(yù)測(cè)/ 補(bǔ)償處理。在場(chǎng)運(yùn)動(dòng)補(bǔ)償模式下，以16X8像素為單位對(duì)第一場(chǎng)和第二場(chǎng)執(zhí)行運(yùn)動(dòng)預(yù)測(cè)/ 補(bǔ)償處理。
另一方面，根據(jù)H. 264/AVC方案，可以通過(guò)將塊尺寸設(shè)置為可變來(lái)執(zhí)行運(yùn)動(dòng)預(yù)測(cè)/ 補(bǔ)償處理。即，根據(jù)H.264/AVC方案，具有16X16像素的一個(gè)宏塊被劃分成數(shù)個(gè)16X16、 16X8、8X16或8X8分割區(qū)，并且每個(gè)分割區(qū)具有獨(dú)立的運(yùn)動(dòng)向量信息。此外，8X8分割區(qū)可以被劃分成數(shù)個(gè)8X8、8X4、4X8或4X4子分割區(qū)，并且每個(gè)子分割區(qū)可以具有獨(dú)立
的運(yùn)動(dòng)向量信息。在H. 264/AVC方案中，當(dāng)以1/4像素精度并利用上述可變塊來(lái)執(zhí)行運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償處理時(shí)，生成大量的運(yùn)動(dòng)向量信息。因此，當(dāng)在這種情形下執(zhí)行編碼處理時(shí)，編碼效率會(huì)惡化。因此，提出了一種技術(shù)，該技術(shù)用于通過(guò)使用已進(jìn)行編碼處理的相鄰塊的運(yùn)動(dòng)向量信息進(jìn)行中值運(yùn)算來(lái)生成現(xiàn)在要編碼的目標(biāo)塊的預(yù)測(cè)運(yùn)動(dòng)向量信息的方法，來(lái)抑制編碼效率的惡化。然而，甚至當(dāng)使用中值預(yù)測(cè)時(shí)，圖像壓縮信息中的運(yùn)動(dòng)向量信息的比率不小。因此，提出了非專利文獻(xiàn)3中公開的方法。在該方法中，從解碼圖像搜索如下圖像區(qū)域其以預(yù)定位置關(guān)系與要編碼的圖像的區(qū)域相鄰并具有與模板區(qū)域的解碼圖像(其是解碼圖像的部分)的高相關(guān)性，并且基于與搜索到的區(qū)域的預(yù)定位置關(guān)系來(lái)執(zhí)行預(yù)測(cè)。將參考圖3來(lái)描述非專利文獻(xiàn)3中提出的幀間模板匹配方法。在圖3的示例中，示出了在搜索運(yùn)動(dòng)向量時(shí)要參考的參考幀和要編碼的目標(biāo)幀 (圖片)。在目標(biāo)幀中，示出了現(xiàn)在要編碼的目標(biāo)塊A和模板區(qū)域B，模板區(qū)域B與目標(biāo)塊A 相鄰并具有已進(jìn)行編碼處理的像素。例如，模板區(qū)域B是這樣的區(qū)域其位于目標(biāo)塊A的左上側(cè)，如圖3所示；并且當(dāng)以光柵掃描順序執(zhí)行編碼處理時(shí)，在幀存儲(chǔ)器中累積解碼圖像。在幀間模板匹配方法中，通過(guò)使用例如SAD作為成本函數(shù)值進(jìn)行模板匹配處理來(lái)在參考幀上的預(yù)定搜索范圍E內(nèi)搜索具有與模板區(qū)域B的像素值的最高相關(guān)性的區(qū)域B'。 與搜索到的區(qū)域B'對(duì)應(yīng)的塊A'被設(shè)為目標(biāo)塊A的預(yù)測(cè)圖像，并搜索目標(biāo)塊A的運(yùn)動(dòng)向量 P。在幀間模板匹配方法中，由于在匹配中使用了解碼圖像，因此可以通過(guò)預(yù)先設(shè)置搜索范圍而在編碼側(cè)和解碼側(cè)執(zhí)行相同的處理。即，由于通過(guò)恰好在解碼側(cè)執(zhí)行上述預(yù)測(cè)/ 補(bǔ)償處理而使得運(yùn)動(dòng)向量信息不需要包含于編碼側(cè)的圖像壓縮信息中，因此可抑制編碼效率的惡化。引用列表非專利文獻(xiàn)非專利文獻(xiàn) 1 :“Intra Prediction by Template Matching", Τ. K. Tan et al, ICIP 2006:"Tools for Improving Texture and Motion Compensat ion ",MPEG Workshop,Oct.2008非專利文獻(xiàn) 3 :"Inter Frame Coding with Template Matching Averaging，，， Suzuki et al. ICIP 200
發(fā)明內(nèi)容
技術(shù)問(wèn)題然而，如前所述當(dāng)由于高畫質(zhì)圖像而進(jìn)一步壓縮高分辨率圖像、或者如IPTV(互聯(lián)網(wǎng)協(xié)議電視)中那樣經(jīng)由諸如作為代表性網(wǎng)絡(luò)的因特網(wǎng)的網(wǎng)絡(luò)來(lái)傳輸高畫質(zhì)圖像時(shí)，需要以較低的比特率來(lái)壓縮高分辨率圖像。然而，關(guān)于H. ^4/AVC方案的壓縮比，壓縮尚不充分，并且需要在壓縮時(shí)削減新信肩、ο鑒于上述情況設(shè)計(jì)了本發(fā)明，并且本發(fā)明的目的是使用對(duì)應(yīng)像素值的差值來(lái)改進(jìn)編碼效率。問(wèn)題的解決方案根據(jù)本發(fā)明的第一方面，一種圖像處理設(shè)備包括接收單元，其接收目標(biāo)幀差信息和參考幀差信息，目標(biāo)幀差信息是目標(biāo)幀的圖像和通過(guò)在目標(biāo)幀中進(jìn)行畫面內(nèi)預(yù)測(cè)生成的目標(biāo)預(yù)測(cè)圖像之間的差，參考幀差信息是與目標(biāo)幀對(duì)應(yīng)的參考幀的圖像和通過(guò)在參考幀中進(jìn)行畫面內(nèi)預(yù)測(cè)生成的參考預(yù)測(cè)圖像之間的差；二次差生成單元，其生成二次差信息，該二次差信息是在接收中接收到的目標(biāo)幀差信息和參考幀差信息之間的差；以及編碼單元，其將由二次差生成單元生成的二次差信息進(jìn)行編碼，作為目標(biāo)幀的圖像。圖像處理設(shè)備還可以包括幀間模板運(yùn)動(dòng)預(yù)測(cè)單元，該幀間模板運(yùn)動(dòng)預(yù)測(cè)單元通過(guò)在參考幀中使用第一模板預(yù)測(cè)目標(biāo)塊的運(yùn)動(dòng)而允許目標(biāo)塊與參考?jí)K對(duì)應(yīng)，該第一模板與目標(biāo)塊鄰近并且根據(jù)解碼圖像而生成。圖像處理設(shè)備還可以包括目標(biāo)幀內(nèi)預(yù)測(cè)單元，其通過(guò)在目標(biāo)幀中使用第一模板的像素進(jìn)行畫面內(nèi)預(yù)測(cè)，來(lái)生成目標(biāo)預(yù)測(cè)圖像；以及參考幀內(nèi)預(yù)測(cè)單元，其通過(guò)在參考幀中使用第二模板的像素進(jìn)行畫面內(nèi)預(yù)測(cè)，來(lái)生成參考預(yù)測(cè)圖像，該第二模板與參考?jí)K鄰近并根據(jù)解碼圖像而生成。參考幀內(nèi)預(yù)測(cè)單元可以通過(guò)在參考幀中使用第二模板的像素進(jìn)行畫面內(nèi)預(yù)測(cè)而生成參考預(yù)測(cè)圖像，來(lái)確定預(yù)測(cè)模式。目標(biāo)幀內(nèi)預(yù)測(cè)單元可以通過(guò)在目標(biāo)幀內(nèi)使用第一模板的像素在由參考幀內(nèi)預(yù)測(cè)單元確定的預(yù)測(cè)模式下進(jìn)行畫面內(nèi)預(yù)測(cè)，來(lái)生成目標(biāo)預(yù)測(cè)圖像。目標(biāo)幀內(nèi)預(yù)測(cè)單元可以通過(guò)在目標(biāo)幀中使用第一模板的像素進(jìn)行畫面內(nèi)預(yù)測(cè)而生成目標(biāo)預(yù)測(cè)圖像，來(lái)確定預(yù)測(cè)模式。參考幀內(nèi)預(yù)測(cè)單元通過(guò)在參考幀中使用第二模板的像素在由目標(biāo)幀內(nèi)預(yù)測(cè)單元確定的預(yù)測(cè)模式下進(jìn)行畫面內(nèi)預(yù)測(cè)，來(lái)生成參考預(yù)測(cè)圖像。編碼單元可以將目標(biāo)幀的圖像以及指示由目標(biāo)幀內(nèi)預(yù)測(cè)單元確定的預(yù)測(cè)模式的信息進(jìn)行編碼。目標(biāo)幀內(nèi)預(yù)測(cè)單元可以通過(guò)在目標(biāo)幀中使用第一模板的像素進(jìn)行畫面內(nèi)預(yù)測(cè)而生成目標(biāo)預(yù)測(cè)圖像，來(lái)確定第一預(yù)測(cè)模式。參考幀內(nèi)預(yù)測(cè)單元可以通過(guò)在參考幀中使用第二模板的像素進(jìn)行畫面內(nèi)預(yù)測(cè)而生成參考預(yù)測(cè)圖像，來(lái)確定第二預(yù)測(cè)模式。編碼單元可以將目標(biāo)幀的圖像以及指示由目標(biāo)幀內(nèi)預(yù)測(cè)單元確定的第一預(yù)測(cè)模式的信息進(jìn)行編碼。圖像處理設(shè)備還可以包括運(yùn)動(dòng)預(yù)測(cè)單元，其通過(guò)在參考幀中使用目標(biāo)幀中包含的目標(biāo)塊預(yù)測(cè)目標(biāo)塊的運(yùn)動(dòng)而允許目標(biāo)塊與參考幀中包含的參考?jí)K對(duì)應(yīng)。圖像處理設(shè)備還可以包括目標(biāo)幀內(nèi)模板預(yù)測(cè)單元，其通過(guò)使用與目標(biāo)塊對(duì)應(yīng)的第一塊在目標(biāo)幀中進(jìn)行畫面內(nèi)預(yù)測(cè)來(lái)生成目標(biāo)預(yù)測(cè)圖像，該第一塊是通過(guò)使用第一模板預(yù)測(cè)目標(biāo)塊的運(yùn)動(dòng)而計(jì)算出的，該第一模板與目標(biāo)塊鄰近并且根據(jù)解碼圖像而生成；以及參考幀內(nèi)模板預(yù)測(cè)單元，其通過(guò)使用與參考?jí)K對(duì)應(yīng)的第二塊在參考幀中進(jìn)行畫面內(nèi)預(yù)測(cè)來(lái)生成參考預(yù)測(cè)圖像，該第二塊是通過(guò)使用第二模板預(yù)測(cè)參考?jí)K的運(yùn)動(dòng)而計(jì)算出的，該第二模板與參考?jí)K鄰近并且根據(jù)解碼圖像而生成。圖像處理設(shè)備還可以包括目標(biāo)幀內(nèi)運(yùn)動(dòng)預(yù)測(cè)單元，其通過(guò)使用與目標(biāo)塊對(duì)應(yīng)的第一塊在目標(biāo)幀中進(jìn)行畫面內(nèi)預(yù)測(cè)來(lái)生成目標(biāo)預(yù)測(cè)圖像，該第一塊是通過(guò)使用目標(biāo)塊預(yù)測(cè)目標(biāo)塊的運(yùn)動(dòng)而計(jì)算出的；以及參考幀內(nèi)運(yùn)動(dòng)預(yù)測(cè)單元，其通過(guò)使用與參考?jí)K對(duì)應(yīng)的第二塊在參考幀中進(jìn)行畫面內(nèi)預(yù)測(cè)來(lái)生成參考預(yù)測(cè)圖像，該第二塊是通過(guò)使用參考?jí)K預(yù)測(cè)參考?jí)K的運(yùn)動(dòng)而計(jì)算出的。根據(jù)本發(fā)明的第一方面，一種圖像處理方法包括通過(guò)圖像處理設(shè)備，接收目標(biāo)幀差信息和參考幀差信息，該目標(biāo)幀差信息是目標(biāo)幀的圖像和通過(guò)在目標(biāo)幀中進(jìn)行畫面內(nèi)預(yù)測(cè)生成的目標(biāo)預(yù)測(cè)圖像之間的差，該參考幀差信息是與目標(biāo)幀對(duì)應(yīng)的參考幀的圖像和通過(guò)在參考幀中進(jìn)行畫面內(nèi)預(yù)測(cè)生成的參考預(yù)測(cè)圖像之間的差；生成二次差信息，該二次差信息是所接收的目標(biāo)幀差信息和參考幀差信息之間的差；以及將所生成的二次差信息進(jìn)行編碼，作為目標(biāo)幀的圖像。根據(jù)本發(fā)明的第二方面，一種圖像處理設(shè)備包括解碼單元，其將被編碼的目標(biāo)幀的二次差信息進(jìn)行解碼；接收單元，其接收通過(guò)在目標(biāo)幀中進(jìn)行畫面內(nèi)預(yù)測(cè)生成的目標(biāo)預(yù)測(cè)圖像和參考幀差信息，該參考幀差信息是與目標(biāo)幀對(duì)應(yīng)的參考幀的圖像和通過(guò)在參考幀中進(jìn)行畫面內(nèi)預(yù)測(cè)生成的參考預(yù)測(cè)圖像之間的差；以及二次差補(bǔ)償單元，其通過(guò)使由解碼單元解碼的二次差信息、由接收單元接收的目標(biāo)預(yù)測(cè)圖像和由接收單元接收的參考幀差信息相加，來(lái)計(jì)算目標(biāo)幀的圖像。圖像處理設(shè)備還可以包括幀間模板運(yùn)動(dòng)預(yù)測(cè)單元，其通過(guò)在參考幀中使用第一模板預(yù)測(cè)目標(biāo)塊的運(yùn)動(dòng)而允許目標(biāo)塊與參考?jí)K對(duì)應(yīng)，該第一模板與目標(biāo)塊鄰近并且根據(jù)解碼圖像而生成。圖像處理設(shè)備還可以包括目標(biāo)幀內(nèi)預(yù)測(cè)單元，其通過(guò)在目標(biāo)幀中使用第一模板的像素進(jìn)行畫面內(nèi)預(yù)測(cè)，來(lái)生成目標(biāo)預(yù)測(cè)圖像；以及參考幀內(nèi)預(yù)測(cè)單元，其通過(guò)在參考幀中使用第二模板的像素進(jìn)行畫面內(nèi)預(yù)測(cè)，來(lái)生成參考預(yù)測(cè)圖像，該第二模板與參考?jí)K鄰近并且根據(jù)解碼圖像而生成。參考幀內(nèi)預(yù)測(cè)單元可以通過(guò)在參考幀中使用第二模板的像素進(jìn)行畫面內(nèi)預(yù)測(cè)而生成參考預(yù)測(cè)圖像，來(lái)確定預(yù)測(cè)模式。目標(biāo)幀內(nèi)預(yù)測(cè)單元可以通過(guò)在目標(biāo)幀中使用第一模板的像素在由參考幀內(nèi)預(yù)測(cè)單元確定的預(yù)測(cè)模式下進(jìn)行畫面內(nèi)預(yù)測(cè)，來(lái)生成目標(biāo)預(yù)測(cè)圖像。解碼單元可以將二次差信息和指示目標(biāo)幀內(nèi)預(yù)測(cè)單元中的預(yù)測(cè)模式的信息兩者進(jìn)行解碼。目標(biāo)幀內(nèi)預(yù)測(cè)單元可以通過(guò)在目標(biāo)幀中使用第一模板的像素在由解碼單元解碼的信息所指示的預(yù)測(cè)模式下進(jìn)行畫面內(nèi)預(yù)測(cè)，來(lái)生成目標(biāo)預(yù)測(cè)圖像。參考幀內(nèi)預(yù)測(cè)單元可以通過(guò)在參考幀中使用第二模板的像素在由解碼單元解碼的信息所指示的預(yù)測(cè)模式下進(jìn)行畫面內(nèi)預(yù)測(cè)，來(lái)生成參考預(yù)測(cè)圖像。解碼單元可以將二次差信息和指示目標(biāo)幀內(nèi)預(yù)測(cè)單元中的第一預(yù)測(cè)模式的信息兩者進(jìn)行解碼。目標(biāo)幀內(nèi)預(yù)測(cè)單元可以通過(guò)在目標(biāo)幀中使用第一模板的像素在由解碼單元解碼的信息所指示的第一預(yù)測(cè)模式下進(jìn)行畫面內(nèi)預(yù)測(cè)，來(lái)生成目標(biāo)預(yù)測(cè)圖像。參考幀內(nèi)預(yù)測(cè)單元可以通過(guò)在參考幀中使用第二模板的像素進(jìn)行畫面內(nèi)預(yù)測(cè)而生成參考預(yù)測(cè)圖像，來(lái)
10確定第二預(yù)測(cè)模式。圖像處理設(shè)備還可以包括運(yùn)動(dòng)預(yù)測(cè)單元，其通過(guò)在參考幀中使用目標(biāo)幀中包含的目標(biāo)塊預(yù)測(cè)目標(biāo)塊的運(yùn)動(dòng)而允許目標(biāo)塊與參考幀中包含的參考?jí)K對(duì)應(yīng)。圖像處理設(shè)備還可以包括目標(biāo)幀內(nèi)模板預(yù)測(cè)單元，其通過(guò)使用與目標(biāo)塊對(duì)應(yīng)的第一塊在目標(biāo)幀中進(jìn)行畫面內(nèi)預(yù)測(cè)來(lái)生成目標(biāo)預(yù)測(cè)圖像，該第一塊是通過(guò)使用第一模板預(yù)測(cè)目標(biāo)塊的運(yùn)動(dòng)而計(jì)算出的，第一模板與目標(biāo)塊鄰近并且根據(jù)解碼圖像而生成；以及參考幀內(nèi)模板預(yù)測(cè)單元，其通過(guò)使用與參考?jí)K對(duì)應(yīng)的第二塊在參考幀中進(jìn)行畫面內(nèi)預(yù)測(cè)來(lái)生成參考預(yù)測(cè)圖像，該第二塊是通過(guò)使用第二模板預(yù)測(cè)參考?jí)K的運(yùn)動(dòng)而計(jì)算出的，第二模板與參考?jí)K鄰近并且根據(jù)解碼圖像而生成。圖像處理設(shè)備還可以包括目標(biāo)幀內(nèi)運(yùn)動(dòng)預(yù)測(cè)單元，其通過(guò)使用與目標(biāo)塊對(duì)應(yīng)的第一塊在目標(biāo)幀中進(jìn)行畫面內(nèi)預(yù)測(cè)來(lái)生成目標(biāo)預(yù)測(cè)圖像，該第一塊是使用由解碼單元連同目標(biāo)幀的二次差一起進(jìn)行解碼的目標(biāo)塊的運(yùn)動(dòng)向量信息而計(jì)算出的；以及參考幀內(nèi)運(yùn)動(dòng)預(yù)測(cè)單元，其通過(guò)使用與參考?jí)K對(duì)應(yīng)的第二塊在參考幀中進(jìn)行畫面內(nèi)預(yù)測(cè)來(lái)生成參考預(yù)測(cè)圖像，該第二塊是使用由解碼單元連同目標(biāo)幀的二次差一起進(jìn)行解碼的參考?jí)K的運(yùn)動(dòng)向量信息而計(jì)算出的。根據(jù)本發(fā)明的第二方面，一種圖像處理方法包括通過(guò)圖像處理設(shè)備，將被編碼的目標(biāo)幀的二次差信息進(jìn)行解碼；接收通過(guò)在目標(biāo)幀中進(jìn)行畫面內(nèi)預(yù)測(cè)生成的目標(biāo)預(yù)測(cè)圖像和參考幀差信息，該參考幀差信息是與目標(biāo)幀對(duì)應(yīng)的參考幀的圖像和通過(guò)在參考幀中進(jìn)行畫面內(nèi)預(yù)測(cè)生成的參考預(yù)測(cè)圖像之間的差；以及通過(guò)將解碼的二次差信息、所接收的目標(biāo)預(yù)測(cè)圖像和所接收的參考幀差信息相加，來(lái)計(jì)算目標(biāo)幀的圖像。根據(jù)本發(fā)明的第一方面，接收目標(biāo)幀差信息和參考幀差信息，該目標(biāo)幀差信息是目標(biāo)幀的圖像和通過(guò)在目標(biāo)幀中進(jìn)行畫面內(nèi)預(yù)測(cè)生成的目標(biāo)預(yù)測(cè)圖像之間的差，該參考幀差信息是與目標(biāo)幀對(duì)應(yīng)的參考幀的圖像和通過(guò)在參考幀中進(jìn)行畫面內(nèi)預(yù)測(cè)生成的參考預(yù)測(cè)圖像之間的差。此外，接收二次差信息，該二次差信息是接收的目標(biāo)幀差信息和接收的參考幀差信息之間的差。將作為目標(biāo)幀的圖像而生成的二次差信息進(jìn)行編碼。根據(jù)本發(fā)明的第二方面，將被編碼的目標(biāo)幀的二次差信息進(jìn)行解碼。接收通過(guò)在目標(biāo)幀中進(jìn)行畫面內(nèi)預(yù)測(cè)生成的目標(biāo)預(yù)測(cè)圖像和參考幀差信息，該參考幀差信息是與目標(biāo)幀對(duì)應(yīng)的參考幀的圖像和通過(guò)在參考幀中進(jìn)行畫面內(nèi)預(yù)測(cè)生成的參考預(yù)測(cè)圖像之間的差。 此外，通過(guò)將解碼的二次差信息、所接收的目標(biāo)預(yù)測(cè)圖像和所接收的參考幀差信息相加，來(lái)計(jì)算目標(biāo)幀的圖像。上述圖像處理設(shè)備可以是獨(dú)立的設(shè)備，或者可以是具有一個(gè)圖像編碼設(shè)備和一個(gè)圖像解碼設(shè)備的內(nèi)部塊的設(shè)備。本發(fā)明的有益效果根據(jù)本發(fā)明的第一方面，可將圖像編碼。此外，根據(jù)本發(fā)明的第一方面，可改進(jìn)編碼效率。根據(jù)本發(fā)明的第二方面，可將圖像解碼。此外，根據(jù)本發(fā)明的第二方面，可改進(jìn)編碼效率。


圖1是示出幀內(nèi)模板匹配方法的圖。圖2是示出幀內(nèi)運(yùn)動(dòng)預(yù)測(cè)的圖。圖3是示出幀間模板匹配方法的圖。圖4是示出根據(jù)本發(fā)明的實(shí)施例的圖像編碼設(shè)備的配置的框圖。圖5是示出可變塊尺寸的運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償處理的圖。圖6是示出1/4像素精度的運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償處理的圖。圖7是示出多參考幀的運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償方法的圖。圖8是示出生成運(yùn)動(dòng)向量信息的方法的示例的圖。圖9是示出畫面內(nèi)預(yù)測(cè)單元和二次差生成單元的詳細(xì)配置的示例的框圖。圖10是示出畫面內(nèi)預(yù)測(cè)單元和二次差生成單元的操作的示例的圖。圖11是示出畫面內(nèi)預(yù)測(cè)單元和二次差生成單元的操作的其它示例的圖。圖12是示出圖4中的圖像編碼設(shè)備的編碼處理的流程圖。圖13是示出圖12中的步驟S21的預(yù)測(cè)處理的流程圖。圖14是示出在16X16像素的幀內(nèi)預(yù)測(cè)模式的情況下的處理順序的圖。圖15是示出亮度信號(hào)的4X4像素的幀內(nèi)預(yù)測(cè)模式的類型的圖。圖16是示出亮度信號(hào)的4X4像素的幀內(nèi)預(yù)測(cè)模式的類型的圖。圖17是示出4X4像素的幀內(nèi)預(yù)測(cè)的方向的圖。圖18是示出4 X 4像素的幀內(nèi)預(yù)測(cè)的圖。圖19是示出亮度信號(hào)的4X4像素的幀內(nèi)預(yù)測(cè)模式的編碼的圖。圖20是示出亮度信號(hào)的8X8像素的幀內(nèi)預(yù)測(cè)模式的類型的圖。圖21是示出亮度信號(hào)的8X8像素的幀內(nèi)預(yù)測(cè)模式的類型的圖。圖22是示出亮度信號(hào)的16X16像素的幀內(nèi)預(yù)測(cè)模式的類型的圖。圖23是示出亮度信號(hào)的16X16像素的幀內(nèi)預(yù)測(cè)模式的類型的圖。圖M是示出16X16像素的幀內(nèi)預(yù)測(cè)的圖。圖25是示出色差信號(hào)的幀內(nèi)預(yù)測(cè)模式的類型的圖。圖沈是示出圖13中的步驟S31的幀內(nèi)預(yù)測(cè)處理的流程圖。圖27是示出圖13中的步驟S32的幀間運(yùn)動(dòng)預(yù)測(cè)處理的流程圖。圖28是示出圖27的步驟S63的二次差生成處理的流程圖。圖四是示出根據(jù)本發(fā)明的實(shí)施例的圖像解碼設(shè)備的配置的框圖。圖30是示出畫面內(nèi)預(yù)測(cè)單元和二次差補(bǔ)償單元的詳細(xì)配置的示例的框圖。圖31是示出圖四中的圖像解碼設(shè)備的解碼處理的流程圖。圖32是示出圖31中的步驟S138的預(yù)測(cè)處理的流程圖。圖33是示出圖32中的步驟S175的幀間運(yùn)動(dòng)預(yù)測(cè)和二次差補(bǔ)償處理的流程圖。圖34是示出根據(jù)本發(fā)明的另一個(gè)實(shí)施例的圖像編碼設(shè)備的配置的框圖。圖35是示出相鄰預(yù)測(cè)單元的詳細(xì)配置的示例的框圖。圖36是示出幀間模板運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元和相鄰預(yù)測(cè)單元的操作的示例的圖。圖37是示出圖12中的步驟S21的預(yù)測(cè)處理的另一個(gè)示例的流程圖。圖38是示出圖37中的步驟S212的幀間運(yùn)動(dòng)預(yù)測(cè)處理的另一個(gè)示例的流程圖。圖39是示出圖37中的步驟S215的幀間模板運(yùn)動(dòng)預(yù)測(cè)處理的示例的流程圖。
圖40是示出圖37中的步驟S215的幀間模板運(yùn)動(dòng)預(yù)測(cè)處理的另一個(gè)示例的流程圖。圖41是示出圖37中的步驟S215的幀間模板運(yùn)動(dòng)預(yù)測(cè)處理的又一個(gè)示例的流程圖。圖42是示出根據(jù)本發(fā)明的另一個(gè)實(shí)施例的圖像解碼設(shè)備的配置的框圖。圖43是示出相鄰預(yù)測(cè)單元的詳細(xì)配置的示例的框圖。圖44是示出圖31中的步驟S138的預(yù)測(cè)處理的另一個(gè)示例的流程圖。圖45是示出圖44中的步驟S319的幀間模板運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償處理的流程圖。圖46是示出計(jì)算機(jī)硬件的配置的示例的框圖。
具體實(shí)施例方式在下文中，將參考附圖來(lái)描述本發(fā)明的實(shí)施例。[圖像編碼設(shè)備的配置示例]圖4是示出根據(jù)本發(fā)明的實(shí)施例的、用作圖像處理設(shè)備的圖像編碼設(shè)備的配置的圖。如果沒有另外說(shuō)明，圖像編碼設(shè)備51根據(jù)例如H. 264方案和MPEG-4第10部分 (高級(jí)視頻編碼)(下文中稱作H. 264/AVC)將圖像壓縮和編碼。即，實(shí)際上，如果必要的話， 在圖像編碼設(shè)備51中也可以使用以上參考圖1或3描述的模板匹配方法。因此，除了模板匹配方法之外，根據(jù)H. 264/AVC將圖像壓縮和編碼。在圖4的示例中，圖像編碼設(shè)備51包括A/D轉(zhuǎn)換單元61、畫面重排緩沖器62、計(jì)算單元63、正交變換單元64、量化單元65、無(wú)損編碼單元66、累積緩沖器67、逆量化單元68、 逆正交變換單元69、計(jì)算單元70、去塊濾波器71、幀存儲(chǔ)器72、開關(guān)73、幀內(nèi)預(yù)測(cè)單元74、 運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元75、畫面內(nèi)預(yù)測(cè)單元76、二次差生成單元77、預(yù)測(cè)圖像選擇單元78和速率控制單元79。A/D轉(zhuǎn)換單元61對(duì)輸入圖像執(zhí)行A/D轉(zhuǎn)換，將轉(zhuǎn)換后的圖像輸出給畫面重排緩沖器62，并存儲(chǔ)該圖像。畫面重排緩沖器62根據(jù)GOP (圖像組，Group of Pictures)將按照存儲(chǔ)的顯示順序的幀的圖像重排為按照用于編碼的幀的順序。計(jì)算單元63從自畫面重排緩沖器62讀取的圖像中減去由預(yù)測(cè)圖像選擇單元 78所選擇的并從幀內(nèi)預(yù)測(cè)單元74發(fā)送的預(yù)測(cè)圖像，然后將差信息輸出給正交變換單元 64。正交變換單元64對(duì)來(lái)自計(jì)算單元63的差信息執(zhí)行諸如離散余弦變換或卡南洛伊夫 (Karhunen-Loeve)變換的正交變換，然后輸出變換系數(shù)。量化單元65將由正交變換單元 64輸出的變換系數(shù)量化。由量化單元65輸出的量化變換系數(shù)被輸入到無(wú)損編碼單元66，然后對(duì)其進(jìn)行諸如可變長(zhǎng)度編碼或算術(shù)編碼的無(wú)損編碼以便被壓縮。無(wú)損編碼單元66從幀內(nèi)預(yù)測(cè)單元74獲得指示幀內(nèi)預(yù)測(cè)的信息，并且從運(yùn)動(dòng)預(yù)測(cè)/ 補(bǔ)償單元75獲得指示幀間預(yù)測(cè)模式的信息等。指示幀內(nèi)預(yù)測(cè)的信息在下面也稱作幀內(nèi)預(yù)測(cè)模式信息。此外，指示幀間預(yù)測(cè)的信息在下面也稱作幀間預(yù)測(cè)模式信息。無(wú)損編碼單元66將量化變換系數(shù)編碼，并將指示幀內(nèi)預(yù)測(cè)的信息和指示幀間預(yù)測(cè)模式的信息等編碼，以將編碼數(shù)據(jù)設(shè)置為壓縮圖像中的頭部信息的部分。無(wú)損編碼單元66將編碼數(shù)據(jù)提供給累積緩沖器67以累積編碼數(shù)據(jù)。例如，無(wú)損編碼單元66執(zhí)行諸如可變長(zhǎng)度編碼或算術(shù)編碼的無(wú)損編碼處理。可變長(zhǎng)度編碼的示例包括在H. 264/AVC方案中確定的CAVLC(上下文自適應(yīng)可變長(zhǎng)度編碼， Context-Adaptive Variable Length Coding)。算術(shù)編碼的示例包括 CABAC (上下文自適應(yīng)二進(jìn)制算術(shù)編碼，Context-Adaptive Binary Arithmetic Coding)。累積緩沖器67將從無(wú)損編碼單元66提供的數(shù)據(jù)作為根據(jù)H. 264/AVC方案編碼的壓縮圖像輸出到后面的級(jí)的記錄設(shè)備、傳輸線等(未示出)。從量化單元65輸出的量化變換系數(shù)還被輸入到逆量化單元68，經(jīng)受逆量化，然后在逆正交變換單元69中還經(jīng)受逆正交變換。通過(guò)計(jì)算單元70將經(jīng)受逆正交變換的輸出相加到從預(yù)測(cè)圖像選擇單元78提供的預(yù)測(cè)圖像，使得形成局部解碼圖像。去塊濾波器71消除解碼圖像的塊失真，將解碼圖像提供給幀存儲(chǔ)器72，然后累積解碼圖像。在幀存儲(chǔ)器72 中還提供并累積了未由去塊濾波器71進(jìn)行去塊濾波處理的圖像。開關(guān)73將幀存儲(chǔ)器72中累積的參考圖像輸出給運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元75或幀內(nèi)預(yù)測(cè)單元74。在圖像編碼設(shè)備51中，例如，來(lái)自畫面重排緩沖器62的P圖片、B圖片和I圖片作為用于幀內(nèi)預(yù)測(cè)(也稱作幀內(nèi)處理)的圖像提供給幀內(nèi)預(yù)測(cè)單元74。從畫面重排緩沖器 62讀取的P圖片和B圖片作為用于幀間預(yù)測(cè)(也稱作幀間處理)的圖像提供給運(yùn)動(dòng)預(yù)測(cè)/ 補(bǔ)償單元75。幀內(nèi)預(yù)測(cè)單元74基于從畫面重排緩沖器62讀取的并經(jīng)受幀內(nèi)預(yù)測(cè)的參考圖像和從幀存儲(chǔ)器72提供的參考圖像，在所有候選幀內(nèi)預(yù)測(cè)模式下執(zhí)行幀內(nèi)預(yù)測(cè)處理，以便生成預(yù)測(cè)圖像。此時(shí)，幀內(nèi)預(yù)測(cè)單元74針對(duì)所有候選幀內(nèi)預(yù)測(cè)模式計(jì)算成本函數(shù)值，并選擇具有所計(jì)算的成本函數(shù)值之中的最小值的幀內(nèi)預(yù)測(cè)模式作為最佳幀內(nèi)預(yù)測(cè)模式。幀內(nèi)預(yù)測(cè)單元74將在最佳幀內(nèi)預(yù)測(cè)模式下生成的預(yù)測(cè)圖像和成本函數(shù)值提供給預(yù)測(cè)圖像選擇單元78。當(dāng)選擇由預(yù)測(cè)圖像選擇單元78在最佳幀內(nèi)預(yù)測(cè)模式下生成的預(yù)測(cè)圖像時(shí)，幀內(nèi)預(yù)測(cè)單元74將指示最佳幀內(nèi)預(yù)測(cè)模式的信息提供給無(wú)損編碼單元66。無(wú)損編碼單元66將該信息編碼，并將編碼信息設(shè)置為壓縮圖像中的頭部信息的部分。運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元75執(zhí)行所有候選幀間預(yù)測(cè)模式的運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償處理。艮口， 將從畫面重排緩沖器62讀取的要進(jìn)行幀間處理的圖像和參考圖像從幀存儲(chǔ)器72經(jīng)由開關(guān) 73提供給運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元75。運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元75基于要進(jìn)行幀間處理的圖像和參考圖像來(lái)檢測(cè)運(yùn)動(dòng)向量， 并基于關(guān)于在參考圖像中檢測(cè)到的運(yùn)動(dòng)向量的信息來(lái)計(jì)算參考?jí)K，參考?jí)K可以對(duì)應(yīng)于要進(jìn)行幀間處理的圖像的目標(biāo)塊。運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元75將關(guān)于目標(biāo)塊的信息和與關(guān)于目標(biāo)塊的信息對(duì)應(yīng)的關(guān)于參考?jí)K的信息輸出給畫面內(nèi)預(yù)測(cè)單元76。對(duì)所有候選幀間預(yù)測(cè)模式執(zhí)行該處理。運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元75可以根據(jù)以上參考圖3所描述的幀間模板匹配方法來(lái)執(zhí)行運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償處理，來(lái)替代幀間預(yù)測(cè)模式的運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償處理。畫面內(nèi)預(yù)測(cè)單元76從幀存儲(chǔ)器72目標(biāo)幀和讀取參考幀的參考圖像。畫面內(nèi)預(yù)測(cè)單元76在目標(biāo)幀中執(zhí)行畫面內(nèi)預(yù)測(cè)以檢測(cè)對(duì)應(yīng)于目標(biāo)塊的塊，并在參考幀中執(zhí)行畫面內(nèi)預(yù)測(cè)以檢測(cè)對(duì)應(yīng)于參考?jí)K的塊。在畫面內(nèi)預(yù)測(cè)單元76中，以上參考圖1所描述的幀內(nèi)模板匹配方法或以上參考圖2所描述的幀內(nèi)運(yùn)動(dòng)預(yù)測(cè)方法被用作畫面內(nèi)預(yù)測(cè)。畫面內(nèi)預(yù)測(cè)單元76計(jì)算目標(biāo)塊的像素值和對(duì)應(yīng)塊的像素值之間的差信息(目標(biāo)幀的差信息)，并計(jì)算參考?jí)K的像素值和對(duì)應(yīng)塊的像素值之間的差信息(參考幀的差信息)。計(jì)算的目標(biāo)幀的差信息和計(jì)算的參考幀的差信息輸出給二次差生成單元77。二次差生成單元77生成二次差信息(二次差信息是目標(biāo)幀的差信息和參考幀的差信息之間的差)，并將生成的二次差信息輸出給運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元75。運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元75使用來(lái)自二次差生成單元77的目標(biāo)塊的二次差信息，針對(duì)所有候選幀間預(yù)測(cè)模式計(jì)算成本函數(shù)值。運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元75選擇具有所計(jì)算的成本函數(shù)值之中的最小值的幀間預(yù)測(cè)模式作為最佳幀間預(yù)測(cè)模式。運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元75將要進(jìn)行幀間處理的圖像和在最佳幀間預(yù)測(cè)模式下生成的二次差信息之間的差以及最佳幀間預(yù)測(cè)模式的成本函數(shù)值提供給預(yù)測(cè)圖像選擇單元78。 當(dāng)預(yù)測(cè)圖像選擇單元78選擇二次差信息和要進(jìn)行幀間處理的圖像之間的差作為在最佳幀間預(yù)測(cè)模式下生成的預(yù)測(cè)圖像時(shí)，運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元75將指示最佳幀間預(yù)測(cè)模式的信息輸出給無(wú)損編碼單元66。如果必要的話，無(wú)損編碼單元66還將運(yùn)動(dòng)向量信息、標(biāo)記信息和參考幀信息等輸出給無(wú)損編碼單元66。無(wú)損編碼單元66對(duì)來(lái)自運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元75的信息執(zhí)行諸如可變長(zhǎng)度編碼或算術(shù)編碼的無(wú)損編碼處理，以將處理后的信息插入到壓縮圖像的頭部部分中。預(yù)測(cè)圖像選擇單元78基于從幀內(nèi)預(yù)測(cè)單元74或運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元75輸出的成本函數(shù)值，來(lái)從最佳幀內(nèi)預(yù)測(cè)模式和最佳幀間預(yù)測(cè)模式確定最佳預(yù)測(cè)模式。預(yù)測(cè)圖像選擇單元78選擇所確定的最佳預(yù)測(cè)模式的預(yù)測(cè)圖像或用于幀間處理的圖像與二次差信息之間的差，并將該差提供給計(jì)算單元63和70。此時(shí)，預(yù)測(cè)圖像選擇單元78將預(yù)測(cè)圖像的選擇信息提供給幀內(nèi)預(yù)測(cè)單元74或運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元75。速率控制單元79基于累積緩沖器67中累積的壓縮圖像來(lái)控制量化單元65的量化操作速率，以使得不發(fā)生上溢或下溢。[H. 264/AVC 方案的描述]圖5是示出H. ^4/AVC方案中的運(yùn)動(dòng)預(yù)測(cè)和補(bǔ)償?shù)膲K尺寸的示例的圖。在H. 264/ AVC方案中，將塊尺寸設(shè)置成可變的，用于運(yùn)動(dòng)預(yù)測(cè)和補(bǔ)償。在圖5的上部，從左側(cè)示出了被劃分為16X 16像素、16X8像素、8X 16像素和 8X8像素的分割區(qū)的具有16X16像素的宏塊。在圖5的下部，從左側(cè)示出了被劃分為8X8 像素、8X4像素、4X8像素和4X4像素的子分割區(qū)的具有8X8像素的分割區(qū)。S卩，在H. ^4/AVC方案中，可以將一個(gè)宏塊劃分為具有16X 16像素、16X8像素、 8X 16像素或者8X8像素的若干分割區(qū)，并且每個(gè)分割區(qū)可以具有獨(dú)立的運(yùn)動(dòng)向量信息。 此外，可以將具有8X8像素的分割區(qū)劃分為具有8X8像素、8X4像素、4X8像素或者4X4 像素的若干子分割區(qū)，并且每個(gè)子分割區(qū)可以具有獨(dú)立的運(yùn)動(dòng)向量信息。圖6是示出在H. ^4/AVC方案中的1/4像素精度的預(yù)測(cè)/補(bǔ)償處理的圖。在H.沈4/ AVC方案中，使用6抽頭的FIR(有限脈沖響應(yīng)濾波器)濾波器以1/4像素精度執(zhí)行預(yù)測(cè)/ 補(bǔ)償處理。
在圖6的示例中，位置A是整數(shù)精度像素的位置，位置b、c和d是1/2像素精度的位置，位置el、e2和e3是1/4像素精度的位置。首先，通過(guò)以下表達(dá)式(1)來(lái)定義ClipO。[表達(dá)式1]
權(quán)利要求
1.一種圖像處理設(shè)備，包括接收單元，其接收目標(biāo)幀差信息和參考幀差信息，所述目標(biāo)幀差信息是目標(biāo)幀的圖像和通過(guò)在所述目標(biāo)幀中進(jìn)行畫面內(nèi)預(yù)測(cè)生成的目標(biāo)預(yù)測(cè)圖像之間的差，所述參考幀差信息是與所述目標(biāo)幀對(duì)應(yīng)的參考幀的圖像和通過(guò)在所述參考幀中進(jìn)行所述畫面內(nèi)預(yù)測(cè)生成的參考預(yù)測(cè)圖像之間的差；二次差生成單元，其生成二次差信息，所述二次差信息是在所述接收中接收到的所述目標(biāo)幀差信息和所述參考幀差信息之間的差；以及編碼單元，其將由所述二次差生成單元生成的所述二次差信息進(jìn)行編碼，作為所述目標(biāo)幀的圖像。
2.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，還包括幀間模板運(yùn)動(dòng)預(yù)測(cè)單元，其通過(guò)在所述參考幀中使用第一模板預(yù)測(cè)目標(biāo)塊的運(yùn)動(dòng)而允許所述目標(biāo)塊與參考?jí)K對(duì)應(yīng)，所述第一模板與所述目標(biāo)塊鄰近并且根據(jù)解碼圖像而生成。
3.根據(jù)權(quán)利要求2所述的圖像處理設(shè)備，還包括目標(biāo)幀內(nèi)預(yù)測(cè)單元，其通過(guò)在所述目標(biāo)幀中使用所述第一模板的像素進(jìn)行所述畫面內(nèi)預(yù)測(cè)，來(lái)生成所述目標(biāo)預(yù)測(cè)圖像；以及參考幀內(nèi)預(yù)測(cè)單元，其通過(guò)在所述參考幀中使用第二模板的像素進(jìn)行所述畫面內(nèi)預(yù)測(cè)，來(lái)生成所述參考預(yù)測(cè)圖像，所述第二模板與所述參考?jí)K鄰近并根據(jù)所述解碼圖像而生成。
4.根據(jù)權(quán)利要求3所述的圖像處理設(shè)備，其中，所述參考幀內(nèi)預(yù)測(cè)單元通過(guò)在所述參考幀中使用所述第二模板的所述像素進(jìn)行所述畫面內(nèi)預(yù)測(cè)而生成所述參考預(yù)測(cè)圖像，來(lái)確定預(yù)測(cè)模式，并且其中，所述目標(biāo)幀內(nèi)預(yù)測(cè)單元通過(guò)在所述目標(biāo)幀內(nèi)使用所述第一模板的所述像素在由所述參考幀內(nèi)預(yù)測(cè)單元確定的所述預(yù)測(cè)模式下進(jìn)行所述畫面內(nèi)預(yù)測(cè)，來(lái)生成所述目標(biāo)預(yù)測(cè)圖像。
5.根據(jù)權(quán)利要求3所述的圖像處理設(shè)備，其中，所述目標(biāo)幀內(nèi)預(yù)測(cè)單元通過(guò)在所述目標(biāo)幀中使用所述第一模板的所述像素進(jìn)行所述畫面內(nèi)預(yù)測(cè)而生成所述目標(biāo)預(yù)測(cè)圖像，來(lái)確定預(yù)測(cè)模式，其中，所述參考幀內(nèi)預(yù)測(cè)單元通過(guò)在所述參考幀中使用所述第二模板的所述像素在由所述目標(biāo)幀內(nèi)預(yù)測(cè)單元確定的所述預(yù)測(cè)模式下進(jìn)行所述畫面內(nèi)預(yù)測(cè)，來(lái)生成所述參考預(yù)測(cè)圖像，并且其中，所述編碼單元將所述目標(biāo)幀的圖像以及指示由所述目標(biāo)幀內(nèi)預(yù)測(cè)單元確定的所述預(yù)測(cè)模式的信息進(jìn)行編碼。
6.根據(jù)權(quán)利要求3所述的圖像處理設(shè)備，其中，所述目標(biāo)幀內(nèi)預(yù)測(cè)單元通過(guò)在所述目標(biāo)幀中使用所述第一模板的所述像素進(jìn)行所述畫面內(nèi)預(yù)測(cè)而生成所述目標(biāo)預(yù)測(cè)圖像，來(lái)確定第一預(yù)測(cè)模式，其中，所述參考幀內(nèi)預(yù)測(cè)單元通過(guò)在所述參考幀中使用所述第二模板的所述像素進(jìn)行所述畫面內(nèi)預(yù)測(cè)而生成所述參考預(yù)測(cè)圖像，來(lái)確定第二預(yù)測(cè)模式；并且其中，所述編碼單元將所述目標(biāo)幀的所述圖像以及指示由所述目標(biāo)幀內(nèi)預(yù)測(cè)單元確定的所述第一預(yù)測(cè)模式的信息進(jìn)行編碼。
7.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，還包括運(yùn)動(dòng)預(yù)測(cè)單元，其通過(guò)在所述參考幀中使用所述目標(biāo)幀中包含的目標(biāo)塊預(yù)測(cè)所述目標(biāo)塊的運(yùn)動(dòng)而允許所述目標(biāo)塊與所述參考幀中包含的參考?jí)K對(duì)應(yīng)。
8.根據(jù)權(quán)利要求7所述的圖像處理設(shè)備，還包括目標(biāo)幀內(nèi)模板預(yù)測(cè)單元，其通過(guò)使用與所述目標(biāo)塊對(duì)應(yīng)的第一塊在所述目標(biāo)幀中進(jìn)行所述畫面內(nèi)預(yù)測(cè)來(lái)生成所述目標(biāo)預(yù)測(cè)圖像，所述第一塊是通過(guò)使用第一模板預(yù)測(cè)所述目標(biāo)塊的運(yùn)動(dòng)而計(jì)算出的，所述第一模板與所述目標(biāo)塊鄰近并且根據(jù)解碼圖像而生成；以及參考幀內(nèi)模板預(yù)測(cè)單元，其通過(guò)使用與所述參考?jí)K對(duì)應(yīng)的第二塊在所述參考幀中進(jìn)行所述畫面內(nèi)預(yù)測(cè)來(lái)生成所述參考預(yù)測(cè)圖像，所述第二塊是通過(guò)使用第二模板預(yù)測(cè)所述參考?jí)K的運(yùn)動(dòng)而計(jì)算出的，所述第二模板與所述參考?jí)K鄰近并且根據(jù)解碼圖像而生成。
9.根據(jù)權(quán)利要求7所述的圖像處理設(shè)備，還包括目標(biāo)幀內(nèi)運(yùn)動(dòng)預(yù)測(cè)單元，其通過(guò)使用與所述目標(biāo)塊對(duì)應(yīng)的第一塊在所述目標(biāo)幀中進(jìn)行所述畫面內(nèi)預(yù)測(cè)來(lái)生成所述目標(biāo)預(yù)測(cè)圖像，所述第一塊是通過(guò)使用所述目標(biāo)塊預(yù)測(cè)所述目標(biāo)塊的運(yùn)動(dòng)而計(jì)算出的；以及參考幀內(nèi)運(yùn)動(dòng)預(yù)測(cè)單元，其通過(guò)使用與所述參考?jí)K對(duì)應(yīng)的第二塊在所述參考幀中進(jìn)行所述畫面內(nèi)預(yù)測(cè)來(lái)生成所述參考預(yù)測(cè)圖像，所述第二塊是通過(guò)使用所述參考?jí)K預(yù)測(cè)所述參考?jí)K的運(yùn)動(dòng)而計(jì)算出的。
10.一種圖像處理方法，包括通過(guò)圖像處理設(shè)備，接收目標(biāo)幀差信息和參考幀差信息，所述目標(biāo)幀差信息是目標(biāo)幀的圖像和通過(guò)在所述目標(biāo)幀中進(jìn)行畫面內(nèi)預(yù)測(cè)生成的目標(biāo)預(yù)測(cè)圖像之間的差，所述參考幀差信息是與所述目標(biāo)幀對(duì)應(yīng)的參考幀的圖像和通過(guò)在所述參考幀中進(jìn)行所述畫面內(nèi)預(yù)測(cè)生成的參考預(yù)測(cè)圖像之間的差；生成二次差信息，所述二次差信息是所述接收的目標(biāo)幀差信息和所述參考幀差信息之間的差；以及將所述生成的二次差信息進(jìn)行編碼，作為所述目標(biāo)幀的圖像。
11.一種圖像處理設(shè)備，包括解碼單元，其將被編碼的目標(biāo)幀的二次差信息進(jìn)行解碼；接收單元，其接收通過(guò)在所述目標(biāo)幀中進(jìn)行畫面內(nèi)預(yù)測(cè)生成的目標(biāo)預(yù)測(cè)圖像和參考幀差信息，所述參考幀差信息是與所述目標(biāo)幀對(duì)應(yīng)的參考幀的圖像和通過(guò)在所述參考幀中進(jìn)行所述畫面內(nèi)預(yù)測(cè)生成的參考預(yù)測(cè)圖像之間的差；以及二次差補(bǔ)償單元，其通過(guò)使由所述解碼單元解碼的所述二次差信息、由所述接收單元接收的所述目標(biāo)預(yù)測(cè)圖像和由所述接收單元接收的所述參考幀差信息相加，來(lái)計(jì)算所述目標(biāo)幀的圖像。
12.根據(jù)權(quán)利要求11所述的圖像處理設(shè)備，還包括幀間模板運(yùn)動(dòng)預(yù)測(cè)單元，其通過(guò)在所述參考幀中使用第一模板預(yù)測(cè)所述目標(biāo)塊的運(yùn)動(dòng)而允許所述目標(biāo)塊與所述參考?jí)K對(duì)應(yīng)，所述第一模板與所述目標(biāo)塊鄰近并且根據(jù)解碼圖像而生成。
13.根據(jù)權(quán)利要求12所述的圖像處理設(shè)備，還包括目標(biāo)幀內(nèi)預(yù)測(cè)單元，其通過(guò)在所述目標(biāo)幀中使用所述第一模板的像素進(jìn)行所述畫面內(nèi)預(yù)測(cè)，來(lái)生成所述目標(biāo)預(yù)測(cè)圖像；以及參考幀內(nèi)預(yù)測(cè)單元，其通過(guò)在所述參考幀中使用第二模板的像素進(jìn)行所述畫面內(nèi)預(yù)測(cè)，來(lái)生成所述參考預(yù)測(cè)圖像，所述第二模板與所述參考?jí)K鄰近并且根據(jù)所述解碼圖像而生成。
14.根據(jù)權(quán)利要求13所述的圖像處理設(shè)備，其中，所述參考幀內(nèi)預(yù)測(cè)單元通過(guò)在所述參考幀中使用所述第二模板的所述像素進(jìn)行所述畫面內(nèi)預(yù)測(cè)而生成所述參考預(yù)測(cè)圖像，來(lái)確定預(yù)測(cè)模式，并且其中，所述目標(biāo)幀內(nèi)預(yù)測(cè)單元通過(guò)在所述目標(biāo)幀中使用所述第一模板的所述像素在由所述參考幀內(nèi)預(yù)測(cè)單元確定的所述預(yù)測(cè)模式下進(jìn)行所述畫面內(nèi)預(yù)測(cè)，來(lái)生成所述目標(biāo)預(yù)測(cè)圖像。
15.根據(jù)權(quán)利要求13所述的圖像處理設(shè)備，其中，所述解碼單元將所述二次差信息和指示所述目標(biāo)幀內(nèi)預(yù)測(cè)單元中的預(yù)測(cè)模式的信息兩者進(jìn)行解碼，其中，所述目標(biāo)幀內(nèi)預(yù)測(cè)單元通過(guò)在所述目標(biāo)幀中使用所述第一模板的所述像素在由所述解碼單元解碼的信息所指示的所述預(yù)測(cè)模式下進(jìn)行所述畫面內(nèi)預(yù)測(cè)，來(lái)生成所述目標(biāo)預(yù)測(cè)圖像，并且其中，所述參考幀內(nèi)預(yù)測(cè)單元通過(guò)在所述參考幀中使用所述第二模板的所述像素在由所述解碼單元解碼的信息所指示的所述預(yù)測(cè)模式下進(jìn)行所述畫面內(nèi)預(yù)測(cè)來(lái)生成所述參考預(yù)測(cè)圖像。
16.根據(jù)權(quán)利要求13所述的圖像處理設(shè)備，其中，所述解碼單元將所述二次差信息和指示所述目標(biāo)幀內(nèi)預(yù)測(cè)單元中的第一預(yù)測(cè)模式的信息兩者進(jìn)行解碼，其中，所述目標(biāo)幀內(nèi)預(yù)測(cè)單元通過(guò)在所述目標(biāo)幀中使用所述第一模板的所述像素在由所述解碼單元解碼的信息所指示的第一預(yù)測(cè)模式下進(jìn)行所述畫面內(nèi)預(yù)測(cè)，來(lái)生成所述目標(biāo)預(yù)測(cè)圖像，以及其中，所述參考幀內(nèi)預(yù)測(cè)單元通過(guò)在所述參考幀中使用所述第二模板的所述像素進(jìn)行所述畫面內(nèi)預(yù)測(cè)而生成所述參考預(yù)測(cè)圖像，來(lái)確定第二預(yù)測(cè)模式。
17.根據(jù)權(quán)利要求11所述的圖像處理設(shè)備，還包括運(yùn)動(dòng)預(yù)測(cè)單元，其通過(guò)在所述參考幀中使用所述目標(biāo)幀中包含的目標(biāo)塊預(yù)測(cè)所述目標(biāo)塊的運(yùn)動(dòng)而允許所述目標(biāo)塊與所述參考幀中包含的參考?jí)K對(duì)應(yīng)。
18.根據(jù)權(quán)利要求17所述的圖像處理設(shè)備，還包括目標(biāo)幀內(nèi)模板預(yù)測(cè)單元，其通過(guò)使用與所述目標(biāo)塊對(duì)應(yīng)的第一塊在所述目標(biāo)幀中進(jìn)行所述畫面內(nèi)預(yù)測(cè)來(lái)生成所述目標(biāo)預(yù)測(cè)圖像，所述第一塊是通過(guò)使用第一模板預(yù)測(cè)所述目標(biāo)塊的運(yùn)動(dòng)而計(jì)算出的，所述第一模板與所述目標(biāo)塊鄰近并且根據(jù)解碼圖像而生成；以及參考幀內(nèi)模板預(yù)測(cè)單元，其通過(guò)使用與所述參考?jí)K對(duì)應(yīng)的第二塊在所述參考幀中進(jìn)行所述畫面內(nèi)預(yù)測(cè)來(lái)生成所述參考預(yù)測(cè)圖像，所述第二塊是通過(guò)使用第二模板預(yù)測(cè)所述參考?jí)K的運(yùn)動(dòng)而計(jì)算出的，所述第二模板與所述參考?jí)K鄰近并且根據(jù)解碼圖像而生成。
19.根據(jù)權(quán)利要求17所述的圖像處理設(shè)備，還包括目標(biāo)幀內(nèi)運(yùn)動(dòng)預(yù)測(cè)單元，其通過(guò)使用與所述目標(biāo)塊對(duì)應(yīng)的第一塊在所述目標(biāo)幀中進(jìn)行所述畫面內(nèi)預(yù)測(cè)來(lái)生成所述目標(biāo)預(yù)測(cè)圖像，所述第一塊是通過(guò)使用由所述解碼單元連同所述目標(biāo)幀的所述二次差一起進(jìn)行解碼的所述目標(biāo)塊的運(yùn)動(dòng)向量信息而計(jì)算出的；以及參考幀內(nèi)運(yùn)動(dòng)預(yù)測(cè)單元，其通過(guò)使用與所述參考?jí)K對(duì)應(yīng)的第二塊在所述參考幀中進(jìn)行所述畫面內(nèi)預(yù)測(cè)來(lái)生成所述參考預(yù)測(cè)圖像，所述第二塊是通過(guò)使用由所述解碼單元連同所述目標(biāo)幀的所述二次差一起進(jìn)行解碼的所述參考?jí)K的運(yùn)動(dòng)向量信息而計(jì)算出的。
20. 一種圖像處理方法，包括通過(guò)圖像處理設(shè)備， 將被編碼的目標(biāo)幀的二次差信息進(jìn)行解碼；接收通過(guò)在所述目標(biāo)幀中進(jìn)行畫面內(nèi)預(yù)測(cè)生成的目標(biāo)預(yù)測(cè)圖像和參考幀差信息，所述參考幀差信息是與所述目標(biāo)幀對(duì)應(yīng)的參考幀的圖像和經(jīng)過(guò)在所述參考幀中進(jìn)行所述畫面內(nèi)預(yù)測(cè)生成的參考預(yù)測(cè)圖像之間的差；以及通過(guò)將所述解碼的二次差信息、所述接收的目標(biāo)預(yù)測(cè)圖像和所述接收的參考幀差信息相加，來(lái)計(jì)算所述目標(biāo)幀的圖像。
全文摘要
本發(fā)明的主題涉及一種改進(jìn)編碼效率的圖像處理設(shè)備和方法。使用運(yùn)動(dòng)預(yù)測(cè)處理，以在參考幀處獲得通過(guò)幀間運(yùn)動(dòng)向量(MV)與目標(biāo)塊(A)相關(guān)聯(lián)的參考?jí)K(B)。接下來(lái)，使用幀內(nèi)預(yù)測(cè)，以在目標(biāo)幀處檢測(cè)與目標(biāo)塊(A)對(duì)應(yīng)的塊(A′)，以及在參考幀處檢測(cè)與參考?jí)K(B)對(duì)應(yīng)的塊(B′)。獲得目標(biāo)塊(A)的像素值和塊(A′)的像素值之間的差、以及塊(B′)和參考?jí)K(B)的像素值之間的差，此外，生成這些差之間的差，即二次差，將該二次差進(jìn)行編碼，并將其發(fā)送至解碼側(cè)。公開的主題能夠例如應(yīng)用于利用H.264/AVC進(jìn)行編碼的圖像編碼設(shè)備。
文檔編號(hào)H04N7/32GK102415098SQ20108001789
公開日2012年4月11日 申請(qǐng)日期2010年4月22日 優(yōu)先權(quán)日2009年4月24日
發(fā)明者佐藤數(shù)史 申請(qǐng)人:索尼公司