專利名稱：圖像處理設(shè)備和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種圖像處理設(shè)備和方法，并且具體地，涉及一種能夠抑制壓縮信息的增加并且還能夠提高預(yù)測(cè)精度的圖像處理設(shè)備和方法。
背景技術(shù)：
近年來(lái)，如下設(shè)備已得到廣泛使用其通過(guò)采用將圖像信息處理為數(shù)字信號(hào)的編碼系統(tǒng)而使圖像經(jīng)受壓縮編碼，并且此時(shí)利用作為圖像信息的特征的冗余度，通過(guò)正交變換(諸如，離散余弦變換等)和運(yùn)動(dòng)補(bǔ)償對(duì)圖像進(jìn)行壓縮，以便執(zhí)行信息的高效傳輸和積累。該編碼方法的示例包括MPEG(運(yùn)動(dòng)圖像專家組)等。具體地，MPEG2(IS0/IEC 13818-2)被定義為通用圖像編碼系統(tǒng)，并且是包括隔行掃描圖像和逐行掃描圖像以及標(biāo)準(zhǔn)分辨率圖像和高清圖像兩者的標(biāo)準(zhǔn)。例如，現(xiàn)在，已通過(guò)廣泛應(yīng)用于專業(yè)用途以及消費(fèi)用途來(lái)采用MPEG2。通過(guò)采用MPEG2壓縮系統(tǒng)，在具有例如 720X480像素的標(biāo)準(zhǔn)分辨率的隔行掃描圖像的情況下，分配4Mbps至8Mbps的代碼量(比特率)。通過(guò)采用MPEG2壓縮系統(tǒng)，在具有例如1920X 1088像素的高分辨率的隔行掃描圖像的情況下，分配18Mbps至22Mbps的代碼量(比特率)。因此，可以實(shí)現(xiàn)高壓縮率和極好的圖像質(zhì)量。MPEG2主要針對(duì)適合于廣播用途的高圖像質(zhì)量編碼，但是不處理比MPEGl (即，具有較高壓縮率的編碼系統(tǒng))的代碼量低的代碼量(比特率)。期望對(duì)這樣的編碼系統(tǒng)的需求由于個(gè)人數(shù)字助理的普及而會(huì)從現(xiàn)在開(kāi)始增加，并且響應(yīng)于此，執(zhí)行了 MPEG4編碼系統(tǒng)的標(biāo)準(zhǔn)化。對(duì)于圖像編碼系統(tǒng)，其規(guī)范在1998年12月作為國(guó)際標(biāo)準(zhǔn)IS0/IEC 14496-2而被承認(rèn)。此外，近年來(lái)，稱為H. ^L(ITU-T Q6/16VCEG)的標(biāo)準(zhǔn)的標(biāo)準(zhǔn)化已隨著將用于電視會(huì)議用途的圖像編碼作為目的而得以發(fā)展。對(duì)于H. ^L，已知盡管與諸如MPEG2或MPEG4的傳統(tǒng)編碼系統(tǒng)相比，其編碼和解碼要求更大的計(jì)算量，但是實(shí)現(xiàn)了更高的編碼效率。另外， 同時(shí)，作為MEPG4的活動(dòng)的一部分，已執(zhí)行標(biāo)準(zhǔn)化作為增強(qiáng)壓縮視頻編碼的聯(lián)合模型，其中，該標(biāo)準(zhǔn)化用于以H. 26L為基礎(chǔ)、利用該H. 26L不支持的功能來(lái)實(shí)現(xiàn)更高的編碼效率。作為標(biāo)準(zhǔn)化的進(jìn)程，H. 264和MPEG-4第10部分(高級(jí)視頻編碼，下文中稱為H. 264/AVC)在 2003年3月成為國(guó)際標(biāo)準(zhǔn)。此外，作為其擴(kuò)展，在2005年2月完成了包括業(yè)務(wù)用途所需的編碼工具(諸如 RGB,4 2 2或4 4 4)、MPEG-2規(guī)定的8 X 8DCT和量化矩陣的FRExt (保真度范圍擴(kuò)展)的標(biāo)準(zhǔn)化。因此，H. 264/AVC已成為能夠甚至適當(dāng)?shù)乇憩F(xiàn)包括在電影中的影片噪聲的編碼系統(tǒng)，并且已用于廣泛的應(yīng)用，諸如藍(lán)光盤(pán)(注冊(cè)商標(biāo))等。然而，如今，對(duì)更高壓縮率編碼的需求已增加，諸如期望壓縮具有大約4000 X 2000 個(gè)像素的圖像，該圖像是高清晰度(high-vision)圖像的四倍。替選地，對(duì)更高壓縮率編碼的需求已增加，諸如期望將高清晰度圖像分布在具有有限傳輸容量的環(huán)境(如因特網(wǎng))內(nèi)。 因此，對(duì)于在ITU-T控制下的上述VCEG (=視頻編碼專家組)，已不斷地進(jìn)行與提高編碼效率有關(guān)的研究。例如，對(duì)于MPEG2系統(tǒng)，已通過(guò)線性內(nèi)插處理執(zhí)行了具有像素精度的運(yùn)動(dòng)預(yù)測(cè)和補(bǔ)償處理。另一方面，對(duì)于H. 264/AVC系統(tǒng)，已使用6抽頭FIR(有限脈沖響應(yīng)濾波器) 濾波器執(zhí)行了具有1/4像素精度的預(yù)測(cè)和補(bǔ)償處理。近年來(lái)，關(guān)于該具有1/4像素精度的預(yù)測(cè)和補(bǔ)償處理，已進(jìn)行了用于進(jìn)一步提高 HJ64/AVC系統(tǒng)的效率的研究。作為用于此的編碼系統(tǒng)之一，對(duì)于NPL 1，提出了具有1/8 像素精度的運(yùn)動(dòng)預(yù)測(cè)。具體地，對(duì)于NPL 1，通過(guò)濾波器[-3，-12，-39，158，158，-39，12，_3]/256 執(zhí)行具有1/2像素精度的內(nèi)插處理。另外，通過(guò)濾波器[-3，12，-37，229，71，-21，6，-1]/256執(zhí)行具有1/4像素精度的內(nèi)插處理，并且通過(guò)線性內(nèi)插執(zhí)行具有1/8像素精度的內(nèi)插處理。以此方式，使用具有更高像素精度的內(nèi)插處理執(zhí)行運(yùn)動(dòng)預(yù)測(cè)，從而，尤其是對(duì)于在分辨率方面具有高紋理的較慢的運(yùn)動(dòng)序列，可以提高預(yù)測(cè)精度，并且可以實(shí)現(xiàn)編碼效率的提尚。順便提及，作為H. 264/AVC系統(tǒng)相比于根據(jù)現(xiàn)有技術(shù)的MPEG2系統(tǒng)等而言實(shí)現(xiàn)高編碼效率的一個(gè)因素，提出了采用接下來(lái)描述的幀內(nèi)預(yù)測(cè)系統(tǒng)。對(duì)于H. ^4/AVC系統(tǒng)，對(duì)于亮度信號(hào)，定義了 4X4像素和8X8像素的塊單位的九種預(yù)測(cè)模式以及16X16像素的宏塊單位的四種預(yù)測(cè)模式的幀內(nèi)預(yù)測(cè)模式。對(duì)于色差信號(hào)， 定義了 8X8像素的塊單位的四種預(yù)測(cè)模式的幀內(nèi)預(yù)測(cè)模式?？瑟?dú)立于亮度信號(hào)的幀內(nèi)預(yù)測(cè)模式來(lái)設(shè)置色差信號(hào)的幀內(nèi)預(yù)測(cè)模式。注意，預(yù)測(cè)模式的種類對(duì)應(yīng)于在圖1中以數(shù)字0、 1、3至8表示的方向。預(yù)測(cè)模式2是平均值預(yù)測(cè)。采用了這樣的幀內(nèi)預(yù)測(cè)系統(tǒng)，從而實(shí)現(xiàn)預(yù)測(cè)精度的提高。然而，對(duì)于H. ^4/AVC系統(tǒng)，如圖1的方向所示，僅執(zhí)行22. 5度的增量的幀內(nèi)預(yù)測(cè)。因此，在邊緣的傾斜具有除此之外的角度的情況下，限制了編碼效率的提高。因此，對(duì)于NPL 2，提出了進(jìn)一步提高編碼效率，其中，以比22. 5度更細(xì)的角度執(zhí)行預(yù)測(cè)。引用列表非專利文獻(xiàn)NPL 1 :“Motion compensated prediction with 1/8-pel displacement vector resolution，，， VCEG-AD09, ITU-Telecommunications Standardization Sector STUDY GROUP Question 6 Video coding Experts Group (VCEG)，2006 年 10 月 23 至 27 日NPL 2 :Virginie Drugeon, Thomas Wedi,禾口 Torsten Palfner, "High Precision Edge Prediction for Intra Coding，，，2008

發(fā)明內(nèi)容
技術(shù)問(wèn)題然而，對(duì)于H. ^4/AVC系統(tǒng)的幀內(nèi)預(yù)測(cè)，將要進(jìn)行編碼的塊的預(yù)定相鄰像素用于預(yù)測(cè)，但是另一方面，對(duì)于在NPL 2中描述的提案，還要使用除要進(jìn)行編碼的塊的相鄰像素之外的像素。因此，對(duì)于在NPL 2中描述的提案，即使當(dāng)以比22. 5度的增量更細(xì)的角度執(zhí)行預(yù)測(cè)時(shí)，存儲(chǔ)器訪問(wèn)次數(shù)和處理增加。本發(fā)明是考慮到這樣的情形而做出的，其進(jìn)一步提高了幀內(nèi)預(yù)測(cè)的編碼效率，同時(shí)抑制了存儲(chǔ)器訪問(wèn)次數(shù)和處理的增加。對(duì)問(wèn)題的解決方案根據(jù)本發(fā)明的第一方面的一種圖像處理設(shè)備包括模式確定裝置，被配置成關(guān)于針對(duì)圖像數(shù)據(jù)要經(jīng)受幀內(nèi)預(yù)測(cè)的幀內(nèi)預(yù)測(cè)塊的幀內(nèi)預(yù)測(cè)，確定預(yù)測(cè)模式；相移裝置，被配置成根據(jù)取決于模式確定裝置確定的預(yù)測(cè)模式的移動(dòng)方向和用作候選的移動(dòng)量，移動(dòng)以預(yù)定的位置關(guān)系與幀內(nèi)預(yù)測(cè)塊相鄰的相鄰像素的相位；移動(dòng)量確定裝置，被配置成使用相鄰像素以及相位被相移裝置移動(dòng)的相鄰像素，針對(duì)相鄰像素確定相位的最佳移動(dòng)量；以及預(yù)測(cè)圖像生成裝置，被配置成使用相位根據(jù)移動(dòng)量確定裝置確定的最佳移動(dòng)量而被移動(dòng)的相鄰像素，生成幀內(nèi)預(yù)測(cè)塊的預(yù)測(cè)圖像。圖像處理設(shè)備還可包括編碼裝置，被配置成對(duì)幀內(nèi)預(yù)測(cè)塊的圖像與預(yù)測(cè)圖像生成裝置生成的預(yù)測(cè)圖像之間的差分信息進(jìn)行編碼，以生成編碼流；以及傳輸裝置，被配置成將表示移動(dòng)量確定裝置確定的最佳移動(dòng)量的移動(dòng)量信息、以及表示模式確定裝置確定的預(yù)測(cè)模式的預(yù)測(cè)模式信息連同編碼裝置生成的編碼流一起進(jìn)行傳輸。編碼裝置可將表示關(guān)于幀內(nèi)預(yù)測(cè)塊所確定的最佳移動(dòng)量與關(guān)于提供 MostProbableMode的塊所確定的最佳移動(dòng)量之間的差分的差分信息編碼為移動(dòng)量信息，并且傳輸裝置可傳輸編碼裝置生成的編碼流和差分信息。相移裝置可在模式確定裝置確定的預(yù)測(cè)模式是DC預(yù)測(cè)模式的情況下，禁止相位的移動(dòng)。在模式確定裝置確定的預(yù)測(cè)模式是Vertical (垂直)預(yù)測(cè)模式、Diag_D0Wn_ Left(對(duì)角線_下_左)預(yù)測(cè)模式或者VerticalLeft(垂直_左)預(yù)測(cè)模式的情況下， 相移裝置可針對(duì)相鄰像素中的上部相鄰像素，根據(jù)用作候選的移動(dòng)量移動(dòng)水平方向上的相位，并且針對(duì)相鄰像素中的左部相鄰像素，禁止移動(dòng)垂直方向上的相位。在模式確定裝置確定的預(yù)測(cè)模式是Horizontal (水平)預(yù)測(cè)模式或Horizontal Up (水平_上)預(yù)測(cè)模式的情況下，相移裝置可針對(duì)相鄰像素中的左部相鄰像素，根據(jù)用作候選的移動(dòng)量移動(dòng)垂直方向上的相位，并且針對(duì)相鄰像素中的上部相鄰像素，禁止移動(dòng)水平方向上的相位。模式確定裝置可確定幀內(nèi)預(yù)測(cè)的所有預(yù)測(cè)模式，相移裝置可根據(jù)取決于模式確定裝置確定的所有預(yù)測(cè)模式的移動(dòng)方向和用作候選的移動(dòng)量，移動(dòng)相鄰像素的相位，并且移動(dòng)量確定裝置可使用相鄰像素和相位被相移裝置移動(dòng)的相鄰像素，針對(duì)相鄰像素確定相位的最佳移動(dòng)量和最佳預(yù)測(cè)模式。圖像處理設(shè)備還可包括被配置成關(guān)于圖像的幀間運(yùn)動(dòng)預(yù)測(cè)塊執(zhí)行幀間運(yùn)動(dòng)預(yù)測(cè)的運(yùn)動(dòng)預(yù)測(cè)補(bǔ)償裝置，并且相移裝置可使用在運(yùn)動(dòng)預(yù)測(cè)補(bǔ)償裝置執(zhí)行小數(shù)像素精度預(yù)測(cè)時(shí)所使用的濾波器，移動(dòng)相鄰像素的相位。根據(jù)本發(fā)明的第一方面的圖像處理方法可包括以下步驟使得圖像處理設(shè)備執(zhí)行如下處理關(guān)于針對(duì)圖像數(shù)據(jù)要被處理用于幀內(nèi)預(yù)測(cè)的幀內(nèi)預(yù)測(cè)塊，確定幀內(nèi)預(yù)測(cè)的預(yù)測(cè)模式；根據(jù)取決于所確定的預(yù)測(cè)模式的移動(dòng)方向和用作候選的移動(dòng)量，移動(dòng)以預(yù)定位置關(guān)系與幀內(nèi)預(yù)測(cè)塊相鄰的相鄰像素的相位；使用相鄰像素和相位被移動(dòng)的相鄰像素，針對(duì)相鄰像素確定相位的最佳移動(dòng)量；以及使用相位根據(jù)所確定的最佳移動(dòng)量而被移動(dòng)的相鄰像素，生成幀內(nèi)預(yù)測(cè)塊的預(yù)測(cè)圖像。根據(jù)本發(fā)明的第二方面的一種圖像處理設(shè)備包括接收裝置，被配置成接收預(yù)測(cè)模式信息和移動(dòng)量信息，其中，該預(yù)測(cè)模式信息關(guān)于要被處理用于幀內(nèi)預(yù)測(cè)的幀內(nèi)預(yù)測(cè)塊來(lái)表示幀內(nèi)預(yù)測(cè)的預(yù)測(cè)模式，該移動(dòng)量信息表示用于根據(jù)預(yù)測(cè)模式信息表示的預(yù)測(cè)模式而移動(dòng)以預(yù)定的位置關(guān)系與幀內(nèi)預(yù)測(cè)塊相鄰的相鄰像素的相位的移動(dòng)量；相移裝置，被配置成根據(jù)取決于接收裝置接收到的預(yù)測(cè)模式的移動(dòng)方向和移動(dòng)量移動(dòng)相鄰像素的相位；以及預(yù)測(cè)圖像生成裝置，被配置成使用相位被相移裝置移動(dòng)的相鄰像素，生成幀內(nèi)預(yù)測(cè)塊的預(yù)測(cè)圖像。接收裝置可接收表示關(guān)于幀內(nèi)預(yù)測(cè)塊的移動(dòng)量與關(guān)于提供MostfrobableMode的塊的移動(dòng)量之間的差分的差分信息，作為移動(dòng)量信息。圖像處理設(shè)備還可包括解碼裝置，該解碼裝置被配置成使用預(yù)測(cè)圖像生成裝置生成的預(yù)測(cè)圖像，對(duì)幀內(nèi)預(yù)測(cè)塊進(jìn)行解碼。解碼裝置可對(duì)接收裝置接收到的預(yù)測(cè)模式信息和移動(dòng)量信息進(jìn)行解碼。在經(jīng)解碼裝置解碼的預(yù)測(cè)模式是DC預(yù)測(cè)模式的情況下，相移裝置可禁止移動(dòng)相鄰像素的相位。在經(jīng)解碼裝置解碼的預(yù)測(cè)模式是Vertical預(yù)測(cè)模式、Diag_Down_Left預(yù)測(cè)模式或VerticalLeft預(yù)測(cè)模式的情況下，相移裝置可針對(duì)相鄰像素中的上部相鄰像素，根據(jù)經(jīng)解碼裝置解碼的移動(dòng)量移動(dòng)水平方向上的相位，并且針對(duì)相鄰像素中的左部相鄰像素， 禁止移動(dòng)垂直方向上的相位。在經(jīng)解碼裝置解碼的預(yù)測(cè)模式是Horizontal預(yù)測(cè)模式或HorizontalUp預(yù)測(cè)模式的情況下，相移裝置可針對(duì)相鄰像素中的左部相鄰像素，根據(jù)經(jīng)解碼裝置解碼的移動(dòng)量移動(dòng)垂直方向上的相位，并且針對(duì)相鄰像素中的上部相鄰像素，禁止移動(dòng)水平方向上的相位。圖像處理設(shè)備還可包括運(yùn)動(dòng)預(yù)測(cè)補(bǔ)償裝置，該運(yùn)動(dòng)預(yù)測(cè)補(bǔ)償裝置被配置成使用要由解碼裝置解碼的運(yùn)動(dòng)矢量以及經(jīng)編碼的幀間運(yùn)動(dòng)預(yù)測(cè)塊，執(zhí)行幀間運(yùn)動(dòng)預(yù)測(cè)，并且相移裝置可使用要在運(yùn)動(dòng)預(yù)測(cè)補(bǔ)償裝置執(zhí)行小數(shù)像素精度預(yù)測(cè)時(shí)所使用的濾波器來(lái)移動(dòng)相鄰像素的相位。根據(jù)本發(fā)明的第二方面的圖像處理方法包括以下步驟使得圖像處理設(shè)備接收預(yù)測(cè)模式信息和移動(dòng)量信息，其中，該預(yù)測(cè)模式信息關(guān)于要被處理用于幀內(nèi)預(yù)測(cè)的幀內(nèi)預(yù)測(cè)塊來(lái)表示幀內(nèi)預(yù)測(cè)的預(yù)測(cè)模式，該移動(dòng)量信息表示用于根據(jù)預(yù)測(cè)模式信息表示的預(yù)測(cè)模式而移動(dòng)以預(yù)定的位置關(guān)系與幀內(nèi)預(yù)測(cè)塊相鄰的相鄰像素的相位的移動(dòng)量；根據(jù)取決于所接收到的預(yù)測(cè)模式的移動(dòng)方向和移動(dòng)量移動(dòng)相鄰像素的相位；以及使用相位被移動(dòng)的相鄰像素，生成幀內(nèi)預(yù)測(cè)塊的預(yù)測(cè)圖像。對(duì)于本發(fā)明的第一方面，關(guān)于針對(duì)圖像數(shù)據(jù)要被處理用于幀內(nèi)預(yù)測(cè)的幀內(nèi)預(yù)測(cè)塊，確定幀內(nèi)預(yù)測(cè)的預(yù)測(cè)模式，并且根據(jù)取決于所確定的預(yù)測(cè)模式的移動(dòng)方向和用作候選的移動(dòng)量，移動(dòng)以預(yù)定的位置關(guān)系與幀內(nèi)預(yù)測(cè)塊相鄰的相鄰像素的相位。隨后，使用相鄰像素和相位被移動(dòng)的相鄰像素，針對(duì)相鄰像素確定相位的最佳移動(dòng)量，并且使用相位根據(jù)所確定的最佳移動(dòng)量而被移動(dòng)的相鄰像素生成幀內(nèi)預(yù)測(cè)塊的預(yù)測(cè)圖像。
對(duì)于本發(fā)明的第二方面，接收預(yù)測(cè)模式信息和移動(dòng)量信息，并且根據(jù)取決于所接收到的預(yù)測(cè)模式的移動(dòng)方向和移動(dòng)量來(lái)移動(dòng)相鄰像素的相位，其中，該預(yù)測(cè)模式信息關(guān)于要被處理用于幀內(nèi)預(yù)測(cè)的幀內(nèi)預(yù)測(cè)塊來(lái)表示幀內(nèi)預(yù)測(cè)的預(yù)測(cè)模式，該移動(dòng)量信息表示用于根據(jù)預(yù)測(cè)模式信息表示的預(yù)測(cè)模式而移動(dòng)以預(yù)定的位置關(guān)系與幀內(nèi)預(yù)測(cè)塊相鄰的相鄰像素的相位的移動(dòng)量。隨后，使用相位被移動(dòng)的相鄰像素，生成幀內(nèi)預(yù)測(cè)塊的預(yù)測(cè)圖像。注意，上述圖像處理設(shè)備可以是獨(dú)立設(shè)備，或者可以是構(gòu)成單個(gè)圖像編碼設(shè)備或圖像解碼設(shè)備的內(nèi)部塊。本發(fā)明的有益效果根據(jù)本發(fā)明的第一方面，可通過(guò)幀內(nèi)預(yù)測(cè)生成預(yù)測(cè)圖像。另外，根據(jù)本發(fā)明的第一方面，可提高編碼效率而不會(huì)增加存儲(chǔ)器訪問(wèn)次數(shù)和處理。根據(jù)本發(fā)明的第二方面，可通過(guò)幀內(nèi)預(yù)測(cè)生成預(yù)測(cè)圖像。另外，根據(jù)本發(fā)明的第二方面，可提高編碼效率而不會(huì)增加存儲(chǔ)器訪問(wèn)次數(shù)和處理。


圖1是用于描述4 X 4像素的幀內(nèi)預(yù)測(cè)的方向的圖。圖2是示出應(yīng)用了本發(fā)明的圖像編碼設(shè)備的實(shí)施例的配置的框圖。圖3是用于描述具有1/4像素精度的運(yùn)動(dòng)預(yù)測(cè)和補(bǔ)償處理的圖。圖4是用于描述多參考幀的運(yùn)動(dòng)預(yù)測(cè)和補(bǔ)償方法的圖。圖5是用于描述運(yùn)動(dòng)矢量信息生成方法的示例的圖。圖6是示出幀內(nèi)預(yù)測(cè)單元和相鄰像素內(nèi)插單元的配置示例的框圖。圖7是用于描述圖2中的圖像編碼設(shè)備的編碼處理的流程圖。圖8是用于描述圖7的步驟S21中的預(yù)測(cè)處理的流程圖。圖9是用于描述16X 16像素的幀內(nèi)預(yù)測(cè)模式的情況下的處理順序的圖。圖10是示出亮度信號(hào)的4X4像素的幀內(nèi)預(yù)測(cè)模式的種類的圖。圖11是示出亮度信號(hào)的4X4像素的幀內(nèi)預(yù)測(cè)模式的種類的圖。圖12是用于描述4X4像素的幀內(nèi)預(yù)測(cè)的方向的圖。圖13是用于描述4X4像素的幀內(nèi)預(yù)測(cè)的圖。圖14是用于描述亮度信號(hào)的4X4像素的幀內(nèi)預(yù)測(cè)模式的編碼的圖。圖15是示出亮度信號(hào)的16X16像素的幀內(nèi)預(yù)測(cè)模式的種類的圖。圖16是示出亮度信號(hào)的16X16像素的幀內(nèi)預(yù)測(cè)模式的種類的圖。圖17是用于描述16X16像素的幀內(nèi)預(yù)測(cè)的圖。圖18是用于描述實(shí)現(xiàn)具有小數(shù)像素精度的幀內(nèi)預(yù)測(cè)的操作的圖。圖19是用于描述具有小數(shù)像素精度的幀內(nèi)預(yù)測(cè)的有益效果示例的圖。圖20是用于描述圖8的步驟S31中的幀內(nèi)預(yù)測(cè)處理的流程圖。圖21是用于描述圖20的步驟S45中的相鄰像素內(nèi)插處理的流程圖。圖22是用于描述圖8的步驟S32中的幀間運(yùn)動(dòng)預(yù)測(cè)處理的流程圖。圖23是示出幀內(nèi)預(yù)測(cè)單元和相鄰像素內(nèi)插單元的另一配置示例的框圖。圖M是用于描述圖8的步驟S31中的幀內(nèi)預(yù)測(cè)處理的另一示例的流程圖。圖25是用于描述圖M的步驟SlOl中的相鄰像素內(nèi)插處理的流程圖。
圖沈是示出應(yīng)用了本發(fā)明的圖像解碼設(shè)備的實(shí)施例的配置的框圖。圖27是示出幀內(nèi)預(yù)測(cè)單元和相鄰像素內(nèi)插單元的另一配置示例的框圖。圖觀是用于描述圖沈中的圖像解碼設(shè)備的解碼處理的流程圖。圖四是用于描述圖28的步驟S138中的預(yù)測(cè)處理的流程圖。圖30是示出計(jì)算機(jī)的硬件的配置示例的框圖。
具體實(shí)施例方式根據(jù)本發(fā)明的第一方面的一種圖像處理設(shè)備包括模式確定裝置，被配置成關(guān)于針對(duì)圖像數(shù)據(jù)要經(jīng)受幀內(nèi)預(yù)測(cè)的幀內(nèi)預(yù)測(cè)塊的幀內(nèi)預(yù)測(cè)，確定預(yù)測(cè)模式；相移裝置，被配置成根據(jù)取決于模式確定裝置確定的預(yù)測(cè)模式的移動(dòng)方向和用作候選的移動(dòng)量，移動(dòng)以預(yù)定的位置關(guān)系與幀內(nèi)預(yù)測(cè)塊相鄰的相鄰像素的相位；移動(dòng)量確定裝置，被配置成使用相鄰像素以及相位被相移裝置移動(dòng)的相鄰像素，針對(duì)相鄰像素確定相位的最佳移動(dòng)量；以及預(yù)測(cè)圖像生成裝置，被配置成使用相位根據(jù)移動(dòng)量確定裝置確定的最佳移動(dòng)量而被移動(dòng)的相鄰像素，生成幀內(nèi)預(yù)測(cè)塊的預(yù)測(cè)圖像。根據(jù)本發(fā)明的第一方面的圖像處理方法包括以下步驟使得圖像處理設(shè)備執(zhí)行如下處理關(guān)于針對(duì)圖像數(shù)據(jù)要被處理用于幀內(nèi)預(yù)測(cè)的幀內(nèi)預(yù)測(cè)塊，確定幀內(nèi)預(yù)測(cè)的預(yù)測(cè)模式；根據(jù)取決于所確定的預(yù)測(cè)模式的移動(dòng)方向和用作候選的移動(dòng)量，移動(dòng)以預(yù)定位置關(guān)系與幀內(nèi)預(yù)測(cè)塊相鄰的相鄰像素的相位；使用相鄰像素和相位被移動(dòng)的相鄰像素，針對(duì)相鄰像素確定相位的最佳移動(dòng)量；以及使用相位根據(jù)所確定的最佳移動(dòng)量而被移動(dòng)的相鄰像素，生成幀內(nèi)預(yù)測(cè)塊的預(yù)測(cè)圖像。根據(jù)本發(fā)明的第二方面的一種圖像處理設(shè)備包括接收裝置，被配置成接收預(yù)測(cè)模式信息和移動(dòng)量信息，其中，該預(yù)測(cè)模式信息關(guān)于要被處理用于幀內(nèi)預(yù)測(cè)的幀內(nèi)預(yù)測(cè)塊來(lái)表示幀內(nèi)預(yù)測(cè)的預(yù)測(cè)模式，該移動(dòng)量信息表示用于根據(jù)預(yù)測(cè)模式信息表示的預(yù)測(cè)模式而移動(dòng)以預(yù)定的位置關(guān)系與幀內(nèi)預(yù)測(cè)塊相鄰的相鄰像素的相位的移動(dòng)量；相移裝置，被配置成根據(jù)取決于接收裝置接收到的預(yù)測(cè)模式的移動(dòng)方向和移動(dòng)量移動(dòng)相鄰像素的相位；以及預(yù)測(cè)圖像生成裝置，被配置成使用相位被相移裝置移動(dòng)的相鄰像素，生成幀內(nèi)預(yù)測(cè)塊的預(yù)測(cè)圖像。根據(jù)本發(fā)明的第二方面的圖像處理方法包括以下步驟使得圖像處理設(shè)備接收預(yù)測(cè)模式信息和移動(dòng)量信息，其中，該預(yù)測(cè)模式信息關(guān)于要被處理用于幀內(nèi)預(yù)測(cè)的幀內(nèi)預(yù)測(cè)塊來(lái)表示幀內(nèi)預(yù)測(cè)的預(yù)測(cè)模式，該移動(dòng)量信息表示用于根據(jù)預(yù)測(cè)模式信息表示的預(yù)測(cè)模式而移動(dòng)以預(yù)定的位置關(guān)系與幀內(nèi)預(yù)測(cè)塊相鄰的相鄰像素的相位的移動(dòng)量；根據(jù)取決于所接收到的預(yù)測(cè)模式的移動(dòng)方向和移動(dòng)量移動(dòng)相鄰像素的相位；以及使用相位被移動(dòng)的相鄰像素，生成幀內(nèi)預(yù)測(cè)塊的預(yù)測(cè)圖像。在下文中，將參照附圖描述本發(fā)明的實(shí)施例。[圖像編碼設(shè)備的配置示例]圖2表示用作應(yīng)用了本發(fā)明的圖像處理設(shè)備的圖像編碼設(shè)備的實(shí)施例的配置。該圖像編碼設(shè)備51使用例如H/. 264和MPEG-4第10部分(高級(jí)視頻編碼)(下文中被描述為^4/AVC)系統(tǒng)來(lái)使圖像經(jīng)受壓縮編碼。對(duì)于圖2中的示例，圖像編碼設(shè)備51由以下部分構(gòu)成A/D轉(zhuǎn)換單元61、畫(huà)面排序緩沖器62、計(jì)算單元63、正交變換單元64、量化單元65、無(wú)損編碼單元66、累積緩沖器67、 逆量化單元68、逆正交變換單元69、計(jì)算單元70、去塊(deblocking)濾波器71、幀存儲(chǔ)器 72、開(kāi)關(guān)73、幀內(nèi)預(yù)測(cè)單元74、相鄰像素內(nèi)插單元75、運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元76、預(yù)測(cè)圖像選擇單元77以及速率控制單元78。A/D轉(zhuǎn)換單元61將輸入圖像從模擬轉(zhuǎn)換為數(shù)字，并且輸出到畫(huà)面排序緩沖器62以進(jìn)行存儲(chǔ)。畫(huà)面排序緩沖器62根據(jù)G0P(圖片組)，將按所存儲(chǔ)的用于顯示的順序的幀的圖像排序?yàn)橛糜诰幋a的幀的順序。計(jì)算單元63從自畫(huà)面排序緩沖器62讀出的圖像中減去來(lái)自幀內(nèi)預(yù)測(cè)單元74的、 由預(yù)測(cè)圖像選擇單元77選擇的預(yù)測(cè)圖像或者來(lái)自運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元76的預(yù)測(cè)圖像，并且將其差分信息輸出到正交變換單元64。正交變換單元64使來(lái)自計(jì)算單元63的差分信息經(jīng)受正交變化(諸如，離散余弦變換、卡亨南-洛維(Karhimen-Lc^ve)變換等)，并且輸出其變換系數(shù)。量化單元65對(duì)正交變換單元64輸出的變換系數(shù)進(jìn)行量化。作為量化單元65的輸出的、量化后的變換系數(shù)被輸入到無(wú)損編碼單元66，并且經(jīng)受諸如可變長(zhǎng)編碼、算術(shù)編碼等的無(wú)損編碼并被壓縮。無(wú)損編碼單元66從幀內(nèi)預(yù)測(cè)單元74獲得表示幀內(nèi)預(yù)測(cè)的信息等，并且從運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元76獲得表示幀間預(yù)測(cè)模式的信息等。注意，在下文中，也將表示幀內(nèi)預(yù)測(cè)的信息稱為幀內(nèi)預(yù)測(cè)模式信息。另外，也將表示指示幀間預(yù)測(cè)的信息模式的信息稱為幀間預(yù)測(cè)模式信息。無(wú)損編碼單元66對(duì)量化后的變換系數(shù)進(jìn)行編碼，并且還對(duì)表示幀內(nèi)預(yù)測(cè)的信息、表示幀間預(yù)測(cè)模式的信息等進(jìn)行編碼，并且將這些作為壓縮圖像中的頭信息(header information)的一部分。無(wú)損編碼單元66將經(jīng)編碼的數(shù)據(jù)提供給累積緩沖器67以進(jìn)行累積。例如，對(duì)于無(wú)損編碼單元66，執(zhí)行無(wú)損編碼處理，諸如可變長(zhǎng)編碼、算術(shù)編碼等?？勺冮L(zhǎng)編碼的示例包括H. 264/AVC系統(tǒng)確定的CAVLC (上下文自適應(yīng)的可變長(zhǎng)編碼)。算術(shù)編碼的示例包括CABAC (上下文自適應(yīng)的二進(jìn)制算術(shù)編碼)。累積緩沖器67將從無(wú)損編碼單元66提供的數(shù)據(jù)作為經(jīng)H. 264/AVC系統(tǒng)編碼的壓縮圖像輸出到例如未在圖中示出的下游存儲(chǔ)設(shè)備或傳輸路徑等。另外，從量化單元65輸出的、量化后的變換系數(shù)還被輸入到逆量化單元68，經(jīng)受逆量化，并且接著在逆正交變換單元69處進(jìn)一步經(jīng)受逆正交變換。計(jì)算單元70將經(jīng)受了逆正交變換的輸出與從預(yù)測(cè)圖像選擇單元77提供的預(yù)測(cè)圖像相加，并且將其改變成局部解碼后的圖像。去塊濾波器71從解碼后的圖像中去除塊失真，并且接著將其提供給幀存儲(chǔ)器72以進(jìn)行累積。在去塊濾波器71執(zhí)行去塊濾波處理之前的圖像還被提供給幀存儲(chǔ)器72 以進(jìn)行累積。開(kāi)關(guān)73將幀存儲(chǔ)器72中所累積的參考圖像輸出到運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元76或幀內(nèi)預(yù)測(cè)單元74。對(duì)于該圖像編碼設(shè)備51，例如，來(lái)自畫(huà)面排序緩沖器62的I圖片、B圖片以及P圖片作為要經(jīng)受幀內(nèi)預(yù)測(cè)(也稱為幀內(nèi)處理)的圖像被提供給幀內(nèi)預(yù)測(cè)單元74。另外，從畫(huà)面排序緩沖器62讀出的B圖片和P圖片作為要經(jīng)受幀間預(yù)測(cè)(也稱為幀間處理)的圖像被提供給運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元76。
幀內(nèi)預(yù)測(cè)單元74基于從畫(huà)面排序緩沖器62讀出的、要經(jīng)受幀內(nèi)預(yù)測(cè)的圖像以及從幀存儲(chǔ)器72提供的參考圖像，執(zhí)行對(duì)用作候選的所有幀內(nèi)預(yù)測(cè)模式的幀內(nèi)預(yù)測(cè)處理，以生成預(yù)測(cè)圖像。幀內(nèi)預(yù)測(cè)單元74針對(duì)生成了預(yù)測(cè)圖像的幀內(nèi)預(yù)測(cè)模式計(jì)算成本函數(shù)值，并且選擇所算出的成本函數(shù)值提供最小值的幀內(nèi)預(yù)測(cè)模式作為最佳幀內(nèi)預(yù)測(cè)模式。幀內(nèi)預(yù)測(cè)單元 74將與用于幀內(nèi)預(yù)測(cè)的當(dāng)前塊相鄰的相鄰像素和最佳幀內(nèi)預(yù)測(cè)模式信息提供給相鄰像素內(nèi)插單元75。相鄰像素內(nèi)插單元75將相鄰像素的相位在取決于來(lái)自幀內(nèi)預(yù)測(cè)單元74的最佳幀內(nèi)預(yù)測(cè)模式的移動(dòng)方向上移動(dòng)用作候選的移動(dòng)量。實(shí)際上，相鄰像素內(nèi)插單元75關(guān)于取決于最佳幀內(nèi)預(yù)測(cè)模式的移動(dòng)方向?qū)?抽頭FIR濾波器應(yīng)用于相鄰像素，以執(zhí)行線性內(nèi)插， 從而以小數(shù)像素精度移動(dòng)相鄰像素的相位。因此，在下文中，為了便于描述，將相位已通過(guò) 6抽頭FIR濾波器和線性內(nèi)插移動(dòng)的相鄰像素適當(dāng)?shù)胤Q為內(nèi)插的相鄰像素或相位已被移動(dòng)的相鄰像素，但是這些具有相同的含義。相鄰像素內(nèi)插單元75將相位已被移動(dòng)的相鄰像素提供給幀內(nèi)預(yù)測(cè)單元74。幀內(nèi)預(yù)測(cè)單元74使用來(lái)自相鄰圖像緩沖器81的相鄰像素的像素值以及相位已被相鄰像素內(nèi)插單元75移動(dòng)的相鄰像素的像素值，針對(duì)相鄰像素確定相位的最佳移動(dòng)量。另外，幀內(nèi)預(yù)測(cè)單元74使用相位已被移動(dòng)了所確定的最佳移動(dòng)量的相鄰像素的像素值，生成當(dāng)前塊的預(yù)測(cè)圖像，并且將所生成的預(yù)測(cè)圖像和關(guān)于相應(yīng)的最佳幀內(nèi)預(yù)測(cè)模式所算出的成本函數(shù)值提供給預(yù)測(cè)圖像選擇單元77。在預(yù)測(cè)圖像選擇單元77選擇了在最佳幀內(nèi)預(yù)測(cè)模式下生成的預(yù)測(cè)圖像的情況下，幀內(nèi)預(yù)測(cè)單元74將表示最佳幀內(nèi)預(yù)測(cè)模式的信息和最佳移動(dòng)量的信息提供給無(wú)損編碼單元66。在從幀內(nèi)預(yù)測(cè)單元74傳輸了信息的情況下，無(wú)損編碼單元66對(duì)該信息進(jìn)行編碼，并且將此作為壓縮圖像中的頭信息的一部分。運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元76關(guān)于用作候選的所有幀間預(yù)測(cè)模式執(zhí)行運(yùn)動(dòng)預(yù)測(cè)和補(bǔ)償處理。具體地，對(duì)于運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元76，提供從畫(huà)面排序緩沖器62讀出的、要經(jīng)受幀間處理的圖像，并且經(jīng)由開(kāi)關(guān)73從幀存儲(chǔ)器72提供參考圖像。運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元76基于要經(jīng)受幀間處理的圖像和參考圖像，檢測(cè)用作候選的所有幀間預(yù)測(cè)模式的運(yùn)動(dòng)矢量，基于運(yùn)動(dòng)矢量使參考圖像經(jīng)受補(bǔ)償處理，并且生成預(yù)測(cè)圖像。另外，運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元76針對(duì)用作候選的所有幀間預(yù)測(cè)模式計(jì)算成本函數(shù)值。運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元76在所算出的成本函數(shù)值中，將提供最小值的預(yù)測(cè)模式確定為最佳幀間預(yù)測(cè)模式。運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元76將在最佳幀間預(yù)測(cè)模式下所生成的預(yù)測(cè)圖像及其成本函數(shù)值提供給預(yù)測(cè)圖像選擇單元77。在預(yù)測(cè)圖像選擇單元77選擇了在最佳幀間預(yù)測(cè)模式下所生成的預(yù)測(cè)圖像的情況下，運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元76將表示最佳幀間預(yù)測(cè)模式的信息(幀間預(yù)測(cè)模式信息)提供給無(wú)損編碼單元66。注意，根據(jù)需要，運(yùn)動(dòng)矢量信息、標(biāo)志信息、參考幀信息等被輸出到無(wú)損編碼單元 66。無(wú)損編碼單元66還使來(lái)自運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元76的信息經(jīng)受無(wú)損編碼處理(諸如， 可變長(zhǎng)編碼或算術(shù)編碼)，并且插入到壓縮圖像的頭部中。預(yù)測(cè)圖像選擇單元77基于從幀內(nèi)預(yù)測(cè)單元74或運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元76輸出的成本函數(shù)值，從最佳幀內(nèi)預(yù)測(cè)模式和最佳幀間預(yù)測(cè)模式中確定最佳預(yù)測(cè)模式。然后，預(yù)測(cè)圖像選擇單元77選擇所確定的最佳預(yù)測(cè)模式下的預(yù)測(cè)圖像，并且提供給計(jì)算單元63和70。此時(shí)，預(yù)測(cè)圖像選擇單元77將預(yù)測(cè)圖像的選擇信息提供給幀內(nèi)預(yù)測(cè)單元74或運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元76。速率控制單元78基于在累積緩沖器67中所累積的壓縮圖像，控制量化單元65的量化操作的速率，以便不引起上溢或下溢。[H. 264/AVC 系統(tǒng)的描述]圖3是示出根據(jù)H. ^4/AVC系統(tǒng)的運(yùn)動(dòng)預(yù)測(cè)和補(bǔ)償?shù)膲K大小的示例的圖。對(duì)于 H. 264/AVC系統(tǒng)，通過(guò)使塊大小可變來(lái)執(zhí)行運(yùn)動(dòng)預(yù)測(cè)和補(bǔ)償。在圖中3的上排，從左開(kāi)始按順序示出了由被劃分成16X16像素、16X8像素、 8X16像素以及8X8像素的分區(qū)(partition)的16X 16個(gè)像素構(gòu)成的宏塊。另外，在圖3 中的下排，從左開(kāi)始按順序示出了被劃分成8X8像素、8X4像素、4X8像素以及4X4像素的子分區(qū)的8X8像素分區(qū)。具體地，對(duì)于H. ^4/AVC系統(tǒng)，一個(gè)宏塊可被劃分成16X 16像素、16X8像素、 8X16像素以及8X8像素的分區(qū)之一，其中每個(gè)分區(qū)具有獨(dú)立的運(yùn)動(dòng)矢量信息。另外，8X8 像素分區(qū)可被劃分成8X8像素、8X4像素、4X8像素以及4X4像素的子分區(qū)之一，其中每個(gè)子分區(qū)具有獨(dú)立的運(yùn)動(dòng)矢量信息。圖4是用于描述根據(jù)H. 264/AVC系統(tǒng)的具有1/4像素精度的預(yù)測(cè)和補(bǔ)償處理的圖。對(duì)于H. ^4/AVC系統(tǒng)，使用6抽頭FIR(有限脈沖響應(yīng)濾波器)濾波器執(zhí)行具有1/4像素精度的預(yù)測(cè)和補(bǔ)償處理。對(duì)于圖4中的示例，位置A表示整數(shù)精度像素的位置，位置b、c和d表示具有1/2 像素精度的位置，以及位置el、e2和e3表示具有1/4像素精度的位置。首先，在下文中，如以下表達(dá)式(1) 一樣定義ClipO。[數(shù)學(xué)表達(dá)式1]
r 0;if(a<0) Clipl(a) = -< a; otherwise…⑴
、max_ pix ； if(a>max_pix)注意，在輸入圖像具有8位精度的情況下，max_pix的值變?yōu)?55。
使用6抽頭FIR濾波器如以下表達(dá)式(2)一樣生成位置b和d中的像素{
[數(shù)學(xué)表達(dá)式2]
F = Α_2-5 · Α_!+20 · A0+20 · A「5 · A2+A3
b, d = Clipl ((F+16) >> 5)...(2)
通過(guò)在水平方向和垂直方向上應(yīng)用6抽頭HR濾波器，如以下表達(dá)式(3)成位置(中的像素值。
[數(shù)學(xué)表達(dá)式3]
F = b_2_5 · b_!+20 · b0+20 · b「5 · b2+b3
或者F = d_2_5 · c^+20 · d0+20 · d「5 · d2+d3c = Clipl ((F+512) >> 10). . . (3)注意，在執(zhí)行了水平方向和垂直方向上的乘積和處理之后，最后僅執(zhí)行Clip處理一次。如以下表達(dá)式(4)所示，通過(guò)線性內(nèi)插生成位置el至e3。[數(shù)學(xué)表達(dá)式4]θι = (A+b+1) >> 1e2 = (b+d+1) >> 1e3 = (b+c+1) >> 1 ... (4)對(duì)于H. 264/AVC系統(tǒng)，通過(guò)執(zhí)行以上參照?qǐng)D3至圖4描述的運(yùn)動(dòng)預(yù)測(cè)和補(bǔ)償處理， 生成大量的運(yùn)動(dòng)矢量信息，并且如果這些運(yùn)動(dòng)矢量信息在沒(méi)有改變的情況下被編碼，則導(dǎo)致編碼效率的劣化。響應(yīng)于此，對(duì)于H. 264/AVC系統(tǒng)，根據(jù)圖5中示出的方法，實(shí)現(xiàn)了運(yùn)動(dòng)矢量編碼信息的減少。圖5是用于描述根據(jù)H. 264/AVC系統(tǒng)的運(yùn)動(dòng)矢量信息生成方法的圖。對(duì)于圖5中的示例，示出了從現(xiàn)在開(kāi)始要編碼的當(dāng)前塊E (例如，16X16像素)以及已被編碼的、與當(dāng)前塊E相鄰的塊A至塊D。具體地，塊D與當(dāng)前塊E的左上部相鄰，塊B與當(dāng)前塊E的上部相鄰，塊C與當(dāng)前塊E的右上部相鄰，并且塊A與當(dāng)前塊E的左部相鄰。注意，沒(méi)有分割塊A至塊D的原因在于，每個(gè)塊表示具有以上參照?qǐng)D2描述的16X16像素至4X4像素中的一種結(jié)構(gòu)的塊。例如，假設(shè)關(guān)于X( = Α, B, C，D，Ε)的運(yùn)動(dòng)矢量信息以mvx表示。首先，通過(guò)使用關(guān)于塊A、B和C的運(yùn)動(dòng)矢量信息的中值預(yù)測(cè)，如以下表達(dá)式(5) —樣生成關(guān)于當(dāng)前塊E的預(yù)測(cè)運(yùn)動(dòng)矢量信息pmvE。pmvE = med (mvA, mvB, mvc)…(5)關(guān)于塊C的運(yùn)動(dòng)矢量信息可能由于諸如圖像幀的邊緣、編碼之前等原因而無(wú)法使用(可能不可用)。在該情況下，使用關(guān)于塊D的運(yùn)動(dòng)矢量信息來(lái)取代關(guān)于塊C的運(yùn)動(dòng)矢量 fn息ο使用pmvE，如以下表達(dá)式(6) —樣生成要與壓縮圖像的頭部相加的數(shù)據(jù)mvdE，作為關(guān)于當(dāng)前塊E的運(yùn)動(dòng)矢量信息。mvdE = mvE-pmvE…(6)注意，實(shí)際上，針對(duì)運(yùn)動(dòng)矢量信息的水平方向和垂直方向上的分量獨(dú)立地執(zhí)行處理。以此方式，生成預(yù)測(cè)運(yùn)動(dòng)矢量信息，并且作為基于與相鄰塊的相關(guān)性而生成的預(yù)測(cè)運(yùn)動(dòng)矢量信息與運(yùn)動(dòng)矢量信息之間的差的數(shù)據(jù)mvdE與壓縮圖像的頭部相加作為運(yùn)動(dòng)矢量信息，從而可以減少運(yùn)動(dòng)矢量信息。這里，在運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元處執(zhí)行以上參照?qǐng)D4描述的、在H. ^4/AVC系統(tǒng)中具有1/4像素精度的預(yù)測(cè)和補(bǔ)償處理，而對(duì)于圖2中的圖像編碼設(shè)備51，在幀內(nèi)預(yù)測(cè)中也執(zhí)行具有1/4像素精度的預(yù)測(cè)。通過(guò)接下來(lái)將描述的幀內(nèi)預(yù)測(cè)單元74和相鄰像素內(nèi)插單元75 執(zhí)行具有小數(shù)像素精度的這種幀內(nèi)預(yù)測(cè)。
[幀內(nèi)預(yù)測(cè)單元和相鄰像素內(nèi)插單元的配置示例]圖6是示出幀內(nèi)預(yù)測(cè)單元和相鄰像素內(nèi)插單元的詳細(xì)配置示例的框圖。在圖6中的示例的情況下，幀內(nèi)預(yù)測(cè)單元74由相鄰圖像緩沖器81、最佳模式確定單元82、最佳移動(dòng)量確定單元83以及預(yù)測(cè)圖像生成單元84構(gòu)成。相鄰像素內(nèi)插單元75由模式確定單元91、水平方向內(nèi)插單元92以及垂直方向內(nèi)插單元93構(gòu)成。相鄰圖像緩沖器81累積來(lái)自幀存儲(chǔ)器72的、要經(jīng)受幀內(nèi)預(yù)測(cè)的塊的相鄰像素。在圖6的情況下，省略了開(kāi)關(guān)73的圖，并且相鄰像素被從幀存儲(chǔ)器72經(jīng)由開(kāi)關(guān)73提供給相鄰圖像緩沖器81。從畫(huà)面排序緩沖器62讀出的、要經(jīng)受幀內(nèi)預(yù)測(cè)的圖像被輸入到最佳模式確定單元82。最佳模式確定單元82從相鄰圖像緩沖器81讀出與要經(jīng)受幀內(nèi)預(yù)測(cè)的塊對(duì)應(yīng)的相鄰像素。最佳模式確定單元82使用與要經(jīng)受幀內(nèi)預(yù)測(cè)的塊的圖像對(duì)應(yīng)的相鄰像素，執(zhí)行用作候選的所有幀內(nèi)預(yù)測(cè)模式的幀內(nèi)預(yù)測(cè)處理，以生成預(yù)測(cè)圖像。最佳模式確定單元82針對(duì)已生成預(yù)測(cè)圖像的幀內(nèi)預(yù)測(cè)模式計(jì)算成本函數(shù)值，并且將所算出的成本函數(shù)值提供最小值的幀內(nèi)預(yù)測(cè)模式確定為最佳幀內(nèi)預(yù)測(cè)模式。所確定的預(yù)測(cè)模式的信息被提供給模式確定單元91、最佳移動(dòng)量確定單元83以及預(yù)測(cè)圖像生成單元84。另外，與所提供的預(yù)測(cè)模式對(duì)應(yīng)的成本函數(shù)值也被提供給預(yù)測(cè)圖像生成單元84。從畫(huà)面排序緩沖器62讀出的要經(jīng)受幀內(nèi)預(yù)測(cè)的圖像以及被最佳模式確定單元82 確定為最佳的預(yù)測(cè)模式的信息被輸入到最佳移動(dòng)量確定單元83。另外，如下相鄰像素被輸入到最佳移動(dòng)量確定單元83 其已經(jīng)受了由水平方向內(nèi)插單元92和垂直方向內(nèi)插單元93 執(zhí)行的線性內(nèi)插，并且其相位已根據(jù)最佳幀內(nèi)預(yù)測(cè)模式移動(dòng)。最佳移動(dòng)量確定單元83從相鄰圖像緩沖器81讀出與要經(jīng)受幀內(nèi)預(yù)測(cè)的塊對(duì)應(yīng)的相鄰像素。最佳移動(dòng)量確定單元83關(guān)于最佳模式確定單元82確定的預(yù)測(cè)模式，使用要經(jīng)受幀內(nèi)預(yù)測(cè)的塊的圖像、相應(yīng)的相鄰像素以及相應(yīng)的內(nèi)插相鄰像素的像素值來(lái)確定最佳移動(dòng)量。最佳移動(dòng)量確定單元83計(jì)算例如預(yù)測(cè)誤差(剩余誤差)等，并且將具有所算出的最小預(yù)測(cè)誤差的移動(dòng)量確定為最佳移動(dòng)量。最佳移動(dòng)量確定單元83確定的最佳移動(dòng)量的信息被提供給預(yù)測(cè)圖像生成單元84。與最佳模式確定單元82確定的預(yù)測(cè)模式信息對(duì)應(yīng)的成本函數(shù)值以及最佳移動(dòng)量確定單元83確定的最佳移動(dòng)量信息被輸入到預(yù)測(cè)圖像生成單元84。預(yù)測(cè)圖像生成單元84 從相鄰圖像緩沖器81讀出與要經(jīng)受幀內(nèi)預(yù)測(cè)的塊對(duì)應(yīng)的相鄰像素，并且在取決于預(yù)測(cè)模式的相位方向上以最佳移動(dòng)量移動(dòng)所讀取的相鄰像素的相位。預(yù)測(cè)圖像生成單元84使用相位已被移動(dòng)的相鄰像素，在最佳模式確定單元82確定的最佳幀內(nèi)預(yù)測(cè)模式下執(zhí)行幀內(nèi)預(yù)測(cè)，以生成要處理的塊的預(yù)測(cè)圖像。預(yù)測(cè)圖像生成單元84將所生成的預(yù)測(cè)圖像和相應(yīng)的成本函數(shù)值輸出到預(yù)測(cè)圖像選擇單元77。另外，在預(yù)測(cè)圖像選擇單元77選擇了在最佳幀內(nèi)預(yù)測(cè)模式下所生成的預(yù)測(cè)圖像的情況下，預(yù)測(cè)圖像生成單元84將表示最佳幀內(nèi)預(yù)測(cè)模式的信息以及移動(dòng)量的信息提供給無(wú)損編碼單元66。模式確定單元91將取決于最佳模式確定單元82確定的預(yù)測(cè)模式的控制信號(hào)輸出到水平方向內(nèi)插單元92和垂直方向內(nèi)插單元93。例如，根據(jù)預(yù)測(cè)模式輸出表示內(nèi)插處理的 ON(開(kāi))的控制信號(hào)。水平方向內(nèi)插單元92和垂直方向內(nèi)插單元93根據(jù)來(lái)自模式確定單元91的控制信號(hào)，各自從相鄰圖像緩沖器81讀出相鄰像素。水平方向內(nèi)插單元92和垂直方向內(nèi)插單元93通過(guò)6抽頭HR濾波器和線性內(nèi)插各自在水平方向和垂直方向上移動(dòng)所讀取的相鄰像素的相位。經(jīng)水平方向內(nèi)插單元92和垂直方向內(nèi)插單元93內(nèi)插的相鄰像素的信息被提供給最佳移動(dòng)量確定單元83。[圖像編碼設(shè)備的編碼處理的描述]接下來(lái)，將參照?qǐng)D7中的流程圖描述圖2中的圖像編碼設(shè)備51的編碼處理。在步驟Sll中，A/D轉(zhuǎn)換單元61將輸入圖像從模擬轉(zhuǎn)換為數(shù)字。在步驟S12中， 畫(huà)面排序緩沖器62存儲(chǔ)從A/D轉(zhuǎn)換單元61提供的圖像，并且執(zhí)行從用于顯示圖片的序列到用于編碼的序列的排序。在步驟S13中，計(jì)算單元63計(jì)算在步驟S12中所排序的圖像與預(yù)測(cè)圖像之間的差。預(yù)測(cè)圖像在執(zhí)行幀間預(yù)測(cè)的情況下，經(jīng)由預(yù)測(cè)圖像選擇單元77從運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元 76被提供給計(jì)算單元63，而在執(zhí)行幀內(nèi)預(yù)測(cè)的情況下，經(jīng)由預(yù)測(cè)圖像選擇單元77從幀內(nèi)預(yù)測(cè)單元74被提供給計(jì)算單元63。與原始圖像數(shù)據(jù)相比，差分?jǐn)?shù)據(jù)在數(shù)據(jù)量方面較小。因此，與對(duì)原始圖像進(jìn)行編碼而沒(méi)有對(duì)其進(jìn)行改變的情況相比，可以壓縮數(shù)據(jù)量。在步驟S14中，正交變換單元64使從計(jì)算單元63提供的差分信息經(jīng)受正交變化。 具體地，執(zhí)行諸如離散余弦變化、卡亨南-洛維變換等的正交變換，并且輸出變換系數(shù)。在步驟S15中，量化單元65對(duì)變換系數(shù)進(jìn)行量化。在該量化時(shí)，控制速率，以使得將描述稍后描述的步驟S25中的處理。如下對(duì)如此量化的差分信息進(jìn)行局部解碼。具體地，在步驟S16中，逆量化單元68 使用與量化單元65的特性對(duì)應(yīng)的特性，使經(jīng)量化單元65量化的變換系數(shù)經(jīng)受逆量化。在步驟S17中，逆正交變換單元69使用與正交變換單元64的特性對(duì)應(yīng)的特性，使經(jīng)受了由逆量化單元68執(zhí)行的逆量化的變換系數(shù)經(jīng)受逆正交變換。在步驟S18中，計(jì)算單元70將經(jīng)由預(yù)測(cè)圖像選擇單元77輸入的預(yù)測(cè)圖像與局部解碼后的差分信息相加，并且生成局部解碼后的圖像(與到計(jì)算單元63的輸入對(duì)應(yīng)的圖像)。在步驟S19中，去塊濾波器71使從計(jì)算單元70輸出的圖像經(jīng)受濾波。因此，去除了塊失真。在步驟S20中，幀存儲(chǔ)器72存儲(chǔ)經(jīng)受了濾波的圖像。注意，未經(jīng)受由去塊濾波器 71執(zhí)行的濾波處理的圖像還從計(jì)算單元70被提供給幀存儲(chǔ)器72以進(jìn)行存儲(chǔ)。在步驟S21中，幀內(nèi)預(yù)測(cè)單元74和運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元76均執(zhí)行圖像預(yù)測(cè)處理。 具體地，在步驟S21中，幀內(nèi)預(yù)測(cè)單元74執(zhí)行幀內(nèi)預(yù)測(cè)模式下的幀內(nèi)預(yù)測(cè)處理。運(yùn)動(dòng)預(yù)測(cè) /補(bǔ)償單元76執(zhí)行幀間預(yù)測(cè)模式下的運(yùn)動(dòng)預(yù)測(cè)和補(bǔ)償處理。稍后將參照?qǐng)D8描述步驟S21中的預(yù)測(cè)處理的細(xì)節(jié)，但是根據(jù)該處理，執(zhí)行用作候選的所有幀內(nèi)預(yù)測(cè)模式下的預(yù)測(cè)處理，并且計(jì)算用作候選的所有預(yù)測(cè)模式的成本函數(shù)值。 基于所算出的成本函數(shù)值選擇最佳幀內(nèi)預(yù)測(cè)模式，并且將通過(guò)最佳幀內(nèi)預(yù)測(cè)模式下的幀內(nèi)預(yù)測(cè)生成的預(yù)測(cè)圖像及其成本函數(shù)值提供給預(yù)測(cè)圖像選擇單元77。具體地，此時(shí)，幀內(nèi)預(yù)測(cè)單元74將通過(guò)使用如下相鄰像素的幀內(nèi)預(yù)測(cè)而生成的預(yù)測(cè)圖像提供給預(yù)測(cè)圖像選擇單元77 通過(guò)6抽頭FIR濾波器和線性內(nèi)插，在取決于最佳幀內(nèi)預(yù)測(cè)模式的移動(dòng)方向上以最佳移動(dòng)量移動(dòng)了該相鄰像素的相位。注意，關(guān)于最佳幀內(nèi)預(yù)測(cè)模式的成本函數(shù)值連同預(yù)測(cè)圖像一起也被提供給預(yù)測(cè)圖像選擇單元77。另一方面，基于所算出的成本函數(shù)值，在幀間預(yù)測(cè)模式之中確定最佳幀間預(yù)測(cè)模式，并且將在最佳幀間預(yù)測(cè)模式下所生成的預(yù)測(cè)圖像及其成本函數(shù)值提供給預(yù)測(cè)圖像選擇單元77。在步驟S22中，預(yù)測(cè)圖像選擇單元77基于從幀內(nèi)預(yù)測(cè)單元74和運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元76輸出的成本函數(shù)值，將最佳幀內(nèi)預(yù)測(cè)模式和最佳幀間預(yù)測(cè)模式之一確定為最佳預(yù)測(cè)模式。然后，預(yù)測(cè)圖像選擇單元77選擇所確定的最佳預(yù)測(cè)模式下的預(yù)測(cè)圖像，并且將其提供給計(jì)算單元63和70。如上所述，該預(yù)測(cè)圖像用于步驟S13和S18中的計(jì)算。注意，該預(yù)測(cè)圖像的選擇信息被提供給幀內(nèi)預(yù)測(cè)單元74或運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元 76。在選擇了最佳幀內(nèi)預(yù)測(cè)模式下的預(yù)測(cè)圖像的情況下，幀內(nèi)預(yù)測(cè)單元74將表示最佳幀內(nèi)預(yù)測(cè)模式的信息(即，幀內(nèi)預(yù)測(cè)模式信息)和被確定為最佳的移動(dòng)量的信息提供給無(wú)損編碼單元66。在選擇了最佳幀間預(yù)測(cè)模式下的預(yù)測(cè)圖像的情況下，運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元76將表示最佳幀間預(yù)測(cè)模式的信息輸出到無(wú)損編碼單元66，并且根據(jù)需要，將取決于最佳幀間預(yù)測(cè)模式的信息輸出到無(wú)損編碼單元66。取決于最佳幀間預(yù)測(cè)模式的信息的示例包括運(yùn)動(dòng)矢量信息、標(biāo)志信息以及參考幀信息。具體地，在選擇了取決于幀間預(yù)測(cè)模式的預(yù)測(cè)圖像作為最佳幀間預(yù)測(cè)模式的情況下，運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元76將幀間預(yù)測(cè)模式信息、運(yùn)動(dòng)矢量信息以及參考幀信息輸出到無(wú)損編碼單元66。在步驟S23中，無(wú)損編碼單元66對(duì)從量化單元65輸出的量化后的變換系數(shù)進(jìn)行編碼。具體地，使差分圖像經(jīng)受諸如可變長(zhǎng)編碼、算術(shù)編碼等的無(wú)損編碼并對(duì)其進(jìn)行壓縮。 此時(shí)，在上述步驟S22中輸入到無(wú)損編碼單元66的、來(lái)自幀內(nèi)預(yù)測(cè)單元74的幀內(nèi)預(yù)測(cè)模式信息或者來(lái)自運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元76的取決于最佳幀間預(yù)測(cè)模式的信息等也被編碼，并且被添加到頭信息中。在步驟SM中，累積緩沖器67將差分圖像累積為壓縮圖像。累積在累積緩沖器67 中的壓縮圖像在適當(dāng)時(shí)被讀出，并且經(jīng)由傳輸路徑被傳輸?shù)浇獯a側(cè)。在步驟S25中，速率控制單元78基于累積在累積緩沖器67中的壓縮圖像來(lái)控制量化單元65的量化操作的速率，以便不會(huì)引起上溢或下溢。[預(yù)測(cè)處理的描述]接下來(lái)，將參照?qǐng)D8中的流程圖描述圖7的步驟S21中的預(yù)測(cè)處理。在從畫(huà)面排序緩沖器62提供的、要處理的圖像是要經(jīng)受幀內(nèi)處理的塊中的圖像的情況下，從幀存儲(chǔ)器72讀出要參考的解碼后的圖像，并且經(jīng)由開(kāi)關(guān)73將其提供給幀內(nèi)預(yù)測(cè)單元74。在步驟S31中，幀內(nèi)預(yù)測(cè)單元74使用所提供的圖像，使要處理的塊的像素經(jīng)受用作候選的所有幀內(nèi)預(yù)測(cè)模式下的幀內(nèi)預(yù)測(cè)。注意，沒(méi)有經(jīng)過(guò)由去塊濾波器71執(zhí)行的去塊濾波的像素用作要參考的解碼后的像素。稍后將參照?qǐng)D20描述步驟S31中的幀內(nèi)預(yù)測(cè)處理的細(xì)節(jié)，但是根據(jù)該處理，使用所有用作候選的幀內(nèi)預(yù)測(cè)模式執(zhí)行幀內(nèi)預(yù)測(cè)。針對(duì)用作候選的所有幀內(nèi)預(yù)測(cè)模式計(jì)算成本函數(shù)值，并且基于所算出的成本函數(shù)值確定最佳幀內(nèi)預(yù)測(cè)模式。隨后，根據(jù)6抽頭HR濾波器和線性內(nèi)插，在取決于所確定的最佳幀內(nèi)預(yù)測(cè)模式的移動(dòng)方向上以最佳移動(dòng)量移動(dòng)相鄰像素的相位。使用相位已被移動(dòng)的相鄰像素，通過(guò)最佳幀內(nèi)預(yù)測(cè)模式下的幀內(nèi)預(yù)測(cè)生成預(yù)測(cè)圖像。所生成的預(yù)測(cè)圖像和最佳幀內(nèi)預(yù)測(cè)模式的成本函數(shù)值被提供給預(yù)測(cè)圖像選擇單元77。在從畫(huà)面排序緩沖器62提供的、要處理的圖像是要經(jīng)受幀間處理的圖像的情況下，從幀存儲(chǔ)器72讀出要參考的圖像，并且經(jīng)由開(kāi)關(guān)73將其提供給運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元 76。在步驟S32中，基于這些圖像，運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元76執(zhí)行幀間運(yùn)動(dòng)預(yù)測(cè)處理。也就是說(shuō)，運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元76參考從幀存儲(chǔ)器72提供的圖像，以執(zhí)行用作候選的所有幀間預(yù)測(cè)模式下的運(yùn)動(dòng)預(yù)測(cè)處理。稍后將參照?qǐng)D22描述步驟S32中的幀間運(yùn)動(dòng)預(yù)測(cè)處理的細(xì)節(jié)，但是根據(jù)該處理， 執(zhí)行用作候選的所有幀間預(yù)測(cè)模式下的運(yùn)動(dòng)預(yù)測(cè)處理，并且針對(duì)用作候選的所有幀間預(yù)測(cè)模式計(jì)算成本函數(shù)值。在步驟S33中，運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元76比較在步驟S32中針對(duì)幀間預(yù)測(cè)模式所算出的成本函數(shù)值，并且將提供最小值的預(yù)測(cè)模式確定為最佳幀間預(yù)測(cè)模式。運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元76將在最佳幀間預(yù)測(cè)模式下所生成的預(yù)測(cè)圖像及其成本函數(shù)值提供給預(yù)測(cè)圖像選擇單元77。[根據(jù)H.264/AVC系統(tǒng)的幀內(nèi)預(yù)測(cè)處理的描述]接下來(lái)，將描述H. ^4/AVC系統(tǒng)確定的幀內(nèi)預(yù)測(cè)模式。首先，將描述關(guān)于亮度信號(hào)的幀內(nèi)預(yù)測(cè)模式。對(duì)于亮度信號(hào)的幀內(nèi)預(yù)測(cè)模式，確定幀內(nèi)4X4預(yù)測(cè)模式、幀內(nèi)8X8預(yù)測(cè)模式以及幀內(nèi)16X16預(yù)測(cè)模式的三種系統(tǒng)。這些是用于確定塊單位的模式，并且是針對(duì)每個(gè)宏塊而設(shè)置的。另外，可將幀內(nèi)預(yù)測(cè)模式設(shè)置用于色差信號(hào)，而與每個(gè)宏塊的亮度信號(hào)無(wú)關(guān)。此外，在幀內(nèi)4X4預(yù)測(cè)模式的情況下，針對(duì)每個(gè)4X4像素的當(dāng)前塊，可以從九種預(yù)測(cè)模式之中設(shè)置一種預(yù)測(cè)模式。在幀內(nèi)8X8預(yù)測(cè)模式的情況下，針對(duì)每個(gè)8X8像素的當(dāng)前塊，可以從九種預(yù)測(cè)模式之中設(shè)置一種預(yù)測(cè)模式。另外，在幀內(nèi)16X16預(yù)測(cè)模式的情況下，對(duì)于16X16像素的當(dāng)前宏塊，可以從四種預(yù)測(cè)模式中設(shè)置一種預(yù)測(cè)模式。注意，在下文中，還適當(dāng)?shù)貙瑑?nèi)4X4預(yù)測(cè)模式、幀內(nèi)8X8預(yù)測(cè)模式以及幀內(nèi) 16X16預(yù)測(cè)模式分別稱為4X4像素幀內(nèi)預(yù)測(cè)模式、8X8像素幀內(nèi)預(yù)測(cè)模式以及16X16像素幀內(nèi)預(yù)測(cè)模式。對(duì)于圖9中的示例，附于塊的數(shù)字1至25表示塊的位流順序(解碼側(cè)的處理順序)。注意，對(duì)于亮度信號(hào)，宏塊被劃分成4X4像素，并且執(zhí)行4X4像素的DCT。僅在幀內(nèi) 16X16預(yù)測(cè)模式的情況下，如塊-1所示，收集塊的DC分量，生成4X4矩陣，并且這進(jìn)一步經(jīng)受正交變換。另一方面，對(duì)于色差信號(hào)，在宏塊被劃分成4X4像素并且執(zhí)行4X4像素的DCT之后，如塊16和17所示，收集塊的DC分量，生成2X 2矩陣，并且這進(jìn)一步經(jīng)受正交變換。注意，對(duì)于幀內(nèi)8X8預(yù)測(cè)模式，這可僅應(yīng)用于如下情況其中，以高端類(high profile)或在此之上的類使當(dāng)前宏塊經(jīng)受8X8正交變換。圖10和圖11是示出亮度信號(hào)的九種4X4像素的幀內(nèi)預(yù)測(cè)模式(Intra_4X4_pred_mode)的圖。除示出平均值(DC)預(yù)測(cè)的模式2之外的八種模式分別對(duì)應(yīng)于圖1中以數(shù)字0、1、3至8表示的方向。將參照?qǐng)D12描述九種intra_4X4_pred_mode。對(duì)于圖12中的示例，像素a至ρ 表示要經(jīng)受幀內(nèi)處理的塊的像素，并且像素值A(chǔ)至M表示屬于相鄰塊的像素的像素值。具體地，像素a至P是從畫(huà)面排序緩沖器62讀出的要處理的圖像，并且像素值A(chǔ)至M是要從幀存儲(chǔ)器72讀出并參考的經(jīng)解碼圖像的像素值。在圖10和圖11中示出的幀內(nèi)預(yù)測(cè)模式的情況下，使用屬于相鄰像素的像素的像素值A(chǔ)至M，如下生成像素a至ρ的預(yù)測(cè)像素值。這里，像素值“可用，，表示像素值是可用的，而沒(méi)有像素位于圖像幀的邊緣或者尚未被編碼的原因。另一方面，像素值“不可用”表示像素值由于像素位于圖像幀的邊緣或者尚未被編碼的原因而不可用。模式0是Vertical預(yù)測(cè)模式(垂直預(yù)測(cè)模式)，并且僅應(yīng)用于像素值A(chǔ)至D “可用”的情況。在該情況下，如以下表達(dá)式(7) —樣生成像素a至ρ的預(yù)測(cè)像素值。
像素a、e、i和m的預(yù)測(cè)像素值=A 像素b、f、j和η的預(yù)測(cè)像素值=B像素c、g、k和ο的預(yù)測(cè)像素值=C像素d、h、1和ρ的預(yù)測(cè)像素值=D. · · (7) 模式1是Horizontal預(yù)測(cè)模式(水平預(yù)測(cè)模式)，并且僅應(yīng)用于像素值I至L“可
-樣生成像素a至ρ的預(yù)測(cè)像素值t
用”的情況。在該情況下，如以下表達(dá)式(8)像素a、b、c和d的預(yù)測(cè)像素值=I像素e、f、g和h的預(yù)測(cè)像素值=J像素i、j、k和1的預(yù)測(cè)像素值=K像素m、η、ο和ρ的預(yù)測(cè)像素值=L. . . (8)模式2是DC預(yù)測(cè)模式，并且當(dāng)像素值A(chǔ)、B、C、D、I、J、K和L都“可用”時(shí)”，如以下表達(dá)式(9) 一樣生成預(yù)測(cè)像素值。(A+B+C+D+I+J+K+L+4) >> 3. . . (9)另外，當(dāng)像素值A(chǔ)、B、C和D都“不可用”時(shí)，如表達(dá)式(10) —樣生成預(yù)測(cè)像素值。(I+J+K+L+2) >> 2. . . (10)另外，當(dāng)像素值I、J、K和L都“不可用”時(shí)，如表達(dá)式(11) 一樣生成預(yù)測(cè)像素值。(A+B+C+D+2) >> 2. . . (11)注意，當(dāng)像素值A(chǔ)、B、C、D、I、J、K和L都“不可用”時(shí)，采用128作為預(yù)測(cè)像素值。模式3是Diagonal_Down_Left預(yù)測(cè)模式，并且僅應(yīng)用于像素值A(chǔ)、B、C、D、I、J、K、 L和M “可用”的情況。在該情況下，如以下表達(dá)式(1 一樣生成像素a至P的預(yù)測(cè)像素值。

像素a的預(yù)測(cè)像素值=(A+2B+C+2) >> 2 像素b和e的預(yù)測(cè)像素值=(B+2C+D+2) >> 2 像素c、f和i的預(yù)測(cè)像素值=(C+2D+E+2) >> 2 像素d、g、j和m的預(yù)測(cè)像素值=(D+2E+F+2) >> 2 像素h、k和η的預(yù)測(cè)像素值=(E+2F+G+2) >> 2 像素1和ο的預(yù)測(cè)像素值=(F+2G+H+2) >> 2
像素ρ 的預(yù)測(cè)像素值=(G+3H+2) >>2... (12)模式4是Diagonal_Down_Right預(yù)測(cè)模式，并且僅應(yīng)用于像素值A(chǔ)、B、C、D、I、J、 K、L和M “可用”的情況。在該情況下，如以下表達(dá)式(1 一樣生成像素a至ρ的預(yù)測(cè)像素值。像素m的預(yù)測(cè)像素值=(J+2K+L+2) >> 2像素i和η的預(yù)測(cè)像素值=(I+2J+K+2) >> 2像素e、j和ο的預(yù)測(cè)像素值=(M+2I+J+2) >> 2像素a、f、k和ρ的預(yù)測(cè)像素值=(A+2M+I+2) >> 2像素b、g和1的預(yù)測(cè)像素值=(M+2A+B+2) >>2像素c和h的預(yù)測(cè)像素值=(A+2B+C+2) >>2像素d 的預(yù)測(cè)像素值=(B+2C+D+2) >>2... (13)模式5是Diagonal_Vertical_Right預(yù)測(cè)模式，并且僅應(yīng)用于像素值A(chǔ)、B、C、D、I、 J、K、L和M “可用”的情況。在該情況下，如以下表達(dá)式(14) 一樣生成像素a至ρ的預(yù)測(cè)
像素值。像素a和j的預(yù)測(cè)像素值=(M+A+1) >> 1像素b和k的預(yù)測(cè)像素值=(A+B+1) >> 1像素c和1的預(yù)測(cè)像素值=(B+C+1) >> 1像素d的預(yù)測(cè)像素值=(C+D+1) >> 1像素e和η的預(yù)測(cè)像素值=(1+2Μ+Α+2) >>2像素f和ο的預(yù)測(cè)像素值=(M+2A+B+2) >>2像素g和ρ的預(yù)測(cè)像素值=(A+2B+C+2) >> 2像素h的預(yù)測(cè)像素值=(B+2C+D+2) >> 2像素i的預(yù)測(cè)像素值=(M+2I+J+2) >> 2像素m 的預(yù)測(cè)像素值=(I+2J+K+2) >>2... (14)模式6是Horizontal_Down預(yù)測(cè)模式，并且僅應(yīng)用于像素值A(chǔ)、B、C、D、I、J、K、L和 M “可用”的情況。在該情況下，如以下表達(dá)式(1 一樣生成像素a至P的預(yù)測(cè)像素值。像素a和g的預(yù)測(cè)像素值=(M+I+1) >> 1像素b和h的預(yù)測(cè)像素值=(I+2M+A+2) >>2像素c的預(yù)測(cè)像素值=(M+2A+B+2) >>2像素d的預(yù)測(cè)像素值=(A+2B+C+2) >> 2像素e和k的預(yù)測(cè)像素值=(I+J+1) >> 1像素f和1的預(yù)測(cè)像素值=(M+2I+J+2) >> 2像素i和ο的預(yù)測(cè)像素值=(J+K+1) >> 1像素j和ρ的預(yù)測(cè)像素值=(I+2J+K+2) >> 2像素m的預(yù)測(cè)像素值=(K+L+1) >> 1像素η 的預(yù)測(cè)像素值=(J+2K+L+2) >>2... (15)模式7是VertiCal_Left預(yù)測(cè)模式，并且僅應(yīng)用于像素值Α、B、C、D、I、J、K、L和 M “可用”的情況。在該情況下，如以下表達(dá)式(16) —樣生成像素a至ρ的預(yù)測(cè)像素值。像素a的預(yù)測(cè)像素值=(A+B+1) >> 1
像素b和i的預(yù)測(cè)像素值=(B+C+1) >> 1像素c和j的預(yù)測(cè)像素值=(C+D+1) >> 1像素d和k的預(yù)測(cè)像素值=(D+E+1) >> 1像素1的預(yù)測(cè)像素值=(E+F+1) >> 1像素e的預(yù)測(cè)像素值=(A+2B+C+2) >> 2像素f和m的預(yù)測(cè)像素值=(B+2C+D+2) >>2像素g和η的預(yù)測(cè)像素值=(C+2D+E+2) >> 2像素h和ο的預(yù)測(cè)像素值=(D+2E+F+2) >>2像素ρ 的預(yù)測(cè)像素值=(E+2F+G+2) >>2... (16)模式8是Horizontal_Up預(yù)測(cè)模式，并且僅應(yīng)用于像素值A(chǔ)、B、C、D、I、J、K、L和 M “可用”的情況。在該情況下，如以下表達(dá)式(17) —樣生成像素a至ρ的預(yù)測(cè)像素值。像素a的預(yù)測(cè)像素值=(I+J+1) >> 1像素b的預(yù)測(cè)像素值=(I+2J+K+2) >> 2像素c和e的預(yù)測(cè)像素值=(J+K+1) >> 1像素d和f的預(yù)測(cè)像素值=(J+2K+L+2) >> 2像素g和i的預(yù)測(cè)像素值=(K+L+1) >> 1像素h和j的預(yù)測(cè)像素值=(K+3L+2) >> 2像素k、l、m、n、o和ρ的預(yù)測(cè)像素值=L. · · (17)接下來(lái)，將參照?qǐng)D13描述亮度信號(hào)的4X4像素的幀內(nèi)預(yù)測(cè)模式(Intra_4X4_ pred_mode)的編碼系統(tǒng)。對(duì)于圖13中的示例，示出了由4X4個(gè)像素構(gòu)成的要進(jìn)行編碼的當(dāng)前塊C，并且示出了與當(dāng)前塊C相鄰并由4X4個(gè)像素構(gòu)成的塊A和塊B。在該情況下，可以想到，當(dāng)前塊C中的htra_4X4_pred_mode以及塊A和塊B中的htra_4X4_pred_m0de具有高相關(guān)性。使用該相關(guān)性如下執(zhí)行編碼處理，從而可以實(shí)現(xiàn)更高的編碼效率。具體地，對(duì)于圖13中的示例，將塊A和塊B中的htra_4X4_pred_mode分別作為 Intra_4 X 4_pred_modeA 禾口 Intra_4X4_pred_modeB,并且 MostProbableMode 被定義為以下表達(dá)式(18) ο MostProbableMode = Min (Intra_4X 4_pred_modeA, Intra_4X 4_pred_ modeB). . . (18)也就是說(shuō)，在塊A和塊B之中，分配有較小的mode_number的一個(gè)塊被作為 MostProbableMode ο稱為 prev_intra4X4_pred_mode_flag[luma4X4Blkldx]的兩個(gè)值在位流內(nèi)被定義為關(guān)于當(dāng)前塊C的參數(shù)，并且通過(guò)基于以下表達(dá)式(19)中示出的偽代碼的處理來(lái)執(zhí)行解碼處理，由此可以獲得關(guān)于當(dāng)前塊C的htra_4 X 4_pred_mode和 Intra4X4PredMode[luma4X4Blkldx]的值。if(prev_intra4x4_pred _mode_flag[luma4x4Blkldx])
Intra4x4PredMode[luma4x4Blkldx] = MostProbableMode else
if(rem_intra4x4_pred_mode[luma4x4Blkldx]< MostProb ableMode) Intra4x4PredMode[luma4x4Blkldx]= rem_intra4x4_pred_mode[luma4x4Blkldx] else
Intra4x4PredMode [luma4 x4Blkldx]= rem_intra4x4_pred_mode[luma4x4Blkldx] + 1 …(19)接下來(lái)，將描述16X16像素的幀內(nèi)預(yù)測(cè)模式。圖14和圖15是示出亮度信號(hào)的四種16X16像素幀內(nèi)預(yù)測(cè)模式antra_16X16_pred_mode)的圖。將參照?qǐng)D16描述四種幀內(nèi)預(yù)測(cè)模式。對(duì)于圖16中的示例，示出了要經(jīng)受幀內(nèi)處理的當(dāng)前宏塊A，并且P(x，y) ；χ, y = -l,0, ...，15表示與當(dāng)前宏塊A相鄰的像素的像素值。模式O是Vertical預(yù)測(cè)模式，并且僅在P (x，_1) ；x,y = -1,0,.. .，15“可用”時(shí)應(yīng)
用。在該情況下，如以下表達(dá)式00) —樣生成當(dāng)前宏塊A的每個(gè)像素的預(yù)測(cè)像素值ft~ed(x， y)。Pred(χ, y) = P(x, -1) ；χ, y = O, . . . , 15 . . . (20)模式1 是 Horizontal 預(yù)測(cè)模式，并且僅在 P (_1，y) ；x, y = -1,0, ... ,15 “可用” 時(shí)應(yīng)用。在該情況下，如以下表達(dá)式—樣生成當(dāng)前宏塊A的每個(gè)像素的預(yù)測(cè)像素值 Pred (x, y)。Pred(χ, y) = P(_l，y) ；x，y = 0，· · ·，15. · · (21)模式2 是 DC 預(yù)測(cè)模式，并且在 P (x，_1)和 P(_l，y) ；χ, y = _1，0，...，15 都“可
用”的情況下，如以下表達(dá)式0 —樣生成當(dāng)前宏塊A的每個(gè)像素的預(yù)測(cè)像素值ft~ed(x， y)。[數(shù)學(xué)表達(dá)式5]
權(quán)利要求
1.一種圖像處理設(shè)備，包括模式確定裝置，被配置成關(guān)于針對(duì)圖像數(shù)據(jù)要經(jīng)受幀內(nèi)預(yù)測(cè)的幀內(nèi)預(yù)測(cè)塊，確定幀內(nèi)預(yù)測(cè)的預(yù)測(cè)模式；相移裝置，被配置成根據(jù)取決于所述模式確定裝置確定的預(yù)測(cè)模式的移動(dòng)方向和用作候選的移動(dòng)量，移動(dòng)以預(yù)定位置關(guān)系與所述幀內(nèi)預(yù)測(cè)塊相鄰的相鄰像素的相位；移動(dòng)量確定裝置，被配置成使用所述相鄰像素和相位已被所述相移裝置移動(dòng)的所述相鄰像素，針對(duì)所述相鄰像素確定所述相位的最佳移動(dòng)量；以及預(yù)測(cè)圖像生成裝置，被配置成使用相位已根據(jù)所述移動(dòng)量確定裝置確定的最佳移動(dòng)量而被移動(dòng)的所述相鄰像素，生成所述幀內(nèi)預(yù)測(cè)塊的預(yù)測(cè)圖像。
2.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，還包括編碼裝置，被配置成對(duì)所述幀內(nèi)預(yù)測(cè)塊的圖像與所述預(yù)測(cè)圖像生成裝置生成的所述預(yù)測(cè)圖像之間的差分信息進(jìn)行編碼，以生成編碼流；以及傳輸裝置，被配置成將表示所述移動(dòng)量確定裝置確定的所述最佳移動(dòng)量的移動(dòng)量信息、以及表示所述模式確定裝置確定的所述預(yù)測(cè)模式的預(yù)測(cè)模式信息連同所述編碼裝置生成的編碼流一起進(jìn)行傳輸。
3.根據(jù)權(quán)利要求2所述的圖像處理設(shè)備，其中，所述編碼裝置將表示關(guān)于所述幀內(nèi)預(yù)測(cè)塊所確定的所述最佳移動(dòng)量與關(guān)于提供MostfrobableMode的塊所確定的最佳移動(dòng)量之間的差分的差分信息編碼為所述移動(dòng)量信息；并且其中，所述傳輸裝置傳輸所述編碼裝置生成的編碼流和所述差分信息。
4.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其中，所述相移裝置在所述模式確定裝置確定的所述預(yù)測(cè)模式是DC預(yù)測(cè)模式的情況下，禁止所述相位的移動(dòng)。
5.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其中，在所述模式確定裝置確定的所述預(yù)測(cè)模式是Vertical預(yù)測(cè)模式、Diag_Down_Left預(yù)測(cè)模式或VertiCal_Left預(yù)測(cè)模式的情況下，所述相移裝置針對(duì)所述相鄰像素中的上部相鄰像素，根據(jù)用作所述候選的移動(dòng)量移動(dòng)水平方向上的相位，并且針對(duì)所述相鄰像素中的左部相鄰像素，禁止移動(dòng)垂直方向上的相位。
6.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其中，在所述模式確定裝置確定的所述預(yù)測(cè)模式是Horizontal預(yù)測(cè)模式或Horizontaljp預(yù)測(cè)模式的情況下，所述相移裝置根據(jù)用作所述候選的移動(dòng)量，針對(duì)所述相鄰像素中的左部相鄰像素，移動(dòng)垂直方向上的相位，并且針對(duì)所述相鄰像素中的上部相鄰像素，禁止移動(dòng)水平方向上的相位。
7.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其中，所述模式確定裝置確定所述幀內(nèi)預(yù)測(cè)的所有預(yù)測(cè)模式；并且其中，所述相移裝置根據(jù)取決于所述模式確定裝置確定的所述所有預(yù)測(cè)模式的移動(dòng)方向和用作候選的移動(dòng)量，移動(dòng)所述相鄰像素的相位；并且其中，所述移動(dòng)量確定裝置使用所述相鄰像素和相位已被所述相移裝置移動(dòng)的所述相鄰像素，針對(duì)所述相鄰像素確定所述相位的最佳移動(dòng)量和最佳預(yù)測(cè)模式。
8.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，還包括運(yùn)動(dòng)預(yù)測(cè)補(bǔ)償裝置，被配置成關(guān)于所述圖像的幀間運(yùn)動(dòng)預(yù)測(cè)塊，執(zhí)行幀間運(yùn)動(dòng)預(yù)測(cè)；其中，所述相移裝置使用在所述運(yùn)動(dòng)預(yù)測(cè)補(bǔ)償裝置執(zhí)行小數(shù)像素精度預(yù)測(cè)時(shí)所使用的濾波器，移動(dòng)所述相鄰像素的相位。
9.一種圖像處理方法，包括以下步驟使圖像處理設(shè)備執(zhí)行以下處理關(guān)于針對(duì)圖像數(shù)據(jù)要被處理用于幀內(nèi)預(yù)測(cè)的幀內(nèi)預(yù)測(cè)塊，確定幀內(nèi)預(yù)測(cè)的預(yù)測(cè)模式；根據(jù)取決于所確定的所述預(yù)測(cè)模式的移動(dòng)方向和用作候選的移動(dòng)量，移動(dòng)以預(yù)定位置關(guān)系與所述幀內(nèi)預(yù)測(cè)塊相鄰的相鄰像素的相位；使用所述相鄰像素和相位被移動(dòng)的所述相鄰像素，針對(duì)所述相鄰像素確定所述相位的最佳移動(dòng)量；以及使用相位根據(jù)所確定的所述最佳移動(dòng)量而被移動(dòng)的所述相鄰像素，生成所述幀內(nèi)預(yù)測(cè)塊的預(yù)測(cè)圖像。
10.一種圖像處理設(shè)備，包括接收裝置，被配置成接收預(yù)測(cè)模式信息和移動(dòng)量信息，其中，所述預(yù)測(cè)模式信息關(guān)于要被處理用于幀內(nèi)預(yù)測(cè)的幀內(nèi)預(yù)測(cè)塊來(lái)表示幀內(nèi)預(yù)測(cè)的預(yù)測(cè)模式，所述移動(dòng)量信息表示用于根據(jù)所述預(yù)測(cè)模式信息表示的預(yù)測(cè)模式而移動(dòng)以預(yù)定位置關(guān)系與所述幀內(nèi)預(yù)測(cè)塊相鄰的相鄰像素的相位的移動(dòng)量；相移裝置，被配置成根據(jù)取決于所述接收裝置接收到的所述預(yù)測(cè)模式的移動(dòng)方向和移動(dòng)量，移動(dòng)所述相鄰像素的相位；預(yù)測(cè)圖像生成裝置，被配置成使用相位被所述相移裝置移動(dòng)的所述相鄰像素，生成所述幀內(nèi)預(yù)測(cè)塊的預(yù)測(cè)圖像。
11.根據(jù)權(quán)利要求10所述的圖像處理設(shè)備，其中，所述接收裝置接收表示關(guān)于所述幀內(nèi)預(yù)測(cè)塊的移動(dòng)量與關(guān)于提供MostfrobableMode的塊的移動(dòng)量之間的差分的差分信息， 作為所述移動(dòng)量信息。
12.根據(jù)權(quán)利要求10所述的圖像處理設(shè)備，還包括解碼裝置，被配置成使用所述預(yù)測(cè)圖像生成裝置生成的預(yù)測(cè)圖像，對(duì)所述幀內(nèi)預(yù)測(cè)塊進(jìn)行解碼。
13.根據(jù)權(quán)利要求12所述的圖像處理設(shè)備，其中，所述解碼裝置對(duì)所述接收裝置接收到的預(yù)測(cè)模式信息和所述移動(dòng)量信息進(jìn)行解碼。
14.根據(jù)權(quán)利要求10所述的圖像處理設(shè)備，其中，在經(jīng)所述解碼裝置解碼的所述預(yù)測(cè)模式是DC預(yù)測(cè)模式的情況下，所述相移裝置禁止移動(dòng)所述相鄰像素的相位。
15.根據(jù)權(quán)利要求10所述的圖像處理設(shè)備，其中，在經(jīng)所述解碼裝置解碼的所述預(yù)測(cè)模式是Vertical預(yù)測(cè)模式、Diag_Down_Left預(yù)測(cè)模式或VertiCal_Left預(yù)測(cè)模式的情況下，所述相移裝置針對(duì)所述相鄰像素中的上部相鄰像素，根據(jù)經(jīng)所述解碼裝置解碼的所述移動(dòng)量移動(dòng)水平方向上的相位，并且針對(duì)所述相鄰像素中的左部相鄰像素，禁止移動(dòng)垂直方向上的相位。
16.根據(jù)權(quán)利要求10所述的圖像處理設(shè)備，其中，在經(jīng)所述解碼裝置解碼的所述預(yù)測(cè)模式是Horizontal預(yù)測(cè)模式或H0riZ0ntal_Up預(yù)測(cè)模式的情況下，所述相移裝置針對(duì)所述相鄰像素中的左部相鄰像素，根據(jù)經(jīng)所述解碼裝置解碼的所述移動(dòng)量移動(dòng)垂直方向上的相位，并且針對(duì)所述相鄰像素中的上部相鄰像素，禁止移動(dòng)水平方向上的相位。
17.根據(jù)權(quán)利要求10所述的圖像處理設(shè)備，還包括運(yùn)動(dòng)預(yù)測(cè)補(bǔ)償裝置，被配置成使用要由所述解碼裝置解碼的運(yùn)動(dòng)矢量以及經(jīng)編碼的幀間運(yùn)動(dòng)預(yù)測(cè)塊，執(zhí)行幀間運(yùn)動(dòng)預(yù)測(cè)；其中，所述相移裝置使用要在所述運(yùn)動(dòng)預(yù)測(cè)補(bǔ)償裝置執(zhí)行小數(shù)像素精度預(yù)測(cè)時(shí)所使用的濾波器，移動(dòng)所述相鄰像素的相位。
18. 一種圖像處理方法，包括以下步驟 使圖像處理設(shè)備執(zhí)行以下處理接收預(yù)測(cè)模式信息和移動(dòng)量信息，其中，所述預(yù)測(cè)模式信息關(guān)于要被處理用于幀內(nèi)預(yù)測(cè)的幀內(nèi)預(yù)測(cè)塊來(lái)表示幀內(nèi)預(yù)測(cè)的預(yù)測(cè)模式，所述移動(dòng)量信息表示用于根據(jù)所述預(yù)測(cè)模式信息表示的預(yù)測(cè)模式而移動(dòng)以預(yù)定位置關(guān)系與所述幀內(nèi)預(yù)測(cè)塊相鄰的相鄰像素的相位的移動(dòng)量；根據(jù)取決于所接收到的所述預(yù)測(cè)模式的移動(dòng)方向和移動(dòng)量，移動(dòng)所述相鄰像素的相位；以及使用相位被移動(dòng)的所述相鄰像素，生成所述幀內(nèi)預(yù)測(cè)塊的預(yù)測(cè)圖像。
全文摘要
所公開(kāi)的主題內(nèi)容涉及一種圖像處理設(shè)備和方法，其幀內(nèi)預(yù)測(cè)編碼效率得到提高。當(dāng)最適當(dāng)?shù)膸瑑?nèi)預(yù)測(cè)模式是模式0時(shí)，在當(dāng)前塊的預(yù)測(cè)中使用的相鄰像素是像素A0、A1、A2和A3。使用這些像素和6抽頭FIR濾波器，生成1/2像素精度的像素a-0.5、a+0.5...等，此外，使用線性內(nèi)插來(lái)生成1/4像素精度的像素a-0.75、a-0.25、a+0.25以及a+0.75。此外，整數(shù)像素和所生成的小數(shù)像素精度的像素之間的相位差，即值-0.75至+0.75，被用作水平方向移動(dòng)量的候選，并且確定最適當(dāng)?shù)囊苿?dòng)量。所公開(kāi)的主題內(nèi)容可以應(yīng)用于使用例如H.264/AVC方案進(jìn)行編碼的圖像編碼設(shè)備。
文檔編號(hào)H04N7/32GK102396230SQ201080017179
公開(kāi)日2012年3月28日 申請(qǐng)日期2010年4月22日 優(yōu)先權(quán)日2009年4月24日
發(fā)明者佐藤數(shù)史 申請(qǐng)人:索尼公司