運(yùn)動(dòng)圖像編碼裝置及方法、運(yùn)動(dòng)圖像解碼裝置及方法
【專(zhuān)利說(shuō)明】
[0001 ] 本申請(qǐng)是申請(qǐng)?zhí)枮?01180047243.5,申請(qǐng)日為2011年7月21日，發(fā)明名稱(chēng)為"運(yùn)動(dòng) 圖像編碼裝置、運(yùn)動(dòng)圖像解碼裝置、運(yùn)動(dòng)圖像編碼方法W及運(yùn)動(dòng)圖像解碼方法"的分案申 請(qǐng)。
技術(shù)領(lǐng)域
[0002] 本發(fā)明設(shè)及對(duì)運(yùn)動(dòng)圖像高效地進(jìn)行編碼的運(yùn)動(dòng)圖像編碼裝置W及運(yùn)動(dòng)圖像編碼 方法、和對(duì)被高效地編碼的運(yùn)動(dòng)圖像進(jìn)行解碼的運(yùn)動(dòng)圖像解碼裝置W及運(yùn)動(dòng)圖像解碼方 法。
【背景技術(shù)】
[0003] 例如，在MPEG(Moving Picture Experts Gro叩，運(yùn)動(dòng)圖像專(zhuān)家組）、"ITU - T H.26X"等國(guó)際標(biāo)準(zhǔn)影像編碼方式中，將輸入影像帖分割為矩形的塊(編碼對(duì)象塊），針對(duì)該 編碼對(duì)象塊，實(shí)施使用已編碼的圖像信號(hào)的預(yù)測(cè)處理，從而生成預(yù)測(cè)圖像，按照塊單位對(duì)作 為該編碼對(duì)象塊與預(yù)測(cè)圖像的差分的預(yù)測(cè)誤差信號(hào)進(jìn)行正交變換、量化處理，從而進(jìn)行信 息壓縮。
[0004] 例如，在作為國(guó)際標(biāo)準(zhǔn)方式的AVC/H.264(IS0/IEC 14496-10 IITU-T H. 264)中， 根據(jù)已編碼的附近像素進(jìn)行帖內(nèi)（intra)預(yù)測(cè)處理，或者進(jìn)行接近帖之間的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè) 處理(例如，參照非專(zhuān)利文獻(xiàn)1)。
[000引在MPEG-4AVC/H.264中，在亮度的帖內(nèi)預(yù)測(cè)模式中，能夠按照塊單位，從多個(gè)預(yù)測(cè) 模式之中選擇1個(gè)預(yù)測(cè)模式。
[0006] 圖10是示出亮度的塊尺寸是4X4像素時(shí)的帖內(nèi)預(yù)測(cè)模式的說(shuō)明圖。
[0007] 在圖10中，白色的圓是編碼對(duì)象的塊內(nèi)的像素。黑色的圓是預(yù)測(cè)中使用的像素，是 已編碼的鄰接塊內(nèi)的像素。
[000引在圖10中，作為帖內(nèi)預(yù)測(cè)模式，準(zhǔn)備了9個(gè)模式0~模式8,其中模式2是進(jìn)行平均值 預(yù)測(cè)的模式，用上面和左邊的塊的鄰接像素的平均值來(lái)預(yù)測(cè)編碼對(duì)象塊內(nèi)的像素。
[0009] 模式2W外的模式是進(jìn)行方向性預(yù)測(cè)的模式。模式0是垂直方向預(yù)測(cè)，通過(guò)將上面 的塊的鄰接像素在垂直方向上重復(fù)而生成預(yù)測(cè)圖像。例如，在縱條紋圖案時(shí)選擇模式0。
[0010] 模式1是水平方向預(yù)測(cè)，通過(guò)將左邊的塊的鄰接像素在水平方向上重復(fù)而生成預(yù) 測(cè)圖像。例如，在橫條紋圖案時(shí)選擇模式1。
[0011] 模式3~模式8使用上面或者左邊的塊的鄰接像素，在規(guī)定的方向（箭頭表示的方 向）上生成插值像素來(lái)生成預(yù)測(cè)圖像。
[001 ^ 應(yīng)用帖內(nèi)預(yù)測(cè)的亮度的塊尺寸可W從4 X 4像素、8 X 8像素、16 X 16像素中選擇，在 8 X 8像素的情況下，與4 X 4像素的情況同樣地規(guī)定了9個(gè)帖內(nèi)預(yù)測(cè)模式。
[OOU]在16X16像素的情況下，規(guī)定了 4個(gè)帖內(nèi)預(yù)測(cè)模式巧均值預(yù)測(cè)、垂直方向預(yù)測(cè)、水 平方向預(yù)測(cè)、平面預(yù)測(cè)）。
[0014]平面預(yù)測(cè)是將在斜向方向上對(duì)上面的塊的鄰接像素和左邊的塊的鄰接像素進(jìn)行 內(nèi)插插值而生成的像素作為預(yù)測(cè)值的模式。
[001引在塊尺寸為4X4像素或者8X8像素時(shí)的方向性預(yù)測(cè)模式下，例如在45度等根據(jù)模 式而預(yù)先規(guī)定的方向上生成預(yù)測(cè)值，所W在塊內(nèi)的目標(biāo)的邊界(邊緣)的方向與預(yù)測(cè)模式表 示的方向一致的情況下，預(yù)測(cè)效率變高而能夠削減代碼量。
[0016]但是，只要在邊緣的方向與預(yù)測(cè)模式表示的方向之間稍微地產(chǎn)生偏差、或者即使 方向一致但編碼對(duì)象塊內(nèi)的邊緣稍微地失真(搖擺、彎曲等），就會(huì)局部地發(fā)生大的預(yù)測(cè)誤 差，預(yù)測(cè)效率極端地下降。
[0017]為了防止運(yùn)樣的預(yù)測(cè)效率降低，在8X8像素的方向性預(yù)測(cè)中，通過(guò)將對(duì)已編碼的 鄰接像素實(shí)施平滑化濾波而得到的結(jié)果作為在預(yù)測(cè)圖像的生成時(shí)使用的參照?qǐng)D像，從而生 成平滑化了的預(yù)測(cè)圖像，降低在產(chǎn)生了預(yù)測(cè)方向的稍微的偏差、在邊緣產(chǎn)生了稍微的失真 的情況下發(fā)生的預(yù)測(cè)誤差。
[001 引 非專(zhuān)利文獻(xiàn) 1:MPEG-4AVC(IS(VIEC 14496-IOVmj-T H.264規(guī)格

【發(fā)明內(nèi)容】

[0019] W往的圖像編碼裝置如W上那樣構(gòu)成，所W如果實(shí)施濾波處理而生成平滑化了的 預(yù)測(cè)圖像，則即使產(chǎn)生預(yù)測(cè)方向的稍微的偏差、在邊緣產(chǎn)生稍微的失真，也能夠降低所發(fā)生 的預(yù)測(cè)誤差。但是，在非專(zhuān)利文獻(xiàn)1中，除了8X8像素的塊W外不實(shí)施濾波處理，對(duì)8X8像素 的塊所使用的濾波器也只有一種。實(shí)際上，即使在8X8像素 W外的尺寸的塊中，也同樣地存 在如下問(wèn)題：即使預(yù)測(cè)圖像和編碼對(duì)象圖像的圖樣類(lèi)似，也會(huì)由于邊緣的稍微的不匹配而 局部地發(fā)生大的預(yù)測(cè)誤差，有時(shí)會(huì)產(chǎn)生預(yù)測(cè)效率的大幅降低。
[0020] 另外，存在如下課題：即使在同一尺寸的塊中，如果在對(duì)預(yù)測(cè)誤差信號(hào)進(jìn)行量化時(shí) 使用的量化參數(shù)、塊內(nèi)的像素的位置等不同，則適合于降低局部性的預(yù)測(cè)誤差的濾波器不 同，但僅準(zhǔn)備了一種濾波器，從而無(wú)法充分降低預(yù)測(cè)誤差。
[0021] 本發(fā)明是為了解決上述那樣的課題而完成的，其目的在于得到一種能夠降低局部 地發(fā)生的預(yù)測(cè)誤差來(lái)提高圖像質(zhì)量的運(yùn)動(dòng)圖像編碼裝置、運(yùn)動(dòng)圖像解碼裝置、運(yùn)動(dòng)圖像編 碼方法W及運(yùn)動(dòng)圖像解碼方法。
[0022] 本發(fā)明設(shè)及的圖像解碼裝置具備帖內(nèi)預(yù)測(cè)單元，該帖內(nèi)預(yù)測(cè)單元在與編碼塊有關(guān) 的編碼模式是帖內(nèi)編碼模式的情況下，針對(duì)成為所述編碼塊的預(yù)測(cè)處理的單位的塊的每一 個(gè)實(shí)施與在該塊中使用的帖內(nèi)預(yù)測(cè)參數(shù)對(duì)應(yīng)的帖之內(nèi)預(yù)測(cè)處理，從而生成預(yù)測(cè)圖像;所述 帖內(nèi)預(yù)測(cè)單元按照所述帖內(nèi)預(yù)測(cè)參數(shù)，根據(jù)參照像素生成中間預(yù)測(cè)值，僅在所述塊內(nèi)的特 定的位置，將通過(guò)針對(duì)中間預(yù)測(cè)值的濾波處理而得到的值作為最終的預(yù)測(cè)值，在所述塊內(nèi) 的其它位置，將中間預(yù)測(cè)值作為最終的預(yù)測(cè)值。
[0023] 根據(jù)本發(fā)明，具備帖內(nèi)預(yù)測(cè)單元，該帖內(nèi)預(yù)測(cè)單元在與編碼塊有關(guān)的編碼模式是 帖內(nèi)編碼模式的情況下，針對(duì)成為所述編碼塊的預(yù)測(cè)處理的單位的塊的每一個(gè)實(shí)施與在該 塊中使用的帖內(nèi)預(yù)測(cè)參數(shù)對(duì)應(yīng)的帖之內(nèi)預(yù)測(cè)處理，從而生成預(yù)測(cè)圖像，所述帖內(nèi)預(yù)測(cè)單元 按照所述帖內(nèi)預(yù)測(cè)參數(shù)，根據(jù)參照像素生成中間預(yù)測(cè)值，僅在所述塊內(nèi)的特定的位置，將通 過(guò)針對(duì)中間預(yù)測(cè)值的濾波處理而得到的值作為最終的預(yù)測(cè)值，在所述塊內(nèi)的其它位置，將 中間預(yù)測(cè)值作為最終的預(yù)測(cè)值，所W具有如下效果:降低局部地發(fā)生的預(yù)測(cè)誤差，從而在運(yùn) 動(dòng)圖像解碼裝置側(cè)也能夠生成圖像質(zhì)量高的與在運(yùn)動(dòng)圖像編碼裝置側(cè)生成的帖內(nèi)預(yù)測(cè)圖 像相同的帖內(nèi)預(yù)測(cè)圖像。
【附圖說(shuō)明】
[0024] 圖1是示出本發(fā)明的實(shí)施方式1的運(yùn)動(dòng)圖像編碼裝置的結(jié)構(gòu)圖。
[0025] 圖2是示出本發(fā)明的實(shí)施方式1的運(yùn)動(dòng)圖像解碼裝置的結(jié)構(gòu)圖。
[0026] 圖3是示出本發(fā)明的實(shí)施方式1的運(yùn)動(dòng)圖像編碼裝置的處理內(nèi)容的流程圖。
[0027] 圖4是示出本發(fā)明的實(shí)施方式1的運(yùn)動(dòng)圖像解碼裝置的處理內(nèi)容的流程圖。
[0028] 圖5是示出最大尺寸的編碼塊被層次性地分割為多個(gè)編碼塊的情況的說(shuō)明圖。
[0029] 圖6(a)是示出分割后的分塊的分布的圖，（b)是通過(guò)4叉樹(shù)圖形示出對(duì)層次分割后 的分塊分配了編碼模式Hi(BD)的狀況的說(shuō)明圖。
[0030] 圖7是示出在編碼塊護(hù)內(nèi)的各分塊Pi"中可選擇的帖內(nèi)預(yù)測(cè)參數(shù)(帖內(nèi)預(yù)測(cè)模式）的 一個(gè)例子的說(shuō)明圖。
[0031] 圖8是示出在lin = nun = 4時(shí)、生成分塊Pi"內(nèi)的像素的預(yù)測(cè)值時(shí)使用的像素的一個(gè) 例子的說(shuō)明圖。
[0032] 圖9是示出N=5的情況的參照像素配置的一個(gè)例子的說(shuō)明圖。
[0033] 圖10是示出亮度的塊尺寸是4X4像素的情況的帖內(nèi)預(yù)測(cè)模式的說(shuō)明圖。
[0034] (符號(hào)說(shuō)明）
[0035] 1:編碼控制部(編碼控制單元）；2:塊分割部(塊分割單元）；3:切換開(kāi)關(guān)(帖內(nèi)預(yù)測(cè) 單元、運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)單元）；4:帖內(nèi)預(yù)測(cè)部(帖內(nèi)預(yù)測(cè)單元）；5:運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)部(運(yùn)動(dòng)補(bǔ)償預(yù) 測(cè)單元）；6:減法部(差分圖像生成單元）；7:變換/量化部（圖像壓縮單元）；8:逆量化/逆變 換部;9:加法部；10:帖內(nèi)預(yù)測(cè)用存儲(chǔ)器；11:環(huán)路濾波器部；12:運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)帖存儲(chǔ)器；13: 可變長(zhǎng)編碼部(可變長(zhǎng)編碼單元）；51:可變長(zhǎng)解碼部(可變長(zhǎng)解碼單元）；52:切換開(kāi)關(guān)(帖內(nèi) 預(yù)測(cè)單元、運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)單元）；53:帖內(nèi)預(yù)測(cè)部(帖內(nèi)預(yù)測(cè)單元）；54:運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)部(運(yùn)動(dòng) 補(bǔ)償預(yù)測(cè)單元）；55:逆量化/逆變換部（差分圖像生成單元）；56:加法部(解碼圖像生成單 元）；57:帖內(nèi)預(yù)測(cè)用存儲(chǔ)器;58:環(huán)路濾波器部;59:運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)帖存儲(chǔ)器。
【具體實(shí)施方式】
[0036] W下，為了更詳細(xì)地說(shuō)明本發(fā)明，根據(jù)附圖，說(shuō)明【具體實(shí)施方式】。
[0037] 實(shí)施方式1.
[0038] 在該實(shí)施方式1中，說(shuō)明如下的運(yùn)動(dòng)圖像編碼裝置和運(yùn)動(dòng)圖像解碼裝置:該運(yùn)動(dòng)圖 像編碼裝置輸入影像的各帖圖像，并通過(guò)根據(jù)已編碼的附近像素實(shí)施帖之內(nèi)預(yù)測(cè)處理或者 在接近帖之間實(shí)施運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)處理而生成預(yù)測(cè)圖像，并針對(duì)作為該預(yù)測(cè)圖像與帖圖像的 差分圖像的預(yù)測(cè)誤差信號(hào)通過(guò)正交變換/量化而實(shí)施了壓縮處理之后，進(jìn)行可變長(zhǎng)編碼而 生成比特流，該運(yùn)動(dòng)圖像解碼裝置對(duì)從該運(yùn)動(dòng)圖像編碼裝置輸出的比特流進(jìn)行解碼。
[0039] 該實(shí)施方式1的運(yùn)動(dòng)圖像編碼裝置的特征在于，適應(yīng)于影像信號(hào)的空間/時(shí)間方向 的局部性的變化，將影像信號(hào)分割為各種尺寸的區(qū)域來(lái)進(jìn)行帖之內(nèi)/帖之間自適應(yīng)編碼。
[0040] -般情況下，影像信號(hào)具有空間/時(shí)間上信號(hào)的復(fù)雜度局部地發(fā)生變化的特性。在 空間上觀察時(shí)，在某特定的影像帖上，既存在天空、壁等那樣的在比較寬的圖像區(qū)域中具有 均勻的信號(hào)特性的圖樣，還混合存在人物或具有細(xì)致的紋理的繪畫(huà)等在小的圖像區(qū)域內(nèi)具 有復(fù)雜的紋理圖案的圖樣。
[0041] 在時(shí)間上觀察時(shí)，對(duì)于天空、壁而言，局部的時(shí)間方向的圖樣的變化小，但對(duì)于運(yùn) 動(dòng)的人物、物體而言，其輪廓在時(shí)間上進(jìn)行剛體/非剛體的運(yùn)動(dòng)，所W時(shí)間上的變化大。
[0042] 在編碼處理中，通過(guò)時(shí)間/空間上的預(yù)測(cè)來(lái)生成信號(hào)功率、賭小的預(yù)測(cè)誤差信號(hào)， 從而削減整體的代碼量，但如果能夠?qū)ΡM可能大的圖像信號(hào)區(qū)域均勻地應(yīng)用用于預(yù)測(cè)的參 數(shù)，則能夠減小該參數(shù)的代碼量。
[0043] 另一方面，如果針對(duì)時(shí)間上/空間上變化大的圖像信號(hào)圖案應(yīng)用同一預(yù)測(cè)參數(shù)，貝U 預(yù)測(cè)的錯(cuò)誤增加，所W無(wú)法削減預(yù)測(cè)誤差信號(hào)的代碼量。
[0044] 因此，優(yōu)選針對(duì)時(shí)間上/空間上變化大的圖像信號(hào)圖案減小預(yù)測(cè)對(duì)象的區(qū)域，從而 即使增加用于預(yù)測(cè)的參數(shù)的數(shù)據(jù)量，也降低預(yù)測(cè)誤差信號(hào)的功率/賭。
[0045] 為了進(jìn)行運(yùn)樣的適應(yīng)于影像信號(hào)的一般性的性質(zhì)的編碼，在該實(shí)施方式1的運(yùn)動(dòng) 圖像編碼裝置中，從規(guī)定的最大塊尺寸起層次性地分割影像信號(hào)的區(qū)域，針對(duì)每個(gè)分割區(qū) 域?qū)嵤╊A(yù)測(cè)處理、預(yù)測(cè)誤差的編碼處理。
[0046] 該實(shí)施方式1的運(yùn)動(dòng)圖像編碼裝置作為處理對(duì)象的影像信號(hào)除了由亮度信號(hào)和2 個(gè)色差信號(hào)構(gòu)成的YUV信號(hào)、從數(shù)字?jǐn)z像元件輸出的RGB信號(hào)等任意的顏色空間的彩色影像 信號(hào)W外，還有單色圖像信號(hào)、紅外線圖像信號(hào)等影像帖由水平/垂直二維的數(shù)字采樣(像 素)列構(gòu)成的任意的影像信號(hào)。
[0047] 各像素的灰度既可W是化k特，也可W是10比特、1化k特等的灰度。
[0048] 但是，在W下的說(shuō)明中，只要沒(méi)有特別說(shuō)明，設(shè)為所輸入的影像信號(hào)是YUV信號(hào)。另 夕h設(shè)為2個(gè)色差分量U、V相對(duì)亮度分量Y是被子采樣的4:2:0格式的信號(hào)。
[0049] 另外，將與影像的各帖對(duì)應(yīng)的處理數(shù)據(jù)單位稱(chēng)為"圖片"，在該實(shí)施方式1中，W "圖 片"為被順序掃描(逐行掃描）的影像帖的信號(hào)而進(jìn)行說(shuō)明。但是，在影像信號(hào)是隔行掃描信 號(hào)的情況下，"圖片"也可W是作為構(gòu)成影像帖的單位的場(chǎng)圖像信號(hào)。
[0050] 圖1是示出本發(fā)明的實(shí)施方式1的運(yùn)動(dòng)圖像編碼裝置的結(jié)構(gòu)圖。
[0051] 在圖1中，編碼控制部1實(shí)施如下處理:決定成為實(shí)施帖內(nèi)預(yù)測(cè)處理(帖