專利名稱：圖像編碼裝置和方法以及圖像解碼裝置和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種使用幀間預(yù)測(cè)編碼方式的、多個(gè)幀的圖像編碼/解碼技術(shù)。
背景技術(shù)：
在所謂MPEG-1 、 MPEG-2或H.261 、 H.263的國際標(biāo)準(zhǔn)動(dòng)態(tài)圖像編碼中， 編碼各幀的輸出時(shí)刻。將這些時(shí)刻信息稱為TR(Temporal Reference),對(duì)每個(gè) 幀進(jìn)行固定長度編碼。在系統(tǒng)中預(yù)先設(shè)定成為基準(zhǔn)的時(shí)間間隔，用該時(shí)間間隔 與TR的積來表示從序列開頭開始的時(shí)刻。編碼器將輸入圖像的時(shí)刻信息設(shè)定 成TR,編碼各幀，解碼器在由TR指定的時(shí)刻，輸出各幀的解碼圖像。
另一方面， 一般在動(dòng)態(tài)圖像編碼中，為了使用時(shí)間方向的相關(guān)來實(shí)現(xiàn)高的 編碼效率，采用幀間預(yù)測(cè)編碼。在幀的編碼模式中，有不使用幀間相關(guān)來進(jìn)行 編碼的I幀、根據(jù)過去編碼的1個(gè)幀來預(yù)測(cè)的P幀、和可根據(jù)過去編碼的兩個(gè) 幀來預(yù)測(cè)的B幀。
在B幀中，必需在參照?qǐng)D像存儲(chǔ)器中存儲(chǔ)2幀大小的解碼圖^f象。尤其是 在映像編碼方式H.263與H.264中，在參照?qǐng)D像存儲(chǔ)器中存儲(chǔ)2幀或2幀以上 的多個(gè)幀大小的解碼圖像，從該存儲(chǔ)器中選擇參照?qǐng)D像來進(jìn)行預(yù)測(cè)。
參照?qǐng)D像可在每個(gè)塊中選擇，編碼指定參照?qǐng)D像的參照?qǐng)D像指定信息。在 參照?qǐng)D像存儲(chǔ)器中有短時(shí)間用(STRM)與長時(shí)間用(LTRM),在STRM中存儲(chǔ)當(dāng) 前幀的解碼圖像，選擇存儲(chǔ)在STRM中的圖像來存儲(chǔ)于LTRM中。另外，就 LTRM與STRM的控制方法而言，例如非專利文獻(xiàn)1中記載的那樣。
非專利文獻(xiàn)1: Thomas Wiegand, Xiaozheng Zhang, and Berned Girod, "Long-Term Memory Motion-Compensated Prediction", IEEE Transactions onCircuits and Systems for Video Technology, vol.9， no.l,pp. 70-84, Feb., 1999在 MPEG-l、 MPEG-2的B幀中，將才艮據(jù)過去的幀來預(yù)測(cè)的方法稱為前方向幀間 預(yù)測(cè)，將4艮據(jù)以后的幀來預(yù)測(cè)的方法稱為后方向幀間預(yù)測(cè)。后方向幀間預(yù)測(cè)中 的參照幀的顯示時(shí)刻比當(dāng)前幀更靠后(更靠未來)。此時(shí)，在顯示當(dāng)前幀之后， 輸出后方向幀間預(yù)測(cè)的參照幀。在B幀中根據(jù)兩個(gè)幀來預(yù)測(cè)的情況下(兩方向 幀間預(yù)測(cè))，內(nèi)插來自兩個(gè)幀的圖像信息，制作一個(gè)幀大小的圖像信息，將其 設(shè)為預(yù)測(cè)圖像。
圖16( A)中示出后方向幀間預(yù)測(cè)中的參照幀的顯示時(shí)刻為之后的情況下 的、動(dòng)態(tài)圖像的預(yù)測(cè)關(guān)系實(shí)例。圖16所示的(l)-(7)表示幀序號(hào)。在按IBBPBBP 的順序編碼從第1幀至第7幀的編碼模式的情況下，由于存在圖16(A)所示的 預(yù)測(cè)關(guān)系，所以在實(shí)際編碼的情況下，如圖16(B)所示，按1423756的順序來 編碼幀。此時(shí)被編碼的TR順序與編碼幀一樣，為對(duì)應(yīng)于1423756的值。
在H.264的B幀中，從MPEG-1、 MPEG-2進(jìn)一步擴(kuò)展后方向幀間預(yù)測(cè)的 概念，后方向幀間預(yù)測(cè)中的參照幀的顯示時(shí)刻也可以在當(dāng)前幀之前。此時(shí)，向 目的地輸出后方向幀間預(yù)測(cè)的參照幀。
如上所述，在H.264中，可在參照?qǐng)D像存儲(chǔ)器中存儲(chǔ)多個(gè)解碼圖像。因此， 定義前方向幀間預(yù)測(cè)用的參照?qǐng)D像指定信息L0與后方向幀間預(yù)測(cè)用的參照?qǐng)D 像指定信息U，分別獨(dú)立指定前方向幀間預(yù)測(cè)用的參照?qǐng)D像與后方向幀間預(yù) 測(cè)用的參照?qǐng)D像。
為了對(duì)每個(gè)塊指定參照?qǐng)D像，首先編碼塊的預(yù)測(cè)模式(前方向幀間預(yù)測(cè)或 后方向幀間預(yù)測(cè)或兩方向幀間預(yù)測(cè))，在預(yù)測(cè)模式為前方向幀間預(yù)測(cè)的情況下， 編碼參照?qǐng)D像指定信息L0，在為后方向幀間預(yù)測(cè)的情況下，編碼參照?qǐng)D像指 定信息Ll,在為兩方向幀間預(yù)測(cè)的情況下，編碼參照?qǐng)D像指定信息LO和參照 圖像指定信息L1。
若如此定義，則后方向幀間預(yù)測(cè)中的參照幀的顯示時(shí)刻不必在當(dāng)前幀之 后。在H.264的B幀中，可將如此在后方向幀間預(yù)測(cè)之前的幀指定為參照?qǐng)D 像，并且指定可變更成塊單位，所以除兩方向幀間預(yù)測(cè)的情況下，可制作與P 幀一樣的預(yù)測(cè)圖像。
圖17(A)中示出后方向幀間預(yù)測(cè)中的參照幀的顯示時(shí)刻為過去的情況下
8的、動(dòng)態(tài)圖像的預(yù)測(cè)關(guān)系實(shí)例。與圖16的情況不同，即便在按IBBPBBP的 順序編碼從第1幀至第7幀的編碼模式的情況下，也由于存在圖17(A)所示的 預(yù)測(cè)關(guān)系，所以如圖17(B)所示，按1423567的順序來編碼幀。
在參照?qǐng)D像存儲(chǔ)器中存儲(chǔ)多個(gè)解碼圖像、選擇參照?qǐng)D像后進(jìn)行幀間預(yù)測(cè)編 碼的方法中，不必存儲(chǔ)全部幀的解碼圖像。應(yīng)用這些，可實(shí)現(xiàn)時(shí)間可升級(jí) (scalable)功能。
例如，在MPEG-1、 MPEG-2存在于圖16(A)等預(yù)測(cè)關(guān)系的情況下，B幀(幀 序號(hào)(2)、 (3)、 (5)、 (6))在之后的幀中不作為參照?qǐng)D像來作用。因此，解碼側(cè)可 不解碼B幀而僅解碼I幀與P幀。若與原來一樣以每秒30幀編碼，則如果不 解碼/輸出B幀，就能輸出每秒10幀的映像。
也可將這種技術(shù)應(yīng)用于多個(gè)階層中。圖1是表示3層構(gòu)成的預(yù)測(cè)關(guān)系的實(shí) 例圖。圖l中，(1)-(9)表示幀序號(hào)，幀中記載的1-9的數(shù)字表示各幀的編碼順 序。
例如圖l(C)所示，第5幀(第1層)將第1幀設(shè)為參照幀，第3幀(第2層) 將第1幀或第5幀設(shè)為參照幀，第2幀(第3層)將第1幀或第3幀設(shè)為參照幀， 第4幀(第3層)將第3幀與第5幀設(shè)為參照幀時(shí)，在全部5個(gè)幀均為每秒30 幀的映像的情況下，通過不解碼第2幀與第4幀(第3層)，可輸出每秒15幀 的映像。
通過不解碼第2幀、第3幀與第4幀(第2層與第3層)，可輸出每秒7.5 幀的映像。另外，除圖l(C)之外，幀的編碼順序也可設(shè)定多個(gè)模式，例如圖 l(A)所示，與輸入順序相同，或如圖l(B)所示，在第l層編碼之后，立即編碼 第2層，接著編碼第3層。
當(dāng)在存在不構(gòu)成這種參照幀的幀時(shí)，變更時(shí)間分辯率的方式既可在解碼側(cè) 執(zhí)行，也可在編碼側(cè)與解碼側(cè)之間的中繼地點(diǎn)執(zhí)行。當(dāng)如播放那樣單方向分配 編碼數(shù)據(jù)的情況下，最好解碼側(cè)執(zhí)行。
另外，這種時(shí)間可升級(jí)功能通過將第l層視為視點(diǎn)，也可適用于多視點(diǎn)映 像的編碼。
另外，即便是一般的在幀間沒有時(shí)間關(guān)系的多個(gè)幀，也可通過按預(yù)先設(shè)定 的維(dimension)排列多個(gè)幀，將該維視為時(shí)間，從而作為動(dòng)態(tài)圖像進(jìn)行處理。也可進(jìn)一步將這種多個(gè)幀分類成少數(shù)的集合，將其^L為圖1中的層，適用 時(shí)間可升級(jí)功能。 '
另外，作為實(shí)現(xiàn)時(shí)間可升級(jí)編碼的方法，例如MCTF編碼。該MCTF編 碼方法是如下方法，即對(duì)映像數(shù)據(jù)，沿時(shí)間方向過濾(子頻帶分割)，利用映像 數(shù)據(jù)的時(shí)間方向的相關(guān)，使映像數(shù)據(jù)的能量致密化。圖18示出在時(shí)間方向上 倍頻程(octave)分割低頻段的原理圖。設(shè)定GOP，在GOP內(nèi)，沿時(shí)間方向過濾。 在時(shí)間方向的濾波器中， 一般提議Haar基底(參照非專利文獻(xiàn)2)。
非專利文獻(xiàn)2: Jens-Rainer Ohm, "Three隱Dimensiona; Subband Coding with Motion Compensation", IEEE Trans, Image Proc.， vol.3， no.5， pp. 559-571， 1994. 另外，在Haar基底中， 一般可適用圖19所示的Lifting Scheme 。利用該方法， 可減少運(yùn)算量地進(jìn)行過濾。就該Lifting Scheme而言，predict是與通常的預(yù)測(cè) 編碼一樣的處理，是求出預(yù)測(cè)圖像與原圖像的殘差的處理。
另外，在非專利文獻(xiàn)3或非專利文獻(xiàn)4中，記載了根據(jù)多個(gè)圖像來得到高 分辯率的圖像的方法。
非專利文獻(xiàn)3: Sung Cheol Park， Min Kyu Park, and Moon Gi Kang, "Super-Resolution Image Reconstruction: A Technical Overview", IEEE Signal Processing Magazine, pp.21-36， May, 2003
非專利文獻(xiàn)4: C. Andrew Segall， Rafael Molina, and Aggelos K. Katsaggelos, "High-Resolution Image from Low-Resolution Compress Video", IEEE Signal Processing Magazine, pp.37-48, May, 2003.
在具備多個(gè)幀的參照?qǐng)D像存儲(chǔ)器的情況下，越增大存儲(chǔ)的最大幀數(shù)，編碼
效率越高。這里，在實(shí)現(xiàn)時(shí)間可升級(jí)功能的情況下，即便解碼的層數(shù)少時(shí)，也 必需利用編碼數(shù)據(jù)中的參照?qǐng)D像指定信息來指定同 一解碼圖像。
但是，在以前的H.264中，雖然具備STRM與LTRM，但由于LTRM是 存儲(chǔ)在STRM中存儲(chǔ)的圖像的存儲(chǔ)器，將解碼圖像存儲(chǔ)在STRM中，所以與 時(shí)間可升級(jí)中的層無關(guān)，對(duì)解碼圖像編碼參照?qǐng)D像指定信息。
因此，在解碼側(cè)未解碼編碼數(shù)據(jù)的特定幀的情況下，會(huì)參照參照?qǐng)D像指定 信息不同的幀。若如此根據(jù)不同的參照?qǐng)D像來制作預(yù)測(cè)圖像，則解碼側(cè)得不到 正確的解碼圖像。不使用參照?qǐng)D像指定信息從多個(gè)幀中選擇參照?qǐng)D像，而如MPEG-1、 MPEG-2的B幀所示，不使解碼圖像存儲(chǔ)在參照?qǐng)D像存儲(chǔ)器中，另外，在將參 照?qǐng)D像限定為前后的I幀或P幀的情況下，當(dāng)不解碼B幀時(shí)，參照?qǐng)D^f象不會(huì)不 同。由此，可實(shí)現(xiàn)時(shí)間可升級(jí)編碼。但是，若設(shè)未將B幀的解碼圖像存儲(chǔ)在 參照?qǐng)D像存儲(chǔ)器中，則B幀將參照?qǐng)D像限定為前后的I幀或P幀，不具備多個(gè) 幀的參照?qǐng)D像存儲(chǔ)器，所以可提高編碼效率。
如上所述，就現(xiàn)有的實(shí)現(xiàn)時(shí)間可升級(jí)編碼的方法而言，為了提高編碼效率， 不能具備多個(gè)幀的參照?qǐng)D像存儲(chǔ)器，相反，現(xiàn)有的參照?qǐng)D像存儲(chǔ)器中存儲(chǔ)多個(gè) 幀的方法不能實(shí)現(xiàn)時(shí)間可升級(jí)編碼。

發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種圖像編碼裝置、圖像解碼裝置、圖像編碼方法、 圖像解碼方法，在解碼側(cè)未解碼編碼數(shù)據(jù)的特定幀的情況下，也可指定與解碼 該幀時(shí)相同的參照?qǐng)D像，得到正確的解碼圖像，并且，可使編碼效率提高。
本發(fā)明的第1方面是一種圖像編碼方法，從過去編碼的多個(gè)幀的圖像信息 中，選擇圖像信息，并編碼制作預(yù)測(cè)圖像的多個(gè)圖像信息，其特征在于，執(zhí)行 如下步驟圖像分類步驟，將各幀分類成N個(gè)類目(categoiy);預(yù)測(cè)圖像制作 步驟，就分類成第j類目的當(dāng)前幀而言，從第i(lSiSj)類目的、過去編碼的多 個(gè)幀的圖像信息中，選擇圖像信息，并制作預(yù)測(cè)圖像；差分編碼步驟，編碼當(dāng) 前幀的圖像信息與預(yù)測(cè)圖像的差分；參照?qǐng)D像指定信息編碼步驟，編碼指定由 預(yù)測(cè)圖像制作步驟選擇到的圖像信息的、第j類目用的參照?qǐng)D像指定信息；和 當(dāng)前類目編碼步驟，編碼當(dāng)前幀的類目序號(hào)。
本發(fā)明的第2方面根據(jù)本發(fā)明第1方面的圖像編碼方法，其特征在于，對(duì) 每個(gè)解碼類目，分配指定屬于類目的幀的幀序號(hào)，參照?qǐng)D像指定信息由預(yù)測(cè)圖 像制作步驟選擇到的圖像信息所屬的類目序號(hào)、和由該序號(hào)指定的類目的幀序 號(hào)構(gòu)成。
本發(fā)明的第3方面是一種圖像解碼方法，從過去解碼了的多個(gè)幀的圖像信 息中，選擇圖像信息，并解碼制作預(yù)測(cè)圖像的多個(gè)圖像信息，其特征在于，執(zhí) 行如下步驟當(dāng)前類目解碼步驟，解碼當(dāng)前幀的類目序號(hào)；參照?qǐng)D像指定信息 解碼步驟，解碼由當(dāng)前類目解碼步驟得到的類目序號(hào)用的、指定圖像信息的參
ii照?qǐng)D像指定信息；預(yù)測(cè)圖像制作步驟，根據(jù)由參照?qǐng)D像指定信息指定的圖像信 息，制作預(yù)測(cè)圖像；差分解碼步驟，解碼當(dāng)前幀的解碼圖像與預(yù)測(cè)圖像的差分； 解碼圖像制作步驟，根據(jù)差分信息與預(yù)測(cè)圖像，制作解碼圖像；和解碼圖像存 儲(chǔ)步驟，將當(dāng)前幀的解碼圖像存儲(chǔ)在由當(dāng)前類目解碼步驟得到的類目序號(hào)用存 儲(chǔ)器中。
本發(fā)明的第4方面根據(jù)本發(fā)明第3方面的圖像解碼方法，其特征在于，對(duì) 每個(gè)類目，分配指定屬于類目的幀的幀序號(hào)，參照?qǐng)D像指定信息由預(yù)測(cè)圖像制 作步驟選擇到的圖像信息所屬的類目序號(hào)、和由該序號(hào)指定的類目的帕序號(hào)構(gòu) 成。
根據(jù)本發(fā)明第1方面的圖像編碼方法或本發(fā)明第3方面的圖像解碼方法， 將參照?qǐng)D像存儲(chǔ)器分類成多個(gè)類目，對(duì)每個(gè)類目管理參照?qǐng)D像。由此，在確定 是否對(duì)每個(gè)類目解碼，存在未解碼的類目的情況下，可根據(jù)包含于其它類目中 的參照?qǐng)D像來制作預(yù)測(cè)圖像。由于參照?qǐng)D像指定信息對(duì)每個(gè)類目分別設(shè)定，所 以在解碼類目的情況與未解碼類目的情況下，均可利用參照?qǐng)D像指定信息來指 定同一圖像，得到正確的解碼圖像。另外，可對(duì)每個(gè)類目增多參照?qǐng)D像數(shù)量， 提高編碼效率。
類目例如可按圖1中所示的層來設(shè)定。第1類目(第1層)的圖像僅參照第 1類目(第1層)的圖像，第2類目(第2層)的圖像參照第1類目(第1層)與第2 類目(第2層)的圖像，第3類目(第3層)的圖像參照第1類目(第1層)、第2 類目(第2層)與第3類目(第3層)的圖像。此時(shí)，若對(duì)每個(gè)類目配備可存儲(chǔ)多 個(gè)幀大小的參照?qǐng)D像的參照?qǐng)D像存儲(chǔ)器，則可提高各類目的編碼效率。
作為參照?qǐng)D像指定信息，例如有如下信息
(方法l)對(duì)包含于設(shè)為參照?qǐng)D像的類目中的幀，從編碼或解碼順序接近當(dāng) 前幀的幀開始附加通用序號(hào)，
(方法2)對(duì)包含于設(shè)為參照?qǐng)D像的類目中的幀，從輸入或輸出順序接近當(dāng) 前幀的幀開始附加通用序號(hào)，等。
不限于此，只要是如下指定方法即可，即編碼側(cè)與解碼側(cè)可唯一指定參照 圖像，在未解碼不設(shè)為參照?qǐng)D像的類目的幀的情況下，參照的圖像一致。
就圖l(C)中的編碼順序的幀構(gòu)成而言，圖2中示出由方法1指定時(shí)的參照?qǐng)D像指定信息的實(shí)例，圖3中示出由方法2指定時(shí)的參照?qǐng)D像指定信息的實(shí)例。 其中，圖3中，在對(duì)當(dāng)前幀的輸入或輸出順序的差分相同的情況下，向最近編 碼的幀賦予小的序號(hào)。另外，作為參照?qǐng)D像指定信息，例如為0、 1、 2、...等 通用序號(hào)的信息。
圖2中，例如在當(dāng)前幀為第2幀的情況下，附加參照?qǐng)D像指定信息的順序 為第3幀、第5幀、第1幀的順序，在當(dāng)前幀為第3幀的情況下，附加參照?qǐng)D 像指定信息的順序?yàn)榈?幀、第1幀的順序。
圖3中，例如在當(dāng)前幀為第2幀的情況下，附加參照?qǐng)D像指定信息的順序 為第3幀、第1幀、第5幀的順序，在當(dāng)前幀為第3幀的情況下，附加參照?qǐng)D 像指定信息的順序?yàn)榈?幀、第1幀的順序。
另外，本發(fā)明也可用于可逆編碼和不可逆編碼中任意一個(gè)。也可在圖像編 碼裝置的參照?qǐng)D^f象存儲(chǔ)器中，在可逆編碼的情況下，存儲(chǔ)原圖像與解碼圖像之 一。在不可逆編碼的情況下，存儲(chǔ)解碼圖像。
根據(jù)本發(fā)明第2方面的圖像編碼方法或本發(fā)明第4方面的圖像解碼方法， 就參照?qǐng)D像指定信息而言，除上述例舉的實(shí)例(方法1與方法2)之外，還可由
(方法3)類目序號(hào)與在類目?jī)?nèi)設(shè)定的類目?jī)?nèi)的幀序號(hào)構(gòu)成。
這里，類目序號(hào)可以是從第1類目起順序附加的絕對(duì)序號(hào)，也可以是與當(dāng) 前幀的類目序號(hào)的差分。幀序號(hào)同樣可以是從類目的第1幀起順序附加的絕對(duì) 序號(hào)，也可以是與當(dāng)前幀的差分。
才艮據(jù)方法3，由于向每個(gè)類目分配不同的幀序號(hào)，所以幀序號(hào)的管理筒易， 另外，可減輕由于傳輸錯(cuò)誤而不能解碼特定類目的幀時(shí)的、參照?qǐng)D像的不一致。
例如，在圖l(C)中，在由于傳輸錯(cuò)誤而不能解碼第2幀(第3類目?jī)?nèi)的第 1個(gè)幀)的情況下，得不到第2幀的解碼圖像，向參照第2幀的幀傳播錯(cuò)誤。
在將類目?jī)?nèi)的幀序號(hào)設(shè)為與第1幀的絕對(duì)序號(hào)的情況下，當(dāng)圖l(C)所示的 第3類目?jī)?nèi)的第2個(gè)幀未參照第3類目?jī)?nèi)的第1個(gè)幀的情況下，可根據(jù)第3 類目?jī)?nèi)的第2個(gè)幀來正確解碼。因此，若在第3類目?jī)?nèi)的第2個(gè)幀之后參照第 3類目?jī)?nèi)的第1個(gè)幀以外的幀，則可正確解碼該幀。
另夕卜，在將類目?jī)?nèi)的幀序號(hào)設(shè)為與當(dāng)前幀的相對(duì)序號(hào)的情況下，第2類目 的幀的全部幀序號(hào)會(huì)錯(cuò)位。但是，若在第2幀之后的幀不參照第2類目的幀，則可正確解碼其它類目的幀。
另外，通過向?qū)儆诋?dāng)前類目序號(hào)以下的幀分配暫定幀序號(hào)，則可僅向可在 預(yù)測(cè)圖像步驟中選擇的幀分配固有的序號(hào)。另外，不向不能在預(yù)測(cè)圖像步驟中 選擇的幀分配序號(hào)。因此，即便在圖像解碼側(cè)未解碼類目序號(hào)比當(dāng)前幀大的幀 的情況下，也由于可正確指定參照?qǐng)D像，所以可得到正確的解碼圖像。
另外，通過使用過去編碼的幀的編碼順序，可設(shè)定暫定幀序號(hào)，使得越是 最近編碼的幀，則參照?qǐng)D像指定信息的編碼量越少。由此，可降低參照?qǐng)D像指 定信息的編碼量，提高編碼效率。
根據(jù)本發(fā)明第5方面的圖像編碼方法或本發(fā)明第6方面的圖像解碼方法， 可將參照?qǐng)D像與參照?qǐng)D像指定信息的對(duì)應(yīng)變更為幀或切片(slice)單位。通過變 更參照?qǐng)D像指定信息以削減編碼量，可提高整體的編碼效率。
根據(jù)本發(fā)明第7方面的圖像編碼方法或本發(fā)明第8方面的圖像解碼方法， 就MCTF編碼方式而言，由于在編碼當(dāng)前幀時(shí)，增加參照?qǐng)D像信息的替補(bǔ)， 所以提高編碼效率。
另夕卜，在本發(fā)明中，各類目的參照?qǐng)D像存儲(chǔ)器可由物理上不同的存儲(chǔ)器構(gòu) 成，也可邏輯上相區(qū)別地構(gòu)成。另外，也可對(duì)幀或多個(gè)幀的每個(gè)，變更各類目 的參照?qǐng)D像存儲(chǔ)器量的分配。
另外，也可設(shè)定成每個(gè)類目下幀內(nèi)象素?cái)?shù)不同。例如，可將圖1中的第2 層或第3層的象素?cái)?shù)設(shè)為第l層的縱向橫向一半，或2倍。此時(shí)，當(dāng)由預(yù)測(cè)圖 像制作部制作預(yù)測(cè)圖像時(shí)，必需進(jìn)行基于仿射變換等的放大、縮小、或高分辯 率變換。
就高分辯率變換而言，報(bào)告根據(jù)多個(gè)圖像來得到高分辯率的圖像的方法， 最好利用這些方法(例如參照非專利文獻(xiàn)3或非專利文獻(xiàn)4)。另外，也可設(shè)定 成對(duì)每個(gè)類目、使象素的灰度(比特?cái)?shù))不同。例如，可將圖1中的第1層的灰 度設(shè)為8比特，將第2層或第3層的灰度設(shè)為4比特。此時(shí)，當(dāng)由預(yù)測(cè)圖像制 作部制作預(yù)測(cè)圖像時(shí)，必需增加或減少灰度。
本發(fā)明以由多個(gè)幀構(gòu)成的圖像為目的地。多個(gè)幀例如可構(gòu)成動(dòng)態(tài)圖像，或 構(gòu)成改變視點(diǎn)來拍攝得到的多視點(diǎn)圖像。
根據(jù)本發(fā)明，當(dāng)編碼或解碼多個(gè)幀的圖像時(shí)，將參照?qǐng)D像存儲(chǔ)器分割成多個(gè)類目，通過對(duì)每個(gè)類目管理參照?qǐng)D像，在解碼類目的情況下與不解碼類目的 情況下，指定相同的參照?qǐng)D像，可得到正確的解碼圖像。另外，對(duì)每個(gè)類目可 增多參照?qǐng)D像數(shù)量，提高編碼效率。


圖1是表示層構(gòu)成的預(yù)測(cè)關(guān)系實(shí)例的圖。 圖2是表示參照?qǐng)D像指定信息的實(shí)例的圖。
圖3是表示參照?qǐng)D像指定信息的實(shí)例的圖。 圖4是表示圖像編碼裝置的第1構(gòu)成例的圖。 圖5是表示圖像編碼處理流的一例的圖。 圖6是表示圖像解碼裝置的第1構(gòu)成例的圖。 圖7是表示圖像解碼處理流的一例的圖。 圖8是表示圖像編碼裝置的第2構(gòu)成例的圖。 圖9是表示圖像解碼裝置的第2構(gòu)成例的圖。 圖10是說明基于與現(xiàn)有技術(shù)的比較的本發(fā)明效果的圖。 圖ll是表示層構(gòu)成的預(yù)測(cè)關(guān)系實(shí)例的圖。 圖12是表示圖像編碼裝置的第3構(gòu)成例的圖。 圖13是表示圖像解碼裝置的第3構(gòu)成例的圖。 圖14是表示MCTF圖像編碼實(shí)例的圖。 圖15是表示MCTF圖像解碼實(shí)例的圖。 圖16是表示動(dòng)態(tài)圖像的預(yù)測(cè)關(guān)系實(shí)例的圖。 圖17是表示動(dòng)態(tài)圖像的預(yù)測(cè)關(guān)系實(shí)例的圖。 圖18是表示MCTF編碼中的時(shí)間方向的濾波器實(shí)例的圖。 圖19是表示Haar基底下的Lifting Scheme實(shí)例的圖。 圖20是表示參照?qǐng)D像指定信息編碼部的一構(gòu)成例的圖。 圖21是表示暫定幀序號(hào)設(shè)定部的一構(gòu)成例的圖。 圖22是表示暫定幀序號(hào)設(shè)定部的其它構(gòu)成例的圖。 圖23是表示暫定幀序號(hào)確定部的一構(gòu)成例的圖。 圖24是表示參照?qǐng)D像指定信息解碼部的一構(gòu)成例的圖。
具體實(shí)施方式
參照附圖來說明本發(fā)明的實(shí)施方式。在本實(shí)施方式中，設(shè)將圖像分類成3
個(gè)類目，不可逆編碼圖像。第l類目的輸入圖像將第l類目的解碼圖像設(shè)為參
照?qǐng)D像的替補(bǔ)，第2類目的輸入圖像將第1類目與第2類目的解碼圖像設(shè)為參 照?qǐng)D像的替補(bǔ)，第3類目的輸入圖像將第l類目、第2類目與第3類目的解碼 圖像設(shè)為參照?qǐng)D像的替補(bǔ)。
作為本發(fā)明的實(shí)施方式，示出編碼圖l所示圖像時(shí)的實(shí)例。另外還示出如 下實(shí)例，將1幀分割成縱向橫向16個(gè)象素的微塊，并對(duì)每個(gè)微塊選擇并編碼 參照?qǐng)D像，以使差分編碼數(shù)據(jù)的編碼量為最小。
圖4是表示本發(fā)明實(shí)施方式的圖像編碼裝置的構(gòu)成圖。圖像編碼裝置1 具備取入圖像信息的圖像輸入部101;將輸入圖像分割成3個(gè)類目的圖像分 類部102;制作預(yù)測(cè)圖^象的預(yù)測(cè)圖像制作部103;編碼輸入圖像信息與預(yù)測(cè)圖 像的差分的差分編碼部104;編碼參照?qǐng)D像指定信息的參照?qǐng)D像指定信息編碼 部105;編碼當(dāng)前幀的類目序號(hào)的當(dāng)前類目編碼部106;存儲(chǔ)解碼圖^f象的參照 圖像存儲(chǔ)器107;解碼部108,解碼由差分編碼部104制作的差分編碼數(shù)據(jù)， 并制作解碼圖像；編碼量計(jì)測(cè)部109,計(jì)測(cè)差分編碼部104制作的差分編碼數(shù) 據(jù)的編碼量；參照?qǐng)D像切換部IIO，控制預(yù)測(cè)圖像制作部103中使用的參照?qǐng)D 像的切換；利用參照?qǐng)D像切換部IIO的控制來切換參照?qǐng)D像的開關(guān)部111;和 切換差分編碼數(shù)據(jù)的輸出與編碼量的計(jì)測(cè)的開關(guān)部112。
設(shè)參照?qǐng)D像指定信息編碼部105編碼如圖2所示的、按照所述方法1附加 的參照?qǐng)D像指定信息。
在參照?qǐng)DY象存儲(chǔ)器107中，具備可存儲(chǔ)7幀大小圖像的存儲(chǔ)器，向第1 類目分配2幀大小的存儲(chǔ)器(C1),向第2類目分配2幀大小的存儲(chǔ)器(C2),向 第3類目分酉己3幀大小的存儲(chǔ)器(C3)。
在各類目中，當(dāng)在重新存儲(chǔ)解碼圖像時(shí)、在全部存儲(chǔ)器中存儲(chǔ)圖像的情況 下，廢棄最早存儲(chǔ)的圖像，存儲(chǔ)解碼圖像。圖像輸入部101按圖l(C)的各幀內(nèi) 記載的數(shù)字所示順序，取入輸入圖像，將輸入圖像分割成微塊。
圖像分類部102將各幀分類成圖1所示的類目(第1層、第2層、第3層)。 當(dāng)前類目編碼部106固定長度編碼當(dāng)前幀的類目序號(hào)。預(yù)測(cè)圖像制作部103 在輸入圖像與參照?qǐng)D像之間進(jìn)行動(dòng)作探索，將差分為最小的位置的圖像設(shè)為預(yù)
16測(cè)圖<象。
差分編碼部104將動(dòng)作矢量信息作為差分編碼數(shù)據(jù)的一部分編碼。另夕卜， 設(shè)已編碼第1幀，將解碼圖像存儲(chǔ)在參照?qǐng)D像存儲(chǔ)器107中。
在這種前提下如下編碼輸入圖像。首先，圖^f象輸入部101取入圖l(C)的第 5幀，分割成微塊。圖像分類部102將輸入圖像分類成第1類目。當(dāng)前類目編 碼部106對(duì)是第1類目的情況進(jìn)行編碼。
參照?qǐng)D像切換部110將參照?qǐng)D像設(shè)定成第1類目的第1幀。預(yù)測(cè)圖像制作 部103根據(jù)參照?qǐng)D像來制作預(yù)測(cè)圖像。差分編碼部104對(duì)每個(gè)微塊制作差分編 碼數(shù)據(jù)。由于該幀中參照?qǐng)D像的替補(bǔ)為1幀，所以編碼量計(jì)測(cè)部109不計(jì)測(cè)編 碼量，從開關(guān)部112輸出差分編碼數(shù)據(jù)。另外，解碼部108解碼差分編碼數(shù)據(jù)。
參照?qǐng)D像指定信息編碼部105編碼參照?qǐng)D像指定信息。在編碼全部微塊之 后，將解碼圖像存儲(chǔ)在參照?qǐng)D像存儲(chǔ)器107的第1類目用存儲(chǔ)器(C1)中。在編 碼第5幀后的參照?qǐng)D像存儲(chǔ)器107中，將第1幀與第5幀的解碼圖像存儲(chǔ)在第 1類目用存儲(chǔ)器(C1)中。
接著，圖像輸入部101取入圖l(C)的第3幀，分割成微塊。圖像分類部 102將輸入圖像分類成第2類目。當(dāng)前類目編碼部106對(duì)是第2類目的情況進(jìn) 行編碼。
之后，對(duì)每個(gè)微塊如下編碼。首先，參照?qǐng)D像切換部IIO將參照?qǐng)D像設(shè)定 成第1類目的第1幀。預(yù)測(cè)圖像制作部103根據(jù)參照?qǐng)D像來制作預(yù)測(cè)圖像。差 分編碼部104制作差分編碼數(shù)據(jù)。編碼量計(jì)測(cè)部109計(jì)測(cè)差分編碼lt據(jù)的編碼 量。
接著，參照?qǐng)D像切換部110將參照?qǐng)D像設(shè)定成第1類目的第2幀。差分編 碼部104制作差分編碼數(shù)據(jù)。編碼量計(jì)測(cè)部109計(jì)測(cè)差分編碼數(shù)據(jù)的編碼量。
另夕卜，參照?qǐng)D像切換部IIO將編碼量計(jì)測(cè)部109得到的編碼量中值最小時(shí) 的幀設(shè)定成參照?qǐng)D像。預(yù)測(cè)圖像制作部103根據(jù)參照?qǐng)D像來制作預(yù)測(cè)圖像。差 分編碼數(shù)據(jù)制作并輸出差分編碼數(shù)據(jù)。解碼部108解碼差分編碼數(shù)據(jù)。參照?qǐng)D 像指定信息編碼部105編碼參照?qǐng)D像指定信息。
對(duì)全部微塊執(zhí)行這種處理。在編碼全部微塊之后，將解碼圖像存儲(chǔ)在參照 圖像存儲(chǔ)器107的第2類目用存儲(chǔ)器(C2)中。在編碼第3幀后的參照?qǐng)D像存儲(chǔ)器107中，將第1幀與第5幀的解碼圖像存儲(chǔ)在第1類目用存儲(chǔ)器(C1)中，將 第3幀的解碼圖像存儲(chǔ)在第2類目用存儲(chǔ)器(C2)中。
接著，圖像輸入部101取入圖l(C)的第2幀，分割成微塊。圖像分類部 102將輸入圖像分類成第3類目。當(dāng)前類目編碼部106對(duì)是第3類目的情況進(jìn) 行編碼。
之后，對(duì)每個(gè)微塊如下編碼。首先，參照?qǐng)D像切換部110將參照?qǐng)D像設(shè)定 成第1類目的第1幀。預(yù)測(cè)圖像制作部103根據(jù)參照?qǐng)D像來制作預(yù)測(cè)圖像。差 分編碼部104制作差分編碼數(shù)據(jù)。編碼量計(jì)測(cè)部109計(jì)測(cè)差分編碼lt據(jù)的編碼 量。
對(duì)全部參照?qǐng)D像的替補(bǔ)執(zhí)行這種處理。參照?qǐng)D像的替補(bǔ)是存儲(chǔ)在參照?qǐng)D像 存儲(chǔ)器107的第1類目用存儲(chǔ)器(C1)或第2類目用存儲(chǔ)器(C2)中的圖像(第1 幀、第5幀、第3幀)。
另夕卜，參照?qǐng)D像切換部IIO將編碼量計(jì)測(cè)部109得到的編碼量中值最小時(shí) 的幀設(shè)定成參照?qǐng)D像。預(yù)測(cè)圖像制作部103根據(jù)參照?qǐng)D像來制作預(yù)測(cè)圖像。差 分編碼部104制作并輸出差分編碼數(shù)據(jù)。解碼部108解碼差分編碼數(shù)據(jù)。參照 圖像指定信息編碼部105編碼參照?qǐng)D像指定信息。
對(duì)全部微塊執(zhí)行這種處理。在編碼全部微塊之后，將解碼圖像存儲(chǔ)在參照 圖像存儲(chǔ)器107的第3類目用存儲(chǔ)器(C3)中。在編碼第2幀后的參照?qǐng)D像存儲(chǔ) 器107中，將第1幀與第5幀的解碼圖像存儲(chǔ)在第1類目用存儲(chǔ)器(C1)中，將 第3幀的解碼圖像存儲(chǔ)在第2類目用存儲(chǔ)器(C2)中，將第2幀的解碼圖像存儲(chǔ) 在第3類目用存儲(chǔ)器(C3)中。
下面，第4巾貞與第2巾貞一樣，分類成第3類目，對(duì)每個(gè)微塊，邊切換參照 圖像邊求出差分編碼數(shù)據(jù)，確定參照?qǐng)D像，以使編碼量最小，制作解碼圖像。
參照?qǐng)D像的替補(bǔ)是存儲(chǔ)在參照?qǐng)D像存儲(chǔ)器107的第1類目或第2類目或第 3類目用存儲(chǔ)器(C1或C2或C3)中的圖像(第l幀、第5幀、第3幀、第2幀)。
在編碼全部^:塊之后，將解碼圖像存儲(chǔ)在參照?qǐng)D像存儲(chǔ)器107的第3類目 用存儲(chǔ)器(C3)中。在編碼第4幀后的參照?qǐng)D像存儲(chǔ)器107中，將第1幀與第5 幀的解碼圖像存儲(chǔ)在第1類目用存儲(chǔ)器(C1)中，將第3幀的解碼圖像存儲(chǔ)在第 2類目用存儲(chǔ)器(C2)中，將第2幀與第4幀的解碼圖像存儲(chǔ)在第3類目用存儲(chǔ)
18器(C3)中。
下面，第9幀與第5幀一樣，分類成第1類目，對(duì)每個(gè)微塊，邊切換參照 圖像邊求出差分編碼數(shù)據(jù)，確定參照?qǐng)D像，以使編碼量最小，制作解碼圖像。 參照?qǐng)D像的替補(bǔ)是存儲(chǔ)在參照?qǐng)D像存儲(chǔ)器107的第1類目用存儲(chǔ)器中的圖像 (第1幀、第5幀)。
在編碼全部微塊之后，將解碼圖像存儲(chǔ)在參照?qǐng)D像存儲(chǔ)器107的第1類目 用存儲(chǔ)器(C1)中。此時(shí)，由于第1類目用存儲(chǔ)器(C1)僅能存儲(chǔ)2幀大小，所以 在廢棄最早存儲(chǔ)的第1幀的圖像之后，存儲(chǔ)第9幀的解碼圖像。
在編碼第9幀后的參照?qǐng)D像存儲(chǔ)器107中，將第5幀與第9幀的解碼圖像 存儲(chǔ)在第1類目用存儲(chǔ)器(C1)中，將第3幀的解碼圖像存儲(chǔ)在第2類目用存儲(chǔ) 器(C2)中，將第2幀與第4幀的解碼圖像存儲(chǔ)在第3類目用存儲(chǔ)器(C3)中。
下面，第7幀與第3幀一樣，分類成第2類目，對(duì)每個(gè)微塊，邊切換參照 圖像邊求出差分編碼數(shù)據(jù)，確定參照?qǐng)D像，以使編碼量最小，制作解碼圖像。 參照?qǐng)D像的替補(bǔ)是存儲(chǔ)在參照?qǐng)D像存儲(chǔ)器107的第1類目或第2類目用存儲(chǔ)器 (C1或C2)中的圖像(第5幀、第9幀、第3幀)。
在編碼全部微塊之后，將解碼圖像存儲(chǔ)在參照?qǐng)D像存儲(chǔ)器107的第2類目 用存儲(chǔ)器(C2)中。在編碼第7幀后的參照?qǐng)D像存儲(chǔ)器107中，將第5幀與第9 幀的解碼圖像存儲(chǔ)在第1類目用存儲(chǔ)器(C1)中，將第3幀與第7幀的解碼圖像 存儲(chǔ)在第2類目用存儲(chǔ)器(C2)中，將第2幀與第4幀的解碼圖像存儲(chǔ)在第3類 目用存儲(chǔ)器(C3)中。
下面，第6幀與第2幀一樣，分類成第3類目，對(duì)每個(gè)微塊，邊切換參照 圖像邊求出差分編碼數(shù)據(jù)，確定參照?qǐng)D像，以使編碼量最小，制作解碼圖^象。
參照?qǐng)D像的替補(bǔ)是存儲(chǔ)在參照?qǐng)D像存儲(chǔ)器107的第1類目或第2類目用存 儲(chǔ)器(C1或C2)或第3類目用存儲(chǔ)器(C3)中的圖像(第5幀、第9幀、第3幀、 第7幀、第2幀、第4幀)。
在編碼全部微塊之后，將解碼圖像存儲(chǔ)在參照?qǐng)D像存^f渚器107的第3類目 用存儲(chǔ)器(C3)中。在編碼第6幀后的參照?qǐng)D像存儲(chǔ)器107中，將第5幀與第9 幀的解碼圖像存儲(chǔ)在第1類目用存儲(chǔ)器(C1)中，將第3幀與第7幀的解碼圖像 存儲(chǔ)在第2類目用存儲(chǔ)器(C2)中，將第2幀、第4幀與第6幀的解碼圖像存儲(chǔ)在第3類目用存儲(chǔ)器(C3)中。
下面，第8幀與第2幀一樣，分類成第3類目，對(duì)每個(gè)微塊，邊切換參照 圖像邊求出差分編碼數(shù)據(jù)，確定參照?qǐng)D像，以使編碼量最小，制作解碼圖像。
參照?qǐng)D像的替補(bǔ)是存儲(chǔ)在參照?qǐng)D像存儲(chǔ)器107的第1類目或第2類目或第 3類目用存儲(chǔ)器(C1或C2或C3)中的圖像(第5幀、第9幀、第3幀、第7幀、 第2幀、第4幀、第6幀)。
在編碼全部^f效塊之后，將解碼圖像存儲(chǔ)在參照?qǐng)D像存儲(chǔ)器107的第3類目 用存儲(chǔ)器(C3)中。此時(shí)，由于第3類目用存儲(chǔ)器(C3)僅能存儲(chǔ)3幀大小，所以 在廢棄最早存儲(chǔ)的第2幀的圖像之后，存儲(chǔ)第8幀的解碼圖像。
在編碼第.8幀后的參照?qǐng)D^象存儲(chǔ)器107中，將第5幀與第9幀的解碼圖像 存儲(chǔ)在第1類目用存儲(chǔ)器(C1)中，將第3幀與第7幀的解碼圖《象存^f諸在第2類 目用存儲(chǔ)器(C2)中，將第4幀、第6幀與第8幀的解碼圖像存儲(chǔ)在第3類目用 存儲(chǔ)器(C3)中。通過上述操作，進(jìn)行從第1幀至第9幀的編碼。
圖5是表示本發(fā)明實(shí)施方式的圖像編碼處理流的一例的圖。首先，輸入圖 像信息(幀)，并分割成微塊(步驟S1)。向分割后的微塊附加例如塊序號(hào)k(k-l、 2、 3...)。
之后，將輸入圖像分類成類目(步驟S2)。編碼當(dāng)前幀的類目序號(hào)(步驟S3)。 取出最初的微塊(塊序號(hào)k-l)(步驟S4)，選擇當(dāng)前幀的參照?qǐng)D像替補(bǔ)(步驟S5), 根據(jù)選擇到的參照?qǐng)D像替補(bǔ)來制作預(yù)測(cè)圖像(步驟S6)。
對(duì)當(dāng)前幀的圖像信息與根據(jù)選擇的參照?qǐng)D像替補(bǔ)來制作的預(yù)測(cè)圖像的差 分進(jìn)行編碼(步驟S7)。之后，計(jì)測(cè)差分編碼數(shù)據(jù)的編碼量(步驟S8)。
判定是否有未選擇的參照?qǐng)D像替補(bǔ)(步驟S9),若有未選擇的參照?qǐng)D像替 補(bǔ)，則返回步驟S5,若沒有未選擇的參照?qǐng)D像替補(bǔ)，則將差分編碼數(shù)據(jù)的編 碼量最小的參照?qǐng)D像替補(bǔ)設(shè)定成當(dāng)前幀的參照?qǐng)D像(步驟S10)。
根據(jù)設(shè)定的參照?qǐng)D像來制作預(yù)測(cè)圖像(步驟Sll),編碼當(dāng)前幀的圖像信息 與根據(jù)設(shè)定的參照?qǐng)D像來制作的預(yù)測(cè)圖像的差分，輸出差分編碼數(shù)據(jù)(步驟 S12)。解碼并存儲(chǔ)差分編碼數(shù)據(jù)(步驟S13)。另外，編碼參照?qǐng)D像指定信息(步 驟S14)。
之后，將塊序號(hào)k加l(步驟S15),判定是否對(duì)全部微塊制作差分編碼數(shù)據(jù)(]OkMAX)(步驟S16)。在存在未制作差分編碼數(shù)據(jù)的微塊的情況下，返回步 驟S5。在對(duì)全部微塊制作差分編碼數(shù)據(jù)的情況下，將解碼圖像存儲(chǔ)在參照?qǐng)D
像存儲(chǔ)器io7中(步驟sn),結(jié)束處理。
圖6是表示本發(fā)明實(shí)施方式的圖像解碼裝置的構(gòu)成圖。圖像解碼裝置2 具備解碼差分編碼數(shù)據(jù)的差分解碼部201;制作預(yù)測(cè)圖像的預(yù)測(cè)圖像制作部 202;解碼參照?qǐng)D像指定信息的參照?qǐng)D像指定信息解碼部203;解碼當(dāng)前幀的 類目序號(hào)的當(dāng)前類目解碼部204;存儲(chǔ)參照?qǐng)D像的參照?qǐng)D像存儲(chǔ)器205;才艮據(jù) 差分圖像與預(yù)測(cè)圖像來制作解碼圖像的解碼圖像制作部206;將解碼圖像存儲(chǔ) 在參照?qǐng)D像存儲(chǔ)器205中的解碼圖像存儲(chǔ)部207;參照?qǐng)D像切換部208,控制 預(yù)測(cè)圖像制作部202使用的參照?qǐng)D像的切換；和利用參照?qǐng)D像切換部208的控 制來切換參照?qǐng)D像的開關(guān)部209。
參照?qǐng)D像指定信息解碼部203如圖2所示，按照方法1來解碼參照?qǐng)D像指 定信息。在參照?qǐng)D像存儲(chǔ)器205中具備可存儲(chǔ)7幀大小圖像的存儲(chǔ)器，向第1 類目分配2幀大小的存儲(chǔ)器(C1)，向第2類目分配2幀大小的存儲(chǔ)器(C2)，向 第3類目分配3幀大小的存儲(chǔ)器(C3)。
在各類目中，當(dāng)在重新存儲(chǔ)解碼圖像時(shí)、在全部存儲(chǔ)器中存儲(chǔ)圖像的情況 下，廢棄最早存儲(chǔ)的圖像，存儲(chǔ)解碼圖像。當(dāng)前類目解碼部204固定長度解碼 當(dāng)前幀的類目序號(hào)。另外，第l幀已被解碼，在參照?qǐng)D像存儲(chǔ)器205中存儲(chǔ)解 碼圖像。
下面，具體說明由所述圖像編碼裝置1編碼的編碼數(shù)據(jù)的解碼處理。當(dāng)前 類目解碼部204對(duì)圖1 (C)的第5幀解碼當(dāng)前幀的類目序號(hào)。之后，對(duì)每個(gè)微塊， 如下制作解碼圖像。
差分解碼部201解碼差分編碼數(shù)據(jù)，制作差分圖i"象。另外，還解碼動(dòng)作矢 量信息。參照?qǐng)D像指定信息解碼部203解碼參照?qǐng)D像指定信息。參照?qǐng)D像切換 部208將參照?qǐng)D像設(shè)定成由參照?qǐng)D像指定信息指定的圖像。參照?qǐng)D像的替補(bǔ)是 存儲(chǔ)在參照?qǐng)D像存儲(chǔ)器25的第1類目用存儲(chǔ)器(C1)中的圖像(第1幀)。預(yù)測(cè)圖 像制作部202根據(jù)參照?qǐng)D像，制作對(duì)應(yīng)于動(dòng)作矢量的預(yù)測(cè)圖像。解碼圖像制作 部206根據(jù)差分圖像和預(yù)測(cè)圖像來制作解碼圖像。
對(duì)全部微塊執(zhí)行這種處理。在解碼全部微塊之后，解碼圖像存儲(chǔ)部207將解碼圖像存儲(chǔ)、輸出到參照?qǐng)D像存儲(chǔ)器205中的指定的類目序號(hào)用存儲(chǔ)器 中。在解碼第5幀后的參照?qǐng)D像存儲(chǔ)器205中，將第1幀與第5幀的解碼圖像 存儲(chǔ)在第1類目用存儲(chǔ)器(C1)中。
第3幀與第5幀一樣，解碼編碼數(shù)據(jù)，得到解碼圖像，存儲(chǔ)輸出到參照?qǐng)D 像存儲(chǔ)器205中。參照?qǐng)D像的替補(bǔ)是存儲(chǔ)在參照?qǐng)D像存儲(chǔ)器205的第1類目用 存儲(chǔ)器(C1)中的圖像(第1幀、第5幀)。
在解碼第3幀后的參照?qǐng)D像存儲(chǔ)器205中，將第1幀與第5幀的解碼圖像 存儲(chǔ)在第1類目用存儲(chǔ)器(C1)中，將第3幀的解碼圖像存儲(chǔ)在第2類目用存儲(chǔ) 器(C2)中。
第2幀與第5幀一樣，解碼編碼數(shù)據(jù)，得到解碼圖像，存儲(chǔ)輸出到參照?qǐng)D 像存儲(chǔ)器205中。參照?qǐng)D像的替補(bǔ)是存儲(chǔ)在參照?qǐng)D像存儲(chǔ)器205的第1類目用 存儲(chǔ)器(C1)或第2類目用存儲(chǔ)器(C2)中的圖像(第1幀、第5幀、第3幀)。
在解碼第2幀后的參照?qǐng)D像存儲(chǔ)器205中，將第1幀與第5幀的解碼圖像 存儲(chǔ)在第1類目用存儲(chǔ)器(C1)中，將第3幀的解碼圖像存儲(chǔ)在第2類目用存儲(chǔ) 器(C2)中，將第2幀的解碼圖像存儲(chǔ)在第3類目用存儲(chǔ)器(C3)中。
第4幀與第5幀一樣，解碼編碼數(shù)據(jù)，得到解碼圖像，存儲(chǔ)輸出到參照?qǐng)D 像存儲(chǔ)器205中。參照?qǐng)D像的替補(bǔ)是存儲(chǔ)在參照?qǐng)D像存儲(chǔ)器205的第1類目或 第2類目或第3類目用存儲(chǔ)器(C1或C2或C3)中的圖像(第1幀、第5幀、第 3幀、第2幀)。
在解碼第4幀后的參照?qǐng)D像存儲(chǔ)器205中，將第1幀與第5幀的解碼圖像 存儲(chǔ)在第1類目用存儲(chǔ)器(C1)中，將第3幀的解碼圖像存儲(chǔ)在第2類目用存儲(chǔ) 器(C2)中，將第2幀與第4幀的解碼圖像存儲(chǔ)在第3類目用存儲(chǔ)器(C3)中。
第9幀與第5幀一樣，解碼編碼數(shù)據(jù)，得到解碼圖像，存儲(chǔ)輸出到參照?qǐng)D 像存儲(chǔ)器205中。參照?qǐng)D像的替補(bǔ)是存儲(chǔ)在參照?qǐng)D像存儲(chǔ)器205的第1類目用 存儲(chǔ)器(C1)中的圖像(第1幀、第5幀)。此時(shí)，由于第1類目用存儲(chǔ)器(C1)僅 能存儲(chǔ)2幀大小，所以在廢棄最早存儲(chǔ)的第1幀的圖像之后，存儲(chǔ)第9幀的解 碼圖像。
在解碼第9幀后的參照?qǐng)D像存儲(chǔ)器205中，將第5幀與第9幀的解碼圖像 存儲(chǔ)在第1類目用存儲(chǔ)器(C1)中，將第3幀的解碼圖像存儲(chǔ)在第2類目用存儲(chǔ)器(C2)中，將第2幀與第4幀的解碼圖像存儲(chǔ)在第3類目用存儲(chǔ)器(C3)中。
第7幀與第5幀一樣，解碼編碼數(shù)據(jù)，得到解碼圖^^，存儲(chǔ)輸出到參照?qǐng)D 像存儲(chǔ)器205中。參照?qǐng)D像的替補(bǔ)是存儲(chǔ)在參照?qǐng)D像存儲(chǔ)器205的第1類目或 第2類目用存儲(chǔ)器(C1或C2)中的圖像(第5幀、第9幀、第3楨)。
在解碼第7幀后的參照?qǐng)D像存儲(chǔ)器205中，將第5幀與第9幀的解碼圖像 存儲(chǔ)在第1類目用存儲(chǔ)器(C1)中，將第3幀與第7幀的解碼圖像存儲(chǔ)在第2類 目用存儲(chǔ)器(C2)中，將第2幀與第4幀的解碼圖像存儲(chǔ)在第3類目用存儲(chǔ)器(C3) 中。
第6幀與第5幀一樣，解碼編碼數(shù)據(jù)，得到解碼圖像，存儲(chǔ)輸出到參照?qǐng)D 像存儲(chǔ)器205中。參照?qǐng)D像的替補(bǔ)是存儲(chǔ)在參照?qǐng)D像存儲(chǔ)器205的第1類目或 第2類目或第3類目用存儲(chǔ)器(C1或C2或C3)中的圖像(第5幀、第9幀、第 3幀、第7幀、第2幀、第4幀)。
在解碼第6幀后的參照?qǐng)D像存儲(chǔ)器205中，將第5幀與第9幀的解碼圖^f象 存儲(chǔ)在第1類目用存儲(chǔ)器(C1)中，將第3幀與第7幀的解碼圖像存儲(chǔ)在第2類 目用存儲(chǔ)器(C2)中，將第2幀與第4幀的解碼圖像存儲(chǔ)在第3類目用存儲(chǔ)器(C3) 中。
第8幀與第5幀一樣，解碼編碼數(shù)據(jù)，得到解碼圖像，存儲(chǔ)輸出到參照?qǐng)D 像存儲(chǔ)器205中。參照?qǐng)D像的替補(bǔ)是存儲(chǔ)在參照?qǐng)D像存儲(chǔ)器205的第1類目或 第2類目或第3類目用存儲(chǔ)器(C1或C2或C3)中的圖像(第5幀、第9幀、第 3幀、第7幀、第2幀、第4幀、第6幀)。
此時(shí)，由于第3類目用存儲(chǔ)器(C3)僅能存儲(chǔ)3幀大小，所以在廢棄最早存 儲(chǔ)的第2幀的圖像之后，存儲(chǔ)第8幀的解碼圖像。在解碼第8幀后的參照?qǐng)Di"象 存儲(chǔ)器205中，將第5幀與第9幀的解碼圖像存儲(chǔ)在第1類目用存儲(chǔ)器(C1) 中，將第3幀與第7幀的解碼圖像存儲(chǔ)在第2類目用存儲(chǔ)器(C2)中，將第4幀、 第6幀與第8幀的解碼圖像存儲(chǔ)在第3類目用存儲(chǔ)器(C3)中。通過上述操作， 進(jìn)行從第1幀至第9幀的解碼。
圖7是表示本發(fā)明實(shí)施方式的圖像解碼處理流的一例的圖。說明已解碼第 l幀、將解碼圖像存儲(chǔ)在參照?qǐng)D像存儲(chǔ)器205中之后的處理流。首先，解碼當(dāng) 前幀的類目序號(hào)(步驟S21)。設(shè)塊序號(hào)k-l(步驟S22)。解碼差分編碼數(shù)據(jù)，制作差分圖像，另外，解碼動(dòng)作矢量信息(步驟S23)。 解碼參照?qǐng)D像指定信息(步驟S24),將參照?qǐng)D像設(shè)定成由參照?qǐng)D像指定信息指 定的圖像(步驟S25)。根據(jù)參照?qǐng)D像來制作對(duì)應(yīng)于動(dòng)作矢量的預(yù)測(cè)圖像(步驟 S26)。
之后，根據(jù)差分圖像與預(yù)測(cè)圖像來制作解碼圖像(步驟S27),將塊序號(hào)k 加l(步驟S28)，判定是否對(duì)全部微塊制作解碼圖像(lOkMAX)(步驟S29)。
在存在未制作解碼圖像的微塊的情況下，返回步驟S23,在對(duì)全部微塊制 作解碼圖像的情況下，將解碼圖像存儲(chǔ)在由類目序號(hào)指定的參照?qǐng)D像存儲(chǔ)器中 (步驟S30),輸出解碼圖像(步驟S31),結(jié)束處理。
下面，說明本發(fā)明的實(shí)施方式中、變更時(shí)間分辯率后解碼時(shí)的實(shí)例。已解 碼第1幀，將解碼圖像存儲(chǔ)在參照?qǐng)D像存儲(chǔ)器205中。在本例中，僅從編碼數(shù) 據(jù)中解碼第l類目(圖l(C)的第5幀與第9幀)與第2類目(圖l(C)的第3幀與 第7幀)的圖像。
第5幀與上迷實(shí)例一樣，解碼編碼數(shù)據(jù)，得到解碼圖像，存儲(chǔ)輸出到參照 圖像存儲(chǔ)器205中。參照?qǐng)D像的替補(bǔ)是存儲(chǔ)在參照?qǐng)D像存儲(chǔ)器205的第1類目 用存儲(chǔ)器(C1)中的圖像(第1幀)。在解碼第5幀后的參照?qǐng)D像存儲(chǔ)器205中， 將第l幀與第5幀的解碼圖像存儲(chǔ)在第1類目用存儲(chǔ)器(C1)中。
第3幀與第5幀一樣，解碼編碼數(shù)據(jù)，得到解碼圖像，存儲(chǔ)輸出到參照?qǐng)D 像存儲(chǔ)器205中。參照?qǐng)D像的替補(bǔ)是存儲(chǔ)在參照?qǐng)D像存儲(chǔ)器205的第1類目用 存儲(chǔ)器(C1)中的圖像(第1幀、第5幀)。在解碼第3幀后的參照?qǐng)D像存儲(chǔ)器205 中，將第l幀與第5幀的解碼圖^f象存儲(chǔ)在第1類目用存儲(chǔ)器(C1)中，將第3幀 的解碼圖像存儲(chǔ)在第2類目用存儲(chǔ)器(C1)中。
第9幀與第5幀一樣，解碼編碼數(shù)據(jù)，得到解碼圖像，存儲(chǔ)輸出到參照?qǐng)D 像存儲(chǔ)器205中。參照?qǐng)D像的替補(bǔ)是存儲(chǔ)在第1類目用存儲(chǔ)器(C1)的圖像(第1 幀、第5幀)。此時(shí)，由于第1類目用存儲(chǔ)器(C1)僅能存儲(chǔ)2幀大小，所以在 廢棄最早存儲(chǔ)的第1幀的圖像之后，存儲(chǔ)第9幀的解碼圖像。在解碼第9幀后 的參照?qǐng)D像存儲(chǔ)器205中，將第5幀與第9幀的解碼圖像存儲(chǔ)在第1類目用存 儲(chǔ)器(C1)中，將第3幀的解碼圖像存儲(chǔ)在第2類目用存儲(chǔ)器(C2)中。
第7幀與第5幀一樣，解碼編碼數(shù)據(jù)，得到解碼圖像，存儲(chǔ)輸出到參照?qǐng)D像存儲(chǔ)器205中。參照?qǐng)D像的替補(bǔ)是存儲(chǔ)在參照?qǐng)D像存儲(chǔ)器205的第1類目或 第2類目用存儲(chǔ)器(C1或C2)中的圖像(第5幀、第9幀、第3幀)。
在解碼第7幀后的參照?qǐng)D像存儲(chǔ)器205中，將第5幀與第9幀的解碼圖像 存儲(chǔ)在第1類目用存儲(chǔ)器(C1)中，將第3幀與第7幀的解碼圖像存儲(chǔ)在第2類 目用存儲(chǔ)器(C2)中。
通過上述操作，盡管不解碼第3類目的圖像，也可正確解碼第l類目與第 2類目的圖像。同樣，也可僅解碼第1類目的圖像。
本實(shí)施例中的參照?qǐng)D像指定信息編碼部根據(jù)方法1編碼參照?qǐng)D像指定信 息，參照?qǐng)D像指定信息解碼部根據(jù)方法1來解碼參照?qǐng)D像指定信息，但也可根 據(jù)暫定幀序號(hào)來確定并編碼參照?qǐng)D像指定信息。圖20示出使用該方法時(shí)的圖 像編碼裝置的參照?qǐng)D像指定信息編碼部105的構(gòu)成。
參照?qǐng)D像指定信息編碼部105由暫定幀序號(hào)設(shè)定部1051與暫定幀序號(hào)編 碼部1052構(gòu)成。這里，暫定幀序號(hào)設(shè)定部1051對(duì)存儲(chǔ)在參照?qǐng)D4象存儲(chǔ)器107 中的多個(gè)圖像信息中、屬于當(dāng)前幀的類目以下的幀的圖像信息，設(shè)定暫定幀序 號(hào)。暫定幀序號(hào)編碼部1052編碼指定由預(yù)測(cè)圖像制作部103選擇的幀的暫定 幀序號(hào)，作為參照?qǐng)D像指定信息。
作為由暫定幀序號(hào)設(shè)定部1051設(shè)定暫定幀序號(hào)的方法，也可用實(shí)施例中 記載的方法l、方法2或方法3。另外，作為利用各幀的編碼順序的方法，例 如以下實(shí)例。暫定幀序號(hào)設(shè)定部1051如圖21所示，由編碼順序記錄部10511 與暫定幀序號(hào)確定部10512構(gòu)成。編碼順序記錄部10511記錄過去編碼的幀的 編碼順序，作為每個(gè)類目的編碼順序序號(hào)。暫定幀序號(hào)確定部10512根據(jù)過去 編碼的幀的編碼順序序號(hào)與當(dāng)前幀的類目序號(hào)，確定過去編碼的幀的暫定幀序 號(hào)。
或者，也可如圖22所示構(gòu)成暫定幀序號(hào)設(shè)定部1051。此時(shí)，暫定幀序號(hào) 設(shè)定部1051由編碼順序記錄部10511、類目序號(hào)記錄部10513與暫定幀序號(hào) 確定部10512構(gòu)成。這里的編碼順序記錄部10511記錄過去編碼的幀的編碼順 序，作為編碼順序序號(hào)，類目序號(hào)記錄部10513記錄過去編碼的幀的類目序號(hào)。 即，編碼順序記錄部10511不存儲(chǔ)每個(gè)類目的編碼順序，與類目無關(guān)地記錄各 幀的編碼順序。另外，暫定幀序號(hào)確定部10512根據(jù)過去編碼的幀的編碼順序
25序號(hào)與當(dāng)前幀的類目序號(hào)，確定過去編碼的幀的暫定幀序號(hào)。
這里，暫定幀序號(hào)確定部10512也可如下一艮據(jù)編碼順序來確定暫定幀序 號(hào)。如圖23所示，由差分幀序號(hào)分配部105121與暫定幀序號(hào)算出部105122 構(gòu)成暫定幀序號(hào)確定部10512。差分幀序號(hào)分配部105121按照預(yù)先設(shè)定的規(guī) 則，根據(jù)編碼順序序號(hào)來分配差分幀序號(hào)。之后，暫定幀序號(hào)算出部105122 根據(jù)差分幀序號(hào)與當(dāng)前幀的類目序號(hào)的組合，算出暫定幀序號(hào)。此時(shí)，對(duì)差分 幀序號(hào)與當(dāng)前幀的類目序號(hào)的組合預(yù)先配備分配暫定幀序號(hào)的表，根據(jù)差分幀 序號(hào)與當(dāng)前幀的類目序號(hào)，參照表，求出暫定幀序號(hào)即可。或者，對(duì)差分幀序 號(hào)與當(dāng)前幀的類目序號(hào)的組合預(yù)先設(shè)定算出暫定幀序號(hào)的計(jì)算式，根據(jù)差分幀 序號(hào)與當(dāng)前幀的類目序號(hào)，通過計(jì)算，算出暫定幀序號(hào)即可。
另外，此時(shí)，參照?qǐng)D像指定信息解碼部203如圖24所示，可由暫定幀序 號(hào)設(shè)定部2031與暫定幀序號(hào)解碼部2032構(gòu)成。這里，暫定幀序號(hào)設(shè)定部2031 對(duì)存儲(chǔ)在參照?qǐng)D像存儲(chǔ)器205中的多個(gè)圖像信息中、屬于當(dāng)前幀的類目以下的 幀的圖像信息，設(shè)定暫定幀序號(hào)。暫定幀序號(hào)解碼部2032解碼指定由預(yù)測(cè)圖 像制作部203選擇的幀的暫定幀序號(hào)，作為參照?qǐng)D像指定信息。
在本實(shí)施例中，參照?qǐng)D像指定信息編碼部105根據(jù)方法1來編碼參照?qǐng)D像 指定信息，參照?qǐng)D像指定信息解碼部203根據(jù)方法1來解碼參照?qǐng)D像指定信息。 即，參照?qǐng)D像指定信息編碼部或參照?qǐng)D像指定信息解碼部使用預(yù)先設(shè)定的、對(duì) 應(yīng)于各類目的參照?qǐng)D像指定信息的對(duì)應(yīng)關(guān)系，編碼或解碼參照?qǐng)D像指定信息。 下面，示出對(duì)每個(gè)幀或每個(gè)切片變更該對(duì)應(yīng)關(guān)系的構(gòu)成。
圖8中示出此時(shí)的圖像編碼裝置3的構(gòu)成，圖9中示出圖像解碼裝置4 的構(gòu)成。分別為追加參照類目設(shè)定部311、403與參照?qǐng)D像指定信息設(shè)定部312、 410的構(gòu)成。在圖像編碼裝置3中，參照?qǐng)D像指定信息編碼部308對(duì)參照?qǐng)D像 切換部307設(shè)定的參照?qǐng)D像，根據(jù)參照?qǐng)D像指定信息設(shè)定部312設(shè)定的對(duì)應(yīng)關(guān) 系，編碼參照?qǐng)D像指定信息。另外，圖像解碼裝置4中，參照?qǐng)D像指定信息解 碼部404解碼參照?qǐng)D像指定信息，參照?qǐng)D像切換部403根據(jù)參照?qǐng)D像指定信息 設(shè)定部410設(shè)定的對(duì)應(yīng)關(guān)系，切換參照?qǐng)D像。
圖像編碼裝置3與圖像解碼裝置4中的參照類目設(shè)定部311、 403對(duì)每個(gè) 幀，根據(jù)當(dāng)前幀的類目序號(hào)，設(shè)定可參照的類目序號(hào)。在本實(shí)施例中，若當(dāng)前
26幀為第l類目，則設(shè)定第l,作為可參照的類目，若當(dāng)前幀為第2類目，則設(shè) 定第l與第2，作為可參照的類目，若當(dāng)前幀為第3類目，則設(shè)定第1、第2 與第3,作為可參照的類目。
另外，也可不是本實(shí)施例中所示的設(shè)定，例如，除第l類目之外，當(dāng)前幀 所屬的類目不包含于可參照的類目中。
圖像編碼裝置3中的參照?qǐng)D像指定信息設(shè)定部312對(duì)于每個(gè)幀，對(duì)應(yīng)地選 擇方法1或方法2之一。此時(shí)，編碼指定使用哪個(gè)方法的信息。圖像解碼裝置 4中的參照?qǐng)D像指定信息設(shè)定部410解碼表示對(duì)于每個(gè)幀、對(duì)應(yīng)地選擇方法1 或方法2哪個(gè)的信息，選擇某一個(gè)。
也可不是對(duì)每個(gè)幀、而是對(duì)每個(gè)切片執(zhí)行該對(duì)應(yīng)的設(shè)定。另外，不限于方 法1或方法2，也可預(yù)先設(shè)定多個(gè)可選擇的方法，選擇其中之一。另外，也可 不預(yù)先設(shè)定可選擇的方法，而編碼對(duì)應(yīng)關(guān)系本身。在編碼對(duì)應(yīng)關(guān)系的情況下， 編碼表示對(duì)屬于各類目的幀的參照?qǐng)D像指定信息的對(duì)應(yīng)關(guān)系的信息。此時(shí)，作 為指定幀的信息，也可固有分配幀序號(hào)，利用該幀序號(hào)。例如，在將屬于第1 類目的幀序號(hào)1與幀序號(hào)5的圖像信息存儲(chǔ)在參照?qǐng)D像存儲(chǔ)器中的情況下，將 參照?qǐng)D像指定信息1與幀序號(hào)5對(duì)應(yīng)，將參照?qǐng)D像指定信息2與幀序號(hào)l對(duì)應(yīng)。
為了確認(rèn)本發(fā)明的效果，進(jìn)行基于現(xiàn)有方法與本發(fā)明方法的圖像編碼/解 碼的實(shí)驗(yàn)。在使用本發(fā)明的方法中，如上述實(shí)施方式說明的那樣，具備由3 個(gè)層構(gòu)成的參照?qǐng)D像存儲(chǔ)器，由第1層為2幀大小、第2層為2幀大小、第3 層為3幀大小的圖像存儲(chǔ)器來構(gòu)成參照?qǐng)D像存儲(chǔ)器。下面，將使用本發(fā)明的方 法的圖像編碼/解碼方法稱為LayerMul。
作為現(xiàn)有方法，使用如下方法，即對(duì)每個(gè)層不管理參照?qǐng)D像存儲(chǔ)器，僅剩 余l(xiāng)幀大小按每規(guī)定間隔存儲(chǔ)在參照?qǐng)D像存儲(chǔ)器中的圖像，廢棄其它圖像。將 該現(xiàn)有方法稱為LayerOff。
例如，在方法LayerOff中，圖1中，幀序號(hào)(5)的幀參照幀序號(hào)(1)的圖像， 幀序號(hào)(3)的幀參照幀序號(hào)(1)與幀序號(hào)(5)的圖像，幀序號(hào)(2)的幀參照幀序號(hào) (1)、幀序號(hào)(5)與幀序號(hào)(3)的圖像，幀序號(hào)(4)的幀參照幀序號(hào)(1)、幀序號(hào)(5)、 幀序號(hào)(3)與幀序號(hào)(2)的圖像。
這樣，在從幀序號(hào)(2)的幀編碼到幀序號(hào)(5)的幀之后，廢棄存儲(chǔ)在參照?qǐng)D像存儲(chǔ)器中的從幀序號(hào)(2)到幀序號(hào)(4)的圖像，僅存儲(chǔ)幀序號(hào)(5)的圖像。
之后，幀序號(hào)(9)的幀參照幀序號(hào)(5)的圖像，幀序號(hào)(7)的幀參照幀序號(hào)(5) 與幀序號(hào)(9)的圖像，幀序號(hào)(6)的幀參照幀序號(hào)(5)、幀序號(hào)(9)與幀序號(hào)(7)的圖 像，幀序號(hào)(8)的幀參照幀序號(hào)(5)、幀序號(hào)(9)、幀序號(hào)(7)與幀序號(hào)(6)的圖像。
這樣，在編碼從幀序號(hào)(6)的幀到幀序號(hào)(9)的幀之后，廢棄存儲(chǔ)在參照?qǐng)D 像存儲(chǔ)器中的從幀序號(hào)(6)到幀序號(hào)(8)的圖像，僅存儲(chǔ)幀序號(hào)(9)的圖像。
如上所述，對(duì)于每4個(gè)幀，僅剩余l(xiāng)幀大小參照?qǐng)Di象存儲(chǔ)器的圖像，廢棄 其余的圖像。將指定剩余的幀的參照?qǐng)D像指定信息復(fù)位為1。利用該方法，除 解碼全部層的方法外，還可僅解碼第l層，或僅解碼第1層與第2層。
圖10中示出使用方法LayerMul與方法Layeroff，將圖像尺寸為橫向352、 縱向288象素、由17幀構(gòu)成的圖像A分類成3層后編碼時(shí)的、每幀的編碼量 (比特?cái)?shù))。在預(yù)測(cè)圖像的制作方法與預(yù)測(cè)殘差的編碼中，使用H.264映像編碼 方式中采用的方式。
量化刻度固定，進(jìn)行實(shí)驗(yàn)，就各幀而言，方法LayerMul與方法LayerOff 中，為大致相同值。這樣，在幀序號(hào)(6)之前，兩者為大致相同的編碼量，但 就幀序號(hào)(6)之后的第奇數(shù)個(gè)幀而言，方法LayerMul的編碼量比方法LayerOff 的少
這是因?yàn)榈谄鏀?shù)個(gè)幀屬于第1層與第2層，方法LayerMul中可用作參照 圖像的幀數(shù)多。即，根據(jù)本發(fā)明，示出通過對(duì)每層管理參照?qǐng)D像存儲(chǔ)器，提高 各層的編碼效率。
在以上說明的本發(fā)明的實(shí)施方式中，根據(jù)1幀的參照?qǐng)D像來制作預(yù)測(cè)圖 像，但也可根據(jù)多個(gè)參照?qǐng)D像來制作預(yù)測(cè)圖像。此時(shí)，圖像編碼裝置l中，參 照?qǐng)D像切換部110選擇多個(gè)參照?qǐng)D像，預(yù)測(cè)圖像制作部103根據(jù)多個(gè)參照?qǐng)D像 來制作預(yù)測(cè)圖像。另外，參照?qǐng)D像指定信息編碼部105編碼多個(gè)參照?qǐng)D像指定 信息。
圖像解碼裝置2中，參照?qǐng)D像切換部208選擇多個(gè)參照?qǐng)D像，預(yù)測(cè)圖像制 作部202根據(jù)多個(gè)參照?qǐng)D像來制作預(yù)測(cè)圖像。另外，參照?qǐng)D像指定信息解碼部 203解碼多個(gè)參照?qǐng)D像指定信息。
為了根據(jù)多個(gè)參照?qǐng)D像來制作預(yù)測(cè)圖像，也可平均參照?qǐng)D像間對(duì)應(yīng)的象素位置的圖像信息。另外，當(dāng)平均時(shí)，也可進(jìn)行加權(quán)。也可根據(jù)與當(dāng)前幀的時(shí)間 間隔算出加權(quán)，使得例如越是早的圖像則加權(quán)越小。另外，也可明示地編碼。 另夕卜，作為本實(shí)施方式，說明了對(duì)各類目的參照?qǐng)D像存儲(chǔ)器的分配固定的 情況，但本發(fā)明不限于參照存儲(chǔ)器的分配固定的情況，也可在中途的幀中改變
存儲(chǔ)器的分配。例如，在編碼/解碼第4幀之后，將第1類目用存〗諸器(C1)變 為3幀大小，將第3類目用存儲(chǔ)器(C3)變?yōu)?幀大小。通過增多類目的存儲(chǔ)器 量，可提高該類目的編碼效率。
另外，作為本實(shí)施方式，說明周期地將幀分配給類目的實(shí)例，但本發(fā)明不 限于周期地將幀分配給類目的情況。例如圖ll所示，在編碼第4幀之前，設(shè) 定到類目，當(dāng)編碼此后的幀時(shí)，編碼到第2類目，第3類目不編碼。此時(shí)， 最好變更參照?qǐng)D像存儲(chǔ)器向類目的分配。
另外，作為本實(shí)施方式，說明對(duì)每個(gè)幀編碼當(dāng)前幀的類目序號(hào)的實(shí)例，但 本發(fā)明不限于對(duì)每個(gè)幀編碼當(dāng)前幀的類目序號(hào)的情況，也可對(duì)多個(gè)幀的每個(gè)編 碼當(dāng)前幀的類目序號(hào)。例如，編碼側(cè)不每個(gè)幀地輸出編碼數(shù)據(jù)，而是存儲(chǔ)屬于 相同類目的幀的編碼凄史據(jù)，當(dāng)編碼某種程度的幀數(shù)之后，對(duì)每個(gè)類目編碼類目 序號(hào)，匯總輸出屬于由該序號(hào)指定的類目的幀的編碼數(shù)據(jù)。該方法由于按每個(gè) 類目來匯總編碼數(shù)據(jù)，所以在解碼側(cè)解碼特定類目的編碼數(shù)據(jù)時(shí)，容易從編碼 側(cè)輸出的編碼數(shù)據(jù)中取出期望的編碼數(shù)據(jù)。
在如此由每個(gè)類目各自的編碼數(shù)據(jù)構(gòu)成的情況下，不僅解碼側(cè)容易取出期 望類目的編碼數(shù)據(jù)，在編碼側(cè)與解碼側(cè)之間存在中繼裝置的情況下，也可由中 繼裝置取出特定類目的編碼數(shù)據(jù)。據(jù)此，在多個(gè)幀構(gòu)成動(dòng)態(tài)圖像的情況下，解 碼側(cè)通常以低的幀頻解碼輸出，當(dāng)位于必需的時(shí)間帶時(shí)，通過解碼側(cè)向中繼裝 置請(qǐng)求接收多個(gè)類目的編碼數(shù)據(jù)，解碼側(cè)可僅在該時(shí)間帶以高的幀頻來解碼輸 出。
另外，作為本實(shí)施方式，說明以上述方法1來編碼參照?qǐng)D像指定信息的實(shí) 例，但本發(fā)明不限于以上述方法1來編碼參照?qǐng)D像指定信息的情況，只要是如 下指定方法即可，即編碼側(cè)與解碼側(cè)可唯一指定參照?qǐng)D^象，在未解碼不作為參 照?qǐng)D像的類目的幀的情況下，參照的圖像一致。
下面，示出本發(fā)明的圖像編碼裝置與圖像解碼裝置的其它實(shí)施例。圖12示出此時(shí)的圖像編碼裝置5的構(gòu)成，圖13中示出圖像解碼裝置6的構(gòu)成。
圖像編碼裝置5的參照?qǐng)D像指定信息設(shè)定部512固有分配幀序號(hào)，作為指 定幀的信息，編碼使相對(duì)該幀序號(hào)的參照?qǐng)D像指定信息的對(duì)應(yīng)關(guān)系。設(shè)對(duì)應(yīng)就 構(gòu)成參照?qǐng)D像的替補(bǔ)的幀而言，按類目序號(hào)大小的順序，或幀序號(hào)大小的順序， 分配指定參照?qǐng)D像的序號(hào)。圖像解碼裝置6的參照?qǐng)D像指定信息設(shè)定部610 解碼該對(duì)應(yīng)關(guān)系。圖像編碼裝置5的預(yù)測(cè)圖像制作部505將當(dāng)前幀分割成微塊， 探索每個(gè)微塊的動(dòng)作矢量，制作對(duì)應(yīng)于動(dòng)作矢量位置的預(yù)測(cè)圖像。無損編碼部 513無損編碼圖像信息。
這里，示出編碼圖14所示的4幀輸入圖像時(shí)的處理。設(shè)參照?qǐng)D像存儲(chǔ)器 有1幀大小的第3類目用存儲(chǔ)器、2幀大小的第2類目用存儲(chǔ)器、4幀大小的 第1類目用存儲(chǔ)器。另外，將輸入的原圖像存儲(chǔ)在參照?qǐng)D像存儲(chǔ)器中的第1 類目用存儲(chǔ)器中。
首先，進(jìn)行位于第1類目用存儲(chǔ)器中的幀1與幀2的編碼。當(dāng)前類目編碼 部503編碼類目序號(hào)1。參照?qǐng)D像指定信息設(shè)定部512設(shè)定將當(dāng)前幀設(shè)為幀1 時(shí)的參照?qǐng)D像指定信息與參照?qǐng)D像的對(duì)應(yīng)。此刻，僅將第1類目的幀2設(shè)定為 參照?qǐng)D像。預(yù)測(cè)圖像制作部505根據(jù)幀2來制作預(yù)測(cè)圖像。差分編碼部504 編碼作為預(yù)測(cè)圖像與當(dāng)前幀圖像的差分的高頻段圖像信息，并編碼當(dāng)制作預(yù)測(cè) 圖像時(shí)使用的動(dòng)作矢量。解碼部510根據(jù)高頻段圖像信息與預(yù)測(cè)圖像信息，制 作低頻段圖像信息，將低頻段圖像信息存儲(chǔ)在第2類目用參照?qǐng)D像存儲(chǔ)器506 的幀1中。參照?qǐng)D像指定信息編碼部508編碼參照?qǐng)D像指定信息。
接著，進(jìn)行位于第l類目用存儲(chǔ)器中的幀3與幀4的編碼。當(dāng)前類目編碼 部503編碼類目序號(hào)1。參照?qǐng)D像指定信息設(shè)定部512設(shè)定將當(dāng)前幀設(shè)為幀3 時(shí)的參照?qǐng)D像指定信息與參照?qǐng)D像的對(duì)應(yīng)。此刻，將第l類目的幀l、幀2、 幀4與第2類目的幀1設(shè)定為參照?qǐng)D像。之后，對(duì)每個(gè)微塊，從設(shè)定的參照?qǐng)D 像中選擇一個(gè)，進(jìn)行如下所示的處理。預(yù)測(cè)圖像制作部505根據(jù)選擇到的參照 圖像來制作預(yù)測(cè)圖像，差分編碼部504編碼作為預(yù)測(cè)圖像與當(dāng)前幀圖像的差分 的高頻段圖像信息，并編碼當(dāng)制作預(yù)測(cè)圖像時(shí)使用的動(dòng)作矢量。編碼量計(jì)測(cè)部 509計(jì)測(cè)此時(shí)的編碼量。
對(duì)全部參照?qǐng)D像執(zhí)行該處理，編碼量計(jì)測(cè)部509指示參照?qǐng)D像切換部507,以選擇編碼量少的作為參照?qǐng)D像。參照?qǐng)D像切換部507選擇指示的參照?qǐng)D像， 預(yù)測(cè)圖^f象制作部505制作預(yù)測(cè)圖像，差分編碼部504編碼作為預(yù)測(cè)圖^^與當(dāng)前 幀圖像的差分的高頻段圖像信息，還編碼制作預(yù)測(cè)圖像時(shí)使用的動(dòng)作矢量。參 照?qǐng)D像指定信息編碼部508編碼參照?qǐng)D像指定信息。在對(duì)全部微塊^^行上述處 理之后，解碼部510根據(jù)高頻段圖像信息與預(yù)測(cè)圖像信息，制作低頻段圖像信 息，將低頻段圖像信息存儲(chǔ)在第2類目用參照?qǐng)D像存儲(chǔ)器506的幀2中。但是， 在選擇到的參照?qǐng)D像為第1類目的幀4之外的情況下，不使用該微塊的高頻段 圖像信息。
接著，進(jìn)刊M立于第2類目用存儲(chǔ)器中的幀1與幀2的編碼。當(dāng)前類目編碼 部503編碼類目序號(hào)2。參照?qǐng)D像指定信息設(shè)定部512設(shè)定將當(dāng)前幀設(shè)為幀1 時(shí)的參照?qǐng)D像指定信息與參照?qǐng)D像的對(duì)應(yīng)。此刻，將第2類目的幀2設(shè)定為參 照?qǐng)D像。
之后，對(duì)每個(gè)微塊，從設(shè)定的參照?qǐng)D像中選擇一個(gè)，進(jìn)行如下所示的處理。 預(yù)測(cè)圖像制作部505根據(jù)選擇到的參照?qǐng)D像來制作預(yù)測(cè)圖像，差分編碼部504 編碼作為預(yù)測(cè)圖像與當(dāng)前幀圖像的差分的高頻段圖像信息，并編碼當(dāng)制作預(yù)測(cè)
圖像時(shí)-使用的動(dòng)作矢量，編碼量計(jì)測(cè)部509計(jì)測(cè)此時(shí)的編碼量。
對(duì)全部參照?qǐng)D像執(zhí)行該處理，編碼量計(jì)測(cè)部509指示參照?qǐng)D^f象切換部507， 以選擇編碼量少的作為參照?qǐng)D像。參照?qǐng)D像切換部507選擇指示的參照?qǐng)D像， 預(yù)測(cè)圖像制作部505制作預(yù)測(cè)圖像，差分編碼部504編碼作為預(yù)測(cè)圖像與當(dāng)前 幀圖像的差分的高頻段圖像信息，還編碼制作預(yù)測(cè)圖像時(shí)使用的動(dòng)作矢量。參 照?qǐng)D像指定信息編碼部508編碼參照?qǐng)D像指定信息。
在對(duì)全部微塊執(zhí)行上述處理之后，解碼部510根據(jù)高頻段圖像信息與預(yù)測(cè) 圖像信息，制作低頻段圖像信息，將低頻段圖像信息存儲(chǔ)在第3類目用參照?qǐng)D 像存儲(chǔ)器506的幀1中。最后，無損編碼部513無損編碼存儲(chǔ)在第3類目用參 照?qǐng)D像存儲(chǔ)器的幀1中的圖像信息。
下面，表示將如此制作的編碼數(shù)據(jù)解碼成圖15所示的4幀輸出圖像時(shí)的 步驟。按第3類目、第2類目、第l類目的順序解碼。
首先，當(dāng)前類目解碼部605解碼類目序號(hào)3。無損解碼部61解碼編碼數(shù) 據(jù)，將解碼圖像存儲(chǔ)在第3類目的幀1中。之后，進(jìn)行第2類目的解碼。當(dāng)前類目解碼部605解碼類目序號(hào)2。參照 圖像指定信息設(shè)定部604設(shè)定將當(dāng)前幀設(shè)為幀1時(shí)的參照?qǐng)D像指定信息與參照 圖像的對(duì)應(yīng)。圖像編碼裝置5使指定構(gòu)成參照?qǐng)D像的第2類目的幀2的參照?qǐng)D 像指定信息對(duì)應(yīng)，以指定第3類目的幀1。此刻，將第3類目的幀1設(shè)定成參 照?qǐng)D像。
之后，對(duì)每個(gè)微塊執(zhí)行如下所示的處理。差分解碼部601解碼高頻段圖像 信息與動(dòng)作矢量。參照?qǐng)D像指定信息解碼部604解碼參照?qǐng)D像指定信息。參照 圖像切換部603選擇由參照?qǐng)D像指定信息指示的參照?qǐng)D像，預(yù)測(cè)圖像制作部 602使用動(dòng)作矢量來制作預(yù)測(cè)圖像。解碼圖像制作部607根據(jù)高頻段圖像信息 與預(yù)測(cè)圖像，制作解碼圖像2幀。解碼圖像存儲(chǔ)部608將解碼圖像存儲(chǔ)在第2 類目的幀1與幀2中。
之后，執(zhí)行第l類目的解碼。首先，示出解碼幀1與幀2的步驟。當(dāng)前類 目解碼部605解碼類目序號(hào)1。參照?qǐng)D像指定信息設(shè)定部610設(shè)定將當(dāng)前幀設(shè) 為幀1時(shí)的參照?qǐng)D像指定信息與參照?qǐng)D像的對(duì)應(yīng)。圖像編碼裝置5使指定構(gòu)成 參照?qǐng)D像的第1類目的幀2的參照?qǐng)D像指定信息對(duì)應(yīng)，以指定第2類目的幀1。 此刻，將第2類目的幀1設(shè)定成參照?qǐng)D像。
之后，對(duì)每個(gè)微塊執(zhí)行如下所示的處理。差分解碼部601解碼高頻段圖像 信息與動(dòng)作矢量。參照?qǐng)D像指定信息解碼部604解碼參照?qǐng)D像指定信息。參照 圖像切換部603選擇由參照?qǐng)D像指定信息指示的參照?qǐng)D像，預(yù)測(cè)圖像制作部 602使用動(dòng)作矢量來制作預(yù)測(cè)圖像。解碼圖像制作部607根據(jù)高頻段圖像信息 與預(yù)測(cè)圖像，制作解碼圖像2幀。解碼圖像存儲(chǔ)部608將解碼圖像存儲(chǔ)在第1 類目的幀1與幀2中。
下面，示出解碼幀3與幀4的步驟。當(dāng)前類目解碼部605解碼類目序號(hào)1。 參照?qǐng)D像指定信息設(shè)定部610設(shè)定將當(dāng)前幀設(shè)為幀3時(shí)的參照?qǐng)D像指定信息與 參照?qǐng)D像的對(duì)應(yīng)。圖像編碼裝置5使指定構(gòu)成參照?qǐng)D像的第1類目的幀4的參 照?qǐng)D像指定信息對(duì)應(yīng)，以指定第2類目的幀2。此刻，將第2類目的幀1與幀 2、第l類目的幀l與幀2設(shè)定成參照?qǐng)D像。
之后，對(duì)每個(gè)微塊執(zhí)行如下所示的處理。差分解碼部601解碼高頻段圖像 信息與動(dòng)作矢量。參照?qǐng)D像指定信息解碼部604解碼參照?qǐng)D像指定信息。參照?qǐng)D像切換部603選擇由參照?qǐng)D像指定信息指示的參照?qǐng)D像，預(yù)測(cè)圖像制作部 602使用動(dòng)作矢量來制作預(yù)測(cè)圖像。解碼圖像制作部607根據(jù)高頻段圖像信息 與預(yù)測(cè)圖像，制作解碼圖像2幀。但是，在選擇的參照?qǐng)D像為第2類目的幀2 之外的情況下，不使用該微塊的高頻段圖像信息。
解碼圖像存儲(chǔ)部608將解碼圖像存儲(chǔ)在第1類目的幀3與幀4中。由此， 解碼作為編碼目的地圖像的第i類目4幀。
這里，預(yù)測(cè)圖像制作部602進(jìn)行動(dòng)作探索，但也可不執(zhí)行該探索，而根據(jù) 畫面內(nèi)相同位置的圖像信息來制作預(yù)測(cè)圖像。
根據(jù)本實(shí)施例，因?yàn)楫?dāng)編碼第2類目的幀3與幀4時(shí)可從多個(gè)參照?qǐng)D像中 選擇參照?qǐng)D像，所以可提高編碼效率。
另夕卜，作為本實(shí)施方式，說明向幀分配多個(gè)圖像后視為動(dòng)態(tài)圖像來編碼的 實(shí)例，但本發(fā)明不限于向幀分配多個(gè)圖像后視為動(dòng)態(tài)圖像來編碼的情況，也可 沒有多個(gè)圖像的時(shí)間相關(guān)。即，就改變視點(diǎn)或視線后拍攝的多個(gè)圖像而言，可 將各圖俜j見為幀來編碼。
另外，作為本實(shí)施方式，說明不可逆編碼預(yù)測(cè)殘差的實(shí)例，但本發(fā)明不限 于不可逆編碼預(yù)測(cè)殘差的情況，也可可逆編碼。此時(shí)，圖像編碼裝置1中不配 備解碼部108,不在參照?qǐng)D像存儲(chǔ)器107中存儲(chǔ)解碼圖像，還可以存儲(chǔ)原圖像。
另外，本發(fā)明不限于編碼二維圖像的情況，圖像的維也可以是二維之外。 例如，可編碼三維的多個(gè)圖像，或存儲(chǔ)一維的多個(gè)圖像。
產(chǎn)業(yè)上的可利用性
根據(jù)本發(fā)明，當(dāng)編碼或解碼多個(gè)幀的圖像時(shí)，將參照?qǐng)D像存儲(chǔ)器分類成多 個(gè)類目，通過對(duì)每個(gè)類目管理參照?qǐng)D像，可在解碼類目與不解碼類目的情況下， 指定同一參照?qǐng)D像，得到正確的解碼圖像。另外，對(duì)每個(gè)類目可增多參照?qǐng)D像 數(shù)量，提高編碼效率。
3權(quán)利要求
1.一種圖像編碼方法，編碼由多個(gè)幀構(gòu)成的圖像信息，其特征在于，具有如下步驟圖像分類步驟，將編碼目的地的各幀分類成N個(gè)類目，其中N大于等于2；預(yù)測(cè)圖像制作步驟，對(duì)于分類成第j類目的當(dāng)前幀，從第i類目的、過去編碼了的參照?qǐng)D像存儲(chǔ)器中的多個(gè)幀的圖像信息中，選擇圖像信息，并制作預(yù)測(cè)圖像，其中i、j表示類目序號(hào)，并且i大于等于1且小于等于j；差分編碼步驟，編碼當(dāng)前幀的圖像信息與預(yù)測(cè)圖像的差分；參照?qǐng)D像指定信息編碼步驟，編碼指定所述選擇到的圖像信息的、第j類目用的參照?qǐng)D像指定信息；當(dāng)前類目編碼步驟，編碼當(dāng)前幀的類目序號(hào)；和圖像存儲(chǔ)步驟，將當(dāng)前幀的圖像信息存儲(chǔ)在參照?qǐng)D像存儲(chǔ)器中。
2. 根據(jù)權(quán)利要求1所述的圖像編碼方法，其特征在于，還具有差分解碼步驟，解碼由所述差分編碼步驟制作的編碼^:據(jù)；和解碼制作步驟，根據(jù)由所述差分解碼步驟制作的解碼數(shù)據(jù)和所述預(yù)測(cè)圖 像，制作解碼圖像，所述差分編碼步驟通過不可逆編碼來編碼所述差分，所述圖像存儲(chǔ)步驟存儲(chǔ)由所述解碼圖像制作步驟制作的當(dāng)前幀的解碼圖 像信息。
3. —種圖像解碼方法，解碼由多個(gè)幀構(gòu)成的圖像信息，其特征在于，具 有如下步驟當(dāng)前類目解碼步驟，解碼當(dāng)前幀的類目序號(hào)；參照?qǐng)D像指定信息解碼步驟，解碼所述解碼的類目序號(hào)用的、指定參照?qǐng)D 像信息的參照?qǐng)D像指定信息；預(yù)測(cè)圖像制作步驟，根據(jù)由所述參照?qǐng)D像指定信息指定的圖像信息，制作 預(yù)測(cè)圖像；差分解碼步驟，解碼當(dāng)前幀的解碼圖像和預(yù)測(cè)圖像的差分；解碼圖像制作步驟，根據(jù)所述解碼的差分信息和所述預(yù)測(cè)圖像，制作當(dāng)前幀的解碼圖像；和解碼圖像存儲(chǔ)步驟，將所述制作的當(dāng)前幀的解碼圖像信息存儲(chǔ)在所述解碼 的類目序號(hào)用的參照?qǐng)D <象存儲(chǔ)器中。
4. 一種圖像編碼裝置，編碼由多個(gè)幀構(gòu)成的圖像信息，其特征在于，包括圖像分類部，將編碼目的地的各幀分類成N個(gè)類目，其中N大于等于2;預(yù)測(cè)圖像制作部，對(duì)于分類成第j類目的當(dāng)前幀，從第i類目的、過去編 碼了的多個(gè)幀的圖像信息中，選擇圖像信息，并制作預(yù)測(cè)圖像，其中i、 j表示 類目序號(hào)，并且i大于等于l且小于等于j;差分編碼部，編碼當(dāng)前幀的圖像信息與預(yù)測(cè)圖像的差分；參照?qǐng)D像指定信息編碼部，編碼指定由所述預(yù)測(cè)圖像制作部選擇到的圖像 信息的、第j類目用的參照?qǐng)D像指定信息；當(dāng)前類目編碼部，編碼當(dāng)前幀的類目序號(hào)；和參照?qǐng)D像存儲(chǔ)器，存儲(chǔ)當(dāng)前幀的圖像信息。
5. 根據(jù)權(quán)利要求4所述的圖像編碼裝置，其特征在于，還具有差分解碼部，解碼由所述差分編碼部制作的編碼數(shù)據(jù)；和 解碼制作部，才艮據(jù)由所述差分解碼部制作的解碼數(shù)據(jù)和所述預(yù)測(cè)圖像，制 作解碼圖像，所述差分編碼部通過不可逆編碼來編碼所述差分， 所述參照?qǐng)D像存儲(chǔ)器存儲(chǔ)由所述解碼圖像制作部制作的當(dāng)前幀的解碼圖 像信息。
6. —種圖像解碼裝置，解碼由多個(gè)幀構(gòu)成的圖像信息，其特征在于，包括分類成N個(gè)類目的多個(gè)幀大小的參照?qǐng)D像存儲(chǔ)器，其中N大于等于2; 當(dāng)前類目解碼部，解碼當(dāng)前幀的類目序號(hào)；參照?qǐng)D像指定信息解碼部，解碼由所述當(dāng)前類目解碼部得到的類目序號(hào)用 的、指定參照?qǐng)D像信息的參照?qǐng)D像指定信息；預(yù)測(cè)圖像制作部，根據(jù)由所述參照?qǐng)D像指定信息指定的圖像信息，制作預(yù)測(cè)圖像；差分解碼部，解碼當(dāng)前幀的解碼圖像與預(yù)測(cè)圖像的差分； 解碼圖像制作部，根據(jù)所述解碼的差分信息和所述預(yù)測(cè)圖像，制作當(dāng)前幀 的解碼圖像；和解碼圖l轉(zhuǎn)儲(chǔ)部，將所述制作的當(dāng)前幀的解碼圖像信息存儲(chǔ)在由所述當(dāng)前 類目解碼部得到的類目序號(hào)用的參照?qǐng)D像存儲(chǔ)器中。
7. —種圖像編碼方法，編碼由多個(gè)幀構(gòu)成的圖像信息，其特征在于，具 有如下步驟圖像分類步驟，將編碼目的地的各幀分類成N個(gè)類目，其中N大于等于2;參照類目設(shè)定步驟，設(shè)定在編碼當(dāng)前幀所屬的類目的幀時(shí)可參照的類目；參照?qǐng)D像指定信息設(shè)定步驟，對(duì)屬于由所述參照類目設(shè)定步驟設(shè)定的可參照的類目的、存儲(chǔ)在參照?qǐng)D像存儲(chǔ)器中的幀的圖像信息，設(shè)定參照?qǐng)D像指定信 臺(tái) 預(yù)測(cè)圖像制作步驟，從由所述參照類目設(shè)定步驟設(shè)定的類目的、過去編碼的多個(gè)幀的圖像信息中，選擇圖像信息，并制作預(yù)測(cè)圖像； 差分編碼步驟，編碼當(dāng)前幀的圖像信息與預(yù)測(cè)圖像的差分； 參照?qǐng)D像指定信息編碼步驟，編碼參照?qǐng)D像指定信息，該參照?qǐng)D像指定信息指定由所述預(yù)測(cè)圖像制作步驟選擇的圖像信息； 當(dāng)前類目編碼步驟，編碼當(dāng)前幀的類目序號(hào)；和 圖像存儲(chǔ)步驟，將當(dāng)前幀的圖像信息存儲(chǔ)在參照?qǐng)D像存儲(chǔ)器中。
8. 根據(jù)權(quán)利要求7所述的圖像編碼方法，其特征在于，還具有差分解碼步驟，解碼由所述差分編碼步驟制作的編碼數(shù)據(jù)；和解碼制作步驟，根據(jù)由所述差分解碼步驟制作的解碼數(shù)據(jù)和所述預(yù)測(cè)圖 像，制作解碼圖像，所述差分編;馬步驟通過不可逆編碼來編碼所述差分，所述圖像存儲(chǔ)步驟存儲(chǔ)由所述解碼圖像制作步驟制作的當(dāng)前幀的解碼圖 像信息。
9. 一種圖像解碼方法，解碼由多個(gè)幀構(gòu)成的圖像信息，其特征在于，具有如下步驟當(dāng)前類目解碼步驟，解碼當(dāng)前幀的類目序號(hào)；參照類目設(shè)定步驟，設(shè)定在解碼當(dāng)前幀所屬的類目的幀時(shí)可參照的類目；參照?qǐng)D像指定信息設(shè)定步驟，對(duì)屬于由所述參照類目設(shè)定步驟設(shè)定的可參照的類目的、存儲(chǔ)在參照?qǐng)D像存儲(chǔ)器中的幀的圖像信息，設(shè)定參照?qǐng)D像指定信 自 參照?qǐng)D像指定信息解碼步驟，解碼指定參照?qǐng)D像信息的參照?qǐng)D像指定信息；預(yù)測(cè)圖像制作步驟，根據(jù)由參照?qǐng)D像指定信息指定的圖像信息，制作預(yù)測(cè) 圖像；差分解碼步驟，解碼當(dāng)前幀的解碼圖像與預(yù)測(cè)圖像的差分； 解碼圖像制作步驟，根據(jù)差分信息與預(yù)測(cè)圖像，制作解碼圖像；和 解碼圖像存儲(chǔ)步驟，將當(dāng)前幀的解碼圖像存儲(chǔ)在由所述當(dāng)前類目解碼步驟 得到的類目序號(hào)用的參照?qǐng)D像存儲(chǔ)器中
10. —種圖像編碼裝置，編碼由多個(gè)幀構(gòu)成的圖像信息，其特征在于，具有圖像分類部，將編碼目的地的各幀分類成N個(gè)類目，其中N大于等于2;參照類目設(shè)定部，設(shè)定在編碼當(dāng)前幀所屬的類目的幀時(shí)可參照的類目；參照?qǐng)D像指定信息設(shè)定部，對(duì)屬于由所述參照類目設(shè)定步驟設(shè)定的可參照 的類目的、存儲(chǔ)在參照?qǐng)D像存儲(chǔ)器中的幀的圖像信息，設(shè)定參照?qǐng)D像指定信息；預(yù)測(cè)圖像制作部，從由所述參照類目設(shè)定部設(shè)定的類目的、過去編碼的多 個(gè)幀的圖像信息中，選擇圖像信息，并制作預(yù)測(cè)圖像；差分編碼部，編碼當(dāng)前幀的圖像信息與預(yù)測(cè)圖像的差分；參照?qǐng)D像指定信息編碼部，編碼參照?qǐng)D像指定信息，該參照?qǐng)D像指定信息 指定由所述預(yù)測(cè)圖像制作部選擇的圖像信息；當(dāng)前類目編碼部，編碼當(dāng)前幀的類目序號(hào)；和參照?qǐng)D像存儲(chǔ)器，存儲(chǔ)當(dāng)前幀的圖像信息。
11. 根據(jù)權(quán)利要求IO所述的圖像編碼裝置，其特征在于， 還具有差分解碼部，解碼由所述差分編碼部制作的編碼數(shù)據(jù)；和解碼制作部，根據(jù)由所述差分解碼部制作的解碼數(shù)據(jù)和所述預(yù)測(cè)圖像，制 作解碼圖像，所述差分編碼部通過不可逆編碼來編碼所述差分，所述參照?qǐng)D像存儲(chǔ)器存儲(chǔ)由所述解碼圖像制作部制作的當(dāng)前幀的解碼圖 像信息。
12. —種圖像解碼裝置，解碼由多個(gè)幀構(gòu)成的圖像信息，其特征在于，具有分類成N個(gè)類目的多個(gè)幀大小的參照?qǐng)D像存儲(chǔ)器，其中N大于等于2; 當(dāng)前類目解碼部，解碼當(dāng)前幀的類目序號(hào)；參照類目設(shè)定部，設(shè)定解碼當(dāng)前幀所屬的類目的幀時(shí)可參照的類目； 參照?qǐng)D像指定信息設(shè)定部，對(duì)屬于由所述參照類目設(shè)定部設(shè)定的可參照的類目的、存儲(chǔ)在所述參照?qǐng)D像存儲(chǔ)器中的幀的圖像信息，設(shè)定參照?qǐng)D像指定信自.,&，參照?qǐng)D像指定信息解碼部，解碼指定參照?qǐng)D像信息的參照?qǐng)D像指定信息； 預(yù)測(cè)圖像制作部，根據(jù)由參照?qǐng)D像指定信息指定的圖像信息，制作預(yù)測(cè)圖像；差分解碼部，解碼當(dāng)前幀的解碼圖像與預(yù)測(cè)圖像的差分； 解碼圖像制作部，根據(jù)差分信息和預(yù)測(cè)圖像，制作解碼圖像；和 解碼圖像存儲(chǔ)部，將當(dāng)前幀的解碼圖像存儲(chǔ)在由所述當(dāng)前類目解碼部得到 的類目序號(hào)用的參照?qǐng)D像存儲(chǔ)器中。
全文摘要
本發(fā)明涉及圖像編碼裝置和方法以及圖像解碼裝置和方法。為了在未解碼編碼數(shù)據(jù)的特定幀的情況下也能得到正確的解碼圖像，并且使編碼效率提高，預(yù)測(cè)圖像制作部(103)對(duì)由圖像分類部(102)分類到第j類目的當(dāng)前幀，從第i(1≤i≤j)類目的、過去編碼的參照?qǐng)D像存儲(chǔ)器(107)的多個(gè)幀的圖像信息中，選擇圖像信息，制作預(yù)測(cè)圖像。差分編碼部(104)編碼當(dāng)前幀的圖像信息與預(yù)測(cè)圖像的差分。另外，當(dāng)前類目編碼部(106)編碼當(dāng)前幀的類目序號(hào)，參照?qǐng)D像指定信息編碼部(105)編碼指定從參照?qǐng)D像存儲(chǔ)器(107)中選擇出的圖像信息的參照?qǐng)D像指定信息。
文檔編號(hào)H04N7/36GK101626510SQ200910142569
公開日2010年1月13日 申請(qǐng)日期2004年7月22日 優(yōu)先權(quán)日2003年7月24日
發(fā)明者上倉一人, 北原正樹, 木全英明 申請(qǐng)人:日本電信電話株式會(huì)社