專利名稱：圖像編碼裝置、圖像解碼裝置、圖像編碼方法、圖像解碼方法、圖像編碼程序、圖像解碼程 ...的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種使用幀間預(yù)測編碼方式的、多個幀的圖像編碼/解碼技術(shù)。
背景技術(shù)：
在所謂MPEG-1、MPEG-2或H.261、H.263的國際標(biāo)準(zhǔn)動態(tài)圖像編碼中，編碼各幀的輸出時刻。將這些時刻信息稱為TR(Temporal Reference)，對每個幀進(jìn)行固定長度編碼。在系統(tǒng)中預(yù)先設(shè)定成為基準(zhǔn)的時間間隔，用該時間間隔與TR的積來表示從序列開頭開始的時刻。編碼器將輸入圖像的時刻信息設(shè)定成TR，編碼各幀，解碼器在由TR指定的時刻，輸出各幀的解碼圖像。
另一方面，一般在動態(tài)圖像編碼中，為了使用時間方向的相關(guān)來實(shí)現(xiàn)高的編碼效率，采用幀間預(yù)測編碼。在幀的編碼模式中，有不使用幀間相關(guān)來進(jìn)行編碼的I幀、根據(jù)過去編碼的1個幀來預(yù)測的P幀、和可根據(jù)過去編碼的兩個幀來預(yù)測的B幀。
在B幀中，必需在參照圖像存儲器中存儲2幀大小的解碼圖像。尤其是在映像編碼方式H.263與H.264中，在參照圖像存儲器中存儲2幀或2幀以上的多個幀大小的解碼圖像，從該存儲器中選擇參照圖像來進(jìn)行預(yù)測。
參照圖像可在每個塊中選擇，編碼指定參照圖像的參照圖像指定信息。在參照圖像存儲器中有短時間用(STRM)與長時間用(LTRM)，在STRM中存儲當(dāng)前幀的解碼圖像，選擇存儲在STRM中的圖像來存儲于LTRM中。另外，就LTRM與STRM的控制方法而言，例如非專利文獻(xiàn)1中記載的那樣。
非專利文獻(xiàn)1Thomas Wiegand，Xiaozheng Zhang，and Berned Girod，“Long-Term Memory Motion-Compensated Prediction”，IEEE Transactions onCircuits and Systems for Video Technology，vol.9，no.1，pp.70-84，F(xiàn)eb.，1999在MPEG-1、MPEG-2的B幀中，將根據(jù)過去的幀來預(yù)測的方法稱為前方向幀間預(yù)測，將根據(jù)以后的幀來預(yù)測的方法稱為后方向幀間預(yù)測。后方向幀間預(yù)測中的參照幀的顯示時刻比當(dāng)前幀更靠后(更靠未來)。此時，在顯示當(dāng)前幀之后，輸出后方向幀間預(yù)測的參照幀。在B幀中根據(jù)兩個幀來預(yù)測的情況下(兩方向幀間預(yù)測)，內(nèi)插來自兩個幀的圖像信息，制作一個幀大小的圖像信息，將其設(shè)為預(yù)測圖像。
圖16(A)中示出后方向幀間預(yù)測中的參照幀的顯示時刻為之后的情況下的、動態(tài)圖像的預(yù)測關(guān)系實(shí)例。圖16所示的(1)-(7)表示幀序號。在按IBBPBBP的順序編碼從第1幀至第7幀的編碼模式的情況下，由于存在圖16(A)所示的預(yù)測關(guān)系，所以在實(shí)際編碼的情況下，如圖16(B)所示，按1423756的順序來編碼幀。此時被編碼的TR順序與編碼幀一樣，為對應(yīng)于1423756的值。
在H.264的B幀中，從MPEG-1、MPEG-2進(jìn)一步擴(kuò)展后方向幀間預(yù)測的概念，后方向幀間預(yù)測中的參照幀的顯示時刻也可以在當(dāng)前幀之前。此時，向目的地輸出后方向幀間預(yù)測的參照幀。
如上所述，在H.264中，可在參照圖像存儲器中存儲多個解碼圖像。因此，定義前方向幀間預(yù)測用的參照圖像指定信息L0與后方向幀間預(yù)測用的參照圖像指定信息L1，分別獨(dú)立指定前方向幀間預(yù)測用的參照圖像與后方向幀間預(yù)測用的參照圖像。
為了對每個塊指定參照圖像，首先編碼塊的預(yù)測模式(前方向幀間預(yù)測或后方向幀間預(yù)測或兩方向幀間預(yù)測)，在預(yù)測模式為前方向幀間預(yù)測的情況下，編碼參照圖像指定信息L0，在為后方向幀間預(yù)測的情況下，編碼參照圖像指定信息L1，在為兩方向幀間預(yù)測的情況下，編碼參照圖像指定信息L0和參照圖像指定信息L1。
若如此定義，則后方向幀間預(yù)測中的參照幀的顯示時刻不必在當(dāng)前幀之后。在H.264的B幀中，可將如此在后方向幀間預(yù)測之前的幀指定為參照圖像，并且指定可變更成塊單位，所以除兩方向幀間預(yù)測的情況下，可制作與P幀一樣的預(yù)測圖像。
圖17(A)中示出后方向幀間預(yù)測中的參照幀的顯示時刻為過去的情況下的、動態(tài)圖像的預(yù)測關(guān)系實(shí)例。與圖16的情況不同，即便在按IBBPBBP的順序編碼從第1幀至第7幀的編碼模式的情況下，也由于存在圖17(A)所示的預(yù)測關(guān)系，所以如圖17(B)所示，按1423567的順序來編碼幀。
在參照圖像存儲器中存儲多個解碼圖像、選擇參照圖像后進(jìn)行幀間預(yù)測編碼的方法中，不必存儲全部幀的解碼圖像。應(yīng)用這些，可實(shí)現(xiàn)時間可升級(scalable)功能。
例如，在MPEG-1、MPEG-2存在于圖16(A)等預(yù)測關(guān)系的情況下，B幀(幀序號(2)、(3)、(5)、(6))在之后的幀中不作為參照圖像來作用。因此，解碼側(cè)可不解碼B幀而僅解碼I幀與P幀。若與原來一樣以每秒30幀編碼，則如果不解碼/輸出B幀，就能輸出每秒10幀的映像。
也可將這種技術(shù)應(yīng)用于多個階層中。圖1是表示3層構(gòu)成的預(yù)測關(guān)系的實(shí)例圖。圖1中，(1)-(9)表示幀序號，幀中記載的1-9的數(shù)字表示各幀的編碼順序。
例如圖1(C)所示，第5幀(第1層)將第1幀設(shè)為參照幀，第3幀(第2層)將第1幀或第5幀設(shè)為參照幀，第2幀(第3層)將第1幀或第3幀設(shè)為參照幀，第4幀(第3層)將第3幀與第5幀設(shè)為參照幀時，在全部5個幀均為每秒30幀的映像的情況下，通過不解碼第2幀與第4幀(第3層)，可輸出每秒15幀的映像。
通過不解碼第2幀、第3幀與第4幀(第2層與第3層)，可輸出每秒7.5幀的映像。另外，除圖1(C)之外，幀的編碼順序也可設(shè)定多個模式，例如圖1(A)所示，與輸入順序相同，或如圖1(B)所示，在第1層編碼之后，立即編碼第2層，接著編碼第3層。
當(dāng)在存在不構(gòu)成這種參照幀的幀時，變更時間分辯率的方式既可在解碼側(cè)執(zhí)行，也可在編碼側(cè)與解碼側(cè)之間的中繼地點(diǎn)執(zhí)行。當(dāng)如播放那樣單方向分配編碼數(shù)據(jù)的情況下，最好解碼側(cè)執(zhí)行。
另外，這種時間可升級功能通過將第1層視為視點(diǎn)，也可適用于多視點(diǎn)映像的編碼。
另外，即便是一般的在幀間沒有時間關(guān)系的多個幀，也可通過按預(yù)先設(shè)定的維(dimension)排列多個幀，將該維視為時間，從而作為動態(tài)圖像進(jìn)行處理。也可進(jìn)一步將這種多個幀分類成少數(shù)的集合，將其視為圖1中的層，適用時間可升級功能。
另外，作為實(shí)現(xiàn)時間可升級編碼的方法，例如MCTF編碼。該MCTF編碼方法是如下方法，即對映像數(shù)據(jù)，沿時間方向過濾(子頻帶分割)，利用映像數(shù)據(jù)的時間方向的相關(guān)，使映像數(shù)據(jù)的能量致密化。圖18示出在時間方向上倍頻程(octave)分割低頻段的原理圖。設(shè)定GOP，在GOP內(nèi)，沿時間方向過濾。在時間方向的濾波器中，一般提議Haar基底(參照非專利文獻(xiàn)2)。
非專利文獻(xiàn)2Jens-Rainer Ohm，“Three-Dimensiona；Subband Coding withMotion Compensation”，IEEE Trans，Image Proc.，vol.3，no.5，pp.559-571，1994.另外，在Haar基底中，一般可適用圖19所示的Lifting Scheme。利用該方法，可減少運(yùn)算量地進(jìn)行過濾。就該Lifting Scheme而言，predict是與通常的預(yù)測編碼一樣的處理，是求出預(yù)測圖像與原圖像的殘差的處理。
另外，在非專利文獻(xiàn)3或非專利文獻(xiàn)4中，記載了根據(jù)多個圖像來得到高分辯率的圖像的方法。
非專利文獻(xiàn)3Sung Cheol Park，Min Kyu Park，and Moon Gi Kang，“Super-Resolution Image ReconstructionA Technical Overview”，IEEE SignalProcessing Magazine，pp.21-36，May，2003非專利文獻(xiàn)4C.Andrew Segall，Rafael Molina，and Aggelos K.Katsaggelos，“High-Resolution Image from Low-Resolution Compress Video”，IEEE Signal Processing Magazine，pp.37-48，May，2003.
在具備多個幀的參照圖像存儲器的情況下，越增大存儲的最大幀數(shù)，編碼效率越高。這里，在實(shí)現(xiàn)時間可升級功能的情況下，即便解碼的層數(shù)少時，也必需利用編碼數(shù)據(jù)中的參照圖像指定信息來指定同一解碼圖像。
但是，在以前的H.264中，雖然具備STRM與LTRM，但由于LTRM是存儲在STRM中存儲的圖像的存儲器，將解碼圖像存儲在STRM中，所以與時間可升級中的層無關(guān)，對解碼圖像編碼參照圖像指定信息。
因此，在解碼側(cè)未解碼編碼數(shù)據(jù)的特定幀的情況下，會參照參照圖像指定信息不同的幀。若如此根據(jù)不同的參照圖像來制作預(yù)測圖像，則解碼側(cè)得不到正確的解碼圖像。
不使用參照圖像指定信息從多個幀中選擇參照圖像，而如MPEG-1、MPEG-2的B幀所示，不使解碼圖像存儲在參照圖像存儲器中，另外，在將參照圖像限定為前后的I幀或P幀的情況下，當(dāng)不解碼B幀時，參照圖像不會不同。由此，可實(shí)現(xiàn)時間可升級編碼。但是，若設(shè)未將B幀的解碼圖像存儲在參照圖像存儲器中，則B幀將參照圖像限定為前后的I幀或P幀，不具備多個幀的參照圖像存儲器，所以可提高編碼效率。
如上所述，就現(xiàn)有的實(shí)現(xiàn)時間可升級編碼的方法而言，為了提高編碼效率，不能具備多個幀的參照圖像存儲器，相反，現(xiàn)有的參照圖像存儲器中存儲多個幀的方法不能實(shí)現(xiàn)時間可升級編碼。

發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種圖像編碼裝置、圖像解碼裝置、圖像編碼方法、圖像解碼方法、圖像編碼程序、圖像解碼程序、和其記錄媒體，在解碼側(cè)未解碼編碼數(shù)據(jù)的特定幀的情況下，也可指定與解碼該幀時相同的參照圖像，得到正確的解碼圖像，并且，可使編碼效率提高。
本發(fā)明的第1方面是一種圖像編碼方法，從過去編碼的多個幀的圖像信息中，選擇圖像信息，并編碼制作預(yù)測圖像的多個圖像信息，其特征在于，執(zhí)行如下步驟圖像分類步驟，將各幀分類成N個類目(category)；預(yù)測圖像制作步驟，就分類成第i類目的當(dāng)前幀而言，從第i(1≤i≤j)類目的、過去編碼的多個幀的圖像信息中，選擇圖像信息，并制作預(yù)測圖像；差分編碼步驟，編碼當(dāng)前幀的圖像信息與預(yù)測圖像的差分；參照圖像指定信息編碼步驟，編碼指定由預(yù)測圖像制作步驟選擇到的圖像信息的、第j類目用的參照圖像指定信息；和當(dāng)前類目編碼步驟，編碼當(dāng)前幀的類目序號。
本發(fā)明的第2方面根據(jù)本發(fā)明第1方面的圖像編碼方法，其特征在于，對每個解碼類目，分配指定屬于類目的幀的幀序號，參照圖像指定信息由預(yù)測圖像制作步驟選擇到的圖像信息所屬的類目序號、和由該序號指定的類目的幀序號構(gòu)成。
本發(fā)明的第3方面是一種圖像解碼方法，從過去解碼了的多個幀的圖像信息中，選擇圖像信息，并解碼制作預(yù)測圖像的多個圖像信息，其特征在于，執(zhí)行如下步驟當(dāng)前類目解碼步驟，解碼當(dāng)前幀的類目序號；參照圖像指定信息解碼步驟，解碼由當(dāng)前類目解碼步驟得到的類目序號用的、指定圖像信息的參照圖像指定信息；預(yù)測圖像制作步驟，根據(jù)由參照圖像指定信息指定的圖像信息，制作預(yù)測圖像；差分解碼步驟，解碼當(dāng)前幀的解碼圖像與預(yù)測圖像的差分；解碼圖像制作步驟，根據(jù)差分信息與預(yù)測圖像，制作解碼圖像；和解碼圖像存儲步驟，將當(dāng)前幀的解碼圖像存儲在由當(dāng)前類目解碼步驟得到的類目序號用存儲器中。
本發(fā)明的第4方面根據(jù)本發(fā)明第3方面的圖像解碼方法，其特征在于，對每個類目，分配指定屬于類目的幀的幀序號，參照圖像指定信息由預(yù)測圖像制作步驟選擇到的圖像信息所屬的類目序號、和由該序號指定的類目的幀序號構(gòu)成。
根據(jù)本發(fā)明第1方面的圖像編碼方法或本發(fā)明第3方面的圖像解碼方法，將參照圖像存儲器分類成多個類目，對每個類目管理參照圖像。由此，在確定是否對每個類目解碼，存在未解碼的類目的情況下，可根據(jù)包含于其它類目中的參照圖像來制作預(yù)測圖像。由于參照圖像指定信息對每個類目分別設(shè)定，所以在解碼類目的情況與未解碼類目的情況下，均可利用參照圖像指定信息來指定同一圖像，得到正確的解碼圖像。另外，可對每個類目增多參照圖像數(shù)量，提高編碼效率。
類目例如可按圖1中所示的層來設(shè)定。第1類目(第1層)的圖像僅參照第1類目(第1層)的圖像，第2類目(第2層)的圖像參照第1類目(第1層)與第2類目(第2層)的圖像，第3類目(第3層)的圖像參照第1類目(第1層)、第2類目(第2層)與第3類目(第3層)的圖像。此時，若對每個類目配備可存儲多個幀大小的參照圖像的參照圖像存儲器，則可提高各類目的編碼效率。
作為參照圖像指定信息，例如有如下信息(方法1)對包含于設(shè)為參照圖像的類目中的幀，從編碼或解碼順序接近當(dāng)前幀的幀開始附加通用序號，(方法2)對包含于設(shè)為參照圖像的類目中的幀，從輸入或輸出順序接近當(dāng)前幀的幀開始附加通用序號，等。
不限于此，只要是如下指定方法即可，即編碼側(cè)與解碼側(cè)可唯一指定參照圖像，在未解碼不設(shè)為參照圖像的類目的幀的情況下，參照的圖像一致。
就圖1(C)中的編碼順序的幀構(gòu)成而言，圖2中示出由方法1指定時的參照圖像指定信息的實(shí)例，圖3中示出由方法2指定時的參照圖像指定信息的實(shí)例。其中，圖3中，在對當(dāng)前幀的輸入或輸出順序的差分相同的情況下，向最近編碼的幀賦予小的序號。另外，作為參照圖像指定信息，例如為0、1、2、...等通用序號的信息。
圖2中，例如在當(dāng)前幀為第2幀的情況下，附加參照圖像指定信息的順序?yàn)榈?幀、第5幀、第1幀的順序，在當(dāng)前幀為第3幀的情況下，附加參照圖像指定信息的順序?yàn)榈?幀、第1幀的順序。
圖3中，例如在當(dāng)前幀為第2幀的情況下，附加參照圖像指定信息的順序?yàn)榈?幀、第1幀、第5幀的順序，在當(dāng)前幀為第3幀的情況下，附加參照圖像指定信息的順序?yàn)榈?幀、第1幀的順序。
另外，本發(fā)明也可用于可逆編碼和不可逆編碼中任意一個。也可在圖像編碼裝置的參照圖像存儲器中，在可逆編碼的情況下，存儲原圖像與解碼圖像之一。在不可逆編碼的情況下，存儲解碼圖像。
根據(jù)本發(fā)明第2方面的圖像編碼方法或本發(fā)明第4方面的圖像解碼方法，就參照圖像指定信息而言，除上述例舉的實(shí)例(方法1與方法2)之外，還可由(方法3)類目序號與在類目內(nèi)設(shè)定的類目內(nèi)的幀序號構(gòu)成。
這里，類目序號可以是從第1類目起順序附加的絕對序號，也可以是與當(dāng)前幀的類目序號的差分。幀序號同樣可以是從類目的第1幀起順序附加的絕對序號，也可以是與當(dāng)前幀的差分。
根據(jù)方法3，由于向每個類目分配不同的幀序號，所以幀序號的管理簡易，另外，可減輕由于傳輸錯誤而不能解碼特定類目的幀時的、參照圖像的不一致。
例如，在圖1(C)中，在由于傳輸錯誤而不能解碼第2幀(第3類目內(nèi)的第1個幀)的情況下，得不到第2幀的解碼圖像，向參照第2幀的幀傳播錯誤。
在將類目內(nèi)的幀序號設(shè)為與第1幀的絕對序號的情況下，當(dāng)圖1(C)所示的第3類目內(nèi)的第2個幀未參照第3類目內(nèi)的第1個幀的情況下，可根據(jù)第3類目內(nèi)的第2個幀來正確解碼。因此，若在第3類目內(nèi)的第2個幀之后參照第3類目內(nèi)的第1個幀以外的幀，則可正確解碼該幀。
另外，在將類目內(nèi)的幀序號設(shè)為與當(dāng)前幀的相對序號的情況下，第2類目的幀的全部幀序號會錯位。但是，若在第2幀之后的幀不參照第2類目的幀，則可正確解碼其它類目的幀。
另外，通過向?qū)儆诋?dāng)前類目序號以下的幀分配暫定幀序號，則可僅向可在預(yù)測圖像步驟中選擇的幀分配固有的序號。另外，不向不能在預(yù)測圖像步驟中選擇的幀分配序號。因此，即便在圖像解碼側(cè)未解碼類目序號比當(dāng)前幀大的幀的情況下，也由于可正確指定參照圖像，所以可得到正確的解碼圖像。
另外，通過使用過去編碼的幀的編碼順序，可設(shè)定暫定幀序號，使得越是最近編碼的幀，則參照圖像指定信息的編碼量越少。由此，可降低參照圖像指定信息的編碼量，提高編碼效率。
根據(jù)本發(fā)明第5方面的圖像編碼方法或本發(fā)明第6方面的圖像解碼方法，可將參照圖像與參照圖像指定信息的對應(yīng)變更為幀或切片(slice)單位。通過變更參照圖像指定信息以削減編碼量，可提高整體的編碼效率。
根據(jù)本發(fā)明第7方面的圖像編碼方法或本發(fā)明第8方面的圖像解碼方法，就MCTF編碼方式而言，由于在編碼當(dāng)前幀時，增加參照圖像信息的替補(bǔ)，所以提高編碼效率。
另外，在本發(fā)明中，各類目的參照圖像存儲器可由物理上不同的存儲器構(gòu)成，也可邏輯上相區(qū)別地構(gòu)成。另外，也可對幀或多個幀的每個，變更各類目的參照圖像存儲器量的分配。
另外，也可設(shè)定成每個類目下幀內(nèi)象素數(shù)不同。例如，可將圖1中的第2層或第3層的象素數(shù)設(shè)為第1層的縱向橫向一半，或2倍。此時，當(dāng)由預(yù)測圖像制作部制作預(yù)測圖像時，必需進(jìn)行基于仿射變換等的放大、縮小、或高分辯率變換。
就高分辯率變換而言，報告根據(jù)多個圖像來得到高分辯率的圖像的方法，最好利用這些方法(例如參照非專利文獻(xiàn)3或非專利文獻(xiàn)4)。另外，也可設(shè)定成對每個類目、使象素的灰度(比特數(shù))不同。例如，可將圖1中的第1層的灰度設(shè)為8比特，將第2層或第3層的灰度設(shè)為4比特。此時，當(dāng)由預(yù)測圖像制作部制作預(yù)測圖像時，必需增加或減少灰度。
本發(fā)明以由多個幀構(gòu)成的圖像為目的地。多個幀例如可構(gòu)成動態(tài)圖像，或構(gòu)成改變視點(diǎn)來拍攝得到的多視點(diǎn)圖像。
根據(jù)本發(fā)明，當(dāng)編碼或解碼多個幀的圖像時，將參照圖像存儲器分割成多個類目，通過對每個類目管理參照圖像，在解碼類目的情況下與不解碼類目的情況下，指定相同的參照圖像，可得到正確的解碼圖像。另外，對每個類目可增多參照圖像數(shù)量，提高編碼效率。


圖1是表示層構(gòu)成的預(yù)測關(guān)系實(shí)例的圖。
圖2是表示參照圖像指定信息的實(shí)例的圖。
圖3是表示參照圖像指定信息的實(shí)例的圖。
圖4是表示圖像編碼裝置的第1構(gòu)成例的圖。
圖5是表示圖像編碼處理流的一例的圖。
圖6是表示圖像解碼裝置的第1構(gòu)成例的圖。
圖7是表示圖像解碼處理流的一例的圖。
圖8是表示圖像編碼裝置的第2構(gòu)成例的圖。
圖9是表示圖像解碼裝置的第2構(gòu)成例的圖。
圖10是說明基于與現(xiàn)有技術(shù)的比較的本發(fā)明效果的圖。
圖11是表示層構(gòu)成的預(yù)測關(guān)系實(shí)例的圖。
圖12是表示圖像編碼裝置的第3構(gòu)成例的圖。
圖13是表示圖像解碼裝置的第3構(gòu)成例的圖。
圖14是表示MCTF圖像編碼實(shí)例的圖。
圖15是表示MCTF圖像解碼實(shí)例的圖。
圖16是表示動態(tài)圖像的預(yù)測關(guān)系實(shí)例的圖。
圖17是表示動態(tài)圖像的預(yù)測關(guān)系實(shí)例的圖。
圖18是表示MCTF編碼中的時間方向的濾波器實(shí)例的圖。
圖19是表示Haar基底下的Lifting Scheme實(shí)例的圖。
圖20是表示參照圖像指定信息編碼部的一構(gòu)成例的圖。
圖21是表示暫定幀序號設(shè)定部的一構(gòu)成例的圖。
圖22是表示暫定幀序號設(shè)定部的其它構(gòu)成例的圖。
圖23是表示暫定幀序號確定部的一構(gòu)成例的圖。
圖24是表示參照圖像指定信息解碼部的一構(gòu)成例的圖。
具體實(shí)施例方式
參照附圖來說明本發(fā)明的實(shí)施方式。在本實(shí)施方式中，設(shè)將圖像分類成3個類目，不可逆編碼圖像。第1類目的輸入圖像將第1類目的解碼圖像設(shè)為參照圖像的替補(bǔ)，第2類目的輸入圖像將第1類目與第2類目的解碼圖像設(shè)為參照圖像的替補(bǔ)，第3類目的輸入圖像將第1類目、第2類目與第3類目的解碼圖像設(shè)為參照圖像的替補(bǔ)。
作為本發(fā)明的實(shí)施方式，示出編碼圖1所示圖像時的實(shí)例。另外還示出如下實(shí)例，將1幀分割成縱向橫向16個象素的微塊，并對每個微塊選擇并編碼參照圖像，以使差分編碼數(shù)據(jù)的編碼量為最小。
圖4是表示本發(fā)明實(shí)施方式的圖像編碼裝置的構(gòu)成圖。圖像編碼裝置1具備取入圖像信息的圖像輸入部101；將輸入圖像分割成3個類目的圖像分類部102；制作預(yù)測圖像的預(yù)測圖像制作部103；編碼輸入圖像信息與預(yù)測圖像的差分的差分編碼部104；編碼參照圖像指定信息的參照圖像指定信息編碼部105；編碼當(dāng)前幀的類目序號的當(dāng)前類目編碼部106；存儲解碼圖像的參照圖像存儲器107；解碼部108，解碼由差分編碼部104制作的差分編碼數(shù)據(jù)，并制作解碼圖像；編碼量計測部109，計測差分編碼部104制作的差分編碼數(shù)據(jù)的編碼量；參照圖像切換部110，控制預(yù)測圖像制作部103中使用的參照圖像的切換；利用參照圖像切換部110的控制來切換參照圖像的開關(guān)部111；和切換差分編碼數(shù)據(jù)的輸出與編碼量的計測的開關(guān)部112。
設(shè)參照圖像指定信息編碼部105編碼如圖2所示的、按照所述方法1附加的參照圖像指定信息。
在參照圖像存儲器107中，具備可存儲7幀大小圖像的存儲器，向第1類目分配2幀大小的存儲器(C1)，向第2類目分配2幀大小的存儲器(C2)，向第3類目分配3幀大小的存儲器(C3)。
在各類目中，當(dāng)在重新存儲解碼圖像時、在全部存儲器中存儲圖像的情況下，廢棄最早存儲的圖像，存儲解碼圖像。圖像輸入部101按圖1(C)的各幀內(nèi)記載的數(shù)字所示順序，取入輸入圖像，將輸入圖像分割成微塊。
圖像分類部102將各幀分類成圖1所示的類目(第1層、第2層、第3層)。當(dāng)前類目編碼部106固定長度編碼當(dāng)前幀的類目序號。預(yù)測圖像制作部103在輸入圖像與參照圖像之間進(jìn)行動作探索，將差分為最小的位置的圖像設(shè)為預(yù)測圖像。
差分編碼部104將動作矢量信息作為差分編碼數(shù)據(jù)的一部分編碼。另外，設(shè)已編碼第1幀，將解碼圖像存儲在參照圖像存儲器107中。
在這種前提下如下編碼輸入圖像。首先，圖像輸入部101取入圖1(C)的第5幀，分割成微塊。圖像分類部102將輸入圖像分類成第1類目。當(dāng)前類目編碼部106對是第1類目的情況進(jìn)行編碼。
參照圖像切換部110將參照圖像設(shè)定成第1類目的第1幀。預(yù)測圖像制作部103根據(jù)參照圖像來制作預(yù)測圖像。差分編碼部104對每個微塊制作差分編碼數(shù)據(jù)。由于該幀中參照圖像的替補(bǔ)為1幀，所以編碼量計測部109不計測編碼量，從開關(guān)部112輸出差分編碼數(shù)據(jù)。另外，解碼部108解碼差分編碼數(shù)據(jù)。
參照圖像指定信息編碼部105編碼參照圖像指定信息。在編碼全部微塊之后，將解碼圖像存儲在參照圖像存儲器107的第1類目用存儲器(C1)中。在編碼第5幀后的參照圖像存儲器107中，將第1幀與第5幀的解碼圖像存儲在第1類目用存儲器(C1)中。
接著，圖像輸入部101取入圖1(C)的第3幀，分割成微塊。圖像分類部102將輸入圖像分類成第2類目。當(dāng)前類目編碼部106對是第2類目的情況進(jìn)行編碼。
之后，對每個微塊如下編碼。首先，參照圖像切換部110將參照圖像設(shè)定成第1類目的第1幀。預(yù)測圖像制作部103根據(jù)參照圖像來制作預(yù)測圖像。差分編碼部104制作差分編碼數(shù)據(jù)。編碼量計測部109計測差分編碼數(shù)據(jù)的編碼量。
接著，參照圖像切換部110將參照圖像設(shè)定成第1類目的第2幀。差分編碼部104制作差分編碼數(shù)據(jù)。編碼量計測部109計測差分編碼數(shù)據(jù)的編碼量。
另外，參照圖像切換部110將編碼量計測部109得到的編碼量中值最小時的幀設(shè)定成參照圖像。預(yù)測圖像制作部103根據(jù)參照圖像來制作預(yù)測圖像。差分編碼數(shù)據(jù)制作并輸出差分編碼數(shù)據(jù)。解碼部108解碼差分編碼數(shù)據(jù)。參照圖像指定信息編碼部105編碼參照圖像指定信息。
對全部微塊執(zhí)行這種處理。在編碼全部微塊之后，將解碼圖像存儲在參照圖像存儲器107的第2類目用存儲器(C2)中。在編碼第3幀后的參照圖像存儲器107中，將第1幀與第5幀的解碼圖像存儲在第1類目用存儲器(C1)中，將第3幀的解碼圖像存儲在第2類目用存儲器(C2)中。
接著，圖像輸入部101取入圖1(C)的第2幀，分割成微塊。圖像分類部102將輸入圖像分類成第3類目。當(dāng)前類目編碼部106對是第3類目的情況進(jìn)行編碼。
之后，對每個微塊如下編碼。首先，參照圖像切換部110將參照圖像設(shè)定成第1類目的第1幀。預(yù)測圖像制作部103根據(jù)參照圖像來制作預(yù)測圖像。差分編碼部104制作差分編碼數(shù)據(jù)。編碼量計測部109計測差分編碼數(shù)據(jù)的編碼量。
對全部參照圖像的替補(bǔ)執(zhí)行這種處理。參照圖像的替補(bǔ)是存儲在參照圖像存儲器107的第1類目用存儲器(C1)或第2類目用存儲器(C2)中的圖像(第1幀、第5幀、第3幀)。
另外，參照圖像切換部110將編碼量計測部109得到的編碼量中值最小時的幀設(shè)定成參照圖像。預(yù)測圖像制作部103根據(jù)參照圖像來制作預(yù)測圖像。差分編碼部104制作并輸出差分編碼數(shù)據(jù)。解碼部108解碼差分編碼數(shù)據(jù)。參照圖像指定信息編碼部105編碼參照圖像指定信息。
對全部微塊執(zhí)行這種處理。在編碼全部微塊之后，將解碼圖像存儲在參照圖像存儲器107的第3類目用存儲器(C3)中。在編碼第2幀后的參照圖像存儲器107中，將第1幀與第5幀的解碼圖像存儲在第1類目用存儲器(C1)中，將第3幀的解碼圖像存儲在第2類目用存儲器(C2)中，將第2幀的解碼圖像存儲在第3類目用存儲器(C3)中。
下面，第4幀與第2幀一樣，分類成第3類目，對每個微塊，邊切換參照圖像邊求出差分編碼數(shù)據(jù)，確定參照圖像，以使編碼量最小，制作解碼圖像。
參照圖像的替補(bǔ)是存儲在參照圖像存儲器107的第1類目或第2類目或第3類目用存儲器(C1或C2或C3)中的圖像(第1幀、第5幀、第3幀、第2幀)。
在編碼全部微塊之后，將解碼圖像存儲在參照圖像存儲器107的第3類目用存儲器(C3)中。在編碼第4幀后的參照圖像存儲器107中，將第1幀與第5幀的解碼圖像存儲在第1類目用存儲器(C1)中，將第3幀的解碼圖像存儲在第2類目用存儲器(C2)中，將第2幀與第4幀的解碼圖像存儲在第3類目用存儲器(C3)中。
下面，第9幀與第5幀一樣，分類成第1類目，對每個微塊，邊切換參照圖像邊求出差分編碼數(shù)據(jù)，確定參照圖像，以使編碼量最小，制作解碼圖像。參照圖像的替補(bǔ)是存儲在參照圖像存儲器107的第1類目用存儲器中的圖像(第1幀、第5幀)。
在編碼全部微塊之后，將解碼圖像存儲在參照圖像存儲器107的第1類目用存儲器(C1)中。此時，由于第1類目用存儲器(C1)僅能存儲2幀大小，所以在廢棄最早存儲的第1幀的圖像之后，存儲第9幀的解碼圖像。
在編碼第9幀后的參照圖像存儲器107中，將第5幀與第9幀的解碼圖像存儲在第1類目用存儲器(C1)中，將第3幀的解碼圖像存儲在第2類目用存儲器(C2)中，將第2幀與第4幀的解碼圖像存儲在第3類目用存儲器(C3)中。
下面，第7幀與第3幀一樣，分類成第2類目，對每個微塊，邊切換參照圖像邊求出差分編碼數(shù)據(jù)，確定參照圖像，以使編碼量最小，制作解碼圖像。參照圖像的替補(bǔ)是存儲在參照圖像存儲器107的第1類目或第2類目用存儲器(C1或C2)中的圖像(第5幀、第9幀、第3幀)。
在編碼全部微塊之后，將解碼圖像存儲在參照圖像存儲器107的第2類目用存儲器(C2)中。在編碼第7幀后的參照圖像存儲器107中，將第5幀與第9幀的解碼圖像存儲在第1類目用存儲器(C1)中，將第3幀與第7幀的解碼圖像存儲在第2類目用存儲器(C2)中，將第2幀與第4幀的解碼圖像存儲在第3類目用存儲器(C3)中。
下面，第6幀與第2幀一樣，分類成第3類目，對每個微塊，邊切換參照圖像邊求出差分編碼數(shù)據(jù)，確定參照圖像，以使編碼量最小，制作解碼圖像。
參照圖像的替補(bǔ)是存儲在參照圖像存儲器107的第1類目或第2類目用存儲器(C1或C2)或第3類目用存儲器(C3)中的圖像(第5幀、第9幀、第3幀、第7幀、第2幀、第4幀)。
在編碼全部微塊之后，將解碼圖像存儲在參照圖像存儲器107的第3類目用存儲器(C3)中。在編碼第6幀后的參照圖像存儲器107中，將第5幀與第9幀的解碼圖像存儲在第1類目用存儲器(C1)中，將第3幀與第7幀的解碼圖像存儲在第2類目用存儲器(C2)中，將第2幀、第4幀與第6幀的解碼圖像存儲在第3類目用存儲器(C3)中。
下面，第8幀與第2幀一樣，分類成第3類目，對每個微塊，邊切換參照圖像邊求出差分編碼數(shù)據(jù)，確定參照圖像，以使編碼量最小，制作解碼圖像。
參照圖像的替補(bǔ)是存儲在參照圖像存儲器107的第1類目或第2類目或第3類目用存儲器(C1或C2或C3)中的圖像(第5幀、第9幀、第3幀、第7幀、第2幀、第4幀、第6幀)。
在編碼全部微塊之后，將解碼圖像存儲在參照圖像存儲器107的第3類目用存儲器(C3)中。此時，由于第3類目用存儲器(C3)僅能存儲3幀大小，所以在廢棄最早存儲的第2幀的圖像之后，存儲第8幀的解碼圖像。
在編碼第8幀后的參照圖像存儲器107中，將第5幀與第9幀的解碼圖像存儲在第1類目用存儲器(C1)中，將第3幀與第7幀的解碼圖像存儲在第2類目用存儲器(C2)中，將第4幀、第6幀與第8幀的解碼圖像存儲在第3類目用存儲器(C3)中。通過上述操作，進(jìn)行從第1幀至第9幀的編碼。
圖5是表示本發(fā)明實(shí)施方式的圖像編碼處理流的一例的圖。首先，輸入圖像信息(幀)，并分割成微塊(步驟S1)。向分割后的微塊附加例如塊序號k(k＝1、2、3...)。
之后，將輸入圖像分類成類目(步驟S2)。編碼當(dāng)前幀的類目序號(步驟S3)。取出最初的微塊(塊序號k＝1)(步驟S4)，選擇當(dāng)前幀的參照圖像替補(bǔ)(步驟S5)，根據(jù)選擇到的參照圖像替補(bǔ)來制作預(yù)測圖像(步驟S6)。
對當(dāng)前幀的圖像信息與根據(jù)選擇的參照圖像替補(bǔ)來制作的預(yù)測圖像的差分進(jìn)行編碼(步驟S7)。之后，計測差分編碼數(shù)據(jù)的編碼量(步驟S8)。
判定是否有未選擇的參照圖像替補(bǔ)(步驟S9)，若有未選擇的參照圖像替補(bǔ)，則返回步驟S5，若沒有未選擇的參照圖像替補(bǔ)，則將差分編碼數(shù)據(jù)的編碼量最小的參照圖像替補(bǔ)設(shè)定成當(dāng)前幀的參照圖像(步驟S10)。
根據(jù)設(shè)定的參照圖像來制作預(yù)測圖像(步驟S11)，編碼當(dāng)前幀的圖像信息與根據(jù)設(shè)定的參照圖像來制作的預(yù)測圖像的差分，輸出差分編碼數(shù)據(jù)(步驟S12)。解碼并存儲差分編碼數(shù)據(jù)(步驟S13)。另外，編碼參照圖像指定信息(步驟S14)。
之后，將塊序號k加1(步驟S15)，判定是否對全部微塊制作差分編碼數(shù)據(jù)(k＞kMAX)(步驟S16)。在存在未制作差分編碼數(shù)據(jù)的微塊的情況下，返回步驟S5。在對全部微塊制作差分編碼數(shù)據(jù)的情況下，將解碼圖像存儲在參照圖像存儲器107中(步驟S17)，結(jié)束處理。
圖6是表示本發(fā)明實(shí)施方式的圖像解碼裝置的構(gòu)成圖。圖像解碼裝置2具備解碼差分編碼數(shù)據(jù)的差分解碼部201；制作預(yù)測圖像的預(yù)測圖像制作部202；解碼參照圖像指定信息的參照圖像指定信息解碼部203；解碼當(dāng)前幀的類目序號的當(dāng)前類目解碼部204；存儲參照圖像的參照圖像存儲器205；根據(jù)差分圖像與預(yù)測圖像來制作解碼圖像的解碼圖像制作部206；將解碼圖像存儲在參照圖像存儲器205中的解碼圖像存儲部207；參照圖像切換部208，控制預(yù)測圖像制作部202使用的參照圖像的切換；和利用參照圖像切換部208的控制來切換參照圖像的開關(guān)部209。
參照圖像指定信息解碼部203如圖2所示，按照方法1來解碼參照圖像指定信息。在參照圖像存儲器205中具備可存儲7幀大小圖像的存儲器，向第1類目分配2幀大小的存儲器(C1)，向第2類目分配2幀大小的存儲器(C2)，向第3類目分配3幀大小的存儲器(C3)。
在各類目中，當(dāng)在重新存儲解碼圖像時、在全部存儲器中存儲圖像的情況下，廢棄最早存儲的圖像，存儲解碼圖像。當(dāng)前類目解碼部204固定長度解碼當(dāng)前幀的類目序號。另外，第1幀已被解碼，在參照圖像存儲器205中存儲解碼圖像。
下面，具體說明由所述圖像編碼裝置1編碼的編碼數(shù)據(jù)的解碼處理。當(dāng)前類目解碼部204對圖1(C)的第5幀解碼當(dāng)前幀的類目序號。之后，對每個微塊，如下制作解碼圖像。
差分解碼部201解碼差分編碼數(shù)據(jù)，制作差分圖像。另外，還解碼動作矢量信息。參照圖像指定信息解碼部203解碼參照圖像指定信息。參照圖像切換部208將參照圖像設(shè)定成由參照圖像指定信息指定的圖像。參照圖像的替補(bǔ)是存儲在參照圖像存儲器25的第1類目用存儲器(C1)中的圖像(第1幀)。預(yù)測圖像制作部202根據(jù)參照圖像，制作對應(yīng)于動作矢量的預(yù)測圖像。解碼圖像制作部206根據(jù)差分圖像和預(yù)測圖像來制作解碼圖像。
對全部微塊執(zhí)行這種處理。在解碼全部微塊之后，解碼圖像存儲部207將解碼圖像存儲、輸出到參照圖像存儲器205中的指定的類目序號用存儲器中。在解碼第5幀后的參照圖像存儲器205中，將第1幀與第5幀的解碼圖像存儲在第1類目用存儲器(C1)中。
第3幀與第5幀一樣，解碼編碼數(shù)據(jù)，得到解碼圖像，存儲輸出到參照圖像存儲器205中。參照圖像的替補(bǔ)是存儲在參照圖像存儲器205的第1類目用存儲器(C1)中的圖像(第1幀、第5幀)。
在解碼第3幀后的參照圖像存儲器205中，將第1幀與第5幀的解碼圖像存儲在第1類目用存儲器(C1)中，將第3幀的解碼圖像存儲在第2類目用存儲器(C2)中。
第2幀與第5幀一樣，解碼編碼數(shù)據(jù)，得到解碼圖像，存儲輸出到參照圖像存儲器205中。參照圖像的替補(bǔ)是存儲在參照圖像存儲器205的第1類目用存儲器(C1)或第2類目用存儲器(C2)中的圖像(第1幀、第5幀、第3幀)。
在解碼第2幀后的參照圖像存儲器205中，將第1幀與第5幀的解碼圖像存儲在第1類目用存儲器(C1)中，將第3幀的解碼圖像存儲在第2類目用存儲器(C2)中，將第2幀的解碼圖像存儲在第3類目用存儲器(C3)中。
第4幀與第5幀一樣，解碼編碼數(shù)據(jù)，得到解碼圖像，存儲輸出到參照圖像存儲器205中。參照圖像的替補(bǔ)是存儲在參照圖像存儲器205的第1類目或第2類目或第3類目用存儲器(C1或C2或C3)中的圖像(第1幀、第5幀、第3幀、第2幀)。
在解碼第4幀后的參照圖像存儲器205中，將第1幀與第5幀的解碼圖像存儲在第1類目用存儲器(C1)中，將第3幀的解碼圖像存儲在第2類目用存儲器(C2)中，將第2幀與第4幀的解碼圖像存儲在第3類目用存儲器(C3)中。
第9幀與第5幀一樣，解碼編碼數(shù)據(jù)，得到解碼圖像，存儲輸出到參照圖像存儲器205中。參照圖像的替補(bǔ)是存儲在參照圖像存儲器205的第1類目用存儲器(C1)中的圖像(第1幀、第5幀)。此時，由于第1類目用存儲器(C1)僅能存儲2幀大小，所以在廢棄最早存儲的第1幀的圖像之后，存儲第9幀的解碼圖像。
在解碼第9幀后的參照圖像存儲器205中，將第5幀與第9幀的解碼圖像存儲在第1類目用存儲器(C1)中，將第3幀的解碼圖像存儲在第2類目用存儲器(C2)中，將第2幀與第4幀的解碼圖像存儲在第3類目用存儲器(C3)中。
第7幀與第5幀一樣，解碼編碼數(shù)據(jù)，得到解碼圖像，存儲輸出到參照圖像存儲器205中。參照圖像的替補(bǔ)是存儲在參照圖像存儲器205的第1類目或第2類目用存儲器(C1或C2)中的圖像(第5幀、第9幀、第3幀)。
在解碼第7幀后的參照圖像存儲器205中，將第5幀與第9幀的解碼圖像存儲在第1類目用存儲器(C1)中，將第3幀與第7幀的解碼圖像存儲在第2類目用存儲器(C2)中，將第2幀與第4幀的解碼圖像存儲在第3類目用存儲器(C3)中。
第6幀與第5幀一樣，解碼編碼數(shù)據(jù)，得到解碼圖像，存儲輸出到參照圖像存儲器205中。參照圖像的替補(bǔ)是存儲在參照圖像存儲器205的第1類目或第2類目或第3類目用存儲器(C1或C2或C3)中的圖像(第5幀、第9幀、第3幀、第7幀、第2幀、第4幀)。
在解碼第6幀后的參照圖像存儲器205中，將第5幀與第9幀的解碼圖像存儲在第1類目用存儲器(C1)中，將第3幀與第7幀的解碼圖像存儲在第2類目用存儲器(C2)中，將第2幀與第4幀的解碼圖像存儲在第3類目用存儲器(C3)中。
第8幀與第5幀一樣，解碼編碼數(shù)據(jù)，得到解碼圖像，存儲輸出到參照圖像存儲器205中。參照圖像的替補(bǔ)是存儲在參照圖像存儲器205的第1類目或第2類目或第3類目用存儲器(C1或C2或C3)中的圖像(第5幀、第9幀、第3幀、第7幀、第2幀、第4幀、第6幀)。
此時，由于第3類目用存儲器(C3)僅能存儲3幀大小，所以在廢棄最早存儲的第2幀的圖像之后，存儲第8幀的解碼圖像。在解碼第8幀后的參照圖像存儲器205中，將第5幀與第9幀的解碼圖像存儲在第1類目用存儲器(C1)中，將第3幀與第7幀的解碼圖像存儲在第2類目用存儲器(C2)中，將第4幀、第6幀與第8幀的解碼圖像存儲在第3類目用存儲器(C3)中。通過上述操作，進(jìn)行從第1幀至第9幀的解碼。
圖7是表示本發(fā)明實(shí)施方式的圖像解碼處理流的一例的圖。說明已解碼第1幀、將解碼圖像存儲在參照圖像存儲器205中之后的處理流。首先，解碼當(dāng)前幀的類目序號(步驟S21)。設(shè)塊序號k＝1(步驟S22)。
解碼差分編碼數(shù)據(jù)，制作差分圖像，另外，解碼動作矢量信息(步驟S23)。解碼參照圖像指定信息(步驟S24)，將參照圖像設(shè)定成由參照圖像指定信息指定的圖像(步驟S25)。根據(jù)參照圖像來制作對應(yīng)于動作矢量的預(yù)測圖像(步驟S26)。
之后，根據(jù)差分圖像與預(yù)測圖像來制作解碼圖像(步驟S27)，將塊序號k加1(步驟S28)，判定是否對全部微塊制作解碼圖像(k＞kMAX)(步驟S29)。
在存在未制作解碼圖像的微塊的情況下，返回步驟S23，在對全部微塊制作解碼圖像的情況下，將解碼圖像存儲在由類目序號指定的參照圖像存儲器中(步驟S30)，輸出解碼圖像(步驟S31)，結(jié)束處理。
下面，說明本發(fā)明的實(shí)施方式中、變更時間分辯率后解碼時的實(shí)例。已解碼第1幀，將解碼圖像存儲在參照圖像存儲器205中。在本例中，僅從編碼數(shù)據(jù)中解碼第1類目(圖1(C)的第5幀與第9幀)與第2類目(圖1(C)的第3幀與第7幀)的圖像。
第5幀與上述實(shí)例一樣，解碼編碼數(shù)據(jù)，得到解碼圖像，存儲輸出到參照圖像存儲器205中。參照圖像的替補(bǔ)是存儲在參照圖像存儲器205的第1類目用存儲器(C1)中的圖像(第1幀)。在解碼第5幀后的參照圖像存儲器205中，將第1幀與第5幀的解碼圖像存儲在第1類目用存儲器(C1)中。
第3幀與第5幀一樣，解碼編碼數(shù)據(jù)，得到解碼圖像，存儲輸出到參照圖像存儲器205中。參照圖像的替補(bǔ)是存儲在參照圖像存儲器205的第1類目用存儲器(C1)中的圖像(第1幀、第5幀)。在解碼第3幀后的參照圖像存儲器205中，將第1幀與第5幀的解碼圖像存儲在第1類目用存儲器(C1)中，將第3幀的解碼圖像存儲在第2類目用存儲器(C1)中。
第9幀與第5幀一樣，解碼編碼數(shù)據(jù)，得到解碼圖像，存儲輸出到參照圖像存儲器205中。參照圖像的替補(bǔ)是存儲在第1類目用存儲器(C1)的圖像(第1幀、第5幀)。此時，由于第1類目用存儲器(C1)僅能存儲2幀大小，所以在廢棄最早存儲的第1幀的圖像之后，存儲第9幀的解碼圖像。在解碼第9幀后的參照圖像存儲器205中，將第5幀與第9幀的解碼圖像存儲在第1類目用存儲器(C1)中，將第3幀的解碼圖像存儲在第2類目用存儲器(C2)中。
第7幀與第5幀一樣，解碼編碼數(shù)據(jù)，得到解碼圖像，存儲輸出到參照圖像存儲器205中。參照圖像的替補(bǔ)是存儲在參照圖像存儲器205的第1類目或第2類目用存儲器(C1或C2)中的圖像(第5幀、第9幀、第3幀)。
在解碼第7幀后的參照圖像存儲器205中，將第5幀與第9幀的解碼圖像存儲在第1類目用存儲器(C1)中，將第3幀與第7幀的解碼圖像存儲在第2類目用存儲器(C2)中。
通過上述操作，盡管不解碼第3類目的圖像，也可正確解碼第1類目與第2類目的圖像。同樣，也可僅解碼第1類目的圖像。
本實(shí)施例中的參照圖像指定信息編碼部根據(jù)方法1編碼參照圖像指定信息，參照圖像指定信息解碼部根據(jù)方法1來解碼參照圖像指定信息，但也可根據(jù)暫定幀序號來確定并編碼參照圖像指定信息。圖20示出使用該方法時的圖像編碼裝置的參照圖像指定信息編碼部105的構(gòu)成。
參照圖像指定信息編碼部105由暫定幀序號設(shè)定部1051與暫定幀序號編碼部1052構(gòu)成。這里，暫定幀序號設(shè)定部1051對存儲在參照圖像存儲器107中的多個圖像信息中、屬于當(dāng)前幀的類目以下的幀的圖像信息，設(shè)定暫定幀序號。暫定幀序號編碼部1052編碼指定由預(yù)測圖像制作部103選擇的幀的暫定幀序號，作為參照圖像指定信息。
作為由暫定幀序號設(shè)定部1051設(shè)定暫定幀序號的方法，也可用實(shí)施例中記載的方法1、方法2或方法3。另外，作為利用各幀的編碼順序的方法，例如以下實(shí)例。暫定幀序號設(shè)定部1051如圖21所示，由編碼順序記錄部10511與暫定幀序號確定部10512構(gòu)成。編碼順序記錄部10511記錄過去編碼的幀的編碼順序，作為每個類目的編碼順序序號。暫定幀序號確定部10512根據(jù)過去編碼的幀的編碼順序序號與當(dāng)前幀的類目序號，確定過去編碼的幀的暫定幀序號。
或者，也可如圖22所示構(gòu)成暫定幀序號設(shè)定部1051。此時，暫定幀序號設(shè)定部1051由編碼順序記錄部10511、類目序號記錄部10513與暫定幀序號確定部10512構(gòu)成。這里的編碼順序記錄部10511記錄過去編碼的幀的編碼順序，作為編碼順序序號，類目序號記錄部10513記錄過去編碼的幀的類目序號。即，編碼順序記錄部10511不存儲每個類目的編碼順序，與類目無關(guān)地記錄各幀的編碼順序。另外，暫定幀序號確定部10512根據(jù)過去編碼的幀的編碼順序序號與當(dāng)前幀的類目序號，確定過去編碼的幀的暫定幀序號。
這里，暫定幀序號確定部10512也可如下根據(jù)編碼順序來確定暫定幀序號。如圖23所示，由差分幀序號分配部105121與暫定幀序號算出部105122構(gòu)成暫定幀序號確定部10512。差分幀序號分配部105121按照預(yù)先設(shè)定的規(guī)則，根據(jù)編碼順序序號來分配差分幀序號。之后，暫定幀序號算出部105122根據(jù)差分幀序號與當(dāng)前幀的類目序號的組合，算出暫定幀序號。此時，對差分幀序號與當(dāng)前幀的類目序號的組合預(yù)先配備分配暫定幀序號的表，根據(jù)差分幀序號與當(dāng)前幀的類目序號，參照表，求出暫定幀序號即可?；蛘?，對差分幀序號與當(dāng)前幀的類目序號的組合預(yù)先設(shè)定算出暫定幀序號的計算式，根據(jù)差分幀序號與當(dāng)前幀的類目序號，通過計算，算出暫定幀序號即可。
另外，此時，參照圖像指定信息解碼部203如圖24所示，可由暫定幀序號設(shè)定部2031與暫定幀序號解碼部2032構(gòu)成。這里，暫定幀序號設(shè)定部2031對存儲在參照圖像存儲器205中的多個圖像信息中、屬于當(dāng)前幀的類目以下的幀的圖像信息，設(shè)定暫定幀序號。暫定幀序號解碼部2032解碼指定由預(yù)測圖像制作部203選擇的幀的暫定幀序號，作為參照圖像指定信息。
在本實(shí)施例中，參照圖像指定信息編碼部105根據(jù)方法1來編碼參照圖像指定信息，參照圖像指定信息解碼部203根據(jù)方法1來解碼參照圖像指定信息。即，參照圖像指定信息編碼部或參照圖像指定信息解碼部使用預(yù)先設(shè)定的、對應(yīng)于各類目的參照圖像指定信息的對應(yīng)關(guān)系，編碼或解碼參照圖像指定信息。下面，示出對每個幀或每個切片變更該對應(yīng)關(guān)系的構(gòu)成。
圖8中示出此時的圖像編碼裝置3的構(gòu)成，圖9中示出圖像解碼裝置4的構(gòu)成。分別為追加參照類目設(shè)定部311、403與參照圖像指定信息設(shè)定部312、410的構(gòu)成。在圖像編碼裝置3中，參照圖像指定信息編碼部308對參照圖像切換部307設(shè)定的參照圖像，根據(jù)參照圖像指定信息設(shè)定部312設(shè)定的對應(yīng)關(guān)系，編碼參照圖像指定信息。另外，圖像解碼裝置4中，參照圖像指定信息解碼部404解碼參照圖像指定信息，參照圖像切換部403根據(jù)參照圖像指定信息設(shè)定部410設(shè)定的對應(yīng)關(guān)系，切換參照圖像。
圖像編碼裝置3與圖像解碼裝置4中的參照類目設(shè)定部311、403對每個幀，根據(jù)當(dāng)前幀的類目序號，設(shè)定可參照的類目序號。在本實(shí)施例中，若當(dāng)前幀為第1類目，則設(shè)定第1，作為可參照的類目，若當(dāng)前幀為第2類目，則設(shè)定第1與第2，作為可參照的類目，若當(dāng)前幀為第3類目，則設(shè)定第1、第2與第3，作為可參照的類目。
另外，也可不是本實(shí)施例中所示的設(shè)定，例如，除第1類目之外，當(dāng)前幀所屬的類目不包含于可參照的類目中。
圖像編碼裝置3中的參照圖像指定信息設(shè)定部312對于每個幀，對應(yīng)地選擇方法1或方法2之一。此時，編碼指定使用哪個方法的信息。圖像解碼裝置4中的參照圖像指定信息設(shè)定部410解碼表示對于每個幀、對應(yīng)地選擇方法1或方法2哪個的信息，選擇某一個。
也可不是對每個幀、而是對每個切片執(zhí)行該對應(yīng)的設(shè)定。另外，不限于方法1或方法2，也可預(yù)先設(shè)定多個可選擇的方法，選擇其中之一。另外，也可不預(yù)先設(shè)定可選擇的方法，而編碼對應(yīng)關(guān)系本身。在編碼對應(yīng)關(guān)系的情況下，編碼表示對屬于各類目的幀的參照圖像指定信息的對應(yīng)關(guān)系的信息。此時，作為指定幀的信息，也可固有分配幀序號，利用該幀序號。例如，在將屬于第1類目的幀序號1與幀序號5的圖像信息存儲在參照圖像存儲器中的情況下，將參照圖像指定信息1與幀序號5對應(yīng)，將參照圖像指定信息2與幀序號1對應(yīng)。
為了確認(rèn)本發(fā)明的效果，進(jìn)行基于現(xiàn)有方法與本發(fā)明方法的圖像編碼/解碼的實(shí)驗(yàn)。在使用本發(fā)明的方法中，如上述實(shí)施方式說明的那樣，具備由3個層構(gòu)成的參照圖像存儲器，由第1層為2幀大小、第2層為2幀大小、第3層為3幀大小的圖像存儲器來構(gòu)成參照圖像存儲器。下面，將使用本發(fā)明的方法的圖像編碼/解碼方法稱為LayerMul。
作為現(xiàn)有方法，使用如下方法，即對每個層不管理參照圖像存儲器，僅剩余1幀大小按每規(guī)定間隔存儲在參照圖像存儲器中的圖像，廢棄其它圖像。將該現(xiàn)有方法稱為LayerOff。
例如，在方法LayerOff中，圖1中，幀序號(5)的幀參照幀序號(1)的圖像，幀序號(3)的幀參照幀序號(1)與幀序號(5)的圖像，幀序號(2)的幀參照幀序號(1)、幀序號(5)與幀序號(3)的圖像，幀序號(4)的幀參照幀序號(1)、幀序號(5)、幀序號(3)與幀序號(2)的圖像。
這樣，在從幀序號(2)的幀編碼到幀序號(5)的幀之后，廢棄存儲在參照圖像存儲器中的從幀序號(2)到幀序號(4)的圖像，僅存儲幀序號(5)的圖像。
之后，幀序號(9)的幀參照幀序號(5)的圖像，幀序號(7)的幀參照幀序號(5)與幀序號(9)的圖像，幀序號(6)的幀參照幀序號(5)、幀序號(9)與幀序號(7)的圖像，幀序號(8)的幀參照幀序號(5)、幀序號(9)、幀序號(7)與幀序號(6)的圖像。
這樣，在編碼從幀序號(6)的幀到幀序號(9)的幀之后，廢棄存儲在參照圖像存儲器中的從幀序號(6)到幀序號(8)的圖像，僅存儲幀序號(9)的圖像。
如上所述，對于每4個幀，僅剩余1幀大小參照圖像存儲器的圖像，廢棄其余的圖像。將指定剩余的幀的參照圖像指定信息復(fù)位為1。利用該方法，除解碼全部層的方法外，還可僅解碼第1層，或僅解碼第1層與第2層。
圖10中示出使用方法LayerMul與方法Layeroff，將圖像尺寸為橫向352、縱向288象素、由17幀構(gòu)成的圖像A分類成3層后編碼時的、每幀的編碼量(比特數(shù))。在預(yù)測圖像的制作方法與預(yù)測殘差的編碼中，使用H.264映像編碼方式中采用的方式。
量化刻度固定，進(jìn)行實(shí)驗(yàn)，就各幀而言，方法LayerMul與方法LayerOff中，為大致相同值。這樣，在幀序號(6)之前，兩者為大致相同的編碼量，但就幀序號(6)之后的第奇數(shù)個幀而言，方法LayerMul的編碼量比方法LayerOff的少這是因?yàn)榈谄鏀?shù)個幀屬于第1層與第2層，方法LayerMul中可用作參照圖像的幀數(shù)多。即，根據(jù)本發(fā)明，示出通過對每層管理參照圖像存儲器，提高各層的編碼效率。
在以上說明的本發(fā)明的實(shí)施方式中，根據(jù)1幀的參照圖像來制作預(yù)測圖像，但也可根據(jù)多個參照圖像來制作預(yù)測圖像。此時，圖像編碼裝置1中，參照圖像切換部110選擇多個參照圖像，預(yù)測圖像制作部103根據(jù)多個參照圖像來制作預(yù)測圖像。另外，參照圖像指定信息編碼部105編碼多個參照圖像指定信息。
圖像解碼裝置2中，參照圖像切換部208選擇多個參照圖像，預(yù)測圖像制作部202根據(jù)多個參照圖像來制作預(yù)測圖像。另外，參照圖像指定信息解碼部203解碼多個參照圖像指定信息。
為了根據(jù)多個參照圖像來制作預(yù)測圖像，也可平均參照圖像間對應(yīng)的象素位置的圖像信息。另外，當(dāng)平均時，也可進(jìn)行加權(quán)。也可根據(jù)與當(dāng)前幀的時間間隔算出加權(quán)，使得例如越是早的圖像則加權(quán)越小。另外，也可明示地編碼。
另外，作為本實(shí)施方式，說明了對各類目的參照圖像存儲器的分配固定的情況，但本發(fā)明不限于參照存儲器的分配固定的情況，也可在中途的幀中改變存儲器的分配。例如，在編碼/解碼第4幀之后，將第1類目用存儲器(C1)變?yōu)?幀大小，將第3類目用存儲器(C3)變?yōu)?幀大小。通過增多類目的存儲器量，可提高該類目的編碼效率。
另外，作為本實(shí)施方式，說明周期地將幀分配給類目的實(shí)例，但本發(fā)明不限于周期地將幀分配給類目的情況。例如圖11所示，在編碼第4幀之前，設(shè)定到第3類目，當(dāng)編碼此后的幀時，編碼到第2類目，第3類目不編碼。此時，最好變更參照圖像存儲器向類目的分配。
另外，作為本實(shí)施方式，說明對每個幀編碼當(dāng)前幀的類目序號的實(shí)例，但本發(fā)明不限于對每個幀編碼當(dāng)前幀的類目序號的情況，也可對多個幀的每個編碼當(dāng)前幀的類目序號。例如，編碼側(cè)不每個幀地輸出編碼數(shù)據(jù)，而是存儲屬于相同類目的幀的編碼數(shù)據(jù)，當(dāng)編碼某種程度的幀數(shù)之后，對每個類目編碼類目序號，匯總輸出屬于由該序號指定的類目的幀的編碼數(shù)據(jù)。該方法由于按每個類目來匯總編碼數(shù)據(jù)，所以在解碼側(cè)解碼特定類目的編碼數(shù)據(jù)時，容易從編碼側(cè)輸出的編碼數(shù)據(jù)中取出期望的編碼數(shù)據(jù)。
在如此由每個類目各自的編碼數(shù)據(jù)構(gòu)成的情況下，不僅解碼側(cè)容易取出期望類目的編碼數(shù)據(jù)，在編碼側(cè)與解碼側(cè)之間存在中繼裝置的情況下，也可由中繼裝置取出特定類目的編碼數(shù)據(jù)。據(jù)此，在多個幀構(gòu)成動態(tài)圖像的情況下，解碼側(cè)通常以低的幀頻解碼輸出，當(dāng)位于必需的時間帶時，通過解碼側(cè)向中繼裝置請求接收多個類目的編碼數(shù)據(jù)，解碼側(cè)可僅在該時間帶以高的幀頻來解碼輸出。
另外，作為本實(shí)施方式，說明以上述方法1來編碼參照圖像指定信息的實(shí)例，但本發(fā)明不限于以上述方法1來編碼參照圖像指定信息的情況，只要是如下指定方法即可，即編碼側(cè)與解碼側(cè)可唯一指定參照圖像，在未解碼不作為參照圖像的類目的幀的情況下，參照的圖像一致。
下面，示出本發(fā)明的圖像編碼裝置與圖像解碼裝置的其它實(shí)施例。圖12示出此時的圖像編碼裝置5的構(gòu)成，圖13中示出圖像解碼裝置6的構(gòu)成。
圖像編碼裝置5的參照圖像指定信息設(shè)定部512固有分配幀序號，作為指定幀的信息，編碼使相對該幀序號的參照圖像指定信息的對應(yīng)關(guān)系。設(shè)對應(yīng)就構(gòu)成參照圖像的替補(bǔ)的幀而言，按類目序號大小的順序，或幀序號大小的順序，分配指定參照圖像的序號。圖像解碼裝置6的參照圖像指定信息設(shè)定部610解碼該對應(yīng)關(guān)系。圖像編碼裝置5的預(yù)測圖像制作部505將當(dāng)前幀分割成微塊，探索每個微塊的動作矢量，制作對應(yīng)于動作矢量位置的預(yù)測圖像。無損編碼部513無損編碼圖像信息。
這里，示出編碼圖14所示的4幀輸入圖像時的處理。設(shè)參照圖像存儲器有1幀大小的第3類目用存儲器、2幀大小的第2類目用存儲器、4幀大小的第1類目用存儲器。另外，將輸入的原圖像存儲在參照圖像存儲器中的第1類目用存儲器中。
首先，進(jìn)行位于第1類目用存儲器中的幀1與幀2的編碼。當(dāng)前類目編碼部503編碼類目序號1。參照圖像指定信息設(shè)定部512設(shè)定將當(dāng)前幀設(shè)為幀1時的參照圖像指定信息與參照圖像的對應(yīng)。此刻，僅將第1類目的幀2設(shè)定為參照圖像。預(yù)測圖像制作部505根據(jù)幀2來制作預(yù)測圖像。差分編碼部504編碼作為預(yù)測圖像與當(dāng)前幀圖像的差分的高頻段圖像信息，并編碼當(dāng)制作預(yù)測圖像時使用的動作矢量。解碼部510根據(jù)高頻段圖像信息與預(yù)測圖像信息，制作低頻段圖像信息，將低頻段圖像信息存儲在第2類目用參照圖像存儲器506的幀1中。參照圖像指定信息編碼部508編碼參照圖像指定信息。
接著，進(jìn)行位于第1類目用存儲器中的幀3與幀4的編碼。當(dāng)前類目編碼部503編碼類目序號1。參照圖像指定信息設(shè)定部512設(shè)定將當(dāng)前幀設(shè)為幀3時的參照圖像指定信息與參照圖像的對應(yīng)。此刻，將第1類目的幀1、幀2、幀4與第2類目的幀1設(shè)定為參照圖像。之后，對每個微塊，從設(shè)定的參照圖像中選擇一個，進(jìn)行如下所示的處理。預(yù)測圖像制作部505根據(jù)選擇到的參照圖像來制作預(yù)測圖像，差分編碼部504編碼作為預(yù)測圖像與當(dāng)前幀圖像的差分的高頻段圖像信息，并編碼當(dāng)制作預(yù)測圖像時使用的動作矢量。編碼量計測部509計測此時的編碼量。
對全部參照圖像執(zhí)行該處理，編碼量計測部509指示參照圖像切換部507，以選擇編碼量少的作為參照圖像。參照圖像切換部507選擇指示的參照圖像，預(yù)測圖像制作部505制作預(yù)測圖像，差分編碼部504編碼作為預(yù)測圖像與當(dāng)前幀圖像的差分的高頻段圖像信息，還編碼制作預(yù)測圖像時使用的動作矢量。參照圖像指定信息編碼部508編碼參照圖像指定信息。在對全部微塊執(zhí)行上述處理之后，解碼部510根據(jù)高頻段圖像信息與預(yù)測圖像信息，制作低頻段圖像信息，將低頻段圖像信息存儲在第2類目用參照圖像存儲器506的幀2中。但是，在選擇到的參照圖像為第1類目的幀4之外的情況下，不使用該微塊的高頻段圖像信息。
接著，進(jìn)行位于第2類目用存儲器中的幀1與幀2的編碼。當(dāng)前類目編碼部503編碼類目序號2。參照圖像指定信息設(shè)定部512設(shè)定將當(dāng)前幀設(shè)為幀1時的參照圖像指定信息與參照圖像的對應(yīng)。此刻，將第2類目的幀2設(shè)定為參照圖像。
之后，對每個微塊，從設(shè)定的參照圖像中選擇一個，進(jìn)行如下所示的處理。預(yù)測圖像制作部505根據(jù)選擇到的參照圖像來制作預(yù)測圖像，差分編碼部504編碼作為預(yù)測圖像與當(dāng)前幀圖像的差分的高頻段圖像信息，并編碼當(dāng)制作預(yù)測圖像時使用的動作矢量，編碼量計測部509計測此時的編碼量。
對全部參照圖像執(zhí)行該處理，編碼量計測部509指示參照圖像切換部507，以選擇編碼量少的作為參照圖像。參照圖像切換部507選擇指示的參照圖像，預(yù)測圖像制作部505制作預(yù)測圖像，差分編碼部504編碼作為預(yù)測圖像與當(dāng)前幀圖像的差分的高頻段圖像信息，還編碼制作預(yù)測圖像時使用的動作矢量。參照圖像指定信息編碼部508編碼參照圖像指定信息。
在對全部微塊執(zhí)行上述處理之后，解碼部510根據(jù)高頻段圖像信息與預(yù)測圖像信息，制作低頻段圖像信息，將低頻段圖像信息存儲在第3類目用參照圖像存儲器506的幀1中。最后，無損編碼部513無損編碼存儲在第3類目用參照圖像存儲器的幀1中的圖像信息。
下面，表示將如此制作的編碼數(shù)據(jù)解碼成圖15所示的4幀輸出圖像時的步驟。按第3類目、第2類目、第1類目的順序解碼。
首先，當(dāng)前類目解碼部605解碼類目序號3。無損解碼部61解碼編碼數(shù)據(jù)，將解碼圖像存儲在第3類目的幀1中。
之后，進(jìn)行第2類目的解碼。當(dāng)前類目解碼部605解碼類目序號2。參照圖像指定信息設(shè)定部604設(shè)定將當(dāng)前幀設(shè)為幀1時的參照圖像指定信息與參照圖像的對應(yīng)。圖像編碼裝置5使指定構(gòu)成參照圖像的第2類目的幀2的參照圖像指定信息對應(yīng)，以指定第3類目的幀1。此刻，將第3類目的幀1設(shè)定成參照圖像。
之后，對每個微塊執(zhí)行如下所示的處理。差分解碼部601解碼高頻段圖像信息與動作矢量。參照圖像指定信息解碼部604解碼參照圖像指定信息。參照圖像切換部603選擇由參照圖像指定信息指示的參照圖像，預(yù)測圖像制作部602使用動作矢量來制作預(yù)測圖像。解碼圖像制作部607根據(jù)高頻段圖像信息與預(yù)測圖像，制作解碼圖像2幀。解碼圖像存儲部608將解碼圖像存儲在第2類目的幀1與幀2中。
之后，執(zhí)行第1類目的解碼。首先，示出解碼幀1與幀2的步驟。當(dāng)前類目解碼部605解碼類目序號1。參照圖像指定信息設(shè)定部610設(shè)定將當(dāng)前幀設(shè)為幀1時的參照圖像指定信息與參照圖像的對應(yīng)。圖像編碼裝置5使指定構(gòu)成參照圖像的第1類目的幀2的參照圖像指定信息對應(yīng)，以指定第2類目的幀1。此刻，將第2類目的幀1設(shè)定成參照圖像。
之后，對每個微塊執(zhí)行如下所示的處理。差分解碼部601解碼高頻段圖像信息與動作矢量。參照圖像指定信息解碼部604解碼參照圖像指定信息。參照圖像切換部603選擇由參照圖像指定信息指示的參照圖像，預(yù)測圖像制作部602使用動作矢量來制作預(yù)測圖像。解碼圖像制作部607根據(jù)高頻段圖像信息與預(yù)測圖像，制作解碼圖像2幀。解碼圖像存儲部608將解碼圖像存儲在第1類目的幀1與幀2中。
下面，示出解碼幀3與幀4的步驟。當(dāng)前類目解碼部605解碼類目序號1。參照圖像指定信息設(shè)定部610設(shè)定將當(dāng)前幀設(shè)為幀3時的參照圖像指定信息與參照圖像的對應(yīng)。圖像編碼裝置5使指定構(gòu)成參照圖像的第1類目的幀4的參照圖像指定信息對應(yīng)，以指定第2類目的幀2。此刻，將第2類目的幀1與幀2、第1類目的幀1與幀2設(shè)定成參照圖像。
之后，對每個微塊執(zhí)行如下所示的處理。差分解碼部601解碼高頻段圖像信息與動作矢量。參照圖像指定信息解碼部604解碼參照圖像指定信息。參照圖像切換部603選擇由參照圖像指定信息指示的參照圖像，預(yù)測圖像制作部602使用動作矢量來制作預(yù)測圖像。解碼圖像制作部607根據(jù)高頻段圖像信息與預(yù)測圖像，制作解碼圖像2幀。但是，在選擇的參照圖像為第2類目的幀2之外的情況下，不使用該微塊的高頻段圖像信息。
解碼圖像存儲部608將解碼圖像存儲在第1類目的幀3與幀4中。由此，解碼作為編碼目的地圖像的第1類目4幀。
這里，預(yù)測圖像制作部602進(jìn)行動作探索，但也可不執(zhí)行該探索，而根據(jù)畫面內(nèi)相同位置的圖像信息來制作預(yù)測圖像。
根據(jù)本實(shí)施例，因?yàn)楫?dāng)編碼第2類目的幀3與幀4時可從多個參照圖像中選擇參照圖像，所以可提高編碼效率。
另外，作為本實(shí)施方式，說明向幀分配多個圖像后視為動態(tài)圖像來編碼的實(shí)例，但本發(fā)明不限于向幀分配多個圖像后視為動態(tài)圖像來編碼的情況，也可沒有多個圖像的時間相關(guān)。即，就改變視點(diǎn)或視線后拍攝的多個圖像而言，可將各圖像視為幀來編碼。
另外，作為本實(shí)施方式，說明不可逆編碼預(yù)測殘差的實(shí)例，但本發(fā)明不限于不可逆編碼預(yù)測殘差的情況，也可可逆編碼。此時，圖像編碼裝置1中不配備解碼部108，不在參照圖像存儲器107中存儲解碼圖像，還可以存儲原圖像。
另外，本發(fā)明不限于編碼二維圖像的情況，圖像的維也可以是二維之外。例如，可編碼三維的多個圖像，或存儲一維的多個圖像。
產(chǎn)業(yè)上的可利用性根據(jù)本發(fā)明，當(dāng)編碼或解碼多個幀的圖像時，將參照圖像存儲器分類成多個類目，通過對每個類目管理參照圖像，可在解碼類目與不解碼類目的情況下，指定同一參照圖像，得到正確的解碼圖像。另外，對每個類目可增多參照圖像數(shù)量，提高編碼效率
權(quán)利要求
1.一種圖像編碼方法，編碼由多個幀構(gòu)成的圖像信息，其特征在于，具有如下步驟圖像分類步驟，將編碼目的地的各幀分類成N個(N≥2)類目；預(yù)測圖像制作步驟，對于分類成第i類目的當(dāng)前幀，從第i(1≤i≤j)類目的、過去編碼了的參照圖像存儲器中的多個幀的圖像信息中，選擇圖像信息，并制作預(yù)測圖像；差分編碼步驟，編碼當(dāng)前幀的圖像信息與預(yù)測圖像的差分；參照圖像指定信息編碼步驟，編碼指定所述選擇到的圖像信息的、第j類目用的參照圖像指定信息；當(dāng)前類目編碼步驟，編碼當(dāng)前幀的類目序號；和圖像存儲步驟，將當(dāng)前幀的圖像信息存儲在參照圖像存儲器中。
2.根據(jù)權(quán)利要求1所述的圖像編碼方法，其特征在于，對每個所述類目，分配幀序號，該幀序號指定屬于類目的幀，所述參照圖像指定信息由所述預(yù)測圖像制作部選擇到的圖像信息所屬的類目序號，和由該序號指定的類目的幀序號構(gòu)成。
3.根據(jù)權(quán)利要求1所述的圖像編碼方法，其特征在于，還具有差分解碼步驟，解碼由所述差分編碼步驟制作的編碼數(shù)據(jù)；和解碼制作步驟，根據(jù)由所述差分解碼步驟制作的解碼數(shù)據(jù)和所述預(yù)測圖像，制作解碼圖像，所述差分編碼步驟通過不可逆編碼來編碼所述差分，所述圖像存儲步驟存儲由所述解碼圖像制作步驟制作的當(dāng)前幀的解碼圖像信息。
4.根據(jù)權(quán)利要求1所述的圖像編碼方法，其特征在于，所述參照圖像指定信息編碼步驟具有暫定幀序號設(shè)定步驟，對存儲在所述參照圖像存儲器中的多個圖像信息中、屬于第i類目的幀的圖像信息，設(shè)定暫定幀序號；和暫定幀序號編碼步驟，編碼暫定幀序號，作為參照圖像指定信息，該暫定幀序號指定由所述預(yù)測圖像制作步驟選擇到的圖像信息。
5.根據(jù)權(quán)利要求4所述的圖像編碼方法，其特征在于，所述暫定幀序號設(shè)定步驟具有編碼順序記錄步驟，記錄過去編碼的幀的編碼順序，作為每個類目的編碼順序序號；和暫定幀序號確定步驟，根據(jù)過去編碼的幀的編碼順序序號和當(dāng)前幀的類目序號，確定過去編碼的幀的暫定幀序號。
6.根據(jù)權(quán)利要求4所述的圖像編碼方法，其特征在于，所述暫定幀序號設(shè)定步驟具有編碼順序記錄步驟，記錄過去編碼的幀的編碼順序，作為編碼順序序號；類目序號記錄步驟，記錄過去編碼的幀的類目序號；和暫定幀序號確定步驟，根據(jù)過去編碼的幀的編碼順序序號和當(dāng)前幀的類目序號，確定過去編碼的幀的暫定幀序號。
7.根據(jù)權(quán)利要求5或6所述的圖像編碼方法，其特征在于，所述暫定幀序號確定步驟具有差分幀序號分配步驟，按編碼順序序號的大小順序，分配差分幀序號；和暫定幀序號算出步驟，預(yù)先具備對差分幀序號和當(dāng)前幀的類目序號的組合分配暫定幀序號的表，根據(jù)差分幀序號與當(dāng)前幀序號，參照表來算出暫定幀序號。
8.根據(jù)權(quán)利要求5或6所述的圖像編碼方法，其特征在于，所述暫定幀序號確定步驟具有差分幀序號分配步驟，按編碼順序序號的大小順序，分配差分幀序號；和暫定幀序號算出步驟，預(yù)先對差分幀序號和當(dāng)前幀的類目序號的組合設(shè)定算出暫定幀序號的計算式，根據(jù)差分幀序號與當(dāng)前幀序號，通過計算來算出暫定幀序號。
9.一種圖像解碼方法，解碼由多個幀構(gòu)成的圖像信息，其特征在于，具有如下步驟當(dāng)前類目解碼步驟，解碼當(dāng)前幀的類目序號；參照圖像指定信息解碼步驟，解碼所述解碼的類目序號用的、指定參照圖像信息的參照圖像指定信息；預(yù)測圖像制作步驟，根據(jù)由所述參照圖像指定信息指定的圖像信息，制作預(yù)測圖像；差分解碼步驟，解碼當(dāng)前幀的解碼圖像和預(yù)測圖像的差分；解碼圖像制作步驟，根據(jù)所述解碼的差分信息和所述預(yù)測圖像，制作當(dāng)前幀的解碼圖像；和解碼圖像存儲步驟，將所述制作的當(dāng)前幀的解碼圖像信息存儲在所述解碼的類目序號用的參照圖像存儲器中。
10.根據(jù)權(quán)利要求9所述的圖像解碼方法，其特征在于，所述參照圖像指定信息由所述預(yù)測圖像制作部從所述參照圖像存儲器讀入的參照圖像信息所屬的類目序號，和指定屬于由該序號指定的類目的幀的幀序號構(gòu)成。
11.根據(jù)權(quán)利要求9所述的圖像解碼方法，其特征在于，所述參照圖像指定信息解碼步驟具有暫定幀序號設(shè)定步驟，對存儲在所述參照圖像存儲器中的多個圖像信息中、屬于第i類目的幀的圖像信息，設(shè)定暫定幀序號；和暫定幀序號解碼步驟，解碼參照圖像指定信息，得到指定由所述預(yù)測圖像制作步驟選擇的圖像信息的暫定幀序號。
12.根據(jù)權(quán)利要求11所述的圖像解碼方法，其特征在于，所述暫定幀序號設(shè)定步驟具有解碼順序記錄步驟，記錄過去解碼的幀的解碼順序，作為每個類目的解碼順序序號；和暫定幀序號確定步驟，根據(jù)過去解碼的幀的解碼順序序號和當(dāng)前幀的類目序號，確定過去解碼的幀的暫定幀序號。
13.根據(jù)權(quán)利要求11所述的圖像解碼方法，其特征在于，所述暫定幀序號設(shè)定步驟具有解碼順序記錄步驟，記錄過去解碼的幀的解碼順序，作為解碼順序序號；類目序號記錄步驟，記錄過去解碼的幀的類目序號；和暫定幀序號確定步驟，根據(jù)過去解碼的幀的解碼順序序號和當(dāng)前幀的類目序號，確定過去解碼的幀的暫定幀序號。
14.根據(jù)權(quán)利要求12或13所述的圖像解碼方法，其特征在于，所述暫定幀序號確定步驟具有差分幀序號分配步驟，按解碼順序序號的大小順序，分配差分幀序號；和暫定幀序號算出步驟，預(yù)先具備對差分幀序號和當(dāng)前幀的類目序號的組合分配暫定幀序號的表，根據(jù)差分幀序號和當(dāng)前幀序號，參照表來算出暫定幀序號。
15.根據(jù)權(quán)利要求12或13所述的圖像解碼方法，其特征在于，所述暫定幀序號確定步驟具有差分幀序號分配步驟，按解碼順序序號的大小順序，分配差分幀序號；和暫定幀序號算出步驟，預(yù)先對差分幀序號和當(dāng)前幀的類目序號的組合設(shè)定算出暫定幀序號的計算式，根據(jù)差分幀序號和當(dāng)前幀序號，通過計算來算出暫定幀序號。
16.一種圖像編碼裝置，編碼由多個幀構(gòu)成的圖像信息，其特征在于，包括圖像分類部，將編碼目的地的各幀分類成N個(N≥2)類目；預(yù)測圖像制作部，對于分類成第i類目的當(dāng)前幀，從第i(1≤i≤j)類目的、過去編碼了的多個幀的圖像信息中，選擇圖像信息，并制作預(yù)測圖像；差分編碼部，編碼當(dāng)前幀的圖像信息與預(yù)測圖像的差分；參照圖像指定信息編碼部，編碼指定由所述預(yù)測圖像制作部選擇到的圖像信息的、第j類目用的參照圖像指定信息；當(dāng)前類目編碼部，編碼當(dāng)前幀的類目序號；和參照圖像存儲器，存儲當(dāng)前幀的圖像信息。
17.根據(jù)權(quán)利要求16所述的圖像編碼裝置，其特征在于，還具有差分解碼部，解碼由所述差分編碼部制作的編碼數(shù)據(jù)；和解碼制作部，根據(jù)由所述差分解碼部制作的解碼數(shù)據(jù)和所述預(yù)測圖像，制作解碼圖像，所述差分編碼部通過不可逆編碼來編碼所述差分，所述參照圖像存儲器存儲由所述解碼圖像制作部制作的當(dāng)前幀的解碼圖像信息。
18.一種圖像解碼裝置，解碼由多個幀構(gòu)成的圖像信息，其特征在于，包括分類成N個(N≥2)類目的多個幀大小的參照圖像存儲器；當(dāng)前類目解碼部，解碼當(dāng)前幀的類目序號；參照圖像指定信息解碼部，解碼由所述當(dāng)前類目解碼部得到的類目序號用的、指定參照圖像信息的參照圖像指定信息；預(yù)測圖像制作部，根據(jù)由所述參照圖像指定信息指定的圖像信息，制作預(yù)測圖像；差分解碼部，解碼當(dāng)前幀的解碼圖像與預(yù)測圖像的差分；解碼圖像制作部，根據(jù)所述解碼的差分信息和所述預(yù)測圖像，制作當(dāng)前幀的解碼圖像；和解碼圖像存儲部，將所述制作的當(dāng)前幀的解碼圖像信息存儲在由所述當(dāng)前類目解碼部得到的類目序號用的參照圖像存儲器中。
19.一種圖像編碼方法，編碼由多個幀構(gòu)成的圖像信息，其特征在于，具有如下步驟圖像分類步驟，將編碼目的地的各幀分類成N個(N≥2)類目；參照類目設(shè)定步驟，設(shè)定在編碼當(dāng)前幀所屬的類目的幀時可參照的類目；參照圖像指定信息設(shè)定步驟，對屬于由所述參照類目設(shè)定步驟設(shè)定的可參照的類目的、存儲在參照圖像存儲器中的幀的圖像信息，設(shè)定參照圖像指定信息；預(yù)測圖像制作步驟，從由所述參照類目設(shè)定步驟設(shè)定的類目的、過去編碼的多個幀的圖像信息中，選擇圖像信息，并制作預(yù)測圖像；差分編碼步驟，編碼當(dāng)前幀的圖像信息與預(yù)測圖像的差分；參照圖像指定信息編碼步驟，編碼參照圖像指定信息，該參照圖像指定信息指定由所述預(yù)測圖像制作步驟選擇的圖像信息；當(dāng)前類目編碼步驟，編碼當(dāng)前幀的類目序號；和圖像存儲步驟，將當(dāng)前幀的圖像信息存儲在參照圖像存儲器中。
20.根據(jù)權(quán)利要求19所述的圖像編碼方法，其特征在于，還具有差分解碼步驟，解碼由所述差分編碼步驟制作的編碼數(shù)據(jù)；和解碼制作步驟，根據(jù)由所述差分解碼步驟制作的解碼數(shù)據(jù)和所述預(yù)測圖像，制作解碼圖像，所述差分編碼步驟通過不可逆編碼來編碼所述差分，所述圖像存儲步驟存儲由所述解碼圖像制作步驟制作的當(dāng)前幀的解碼圖像信息。
21.一種圖像解碼方法，解碼由多個幀構(gòu)成的圖像信息，其特征在于，具有如下步驟當(dāng)前類目解碼步驟，解碼當(dāng)前幀的類目序號；參照類目設(shè)定步驟，設(shè)定在解碼當(dāng)前幀所屬的類目的幀時可參照的類目；參照圖像指定信息設(shè)定步驟，對屬于由所述參照類目設(shè)定步驟設(shè)定的可參照的類目的、存儲在參照圖像存儲器中的幀的圖像信息，設(shè)定參照圖像指定信息；參照圖像指定信息解碼步驟，解碼指定參照圖像信息的參照圖像指定信息；預(yù)測圖像制作步驟，根據(jù)由參照圖像指定信息指定的圖像信息，制作預(yù)測圖像；差分解碼步驟，解碼當(dāng)前幀的解碼圖像與預(yù)測圖像的差分；解碼圖像制作步驟，根據(jù)差分信息與預(yù)測圖像，制作解碼圖像；和解碼圖像存儲步驟，將當(dāng)前幀的解碼圖像存儲在由所述當(dāng)前類目解碼步驟得到的類目序號用的參照圖像存儲器中。
22.一種圖像編碼裝置，編碼由多個幀構(gòu)成的圖像信息，其特征在于，具有圖像分類部，將編碼目的地的各幀分類成N個(N≥2)類目；參照類目設(shè)定部，設(shè)定在編碼當(dāng)前幀所屬的類目的幀時可參照的類目；參照圖像指定信息設(shè)定部，對屬于由所述參照類目設(shè)定步驟設(shè)定的可參照的類目的、存儲在參照圖像存儲器中的幀的圖像信息，設(shè)定參照圖像指定信息；預(yù)測圖像制作部，從由所述參照類目設(shè)定部設(shè)定的類目的、過去編碼的多個幀的圖像信息中，選擇圖像信息，并制作預(yù)測圖像；差分編碼部，編碼當(dāng)前幀的圖像信息與預(yù)測圖像的差分；參照圖像指定信息編碼部，編碼參照圖像指定信息，該參照圖像指定信息指定由所述預(yù)測圖像制作部選擇的圖像信息；當(dāng)前類目編碼部，編碼當(dāng)前幀的類目序號；和參照圖像存儲器，存儲當(dāng)前幀的圖像信息。
23.根據(jù)權(quán)利要求22所述的圖像編碼裝置，其特征在于，還具有差分解碼部，解碼由所述差分編碼部制作的編碼數(shù)據(jù)；和解碼制作部，根據(jù)由所述差分解碼部制作的解碼數(shù)據(jù)和所述預(yù)測圖像，制作解碼圖像，所述差分編碼部通過不可逆編碼來編碼所述差分，所述參照圖像存儲器存儲由所述解碼圖像制作部制作的當(dāng)前幀的解碼圖像信息。
24.一種圖像解碼裝置，解碼由多個幀構(gòu)成的圖像信息，其特征在于，具有分類成N個(N≥2)類目的多個幀大小的參照圖像存儲器；當(dāng)前類目解碼部，解碼當(dāng)前幀的類目序號；參照類目設(shè)定部，設(shè)定解碼當(dāng)前幀所屬的類目的幀時可參照的類目；參照圖像指定信息設(shè)定部，對屬于由所述參照類目設(shè)定部設(shè)定的可參照的類目的、存儲在所述參照圖像存儲器中的幀的圖像信息，設(shè)定參照圖像指定信息；參照圖像指定信息解碼部，解碼指定參照圖像信息的參照圖像指定信息；預(yù)測圖像制作部，根據(jù)由參照圖像指定信息指定的圖像信息，制作預(yù)測圖像；差分解碼部，解碼當(dāng)前幀的解碼圖像與預(yù)測圖像的差分；解碼圖像制作部，根據(jù)差分信息和預(yù)測圖像，制作解碼圖像；和解碼圖像存儲部，將當(dāng)前幀的解碼圖像存儲在由所述當(dāng)前類目解碼部得到的類目序號用的參照圖像存儲器中。
25.一種圖像編碼方法，根據(jù)多個幀的圖像信息，制作分類成N個(N≥2)類目的低頻段圖像信息與高頻段圖像信息，編碼圖像信息，其特征在于，具有如下步驟參照圖像指定信息設(shè)定步驟，對當(dāng)前幀可參照的類目的、存儲在參照圖像存儲器中的多個幀的圖像信息，設(shè)定參照圖像指定信息；預(yù)測圖像制作步驟，從當(dāng)前幀可參照的類目的、存儲于參照圖像存儲器中的多個幀的圖像信息中，選擇圖像信息，并制作預(yù)測圖像；差分編碼步驟，根據(jù)當(dāng)前幀的圖像信息與預(yù)測圖像，制作并編碼高頻段圖像信息；參照圖像指定信息編碼步驟，編碼參照圖像指定信息，該參照圖像指定信息指定由所述預(yù)測圖像制作步驟選擇的圖像信息；當(dāng)前類目編碼步驟，編碼當(dāng)前幀的類目序號；和解碼步驟，根據(jù)高頻段圖像信息和預(yù)測圖像，制作低頻段圖像信息并存儲在參照圖像存儲器中。
26.一種圖像解碼方法，根據(jù)高頻段圖像信息和低頻段圖像信息，解碼圖像信息，其特征在于，具有如下步驟當(dāng)前類目解碼步驟，解碼當(dāng)前幀的類目序號；參照圖像指定信息設(shè)定步驟，對屬于當(dāng)前幀可參照的類目的、存儲在參照圖像存儲器中的幀的圖像信息，設(shè)定參照圖像指定信息；參照圖像指定信息解碼步驟，解碼指定參照圖像信息的參照圖像指定信息；預(yù)測圖像制作步驟，根據(jù)由參照圖像指定信息指定的低頻段圖像信息，制作預(yù)測圖像；差分解碼步驟，解碼高頻段圖像信息；解碼圖像制作步驟，根據(jù)高頻段圖像信息和預(yù)測圖像，制作解碼圖像；和解碼圖像存儲步驟，將當(dāng)前幀的解碼圖像存儲在由所述當(dāng)前類目解碼步驟得到的類目序號用的參照圖像存儲器中。
27.一種圖像編碼裝置，根據(jù)多個幀的圖像信息，制作分類成N個(N≥2)類目的低頻段圖像信息和高頻段圖像信息，編碼圖像信息，其特征在于，包括參照圖像指定信息設(shè)定部，對屬于當(dāng)前幀可參照的類目的、存儲在參照圖像存儲器中的幀的圖像信息，設(shè)定參照圖像指定信息；預(yù)測圖像制作部，從當(dāng)前幀可參照的類目的、存儲于參照圖像存儲器中的多個幀的圖像信息中，選擇圖像信息，并制作預(yù)測圖像；差分編碼部，根據(jù)當(dāng)前幀的圖像信息和預(yù)測圖像，制作并編碼高頻段圖像信息；參照圖像指定信息編碼部，編碼參照圖像指定信息，該參照圖像指定信息指定由所述預(yù)測圖像制作部選擇的圖像信息；當(dāng)前類目編碼部，編碼當(dāng)前幀的類目序號；和解碼部，根據(jù)高頻段圖像信息和預(yù)測圖像，制作低頻段圖像信息并存儲在參照圖像存儲器中。
28.一種圖像解碼裝置，根據(jù)高頻段圖像信息和低頻段圖像信息，解碼圖像信息，其特征在于，包括當(dāng)前類目解碼部，解碼當(dāng)前幀的類目序號；參照圖像指定信息設(shè)定部，對屬于當(dāng)前幀可參照的類目的、存儲在參照圖像存儲器中的幀的圖像信息，設(shè)定參照圖像指定信息；參照圖像指定信息解碼部，解碼指定參照圖像信息的參照圖像指定信息；預(yù)測圖像制作部，根據(jù)由參照圖像指定信息指定的低頻段圖像信息，制作預(yù)測圖像；差分解碼部，解碼高頻段圖像信息；解碼圖像制作部，根據(jù)高頻段圖像信息和預(yù)測圖像，制作解碼圖像；和解碼圖像存儲部，將當(dāng)前幀的解碼圖像存儲在由所述當(dāng)前類目解碼部得到的類目序號用的參照圖像存儲器中。
29.一種圖像編碼程序，用于讓計算機(jī)執(zhí)行權(quán)利要求1、19、25中任意一項(xiàng)所述的圖像編碼方法。
30.一種圖像解碼程序，用于讓計算機(jī)執(zhí)行權(quán)利要求9、21、26中任意一項(xiàng)所述的圖像解碼方法。
31.一種記錄圖像編碼程序的記錄媒體，該程序用于讓計算機(jī)執(zhí)行權(quán)利要求1、19、25中任意一項(xiàng)所述的圖像編碼方法。
32.一種記錄圖像解碼程序的記錄媒體，該程序用于讓計算機(jī)執(zhí)行權(quán)利要求9、21、26中任意一項(xiàng)所述的圖像解碼方法。
全文摘要
為了在未解碼編碼數(shù)據(jù)的特定幀的情況下也能得到正確的解碼圖像，并且使編碼效率提高，預(yù)測圖像制作部(103)對由圖像分類部(102)分類到第j類目的當(dāng)前幀，從第i(1≤i≤j)類目的、過去編碼的參照圖像存儲器(107)的多個幀的圖像信息中，選擇圖像信息，制作預(yù)測圖像。差分編碼部(104)編碼當(dāng)前幀的圖像信息與預(yù)測圖像的差分。另外，當(dāng)前類目編碼部(106)編碼當(dāng)前幀的類目序號，參照圖像指定信息編碼部(105)編碼指定從參照圖像存儲器(107)中選擇出的圖像信息的參照圖像指定信息。
文檔編號H03M7/36GK1806447SQ20048001666
公開日2006年7月19日 申請日期2004年7月22日 優(yōu)先權(quán)日2003年7月24日
發(fā)明者木全英明, 北原正樹, 上倉一人 申請人:日本電信電話株式會社