預測編碼裝置100的動作。由成為編碼處理的對象的多張圖像構(gòu)成的動態(tài)圖像的信號被輸入到輸入端子101，各個圖像經(jīng)由塊分割器102被分割為多個區(qū)域。在本實施方式中，各個圖像被分割為由8X8像素構(gòu)成的多個塊，但也可以分割為除此之外的塊的大小或者塊形狀。然后，將作為編碼處理的對象的塊(下面稱為“對象塊”)作為對象，利用后述的預測方法生成預測信號。在本實施方式中，作為預測方法可以利用畫面間預測和畫面內(nèi)預測這兩種預測方法，關于畫面間預測也可以利用在【背景技術】中敘述的雙向畫面間預測。下面，概要說明畫面間預測和畫面內(nèi)預測各自的基本動作。
[0065]在畫面間預測中，將過去被編碼后又被復原的再現(xiàn)圖像用作參照圖像，根據(jù)該參照圖像，求出賦予針對對象塊的誤差為最小的預測信號的運動信息(例如運動向量)。該處理被稱為“運動檢測”。并且，根據(jù)情況也可以將對象塊進行再次分割，將再次分割后的小區(qū)域作為對象來確定畫面間預測方法。在這種情況下，從各種分割方法中確定針對對象塊整體效率最好的小區(qū)域的分割方法及各個小區(qū)域的運動信息。在本實施方式中，由預測信號生成器103進行畫面間預測，對象塊經(jīng)由線L102、參照圖像經(jīng)由線L104分別被輸入預測信號生成器103。關于參照圖像，將過去被編碼后又被復原的多個圖像用作參照圖像。其詳細情況與現(xiàn)有技術的MPEG - 2,MPEG 一 4、H.264中的任意一種方法相同。所確定的小區(qū)域的分割方法信息及各個小區(qū)域的運動信息，從預測信號生成器103經(jīng)由線L112發(fā)送給熵編碼器111，在由熵編碼器111進行編碼后，該編碼數(shù)據(jù)經(jīng)由線Llll從輸出端子112被發(fā)送出去。并且，在多個參照圖像中，有關從哪個參照圖像取得預測信號的信息(基準索引)，也從預測信號生成器103經(jīng)由線L112發(fā)送給熵編碼器111，在由熵編碼器111進行編碼后，該編碼數(shù)據(jù)經(jīng)由線Llll從輸出端子112發(fā)送出去。另外，在本實施方式中，作為一例，4張?5張再現(xiàn)圖像被存儲在幀存儲器104中，被作為參照圖像使用。預測信號生成器103根據(jù)小區(qū)域的分割方法以及有關各個小區(qū)域的參照圖像和運動信息，從幀存儲器104取得參照圖像，根據(jù)參照圖像和運動信息生成預測信號(通過畫面間預測得到的預測信號的意思，稱為“畫面間預測信號”)。這樣生成的畫面間預測信號經(jīng)由線L103被發(fā)送給減法器105和在后述的處理中涉及的加法器110。
[0066]另一方面，在畫面內(nèi)預測中，使用在空間上與對象塊相鄰的已再現(xiàn)的像素值生成畫面內(nèi)預測信號。具體地講，預測信號生成器103從幀存儲器104取得處于同一畫面內(nèi)的已再現(xiàn)的像素信號，并外插已再現(xiàn)的像素信號，由此生成預測信號(通過畫面內(nèi)預測得到的預測信號的意思，稱為“畫面內(nèi)預測信號”)。所生成的畫面內(nèi)預測信號從預測信號生成器103經(jīng)由線L103被發(fā)送給減法器105。預測信號生成器103中畫面內(nèi)預測信號的生成方法與現(xiàn)有技術的H.264的方法相同。另外，與畫面內(nèi)預測中的外插的方法相關的信息，從預測信號生成器103經(jīng)由線L112被發(fā)送給熵編碼器111，在由熵編碼器111進行編碼后，編碼數(shù)據(jù)從輸出端子112被發(fā)送出去。
[0067]以上概要說明了畫面間預測和畫面內(nèi)預測各自的基本動作。實際上，對于每個對象塊，選擇如上所述求出的畫面間預測信號和畫面內(nèi)預測信號中誤差為最小的信號，從預測信號生成器103經(jīng)由線L103發(fā)送給減法器105。
[0068]可是，對于被編碼的第一張圖像，由于在其前面沒有圖像，因而該第一張圖像內(nèi)的全部對象塊是通過畫面內(nèi)預測進行處理。并且，為了應對電視的頻道切換，通過畫面內(nèi)預測定期處理作為隨機訪問點的、某個圖像內(nèi)的全部對象塊。這種圖像被稱為內(nèi)幀，在H.264中稱為IDR圖片。
[0069]減法器105從經(jīng)由線L102接收到的對象塊的信號中減去經(jīng)由線L103接收到的預測信號，由此生成殘差信號。該殘差信號由變換器106進行離散余弦變換，其各個變換系數(shù)由量化器107進行量化。最后，被量化后的變換系數(shù)由熵編碼器111進行編碼，所得到的編碼數(shù)據(jù)和與預測方法相關的信息一起經(jīng)由線Llll從輸出端子112發(fā)送出去。
[0070]另一方面，為了對后續(xù)的對象塊進行畫面內(nèi)預測或者畫面間預測，上述被量化后的變換系數(shù)(對象塊的編碼數(shù)據(jù))在由逆量化器108進行逆量化后，由逆變換器109進行逆離散余弦變換，由此殘差信號被復原。并且，由加法器110將被復原后的殘差信號和從線L103發(fā)送的預測信號相加，由此對象塊的信號被再現(xiàn)，所得到的再現(xiàn)信號被存儲在幀存儲器104中。另外，在本實施方式中使用了變換器106和逆變換器109，但也可以使用其它的變換處理來取代。并且，根據(jù)情況也可以沒有變換器106和逆變換器109。
[0071]可是，幀存儲器104是有限的，實際上不能存儲全部的再現(xiàn)圖像。因此，只有在對后續(xù)的圖像進行編碼時使用的再現(xiàn)圖像被存儲在幀存儲器104中?？刂圃搸鎯ζ?04的是幀存儲器管理器114。幀存儲器管理器114進行這樣的控制:從在幀存儲器104中存儲的N張(例如N = 4)再現(xiàn)圖像中刪除最早的再現(xiàn)圖像，由此能夠?qū)⒆钚卤挥米鲄⒄請D像的再現(xiàn)圖像存儲在幀存儲器104中。實際上，從輸入端子113向幀存儲器管理器114輸入有各個圖像的顯示順序信息以及對圖像進行編碼的類型信息(畫面內(nèi)預測編碼、畫面間預測編碼、雙向預測編碼)，幀存儲器管理器114根據(jù)這些信息進行動作。此時，各個圖像的顯示順序信息從幀存儲器管理器114經(jīng)由線L114被發(fā)送給熵編碼器111，由熵編碼器111進行編碼，該被編碼后的顯示順序信息與被編碼后的圖像數(shù)據(jù)一起經(jīng)由線Llll從輸出端子112被發(fā)送出去。另外，顯示順序信息是附隨于各個圖像的信息，也可以是表示圖像的順序的信息、或表示顯示圖像的時刻的信息(例如圖像的顯示參照時間(臨時參照))。在本實施方式中，例如利用二值編碼直接對顯示順序信息進行編碼。另外，關于幀存儲器管理器114的控制方法將在后面進行說明。
[0072][關于動態(tài)圖像預測解碼裝置]
[0073]下面，對本發(fā)明的動態(tài)圖像預測解碼裝置進行說明。圖2是表示本發(fā)明的實施方式的動態(tài)圖像預測解碼裝置200的結(jié)構(gòu)的功能框圖。如圖2所示，動態(tài)圖像預測解碼裝置200具有作為功能性構(gòu)成要素的輸入端子201、數(shù)據(jù)分析器202、逆量化器203、逆變換器204、加法器205、預測信號生成器208、幀存儲器207、輸出端子206以及幀存儲器管理器209。關于各個功能單元的動作，將在后述的動態(tài)圖像預測解碼裝置200的動作中進行說明。另外，關于與解碼相關的單元，不限于逆量化器203和逆變換器204，也可以利用除此之外的單元。并且，也可以沒有逆變換器204，而僅利用逆量化器203構(gòu)成與解碼相關的單
J L ο
[0074]下面，敘述動態(tài)圖像預測解碼裝置200的動作。利用上述的編碼方法得到的壓縮數(shù)據(jù)被從輸入端子201輸入。該壓縮數(shù)據(jù)中包含對象塊的殘差信號、與預測信號的生成相關的信息、量化參數(shù)、圖像的顯示順序信息、與圖像的編碼類型相關的信息。其中，作為與預測信號的生成相關的信息，例如在畫面間預測的情況下，是包括與塊分割相關的信息(小區(qū)域的分割方法信息(例如塊的尺寸等))、各個小區(qū)域的運動信息、以及基準索引，在畫面內(nèi)預測的情況下，則包括與外插的方法相關的信息。
[0075]數(shù)據(jù)分析器202從所輸入的壓縮數(shù)據(jù)中抽取對象塊的殘差信號、與預測信號的生成相關的信息、量化參數(shù)、圖像的顯示順序信息、與圖像的編碼類型相關的信息。其中，對象塊的殘差信號和量化參數(shù)經(jīng)由線L202被發(fā)送給逆量化器203，逆量化器203根據(jù)量化參數(shù)對對象塊的殘差信號進行逆量化，逆變換器204再對逆量化的結(jié)果進行逆離散余弦變換。這樣被復原后的殘差信號經(jīng)由線L204被發(fā)送給加法器205。
[0076]另一方面，所抽取的與預測信號的生成相關的信息，經(jīng)由線L206b被發(fā)送給預測信號生成器208。預測信號生成器208根據(jù)與預測信號的生成相關的信息，從幀存儲器207內(nèi)的多個參照圖像中取得恰當?shù)膮⒄請D像，根據(jù)該恰當?shù)膮⒄請D像生成預測信號。所生成的預測信號經(jīng)由線L208被發(fā)送給加法器205，由加法器205加算到上述被復原后的殘差信號中，其結(jié)果是，對象塊的信號被再現(xiàn)。被再現(xiàn)的對象塊的信號經(jīng)由線L205從輸出端子206輸出，同時作為再現(xiàn)圖像被存儲在幀存儲器207中。
[0077]在幀存儲器207中存儲有在對后續(xù)的圖像進行解碼和再現(xiàn)時使用的再現(xiàn)圖像。幀存儲器管理器209進行這樣的控制:從幀存儲器207中存儲的N張(此處作為一例是N =4，但也可以是預先設定的整數(shù))再現(xiàn)圖像中刪除最早的再現(xiàn)圖像，由此能夠?qū)⒆钚卤挥米鲄⒄請D像的再現(xiàn)圖像存儲在幀存儲器207中。該幀存儲器管理器209根據(jù)經(jīng)由線L206a輸入的對象圖像的顯示順序信息和與圖像的編碼類型相關的信息進行動作。關于幀存儲器管理器209的控制方法將在后面進行說明。
[0078]另外，關于作為隨機訪問點的內(nèi)幀(畫面內(nèi)預測圖像)，在H.264中被稱為IDR圖片(instantaneous decoder refresh)，該名稱來源于在對IDR圖片進行編碼或者解碼后馬上(instantaneous)刷新幀存儲器(decoder buffer)。與此相對，根據(jù)本發(fā)明，不是在對作為隨機訪問點的內(nèi)幀進行編碼或者解碼后馬上(或者即將進行編碼或解碼之前)執(zhí)行幀存儲器的刷新，而是暫時待機(或者延遲)，然后執(zhí)行幀存儲器的刷新，因而在本發(fā)明中將該圖像稱為 DDR 圖片(deferred decoder refresh 或者 delayed decoder refresh)。如以下詳細說明的那樣，將DDR圖片的顯示順序信息與作為處理(編碼或者解碼)的對象的圖像(下面稱為“處理對象圖像”)的顯示順序信息進行比較，由此確定幀存儲器的刷新的定時。
[0079][動態(tài)圖像預測編碼方法及動態(tài)圖像預測解碼方法的特征性處理動作]
[0080]下面，使用圖3和圖4說明本發(fā)明的動態(tài)圖像預測編碼方法及動態(tài)圖像預測解碼方法的動作。圖3是表示本實施方式的動態(tài)圖像預測編碼/解碼方法的流程圖，下面關于圖3說明作為動態(tài)圖像的編碼方法時的情況。但是，圖3也能夠適用于動態(tài)圖像的解碼方法。
[0081]首先，對在圖3中使用的變量的意思進行說明。TR表示顯示順序信息，TR_DDR表示DDR圖像的顯示順序信息，TR_CUR表示該時刻的處理對象圖像的顯示順序信息，RP是表示幀存儲器104的刷新是否為待機中的狀態(tài)變量。在RP = I時，表示DDR圖片成為處理對象后，幀存儲器104的刷新尚未執(zhí)行的狀態(tài)(即，幀存儲器刷新為待機中的狀態(tài))，在RP =O時，表示幀存儲器104的刷新已執(zhí)行完畢的狀態(tài)或者不需要刷新處理的狀態(tài)。
[0082]在圖3中，在動態(tài)圖像的編碼開始時，首先將TR_DDR和RP初始化為0(步驟301)。在步驟302，確認RP = I而且TR_CUR是否大于TR_DDR。如果滿足該條件，則意味著幀存儲器刷新為待機中、而且處理對象的圖像在顯示順序中是DDR圖片后面的圖像，因而執(zhí)行幀存儲器104的刷新處理(即，將幀存儲器104中存儲的參照圖像設定為不要的處理)(步驟303)。但是，在此，設定為不要的參照圖像僅是顯示順序信息TR比最近的DDR圖片的顯示順序信息(TR_DDR)小的參照圖像。并且，不將最近的DDR圖片(或者畫面內(nèi)預測編碼圖像)設定為不要。以上所述的刷新處理結(jié)束，由此將狀態(tài)變量RP設定為RP = O0
[0083]另一方面，當在步驟302不滿足上述條件的情況下，進入步驟304，確認該時刻的處理對象圖像是否是DDR圖片。另外，在動態(tài)圖像預測編碼裝置100中，假設與圖像的編碼類型(DDR、畫面間預測編碼或者雙向預測編碼)相關的信息是經(jīng)由圖1中的輸入端子113從未圖示的控制裝置提供的。在步驟304，在該時刻的處理對象圖像是DDR圖片的情況下，在步驟305將該時刻的處理對象圖像的顯示順序信息TR_CUR設定為TR_DDR，將狀態(tài)變量RP設定為RP = 1，然后進入步驟306。另一方面，當在步驟304不滿足條件的情況下，進入步驟306。