技術領域

本發(fā)明涉及動態(tài)圖像預測解碼裝置及方法，尤其涉及通過將兩個預測信號平均化來生成最終的塊預測信號(雙預測信號)的動態(tài)圖像預測解碼裝置及方法。

背景技術：

為了高效地進行靜態(tài)圖像或動態(tài)圖像數(shù)據(jù)的傳輸和蓄積采用了壓縮編碼技術。在動態(tài)圖像的情況下廣泛應用MPEG-1～4或ITU(International Telecommunication Union：國際電信聯(lián)盟)H.261～H.264的方式。

在這些編碼方式中，在將作為編碼的對象的圖像分割為多個塊的基礎上進行編碼處理/解碼處理。在畫面內的預測編碼中，在使用位于與對象塊相同的畫面內的相鄰的已再生的圖像信號(將壓縮的圖像數(shù)據(jù)復原后的圖像信號)生成預測信號的基礎上，對從對象塊的信號中減去該預測信號得到的差分信號進行編碼。在畫面間的預測編碼中，參照位于與對象塊不同的畫面內的已再生的圖像信號，進行運動的校正，生成預測信號，對從對象塊的信號中減去該預測信號得到的差分信號進行編碼。

例如，在H.264的畫面內預測編碼中，采用將與作為編碼對象的塊相鄰的已再生的像素值在預定的方向上外插并生成預測信號的方法。圖20是用于說明在ITU H.264中使用的畫面內預測方法的示意圖。在圖20(A)中，對象塊802是作為編碼的對象的塊，由與該對象塊802的邊界相鄰的像素A～M構成的像素組801是相鄰區(qū)域，而且是在過去的處理中已經被再生的圖像信號。

在這種情況下，將作為位于對象塊802的正上方的相鄰像素的像素組801向下方拉伸，由此生成預測信號。此外，在圖20(B)中，將位于對象塊804的左側的已再生像素(I～L)向右拉伸，由此生成預測信號。生成預測信號的具體的方法例如在專利文獻1中記載。這樣，對于利用圖20的(A)～(I)所示的方法生成的9個預測信號，分別取得與對象塊的像素信號的差分，將差分值最小的信號作為最優(yōu)的預測信號。如上所述，通過對像素進行外插能夠生成預測信號。有關以上內容記載在下述專利文獻1中。

在通常的畫面間預測編碼中，使用如下方法來生成預測信號：針對作為編碼對象的塊，從已經再生過的畫面中搜索與其像素信號類似的信號。而且，對對象塊與搜索到的信號構成的區(qū)域之間的空間性位移量即運動矢量、以及對象塊的像素信號和預測信號的殘差信號進行編碼。這樣按照每個塊搜索運動矢量的方法被稱為塊匹配(block matching)。

圖19是用于說明塊匹配處理的示意圖。在此，以編碼對象的畫面701上的對象塊702為例對預測信號的生成順序進行說明。參照畫面703已經再生過，區(qū)域704與對象塊702在空間上是同一位置的區(qū)域。在塊匹配中，設定包圍區(qū)域704的搜索范圍705，從該搜索范圍705的像素信號中檢測與對象塊702的像素信號的絕對值誤差和最小的區(qū)域706。該區(qū)域706的信號成為預測信號，從區(qū)域704向區(qū)域706的位移量被檢測作為運動矢量707。此外，有時也使用以下方法：準備多個參照畫面703，對每個對象塊選擇實施塊匹配的參照畫面，并檢測參照畫面選擇信息。在H.264中，為了對應圖像的局部性的特征變化，準備用于對運動矢量進行編碼的塊尺寸不同的多個預測類型。關于H.264的預測類型記載在例如專利文獻2中。

在動態(tài)圖像數(shù)據(jù)的壓縮編碼中，各個畫面(幀、字段)的編碼順序可以是任意順序。因此，在參照已再生畫面生成預測信號的畫面間預測中，關于編碼順序有兩種方法。第一種方法是參照一個已再生畫面來生成預測信號的單預測，第二種方法是參照一個或者兩個已再生畫面，并對能夠得到的兩個預測信號進行平均化的雙預測。在單預測中，包括按照顯示順序參照過去的已再生畫面的前向預測，和按照顯示順序參照未來的已再生畫面的后向預測。關于畫面間預測的類型記載在例如專利文獻3中。

在H.264中，作為參照畫面703的候選，作成由多個已再生畫面構成的兩個參照畫面列表來進行第二種畫面間方法(雙預測)。將在各參照畫面列表中登記的多個參照畫面作為對象進行塊匹配，并檢測出與區(qū)域706相當?shù)膬蓚€區(qū)域，對檢測到的兩個預測信號進行平均化。

使用圖5和圖6說明參照畫面列表的示例。在圖5(A)中，畫面505示出編碼對象圖像，畫面501～畫面504示出已再生圖像。在圖5(B)中，畫面510示出編碼對象畫面，畫面507、508、509和511示出已再生畫面，利用幀號(frame_num)進行各個圖像(畫面)的識別。圖6的列表0(List0)和列表1(List1)表示兩個參照畫面列表，圖6(A)表示圖5(A)的參照畫面列表，圖6(B)和(C)表示圖5(B)的參照畫面列表的示例。在圖6(A)和(C)中，在各參照畫面列表內分別登記4個參照畫面，在圖6(B)中，在各參照畫面列表內分別登記2個參照畫面。利用參照畫面索引(ref_idx)來識別各個參照畫面。能夠登記在參照畫面列表中的已再生圖像基本上是任意的。另外，在本案中，為了容易理解內容，對上述的參照畫面列表List0、List1一并采用例如稱為第0運動信息、第1運動信息的稱呼。

現(xiàn)有技術文獻

專利文獻

【專利文獻1】美國專利公報第6765964號

【專利文獻2】美國專利公報第7003035號

【專利文獻3】美國專利公報第6259739號

技術實現(xiàn)要素：

發(fā)明所要解決的問題

在雙預測中，能夠利用基于類似的兩個預測信號的平均化的平滑效果，清除預測信號中所包含的噪聲?？墒牵@種平滑效果較大的塊往往是包含紋理區(qū)域和噪聲的平坦區(qū)域，在參照畫面內存在多個類似信號。

這些區(qū)域的信號的隨機性比較強，因而如果從多個參照畫面中搜索在這些區(qū)域中與對象塊類似的兩個預測信號，則相鄰的塊間的運動矢量有時產生偏差。運動矢量是根據(jù)與相鄰塊的運動矢量的差進行編碼，因而如果在相鄰塊之間運動矢量有偏差，將導致其代碼量增大。

作為減少雙預測的代碼量的方法，如在過去的例子中示例的那樣，有在解碼側利用相鄰塊的狀況導出兩個運動矢量的方法，但是由于能夠利用的預測信號的限制過嚴，因而難以提高兩個預測信號的類似性，不能得到充分的平滑效果。

為了解決上述課題，本發(fā)明的目的在于，提供一種動態(tài)圖像預測解碼裝置及方法，對用于生成與對象塊類似的預測信號的一個運動矢量進行編碼，根據(jù)已編碼的運動信息有選擇地求出另一個運動矢量，由此能夠以相對于對兩個運動矢量進行編碼的雙預測比較少的代碼量、有效抑制預測信號的噪聲。

用于解決問題的手段

本發(fā)明的一方面的動態(tài)圖像預測解碼裝置，其特征在于，該動態(tài)圖像預測解碼裝置具備：解碼單元，其從被分割為多個區(qū)域而編碼的壓縮數(shù)據(jù)中，對作為解碼對象的解碼對象區(qū)域的附加信息和殘差信號的壓縮數(shù)據(jù)進行解碼；運動信息復原單元，其將從所述附加信息生成所述對象區(qū)域的預測信號所需要的運動矢量復原；運動信息記錄單元，其保存所述運動矢量；運動補償單元，其根據(jù)所述運動矢量生成所述對象區(qū)域的預測信號；殘差信號復原單元，其從所述殘差信號的壓縮數(shù)據(jù)復原所述對象區(qū)域的再生殘差信號；以及圖像記錄單元，其將所述預測信號和所述再生殘差信號相加，由此將所述解碼對象區(qū)域的像素信號復原，并保存被復原后的像素信號作為已再生圖像，所述解碼單元對第0附加信息和第1附加信息進行解碼，所述第0附加信息包括第0差分運動矢量和第0預測運動信息索引，該第0預測運動信息索引用于識別從被存儲于所述運動信息記錄單元的多個運動矢量中選擇的一個運動矢量作為第0預測運動矢量，所述第1附加信息包括第1預測運動信息索引，該第1預測運動信息索引用于識別從被存儲于所述運動信息記錄單元的多個運動矢量中選擇的一個運動矢量作為第1預測運動矢量，所述運動信息復原單元包括：第0運動信息復原單元，其使用根據(jù)所述第0預測運動信息索引從被存儲于所述運動信息記錄單元的多個運動矢量中選擇的運動矢量，生成第0預測運動矢量，將所生成的第0預測運動矢量和所述第0差分運動矢量相加而將第0運動矢量復原；以及第1運動信息復原單元，其使用根據(jù)所述第1預測運動信息索引從被存儲于所述運動信息記錄單元的多個運動矢量中選擇的運動矢量，生成第1預測運動矢量，將所生成的第1預測運動矢量作為第1運動矢量進行復原，所述運動補償單元將根據(jù)所述第0運動矢量和第1運動矢量從所述已再生圖像中分別取得的兩個信號合成，生成所述對象區(qū)域的預測信號，所述第0附加信息還包括用于識別與第0預測信號的生成有關的參照畫面的參照畫面索引，所述第1附加信息還包括用于識別與第1預測信號的生成有關的參照畫面的參照畫面索引，在所述運動信息記錄單元中還保存用于識別與所述第0預測信號的生成有關的參照畫面的參照畫面索引和用于識別與所述第1預測信號的生成有關的參照畫面的參照畫面索引，所述第0預測運動信息索引還根據(jù)保存在所述運動信息記錄單元中的多個參照畫面索引，與第0預測運動矢量一起識別第0預測參照畫面索引，所述第1預測運動信息索引還根據(jù)保存在所述運動信息記錄單元中的多個參照畫面索引，與第1預測運動矢量一起識別第1預測參照畫面索引，所述第0運動信息復原單元還以所述第0附加信息中所包含的參照畫面索引和所述第0預測參照畫面索引為基礎，使用根據(jù)所述第0預測運動信息索引從所述運動信息記錄單元中選擇的運動矢量，生成所述第0預測運動矢量，所述第1運動信息復原單元還以所述第1附加信息中所包含的參照畫面索引和所述第1預測參照畫面索引為基礎，使用根據(jù)所述第1預測運動信息索引從所述運動信息記錄單元中選擇的運動矢量，生成所述第1預測運動矢量。

本發(fā)明能夠作為有關動態(tài)圖像預測解碼方法的發(fā)明，并能夠記述如下。

本發(fā)明的一方面的動態(tài)圖像預測解碼方法是由動態(tài)圖像預測解碼裝置執(zhí)行的動態(tài)圖像預測解碼方法，其特征在于，該動態(tài)圖像預測解碼方法包括：解碼步驟，從被分割為多個區(qū)域而編碼的壓縮數(shù)據(jù)中，對作為解碼對象的解碼對象區(qū)域的附加信息和殘差信號的壓縮數(shù)據(jù)進行解碼；運動信息復原步驟，復原從所述附加信息生成所述對象區(qū)域的預測信號所需要的運動矢量；運動信息記錄步驟，將所述運動矢量保存在運動信息記錄單元中；運動補償步驟，根據(jù)所述運動矢量生成所述對象區(qū)域的預測信號；殘差信號復原步驟，從所述殘差信號的壓縮數(shù)據(jù)復原所述對象區(qū)域的再生殘差信號；以及圖像記錄步驟，將所述預測信號和所述再生殘差信號相加，由此將所述解碼對象區(qū)域的像素信號復原，并保存被復原后的像素信號作為已再生圖像，在所述解碼步驟中，所述動態(tài)圖像預測解碼裝置對第0附加信息和第1附加信息進行解碼，所述第0附加信息包括第0差分運動矢量和第0預測運動信息索引，該第0預測運動信息索引用于識別從所述運動信息記錄單元中存儲的多個運動矢量中選擇的一個運動矢量作為第0預測運動矢量，所述第1附加信息包括第1預測運動信息索引，該第1預測運動信息索引用于識別從所述運動信息記錄單元中存儲的多個運動矢量中選擇的一個運動矢量作為第1預測運動矢量，所述運動信息復原步驟包括：第0運動信息復原步驟，使用根據(jù)所述第0預測運動信息索引從被存儲于所述運動信息記錄單元的多個運動矢量中選擇的運動矢量，生成第0預測運動矢量，將所生成的第0預測運動矢量和所述第0差分運動矢量相加而將第0運動矢量復原；以及第1運動信息復原步驟，使用根據(jù)所述第1預測運動信息索引從被存儲于所述運動信息記錄單元的多個運動矢量中選擇的運動矢量，生成第1預測運動矢量，將所生成的第1預測運動矢量作為第1運動矢量進行復原，在所述運動補償步驟中，所述動態(tài)圖像預測解碼裝置將根據(jù)所述第0運動矢量和第1運動矢量從所述已再生圖像中分別取得的兩個信號合成，生成所述對象區(qū)域的預測信號，所述第0附加信息還包括用于識別與第0預測信號的生成有關的參照畫面的參照畫面索引，所述第1附加信息還包括用于識別與第1預測信號的生成有關的參照畫面的參照畫面索引，在所述運動信息記錄步驟中，所述動態(tài)圖像預測解碼裝置在所述運動信息記錄單元中還保存用于識別與所述第0預測信號的生成有關的參照畫面的參照畫面索引和用于識別與所述第1預測信號的生成有關的參照畫面的參照畫面索引，所述第0預測運動信息索引還根據(jù)保存在所述運動信息記錄單元中的多個參照畫面索引，與第0預測運動矢量一起識別第0預測參照畫面索引，所述第1預測運動信息索引還根據(jù)保存在所述運動信息記錄單元中的多個參照畫面索引，與第1預測運動矢量一起識別第1預測參照畫面索引，在所述第0運動信息復原步驟中，所述動態(tài)圖像預測解碼裝置還以所述第0附加信息中所包含的參照畫面索引和所述第0預測參照畫面索引為基礎，使用根據(jù)所述第0預測運動信息索引從所述運動信息記錄單元中選擇的運動矢量，生成所述第0預測運動矢量，在所述第1運動信息復原步驟中，所述動態(tài)圖像預測解碼裝置還以所述第1附加信息中所包含的參照畫面索引和所述第1預測參照畫面索引為基礎，使用根據(jù)所述第1預測運動信息索引從所述運動信息記錄單元中選擇的運動矢量，生成所述第1預測運動矢量。

發(fā)明效果

根據(jù)本發(fā)明的動態(tài)圖像預測解碼裝置及方法，由于能夠根據(jù)已編碼的運動信息來指示對雙預測有效的一個運動矢量，因而具有以較少的代碼量提高雙預測的性能的效果。

附圖說明

圖1是示出本實施方式的動態(tài)圖像預測編碼裝置的框圖。

圖2是說明圖1所示的預測信號生成器的框圖。

圖3是說明圖2所示的第1運動估計處理的流程圖。

圖4是說明圖2所示的第0運動估計處理的流程圖。

圖5是說明畫面的編碼順序的示例的示意圖。

圖6是說明參照畫面列表的示例的圖。

圖7是說明相鄰塊的示例的圖。

圖8是說明相鄰塊的另一例的圖。

圖9是說明圖1所示的動態(tài)圖像預測編碼裝置的動態(tài)圖像預測編碼方法的步驟的流程圖。

圖10是示出本實施方式的動態(tài)圖像預測解碼裝置的框圖。

圖11是說明圖10所示的運動信息復原器的框圖。

圖12是說明圖11所示的第1運動信息復原處理的流程圖。

圖13是說明圖11所示的第0運動信息復原處理的流程圖。

圖14是說明圖10所示的動態(tài)圖像預測解碼裝置的動態(tài)圖像預測解碼方法的步驟的流程圖。

圖15是示出能夠執(zhí)行本實施方式的圖像預測編碼方法的程序的框圖。

圖16是示出能夠執(zhí)行本實施方式的圖像預測解碼方法的程序的框圖。

圖17是示出用于執(zhí)行在記錄介質中記錄的程序的計算機的硬件結構的圖。

圖18是用于執(zhí)行在記錄介質中存儲的程序的計算機的立體圖。

圖19是用于說明畫面間預測中的運動估計處理的示意圖。

圖20是用于說明現(xiàn)有的畫面內預測方法的示意圖。

具體實施方式

下面，參照附圖詳細說明本實施方式。另外，在附圖說明中對同一或同等的要素標注相同的符號，并省略重復的說明。此外，構成動態(tài)圖像的“幀”、“畫面”、“圖像”(圖5的501～511)在本說明書內的說明中是相同的意思。

圖1是示出本實施方式的動態(tài)圖像預測編碼裝置100的框圖。該動態(tài)圖像預測編碼裝置100具備輸入端子101、塊分割器102、預測信號生成器103、幀存儲器104、減法器105、變換器106、量化器107、逆量化器108、逆變換器109、加法器110、編碼器111、輸出端子112、運動信息用存儲器113。變換器106和量化器107作為殘差信號壓縮單元發(fā)揮作用，逆量化器108和逆變換器109作為殘差信號復原單元發(fā)揮作用，運動信息用存儲器作為運動信息記錄單元發(fā)揮作用。并且，運動信息用存儲器113也可以包含在預測信號生成器103中。

輸入端子101是輸入由多張圖像構成的動態(tài)圖像的信號的端子。

塊分割器102將從輸入端子101輸入的信號所表示的作為編碼處理對象的圖像分割為多個區(qū)域(對象塊、對象區(qū)域)。在本實施方式中是分割為由8×8的像素構成的塊，不過也可以分割為其以外的大小或形狀的塊。另外，在畫面內可混合存在尺寸不同的塊。

預測信號生成器103檢測用于生成對象塊內的各預測塊的預測信號所需要的運動信息，并生成預測信號。并且，生成由解碼裝置進行運動信息的復原所需要的附加信息。關于預測信號的生成方法在本發(fā)明中沒有限定，能夠應用如在背景技術中說明的畫面間預測(單預測、雙預測)或畫面內預測(關于畫面內預測未圖示)。

在本實施方式中，通過雙預測來生成預測信號。通過圖19所示的塊匹配，并使用經由L104而取得的圖像信號來檢測雙預測的一個運動信息，使得經由L102輸入的對象塊的原來的信號與雙預測信號的絕對值誤差和達到最小。并且，根據(jù)已編碼的運動信息生成另一個運動信息。

在本實施方式中對于雙預測進行說明，運動信息由第0運動信息和第1運動信息構成，兩者分別包括參照畫面索引(ref_idx[0]或者ref_idx[1])和運動矢量(mv[0][0/1]或者mv[1][0/1])。用圖6的List0指示第0運動信息的參照畫面的候選，用圖6的List1指示第1運動信息的參照畫面的候選。其中，[0/1]是識別矢量的水平成分和垂直成分的信息。以后將省略[0/1]的記述(在附圖中也同樣省略)。

另外，在圖6所示的參照畫面列表中登記的再生圖像，可以按照預先設定的規(guī)則而自動決定，也可以按照幀單位或序列單位明確進行編碼。此時，關于各參照畫面的識別，如圖5和圖6所示能夠使用幀號。

由預測信號生成器103生成的運動信息經由L103b輸出給運動信息用存儲器113。

運動信息用存儲器113保存所輸入的運動信息。所保存的運動信息經由L113被輸入預測信號生成器，在后續(xù)的塊的運動信息的編碼處理中使用。

由預測信號生成器103生成的附加信息經由L103c輸出給編碼器111。

由預測信號生成器103生成的預測信號經由L103a輸出給減法器105和加法器110。

減法器105從經由線路L102輸入的被塊分割器102分割后輸入的對象塊的像素信號中減去經由線路L103a輸入的針對對象塊的預測信號，來生成殘差信號。減法器105將相減后獲得的殘差信號經由線路L105輸出給變換器106。

變換器106是對所輸入的殘差信號進行離散余弦變換的部分。另外，量化器107是對由變換器106進行離散余弦變換后的變換系數(shù)實施量化的部分。

編碼器111對從預測信號生成器輸入的附加信息和從量化器107輸入的量化變換系數(shù)進行熵編碼，編碼數(shù)據(jù)經由L111輸出給輸出端子112。雖然并未限定熵編碼的方法，但能夠應用算術編碼或可變長編碼等。

輸出端子112將從編碼器111輸入的信息集中輸出到外部。

逆量化器108對已量化的變換系數(shù)進行逆量化。逆變換器109利用逆離散余弦變換來復原殘差信號。加法器110將復原的殘差信號與經由L103a輸入的預測信號相加，來再生編碼對象塊的信號，并存儲在幀存儲器104中。在本實施方式中采用變換器106和逆變換器109，但也可以采用取代這些變換器的其它變換處理。另外，變換器106以及逆變換器109不是必須的。這樣，已編碼的編碼對象塊的再生信號在通過逆處理而復原后被存儲在幀存儲器104中，以便在后續(xù)的編碼對象塊的預測信號生成中使用。

下面，詳細說明預測信號生成器103。因此，首先對運動信息、預測運動信息和附加信息進行說明。

如上所述，雙預測中的運動信息由第0運動信息和第1運動信息構成，兩者分別包括參照畫面索引(ref_idx[0]或者ref_idx[1])和運動矢量(mv[0]或者mv[1])。用圖6的List0指示第0運動信息的參照畫面的候選，用圖6的List1指示第1運動信息的參照畫面的候選。

在本實施方式的雙預測中，預測信號生成器103使用已經實施編碼的運動信息作為預測運動信息。在已編碼的運動信息中包含已編碼的相鄰塊所附帶的運動信息、和對象區(qū)域的已編碼的運動信息。另外，所謂相鄰塊所附帶的運動信息是指在相鄰塊是編碼對象時生成預測信號所使用的運動信息，被保存在運動信息用存儲器113中。

預測運動信息也由第0預測運動信息和第1預測運動信息構成，兩者分別包括參照畫面索引(ref_idx[0]或者ref_idx[1])和運動矢量(mv[0]或者mv[1])。用圖6的List0指示第0預測運動信息的參照畫面的候選，用圖6的List1指示第1預測運動信息的參照畫面的候選。

預測運動信息的具體利用方法是，在對參照List0的參照畫面通過塊匹配而檢測出的第0運動信息的運動矢量進行差分編碼時，根據(jù)第0預測運動信息生成預測運動矢量。并且，根據(jù)第1預測運動信息生成使用List1的參照畫面的第1運動信息。

使用圖7說明預測運動信息的示例。圖7所示的塊400是對象塊，與其相鄰的塊401～404所附帶的運動信息成為預測運動信息的候選。相鄰塊的運動信息分別包括第0運動信息和第1運動信息。可以將雙方作為預測運動信息的候選，也可以僅限定于一方(在預測第N運動信息的情況下，僅將相鄰塊的第N運動矢量作為候選)。

另外，塊410表示在參照畫面內與塊400在空間上是同一位置的塊(co-located block)。塊410及與其相鄰的塊411～415所附帶的運動信息成為預測運動信息的候選。n表示用于識別預測運動信息的候選的號碼，利用預測運動信息索引(mvp_idx[0]或者mvp_idx[1])指示被選擇的候選。在本實施方式中，由于先對第0運動信息進行編碼，因而第1預測運動信息能夠使用塊400所附帶的第0運動信息(在示例中，設n＝4)。

另外，預測運動信息的候選的位置和號碼可以在編碼側和解碼側預先設定，在本發(fā)明中沒有限定。并且，預測運動信息的候選的數(shù)量也可以在編碼側和解碼側預先設定，也可以進行編碼。

另外，在利用預測運動信息的ref_idx識別的參照畫面和利用對象塊的ref_idx識別的參照畫面不同的情況下，也可以根據(jù)編碼對象畫面和兩個參照畫面的幀號進行預測運動信息中所包含的運動矢量的尺寸調整(scaling)處理。即，對預測運動信息中所包含的運動矢量進行尺寸調整，并變換為用于指示利用對象塊識別出的參照畫面的運動矢量，將變換后的運動矢量用作預測運動矢量(pmv[0][0/1]或者pmv[1][0/1])。此時，預測運動信息中所包含的參照畫面索引(ref_idx[0]或者ref_idx[1])被更新為對象塊的參照畫面索引(ref_idx[0]或者ref_idx[1])。其中，[0/1]表示識別矢量的水平成分和垂直成分的信息。以后省略[0/1]的記述(在附圖中也同樣省略)。

附加信息由第0附加信息和第1附加信息構成。第0附加信息包括ref_idx[0]和差分運動矢量(mvd[0][0/1]＝mv[0][0/1]-pmv[0][0/1])和mvp_idx[0]。第1附加信息包括ref_idx[1]和mvp_idx[1]。在本實施方式中，設mv[1][0/1]＝pmv[1][0/1]，因而mvd[1][0/1]的矢量值始終為0。mvd[1][0/1即使不進行編碼，也能夠在解碼側復原，因而不需要包含在第1附加信息中。其中，[0/1]表示識別矢量的水平成分和垂直成分的信息。以后省略[0/1]的記述(在附圖中也同樣省略)。

圖2是示出本實施方式的預測信號生成器103的結構的框圖。該預測信號生成器103具有第1運動信息估計器121、第0運動信息估計器122和預測信號生成器123。

在第1運動信息估計器121中，使用經由L104輸入的List1的參照畫面，從經由L113輸入的多個第1預測運動信息的候選(按照參照畫面索引對運動矢量進行尺寸調整而作為預測運動矢量)中，選擇用于生成與經由L102輸入的對象塊的原來的信號最類似的第1預測信號的一個第1預測運動信息的候選、與參照畫面索引的組。經由L121a將第1預測信號輸出給預測信號生成器123，將根據(jù)所選擇的第1預測運動信息與參照畫面索引的組而生成的第1運動信息，經由L121b和L103b1分別輸出給第0運動信息估計器122和運動信息用存儲器113。另外，生成第1附加信息，并經由L103c1輸出給編碼器111。

在第0運動信息估計器122中，使用從L121b輸入的第1運動信息和經由L104輸入的List1的參照畫面，生成第1預測信號。并且，搜索經由L104輸入的List0的參照畫面，檢測利用第1預測信號和搜索出的第0預測信號的候選而生成的雙預測信號、與經由L102輸入的對象塊的原來的信號的絕對值差分和達到最小的第0運動信息。將利用檢測出的第0運動信息生成的第0預測信號經由L122輸出給預測信號生成器123。并且，將第0附加信息經由L103b2輸出給運動信息用存儲器113。另外，生成第0附加信息，并經由L103c2輸出給編碼器111。

另外，也可以是，先執(zhí)行第0運動信息估計器122的處理，并且相比第0預測信號，先求出第0運動信息和第0附加信息。在這種情況下，檢測利用搜索出的第0預測信號的候選而生成的預測信號、與經由L102輸入的對象塊的原來的信號的絕對值差分和達到最小的第0運動信息。并且，利用第0預測信號執(zhí)行第1運動信息估計器121。即，使用經由L104輸入的List1的參照畫面，從經由L113輸入的多個第1預測運動信息的候選(根據(jù)參照畫面索引將運動矢量調整尺寸而作為預測運動矢量)中生成第1預測信號的候選，并以使利用第0預測信號和第1預測信號的候選而生成的雙預測信號、與經由L102輸入的對象塊的原來的信號最類似的方式，選擇第1預測運動信息的候選與參照畫面索引的組。該變形能夠通過向第1運動信息估計器121輸入第0運動信息來實施。

在測信號生成器123中，將經由L121a和L122輸入的第1預測信號和第0預測信號平均化，生成對象塊的預測信號，并經由L103a輸出給減法器105和加法器110。

圖3示出第1運動信息估計器121的流程圖。首先，在步驟S301，將在對象塊的預測處理中使用的List1的參照畫面的數(shù)量設定為M(在圖6(A)或(C)中M＝4，在圖6(B)中M＝2)，將第1運動信息中所包含的List1的參照畫面索引ref_idx[1]設定為0，將List1的參照畫面數(shù)的計數(shù)m初始化為0。另外，將運動矢量評價值D設定為Max值。然后，在步驟S302，將預測運動矢量的候選數(shù)設定為N(在圖7中N＝11，但是在相比第0運動信息估計器122先執(zhí)行第1運動信息估計器121的情況下，由于塊400的第0運動信息未決定，因而跳過n＝4)，將第1附加信息中所包含的預測運動信息索引mvp_idx[1]設定為0。將預測運動信息數(shù)的計數(shù)n初始化為0。

然后，在步驟S303，從相鄰塊的運動矢量取得預測運動矢量候選n的運動矢量，在步驟S304，生成第n個預測運動矢量pmv[1][m][n][0/1](其中，[0/1]表示識別矢量的水平成分和垂直成分的信息。以后省略[0/1]的記述。在附圖中也同樣省略)。此時，按照對象畫面與參照畫面的距離(根據(jù)參照畫面索引而識別的幀號)，對相鄰塊的運動矢量進行尺寸調整，并作為預測運動矢量。然后，在步驟S305，根據(jù)第m個參照畫面和第n個尺寸調整后的預測運動矢量(pmv[1][m][n])生成對象塊的預測信號，在步驟S306，判定所生成的預測信號與對象塊的原來的信號的差分信號的絕對值和是否小于運動矢量評價值D。在絕對值和為運動矢量評價值D以上的情況下，進入步驟S308。在絕對值和小于運動矢量評價值D的情況下，進入步驟S307。將第1附加信息中所包含的預測運動信息索引mvp_idx[1]更新為n，將參照畫面索引ref_idx[1]更新為m，將運動矢量評價值D更新為在步驟S306計算出的預測信號與對象塊的原來的信號的差分信號的絕對值和。另外，將第1運動信息中所包含的運動矢量mv[1]設定為預測運動矢量pmv[1][ref_idx[1]][mvp_idx[1]]，將參照畫面索引設定為ref_idx[1]。然后，進入步驟S308。

在步驟S308，判定n的值是否小于N，在n小于N的情況下，進入步驟S309，在n達到N的情況下，進入步驟S310。在步驟S309，將n的值加1，返回步驟S303。然后，反復步驟S303～步驟S07，直到n達到N。在步驟S310，判定m的值是否小于M，在m小于M的情況下，進入步驟S311，將m的值加1，返回步驟S302。然后，反復步驟S302～步驟S09，直到m達到M。在m達到M的情況下，在步驟S312，將第1附加信息(ref_idx[1]、mvp_idx[1])輸出給編碼器111，將第1運動信息(ref_idx[1]和mv[1])存儲在運動信息用存儲器113中，并輸出給第0運動信息估計器122，結束處理。

圖4示出第0運動信息估計器122的流程圖。首先，在步驟S351，根據(jù)第1運動信息生成雙預測中的第1預測信號。然后，在步驟S352，將在對象塊的預測處理中使用的List0的參照畫面的數(shù)量設定為M(在圖6(A)或(C)中M＝4，在圖6(B)中M＝2)，將第0運動信息中所包含的List0的參照畫面索引ref_idx[0]設定為0，將List0的參照畫面數(shù)的計數(shù)m初始化為0。另外，將運動矢量評價值D設定為Max值。然后，在步驟S353，決定在從多個候選中識別對第0運動矢量進行差分編碼時使用的預測運動矢量的預測運動信息索引mvp_idx[0]。關于選擇方法，例如能夠使用圖3的步驟S303～S309所示的方法。并且，生成預測運動矢量的候選pmv[0][m][n]。此時，如在圖3的步驟S304說明的那樣，按照對象畫面與參照畫面的距離(根據(jù)參照畫面索引而識別的幀號)，對相鄰塊的運動矢量進行尺寸調整，作為預測運動矢量。

然后，在步驟S354，取得被存儲于幀存儲器104中的利用ref_idx[0]指示的參照畫面，搜索通過與第1預測信號配合進行平均化而得到的雙預測信號與原來的信號的差分信號的絕對值和達到最小的第0運動矢量mv[0]。然后，在步驟S355，生成第0差分運動矢量mvd[0](＝mv[0]-pmv[0][m][n])。然后，在步驟S356，判定所生成的雙預測信號與對象塊的原來的信號的差分信號的絕對值和與第0附加信息(mvd[0]和m和n)的代碼量評價值(λ(QP)×(mvd、m、n的代碼量)，λ表示用參數(shù)QP決定的加權值，該參數(shù)QP用于決定在對將預測外側信號變換后的變換系數(shù)進行量化時的量化精度)之和是否小于運動矢量評價值D。在絕對值和+代碼量評價值為運動矢量評價值D以上的情況下，進入步驟S358。在絕對值和+代碼量評價值小于運動矢量評價值D的情況下，進入步驟S357，將第0附加信息中所包含的預測運動信息索引mvp_idx[0]更新為n，將參照畫面索引ref_idx[0]更新為m，將差分運動矢量mvd[0]更新為(mv[0]-pmv[0][ref_idx[1]][mvp_idx[1]])，將D更新為在步驟S356計算出的雙預測信號與對象塊的原來的信號的差分信號的絕對值和+代碼量評價值。另外，更新第0運動信息中所包含的運動矢量mv[0]。然后，進入步驟S358。

在步驟S358，判定m的值是否小于M，在m小于M的情況下，進入步驟S359，將m的值加1，返回步驟S353。然后，反復步驟S353～步驟S359，直到m達到M。在m達到M的情況下，在步驟S360，將第0附加信息(ref_idx[0]、mvd[0]、mvp_idx[0])輸出給編碼器111，將第0運動信息(ref_idx[0]和mv[0])存儲在運動信息用存儲器113中，并結束處理。

另外，也可以是，先執(zhí)行第0運動信息估計器122，并且相比第0預測信號，先求出第0運動信息和第0附加信息。在這種情況下，圖4的步驟S351被省略，在步驟S356，不是求出雙預測信號，而是求出第0預測信號與原來的信號的差分信號的絕對值和。在圖3中，能夠將圖7中用n＝4指示的第0運動信息用作預測運動信息的候選。該變形是這樣實現(xiàn)的：追加根據(jù)第0運動信息求出雙預測中的第0預測信號的步驟，在步驟S306變更為計算通過將所生成的第1預測信號和第0預測信號平均化而生成的雙預測信號、與原來的預測信號的差分信號的絕對值和。

這樣，通過根據(jù)已經實施編碼的運動信息生成雙預測的第1運動矢量來取代運動矢量，對用于從圖6和圖7所示的多個候選中識別參照畫面索引和預測運動信息的識別信息進行編碼，能夠以較少的代碼量生成與隨機性較大的紋理(texture)區(qū)域或包含噪聲的平坦區(qū)域中的對象塊的信號類似的一個類似信號。另外，通過在參照畫面上搜索，檢測用于生成第2類似信號的第0運動矢量并進行編碼，與兩個運動矢量都是從已編碼的運動信息中求出的情況相比，能夠期待提高雙預測信號的平滑效果的效果。

圖9是示出本實施方式的動態(tài)圖像預測編碼裝置100的動態(tài)圖像預測編碼方法的步驟的流程圖。首先，塊分割器102將輸入圖像分割為8×8編碼塊(也可以分割為其以外的大小或形狀的塊。另外，在畫面內可混合存在尺寸不同的塊)。

首先，構成測信號生成器103的第1運動信息估計器121使用從幀存儲器104得到的List1的參照畫面和從運動信息用存儲器得到的第1預測運動信息的候選，生成與對象塊類似的第1預測信號，并且生成在生成第1預測信號時所需要的第1運動信息和第1附加信息(步驟S100)。關于該步驟的詳細情況已在圖3中說明。然后，第0運動信息估計器122使用從幀存儲器104得到的List0的參照畫面和從運動信息用存儲器得到的第0預測運動信息的候選、和從第1運動信息估計器121得到的第1運動信息，生成與對象塊類似的第0預測信號，并且生成在生成第0預測信號時所需要的第0運動信息和第0附加信息(步驟S150)。關于該步驟的詳細情況已在圖4中說明。

然后，由編碼器111對第0附加信息和第1附加信息進行熵編碼，將第0運動信息和第1運動信息存儲在運動信息用存儲器113中(步驟S101)。然后，在步驟S102，由構成測信號生成器103的預測信號生成器123將第0預測信號和第1預測信號平均化，生成對象塊的雙預測信號。由變換器106、量化器107和編碼器111對表示編碼對象塊的像素信號與預測信號的差分的殘差信號進行變換編碼(步驟S103)。附加信息和量化變換系數(shù)的編碼數(shù)據(jù)通過輸出端子112被輸出(步驟S104)。在這些處理之后或者與這些處理并行地，由逆量化器108和逆變換器109對被編碼的殘差信號進行解碼，以便對后續(xù)的編碼對象塊進行預測編碼。并且，由加法器110將被解碼后的殘差信號與預測信號相加，由此編碼對象塊的信號被再生。再生信號作為參照畫面被存儲在幀存儲器104中(步驟S105)。并且，在沒有完成全部編碼對象塊的處理的情況下，返回步驟S100，進行針對下一個編碼對象塊的處理。在完成了全部編碼對象塊的處理的情況下，結束處理(步驟S106)。

下面，說明本實施方式的動態(tài)圖像預測解碼方法。圖10是示出本實施方式的動態(tài)圖像預測解碼裝置200的框圖。該動態(tài)圖像預測解碼裝置200具備輸入端子201、解碼器202、逆量化器203、逆變換器204、加法器205、輸出端子206、運動補償器207、運動信息復原器208、幀存儲器104、運動信息用存儲器113。逆量化器203、逆變換器204作為殘差信號復原單元發(fā)揮作用，運動信息用存儲器113作為運動信息記錄單元發(fā)揮作用?；谀媪炕?03和逆變換器204的解碼單元可采用這些部件以外的部件進行解碼。另外，可以沒有逆變換器204。

輸入端子201輸入利用上述的動態(tài)圖像預測編碼方法進行壓縮編碼的壓縮數(shù)據(jù)。在該壓縮數(shù)據(jù)中針對被分割為多個的編碼塊，包含對誤差信號進行變換量化后進行熵編碼而得到的量化變換系數(shù)的信息的編碼數(shù)據(jù)、以及用于生成塊的雙預測信號的第0附加信息和第1附加信息的編碼數(shù)據(jù)。

解碼器202對向輸入端子201輸入的壓縮數(shù)據(jù)進行分析，分離為與解碼對象塊相關的量化變換系數(shù)的編碼數(shù)據(jù)和附加信息的編碼數(shù)據(jù)并且進行熵解碼，再經由L202a、L202b分別輸出給逆量化器203和運動信息復原器208。

運動信息復原器208經由L202b輸入第0附加信息(ref_idx[0]、mvd[0]、mvp_idx[0])和第1附加信息(ref_idx[1]、mvp_idx[1])，利用經由L113而取得的已解碼的運動信息來復原第0運動信息(ref_idx[0]、mv[0])和第1運動信息(ref_idx[1]、mv[1])。被復原后的第0運動信息和第1運動信息經由L208a和L208b分別輸出給運動補償器207和運動信息用存儲器113。運動信息用存儲器保存運動信息。

運動補償器207根據(jù)兩個運動信息，從幀存儲器104取得已再生信號，將兩個預測信號平均化，并生成解碼對象塊的雙預測信號。所生成的預測信號經由L126被輸出給加法器205。

由解碼器202解碼后的解碼對象塊中的殘差信號的量化變換系數(shù)經由L203被輸出給逆量化器203。逆量化器203對解碼對象塊中的殘差信號的量化變換系數(shù)進行逆量化。逆變換器204對已逆量化的數(shù)據(jù)進行逆離散余弦變換，并生成殘差信號。

加法器205將由運動補償器207生成的雙預測信號、與經由逆量化器203以及逆變換器204復原的殘差信號相加，將解碼對象塊的再生像素信號經由線L205輸出給輸出端子206以及幀存儲器104。輸出端子206向外部(例如顯示器)進行輸出。

幀存儲器104將從加法器205輸出的再生圖像存儲為參照畫面，并作為用于下一解碼處理的參照用的再生圖像。

圖11是示出本實施方式的運動信息復原器208的結構的框圖。該運動信息復原器208具有第1運動信息復原器211和第0運動信息復原器212。

這些第1運動信息復原器211和第0運動信息復原器212能夠同時進行動作。

第0運動信息復原器212將第0附加信息(ref_idx[0]、mvp_idx[0]、mvd[0])作為輸入，從經由L113得到的相鄰塊的運動信息生成第0預測運動矢量(pmv[0][ref_idx[0]][mvp_idx[0]])，將預測運動矢量和附加信息中所包含的差分運動矢量(mvd[0])相加，并生成第0運動信息中所包含的運動矢量，由此復原第0運動信息。同樣，在利用ref_idx識別的參照畫面和利用對象塊的ref_idx識別的參照畫面不同的情況下，也可以根據(jù)編碼對象畫面和兩個參照畫面的幀號進行運動信息中所包含的運動矢量的尺寸調整處理。

第1運動信息復原器211將第1附加信息(ref_idx[1]、mvp_idx[1])作為輸入，從經由L113得到的已解碼的運動信息生成第1預測運動矢量(pmv[1][ref_idx[1]][mvp_idx[1]])。將該預測運動矢量作為第1運動信息中所包含的移動矢量(mv[1]＝pmv[1][ref_idx[1]][mvp_idx[1]])，由此復原第1運動矢量。此時，也可以將差分運動矢量mvd[1]設定為零矢量，將其與預測運動矢量相加，由此復原第1運動矢量。另外，此時在利用ref_idx識別的參照畫面和利用對象塊的ref_idx識別的參照畫面不同的情況下，也可以根據(jù)編碼對象畫面和兩個參照畫面的幀號進行預測運動信息中所包含的運動矢量的尺寸調整處理。即，對預測運動信息中所包含的運動矢量進行尺寸調整，變換為用于指示利用對象塊識別的參照畫面的運動矢量，將變換后的運動矢量用作預測運動矢量。

圖13示出第0運動信息復原器212的流程圖。首先，在步驟S451，輸入第0附加信息(ref_idx[0]和mvp_idx[0]和mvd[0])的解碼數(shù)據(jù)。然后，在步驟S452，根據(jù)所輸入的ref_idx[0]和mvp_idx[0]，從如圖7所示的相鄰塊的運動信息(塊400的運動信息未定，因而不包含)中，輸入利用mvp_idx[0]指示的運動信息，并導出預測運動矢量(pmv[0][ref_idx[0]][mvp_idx[0]])。此時，在利用ref_idx識別的參照畫面和利用對象塊的ref_idx識別的參照畫面不同的情況下，也可以根據(jù)編碼對象畫面和兩個參照畫面的幀號進行預測運動信息中所包含的運動矢量的尺寸調整處理。然后，在步驟S453，將所生成的預測運動矢量和差分運動矢量相加來復原第0運動矢量(mv[0]＝pmv[0][ref_idx[0]][mvp_idx[0]]+mvd[0])。最后，在步驟S454，將第0運動信息(ref_idx[0]和mv[0])輸出給運動補償器207和運動信息用存儲器113，結束處理。

圖12示出第1運動信息復原器211的流程圖。首先，在步驟S401，輸入第1附加信息(ref_idx[1]和mvp_idx[1])的解碼數(shù)據(jù)，在步驟S402，將差分運動矢量(mvd[1])的矢量值設定為0。然后，在步驟S403，根據(jù)所輸入的ref_idx[1]和mvp_idx[1]，從如圖7所示的已解碼的運動信息(可能包括n＝4)中，輸入利用mvp_idx[1]指示的運動信息，并導出預測運動矢量(pmv[1][ref_idx[1]][mvp_idx[1]])。此時，在利用ref_idx識別的參照畫面和利用對象塊的ref_idx識別的參照畫面不同的情況下，也可以根據(jù)編碼對象畫面和兩個參照畫面的幀號進行預測運動信息中所包含的運動矢量的尺寸調整處理。然后，在步驟S404，將所生成的預測運動矢量和差分運動矢量相加來復原第1運動矢量(mv[1]＝pmv[1][ref_idx[1]][mvp_idx[1]]+mvd[1])。最后，在步驟S405，將第1運動信息(ref_idx[1]和mv[1])輸出給運動補償器207和運動信息用存儲器113，結束處理。另外，mvd[1]的矢量值始終為0，因而也可以省略步驟S402，在步驟S404將預測運動矢量設定為運動矢量(mv[1]＝pmv[1][ref_idx[1]][mvp_idx[1]])。

下面，使用圖14說明圖10所示的動態(tài)圖像預測解碼裝置200的動態(tài)圖像預測解碼方法。首先，通過輸入端子201被輸入壓縮數(shù)據(jù)(步驟S201)。并且，解碼器202進行壓縮數(shù)據(jù)的數(shù)據(jù)分析并進行熵解碼，對生成雙預測信號所需要的第0附加信息和第1附加信息以及量化變換系數(shù)進行解碼(步驟S202)。

然后，構成運動信息復原器208的第0運動信息復原器212使用第0附加信息和在運動信息用存儲器113中保存的相鄰塊的運動信息，將第0運動信息復原(步驟S250)。有關該步驟的詳細情況已在圖13中說明。

然后，構成運動信息復原器208的第1運動信息復原器211使用第1附加信息和在運動信息用存儲器113中保存的相鄰塊的運動信息，將第1運動信息復原(步驟S200)。有關該步驟的詳細情況已在圖12中說明。

然后，根據(jù)被復原后的運動信息，運動補償器207生成解碼對象塊的雙預測信號，將運動信息保存在運動信息用存儲器113中(步驟S207)。

由解碼器202解碼后的量化變換系數(shù)在逆量化器203中進行逆量化，在逆變換器204中進行逆變換，從而生成再生殘差信號(步驟S208)。并且，將所生成的雙預測信號和再生殘差信號相加而生成再生信號，該再生信號用于再生下一個解碼對象塊，因而被存儲在幀存儲器104中(步驟S209)。在存在下一個壓縮數(shù)據(jù)的情況下，反復S202～S209的處理，直到最后全部數(shù)據(jù)被處理。

下面，說明有選擇地利用包括本發(fā)明在內的多種雙預測方法的方法。以上說明的僅對一個差分運動矢量進行編碼的雙預測(稱為雙預測類型2)，能夠自適應地與過去對兩個差分運動矢量進行編碼的雙預測(稱為雙預測類型1)以及單預測組合使用。這些預測方式能夠按照畫面單位、將多個塊集中起來的切片(slice)單位、或者塊單位來切換使用。在切換處理中，能夠采用對切換信息進行編碼的方法、在解碼側根據(jù)參照畫面的幀號進行決定的方法。

另外，用于切換雙預測類型1和雙預測類型2的處理是這樣實現(xiàn)的:對圖2的第1運動信息估計器121追加塊匹配功能、和從搜索出的運動矢量減去預測矢量來計算差分運動矢量的功能，對圖11的第1運動信息復原器追加從解碼器取得差分運動矢量的功能。下面說明具體方法。

(畫面/切片單位切換、雙預測類型的切換信息編碼處理)

在按照畫面/切片單位來切換雙預測類型1和雙預測類型2的情況下，將雙預測類型的切換信息(例如，BiPred_type)包含在畫面或者切片的報頭(header)中進行編碼處理。

如圖5(A)所示，在所有的參照畫面的候選按照顯示順序是在編碼對象畫面以前的畫面的情況下，雙預測類型2有效，因而在編碼側選擇使用雙預測類型2。并且，編碼裝置利用畫面或者切片的報頭信息對表示雙預測類型2的指示信息(例如，BiPred_type＝1)進行編碼。另一方面，如圖5(B)所示，在按照顯示順序是在編碼對象畫面以后的畫面包含在參照畫面的候選中的情況下，編碼裝置選擇雙預測類型1，利用畫面或者切片的報頭信息對表示雙預測類型1的指示信息(例如，BiPred_type＝0)進行編碼。

在采用雙預測類型1的情況下，在對畫面內或者切片內的塊進行編碼時搜索運動矢量mv[1]。與第0附加信息(對ref_idx[0]和mvd[0]和mvp_idx[0]進行編碼)相同地，將mvd[1]包含在第1附加信息中，與ref_idx[1]和mvp_idx[1]一起進行編碼。在采用雙預測類型2的情況下，將作為第0附加信息的ref_idx[0]和mvd[0]和mvp_idx[0]進行編碼，將作為第1附加信息的ref_idx[1]和mvp_idx[1]進行編碼。

在解碼側，在根據(jù)利用畫面或者切片的報頭信息進行解碼后的指示信息對畫面內或者切片內的各塊進行解碼時，切換mvd[1]的復原方法。即，在對表示雙預測類型1的指示信息(例如，BiPred_type＝0)進行解碼的情況下，在對畫面內或者切片內的各塊進行解碼時，將mvd[1]包含在第1附加信息中，與ref_idx[1]和mvp_idx[1]一起進行解碼。在對表示雙預測類型2的指示信息(例如，BiPred_type＝1)進行解碼的情況下，在對畫面內或者切片內的各塊進行解碼時，將作為第1附加信息的ref_idx[1]和mvp_idx[1]進行解碼，將mvd[1]的水平/垂直矢量值設定為0。關于第0附加信息，與指示信息的值無關，將ref_idx[0]和mvd[0]和mvp_idx[0]進行解碼。

另外，編碼側的雙預測類型1和雙預測類型2的切換方法不依據(jù)于在此示出的方法。例如，在所有的參照畫面按照顯示順序是在編碼對象畫面以后的畫面的情況下，也可以采用雙預測類型2。并且，也能夠采用如下的方法：調查實際采用雙預測類型1和雙預測類型2時的編碼效率(例如，將編碼誤差信號的平方+編碼比特數(shù)進行變換后的評價值)，選擇編碼效率較高的雙預測類型。

另外，在如圖8所示自適應地使用多種塊尺寸的編碼方法中，也可以在畫面或者切片報頭中，針對不同的塊尺寸獨立發(fā)送用于切換雙預測類型1和雙預測類型2的指示信息。例如，在塊尺寸為64×64、32×32、16×16、8×8的情況下，對4個指示信息進行編碼。

另外，在塊的預測方法采用單預測和雙預測雙方的情況下，在編碼側選擇預測類型(單預測或者雙預測)，并包含在附加信息中進行編碼。并且，僅在選擇了雙預測的塊中執(zhí)行雙預測類型1和雙預測類型2的切換處理。在解碼側，僅在對表示預測類型為雙預測的信息進行了解碼的塊中執(zhí)行雙預測類型1和雙預測類型2的切換處理。

(畫面/切片單位切換、基于參照畫面的幀號的決定處理)

圖5(A)或圖5(B)所示的參照畫面的候選在編碼側和解碼側是相同的。因此，根據(jù)參照畫面的候選的幀號和編碼對象畫面的幀號決定采用雙預測類型1和雙預測類型2中的哪種類型。即，在所有的參照畫面的候選按照顯示順序是在編碼對象畫面以前的畫面的情況下，采用雙預測類型2，在按照顯示順序是在編碼對象畫面以后的畫面包含在參照畫面的候選中的情況下，采用雙預測類型1。在該方法中不需要發(fā)送指示信息。

另外，在所有的參照畫面的候選按照顯示順序是在編碼對象畫面以前的畫面的情況下，也可以采用雙預測類型2。

(塊單位切換、切換信息編碼處理)

在按照塊單位來切換雙預測類型1和雙預測類型2的情況下，將雙預測類型的切換信息(例如，BiPred_block_type)包含在塊的附加信息中進行編碼。

在雙預測的兩個參照畫面按照顯示順序是在編碼對象畫面以前的畫面的情況下，雙預測類型2有效，因而在編碼側選擇采用雙預測類型2。并且，編碼裝置將表示雙預測類型2的指示信息(例如，BiPred_block_type＝1)包含在塊的附加信息中，與作為第0附加信息的ref_idx[0]、mvd[0]、mvp_idx[0]、作為第1附加信息的ref_idx[1]、mvp_idx[1]一起進行編碼。另一方面，在按照顯示順序是在編碼對象畫面以后的畫面包含在雙預測的兩個參照畫面中的情況下，選擇雙預測類型1。并且，編碼裝置將表示雙預測類型1的指示信息(例如，BiPred_block_type＝0)包含在塊的附加信息中，與作為第0附加信息的ref_idx[0]、mvd[0]、mvp_idx[0]、作為第1附加信息的ref_idx[1]、mvd[1](在第1附加信息中包含mvd[1])、mvp_idx[1]一起進行編碼。

在解碼側，將雙預測類型的切換信息(例如，BiPred_block_type)包含在塊的附加信息中進行解碼，根據(jù)解碼值切換mvd[1]的復原方法。即，在對作為塊的附加信息的表示雙預測類型1的指示信息(例如，BiPred_block_type＝0)進行解碼的情況下，對作為第0附加信息的ref_idx[0]和mvd[0]和mvp_idx[0]進行解碼，對作為第1附加信息的ref_idx[1]和mvd[1]和mvp_idx[1]進行解碼。另一方面，在對作為塊的附加信息的表示雙預測類型2的指示信息(例如，BiPred_block_type＝1)進行解碼的情況下，對作為第0附加信息的ref_idx[0]和mvd[0]和mvp_idx[0]進行解碼，對作為第1附加信息的ref_idx[1]和mvp_idx[1]進行解碼，將mvd[1]的水平/垂直矢量值設定為0。

另外，編碼側的雙預測類型1和雙預測類型2的切換方法不依據(jù)于在此示出的方法。例如，在兩個參照畫面雙方按照顯示順序是在編碼對象畫面以后的畫面的情況下，也可以采用雙預測類型2。并且，也能夠采用如下的方法：按照每個塊調查實際采用雙預測類型1和雙預測類型2時的編碼效率(例如，將編碼誤差信號的平方+編碼比特數(shù)進行變換后的評價值)，選擇編碼效率較高的雙預測類型。

另外，在塊的預測方法采用單預測和雙預測雙方的情況下，在編碼側選擇預測類型(單預測或者雙預測)，并包含在附加信息中進行編碼。并且，僅在選擇了雙預測的塊中執(zhí)行雙預測類型1和雙預測類型2的切換處理。在解碼側，僅在對表示預測類型為雙預測的信息進行了解碼的塊中執(zhí)行雙預測類型1和雙預測類型2的切換處理。

(塊單位切換、基于參照畫面的幀號的決定處理)

圖5(A)或圖5(B)所示的參照畫面的候選在編碼側和解碼側是相同的。因此，根據(jù)塊的附加信息即在編碼/解碼處理的雙預測中使用的兩個參照畫面的幀號和編碼對象畫面的幀號，決定采用雙預測類型1和雙預測類型2中的哪種類型。即，當在雙預測中使用的兩個參照畫面按照顯示順序都是在編碼對象畫面以前的畫面的情況下，采用雙預測類型2，在兩個參照畫面中一方或者兩方按照顯示順序是在編碼對象畫面以后的畫面的情況下，采用雙預測類型1。在該方法中不需要發(fā)送指示信息。另外，在兩個參照畫面雙方按照顯示順序都是在編碼對象畫面以后的畫面的情況下，也可以采用雙預測類型2。

(畫面/切片單位切換與塊單位切換的組合)

按照畫面/切片單位對指示信息進行編碼/解碼，該指示信息表示按照畫面/切片單位進行雙預測類型的切換或者按照塊單位進行雙預測類型的切換。

在按照畫面/切片單位進行雙預測類型的切換的情況下，如在上面說明的那樣，將雙預測類型的切換信息(例如，BiPred_type)包含在畫面或者切片的報頭中進行編碼/解碼。此時，在如圖8所示自適應地使用多種塊尺寸的編碼方法中，也可以在畫面或者切片報頭中，針對不同的塊尺寸獨立發(fā)送用于切換雙預測類型1和雙預測類型2的指示信息。例如，在塊尺寸為64×64、32×32、16×16、8×8的情況下，對4個指示信息進行編碼。

在按照塊畫面單位進行雙預測類型的切換的情況下，如在上面說明的那樣，按照塊單位將雙預測類型的切換信息(例如，BiPred_block_type)包含在塊的附加信息中進行編碼/解碼。此時，在如圖8所示自適應地使用多種塊尺寸的編碼方法中，也可以在畫面或者切片報頭中，針對不同的塊尺寸獨立發(fā)送用于指示是否進行雙預測類型1和雙預測類型2的切換處理的指示信息。例如，在塊尺寸為64×64、32×32、16×16、8×8的情況下，對4個指示信息進行編碼。

另外，也可以按照畫面/切片單位對指示信息進行編碼/解碼，該指示信息指示僅采用雙預測類型1、或者僅采用雙預測類型2、或者按照畫面/切片內的各塊來切換兩種雙預測類型。此時，在如圖8所示自適應地使用多種塊尺寸的編碼方法中，也可以針對不同的塊尺寸單獨發(fā)送指示信息。

或者，按照畫面/切片單位對表示是否采用雙預測類型2的指示信息進行編碼/解碼。在采用雙預測類型2的畫面/切片中，也可以進一步對指示信息進行編碼/解碼，該指示信息指示按照畫面/切片內的各塊來切換雙預測類型1和雙預測類型2、或者對于畫面/切片內的所有塊采用雙預測類型2。此時，在如圖8所示自適應地使用多種塊尺寸的編碼方法中，也可以在畫面或者切片的報頭中，針對不同的塊尺寸單獨發(fā)送這些指示信息。

在上述的說明中，將對象塊400的第0運動信息包含在圖7所示的第1預測運動矢量的候選中。但是，也可以另外準備如下的方法作為雙預測類型3，將第0運動信息作為第1預測運動信息，根據(jù)第0運動信息中所包含的第1參照畫面索引和第1運動信息中所包含的第1參照畫面索引，對預測運動信息進行尺寸調整而用作第1運動信息。即，以使第0運動信息中所包含的運動矢量成為第1運動信息的第1參照畫面索引所指示的參照畫面的運動矢量的方式進行尺寸調整。在這種情況下，也可以將對象塊的第0運動信息包含在雙預測類型2的第1預測運動信息的候選中(從候選中去除圖7的n＝4)。并且，在采用雙預測類型3的情況下，不進行第1預測運動信息索引的編碼/解碼。即，在對第1附加信息進行編碼/解碼時，使包括第1參照畫面索引(ref_idx[1])，但不包括差分運動矢量(mvd[1])和第1預測運動信息索引(mvp_idx[1])。

關于雙預測類型3的采用方法，也可以是按照畫面/切片單位或者塊單位，對用于切換雙預測類型1和雙預測類型2和雙預測類型3的指示信息進行編碼/解碼。并且，也可以是按照畫面/切片單位或者塊單位，對用于切換雙預測類型1和雙預測類型3、或者切換雙預測類型2和雙預測類型3的指示信息進行編碼/解碼。

并且，也可以采用替代上述的雙預測類型1的方法。即，也可以是，在按照顯示順序是在編碼對象畫面以后的畫面包含在多個參照畫面候選中的情況下，采用雙預測類型3，在多個參照畫面候選按照顯示順序都是在編碼對象畫面以前的畫面的情況下，采用雙預測類型2。

或者，也可以是，在第0運動信息中所包含的參照畫面索引所指示的參照畫面、與第1運動信息中所包含的參照畫面索引所指示的參照畫面不同的情況下，采用雙預測類型3取代雙預測類型2(第1預測運動信息索引不需要進行編碼/解碼)，而在第0運動信息中所包含的參照畫面索引所指示的參照畫面、與第1運動信息中所包含的參照畫面索引所指示的參照畫面相同的情況下，采用雙預測類型2(對第1預測運動信息索引進行編碼/解碼)。

另外，雙預測類型的切換信息不限于如BiPred_type或BiPred_block_type那樣的識別信息。只要是表示是否進行差分運動矢量的編碼/解碼的信息即可。例如，也可以是，對如mvd_list1_zero_flag或mvd_list0_zero_flag那樣指示mvd是否包含在第1附加信息或第0附加信息中的標志信息進行編碼/解碼。在按照畫面/切片單位或者塊單位來切換雙預測類型1、雙預測類型2和雙預測類型3的情況下，在采用雙預測類型2或雙預測類型3中任意一方的情況下，發(fā)送用于指示附加信息中不包含mvd的標志。也可以是，按照上面所述，根據(jù)參照畫面索引進行雙預測類型2和雙預測類型3的切換(在第0運動信息中所包含的參照畫面索引所指示的參照畫面、與第1運動信息的參照畫面索引所指示的參照畫面相同的情況下，采用雙預測類型2)，還可以對選擇信息進行編碼/解碼。

圖15是示出能夠執(zhí)行動態(tài)圖像預測編碼方法的程序的模塊的框圖。如圖15(A)所示，動態(tài)圖像預測編碼程序P100具備：塊分割模塊P101、預測信號生成模塊P103、存儲模塊P104、減法模塊P105、變換模塊P106、量化模塊P107、逆量化模塊P108、逆變換模塊P109、加法模塊P110、編碼模塊P111以及運動信息存儲模塊P113。另外，如圖15(B)所示，預測信號生成模塊P103具備第1運動信息估計模塊P121、第0運動信息估計模塊P122、預測信號生成模塊P123。通過執(zhí)行上述各個模塊而實現(xiàn)的功能與上述動態(tài)圖像預測編碼裝置100的功能相同。即，動態(tài)圖像預測編碼程序P100的各模塊的功能與塊分割器102、預測信號生成器103、幀存儲器104、減法器105、變換器106、量化器107、逆量化器108、逆變換器109、加法器110、編碼器111、運動信息用存儲器113、第1運動信息估計器121、第0運動信息估計器122、預測信號生成器123的功能相同。

另外，圖16是示出能夠執(zhí)行動態(tài)圖像預測解碼方法的程序的模塊的框圖。如圖16(A)所示，動態(tài)圖像預測解碼程序P200具備：解碼模塊P201、運動信息解碼模塊P202、運動補償模塊P203、運動信息存儲模塊P204、逆量化模塊P205、逆變換模塊P206、加法模塊P207以及存儲模塊P104。另外，如圖16(B)所示，運動信息解碼模塊P202具備第1運動信息復原模塊P211和第0運動信息復原模塊P212。

通過執(zhí)行上述各個模塊而實現(xiàn)的功能與上述動態(tài)圖像預測解碼裝置200的各個構成要素相同。即，動態(tài)圖像預測解碼程序P200的各模塊的功能與解碼器202、運動信息復原器208、運動補償器207、運動信息用存儲器113、逆量化器203、逆變換器204、加法器205、幀存儲器104、第1運動信息復原器211、第0運動信息復原器212的功能相同。

這樣構成的動態(tài)圖像預測編碼程序P100或者動態(tài)圖像預測解碼程序P200被存儲在后述的圖17及圖18所示的記錄介質10中，以便由后述的計算機執(zhí)行。

圖17是示出用于執(zhí)行被記錄在記錄介質中的程序的計算機的硬件結構的圖，圖18是示出用于執(zhí)行被記錄在記錄介質中的程序的計算機的立體圖。另外，執(zhí)行被存儲在記錄介質中的程序的不限于計算機，也可以是具備CPU的進行基于軟件的處理和控制的DVD播放器、機頂盒、便攜電話等。

如圖17所示，計算機30具有軟盤驅動裝置、CD-ROM驅動裝置、DVD驅動裝置等讀取裝置12，使操作系統(tǒng)常駐的作業(yè)用存儲器(RAM)14，存儲被保存在記錄介質10中的程序的存儲器16，被稱為顯示器的顯示裝置18，作為輸入裝置的鼠標20和鍵盤22，用于進行數(shù)據(jù)等的收發(fā)的通信裝置24，以及控制程序的執(zhí)行的CPU 26。當記錄介質10被插入到讀取裝置12時，計算機30可以從讀取裝置12訪問存儲在記錄介質10中的動態(tài)圖像預測編碼/解碼程序，通過動態(tài)該圖像編碼或解碼程序，計算機30可以作為本實施方式的動態(tài)圖像編碼裝置或動態(tài)圖像解碼裝置進行動作。

如圖18所示，動態(tài)圖像預測編碼程序和動態(tài)圖像解碼程序也可以是作為被疊加在載波中的計算機數(shù)據(jù)信號40而通過網絡來提供。在這種情況下，計算機30將由通信裝置24接收到的動態(tài)圖像預測編碼程序或者動態(tài)圖像解碼程序存儲在存儲器16中，并能夠執(zhí)行該動態(tài)圖像預測編碼程序或者動態(tài)圖像預測解碼程序。

在本發(fā)明中還能夠實現(xiàn)如下的變形。

(1)第0附加信息和第1附加信息的關系

在上述的說明中，第1附加信息包括ref_idx[1]和mvp_idx[1]，第0附加信息包括ref_idx[0]和mvd[0]和mvp_idx[0]，但其結構也可以是相反的。即，第1附加信息包括ref_idx[1]和mvd[1]和mvp_idx[1]，第0附加信息包括ref_idx[0]和mvp_idx[0]。在這種情況下，在根據(jù)相鄰塊的運動信息生成第0預測運動信息的同時生成第0預測信息，然后搜索雙預測信號與對象塊的原來的信號的絕對值和+附加信息的評價值達到最小的第1運動信息。

并且，也可以是，第1附加信息包括ref_idx[1]和mvp_idx[1]，第0附加信息包括ref_idx[0]和mvp_idx[0]。即，不對差分的運動矢量進行編碼，在兩個差分運動矢量的解碼側將水平/垂直矢量值設定為0?；蛘?，將第0預測運動矢量和第1預測運動矢量分別設定為第0運動矢量和第1運動矢量。

(2)參照畫面

在上述的說明中，將參照畫面索引包含在第1附加信息中進行編碼/解碼，但也可以根據(jù)利用mvp_idx表示的相鄰塊的運動信息所附帶的參照畫面索引進行決定(例如，對于圖7的相鄰塊401～404，直接采用附帶的List1的參照畫面索引，而對于相鄰塊410～415，則根據(jù)對象塊和相鄰塊的參照畫面索引所指示的參照畫面的不同，對相鄰塊中所包含的運動矢量進行尺寸調整處理)。并且，也可以預先決定第1運動信息的參照畫面索引。在這些情況下，能夠在解碼側唯一地進行復原，因而不需要將參照畫面索引ref_idx包含在第1附加信息中進行編碼。

參照畫面的選擇及其列表不限于圖5和圖6的示例。也可以按照畫面/切片單位對參照畫面索引進行編碼，參照畫面的數(shù)量也可以不是如圖5所示的4張，即使是其它任意數(shù)量時也能夠實施本發(fā)明。

(3)預測運動信息

在上述的說明中，如圖7所示將多個已編碼/已解碼的運動信息作為預測運動信息的候選，但其數(shù)量及采用的相鄰塊的位置沒有限定。

也可以將相鄰塊的第0運動矢量包含在第1預測運動矢量的候選中，即使是在第0預測運動矢量的候選中包含相鄰塊的第1運動矢量時，也能夠實施本發(fā)明的雙預測。也可以將先進行編碼/解碼的第0運動信息附加在第1預測運動信息的候選中。

在已編碼/已解碼的運動信息中所包含的參照畫面索引和對象塊附帶的運動信息中所包含的參照畫面索引不同的情況下，至于是否進行運動矢量的尺寸調整處理，在本發(fā)明中沒有限定。

另外，在預測運動矢量的候選為一個的情況下，不需要將預測運動信息索引mvp_idx包含在第1附加信息中進行編碼。

關于預測運動矢量的生成方法在本發(fā)明中沒有限定。例如，也可以采用奇數(shù)個的預測運動矢量的候選的中央值作為預測運動矢量。在這種情況下，在解碼側唯一地決定預測運動矢量，因而不需要將預測運動信息索引mvp_idx包含在第1附加信息中進行編碼。

如圖8所示，即使是使用多種塊尺寸的編碼/解碼方式的情況下，只要規(guī)定了決定預測運動信息的候選的方法，就能夠實施本發(fā)明的雙預測。例如，圖8的示例中，也可以將與對象塊400相鄰的塊421～428作為預測信息的候選，還可以預先決定相鄰塊的號碼賦予方法，對預測運動矢量的候選設定按照畫面單位或切片單位指示的數(shù)量的相鄰塊的運動信息。

(4)第0運動信息和附加信息

另外，關于第0運動信息和附加信息的結構在本發(fā)明中沒有限定，也可以不對參照畫面索引或預測運動信息索引進行編碼而將其設為固定值，還可以利用預先決定的方法導出。

另外，關于第0運動信息和附加信息，也可以與第1運動信息和附加信息相同地，不對mvd[0]進行編碼，而是在解碼側設定為mv[0]＝pmv[0](或者mvd[0]＝0)。

(5)幀號

在上述的說明中，使用幀號(frame_num)識別參照畫面或編碼對象畫面，但只要是能夠識別參照畫面的信息，即使是其它的信息也不會影響本發(fā)明的實施。

(6)第1差分運動矢量mvd[1]的復原

在以上說明的本發(fā)明的雙預測中，第1差分運動矢量mvd[1]的矢量值為0。因此，不對mvd[1]進行編碼，而是在解碼側將mvd[1]的矢量值設定為0、或者將運動矢量mv[1]設定為pmv[1]。作為另一種實施方式，可以說將mvd[1]＝0包含在第1附加信息中，高效地對0值進行熵編碼的方法也是有效的。

在對熵編碼采用算術編碼的情況下，例如按照不同的概率模型對第0差分運動矢量和第1差分運動矢量進行編碼/解碼。例如，準備差分運動矢量的矢量值0的概率頻次不同的兩種概率模型，作為差分運動矢量的編碼/解碼用。并且，在對第1差分運動矢量進行編碼/解碼的情況下，采用將差分運動矢量的矢量值0的概率頻次設定為較高頻次的第2概率模型，在對第0差分運動矢量進行編碼/解碼的情況下，采用另一種第1概率模型。另外，也可以分別準備概率模型作為差分運動矢量的水平和垂直方向矢量值用。

另外，也可以是，僅對采用雙預測類型2的塊的第1差分運動矢量采用第2概率模型，在除此以外的差分運動矢量的編碼/解碼處理中采用第1概率模型。

在采用可變長編碼的情況下，采用不同的可變長表對第0差分運動矢量和第1差分運動矢量進行編碼/解碼。例如，準備對差分運動矢量的矢量值0分配的代碼長度不同的兩種可變長表。并且，在對第1差分運動矢量進行編碼/解碼的情況下，采用將對差分運動矢量的矢量值0分配的代碼長度設定為較短長度的第2可變長表，在對第0差分運動矢量進行編碼/解碼的情況下，采用另一種第1可變長表。另外，也可以分別準備可變長表作為差分運動矢量的水平和垂直方向矢量值用。

另外，也可以是，僅對采用雙預測類型2的塊的第1差分運動矢量采用第2可變長表，在除此以外的差分運動矢量的編碼/解碼處理中采用第1可變長表。

(7)N預測

在上述的說明中，將畫面間預測的預測類型設為單預測和雙預測，但本發(fā)明也能夠適用于將3個以上的預測信號合成的預測方法。在將3個以上的預測信號合成并生成預測信號的情況下，只要不包含mvd的附加信息的數(shù)量在一個以上，則可以是任意數(shù)量。

(8)變換器、逆變換器

關于殘差信號的變換處理，可以以固定的塊尺寸進行，也可以配合部分區(qū)域對對象區(qū)域進行再分割而進行變換處理。

(9)顏色信號

在上述的說明中，沒有特別對色彩格式進行敘述，但是，關于顏色信號或色差信號，也可以獨立于亮度信號進行預測信號的生成處理。此外，也可以與亮度信號的處理聯(lián)動地進行預測信號的生成處理。

以上，根據(jù)該實施方式詳細說明了本發(fā)明。但是，本發(fā)明不僅限定于上述實施方式。本發(fā)明能夠在不脫離其宗旨的范圍內進行各種變形。

標號說明

100…動態(tài)圖像預測編碼裝置，101…輸入端子，102…塊分割器，103…預測信號生成器，104…幀存儲器，105…減法器，106…變換器，107…量化器，108…逆量化器，109…逆變換器，110…加法器，111…編碼器，112…輸出端子，113…運動信息用存儲器，121…第1運動信息估計器，122…第0運動信息估計器，123…預測信號生成器，201…輸入端子，202…解碼器，203…逆量化器，204…逆變換器，205…加法器，206…輸出端子，207…運動補償器，208…運動信息復原器，211…第1運動信息復原器，212…第0運動信息復原器。