同。而伴隨這些構造的變更，控制部2130以及2330的動作也與控制部9130以及9330分別不同。
[0228]進而，伴隨解碼器210與解碼器230的信息共享，運動補償部2120及2320中的處理也與運動補償部9120及9320分別不同。
[0229]另一方面，輸入緩沖器2102及2302、熵解碼部2104及2304、逆正交變換和縮放部2112及2312、去塊濾波器2116及2316、幀內預測部2118及2318、運動補償部2120及2320、切換部2122及2322、以及輸出緩沖器2142及2342的功能，與圖5所示的輸入緩沖器9102及9302、熵解碼部9104及9304、逆正交變換和縮放部9112及9312、去塊濾波器9116及9316、幀內預測部9118及9318、運動補償部9120及9320、切換部9122及9322、以及輸出緩沖器9142及9342分別類似。
[0230][L.解碼器210及230中的處理過程]
[0231]接下來，說明解碼器210及230中的處理過程。參照圖13，編碼影像而得到的比特流被送至輸入緩沖器2102，編碼對應的深度信息而得到的比特流被送至輸入緩沖器2302。本發(fā)明的實施方式適用于對由多視點影像和對應的多視點深度信息組成的MVD進行編碼而得到的比特流，也能適用于對由單一的攝像頭10攝像出的單視點影像以及對應的深度?目息進行編碼而得到的比特流。
[0232]輸入緩沖器2102臨時存放編碼影像而得到的比特流。同樣，輸入緩沖器2302臨時存放編碼深度信號而得到的比特流。
[0233]熵解碼部2104對來自輸入緩沖器2102的比特流進行熵解碼，并輸出運動數(shù)據(jù)、量化后的變換系數(shù)、以及控制數(shù)據(jù)及附加信息，來作為其結果。運動數(shù)據(jù)被送至運動補償部2120。同樣，熵解碼部2304對來自輸入緩沖器2302的比特流進行熵解碼，并輸出運動數(shù)據(jù)、量化后的變換系數(shù)、以及控制數(shù)據(jù)及附加信息，來作為其結果。運動數(shù)據(jù)被送至運動補償部2320ο
[0234]逆正交變換和縮放部2112及2312對由熵解碼部2104及2304分別復原出的量化后的變換系數(shù)，分別執(zhí)行逆正交變換(典型地，離散傅立葉逆變換)以及縮放。通過這些處理來復原數(shù)據(jù)格式變換后的宏塊。
[0235]數(shù)據(jù)格式逆變換部2114對數(shù)據(jù)格式變換后的宏塊執(zhí)行數(shù)據(jù)格式逆變換，且去塊濾波器2116對于其結果，為了抑制塊噪聲的發(fā)生，使塊邊界平滑化。通過這些處理來復原原始影像。同樣，數(shù)據(jù)格式逆變換部2314對數(shù)據(jù)格式變換后的宏塊執(zhí)行數(shù)據(jù)格式逆變換，且去塊濾波器2316對于其結果，為了抑制塊噪聲的發(fā)生，使塊邊界平滑化。通過這些處理來復原原始的深度信息。
[0236]幀內預測部2118以及2318基于鄰接的宏塊來生成預測圖像。
[0237]在解碼器210以及解碼器230之間，設置有彼此表示哪些類型的信息被共享的連接。
[0238]解碼器210的運動補償部2120將針對從比特流解碼出的影像的運動數(shù)據(jù)與解碼器230的運動補償部2320共享。同樣，解碼器230的運動補償部2320將針對從比特流解碼出的影像的運動數(shù)據(jù)與解碼器210的運動補償部2120共享。這些來自其他解碼器的運動數(shù)據(jù)用于運動補償部2120以及2320各自的運動數(shù)據(jù)的計算。更具體而言，運動補償部2120使用幀間預測(Inter預測)來生成預測圖像。更具體而言，運動補償部2120以及2320各自基于復原后的原始宏塊以及分別針對復原后的影像及深度信息的運動數(shù)據(jù)，來生成預測圖像。
[0239]幀內預測部2118及運動補償部2120各自生成的預測圖像被切換部2122酌情選擇任一者，并被送至數(shù)據(jù)格式逆變換部2114。同樣，幀內預測部2318及運動補償部2320各自生成的預測圖像被切換部2322酌情選擇任一者，并被送至數(shù)據(jù)格式逆變換部2314。
[0240]控制部2130基于由熵解碼部2104復原后的控制數(shù)據(jù)以及參數(shù)，來對逆正交變換和縮放部2112、數(shù)據(jù)格式逆變換部2114及切換部2122中的處理進行控制。同樣，控制部2330基于由熵解碼部2304復原后的控制數(shù)據(jù)以及參數(shù)，來對逆正交變換和縮放部2312、數(shù)據(jù)格式逆變換部2314以及切換部2322中的處理進行控制。
[0241]控制部2130和控制部2330為了共享上述那樣的信息，交換幾個控制數(shù)據(jù)。由此，能實現(xiàn)針對MVD的聯(lián)合的編碼。
[0242]輸出緩沖器2142臨時存放來自去塊濾波器2116的復原后的原始影像，輸出緩沖器2342臨時存放來自去塊濾波器2316的復原后的原始的深度信息。
[0243][M.附加信息]
[0244]接下來，針對包含本發(fā)明的實施方式所涉及的編碼/譯碼系統(tǒng)中所使用的參數(shù)以及輔助信息等在內的附加信息進行詳述。
[0245]在本發(fā)明的實施方式所涉及的編碼/譯碼系統(tǒng)中，在編碼中，在余數(shù)以及殘差之間切換用于定義像素值的信息。故而，作為這樣的控制所需的附加信息，使用標志flagl及flag2、類型type、閾值THl及TH2、以及余數(shù)運算用參數(shù)a等的數(shù)據(jù)格式變換所涉及的參數(shù)。
[0246]進而，在本發(fā)明的實施方式中，對多視點影像進行處理的編碼器120與對多視點深度信息進行處理的編碼器140在共享信息的同時執(zhí)行編碼，因此使用標志flag3及flag4等參數(shù)來作為共享這樣的信息的編碼所需的附加信息。
[0247](ml:數(shù)據(jù)格式變換所涉及的參數(shù))
[0248]標志flagl和/或標志flag2用于確定在數(shù)據(jù)格式變換后的宏塊中以余數(shù)定義的區(qū)域。換言之，通過使標志flagl以及標志flag2均無效化，從而確定全部區(qū)域以殘差來定義。在這樣的全部區(qū)域以殘差來定義的情況下，也就是未實施數(shù)據(jù)格式變換的情況下，編碼器120 (更具體而言，控制部1230)以及解碼器210 (更具體而言，控制部2130)例如遵循MPEG - 4AVC那樣的規(guī)格來進行動作。
[0249]另一方面，在實施了本發(fā)明的實施方式所涉及的數(shù)據(jù)格式變換的情況下，除了上述的標志flagl、flag2以外，還使用類型type、閾值THl及TH2、以及余數(shù)運算用參數(shù)a。
[0250]類型type相當于表示選擇了以像素為單位組合余數(shù)與殘差的第I數(shù)據(jù)格式(圖8(a))以及以宏塊為單位組合余數(shù)與殘差的第2數(shù)據(jù)格式(圖8(b))的哪一者的參數(shù)。類型type只要能確定選擇了哪一種數(shù)據(jù)格式即可，因此被分配單個比特(I比特)的信息就已足夠。根據(jù)所選擇的數(shù)據(jù)格式來使用以下那樣的參數(shù)。
[0251]⑴第I數(shù)據(jù)格式(圖8(a))
[0252]《標志flagl》
[0253]按構成宏塊的每個像素來分配標志flagl，各標志flagl表示對應的像素是以余數(shù)以及殘差的哪一者來定義的。作為代替的構成，僅對余數(shù)以及殘差的一者分配標志flagl，而對另一者不分配標志flagl，從而能確定各像素究竟是以余數(shù)以及殘差的哪一者來定義的。
[0254]《閾值THl》
[0255]閾值THl被用作判斷基準，即用于針對構成各宏塊的多個像素的每一個來判斷是以余數(shù)以及殘差的哪一個來定義。也就是，閾值THl是用于從構成殘差圖像(殘差宏塊)的像素當中確定要以余數(shù)定義該像素值的區(qū)域的判斷基準，該閾值THl作為附加信息被發(fā)送至解碼器側。
[0256]《余數(shù)運算用參數(shù)a》
[0257]余數(shù)運算用參數(shù)a是用于決定在取模運算部1278(圖9)中使用的系數(shù)D的參數(shù)。作為一例，可以將在梯度圖像生成部1270(圖9)中生成的疑似梯度宏塊所對應的閾值作為余數(shù)運算用參數(shù)a。也就是，決定圖10所示那樣的查詢表1274中的各灰度的閾值將成為余數(shù)運算用參數(shù)a。
[0258]或者，可以將圖10所示那樣的查詢表準備多個，并將表示選擇哪一個查詢表的標識符作為余數(shù)運算用參數(shù)a。
[0259](ii)第I數(shù)據(jù)格式(圖8(b))
[0260]《標志flag2》
[0261]按每個宏塊來分配標志flag2，標志flag2各自表示對應的宏塊是以余數(shù)以及殘差的哪一個來定義的。作為代替的構成，僅對余數(shù)以及殘差的一者分配標志flag2，而對另一者不分配標志flag2，從而能確定針對各宏塊究竟是以余數(shù)以及殘差的哪一者來定義。
[0262]《閾值TH2》
[0263]閾值TH2被用作判斷基準，即，用于判斷針對各宏塊要以余數(shù)以及殘差的哪一者來定義。在該判斷中還使用閾值TH1。
[0264]《余數(shù)運算用參數(shù)a》
[0265]與對上述的第I數(shù)據(jù)格式所使用的余數(shù)運算用參數(shù)a同樣，包含表示是否選擇針對疑似梯度宏塊的閾值或者要使用的查詢表的標識符。
[0266]此外，可以在編碼器120中執(zhí)行與速度失真相應的優(yōu)化(rate-distort1noptimizat1n)。此時，優(yōu)選將用于判斷以余數(shù)以及殘差的哪一者來定義的閾值THl和/或閾值TH2也作為該優(yōu)化的對象。通過該優(yōu)化，能進一步提高性能。
[0267](m2:編碼器間的信息共享所涉及的參數(shù))
[0268]《標志flag3(在編碼器120及140中具有不同的含義)》
[0269]編碼器120及140各自使用分別表示與本裝置有關的處理的內容的標志flag3。
[0270]執(zhí)行針對影像的編碼的編碼器120中的標志f lag3，表示在運動估計部1240 (圖6)中的針對影像(多視點影像)的運動數(shù)據(jù)的估計中是否使用對應的深度信息(從圖6的分割部1404輸出)。
[0271]執(zhí)行針對深度信息的編碼的編碼器140中的標志flag3，表示在運動估計部1440(圖6)中的針對深度信息(多視點深度信息)的運動數(shù)據(jù)的估計中是否使用針對對應的影像的運動數(shù)據(jù)(從圖6的運動估計部1240輸出)。
[0272]《標志flag4(在編碼器120中使用)》
[0273]執(zhí)行針對影像的編碼的編碼器120中的標志f lag4，在運動估計部1240 (圖6)中的針對影像的運動數(shù)據(jù)的估計中在對應的深度信息被使用的情況下(由上述的標志flag3示出)表示如何被使用。也就是，標志flag4表示執(zhí)行如下(i)和(ii)當中的哪一者的處理:(i)將對應的深度信息本身作為估計出的運動數(shù)據(jù)進行輸出；以及(ii)將對應的深度信息作為所估計的運動數(shù)據(jù)的初始值對待，進而，在使用影像的信息等進行了調整的基礎上，作為最終的運動數(shù)據(jù)進行輸出。
[0274](m3:解碼器間的信息共享所涉及的參數(shù))
[0275]在解碼器210中使用標志f lag3及f lag4，在解碼器230中使用標志f lag3。
[0276]由解碼器210及230處理的標志flag3表示是否共享運動數(shù)據(jù)。由解碼器210處理的標志flag4表示在針對影像(多視點影像)的運動數(shù)據(jù)的估計中是否使用對應的深度
?目息O
[0277][N.硬件構成]
[0278]接下來，說明用于實現(xiàn)上述的發(fā)送機以及接收機的硬件構成的一例。圖14是表示作為發(fā)送機發(fā)揮功能的信息處理裝置100的硬件構成的示意圖。圖15是表示作為接收機發(fā)揮功能的信息處理裝置200的硬件構成的示意圖。
[0279]參照圖14，信息處理裝置100包含:處理器104、存儲器106、攝像頭接口 108、通信接口 112、硬盤114、輸入部116以及顯示部118。這些各部構成為能經(jīng)由總線122來彼此進行數(shù)據(jù)通信。
[0280]處理器104讀出在硬盤114等中存放的程序并在存儲器106中展開來予以執(zhí)行，從而實現(xiàn)本發(fā)明的實施方式所涉及的編碼處理。存儲器106作為用于由處理器104執(zhí)行處理的工作存儲器發(fā)揮功能。
[0281]攝像頭接口 108與多個攝像頭10連接，獲取各攝像頭10攝像得到的圖像。獲取到的圖像可以存放至硬盤114或存儲器106。硬盤114以非易失性的方式保存有用于實現(xiàn)上述的編碼處理的編碼程序114a、從攝像頭接口 108輸入的多視點影像數(shù)據(jù)114b等。
[0282]輸入部116典型地包含鼠標或鍵盤等，受理來自用戶的操作。顯示部118將處理結果等向用戶進行通知。
[0283]通信接口 112與無線傳輸裝置102等連接，將作為處理器104處理的結果而輸出的數(shù)據(jù)輸出至無線傳輸裝置102。
[0284]參照圖12，信息處理裝置200包含:處理器204、存儲器206、投影機接口 208、通信接口 212、硬盤214、輸入部216以及顯示部218。這些各部構成為能經(jīng)由總線222彼此進行數(shù)據(jù)通信。
[0285]處理器204、存儲器206、輸入部216以及顯示部218與圖11所示的處理器104、存儲器106、輸入部116以及顯示部118分別相同，因此省略詳細的說明。
[0286]投影機接口 208與立體顯示裝置300連接，將由處理器204復原后的多視點影像等輸出至立體顯示裝置300。
[0287]通信接口 212與無線傳輸裝置202等連接，接收從信息處理裝置100傳輸?shù)谋忍亓鳎⑤敵鲋量偩€222。
[0288]硬盤214以非易失性的方式保存有用于實現(xiàn)譯碼的譯碼程序214a以及包含經(jīng)復原的原始圖像在內的圖像數(shù)據(jù)214b。
[0289]圖14及圖15分別所示的信息處理裝置100及200的硬件自身及其動作原理是一般性的，用于實現(xiàn)本發(fā)明的實施方式所涉及的編碼/譯碼的本質的部分是硬盤等的存儲介質中所存放的編碼程序114a或譯碼程序214a等的軟件(命令代碼)。這樣的編碼程序114a或譯碼程序214a存放至光學存儲介質、磁存儲介質、半導體存儲介質這樣的存儲介質進行流通。存放這樣的程序的存儲介質也落在本發(fā)明的范圍內。
[0290]編碼程序114a和/或譯碼程序214a可以構成為使用OS (Operating System ;操作系統(tǒng))所提供的模塊來執(zhí)行處理。在此情況下，編碼程序114a和/或譯碼程序214a不含一部分的模塊，但這樣的情況也包含在本發(fā)明的技術的范圍內。
[0291]關于信息處理裝置100和/或信息處理裝置200的全部或一部分的功能，既可以使用 ASIC (Applicat1n Specific Integrated Circuit ;專用集成電路)等專用的集成電路來實現(xiàn)，也可以使用FPGA (Field-Programmable Gate Array ;現(xiàn)場可編程門陣列)或DSP(Digital Signal Processor ;數(shù)字信號處理器)等可編程的硬件來實現(xiàn)。
[0292][0.其他實施方式]
[0293]在本發(fā)明的實施方式中，通過對從原始宏塊之中減去運動補償宏塊(幀內宏塊或幀間宏塊)而得到的殘差宏塊應用閾值，來決定分別以余數(shù)以及殘差定義的區(qū)域。該閾值以及數(shù)據(jù)格式變換所需的其他參數(shù)可以使用速度優(yōu)化循環(huán)來動態(tài)或靜態(tài)地優(yōu)化。
[0294]在本發(fā)明的實施方式中，為了計算余數(shù)而進行取模運算。該取模運算中成為分母(除數(shù))的系數(shù)D是基于與對象的宏塊相同的運動補償宏塊(或，運動補償幀)的梯度圖像來決定的。該梯度圖像((疑似)梯度宏塊或(疑似)梯度幀)是根據(jù)幀內宏塊(或幀內幀)、或者幀間宏塊(或幀間幀)而生成的。此時，可以在跨多個幀的宏塊間計算梯度。即，梯度圖像可以跨時域和/或空間域來計算。根據(jù)如此計算出的梯度圖像來決定在取模運算中使用的系數(shù)D。
[0295]在本發(fā)明的實施方式中，用于取模運算的系數(shù)D可以被設定為與應用于(疑似)梯度宏塊(或梯度幀)的如下閾值相同，該閾值用于判斷是以余數(shù)以及殘差的哪一個來定義各區(qū)域。
[0296]在上述的實施方式中，作為針對宏塊或幀的數(shù)據(jù)格式，以(I)僅以余數(shù)來定義各區(qū)域的數(shù)據(jù)格式、以及(2)以余數(shù)與殘差的組合來定義各區(qū)域的數(shù)據(jù)格式進行了說明，但還能采用別的數(shù)據(jù)格式。故而，宏塊或幀能包含全部零、殘差與零的組合、全部殘差，余數(shù)與零的組合、全部余數(shù)、余數(shù)與殘差的組合、余數(shù)與殘差與零的組合這樣的各種分量。
[0297]在上述的實施方式中，示出了應用于運動圖像的壓縮規(guī)格之一的MPEG — 4AV