圖像編碼方法、圖像解碼方法、圖像編碼裝置、圖像解碼裝置、圖像編碼程序、圖像解碼程...的制作方法【專利摘要】本發(fā)明在使用參照?qǐng)D像中的表示被攝物的三維位置的深度信息來(lái)對(duì)編碼（解碼）對(duì)象圖像進(jìn)行視差補(bǔ)償預(yù)測(cè)時(shí)實(shí)現(xiàn)高的編碼效率。對(duì)編碼對(duì)象圖像的各像素設(shè)定參照?qǐng)D像上的對(duì)應(yīng)點(diǎn)。對(duì)由對(duì)應(yīng)點(diǎn)表示的編碼對(duì)象圖像上的整數(shù)像素位置的像素的深度信息即被攝物深度信息進(jìn)行設(shè)定。使用由對(duì)應(yīng)點(diǎn)表示的參照?qǐng)D像上的整數(shù)像素位置或小數(shù)像素位置的周圍的整數(shù)像素位置的像素的參照?qǐng)D像深度信息和被攝物深度信息來(lái)決定像素內(nèi)插用的抽頭長(zhǎng)度。使用按照抽頭長(zhǎng)度的內(nèi)插濾波器來(lái)生成由對(duì)應(yīng)點(diǎn)表示的參照?qǐng)D像上的整數(shù)像素位置或小數(shù)像素位置的像素值。通過(guò)將所生成的像素值設(shè)為由對(duì)應(yīng)點(diǎn)表示的編碼對(duì)象圖像上的整數(shù)像素位置的像素的預(yù)測(cè)值，從而進(jìn)行視點(diǎn)間的圖像預(yù)測(cè)?！緦＠f(shuō)明】圖像編碼方法、圖像解碼方法、圖像編碼裝置、圖像解碼裝置、圖像編碼程序、圖像解碼程序以及記錄介質(zhì)【
技術(shù)領(lǐng)域：
】[0001]本發(fā)明涉及對(duì)多視點(diǎn)圖像進(jìn)行編碼和解碼的圖像編碼方法、圖像解碼方法、圖像編碼裝置、圖像解碼裝置、圖像編碼程序、圖像解碼程序以及記錄介質(zhì)。[0002]本申請(qǐng)基于在2012年7月9日向日本申請(qǐng)的特愿2012-154065號(hào)要求優(yōu)先權(quán)，并將其內(nèi)容引用于此?！?br>背景技術(shù)：
】[0003]多視點(diǎn)圖像是指用多個(gè)攝像機(jī)（earnera)拍攝了相同的被攝物和背景的多個(gè)圖像，多視點(diǎn)活動(dòng)圖像(多視點(diǎn)視頻)是指其活動(dòng)圖像。在以下，將用1個(gè)攝像機(jī)拍攝的圖像(活動(dòng)圖像）稱為"二維圖像(活動(dòng)圖像)"，將拍攝了相同的被攝物和背景的二維圖像(活動(dòng)圖像）組稱為"多視點(diǎn)圖像(活動(dòng)圖像)"。二維活動(dòng)圖像關(guān)于時(shí)間方向具有強(qiáng)的相關(guān)性，通過(guò)利用該相關(guān)性來(lái)提高編碼效率。[0004]另一方面，在多視點(diǎn)圖像或多視點(diǎn)活動(dòng)圖像中，在各攝像機(jī)被同步的情況下，各攝像機(jī)的視頻的相同時(shí)刻所對(duì)應(yīng)的幀（圖像）是從不同的位置拍攝了完全相同的狀態(tài)的被攝物和背景的幀（圖像)，因此，在攝像機(jī)間具有強(qiáng)的相關(guān)性。在多視點(diǎn)圖像或多視點(diǎn)活動(dòng)圖像的編碼中，能夠通過(guò)利用該相關(guān)性來(lái)提高編碼效率。[0005]在此，對(duì)與二維活動(dòng)圖像的編碼技術(shù)相關(guān)的現(xiàn)有技術(shù)進(jìn)行說(shuō)明。在以作為國(guó)際編碼標(biāo)準(zhǔn)的札264、MPEG-2、MPEG-4為首的以往的許多二維活動(dòng)圖像編碼方式中，利用運(yùn)動(dòng)補(bǔ)償、正交變換、量化、熵編碼的技術(shù)來(lái)進(jìn)行高效率的編碼。例如，在a264中，能夠?qū)崿F(xiàn)利用了與過(guò)去或未來(lái)的多個(gè)幀的時(shí)間相關(guān)性的編碼。[0006]關(guān)于在H.264中使用的運(yùn)動(dòng)補(bǔ)償技術(shù)的細(xì)節(jié)，例如在專利文獻(xiàn)1中進(jìn)行了記載。對(duì)其概要進(jìn)行說(shuō)明。在!1.264的運(yùn)動(dòng)補(bǔ)償中，能夠?qū)⒕幋a對(duì)象幀分割為各種尺寸的塊并且在各塊中具有不同的運(yùn)動(dòng)矢量和不同的參照?qǐng)D像。進(jìn)而，通過(guò)對(duì)參照?qǐng)D像進(jìn)行濾波處理，從而生成1/2像素位置、1/4像素位置的視頻，能夠進(jìn)行更精密的1/4像素精度的運(yùn)動(dòng)補(bǔ)償，由此，實(shí)現(xiàn)比以往的國(guó)際編碼標(biāo)準(zhǔn)方式更高效率的編碼。[0007]接著，對(duì)以往的多視點(diǎn)圖像、多視點(diǎn)活動(dòng)圖像的編碼方式進(jìn)行說(shuō)明。多視點(diǎn)圖像的編碼方法與多視點(diǎn)活動(dòng)圖像的編碼方法的區(qū)別在于，在多視點(diǎn)活動(dòng)圖像中除了攝像機(jī)間的相關(guān)性之外還同時(shí)存在時(shí)間方向的相關(guān)性?？墒?，關(guān)于利用攝像機(jī)間的相關(guān)性的方法，在哪一種情況下均能使用相同的方法。因此，在此，對(duì)在多視點(diǎn)活動(dòng)圖像的編碼中使用的方法進(jìn)行說(shuō)明。[0008]關(guān)于多視點(diǎn)活動(dòng)圖像的編碼，為了利用攝像機(jī)間的相關(guān)性，以往存在利用將運(yùn)動(dòng)補(bǔ)償應(yīng)用于相同時(shí)刻的被不同攝像機(jī)拍攝的圖像的"視差補(bǔ)償"來(lái)對(duì)多視點(diǎn)活動(dòng)圖像高效率地進(jìn)行編碼的方式。在此，視差是指在配置于不同的位置的攝像機(jī)的圖像平面上被攝物上的相同部分所存在的位置的差。圖16是在攝像機(jī)間產(chǎn)生的視差的概念圖。在圖16所示的概念圖中，垂直地俯視光軸平行的攝像機(jī)的圖像平面。像這樣，在不同的攝像機(jī)的圖像平面上投影被攝物上的相同部分的位置通常被稱為對(duì)應(yīng)點(diǎn)。[0009]在視差補(bǔ)償中，基于其對(duì)應(yīng)關(guān)系，根據(jù)參照幀來(lái)預(yù)測(cè)編碼對(duì)象幀的各像素值，對(duì)其預(yù)測(cè)殘差和表示對(duì)應(yīng)關(guān)系的視差信息進(jìn)行編碼。由于視差按照作為對(duì)象的攝像機(jī)的每個(gè)圖像發(fā)生變化，所以，需要按照每個(gè)編碼處理對(duì)象幀對(duì)視差信息進(jìn)行編碼。實(shí)際上，在!1.264的多視點(diǎn)編碼方式中，按照每個(gè)幀(更正確的是使用視差補(bǔ)償預(yù)測(cè)的塊）對(duì)視差信息進(jìn)行編碼。[0010]關(guān)于根據(jù)視差信息得到的對(duì)應(yīng)關(guān)系，通過(guò)使用攝像機(jī)參數(shù)，從而能夠基于對(duì)極(epipolar)幾何約束用表示被攝物的三維位置的一維量而不是二維矢量來(lái)進(jìn)行表示。作為表示被攝物的三維位置的信息，存在各種表現(xiàn)，但是，使用從成為基準(zhǔn)的攝像機(jī)到被攝物的距離或者與攝像機(jī)的圖像平面不平行的軸上的坐標(biāo)值的情況較多。再有，也存在不使用距離而使用距離的倒數(shù)的情況。此外，由于距離的倒數(shù)為與視差成比例的信息，所以，也存在設(shè)定2個(gè)成為基準(zhǔn)的攝像機(jī)并將被攝物的三維位置表現(xiàn)為在被這些攝像機(jī)拍攝的圖像間的視差量的情況。無(wú)論使用了怎樣的表現(xiàn)，在其物理意義上都沒(méi)有本質(zhì)的區(qū)別，因此，在以下，不根據(jù)表現(xiàn)來(lái)進(jìn)行區(qū)別，將表示這些三維位置的信息表現(xiàn)為深度（cbpth)。[0011]圖17是對(duì)極幾何約束的概念圖。根據(jù)對(duì)極幾何約束，與某個(gè)攝像機(jī)的圖像上的點(diǎn)對(duì)應(yīng)的另外的攝像機(jī)的圖像上的點(diǎn)被約束在極線這樣的直線上。此時(shí)，在得到了針對(duì)其像素的深度的情況下，對(duì)應(yīng)點(diǎn)被唯一地確定在極線上。例如，如圖17所示那樣，針對(duì)在攝像機(jī)A的圖像中被投影到m的位置的被攝物的在攝像機(jī)B的圖像中的對(duì)應(yīng)點(diǎn)在實(shí)空間中的被攝物的位置為M'的情況下被投影到極線上的位置m'，在實(shí)空間中的被攝物的位置為M''的情況下被投影到極線上的位置m''。[0012]圖18是示出在對(duì)1個(gè)攝像機(jī)的圖像給出深度時(shí)在多個(gè)攝像機(jī)的圖像間得到對(duì)應(yīng)點(diǎn)的情況的圖。深度是表示被攝物的三維位置的信息，由于該三維位置是利用物理上的被攝物的位置來(lái)決定的，所以，深度并不是依賴于攝像機(jī)的信息。因此，能夠用深度這樣的1個(gè)信息來(lái)表示多個(gè)攝像機(jī)圖像上的對(duì)應(yīng)點(diǎn)。例如，如圖18所示那樣，在從攝像機(jī)A的視點(diǎn)位置到被攝物上的點(diǎn)的距離D被作為深度而給出的情況下，通過(guò)根據(jù)深度來(lái)特別指定被攝物上的點(diǎn)M，從而能夠表示針對(duì)攝像機(jī)A的圖像上的點(diǎn)ma的攝像機(jī)B的圖像上的對(duì)應(yīng)點(diǎn)mb、攝像機(jī)C的圖像上的對(duì)應(yīng)點(diǎn)m。這兩者。根據(jù)該性質(zhì)，通過(guò)使用針對(duì)參照?qǐng)D像的深度來(lái)表示視差信息，從而能夠根據(jù)該參照?qǐng)D像實(shí)現(xiàn)對(duì)用（攝像機(jī)間的位置關(guān)系被得到的）其它的攝像機(jī)在同一時(shí)刻拍攝的全部幀的視差補(bǔ)償。[0013]在非專利文獻(xiàn)2中，利用該性質(zhì)，減少需要編碼的視差信息的量，實(shí)現(xiàn)高效率的多視點(diǎn)活動(dòng)圖像編碼。已知在使用運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)或視差補(bǔ)償預(yù)測(cè)時(shí)通過(guò)使用比整數(shù)像素單位更詳細(xì)的對(duì)應(yīng)關(guān)系而能進(jìn)行高精度的預(yù)測(cè)。例如，如上所述，在!1.264中通過(guò)使用1/4像素單位的對(duì)應(yīng)關(guān)系來(lái)實(shí)現(xiàn)高效的編碼。因此，即使在給出針對(duì)參照?qǐng)D像的像素的深度的情況下，也存在通過(guò)更詳細(xì)地給出該深度來(lái)提高預(yù)測(cè)精度的方法。[0014]當(dāng)在對(duì)參照?qǐng)D像的像素給出深度的情況下提高該深度的精度時(shí)，只是更詳細(xì)地得到參照?qǐng)D像上的像素所對(duì)應(yīng)的編碼對(duì)象圖像上的位置，并非更詳細(xì)地得到編碼對(duì)象圖像上的像素所對(duì)應(yīng)的參照?qǐng)D像上的位置。在專利文獻(xiàn)1中，針對(duì)該問(wèn)題，在維持視差的大小的狀態(tài)下使對(duì)應(yīng)關(guān)系平行移動(dòng)來(lái)用作針對(duì)編碼對(duì)象圖像上的像素的詳細(xì)的視差信息，由此，提高預(yù)測(cè)精度。[0015]現(xiàn)有技術(shù)文獻(xiàn)專利文獻(xiàn)專利文獻(xiàn)1:國(guó)際公開(kāi)第08/035665號(hào)；非專利文獻(xiàn)非專利文獻(xiàn)1:ITU_TRecommendationH.264(03/2009)，"Advancedvideocodingforgenericaudiovisualservices"，2009年3月；非專利文獻(xiàn)2:ShinyaSHIMIZU,MasakiKITAHARA,KazutoKAMIKURAandYoshiyukiYASHIMA,"Multi-viewVideoCodingbasedon3_DWarpingwithDepthMap"，InProceedingsofPictureCodingSymposium2006，SS3-6,2006年4月?！?br/>發(fā)明內(nèi)容】[0016]發(fā)明要解決的課題確實(shí)，根據(jù)專利文獻(xiàn)1的方法，能夠根據(jù)將參照?qǐng)D像的整數(shù)像素作為基準(zhǔn)而給出的針對(duì)編碼(解碼）對(duì)象圖像的對(duì)應(yīng)點(diǎn)信息來(lái)求取編碼(解碼）對(duì)象圖像的整數(shù)像素的位置所對(duì)應(yīng)的參照?qǐng)D像上的小數(shù)像素精度的位置。然后，通過(guò)使用根據(jù)整數(shù)像素位置的像素值進(jìn)行內(nèi)插而求取的小數(shù)像素位置的像素值來(lái)生成預(yù)測(cè)圖像，從而能夠?qū)崿F(xiàn)精度更高的視差補(bǔ)償預(yù)測(cè)，能夠?qū)崿F(xiàn)高效率的多視點(diǎn)圖像(活動(dòng)圖像）的編碼。針對(duì)小數(shù)像素位置的像素值的內(nèi)插是通過(guò)求取周圍的整數(shù)像素位置的像素值的加權(quán)平均值來(lái)進(jìn)行的。在此時(shí)，為了實(shí)現(xiàn)更自然的內(nèi)插，需要使用考慮了空間上的連續(xù)性、即內(nèi)插像素和距離的加權(quán)系數(shù)。在參照?qǐng)D像上求取小數(shù)像素位置的像素值的方式中，假定用于該內(nèi)插的像素和被內(nèi)插的像素的全部的位置關(guān)系在編碼(解碼）對(duì)象圖像上也相同。[0017]可是，實(shí)際上，沒(méi)有這些像素的位置關(guān)系相同的保證，在該假定不成立的情形中，存在內(nèi)插像素的品質(zhì)極差的問(wèn)題。用于內(nèi)插的像素和成為內(nèi)插對(duì)象的像素的距離越遠(yuǎn)，在參照?qǐng)D像和編碼(解碼）對(duì)象圖像之間位置關(guān)系發(fā)生變化的可能性越高。因此，針對(duì)上述的問(wèn)題，考慮通過(guò)僅將與成為內(nèi)插對(duì)象的像素鄰接的像素用于內(nèi)插來(lái)抑制上述假定不成立的情形的發(fā)生的應(yīng)對(duì)方法。可是，通常，用于內(nèi)插的像素越多，能夠?qū)崿F(xiàn)越高性能的內(nèi)插，因此，在像這樣的能容易類推的手法中，即使進(jìn)行錯(cuò)誤的內(nèi)插的可能性變低，其內(nèi)插性能也顯著地低。[0018]此外，也存在以下方法：在求取了針對(duì)用于內(nèi)插的像素的編碼(解碼）對(duì)象圖像上的全部對(duì)應(yīng)點(diǎn)之后，按照該對(duì)應(yīng)點(diǎn)與編碼(解碼）對(duì)象圖像上的內(nèi)插對(duì)象的像素的位置關(guān)系來(lái)決定權(quán)重?？墒牵捎谛枰凑彰總€(gè)內(nèi)插像素求取針對(duì)參照?qǐng)D像上的多個(gè)像素的編碼(解碼）對(duì)象圖像上的對(duì)應(yīng)點(diǎn)，所以產(chǎn)生計(jì)算成本非常高的問(wèn)題。[0019]本發(fā)明是鑒于這樣的情況而完成的，其目的在于提供在使用參照?qǐng)D像中的表示被攝物的三維位置的深度信息來(lái)對(duì)編碼(解碼）對(duì)象圖像進(jìn)行視差補(bǔ)償預(yù)測(cè)時(shí)能夠?qū)崿F(xiàn)高的編碼效率的圖像編碼方法、圖像解碼方法、圖像編碼裝置、圖像解碼裝置、圖像編碼程序、圖像解碼程序以及記錄介質(zhì)。[0020]用于解決課題的方案本發(fā)明是一種圖像編碼方法，在對(duì)作為多個(gè)視點(diǎn)的圖像的多視點(diǎn)圖像進(jìn)行編碼時(shí)，使用針對(duì)與編碼對(duì)象圖像的視點(diǎn)不同的視點(diǎn)的編碼完畢的參照?qǐng)D像和作為所述參照?qǐng)D像中的被攝物的深度信息的參照?qǐng)D像深度信息，一邊在視點(diǎn)間預(yù)測(cè)圖像一邊進(jìn)行編碼，其中，所述圖像編碼方法具有：對(duì)應(yīng)點(diǎn)設(shè)定步驟，對(duì)所述編碼對(duì)象圖像的各像素設(shè)定所述參照?qǐng)D像上的對(duì)應(yīng)點(diǎn)；被攝物深度信息設(shè)定步驟，對(duì)由所述對(duì)應(yīng)點(diǎn)表示的所述編碼對(duì)象圖像上的整數(shù)像素位置的像素的深度信息即被攝物深度信息進(jìn)行設(shè)定；內(nèi)插抽頭長(zhǎng)度決定步驟，使用由所述對(duì)應(yīng)點(diǎn)表示的所述參照?qǐng)D像上的整數(shù)像素位置或小數(shù)像素位置的周圍的整數(shù)像素位置的像素的所述參照?qǐng)D像深度信息和所述被攝物深度信息來(lái)決定像素內(nèi)插用的抽頭長(zhǎng)度；像素內(nèi)插步驟，使用按照所述抽頭長(zhǎng)度的內(nèi)插濾波器來(lái)生成由所述對(duì)應(yīng)點(diǎn)表示的所述參照?qǐng)D像上的所述整數(shù)像素位置或所述小數(shù)像素位置的像素值；以及視點(diǎn)間圖像預(yù)測(cè)步驟，通過(guò)將利用所述像素內(nèi)插步驟生成的所述像素值設(shè)為由所述對(duì)應(yīng)點(diǎn)表示的所述編碼對(duì)象圖像上的所述整數(shù)像素位置的像素的預(yù)測(cè)值來(lái)進(jìn)行視點(diǎn)間的圖像預(yù)測(cè)。[0021]本發(fā)明是一種圖像編碼方法，在對(duì)作為多個(gè)視點(diǎn)的圖像的多視點(diǎn)圖像進(jìn)行編碼時(shí)，使用針對(duì)與編碼對(duì)象圖像的視點(diǎn)不同的視點(diǎn)的編碼完畢的參照?qǐng)D像和作為所述參照?qǐng)D像中的被攝物的深度信息的參照?qǐng)D像深度信息，一邊在視點(diǎn)間預(yù)測(cè)圖像一邊進(jìn)行編碼，其中，所述圖像編碼方法具有：對(duì)應(yīng)點(diǎn)設(shè)定步驟，對(duì)所述編碼對(duì)象圖像的各像素設(shè)定所述參照?qǐng)D像上的對(duì)應(yīng)點(diǎn)；被攝物深度信息設(shè)定步驟，對(duì)由所述對(duì)應(yīng)點(diǎn)表示的所述編碼對(duì)象圖像上的整數(shù)像素位置的像素的深度信息即被攝物深度信息進(jìn)行設(shè)定；內(nèi)插參照像素設(shè)定步驟，使用由所述對(duì)應(yīng)點(diǎn)表示的所述參照?qǐng)D像上的整數(shù)像素位置或小數(shù)像素位置的周圍的整數(shù)像素位置的像素的所述參照?qǐng)D像深度信息和所述被攝物深度信息，將用于像素內(nèi)插的所述參照?qǐng)D像的整數(shù)像素位置的像素設(shè)定為內(nèi)插參照像素；像素內(nèi)插步驟，利用所述內(nèi)插參照像素的像素值的加權(quán)和，生成由所述對(duì)應(yīng)點(diǎn)表示的所述參照?qǐng)D像上的所述整數(shù)像素位置或所述小數(shù)像素位置的像素值；以及視點(diǎn)間圖像預(yù)測(cè)步驟，通過(guò)將利用所述像素內(nèi)插步驟生成的所述像素值設(shè)為由所述對(duì)應(yīng)點(diǎn)表示的所述編碼對(duì)象圖像上的所述整數(shù)像素位置的像素的預(yù)測(cè)值來(lái)進(jìn)行視點(diǎn)間的圖像預(yù)測(cè)。[0022]優(yōu)選的是，在本發(fā)明中，還具有：內(nèi)插系數(shù)決定步驟，按照每個(gè)所述內(nèi)插參照像素，基于針對(duì)所述內(nèi)插參照像素的所述參照?qǐng)D像深度信息與所述被攝物深度信息的差，決定針對(duì)所述內(nèi)插參照像素的內(nèi)插系數(shù)，在所述內(nèi)插參照像素設(shè)定步驟中，將由所述對(duì)應(yīng)點(diǎn)表示的所述參照?qǐng)D像上的所述整數(shù)像素位置或所述小數(shù)像素位置的所述周圍的整數(shù)像素位置的像素設(shè)定為所述內(nèi)插參照像素，在所述像素內(nèi)插步驟中，通過(guò)求取基于所述內(nèi)插系數(shù)的所述內(nèi)插參照像素的像素值的加權(quán)和，從而生成由所述對(duì)應(yīng)點(diǎn)表示的所述參照?qǐng)D像上的所述整數(shù)像素位置或所述小數(shù)像素位置的像素值。[0023]優(yōu)選的是，在本發(fā)明中，還具有：內(nèi)插抽頭長(zhǎng)度決定步驟，使用由所述對(duì)應(yīng)點(diǎn)表示的所述參照?qǐng)D像上的所述整數(shù)像素位置或所述小數(shù)像素位置的所述周圍的整數(shù)像素位置的像素的所述參照?qǐng)D像深度信息和所述被攝物深度信息來(lái)決定像素內(nèi)插用的抽頭長(zhǎng)度，在所述內(nèi)插參照像素設(shè)定步驟中，將存在于所述抽頭長(zhǎng)度的范圍內(nèi)的像素設(shè)定為所述內(nèi)插參照像素。[0024]優(yōu)選的是，在本發(fā)明中，在所述內(nèi)插系數(shù)決定步驟中，在針對(duì)所述內(nèi)插參照像素之一的所述參照?qǐng)D像深度信息與所述被攝物深度信息的差的大小比預(yù)先確定的閾值大的情況下，將所述內(nèi)插系數(shù)設(shè)為零來(lái)將所述內(nèi)插參照像素之一從所述內(nèi)插參照像素中除去，在所述差的大小為所述閾值以內(nèi)的情況下，基于所述差來(lái)決定所述內(nèi)插系數(shù)。[0025]優(yōu)選的是，在本發(fā)明中，在所述內(nèi)插系數(shù)決定步驟中，基于針對(duì)所述內(nèi)插參照像素之一的所述參照?qǐng)D像深度信息與所述被攝物深度信息的差、以及所述內(nèi)插參照像素之一與由所述對(duì)應(yīng)點(diǎn)表示的所述參照?qǐng)D像上的整數(shù)像素或小數(shù)像素的距離來(lái)決定所述內(nèi)插系數(shù)。[0026]優(yōu)選的是，在本發(fā)明中，在所述內(nèi)插系數(shù)決定步驟中，在針對(duì)所述內(nèi)插參照像素之一的所述參照?qǐng)D像深度信息與所述被攝物深度信息的差的大小比預(yù)先確定的閾值大的情況下，將所述內(nèi)插系數(shù)設(shè)為零來(lái)將所述內(nèi)插參照像素之一從所述內(nèi)插參照像素中除去，在所述差的大小為所述閾值以內(nèi)的情況下，基于所述差、以及所述內(nèi)插參照像素之一與由所述對(duì)應(yīng)點(diǎn)表示的所述參照?qǐng)D像上的整數(shù)像素或小數(shù)像素的距離來(lái)決定所述內(nèi)插系數(shù)。[0027]本發(fā)明是一種圖像解碼方法，在對(duì)多視點(diǎn)圖像的解碼對(duì)象圖像進(jìn)行解碼時(shí)，使用解碼完畢的參照?qǐng)D像和作為所述參照?qǐng)D像中的被攝物的深度信息的參照?qǐng)D像深度信息，一邊在視點(diǎn)間預(yù)測(cè)圖像一邊進(jìn)行解碼，其中，所述圖像解碼方法具有：對(duì)應(yīng)點(diǎn)設(shè)定步驟，對(duì)所述解碼對(duì)象圖像的各像素設(shè)定所述參照?qǐng)D像上的對(duì)應(yīng)點(diǎn)；被攝物深度信息設(shè)定步驟，對(duì)由所述對(duì)應(yīng)點(diǎn)表示的所述解碼對(duì)象圖像上的整數(shù)像素位置的像素的深度信息即被攝物深度信息進(jìn)行設(shè)定；內(nèi)插抽頭長(zhǎng)度決定步驟，使用由所述對(duì)應(yīng)點(diǎn)表示的所述參照?qǐng)D像上的整數(shù)像素位置或小數(shù)像素位置的周圍的整數(shù)像素位置的像素的所述參照?qǐng)D像深度信息和所述被攝物深度信息來(lái)決定像素內(nèi)插用的抽頭長(zhǎng)度；像素內(nèi)插步驟，使用按照所述抽頭長(zhǎng)度的內(nèi)插濾波器來(lái)生成由所述對(duì)應(yīng)點(diǎn)表示的所述參照?qǐng)D像上的所述整數(shù)像素位置或所述小數(shù)像素位置的像素值；以及視點(diǎn)間圖像預(yù)測(cè)步驟，通過(guò)將利用所述像素內(nèi)插步驟生成的所述像素值設(shè)為由所述對(duì)應(yīng)點(diǎn)表示的所述解碼對(duì)象圖像上的所述整數(shù)像素位置的像素的預(yù)測(cè)值來(lái)進(jìn)行視點(diǎn)間的圖像預(yù)測(cè)。[0028]本發(fā)明是一種圖像解碼方法，在對(duì)多視點(diǎn)圖像的解碼對(duì)象圖像進(jìn)行解碼時(shí)，使用解碼完畢的參照?qǐng)D像和作為所述參照?qǐng)D像中的被攝物的深度信息的參照?qǐng)D像深度信息，一邊在視點(diǎn)間預(yù)測(cè)圖像一邊進(jìn)行解碼，其中，所述圖像解碼方法具有：對(duì)應(yīng)點(diǎn)設(shè)定步驟，對(duì)所述解碼對(duì)象圖像的各像素設(shè)定所述參照?qǐng)D像上的對(duì)應(yīng)點(diǎn)；被攝物深度信息設(shè)定步驟，對(duì)由所述對(duì)應(yīng)點(diǎn)表示的所述解碼對(duì)象圖像上的整數(shù)像素位置的像素的深度信息即被攝物深度信息進(jìn)行設(shè)定；內(nèi)插參照像素設(shè)定步驟，使用由所述對(duì)應(yīng)點(diǎn)表示的所述參照?qǐng)D像上的整數(shù)像素位置或小數(shù)像素位置的周圍的整數(shù)像素位置的像素的所述參照?qǐng)D像深度信息和所述被攝物深度信息，將用于像素內(nèi)插的所述參照?qǐng)D像的整數(shù)像素位置的像素設(shè)定為內(nèi)插參照像素；像素內(nèi)插步驟，利用所述內(nèi)插參照像素的像素值的加權(quán)和，生成由所述對(duì)應(yīng)點(diǎn)表示的所述參照?qǐng)D像上的所述整數(shù)像素位置或所述小數(shù)像素位置的像素值；以及視點(diǎn)間圖像預(yù)測(cè)步驟，通過(guò)將利用所述像素內(nèi)插步驟生成的所述像素值設(shè)為由所述對(duì)應(yīng)點(diǎn)表示的所述解碼對(duì)象圖像上的所述整數(shù)像素位置的像素的預(yù)測(cè)值來(lái)進(jìn)行視點(diǎn)間的圖像預(yù)測(cè)。[0029]優(yōu)選的是，在本發(fā)明中，還具有：內(nèi)插系數(shù)決定步驟，按照每個(gè)所述內(nèi)插參照像素，基于針對(duì)所述內(nèi)插參照像素的所述參照?qǐng)D像深度信息與所述被攝物深度信息的差，決定針對(duì)所述內(nèi)插參照像素的內(nèi)插系數(shù)，在所述內(nèi)插參照像素設(shè)定步驟中，將由所述對(duì)應(yīng)點(diǎn)表示的所述參照?qǐng)D像上的所述整數(shù)像素位置或所述小數(shù)像素位置的所述周圍的整數(shù)像素位置的像素設(shè)定為所述內(nèi)插參照像素，在所述像素內(nèi)插步驟中，通過(guò)求取基于所述內(nèi)插系數(shù)的所述內(nèi)插參照像素的像素值的加權(quán)和，從而生成由所述對(duì)應(yīng)點(diǎn)表示的所述參照?qǐng)D像上的所述整數(shù)像素位置或所述小數(shù)像素位置的像素值。[0030]優(yōu)選的是，在本發(fā)明中，還具有：內(nèi)插抽頭長(zhǎng)度決定步驟，使用由所述對(duì)應(yīng)點(diǎn)表示的所述參照?qǐng)D像上的所述整數(shù)像素位置或所述小數(shù)像素位置的所述周圍的整數(shù)像素位置的像素的所述參照?qǐng)D像深度信息和所述被攝物深度信息來(lái)決定像素內(nèi)插用的抽頭長(zhǎng)度，在所述內(nèi)插參照像素設(shè)定步驟中，將存在于所述抽頭長(zhǎng)度的范圍內(nèi)的像素設(shè)定為所述內(nèi)插參照像素。[0031]優(yōu)選的是，在本發(fā)明中，在所述內(nèi)插系數(shù)決定步驟中，在針對(duì)所述內(nèi)插參照像素之一的所述參照?qǐng)D像深度信息與所述被攝物深度信息的差的大小比預(yù)先確定的閾值大的情況下，將所述內(nèi)插系數(shù)設(shè)為零來(lái)將所述內(nèi)插參照像素之一從所述內(nèi)插參照像素中除去，在所述差的大小為所述閾值以內(nèi)的情況下，基于所述差來(lái)決定所述內(nèi)插系數(shù)。[0032]優(yōu)選的是，在本發(fā)明中，在所述內(nèi)插系數(shù)決定步驟中，基于針對(duì)所述內(nèi)插參照像素之一的所述參照?qǐng)D像深度信息與所述被攝物深度信息的差、以及所述內(nèi)插參照像素之一與由所述對(duì)應(yīng)點(diǎn)表示的所述參照?qǐng)D像上的整數(shù)像素或小數(shù)像素的距離來(lái)決定所述內(nèi)插系數(shù)。[0033]優(yōu)選的是，在本發(fā)明中，在所述內(nèi)插系數(shù)決定步驟中，在針對(duì)所述內(nèi)插參照像素之一的所述參照?qǐng)D像深度信息與所述被攝物深度信息的差的大小比預(yù)先確定的閾值大的情況下，將所述內(nèi)插系數(shù)設(shè)為零來(lái)將所述內(nèi)插參照像素之一從所述內(nèi)插參照像素中除去，在所述差的大小為所述閾值以內(nèi)的情況下，基于所述差、以及所述內(nèi)插參照像素之一與由所述對(duì)應(yīng)點(diǎn)表示的所述參照?qǐng)D像上的整數(shù)像素或小數(shù)像素的距離來(lái)決定所述內(nèi)插系數(shù)。[0034]本發(fā)明是一種圖像編碼裝置，在對(duì)作為多個(gè)視點(diǎn)的圖像的多視點(diǎn)圖像進(jìn)行編碼時(shí)，使用針對(duì)與編碼對(duì)象圖像的視點(diǎn)不同的視點(diǎn)的編碼完畢的參照?qǐng)D像和作為所述參照?qǐng)D像中的被攝物的深度信息的參照?qǐng)D像深度信息，一邊在視點(diǎn)間預(yù)測(cè)圖像一邊進(jìn)行編碼，其中，所述圖像編碼裝置具備：對(duì)應(yīng)點(diǎn)設(shè)定部，對(duì)所述編碼對(duì)象圖像的各像素設(shè)定所述參照?qǐng)D像上的對(duì)應(yīng)點(diǎn)；被攝物深度信息設(shè)定部，對(duì)由所述對(duì)應(yīng)點(diǎn)表示的所述編碼對(duì)象圖像上的整數(shù)像素位置的像素的深度信息即被攝物深度信息進(jìn)行設(shè)定；內(nèi)插抽頭長(zhǎng)度決定部，使用由所述對(duì)應(yīng)點(diǎn)表示的所述參照?qǐng)D像上的整數(shù)像素位置或小數(shù)像素位置的周圍的整數(shù)像素位置的像素的所述參照?qǐng)D像深度信息和所述被攝物深度信息來(lái)決定像素內(nèi)插用的抽頭長(zhǎng)度；像素內(nèi)插部，使用按照所述抽頭長(zhǎng)度的內(nèi)插濾波器來(lái)生成由所述對(duì)應(yīng)點(diǎn)表示的所述參照?qǐng)D像上的所述整數(shù)像素位置或所述小數(shù)像素位置的像素值；以及視點(diǎn)間圖像預(yù)測(cè)部，通過(guò)將利用所述像素內(nèi)插部生成的所述像素值設(shè)為由所述對(duì)應(yīng)點(diǎn)表示的所述編碼對(duì)象圖像上的所述整數(shù)像素位置的像素的預(yù)測(cè)值來(lái)進(jìn)行視點(diǎn)間的圖像預(yù)測(cè)。[0035]本發(fā)明是一種圖像編碼裝置，在對(duì)作為多個(gè)視點(diǎn)的圖像的多視點(diǎn)圖像進(jìn)行編碼時(shí)，使用針對(duì)與編碼對(duì)象圖像的視點(diǎn)不同的視點(diǎn)的編碼完畢的參照?qǐng)D像和作為所述參照?qǐng)D像中的被攝物的深度信息的參照?qǐng)D像深度信息，一邊在視點(diǎn)間預(yù)測(cè)圖像一邊進(jìn)行編碼，其中，所述圖像編碼裝置具備：對(duì)應(yīng)點(diǎn)設(shè)定部，對(duì)所述編碼對(duì)象圖像的各像素設(shè)定所述參照?qǐng)D像上的對(duì)應(yīng)點(diǎn)；被攝物深度信息設(shè)定部，對(duì)由所述對(duì)應(yīng)點(diǎn)表示的所述編碼對(duì)象圖像上的整數(shù)像素位置的像素的深度信息即被攝物深度信息進(jìn)行設(shè)定；內(nèi)插參照像素設(shè)定部，使用由所述對(duì)應(yīng)點(diǎn)表示的所述參照?qǐng)D像上的整數(shù)像素位置或小數(shù)像素位置的周圍的整數(shù)像素位置的像素的所述參照?qǐng)D像深度信息和所述被攝物深度信息，將用于像素內(nèi)插的所述參照?qǐng)D像的整數(shù)像素位置的像素設(shè)定為內(nèi)插參照像素；像素內(nèi)插部，利用所述內(nèi)插參照像素的像素值的加權(quán)和，生成由所述對(duì)應(yīng)點(diǎn)表示的所述參照?qǐng)D像上的所述整數(shù)像素位置或所述小數(shù)像素位置的像素值；以及視點(diǎn)間圖像預(yù)測(cè)部，通過(guò)將利用所述像素內(nèi)插部生成的所述像素值設(shè)為由所述對(duì)應(yīng)點(diǎn)表示的所述編碼對(duì)象圖像上的所述整數(shù)像素位置的像素的預(yù)測(cè)值來(lái)進(jìn)行視點(diǎn)間的圖像預(yù)測(cè)。[0036]本發(fā)明是一種圖像解碼裝置，在對(duì)多視點(diǎn)圖像的解碼對(duì)象圖像進(jìn)行解碼時(shí)，使用解碼完畢的參照?qǐng)D像和作為所述參照?qǐng)D像中的被攝物的深度信息的參照?qǐng)D像深度信息，一邊在視點(diǎn)間預(yù)測(cè)圖像一邊進(jìn)行解碼，其中，所述圖像解碼裝置具備：對(duì)應(yīng)點(diǎn)設(shè)定部，對(duì)所述解碼對(duì)象圖像的各像素設(shè)定所述參照?qǐng)D像上的對(duì)應(yīng)點(diǎn)；被攝物深度信息設(shè)定部，對(duì)由所述對(duì)應(yīng)點(diǎn)表示的所述解碼對(duì)象圖像上的整數(shù)像素位置的像素的深度信息即被攝物深度信息進(jìn)行設(shè)定；內(nèi)插抽頭長(zhǎng)度決定部，使用由所述對(duì)應(yīng)點(diǎn)表示的所述參照?qǐng)D像上的整數(shù)像素位置或小數(shù)像素位置的周圍的整數(shù)像素位置的像素的所述參照?qǐng)D像深度信息和所述被攝物深度信息來(lái)決定像素內(nèi)插用的抽頭長(zhǎng)度；像素內(nèi)插部，使用按照所述抽頭長(zhǎng)度的內(nèi)插濾波器來(lái)生成由所述對(duì)應(yīng)點(diǎn)表示的所述參照?qǐng)D像上的所述整數(shù)像素位置或所述小數(shù)像素位置的像素值；以及視點(diǎn)間圖像預(yù)測(cè)部，通過(guò)將利用所述像素內(nèi)插部生成的所述像素值設(shè)為由所述對(duì)應(yīng)點(diǎn)表示的所述解碼對(duì)象圖像上的所述整數(shù)像素位置的像素的預(yù)測(cè)值來(lái)進(jìn)行視點(diǎn)間的圖像預(yù)測(cè)。[0037]本發(fā)明是一種圖像解碼裝置，在對(duì)多視點(diǎn)圖像的解碼對(duì)象圖像進(jìn)行解碼時(shí)，使用解碼完畢的參照?qǐng)D像和作為所述參照?qǐng)D像中的被攝物的深度信息的參照?qǐng)D像深度信息，一邊在視點(diǎn)間預(yù)測(cè)圖像一邊進(jìn)行解碼，其中，所述圖像解碼裝置具備：對(duì)應(yīng)點(diǎn)設(shè)定部，對(duì)所述解碼對(duì)象圖像的各像素設(shè)定所述參照?qǐng)D像上的對(duì)應(yīng)點(diǎn)；被攝物深度信息設(shè)定部，對(duì)由所述對(duì)應(yīng)點(diǎn)表示的所述解碼對(duì)象圖像上的整數(shù)像素位置的像素的深度信息即被攝物深度信息進(jìn)行設(shè)定；內(nèi)插參照像素設(shè)定部，使用由所述對(duì)應(yīng)點(diǎn)表示的所述參照?qǐng)D像上的整數(shù)像素位置或小數(shù)像素位置的周圍的整數(shù)像素位置的像素的所述參照?qǐng)D像深度信息和所述被攝物深度信息，將用于像素內(nèi)插的所述參照?qǐng)D像的整數(shù)像素位置的像素設(shè)定為內(nèi)插參照像素；像素內(nèi)插部，利用所述內(nèi)插參照像素的像素值的加權(quán)和，生成由所述對(duì)應(yīng)點(diǎn)表示的所述參照?qǐng)D像上的所述整數(shù)像素位置或所述小數(shù)像素位置的像素值；以及視點(diǎn)間圖像預(yù)測(cè)部，通過(guò)將利用所述像素內(nèi)插部生成的所述像素值設(shè)為由所述對(duì)應(yīng)點(diǎn)表示的所述解碼對(duì)象圖像上的所述整數(shù)像素位置的像素的預(yù)測(cè)值來(lái)進(jìn)行視點(diǎn)間的圖像預(yù)測(cè)。[0038]本發(fā)明是一種用于使計(jì)算機(jī)執(zhí)行所述圖像編碼方法的圖像編碼程序。[0039]本發(fā)明是一種用于使計(jì)算機(jī)執(zhí)行所述圖像解碼方法的圖像解碼程序。[0040]本發(fā)明是一種記錄有所述圖像編碼程序的計(jì)算機(jī)可讀取的記錄介質(zhì)。[0041]本發(fā)明是一種記錄有所述圖像解碼程序的計(jì)算機(jī)可讀取的記錄介質(zhì)。[0042]發(fā)明效果根據(jù)本發(fā)明，通過(guò)考慮三維空間上的距離來(lái)內(nèi)插像素值，從而得到能夠?qū)崿F(xiàn)更高品質(zhì)的預(yù)測(cè)圖像的生成并且實(shí)現(xiàn)多視點(diǎn)圖像的高效率的圖像編碼的效果。【專利附圖】【附圖說(shuō)明】[0043]圖1是示出本發(fā)明的第一實(shí)施方式中的圖像編碼裝置的結(jié)構(gòu)的圖。[0044]圖2是示出圖1所示的圖像編碼裝置100的工作的流程圖。[0045]圖3是示出圖1所示的視差補(bǔ)償圖像生成部110的結(jié)構(gòu)的框圖。[0046]圖4是示出圖1所示的對(duì)應(yīng)點(diǎn)設(shè)定部109和圖3所示的視差補(bǔ)償圖像生成部110所進(jìn)行的處理(視差補(bǔ)償圖像生成處理：步驟S103)的處理工作的流程圖。[0047]圖5是示出生成視差補(bǔ)償圖像的視差補(bǔ)償圖像生成部110的結(jié)構(gòu)的變形例的圖。[0048]圖6是示出由對(duì)應(yīng)點(diǎn)設(shè)定部109和圖5所示的視差補(bǔ)償圖像生成部110進(jìn)行的視差補(bǔ)償圖像處理(步驟S103)的工作的流程圖。[0049]圖7是示出生成視差補(bǔ)償圖像的視差補(bǔ)償圖像生成部110的結(jié)構(gòu)的變形例的圖。[0050]圖8是示出由對(duì)應(yīng)點(diǎn)設(shè)定部109和圖7所示的視差補(bǔ)償圖像生成部110進(jìn)行的視差補(bǔ)償圖像處理(步驟S103)的工作的流程圖。[0051]圖9是示出在僅使用參照?qǐng)D像深度信息的情況下的圖像編碼裝置100a的結(jié)構(gòu)例的圖。[0052]圖10是示出圖9所示的圖像編碼裝置100a所進(jìn)行的視差補(bǔ)償圖像處理的工作的流程圖。[0053]圖11是示出本發(fā)明的第三實(shí)施方式的圖像解碼裝置的結(jié)構(gòu)例的圖。[0054]圖12是示出圖11所示的圖像解碼裝置200的處理工作的流程圖。[0055]圖13是示出在僅使用參照?qǐng)D像深度信息的情況下的圖像解碼裝置200a的結(jié)構(gòu)例的圖。[0056]圖14是示出在通過(guò)計(jì)算機(jī)和軟件程序構(gòu)成圖像編碼裝置的情況下的硬件結(jié)構(gòu)例的圖。[0057]圖15是示出在通過(guò)計(jì)算機(jī)和軟件程序構(gòu)成圖像解碼裝置的情況下的硬件結(jié)構(gòu)例的圖。[0058]圖16是在攝像機(jī)間產(chǎn)生的視差的概念圖。[0059]圖17是對(duì)極幾何約束的概念圖。[0060]圖18是示出在對(duì)1個(gè)攝像機(jī)的圖像給出深度時(shí)在多個(gè)攝像機(jī)的圖像間得到對(duì)應(yīng)點(diǎn)的情況的圖?！揪唧w實(shí)施方式】[0061]以下，參照附圖，對(duì)本發(fā)明的實(shí)施方式的圖像編碼裝置和圖像解碼裝置進(jìn)行說(shuō)明。在以下的說(shuō)明中，說(shuō)明設(shè)想對(duì)用第一攝像機(jī)(稱為攝像機(jī)A)、第二攝像機(jī)(稱為攝像機(jī)B)這2個(gè)攝像機(jī)拍攝的多視點(diǎn)圖像進(jìn)行編碼的情況，并將攝像機(jī)A的圖像作為參照?qǐng)D像來(lái)對(duì)攝像機(jī)B的圖像進(jìn)行編碼或解碼。再有，假設(shè)另外給出為了根據(jù)深度信息得到視差而需要的信息。具體地，該信息為表示攝像機(jī)A和攝像機(jī)B的位置關(guān)系的外部參數(shù)或表示利用攝像機(jī)的向圖像平面的投影信息的內(nèi)部參數(shù)，但是，即使為這些以外的方式，只要根據(jù)深度信息得到視差，就可以給出另外的信息。與這些攝像機(jī)參數(shù)相關(guān)的詳細(xì)的說(shuō)明例如被記載在文獻(xiàn)"OlivierFaugeras,"Three-DimensionalComputerVision"，pp.33-66，MITPress;BCTC/UFF-006.37F2591993，ISBN:0-262-06158-9?"中。在其中，記載了與表示多個(gè)攝像機(jī)的位置關(guān)系的參數(shù)、表示利用攝像機(jī)的向圖像平面的投影信息的參數(shù)相關(guān)的說(shuō)明。[0062]〈第一實(shí)施方式〉圖1是示出第一實(shí)施方式中的圖像編碼裝置的結(jié)構(gòu)的框圖。如圖1所示，圖像編碼裝置100具備：編碼對(duì)象圖像輸入部101、編碼對(duì)象圖像存儲(chǔ)器102、參照?qǐng)D像輸入部103、參照?qǐng)D像存儲(chǔ)器104、參照?qǐng)D像深度信息輸入部105、參照?qǐng)D像深度信息存儲(chǔ)器106、處理對(duì)象圖像深度信息輸入部107、處理對(duì)象圖像深度信息存儲(chǔ)器108、對(duì)應(yīng)點(diǎn)設(shè)定部109、視差補(bǔ)償圖像生成部110、以及圖像編碼部111。[0063]編碼對(duì)象圖像輸入部101輸入成為編碼對(duì)象的圖像。在以下，將該成為編碼對(duì)象的圖像稱為編碼對(duì)象圖像。在此，輸入攝像機(jī)B的圖像。編碼對(duì)象圖像存儲(chǔ)器102存儲(chǔ)被輸入的編碼對(duì)象圖像。參照?qǐng)D像輸入部103輸入在生成視差補(bǔ)償圖像時(shí)成為參照?qǐng)D像的圖像。在此，輸入攝像機(jī)A的圖像。參照?qǐng)D像存儲(chǔ)器104存儲(chǔ)被輸入的參照?qǐng)D像。[0064]參照?qǐng)D像深度信息輸入部105輸入針對(duì)參照?qǐng)D像的深度信息。在以下，將該針對(duì)參照?qǐng)D像的深度信息稱為參照?qǐng)D像深度信息。參照?qǐng)D像深度信息存儲(chǔ)器106存儲(chǔ)被輸入的參照?qǐng)D像深度信息。處理對(duì)象圖像深度信息輸入部107輸入針對(duì)編碼對(duì)象圖像的深度信息。在以下，將該針對(duì)編碼對(duì)象圖像的深度信息稱為處理對(duì)象圖像深度信息。處理對(duì)象圖像深度信息存儲(chǔ)器108存儲(chǔ)被輸入的處理對(duì)象圖像深度信息。[0065]再有，深度信息是指表示在參照?qǐng)D像的各像素中顯現(xiàn)的被攝物的三維位置的信息。此外，關(guān)于深度信息，只要是利用另外給出的攝像機(jī)參數(shù)等信息得到三維位置的信息，那么怎樣的信息都可以。例如，能夠使用從攝像機(jī)到被攝物的距離、相對(duì)于與圖像平面不平行的軸的坐標(biāo)值、針對(duì)另外的攝像機(jī)(例如攝像機(jī)B)的視差量。[0066]對(duì)應(yīng)點(diǎn)設(shè)定部109使用處理對(duì)象圖像深度信息，按照編碼對(duì)象圖像的每個(gè)像素來(lái)設(shè)定參照?qǐng)D像上的對(duì)應(yīng)點(diǎn)。視差補(bǔ)償圖像生成部110使用參照?qǐng)D像和對(duì)應(yīng)點(diǎn)的信息來(lái)生成視差補(bǔ)償圖像。圖像編碼部111將視差補(bǔ)償圖像作為預(yù)測(cè)圖像來(lái)對(duì)編碼對(duì)象圖像進(jìn)行預(yù)測(cè)編碼。[0067]接著，參照?qǐng)D2,對(duì)圖1所示的圖像編碼裝置100的工作進(jìn)行說(shuō)明。圖2是示出圖1所示的圖像編碼裝置1〇〇的工作的流程圖。首先，編碼對(duì)象圖像輸入部101輸入編碼對(duì)象圖像，并存儲(chǔ)到編碼對(duì)象圖像存儲(chǔ)器102中（步驟S101)。接著，參照?qǐng)D像輸入部103輸入?yún)⒄請(qǐng)D像，并存儲(chǔ)到參照?qǐng)D像存儲(chǔ)器104中。與此并行地，參照?qǐng)D像深度信息輸入部105輸入?yún)⒄請(qǐng)D像深度信息，并存儲(chǔ)到參照?qǐng)D像深度信息存儲(chǔ)器106中。此外，處理對(duì)象圖像深度信息輸入部107輸入處理對(duì)象圖像深度信息，并存儲(chǔ)到處理對(duì)象圖像深度信息存儲(chǔ)器108中(步驟S102)。[0068]再有，假設(shè)在步驟S102中輸入的參照?qǐng)D像、參照?qǐng)D像深度信息、處理對(duì)象圖像深度信息與對(duì)已經(jīng)編碼完畢的信息進(jìn)行解碼后的信息等在解碼側(cè)得到的信息相同。這是因?yàn)椋ㄟ^(guò)使用與由解碼裝置得到的信息完全相同的信息，從而抑制漂移（drift)等編碼噪聲的產(chǎn)生。但是，在容許這樣的編碼噪聲的產(chǎn)生的情況下，也可以輸入編碼前的信息等僅在編碼側(cè)得到的信息。關(guān)于深度信息，除了對(duì)已經(jīng)編碼完畢的信息進(jìn)行解碼后的信息以外，還能夠得到根據(jù)針對(duì)另外的攝像機(jī)進(jìn)行解碼后的深度信息來(lái)生成的深度信息、或者通過(guò)對(duì)針對(duì)多個(gè)攝像機(jī)進(jìn)行解碼后的多視點(diǎn)圖像應(yīng)用立體匹配（stereomatching)等而估計(jì)出的深度信息等也是在解碼側(cè)相同的信息來(lái)進(jìn)行使用。[0069]接著，如果輸入結(jié)束了，則對(duì)應(yīng)點(diǎn)設(shè)定部109使用參照?qǐng)D像和參照?qǐng)D像深度信息、處理對(duì)象圖像深度信息按照編碼對(duì)象圖像的每個(gè)像素或預(yù)先確定的每個(gè)塊來(lái)生成參照?qǐng)D像上的對(duì)應(yīng)點(diǎn)或?qū)?yīng)塊。與此并行地，視差補(bǔ)償圖像生成部110生成視差補(bǔ)償圖像(步驟S103)。關(guān)于在此的處理的細(xì)節(jié)，在后面進(jìn)行敘述。[0070]如果得到了視差補(bǔ)償圖像，則圖像編碼部111將視差補(bǔ)償圖像作為預(yù)測(cè)圖像來(lái)對(duì)編碼對(duì)象圖像進(jìn)行預(yù)測(cè)編碼并輸出（步驟S104)。作為編碼的結(jié)果而得到的位流成為圖像編碼裝置100的輸出。再有，如果能夠在解碼側(cè)正確地解碼，則在編碼中使用怎樣的方法都可以。[0071]在MPEG-2、H.264、JPEG等通常的活動(dòng)圖像編碼或圖像編碼中，將圖像分割為預(yù)先確定的大小的塊，按照每個(gè)塊生成編碼對(duì)象圖像和預(yù)測(cè)圖像的差分信號(hào)，對(duì)差分圖像實(shí)施DCT(DiscreteCosineTransform，離散余弦變換)等頻率變換，對(duì)作為其結(jié)果而得到的值依次應(yīng)用量化、二值化、熵編碼的處理，由此，進(jìn)行編碼。再有，在按照每個(gè)塊進(jìn)行預(yù)測(cè)編碼處理的情況下，也可以通過(guò)在塊后交替地重復(fù)進(jìn)行視差補(bǔ)償圖像的生成處理(步驟S103)和編碼對(duì)象圖像的編碼處理(步驟S104)來(lái)對(duì)編碼對(duì)象圖像進(jìn)行編碼。[0072]接著，參照?qǐng)D3,對(duì)圖1所示的視差補(bǔ)償圖像生成部110的結(jié)構(gòu)進(jìn)行說(shuō)明。圖3是示出圖1所示的視差補(bǔ)償圖像生成部110的結(jié)構(gòu)的框圖。視差補(bǔ)償圖像生成部110具備內(nèi)插參照像素設(shè)定部1101和像素內(nèi)插部1102。內(nèi)插參照像素設(shè)定部1101決定作為為了對(duì)由對(duì)應(yīng)點(diǎn)設(shè)定部109設(shè)定的對(duì)應(yīng)點(diǎn)的像素值進(jìn)行內(nèi)插而使用的參照?qǐng)D像的像素的內(nèi)插參照像素的集合。像素內(nèi)插部1102使用針對(duì)所設(shè)定的內(nèi)插參照像素的參照?qǐng)D像的像素值來(lái)內(nèi)插對(duì)應(yīng)點(diǎn)的位置的像素值。[0073]接著，參照?qǐng)D4,對(duì)圖1所示的對(duì)應(yīng)點(diǎn)設(shè)定部109和圖3所示的視差補(bǔ)償圖像生成部110的處理工作進(jìn)行說(shuō)明。圖4是示出圖1所示的對(duì)應(yīng)點(diǎn)設(shè)定部109和圖3所示的視差補(bǔ)償圖像生成部110所進(jìn)行的處理(視差補(bǔ)償圖像生成處理：步驟S103)的處理工作的流程圖。在該處理中，通過(guò)對(duì)編碼對(duì)象圖像整體按照每個(gè)像素重復(fù)進(jìn)行處理來(lái)生成視差補(bǔ)償圖像。即，當(dāng)將像素索引設(shè)為pix、將圖像中的總像素?cái)?shù)設(shè)為numPixs時(shí)，在將pix初始化為0之后（步驟S201)，一邊對(duì)pix進(jìn)行每次加上1的加法運(yùn)算（步驟S205)，一邊重復(fù)進(jìn)行以下的處理(步驟S202~步驟S205)直到pix變?yōu)閚umPixs(步驟S206)，由此，生成視差補(bǔ)償圖像。[0074]在此，可以代替像素而按照預(yù)先確定的大小的每個(gè)區(qū)域重復(fù)進(jìn)行處理，也可以代替編碼對(duì)象圖像整體而對(duì)預(yù)先確定的大小的區(qū)域生成視差補(bǔ)償圖像。此外，將兩者進(jìn)行組合，按照預(yù)先確定的大小的每個(gè)區(qū)域重復(fù)進(jìn)行處理，對(duì)同一或不同的預(yù)先確定的大小的區(qū)域生成視差補(bǔ)償圖像也可。在圖4所示的處理流程中，將像素替換為"重復(fù)進(jìn)行處理的塊"，將編碼對(duì)象圖像替換為"生成視差補(bǔ)償圖像的對(duì)象的區(qū)域"，由此，相當(dāng)于這些處理流程。使重復(fù)進(jìn)行該處理的單位與相當(dāng)于被給出處理對(duì)象圖像深度信息的單位的大小相配合的那樣的實(shí)施、使生成視差補(bǔ)償圖像的對(duì)象的區(qū)域與在對(duì)編碼對(duì)象圖像進(jìn)行區(qū)域分割來(lái)進(jìn)行預(yù)測(cè)編碼時(shí)的區(qū)域相配合的那樣的實(shí)施也是優(yōu)選的。[0075]在按照每個(gè)像素進(jìn)行的處理中，首先，對(duì)應(yīng)點(diǎn)設(shè)定部109使用針對(duì)像素pix的處理對(duì)象圖像深度信息dpix來(lái)得到針對(duì)像素pix的參照?qǐng)D像上的對(duì)應(yīng)點(diǎn)qpix(步驟S202)。再有，根據(jù)深度信息計(jì)算對(duì)應(yīng)點(diǎn)的處理是配合被給出的深度信息的定義來(lái)進(jìn)行的，但是，只要得到該深度信息所表示的正確的對(duì)應(yīng)點(diǎn)，那么使用怎樣的處理都可以。例如，在將深度信息作為從攝像機(jī)到被攝物的距離或相對(duì)于與攝像機(jī)平面不平行的軸的坐標(biāo)值而給出的情況下，使用拍攝了編碼對(duì)象圖像的攝像機(jī)和拍攝了參照?qǐng)D像的攝像機(jī)的攝像機(jī)參數(shù)，恢復(fù)針對(duì)像素pix的三維點(diǎn)，將該三維點(diǎn)向參照?qǐng)D像投影，由此，能夠得到對(duì)應(yīng)點(diǎn)。[0076]即，在深度信息表示從攝像機(jī)到被攝物的距離的情況下，利用下面的式1來(lái)進(jìn)行三維點(diǎn)g的恢復(fù)，利用式2來(lái)進(jìn)行向參照?qǐng)D像的投影，得到在參照?qǐng)D像上的對(duì)應(yīng)點(diǎn)的坐標(biāo)(X，y)。在此，（upix，vpix)表示像素pix在編碼對(duì)象圖像上的坐標(biāo)值。Ax、Rx、tx表示攝像機(jī)x(x為c或r)的內(nèi)部參數(shù)、旋轉(zhuǎn)矩陣、平移矢量。c表示拍攝了編碼對(duì)象圖像的攝像機(jī)，r表示拍攝了參照?qǐng)D像的攝像機(jī)。再有，將旋轉(zhuǎn)矩陣和平移矢量合稱為攝像機(jī)的外部參數(shù)。在這些數(shù)式中，攝像機(jī)的外部參數(shù)表示從攝像機(jī)坐標(biāo)系向世界坐標(biāo)系的變換，但是，在進(jìn)行另外的定義的情況下，需要按照其使用不同的數(shù)式。distance(x，d)為將針對(duì)攝像機(jī)x的深度信息d變換為從攝像機(jī)x到被攝物的距離的函數(shù)，與深度信息的定義一起被給出。也存在代替函數(shù)而使用查找表（lookuptable)來(lái)定義變換的情況。k為滿足數(shù)式的任意的實(shí)數(shù)?！緳?quán)利要求】1.一種圖像編碼方法，在對(duì)作為多個(gè)視點(diǎn)的圖像的多視點(diǎn)圖像進(jìn)行編碼時(shí)，使用針對(duì)與編碼對(duì)象圖像的視點(diǎn)不同的視點(diǎn)的編碼完畢的參照?qǐng)D像和作為所述參照?qǐng)D像中的被攝物的深度信息的參照?qǐng)D像深度信息，一邊在視點(diǎn)間預(yù)測(cè)圖像一邊進(jìn)行編碼，其中，所述圖像編碼方法具有：對(duì)應(yīng)點(diǎn)設(shè)定步驟，對(duì)所述編碼對(duì)象圖像的各像素設(shè)定所述參照?qǐng)D像上的對(duì)應(yīng)點(diǎn)；被攝物深度信息設(shè)定步驟，對(duì)由所述對(duì)應(yīng)點(diǎn)表示的所述編碼對(duì)象圖像上的整數(shù)像素位置的像素的深度信息即被攝物深度信息進(jìn)行設(shè)定；內(nèi)插抽頭長(zhǎng)度決定步驟，使用由所述對(duì)應(yīng)點(diǎn)表示的所述參照?qǐng)D像上的整數(shù)像素位置或小數(shù)像素位置的周圍的整數(shù)像素位置的像素的所述參照?qǐng)D像深度信息和所述被攝物深度信息來(lái)決定像素內(nèi)插用的抽頭長(zhǎng)度；像素內(nèi)插步驟，使用按照所述抽頭長(zhǎng)度的內(nèi)插濾波器來(lái)生成由所述對(duì)應(yīng)點(diǎn)表示的所述參照?qǐng)D像上的所述整數(shù)像素位置或所述小數(shù)像素位置的像素值；以及視點(diǎn)間圖像預(yù)測(cè)步驟，通過(guò)將利用所述像素內(nèi)插步驟生成的所述像素值設(shè)為由所述對(duì)應(yīng)點(diǎn)表示的所述編碼對(duì)象圖像上的所述整數(shù)像素位置的像素的預(yù)測(cè)值來(lái)進(jìn)行視點(diǎn)間的圖像預(yù)測(cè)。2.-種圖像編碼方法，在對(duì)作為多個(gè)視點(diǎn)的圖像的多視點(diǎn)圖像進(jìn)行編碼時(shí)，使用針對(duì)與編碼對(duì)象圖像的視點(diǎn)不同的視點(diǎn)的編碼完畢的參照?qǐng)D像和作為所述參照?qǐng)D像中的被攝物的深度信息的參照?qǐng)D像深度信息，一邊在視點(diǎn)間預(yù)測(cè)圖像一邊進(jìn)行編碼，其中，所述圖像編碼方法具有：對(duì)應(yīng)點(diǎn)設(shè)定步驟，對(duì)所述編碼對(duì)象圖像的各像素設(shè)定所述參照?qǐng)D像上的對(duì)應(yīng)點(diǎn)；被攝物深度信息設(shè)定步驟，對(duì)由所述對(duì)應(yīng)點(diǎn)表示的所述編碼對(duì)象圖像上的整數(shù)像素位置的像素的深度信息即被攝物深度信息進(jìn)行設(shè)定；內(nèi)插參照像素設(shè)定步驟，使用由所述對(duì)應(yīng)點(diǎn)表示的所述參照?qǐng)D像上的整數(shù)像素位置或小數(shù)像素位置的周圍的整數(shù)像素位置的像素的所述參照?qǐng)D像深度信息和所述被攝物深度信息，將用于像素內(nèi)插的所述參照?qǐng)D像的整數(shù)像素位置的像素設(shè)定為內(nèi)插參照像素；像素內(nèi)插步驟，利用所述內(nèi)插參照像素的像素值的加權(quán)和，生成由所述對(duì)應(yīng)點(diǎn)表示的所述參照?qǐng)D像上的所述整數(shù)像素位置或所述小數(shù)像素位置的像素值；以及視點(diǎn)間圖像預(yù)測(cè)步驟，通過(guò)將利用所述像素內(nèi)插步驟生成的所述像素值設(shè)為由所述對(duì)應(yīng)點(diǎn)表示的所述編碼對(duì)象圖像上的所述整數(shù)像素位置的像素的預(yù)測(cè)值來(lái)進(jìn)行視點(diǎn)間的圖像預(yù)測(cè)。3.根據(jù)權(quán)利要求2所述的圖像編碼方法，其中，還具有：內(nèi)插系數(shù)決定步驟，按照每個(gè)所述內(nèi)插參照像素，基于針對(duì)所述內(nèi)插參照像素的所述參照?qǐng)D像深度信息與所述被攝物深度信息的差，決定針對(duì)所述內(nèi)插參照像素的內(nèi)插系數(shù)，在所述內(nèi)插參照像素設(shè)定步驟中，將由所述對(duì)應(yīng)點(diǎn)表示的所述參照?qǐng)D像上的所述整數(shù)像素位置或所述小數(shù)像素位置的所述周圍的整數(shù)像素位置的像素設(shè)定為所述內(nèi)插參照像素，在所述像素內(nèi)插步驟中，通過(guò)求取基于所述內(nèi)插系數(shù)的所述內(nèi)插參照像素的像素值的加權(quán)和，從而生成由所述對(duì)應(yīng)點(diǎn)表示的所述參照?qǐng)D像上的所述整數(shù)像素位置或所述小數(shù)像素位置的像素值。4.根據(jù)權(quán)利要求3所述的圖像編碼方法，其中，還具有：內(nèi)插抽頭長(zhǎng)度決定步驟，使用由所述對(duì)應(yīng)點(diǎn)表示的所述參照?qǐng)D像上的所述整數(shù)像素位置或所述小數(shù)像素位置的所述周圍的整數(shù)像素位置的像素的所述參照?qǐng)D像深度信息和所述被攝物深度信息來(lái)決定像素內(nèi)插用的抽頭長(zhǎng)度，在所述內(nèi)插參照像素設(shè)定步驟中，將存在于所述抽頭長(zhǎng)度的范圍內(nèi)的像素設(shè)定為所述內(nèi)插參照像素。5.根據(jù)權(quán)利要求3或4所述的圖像編碼方法，其中，在所述內(nèi)插系數(shù)決定步驟中，在針對(duì)所述內(nèi)插參照像素之一的所述參照?qǐng)D像深度信息與所述被攝物深度信息的差的大小比預(yù)先確定的閾值大的情況下，將所述內(nèi)插系數(shù)設(shè)為零來(lái)將所述內(nèi)插參照像素之一從所述內(nèi)插參照像素中除去，在所述差的大小為所述閾值以內(nèi)的情況下，基于所述差來(lái)決定所述內(nèi)插系數(shù)。6.根據(jù)權(quán)利要求3或4所述的圖像編碼方法，其中，在所述內(nèi)插系數(shù)決定步驟中，基于針對(duì)所述內(nèi)插參照像素之一的所述參照?qǐng)D像深度信息與所述被攝物深度信息的差、以及所述內(nèi)插參照像素之一與由所述對(duì)應(yīng)點(diǎn)表示的所述參照?qǐng)D像上的整數(shù)像素或小數(shù)像素的距離來(lái)決定所述內(nèi)插系數(shù)。7.根據(jù)權(quán)利要求3或4所述的圖像編碼方法，其中，在所述內(nèi)插系數(shù)決定步驟中，在針對(duì)所述內(nèi)插參照像素之一的所述參照?qǐng)D像深度信息與所述被攝物深度信息的差的大小比預(yù)先確定的閾值大的情況下，將所述內(nèi)插系數(shù)設(shè)為零來(lái)將所述內(nèi)插參照像素之一從所述內(nèi)插參照像素中除去，在所述差的大小為所述閾值以內(nèi)的情況下，基于所述差、以及所述內(nèi)插參照像素之一與由所述對(duì)應(yīng)點(diǎn)表示的所述參照?qǐng)D像上的整數(shù)像素或小數(shù)像素的距離來(lái)決定所述內(nèi)插系數(shù)。8.-種圖像解碼方法，在對(duì)多視點(diǎn)圖像的解碼對(duì)象圖像進(jìn)行解碼時(shí)，使用解碼完畢的參照?qǐng)D像和作為所述參照?qǐng)D像中的被攝物的深度信息的參照?qǐng)D像深度信息，一邊在視點(diǎn)間預(yù)測(cè)圖像一邊進(jìn)行解碼，其中，所述圖像解碼方法具有：對(duì)應(yīng)點(diǎn)設(shè)定步驟，對(duì)所述解碼對(duì)象圖像的各像素設(shè)定所述參照?qǐng)D像上的對(duì)應(yīng)點(diǎn)；被攝物深度信息設(shè)定步驟，對(duì)由所述對(duì)應(yīng)點(diǎn)表示的所述解碼對(duì)象圖像上的整數(shù)像素位置的像素的深度信息即被攝物深度信息進(jìn)行設(shè)定；內(nèi)插抽頭長(zhǎng)度決定步驟，使用由所述對(duì)應(yīng)點(diǎn)表示的所述參照?qǐng)D像上的整數(shù)像素位置或小數(shù)像素位置的周圍的整數(shù)像素位置的像素的所述參照?qǐng)D像深度信息和所述被攝物深度信息來(lái)決定像素內(nèi)插用的抽頭長(zhǎng)度；像素內(nèi)插步驟，使用按照所述抽頭長(zhǎng)度的內(nèi)插濾波器來(lái)生成由所述對(duì)應(yīng)點(diǎn)表示的所述參照?qǐng)D像上的所述整數(shù)像素位置或所述小數(shù)像素位置的像素值；以及視點(diǎn)間圖像預(yù)測(cè)步驟，通過(guò)將利用所述像素內(nèi)插步驟生成的所述像素值設(shè)為由所述對(duì)應(yīng)點(diǎn)表示的所述解碼對(duì)象圖像上的所述整數(shù)像素位置的像素的預(yù)測(cè)值來(lái)進(jìn)行視點(diǎn)間的圖像預(yù)測(cè)。9.一種圖像解碼方法，在對(duì)多視點(diǎn)圖像的解碼對(duì)象圖像進(jìn)行解碼時(shí)，使用解碼完畢的參照?qǐng)D像和作為所述參照?qǐng)D像中的被攝物的深度信息的參照?qǐng)D像深度信息，一邊在視點(diǎn)間預(yù)測(cè)圖像一邊進(jìn)行解碼，其中，所述圖像解碼方法具有：對(duì)應(yīng)點(diǎn)設(shè)定步驟，對(duì)所述解碼對(duì)象圖像的各像素設(shè)定所述參照?qǐng)D像上的對(duì)應(yīng)點(diǎn)；被攝物深度信息設(shè)定步驟，對(duì)由所述對(duì)應(yīng)點(diǎn)表示的所述解碼對(duì)象圖像上的整數(shù)像素位置的像素的深度信息即被攝物深度信息進(jìn)行設(shè)定；內(nèi)插參照像素設(shè)定步驟，使用由所述對(duì)應(yīng)點(diǎn)表示的所述參照?qǐng)D像上的整數(shù)像素位置或小數(shù)像素位置的周圍的整數(shù)像素位置的像素的所述參照?qǐng)D像深度信息和所述被攝物深度信息，將用于像素內(nèi)插的所述參照?qǐng)D像的整數(shù)像素位置的像素設(shè)定為內(nèi)插參照像素；像素內(nèi)插步驟，利用所述內(nèi)插參照像素的像素值的加權(quán)和，生成由所述對(duì)應(yīng)點(diǎn)表示的所述參照?qǐng)D像上的所述整數(shù)像素位置或所述小數(shù)像素位置的像素值；以及視點(diǎn)間圖像預(yù)測(cè)步驟，通過(guò)將利用所述像素內(nèi)插步驟生成的所述像素值設(shè)為由所述對(duì)應(yīng)點(diǎn)表示的所述解碼對(duì)象圖像上的所述整數(shù)像素位置的像素的預(yù)測(cè)值來(lái)進(jìn)行視點(diǎn)間的圖像預(yù)測(cè)。10.根據(jù)權(quán)利要求9所述的圖像解碼方法，其中，還具有：內(nèi)插系數(shù)決定步驟，按照每個(gè)所述內(nèi)插參照像素，基于針對(duì)所述內(nèi)插參照像素的所述參照?qǐng)D像深度信息與所述被攝物深度信息的差，決定針對(duì)所述內(nèi)插參照像素的內(nèi)插系數(shù)，在所述內(nèi)插參照像素設(shè)定步驟中，將由所述對(duì)應(yīng)點(diǎn)表示的所述參照?qǐng)D像上的所述整數(shù)像素位置或所述小數(shù)像素位置的所述周圍的整數(shù)像素位置的像素設(shè)定為所述內(nèi)插參照像素，在所述像素內(nèi)插步驟中，通過(guò)求取基于所述內(nèi)插系數(shù)的所述內(nèi)插參照像素的像素值的加權(quán)和，從而生成由所述對(duì)應(yīng)點(diǎn)表示的所述參照?qǐng)D像上的所述整數(shù)像素位置或所述小數(shù)像素位置的像素值。11.根據(jù)權(quán)利要求10所述的圖像解碼方法，其中，還具有：內(nèi)插抽頭長(zhǎng)度決定步驟，使用由所述對(duì)應(yīng)點(diǎn)表示的所述參照?qǐng)D像上的所述整數(shù)像素位置或所述小數(shù)像素位置的所述周圍的整數(shù)像素位置的像素的所述參照?qǐng)D像深度信息和所述被攝物深度信息來(lái)決定像素內(nèi)插用的抽頭長(zhǎng)度，在所述內(nèi)插參照像素設(shè)定步驟中，將存在于所述抽頭長(zhǎng)度的范圍內(nèi)的像素設(shè)定為所述內(nèi)插參照像素。12.根據(jù)權(quán)利要求10或權(quán)利要求11所述的圖像解碼方法，其中，在所述內(nèi)插系數(shù)決定步驟中，在針對(duì)所述內(nèi)插參照像素之一的所述參照?qǐng)D像深度信息與所述被攝物深度信息的差的大小比預(yù)先確定的閾值大的情況下，將所述內(nèi)插系數(shù)設(shè)為零來(lái)將所述內(nèi)插參照像素之一從所述內(nèi)插參照像素中除去，在所述差的大小為所述閾值以內(nèi)的情況下，基于所述差來(lái)決定所述內(nèi)插系數(shù)。13.根據(jù)權(quán)利要求10或權(quán)利要求11所述的圖像解碼方法，其中，在所述內(nèi)插系數(shù)決定步驟中，基于針對(duì)所述內(nèi)插參照像素之一的所述參照?qǐng)D像深度信息與所述被攝物深度信息的差、以及所述內(nèi)插參照像素之一與由所述對(duì)應(yīng)點(diǎn)表示的所述參照?qǐng)D像上的整數(shù)像素或小數(shù)像素的距離來(lái)決定所述內(nèi)插系數(shù)。14.根據(jù)權(quán)利要求10或權(quán)利要求11所述的圖像解碼方法，其中，在所述內(nèi)插系數(shù)決定步驟中，在針對(duì)所述內(nèi)插參照像素之一的所述參照?qǐng)D像深度信息與所述被攝物深度信息的差的大小比預(yù)先確定的閾值大的情況下，將所述內(nèi)插系數(shù)設(shè)為零來(lái)將所述內(nèi)插參照像素之一從所述內(nèi)插參照像素中除去，在所述差的大小為所述閾值以內(nèi)的情況下，基于所述差、以及所述內(nèi)插參照像素之一與由所述對(duì)應(yīng)點(diǎn)表示的所述參照?qǐng)D像上的整數(shù)像素或小數(shù)像素的距離來(lái)決定所述內(nèi)插系數(shù)。15.-種圖像編碼裝置，在對(duì)作為多個(gè)視點(diǎn)的圖像的多視點(diǎn)圖像進(jìn)行編碼時(shí)，使用針對(duì)與編碼對(duì)象圖像的視點(diǎn)不同的視點(diǎn)的編碼完畢的參照?qǐng)D像和作為所述參照?qǐng)D像中的被攝物的深度信息的參照?qǐng)D像深度信息，一邊在視點(diǎn)間預(yù)測(cè)圖像一邊進(jìn)行編碼，其中，所述圖像編碼裝置具備：對(duì)應(yīng)點(diǎn)設(shè)定部，對(duì)所述編碼對(duì)象圖像的各像素設(shè)定所述參照?qǐng)D像上的對(duì)應(yīng)點(diǎn)；被攝物深度信息設(shè)定部，對(duì)由所述對(duì)應(yīng)點(diǎn)表示的所述編碼對(duì)象圖像上的整數(shù)像素位置的像素的深度信息即被攝物深度信息進(jìn)行設(shè)定；內(nèi)插抽頭長(zhǎng)度決定部，使用由所述對(duì)應(yīng)點(diǎn)表示的所述參照?qǐng)D像上的整數(shù)像素位置或小數(shù)像素位置的周圍的整數(shù)像素位置的像素的所述參照?qǐng)D像深度信息和所述被攝物深度信息來(lái)決定像素內(nèi)插用的抽頭長(zhǎng)度；像素內(nèi)插部，使用按照所述抽頭長(zhǎng)度的內(nèi)插濾波器來(lái)生成由所述對(duì)應(yīng)點(diǎn)表示的所述參照?qǐng)D像上的所述整數(shù)像素位置或所述小數(shù)像素位置的像素值；以及視點(diǎn)間圖像預(yù)測(cè)部，通過(guò)將利用所述像素內(nèi)插部生成的所述像素值設(shè)為由所述對(duì)應(yīng)點(diǎn)表示的所述編碼對(duì)象圖像上的所述整數(shù)像素位置的像素的預(yù)測(cè)值來(lái)進(jìn)行視點(diǎn)間的圖像預(yù)測(cè)。16.-種圖像編碼裝置，在對(duì)作為多個(gè)視點(diǎn)的圖像的多視點(diǎn)圖像進(jìn)行編碼時(shí)，使用針對(duì)與編碼對(duì)象圖像的視點(diǎn)不同的視點(diǎn)的編碼完畢的參照?qǐng)D像和作為所述參照?qǐng)D像中的被攝物的深度信息的參照?qǐng)D像深度信息，一邊在視點(diǎn)間預(yù)測(cè)圖像一邊進(jìn)行編碼，其中，所述圖像編碼裝置具備：對(duì)應(yīng)點(diǎn)設(shè)定部，對(duì)所述編碼對(duì)象圖像的各像素設(shè)定所述參照?qǐng)D像上的對(duì)應(yīng)點(diǎn)；被攝物深度信息設(shè)定部，對(duì)由所述對(duì)應(yīng)點(diǎn)表示的所述編碼對(duì)象圖像上的整數(shù)像素位置的像素的深度信息即被攝物深度信息進(jìn)行設(shè)定；內(nèi)插參照像素設(shè)定部，使用由所述對(duì)應(yīng)點(diǎn)表示的所述參照?qǐng)D像上的整數(shù)像素位置或小數(shù)像素位置的周圍的整數(shù)像素位置的像素的所述參照?qǐng)D像深度信息和所述被攝物深度信息，將用于像素內(nèi)插的所述參照?qǐng)D像的整數(shù)像素位置的像素設(shè)定為內(nèi)插參照像素；像素內(nèi)插部，利用所述內(nèi)插參照像素的像素值的加權(quán)和，生成由所述對(duì)應(yīng)點(diǎn)表示的所述參照?qǐng)D像上的所述整數(shù)像素位置或所述小數(shù)像素位置的像素值；以及視點(diǎn)間圖像預(yù)測(cè)部，通過(guò)將利用所述像素內(nèi)插部生成的所述像素值設(shè)為由所述對(duì)應(yīng)點(diǎn)表示的所述編碼對(duì)象圖像上的所述整數(shù)像素位置的像素的預(yù)測(cè)值來(lái)進(jìn)行視點(diǎn)間的圖像預(yù)測(cè)。17.-種圖像解碼裝置，在對(duì)多視點(diǎn)圖像的解碼對(duì)象圖像進(jìn)行解碼時(shí)，使用解碼完畢的參照?qǐng)D像和作為所述參照?qǐng)D像中的被攝物的深度信息的參照?qǐng)D像深度信息，一邊在視點(diǎn)間預(yù)測(cè)圖像一邊進(jìn)行解碼，其中，所述圖像解碼裝置具備：對(duì)應(yīng)點(diǎn)設(shè)定部，對(duì)所述解碼對(duì)象圖像的各像素設(shè)定所述參照?qǐng)D像上的對(duì)應(yīng)點(diǎn)；被攝物深度信息設(shè)定部，對(duì)由所述對(duì)應(yīng)點(diǎn)表示的所述解碼對(duì)象圖像上的整數(shù)像素位置的像素的深度信息即被攝物深度信息進(jìn)行設(shè)定；內(nèi)插抽頭長(zhǎng)度決定部，使用由所述對(duì)應(yīng)點(diǎn)表示的所述參照?qǐng)D像上的整數(shù)像素位置或小數(shù)像素位置的周圍的整數(shù)像素位置的像素的所述參照?qǐng)D像深度信息和所述被攝物深度信息來(lái)決定像素內(nèi)插用的抽頭長(zhǎng)度；像素內(nèi)插部，使用按照所述抽頭長(zhǎng)度的內(nèi)插濾波器來(lái)生成由所述對(duì)應(yīng)點(diǎn)表示的所述參照?qǐng)D像上的所述整數(shù)像素位置或所述小數(shù)像素位置的像素值；以及視點(diǎn)間圖像預(yù)測(cè)部，通過(guò)將利用所述像素內(nèi)插部生成的所述像素值設(shè)為由所述對(duì)應(yīng)點(diǎn)表示的所述解碼對(duì)象圖像上的所述整數(shù)像素位置的像素的預(yù)測(cè)值來(lái)進(jìn)行視點(diǎn)間的圖像預(yù)測(cè)。18.-種圖像解碼裝置，在對(duì)多視點(diǎn)圖像的解碼對(duì)象圖像進(jìn)行解碼時(shí)，使用解碼完畢的參照?qǐng)D像和作為所述參照?qǐng)D像中的被攝物的深度信息的參照?qǐng)D像深度信息，一邊在視點(diǎn)間預(yù)測(cè)圖像一邊進(jìn)行解碼，其中，所述圖像解碼裝置具備：對(duì)應(yīng)點(diǎn)設(shè)定部，對(duì)所述解碼對(duì)象圖像的各像素設(shè)定所述參照?qǐng)D像上的對(duì)應(yīng)點(diǎn)；被攝物深度信息設(shè)定部，對(duì)由所述對(duì)應(yīng)點(diǎn)表示的所述解碼對(duì)象圖像上的整數(shù)像素位置的像素的深度信息即被攝物深度信息進(jìn)行設(shè)定；內(nèi)插參照像素設(shè)定部，使用由所述對(duì)應(yīng)點(diǎn)表示的所述參照?qǐng)D像上的整數(shù)像素位置或小數(shù)像素位置的周圍的整數(shù)像素位置的像素的所述參照?qǐng)D像深度信息和所述被攝物深度信息，將用于像素內(nèi)插的所述參照?qǐng)D像的整數(shù)像素位置的像素設(shè)定為內(nèi)插參照像素；像素內(nèi)插部，利用所述內(nèi)插參照像素的像素值的加權(quán)和，生成由所述對(duì)應(yīng)點(diǎn)表示的所述參照?qǐng)D像上的所述整數(shù)像素位置或所述小數(shù)像素位置的像素值；以及視點(diǎn)間圖像預(yù)測(cè)部，通過(guò)將利用所述像素內(nèi)插部生成的所述像素值設(shè)為由所述對(duì)應(yīng)點(diǎn)表示的所述解碼對(duì)象圖像上的所述整數(shù)像素位置的像素的預(yù)測(cè)值來(lái)進(jìn)行視點(diǎn)間的圖像預(yù)測(cè)。19.一種圖像編碼程序，用于使計(jì)算機(jī)執(zhí)行根據(jù)權(quán)利要求1至7的任一項(xiàng)所述的圖像編碼方法。20.-種圖像解碼程序，用于使計(jì)算機(jī)執(zhí)行根據(jù)權(quán)利要求8至14的任一項(xiàng)所述的圖像解碼方法。21.-種計(jì)算機(jī)可讀取的記錄介質(zhì)，記錄有根據(jù)權(quán)利要求19所述的圖像編碼程序。22.-種計(jì)算機(jī)可讀取的記錄介質(zhì)，記錄有根據(jù)權(quán)利要求20所述的圖像解碼程序?！疚臋n編號(hào)】H04N19/597GK104429077SQ201380036309【公開(kāi)日】2015年3月18日申請(qǐng)日期:2013年7月9日優(yōu)先權(quán)日:2012年7月9日【發(fā)明者】志水信哉,杉本志織,木全英明,小島明申請(qǐng)人:日本電信電話株式會(huì)社