本發(fā)明的圖像解碼裝置中，可以還具有:預(yù)測(cè)區(qū)域分割設(shè)定部，所述預(yù)測(cè)區(qū)域分割設(shè)定部基于所述參照深度區(qū)域內(nèi)的深度信息來設(shè)定所述解碼對(duì)象區(qū)域內(nèi)的區(qū)域分割，在所述視點(diǎn)間預(yù)測(cè)部中，可以將依照所述區(qū)域分割而得到的區(qū)域作為所述預(yù)測(cè)區(qū)域。
[0029]本發(fā)明是一種圖像解碼方法，在根據(jù)由多個(gè)不同的視點(diǎn)的圖像構(gòu)成的多視點(diǎn)圖像的碼數(shù)據(jù)對(duì)解碼對(duì)象圖像進(jìn)行解碼時(shí)，使用針對(duì)與解碼對(duì)象圖像不同的視點(diǎn)的解碼完畢的參照?qǐng)D像和作為針對(duì)所述參照?qǐng)D像中的被攝體的深度圖的參照深度圖來一邊在不同的視點(diǎn)之間對(duì)圖像進(jìn)行預(yù)測(cè)一邊進(jìn)行解碼，所述圖像解碼方法具有:參照深度區(qū)域設(shè)定步驟，在其中，針對(duì)分割了所述解碼對(duì)象圖像的解碼對(duì)象區(qū)域設(shè)定作為所述參照深度圖上的對(duì)應(yīng)區(qū)域的參照深度區(qū)域；以及視點(diǎn)間預(yù)測(cè)步驟，在其中，將所述參照深度區(qū)域中的深度信息作為針對(duì)所述解碼對(duì)象區(qū)域的深度信息，根據(jù)所述參照?qǐng)D像來生成針對(duì)所述解碼對(duì)象區(qū)域的視點(diǎn)間預(yù)測(cè)圖像。
[0030]本發(fā)明是一種圖像編碼裝置，在對(duì)由多個(gè)不同的視點(diǎn)的圖像構(gòu)成的多視點(diǎn)圖像進(jìn)行編碼時(shí)，使用針對(duì)與編碼對(duì)象圖像不同的視點(diǎn)的編碼完畢的參照?qǐng)D像和作為針對(duì)所述參照?qǐng)D像中的被攝體的深度圖的參照深度圖來一邊在不同的視點(diǎn)之間對(duì)圖像進(jìn)行預(yù)測(cè)一邊進(jìn)行編碼，所述圖像編碼裝置具備:參照深度區(qū)域設(shè)定部，針對(duì)分割了所述編碼對(duì)象圖像的編碼對(duì)象區(qū)域設(shè)定作為所述參照深度圖上的對(duì)應(yīng)區(qū)域的參照深度區(qū)域；以及視點(diǎn)間預(yù)測(cè)部，將所述參照深度區(qū)域中的深度信息作為針對(duì)所述編碼對(duì)象區(qū)域的深度信息，根據(jù)所述參照?qǐng)D像來生成針對(duì)所述編碼對(duì)象區(qū)域的視點(diǎn)間預(yù)測(cè)圖像。
[0031]本發(fā)明是一種圖像編碼方法，在對(duì)由多個(gè)不同的視點(diǎn)的圖像構(gòu)成的多視點(diǎn)圖像進(jìn)行編碼時(shí)，使用針對(duì)與編碼對(duì)象圖像不同的視點(diǎn)的編碼完畢的參照?qǐng)D像和作為針對(duì)所述參照?qǐng)D像中的被攝體的深度圖的參照深度圖來一邊在不同的視點(diǎn)之間對(duì)圖像進(jìn)行預(yù)測(cè)一邊進(jìn)行編碼，所述圖像編碼方法具有:參照深度區(qū)域設(shè)定步驟，在其中，針對(duì)分割了所述編碼對(duì)象圖像的編碼對(duì)象區(qū)域設(shè)定作為所述參照深度圖上的對(duì)應(yīng)區(qū)域的參照深度區(qū)域；以及視點(diǎn)間預(yù)測(cè)步驟，在其中，將所述參照深度區(qū)域中的深度信息作為針對(duì)所述編碼對(duì)象區(qū)域的深度信息，根據(jù)所述參照?qǐng)D像來生成針對(duì)所述編碼對(duì)象區(qū)域的視點(diǎn)間預(yù)測(cè)圖像。
[0032]本發(fā)明是一種用于使計(jì)算機(jī)執(zhí)行前述圖像編碼方法的圖像編碼程序。
[0033]本發(fā)明是一種用于使計(jì)算機(jī)執(zhí)行前述圖像解碼方法的圖像解碼程序。
[0034]發(fā)明效果根據(jù)本發(fā)明，能得到如下的效果:在使用針對(duì)處理對(duì)象幀以外的深度圖來生成處理對(duì)象幀的視點(diǎn)合成圖像時(shí)，直接參照并使用針對(duì)處理對(duì)象幀以外的深度圖，由此，能夠省略針對(duì)處理對(duì)象幀生成深度圖的處理，以少的運(yùn)算量生成視點(diǎn)合成圖像。
【附圖說明】
[0035]圖1是示出本發(fā)明的一個(gè)實(shí)施方式中的圖像編碼裝置的框圖。
[0036]圖2是示出圖1所示的圖像編碼裝置的工作的流程圖。
[0037]圖3是示出圖2所示的生成針對(duì)塊blk的視點(diǎn)合成圖像的處理(步驟S14)的詳細(xì)的處理工作的流程圖。
[0038]圖4是示出圖1所示的圖像編碼裝置的變形例的框圖。
[0039]圖5是示出圖1所示的圖像編碼裝置的工作的變形例的流程圖。
[0040]圖6是示出圖1所示的圖像編碼裝置的其他的變形例的框圖。
[0041]圖7是示出本發(fā)明的一個(gè)實(shí)施方式中的圖像解碼裝置的框圖。
[0042]圖8是示出圖7所示的圖像解碼裝置的工作的流程圖。
[0043]圖9是示出圖7所示的圖像解碼裝置的變形例的框圖。
[0044]圖10是示出圖7所示的圖像解碼裝置的工作的變形例的流程圖。
[0045]圖11是示出圖7所示的圖像解碼裝置的工作的其他的變形例的流程圖。
[0046]圖12是示出圖7所示的圖像解碼裝置的其他的變形例的框圖。
[0047]圖13是示出由計(jì)算機(jī)和軟件程序構(gòu)成圖像編碼裝置的情況下的硬件結(jié)構(gòu)的框圖。
[0048]圖14是示出由計(jì)算機(jī)和軟件程序構(gòu)成圖像解碼裝置的情況下的硬件結(jié)構(gòu)的框圖。
[0049]圖15是示出在攝像機(jī)之間產(chǎn)生的視差的概念圖。
[0050]圖16是示出對(duì)極幾何約束的概念圖。
【具體實(shí)施方式】
[0051]以下，參照附圖來說明本發(fā)明的實(shí)施方式的圖像編碼裝置和圖像解碼裝置。在以下的說明中，設(shè)想對(duì)由第一攝像機(jī)(稱為攝像機(jī)A)、第二攝像機(jī)(稱為攝像機(jī)B)兩個(gè)攝像機(jī)拍攝的多視點(diǎn)圖像進(jìn)行編碼的情況，將攝像機(jī)A的圖像作為參照?qǐng)D像并將攝像機(jī)B的圖像作為編碼或解碼的圖像來說明。
[0052]再有，另外提供為了根據(jù)深度信息得到視差而需要的信息。具體而言，為表示攝像機(jī)A和攝像機(jī)B的位置關(guān)系的外部參數(shù)、表示由攝像機(jī)向圖像平面的投影信息的內(nèi)部參數(shù)，但是，即使為這些以外的方式，只要能根據(jù)深度信息得到視差，則也可以提供其他的信息。例如，在文獻(xiàn)“Oliver Faugeras, αThree-Dimens1n Computer Vis1n”，MIT Press;BCTC/UFF-006.37 F259 1993，ISBN:0-262-06158-9.” 中記載了這些攝像機(jī)參數(shù)相關(guān)的詳細(xì)的說明。在該文獻(xiàn)中記載了示出多個(gè)攝像機(jī)的位置關(guān)系的參數(shù)、表示由攝像機(jī)向圖像平面的投影信息的參數(shù)相關(guān)的說明。
[0053]在以下的說明中，針對(duì)圖像、視頻幀、深度圖附加由記號(hào)[]夾著的能確定位置的信息(坐標(biāo)值或能與坐標(biāo)值相對(duì)應(yīng)的索引)，由此，示出通過該位置的像素采樣的圖像信號(hào)、針對(duì)其的深度。此外，通過能與坐標(biāo)值、塊相對(duì)應(yīng)的索引值和矢量的相加，從而使該坐標(biāo)、塊為表示錯(cuò)開了矢量的量的位置的坐標(biāo)值、塊。
[0054]圖1是示出本實(shí)施方式中的圖像編碼裝置的結(jié)構(gòu)的框圖。圖像編碼裝置100如圖1所示那樣具備:編碼對(duì)象圖像輸入部101、編碼對(duì)象圖像存儲(chǔ)器102、參照?qǐng)D像輸入部103、參照?qǐng)D像存儲(chǔ)器104、參照深度圖輸入部105、參照深度圖存儲(chǔ)器106、視差矢量設(shè)定部107、視點(diǎn)合成圖像生成部108、以及圖像編碼部109。
[0055]編碼對(duì)象圖像輸入部101輸入成為編碼對(duì)象的圖像。在以下，將該成為編碼對(duì)象的圖像稱為編碼對(duì)象圖像。在此，輸入攝像機(jī)B的圖像。此外，將對(duì)編碼對(duì)象圖像進(jìn)行拍攝的攝像機(jī)(在此，為攝像機(jī)B)稱為編碼對(duì)象攝像機(jī)。
[0056]編碼對(duì)象圖像存儲(chǔ)器102存儲(chǔ)輸入的編碼對(duì)象圖像。參照?qǐng)D像輸入部103輸入在生成視點(diǎn)合成圖像(視差補(bǔ)償圖像)時(shí)參照的圖像。在以下，將在此輸入的圖像稱為參照?qǐng)D像。在此，輸入攝像機(jī)A的圖像。
[0057]參照?qǐng)D像存儲(chǔ)器104存儲(chǔ)所輸入的參照?qǐng)D像。在以下，將對(duì)參照?qǐng)D像進(jìn)行拍攝的攝像機(jī)(在此為攝像機(jī)A)稱為參照攝像機(jī)。
[0058]參照深度圖輸入部105輸入在生成視點(diǎn)合成圖像時(shí)參照的深度圖。在此，輸入針對(duì)參照?qǐng)D像的深度圖，但是，也可以為針對(duì)其他的攝像機(jī)的深度圖。在以下，將該深度圖稱為參照深度圖。
[0059]深度圖表示在對(duì)應(yīng)的圖像的各像素中映現(xiàn)的被攝體的三維位置。只要能通過另外提供的攝像機(jī)參數(shù)等信息而得到三維位置，則無論是怎樣的信息都可以。例如，能夠使用從攝像機(jī)到被攝體的距離、針對(duì)與圖像平面不平行的軸的坐標(biāo)值、針對(duì)其他的攝像機(jī)(例如攝像機(jī)B)的視差量。此外，在此，由于只要能得到視差量就可以，所以不是使用深度圖而是使用直接表現(xiàn)視差量的視差圖也可以。再有，在此，作為深度圖而以圖像的方式進(jìn)行傳遞，但是，只要能得到同樣的信息，則不是圖像的方式也可以。參照深度圖存儲(chǔ)器106存儲(chǔ)所輸入的參照深度圖。在以下，將與參照深度圖對(duì)應(yīng)的攝像機(jī)(在此為攝像機(jī)A)稱為參照深度攝像機(jī)。
[0060]視差矢量設(shè)定部107按照編碼對(duì)象幀或分割了編碼對(duì)象幀的每個(gè)塊設(shè)定針對(duì)參照深度圖的視差矢量。視點(diǎn)合成圖像生成部108 (視點(diǎn)間預(yù)測(cè)部)使用參照深度圖來求取編碼對(duì)象圖像的像素與參照?qǐng)D像的像素的對(duì)應(yīng)關(guān)系，生成針對(duì)編碼對(duì)象圖像的視點(diǎn)合成圖像。圖像編碼部109使用視點(diǎn)合成圖像針對(duì)編碼對(duì)象圖像進(jìn)行預(yù)測(cè)編碼，并輸出作為碼數(shù)據(jù)的位流。
[0061]接著，參照?qǐng)D2來說明圖1所示的圖像編碼裝置100的工作。圖2是示出圖1所示的圖像編碼裝置100的工作的流程圖。編碼對(duì)象圖像輸入部101輸入編碼對(duì)象圖像，并存儲(chǔ)在編碼對(duì)象圖像存儲(chǔ)器102中(步驟S11)。接著，參照?qǐng)D像輸入部103輸入?yún)⒄請(qǐng)D像，并存儲(chǔ)在參照?qǐng)D像存儲(chǔ)器104中。與此并行地，參照深度圖輸入部105輸入?yún)⒄丈疃葓D，并存儲(chǔ)在參照深度圖存儲(chǔ)器106中(步驟S12)。
[0062]在步驟S12中輸入的參照?qǐng)D像、參照深度圖為與對(duì)已經(jīng)編碼完畢的信息解碼后的信息等能在解碼側(cè)得到的信息相同的信息。這是因?yàn)?，通過使用與能在解碼裝置中得到的信息完全相同的信息來抑制漂移等編碼噪聲的產(chǎn)生。但是，在容許這樣的編碼噪聲的產(chǎn)生的情況下，也可以輸入編碼前的信息等只能在編碼側(cè)得到的信息。關(guān)于參照深度圖，除了對(duì)已經(jīng)編碼完畢的信息進(jìn)行解碼的信息以外，還能夠?qū)⑼ㄟ^對(duì)針對(duì)多個(gè)攝像機(jī)解碼的多視點(diǎn)圖像應(yīng)用立體聲匹配等而估計(jì)的深度圖、使用解碼后的視差矢量、運(yùn)動(dòng)矢量等而估計(jì)的深度圖等用作能在解碼側(cè)得到相同的信息的信息。
[0063]接著，圖像編碼裝置100按照分割了編碼對(duì)象圖像的每個(gè)塊一邊制作視點(diǎn)合成圖像一邊對(duì)編碼對(duì)象圖像進(jìn)行編碼。即，在將示出編碼對(duì)象圖像的塊的索引的變量blk初始化為O之后(步驟S13)，一邊對(duì)blk每次加一(步驟S16)—邊重復(fù)以下的處理(步驟S14、步驟S15)直到blk變?yōu)閚umBlks (步驟S17)。再有，numBlks表示編碼對(duì)象圖像中的進(jìn)行編碼處理的單位塊的個(gè)數(shù)。
[0064]在按照編碼對(duì)象圖像的每個(gè)塊進(jìn)行的處理中，首先，在視差矢量設(shè)定部107和視點(diǎn)合成圖像生成部108中，生成針對(duì)塊blk的視點(diǎn)合成圖像(步驟S14)。在后文詳細(xì)地說明此處的處理。
[0065]接著，在得到了視點(diǎn)合成圖像之后，圖像編碼部109將視點(diǎn)合成圖像作為預(yù)測(cè)圖像，對(duì)編碼對(duì)象圖像進(jìn)行預(yù)測(cè)編碼并輸出(步驟S15)。編碼的結(jié)果所得的位流成為圖像編碼裝置100的輸出。再有，只要能夠在解碼側(cè)正確地解碼，則無論對(duì)編碼使用怎樣的方法都可以。
[0066]在MPEG-2、H.264、JPEG等一般的活動(dòng)圖像編碼或圖像編碼中，按照每個(gè)塊，生成編碼對(duì)象圖像與預(yù)測(cè)圖像的差分信號(hào)，針對(duì)差分圖像施行DCT等頻率變換，對(duì)其結(jié)果所得的值按順序應(yīng)用量化、二值化、熵編碼的處理，由此，進(jìn)行編碼。
[0067]在本實(shí)施方式中，在全部的塊中將視點(diǎn)合成圖像用作預(yù)測(cè)圖像，但是，也可以將按照每個(gè)塊用不同的方法生成的圖像用作預(yù)測(cè)圖像。在該情況下，需要能夠在解碼側(cè)判別將用哪個(gè)方法生成的圖像用作了預(yù)測(cè)圖像。例如，可以如H.264那樣對(duì)示出了生成預(yù)測(cè)圖