圖像編碼方法、圖像解碼方法、圖像編碼裝置、圖像解碼裝置、圖像編碼程序、以及圖像解 ...的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及對多視點(diǎn)圖像進(jìn)行編碼和解碼的圖像編碼方法、圖像解碼方法、圖像編碼裝置、圖像解碼裝置、圖像編碼程序、以及圖像解碼程序。
[0002]本申請針對在2012年12月27日向日本申請的特愿2012-284616號要求優(yōu)先權(quán)，將其內(nèi)容援引于此。
【背景技術(shù)】
[0003]歷來，已知有由用多個攝像機(jī)對相同的被攝體和背景進(jìn)行拍攝的多個圖像構(gòu)成的多視點(diǎn)圖像(Multiview images:多視點(diǎn)圖像)。將該用多個攝像機(jī)拍攝的活動圖像稱為多視點(diǎn)活動圖像(或多視點(diǎn)視頻)。在以下的說明中，將用一個攝像機(jī)拍攝的圖像(活動圖像)稱為“二維圖像(活動圖像)”，將用位置、方向(以下，稱為視點(diǎn))不同的多個攝像機(jī)對相同的被攝體和背景進(jìn)行拍攝的二維圖像(二維活動圖像)組稱為“多視點(diǎn)圖像(多視點(diǎn)活動圖像)”。
[0004]二維活動圖像關(guān)于時間方向存在強(qiáng)的相關(guān)性，能夠通過利用該相關(guān)性來提高編碼效率。另一方面，在多視點(diǎn)圖像、多視點(diǎn)活動圖像中，在各攝像機(jī)同步的情況下，與各攝像機(jī)的視頻的相同時刻對應(yīng)的幀(圖像)為從其他的位置對完全相同狀態(tài)的被攝體和背景進(jìn)行拍攝的幀(圖像)，因此，在攝像機(jī)之間(相同時刻的不同的二維圖像之間)存在強(qiáng)的相關(guān)性。在多視點(diǎn)圖像、多視點(diǎn)活動圖像的編碼中，能夠通過利用該相關(guān)性來提高編碼效率。
[0005]在此，對二維活動圖像的編碼技術(shù)相關(guān)的現(xiàn)有技術(shù)進(jìn)行說明。在包括作為國際編碼標(biāo)準(zhǔn)的H.264、MPEG-2、MPEG-4的現(xiàn)有的許多的二維活動圖像編碼方式中，利用運(yùn)動補(bǔ)償預(yù)測、正交變換、量化、熵編碼這樣的技術(shù)來進(jìn)行高效率的編碼。例如，在H.264中，能夠?qū)崿F(xiàn)利用與過去或未來的多個幀的時間相關(guān)性的編碼。
[0006]例如，在非專利文獻(xiàn)I中記載了在H.264中使用的運(yùn)動補(bǔ)償預(yù)測技術(shù)的細(xì)節(jié)。對在H.264中使用的運(yùn)動補(bǔ)償預(yù)測技術(shù)的概要進(jìn)行說明。H.264的運(yùn)動補(bǔ)償預(yù)測許可將編碼對象幀分割為各種尺寸的塊而具有按照各塊不同的運(yùn)動矢量和不同的參照幀。通過使用按照各塊不同的運(yùn)動矢量來實(shí)現(xiàn)對按照每個被攝體不同的運(yùn)動進(jìn)行了補(bǔ)償?shù)木雀叩念A(yù)測。另一方面，通過使用按照各塊不同的參照幀來實(shí)現(xiàn)考慮了由于時間變化而產(chǎn)生的遮擋的精度高的預(yù)測。
[0007]接著，對歷來的多視點(diǎn)圖像、多視點(diǎn)活動圖像的編碼方式進(jìn)行說明。多視點(diǎn)圖像的編碼方法和多視點(diǎn)活動圖像的編碼方法的不同在于，在多視點(diǎn)活動圖像中，除了攝像機(jī)之間的相關(guān)性之外，還同時存在時間方向的相關(guān)性。但是，無論在哪種情況下，都能夠通過相同的方法利用攝像機(jī)之間的相關(guān)性。因此，在此，對在多視點(diǎn)活動圖像的編碼中使用的方法進(jìn)行說明。
[0008]關(guān)于多視點(diǎn)活動圖像的編碼，歷來存在通過為了利用攝像機(jī)之間的相關(guān)性而將運(yùn)動補(bǔ)償預(yù)測應(yīng)用于相同時刻的用不同的攝像機(jī)拍攝的圖像的“視差補(bǔ)償預(yù)測”來高效率地對多視點(diǎn)活動圖像進(jìn)行編碼的方式。在此，視差是指在配置于不同位置的攝像機(jī)的圖像平面上被攝體上的相同部分存在的位置之差。圖15是示出在攝像機(jī)之間產(chǎn)生的視差的概念圖。在圖15所示的概念圖中，為垂直地俯視光軸平行的攝像機(jī)的圖像平面的圖。像這樣，被攝體上的相同部分投影在不同的攝像機(jī)的圖像平面上的位置一般被稱為對應(yīng)點(diǎn)。
[0009]在視差補(bǔ)償預(yù)測中，基于該對應(yīng)關(guān)系根據(jù)參照幀來預(yù)測編碼對象幀的各像素值，對其預(yù)測殘差和示出對應(yīng)關(guān)系的視差信息進(jìn)行編碼。視差按照成為對象的每個攝像機(jī)對、每個位置而變化，因此，需要按照進(jìn)行視差補(bǔ)償預(yù)測的每個區(qū)域?qū)σ暡钚畔⑦M(jìn)行編碼。實(shí)際上，在H.264的多視點(diǎn)活動圖像編碼方式中，按照使用視差補(bǔ)償預(yù)測的每個塊對表示視差信息的矢量進(jìn)行編碼。
[0010]由視差信息提供的對應(yīng)關(guān)系能夠通過使用攝像機(jī)參數(shù)基于對極幾何約束不是由二維矢量而是由示出被攝體的三維位置的一維量來表示。作為示出被攝體的三維位置的信息存在各種表現(xiàn)，但是使用從成為基準(zhǔn)的攝像機(jī)到被攝體的距離、與攝像機(jī)的圖像平面不平行的軸上的坐標(biāo)值的情況較多。再有，還存在不是使用距離而是使用距離的倒數(shù)的情況。此外，距離的倒數(shù)為與視差成比例的信息，因此，還存在設(shè)定兩個成為基準(zhǔn)的攝像機(jī)而表現(xiàn)為用這些攝像機(jī)拍攝的圖像之間的視差量的情況。無論使用怎樣的表現(xiàn)，都沒有本質(zhì)上的不同，因此，在以下，不進(jìn)行根據(jù)表現(xiàn)的區(qū)別而將這些示出三維位置的信息表現(xiàn)為深度。
[0011]圖16是對極幾何約束的概念圖。根據(jù)對極幾何約束，與某一攝像機(jī)的圖像上的點(diǎn)對應(yīng)的其他的攝像機(jī)的圖像上的點(diǎn)被約束在對極線這樣的直線上。此時，在得到了針對其像素的深度的情況下，對應(yīng)點(diǎn)在對極線上唯一地確定。例如，如圖16所示，關(guān)于針對在第一攝像機(jī)圖像中投影在m的位置的被攝體的第二攝像機(jī)圖像中的對應(yīng)點(diǎn)，在實(shí)空間的被攝體的位置為M’的情況下投影在對極線上的位置m’，在實(shí)空間的被攝體的位置為M’ ’的情況下投影在對極線上的位置m’’。
[0012]在非專利文獻(xiàn)2中，利用該性質(zhì)依照由針對參照幀的深度圖(距離圖像)提供的各被攝體的三維信息根據(jù)參照幀來合成針對編碼對象幀的預(yù)測圖像，由此，生成精度高的預(yù)測圖像，實(shí)現(xiàn)高效的多視點(diǎn)活動圖像的編碼。再有，基于該深度而生成的預(yù)測圖像被稱為視點(diǎn)合成圖像、視點(diǎn)內(nèi)插圖像或視差補(bǔ)償圖像。
[0013]進(jìn)而，在專利文獻(xiàn)I中，最初將針對參照幀的深度圖變換為針對編碼對象幀的深度圖，使用該變換后的深度圖來求取對應(yīng)點(diǎn)，由此，能夠僅針對需要的區(qū)域生成視點(diǎn)合成圖像。由此，在按照成為編碼對象或解碼對象的幀的每個區(qū)域一邊切換生成預(yù)測圖像的方法一邊對圖像或活動圖像進(jìn)行編碼或解碼的情況下，實(shí)現(xiàn)了用于生成視點(diǎn)合成圖像的處理量、用于臨時積累視點(diǎn)合成圖像的存儲器量的削減。
[0014]現(xiàn)有技術(shù)文獻(xiàn)專利文獻(xiàn)
專利文獻(xiàn)1:日本特開2010-21844號公報；
非專利文獻(xiàn)非專利文獻(xiàn) 1:1TU-T Recommendat1n H.264 (03/2009), “Advanced video codingfor generic aud1visual services，，，March, 2009.非專利文獻(xiàn)2:Shinya SHIMIZU, Masaki KITAHARA, Kazuto KAMIKURA and YoshiyukiYASHIMA, “Mult1-view Video Coding based on 3-D Warping with Depth Map”， InProceedings of Picture Coding Symposium 2006， SS3-6， April, 2006o

【發(fā)明內(nèi)容】

[0015]發(fā)明要解決的課題
根據(jù)專利文獻(xiàn)I所記載的方法，由于針對編碼對象幀得到深度，所以能夠根據(jù)碼對象幀的像素求取參照幀上的對應(yīng)的像素。由此，在通過僅針對編碼對象幀的指定的區(qū)域生成視點(diǎn)合成圖像而僅在編碼對象幀的一部分的區(qū)域中需要視點(diǎn)合成圖像的情況下，與總是生成I幀量的視點(diǎn)合成圖像的情況相比，能夠削減處理量、要求的存儲器的量。
[0016]然而，在針對編碼對象幀的全部需要視點(diǎn)合成圖像的情況下，存在如下問題:由于產(chǎn)生根據(jù)針對參照幀的深度圖來合成針對編碼對象幀的深度圖的需要，所以與根據(jù)針對參照幀的深度圖直接生成視點(diǎn)合成圖像的情況相比，其處理量增加。
[0017]本發(fā)明鑒于這樣的情況而完成，其目的在于提供一種能夠在生成處理對象幀的視點(diǎn)合成圖像時抑制視點(diǎn)合成圖像的品質(zhì)降低并以少的運(yùn)算量生成視點(diǎn)合成圖像的圖像編碼方法、圖像解碼方法、圖像編碼裝置、圖像解碼裝置、圖像編碼程序、以及圖像解碼程序。
[0018]用于解決課題的方案
本發(fā)明是一種圖像解碼裝置，在根據(jù)由多個不同的視點(diǎn)的圖像構(gòu)成的多視點(diǎn)圖像的碼數(shù)據(jù)對解碼對象圖像進(jìn)行解碼時，使用針對與解碼對象圖像不同的視點(diǎn)的解碼完畢的參照圖像和作為針對所述參照圖像中的被攝體的深度圖的參照深度圖來一邊在不同的視點(diǎn)之間對圖像進(jìn)行預(yù)測一邊進(jìn)行解碼，所述圖像解碼裝置具備:參照深度區(qū)域設(shè)定部，針對分割了所述解碼對象圖像的解碼對象區(qū)域設(shè)定作為所述參照深度圖上的對應(yīng)區(qū)域的參照深度區(qū)域；以及視點(diǎn)間預(yù)測部，將所述參照深度區(qū)域中的深度信息作為針對所述解碼對象區(qū)域的深度信息，根據(jù)所述參照圖像來生成針對所述解碼對象區(qū)域的視點(diǎn)間預(yù)測圖像。
[0019]本發(fā)明的圖像解碼裝置可以還具有:深度參照視差矢量設(shè)定部，所述深度參照視差矢量設(shè)定部針對所述解碼對象區(qū)域設(shè)定作為針對參照深度圖的視差矢量的深度參照視差矢量，在所述參照深度設(shè)定部中，可以將由所述深度參照視差矢量所示的區(qū)域設(shè)定為所述參照深度區(qū)域。
[0020]在本發(fā)明的圖像解碼裝置中，在所述深度參照視差矢量設(shè)定部中，可以使用對與所述解碼對象區(qū)域相鄰的區(qū)域進(jìn)行解碼時使用的視差矢量來設(shè)定所述深度參照視差矢量。
[0021]在本發(fā)明的圖像解碼裝置中，在所述深度參照視差矢量設(shè)定部中，可以使用針對與所述解碼對象區(qū)域相同位置的所述參照深度圖上的區(qū)域的深度信息來設(shè)定所述深度參照視差矢量。
[0022]在本發(fā)明的圖像解碼裝置中，在所述視點(diǎn)間預(yù)測部中，可以按照分割了所述解碼對象區(qū)域的每個預(yù)測區(qū)域使用對應(yīng)的所述參照深度區(qū)域內(nèi)的深度信息來設(shè)定代表深度，也可以根據(jù)該代表深度和所述參照圖像來生成視點(diǎn)合成圖像，由此，生成針對所述解碼對象區(qū)域的視點(diǎn)間預(yù)測圖像。
[0023]在本發(fā)明的圖像解碼裝置中，在所述視點(diǎn)間預(yù)測部中，可以按照分割了所述解碼對象區(qū)域的每個預(yù)測區(qū)域使用對應(yīng)的所述參照深度區(qū)域內(nèi)的深度信息來設(shè)定作為針對所述參照圖像的視差矢量的圖像參照視差矢量，也可以使用該圖像參照視差矢量和所述參照圖像來生成視差補(bǔ)償圖像，由此，生成針對所述解碼對象區(qū)域的視點(diǎn)間預(yù)測圖像。
[0024]本發(fā)明的圖像解碼裝置可以還具有:圖像參照視差矢量積累部，對所述圖像參照視差矢量進(jìn)行積累；以及視差預(yù)測部，使用所述積累的圖像參照視差矢量來生成針對與所述解碼對象區(qū)域相鄰的區(qū)域的預(yù)測視差信息。
[0025]在本發(fā)明的圖像解碼裝置中，在所述視差預(yù)測部中，可以生成針對與所述解碼對象區(qū)域相鄰的區(qū)域的深度參照視差矢量。
[0026]在本發(fā)明的圖像解碼裝置中，可以還具有:補(bǔ)正視差矢量部，所述補(bǔ)正視差矢量部設(shè)定作為對所述圖像參照視差矢量進(jìn)行補(bǔ)正的矢量的補(bǔ)正視差矢量，在所述視點(diǎn)間預(yù)測部中，可以使用通過所述補(bǔ)正視差矢量對所述圖像參照視差矢量進(jìn)行補(bǔ)正后的矢量和所述參照圖像來生成視差補(bǔ)償圖像，由此，生成所述視點(diǎn)間預(yù)測圖像。
[0027]在本發(fā)明的圖像解碼裝置中，在所述補(bǔ)正視差矢量設(shè)定部中，可以針對所述解碼對象區(qū)域?qū)⒁粋€矢量設(shè)定為所述補(bǔ)正視差矢量。
[0028]在