圖像編碼方法、圖像解碼方法、圖像編碼裝置、圖像解碼裝置、圖像編碼程序、圖像解碼程 ...的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及對(duì)多視點(diǎn)圖像進(jìn)行編碼和解碼的圖像編碼方法、圖像解碼方法、圖像編碼裝置、圖像解碼裝置、圖像編碼程序、圖像解碼程序以及記錄介質(zhì)。
[0002]本申請(qǐng)基于在2012年9月25日向日本提出申請(qǐng)的特愿2012-211155號(hào)要求優(yōu)先權(quán)，將其內(nèi)容引用于本文。
【背景技術(shù)】
[0003]歷來(lái)，已知有由用多個(gè)攝像機(jī)對(duì)相同的被攝體和背景進(jìn)行拍攝的多個(gè)圖像構(gòu)成的多視點(diǎn)圖像。將用該多個(gè)攝像機(jī)拍攝的活動(dòng)圖像稱為多視點(diǎn)活動(dòng)圖像(或多視點(diǎn)視頻)。在以下的說(shuō)明中，將用一個(gè)攝像機(jī)拍攝的圖像(活動(dòng)圖像)稱為“二維圖像(活動(dòng)圖像)”，將用位置或方向(以下，稱為視點(diǎn))不同的多個(gè)攝像機(jī)對(duì)相同的被攝體和背景進(jìn)行拍攝的二維圖像(二維活動(dòng)圖像)群稱為“多視點(diǎn)圖像(多視點(diǎn)活動(dòng)圖像)”。
[0004]二維活動(dòng)圖像關(guān)于時(shí)間方向具有強(qiáng)的相關(guān)性，能夠通過(guò)利用該相關(guān)性來(lái)提高編碼效率。另一方面，在多視點(diǎn)圖像、多視點(diǎn)活動(dòng)圖像中，在各攝像機(jī)同步的情況下，與各攝像機(jī)的視頻的相同時(shí)刻對(duì)應(yīng)的幀(圖像)是從不同的位置對(duì)完全相同狀態(tài)的被攝體和背景進(jìn)行拍攝的幀(圖像)，因此，在攝像機(jī)間具有強(qiáng)的相關(guān)性。在多視點(diǎn)圖像、多視點(diǎn)活動(dòng)圖像的編碼中，能夠通過(guò)利用該相關(guān)性來(lái)提高編碼效率。
[0005]此處，對(duì)涉及二維活動(dòng)圖像的編碼技術(shù)的現(xiàn)有技術(shù)進(jìn)行說(shuō)明。在包括作為國(guó)際編碼標(biāo)準(zhǔn)的H.264、MPEG-2、MPEG-4的現(xiàn)有的許多二維活動(dòng)圖像編碼方式中，利用運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)、正交變換、量化、熵編碼這樣的技術(shù)來(lái)進(jìn)行高效率的編碼。例如，在H.264中，能夠?qū)崿F(xiàn)利用與過(guò)去或未來(lái)的多個(gè)幀的時(shí)間相關(guān)性的編碼。
[0006]例如在非專利文獻(xiàn)I中記載了 H.264中使用的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)技術(shù)的細(xì)節(jié)。對(duì)H.264中使用的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)技術(shù)的概要進(jìn)行說(shuō)明。H.264的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)許可將編碼對(duì)象幀分割為各種尺寸的塊并具有按照各塊不同的運(yùn)動(dòng)矢量和不同的參照幀。通過(guò)使用按照各塊不同的運(yùn)動(dòng)矢量來(lái)實(shí)現(xiàn)補(bǔ)償了按每個(gè)被攝體不同的運(yùn)動(dòng)的精度高的預(yù)測(cè)。另一方面，通過(guò)使用按照各塊不同的參照幀來(lái)實(shí)現(xiàn)考慮了由于時(shí)間變化而產(chǎn)生的遮擋的精度高的預(yù)測(cè)。
[0007]接下來(lái)，對(duì)現(xiàn)有的多視點(diǎn)圖像、多視點(diǎn)活動(dòng)圖像的編碼方式進(jìn)行說(shuō)明。多視點(diǎn)圖像的編碼方法與多視點(diǎn)活動(dòng)圖像的編碼方法的不同之處在于，在多視點(diǎn)活動(dòng)圖像中，除了攝像機(jī)間的相關(guān)性之外，還同時(shí)存在時(shí)間方向的相關(guān)性?？墒?，關(guān)于利用攝像機(jī)間的相關(guān)性的方法，在哪一種情況下都能夠使用相同的方法。因此，此處，對(duì)在多視點(diǎn)活動(dòng)圖像的編碼中使用的方法進(jìn)行說(shuō)明。
[0008]關(guān)于多視點(diǎn)活動(dòng)圖像的編碼，歷來(lái)存在通過(guò)為了利用攝像機(jī)間的相關(guān)性而將運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)應(yīng)用于相同時(shí)刻的由不同攝像機(jī)所拍攝的圖像的“視差補(bǔ)償預(yù)測(cè)”來(lái)高效率地對(duì)多視點(diǎn)活動(dòng)圖像進(jìn)行編碼的方式。此處，視差指的是被攝體上的相同部分在配置于不同的位置的攝像機(jī)的圖像平面上存在的位置之差。圖21是示出在攝像機(jī)間產(chǎn)生的視差的概念圖。在圖21所示的概念圖中，垂直地俯視光軸為平行的攝像機(jī)的圖像平面。像這樣，被攝體上的相同部分在不同的攝像機(jī)的圖像平面上投影的位置一般稱為對(duì)應(yīng)點(diǎn)。
[0009]在視差補(bǔ)償預(yù)測(cè)中，基于該對(duì)應(yīng)關(guān)系，根據(jù)參照幀來(lái)預(yù)測(cè)編碼對(duì)象幀的各像素值，對(duì)其預(yù)測(cè)殘差和示出對(duì)應(yīng)關(guān)系的視差信息進(jìn)行編碼。視差按照每個(gè)成為對(duì)象的攝像機(jī)對(duì)、位置而變化，因此，需要按進(jìn)行視差補(bǔ)償預(yù)測(cè)的每個(gè)區(qū)域?qū)σ暡钚畔⑦M(jìn)行編碼。實(shí)際上，在H.264的多視點(diǎn)編碼方式中，按使用視差補(bǔ)償預(yù)測(cè)的每個(gè)塊對(duì)表示視差信息的矢量進(jìn)行編碼。
[0010]由視差信息提供的對(duì)應(yīng)關(guān)系能夠通過(guò)使用攝像機(jī)參數(shù)基于對(duì)極幾何約束不是以二維矢量而是以示出被攝體的三維位置的一維量來(lái)表示。作為示出被攝體的三維位置的信息，存在各種表現(xiàn)，但是多使用從成為基準(zhǔn)的攝像機(jī)到被攝體的距離、與攝像機(jī)的圖像平面不平行的軸上的坐標(biāo)值。再有，也存在不使用距離而使用距離的倒數(shù)的情況。此外，由于距離的倒數(shù)為與視差成比例的信息，所以也存在設(shè)定2個(gè)成為基準(zhǔn)的攝像機(jī)而表現(xiàn)為由這些攝像機(jī)所拍攝的圖像間的視差量的情況。由于無(wú)論使用怎樣的表現(xiàn)，在其物理意義上都沒(méi)有本質(zhì)的不同，所以在以下不進(jìn)行表現(xiàn)的區(qū)別，將這些示出三維位置的信息表現(xiàn)為深度。
[0011]圖22是對(duì)極幾何約束的概念圖。根據(jù)對(duì)極幾何約束，與某一攝像機(jī)的畫面上的點(diǎn)對(duì)應(yīng)的其他的攝像機(jī)的圖像上的點(diǎn)被約束在稱為對(duì)極線的直線上。此時(shí)，在得到了針對(duì)其像素的深度的情況下，對(duì)應(yīng)點(diǎn)在對(duì)極線上被單值確定。例如，如圖22所示那樣，關(guān)于針對(duì)在第一攝像機(jī)圖像中投影到m位置的被攝體的第二攝像機(jī)圖像中的對(duì)應(yīng)點(diǎn)，在實(shí)空間中的被攝體的位置為M’的情況下被投影到對(duì)極線上的位置m’，在實(shí)空間中的被攝體的位置為M’ ’的情況下被投影到對(duì)極線上的位置m’ ’。
[0012]在非專利文獻(xiàn)2中，利用該性質(zhì)，依照由針對(duì)參照幀的深度圖(距離圖像)提供的各被攝體的三維信息根據(jù)參照幀來(lái)合成針對(duì)編碼對(duì)象幀的預(yù)測(cè)圖像，由此，生成精度高的預(yù)測(cè)圖像，實(shí)現(xiàn)高效的多視點(diǎn)活動(dòng)圖像的編碼。再有，基于該深度而生成的預(yù)測(cè)圖像被稱為視點(diǎn)合成圖像、視點(diǎn)內(nèi)插圖像、或者視差補(bǔ)償圖像。
[0013]進(jìn)而，在專利文獻(xiàn)I中，最初將針對(duì)參照幀的深度圖(參照深度圖)變換為針對(duì)編碼對(duì)象幀的深度圖(假想深度圖)，使用該變換后的深度圖(假想深度圖)來(lái)求取對(duì)應(yīng)點(diǎn)，由此，能夠僅針對(duì)需要的區(qū)域生成視點(diǎn)合成圖像。由此，在一邊按成為編碼對(duì)象或解碼對(duì)象的幀的每個(gè)區(qū)域切換生成預(yù)測(cè)圖像的方法一邊對(duì)圖像或活動(dòng)圖像進(jìn)行編碼或解碼的情況下，實(shí)現(xiàn)了用于生成視點(diǎn)合成圖像的處理量、用于臨時(shí)積累視點(diǎn)合成圖像的存儲(chǔ)器的量的削減。
[0014]現(xiàn)有技術(shù)文獻(xiàn)專利文獻(xiàn)
專利文獻(xiàn)1:日本特開(kāi)2010-21844號(hào)公報(bào)。
非專利文獻(xiàn)
非專利文獻(xiàn) 1:1TU-T Recommendat1n H.264 (03/2009), "Advanced video codingfor generic aud1visual services' March, 20090
非專利文獻(xiàn)2:Shinya SHIMIZU, Masaki KITAHARA, Kazuto KAMIKURA and YoshiyukiYASHIMAj ^Mult1-view Video Coding based on 3-D Warping with Depth Map〃， InProceedings of Picture Coding Symposium 2006， SS3-6， April, 2006o
[0015]非專利文獻(xiàn)3:Y.Mori, N.Fukushimaj T.Fuji, and M.Tanimotoj 〃ViewGenerat1n with 3D Warping Using Depth Informat1n for FTV 〃， In Proceedings of3DTV-C0N2008, pp.229-232，May 2008。

【發(fā)明內(nèi)容】

[0016]發(fā)明要解決的課題
根據(jù)專利文獻(xiàn)I的方法，由于能針對(duì)編碼對(duì)象幀得到深度，所以能夠根據(jù)編碼對(duì)象幀的像素來(lái)求取參照幀上的對(duì)應(yīng)的像素。由此，通過(guò)僅針對(duì)編碼對(duì)象幀的所指定的區(qū)域生成視點(diǎn)合成圖像，從而與總是生成I幀量的視點(diǎn)合成圖像的情況相比，能夠削減處理量、所要求的存儲(chǔ)器的量。
[0017]然而，在根據(jù)針對(duì)參照幀的深度圖(參照深度圖)來(lái)合成針對(duì)編碼對(duì)象幀的深度圖(假想深度圖)的方法中，如圖11所示，雖然能夠從對(duì)編碼對(duì)象幀進(jìn)行拍攝的視點(diǎn)進(jìn)行觀測(cè)，但是對(duì)于不能從對(duì)參照幀進(jìn)行拍攝的視點(diǎn)進(jìn)行觀測(cè)的編碼對(duì)象幀上的區(qū)域(以下，稱為遮擋區(qū)域0CC)，存在不能得到深度信息這樣的問(wèn)題。圖11是示出遮擋區(qū)域OCC發(fā)生的狀況的說(shuō)明圖。這是因?yàn)樵卺槍?duì)參照幀的深度圖上不存在對(duì)應(yīng)的深度信息。不能得到深度信息的結(jié)果是，發(fā)生了不能生成視點(diǎn)合成圖像的狀況。
[0018]在專利文獻(xiàn)I中，提供了如下方法:對(duì)針對(duì)變換而得到的編碼對(duì)象幀的深度圖(假想深度圖)進(jìn)行假定了在實(shí)空間的連續(xù)性的補(bǔ)正，由此，對(duì)遮擋區(qū)域OCC也生成深度信息。在該情況下，由于遮擋區(qū)域OCC為被周邊的物體所遮擋的區(qū)域，所以在假設(shè)了在實(shí)空間的連續(xù)性的補(bǔ)正中，遮擋區(qū)域的周邊的背景物體OBJ-B的深度或者平滑地連結(jié)前景物體OBJ-F和背景物體OBJ-B的深度被提供為遮擋區(qū)域OCC的深度。
[0019]圖13示出了對(duì)遮擋區(qū)域OCC提供了其周邊的背景物體OBJ-B的深度的情況下(即，假定背景物體的連續(xù)性而對(duì)遮擋區(qū)域OCC提供了深度的情況下)的深度圖。在該情況下，背景物體OBJ-B的深度值被提供為編碼對(duì)象幀的遮擋區(qū)域OCC中的深度值。因而，當(dāng)使用所生成的假想深度圖來(lái)生成視點(diǎn)合成圖像時(shí)，如圖19所示，在參照幀中，由于遮擋而使背景物體OBJ-B被前景物體OBJ-F所遮擋，因此，遮擋區(qū)域OCC上的像素與參照幀上的前景物體OBJ-F上的像素相對(duì)應(yīng)，視點(diǎn)合成圖像的品質(zhì)降低。圖19是示出了在遮擋區(qū)域OCC中假定了背景物體的連續(xù)性的情況下在包括遮擋區(qū)域OCC的編碼對(duì)象幀中生成的視點(diǎn)合成圖像的說(shuō)明圖。
[0020]另一方面，圖14示出了對(duì)遮擋區(qū)域OCC提供了平滑地連結(jié)前景物體OBJ-F和背景物體OBJ-B的深度的情況下(即，假定被攝體的連續(xù)性而對(duì)遮擋區(qū)域OCC提供了深度的情況下)的深度圖。在該情況下，從示出離視點(diǎn)近的深度值到示出離視點(diǎn)遠(yuǎn)的深度值連續(xù)地變化的深度值被提供為編碼對(duì)象幀的遮擋區(qū)域OCC中的深度值。當(dāng)使用這樣的假想深度圖來(lái)生成視點(diǎn)合成圖像時(shí)，如圖20所示，遮擋區(qū)域OCC上的像素相對(duì)應(yīng)于參照幀上的前景對(duì)象OBJ-F的像素和背景對(duì)象OBJ-B的像素之間。圖20是示出了對(duì)遮擋區(qū)域OCC提供了平滑地連結(jié)前景物體OBJ-F和背景物體OBJ-B的深度的狀況下在包括遮擋區(qū)域OCC的編碼對(duì)象幀中生成的視點(diǎn)合成圖像的說(shuō)明圖。此時(shí)的遮擋區(qū)域OCC的像素值通過(guò)對(duì)前景物體OBJ-F的像素和背景物體OBJ-B的像素進(jìn)行內(nèi)插來(lái)得到。即，遮擋區(qū)域OCC的像素具有前景物體OBJ-F和背景物體OBJ-B混雜的值，在現(xiàn)實(shí)中是基本不會(huì)發(fā)生的狀況，因此，視點(diǎn)合成圖像的品質(zhì)降低。
[0021]針對(duì)這樣的遮擋區(qū)域，如非專利文獻(xiàn)3所代表的那樣，使用在遮擋區(qū)域的周邊區(qū)域中得到的視點(diǎn)合成圖像來(lái)進(jìn)行修復(fù)(inpaint)處理，由此，能夠生成視點(diǎn)合成圖像。然而，為了進(jìn)行修復(fù)處理，需要對(duì)遮擋區(qū)域的周邊區(qū)域也生成視點(diǎn)合成圖像，因此，不能得到能夠僅對(duì)編碼對(duì)象幀的所指定的區(qū)域生成視點(diǎn)合成圖像來(lái)削減處理量、臨時(shí)存儲(chǔ)器的量這樣的專利文獻(xiàn)I的效果。
[0022]本發(fā)明鑒于這樣的情形而完成，其目的在于提供一種能夠在對(duì)參照幀使用深度圖來(lái)生成編碼處理或解碼處理對(duì)象的幀的視點(diǎn)合成圖像時(shí)抑制視點(diǎn)合成圖像的品質(zhì)的降低并且實(shí)現(xiàn)高的編碼效率以及存儲(chǔ)器容量和運(yùn)算量的削減的圖像編碼方法、圖像解碼方法、圖像編碼裝置、圖像解碼裝置、圖像編碼程序、圖像解碼程序、以及記錄介質(zhì)。
[0023]用于解決課題的方案
本發(fā)明是一種圖像編碼方法，在對(duì)作為多個(gè)視點(diǎn)的圖像的多視點(diǎn)圖像進(jìn)行編碼時(shí)，使用針對(duì)與編碼對(duì)象圖像的視點(diǎn)不同的視點(diǎn)的編碼完畢的參照?qǐng)D像和作為所述參照?qǐng)D像中的被攝體的深度圖的參照深度圖來(lái)一邊在視點(diǎn)間預(yù)測(cè)圖像一邊進(jìn)行編碼，所述圖像編碼方法具有:深度圖變換步驟，將所述參照深度圖變換為作為所述編碼對(duì)象圖像中的被攝體的深度圖的假想深度圖；遮擋區(qū)域深度生成步驟，對(duì)由于所述被攝體的前后關(guān)系而產(chǎn)生的在所述參照深度圖內(nèi)不存在深度值的遮擋區(qū)域分配針對(duì)與在所述參照?qǐng)D像中被遮擋的被攝體相同的被攝體上的區(qū)域得到對(duì)應(yīng)關(guān)系的深度值，由此，生成所述遮擋區(qū)域的深度值；以及視點(diǎn)間圖像預(yù)測(cè)步驟，根據(jù)生成所述遮擋區(qū)域的深度值之后的所述假想深度圖和所述參照?qǐng)D像來(lái)生成針對(duì)所述編碼對(duì)象圖像的視差補(bǔ)償圖像，由此，進(jìn)行視點(diǎn)間的圖像預(yù)測(cè)。
[00