圖像編碼方法、圖像解碼方法、圖像編碼裝置、圖像解碼裝置、圖像編碼程序、圖像解碼程 ...的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及對多視點(diǎn)圖像進(jìn)行編碼和解碼的圖像編碼方法、圖像解碼方法、圖像編碼裝置、圖像解碼裝置、圖像編碼程序、圖像解碼程序以及記錄介質(zhì)。
[0002]本申請基于在2012年9月25日向日本提出申請的特愿2012-211154號要求優(yōu)先權(quán)，將其內(nèi)容引用于本文。
【背景技術(shù)】
[0003]歷來，已知有由用多個(gè)攝像機(jī)對相同被攝體和背景進(jìn)行拍攝的多個(gè)圖像構(gòu)成的多視點(diǎn)圖像。將用該多個(gè)攝像機(jī)拍攝的活動圖像稱為多視點(diǎn)活動圖像(或多視點(diǎn)視頻)。在以下的說明中，將用一個(gè)攝像機(jī)拍攝的圖像(活動圖像)稱為“二維圖像(活動圖像)”，將用位置或方向(以下，稱為視點(diǎn))不同的多個(gè)攝像機(jī)對相同被攝體和背景進(jìn)行拍攝的二維圖像(二維活動圖像)群稱為“多視點(diǎn)圖像(多視點(diǎn)活動圖像)”。
[0004]二維活動圖像關(guān)于時(shí)間方向具有強(qiáng)的相關(guān)，能夠通過利用該相關(guān)來提高編碼效率。另一方面，在多視點(diǎn)圖像、多視點(diǎn)活動圖像中，在各攝像機(jī)同步的情況下，與各攝像機(jī)的視頻的相同時(shí)刻對應(yīng)的幀(圖像)是從不同的位置對完全相同狀態(tài)的被攝體和背景進(jìn)行拍攝的幀(圖像)，因此，在攝像機(jī)間具有強(qiáng)的相關(guān)。在多視點(diǎn)圖像、多視點(diǎn)活動圖像的編碼中，能夠通過利用該相關(guān)來提高編碼效率。
[0005]此處，對涉及二維活動圖像的編碼技術(shù)的現(xiàn)有技術(shù)進(jìn)行說明。在包括作為國際編碼標(biāo)準(zhǔn)的H.264、MPEG-2、MPEG-4的現(xiàn)有的許多二維活動圖像編碼方式中，利用運(yùn)動補(bǔ)償預(yù)測、正交變換、量化、熵編碼這樣的技術(shù)來進(jìn)行高效率的編碼。例如，在H.264中，能夠?qū)崿F(xiàn)利用與過去或未來的多個(gè)幀的時(shí)間相關(guān)的編碼。
[0006]例如在非專利文獻(xiàn)I中記載了關(guān)于H.264中使用的運(yùn)動補(bǔ)償預(yù)測技術(shù)的細(xì)節(jié)。對H.264中使用的運(yùn)動補(bǔ)償預(yù)測技術(shù)的概要進(jìn)行說明。H.264的運(yùn)動補(bǔ)償預(yù)測許可將編碼對象幀分割為各種尺寸的塊并在各塊中具有不同的運(yùn)動矢量和不同的參考幀。通過在各塊中使用不同的運(yùn)動矢量來實(shí)現(xiàn)補(bǔ)償了按每個(gè)被攝體不同的運(yùn)動的精度高的預(yù)測。另一方面，通過在各塊中使用不同的參考幀來實(shí)現(xiàn)考慮了由于時(shí)間變化而產(chǎn)生的遮蔽的精度高的預(yù)測。
[0007]接下來，對現(xiàn)有的多視點(diǎn)圖像、多視點(diǎn)活動圖像的編碼方式進(jìn)行說明。多視點(diǎn)圖像的編碼方法與多視點(diǎn)活動圖像的編碼方法的不同之處在于，在多視點(diǎn)活動圖像中，除了攝像機(jī)間的相關(guān)之外，還同時(shí)存在時(shí)間方向的相關(guān)。可是，關(guān)于利用攝像機(jī)間的相關(guān)的方法，在哪一種情況下都能夠使用相同的方法。因此，此處，對在多視點(diǎn)活動圖像的編碼中使用的方法進(jìn)行說明。
[0008]關(guān)于多視點(diǎn)活動圖像的編碼，歷來存在利用為了利用攝像機(jī)間的相關(guān)而將運(yùn)動補(bǔ)償預(yù)測應(yīng)用于相同時(shí)刻的由不同攝像機(jī)所拍攝的圖像的“視差補(bǔ)償預(yù)測”來高效率地對多視點(diǎn)活動圖像進(jìn)行編碼的方式。此處，視差指的是在配置于不同的位置的攝像機(jī)的圖像平面上，被攝體上的相同部分存在的位置之差。圖13是示出在攝像機(jī)間產(chǎn)生的視差的概念圖。在圖13所示的概念圖中，垂直地俯視光軸為平行的攝像機(jī)的圖像平面。像這樣，在不同的攝像機(jī)的圖像平面上被攝體上的相同部分所投影的位置一般稱為對應(yīng)點(diǎn)。
[0009]在視差補(bǔ)償預(yù)測中，基于該對應(yīng)關(guān)系，根據(jù)參考幀來預(yù)測編碼對象幀的各像素值，對其預(yù)測殘差和示出對應(yīng)關(guān)系的視差信息進(jìn)行編碼。視差按照每個(gè)成為對象的攝像機(jī)對、位置而變化，因此，需要按進(jìn)行視差補(bǔ)償預(yù)測的每個(gè)區(qū)域?qū)σ暡钚畔⑦M(jìn)行編碼。實(shí)際上，在H.264的多視點(diǎn)編碼方式中，按使用視差補(bǔ)償預(yù)測的每個(gè)塊對表示視差信息的矢量進(jìn)行編碼。
[0010]由視差信息提供的對應(yīng)關(guān)系能夠通過使用攝像機(jī)參數(shù)基于極幾何約束不是以二維矢量而是以示出被攝體的三維位置的一維量來表示。作為示出被攝體的三維位置的信息，存在各種表現(xiàn)，但是多使用從成為基準(zhǔn)的攝像機(jī)到被攝體的距離、與攝像機(jī)的圖像平面不平行的軸上的坐標(biāo)值。再有，也存在不使用距離而使用距離的倒數(shù)的情況。此外，由于距離的倒數(shù)為與視差成比例的信息，所以也存在設(shè)定2個(gè)成為基準(zhǔn)的攝像機(jī)而將被攝體的三維位置表現(xiàn)為由這些攝像機(jī)所拍攝的圖像間的視差量的情況。由于不管使用怎樣的表現(xiàn)，在其物理意義上都沒有本質(zhì)的不同，所以在以下不進(jìn)行表現(xiàn)的區(qū)別，將示出這些三維位置的信息表現(xiàn)為深度。
[0011]圖14是極幾何約束的概念圖。根據(jù)極幾何約束，與某一攝像機(jī)的畫面上的點(diǎn)對應(yīng)的其他的攝像機(jī)的圖像上的點(diǎn)被約束在極線這樣的直線上。此時(shí)，在得到了針對其像素的深度的情況下，對應(yīng)點(diǎn)在極線上被單值確定。例如，如圖14所示那樣，關(guān)于針對在第一攝像機(jī)圖像中投影到m位置的被攝體的第二攝像機(jī)圖像中的對應(yīng)點(diǎn)，在實(shí)空間中的被攝體的位置為M’的情況下被投影到極線上的位置m’，在實(shí)空間中的被攝體的位置為M’’的情況下被投影到極線上的位置m’’。
[0012]在非專利文獻(xiàn)2中，利用該性質(zhì)，依照由針對參考幀的深度圖(距離圖像)提供的各被攝體的三維信息來根據(jù)參考幀合成針對編碼對象幀的預(yù)測圖像，由此，生成精度高的預(yù)測圖像，實(shí)現(xiàn)高效的多視點(diǎn)活動圖像的編碼。再有，基于該深度而生成的預(yù)測圖像被稱為視點(diǎn)合成圖像、視點(diǎn)內(nèi)插圖像、或者視差補(bǔ)償圖像。
[0013]進(jìn)而，在專利文獻(xiàn)I中，最初將針對參考幀的深度圖變換為針對編碼對象幀的深度圖，使用該變換后的深度圖來求取對應(yīng)點(diǎn)，由此，能夠僅針對需要的區(qū)域生成視點(diǎn)合成圖像。由此，在一邊按成為編碼對象或解碼對象的幀的每個(gè)區(qū)域切換生成預(yù)測圖像的方法一邊對圖像或活動圖像進(jìn)行編碼或解碼的情況下，實(shí)現(xiàn)了用于生成視點(diǎn)合成圖像的處理量、用于臨時(shí)積累視點(diǎn)合成圖像的存儲器的量的削減。
[0014]現(xiàn)有技術(shù)文獻(xiàn)專利文獻(xiàn)
專利文獻(xiàn)1:日本國特開2010-21844號公報(bào)。
非專利文獻(xiàn)
非專利文獻(xiàn) 1:1TU-T Recommendat1n H.264 (03/2009), "Advanced video codingfor generic aud1visual services' March, 20090
非專利文獻(xiàn)2:Shinya SHIMIZU, Masaki KITAHARA, Kazuto KAMIKURA and YoshiyukiYASHIMAj ^Mult1-view Video Coding based on 3-D Warping with Depth Map〃， InProceedings of Picture Coding Symposium 2006， SS3-6， April, 2006o

【發(fā)明內(nèi)容】

[0015]發(fā)明要解決的課題
根據(jù)專利文獻(xiàn)I所記載的方法，由于能針對編碼對象幀得到深度圖，所以能夠根據(jù)編碼對象幀的像素求取參考幀上的對應(yīng)的像素。由此，通過僅針對編碼對象幀的指定的區(qū)域生成視點(diǎn)合成圖像，從而在僅編碼對象幀的一部分區(qū)域需要視點(diǎn)合成圖像的情況下，與通常生成I幀量的視點(diǎn)合成圖像的情況相比，能夠削減處理量、所要求的存儲器的量。
[0016]然而，在對于編碼對象幀的全部需要視點(diǎn)合成圖像的情況下，由于產(chǎn)生根據(jù)針對參考幀的深度圖來合成針對編碼對象幀的深度圖的需要，所以存在如下問題:與根據(jù)針對參考幀的深度圖直接生成視點(diǎn)合成圖像的情況相比，其處理量增加。
[0017]本發(fā)明鑒于這樣的事情而完成，其目的在于提供一種能夠在生成處理對象幀的視點(diǎn)合成圖像時(shí)在不使視點(diǎn)合成圖像的品質(zhì)顯著降低的情況下以少的運(yùn)算量生成視點(diǎn)合成圖像的圖像編碼方法、圖像解碼方法、圖像編碼裝置、圖像解碼裝置、圖像編碼程序、圖像解碼程序、以及記錄介質(zhì)。
[0018]用于解決課題的方案
本發(fā)明是一種圖像編碼方法，在對作為多個(gè)視點(diǎn)的圖像的多視點(diǎn)圖像進(jìn)行編碼時(shí)，使用針對與編碼對象圖像的視點(diǎn)不同的視點(diǎn)的編碼完畢的參考視點(diǎn)圖像和作為所述參考視點(diǎn)圖像內(nèi)的被攝體的深度圖的參考視點(diǎn)深度圖來一邊在視點(diǎn)間預(yù)測圖像一邊進(jìn)行編碼，所述圖像編碼方法具有:假想深度圖生成步驟，生成分辨率比所述編碼對象圖像低并且作為所述編碼對象圖像內(nèi)的所述被攝體的深度圖的假想深度圖；以及視點(diǎn)間圖像預(yù)測步驟，根據(jù)所述假想深度圖和所述參考視點(diǎn)圖像來生成針對所述編碼對象圖像的視差補(bǔ)償圖像，由此，進(jìn)行視點(diǎn)間的圖像預(yù)測。
[0019]優(yōu)選的是，本發(fā)明的圖像編碼方法還具有:相同分辨率深度圖生成步驟，在其中，根據(jù)所述參考視點(diǎn)深度圖來生成分辨率與所述編碼對象圖像相同的相同分辨率深度圖，在所述假想深度圖生成步驟中，通過縮小所述相同分辨率深度圖來生成所述假想深度圖。
[0020]優(yōu)選的是，在本發(fā)明的圖像編碼方法中的所述假想深度圖生成步驟中，通過按所述假想深度圖的每個(gè)像素從針對在所述相同分辨率深度圖中對應(yīng)的多個(gè)像素的深度之中選擇示出與視點(diǎn)最近的深度來生成所述假想深度圖。
[0021]優(yōu)選的是，本發(fā)明的圖像編碼方法還具有:縮小深度圖生成步驟，在其中，通過縮小所述參考視點(diǎn)深度圖來生成所述參考視點(diǎn)圖像內(nèi)的所述被攝體的縮小深度圖，在所述假想深度圖生成步驟中，根據(jù)所述縮小深度圖來生成所述假想深度圖。
[0022]優(yōu)選的是，在本發(fā)明的圖像編碼方法中的所述縮小深度圖生成步驟中，僅針對縱方向或者橫方向的任一個(gè)縮小所述參考視點(diǎn)深度圖。
[0023]優(yōu)選的是，在本發(fā)明的圖像編碼方法中的所述縮小深度圖生成步驟中，通過按所述縮小深度圖的每個(gè)像素從針對在所述參考視點(diǎn)深度圖中對應(yīng)的多個(gè)像素的深度之中選擇示出與視點(diǎn)最近的深度來生成所述假想深度圖。
[0024]優(yōu)選的是，本發(fā)明的圖像編碼方法還具有:樣本像素選擇步驟，在其中，從所述參考視點(diǎn)深度圖的像素選擇一部分的樣本像素，在所述假想深度圖生成步驟中，通過變換與所述樣本像素對應(yīng)的所述參考視點(diǎn)深度圖來生成所述假想深度圖。
[0025]優(yōu)選的是，本發(fā)明的圖像編碼方法還具有:區(qū)域分割步驟，在其中，依照所述參考視點(diǎn)深度圖與所述假想深度圖的分辨率之比將所述參考視點(diǎn)深度圖分割為部分區(qū)域，在所述樣本像素選擇步驟中，按每個(gè)所述部分區(qū)域選擇所述樣本像素。
[0026]優(yōu)選的是，在本發(fā)明的圖像編碼方法中的所述區(qū)域分割步驟中，依照所述參考視點(diǎn)深度圖與所述假想深度圖的分辨率之比來決定所述部分區(qū)域的形狀。
[0027]優(yōu)選的是，在本發(fā)明的圖像編碼方法中的所述樣本像素選擇步驟中，按每個(gè)所述部分區(qū)域?qū)⒕哂惺境雠c視點(diǎn)最近的深度的像素或者具有示出離視點(diǎn)最遠(yuǎn)的深度的像素中的任一個(gè)選擇為所述樣本像素。
[0028]優(yōu)選的是，在本發(fā)明的圖像編碼方法中的所述樣本像素選擇步驟中，按每個(gè)所述部分區(qū)域?qū)⒕哂惺境雠c視點(diǎn)最近的深度的像素和具有示出離視點(diǎn)最遠(yuǎn)的深度的像素選擇為所述樣本像素。
[0029]本發(fā)明是一種圖像解碼方法，在根據(jù)作為多個(gè)視點(diǎn)的圖像的多視點(diǎn)圖像的碼數(shù)據(jù)對解碼對象圖像進(jìn)行解碼時(shí)，使用針對與所述解碼對象圖像的視點(diǎn)不同的視點(diǎn)的解碼完畢的參考視點(diǎn)圖像和作為所述參考視點(diǎn)圖像內(nèi)的被攝體的深度圖的參考視點(diǎn)深度圖來一邊在視點(diǎn)間預(yù)測圖像一邊進(jìn)行解碼，所述圖