一種基于分塊投影的dibr方法
【專(zhuān)利摘要】本發(fā)明公開(kāi)了一種基于分塊投影的DIBR方法，首先，獲取參考視點(diǎn)的彩色圖像、深度圖和兩個(gè)視點(diǎn)的攝像機(jī)幾何參數(shù)；其次，將參考圖像分成若干的分塊區(qū)域，并對(duì)每個(gè)分塊區(qū)域進(jìn)行投影變換；最后，將目標(biāo)視點(diǎn)圖像中各分塊區(qū)域整合，并修復(fù)空洞，以得到最終的目標(biāo)視點(diǎn)圖像。不難發(fā)現(xiàn)，該方法并沒(méi)有直接利用逐點(diǎn)進(jìn)行視點(diǎn)變換來(lái)生成新視點(diǎn)，因而有效避免了目標(biāo)視點(diǎn)圖像受深度圖連續(xù)性的影響。利用仿真實(shí)驗(yàn)和實(shí)際數(shù)據(jù)比較了傳統(tǒng)方法和基于分塊投影的DIBR方法之間的性能，驗(yàn)證了該方法的有效性，提高了目標(biāo)視點(diǎn)繪制的質(zhì)量，并降低了傳輸帶寬。
【專(zhuān)利說(shuō)明】—種基于分塊投影的DI BR方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及3D視頻技術(shù)、自由視點(diǎn)視頻技術(shù)及基于深度圖繪制技術(shù)的領(lǐng)域，尤其是指一種基于分塊投影的DIBR方法。
【背景技術(shù)】
[0002]基于深度圖的繪制(DIBR)技術(shù)(參見(jiàn)文獻(xiàn)“郁理.基于深度圖像繪制的自由視點(diǎn)視頻關(guān)鍵技術(shù)研究[D].[博士論文].中國(guó)科學(xué)技術(shù)大學(xué)，2010”)，以攝像機(jī)投影理論為視點(diǎn)繪制的理論基礎(chǔ)，在已知攝像機(jī)內(nèi)、外參數(shù)和參考圖像深度信息的條件下，將參考視點(diǎn)中的像素點(diǎn)變換到目標(biāo)視點(diǎn)下的圖像平面中。理論上，可以實(shí)現(xiàn)任意位置的視點(diǎn)繪制，具有繪制速度快，帶寬需求小的優(yōu)點(diǎn)，是各種高級(jí)視頻應(yīng)用，如3D電視、自由視點(diǎn)電視的關(guān)鍵技術(shù)之一。
[0003]然而，DIBR技術(shù)也存在自身的局限性，I)目標(biāo)視點(diǎn)圖像不可避免的會(huì)產(chǎn)生空洞，一類(lèi)空洞是由于計(jì)算中坐標(biāo)取整時(shí)的近似處理造成的；另一類(lèi)是由于參考視點(diǎn)位置的改變以及深度圖不連續(xù)而產(chǎn)生的，這是最主要的問(wèn)題。2)可視化問(wèn)題，正常情況下應(yīng)該是前景圖像覆蓋在背景之上，而實(shí)際中可能出現(xiàn)相反的情形，當(dāng)兩個(gè)不同的深度值投影到同一像素點(diǎn)時(shí)，會(huì)發(fā)生此種問(wèn)題.3)邊緣重影，由于深度信息及相機(jī)參數(shù)的精度等原因，在背景中出現(xiàn)了前景圖像邊緣區(qū)域的假象。
[0004]上述幾個(gè)問(wèn)題的出現(xiàn)，究其原因是深度信息不夠理想，國(guó)內(nèi)外許多學(xué)者對(duì)此進(jìn)行了研究。一種方案是采用層次化深度圖(LDI)技術(shù)(參見(jiàn)文獻(xiàn)“Shade J, GortlerS，He L Wj et al.Layered depth images.Proceedings of the25th Annual Conferenceon Computer Graphics and Interactive Technique.New York，1998:231-242，，)，然而其傳輸帶寬大、計(jì)算復(fù)雜度高的問(wèn)題，使其不具有實(shí)際應(yīng)用的價(jià)值.深度圖預(yù)處理技術(shù)是另一個(gè)有效的途徑，對(duì)應(yīng)有各種濾波策略，如高斯濾波(參見(jiàn)文獻(xiàn)“ZhangLjTam W J.Stereoscopic image generation based on depth images for3DTV.1EEETransactions on Broadcasting, 2005，51 (2): 191-199” )、基于邊緣獨(dú)立的深度濾波(參見(jiàn)文獻(xiàn)“Wan-Yu Chen，Yu-Lin Chang, Shyh-Feng Linj et al.Efficient Depth ImageBased Rendering with Edge Dependent Depth Filter and Interpolation.Proceedingsof IEEE Conference on Multimedia and Expo，Amsterdam，2005:1314-1317”)、 基于SIFT配準(zhǔn)的深度圖預(yù)處理(參見(jiàn)文獻(xiàn)“Hao-Peng Li，Markus Flierl.Sift-basedimprovement of depth imagery.Proceedings of IEEE Conference on Multimediaand Expo，Barcelona，2011:1-6，，以及文獻(xiàn) “Hu Dong, Sun Jianfeij Xu Ping.1mprovement of virtual view rendering based on depth image.Proceedings ofIEEE Conference on Image and Graphics，Hefei，2011:254-257，，)、視差域處理(參見(jiàn) 文 uTing-Ching Lin，Hsien-Chao Huang, Yueh-Min Huang.Preserving DepthResolution of Synthesized Images Using Parallax-Map-Based DIBR for3DTV.1EEETransactions on Consumer Electronics，2010，56 (2): 720_727，，)、形態(tài)學(xué)處理(參見(jiàn)文獻(xiàn)“駱凱，李東曉，馮雅美等.基于DIBR和圖像修復(fù)的任意視點(diǎn)繪制.中國(guó)圖像圖形學(xué)報(bào)，2010，15(3):443-449.”)等方法.這些方法都有效地縮小了空洞的尺寸、減少了空洞的數(shù)量，但對(duì)應(yīng)深度圖的精度也隨之降低了，致使目標(biāo)視點(diǎn)產(chǎn)生部分幾何失真.還有一個(gè)思路是與圖像修復(fù)技術(shù)(參見(jiàn)文獻(xiàn)“駱凱，李東曉，馮雅美等.基于DIBR和圖像修復(fù)的任意視點(diǎn)繪制.中國(guó)圖像圖形學(xué)報(bào)，2010，15(3):443-449，，以及文獻(xiàn)“Tauber Z, Li Z N, Drew M S.Review and preview:DisoccIusion by Inpainting forimage-based rendering.1EEE Transactions on Systems Man and Cybernetics, PartC:Applications and Reviews, 2007，37(4):527 - 540”)相結(jié)合的空洞修補(bǔ)策略，但是增加了計(jì)算復(fù)雜度.另外一些方法(參見(jiàn)文獻(xiàn)“Gang Song, Jinbao Xue, Hua L1.A newdouble-sided DIBR method for virtual view generation in3DTV.Proceedings ofIEEE Conference on Communication Technology, Jinan, 2011:1099-1102，，以及文獻(xiàn)“Ndjik1-Nya Patrick, Koppel Martin, Doshkov Dimitar, et al.Depth Image-BasedRendering with advanced texture synthesis for3~D vide0.1EEE Transactions onMultimedia, 2011, 13(3):453-465")采用雙邊同時(shí)做視點(diǎn)變換，通過(guò)圖像融合來(lái)繪制視點(diǎn)的策略，然而，當(dāng)深度信息誤差較大時(shí)，目標(biāo)圖像中易產(chǎn)生明顯的重影。

【發(fā)明內(nèi)容】

[0005]本發(fā)明的目的在于克服現(xiàn)有技術(shù)的不足與缺點(diǎn)，為有效解決當(dāng)前方法的計(jì)算復(fù)雜度高，且視點(diǎn)質(zhì)量易受深度圖精度制約的問(wèn)題，提供一種優(yōu)化的基于分塊投影的DIBR方法，其針對(duì)目標(biāo)視點(diǎn)的空洞區(qū)域主要出現(xiàn)在深度不連續(xù)區(qū)域的特點(diǎn)，背景圖像的深度變化相對(duì)平緩，可將其局部區(qū)域分塊近似為平面區(qū)域，從而得以采用單應(yīng)變換的方法進(jìn)行繪制，較好地避免了傳統(tǒng)方法中所有的像素點(diǎn)都依賴(lài)于深度信息的缺點(diǎn)，減少了目標(biāo)視點(diǎn)圖像的空洞和偽影，提高了主客觀質(zhì)量。
[0006]為實(shí)現(xiàn)上述目的，本發(fā)明所提供的技術(shù)方案為:一種基于分塊投影的DIBR方法，首先，獲取參考視點(diǎn)的彩色圖像、深度圖和兩個(gè)視點(diǎn)的攝像機(jī)幾何參數(shù)；其次，將參考圖像分成若干的分塊區(qū)域，并對(duì)每個(gè)分塊區(qū)域進(jìn)行投影變換；最后，將目標(biāo)視點(diǎn)圖像中各分塊區(qū)域整合，并修復(fù)空洞，以得到最終的目標(biāo)視點(diǎn)圖像。
[0007]本發(fā)明所述基于分塊投影的DIBR方法，包括以下步驟:
[0008]I)獲取參考視點(diǎn)圖像及對(duì)應(yīng)的深度圖，以及目標(biāo)視點(diǎn)的深度圖；
[0009]2)將參考圖像分成若干分塊區(qū)域，并近似作平面處理，以用于單應(yīng)變換模型；
[0010]3)針對(duì)各分塊區(qū)域，利用視點(diǎn)變換方程求取對(duì)應(yīng)點(diǎn)對(duì)；
[0011]4)計(jì)算出各分塊區(qū)域的單應(yīng)矩陣，然后作單應(yīng)變換，最后將各分塊投影區(qū)域進(jìn)行整合，并進(jìn)行空洞修補(bǔ)得到最終的目標(biāo)視點(diǎn)圖像。
[0012]在步驟2)中，一個(gè)視點(diǎn)圖像可經(jīng)由單應(yīng)矩陣映射到對(duì)應(yīng)的另一個(gè)視點(diǎn)圖像，前提是這兩個(gè)圖像在3D空間中的原像是一個(gè)空間平面，因此不能簡(jiǎn)單地將這個(gè)模型作用于整幅圖像上；而就圖像中的某一小塊區(qū)域而言，由于在極小的范圍內(nèi)任何物體的表面都可近似為平面，此時(shí)對(duì)于單應(yīng)變換模型成立；而分塊區(qū)域的標(biāo)準(zhǔn)差描述如下:[0014]其中，分塊區(qū)域的大小為NXM，d(n, m)表示該區(qū)域像素點(diǎn)對(duì)應(yīng)的深度值，μ為區(qū)域內(nèi)的平均深度值，σ u為標(biāo)準(zhǔn)差，它反映了整個(gè)第i行、第j列的分塊區(qū)域的平均深度值的分散程度；我們用σ u來(lái)描述分塊區(qū)域采用單應(yīng)變換模型的近似誤差，顯然，σ u越小，則
誤差越小。
[0015]在步驟3)中，所述視點(diǎn)變換方程為:m = PM，式中m和M分別表示像素點(diǎn)的相機(jī)空間和世界空間坐標(biāo)，矩陣P表示攝像機(jī)矩陣；分塊處理的方式為:將參考圖像分成若干合適的分塊區(qū)域，由于分塊區(qū)域至少需要4個(gè)對(duì)應(yīng)點(diǎn)對(duì)，因此規(guī)定分塊區(qū)域的大小為MXN, 5 ^ N，MS 15，分塊不宜過(guò)大，這樣會(huì)增大單應(yīng)變換模型的近似誤差，也不宜過(guò)小，這會(huì)增加計(jì)算復(fù)雜度，通常取N = M = S ;然后，對(duì)分塊區(qū)域進(jìn)行單應(yīng)變換:m' = Hum，式中矩陣Hu描述了參考視點(diǎn)圖像的分塊區(qū)域到目標(biāo)視點(diǎn)圖像的一一映射，稱(chēng)為單應(yīng)矩陣，通過(guò)特征點(diǎn)求得；對(duì)應(yīng)點(diǎn)對(duì)的定義:參考視點(diǎn)圖像中分塊區(qū)域的一個(gè)點(diǎn)m,經(jīng)過(guò)視點(diǎn)變換能映射到目標(biāo)視點(diǎn)圖像的點(diǎn)m',則稱(chēng)頂點(diǎn)m與m'是一個(gè)對(duì)應(yīng)點(diǎn)對(duì)。
[0016]在步驟4)中，所述單應(yīng)變換的原理為:空間平面在兩個(gè)攝像機(jī)下的圖像點(diǎn)具有一一對(duì)應(yīng)的關(guān)系，且這種對(duì)應(yīng)關(guān)系是齊次線(xiàn)性的，可由一個(gè)三階矩陣即單應(yīng)矩陣來(lái)描述:m' = Hum;矩陣Hu稱(chēng)為單應(yīng)矩陣，它是齊次的，有8個(gè)自由度，如下所示:
【權(quán)利要求】
1.一種基于分塊投影的DIBR方法，其特征在于:首先，獲取參考視點(diǎn)的彩色圖像、深度圖和兩個(gè)視點(diǎn)的攝像機(jī)幾何參數(shù)；其次，將參考圖像分成若干的分塊區(qū)域，并對(duì)每個(gè)分塊區(qū)域進(jìn)行投影變換；最后，將目標(biāo)視點(diǎn)圖像中各分塊區(qū)域整合，并修復(fù)空洞，以得到最終的目標(biāo)視點(diǎn)圖像。
2.根據(jù)權(quán)利要求1所述的一種基于分塊投影的DIBR方法，其特征在于，包括以下步驟: 1)獲取參考視點(diǎn)圖像及對(duì)應(yīng)的深度圖，以及目標(biāo)視點(diǎn)的深度圖； 2)將參考圖像分成若干分塊區(qū)域，并近似作平面處理，以用于單應(yīng)變換模型； 3)針對(duì)各分塊區(qū)域，利用視點(diǎn)變換方程求取對(duì)應(yīng)點(diǎn)對(duì)； 4)計(jì)算出各分塊區(qū)域的單應(yīng)矩陣，然后作單應(yīng)變換，最后將各分塊投影區(qū)域進(jìn)行整合，并進(jìn)行空洞修補(bǔ)得到最終的目標(biāo)視點(diǎn)圖像。
3.根據(jù)權(quán)利要求2所述的一種基于分塊投影的DIBR方法，其特征在于:在步驟2)中，一個(gè)視點(diǎn)圖像可經(jīng)由單應(yīng)矩陣映射到對(duì)應(yīng)的另一個(gè)視點(diǎn)圖像，前提是這兩個(gè)圖像在3D空間中的原像是一個(gè)空間平面，因此不能簡(jiǎn)單地將這個(gè)模型作用于整幅圖像上；而就圖像中的某一小塊區(qū)域而言，由于在極小的范圍內(nèi)任何物體的表面都可近似為平面，此時(shí)對(duì)于單應(yīng)變換模型成立；而分塊區(qū)域的標(biāo)準(zhǔn)差描述如下:
4.根據(jù)權(quán)利要求2所述的一種基于分塊投影的DIBR方法，其特征在于:在步驟3)中，所述視點(diǎn)變換方程為:m = PM，式中m和M分別表示像素點(diǎn)的相機(jī)空間和世界空間坐標(biāo)，矩陣P表示攝像機(jī)矩陣；分塊處理的方式為:將參考圖像分成若干合適的分塊區(qū)域，由于分塊區(qū)域至少需要4個(gè)對(duì)應(yīng)點(diǎn)對(duì)，因此規(guī)定分塊區(qū)域的大小為MXN，5 < N，M < 15，分塊不宜過(guò)大，這樣會(huì)增大單應(yīng)變換模型的近似誤差，也不宜過(guò)小，這會(huì)增加計(jì)算復(fù)雜度，通常取N = M=8 ;然后，對(duì)分塊區(qū)域進(jìn)行單應(yīng)變換:m' = HijHi,式中矩陣Hij描述了參考視點(diǎn)圖像的分塊區(qū)域到目標(biāo)視點(diǎn)圖像的一一映射，稱(chēng)為單應(yīng)矩陣，通過(guò)特征點(diǎn)求得；對(duì)應(yīng)點(diǎn)對(duì)的定義:參考視點(diǎn)圖像中分塊區(qū)域的一個(gè)點(diǎn)m，經(jīng)過(guò)視點(diǎn)變換能映射到目標(biāo)視點(diǎn)圖像的點(diǎn)，則稱(chēng)頂點(diǎn)m與V是一個(gè)對(duì)應(yīng)點(diǎn)對(duì)。
5.根據(jù)權(quán)利要求2所述的一種基于分塊投影的DIBR方法，其特征在于:在步驟4)中，所述單應(yīng)變換的原理為:空間平面在兩個(gè)攝像機(jī)下的圖像點(diǎn)具有一一對(duì)應(yīng)的關(guān)系，且這種對(duì)應(yīng)關(guān)系是齊次線(xiàn)性的，可由一個(gè)三階矩陣即單應(yīng)矩陣來(lái)描述:m' = HijHi ;矩陣Hij稱(chēng)為單應(yīng)矩陣，它是齊次的，有8個(gè)自由度，如下所示:
【文檔編號(hào)】H04N13/00GK103945209SQ201410175458
【公開(kāi)日】2014年7月23日 申請(qǐng)日期:2014年4月28日 優(yōu)先權(quán)日:2014年4月28日
【發(fā)明者】吳軍政, 孫季豐, 李萬(wàn)益 申請(qǐng)人:華南理工大學(xué)