一種基于分塊投影的dibr方法
【專(zhuān)利摘要】本發(fā)明公開(kāi)了一種基于分塊投影的DIBR方法,首先,獲取參考視點(diǎn)的彩色圖像、深度圖和兩個(gè)視點(diǎn)的攝像機(jī)幾何參數(shù);其次,將參考圖像分成若干的分塊區(qū)域,并對(duì)每個(gè)分塊區(qū)域進(jìn)行投影變換;最后,將目標(biāo)視點(diǎn)圖像中各分塊區(qū)域整合,并修復(fù)空洞,以得到最終的目標(biāo)視點(diǎn)圖像。不難發(fā)現(xiàn),該方法并沒(méi)有直接利用逐點(diǎn)進(jìn)行視點(diǎn)變換來(lái)生成新視點(diǎn),因而有效避免了目標(biāo)視點(diǎn)圖像受深度圖連續(xù)性的影響。利用仿真實(shí)驗(yàn)和實(shí)際數(shù)據(jù)比較了傳統(tǒng)方法和基于分塊投影的DIBR方法之間的性能,驗(yàn)證了該方法的有效性,提高了目標(biāo)視點(diǎn)繪制的質(zhì)量,并降低了傳輸帶寬。
【專(zhuān)利說(shuō)明】—種基于分塊投影的DI BR方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及3D視頻技術(shù)、自由視點(diǎn)視頻技術(shù)及基于深度圖繪制技術(shù)的領(lǐng)域,尤其是指一種基于分塊投影的DIBR方法。
【背景技術(shù)】
[0002]基于深度圖的繪制(DIBR)技術(shù)(參見(jiàn)文獻(xiàn)“郁理.基于深度圖像繪制的自由視點(diǎn)視頻關(guān)鍵技術(shù)研究[D].[博士論文].中國(guó)科學(xué)技術(shù)大學(xué),2010”),以攝像機(jī)投影理論為視點(diǎn)繪制的理論基礎(chǔ),在已知攝像機(jī)內(nèi)、外參數(shù)和參考圖像深度信息的條件下,將參考視點(diǎn)中的像素點(diǎn)變換到目標(biāo)視點(diǎn)下的圖像平面中。理論上,可以實(shí)現(xiàn)任意位置的視點(diǎn)繪制,具有繪制速度快,帶寬需求小的優(yōu)點(diǎn),是各種高級(jí)視頻應(yīng)用,如3D電視、自由視點(diǎn)電視的關(guān)鍵技術(shù)之一。
[0003]然而,DIBR技術(shù)也存在自身的局限性,I)目標(biāo)視點(diǎn)圖像不可避免的會(huì)產(chǎn)生空洞,一類(lèi)空洞是由于計(jì)算中坐標(biāo)取整時(shí)的近似處理造成的;另一類(lèi)是由于參考視點(diǎn)位置的改變以及深度圖不連續(xù)而產(chǎn)生的,這是最主要的問(wèn)題。2)可視化問(wèn)題,正常情況下應(yīng)該是前景圖像覆蓋在背景之上,而實(shí)際中可能出現(xiàn)相反的情形,當(dāng)兩個(gè)不同的深度值投影到同一像素點(diǎn)時(shí),會(huì)發(fā)生此種問(wèn)題.3)邊緣重影,由于深度信息及相機(jī)參數(shù)的精度等原因,在背景中出現(xiàn)了前景圖像邊緣區(qū)域的假象。
[0004]上述幾個(gè)問(wèn)題的出現(xiàn),究其原因是深度信息不夠理想,國(guó)內(nèi)外許多學(xué)者對(duì)此進(jìn)行了研究。一種方案是采用層次化深度圖(LDI)技術(shù)(參見(jiàn)文獻(xiàn)“Shade J, GortlerS,He L Wj et al.Layered depth images.Proceedings of the25th Annual Conferenceon Computer Graphics and Interactive Technique.New York,1998:231-242,,),然而其傳輸帶寬大、計(jì)算復(fù)雜度高的問(wèn)題,使其不具有實(shí)際應(yīng)用的價(jià)值.深度圖預(yù)處理技術(shù)是另一個(gè)有效的途徑,對(duì)應(yīng)有各種濾波策略,如高斯濾波(參見(jiàn)文獻(xiàn)“ZhangLjTam W J.Stereoscopic image generation based on depth images for3DTV.1EEETransactions on Broadcasting, 2005,51 (2): 191-199” )、基于邊緣獨(dú)立的深度濾波(參見(jiàn)文獻(xiàn)“Wan-Yu Chen,Yu-Lin Chang, Shyh-Feng Linj et al.Efficient Depth ImageBased Rendering with Edge Dependent Depth Filter and Interpolation.Proceedingsof IEEE Conference on Multimedia and Expo,Amsterdam,2005:1314-1317”)、 基于SIFT配準(zhǔn)的深度圖預(yù)處理(參見(jiàn)文獻(xiàn)“Hao-Peng Li,Markus Flierl.Sift-basedimprovement of depth imagery.Proceedings of IEEE Conference on Multimediaand Expo,Barcelona,2011:1-6,,以及文獻(xiàn) “Hu Dong, Sun Jianfeij Xu Ping.1mprovement of virtual view rendering based on depth image.Proceedings ofIEEE Conference on Image and Graphics,Hefei,2011:254-257,,)、視差域處理(參見(jiàn) 文 uTing-Ching Lin,Hsien-Chao Huang, Yueh-Min Huang.Preserving DepthResolution of Synthesized Images Using Parallax-Map-Based DIBR for3DTV.1EEETransactions on Consumer Electronics,2010,56 (2): 720_727,,)、形態(tài)學(xué)處理(參見(jiàn)文獻(xiàn)“駱凱,李東曉,馮雅美等.基于DIBR和圖像修復(fù)的任意視點(diǎn)繪制.中國(guó)圖像圖形學(xué)報(bào),2010,15(3):443-449.”)等方法.這些方法都有效地縮小了空洞的尺寸、減少了空洞的數(shù)量,但對(duì)應(yīng)深度圖的精度也隨之降低了,致使目標(biāo)視點(diǎn)產(chǎn)生部分幾何失真.還有一個(gè)思路是與圖像修復(fù)技術(shù)(參見(jiàn)文獻(xiàn)“駱凱,李東曉,馮雅美等.基于DIBR和圖像修復(fù)的任意視點(diǎn)繪制.中國(guó)圖像圖形學(xué)報(bào),2010,15(3):443-449,,以及文獻(xiàn)“Tauber Z, Li Z N, Drew M S.Review and preview:DisoccIusion by Inpainting forimage-based rendering.1EEE Transactions on Systems Man and Cybernetics, PartC:Applications and Reviews, 2007,37(4):527 - 540”)相結(jié)合的空洞修補(bǔ)策略,但是增加了計(jì)算復(fù)雜度.另外一些方法(參見(jiàn)文獻(xiàn)“Gang Song, Jinbao Xue, Hua L1.A newdouble-sided DIBR method for virtual view generation in3DTV.Proceedings ofIEEE Conference on Communication Technology, Jinan, 2011:1099-1102,,以及文獻(xiàn)“Ndjik1-Nya Patrick, Koppel Martin, Doshkov Dimitar, et al.Depth Image-BasedRendering with advanced texture synthesis for3~D vide0.1EEE Transactions onMultimedia, 2011, 13(3):453-465")采用雙邊同時(shí)做視點(diǎn)變換,通過(guò)圖像融合來(lái)繪制視點(diǎn)的策略,然而,當(dāng)深度信息誤差較大時(shí),目標(biāo)圖像中易產(chǎn)生明顯的重影。
【發(fā)明內(nèi)容】
[0005]本發(fā)明的目的在于克服現(xiàn)有技術(shù)的不足與缺點(diǎn),為有效解決當(dāng)前方法的計(jì)算復(fù)雜度高,且視點(diǎn)質(zhì)量易受深度圖精度制約的問(wèn)題,提供一種優(yōu)化的基于分塊投影的DIBR方法,其針對(duì)目標(biāo)視點(diǎn)的空洞區(qū)域主要出現(xiàn)在深度不連續(xù)區(qū)域的特點(diǎn),背景圖像的深度變化相對(duì)平緩,可將其局部區(qū)域分塊近似為平面區(qū)域,從而得以采用單應(yīng)變換的方法進(jìn)行繪制,較好地避免了傳統(tǒng)方法中所有的像素點(diǎn)都依賴(lài)于深度信息的缺點(diǎn),減少了目標(biāo)視點(diǎn)圖像的空洞和偽影,提高了主客觀質(zhì)量。
[0006]為實(shí)現(xiàn)上述目的,本發(fā)明所提供的技術(shù)方案為:一種基于分塊投影的DIBR方法,首先,獲取參考視點(diǎn)的彩色圖像、深度圖和兩個(gè)視點(diǎn)的攝像機(jī)幾何參數(shù);其次,將參考圖像分成若干的分塊區(qū)域,并對(duì)每個(gè)分塊區(qū)域進(jìn)行投影變換;最后,將目標(biāo)視點(diǎn)圖像中各分塊區(qū)域整合,并修復(fù)空洞,以得到最終的目標(biāo)視點(diǎn)圖像。
[0007]本發(fā)明所述基于分塊投影的DIBR方法,包括以下步驟:
[0008]I)獲取參考視點(diǎn)圖像及對(duì)應(yīng)的深度圖,以及目標(biāo)視點(diǎn)的深度圖;
[0009]2)將參考圖像分成若干分塊區(qū)域,并近似作平面處理,以用于單應(yīng)變換模型;
[0010]3)針對(duì)各分塊區(qū)域,利用視點(diǎn)變換方程求取對(duì)應(yīng)點(diǎn)對(duì);
[0011]4)計(jì)算出各分塊區(qū)域的單應(yīng)矩陣,然后作單應(yīng)變換,最后將各分塊投影區(qū)域進(jìn)行整合,并進(jìn)行空洞修補(bǔ)得到最終的目標(biāo)視點(diǎn)圖像。
[0012]在步驟2)中,一個(gè)視點(diǎn)圖像可經(jīng)由單應(yīng)矩陣映射到對(duì)應(yīng)的另一個(gè)視點(diǎn)圖像,前提是這兩個(gè)圖像在3D空間中的原像是一個(gè)空間平面,因此不能簡(jiǎn)單地將這個(gè)模型作用于整幅圖像上;而就圖像中的某一小塊區(qū)域而言,由于在極小的范圍內(nèi)任何物體的表面都可近似為平面,此時(shí)對(duì)于單應(yīng)變換模型成立;而分塊區(qū)域的標(biāo)準(zhǔn)差描述如下:[0014]其中,分塊區(qū)域的大小為NXM,d(n, m)表示該區(qū)域像素點(diǎn)對(duì)應(yīng)的深度值,μ為區(qū)域內(nèi)的平均深度值,σ u為標(biāo)準(zhǔn)差,它反映了整個(gè)第i行、第j列的分塊區(qū)域的平均深度值的分散程度;我們用σ u來(lái)描述分塊區(qū)域采用單應(yīng)變換模型的近似誤差,顯然,σ u越小,則
誤差越小。
[0015]在步驟3)中,所述視點(diǎn)變換方程為:m = PM,式中m和M分別表示像素點(diǎn)的相機(jī)空間和世界空間坐標(biāo),矩陣P表示攝像機(jī)矩陣;分塊處理的方式為:將參考圖像分成若干合適的分塊區(qū)域,由于分塊區(qū)域至少需要4個(gè)對(duì)應(yīng)點(diǎn)對(duì),因此規(guī)定分塊區(qū)域的大小為MXN, 5 ^ N,MS 15,分塊不宜過(guò)大,這樣會(huì)增大單應(yīng)變換模型的近似誤差,也不宜過(guò)小,這會(huì)增加計(jì)算復(fù)雜度,通常取N = M = S ;然后,對(duì)分塊區(qū)域進(jìn)行單應(yīng)變換:m' = Hum,式中矩陣Hu描述了參考視點(diǎn)圖像的分塊區(qū)域到目標(biāo)視點(diǎn)圖像的一一映射,稱(chēng)為單應(yīng)矩陣,通過(guò)特征點(diǎn)求得;對(duì)應(yīng)點(diǎn)對(duì)的定義:參考視點(diǎn)圖像中分塊區(qū)域的一個(gè)點(diǎn)m,經(jīng)過(guò)視點(diǎn)變換能映射到目標(biāo)視點(diǎn)圖像的點(diǎn)m',則稱(chēng)頂點(diǎn)m與m'是一個(gè)對(duì)應(yīng)點(diǎn)對(duì)。
[0016]在步驟4)中,所述單應(yīng)變換的原理為:空間平面在兩個(gè)攝像機(jī)下的圖像點(diǎn)具有一一對(duì)應(yīng)的關(guān)系,且這種對(duì)應(yīng)關(guān)系是齊次線(xiàn)性的,可由一個(gè)三階矩陣即單應(yīng)矩陣來(lái)描述:m' = Hum;矩陣Hu稱(chēng)為單應(yīng)矩陣,它是齊次的,有8個(gè)自由度,如下所示:
【權(quán)利要求】
1.一種基于分塊投影的DIBR方法,其特征在于:首先,獲取參考視點(diǎn)的彩色圖像、深度圖和兩個(gè)視點(diǎn)的攝像機(jī)幾何參數(shù);其次,將參考圖像分成若干的分塊區(qū)域,并對(duì)每個(gè)分塊區(qū)域進(jìn)行投影變換;最后,將目標(biāo)視點(diǎn)圖像中各分塊區(qū)域整合,并修復(fù)空洞,以得到最終的目標(biāo)視點(diǎn)圖像。
2.根據(jù)權(quán)利要求1所述的一種基于分塊投影的DIBR方法,其特征在于,包括以下步驟: 1)獲取參考視點(diǎn)圖像及對(duì)應(yīng)的深度圖,以及目標(biāo)視點(diǎn)的深度圖; 2)將參考圖像分成若干分塊區(qū)域,并近似作平面處理,以用于單應(yīng)變換模型; 3)針對(duì)各分塊區(qū)域,利用視點(diǎn)變換方程求取對(duì)應(yīng)點(diǎn)對(duì); 4)計(jì)算出各分塊區(qū)域的單應(yīng)矩陣,然后作單應(yīng)變換,最后將各分塊投影區(qū)域進(jìn)行整合,并進(jìn)行空洞修補(bǔ)得到最終的目標(biāo)視點(diǎn)圖像。
3.根據(jù)權(quán)利要求2所述的一種基于分塊投影的DIBR方法,其特征在于:在步驟2)中,一個(gè)視點(diǎn)圖像可經(jīng)由單應(yīng)矩陣映射到對(duì)應(yīng)的另一個(gè)視點(diǎn)圖像,前提是這兩個(gè)圖像在3D空間中的原像是一個(gè)空間平面,因此不能簡(jiǎn)單地將這個(gè)模型作用于整幅圖像上;而就圖像中的某一小塊區(qū)域而言,由于在極小的范圍內(nèi)任何物體的表面都可近似為平面,此時(shí)對(duì)于單應(yīng)變換模型成立;而分塊區(qū)域的標(biāo)準(zhǔn)差描述如下:
4.根據(jù)權(quán)利要求2所述的一種基于分塊投影的DIBR方法,其特征在于:在步驟3)中,所述視點(diǎn)變換方程為:m = PM,式中m和M分別表示像素點(diǎn)的相機(jī)空間和世界空間坐標(biāo),矩陣P表示攝像機(jī)矩陣;分塊處理的方式為:將參考圖像分成若干合適的分塊區(qū)域,由于分塊區(qū)域至少需要4個(gè)對(duì)應(yīng)點(diǎn)對(duì),因此規(guī)定分塊區(qū)域的大小為MXN,5 < N,M < 15,分塊不宜過(guò)大,這樣會(huì)增大單應(yīng)變換模型的近似誤差,也不宜過(guò)小,這會(huì)增加計(jì)算復(fù)雜度,通常取N = M=8 ;然后,對(duì)分塊區(qū)域進(jìn)行單應(yīng)變換:m' = HijHi,式中矩陣Hij描述了參考視點(diǎn)圖像的分塊區(qū)域到目標(biāo)視點(diǎn)圖像的一一映射,稱(chēng)為單應(yīng)矩陣,通過(guò)特征點(diǎn)求得;對(duì)應(yīng)點(diǎn)對(duì)的定義:參考視點(diǎn)圖像中分塊區(qū)域的一個(gè)點(diǎn)m,經(jīng)過(guò)視點(diǎn)變換能映射到目標(biāo)視點(diǎn)圖像的點(diǎn),則稱(chēng)頂點(diǎn)m與V是一個(gè)對(duì)應(yīng)點(diǎn)對(duì)。
5.根據(jù)權(quán)利要求2所述的一種基于分塊投影的DIBR方法,其特征在于:在步驟4)中,所述單應(yīng)變換的原理為:空間平面在兩個(gè)攝像機(jī)下的圖像點(diǎn)具有一一對(duì)應(yīng)的關(guān)系,且這種對(duì)應(yīng)關(guān)系是齊次線(xiàn)性的,可由一個(gè)三階矩陣即單應(yīng)矩陣來(lái)描述:m' = HijHi ;矩陣Hij稱(chēng)為單應(yīng)矩陣,它是齊次的,有8個(gè)自由度,如下所示:
【文檔編號(hào)】H04N13/00GK103945209SQ201410175458
【公開(kāi)日】2014年7月23日 申請(qǐng)日期:2014年4月28日 優(yōu)先權(quán)日:2014年4月28日
【發(fā)明者】吳軍政, 孫季豐, 李萬(wàn)益 申請(qǐng)人:華南理工大學(xué)