專利名稱：基于深度圖前向映射的圖像渲染方法和圖像渲染裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計算機視覺技術(shù)領(lǐng)域，具體涉及一種基于深度圖前向映射的圖像渲染方法和圖像渲染裝置。
背景技術(shù)：
近年來，隨著顯示視覺技術(shù)的飛速發(fā)展，各種新型的立體顯示技術(shù)紛紛出現(xiàn)，如偏振光立體顯示技術(shù)、裸眼多視點立體顯示技術(shù)、被動同步的立體顯示技術(shù)等，在全球范圍內(nèi)掀起一場立體技術(shù)的視覺革命。立體顯示技術(shù)以其強烈的立體感知真實感，給人以身臨其境的震撼感覺。立體顯示技術(shù)在自由視點視頻(Free Viewpoint Video)、虛擬現(xiàn)實、立體電視、立體游戲等諸多領(lǐng)域有著廣泛的應(yīng)用前景。 然而，在立體顯示技術(shù)快速發(fā)展的同時，由于多視點視頻、圖像資源獲取成本高，適合立體顯示設(shè)備使用的片源稀缺，無法滿足觀眾日益增長的觀賞需求。此外，二維片源的拍攝、編碼、傳輸?shù)燃夹g(shù)已經(jīng)十分成熟，而且形成了龐大的產(chǎn)業(yè)鏈，要進行三維立體視頻產(chǎn)業(yè)鏈的替換需要付出巨大的代價。而現(xiàn)有的大部分二維片源是由單個攝像機拍攝形成的，因此，如何將二維片源轉(zhuǎn)化為立體片源，是一個極具現(xiàn)實意義的問題?，F(xiàn)有的的2D轉(zhuǎn)3D技術(shù)通常是通過對深度圖像(D印th Image)進行提取，并對深度圖像進行濾波，然后根據(jù)深度圖對虛擬視圖進行渲染。但由于前景遮擋背景等原因，現(xiàn)有技術(shù)的渲染結(jié)果中普遍出現(xiàn)空洞和失真問題，較大的空洞造成圖像信息的丟失，失真更是極大地降低圖像的質(zhì)量。

發(fā)明內(nèi)容
本發(fā)明旨在至少在一定程度上解決上述技術(shù)問題之一或至少提供一種有用的商業(yè)選擇。為此，本發(fā)明的一個目的在于提出一種具有渲染效果好、渲染速度高的基于深度圖前向映射的圖像渲染方法。本發(fā)明的另一個目的在于提出一種具有渲染效果好、渲染速度高的基于深度圖前向映射的圖像渲染裝置。根據(jù)本發(fā)明實施例的基于深度圖前向映射的圖像渲染方法，包括:A.輸入?yún)⒖家晥D和對應(yīng)的深度圖；B.根據(jù)所述參考視圖和所述深度圖，獲取映射坐標(biāo)集；C.對所述映射坐標(biāo)集進行平滑濾波，得到濾波后的映射坐標(biāo)集；D.根據(jù)所述濾波后的映射坐標(biāo)集，對所述參考視圖進行前向映射，生成對應(yīng)的虛擬視圖；E.對所述虛擬視圖進行空洞填充，得到填充后虛擬視圖；以及F.對所述填充后虛擬視圖進行邊緣修整，得到最終虛擬視圖。在本發(fā)明的方法的一個實施例中，所述步驟B進一步包括B1.根據(jù)所述參考視圖和所述深度圖，通過下列公式計算各個像素對應(yīng)的映射坐標(biāo)，獲得映射坐標(biāo)集
(V = X + index * α * (d, (x, v)-dA,其中(x，y)表示所述參考視圖中像素的參考坐
U' =y，
標(biāo)，(V ,1')表示所述(x，y)移位后在所述虛擬視圖中的映射坐標(biāo)，index表示所述虛擬視圖的序號，index=0表示所述參考視圖，a表示比例因子，dref (x, y)表示所述參考視圖中像素(x，y)的深度值；Cltl表示所述虛擬視圖對應(yīng)的虛擬攝像機的光心到零視差平面之間的距離；B2.對所述映射坐標(biāo)集進行邊界約束處理，以避免渲染結(jié)果超出所述虛擬視圖邊界范圍jPB3.對所述映射坐標(biāo)集進行順序約束處理，以避免違背順序約束原則導(dǎo)致渲染結(jié)
果失真。在本發(fā)明的方法的一個實施例中，所述步驟B3進一步包括B31.判斷所述虛擬視圖與所述參考視圖的相對位置，確定移位順序；B32.按照所述移位順序逐行檢測各個像素對應(yīng)的映射坐標(biāo)，若當(dāng)前像素的映射坐標(biāo)大于下一個像素的映射坐標(biāo)，則定義為違背順序約束，記錄當(dāng)前像素水平坐標(biāo)值和下一個像素水平坐標(biāo)值；B33.繼續(xù)檢測當(dāng)前行，找出當(dāng)前行中所述映射坐標(biāo)的水平坐標(biāo)值介于所述當(dāng)前像素水平坐標(biāo)值和下一個像素水平坐標(biāo)值的像素，標(biāo)記為錯誤區(qū)域；和B34.將所述錯誤區(qū)域的像素按照所述參考視圖中的相對順序進行調(diào)整。在本發(fā)明的方法的一個實施例中，所述平滑濾波為不對稱高斯平滑濾波。
在本發(fā)明的方法的一個實施例中，所述步驟D包括根據(jù)所述移位順序，遍歷地將所述參考視圖的每一個像素(x，y)的信息，填充到所述虛擬視圖的對應(yīng)的映射坐標(biāo)U1 ,1')位置中，得到所述虛擬視圖。在本發(fā)明的方法的一個實施例中，所述空洞填充的方法為獲取空洞區(qū)域的邊緣像素，利用所述邊緣像素對所述空洞區(qū)域進行填充，其中兩側(cè)邊緣像素填充空洞點的比重與所述空洞點離所述兩側(cè)邊緣像素的距離成正比。在本發(fā)明的方法的一個實施例中，所述邊緣修整的方法為對所述填充后虛擬視圖的每一行像素的左右兩側(cè)填充預(yù)定數(shù)目的黑色像素。根據(jù)本發(fā)明實施例的基于深度圖前向映射的圖像渲染方法具有以下優(yōu)點(I)輸入簡單，僅需一個二維的參考視圖與該參考視圖對應(yīng)的深度圖，并且無需進行攝像機參數(shù)校準；(2)使用前向映射的方法緩解甚至避免渲染虛擬視圖出現(xiàn)空洞；(3)通過對映射坐標(biāo)進行平滑濾波的獨特處理，緩解虛擬視圖渲染失真問題；(4)消耗資源小，渲染效果好，在降低計算量的同時還保證了二維虛擬視圖的質(zhì)量，特別適合在實時性和質(zhì)量都有一定要求且資源有限的場合使用。根據(jù)本發(fā)明實施例的基于深度圖前向映射的圖像渲染裝置，包括輸入模塊，用于輸入?yún)⒖家晥D和對應(yīng)的深度圖；映射坐標(biāo)集獲取模塊，用于根據(jù)所述參考視圖和所述深度圖，獲取映射坐標(biāo)集；濾波模塊，用于對所述映射坐標(biāo)集進行平滑濾波，得到濾波后的映射坐標(biāo)集；渲染模塊，用于根據(jù)所述濾波后的映射坐標(biāo)集，對所述參考視圖進行前向映射，生成對應(yīng)的虛擬視圖；空洞填充模塊，用于對所述虛擬視圖進行空洞填充，得到填充后虛擬視圖；以及邊緣修整模塊，用于對所述填充后虛擬視圖進行邊緣修整，得到最終虛擬視圖。在本發(fā)明的裝置的一個實施例中，所述映射坐標(biāo)集獲取模塊進一步包括映射坐
標(biāo)集計算模塊，用于根據(jù)所述參考視圖和所述深度圖，通過下列公式計算各個像素對應(yīng)的
\x =x + index (d, (x，v) — d,,)
映射坐標(biāo)，獲得映射坐標(biāo)集,f其中(x，y)表示所述參考視
b ，
圖中像素的參考坐標(biāo)，(V )表示所述(X，y)移位后在所述虛擬視圖中的映射坐標(biāo)，index表示所述虛擬視圖的序號，index=0表示所述參考視圖,a表示比例因子,dref (x, y)表示所述參考視圖中像素(x，y)的深度值；Cltl表示所述虛擬視圖對應(yīng)的虛擬攝像機的光心到零視差平面之間的距離；邊界約束模塊，用于對所述映射坐標(biāo)集進行邊界約束處理，以避免渲染結(jié)果超出所述虛擬視圖邊界范圍；和順序約束模塊，對所述映射坐標(biāo)集進行順序約束處理，以避免違背順序約束原則導(dǎo)致渲染結(jié)果失真。在本發(fā)明的裝置的一個實施例中，所述順序約束模塊進一步包括移位順序判斷模塊，用于判斷所述虛擬視圖與所述參考視圖的相對位置，確定移位順序；檢測及標(biāo)記模 塊，用于按照所述移位順序逐行檢測各個像素對應(yīng)的映射坐標(biāo)，若當(dāng)前像素的映射坐標(biāo)大于下一個像素的映射坐標(biāo)，則定義為違背順序約束，記錄當(dāng)前像素水平坐標(biāo)值和下一個像素水平坐標(biāo)值，繼續(xù)檢測當(dāng)前行，找出當(dāng)前行中所述映射坐標(biāo)的水平坐標(biāo)值介于所述當(dāng)前像素水平坐標(biāo)值和下一個像素水平坐標(biāo)值的像素，標(biāo)記為錯誤區(qū)域；和調(diào)整模塊，將所述錯誤區(qū)域的像素按照所述參考視圖中的相對順序進行調(diào)整。在本發(fā)明的裝置的一個實施例中，所述平滑濾波為不對稱高斯平滑濾波。在本發(fā)明的裝置的一個實施例中，所述渲染模塊中，根據(jù)所述移位順序，遍歷地將所述參考視圖的每一個像素(x，y)的信息，填充到所述虛擬視圖的對應(yīng)的映射坐標(biāo)U1 ,1')位置中，得到所述虛擬視圖。在本發(fā)明的裝置的一個實施例中，所述空洞填充模塊中，所述空洞填充方法為獲取空洞區(qū)域的邊緣像素，利用所述邊緣像素對所述空洞區(qū)域進行填充，其中兩側(cè)邊緣像素填充空洞點的比重與所述空洞點離所述兩側(cè)邊緣像素的距離成正比。 在本發(fā)明的裝置的一個實施例中，所述邊緣修整模塊中，是邊緣調(diào)整方法為對所述填充后虛擬視圖的每一行像素的左右兩側(cè)填充預(yù)定數(shù)目的黑色像素。根據(jù)本發(fā)明實施例的基于深度圖前向映射的圖像渲染裝置具有以下優(yōu)點(I)輸 入簡單，僅需一個二維的參考視圖與該參考視圖對應(yīng)的深度圖，并且無需進行攝像機參數(shù)校準；(2)使用前向映射的方法緩解甚至避免渲染虛擬視圖出現(xiàn)空洞；(3)通過對映射坐標(biāo)進行平滑濾波的獨特處理，緩解虛擬視圖渲染失真問題；(4)消耗資源小，渲染效果好，在降低計算量的同時還保證了二維虛擬視圖的質(zhì)量，特別適合在實時性和質(zhì)量都有一定要求且資源有限的場合使用。本發(fā)明的附加方面和優(yōu)點將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本發(fā)明的實踐了解到。


本發(fā)明的上述和/或附加的方面和優(yōu)點從結(jié)合下面附圖對實施例的描述中將變得明顯和容易理解，其中圖I是本發(fā)明實施例的參考視圖攝像機與虛擬視圖攝像機排列關(guān)系的示意圖；圖2是本發(fā)明實施例的基于深度圖前向映射的圖像渲染方法的流程圖；和圖3是本發(fā)明實施例的基于深度圖前向映射的圖像渲染裝置的結(jié)構(gòu)框圖。
具體實施例方式下面詳細描述本發(fā)明的實施例，所述實施例的示例在附圖中示出，其中自始至終相同或類似的標(biāo)號表示相同或類似的元件或具有相同或類似功能的元件。下面通過參考附圖描述的實施例是示例性的，旨在用于解釋本發(fā)明，而不能理解為對本發(fā)明的限制。
為使本領(lǐng)域技術(shù)人員更好地理解，首先結(jié)合圖I解釋本發(fā)明的原理。如圖I所示，P為空間任意一點，它在世界坐標(biāo)系中的X軸坐標(biāo)和Z軸坐標(biāo)分別為b0和Z ；Cref為與二維參考視圖所對應(yīng)真實攝像機的光心，Cvir為與二維虛擬視圖對應(yīng)的虛擬攝像機的光心為P點在真實攝像機的成像平面上的成像位置，Vvir為P點在虛擬攝像機的成像平面上得成像位置；b為攝像機之間的距離，f為攝像機的焦距。根據(jù)幾何知識可知
權(quán)利要求
1.一種基于深度圖前向映射的圖像渲染方法，其特征在于，包括以下步驟 A.輸入?yún)⒖家晥D和對應(yīng)的深度圖； B.根據(jù)所述參考視圖和所述深度圖，獲取映射坐標(biāo)集； C.對所述映射坐標(biāo)集進行平滑濾波，得到濾波后的映射坐標(biāo)集； D.根據(jù)所述濾波后的映射坐標(biāo)集，對所述參考視圖進行前向映射，生成對應(yīng)的虛擬視圖； E.對所述虛擬視圖進行空洞填充，得到填充后虛擬視圖；以及 F.對所述填充后虛擬視圖進行邊緣修整，得到最終虛擬視圖。
2.如權(quán)利要求I所述的基于深度圖前向映射的圖像渲染方法，其特征在于，所述步驟B進一步包括 BI.根據(jù)所述參考視圖和所述深度圖，通過下列公式計算各個像素對應(yīng)的映射坐標(biāo)，獲得映射坐標(biāo)集
3.如權(quán)利要求2所述的基于深度圖前向映射的圖像渲染方法，其特征在于，所述步驟B3進一步包括 B31.判斷所述虛擬視圖與所述參考視圖的相對位置，確定移位順序； B32.按照所述移位順序逐行檢測各個像素對應(yīng)的映射坐標(biāo)，若當(dāng)前像素的映射坐標(biāo)大于下一個像素的映射坐標(biāo)，則定義為違背順序約束，記錄當(dāng)前像素水平坐標(biāo)值和下一個像素水平坐標(biāo)值； B33.繼續(xù)檢測當(dāng)前行，找出當(dāng)前行中所述映射坐標(biāo)的水平坐標(biāo)值介于所述當(dāng)前像素水平坐標(biāo)值和下一個像素水平坐標(biāo)值的像素，標(biāo)記為錯誤區(qū)域；和 B34.將所述錯誤區(qū)域的像素按照所述參考視圖中的相對順序進行調(diào)整。
4.如權(quán)利要求3所述的基于深度圖前向映射的圖像渲染方法，其特征在于，所述平滑濾波為不對稱高斯平滑濾波。
5.如權(quán)利要求4所述的基于深度圖前向映射的圖像渲染方法，其特征在于，所述步驟D包括根據(jù)所述移位順序，遍歷地將所述參考視圖的每一個像素(x，y)的信息，填充到所述虛擬視圖的對應(yīng)的映射坐標(biāo)(V ,1')位置中，得到所述虛擬視圖。
6.如權(quán)利要求5所述的基于深度圖前向映射的圖像渲染方法，其特征在于，所述空洞填充的方法為獲取空洞區(qū)域的邊緣像素，利用所述邊緣像素對所述空洞區(qū)域進行填充，其中兩側(cè)邊緣像素填充空洞點的比重與所述空洞點離所述兩側(cè)邊緣像素的距離成正比。
7.如權(quán)利要求6所述的基于深度圖前向映射的圖像渲染方法，其特征在于，所述邊緣修整的方法為對所述填充后虛擬視圖的每一行像素的左右兩側(cè)填充預(yù)定數(shù)目的黑色像素。
8.一種基于深度圖前向映射的圖像渲染裝置，其特征在于，包括以下部分 輸入模塊，用于輸入?yún)⒖家晥D和對應(yīng)的深度圖；映射坐標(biāo)集獲取模塊，用于根據(jù)所述參考視圖和所述深度圖，獲取映射坐標(biāo)集；濾波模塊，用于對所述映射坐標(biāo)集進行平滑濾波，得到濾波后的映射坐標(biāo)集； 渲染模塊，用于根據(jù)所述濾波后的映射坐標(biāo)集，對所述參考視圖進行前向映射，生成對應(yīng)的虛擬視圖； 空洞填充模塊，用于對所述虛擬視圖進行空洞填充，得到填充后虛擬視圖；以及 邊緣修整模塊，用于對所述填充后虛擬視圖進行邊緣修整，得到最終虛擬視圖。
9.如權(quán)利要求8所述的基于深度圖前向映射的圖像渲染裝置，其特征在于，所述映射坐標(biāo)集獲取1 塊進一步包括 映射坐標(biāo)集計算模塊，用于根據(jù)所述參考視圖和所述深度圖，通過下列公式計算各個像素對應(yīng)的映射坐標(biāo)，獲得映射坐標(biāo)集
10.如權(quán)利要求9所述的基于深度圖前向映射的圖像渲染裝置，其特征在于，所述順序約束模塊進一步包括 移位順序判斷模塊，用于判斷所述虛擬視圖與所述參考視圖的相對位置，確定移位順序;檢測及標(biāo)記模塊，用于按照所述移位順序逐行檢測各個像素對應(yīng)的映射坐標(biāo)，若當(dāng)前像素的映射坐標(biāo)大于下一個像素的映射坐標(biāo)，則定義為違背順序約束，記錄當(dāng)前像素水平坐標(biāo)值和下一個像素水平坐標(biāo)值，繼續(xù)檢測當(dāng)前行，找出當(dāng)前行中所述映射坐標(biāo)的水平坐標(biāo)值介于所述當(dāng)前像素水平坐標(biāo)值和下一個像素水平坐標(biāo)值的像素，標(biāo)記為錯誤區(qū)域；和調(diào)整模塊，將所述錯誤區(qū)域的像素按照所述參考視圖中的相對順序進行調(diào)整。
11.如權(quán)利要求10所述的基于深度圖前向映射的圖像渲染裝置，其特征在于，所述平滑濾波為不對稱高斯平滑濾波。
12.如權(quán)利要求11所述的基于深度圖前向映射的圖像渲染裝置，其特征在于，所述渲染模塊中，根據(jù)所述移位順序，遍歷地將所述參考視圖的每一個像素(X，y)的信息，填充到所述虛擬視圖的對應(yīng)的映射坐標(biāo)(V ,I1 )位置中，得到所述虛擬視圖。
13.如權(quán)利要求12所述的基于深度圖前向映射的圖像渲染裝置，其特征在于，所述空洞填充模塊中，所述空洞填充方法為獲取空洞區(qū)域的邊緣像素，利用所述邊緣像素對所述空洞區(qū)域進行填充，其中兩側(cè)邊緣像素填充空洞點的比重與所述空洞點離所述兩側(cè)邊緣像素的距離成正比。
14.如權(quán)利要求13所述的基于深度圖前向映射的圖像渲染裝置，其特征在于，所述邊緣修整模塊中，邊緣調(diào)整方法為對所述填充后虛擬視圖的每一行像素的左右兩側(cè)填充預(yù)定數(shù)目的黑色像素。
全文摘要
本發(fā)明提出一種基于深度圖前向映射的圖像渲染方法及裝置，其中該方法包括輸入?yún)⒖家晥D和對應(yīng)的深度圖；根據(jù)參考視圖和深度圖，獲取映射坐標(biāo)集；對映射坐標(biāo)集進行平滑濾波，得到濾波后的映射坐標(biāo)集；根據(jù)濾波后的映射坐標(biāo)集，對參考視圖進行前向映射，生成對應(yīng)的虛擬視圖；對虛擬視圖進行空洞填充，得到填充后虛擬視圖；以及對填充后虛擬視圖進行邊緣修整，得到最終虛擬視圖。本發(fā)明的方法及裝置消耗資源小，渲染效果好，在降低計算量的同時還保證了二維虛擬視圖的質(zhì)量，特別適合在實時性和質(zhì)量都有一定要求且資源有限的場合使用。
文檔編號G06T7/00GK102831602SQ201210263020
公開日2012年12月19日 申請日期2012年7月26日 優(yōu)先權(quán)日2012年7月26日
發(fā)明者戴瓊海, 譚漢青, 徐秀兵 申請人:清華大學(xué)