專利名稱：基于深度圖后向映射的圖像渲染方法和圖像渲染裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計(jì)算機(jī)視覺技術(shù)領(lǐng)域，具體涉及ー種基于深度圖后向映射的圖像渲染方法和圖像渲染裝置。
背景技術(shù)：
近年來，隨著顯示視覺技術(shù)的飛速發(fā)展，各種新型的立體顯示技術(shù)紛紛出現(xiàn)，如偏振光立體顯示技術(shù)、裸眼多視點(diǎn)立體顯示技術(shù)、被動同步的立體顯示技術(shù)等，在全球范圍內(nèi)掀起ー場立體技術(shù)的視覺革命。立體顯示技術(shù)以其強(qiáng)烈的立體感知真實(shí)感，給人以身臨其境的震撼感覺。立體顯示技術(shù)在自由視點(diǎn)視頻(Free Viewpoint Video)、虛擬現(xiàn)實(shí)、立體電視、立體游戲等諸多領(lǐng)域有著廣泛的應(yīng)用前景。然而，在立體顯示技術(shù)快速發(fā)展的同時(shí)，由于多視點(diǎn)視頻、圖像資源獲取成本高，適合立體顯示設(shè)備使用的片源稀缺，無法滿足觀眾日益增長的觀賞需求。此外，ニ維片源的拍攝、編碼、傳輸?shù)燃夹g(shù)已經(jīng)十分成熟，而且形成了龐大的產(chǎn)業(yè)鏈，要進(jìn)行三維立體視頻產(chǎn)業(yè)鏈的替換需要付出巨大的代價(jià)。而現(xiàn)有的大部分ニ維片源是由單個(gè)攝像機(jī)拍攝形成的，因此，如何將ニ維片源轉(zhuǎn)化為立體片源，是ー個(gè)極具現(xiàn)實(shí)意義的問題?，F(xiàn)有的2D轉(zhuǎn)3D技術(shù)通常是通過對深度圖像(D印th Image)進(jìn)行提取，并對深度圖像進(jìn)行濾波，然后根據(jù)深度圖對虛擬視圖進(jìn)行渲染。但由于前景遮擋背景等原因，現(xiàn)有技術(shù)的渲染結(jié)果中普遍出現(xiàn)空洞和失真問題，較大的空洞造成圖像信息的丟失，失真更是極大地降低圖像的質(zhì)量。

發(fā)明內(nèi)容
本發(fā)明g在至少在一定程度上解決上述技術(shù)問題之一或至少提供ー種有用的商業(yè)選擇。為此，本發(fā)明的ー個(gè)目的在于提出ー種具有渲染效果好、渲染速度高的基于深度圖后向映射的圖像渲染方法。本發(fā)明的另ー個(gè)目的在于提出ー種具有渲染效果好、渲染速度高的基于深度圖后向映射的圖像渲染裝置。根據(jù)本發(fā)明實(shí)施例的基于深度圖后向映射的圖像渲染方法，包括:A.輸入?yún)⒖家晥D和對應(yīng)的深度圖；B.根據(jù)所述參考視圖和所述深度圖，獲取映射坐標(biāo)集；C.對所述映射坐標(biāo)集進(jìn)行平滑濾波，得到濾波后的映射坐標(biāo)集；D.根據(jù)所述濾波后的映射坐標(biāo)集，對所述參考視圖進(jìn)行后向映射，生成對應(yīng)的虛擬視圖；以及E.對所述虛擬視圖進(jìn)行邊緣修整，得到最終虛擬視圖。在本發(fā)明的方法的一個(gè)實(shí)施例中，所述步驟B進(jìn)ー步包括B1.根據(jù)所述參考視圖和所述深度圖，通過下列公式計(jì)算各個(gè)像素對應(yīng)的映射坐標(biāo)，獲得映射坐標(biāo)集其巾(x，y)表示所述虛擬棚中像素的參考坐
標(biāo)，(X'，y’)表示所述(X，y)移位前在所述參考視圖中的映射坐標(biāo)，Nu表示所述虛擬視圖的序號，Nu=O表示所述參考視圖，a表示比例因子，dref(x, y)表示所述虛擬視圖中像素(x, y)的深度值；も表示所述虛擬視圖對應(yīng)的虛擬攝像機(jī)的光心到零視差平面之間的距離；B2.對所述映射坐標(biāo)集進(jìn)行邊界約束處理，以避免渲染結(jié)果超出所述參考視圖邊界范圍；和B3.對所述映射坐標(biāo)集進(jìn)行順序約束處理，以避免違背順序約束原則導(dǎo)致渲染結(jié)果失真。在本發(fā)明的方法的一個(gè)實(shí)施例中，所述步驟B3進(jìn)ー步包括B31.判斷所述虛擬視圖與所述參考視圖的相對位置，確定移位順序；B32.按照所述移位順序逐行檢測各個(gè)像素對應(yīng)的映射坐標(biāo)，若當(dāng)前像素的映射坐標(biāo)大于下一個(gè)像素的映射坐標(biāo)，則定義為違背順序約束，記錄當(dāng)前像素水平坐標(biāo)值和下一個(gè)像素水平坐標(biāo)值；B33.繼續(xù)檢測當(dāng)前行，找出當(dāng)前行中所述映射坐標(biāo)的水平坐標(biāo)值介于所述當(dāng)前像素水平坐標(biāo)值和下一個(gè)像素水平坐標(biāo)值的像素，標(biāo)記為錯(cuò)誤區(qū)域；和B34.將所述錯(cuò)誤區(qū)域的像素按照所述虛擬視圖中的相對順序進(jìn)行調(diào)整。在本發(fā)明的方法的一個(gè)實(shí)施例中，所述平滑濾波為不對稱高斯平滑濾波。
在本發(fā)明的方法的一個(gè)實(shí)施例中，所述步驟D包括根據(jù)所述移位順序，遍歷地為 所述虛擬視圖中的每ー個(gè)像素(x，y)位置，填充所述參考視圖的對應(yīng)的映射坐標(biāo)(X'，y’ )像素的信息，得到所述虛擬視圖。在本發(fā)明的方法的一個(gè)實(shí)施例中，所述邊緣修整的方法為對所述虛擬視圖的每一行像素的左右兩側(cè)填充預(yù)定數(shù)目的黒色像素。根據(jù)本發(fā)明實(shí)施例的基于深度圖后向映射的圖像渲染方法具有以下優(yōu)點(diǎn)(I)輸入簡單，僅需一個(gè)ニ維的參考視圖與該參考視圖對應(yīng)的深度圖，并且無需進(jìn)行攝像機(jī)參數(shù)校準(zhǔn)；(2 )使用后向映射的方法可完全避免渲染虛擬視圖出現(xiàn)空洞；(3 )通過對映射坐標(biāo)進(jìn)行平滑濾波的獨(dú)特處理，緩解虛擬視圖渲染失真問題；(4)消耗資源小，渲染效果好，在降低計(jì)算量的同時(shí)還保證了ニ維虛擬視圖的質(zhì)量，特別適合在實(shí)時(shí)性和質(zhì)量都有一定要求且資源有限的場合使用。根據(jù)本發(fā)明實(shí)施例的基于深度圖后向映射的圖像渲染裝置，包括輸入模塊，用于輸入?yún)⒖家晥D和對應(yīng)的深度圖；映射坐標(biāo)集獲取模塊，用于根據(jù)所述參考視圖和所述深度圖，獲取映射坐標(biāo)集；濾波模塊，用于對所述映射坐標(biāo)集進(jìn)行平滑濾波，得到濾波后的映射坐標(biāo)集；渲染模塊，用于根據(jù)所述濾波后的映射坐標(biāo)集，對所述參考視圖進(jìn)行后向映射，生成對應(yīng)的虛擬視圖；以及邊緣修整模塊，用于對所述虛擬視圖進(jìn)行邊緣修整，得到最終虛擬視圖。在本發(fā)明的裝置的一個(gè)實(shí)施例中，所述映射坐標(biāo)集獲取模塊進(jìn)ー步包括映射坐
標(biāo)集計(jì)算模塊，用于根據(jù)所述參考視圖和所述深度圖，通過下列公式計(jì)算各個(gè)像素對應(yīng)的
映射坐標(biāo)，獲得映射坐標(biāo)集
權(quán)利要求
1.一種基于深度圖后向映射的圖像渲染方法，其特征在于，包括以下步驟 A.輸入?yún)⒖家晥D和對應(yīng)的深度圖； B.根據(jù)所述參考視圖和所述深度圖，獲取映射坐標(biāo)集； C.對所述映射坐標(biāo)集進(jìn)行平滑濾波，得到濾波后的映射坐標(biāo)集； D.根據(jù)所述濾波后的映射坐標(biāo)集，對所述參考視圖進(jìn)行后向映射，生成對應(yīng)的虛擬視圖；以及 E.對所述虛擬視圖進(jìn)行邊緣修整，得到最終虛擬視圖。
2.如權(quán)利要求I所述的基于深度圖后向映射的圖像渲染方法，其特征在于，所述步驟B進(jìn)ー步包括 BI.根據(jù)所述參考視圖和所述深度圖，通過下列公式計(jì)算各個(gè)像素對應(yīng)的映射坐標(biāo)，獲得映射坐標(biāo)集
3.如權(quán)利要求2所述的基于深度圖后向映射的圖像渲染方法，其特征在于，所述步驟B3進(jìn)ー步包括 B31.判斷所述虛擬視圖與所述參考視圖的相對位置，確定移位順序； B32.按照所述移位順序逐行檢測各個(gè)像素對應(yīng)的映射坐標(biāo)，若當(dāng)前像素的映射坐標(biāo)大于下ー個(gè)像素的映射坐標(biāo)，則定義為違背順序約束，記錄當(dāng)前像素水平坐標(biāo)值和下ー個(gè)像素水平坐標(biāo)值； B33.繼續(xù)檢測當(dāng)前行，找出當(dāng)前行中所述映射坐標(biāo)的水平坐標(biāo)值介于所述當(dāng)前像素水平坐標(biāo)值和下一個(gè)像素水平坐標(biāo)值的像素，標(biāo)記為錯(cuò)誤區(qū)域；和 B34.將所述錯(cuò)誤區(qū)域的像素按照所述虛擬視圖中的相對順序進(jìn)行調(diào)整。
4.如權(quán)利要求3所述的基于深度圖后向映射的圖像渲染方法，其特征在于，所述平滑濾波為不對稱高斯平滑濾波。
5.如權(quán)利要求4所述的基于深度圖后向映射的圖像渲染方法，其特征在于，所述步驟D包括根據(jù)所述移位順序，遍歷地為所述虛擬視圖中的每ー個(gè)像素(x，y)位置，填充所述參考視圖的對應(yīng)的映射坐標(biāo)(X'，I，)像素的信息，得到所述虛擬視圖。
6.如權(quán)利要求5所述的基于深度圖后向映射的圖像渲染方法，其特征在于，所述邊緣修整的方法為對所述虛擬視圖的每一行像素的左右兩側(cè)填充預(yù)定數(shù)目的黒色像素。
7.一種基于深度圖后向映射的圖像渲染裝置，其特征在于，包括以下部分 輸入模塊，用于輸入?yún)⒖家晥D和對應(yīng)的深度圖；映射坐標(biāo)集獲取模塊，用于根據(jù)所述參考視圖和所述深度圖，獲取映射坐標(biāo)集； 濾波模塊，用于對所述映射坐標(biāo)集進(jìn)行平滑濾波，得到濾波后的映射坐標(biāo)集； 渲染模塊，用于根據(jù)所述濾波后的映射坐標(biāo)集，對所述參考視圖進(jìn)行后向映射，生成對應(yīng)的虛擬視圖； 以及 邊緣修整模塊，用于對所述虛擬視圖進(jìn)行邊緣修整，得到最終虛擬視圖。
8.如權(quán)利要求7所述的基于深度圖后向映射的圖像渲染裝置，其特征在于，所述映射坐標(biāo)集獲取1吳塊進(jìn)一步包括 映射坐標(biāo)集計(jì)算模塊，用于根據(jù)所述參考視圖和所述深度圖，通過下列公式計(jì)算各個(gè)像素對應(yīng)的映射坐標(biāo)，獲得映射坐標(biāo)集
9.如權(quán)利要求8所述的基于深度圖后向映射的圖像渲染裝置，其特征在于，所述順序約束模塊進(jìn)一歩包括 移位順序判斷模塊，用于判斷所述虛擬視圖與所述參考視圖的相對位置，確定移位順序;檢測及標(biāo)記模塊，用于按照所述移位順序逐行檢測各個(gè)像素對應(yīng)的映射坐標(biāo)，若當(dāng)前像素的映射坐標(biāo)大于下一個(gè)像素的映射坐標(biāo)，則定義為違背順序約束，記錄當(dāng)前像素水平坐標(biāo)值和下一個(gè)像素水平坐標(biāo)值，繼續(xù)檢測當(dāng)前行，找出當(dāng)前行中所述映射坐標(biāo)的水平坐標(biāo)值介于所述當(dāng)前像素水平坐標(biāo)值和下一個(gè)像素水平坐標(biāo)值的像素，標(biāo)記為錯(cuò)誤區(qū)域；和調(diào)整模塊，將所述錯(cuò)誤區(qū)域的像素按照所述虛擬視圖中的相對順序進(jìn)行調(diào)整。
10.如權(quán)利要求9所述的基于深度圖后向映射的圖像渲染裝置，其特征在于，所述平滑濾波為不對稱高斯平滑濾波。
11.如權(quán)利要求10所述的基于深度圖后向映射的圖像渲染裝置，其特征在于，所述渲染模塊中，根據(jù)所述移位順序，遍歷地為所述虛擬視圖中的每ー個(gè)像素(X，y)位置，填充所述參考視圖的對應(yīng)的映射坐標(biāo)(X'，I，)像素的信息，得到所述虛擬視圖。
12.如權(quán)利要求11所述的基于深度圖后向映射的圖像渲染裝置，其特征在于，所述邊緣修整模塊中，邊緣調(diào)整方法為對所述虛擬視圖的每一行像素的左右兩側(cè)填充預(yù)定數(shù)目的黒色像素。
全文摘要
本發(fā)明提出一種基于深度圖后向映射的圖像渲染方法及裝置，其中該方法包括輸入?yún)⒖家晥D和對應(yīng)的深度圖；根據(jù)參考視圖和深度圖，獲取映射坐標(biāo)集；對映射坐標(biāo)集進(jìn)行平滑濾波，得到濾波后的映射坐標(biāo)集；根據(jù)濾波后的映射坐標(biāo)集，對參考視圖進(jìn)行后向映射，生成對應(yīng)的虛擬視圖；以及對虛擬視圖進(jìn)行邊緣修整，得到最終虛擬視圖。本發(fā)明的方法及裝置消耗資源小，渲染效果好，在降低計(jì)算量的同時(shí)還保證了二維虛擬視圖的質(zhì)量，特別適合在實(shí)時(shí)性和質(zhì)量都有一定要求且資源有限的場合使用。
文檔編號G06T7/00GK102831603SQ20121026642
公開日2012年12月19日 申請日期2012年7月27日 優(yōu)先權(quán)日2012年7月27日
發(fā)明者戴瓊海, 譚漢青 申請人:清華大學(xué)