專利名稱：從視頻單視點(diǎn)到多視點(diǎn)的虛擬視點(diǎn)生成方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種3D視頻自由立體顯示技術(shù)，具體來(lái)說(shuō)，涉及到一種從視頻單視點(diǎn)到多視點(diǎn)的虛 擬視點(diǎn)生成方法。
背景技術(shù)：
隨著數(shù)字通信技術(shù)和計(jì)算機(jī)技術(shù)的快速發(fā)展，3D電視和自由立體視頻越來(lái)越吸引人們的眼球。多視點(diǎn)視頻(即在不同方位可以看到不同的角度的立體場(chǎng)景)，被認(rèn)為擁有非常廣闊的應(yīng)用前景。由于3D采集和視頻傳輸?shù)木窒扌?，同時(shí)采集和傳輸多個(gè)視點(diǎn)的視頻難度很高，因此虛擬視點(diǎn)的合成技術(shù)成為多視點(diǎn)視頻源制作中的關(guān)鍵技術(shù)合成多視點(diǎn)視頻的主要方式有兩種基于模型的和基于圖像渲染的?；谀Ｐ偷姆椒ㄓ捎谝蕾嚺c場(chǎng)景的復(fù)雜度，運(yùn)算量比較大，不容易實(shí)現(xiàn)。基于圖像渲染的方法根據(jù)2D圖像產(chǎn)生虛擬視點(diǎn)，和場(chǎng)景復(fù)雜度無(wú)關(guān)，因此成為了主流虛擬視點(diǎn)合成方式?；趫D像渲染的方法中，基于深度圖的圖像渲染(DIBR)方式是一種最有效的方式。這種方法仍然存在以下缺陷本應(yīng)該在虛擬視電中可見(jiàn)的區(qū)域在原始視點(diǎn)中是遮擋的，即在虛擬視點(diǎn)中出現(xiàn)的物體或者背景在原始圖像中是不存在的，這樣就成了空洞，表現(xiàn)在深度圖中深度圖突變的邊界處。

發(fā)明內(nèi)容
針對(duì)以上的不足，本發(fā)明的目的是提供一種從視頻單視點(diǎn)到多視點(diǎn)的虛擬視點(diǎn)生成方法，它包括步驟I)提取視頻源和對(duì)應(yīng)的深度圖，將視頻源和對(duì)應(yīng)的深度圖分解為一幀一幀的參考視點(diǎn)圖像；步驟2)對(duì)參考視點(diǎn)圖像的圖像邊界進(jìn)行紋理擴(kuò)展；步驟3)對(duì)擴(kuò)展完的參考視點(diǎn)圖像根據(jù)深度圖進(jìn)行3D坐標(biāo)轉(zhuǎn)換，得到包含其余η個(gè)視點(diǎn)的虛擬視點(diǎn)圖像；步驟4)把3D映射之后的虛擬視點(diǎn)圖像進(jìn)行原分辨率裁剪；步驟5)對(duì)裁剪后的虛擬視點(diǎn)圖像的圖像空洞進(jìn)行填補(bǔ)；步驟6)重復(fù)上述步驟，直到整個(gè)參考視頻源所有參考視點(diǎn)圖像修復(fù)完畢，得到整個(gè)多視點(diǎn)視頻源，其中，η為自然數(shù)。所述步驟2)使用基于條帶的全局對(duì)稱修復(fù)算法和逆向迭代算法對(duì)參考視點(diǎn)圖像的圖像邊界進(jìn)行紋理擴(kuò)展，具體流程為21)對(duì)參考視點(diǎn)圖像和對(duì)應(yīng)的深度圖擴(kuò)展一定象素寬度，生成邊界修復(fù)模板生成；22)設(shè)計(jì)包括相似度能量函數(shù)和平滑能量函數(shù)的馬爾可夫能量函數(shù)；23)采用基于條帶的形式設(shè)計(jì)逆向迭代神經(jīng)網(wǎng)絡(luò)節(jié)點(diǎn)；24)設(shè)置修復(fù)節(jié)點(diǎn)需要參考的像素范圍；25)采用BP算法選取待修復(fù)節(jié)點(diǎn)參考節(jié)點(diǎn)；26)使用逆向迭代算法求取馬爾可夫能量函數(shù)總和最小時(shí)待修復(fù)節(jié)點(diǎn)所對(duì)應(yīng)的參考節(jié)點(diǎn)，使用求取到的最優(yōu)參考節(jié)點(diǎn)對(duì)待修復(fù)節(jié)點(diǎn)進(jìn)行修復(fù)；27)重復(fù)上述步驟，把所有的條帶修復(fù)完成，則完成邊界擴(kuò)展紋理修復(fù)以及相關(guān)深度圖的修復(fù)擴(kuò)展。所述步驟3)使用深度圖像繪制技術(shù)對(duì)擴(kuò)展完的參考視點(diǎn)圖像根據(jù)深度圖進(jìn)行3D坐標(biāo)轉(zhuǎn)換，具體流程為31)將修復(fù)后的參考視點(diǎn)圖像根據(jù)深修復(fù)后的深度圖轉(zhuǎn)換到世界坐標(biāo)；32)將世界坐標(biāo)轉(zhuǎn)換到虛擬視點(diǎn)。
所述步驟31)中，對(duì)于錯(cuò)誤的深度值以及非整形的深度值使用一對(duì)多的方式映射。對(duì)于一個(gè)虛擬視點(diǎn)中的一個(gè)坐標(biāo)處有多個(gè)候選像素則采用深度值最小的像素值。所述步驟5)采用基于深度信息的可信度最優(yōu)全局修復(fù)算法對(duì)裁剪后的虛擬視點(diǎn)圖像的圖像空洞進(jìn)行填補(bǔ)，具體流程為51)設(shè)計(jì)包括相似度能量函數(shù)和平滑能量函數(shù)的馬爾可夫能量函數(shù)；52)對(duì)裁剪后的虛擬視點(diǎn)圖像設(shè)置修復(fù)模板；53)采用基于條帶的形式設(shè)計(jì)逆向迭代神經(jīng)網(wǎng)絡(luò)節(jié)點(diǎn)；54)為每個(gè)待修復(fù)節(jié)點(diǎn)設(shè)置參考節(jié)點(diǎn)的索引列表，設(shè)置參考節(jié)點(diǎn)范圍；55)選取待修復(fù)節(jié)點(diǎn)參考節(jié)點(diǎn)；56)對(duì)條帶內(nèi)的所有待修復(fù)節(jié)點(diǎn)使用其最優(yōu)的參考節(jié)點(diǎn)進(jìn)修修復(fù)；57)重復(fù)上述步驟，直到這一幀的所有虛擬視點(diǎn)修復(fù)完畢。所述步驟56)還包括對(duì)于還是存在的空洞，則采用去空洞縮放算法進(jìn)行處理。本發(fā)明的有益效果本發(fā)明特別針對(duì)需要生成邊界視點(diǎn)，或者只有2D+D的視頻 源，或者是從2D轉(zhuǎn)3D的情況，直接對(duì)其進(jìn)行修復(fù)，不用處理深度圖，不會(huì)產(chǎn)生前景失真，也不會(huì)帶來(lái)幾何畸變，而且處理后的圖像質(zhì)量更高。


圖I為本發(fā)明的處理流程圖；圖2為本發(fā)明的參考視點(diǎn)圖像的示意圖；圖3為本發(fā)明的參考視點(diǎn)圖像的深度圖的示意圖；圖4為本發(fā)明的圖像邊界紋理擴(kuò)展的示意圖；圖5為本發(fā)明的邊界修復(fù)模板的示意圖；圖6為本發(fā)明的圖像邊界紋理擴(kuò)展后的示意圖；圖7為本發(fā)明的剪切成原分辨率的虛擬視點(diǎn)圖像深度圖的示意圖；圖8為本發(fā)明的剪切成原分辨率的虛擬視點(diǎn)圖像的示意圖；圖9為本發(fā)明的參考視點(diǎn)圖像生成的虛擬視點(diǎn)圖像的深度圖的示意圖；圖10為本發(fā)明的參考視點(diǎn)圖像生成的虛擬視點(diǎn)圖像的示意圖；圖11為本發(fā)明的剪切前虛擬視點(diǎn)圖像深度圖的示意圖；圖12為本發(fā)明的剪切前虛擬視點(diǎn)圖像的示意圖；圖13為本發(fā)明的空洞修復(fù)后虛擬視點(diǎn)圖像深度圖的示意圖；圖14為本發(fā)明的空洞修復(fù)后虛擬視點(diǎn)圖像的示意圖；圖15為本發(fā)明的圖像空洞填補(bǔ)的示意圖。
具體實(shí)施例方式下面結(jié)合附圖對(duì)本發(fā)明的進(jìn)行進(jìn)一步闡述。如圖I至圖15所示，本發(fā)明的從視頻單視點(diǎn)到多視點(diǎn)的虛擬視點(diǎn)生成方法具體包括如下步驟I)輸入二維參考視頻源和對(duì)應(yīng)的深度圖，把視頻源和深度圖分解為一幀一幀的參考視點(diǎn)圖像。2)使用基于條帶的全局對(duì)稱修復(fù)算法和逆向迭代算法對(duì)參考視點(diǎn)圖像的圖像邊界進(jìn)行紋理擴(kuò)展，如圖4所示S區(qū)域表示參考區(qū)域，T區(qū)域表示待修復(fù)區(qū)域，使用S區(qū)域的像素去修復(fù)T區(qū)域內(nèi)的空白像素，gap表示兩個(gè)相鄰節(jié)點(diǎn)的像素距離，一個(gè)節(jié)點(diǎn)代表一個(gè)像素塊，一個(gè)像素塊長(zhǎng)和寬都等于2倍的gap，TT表示在T區(qū)域內(nèi)的2個(gè)像素塊重疊的區(qū)域，ST表示參考區(qū)域和待修復(fù)區(qū)域的重疊區(qū)域，白色節(jié)點(diǎn)表示待修復(fù)節(jié)點(diǎn)，黑色節(jié)點(diǎn)表示參考節(jié)點(diǎn)，一個(gè)待修復(fù)節(jié)點(diǎn)有一系列的參考節(jié)點(diǎn)，目標(biāo)是在S區(qū)域內(nèi)找到能最好修復(fù)T區(qū)域內(nèi)節(jié)點(diǎn)的參考節(jié)點(diǎn)。其具體過(guò)程如下21)對(duì)參考視點(diǎn)圖像和對(duì)應(yīng)的深度圖擴(kuò)展一定象素寬度，生成邊界修復(fù)模板生成。具體為首先對(duì)參考視點(diǎn)圖像和對(duì)應(yīng)的深度圖的左右兩側(cè)分別擴(kuò)展100個(gè)像素，對(duì)應(yīng)擴(kuò)展位置的每個(gè)像素的值設(shè)置為O ;然后設(shè)置與參考視點(diǎn)圖像相對(duì)應(yīng)的修復(fù)模板，設(shè)定擴(kuò)展位置的像素的值為0，參考幀位置的像素的值為255，其中O表示需要修復(fù)的區(qū)域；22)設(shè)計(jì)包括相似度能量函數(shù)和平滑能量函數(shù)的馬爾可夫能量函數(shù)。其中，相似度能量函數(shù)表示從源區(qū)域的像素塊和修復(fù)區(qū)域的像素塊的相似度，平滑能量函數(shù)則代表相鄰修復(fù)像素塊之間的平滑度， 其中，E(X)表示總的馬爾可夫能量函數(shù)，E1代表從T區(qū)域內(nèi)的待修復(fù)節(jié)點(diǎn)的參考節(jié)點(diǎn)和S區(qū)域內(nèi)的重疊區(qū)域ST的均方差，f 表示T區(qū)域內(nèi)的兩個(gè)待修復(fù)節(jié)點(diǎn)的參考節(jié)點(diǎn)的重疊區(qū)域TT內(nèi)的均方差，盡表示橫向的梯度和縱向的梯度平方之和，Ii1和k2表示權(quán)重，I表示當(dāng)前節(jié)點(diǎn)的可信度；23)設(shè)計(jì)逆向迭代(back propagation簡(jiǎn)稱BP)神經(jīng)網(wǎng)絡(luò)節(jié)點(diǎn)為加快修復(fù)速度，采用基于條帶的形式，即以gap (節(jié)點(diǎn)距離)為寬度在修復(fù)邊界處設(shè)置節(jié)點(diǎn)，以一列內(nèi)的節(jié)點(diǎn)作為一個(gè)條帶進(jìn)行修復(fù)；24)設(shè)置修復(fù)節(jié)點(diǎn)需要參考的像素范圍把參考范圍之內(nèi)的節(jié)點(diǎn)加入該節(jié)點(diǎn)的參考節(jié)點(diǎn)索引列表，其中每一個(gè)參考節(jié)點(diǎn)具有兩個(gè)索引值，正向?yàn)橐粋€(gè)索引值，逆向?yàn)橐粋€(gè)索引之，即求取能量函數(shù)時(shí)，正向索引值表示像素塊和像素塊是左上角對(duì)應(yīng)左上角像素，逆向索引值時(shí)，像素塊和像素塊是左上角像素對(duì)應(yīng)右上角像素；25)選取待修復(fù)節(jié)點(diǎn)參考節(jié)點(diǎn)采用BP (逆向迭代)算法對(duì)條帶內(nèi)的所有節(jié)點(diǎn)求取最小能量函數(shù)值所對(duì)應(yīng)的參考節(jié)點(diǎn)，此參考節(jié)點(diǎn)為最終用來(lái)修復(fù)的節(jié)點(diǎn)；26)使用逆向迭代算法求取馬爾可夫能量函數(shù)總和最小時(shí)待修復(fù)節(jié)點(diǎn)所對(duì)應(yīng)的參考節(jié)點(diǎn)，使用求取到的最優(yōu)參考節(jié)點(diǎn)對(duì)待修復(fù)節(jié)點(diǎn)進(jìn)行修復(fù)；
27)重復(fù)上述步驟，把所有的條帶修復(fù)完成，則完成邊界擴(kuò)展紋理修復(fù)以及相關(guān)深度圖的修復(fù)擴(kuò)展。3)使用深度圖像繪制技術(shù)(DIBR)對(duì)擴(kuò)展完的參考視點(diǎn)圖像根據(jù)深度圖進(jìn)行3D坐標(biāo)轉(zhuǎn)換，得到包含其余η個(gè)視點(diǎn)的虛擬視點(diǎn)圖像，具體過(guò)程為首先將修復(fù)后的參考視點(diǎn)圖像根據(jù)深修復(fù)后的深度圖轉(zhuǎn)換到世界坐標(biāo)；然后將世界坐標(biāo)轉(zhuǎn)換到虛擬視點(diǎn)。其中，對(duì)于錯(cuò)誤的深度值以及非整形的深度值使用一對(duì)多的方式映射，即從參考視頻圖像里面的一個(gè)像素值，映射到它對(duì)應(yīng)虛擬視點(diǎn)中像素值的相鄰4個(gè)像素值，然后對(duì)于一個(gè)虛擬視點(diǎn)中的一個(gè)坐標(biāo)處有多個(gè)候選像素則采用深度值最小的像素值。
4)把3D映射之后的虛擬視點(diǎn)圖像進(jìn)行原分辨率裁剪，保持虛擬視點(diǎn)圖像和參考視點(diǎn)圖像具有相同大小的分辨率。5)采用基于深度信息的可信度最優(yōu)全局修復(fù)算法對(duì)裁剪后的虛擬視點(diǎn)圖像的圖像空洞進(jìn)行填補(bǔ)，具體過(guò)程為51)設(shè)計(jì)包括相似度能量函數(shù)和平滑能量函數(shù)的馬爾可夫能量函數(shù)；52)對(duì)裁剪后的虛擬視點(diǎn)圖像設(shè)置修復(fù)模板，空洞處為待修復(fù)區(qū)域，其他區(qū)域?yàn)樾迯?fù)參考區(qū)域，由于空洞主要存在于垂直方向，故把虛擬視點(diǎn)圖像以條帶的形式劃分，以條帶的形式進(jìn)行修復(fù)；53)設(shè)計(jì)逆向迭代(back propagation簡(jiǎn)稱BP)神經(jīng)網(wǎng)絡(luò)節(jié)點(diǎn)為加快修復(fù)速度，采用基于條帶的形式，即以gap (節(jié)點(diǎn)距離)為寬度在修復(fù)邊界處設(shè)置節(jié)點(diǎn)，以一列內(nèi)的節(jié)點(diǎn)作為一個(gè)條帶進(jìn)行修復(fù)；54)為每個(gè)待修復(fù)節(jié)點(diǎn)設(shè)置參考節(jié)點(diǎn)的索引列表，設(shè)置參考節(jié)點(diǎn)范圍，只有深度值小于閥值的節(jié)點(diǎn)才列入?yún)⒖脊?jié)點(diǎn)列表，如圖使用S區(qū)域去修復(fù)T區(qū)域，D區(qū)域表示前景，不作為參考區(qū)域；55)選取待修復(fù)節(jié)點(diǎn)參考節(jié)點(diǎn)，對(duì)條帶內(nèi)的所有節(jié)點(diǎn)使用BP神經(jīng)網(wǎng)絡(luò)進(jìn)行求取馬爾可夫(MRF)能量函數(shù)最小值，這是修復(fù)節(jié)點(diǎn)所對(duì)應(yīng)的參考節(jié)點(diǎn)索引值，即為最佳參考像素塊；56)對(duì)條帶內(nèi)的所有待修復(fù)節(jié)點(diǎn)使用其最優(yōu)的參考節(jié)點(diǎn)進(jìn)修修復(fù)；57)對(duì)于還是存在的空洞，則采用去空洞縮放算法進(jìn)行處理，具體為使用高斯算子對(duì)原圖H進(jìn)行縮小，縮小時(shí)空洞處像素去除，得到圖像H1，然后再放大到與原圖H等大小的圖片F(xiàn)，使用圖片F(xiàn)相對(duì)應(yīng)的像素去填補(bǔ)H中的空洞；58)重復(fù)上述步驟，直到這一幀的所有虛擬視點(diǎn)修復(fù)完畢。6)重復(fù)上述步驟，直到整個(gè)參考視頻源所有參考視點(diǎn)圖像修復(fù)完畢，得到整個(gè)多視點(diǎn)視頻源。以上所述僅為本發(fā)明的較佳實(shí)施方式，本發(fā)明并不局限于上述實(shí)施方式，在實(shí)施過(guò)程中可能存在局部微小的結(jié)構(gòu)改動(dòng)，如果對(duì)本發(fā)明的各種改動(dòng)或變型不脫離本發(fā)明的精神和范圍，且屬于本發(fā)明的權(quán)利要求和等同技術(shù)范圍之內(nèi)，則本發(fā)明也意圖包含這些改動(dòng)和變型。
權(quán)利要求
1.一種從視頻單視點(diǎn)到多視點(diǎn)的虛擬視點(diǎn)生成方法，其特征在于，它包括 步驟I)提取視頻源和對(duì)應(yīng)的深度圖，將視頻源和對(duì)應(yīng)的深度圖分解為一幀一幀的參考視點(diǎn)圖像； 步驟2)對(duì)參考視點(diǎn)圖像的圖像邊界進(jìn)行紋理擴(kuò)展； 步驟3)對(duì)擴(kuò)展完的參考視點(diǎn)圖像根據(jù)深度圖進(jìn)行3D坐標(biāo)轉(zhuǎn)換，得到包含其余η個(gè)視點(diǎn)的虛擬視點(diǎn)圖像； 步驟4)把3D映射之后的虛擬視點(diǎn)圖像進(jìn)行原分辨率裁剪； 步驟5)對(duì)裁剪后的虛擬視點(diǎn)圖像的圖像空洞進(jìn)行填補(bǔ)； 步驟6)重復(fù)上述步驟，直到整個(gè)參考視頻源所有參考視點(diǎn)圖像修復(fù)完畢，得到整個(gè)多視點(diǎn)視頻源， 其中，η為自然數(shù)。
2.根據(jù)權(quán)利要求I所述的從視頻單視點(diǎn)到多視點(diǎn)的虛擬視點(diǎn)生成方法，其特征在于，所述步驟2)使用基于條帶的全局對(duì)稱修復(fù)算法和逆向迭代算法對(duì)參考視點(diǎn)圖像的圖像邊界進(jìn)行紋理擴(kuò)展，具體流程為 21)對(duì)參考視點(diǎn)圖像和對(duì)應(yīng)的深度圖擴(kuò)展一定象素寬度，生成邊界修復(fù)模板生成； 22)設(shè)計(jì)包括相似度能量函數(shù)和平滑能量函數(shù)的馬爾可夫能量函數(shù)； 23)采用基于條帶的形式設(shè)計(jì)逆向迭代神經(jīng)網(wǎng)絡(luò)節(jié)點(diǎn)； 24)設(shè)置修復(fù)節(jié)點(diǎn)需要參考的像素范圍； 25)采用BP算法選取待修復(fù)節(jié)點(diǎn)參考節(jié)點(diǎn)； 26)使用逆向迭代算法求取馬爾可夫能量函數(shù)總和最小時(shí)待修復(fù)節(jié)點(diǎn)所對(duì)應(yīng)的參考節(jié)點(diǎn)，使用求取到的最優(yōu)參考節(jié)點(diǎn)對(duì)待修復(fù)節(jié)點(diǎn)進(jìn)行修復(fù)； 27)重復(fù)上述步驟，把所有的條帶修復(fù)完成，則完成邊界擴(kuò)展紋理修復(fù)以及相關(guān)深度圖的修復(fù)擴(kuò)展。
3.根據(jù)權(quán)利要求I所述的從視頻單視點(diǎn)到多視點(diǎn)的虛擬視點(diǎn)生成方法，其特征在于，所述步驟3)使用深度圖像繪制技術(shù)對(duì)擴(kuò)展完的參考視點(diǎn)圖像根據(jù)深度圖進(jìn)行3D坐標(biāo)轉(zhuǎn)換，具體流程為 31)將修復(fù)后的參考視點(diǎn)圖像根據(jù)深修復(fù)后的深度圖轉(zhuǎn)換到世界坐標(biāo)； 32)將世界坐標(biāo)轉(zhuǎn)換到虛擬視點(diǎn)。
4.根據(jù)權(quán)利要求3所述的從視頻單視點(diǎn)到多視點(diǎn)的虛擬視點(diǎn)生成方法，其特征在于，所述步驟31)中，對(duì)于錯(cuò)誤的深度值以及非整形的深度值使用一對(duì)多的方式映射。
5.根據(jù)權(quán)利要求4所述的從視頻單視點(diǎn)到多視點(diǎn)的虛擬視點(diǎn)生成方法，其特征在于，對(duì)于一個(gè)虛擬視點(diǎn)中的一個(gè)坐標(biāo)處有多個(gè)候選像素則采用深度值最小的像素值。
6.根據(jù)權(quán)利要求I所述的從視頻單視點(diǎn)到多視點(diǎn)的虛擬視點(diǎn)生成方法，其特征在于，所述步驟5)采用基于深度信息的可信度最優(yōu)全局修復(fù)算法對(duì)裁剪后的虛擬視點(diǎn)圖像的圖像空洞進(jìn)行填補(bǔ)，具體流程為 51)設(shè)計(jì)包括相似度能量函數(shù)和平滑能量函數(shù)的馬爾可夫能量函數(shù)； 52)對(duì)裁剪后的虛擬視點(diǎn)圖像設(shè)置修復(fù)模板； 53)采用基于條帶的形式設(shè)計(jì)逆向迭代神經(jīng)網(wǎng)絡(luò)節(jié)點(diǎn)； 54)為每個(gè)待修復(fù)節(jié)點(diǎn)設(shè)置參考節(jié)點(diǎn)的索引列表，設(shè)置參考節(jié)點(diǎn)范圍；55)選取待修復(fù)節(jié)點(diǎn)參考節(jié)點(diǎn)； 56)對(duì)條帶內(nèi)的所有待修復(fù)節(jié)點(diǎn)使用其最優(yōu)的參考節(jié)點(diǎn)進(jìn)修修復(fù)； 57)重復(fù)上述步驟，直到這一幀的所有虛擬視點(diǎn)修復(fù)完畢。
7.根據(jù)權(quán)利要求6所述的從視頻單視點(diǎn)到多視點(diǎn)的虛擬視點(diǎn)生成方法，其特征在于，所述步驟56)還包括對(duì)于還是存在的空洞，則采用去空洞縮放算法進(jìn)行處理。
全文摘要
本發(fā)明公開(kāi)了一種從視頻單視點(diǎn)到多視點(diǎn)的虛擬視點(diǎn)生成方法，它包括1)輸入二維參考視頻源和對(duì)應(yīng)的深度圖，把視頻源和深度圖分解為一幀一幀的參考視點(diǎn)圖像；2)使用基于條帶的全局對(duì)稱修復(fù)算法和逆向迭代算法對(duì)參考視點(diǎn)圖像的圖像邊界進(jìn)行紋理擴(kuò)展；3)使用深度圖像繪制技術(shù)對(duì)擴(kuò)展完的參考視點(diǎn)圖像根據(jù)深度圖進(jìn)行3D坐標(biāo)轉(zhuǎn)換，得到包含其余n個(gè)視點(diǎn)的虛擬視點(diǎn)圖像；4)把3D映射之后的虛擬視點(diǎn)圖像進(jìn)行原分辨率裁剪；5)采用基于深度信息的可信度最優(yōu)全局修復(fù)算法對(duì)裁剪后的虛擬視點(diǎn)圖像的圖像空洞進(jìn)行填補(bǔ)；6)重復(fù)上述步驟，直到整個(gè)參考視頻源所有參考視點(diǎn)圖像修復(fù)完畢，得到整個(gè)多視點(diǎn)視頻源。
文檔編號(hào)H04N13/02GK102957936SQ20121025894
公開(kāi)日2013年3月6日 申請(qǐng)日期2012年7月25日 優(yōu)先權(quán)日2012年7月25日
發(fā)明者龐志勇, 桂海田, 陳弟虎 申請(qǐng)人:中山大學(xué)