專利名稱：一種用于三維立體視頻的深度快速插幀方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用于三維立體視頻的深度快速插幀方法，屬于視頻處理技術(shù)領(lǐng)域。
背景技術(shù)：
三維立體視頻已經(jīng)在眾多應(yīng)用中代替?zhèn)鹘y(tǒng)的二維彩色電視，因?yàn)樗軌蚪o用戶帶來全新的觀看體驗(yàn)用戶可以獲得更真實(shí)的三維場(chǎng)景體驗(yàn)和感受，可以自由地選擇觀看的視點(diǎn)并且隨時(shí)在不同視點(diǎn)間進(jìn)行切換。同傳統(tǒng)二維視頻相比，三維立體視頻在視覺效果和用戶交互性上的巨大優(yōu)勢(shì)，使得三維立體視頻成為研究的熱點(diǎn)，得到迅速發(fā)展和普及。目前一種常用的三維立體視頻顯示技術(shù)為“視頻+深度”技術(shù)使用一路彩色視頻來表達(dá)紋理信息，并且使用一路與其對(duì)應(yīng)的深度視頻來表達(dá)彩色視頻中每個(gè)像素點(diǎn)的縱向深度信息。其中彩色視頻為傳統(tǒng)的彩色視頻；深度視頻是與彩色視頻“像素-像素”對(duì)應(yīng)的，且每個(gè)像素的值在O 255范圍內(nèi)的灰度視頻。實(shí)際應(yīng)用中，要求深度視頻具有和彩色視頻相同的幀率，然而由于深度視頻的采集設(shè)備、合成算法等的限制，采集到的深度視頻通常具有較低的幀率。此外，出于三維立體視頻壓縮方面的考慮，深度視頻也經(jīng)常在壓縮傳輸之前對(duì)其降低幀率，而在解碼之后恢復(fù)幀率進(jìn)行應(yīng)用。綜上所述，深度視頻的插幀是其實(shí)際應(yīng)用中非常重要的技術(shù)。深度視頻的作用是給出每個(gè)像素點(diǎn)的深度信息，因此深度視頻具有會(huì)對(duì)三維視覺效果造成影響的兩個(gè)要求I)深度圖中的物體要求有清晰地邊緣；2)—個(gè)物體內(nèi)部，局部具有相同的深度值。在深度視頻壓縮的過程中，應(yīng)該盡量保證上述兩點(diǎn)，這樣才能保證良好的三維效果，否則在合成立體效果的時(shí)候，會(huì)產(chǎn)生一些噪點(diǎn)。因此，深度視頻插幀算法需要盡可能的保證以上兩點(diǎn)要求。作為一個(gè)傳統(tǒng)的問題，視頻插幀已經(jīng)具有幾十年的研究歷史，其中插幀效果最好，最廣泛應(yīng)用的方法為基于塊運(yùn)動(dòng)估計(jì)的幀填充算法。然而傳統(tǒng)的基于塊運(yùn)動(dòng)估計(jì)的幀填充算法具有一些明顯的缺陷1)運(yùn)動(dòng)估計(jì)的時(shí)間開銷很大，從而導(dǎo)致插幀效率很低；2)直接利用深度視頻進(jìn)行運(yùn)動(dòng)估計(jì)不夠準(zhǔn)確。為了克服第二個(gè)問題，一些方法提出使用高幀率的彩色視頻的來進(jìn)行塊運(yùn)動(dòng)估計(jì)，來得到更為準(zhǔn)確的插幀效果。但使用彩色視頻進(jìn)行運(yùn)動(dòng)估計(jì)，進(jìn)一步增大的了運(yùn)動(dòng)估計(jì)的時(shí)間開銷。因此，為滿足實(shí)際應(yīng)用的要求，需要提出一個(gè)快速的深度視頻插幀算法。本文算法，將插幀過程與視頻編碼過程結(jié)合起來，并且改進(jìn)了插幀中的填充算法，最終在保證高插幀質(zhì)量的情況下，大大提高了插幀速度。

發(fā)明內(nèi)容
本發(fā)明的目的是提出一種用于三維立體視頻的深度快速插幀方法，以應(yīng)對(duì)各種原因造成的低幀率深度視頻，既可應(yīng)對(duì)采集設(shè)備造成的低幀率，也可處理由于深度圖片合成速度較低只能合成關(guān)鍵幀的缺陷，并且可以用于為編碼壓縮深度視頻而特意降低的深度視頻幀率。
本發(fā)明提出的用于三維立體視頻的深度快速插幀方法，包括以下步驟(I)設(shè)定一個(gè)三維立體視頻中彩色視頻的編碼結(jié)構(gòu)，使采集到的三維立體視頻中深度視頻幀與采集到的三維立體視頻中彩色視頻的I幀和P幀相對(duì)應(yīng)，使待插的三維立體視頻中深度視頻幀與采集到的三維立體視頻中彩色視頻的B幀相對(duì)應(yīng)，初始化待插的深度視頻幀的每個(gè)像素點(diǎn)的深度值為-I ；(2)將上述三維立體視頻中彩色視頻的B幀分成多個(gè)4X4的彩色像素塊，從三維立體視頻彩色視頻的碼流中，讀取彩色視頻的B幀中每個(gè)彩色像素塊在時(shí)序相鄰的I幀或P幀中的對(duì)應(yīng)的彩色像素塊的位置改變量，若讀取到對(duì)應(yīng)的彩色像素塊，則進(jìn)行步驟(3)，若讀取不到相關(guān)信息，則與該彩色像素塊相對(duì)應(yīng)的待插深度像素塊的每個(gè)像素點(diǎn)的深度值保持不變；(3)根據(jù)上述讀取的彩色像素塊位置改變量，(I)若在時(shí)序相鄰的前后I幀或P幀中存在一個(gè)對(duì)應(yīng)的彩色像素塊，則采用以下 方法，對(duì)與該彩色像素塊相對(duì)應(yīng)的深度像素塊進(jìn)行填充，該方法包括以下步驟( 3-1)設(shè)待插深度視頻幀為D，待填充的深度像素塊為K，與K對(duì)應(yīng)的彩色像素塊為與待插深度視頻幀為D對(duì)應(yīng)的彩色視頻幀F(xiàn)中的像素塊Γ，從彩色視頻的碼流中讀取Γ在時(shí)序相鄰的彩色視頻幀F(xiàn)k中對(duì)應(yīng)的彩色像素塊K/，設(shè)與彩色視頻幀F(xiàn)k對(duì)應(yīng)的深度視頻幀為DK，得到深度視頻幀Dk中位置與彩色像素塊K/相同的深度像素塊Kk ；(3-2)計(jì)算彩色像素塊Γ和K/中各對(duì)應(yīng)的像素點(diǎn)顏色值差的絕對(duì)值的和，記為SAD,
權(quán)利要求
1.一種用于三維立體視頻的深度快速插幀方法，其特征在于該方法包括以下步驟 (1)設(shè)定一個(gè)三維立體視頻中彩色視頻的編碼結(jié)構(gòu)，使采集到的三維立體視頻中深度視頻幀與采集到的三維立體視頻中彩色視頻的I幀和P幀相對(duì)應(yīng)，使待插的三維立體視頻中深度視頻幀與采集到的三維立體視頻中彩色視頻的B幀相對(duì)應(yīng)，初始化待插的深度視頻幀的每個(gè)像素點(diǎn)的深度值為-I ; (2)將上述三維立體視頻中彩色視頻的B幀分成多個(gè)4X4的彩色像素塊，從三維立體視頻彩色視頻的碼流中，讀取彩色視頻的B幀中每個(gè)彩色像素塊在時(shí)序相鄰的I幀或P幀中的對(duì)應(yīng)的彩色像素塊的位置改變量，若讀取到對(duì)應(yīng)的彩色像素塊，則進(jìn)行步驟(3)，若讀取不到相關(guān)信息，則與該彩色像素塊相對(duì)應(yīng)的待插深度像素塊的每個(gè)像素點(diǎn)的深度值保持不變； (3)根據(jù)上述讀取的彩色像素塊位置改變量， (I )若在時(shí)序相鄰的前后I幀或P幀中存在一個(gè)對(duì)應(yīng)的彩色像素塊，則采用以下方法，對(duì)與該彩色像素塊相對(duì)應(yīng)的深度像素塊進(jìn)行填充，該方法包括以下步驟 (3-1)設(shè)待插深度視頻幀為D，待填充的深度像素塊為K，與K對(duì)應(yīng)的彩色像素塊為與待插深度視頻幀為D對(duì)應(yīng)的彩色視頻幀F(xiàn)中的像素塊K'，從彩色視頻的碼流中讀取K'在時(shí)序相鄰的彩色視頻幀F(xiàn)k中對(duì)應(yīng)的彩色像素塊K/，設(shè)與彩色視頻幀F(xiàn)k對(duì)應(yīng)的深度視頻幀為De,得到深度視頻幀Dk中位置與彩色像素塊K/相同的深度像素塊Kk ； (3-2)計(jì)算彩色像素塊K'和K/中各對(duì)應(yīng)的像素點(diǎn)顏色值差的絕對(duì)值的和，記為SAD， SAD = ^2 cK'J)-CK. (h j) 7=0 /=OR 其中CK, (i, j)表示彩色像素塊K'中像素點(diǎn)(i, j)的顏色值，i為該彩色像素點(diǎn)在K'中的橫坐標(biāo)，j為該彩色像素點(diǎn)在K'中的縱坐標(biāo),為彩色像素塊K/中像素點(diǎn)(i, j)的顏色值； (3-3)設(shè)定一個(gè)判斷閾值，判斷閾值的取值為10 20之間的任意數(shù)，將上述SAD與判斷閾值進(jìn)行比較，若SAD小于判斷閾值，則將深度像素塊Kk填充到深度像素塊K中，若SAD大于或等于判斷閾值，則使用以下步驟進(jìn)行填充 (3-3-1)將像素塊Kk擴(kuò)展為8X8的超大深度像素塊SBk，并在彩色視頻幀F(xiàn)k中找的與超大深度像素塊SBk位置相同的超大彩色像素塊SBk，； (3-3-2)設(shè)定一個(gè)彩色值變量C，變量c的取值范圍為0 255，若超大彩色像素塊SB/中至少有一個(gè)像素點(diǎn)的彩色值為C，則計(jì)算SB/中所有彩色值為c的像素點(diǎn)在超大深度像素塊SBk中對(duì)應(yīng)的像素點(diǎn)的深度值的平均值，定義該平均值為dv[c]，并記錄一個(gè)標(biāo)志變量m[c]為I ;若超大彩色像素塊SB/中沒有彩色值為c的像素點(diǎn)，則將平均值dv[c]賦值為零，標(biāo)志變量m[c]賦值為0 ; (3-3-3)從與待填充的深度像素塊K相對(duì)應(yīng)的彩色像素塊K'中，找到彩色像素點(diǎn)(u, v)的彩色值c (U，V)，定義g為一個(gè)高斯核，Q為以c(u，v)為中心的顏色搜索范圍，根據(jù)上述計(jì)算得到的平均值dv[c]和標(biāo)志變量m[c]，計(jì)算兩個(gè)中間變量depthSum= E c G ^dv (c)m(c) g (| |c_c(u, v) | |)weightSum= E c e (c) g (| | c_c (u, v) | |)對(duì)兩個(gè)中間值進(jìn)行判斷，若weightSum幸O，則待填充的深度像素塊K中深度像素點(diǎn) (U，V)的深度值 d (U，V)為
全文摘要
本發(fā)明涉及一種用于三維立體視頻的深度快速插幀方法，屬于視頻處理領(lǐng)域。首先，根據(jù)深度視頻的幀率選擇彩色視頻的編碼結(jié)構(gòu)，使待插幀的深度幀與彩色視頻的B幀相對(duì)應(yīng)；在解碼端直接提取彩色視頻的運(yùn)動(dòng)向量，用于找到待插入的深度宏塊對(duì)應(yīng)的參考宏塊；使用改進(jìn)的深度宏塊填充算法對(duì)待插入的深度宏塊進(jìn)行填充。本發(fā)明的優(yōu)點(diǎn)是利用了彩色視頻做運(yùn)動(dòng)估計(jì)，并且使用改進(jìn)的填充算法，極大的提高了深度視頻插幀的質(zhì)量，讓恢復(fù)的深度視頻具有更清晰的物體邊緣和更好的局部平滑特性，得到更好的三維立體視覺效果。本發(fā)明直接讀取的彩色視頻的運(yùn)動(dòng)信息，從而省略了插幀時(shí)做運(yùn)動(dòng)估計(jì)的步驟，極大的提高了插幀的效率，更適合于實(shí)際工業(yè)應(yīng)用。
文檔編號(hào)H04N13/02GK102761765SQ201210246790
公開日2012年10月31日 申請(qǐng)日期2012年7月16日 優(yōu)先權(quán)日2012年7月16日
發(fā)明者孫立峰, 李彥潔 申請(qǐng)人:清華大學(xué)