雙目3d視頻轉(zhuǎn)多目3d視頻的方法
【專利摘要】本發(fā)明涉及雙目3D視頻轉(zhuǎn)多目3D視頻的方法，包括：a.將視頻轉(zhuǎn)換為序列幀；b.設(shè)置渲染參數(shù)，將當(dāng)前幀圖拆分成左右兩路圖像進(jìn)行縮放；c.設(shè)置濾波和圖像分割參數(shù)，對(duì)圖像進(jìn)行濾波和圖像分割；d.計(jì)算出初始視差值；設(shè)置消息迭代參數(shù)，進(jìn)行平面擬合；e.將各分割區(qū)域的能量函數(shù)最小時(shí)的視差平面參數(shù)作為該區(qū)域最佳視差平面參數(shù)；f.對(duì)各分割區(qū)域的視差值重新估計(jì)，并進(jìn)行高斯濾波處理；g.重復(fù)n次步驟c～f，計(jì)算出n幀圖像的運(yùn)動(dòng)向量，并進(jìn)行幀間平滑操作；h.渲染虛擬視點(diǎn)并拼接成多宮格圖像，壓縮成視頻。本發(fā)明有效解決了裸眼3D片源匱乏的問(wèn)題，在對(duì)普通3D格式視頻轉(zhuǎn)為多視點(diǎn)3D視頻中，有效降低了3D制作成本，提高了3D顯示效果。
【專利說(shuō)明】雙目3D視頻轉(zhuǎn)多目3D視頻的方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及視頻處理，具體的講是雙目3D視頻轉(zhuǎn)多目3D視頻的方法。
【背景技術(shù)】
[0002]隨著自由立體顯示技術(shù)的發(fā)展，裸眼3D顯示技術(shù)逐漸成為一個(gè)熱門(mén)的研究課題。裸眼3D顯示技術(shù)以其特有的視覺(jué)沖擊力吸引了越來(lái)越多的關(guān)注，如今絕大多數(shù)裸眼3D顯示解決方案都是基于多視點(diǎn)的方案，因此對(duì)節(jié)目片源有著特殊的需求。一方面可以通過(guò)3DMAX、MAYA等建模軟件定制節(jié)目片源，但遠(yuǎn)遠(yuǎn)不能滿足需要，另一方面可以通過(guò)將普通3D格式視頻轉(zhuǎn)為多視點(diǎn)3D視頻，以滿足多視點(diǎn)3D方案對(duì)節(jié)目片源的需求，通過(guò)雙目轉(zhuǎn)多目的方案極大的豐富了節(jié)目類型、降低了節(jié)目制作成本并且可達(dá)到與定制片源相媲美的裸眼3D顯示效果。

【發(fā)明內(nèi)容】

[0003]本發(fā)明提供了一種雙目3D視頻轉(zhuǎn)多目3D視頻的方法，以解決現(xiàn)有裸眼3D片源嚴(yán)重匱乏的問(wèn)題，并且可以降低3D制作成本，提高3D顯示效果。
[0004]本發(fā)明雙目3D視頻轉(zhuǎn)多目3D視頻的方法，包括:
[0005]a.提取待轉(zhuǎn)換視頻的視頻幀，并按視頻的順序保存視頻幀，例如使用AVS腳本對(duì)視頻進(jìn)行轉(zhuǎn)換；
[0006]b.設(shè)置需要渲染的虛擬視點(diǎn)的個(gè)數(shù)和輸出多目視頻幀的分辨率，由于輸入幀一般是左右格式，因此需要將當(dāng)前幀圖拆分成單獨(dú)的左右兩路圖像，并將左右兩路圖像采用立方體插值算法進(jìn)行縮放；
[0007]c.設(shè)置快速雙邊濾波算法參數(shù)后，對(duì)所述左右兩路圖像分別進(jìn)行快速雙邊濾波算法濾波；然后設(shè)置圖像分割算法參數(shù)，對(duì)經(jīng)快速雙邊濾波后的左右路圖像進(jìn)行圖像分割；
[0008]d.設(shè)置左右路圖像的視差范圍和立體匹配像素點(diǎn)參考窗口大小，視差范圍為[-disp disp]，disp為正整數(shù)，disp的值為一個(gè)經(jīng)驗(yàn)值。對(duì)左右圖像在視差范圍內(nèi)執(zhí)行SAD算法(Sum of absolute differences, 一種圖像匹配算法)，并米用 WTA (Winer Take All)策略計(jì)算出初始視差值；再設(shè)置置信傳播算法消息迭代參數(shù)，利用圖像分割信息進(jìn)行平面擬合，每個(gè)分割區(qū)域均可得到一組平面參數(shù)；
[0009]e.對(duì)每個(gè)分割區(qū)域，利用置信傳播算法計(jì)算該區(qū)域與其相鄰區(qū)域的能量函數(shù)總和，并將每個(gè)區(qū)域能量函數(shù)取最小時(shí)對(duì)應(yīng)的視差平面參數(shù)作為該區(qū)域的最佳視差平面參數(shù)，具體方法在南京航空航天大學(xué)碩士論文《基于圖像分割的置信傳播立體匹配算法研究》，作者:李彬彬，一文中有詳細(xì)描述；
[0010]f.對(duì)每個(gè)分割區(qū)域用步驟e所述的最佳視差平面參數(shù)對(duì)分割區(qū)域內(nèi)的所有視差值進(jìn)行重新估計(jì)，并對(duì)重新估計(jì)后的視差圖進(jìn)行高斯濾波處理；
[0011]g.重復(fù)η次步驟c?f，得到連續(xù)η幀視差圖對(duì)應(yīng)的原始左右路視頻幀圖像，利用特征點(diǎn)檢測(cè)與特征匹配算法計(jì)算出所述η幀圖像的運(yùn)動(dòng)向量；根據(jù)計(jì)算出的運(yùn)動(dòng)向量，對(duì)已計(jì)算出的η幀視差圖像進(jìn)行幀間平滑操作并保存；其中η為自然數(shù)，一般取值為6?10 ;
[0012]h.運(yùn)用原始左右路圖像并結(jié)合對(duì)應(yīng)的視差圖像，根據(jù)多視點(diǎn)渲染公式，結(jié)合步驟b中設(shè)置的需要渲染的虛擬視點(diǎn)的個(gè)數(shù)，進(jìn)行虛擬視點(diǎn)的渲染，然后將渲染之后的多路圖像根據(jù)視點(diǎn)的個(gè)數(shù)對(duì)應(yīng)的規(guī)則拼接成多宮格圖像，如:4視點(diǎn)拼接成4宮格，8視點(diǎn)拼接成9宮格。最后將多宮格序列幀壓縮成視頻，即可在裸眼3D播放器中進(jìn)行播放。
[0013]進(jìn)一步的，步驟b中需要渲染的虛擬視點(diǎn)的個(gè)數(shù)為4視點(diǎn)或8視點(diǎn)；輸出多目視頻幀的分辨率為1920X1080 ;左右兩路圖像縮放到960X540。
[0014]具體的，步驟c中設(shè)置的快速雙邊濾波算法參數(shù)包括:濾波窗口大小、顏色分量值和位置分量值；圖像分割算法參數(shù)包括:色彩閾值、半徑閾值和最小區(qū)域的像素點(diǎn)個(gè)數(shù)。
[0015]優(yōu)選的，在對(duì)所述左右兩路圖像分別進(jìn)行快速雙邊濾波算法濾波前，將左右路圖像的顏色空間從RGB轉(zhuǎn)為L(zhǎng)ab色彩模型，濾波后將濾波結(jié)果的顏色空間從Lab色彩模型轉(zhuǎn)為RGB并保存濾波結(jié)果。經(jīng)過(guò)顏色空間轉(zhuǎn)換將取得更加好的濾波效果。
[0016]具體的，步驟d中置信傳播算法消息迭代參數(shù)包括:不連續(xù)懲罰因子、消息迭代后的比例因子和消息迭代后的次數(shù)。
[0017]進(jìn)一步的，步驟d中在設(shè)置置信傳播算法消息迭代參數(shù)之前，還要應(yīng)用左右一致性檢測(cè)規(guī)則對(duì)初始視差值進(jìn)行檢測(cè)，符合該規(guī)則的標(biāo)記為可信視差，不符合該規(guī)則的標(biāo)記為不可信視差；在進(jìn)行平面擬合時(shí)，利用圖像分割信息結(jié)合該分割區(qū)域內(nèi)所有標(biāo)記為可信視差的像素點(diǎn)的視差值進(jìn)行平面擬合。
[0018]進(jìn)一步的，步驟h中在對(duì)虛擬視點(diǎn)渲染后，如果渲染后圖像在左右路視差范圍內(nèi)，用左右路互填空洞的方法進(jìn)行空洞區(qū)域填補(bǔ)，如果圖像在視差范圍之外則使用圖像修補(bǔ)算法對(duì)空洞區(qū)域進(jìn)行填補(bǔ)，然后再進(jìn)行所述的多宮格圖像拼接。
[0019]本發(fā)明雙目3D視頻轉(zhuǎn)多目3D視頻的方法，有效的解決了現(xiàn)有裸眼3D片源匱乏的問(wèn)題，在對(duì)普通雙目3D格式視頻轉(zhuǎn)為多視點(diǎn)3D視頻中，能夠有效降低3D制作成本，并且提聞了 3D顯不效果。
[0020]以下結(jié)合實(shí)施例的【具體實(shí)施方式】，對(duì)本發(fā)明的上述內(nèi)容再作進(jìn)一步的詳細(xì)說(shuō)明。但不應(yīng)將此理解為本發(fā)明上述主題的范圍僅限于以下的實(shí)例。在不脫離本發(fā)明上述技術(shù)思想情況下，根據(jù)本領(lǐng)域普通技術(shù)知識(shí)和慣用手段做出的各種替換或變更，均應(yīng)包括在本發(fā)明的范圍內(nèi)?！揪唧w實(shí)施方式】
[0021]本發(fā)明雙目3D視頻轉(zhuǎn)多目3D視頻的方法，包括:
[0022]a.使用AVS腳本將待轉(zhuǎn)換視頻轉(zhuǎn)換為序列幀，并按視頻的順序保存視頻幀；
[0023]b.設(shè)置需要渲染的虛擬視點(diǎn)的個(gè)數(shù)，一般為4視點(diǎn)或8視點(diǎn)，再設(shè)置輸出多目視頻幀的分辨率為1920X1080。由于輸入幀一般是左右格式，因此需要將當(dāng)前幀圖拆分成單獨(dú)的左右兩路圖像，并將左右兩路圖像采用立方體插值算法縮放到960X540 ；
[0024]c.設(shè)置快速雙邊濾波算法參數(shù)，包括:濾波窗口大小、顏色分量的sigma值和位置分量的sigma值(sigma是一個(gè)參數(shù)，是雙邊濾波中的一個(gè)專業(yè)術(shù)語(yǔ))。將左右路圖像的顏色空間從RGB轉(zhuǎn)為L(zhǎng)ab色彩模型，對(duì)所述左右兩路圖像分別進(jìn)行快速雙邊濾波算法濾波，濾波后將濾波結(jié)果的顏色空間從Lab色彩模型轉(zhuǎn)為RGB并保存濾波結(jié)果。經(jīng)過(guò)顏色空間轉(zhuǎn)換將取得更加好的濾波效果。然后設(shè)置圖像分割算法參數(shù)，包括:色彩閾值、半徑閾值和最小區(qū)域的像素點(diǎn)個(gè)數(shù)，對(duì)經(jīng)快速雙邊濾波后的左右路圖像進(jìn)行圖像分割；[0025]d.設(shè)直左右路圖像的視差范圍和立體匹配像素點(diǎn)參考窗口大小，視差范圍為[-disp disp]，disp為正整數(shù)，disp的值為一個(gè)經(jīng)驗(yàn)值。對(duì)左右圖像在視差范圍內(nèi)執(zhí)行SAD算法(Sum of absolute differences, 一種圖像匹配算法)，并釆用WTA的算法計(jì)算出初始視差值；SAD算法的計(jì)算公式為:
【權(quán)利要求】
1.雙目3D視頻轉(zhuǎn)多目3D視頻的方法，其特征包括: a.提取待轉(zhuǎn)換視頻的視頻巾貞，并按視頻的順序保存視頻巾貞； b.設(shè)置需要渲染的虛擬視點(diǎn)的個(gè)數(shù)和輸出多目視頻幀的分辨率，將當(dāng)前幀圖拆分成單獨(dú)的左右兩路圖像，并將左右兩路圖像采用立方體插值算法進(jìn)行縮放； c.設(shè)置快速雙邊濾波算法參數(shù)后，對(duì)所述左右兩路圖像分別進(jìn)行快速雙邊濾波算法濾波；然后設(shè)置圖像分割算法參數(shù)，對(duì)經(jīng)快速雙邊濾波后的左右路圖像進(jìn)行圖像分割； d.設(shè)置左右路圖像的視差范圍和立體匹配像素點(diǎn)參考窗口大小，對(duì)左右圖像在視差范圍內(nèi)執(zhí)行SAD算法，并采用WTA策略計(jì)算出初始視差值；再設(shè)置置信傳播算法消息迭代參數(shù)，利用圖像分割信息進(jìn)行平面擬合，每個(gè)分割區(qū)域均可得到一組平面參數(shù)； e.對(duì)每個(gè)分割區(qū)域，利用置信傳播算法計(jì)算該區(qū)域與其相鄰區(qū)域的能量函數(shù)總和，并將每個(gè)區(qū)域能量函數(shù)取最小時(shí)對(duì)應(yīng)的視差平面參數(shù)作為該區(qū)域的最佳視差平面參數(shù)； f.對(duì)每個(gè)分割區(qū)域用步驟e所述的最佳視差平面參數(shù)對(duì)分割區(qū)域內(nèi)的所有視差值進(jìn)行重新估計(jì)，并對(duì)重新估計(jì)后的視差圖進(jìn)行高斯濾波處理； g.重復(fù)η次步驟c?f，得到連續(xù)η幀視差圖對(duì)應(yīng)的原始左右路視頻幀圖像，利用特征點(diǎn)檢測(cè)與特征匹配算法計(jì)算出所述η幀圖像的運(yùn)動(dòng)向量；根據(jù)計(jì)算出的運(yùn)動(dòng)向量，對(duì)已計(jì)算出的η幀視差圖像進(jìn)行幀間平滑操作并保存；其中η為自然數(shù)； h.運(yùn)用原始左右路圖像并結(jié)合對(duì)應(yīng)的視差圖像，根據(jù)多視點(diǎn)渲染公式，結(jié)合步驟b中設(shè)置的需要渲染的虛擬視點(diǎn)的個(gè)數(shù)，進(jìn)行虛擬視點(diǎn)的渲染，然后將渲染之后的多路圖像根據(jù)視點(diǎn)的個(gè)數(shù)對(duì)應(yīng)的規(guī)則拼接成多宮格圖像，最后將多宮格序列幀壓縮成視頻。
2.如權(quán)利要求1所述的雙目3D視頻轉(zhuǎn)多目3D視頻的方法，其特征為:步驟b中需要渲染的虛擬視點(diǎn)的個(gè)數(shù)為4視點(diǎn)或8視點(diǎn)；輸出多目視頻幀的分辨率為1920 X 1080 ;左右兩路圖像縮放到960X540。
3.如權(quán)利要求1所述的雙目3D視頻轉(zhuǎn)多目3D視頻的方法，其特征為:步驟c中設(shè)置的快速雙邊濾波算法參數(shù)包括:濾波窗口大小、顏色分量值和位置分量值；圖像分割算法參數(shù)包括:色彩閾值、半徑閾值和最小區(qū)域的像素點(diǎn)個(gè)數(shù)。
4.如權(quán)利要求1所述的雙目3D視頻轉(zhuǎn)多目3D視頻的方法，其特征為:在對(duì)所述左右兩路圖像分別進(jìn)行快速雙邊濾波算法濾波前，將左右路圖像的顏色空間從RGB轉(zhuǎn)為L(zhǎng)ab色彩模型，濾波后將濾波結(jié)果的顏色空間從Lab色彩模型轉(zhuǎn)為RGB并保存濾波結(jié)果。
5.如權(quán)利要求1所述的雙目3D視頻轉(zhuǎn)多目3D視頻的方法，其特征為:步驟d中置信傳播算法消息迭代參數(shù)包括:不連續(xù)懲罰因子、消息迭代后的比例因子和消息迭代后的次數(shù)。
6.如權(quán)利要求1所述的雙目3D視頻轉(zhuǎn)多目3D視頻的方法，其特征為:步驟d中在設(shè)置置信傳播算法消息迭代參數(shù)之前，還要應(yīng)用左右一致性檢測(cè)規(guī)則對(duì)初始視差值進(jìn)行檢測(cè)，符合該規(guī)則的標(biāo)記為可信視差，不符合該規(guī)則的標(biāo)記為不可信視差；在進(jìn)行平面擬合時(shí)，利用圖像分割信息結(jié)合該分割區(qū)域內(nèi)所有標(biāo)記為可信視差的像素點(diǎn)的視差值進(jìn)行平面擬合。
7.如權(quán)利要求1所述的雙目3D視頻轉(zhuǎn)多目3D視頻的方法，其特征為:步驟h中在對(duì)虛擬視點(diǎn)渲染后，如果渲染后圖像在左右路視差范圍內(nèi)，用左右路互填空洞的方法進(jìn)行空洞區(qū)域填補(bǔ)，如果圖像在視差范圍之外則使用圖像修補(bǔ)算法對(duì)空洞區(qū)域進(jìn)行填補(bǔ)，然后再進(jìn)行所述的多宮格圖像拼接。
【文檔編號(hào)】H04N13/00GK103581650SQ201310495786
【公開(kāi)日】2014年2月12日 申請(qǐng)日期:2013年10月21日 優(yōu)先權(quán)日:2013年10月21日
【發(fā)明者】馬杰 申請(qǐng)人:四川長(zhǎng)虹電器股份有限公司