專利名稱：基于光流法的2d轉(zhuǎn)3d方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種2D轉(zhuǎn)3D方法，尤其是一種基于光流法的2D轉(zhuǎn)3D方法。
背景技術(shù)：
視差(Disparity):人類之所以能夠進(jìn)行立體感知，主要是因?yàn)樽笥已鬯吹降?圖像有差異，對(duì)這種差異進(jìn)行量化稱為視差。 視差圖(Disparity Image/M即)視差圖中的每個(gè)點(diǎn)的像素值代表著源圖上對(duì)應(yīng) 位置像素點(diǎn)的視差值。 在2D轉(zhuǎn)3D技術(shù)中需要以視差圖(Disparity Image)為中介，如基于視差圖像的 渲染技術(shù)(Disparity Image Based Rendering,DIBR)、基于視頻的渲染技術(shù)(Video Based Rendering, VBR)等等。 由于多視點(diǎn)視頻、圖像資源獲得成本高，相對(duì)缺乏，而獲得單視點(diǎn)視頻、圖像有成 熟的技術(shù)，現(xiàn)有的絕大部分視頻、圖像均是通過單個(gè)相機(jī)拍攝，因而生成視差圖技術(shù)在單點(diǎn) 視頻領(lǐng)域有廣闊的應(yīng)用前景。 基于單幅圖像的視差圖生成技術(shù)由于信息有限，在不經(jīng)過人工干預(yù)的情況下一般 很難得到精確的結(jié)果。現(xiàn)有的技術(shù)主要根據(jù)一些預(yù)先設(shè)定的條件來進(jìn)行推理，如聚焦法 (Depth from Focus)、散焦法(Depth from Defocus)、線性透視(Linear Perspective)等
等。這些方法對(duì)預(yù)設(shè)條件依賴性較高，在不滿足預(yù)設(shè)條件的場合，性能急劇下降。而實(shí)際場 景千變?nèi)f化，大部分情況下這些預(yù)設(shè)條件并不適用。 基于單視點(diǎn)視頻的視差圖生成技術(shù)不僅含有單幅圖像的紋理信息和結(jié)構(gòu)信息，還 含有視頻中幀與幀之間的運(yùn)動(dòng)信息，因此具有更高的可行性，典型的方法有幀移位，運(yùn)動(dòng) 法。 在2D轉(zhuǎn)3D技術(shù)中，得到場景較好的視差圖，意味著轉(zhuǎn)換地成功?，F(xiàn)有生成視差圖 技術(shù)有幀移位法。幀移位法的主要思想是用源視頻序列的運(yùn)動(dòng)場(Motion Field,MF)圖像 來替代視差圖。在實(shí)際操作中并不求出視差圖，而是直接將源視頻序列延時(shí)一定的幀數(shù)從 而得到新的視頻序列，從而實(shí)現(xiàn)虛擬視點(diǎn)圖像繪制。這種方法簡單易行，但是由于它沒有對(duì) 場景的三維結(jié)構(gòu)進(jìn)行嚴(yán)格分析，因而適用性較差，效果并不理想。 綜上所述，為了得到能適應(yīng)各種場景變化、計(jì)算量適中并且具有高質(zhì)量的視差圖， 從而實(shí)現(xiàn)視頻的2D轉(zhuǎn)3D，需要采用新的方法。

發(fā)明內(nèi)容
本發(fā)明的目的是克服目前現(xiàn)有的2D轉(zhuǎn)3D技術(shù)中存在依賴具體場景、難以保證效 果和計(jì)算復(fù)雜的問題，提供一種基于光流法的2D轉(zhuǎn)3D方法，這種方法可以快速生成視差 圖，再與源圖結(jié)合生成左右圖，從而將現(xiàn)有大量平面視頻高效地轉(zhuǎn)換為立體視頻，緩解當(dāng)前 立體視頻片源缺乏的現(xiàn)狀。 按照本發(fā)明提供的技術(shù)方案，所述基于光流法的2D轉(zhuǎn)3D方法包括如下步驟
(1)將待處理視頻的每一幀圖像預(yù)處理為8位灰度圖像； (2)對(duì)預(yù)處理后的8位灰度圖像進(jìn)行浮雕處理，以降低圖像中存在的噪聲，并得到 圖像的初步輪廓； (3)采用光流法求得圖像的視差圖；然后采用高斯模糊方法平滑圖像，進(jìn)一步減 少所述視差圖的噪聲； (4)利用待處理視頻中的幀圖像與該圖像生成的又經(jīng)高斯模糊處理的視差圖合成 左右視圖的視頻。 所述將圖像處理為灰度圖像的公式為 所述高斯模糊的模板的二維空間定義為 C (M,V):<formula>formula see original document page 5</formula>2w 其中u， v代表像素的模板坐標(biāo)，o是正態(tài)分布的標(biāo)準(zhǔn)差,
本發(fā)明的優(yōu)點(diǎn)是
1.可以生成效果好，噪聲小的視差圖，從而合成效果好的3D視頻；
2.不依賴具體的場景，計(jì)算量適中； 3.可以快速批量將大量平面視頻高效地轉(zhuǎn)換為立體視頻。


圖1是本發(fā)明所述方法流程圖。 圖2是采用本發(fā)明所述方法制作3D視頻的程序流程圖。
具體實(shí)施例方式
下面結(jié)合附圖和實(shí)施例對(duì)本發(fā)明作進(jìn)一步說明。 如圖1所示，本發(fā)明所述的基于光流法的2D轉(zhuǎn)3D方法步驟如 下 步驟1.將待處理視頻的每一幀圖像預(yù)處理為8位灰度圖像 為了得到高質(zhì)量的視差圖，在運(yùn)用光流技術(shù)之前需要完成圖像的灰度化工作。 步驟2.對(duì)預(yù)處理后的8位灰度圖像進(jìn)行浮雕處理 經(jīng)過步驟一預(yù)處理后，再對(duì)圖像進(jìn)行浮雕處理。能有效的降低圖像中存在的噪聲， 二維數(shù)字圖像可以用如下的二維離散函數(shù)來表示 f(i，j) = {fr(i，j)，fg(i，j)，fb(i，j)}i =0，1，2，…，M-1 ;j =0，1，2，…，N-1 (2)
式中，M， N分別為圖像橫，縱方向上的像素?cái)?shù)；fr(i， j)， fg(i， j)， fb(i， j)分別為 (i， j)坐標(biāo)處像素顏色的紅，綠，藍(lán)分量的值。由此浮雕圖像的離散函數(shù)g(i， j)可以表示 為 g(i，j) = {gr(i，j)，gg(i，j)，gb(i，j)}i =0，1，2，…，M-1 ;j =0，1，2，…，N—1 (3)
式中& (i， j) = fr (i， j) -fr (i-l， j-l) +T (4)
gg (i ， j) = fg (i ， j) -fg (i-1 ， j-1) +T (5)
gb (i ， j) = fb (i ， j) -fb (i-1 ， j-1) +T (6)
式中T為常數(shù)，優(yōu)選值為128 ;在步驟一中已經(jīng)將圖像處理為8位灰度圖，所以在 本步驟中只需對(duì)8位灰度圖像進(jìn)行浮雕處理。 浮雕效果是指圖像的前景前向凸出。要達(dá)到浮雕效果，需要對(duì)圖像的每一個(gè)像素 和它上方的那個(gè)像素進(jìn)行差值，因?yàn)閮上袼刂迪嗖畈淮?，相減后，圖像顯示的亮度很低。為 保持亮度并呈現(xiàn)灰色所以就增加了一個(gè)閾值T二 128， T可以取其他值，但是太小圖像會(huì)很 暗，太大圖像會(huì)很亮，就不是主流的浮雕，在這里我們?nèi) = 128。
步驟3.采用光流法求得圖像的視差圖 光流是一種運(yùn)動(dòng)模式，是指一個(gè)物體的表面、邊緣在一個(gè)視角下由一個(gè)觀察者 (如眼睛，攝像頭)和背景之間形成的明顯移動(dòng)。 Lucas-Kanade光流算法是最常見，最流行中的一種。它計(jì)算兩幀圖像在時(shí)間t到 t+ S t之間每個(gè)像素點(diǎn)位置的移動(dòng)，由于它是基于圖像信號(hào)的泰勒級(jí)數(shù)，對(duì)空間和時(shí)間坐標(biāo) 使用偏導(dǎo)數(shù)。 圖像約束方程可以寫為I (x， y， t) = I (x+ S x， y+ S y， t+ S t) (7) 其中I (x， y， t)是像素在時(shí)間空間坐標(biāo)(x， y， t)上的亮度，I (x+ S x， y+ S y， t+ S t)
是像素經(jīng)過移動(dòng)(SX， Sy， St)后的亮度。假設(shè)移動(dòng)足夠小，那么對(duì)圖像約束方程使用泰勒公式，可以得到
./(■X + <5x,_y + <5_y,f+ = /(x，少,f) -f --—5;r-i---5>' + — 5/ + //.O.r. ( 8 〉 H. 0. T.指的是更高階，在移動(dòng)足夠小的情況下可以忽略。從方程(8)中可以得到
+——df=ti 、y j
&爭 ft 或者
3/ d、- 3/ J.v 3/ & "n、
---1---L— —+.----= (J 、 1 U J 記作
3/ 「 + 5/〖,+ & 一 o (ii〉
& x # 》'5# 其中Vx， Vy分別是I (x， y， t)的光流向量中x， y的組成部分，匸，和旦則是圖像 在(x， y， t)這一點(diǎn)相應(yīng)方向的差分，用Ix， Iy和It分別表示7，和一，所以(11)式可以
寫為l乂+lyVy二—lt (12) 記作
Wr-^-/, (13) 這個(gè)方程有兩個(gè)未知量，現(xiàn)在還不能求解，需要增加另外的約束方程。
假設(shè)流(Vx， Vy)在一個(gè)大小為m*m(m > 1)的小窗中是一個(gè)常數(shù)，那么從像素l… n， n = m2中可以得到下列一組方程

lxiVx+lyiVy = A
lX2VX+ly2Vy =
(14)



I v +1 V = -it
丄xn ' x 丄yn ' y 丄tn
三個(gè)未知數(shù)，但是有多于三個(gè)的方程，這個(gè)方程組是個(gè)超定方程，方程組可以表示<formula>formula see original document page 8</formula>合成左右視圖的視頻。這種視頻在立體顯示設(shè)備上具有很好的3D效果。 所述左右視圖是由幀圖像和幀圖像相對(duì)應(yīng)的視差圖組合而成，左邊是幀圖像，右
邊是視差圖。將一系列連續(xù)的左右視圖作為視頻幀合成視頻即為所述左右視圖的視頻。 下面是對(duì)本發(fā)明提出的一種基于光流發(fā)的2D轉(zhuǎn)3D方法的一個(gè)具體實(shí)施案例，如
圖2所示。 在噪聲處理中，選取不同的o ，得到最適合的模板，從而有效降低噪聲的影響。
本實(shí)施案例運(yùn)行在普通PC機(jī)上，具體配置如下
CPU :Intel Core2Duo 2. 66GHz
內(nèi)存2G DDR333操作系統(tǒng)Windows XP Professional Edition
運(yùn)行環(huán)境-Microsoft Visual Studio 2008， OpenCV。 實(shí)施案例中，輸入源視頻，輸出具有立體效果的左右圖視頻。其處理步驟如下
步驟l.圖像預(yù)處理 圖像灰度化就是使彩色的R， G， B分量值相等的過程。在這里采用加權(quán)平均值法 根據(jù)重要性或其他指標(biāo)給R， G， B賦予不同的權(quán)值，并使R， G， B的值加權(quán)平均，即
R = G = B = WKR+WGG+WBB (1) 其中WK， WG， WB分別為R， G， B的權(quán)值，并且WK+WG+WB =1。 WK， WG， WB取不同的值，加 權(quán)平均值法就形成不同的灰度圖像。由于人眼對(duì)綠色的敏感度最高，對(duì)紅色的敏感度次之， 對(duì)藍(lán)色的敏感度最低，因此使We > WK > We將得到合理的灰度圖像。實(shí)驗(yàn)和理論推導(dǎo)證明當(dāng) WK = 0. 299， WG = 0. 587， WB = 0. 114時(shí)，即當(dāng)Vgray = 0. 299R+0. 587G+0. 114B， R = G = B =Vgray時(shí)，能得到最合理的灰度圖像。 對(duì)圖像的每個(gè)像素進(jìn)行上述公式(1)處理，得到新的像素值，作為灰度后的像素 值。為了減少后續(xù)處理的計(jì)算量，提高處理效率，改變圖像的存儲(chǔ)位數(shù)，由原來的24位圖變 成8位灰度圖。 步驟2.圖像浮雕處理 圖像經(jīng)過灰度化后再對(duì)其進(jìn)行浮雕處理，處理的算法公式為
gr (i ， j) = fr (i ， j) _fr (i-1 ， j-1) +T (4)
gg(i， j) = fg(i， j)—fg(i—1， j—1)+T (5)
gb (i ， j) = fb (i ， j) _fb (i-1 ， j-1) +T (6) 對(duì)圖像中的每個(gè)像素進(jìn)行公式(4) (5) (6)中的任一種變換，需要注意的是當(dāng)設(shè)置 一個(gè)像素值的時(shí)候，它和它左上方的像素都要被用到，為了避免用到已經(jīng)設(shè)置過的像素，應(yīng) 該從圖像的右下方的像素開始處理，為了使圖像保持一定的亮度和灰度，在公式中加入了 一個(gè)閾值T = 128。
步驟3.光流法 經(jīng)過公式(7) (17)的推導(dǎo)，最后得到公式(1S)，如下:<formula>formula see original document page 9</formula>
由此可以尋找出光流，進(jìn)而得到圖像的視差圖。步驟4.降低圖像噪聲
在案例中選擇o = 0. 849，經(jīng)過整數(shù)除法形式近似得到高斯模板3X3矩陣 2 1 、
2 4 2歸一化因子為1/16 、1 2 L
高斯模糊存在圖像邊界計(jì)算問題，當(dāng)在圖像上逐個(gè)移動(dòng)模板矩陣(巻積核)時(shí)，只 要模板矩陣(巻積核)移到了圖像邊界，就會(huì)出現(xiàn)計(jì)算上的問題，解決這個(gè)問題的方法是忽 略邊界數(shù)據(jù)。 步驟5.視頻合成 將得到的視差圖，與對(duì)應(yīng)的源圖合成一幅圖像，即左右視圖，再把一系列左右視圖 合成為視頻，得到具有3D效果的視頻。在立體顯示器下可以顯示3D效果。
權(quán)利要求
一種基于光流法的2D轉(zhuǎn)3D方法，其特征是所述方法包括如下步驟(1)將待處理視頻的每一幀圖像預(yù)處理為8位灰度圖像；(2)對(duì)預(yù)處理后的8位灰度圖像進(jìn)行浮雕處理，以降低圖像中存在的噪聲，并得到圖像的初步輪廓；(3)采用光流法求得圖像的視差圖；然后采用高斯模糊方法平滑圖像，進(jìn)一步減少所述視差圖的噪聲；(4)利用待處理視頻中的幀圖像與該圖像生成的又經(jīng)高斯模糊處理的視差圖合成左右視圖的視頻。
2. 如權(quán)利要求1所述的一種基于光流法的2D轉(zhuǎn)3D方法，其特征是所述將圖像處理為 灰度圖像的公式為<formula>formula see original document page 2</formula>或<formula>formula see original document page 2</formula> 其中，Y代表圖像每個(gè)像素轉(zhuǎn)換后的灰度值，R，G，B分別代表圖像每個(gè)像素轉(zhuǎn)換前的R， G，B分量值。
3. 如權(quán)利要求1所述的一種基于光流法的2D轉(zhuǎn)3D方法，其特征是所述浮雕處理的方 法為二維數(shù)字圖像用二維離散函數(shù)表示為f(i， j) = {fr(i， j)， fg(i， j)， fb(i， j)}i = 0，1，2，…，M-l ;j = 0，1，2，…，N-l式 中，M， N分別為圖像橫、縱方向上的像素?cái)?shù)；fr(i， j)， fg(i， j)， fb(i， j)分別為(i， j)坐標(biāo)處像素顏色的紅，綠，藍(lán)分量的值，由此浮雕圖像的離散函數(shù)g(i， j)表示為g(i， j) = {gr(i， j)，gg(i， j)，g"i， j)}i = 0，1，2，…，M-1 ;j = 0，1，2，…，N-1式中g(shù)r(i， j) = fr(i， j)—fr(i-l， j —1)+Tgg(i， j) = fg(i， j)—fg(i—1， j—1)+T g"i， J) = f"i， J)-f"H， j—1)+T， T為常數(shù)。
4. 如權(quán)利要求1所述的一種基于光流法的2D轉(zhuǎn)3D方法，其特征是所述采用光流法求 得圖像的視差圖的方法為設(shè)圖像約束方程為I (x， y， t) = I (x+ S x， y+ S y， t+ S t)其中I (x， y， t)是像素在時(shí)間空間坐標(biāo)(x， y， t)上的亮度，I (x+ S x， y+ S y， t+ S t)是像素經(jīng)過移動(dòng)(S X， S y， S t)后的亮度；貝u，最終的光流向量方程為由光流向量方程得到每個(gè)像素點(diǎn)的光流向量，進(jìn)而得到視差圖；其中的求和是從1到n求禾P， Vx， Vy分別是I (x， y， t)的光流向量中x， y的組成部分，Ix， Iy和It分別表示；,T和，T，T和^是圖像在(x， y， t)這一點(diǎn)相應(yīng)方向的差分。
5.如權(quán)利要求1所述的一種基于光流法的2D轉(zhuǎn)3D方法，其特征是所述高斯模糊的模 板的二維空間定義為<formula>formula see original document page 3</formula>其中u，v代表像素的模板坐標(biāo)，o是正態(tài)分布的標(biāo)準(zhǔn)差,
全文摘要
本發(fā)明涉及一種基于光流法的2D轉(zhuǎn)3D方法。首先將待處理視頻的每一幀圖像預(yù)處理為8位灰度圖像；對(duì)預(yù)處理后的8位灰度圖像進(jìn)行浮雕處理，以降低圖像中存在的噪聲，并得到圖像的初步輪廓；采用光流法求得圖像的視差圖；然后采用高斯模糊方法平滑圖像，進(jìn)一步減少所述視差圖的噪聲；利用待處理視頻中的幀圖像與該圖像生成的又經(jīng)高斯模糊處理的視差圖合成左右視圖的視頻。本發(fā)明的優(yōu)點(diǎn)是可以生成效果好，噪聲小的視差圖，從而合成效果好的3D視頻；不依賴具體的場景，計(jì)算量適中；可以快速批量將大量平面視頻高效地轉(zhuǎn)換為立體視頻。
文檔編號(hào)H04N15/00GK101702781SQ200910182819
公開日2010年5月5日 申請(qǐng)日期2009年9月7日 優(yōu)先權(quán)日2009年9月7日
發(fā)明者劉磊, 徐秀兵, 檀海勤 申請(qǐng)人:無錫景象數(shù)字技術(shù)有限公司