專利名稱：一種基于梯度光流算法合成虛擬視點方法及立體顯示裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像顯示技術(shù)領(lǐng)域，尤其涉及一種基于梯度光流算法合成虛擬視點方法及立體顯示裝置。
背景技術(shù)：
根據(jù)目前國內(nèi)外調(diào)研的文獻，裸視3D圖像顯示技術(shù)正逐步成為研究熱點。利用視差相機拍攝的圖像合成裸視三維顯示器所需的虛擬視點合成圖像算法，是裸視三維顯示處理的關(guān)鍵技術(shù)。目前，國內(nèi)外針對虛擬視點合成算法的研究主要集中在兩個方面1)基于模型繪制法；幻基于圖像繪制法。兩種方法各有優(yōu)缺點?；谀Ｐ屠L制的方法合成的圖像質(zhì)量好， 但由于該種方法是采用對三維場景進行建模來完成虛擬視點的合成，運算量大，所以合成速度較慢，往往滿足不了實時的要求。基于圖像繪制的方法合成速度較快，能夠滿足實時性要求，但在合成圖像之前，需要對知道三維場景的幾何信息及攝像機的精確物理模型參數(shù)， 往往在校準過程中會產(chǎn)生較大誤差，所以合成圖像的質(zhì)量較差。

發(fā)明內(nèi)容
本發(fā)明解決的技術(shù)問題在于提出即能合成具有較好質(zhì)量的圖像，又能滿足系統(tǒng)實時性要求的虛擬視點合成算法。為了解決以上問題，本發(fā)明提供一種基于梯度光流算法合成虛擬視點方法，包括以下步驟開始步驟；用雙目視差立體相機采集左視圖像和右視圖像，將左視圖像作為初始圖像，右視圖像作為目標圖像，虛擬視點看成相機在由左到右運動的過程中，等間隔地拍攝而成；利用一階梯度光流估計，估計圖像中各個像素點在由左視圖像到右視圖像的運動過程中產(chǎn)生的瞬時速度，即光流場；合成虛擬視點；結(jié)束步驟。進一步，作為一種優(yōu)選方案，在所述合成虛擬視點步驟之前，包括對求出的光流場進行光流聚類，插值得到像素在均勻運動的假設(shè)下在任意虛擬視點中的位置。本發(fā)明還公開了一種立體顯示裝置，包括圖像采集處理模塊，用雙目視差立體相機采集左視圖像和右視圖像，將左視圖像作為初始圖像，右視圖像作為目標圖像，虛擬視點看成相機在由左到右運動的過程中，等間隔地拍攝而成；梯度光流算法模塊，利用一階梯度光流估計，估計圖像中各個像素點在由左視圖像到右視圖像的運動過程中產(chǎn)生的瞬時速度，即光流場；虛擬視點合成模塊，對求出的光流場進行光流聚類，插值得到像素在均勻運動的假設(shè)下在任意虛擬視點中的位置，合成虛擬視點；基于多視點的渲染交織模塊，用于立體顯示前的交織；三維顯示模塊，用于顯示三維立體圖像。本發(fā)明實由于采用基于梯度光流算法來合成虛擬視點，在滿足人眼流暢地裸視觀看三維視頻的前提下，合成的虛擬視點圖像平滑、自然，質(zhì)量較好，能夠滿足基本三維顯示器輸入圖像的要求。


當結(jié)合附圖考慮時，通過參照下面的詳細描述，能夠更完整更好地理解本發(fā)明以及容易得知其中許多伴隨的優(yōu)點，但此處所說明的附圖用來提供對本發(fā)明的進一步理解， 構(gòu)成本發(fā)明的一部分，本發(fā)明的示意性實施例及其說明用于解釋本發(fā)明，并不構(gòu)成對本發(fā)明的不當限定，其中圖1梯度光流算法合成虛擬視點流程圖；
圖2裸視三維視頻系統(tǒng)結(jié)構(gòu)圖；圖3虛擬視點合成原理示意圖。
具體實施例方式以下參照圖1-3對本發(fā)明的實施例進行說明。為使上述目的、特征和優(yōu)點能夠更加明顯易懂，下面結(jié)合附圖和具體實施方式
對本發(fā)明作進一步詳細的說明?；镜穆阋暳Ⅲw顯示裝置包括采集、處理、傳輸和顯示等模塊。首先是采集模塊， 使用不同空間排列方式的多攝像機陣列采集得到三維視頻信息，這時需對各攝像機進行標定與同步操作。為提高采集得到的信號質(zhì)量，使其有利于后續(xù)的三維重建與顯示，通常需要對采集得到的視頻信息進行各種預(yù)處理操作，如自動曝光、自動聚焦和自動白平衡等。通常，為了減少視頻的數(shù)據(jù)量，達到實時傳輸?shù)哪康?。在視頻的采集端，往往只采集所需視頻的其中幾路。那么，就需要通過已有的視點視頻信息，利用虛擬視點合成算法，生成其他未拍攝的視點視頻信息，從而進行三維場景重建等操作。最后，將處理后得到的多路視頻信號表示為具有預(yù)先設(shè)定數(shù)據(jù)格式或交織方式的視頻信號，通過裸視立體顯示裝置呈現(xiàn)給觀看者進行觀看。一個具體的裸視立體顯示裝置如附圖2所示，包括圖像采集處理模塊1，用雙目視差立體相機采集左視圖像和右視圖像，將左視圖像作為初始圖像，右視圖像作為目標圖像，虛擬視點看成相機在由左到右運動的過程中，等間隔地拍攝而成；梯度光流算法模塊 2，利用一階梯度光流估計，估計圖像中各個像素點在由左視圖像到右視圖像的運動過程中產(chǎn)生的瞬時速度，即光流場；虛擬視點合成模塊3，對求出的光流場進行光流聚類，插值得到像素在均勻運動的假設(shè)下在任意虛擬視點中的位置，合成虛擬視點；基于多視點的渲染交織模塊4，用于立體顯示前的交織；三維顯示模塊5，用于顯示三維立體圖像。為了減少攝像機標定和同步操作帶來的誤差，圖像采集處理模塊1采用一種較新穎的視頻獲取方案一立體視覺系統(tǒng)(雙目視差相機)。該系統(tǒng)集成了已經(jīng)進行了標定操作的雙攝像機，可以獲得同步的左右兩路視頻信號。另外，基于裸視立體顯示裝置的要求，需要將9個來自不同視點的視頻信息輸入到三維顯示模塊5，經(jīng)過交織處理后才能完成最終的三維顯示，原理如附圖3所示，其中左視圖像7和右視圖像9分別是從左右觀看三維物體6的圖像，虛擬視點圖像8是來自不同視點的視頻信號。所以，需要將采集得到的左右圖像(7，9)，利用虛擬視點合成模塊3合成出其他7個中間的虛擬視點。就目前國內(nèi)外在虛擬視點合成模塊3算法上的研究進展來看，基于模型繪制法和基于圖像繪制法是主要的兩種方法?；谀Ｐ屠L制的方法合成的圖像質(zhì)量好，但運算量大，合成速度較慢，往往滿足不了裸視三維顯示系統(tǒng)實時性的要求。而基于圖像繪制的方法合成速度較快，能夠滿足實時性要求，但這也是以損失圖像的質(zhì)量作為代價的。正是基于以上分析，本發(fā)明提出了一種梯度光流算法，合成所需的7個虛擬視點。 該算法能夠彌補上述兩種算法在效率和質(zhì)量方面的不足，達到即能滿足實時性要求，又能合成較好質(zhì)量圖像的目的。算法原理如附圖3所示。需要合成的中間7個虛擬視點圖像8 可以看作是相機在由左到右運動的過程中，在不同的位置等間隔地拍攝而成的圖像，那么通過估計像素在不同時刻的速度，就可求出在勻速運動的前提下像素的位置，進而合成虛擬視點。而光流是運動物體在觀測成像面上像素運動的瞬時速度，所以，通過求出成像面上的光流場就可實現(xiàn)上述目標，流程見附圖1。下面對梯度光流法合成虛擬視點方法的原理作簡要介紹。一種基于梯度光流算法合成虛擬視點方法，包括以下步驟在Sll步驟，開始；在S12、S13步驟，用雙目視差立體相機采集左視圖像和右視圖像，將左視圖像作為初始圖像，右視圖像作為目標圖像，虛擬視點看成相機在由左到右運動的過程中，等間隔地拍攝而成；在S14步驟，利用一階梯度光流估計，估計圖像中各個像素點在由左視圖像到右視圖像的運動過程中產(chǎn)生的瞬時速度，即光流場；在S16步驟，合成虛擬視點；在S17步驟，結(jié)束。運動可以用運動場描述，運動場由圖像中每個點的運動(速度)矢量構(gòu)成。在某一特定的時刻，圖像中一點對應(yīng)目標表面的某個點，這兩個點靠投影關(guān)系聯(lián)系起來。假定物點相對于攝像機存在一定的運動，則這個運動會導(dǎo)致對應(yīng)像點也產(chǎn)生速度，每個象素點的速度矢量構(gòu)成運動場。所謂光流是這圖像中灰度模式運動速度，它是景物中可見點的三維速度矢量在成像平面上的投影，它表示了景物表面點在圖像中位置的瞬間變換。根據(jù)視覺感知原理， 客觀物體在空間上一般是相對連續(xù)運動的，在運動過程中，投射到傳感器平面上的圖像實際上也是連續(xù)變化的。根據(jù)這一特性，可以得到基本的光流約束方程(optical flow constraint equation)，它表示灰度對時間的變化率等于灰度的空間梯度與光流速度的點積。(Ex，Ey)g(u，ν) =-Et(2-1)E表示圖像上的點(x，y)在時刻t的灰度，11和￥表示光流在該點的水平和垂直移動分量。光流約束方程表明，如果一個固定的觀察者觀察一幅活動的場景，那么所得到的圖像上某一點的灰度(一階)時間變化率是場景亮度變化率與該點運動速度的乘積。CN 102547350 A
在圖像上存在著大量的連續(xù)性、平滑性等性質(zhì)，Horn和khimck[3]所采用的方法的基本思想是在求解光流時，光流本身盡可能的平滑，即引入平滑性約束條件。將研究對象看作無變形剛體，其上面各相鄰點具有相同的運動速度，這個條件可以用來幫助求解光流約束方程。根據(jù)相鄰點具有相同運動速度的條件可知速度的變化率為零，得到歐拉方程。對歐拉方程進行一些變形，并對其求解，就要得到所要求出的光流場
-EJEu +Ev+ E,]U = U- Λ ζ /
λ2+E2x+E2y
-E[Exu + Ev + Et]v = v- y 2 / 2
A (2-2)[和[分別表示U鄰域和ν鄰域中的均值，λ的取值主要考慮圖中的噪聲情況。如果噪聲較強時，說明數(shù)據(jù)的置信度較低，需要更多地依賴光流約束，所以λ取值較大；反之 λ取值較小。為了加快運算速度，在估計出每個像素點的光流后，對圖像中不同的目標進行光流聚類S15，插值得到像素在均勻運動的假設(shè)下在任意虛擬視點中的位置。然后再根據(jù)左圖像合成中間的虛擬視點。如上所述，對本發(fā)明的實施例進行了詳細地說明，但是只要實質(zhì)上沒有脫離本發(fā)明的發(fā)明點及效果可以有很多的變形，這對本領(lǐng)域的技術(shù)人員來說是顯而易見的。因此，這樣的變形例也全部包含在本發(fā)明的保護范圍之內(nèi)。
權(quán)利要求
1.一種基于梯度光流算法合成虛擬視點方法，其特征在于包括以下步驟 開始步驟；用雙目視差立體相機采集左視圖像和右視圖像，將左視圖像作為初始圖像，右視圖像作為目標圖像，虛擬視點看成相機在由左到右運動的過程中，等間隔地拍攝而成；利用一階梯度光流估計，估計圖像中各個像素點在由左視圖像到右視圖像的運動過程中產(chǎn)生的瞬時速度，即光流場； 合成虛擬視點； 結(jié)束步驟。
2.如權(quán)利要求1所述一種基于梯度光流算法合成虛擬視點方法，其特征在于在所述合成虛擬視點步驟之前，還包括對求出的光流場進行光流聚類，插值得到像素在均勻運動的假設(shè)下在任意虛擬視點中的位置。
3.如權(quán)利要求1所述一種基于梯度光流算法合成虛擬視點方法，其特征在于合成虛擬視點為7幅虛擬圖像。
4.一種使用方法1至3之一的立體顯示裝置，其特征在于，包括圖像采集處理模塊， 用雙目視差立體相機采集左視圖像和右視圖像，將左視圖像作為初始圖像，右視圖像作為目標圖像，虛擬視點看成相機在由左到右運動的過程中，等間隔地拍攝而成；梯度光流算法模塊，利用一階梯度光流估計，估計圖像中各個像素點在由左視圖像到右視圖像的運動過程中產(chǎn)生的瞬時速度，即光流場；虛擬視點合成模塊，對求出的光流場進行光流聚類，插值得到像素在均勻運動的假設(shè)下在任意虛擬視點中的位置，合成虛擬視點；基于多視點的渲染交織模塊，用于立體顯示前的交織； 三維顯示模塊，用于顯示三維立體圖像。
5.如權(quán)利要求4所述立體顯示裝置，其特征在于所述梯度光流算法模塊、虛擬視點合成模塊和基于多視點的渲染交織模塊由一臺計算機工作站實現(xiàn)。
6.如權(quán)利要求4所述立體顯示裝置，其特征在于所述計算機工作站為雙CPU。
全文摘要
本發(fā)明公開了一種基于梯度光流算法合成虛擬視點方法，包括以下步驟開始步驟；用雙目視差立體相機采集左視圖像和右視圖像，將左視圖像作為初始圖像，右視圖像作為目標圖像，虛擬視點看成相機在由左到右運動的過程中，等間隔地拍攝而成；利用一階梯度光流估計，估計圖像中各個像素點在由左視圖像到右視圖像的運動過程中產(chǎn)生的瞬時速度，即光流場；合成虛擬視點；結(jié)束步驟。還公開了一種基于以上合成虛擬視點方法的立體顯示裝置。本發(fā)明可用于立體顯示技術(shù)領(lǐng)域，在滿足人眼流暢地裸視觀看三維視頻的前提下，合成的虛擬視點圖像平滑、自然，質(zhì)量較好，能夠滿足基本三維顯示器輸入圖像的要求。
文檔編號H04N13/04GK102547350SQ20121002308
公開日2012年7月4日 申請日期2012年2月2日 優(yōu)先權(quán)日2012年2月2日
發(fā)明者劉福明, 楊光臨, 王道憲 申請人:北京大學(xué)