專利名稱：三維虛實(shí)融合環(huán)境中視頻紋理投影的自動(dòng)匹配校正方法
技術(shù)領(lǐng)域：
本文涉及虛擬現(xiàn)實(shí)，尤其涉及一種利用真實(shí)視頻影像與虛擬場(chǎng)景融合、校正的方法，屬于虛擬現(xiàn)實(shí)、計(jì)算機(jī)圖形學(xué)、計(jì)算機(jī)視覺和人機(jī)交互等技術(shù)領(lǐng)域。
背景技術(shù)：
在虛擬現(xiàn)實(shí)系統(tǒng)中，使用靜態(tài)圖片表現(xiàn)建筑物或者地面的表面的細(xì)節(jié)是最常用的手段，通常采用紋理貼圖方式實(shí)現(xiàn)。該方法的不足是場(chǎng)景表面的紋理一旦設(shè)定便不再改變，對(duì)于場(chǎng)景模型表面變化要素的忽略，降低了虛擬環(huán)境的真實(shí)感，并不能給人一種身臨其境的感覺。為了消除靜態(tài)圖片造成的真實(shí)感不足，利用視頻代替圖片是一種直觀的想法?，F(xiàn)階段也有一些系統(tǒng)加入了視頻元素，但大多是采用彈窗的形式，利用現(xiàn)有的視頻播放器播放視頻，只是達(dá)到了全局監(jiān)控的效果，并沒有做到視頻與場(chǎng)景真正的融合。有一些研究工作在此基礎(chǔ)上改進(jìn)，通過在空間中構(gòu)建附加平面，并在此平面上播放視頻的方式增強(qiáng)真實(shí)感(可參見 K.Kim, S.0h, J.Lee, 1.Essa.Augmenting Aerial Earth Maps with DynamicInformation.1EEE international Symposium on Mixed and Augmented Reality, Scienceand Technology Proceedings.19_220ct, 2009,Orlando, Florida, USA.和 Y.Wang, D.Bowman, D.Krum, E.Coelho, T.Smith-Jackson, D.Bailey, S.Peck, S.Anand, T.Kennedy, andY.Abdrazakov.Effects of Video Placement and Spatial Context Presentation onPath Reconstruction Tasks with Contextualized Videos.1EEE Transactions onvisualization and computer graphics, Vol.14，N0.6，November/December2008.),雖然上述方法已經(jīng)將視頻加入了虛擬環(huán)境，但是使用環(huán)境十分有限，只能貼附于某些大型建筑平面或者平整的地面上，對(duì)于稍微復(fù)雜的場(chǎng)景情況，例如建筑拐角或者不平整的地面等位置，它們的幾何形狀無法用平面近似表示，這些平面播放視頻的方法便不適用了。另一方面，由于圖形學(xué)和視覺領(lǐng)域的發(fā)展已經(jīng)有很多成熟的算法，例如基于顏色的匹配，紋理的匹配，特征的匹配(Edge Direction, SIFT, HOG)。但是這些方法的都是應(yīng)用于二維圖像的方法，在三維空間中使用起來有比較大的局限性。而且現(xiàn)階段與投影機(jī)校正有關(guān)的算法，多是“投影機(jī)一屏幕”系統(tǒng)下對(duì)于投影區(qū)域梯形校正的算法，如:多投影機(jī)圖像校正方法和設(shè)備，申請(qǐng)?zhí)?01010500209.6，校正方法限于二維空間中，通過獲取個(gè)攝像機(jī)分別采集的無重疊區(qū)域的獨(dú)立圖像信息與獨(dú)立圖像對(duì)應(yīng)的校正參數(shù)，根據(jù)校正參數(shù)對(duì)應(yīng)的攝像機(jī)的視頻數(shù)據(jù)進(jìn)行校正處理，校正只針對(duì)重疊或重疊區(qū)域較小的圖像?；诙嗤队皺C(jī)旋轉(zhuǎn)屏三維影像可觸摸的真三維顯示方法，申請(qǐng)?zhí)?200810114457.X，通過獲得三維立體空間描述獲得不同角度的截面圖像，使手可直接觸摸到立體影像，同時(shí)提高了立體圖像的對(duì)比度，但是該申請(qǐng)主要依靠旋轉(zhuǎn)屏來解決三維圖像可觸摸的問題，與本工作應(yīng)用場(chǎng)景不同。以上的專利申請(qǐng)或是現(xiàn)有技術(shù)中的特征匹配方法在三維空間投影機(jī)的校正上面并無太多參考意義。 發(fā)明內(nèi)容
本發(fā)明的目的在于，用拍攝的真實(shí)視頻，通過紋理投影的方式，在復(fù)雜的地表和建筑物等場(chǎng)景表面進(jìn)行虛擬場(chǎng)景融合，提高虛擬現(xiàn)實(shí)環(huán)境中場(chǎng)景動(dòng)態(tài)信息的表達(dá)與展示能力，也增強(qiáng)了場(chǎng)景的層次感，并可以通過增加從不同拍攝角度的視頻數(shù)量，實(shí)現(xiàn)大范圍虛擬場(chǎng)景的動(dòng)態(tài)視頻紋理覆蓋效果，從而實(shí)現(xiàn)虛擬現(xiàn)實(shí)環(huán)境與顯示場(chǎng)景的虛實(shí)融合的動(dòng)態(tài)真實(shí)感效果。為了實(shí)現(xiàn)技術(shù)目的，本發(fā)明采用如下技術(shù)方案:一種三維虛實(shí)融合環(huán)境中視頻紋理投影的自動(dòng)匹配校正方法，其步驟包括:I)根據(jù)預(yù)先獲得的遙感數(shù)據(jù)影像建立表面具有靜態(tài)紋理圖像的地表模型以及由多個(gè)包含三維幾何與紋理的模型構(gòu)成的虛擬場(chǎng)景；獲取多段真實(shí)拍攝視頻流并記錄拍攝時(shí)所處攝像機(jī)位姿信息；2)根據(jù)所述拍攝時(shí)所處攝像機(jī)位姿信息在所述虛擬場(chǎng)景中加入虛擬投影機(jī)模型及與攝影機(jī)參數(shù)相對(duì)應(yīng)的投影機(jī)的視見體，同時(shí)根據(jù)攝像機(jī)位姿信息設(shè)定虛擬投影機(jī)模型虛擬場(chǎng)景中的初始位姿值；3)對(duì)所述真實(shí)拍攝視頻流的圖像進(jìn)行視頻幀預(yù)處理得到動(dòng)態(tài)視頻紋理，利用投影紋理技術(shù)將所述預(yù)處理后的視頻數(shù)據(jù)投影到虛擬環(huán)境中；4)將所述虛擬環(huán)境中模型表面靜態(tài)紋理和/或地表原有的遙感影像紋理與所述動(dòng)態(tài)視頻紋理進(jìn)行融合，獲得場(chǎng)景表面覆蓋的最終紋理值；5)根據(jù)所述最終紋理值從所述虛擬投影機(jī)模型中通過渲染手段獲取虛擬投影機(jī)作為視點(diǎn)下的影像，并與真實(shí)拍攝視頻流中對(duì)應(yīng)影像匹配，構(gòu)造能量函數(shù)；6)利用能量函數(shù)中最優(yōu)解對(duì)所述虛擬場(chǎng)景中的投影機(jī)初始位姿值進(jìn)行重新設(shè)置，完成虛擬投影機(jī)校正。 更進(jìn)一步，所述步驟4)中紋理融合方法如下:I)重置模型視圖矩陣和投影矩陣將虛擬視點(diǎn)變換至投影機(jī)視點(diǎn)下，繪制所述虛擬場(chǎng)景，獲得在當(dāng)前投影機(jī)視點(diǎn)下的深度值(利用Z-BufTer實(shí)現(xiàn)深度緩沖)；2)重置模型視圖矩陣和投影矩陣將視點(diǎn)變回虛擬視點(diǎn)下，重新繪制所述虛擬場(chǎng)景，獲得場(chǎng)景中每個(gè)點(diǎn)對(duì)應(yīng)的真實(shí)深度值；3)在每個(gè)投影機(jī)視點(diǎn)下依次繪制虛擬場(chǎng)景，通過自動(dòng)紋理生成方式獲得場(chǎng)景中每個(gè)點(diǎn)的投影紋理坐標(biāo)，并對(duì)上述步驟1)、2)獲得的所述真實(shí)深度值與所述深度值(利用Z-Buffer實(shí)現(xiàn)深度緩沖)的比較；4)如果兩者相等，采用投影機(jī)視頻紋理，如果不等，采用場(chǎng)景模型自身紋理，并通過設(shè)定紋理組合器函數(shù)的方式迭代，直至遍歷完場(chǎng)景內(nèi)所有投影機(jī)，獲得場(chǎng)景中每個(gè)點(diǎn)最終的紋理值。更進(jìn)一步，所述步驟5)與真實(shí)拍攝視頻流中對(duì)應(yīng)影像匹配，建立以位姿信息為自變量的能量函數(shù)構(gòu)造方法如下:第一步，重置模型視圖矩陣和投影矩陣，將虛擬場(chǎng)景中視點(diǎn)調(diào)整至投影機(jī)處，繪制場(chǎng)景得到一幅虛擬環(huán)境下的影像，利用mean-shift算法對(duì)圖像進(jìn)行分割后對(duì)圖像做二值化處理；第二步，從所述真實(shí)拍攝視頻流中抽取出一關(guān)鍵幀，使用第一步的方法做二值化處理；
第三步，計(jì)算投影機(jī)形成的視見體區(qū)域內(nèi)輪廓誤差，對(duì)所述前兩步驟獲得的影像逐像素做異或處理，統(tǒng)計(jì)結(jié)果為I的像素?cái)?shù)量，該結(jié)果為能量函數(shù)第一部分；第四步，利用SIFT—致性算子添加局部信息的特征，收集第一、二步所獲得未經(jīng)過二值化處理的影像中的匹配點(diǎn)對(duì)，通過關(guān)鍵點(diǎn)約束(Key-point constraint)過程求出匹配點(diǎn)對(duì)的誤差值，該誤差值為能量函數(shù)第二部分；第五步，對(duì)于能量函數(shù)兩個(gè)部分分配不同的權(quán)重；第六步，對(duì)于能量函數(shù)最優(yōu)值的求解，第七步，利用最優(yōu)解替換投影機(jī)初始位姿值。更進(jìn)一步，所述能量函數(shù)最優(yōu)值按照以下方法求解:首先對(duì)能量函數(shù)施加模擬退火算法，將函數(shù)的解空間縮小到最優(yōu)解近似范圍內(nèi)，再利用downhill simplex算法對(duì)近似解空間壓縮,獲得最優(yōu)解。更進(jìn)一步,所述第一、二步利用mean-shift算法對(duì)圖像進(jìn)行分割時(shí)利用建筑和公路的顏色特征，將非建筑或者公路區(qū)域的像素值置為白色，保留建筑模型或者公路對(duì)應(yīng)的區(qū)域，然后對(duì)圖像做二值化處理，將建筑和公路相關(guān)區(qū)域置為黑色。更進(jìn)一步，對(duì)所述真實(shí)拍攝視頻流的圖像進(jìn)行視頻幀預(yù)處理的方法如下:視頻數(shù)據(jù)解碼得到單張視頻圖像幀，從每一個(gè)視頻流中抽取一個(gè)樣例幀利用SIFT算子尋找樣例幀中特征點(diǎn)匹配，并進(jìn)行顏色一致性處理。更進(jìn)一步，所述顏色一致性處理為:
I)從進(jìn)行匹配的兩個(gè)視頻中各抽取一個(gè)樣例幀，構(gòu)建幀內(nèi)所有像素形成的顏色直方圖，通過顏色直方圖均衡化和規(guī)定化處理，使得兩幅視頻幀具有相同的顏色直方圖分布；2)對(duì)同一視頻流中每一幀做與對(duì)應(yīng)樣例幀相同的直方圖均衡化和規(guī)定化處理，由此對(duì)整個(gè)視頻流完成一致性處理；3)為視頻幀創(chuàng)建緩存(cache)，大小約可容納50個(gè)視頻幀(視頻幀分辨率為1920*1080)；4)采用先進(jìn)先出(FIFO)的列表結(jié)構(gòu)載入幀數(shù)據(jù)。更進(jìn)一步，所述真實(shí)拍攝視頻流通過http協(xié)議獲取，在本地進(jìn)行視頻數(shù)據(jù)解碼，并將視頻幀保存為Jepg格式。更進(jìn)一步，對(duì)所述視頻圖像幀進(jìn)行多分辨率處理，對(duì)于同一張影像根據(jù)不同情況載入不同分辨率的視頻幀，采用逐像素點(diǎn)進(jìn)行雙線性內(nèi)插操作，將圖像抽析為原圖像的1/4，1/16，1/64中的一種或多種。更進(jìn)一步,對(duì)所述Jepg格式視頻圖像增加Alpha通道。本發(fā)明還提出一種真實(shí)視頻影像和虛擬場(chǎng)景融合方法，其步驟為:I)根據(jù)預(yù)先獲得的遙感數(shù)據(jù)影像建立表面具有靜態(tài)紋理圖像模型以及虛擬場(chǎng)景；所述虛擬場(chǎng)景中模型空間位置和模型間的相對(duì)位置、朝向、大小與現(xiàn)實(shí)場(chǎng)景保持一致；2)獲取多段真實(shí)拍攝視頻流并記錄拍攝所處攝像機(jī)位姿信息；3)本發(fā)明所述方法的實(shí)現(xiàn)可以建立在一個(gè)基于數(shù)字地球的虛擬現(xiàn)實(shí)平臺(tái)之上，每個(gè)虛擬投影機(jī)具有地理定位信息和虛擬現(xiàn)實(shí)具有的笛卡爾坐標(biāo)表示這兩套坐標(biāo)表示方式，因此根據(jù)所述拍攝所處地球表面的經(jīng)緯度坐標(biāo)轉(zhuǎn)換至虛擬場(chǎng)景所在的笛卡爾坐標(biāo)表示的世界坐標(biāo)并結(jié)合在所述虛擬場(chǎng)景中加入虛擬投影機(jī)模型以及投影機(jī)模型相對(duì)應(yīng)的視見體，同時(shí)根據(jù)攝像機(jī)位姿信息設(shè)定在世界坐標(biāo)系下的虛擬投影機(jī)模型虛擬場(chǎng)景中的初始位姿值；4)對(duì)所述真實(shí)拍攝視頻流的圖像進(jìn)行視頻幀預(yù)處理得到動(dòng)態(tài)視頻紋理，利用投影紋理技術(shù)將所述預(yù)處理后的視頻數(shù)據(jù)投影到虛擬環(huán)境中；5)將所述虛擬環(huán)境中模型的靜態(tài)紋理和/或地表原有的遙感影像紋理與所述動(dòng)態(tài)視頻紋理進(jìn)行融合；6)對(duì)虛擬投影機(jī)模型中不同投影機(jī)有相交覆蓋區(qū)域采用紋理融合。本發(fā)明的有益效果(a)克服了復(fù)雜的場(chǎng)景條件，實(shí)現(xiàn)了視頻與虛擬場(chǎng)景的融合，利用視頻紋理替代了原有的地形遙感紋理以及模型固有的粗糙的靜態(tài)圖像紋理，為虛擬場(chǎng)景紋理增加了動(dòng)態(tài)信息，提升了視覺效果。并通過增加視頻數(shù)量，擴(kuò)大影響范圍。(b)為視頻提供了緩存結(jié)構(gòu)，并且構(gòu)建了數(shù)據(jù)金字塔，提升了顯示的效率，相鄰兩層的數(shù)據(jù)替換可以。(c)提供了自動(dòng)校正算法，對(duì)初始的虛擬投影機(jī)位姿進(jìn)行調(diào)整，讓虛擬場(chǎng)景與真實(shí)視頻的融合更為精準(zhǔn)，與初始位置作比較，更為精準(zhǔn)體現(xiàn)在能量函數(shù)的值上，位置越精準(zhǔn)，能量函數(shù)的值越趨近于零。(d)對(duì)于視頻幀進(jìn)行預(yù)先顏色一致性處理，消除明顯的顏色跳變，提升視覺效果。


圖1是本發(fā)明三維虛實(shí)融合環(huán)境中視頻紋理投影的自動(dòng)匹配校正方法一實(shí)施例中具體操作實(shí)現(xiàn)流程示意圖；圖2a、圖2b是本發(fā)明三維虛實(shí)融合環(huán)境中視頻紋理投影的自動(dòng)匹配校正方法一實(shí)施例中沒有添加投影紋理的場(chǎng)景示意圖；圖3a、圖3b是本發(fā)明三維虛實(shí)融合環(huán)境中視頻紋理投影的自動(dòng)匹配校正方法一實(shí)施例中添加了投影紋理的場(chǎng)景示意圖；圖4是本發(fā)明三維虛實(shí)融合環(huán)境中視頻紋理投影的自動(dòng)匹配校正方法一實(shí)施例中投影機(jī)未經(jīng)過矯正的場(chǎng)景示意圖；圖5是本發(fā)明三維虛實(shí)融合環(huán)境中視頻紋理投影的自動(dòng)匹配校正方法一實(shí)施例中投影機(jī)經(jīng)過校正的場(chǎng)景示意圖。
具體實(shí)施例方式下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，可以理解的是，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域技術(shù)人員在沒有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。(I)構(gòu)建虛擬場(chǎng)景。利用預(yù)先獲得的遙感影像設(shè)置地形紋理，在虛擬空間中構(gòu)建表面擁有靜態(tài)紋理圖像的模型以及模型構(gòu)成的虛擬場(chǎng)景，場(chǎng)景中模型的空間位置以及模型之間的相對(duì)位置、朝向、大小等要素應(yīng)盡可能與現(xiàn)實(shí)場(chǎng)景保持一致。
(2)獲取視頻數(shù)據(jù)。數(shù)據(jù)來源可以是監(jiān)控?cái)z像機(jī)，也可以是移動(dòng)設(shè)備拍攝的視頻影像，同時(shí)獲取拍攝時(shí)攝像機(jī)的參數(shù)信息，用于虛擬空間中投影機(jī)的初定位。對(duì)視頻流進(jìn)行抽析，獲取單幀圖像，并對(duì)圖像做多分辨率處理和顏色光照一致性處理。(3)視頻紋理融合。根據(jù)步驟(2)中獲取的攝像機(jī)經(jīng)緯度信息，在步驟(I)中加入虛擬投影機(jī)模型以及其視見體，并通過步驟(2)中獲取的攝像機(jī)位姿信息設(shè)定虛擬投影機(jī)模型朝向。目前，由于實(shí)現(xiàn)方法的限制，在單一虛擬視點(diǎn)的視見體空間中，可以至多同時(shí)加載32個(gè)虛擬投影機(jī)模型。利用投影紋理技術(shù)將視頻數(shù)據(jù)投影到虛擬環(huán)境中，將模型或者地面原有的遙感影像紋理與動(dòng)態(tài)視頻紋理進(jìn)行融合。如果不同投影機(jī)有相交的覆蓋區(qū)域，也需要對(duì)于該區(qū)域采用融合操作。(4)投影機(jī)校正。獲取虛擬投影機(jī)視點(diǎn)下的影像，與相關(guān)真實(shí)視頻中影像做匹配。通過本發(fā)明中的算法，計(jì)算虛擬影像與真實(shí)影像中建筑物或者公路差異范圍，以及局部特征差異，構(gòu)造能量函數(shù)，求解能量函數(shù)中的最優(yōu)解。利用最優(yōu)解對(duì)于虛擬場(chǎng)景中的投影機(jī)進(jìn)行重新設(shè)置，完成校正過程，提升效果。以下從幾個(gè)方面對(duì)本發(fā)明方法做具體說明。首先對(duì)于一些概念做具體說明:攝像機(jī):真實(shí)空間中的視頻源，用于獲取視頻數(shù)據(jù)。投影機(jī):虛擬場(chǎng)景中的虛擬模型，用于在虛擬場(chǎng)景中投影視頻紋理。紋理融合:一個(gè)模型可以應(yīng)用幾個(gè)不同來源的紋理，那么需要對(duì)同一個(gè)點(diǎn)上不同的紋理顏色值進(jìn)行融合處 理，得到最終的顏色值。深度值:空間中任意一點(diǎn)經(jīng)過透視變換之后所獲得的代表在Z方向與虛擬視點(diǎn)距離的值。深度緩沖(Ζ-Buffer):場(chǎng)景經(jīng)過渲染之后保存的與色彩緩沖相同大小的一個(gè)緩沖，緩沖中的每個(gè)元素存儲(chǔ)了一個(gè)場(chǎng)景中的深度值，表示該元素所對(duì)應(yīng)的三維場(chǎng)景中距離視點(diǎn)最近的物體表面所具有的深度值。投影紋理技術(shù):異于傳統(tǒng)的四點(diǎn)紋理貼圖方式，將紋理以投影的形式施加到虛擬場(chǎng)景中，與虛擬場(chǎng)景中的建筑和/或地形融合，作為建筑和/或地形的最終紋理。技術(shù)方案(2 )具體實(shí)現(xiàn)方案如下:對(duì)于視頻數(shù)據(jù)，通過傳統(tǒng)http協(xié)議獲取，在本地進(jìn)行視頻數(shù)據(jù)解碼，獲取單張視頻幀，將視頻保存為Jepg格式，從每一個(gè)視頻流中抽取一個(gè)樣例幀，利用SIFT算子尋找樣例幀中特征點(diǎn)匹配(此處可對(duì)于視頻源進(jìn)行預(yù)分類過程，將拍攝相同建筑的視頻源劃分在一起，這樣可以降低匹配過程耗時(shí)，提高預(yù)處理效率)，并進(jìn)行顏色一致性處理。顏色一致性處理的具體操作是從進(jìn)行匹配的兩個(gè)視頻中各抽取一個(gè)樣例幀，構(gòu)建幀內(nèi)所有像素形成的顏色直方圖，通過顏色直方圖均衡化和規(guī)定化處理，使得兩幅視頻幀具有相同的顏色直方圖分布，對(duì)于同一視頻流中的所有幀都與樣例幀具有近似相同的顏色直方圖分布，所以對(duì)于同一視頻流中每一幀做與對(duì)應(yīng)樣例幀相同的直方圖均衡化和規(guī)定化處理，由此對(duì)整個(gè)視頻流完成一致性處理。此處理的目的就是讓重疊區(qū)域的視頻紋理能夠有相同的紋理顏色，提高視頻間融合效果，避免出現(xiàn)明顯跳變效果。由于解析出來的視頻幀比較大，而且內(nèi)存資源珍貴，所以為視頻幀創(chuàng)建了 cache，大小為50個(gè)視頻幀。此處選擇50的原因是，在獲取視頻流并解析的過程中，單視頻幀最大的分辨率為1920*1080，每個(gè)像素都具有4個(gè)字節(jié)，即RGB和Alpha通道，其中Alpha決定了圖像的半透明程度，其取值范圍為O到255 (0代表不透明，255代表全透明)，那么讀取一幀視頻將消耗IMB空間，30路視頻將消耗30MB的內(nèi)存，如果以內(nèi)存為IG估計(jì)的話，做多可以緩存50幀。采用FIFO的列表結(jié)構(gòu)。如果緩存空間已滿，則暫停傳入進(jìn)入等待。如果由于網(wǎng)絡(luò)問題，顯示速度快于載入速度，則返回上一幀視頻，直至有新的幀數(shù)據(jù)傳入。本發(fā)明提供的一優(yōu)化方案:另外一個(gè)節(jié)約空間的策略就是對(duì)于視頻幀進(jìn)行多分辨率處理，對(duì)于同一張影像構(gòu)建金字塔，不同情況載入不同分辨率的視頻幀，節(jié)約內(nèi)存開銷。具體方式是逐像素點(diǎn)進(jìn)行雙線性內(nèi)插操作，將圖像抽析為原圖像的1/4，1/16，1/64。此外，本發(fā)明提供的一優(yōu)化方案:為了提高效率，使得視頻幀能夠直接用于紋理投影算法，需要為視頻幀圖像增加Alpha通道，作為視頻與場(chǎng)景之間或者視頻之間融合參數(shù)。技術(shù)方案(3 )具體實(shí)現(xiàn)方案如下:首先通過模型視圖矩陣和投影矩陣重置將虛擬視點(diǎn)變換至投影機(jī)視點(diǎn)下，清空虛擬視點(diǎn)下的深度緩沖區(qū)，并設(shè)置多邊形偏移量和顏色掩碼，繪制技術(shù)方案(I)中對(duì)應(yīng)的虛擬場(chǎng)景，獲得在當(dāng)前投影機(jī)作為視點(diǎn)下的深度緩沖，并構(gòu)成深度紋理；其次，通過模型視圖矩陣和投影矩陣重置將視點(diǎn)變回虛擬視點(diǎn)下，清空顏色和深度緩沖區(qū)，繪制技術(shù)方案(1)中對(duì)應(yīng)的虛擬場(chǎng)景，包含其表面紋理，由此獲得場(chǎng)景中每個(gè)點(diǎn)對(duì)應(yīng)的真實(shí)深度值。最后，通過模型視圖矩陣和投影矩陣重置，在每個(gè)投影機(jī)視點(diǎn)下依次繪制場(chǎng)景。通過自動(dòng)紋理生成方式獲得場(chǎng)景中每個(gè)點(diǎn)的投影紋理坐標(biāo)，并通過第一、二兩步驟獲得的真實(shí)深度值與Z-Buffer值的比較決定場(chǎng)景中每個(gè)點(diǎn)最終的紋理值，如果兩者相等，則采用投影機(jī)視頻紋理，如果不等，利用場(chǎng)景模型自身紋理。迭代此過程，直至遍歷完場(chǎng)景內(nèi)所有投影機(jī)。對(duì)于不同視頻之間的融合，采用設(shè)定紋理組合器函數(shù)的方式實(shí)現(xiàn)。因?yàn)轭伾恢滦孕Ｕ呀?jīng)在視頻幀預(yù)處理過程中完成，所以此處采用R印Iace方式，即用后來的紋理片段替代原有的值。技術(shù)方案(4)具體實(shí)現(xiàn)方案如下:對(duì)于投影機(jī)位姿的校正，即為對(duì)于虛擬場(chǎng)景中投影機(jī)空間三維坐標(biāo)x，y，z以及三個(gè)方向偏轉(zhuǎn)角(K 0，Y的校正。以視頻獲取時(shí)得到的位姿值作為虛擬投影機(jī)虛擬場(chǎng)景中的初始值，但是由于設(shè)備精度的影響，該數(shù)值并不能使得投影紋理與虛擬空間完全融合。所以需要附加額外的校正過程。本發(fā)明采用構(gòu)建以位姿信息為自變量的能量函數(shù)，并對(duì)能量函數(shù)求解最優(yōu)值的方式對(duì)虛擬投影機(jī)進(jìn)行校正。首先，通過模型視圖矩陣和投影矩陣重置，將虛擬場(chǎng)景中視點(diǎn)調(diào)整至投影機(jī)處，繪制場(chǎng)景得到一幅虛擬環(huán)境下的影像，利用mean-shift算法對(duì)圖像進(jìn)行分割，并利用建筑和公路的顏色特征，將非建筑或者公路區(qū)域的像素值置為白色，只保留建筑模型或者公路對(duì)應(yīng)的區(qū)域，然后對(duì)圖像做二值化處理，將建筑和公路相關(guān)區(qū)域置為黑色。第二步，從視頻中抽取出一關(guān)鍵幀，使用和第一步類似的方法，保留建筑模型或者公路對(duì)應(yīng)的區(qū)域，做二值化處理。 第三步，投影機(jī)視見體區(qū)域內(nèi)計(jì)算輪廓誤差將前兩步獲得影像，逐像素做異或處理，最后統(tǒng)計(jì)結(jié)果為I的像素?cái)?shù)量，將該結(jié)果作為能量函數(shù)的第一部分。第四步，對(duì)于具有外觀軸對(duì)稱性質(zhì)的建筑，如果只做外形匹配可能出現(xiàn)錯(cuò)誤的結(jié)果，所以需要添加一些局部信息的特征。利用SIFT—致性算子，收集第一二兩步所獲得未經(jīng)過二值化處理的影像中的匹配點(diǎn)對(duì)。通過Key-point constraint過程求出匹配點(diǎn)對(duì)的誤差值，將該數(shù)值最為能量函數(shù)的第二部分。第五步，對(duì)于能量函數(shù)兩個(gè)部分分配不同的權(quán)重，本發(fā)明為全局輪廓誤差分配了更多的權(quán)重，至此能量函數(shù)構(gòu)建完畢。第六步，對(duì)于能量函數(shù)最優(yōu)值的求解，首先對(duì)能量函數(shù)施加模擬退火算法，將函數(shù)的解空間縮小到最優(yōu)解近似范圍內(nèi)。再利用downhill simplex算法對(duì)近似解空間進(jìn)一步壓縮，從而獲得最優(yōu)解。第七步，利用最優(yōu)解替換技術(shù)實(shí)現(xiàn)(3)中初始的投影機(jī)位姿值。本實(shí)施例按照視頻融合和校正生成流程，可以分為以下幾個(gè)步驟實(shí)施:I構(gòu)建虛擬場(chǎng)景先以虛擬校園為例，通過已有的地形遙感數(shù)據(jù)，構(gòu)建數(shù)據(jù)金字塔，在不同視點(diǎn)下對(duì)地形綁定不同層次的紋理。創(chuàng)建校園內(nèi)標(biāo)志性建筑模型，并根據(jù)地形遙感數(shù)據(jù)，將模型手動(dòng)添加到相應(yīng)位置，讓建筑間相對(duì)位置關(guān)系盡可能與現(xiàn)實(shí)保持一致。見圖1步驟(2)遙感地形輸數(shù)據(jù)一(3) LOD處理一(4)地形紋理值一(6)模型數(shù)據(jù)一(7)空間位置校準(zhǔn)一(8)模型紋理。2獲取視頻數(shù)據(jù) 從不同視頻源，如校內(nèi)監(jiān)控?cái)z像頭或者相機(jī)、手機(jī)，獲取未經(jīng)處理的視頻流。將視頻流抽析成單幀圖像，并對(duì)圖像進(jìn)行多分辨率處理，創(chuàng)建不同分辨率的圖像，并為圖像添加Alpha通道，方便后續(xù)視頻間以及視頻與場(chǎng)景間的融合。此外，保存視頻源的經(jīng)緯度、視角和方向信息，用于虛擬空間中投影機(jī)的初始定位。見圖1步驟(11)對(duì)于視頻幀的抽析，構(gòu)建多分辨率，為影響增加alpha通道一(13)視頻流一(14)投影機(jī)紋理。3視頻紋理融合將視頻影像與地形、模型紋理相互融合。通過三次場(chǎng)景繪制實(shí)現(xiàn)，第一次在投影機(jī)視角下繪制物體，獲得對(duì)應(yīng)的Z-Buffer，第二次在虛擬視點(diǎn)下繪制場(chǎng)景，獲得場(chǎng)景中每個(gè)點(diǎn)的真實(shí)深度值。第三次繪制，通過前兩次繪制獲得深度值做比較，決定場(chǎng)景中每個(gè)點(diǎn)的紋理值。融合過程通過設(shè)定不同的紋理融合器實(shí)現(xiàn)。見圖1步驟(I)紋理座標(biāo)自動(dòng)生成一(5)Z-buffer值于真實(shí)深度值的比較一(9)虛擬場(chǎng)景多遍繪制一(10)紋理組合器函數(shù)一(12)最終影像。4投影機(jī)校正將視點(diǎn)置于投影機(jī)處，繪制場(chǎng)景，獲得虛擬場(chǎng)景影像。根據(jù)投影機(jī)找到其在真實(shí)場(chǎng)景中的視頻流，并抽取其中一張關(guān)鍵幀。對(duì)上述兩幅影像進(jìn)行圖像分割處理，可以選用的算法很多，例如 mean-shift, normalized cut, JSEG, pixel affinity,本發(fā)明采用的是mean-shift算法。將圖像分割為不同區(qū)域，根據(jù)顏色特征抽析出地面或者建筑物部分，將無關(guān)部分剔除。對(duì)分離之后的影像做歸一化處理，非模型所在部分被設(shè)置為白色，模型所在部分設(shè)置為黑色。然后兩張圖像做逐像素的異或操作，如果兩張影像分辨率不一樣，需要添加一致性處理過程。對(duì)結(jié)果為一的像素做計(jì)數(shù)操作，此結(jié)果作為能量函數(shù)的第一部分。輪廓匹配是一種全局的比較手段，需要一些局部特征匹配作為補(bǔ)充，此處使用SIFT特征匹配算子，選取出幾組特征點(diǎn)，計(jì)算其key-point error值,將該值疊加作為能量函數(shù)的第二部分。此時(shí)，投影機(jī)的校正問題轉(zhuǎn)變?yōu)槎嘣宰兞康哪芰亢瘮?shù)求最優(yōu)解問題。本發(fā)明使用模擬退火算法和downhill simplex算法的組合。通過模擬退火算法找到近似最優(yōu)解,再通過downhill simplex算法在小范圍內(nèi)對(duì)投影機(jī)位置做優(yōu)化。求出最優(yōu)解之后，將該值替換虛擬投影機(jī)的位姿，完成校正過程。見圖1步驟(15)基于Mean-shift的圖像分割一(16)SIFT算子提取局部特征匹配點(diǎn)一(17)虛擬投影機(jī)位姿校準(zhǔn)值一(18)建筑或者公路抽析，并做異或操作一(19) Key-Point 誤差一(20) Downhill simplex — (21)模擬退火一(22)構(gòu)建能量函 數(shù)。
權(quán)利要求
1.一種三維虛實(shí)融合環(huán)境中視頻紋理投影的自動(dòng)匹配校正方法，其步驟包括: 1)根據(jù)預(yù)先獲得的遙感數(shù)據(jù)影像建立表面具有靜態(tài)紋理圖像的地表模型以及虛擬場(chǎng)景；獲取多段真實(shí)拍攝視頻流并記錄拍攝時(shí)所處攝像機(jī)位姿信息； 2)根據(jù)所述拍攝時(shí)所處攝像機(jī)位姿信息在所述虛擬場(chǎng)景中加入虛擬投影機(jī)模型及與攝像機(jī)參數(shù)相對(duì)應(yīng)的投影機(jī)的視見體，同時(shí)根據(jù)攝像機(jī)位姿信息設(shè)定虛擬投影機(jī)模型虛擬場(chǎng)景中的初始位姿值； 3)對(duì)所述真實(shí)拍攝視頻流的圖像進(jìn)行視頻幀預(yù)處理得到動(dòng)態(tài)視頻紋理，利用投影紋理技術(shù)將所述預(yù)處理后的視頻數(shù)據(jù)投影到虛擬環(huán)境中； 4)將所述虛擬環(huán)境中地表模型表面靜態(tài)紋理和/或地表原有的遙感影像紋理與所述動(dòng)態(tài)視頻紋理進(jìn)行融合，獲得場(chǎng)景表面覆蓋的最終紋理值； 5)根據(jù)所述最終紋理值從所述虛擬投影機(jī)模型中獲取虛擬投影機(jī)作為視點(diǎn)下的影像，并與真實(shí)拍攝視頻流中對(duì)應(yīng)影像匹配，構(gòu)造能量函數(shù)； 6)利用能量函數(shù)中最優(yōu)解對(duì)所述虛擬場(chǎng)景中的投影機(jī)初始位姿值進(jìn)行重新設(shè)置，完成虛擬投影機(jī)校正。
2.如權(quán)利要求1所 述的三維虛實(shí)融合環(huán)境中視頻紋理投影的自動(dòng)匹配校正方法，其特征在于，所述步驟4)中紋理融合方法如下: 1)重置模型視圖矩陣和投影矩陣將虛擬視點(diǎn)變換至投影機(jī)視點(diǎn)下，繪制所述虛擬場(chǎng)景，獲得在當(dāng)前投影機(jī)視點(diǎn)下的深度值； 2)重置模型視圖矩陣和投影矩陣將視點(diǎn)變回虛擬視點(diǎn)下，重新繪制所述虛擬場(chǎng)景，獲得場(chǎng)景中每個(gè)點(diǎn)對(duì)應(yīng)的真實(shí)深度值； 3)在每個(gè)投影機(jī)視點(diǎn)下依次繪制虛擬場(chǎng)景，通過自動(dòng)紋理生成方式獲得場(chǎng)景中每個(gè)點(diǎn)的投影紋理坐標(biāo)，并對(duì)上述步驟1)、2)獲得的所述真實(shí)深度值與所述深度值的比較； 4)如果兩者相等，采用投影機(jī)視頻紋理，如果不等，采用場(chǎng)景模型自身紋理，并通過設(shè)定紋理組合器函數(shù)的方式迭代，直至遍歷完場(chǎng)景內(nèi)所有投影機(jī)，獲得場(chǎng)景中每個(gè)點(diǎn)最終的紋理值。
3.如權(quán)利要求1所述的三維虛實(shí)融合環(huán)境中視頻紋理投影的自動(dòng)匹配校正方法，其特征在于，所述步驟5)與真實(shí)拍攝視頻流中對(duì)應(yīng)影像匹配，建立以位姿信息為自變量的能量函數(shù)構(gòu)造方法如下: 第一步，重置模型視圖矩陣和投影矩陣，將虛擬場(chǎng)景中視點(diǎn)調(diào)整至投影機(jī)處，繪制場(chǎng)景得到一幅虛擬環(huán)境下的影像，利用mean-shift算法對(duì)圖像進(jìn)行分割后對(duì)圖像做二值化處理； 第二步，從所述真實(shí)拍攝視頻流中抽取出一關(guān)鍵幀，使用第一步的方法做二值化處理； 第三步，計(jì)算投影機(jī)形成的視見體區(qū)域內(nèi)輪廓誤差，對(duì)所述前兩步驟獲得的影像逐像素做異或處理，統(tǒng)計(jì)結(jié)果為I的像素?cái)?shù)量，該結(jié)果為能量函數(shù)第一部分； 第四步，利用SIFT —致性算子添加局部信息的特征，收集第一、二步所獲得未經(jīng)過二值化處理的影像中的匹配點(diǎn)對(duì)，通過關(guān)鍵點(diǎn)約束Key-point constraint過程求出匹配點(diǎn)對(duì)的誤差值，該誤差值為能量函數(shù)第二部分； 第五步，對(duì)于能量函數(shù)兩個(gè)部分分配不同的權(quán)重；第六步，對(duì)于能量函數(shù)最優(yōu)值的求解， 第七步，利用最優(yōu)解替換投影機(jī)初始位姿值。
4.如權(quán)利要求1或3所述的三維虛實(shí)融合環(huán)境中視頻紋理投影的自動(dòng)匹配校正方法，其特征在于，所述能量函數(shù)最優(yōu)值按照以下方法求解: 首先對(duì)能量函數(shù)施加模擬退火算法，將函數(shù)的解空間縮小到最優(yōu)解近似范圍內(nèi)，再利用downhill simplex算法對(duì)近似解空間壓縮,獲得最優(yōu)解。
5.如權(quán)利要求3所述的三維虛實(shí)融合環(huán)境中視頻紋理投影的自動(dòng)匹配校正方法，其特征在于，所述第一、二步利用mean-shift算法對(duì)圖像進(jìn)行分割時(shí)利用建筑和公路的顏色特征，將非建筑或者公路區(qū)域的像素值置為白色，保留建筑模型或者公路對(duì)應(yīng)的區(qū)域，然后對(duì)圖像做二值化處理，將建筑和公路相關(guān)區(qū)域置為黑色。
6.如權(quán)利要求1所述的三維虛實(shí)融合環(huán)境中視頻紋理投影的自動(dòng)匹配校正方法，其特征在于，對(duì)所述真實(shí)拍攝 視頻流的圖像進(jìn)行視頻幀預(yù)處理的方法如下: 視頻數(shù)據(jù)解碼得到單張視頻圖像幀，從每一個(gè)視頻流中抽取一個(gè)樣例幀利用SIFT算子尋找樣例幀中特征點(diǎn)匹配，并進(jìn)行顏色一致性處理。
7.如權(quán)利要求6所述的三維虛實(shí)融合環(huán)境中視頻紋理投影的自動(dòng)匹配校正方法，其特征在于，所述顏色一致性處理為: 1)從進(jìn)行匹配的兩個(gè)視頻中各抽取一個(gè)樣例幀，構(gòu)建幀內(nèi)所有像素形成的顏色直方圖，通過顏色直方圖均衡化和規(guī)定化處理，使得兩幅視頻幀具有相同的顏色直方圖分布； 2)對(duì)同一視頻流中每一幀做與對(duì)應(yīng)樣例幀相同的直方圖均衡化和規(guī)定化處理，由此對(duì)整個(gè)視頻流完成一致性處理； 3)為視頻幀創(chuàng)建緩存cache，大小可容納50個(gè)視頻幀； 4)采用先進(jìn)先出FIFO的列表結(jié)構(gòu)載入視頻幀數(shù)據(jù)。
8.如權(quán)利要求6所述的三維虛實(shí)融合環(huán)境中視頻紋理投影的自動(dòng)匹配校正方法，其特征在于，所述真實(shí)拍攝視頻流通過http協(xié)議獲取，在本地進(jìn)行視頻數(shù)據(jù)解碼，并將視頻幀保存為Jepg格式。
9.如權(quán)利要求6所述的三維虛實(shí)融合環(huán)境中視頻紋理投影的自動(dòng)匹配校正方法，其特征在于，對(duì)所述視頻圖像幀進(jìn)行多分辨率處理，對(duì)于同一張影像根據(jù)不同情況載入不同分辨率的視頻幀，采用逐像素點(diǎn)進(jìn)行雙線性內(nèi)插操作，將圖像抽析為原圖像的1/4，1/16，1/64中的一種或多種。
10.如權(quán)利要求8所述的三維虛實(shí)融合環(huán)境中視頻紋理投影的自動(dòng)匹配校正方法，其特征在于，對(duì)所述Jepg格式視頻圖像增加Alpha通道。
11.一種真實(shí)視頻影像和虛擬場(chǎng)景融合方法，其步驟為: 1)根據(jù)預(yù)先獲得的遙感數(shù)據(jù)影像建立表面具有靜態(tài)紋理圖像模型以及虛擬場(chǎng)景；所述虛擬場(chǎng)景中模型空間位置和模型間的相對(duì)位置、朝向、大小與現(xiàn)實(shí)場(chǎng)景保持一致； 2)獲取多段真實(shí)拍攝視頻流并記錄拍攝所處攝像機(jī)位姿信息； 3)將所述拍攝所處地球表面的經(jīng)緯度坐標(biāo)轉(zhuǎn)換至虛擬場(chǎng)景所在的笛卡爾坐標(biāo)表示的世界坐標(biāo)并結(jié)合，在所述虛擬場(chǎng)景中加入虛擬投影機(jī)模型以及投影機(jī)模型相對(duì)應(yīng)的視見體，同時(shí)根據(jù)攝像機(jī)位姿信息設(shè)定在世界坐標(biāo)系下的虛擬投影機(jī)模型虛擬場(chǎng)景中的初始位姿值；· 4)對(duì)所述真實(shí)拍攝視頻流的圖像進(jìn)行視頻幀預(yù)處理得到動(dòng)態(tài)視頻紋理，利用投影紋理技術(shù)將所述預(yù)處理后的視頻數(shù)據(jù)投影到虛擬環(huán)境中； ·5)將所述虛擬環(huán)境中模型的靜態(tài)紋理和/或地表原有的遙感影像紋理與所述動(dòng)態(tài)視頻紋理進(jìn)行融合； ·6 )對(duì)虛擬投影機(jī)模型中不同投影機(jī)有相交覆 蓋區(qū)域采用紋理融合。
全文摘要
本發(fā)明涉及三維虛實(shí)融合環(huán)境中視頻紋理投影的自動(dòng)匹配校正方法以及真實(shí)視頻影像和虛擬場(chǎng)景融合方法，自動(dòng)匹配校正方法步驟為通過構(gòu)建虛擬場(chǎng)景、獲取視頻數(shù)據(jù)、視頻紋理融合、投影機(jī)校正。采用拍攝的真實(shí)視頻，通過紋理投影的方式，在復(fù)雜的地表和建筑物等場(chǎng)景表面進(jìn)行虛擬場(chǎng)景融合，提高虛擬現(xiàn)實(shí)環(huán)境中場(chǎng)景動(dòng)態(tài)信息的表達(dá)與展示能力，也增強(qiáng)了場(chǎng)景的層次感?？赏ㄟ^增加從不同拍攝角度的視頻數(shù)量，實(shí)現(xiàn)大范圍虛擬場(chǎng)景的動(dòng)態(tài)視頻紋理覆蓋效果，從而實(shí)現(xiàn)虛擬現(xiàn)實(shí)環(huán)境與顯示場(chǎng)景的虛實(shí)融合的動(dòng)態(tài)真實(shí)感效果。通過視頻幀預(yù)先顏色一致性處理，消除明顯的顏色跳變，提升視覺效果。通過本發(fā)明提出的自動(dòng)校正算法，讓虛擬場(chǎng)景與真實(shí)視頻的融合更為精準(zhǔn)。
文檔編號(hào)G06T7/00GK103226830SQ20131014877
公開日2013年7月31日 申請(qǐng)日期2013年4月25日 優(yōu)先權(quán)日2013年4月25日
發(fā)明者高鑫光, 蘭江, 李勝, 汪國(guó)平 申請(qǐng)人:北京大學(xué)