專利名稱：一種立體視覺影像與三維虛擬物體的無縫融合方法
技術領域：
本發(fā)明涉及機器人遙操作領域，尤指用于機器人操作定位的立體視覺影像與三維
虛擬物體的無縫融合方法。
背景技術：
現(xiàn)有的機器人遙操作控制長期以來依賴于二維影像，其相比現(xiàn)實環(huán)境中的三維影像差距相當大，因此一直以來采用二維影像對機器人遙操作進行定位，普遍存在著操作定位不準的問題。 實現(xiàn)基于真實環(huán)境的立體影像與三維虛擬對象物體的無縫融合，需要將遙操作場景的立體影像與虛擬三維物體、虛擬機器人姿態(tài)動態(tài)融合在一起。這樣做的目的是有助于突破遙操作控制長期以來依賴于二維影像、操作定位精度差的瓶頸，為遙操作控制提供深度沉浸感的虛擬仿真環(huán)境。

發(fā)明內(nèi)容
針對現(xiàn)有技術存在的問題，本發(fā)明提供一種對機器人搖操作控制提供虛擬仿真環(huán)境的立體視覺影像與三維虛擬物體的無縫融合方法。 為實現(xiàn)上述目的，本發(fā)明的立體視覺影像與三維虛擬物體的無縫融合方法，具體為1)采集實際立體視覺影像；2)根據(jù)特征信息提取算法對采集到得立體視覺影像和虛擬圖像模型進行特征提取，進而進行立體視覺影像和虛擬圖像模型的匹配；3)通過旋轉(zhuǎn)匹配后的虛擬圖像模型，進行匹配分值計算，以確定匹配虛擬圖像模型的位姿；4)匹配虛擬圖像模型的尺度調(diào)整；5)將匹配完全的虛擬圖像模型代置遙操作現(xiàn)場的真實對象物體。
進一步，所述虛擬圖像模型存儲于模型庫中，并可通過不同指令進行調(diào)用、存取模型信息。 進一步，步驟3)中虛擬圖像模型的位姿確定的具體步驟為建立位姿匹配的經(jīng)驗閥值，每旋轉(zhuǎn)一次虛擬圖像模型，通過計算得到實際閥值，實際閥值低于經(jīng)驗閥值時，認定虛擬圖像模型與立體視覺影像的位姿不一致，繼續(xù)旋轉(zhuǎn)虛擬圖像模型，當實際閥值高于經(jīng)驗閥值時，將此位姿記錄下來，最后統(tǒng)計得到實際閥值最高時的虛擬圖像模型位姿即與立體視覺影像中的對象物體位姿一致。 進一步，步驟4)中虛擬圖像模型的尺度調(diào)整需要對虛擬圖像模型在維度上進行縮放，縮放的比例由真實場景影像中對象物體的包容盒與相同位姿下虛擬圖像模型的包容盒的尺度比作為系數(shù)，進行調(diào)整。 進一步，步驟5)中真實場景中對象物體等尺度的虛擬圖像模型被放回到真實場景中，需要進行從世界坐標系到相機坐標系的轉(zhuǎn)換。 本發(fā)明的立體視覺影像與三維虛擬物體的無縫融合方法，實現(xiàn)基于真實環(huán)境的立體影像與三維虛擬對象物體的無縫融合，需要將遙操作場景的立體影像與虛擬三維物體、虛擬機器人姿態(tài)動態(tài)融合在一起。這樣做的目的是有助于突破遙操作控制長期以來依賴于二維影像、操作定位精度差的瓶頸，為遙操作控制提供深度沉浸感的虛擬仿真環(huán)境。


圖1為本發(fā)明的融合方法的流程 圖2為虛擬圖像模型位姿計算流程 圖3為雙目立體成像原理圖； 圖4a和圖4b為基于雙路視頻的虛實融合示例圖。
具體實施例方式
如圖1所示，本發(fā)明的立體視覺影像與三維虛擬物體的無縫融合方法，具體為
1.對象物體的交互選取 對象物體的選取可以在左右視頻影像中進行，具體操作與屏幕區(qū)域選取相似。
2.模型特征提取及匹配檢索 利用特征信息提取算法進行特征提取及與模型知識庫內(nèi)的模型進行特征提取和匹配。 特征的提取與所選中對象物體在視頻影像中所處的角度有關，比較好的角度應該
是能最大限度展現(xiàn)對象特殊性的角度。在進行特征匹配時，系統(tǒng)采用增量轉(zhuǎn)動模型的方法
來保證匹配的準確度。
特征提取SIFT算法詳細步驟 (1)尺度空間的生成 尺度空間理論目的是模擬圖像數(shù)據(jù)的多尺度特征。 高斯巻積核是實現(xiàn)尺度變換的唯一線性核，于是一副二維圖像的尺度空間定義為 "x， y， o ) = G(x， y o )W (x， y) (1) 其中G(x， y， o )是尺度可變高斯函數(shù)，G(xj,o") = /2c72 (x， y)是空
間坐標，Q是尺度坐標。 為了有效的在尺度空間檢測到穩(wěn)定的關鍵點，提出了高斯差分尺度空間(D0Gscale-space)。利用不同尺度的高斯差分核與圖像巻積生成。 D (x， y， o ) = (G (x， y， k o ) _G (x， y， o ))承I (x， y) = "x， y， k o ) _L (x， y， o )(3) D0G算子計算簡單，是尺度歸一化的LoG算子的近似。
(2)構建尺度空間需確定的參數(shù)
o-尺度空間坐標
0-octave坐標
S-sub-level坐標 o和0、 S的關系o (o， s) = o 02°+s/s， o G omin+
， s G
其中0。是基準層尺度。o-octave坐標，s-sub-level坐標。注octaves的索引可能是負的。第一組索引常常設為0或者-1，當設為-1的時候，圖像在計算高斯尺度空間前先擴大一倍。 空間坐標x是組octave的函數(shù)，設x。是0組的空間坐標，則 x = 2ox0， o G Z， x0 G
X
如果(M。， N。)是基礎組o = 0的分辨率，則其他組的分辨率由下式獲得
<formula>formula see original document page 5</formula> (3)精確確定極值點位置 通過擬和三維二次函數(shù)以精確確定關鍵點的位置和尺度(達到亞像素精度)，同 時去除低對比度的關鍵點和不穩(wěn)定的邊緣響應點(因為DoG算子會產(chǎn)生較強的邊緣響應)， 以增強匹配穩(wěn)定性、提高抗噪聲能力。
邊緣響應的去除 —個定義不好的高斯差分算子的極值在橫跨邊緣的地方有較大的主曲率，而在垂 直邊緣的方向有較小的主曲率。主曲率通過一個2x2的Hessian矩陣H求出 77



DD (4)
導數(shù)由采樣點相鄰差估計得到。
D的主曲率和H的特征值成正比，令a為最大特征值，|3為最小的特征值，則 Tr(H) = Dxx+Dyy = a+|3 ， Det(H) = DxxDyy_(Dxy)2 = a |3. 令a = y P ，則<formula>formula see original document page 5</formula>
:Det(H) r伊 r (r+l)7r的值在兩個特征值相等的時候最小，隨著r的增大而增大，因此，為了檢 測主曲率是否在某域值r下，只需檢測
<formula>formula see original document page 5</formula> (4)關鍵點方向分配 利用關鍵點鄰域像素的梯度方向分布特性為每個關鍵點指定方向參數(shù)，使算子具 備旋轉(zhuǎn)不變性。
<formula>formula see original document page 5</formula>
式(5)為(x，y)處梯度的模值和方向公式。其中L所用的尺度為每個關鍵點各自
所在的尺度。 在實際計算時，我們在以關鍵點為中心的鄰域窗口內(nèi)采樣，并用直方圖統(tǒng)計鄰域
像素的梯度方向。梯度直方圖的范圍是0 360度，其中每10度一個柱，總共36個柱。直
方圖的峰值則代表了該關鍵點處鄰域梯度的主方向，即作為該關鍵點的方向。 在梯度方向直方圖中，當存在另一個相當于主峰值80%能量的峰值時，則將這個方向認為是該關鍵點的輔方向。 一個關鍵點可能會被指定具有多個方向(一個主方向，一 個以上輔方向)，這可以增強匹配的魯棒性。
至此，圖像的關鍵點已檢測完畢，每個關鍵點有三個信息位置、所處尺度、方向。 由此可以確定一個SIFT特征區(qū)域(在實驗章節(jié)用橢圓或箭頭表示)。
(5)特征點描述子生成 首先將坐標軸旋轉(zhuǎn)為關鍵點的方向，以確保旋轉(zhuǎn)不變性。接下來以關鍵點為中心 取8 X 8的窗口 ，然后在每4X4的小塊上計算8個方向的梯度方向直方圖，繪制每個梯度方 向的累加值，即可形成一個種子點。這種鄰域方向性信息聯(lián)合的思想增強了算法抗噪聲的 能力，同時對于含有定位誤差的特征匹配也提供了較好的容錯性。 實際計算過程中，為了增強匹配的穩(wěn)健性，建議對每個關鍵點使用4X4共16個種 子點來描述，這樣對于一個關鍵點就可以產(chǎn)生128個數(shù)據(jù)，即最終形成128維的SIFT特征 向量。此時SIFT特征向量已經(jīng)去除了尺度變化、旋轉(zhuǎn)等幾何變形因素的影響，再繼續(xù)將特 征向量的長度歸一化，則可以進一步去除光照變化的影響。 當兩幅圖像的SIFT特征向量生成后，下一步我們采用關鍵點特征向量的歐式距
離來作為兩幅圖像中關鍵點的相似性判定度量。取圖像l中的某個關鍵點，并找出其與圖 像2中歐式距離最近的前兩個關鍵點，在這兩個關鍵點中，如果最近的距離除以次近的距 離少于某個比例閾值，則接受這一對匹配點。降低這個比例閾值，SIFT匹配點數(shù)目會減少， 但更加穩(wěn)定。 3.匹配模型的位姿變換和空間位置計算 主要目的是確定虛擬模型的方位和在場景中的精確位置和位姿。位姿的確定是通 過不斷旋轉(zhuǎn)虛擬模型并對匹配結果打分，當匹配分值最高且達到設定的經(jīng)驗閥值時，系統(tǒng) 認為這一位模型姿與真實場景中對象物體的位姿一致。這個計算過程如圖2所示。
4.模型尺度調(diào)整 對匹配上的模型，有時在尺度上有可能與真實對象物體不一致，這就需要對虛擬 模型在維度上進行縮放。如圖4a和圖4b所示，縮放的比例由真實場景影像中對象物體的 包容盒與相同位姿下虛擬模型的包容盒的尺度比作為系數(shù)。在把虛擬模型代置回真實場景 中時，首先進行縮放變換，以確保虛擬模型與真實對象物體在空間尺度上的一致。
5.虛實融合 虛實融合的核心是用模型庫提取的匹配模型代置遙操作現(xiàn)場的真實對象物體。在 這個過程中，與真實場景中對象物體等尺度的虛擬模型被放回到真實場景中，需要進行從 世界坐標系到相機坐標系的轉(zhuǎn)換。 —般地，兩攝像機中心保持同一個水平面上，即相機水平放置，則特征點P的圖像 坐標Y坐標相同，即Yleft = Yright = Y，根據(jù)圖3所示，
由三角幾何關系得到下列等式<formula>formula see original document page 7</formula> 上式中視差為-Disparity = X丄 的三維坐標為
-Xright。由此可計算出特征點P在相機坐標系下
<formula>formula see original document page 7</formula>
(4+3) 其中，(Xlrft， Y) ， (XHght， Y)是空間點P在左右影像對中的像點，像點對可以通過計 算像素的相關性來得到 Corr(ZJ)=
<formula>formula see original document page 7</formula> 其中(；，？)代表給定的像素點；(Xi， y》代表影像對另一幅影像中的像素點；m模 板的大小。對給定的P(x。，y。，z。)在立體影像對一幅影像中的投影像素點(；，？)，當上式在 給定的模板尺寸m下取得最小值時，則認為(Xi， y》是G， ？)在立體影像對中另一幅影像 中對應的投影。 式4-1-3被用來建立模型在世界坐標系下的實際坐標與其虛擬模型在相機坐標 系下投影坐標的關聯(lián)。 圖4a和圖4b給出了虛實融合示例在左右視頻影像中的截圖。在這個實例中，對 象物體已經(jīng)被虛擬三維模型所取代，其模型可被選中。 需要指出的是根據(jù)本發(fā)明的具體實施方式
所作出的任何變形，均不脫離本發(fā)明的 精神以及權利要求記載的范圍。
權利要求
一種立體視覺影像與三維虛擬物體的無縫融合方法，具體為1)采集實際立體視覺影像；2)根據(jù)特征信息提取算法對采集到得立體視覺影像和虛擬圖像模型進行特征提取，進而進行立體視覺影像和虛擬圖像模型的匹配；3)通過旋轉(zhuǎn)匹配后的虛擬圖像模型，進行匹配分值計算，以確定匹配虛擬圖像模型的位姿；4)匹配虛擬圖像模型的尺度調(diào)整；5)將匹配完全的虛擬圖像模型代置遙操作現(xiàn)場的真實對象物體。
2. 如權利要求1所述的立體視覺影像與三維虛擬物體的無縫融合方法，其特征在于，所述虛擬圖像模型存儲于模型庫中，并可通過不同指令進行調(diào)用、存取模型信息。
3. 如權利要求1所述的立體視覺影像與三維虛擬物體的無縫融合方法，其特征在于，步驟3)中虛擬圖像模型的位姿確定的具體步驟為建立位姿匹配的經(jīng)驗閥值，每旋轉(zhuǎn)一次虛擬圖像模型，通過計算得到實際閥值，實際閥值低于經(jīng)驗閥值時，認定虛擬圖像模型與立體視覺影像的位姿不一致，繼續(xù)旋轉(zhuǎn)虛擬圖像模型，當實際閥值高于經(jīng)驗閥值時，將此位姿記錄下來，最后統(tǒng)計得到實際閥值最高時的虛擬圖像模型位姿即與立體視覺影像中的對象物體位姿一致。
4. 如權利要求1所述的立體視覺影像與三維虛擬物體的無縫融合方法，其特征在于，步驟4)中虛擬圖像模型的尺度調(diào)整需要對虛擬圖像模型在維度上進行縮放，縮放的比例由真實場景影像中對象物體的包容盒與相同位姿下虛擬圖像模型的包容盒的尺度比作為系數(shù)，進行調(diào)整。
5. 如權利要求1所述的立體視覺影像與三維虛擬物體的無縫融合方法，其特征在于，步驟5)中真實場景中對象物體等尺度的虛擬圖像模型被放回到真實場景中，需要進行從世界坐標系到相機坐標系的轉(zhuǎn)換。
全文摘要
本發(fā)明公開了一種立體視覺影像與三維虛擬物體的無縫融合方法，具體為1)采集實際立體視覺影像；2)對采集到得立體視覺影像和虛擬圖像模型進行特征提取和匹配；3)進行匹配分值計算，以確定匹配虛擬圖像模型的位姿；4)匹配虛擬圖像模型的尺度調(diào)整；5)將匹配完全的虛擬圖像模型代置遙操作現(xiàn)場的真實對象物體。本發(fā)明的立體視覺影像與三維虛擬物體的無縫融合方法，實現(xiàn)基于真實環(huán)境的立體影像與三維虛擬對象物體的無縫融合，需要將遙操作場景的立體影像與虛擬三維物體、虛擬機器人姿態(tài)動態(tài)融合在一起。有助于突破遙操作控制長期以來依賴于二維影像、操作定位精度差的瓶頸，為遙操作控制提供深度沉浸感的虛擬仿真環(huán)境。
文檔編號G06T17/00GK101794459SQ201010110440
公開日2010年8月4日 申請日期2010年2月9日 優(yōu)先權日2010年2月9日
發(fā)明者王晨升 申請人:北京郵電大學