基于特征和區(qū)域匹配相結合的深度信息獲取方法
【專利摘要】本發(fā)明公開了一種基于特征和區(qū)域匹配的深度信息獲取方法，首先采用SIFT（scaleinvariantfeaturetransform）特征提取方法獲得特征點，并利用特征點的空間位置、梯度和方向信息進行匹配。對于非特征點，利用區(qū)域匹配方法進行匹配，以特征匹配結果為約束，采用視差梯度原理縮小搜索范圍減少運算時間。本發(fā)明方法簡單實用，運行速度快匹配準確率高，不需要通過實驗室條件下的特殊儀器即可實現(xiàn)深度信息的獲取，具有很強的實用價值。
【專利說明】基于特征和區(qū)域匹配相結合的深度信息獲取方法

【技術領域】
[0001] 本發(fā)明涉及一種深度信息的獲取方法，利用SIFT特征算法和區(qū)域匹配算法相結 合的深度信息獲取方法，其特點是速度快準確度較高。

【背景技術】
[0002] 深度信息獲取技術是用并排的兩部或多部圖像采集裝置對同一物體或場景進行 拍攝，或者用一部采集裝置在對應的不同的角度拍攝同一物體，生成至少左、右兩幅圖像。 這一過程模擬人眼成像，同一物體在不同角度圖像中的位置不同稱為視差。利用視差及拍 攝的角度，就可以計算得到該物體在真實世界中的位置相關信息。隨著計算機科學，人工 智能以及相關學科的進一步發(fā)展，深度信息獲取的研究也相應的得到了更深入的發(fā)展，它 正廣泛的應用于各個領域中，己經可以逐步代替人類視覺起到關鍵的作用。例如，在航空、 航天、衛(wèi)星拍攝等應用中，深度信息獲取已經成為不可替代的關鍵技術。我國的深度信息獲 取發(fā)展快速，無論軍事領域還是民用工業(yè)、農業(yè)，深度信息獲取技術都有著廣闊的應用領 域和非常好的發(fā)展前景。
[0003] 深度信息獲取技術的關鍵技術包括攝像機標定、圖像采集、立體匹配和視差圖復 原。各部分的算法已經和成熟，國外起步比較早，典型的代表有：Yoon和Kweon提出了一種 結合分割思路并能夠避免劃分困難的窗口匹配方法，方法中根據(jù)幾何學以及光度學的思想 可以對窗口中的像素權值進行自由調整，但是該算法在執(zhí)行過程中復雜度很高。Wang提出 了一種新的選擇窗口的方法，可以動態(tài)對窗口進行改變。Veksler提出，區(qū)域匹配中不同大 小的窗口適用不同尺度。Haralick將最優(yōu)曲面擬合的方法引進到匹配算法中，用像素鄰域 為對象進行擬合，然后在擬合的鄰域中根據(jù)零交叉原理進行匹配。Canny提出用邊緣作為特 征進行匹配。SUSAN算子通過最小化像素點周圍區(qū)域來檢查角點，它能夠確定圖像的屬性。 Harris在改進角點算法的基礎上提出了 Harris算子。Pritchett和Zisserman在匹配中 引入了齊次矩陣用來反映像素點對間的對應關系，促使了傳統(tǒng)約束條件的改進。M. Pilu將 奇異值分解的思想應用于匹配中。浙江大學設計了基于雙目視覺的高精度動態(tài)方法用于多 自由度機器人的檢測；哈爾濱工業(yè)大學的異構雙目系統(tǒng)能夠為機器人足球賽實施導航；東 南大學根據(jù)雙目視覺理論開發(fā)除了可以用于非接觸測量的西匹配算法，提高了對不規(guī)則物 體表面檢測的精度；中科院自動化所研發(fā)出了對整個物體表面三維重建的技術，可以自動 匹配物體表面的特征點，將立體匹配技術與數(shù)據(jù)融合技術的結合。
[0004] 立體匹配過程是深度信息獲取的關鍵點，主要的立體匹配方法有區(qū)域匹配算法、 特征點匹配算法和基于相位的匹配算法等。單純的區(qū)域匹配主要假設左右圖像對應點鄰域 內的灰度具有相關性，其特點是簡單易實現(xiàn)，結果是稠密的視差，但精度較低。而特征點匹 配是利用圖片中的特殊點進行計算，這樣可以大大減少搜索范圍，但是只能得到稀疏的視 差圖，如果需要可以經過內插等方法得到整幅圖像的視差圖。基于相位的匹配根據(jù)視差梯 度、單調性等信息來提高效率和準備度。


【發(fā)明內容】

[0005] 發(fā)明目的
[0006] 為了滿足三維重建所需的稠密點云又兼顧運算時間，本發(fā)明提出了一種特征點匹 配法和區(qū)域法相結合的立體匹配方法，綜合區(qū)域匹配法和特征點匹配法的特點，可以得到 較精確的、稠密的視差深度信息，并且縮短運算時間。
[0007] 技術方案
[0008] 本發(fā)明是通過以下技術方案來實現(xiàn)的：
[0009] -種基于特征和區(qū)域匹配相結合的深度信息獲取方法，其特征在于：利用SIFT特 征點匹配方法和區(qū)域匹配方法結合，利用較少的時間來獲取準確的稠密深度圖，該方法其 具體步驟如下：
[0010] (1)匹配圖像特征點的提?。?br> [0011] 在匹配的圖像對上提取 SIFT (scale invariant feature transform)特征，形成 特征向量進，并對特征點進行標記，SIFT特征點的提取需要對相鄰尺度的高斯圖像相減得 到高斯差分多尺度空間；在高斯差分多尺度空間中求得局部極值點；
[0012] 其具體步驟如下：
[0013] 1)檢測尺度空間極值：圖像的尺度空間定義為一個函數(shù)L(x，y，〇)，由可變尺度 高斯函數(shù)G(x, y, σ )與輸入圖像I (X，y)卷積得到：
[0014] I(x,y, 〇 ) = I (χ, y) XG(x,y, σ ) (1),
[0015] 其中，
[0016]

【權利要求】
1. 一種基于特征和區(qū)域匹配相結合的深度信息獲取方法，其特征在于：利用SIFT特征 點匹配方法和區(qū)域匹配方法結合，利用較少的時間來獲取準確的稠密深度圖，該方法其具 體步驟如下： (1) 匹配圖像特征點的提?。? 在匹配的圖像對上提取SIFT(scaleinvariantfeaturetransform)特征，形成特征 向量進，并對特征點進行標記，SIFT特征點的提取需要對相鄰尺度的高斯圖像相減得到高 斯差分多尺度空間；在高斯差分多尺度空間中求得局部極值點； 其具體步驟如下： 1) 檢測尺度空間極值：圖像的尺度空間定義為一個函數(shù)L(x，y，〇 )，由可變尺度高斯 函數(shù)G(x，y，〇)與輸入圖像I(x，y)卷積得到： I(x,y, 〇 )=I(x,y)XG(x,y, 〇 ) (I), 其中，
高斯差分尺度空間D(x，y，〇)為存在常數(shù)乘性尺度因子k的相鄰尺度高斯函數(shù)的差分 與原圖像卷積；D(x，y，〇)可以表示為：
2) 精確定位特征點：首先獲取候選特征點處的擬合函數(shù)：
求導得到極值點與對應極值，并且不斷修正X求出局部最優(yōu)點； 3) 利用特征點鄰域像素的梯度方向分布特征，為每個特征點指定方向參數(shù)，（x，y)處 的方向和梯度值分別為：
一個特征點用16個種子點描述，而每個種子點有8個方向向量信息，因此，每一個特征 點產生128個數(shù)據(jù)，形成一個128維的描述向量； (2) SIFT特征點的匹配： 對左、右兩幅圖像分別得到SIFT特征向量后，計算兩幅圖像的每個特征點在待匹配圖 像的特征點中的最相似匹配，這里最相似定義為特征向量間的最小歐式距離； (3) 區(qū)域匹配： 在特征匹配結果的約束下，確定非特征點的所在分塊，利用視差梯度估計搜索范圍，并 進行匹配。
2. 根據(jù)權利要求1所述的基于特征和區(qū)域匹配相結合的深度信息獲取方法，其特征在 于：步驟（3)中區(qū)域匹配其具體步驟如下： 1) 匹配分塊的確定：在左圖像上選擇一點P(x，y)，以該點為中心形成nXn的匹配 模板；然后，搜索該模板中是否存在特征點，如存在則在右圖像中對應的特征點作為搜 索范圍；如不存在，則利用視差梯度來推算出搜索范圍d，在右圖像中同一極線上的點 P(x+i,y),iG[1，d]計算相度，其中相似度最好的點就認為是P(x,y)的匹配點； 2) 視差梯度約束及收索范圍的估計：所涉及到的匹配圖像是經過校準的，只存在水平 視差，則有y1 = /，在場景中的兩個點P1和P2在左右圖像上的投影p/、Pilr和p/、P/，則它 們的視差梯度的定義如式所示：
設Pi。=(Pj+Pi1)/〗、p2。=(Pj+P21)/^以及(I1 =X11I1'd2 =X21I21公式（7)可以轉 換為：
考慮外極線約束假設左右圖像都經過極線校正，對應的收索范圍應該同極線位于同一 位置和方向上；同時，以左圖像為基準按順序逐點匹配，則有：yi = ^，Xl_\ = 1 ;于是視差 梯度變?yōu)椋?br> 下一個點在左圖像中的搜索范圍可以通過前一個點在右圖像的位置、視差及視差梯度 預測到；根據(jù)前面的推導，視差梯度絕對值在1. 5與2之間是灰度變化劇烈的邊緣區(qū)域，反 映出的灰度信息變化較大，則選用4X4的模板進行匹配；視差梯度絕對值小于1. 5時是圖 像的平滑區(qū)域，灰度信息較為相似，則需要較大的模板，選用16X16的模板進行匹配； 3) 區(qū)域匹配的相似性函數(shù)：以檢查點為中心形成匹配模板，如果左圖像的長度為M，右 圖像的長度為N的線段；設左右匹配模板中第i行、第j列像素的灰度分別為IJi，j)和 IK(i，j)，則匹配的代價函數(shù)C為：
其中和分別是左、右模板中的灰度方差；
其中ujPuR是左右匹配模板中的灰度均值，^是Iji，j)和IR(i，j)的協(xié)方差，表 示為：
C越大說明左右圖像中的對應點的相似性越差。
【文檔編號】H04N13/00GK104268880SQ201410512773
【公開日】2015年1月7日 申請日期:2014年9月29日 優(yōu)先權日:2014年9月29日
【發(fā)明者】魏東, 王帥 申請人:沈陽工業(yè)大學