專利名稱：聯(lián)合多尺度sift和區(qū)域不變矩特征的配準(zhǔn)控制點提取方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種圖像配準(zhǔn)控制點提取方法，屬于圖像處理領(lǐng)域。

背景技術(shù)：
圖像配準(zhǔn)是指產(chǎn)生一個空間校準(zhǔn)的圖像集合或者匹配某一景物的圖像的過程。在許多圖像處理應(yīng)用中，我們需要對獲得的同一對象的多種觀測數(shù)據(jù)進行綜合比較和分析。例如城市演變、洪水監(jiān)測、地形圖的修正以及在導(dǎo)航制導(dǎo)中圖像與地圖的匹配等應(yīng)用中，要求所使用的圖像在空間上是相互配準(zhǔn)的。然而實際情況往往不夠理想。因此，多傳感器圖像配準(zhǔn)成為了遙感圖像應(yīng)用中必不可少的重要環(huán)節(jié)。配準(zhǔn)控制點提取是圖像配準(zhǔn)過程中的關(guān)鍵技術(shù)，最終配準(zhǔn)結(jié)果的計算是在其基礎(chǔ)之上完成的。因而，能否提取穩(wěn)定、可靠的配準(zhǔn)控制點，直接決定多傳感器圖像最終的配準(zhǔn)精度。
目前，配準(zhǔn)控制點包括兩種類型，即狹義特征點和廣義特征點。狹義特征點是針對點本身來定義的，其位置本身具有常規(guī)的屬性意義，比如邊緣點、角點、交叉點等；而廣義特征點是基于區(qū)域定義的，它本身的位置不必具備具體的特征意義，只代表滿足一定特征條件的特征區(qū)域的位置信息。廣義特征點是用來表征鄰域局部特性的位置度量，它用來作為具有一定特征的局部區(qū)域位置的標(biāo)識。
相對廣義特征點而言，狹義點特征的方法計算簡單，且易于匹配，具有較快的配準(zhǔn)速度，因而得到了廣泛應(yīng)用。常用的方法有Moravec算子、Harris算子、Forstner算子和SUSAN算子等。但通常，這類點特征的提取多是基于臨域梯度信息，而沒有利用到灰度信息，當(dāng)存在噪聲等其他因素時，會影響梯度的計算結(jié)果，因而在配準(zhǔn)精度上有所欠缺。
SIFT算法是一種提取局部特征的算法，充分利用圖像多尺度特性，提取位置、尺度、旋轉(zhuǎn)不變量，匹配能力較強。但SIFT算法著存在不足由于只利用了局部梯度信息描述特征點，計算局部梯度時采用簡單的差分方法，沒有考慮區(qū)域灰度信息，因而易受噪聲的影響而產(chǎn)生誤差，提取的特征點對中存在很多錯誤匹配。


發(fā)明內(nèi)容
本發(fā)明為了解決在圖像配準(zhǔn)過程中，如何提取穩(wěn)定、可靠的特征點的技術(shù)難題，提供了一種聯(lián)合多尺度SIFT和區(qū)域不變矩特征的配準(zhǔn)控制點提取方法。
本發(fā)明的步驟如下 步驟一、分別提取兩幅待配準(zhǔn)圖像的所有關(guān)鍵點，并獲得每個關(guān)鍵點的特征向量； 對每幅圖像中所有關(guān)鍵點的提取方法及其特征向量的獲得過程為 步驟A、對每幅圖像進行不同尺度下連續(xù)的高斯濾波，生成高斯尺度空間；再進行相鄰層相減，得到高斯差分空間；并在高斯差分空間中檢測極值點，所述的極值點作為候選關(guān)鍵點，初步確定候選關(guān)鍵點的位置和所在尺度； 步驟B、通過擬合三維二次函數(shù)以進一步確定候選關(guān)鍵點的位置和所在尺度，同時去除候選關(guān)鍵點中低于設(shè)定的對比度閾值的候選關(guān)鍵點和邊緣響應(yīng)點，獲得每幅圖像中所有關(guān)鍵點； 步驟C、分別在以步驟B獲得的每個關(guān)鍵點為中心的鄰域窗口內(nèi)進行采樣，計算得到每個關(guān)鍵點處梯度的模值和方向； 步驟D、對每一個關(guān)鍵點求得特征向量，也就是以任意一個關(guān)鍵點為中心取16×16的窗口，對窗口內(nèi)像素梯度進行高斯加權(quán)，然后將360°圓周劃分為八個方向區(qū)域，在每4×4的小塊內(nèi)統(tǒng)計所述八個方向中各個方向上點的個數(shù)，得到八個方向上的統(tǒng)計直方圖，進而得到所述的關(guān)鍵點的特征向量； 步驟二、通過關(guān)鍵點的特征向量選取兩幅待配準(zhǔn)圖像的匹配點對，并獲得匹配點對的歐式巨離EUVi； 采用關(guān)鍵點的特征向量的歐式距離來作為兩幅待配準(zhǔn)圖像中每對關(guān)鍵點的相似性判定度量；即為遍歷一幅圖像中的所有關(guān)鍵點，針對每個關(guān)鍵點在另一幅圖像中尋找歐式距離最近的兩個關(guān)鍵點，如果最近歐式距離與次近歐式距離的比值小于比例閾值，獲得最近歐式距離的兩個關(guān)鍵點組成匹配點對，并將所述的匹配點對的最近歐式距離記為EUVi； 步驟三、求得所有匹配點對的HU氏不變矩的歐氏距離EUH； 其中每個匹配點對的HU氏不變矩的歐氏距離EUH的獲得過程為分別在兩幅待配準(zhǔn)圖像上以匹配點對中的兩個關(guān)鍵點為中心開取16×16的窗口，計算兩個窗口的HU氏不變矩，接下來計算獲得所述匹配點對的HU氏不變矩的歐氏距離EUH； 步驟四對匹配點對進行加權(quán)，從而得到最終配準(zhǔn)控制點； 首先對每個匹配點對進行加權(quán)，逐一采用每個匹配點對的歐式距離EUVi對其HU氏不變矩的歐氏距離EUH進行加權(quán)，記fi＝EUVi·EUHi，其中i為匹配點對的序號； 其次對獲得的所有匹配點對相對應(yīng)的fi進行排序，選取最小的三個fi對應(yīng)的三個匹配點對中的兩個關(guān)鍵點分別作為兩幅圖像的最終配準(zhǔn)控制點。
本發(fā)明與現(xiàn)有技術(shù)相比，具有如下優(yōu)點 (1)使用基于局部灰度信息的HU氏矩，通過利用抗噪性更強的局部灰度信息，有效彌補了SIFT技術(shù)易受噪聲等因素影響的缺陷。
(2)利用了SIFT的多尺度特性和不變矩的區(qū)域灰度特性，對于存在較大旋轉(zhuǎn)角、較大平移差別的多傳感器圖像，均能提取出了穩(wěn)定、可靠的配準(zhǔn)控制點。



圖1為在高斯差分空間中檢測極值點的示意圖，其中a為尺度。

具體實施例方式具體實施方式
一本實施方式如圖1所示，本實施方式的步驟如下 步驟一、分別提取兩幅待配準(zhǔn)圖像的所有關(guān)鍵點，并獲得每個關(guān)鍵點的特征向量； 對每幅圖像中所有關(guān)鍵點的提取方法及其特征向量的獲得過程為 步驟A、對每幅圖像進行不同尺度下連續(xù)的高斯濾波，生成高斯尺度空間；再進行相鄰層相減，得到高斯差分空間；其中得到高斯差分空間的步驟如下 二維高斯函數(shù)定義如下 其中x，y分別為空間橫縱坐標(biāo)，σ為高斯正態(tài)分布的方差； 在不同尺度下的高斯尺度空間是由圖像與高斯核卷積得到 L(x，y，σ)＝G(x，y，σ)*I(x，y)(2) 高斯差分空間的計算公式為 D(x，y，σ)＝(G(x，y，kσ)-G(x，y，σ))*I(x，y) ＝L(x，y，kσ)-L(x，y，σ) (3) 并在高斯差分空間中檢測極值點，尋找高斯差分空間極值點時，是將每一個采樣點與它所有的相鄰點進行比較，所述的采樣點是相鄰點中的最大值或是最小值，則將所述的采樣點作為候選關(guān)鍵點；如圖1所示，中間的檢測點和它同尺度的8個相鄰點和上下相鄰尺度對應(yīng)的9×2個點共26個點比較，以確保在尺度空間和二維圖像空間都檢測到極值點。所述的極值點作為候選關(guān)鍵點，初步確定候選關(guān)鍵點的位置和所在尺度； 步驟B、通過擬合三維二次函數(shù)以進一步確定候選關(guān)鍵點的位置和所在尺度，同時去除候選關(guān)鍵點中低于設(shè)定的對比度閾值的候選關(guān)鍵點和邊緣響應(yīng)點，獲得每幅圖像中所有關(guān)鍵點； 由高斯差分算子較強邊緣響應(yīng)而產(chǎn)生的不穩(wěn)定的邊緣響應(yīng)點，即一個定義不好的高斯差分算子的極值在橫跨邊緣的地方有較大的主曲率，而在垂直邊緣的方向有較小的主曲率。
根據(jù)主曲率來去除邊緣響應(yīng)點，方法如下 求候選關(guān)鍵點主曲率，主曲率是通過一個2×2的Hessian矩陣H求出 其中，Dxx、Dyy分別為候選關(guān)鍵點的xx、yy方向二階導(dǎo)數(shù)，Dxy、Dyx分別為候選關(guān)鍵點的混合偏導(dǎo)數(shù)； 候選關(guān)鍵點的主曲率和H的特征值成正比，令α為最大的特征值，β為最小的特征值，α＝rβ，則 其中Tr(H)為H矩陣的跡，Det(H)為H矩陣的秩，r為最大的特征值與最小特征值的比；帶入候選關(guān)鍵點的最大的特征值α，最小的特征值β，并檢測 符合則保留所述的候選關(guān)鍵點，不符合則去除。
步驟C、分別在以步驟B獲得的每個關(guān)鍵點為中心的鄰域窗口內(nèi)進行采樣，計算得到每個關(guān)鍵點處梯度的模值和方向； 關(guān)鍵點的方向是直方圖統(tǒng)計鄰域像素的梯度方向，而梯度方向是通過梯度方向直方圖來得到。梯度方向直方圖的范圍是0~360度，其中每10度一個柱，總共36個柱。直方圖的峰值則代表了該關(guān)鍵點處鄰域梯度的主方向，即作為該關(guān)鍵點的方向。在梯度方向直方圖中，當(dāng)存在另一個相當(dāng)于主峰值80％能量的峰值時，則將這個方向認為是該關(guān)鍵點的輔方向。一個關(guān)鍵點可能會被指定具有多個方向(一個主方向，一個以上輔方向)，這可以增強匹配的魯棒性。
步驟D、對每一個關(guān)鍵點求得特征向量，也就是以任意一個關(guān)鍵點為中心取16×16的窗口，對窗口內(nèi)像素梯度進行高斯加權(quán)(越靠近關(guān)鍵點的像素梯度方向信息貢獻越大)，然后將360°圓周劃分為八個方向區(qū)域，在每4×4的小塊內(nèi)統(tǒng)計所述八個方向中各個方向上點的個數(shù)，得到八個方向上的統(tǒng)計直方圖，得到八個方向上的統(tǒng)計直方圖，進而得到一個八維向量，而在16×16窗口上，則共得到4×4×8＝128維特征向量，最后將特征向量的長度歸一化，進而得到所述的關(guān)鍵點的特征向量； 步驟二、通過關(guān)鍵點的特征向量選取兩幅待配準(zhǔn)圖像的匹配點對，并獲得匹配點對的歐式距離EUVi； 采用關(guān)鍵點的特征向量的歐式距離來作為兩幅待配準(zhǔn)圖像中每對關(guān)鍵點的相似性判定度量；即為遍歷一幅圖像中的所有關(guān)鍵點，針對每個關(guān)鍵點在另一幅圖像中尋找歐式距離最近的兩個關(guān)鍵點，如果最近歐式距離與次近歐式距離的比值小于比例閾值，獲得最近歐式距離的兩個關(guān)鍵點組成匹配點對，并將所述的匹配點對的最近歐式距離記為EUVi； 其中歐式距離的公式為 其中，計算歐式距離的關(guān)鍵點的特征向量分別為 V1＝(x1，x2，...，x128)T、V2＝(y1，y2，...，y128)T。
步驟三、求得所有匹配點對的HU氏不變矩的歐氏距離EUH； 其中每個匹配點對的HU氏不變矩的歐氏距離EUH的獲得過程為分別在兩幅待配準(zhǔn)圖像上以匹配點對中的兩個關(guān)鍵點為中心開取16×16的窗口，計算兩個窗口的HU氏不變矩，接下來計算獲得所述匹配點對的HU氏不變矩的歐氏距離EUH； HU氏不變矩所需的七個不變的特征是通過歸一化的中心矩ηpq來計算 其中歸一化的中心矩ηpq定義為 ηpq＝μpq/μ00.(8) 其中

f(x，y)表示二維m×n的數(shù)字圖像； 通過歸一化的中心矩得到七個對平移、旋轉(zhuǎn)以及尺度不變的特征，即









步驟四對匹配點對進行加權(quán)，從而得到最終配準(zhǔn)控制點； 首先對每個匹配點對進行加權(quán)，逐一采用每個匹配點對的歐式距離EUVi對其HU氏不變矩的歐氏距離EUH進行加權(quán)，記fi＝EUVi·EUHi，其中i為匹配點對的序號； 其次對獲得的所有匹配點對相對應(yīng)的fi進行排序，選取最小的三個fi對應(yīng)的三個匹配點對中的兩個關(guān)鍵點分別作為兩幅圖像的最終配準(zhǔn)控制點。
權(quán)利要求
1.聯(lián)合多尺度SIFT和區(qū)域不變矩特征的配準(zhǔn)控制點提取方法，其特征在于它的步驟如下
步驟一、分別提取兩幅待配準(zhǔn)圖像的所有關(guān)鍵點，并獲得每個關(guān)鍵點的特征向量；
對每幅圖像中所有關(guān)鍵點的提取方法及其特征向量的獲得過程為
步驟A、對每幅圖像進行不同尺度下連續(xù)的高斯濾波，生成高斯尺度空間；再進行相鄰層相減，得到高斯差分空間；并在高斯差分空間中檢測極值點，所述的極值點作為候選關(guān)鍵點，初步確定候選關(guān)鍵點的位置和所在尺度；
步驟B、通過擬合三維二次函數(shù)以進一步確定候選關(guān)鍵點的位置和所在尺度，同時去除候選關(guān)鍵點中低于設(shè)定的對比度閾值的候選關(guān)鍵點和邊緣響應(yīng)點，獲得每幅圖像中所有關(guān)鍵點；
步驟C、分別在以步驟B獲得的每個關(guān)鍵點為中心的鄰域窗口內(nèi)進行采樣，計算得到每個關(guān)鍵點處梯度的模值和方向；
步驟D、對每一個關(guān)鍵點求得特征向量，也就是以任意一個關(guān)鍵點為中心取16×16的窗口，對窗口內(nèi)像素梯度進行高斯加權(quán)，然后將360°圓周劃分為八個方向區(qū)域，在每4×4的小塊內(nèi)統(tǒng)計所述八個方向中各個方向上點的個數(shù)，得到八個方向上的統(tǒng)計直方圖，進而得到所述的關(guān)鍵點的特征向量；
步驟二、通過關(guān)鍵點的特征向量選取兩幅待配準(zhǔn)圖像的匹配點對，并獲得匹配點對的歐式距離EUVi；
采用關(guān)鍵點的特征向量的歐式距離來作為兩幅待配準(zhǔn)圖像中每對關(guān)鍵點的相似性判定度量；即為遍歷一幅圖像中的所有關(guān)鍵點，針對每個關(guān)鍵點在另一幅圖像中尋找歐式距離最近的兩個關(guān)鍵點，如果最近歐式距離與次近歐式距離的比值小于比例閾值，獲得最近歐式距離的兩個關(guān)鍵點組成匹配點對，并將所述的匹配點對的最近歐式距離記為EUVi；
步驟三、求得所有匹配點對的HU氏不變矩的歐氏距離EUH；
其中每個匹配點對的HU氏不變矩的歐氏距離EUH的獲得過程為分別在兩幅待配準(zhǔn)圖像上以匹配點對中的兩個關(guān)鍵點為中心開取16×16的窗口，計算兩個窗口的HU氏不變矩，接下來計算獲得所述匹配點對的HU氏不變矩的歐氏距離EUH；
步驟四對匹配點對進行加權(quán)，從而得到最終配準(zhǔn)控制點；
首先對每個匹配點對進行加權(quán)，逐一采用每個匹配點對的歐式距離EUVi對其HU氏不變矩的歐氏距離EUH進行加權(quán)，記fi＝EUVi·EUH，其中i為匹配點對的序號；
其次對獲得的所有匹配點對相對應(yīng)的fi進行排序，選取最小的三個fi對應(yīng)的三個匹配點對中的兩個關(guān)鍵點分別作為兩幅圖像的最終配準(zhǔn)控制點。
2.根據(jù)權(quán)利要求1所述的聯(lián)合多尺度SIFT和區(qū)域不變矩特征的配準(zhǔn)控制點提取方法，其特征在于步驟一中步驟A得到高斯差分空間的步驟如下
二維高斯函數(shù)定義如下
其中x，y分別為空間橫縱坐標(biāo)，σ為高斯正態(tài)分布的方差；
在不同尺度下的高斯尺度空間是由圖像與高斯核卷積得到
L(x，y，σ)＝G(x，y，σ)*I(x，y)(2)
高斯差分空間的計算公式為
D(x，y，σ)＝(G(x，y，kσ)-G(x，y，σ))*I(x，y)
＝L(x，y，kσ)-L(x，y，σ) (3)
3.根據(jù)權(quán)利要求1所述的聯(lián)合多尺度SIFT和區(qū)域不變矩特征的配準(zhǔn)控制點提取方法，其特征在于步驟一中步驟A在高斯差分空間中檢測極值點，即尋找高斯差分空間極值點時，是將每一個采樣點與它所有的相鄰點進行比較，所述的采樣點是相鄰點中的最大值或是最小值，則將所述的采樣點作為候選關(guān)鍵點。
4.根據(jù)權(quán)利要求1所述的聯(lián)合多尺度SIFT和區(qū)域不變矩特征的配準(zhǔn)控制點提取方法，其特征在于步驟一中步驟B中邊緣響應(yīng)點的去除的方法如下
求候選關(guān)鍵點主曲率，主曲率是通過一個2×2的Hessian矩陣H求出
其中，Dxx、Dyy.分別為候選關(guān)鍵點的x、y方向二階導(dǎo)數(shù)，Dxy、Dyx分別為候選關(guān)鍵點的混合偏導(dǎo)數(shù)；
候選關(guān)鍵點的主曲率和H的特征值成正比，令α為最大的特征值，β為最小的特征值，α＝rβ，則
其中Tr(H)為H矩陣的跡，Det(H)為H矩陣的秩，r為最大的特征值與最小特征值的比；帶入候選關(guān)鍵點的最大的特征值α，最小的特征值β，并檢測
符合則保留所述的候選關(guān)鍵點，不符合則去除。
5.根據(jù)權(quán)利要求1所述的聯(lián)合多尺度SIFT和區(qū)域不變矩特征的配準(zhǔn)控制點提取方法，其特征在于步驟二中的歐式距離的公式為
其中，計算歐式距離的關(guān)鍵點的特征向量分別為Vi＝(x1，x2，...，x128)T、V2＝(y1，y2，...，y128)T。
6.根據(jù)權(quán)利要求1所述的聯(lián)合多尺度SIFT和區(qū)域不變矩特征的配準(zhǔn)控制點提取方法，其特征在于步驟三中計算的HU氏不變矩所需的七個不變的特征是通過歸一化的中心矩ηpq來計算
其中歸一化的中心矩ηpq定義為
ηpq＝μpq/μ00.(8)
其中f(x，y)表示二維m×n的數(shù)字圖像；
通過歸一化的中心矩得到七個對平移、旋轉(zhuǎn)以及尺度不變的特征，即
全文摘要
聯(lián)合多尺度SIFT和區(qū)域不變矩特征的配準(zhǔn)控制點提取方法，它涉及圖像處理領(lǐng)域。它解決了在圖像配準(zhǔn)過程中，如何提取穩(wěn)定、可靠的特征點的技術(shù)難題。首先利用高斯核函數(shù)對圖像進行連續(xù)濾波，結(jié)合下采樣方法，生成高斯差分尺度空間，尋找并計算局部極值的空間和尺度坐標(biāo)。然后利用方向梯度信息構(gòu)成關(guān)鍵點的特征向量，通過歐氏距離獲得初步匹配的關(guān)鍵點對；進而以初選關(guān)鍵點為中心計算局部區(qū)域HU氏不變矩特征，結(jié)合歐氏距離篩選出最終精確有效的配準(zhǔn)控制點。該方法結(jié)合了SIFT算法的多尺度特性和圖像局部區(qū)域灰度不變矩特征，能夠有效地提高了多傳感器圖像配準(zhǔn)控制點對提取的穩(wěn)定性和可靠性。
文檔編號G06T7/00GK101714254SQ20091030981
公開日2010年5月26日 申請日期2009年11月16日 優(yōu)先權(quán)日2009年11月16日
發(fā)明者谷延鋒, 劉保學(xué), 王晨, 張曄 申請人:哈爾濱工業(yè)大學(xué)