一種多目標(biāo)物體圖像匹配方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于圖像處理、計算機視覺、多媒體信息技術(shù)領(lǐng)域，具體涉及一種多目標(biāo)物 體圖像匹配方法。
【背景技術(shù)】
[0002] 隨著智能手機的普及和互聯(lián)網(wǎng)信息技術(shù)的快速發(fā)展，數(shù)字圖像已成為現(xiàn)代社會人 們?nèi)粘＝涣髦胁豢苫蛉钡拿浇椋瑘D像資源也成為一種至關(guān)重要的信息資源。與此同時，針 對圖像的相關(guān)研究正受到廣泛的重視。這其中，多目標(biāo)物體圖像匹配是一項研究已久的課 題，相關(guān)技術(shù)在物體識別、圖像檢索、圖像分類、近似復(fù)制圖像檢測等圖像處理和計算機視 覺等研究中均有較強的應(yīng)用，是相關(guān)領(lǐng)域中理論研究和實際應(yīng)用價值兼具的基礎(chǔ)性工作。 圖像匹配的相關(guān)研究在近年來取得了較大發(fā)展，涌現(xiàn)了一大批優(yōu)秀的局部特征檢測和描述 算子。代表性的局部區(qū)域檢測子如：MSER、Harris-Hessian Affine和DoG等，局部區(qū)域特 征描述子如：SIFT、SURF、DAISY等。局部特征檢測子用于檢測圖像中具有可區(qū)分性特質(zhì)的 代表性局部區(qū)域，如角點區(qū)域等，特征描述子則量化所檢測出局部區(qū)域的信息，生成局部特 征向量。圖像的匹配基于局部特征描述向量的匹配進(jìn)行，所得到的特征匹配對集合構(gòu)成局 部特征初始匹配集。鑒于局部特征描述具有較好的可區(qū)分性和不變性，初始匹配集中通常 包含大量正確的匹配對，與此同時，由于圖像內(nèi)容的復(fù)雜多樣以及局部區(qū)域信息量化誤差 的存在，大量錯誤的局部特征匹配也存在于初始特征匹配集中。因此后續(xù)算法通過引入匹 配特征間的局部幾何映射關(guān)系約束優(yōu)選出正確的局部特征匹配。其常用策略是采用圖匹配 (Graph Matching)方法實現(xiàn)特征初始匹配集的優(yōu)化，其中，圖中的每個結(jié)點表示單個匹配 對的匹配度，點與點之間的關(guān)聯(lián)對應(yīng)兩對匹配特征間局部幾何映射關(guān)系的一致性，通過最 大化整個匹配圖的能量確定聯(lián)系緊密的結(jié)點，確定最終特征匹配。該問題本質(zhì)上是個二次 優(yōu)化的問題，其求解需要較大的時間開銷，因此無法應(yīng)用于大規(guī)模匹配的應(yīng)用任務(wù)中，如近 似復(fù)制圖像檢測等。此外，此類方法通常只能處理單個目標(biāo)物體的匹配問題，無法進(jìn)行多目 標(biāo)物體匹配。
[0003] 針對上述問題，發(fā)明人在安徽大學(xué)信息安全振興計劃專業(yè)改造與新專業(yè)建設(shè)項目 No. J05201380、國家自然科學(xué)基金青年基金No. 61502005、南京大學(xué)軟件新技術(shù)重點實驗 室開放基金KFKT2015B03以及安徽大學(xué)學(xué)術(shù)與技術(shù)帶頭引進(jìn)工程的支持下，進(jìn)行了技術(shù)攻 關(guān)。

【發(fā)明內(nèi)容】

[0004] 發(fā)明目的：本發(fā)明所要解決的技術(shù)問題是針對現(xiàn)有方法技術(shù)的不足，提出一種多 目標(biāo)物體圖像匹配方法。
[0005] 技術(shù)方案：本發(fā)明公開了一種多目標(biāo)物體圖像匹配方法，該方法的特征在于提取 圖像的局部特征并進(jìn)行預(yù)匹配獲取初始局部特征匹配集，估算每對匹配特征區(qū)域的局部映 射仿射矩陣，定義仿射矩陣距離并構(gòu)建仿射空間，基于正確的局部特征匹配對具有較為一 致的仿射變換并在空間中聚類成密度較大的簇這一觀察，定義密度函數(shù)并估算每個仿射矩 陣的密度值，確定空間中各聚類簇的模態(tài)點及所有點的聚類路徑進(jìn)而實現(xiàn)基于密度的聚 類，通過各聚類簇的邊界實現(xiàn)聚類優(yōu)化，最后由各仿射矩陣所屬聚類關(guān)系確定正確的局部 特征匹配和分組。具體包括以下步驟：通過計算機將一對待匹配圖像依次如下處理：
[0006] 步驟1，局部特征提取與預(yù)匹配。步驟2,估算初始匹配區(qū)域局部仿射變換。步驟 3,計算仿射變換距離。步驟4,定義仿射空間密度函數(shù)。步驟5,基于密度的仿射變換空間 聚類。步驟6,確定正確匹配對，呈現(xiàn)結(jié)果。
[0007] 進(jìn)一步說，本發(fā)明的詳細(xì)步驟為：步驟1，局部特征提取與預(yù)匹配：提取待匹配圖 像對的局部特征區(qū)域及其特征描述，基于描述的相似性建立圖像間局部特征的初始匹配 集。
[0008] 步驟2,估算初始匹配特征區(qū)域的局部仿射變換：在進(jìn)行步驟1的局部特征提取與 預(yù)匹配基礎(chǔ)上，估算待匹配圖像對的初始匹配特征區(qū)域的局部仿射變換。
[0009] 步驟3,計算仿射變換距離：在進(jìn)行步驟1的局部特征提取與預(yù)匹配基礎(chǔ)上，量化 待匹配圖像對中的任意兩對局部特征匹配對間的局部仿射變換距離。
[0010] 步驟4,定義仿射空間密度函數(shù)：在進(jìn)行步驟1的局部特征提取與預(yù)匹配基礎(chǔ)上， 基于仿射變換距離定義待匹配圖像對的仿射變換空間密度函數(shù)。
[0011] 步驟5,根據(jù)步驟2獲得的局部仿射變換、步驟3獲得的局部仿射變換距離、步驟 4獲得的仿射變換空間密度函數(shù)，對待匹配圖像對進(jìn)行基于密度的仿射變換空間聚類，獲得 聚類簇及對應(yīng)的仿射矩陣。
[0012] 步驟6,結(jié)果呈現(xiàn)：根據(jù)步驟5獲得的聚類簇中的仿射矩陣與步驟1中的局部特征 匹配對的對應(yīng)關(guān)系，確定最終局部特征匹配對按聚類簇分組，同一組中的特征匹配對對應(yīng) 同一目標(biāo)物體，最終呈現(xiàn)位于不同目標(biāo)物體上的局部特征匹配對。
[0013] 進(jìn)一步說，步驟1具體如下：步驟1，圖像預(yù)匹配：提取待匹配圖像對的局部特征區(qū) 域及其特征描述，基于描述的相似性匹配圖像間局部特征。特征區(qū)域檢測主要采用MSER和 DoG檢測子，二者擇一進(jìn)行區(qū)域檢測，得到具有幾何/尺度不變性的多個局部橢圓或圓形區(qū) 域，每個區(qū)域以對應(yīng)的幾何參數(shù)描述。在采用SIFT描述子生成特征向量，并基于特征向量 間的歐氏距離的相似性進(jìn)行特征初步匹配，具體包括以下步驟：
[0014] 步驟1. 1，特征區(qū)域提?。禾崛D像局部特征區(qū)域：采用圖像局部特征區(qū)域檢測算 子提取待匹配圖像對的局部特征區(qū)域。所述局部特征區(qū)域具有尺度不變性。通過圖像局 部特征區(qū)域檢測算子得到局部特征區(qū)域的幾何形狀為圓形或橢圓形。優(yōu)選的方案是：采用 MSER或DoG算子提取待匹配圖像對的特征區(qū)域。DoG檢測結(jié)果為多個圓形區(qū)域，MSER為橢 圓形。
[0015] 步驟1. 2,橢圓形區(qū)域映射：SIFT算子特征描述的輸入為圓形區(qū)域參數(shù)，因此如采 用MSER算子進(jìn)行特征檢測，需首先進(jìn)行橢圓到圓形區(qū)域的映射。假定橢圓中心為p ρ 長短軸半徑為(/,1，/,2)、旋轉(zhuǎn)角為，它將被映射至一個固定半徑r。中心坐# Ρι的圓心區(qū)域 (^中，映射公式如下：
[0017] 其中，（X，y)TS E i上的點，（X'，y'）1'是0 i上的對應(yīng)點坐標(biāo)。r c設(shè)定為13。具體 映射時，為保證仏上每個整像素點都有值，選擇將〇 的點逆映射到E ，即：
[0019] 此時，坐標(biāo)（1，7廣可能位于圖像中的亞像素位置，其像素值可采用雙線性插值得 到，進(jìn)而確定了 中坐標(biāo)（X'，y'）τ處的像素值。
[0020] 步驟1. 3,計算特征區(qū)域梯度主方向角：給定局部特征圓形區(qū)域0;，其中心坐標(biāo)為 Pi，半徑為A，則該區(qū)域內(nèi)每個像素點的梯度大小m(x，y)和方向供(U)計算方法如下：
[0023] 其中L(x，y)代表區(qū)域內(nèi)坐標(biāo)（X，y)點處的像素值。此時，角度區(qū)間[0, 360)劃分 為36等分，并根據(jù)梯度角舛X V)的值將梯度m (X，y)疊加到對應(yīng)的區(qū)間中，進(jìn)而生成梯度直 方圖，選取該直方圖中點數(shù)最多的區(qū)間的梯度中值為主梯度方向Θ 1<3
[0024] 步驟1. 4,提取特征向量：基于SIFT特征描述子生成每個圓形區(qū)域的特征向量， 每個局部區(qū)域輸出為一個128維的梯度直方圖向量。（詳細(xì)算法過程參見〈Distinctive Image Features from Seale-invariant Key-points>International Journal of Computer Vision，vol. 60, no. 2, ppl482_1489, 2004) 〇
[0025] 步驟1.5,局部特征初步匹配：當(dāng)且僅當(dāng)特征描述向量01與1)]之間的距離cKDbD,) 乘以閾值（設(shè)為1. 1)不大于特征向量Di與其他所有特征向量的距離，D 1與D ,匹配。距離 公式定義為：
[0027] 其中Dik表示向量D ;的第k維分量。這一初始匹配原則是經(jīng)過大量統(tǒng)計確定的， 由于特征向量維度較高，只有當(dāng)前特征向量在空間中的最近鄰和次近鄰的距離相差足夠大 時，才能保證最近鄰特征是當(dāng)前特征向量的匹配特征。這個足夠大采用一個比值閾值來確 定，實驗表明設(shè)置為1. 1效果較佳，即次近鄰與當(dāng)前特征的距離至少大于最近鄰距離的1. 1 倍。經(jīng)過初始匹配得到的局部特征匹配對通常包含了絕大部分正確的匹配對，但同時也包 含較多的錯誤匹配。這部分錯誤匹配需基于局部幾何變換特性進(jìn)行剔除，即每一對匹配的 局部特征區(qū)域都存在局部的幾何映射關(guān)系，且屬于相同或相似物體的多對正確匹配特征區(qū) 域間，其幾何映射關(guān)系也較為一致，而錯誤的匹配對對應(yīng)的局部特征區(qū)域的映射關(guān)系則是 隨機的，與其余匹配對的局部映射關(guān)系沒有明顯的關(guān)聯(lián)。因此，如果構(gòu)造一個關(guān)于所有初始 匹配對的局部映射關(guān)系的幾何參數(shù)空間，則正確的局部特征匹配對將相互靠近，形成密度 較大的聚類簇，且不同的匹配目標(biāo)物體對應(yīng)不同的聚類簇，而錯誤的局部特征匹配對將散 亂的分布在整個空間中，形成隨機分布的噪聲。由此可見，可在初步匹配對的局部映射幾何 參數(shù)空間中進(jìn)行基于密度的聚類實現(xiàn)局部特征匹配對的優(yōu)化，進(jìn)而實現(xiàn)待匹配圖像對中多 目標(biāo)物體的匹配。
[0028] 步驟2,為實現(xiàn)基于局部映射的初始匹配優(yōu)化，首先估算初始匹配特征區(qū)域的局部 仿射變換，具體來說：
[0029] 當(dāng)特征區(qū)域檢測結(jié)果為圓形區(qū)域時，對任意一對圓形匹配區(qū)域，記為仏和屮1且 其幾何參數(shù)有圓心坐標(biāo)pJP V i、半徑rjPr' i、梯度方向角ajP α ' i，則將上的 點（X，7廣到(V i上的點（X'，y'）τ映射關(guān)系可表示為：
[0033] Θ i為兩個圓的旋轉(zhuǎn)角度差，s i表示圓半徑的比值，t肩映射后的圓心偏移。
[0034] 當(dāng)特征區(qū)域檢測結(jié)果為橢圓形區(qū)域時，對任意一對橢圓形區(qū)域，記為EJPE' ^其 幾何參數(shù)有中心坐標(biāo)pJP V i，長短軸半徑(/?和(//'尤'）以及旋轉(zhuǎn)角％和ω' i。由 步驟1. 2可知，在進(jìn)行SIFT特征提取前，被映射至一個半徑為r。且中心坐標(biāo)為p 4口 P' i的圓形型區(qū)域〇中，其映射矩陣可表示為：
[0036] 同理，橢圓E';也被映射到半徑為r。中心坐標(biāo)為pjPp' ^的圓形型區(qū)域0'中， 其映射矩陣為：
[0038] 得到0和0'后，可按步驟1. 3估算它們的梯度方向角a滿。i。在此基礎(chǔ)上， 〇到〇'的映射可表示為：
[0040] 其中，Θ 與〇'的梯度方向角差，q是映射后的圓心偏移。因此，從EjljP , 的仿射映射可表示為：
[0042] 步驟3,定義任意兩對局部特征匹配對間的局部仿射變換差異距離：
[0043] 步驟3. 1，給定兩個仿射矩陣&和X ^&+乂,并沒有實際意義，因此不能簡單地采用 歐式距離來衡量XjPX,之間的距離。一種較為可靠的策略是將XjPX,同時作用于平面上 的一系列點Pk，