本發(fā)明涉及圖像處理中特征點匹配領(lǐng)域,特別是數(shù)字圖像中二值描述子的構(gòu)建及特征點匹配方法。
背景技術(shù):
特征匹配是圖像處理與計算機視覺領(lǐng)域的重要問題,特征點匹配技術(shù)在目標(biāo)識別、目標(biāo)追蹤、場景拼接等許多場景中具有廣泛應(yīng)用。圖像特征描述及匹配的基本原理是:選擇以特征點為中心的局部區(qū)域并根據(jù)區(qū)域內(nèi)紋理信息構(gòu)造匹配描述子來進行特征匹配。主流的特征點匹配技術(shù)是基于浮點型描述子,代表性的浮點型匹配描述子有SIFT[1]、SURF[2]以及DAISY[3]等。隨著移動智能設(shè)備的應(yīng)用,存儲空間小、處理效率高的二值描述子成為目前急需的技術(shù)。
已有的二值描述子主要有BRISK[4]、FREAK[5]以及BRIEF[6]等。其中BRISK和FREAK使用固定模式進行采樣,獲取采樣點處的灰度信息,然后對采樣點灰度值進行比較并二值化比較結(jié)果,最后將二值化后獲取的字符串作為描述子。這兩種描述子主要存在以下問題:由于采樣模板位置固定,只能獲取特定位置的灰度信息,無法根據(jù)圖像局部特性獲取更多有用的信息,導(dǎo)致描述子描述力不高。BRIEF描述子使用隨機采樣來確定采樣點的位置,但直接隨機采樣獲得的點對冗余信息較多,影響了描述子的匹配性能。同時,上述三種描述子進行點對的灰度值比較時都使用了兩極化的二值方法——非0即1,這種二值化方法在圖像灰度值差別不大的平坦區(qū)域非常不穩(wěn)定,導(dǎo)致獲得的二值描述子性能也不穩(wěn)定。因此,需要研究更有效、更穩(wěn)定的二值描述子構(gòu)建及特征匹配方法。
參考文獻:
1.D. Lowe, Distinctive image features from scale-invariant keypoints, International Journal of Computer Vision. 2004, 60(2): 91–110.
2.H. Bay, T. Tuytelaars and L.V. Gool, Speeded up robust features (SURF), Computer Vision and Image Understanding. 2008, 110: 346–359.
3.E. Tola, V. Lepetit and P. Fua, Daisy: An efficient dense descriptor applied to wide-baseline stereo. IEEE Trans. on Pattern Analysis and Machine Intelligence, 2010, 232(5): 815–830.
4.S. Leutenegger, M. Chli, and R. Siegwart. Brisk: Binary robust invariant scalable keypoints. International Conference on Computer Vision. 2011, 2548-2555.
5.A. Ahi, R. Ortiz and P. Vandergheynst. FREAK: fast retina keypoint. IEEE Conference on Computer Vision and Pattern Recognition. 2012, 2069-2076.
6.M. Calonder, V. Lepetit and M. Ozuysal, et al. BRIEF: Computing a local binary descriptor very fast, IEEE Trans. on Pattern Analysis and Machine Intelligence, 2012, 34(7):1281-1298 。
技術(shù)實現(xiàn)要素:
本發(fā)明針對已有圖像二值描述子描述能力差、性能不穩(wěn)定等缺點,提出一種基于簡易采樣方式和三值化策略的二值描述子構(gòu)建方法,主要包括以下步驟:
步驟S1:采集同一場景不同視角下兩幅圖像并輸入計算機;
步驟S2:將彩色圖像轉(zhuǎn)化為灰度圖像并進行高斯平滑處理;
步驟S3:使用Harris角點檢測算法在兩幅圖像上分別提取特征點;
步驟S4:獲取點對采樣模式;
步驟S5:計算特征點的主方向;
步驟S6:獲取特征點采樣區(qū)域內(nèi)的采樣點對,并對采樣點進行平滑;
步驟S7:從400組采樣點對中選取256組采樣點對;
步驟S8:利用256組采樣點對為每個特征點構(gòu)建二值描述子;
步驟S9:基于二值描述子進行特征點匹配。
與當(dāng)前一些使用固定采樣模式的方法相比較,本發(fā)明提供的二值描述子構(gòu)建方法,采樣方式簡單,采樣點對按高斯分布隨機產(chǎn)生后再進行選擇,能夠根據(jù)圖片內(nèi)容自適應(yīng)地選擇出刻畫能力強的采樣點對,在保留有效信息的條件下能夠剔除冗余信息,提高描述子的匹配性能。對比結(jié)果二值化時引入了三值化策略,克服了傳統(tǒng)兩極化的二值化方法在圖像平坦區(qū)域內(nèi)不穩(wěn)定的缺點。相比于已有方法,本發(fā)明提供的方法更為準(zhǔn)確和穩(wěn)定。
附圖說明
圖1為本發(fā)明基于簡易采樣方式和三值化策略的二值描述子構(gòu)建方法流程圖。
具體實施方式
如圖1所示為本發(fā)明基于簡易采樣方式和三值化策略的二值描述子構(gòu)建方法流程圖,主要包括以下步驟:采集同一場景不同視角下兩幅圖像并輸入計算機、將彩色圖像轉(zhuǎn)化為灰度圖像并進行高斯平滑處理、使用Harris角點檢測算法在兩幅圖像上分別提取特征點、獲取點對采樣模式、計算特征點的主方向、獲取特征點采樣區(qū)域內(nèi)的采樣點對并對采樣點進行平滑、從400組采樣點對中選取256組采樣點對、利用256組采樣點對為每個特征點構(gòu)建二值描述子、基于二值描述子進行特征點匹配。各步驟的具體實施細節(jié)如下:
步驟S1:采集同一場景不同視角下兩幅圖像并輸入計算機。
步驟S2:將彩色圖像轉(zhuǎn)化為灰度圖像并進行高斯平滑處理。
步驟S3:使用Harris角點檢測算法在兩幅圖像上分別提取特征點。
步驟S4:獲取點對采樣模式,具體方式為,構(gòu)建一個半徑為23像素的圓形區(qū)域作為采樣區(qū)域,在采樣區(qū)域中隨機產(chǎn)生400組符合高斯分布的采樣點對,獲得點對的采樣模式,該模式包含800個采樣點。
步驟S5:計算特征點的主方向,具體方式為,對于兩幅圖像中任一特征點F,計算以F為中心、23為半徑的采樣區(qū)域G(F)內(nèi)所有像素的梯度值,獲得G(F)的梯度均值[dx, dy],將該梯度均值對應(yīng)的方向θ=atan(dy, dx)確定為特征點F的主方向。
步驟S6:獲取特征點采樣區(qū)域內(nèi)的采樣點對,并對采樣點進行平滑,具體方式如下:
步驟S61:對特征點采樣區(qū)域進行方向旋轉(zhuǎn)對齊,具體方式為,對于兩幅圖像中的任一特征點F,將以F為中心、23為半徑的圓形采樣區(qū)域G(F)順時針旋轉(zhuǎn)F主方向?qū)?yīng)的角度;
步驟S62:獲取特征點采樣區(qū)域內(nèi)的采樣點對,具體方式為,在步驟S61獲得的采樣區(qū)域中,根據(jù)步驟S4獲取的點對采樣模式得到點F采樣區(qū)域內(nèi)的400組采樣點對;
步驟S63:對采樣點進行平滑,具體方式為,對于獲得的800個采樣點,將到點F距離小于11的采樣點組成的集合記為近圓心點集,其余采樣點組成的集合記為遠圓心點集;使用半徑為1.5的均值濾波器對近圓心點進行平滑,使用半徑為2.5的均值濾波器對遠圓心點進行平滑。
步驟S7:從400組采樣點對中選取256組采樣點對,具體方式如下:
步驟S71: 二值化采樣點對的比較結(jié)果,具體方式為,對于步驟S6獲得的400組點對中的任一點對(pi, pj),比較采樣點pi和pj的灰度值I(pi)和I(pj),如果I(pi)> I(pj)則將該點對的比較結(jié)果記為1,否則記為0;
步驟S72: 存儲采樣點對的比較結(jié)果,具體方式為,創(chuàng)建一個表格,表格中每一列對應(yīng)一組采樣點對,共400列;同列下各行的值代表該組點對在不同特征點處的比較結(jié)果,該表格的行數(shù)等于兩幅圖像中特征點的個數(shù);
步驟S73:計算方差并挑選256組采樣點對,具體方式為,計算表格中各列的方差并按照方差大小對各列進行非升序排序,挑選出排序結(jié)果靠前的256組點對。
步驟S8:利用256組采樣點對為每個特征點構(gòu)建二值描述子,具體方式為,對于任一特征點,利用步驟S7獲得的256組采樣點對按如下公式比較每組采樣點對中兩個采樣點的灰度值,得到一個3維二值向量:
其中Δ一般取值10~15,將256組點對的二值向量進行連接得到該特征點的768維二值描述子。
步驟S9:基于二值描述子進行特征點匹配,具體方式為,對于第1幅圖像中任一特征點Fi,記第2幅圖像中與Fi二值描述子之間漢明距離最小的特征點為Fi1,其距離值記為d1,同時與Fi二值描述子之間漢明距離次小的特征點為Fi2,其距離值記為d2,如果小于閾值T,則將特征點(Fi, Fi1)確定為一組匹配點并輸出,其中T的取值為0.6~0.85。
與當(dāng)前一些使用固定采樣模式的方法相比較,本發(fā)明提供的二值描述子構(gòu)建方法,采樣方式簡單,采樣點對按高斯分布隨機產(chǎn)生后再進行選擇,能夠根據(jù)圖片內(nèi)容自適應(yīng)地選擇出刻畫能力強的采樣點對,在保留有效信息的條件下能夠剔除冗余信息,提高描述子的匹配性能。對比結(jié)果二值化時引入了三值化策略,克服了傳統(tǒng)兩極化的二值化方法在圖像平坦區(qū)域內(nèi)不穩(wěn)定的缺點。相比于已有方法,本發(fā)明提供的方法更為準(zhǔn)確和穩(wěn)定。