大面積地形復(fù)雜區(qū)域無人機(jī)序列影像快速無縫拼接方法
【專利摘要】一種大面積地形復(fù)雜區(qū)域無人機(jī)序列影像快速無縫拼接方法，首先以無人機(jī)影像序列的航帶排布特性作為先驗(yàn)知識(shí)，進(jìn)行影像間多度重疊SIFT特征點(diǎn)的提取和匹配；然后開展基于隨機(jī)采樣一致性算法的匹配點(diǎn)粗差剔除和提純，并通過Levenberg-Marquardt算法平差求解拼接區(qū)域各影像的變換參數(shù)；接著根據(jù)中心投影的像點(diǎn)位移規(guī)律與影像間的相對(duì)位置關(guān)系進(jìn)行重疊區(qū)影像的優(yōu)選，并確定拼接線；最后進(jìn)行接邊處影像勻色和融合、輸出拼接影像，實(shí)現(xiàn)海量無人機(jī)影像的無縫拼接。本發(fā)明避提高了SIFT特征點(diǎn)的提取效率，保證了拼接影像的幾何精度，消除了影像拼接線兩側(cè)的微小色彩差異，得到了色彩過渡自然、地物地貌連續(xù)性好的拼接影像。
【專利說明】大面積地形復(fù)雜區(qū)域無人機(jī)序列影像快速無縫拼接方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種無人機(jī)遙感影像處理方法，具體地說是一種大面積地形復(fù)雜區(qū)域 無人機(jī)序列影像快速無縫拼接方法，屬于圖像處理【技術(shù)領(lǐng)域】。

【背景技術(shù)】
[0002] 無人機(jī)遙感是近年來興起的一種新型遙感系統(tǒng)，因具有快速、靈活、低成本、高影 像分辨率等特點(diǎn)，正日益成為一項(xiàng)空間數(shù)據(jù)獲取的重要手段，在農(nóng)作物監(jiān)測(cè)、國土資源監(jiān) 測(cè)、災(zāi)害應(yīng)急、災(zāi)害評(píng)估、戰(zhàn)場(chǎng)偵察、火災(zāi)監(jiān)測(cè)等領(lǐng)域發(fā)揮重要的作用。由于無人機(jī)遙感具有 廣闊的應(yīng)用前景，相應(yīng)的圖像處理技術(shù)也得到了廣泛的關(guān)注和重視，大范圍地形復(fù)雜區(qū)域 (山區(qū)、丘陵）無人機(jī)序列影像拼接就是其中的一個(gè)研究熱點(diǎn)。
[0003] 現(xiàn)有的影像拼接主要包括影像配準(zhǔn)和影像融合兩個(gè)關(guān)鍵環(huán)節(jié)。在國內(nèi)外影像拼接 技術(shù)研究中，主要的重點(diǎn)都放在了影像配準(zhǔn)這一核心環(huán)節(jié)上。根據(jù)影像配準(zhǔn)的方法大致可 將影像拼接技術(shù)分為三類：①基于影像灰度的方法，該類方法通過計(jì)算圖像間重疊部分灰 度差等相似度衡量指標(biāo)，來對(duì)模型參數(shù)做優(yōu)化，因?yàn)橛?jì)算出的參數(shù)對(duì)于光照條件，旋轉(zhuǎn)角度 等比較敏感，所以對(duì)于無人機(jī)影像并不適合。②基于變換域的方法，該類方法利用傅立葉變 換首先將影像由空域變換到頻域，然后通過它們的相互功率直接計(jì)算得出兩幅影像間的平 移矢量，進(jìn)而實(shí)現(xiàn)影像的配準(zhǔn)，但是，因?yàn)樗惴ㄒ笥錅?zhǔn)影像間有較大的重疊度，且對(duì)于 無人機(jī)影像中存在的鏡頭旋轉(zhuǎn)和比例尺不一致等情況很難處理，所以無法滿足無人機(jī)影像 拼接要求。③基于圖像特征的方法，該類方法主要由特征提取、特征匹配、選取變換模型和 求取參數(shù)、坐標(biāo)變換及插值四個(gè)部分組成，是航空影像拼接的主要方法，其關(guān)鍵在于特征因 子的選取。為此，研究人員提出了基于SUSAN算子的配準(zhǔn)方法，該算法分成粗細(xì)兩級(jí)匹配， 但是對(duì)于小區(qū)域重疊的航空影像難以配準(zhǔn)。同時(shí)，研究人員也提出了基于層次法的配準(zhǔn)方 法，但只適用于圖像間存在小角度旋轉(zhuǎn)（大約0-5度）的情況，而由于無人機(jī)平臺(tái)的不穩(wěn)定 導(dǎo)致無人機(jī)影像可能存在大角度旋轉(zhuǎn)的情況。研究人員采用Harris提取角點(diǎn)，利用最小中 值法去除局外點(diǎn)，實(shí)現(xiàn)圖像拼接，但是由于最小中值法計(jì)算復(fù)雜度較高且不能處理小區(qū)域 重置的影像，所提取的特征點(diǎn)為像素級(jí)的，定位精度有待提1?。還有研究人員利用SIFT算 子實(shí)現(xiàn)了無人機(jī)影像的自動(dòng)拼接，但因?yàn)椴捎玫氖且来蜗蚝髠鬟f拼接參數(shù)的方式，在進(jìn)行 多張影像拼接時(shí)存在誤差累積的問題，無法實(shí)現(xiàn)大區(qū)域的無縫拼接。


【發(fā)明內(nèi)容】

[0004] 針對(duì)現(xiàn)有技術(shù)的不足，本發(fā)明提供了一種大面積地形復(fù)雜區(qū)域無人機(jī)序列影像快 速無縫拼接方法，克服了現(xiàn)有無人機(jī)影像拼接技術(shù)的不足，不僅能夠?qū)崿F(xiàn)無人機(jī)影像大區(qū) 域的無縫拼接，而且定位精度高。
[0005] 本發(fā)明解決其技術(shù)問題采取的技術(shù)方案是：大面積地形復(fù)雜區(qū)域無人機(jī)序列影像 快速無縫拼接方法，其特征是，包括以下步驟：
[0006] 步驟一，以無人機(jī)影像序列的航帶排布特性作為先驗(yàn)知識(shí)，進(jìn)行影像間多度重疊 SIFT (Scale Invariant Feature Transform,尺度不變特征變換）特征點(diǎn)的提取以及SIFT 特征匹配；
[0007] 步驟二，選擇投影變換模型作為影像間的幾何變換模型，開展基于RANSAC(RANdom SAmple Consensus，隨機(jī)采樣一致性）算法的匹配點(diǎn)粗差剔除和提純，基于投影變換模型建 立匹配點(diǎn)的非線性方程組，并通過Levenberg-Marquardt (LM)算法平差求解拼接區(qū)域各影 像的變換參數(shù)；
[0008] 步驟三，根據(jù)中心投影的像點(diǎn)位移規(guī)律與影像間的相對(duì)位置關(guān)系進(jìn)行重疊區(qū)影像 的優(yōu)選，并確定拼接線；
[0009] 步驟四，進(jìn)行接邊處影像勻色和融合，并輸出無縫拼接影像，從而實(shí)現(xiàn)海量無人機(jī) 影像的無縫拼接。
[0010] 優(yōu)選地，在步驟一中，從以下幾個(gè)方面對(duì)同名點(diǎn)的匹配策略進(jìn)行優(yōu)化：
[0011] (1)在SIFT特征點(diǎn)極值探測(cè)時(shí)，當(dāng)差分影像中的極值點(diǎn)大于10時(shí)，才提取該點(diǎn)作 為特征點(diǎn)；
[0012] (2)在進(jìn)行匹配時(shí)利用金子塔匹配策略，當(dāng)上層金字塔匹配完成后，利用匹配點(diǎn) 求解影像間的投影矩陣，然后在下一層影像匹配時(shí)利用這種投影變換關(guān)系進(jìn)行匹配點(diǎn)搜索 范圍約束；
[0013] (3)對(duì)于處在匹配搜索范圍內(nèi)的點(diǎn)集，采用128維特征向量間的歐式距離作為衡 量關(guān)鍵點(diǎn)之間相似度的準(zhǔn)則，在匹配過程中首先找出與待匹配關(guān)鍵點(diǎn)歐式距離最近的兩個(gè) 關(guān)鍵點(diǎn)，然后計(jì)算最近距離與次近距離之間的比值，當(dāng)該比值小于〇. 3時(shí)，則接受該匹配點(diǎn) 對(duì)；
[0014] (4)每張影像只與其航帶內(nèi)部左右相鄰的幾張影像和上下航帶間一定范圍內(nèi)的影 像進(jìn)行匹配。
[0015] 優(yōu)選地，所述步驟二包括以下具體步驟：
[0016] (1)選擇投影變換模型作為影像間的幾何變換模型
[0017] 當(dāng)完成圖像間的同名特征點(diǎn)匹配之后，需要選擇合適的幾何變換模型，并通過這 些同名特征點(diǎn)集的映射關(guān)系來估算影像間的變換參數(shù)。在眾多的變換模型中，投影變換是 一種復(fù)雜的幾何變換模型，又稱為透視變換，它可以描述圖像間存在平移、旋轉(zhuǎn)、水平和垂 直方向位移、縮放等多種變換情況。其他常見的二維變換，包括平移變換、旋轉(zhuǎn)變變換、剛體 變換、相似變換、仿射變換等均為投影變換的子變換。因?yàn)橥队白儞Q模型與無人機(jī)影像的中 心投影構(gòu)象模型最為接近，所以本申請(qǐng)將其作為影像拼接參數(shù)的模型基準(zhǔn)。
[0018] 假定（Xl，yi)、（X2，y 2)分別為圖像變換前后的像素坐標(biāo)，則投影變換矩陣模型的齊 次坐標(biāo)變換式如式1所示：
[0019]

【權(quán)利要求】
1. 大面積地形復(fù)雜區(qū)域無人機(jī)序列影像快速無縫拼接方法，其特征是，包括以下步 驟： 步驟一，以無人機(jī)影像序列的航帶排布特性作為先驗(yàn)知識(shí)，進(jìn)行影像間多度重疊 SIFT 特征點(diǎn)的提取以及SIFT特征匹配； 步驟二，選擇投影變換模型作為影像間的幾何變換模型，開展基于RANSAC算法 的匹配點(diǎn)粗差剔除和提純，基于投影變換模型建立匹配點(diǎn)的非線性方程組，并通過 Levenberg-Marquardt算法平差求解拼接區(qū)域各影像的變換參數(shù)； 步驟三，根據(jù)中心投影的像點(diǎn)位移規(guī)律與影像間的相對(duì)位置關(guān)系進(jìn)行重疊區(qū)影像的優(yōu) 選，并確定拼接線； 步驟四，進(jìn)行接邊處影像勻色和融合，并輸出無縫拼接影像。
2. 根據(jù)權(quán)利要求1所述的大面積地形復(fù)雜區(qū)域無人機(jī)序列影像快速無縫拼接方法，其 特征是，在步驟一中，從以下幾個(gè)方面對(duì)同名點(diǎn)的匹配策略進(jìn)行優(yōu)化： (1) 在SIFT特征點(diǎn)極值探測(cè)時(shí)，當(dāng)差分影像中的極值點(diǎn)大于10時(shí)，才提取該點(diǎn)作為特 征點(diǎn)； (2) 在進(jìn)行匹配時(shí)利用金子塔匹配策略，當(dāng)上層金字塔匹配完成后，利用匹配點(diǎn)求解 影像間的投影矩陣，然后在下一層影像匹配時(shí)利用這種投影變換關(guān)系進(jìn)行匹配點(diǎn)搜索范圍 約束； (3) 對(duì)于處在匹配搜索范圍內(nèi)的點(diǎn)集，采用128維特征向量間的歐式距離作為衡量關(guān) 鍵點(diǎn)之間相似度的準(zhǔn)則，在匹配過程中首先找出與待匹配關(guān)鍵點(diǎn)歐式距離最近的兩個(gè)關(guān)鍵 點(diǎn)，然后計(jì)算最近距離與次近距離之間的比值，當(dāng)該比值小于〇. 3時(shí)，則接受該匹配點(diǎn)對(duì)； (4) 每張影像只與其航帶內(nèi)部左右相鄰的幾張影像和上下航帶間一定范圍內(nèi)的影像進(jìn) 行匹配。
3. 根據(jù)權(quán)利要求1所述的大面積地形復(fù)雜區(qū)域無人機(jī)序列影像快速無縫拼接方法，其 特征是，所述步驟二包括以下具體步驟： (1)選擇投影變換模型作為影像間的幾何變換模型 當(dāng)完成圖像間的同名特征點(diǎn)匹配之后，需要選擇合適的幾何變換模型，并通過這些同 名特征點(diǎn)集的映射關(guān)系來估算影像間的變換參數(shù)；在眾多的變換模型中，投影變換是一種 復(fù)雜的幾何變換模型，可以描述圖像間存在平移、旋轉(zhuǎn)、水平和垂直方向位移、縮放等多種 變換情況，將投影變換模型作為影像拼接參數(shù)的模型基準(zhǔn)； 假定分別為圖像變換前后的像素坐標(biāo)，則投影變換矩陣模型的齊次坐 標(biāo)變換式如式1所示： 式1的非線性形式如式2所示：
(2) (1)
式中，代表圖像的尺度和旋轉(zhuǎn)量，m2和m5分另ll代表圖像在水平和垂直方向 上的位移，1116和1117則代表圖像在水平和垂直方向上的變形量，比例系數(shù)P為標(biāo)量； (2) 利用RANSAC算法進(jìn)行匹配點(diǎn)粗差剔除和提純 對(duì)SIFT匹配點(diǎn)中的誤匹配點(diǎn)進(jìn)行粗差剔除，并對(duì)粗差剔除后的正確匹配點(diǎn)集中進(jìn)一 步優(yōu)選出滿足拼接模型的點(diǎn)集，以待拼接影像中的第一幅影像為基準(zhǔn)，設(shè)其投影矩陣為單 位陣4，然后利用RANSAC算法依次估計(jì)出第j(j>l)幅影像相對(duì)于第j-Ι幅影像的投影矩 陣&，同時(shí)從原始的匹配點(diǎn)集中挑選出支持％的內(nèi)點(diǎn)用于構(gòu)建法方程，最后利用這種相鄰 影像間的傳遞關(guān)系得到第j幅影像相對(duì)于拼接后影像的絕對(duì)投影矩陣初始值H/為：
(3) 以優(yōu)選出的內(nèi)點(diǎn)集合Inliers為基礎(chǔ)，按照下一步所述方法進(jìn)行方程組的建立，并以 絕對(duì)投影矩陣H/作為求解方程組時(shí)的迭代初始值； (3) 建立非線性方程組 利用影像間的多度重疊點(diǎn)對(duì)待拼接的所有影像進(jìn)行整體平差、最終得到全局最優(yōu)的變 換參數(shù)；在方程組構(gòu)建過程中，對(duì)應(yīng)每張影像的變換矩陣有8個(gè)獨(dú)立未知數(shù)，而每個(gè)多度重 疊點(diǎn)在拼接后影像上的水平坐標(biāo)包含兩個(gè)未知數(shù)；而對(duì)應(yīng)一個(gè)k度重疊點(diǎn)按照式2所示的 方程式構(gòu)建k*2個(gè)非線性方程；選取三度以上且滿足投影變換模型的重疊點(diǎn)構(gòu)建法方程進(jìn) 行平差解算； (4) 非線性方程組求解 利用經(jīng)典的Levenberg-Marquardt算法對(duì)式2所示非線性投影變換模型的變換參數(shù)進(jìn) 行求解。
4. 根據(jù)權(quán)利要求1所述的大面積地形復(fù)雜區(qū)域無人機(jī)序列影像快速無縫拼接方法，其 特征是，在步驟三中，根據(jù)影像間的空間排布關(guān)系，以像點(diǎn)位移最小化為影像優(yōu)選準(zhǔn)則，通 過對(duì)原始影像的投影區(qū)域進(jìn)行逐級(jí)裁剪盡而獲取最優(yōu)的影像區(qū)域及其拼接線。
5. 根據(jù)權(quán)利要求1所述的大面積地形復(fù)雜區(qū)域無人機(jī)序列影像快速無縫拼接方法，其 特征是，在步驟四中，利用拼接線兩側(cè)區(qū)域外擴(kuò)與外擴(kuò)后重疊區(qū)域影像加權(quán)融合的方法消 除影像拼接線兩側(cè)的微小色彩差異，從而得到色彩過渡自然、地物地貌連續(xù)性好的拼接影 像。
【文檔編號(hào)】G06T7/00GK104156968SQ201410408652
【公開日】2014年11月19日 申請(qǐng)日期:2014年8月19日 優(yōu)先權(quán)日:2014年8月19日
【發(fā)明者】董梅, 蘇建東, 劉廣玉, 楊舉田, 林祥國, 孫曉峰, 程云吉, 王梅勛, 張彥東, 宗浩, 田雷, 劉勇, 徐碩, 武博, 譚效磊, 朱先志, 劉莉, 王苜華, 王麗麗 申請(qǐng)人:山東臨沂煙草有限公司