一種基于無人機(jī)航拍序列影像的邊坡三維重建方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種基于無人機(jī)航拍序列影像的邊坡三維重建方法，屬于地質(zhì)工程、攝影測量和計(jì)算機(jī)應(yīng)用技術(shù)領(lǐng)域。
【背景技術(shù)】
[0002]在地震、降雨以及人類工程活動(dòng)的作用下，邊坡地質(zhì)災(zāi)害頻發(fā)，如滑坡、泥石流、崩滑等，已嚴(yán)重制約了城市的可持續(xù)發(fā)展?？焖贉?zhǔn)確地建立邊坡三維模型不僅可為邊坡變形監(jiān)測提供基礎(chǔ)數(shù)據(jù)，而且對(duì)邊坡失穩(wěn)后的災(zāi)害評(píng)估及應(yīng)急救援具有重要價(jià)值。
[0003]目前，邊坡三維重建方法主要有三維激光掃描、遙感影像解譯。三維激光掃描雖然能得到高精度的邊坡三維模型，但激光掃描設(shè)備昂貴、靈活性差、攜帶不方便。高空航拍靈活性差、成本高、飛行手續(xù)繁瑣、影像受云層影響大。而衛(wèi)星遙感影像存在獲取影像周期長、實(shí)時(shí)性差、成本高等問題，且遙感影像的發(fā)布及獲取只能通過特定的渠道及權(quán)威部門獲取，無法滿足邊坡災(zāi)害應(yīng)急響應(yīng)的需求。因此，迫切需要一種成本低、機(jī)動(dòng)靈活、快速準(zhǔn)確的邊坡三維重建方法。

【發(fā)明內(nèi)容】

[0004]本發(fā)明的目的是針對(duì)當(dāng)前邊坡災(zāi)害頻發(fā)的現(xiàn)狀，以及現(xiàn)有邊坡三維建模方法成本高、靈活性差等局限性，提出一種基于無人機(jī)航拍序列影像的邊坡三維重建方法。
[0005]本發(fā)明提出的一種基于無人機(jī)航拍序列影像的邊坡三維重建方法，具體步驟如下:
(1):針對(duì)未標(biāo)定的無人機(jī)多視圖航拍序列影像，采用基于特征匹配的算法即基于尺度特征不變換(Scale Invariant Feature Transform, SIFT)算法進(jìn)行特征區(qū)域匹配與特征點(diǎn)對(duì)提??；
(1.1)通過將采樣點(diǎn)和所有相鄰點(diǎn)比較，檢測尺度空間極值點(diǎn)，初步確定關(guān)鍵點(diǎn)位置和所在尺度；
(1.2)將精確確定的關(guān)鍵點(diǎn)位置和所在尺度，達(dá)到亞像素精度，同時(shí)去除對(duì)比度低的關(guān)鍵點(diǎn)和不穩(wěn)定的邊緣響應(yīng)點(diǎn)，以增強(qiáng)匹配穩(wěn)定性、提高抗噪聲能力；
(1.3)為每個(gè)關(guān)鍵點(diǎn)指定方向參數(shù)，使算子具備旋轉(zhuǎn)不變性；
(1.4)生成關(guān)鍵點(diǎn)描述子，即生成SIFT特征向量；
(2):基于無序匹配特征點(diǎn)，采用光束法平差方法從運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)，計(jì)算出邊坡的幾何結(jié)構(gòu)和相機(jī)的運(yùn)動(dòng)參數(shù)，得到稀疏的邊坡三維點(diǎn)云模型；
(3):采用基于物方面元的多視圖立體視覺(Patch-basedMultiview Stereo, PMVS)算法對(duì)稀疏的邊坡三維點(diǎn)云模型進(jìn)行處理，擴(kuò)散為稠密的邊坡三維點(diǎn)云模型；所述多視圖立體視覺算法具體為:
(3.1)初始Patch集生成:基于邊坡稀疏的三維點(diǎn)云模型，通過特征點(diǎn)提取及匹配生成一系列稀疏的Patch集； (3.2) Patch的擴(kuò)散:利用相鄰面片法向相似和位置相鄰的特性對(duì)初始面片進(jìn)行擴(kuò)散，逐步得到一個(gè)稠密的Patch集；
(3.3) Patch的過濾:由于重建過程中可能存在錯(cuò)誤面片，采用幾何一致性以及灰度一致性約束來剔除外點(diǎn)，并與Patch的擴(kuò)散操作迭代進(jìn)行；
(4):采用泊松重建算法重建出邊坡的表面網(wǎng)格，并將邊坡表面的紋理信息映射到網(wǎng)格模型上，從而建立具有分辨率高和形象逼真的三維邊坡模型；
(4.1)邊坡模型表面參數(shù)化:對(duì)整個(gè)邊坡模型進(jìn)行分割，建立每個(gè)局部的三維空間坐標(biāo)與貼圖坐標(biāo)的映射關(guān)系；
(4.2)優(yōu)化目標(biāo)圖像:計(jì)算面片在圖像中的可見性，并指定目標(biāo)圖像，使具有相同目標(biāo)圖像的連續(xù)紋理區(qū)域盡可能大，減少紋理接縫的數(shù)量，從而減少邊坡模型中紋理不連續(xù)的現(xiàn)象；
(4.3)邊坡模型顏色校正:減少光照引起的邊坡紋理不連續(xù)現(xiàn)象。
[0006]本發(fā)明中，步驟(2)的具體過程為，光束法平差方法借助上一步提取的無序匹配特征點(diǎn)信息，解算出各幅圖像拍攝時(shí)相機(jī)的旋轉(zhuǎn)與平移矩陣以及像點(diǎn)與相機(jī)之間的對(duì)應(yīng)關(guān)系，還原拍攝場景，自動(dòng)完成相機(jī)的標(biāo)定流程，同時(shí)建立稀疏的邊坡三維點(diǎn)云模型。
[0007]與現(xiàn)有技術(shù)相比，本發(fā)明的優(yōu)點(diǎn)如下:
(1)基于無人機(jī)獲取邊坡影像具有活成本低、機(jī)動(dòng)靈活、攜帶方便、成像分辨率高、作業(yè)周期短等特點(diǎn)，相對(duì)于高空航拍和衛(wèi)星遙感，在小塊區(qū)域、常規(guī)拍攝困難區(qū)域、突發(fā)邊坡災(zāi)害等領(lǐng)域具有獨(dú)特的優(yōu)勢；
(2)本發(fā)明提出的基于無人機(jī)航拍序列影像的邊坡三維重建方法，是基于多視圖圖像的三維重建方法，通過相機(jī)在不同角度、不同位置的拍攝圖像序列，恢復(fù)邊坡的三維模型，其優(yōu)勢在于無需任務(wù)地面控制點(diǎn)，無需預(yù)先標(biāo)定相機(jī)，且成本低、操作簡單、易于實(shí)現(xiàn)，適用于各種復(fù)雜場景的三維建模。
【附圖說明】
[0008]圖1為本發(fā)明方法流程圖。
[0009]圖2為基于無人機(jī)航拍序列影像的某邊坡三維重建模型。
【具體實(shí)施方式】
[0010]下面結(jié)合附圖和具體實(shí)施例對(duì)本發(fā)明一種基于無人機(jī)航拍序列影像的邊坡三維重建方法的實(shí)現(xiàn)過程進(jìn)行詳細(xì)說明。
[0011 ] 實(shí)施例1:某邊坡三維地形重建
選擇某邊坡，前緣寬約75m，后緣寬約50m，前后緣高差約20m，斜長約40m。邊坡表面無植被覆蓋。
[0012](I)將拍攝所得的圖像經(jīng)初步的鏡頭校正之后，選擇了 20幅清晰、重疊度高的多視圖像采用基于特征匹配的算法是指基于尺度特征不變換(Scale Invariant FeatureTransform, SIFT)算法，進(jìn)行特征區(qū)域匹配與特征點(diǎn)對(duì)提取，從每單幅圖像中可提取出6000-7000個(gè)特征點(diǎn)信息，包括特征像點(diǎn)的RGB信息，具體步驟如下:
通過將采樣點(diǎn)和所有相鄰點(diǎn)比較，檢測尺度空間極值點(diǎn)，初步確定關(guān)鍵點(diǎn)位置和所在尺度；
精確確定關(guān)鍵點(diǎn)的位置和尺度，達(dá)到亞像素精度，同時(shí)去除對(duì)比度低的關(guān)鍵點(diǎn)和不穩(wěn)定的邊緣響應(yīng)點(diǎn)，以增強(qiáng)匹配穩(wěn)定性、提高抗噪聲能力；
為每個(gè)關(guān)鍵點(diǎn)指定方向參數(shù)，使算子具備旋轉(zhuǎn)不變性；
生成關(guān)鍵點(diǎn)描述子，即生成SIFT特征向量。
[0013](2)借助上一步提取的無序匹配特征點(diǎn)信息，采用光束法平差方法從運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)，不斷最小化投影點(diǎn)和觀測圖像點(diǎn)之間的重投影誤差，解算出各幅圖像拍攝時(shí)相機(jī)的旋轉(zhuǎn)與平移矩陣以及像點(diǎn)與相機(jī)之間的對(duì)應(yīng)關(guān)系，還原拍攝場景，自動(dòng)完成相機(jī)的標(biāo)定流程，同時(shí)建立稀疏的邊坡三維點(diǎn)云模型。
[0014](3)采用基于物方面元的多視圖立體視覺(Patch-based Multiview Stereo,PMVS)算法對(duì)稀疏的邊坡三維點(diǎn)云模型進(jìn)行處理，擴(kuò)散為稠密的邊坡三維點(diǎn)云模型:
基于邊坡稀疏的三維點(diǎn)云模型，通過特征點(diǎn)提取及匹配生成一系列初始的Patch集；利用相鄰面片法向相似和位置相鄰的特性對(duì)初始面片進(jìn)行擴(kuò)散，逐步得到一個(gè)稠密的Patch 集；
由于重建過程中可能存在錯(cuò)誤面片，采用幾何一致性以及灰度一致性約束來剔除外點(diǎn)，并與Patch的擴(kuò)散操作迭代進(jìn)行。
[0015](4)剔除邊坡模型中明顯的異常點(diǎn)，采用泊松重建算法重建出邊坡的表面網(wǎng)格: 對(duì)整個(gè)邊坡模型進(jìn)行分割，建立每個(gè)局部的三維空間坐標(biāo)與貼圖坐標(biāo)的映射關(guān)系； 計(jì)算面片在圖像中的可見性，并指定目標(biāo)圖像，使具有相同目標(biāo)圖像的連續(xù)紋理區(qū)域盡可能大，減少紋理接縫的數(shù)量，從而減少邊坡模型紋理不連續(xù)的現(xiàn)象；
進(jìn)行顏色校正，減少光照引起的紋理不連續(xù)現(xiàn)象；
將邊坡表面的紋理信息映射到網(wǎng)格模型上，從而建立具有分辨率高和形象逼真的三維邊坡模型，如圖2邊坡三維重建模型所示。
[0016](5)上述(4)中邊坡模型表面網(wǎng)格構(gòu)建的精細(xì)程度可選，即重建深度值越大，網(wǎng)格劃分越細(xì)，模型細(xì)部曲率變化越豐富，但同時(shí)也會(huì)大大增加運(yùn)算時(shí)長。本案例對(duì)比重建深度分別為7和9情況下的邊坡三角網(wǎng)重建模型發(fā)現(xiàn)，當(dāng)重建深度為9時(shí)，可以獲得細(xì)節(jié)部分較為完整的三角網(wǎng)模型，且所需的計(jì)算時(shí)長不需要太長。
【主權(quán)項(xiàng)】
1.一種基于無人機(jī)航拍序列影像的邊坡三維重建方法，其特征在于具體步驟如下: (1):針對(duì)未標(biāo)定的無人機(jī)多視圖航拍序列影像，采用基于特征匹配的算法即基于尺度特征不變換算法進(jìn)行特征區(qū)域匹配與特征點(diǎn)對(duì)提?。? (1.1)通過將采樣點(diǎn)和所有相鄰點(diǎn)比較，檢測尺度空間極值點(diǎn)，初步確定關(guān)鍵點(diǎn)位置和所在尺度； (1.2)將精確確定的關(guān)鍵點(diǎn)位置和所在尺度，達(dá)到亞像素精度，同時(shí)去除對(duì)比度低的關(guān)鍵點(diǎn)和不穩(wěn)定的邊緣響應(yīng)點(diǎn)，以增強(qiáng)匹配穩(wěn)定性、提高抗噪聲能力； (1.3)為每個(gè)關(guān)鍵點(diǎn)指定方向參數(shù)，使算子具備旋轉(zhuǎn)不變性； (1.4)生成關(guān)鍵點(diǎn)描述子，即生成SIFT特征向量； (2):基于無序匹配特征點(diǎn)，采用光束法平差方法從運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)，計(jì)算出邊坡的幾何結(jié)構(gòu)和相機(jī)的運(yùn)動(dòng)參數(shù)，得到稀疏的邊坡三維點(diǎn)云模型； (3):采用基于物方面元的多視圖立體視覺算法對(duì)稀疏的邊坡三維點(diǎn)云模型進(jìn)行處理，擴(kuò)散為稠密的邊坡三維點(diǎn)云模型；所述基于物方面元的多視圖立體視覺算法具體為: (3.1)初始Patch集生成:基于邊坡稀疏的三維點(diǎn)云模型，通過特征點(diǎn)提取及匹配生成一系列稀疏的Patch集； (3.2) Patch的擴(kuò)散:利用相鄰面片法向相似和位置相鄰的特性對(duì)初始面片進(jìn)行擴(kuò)散，逐步得到一個(gè)稠密的Patch集； (3.3) Patch的過濾:由于重建過程中可能存在錯(cuò)誤面片，采用幾何一致性以及灰度一致性約束來剔除外點(diǎn)，并與Patch的擴(kuò)散操作迭代進(jìn)行； (4):采用泊松重建算法重建出邊坡的表面網(wǎng)格，并將邊坡表面的紋理信息映射到網(wǎng)格模型上，從而建立具有分辨率高和形象逼真的三維邊坡模型； (4.1)邊坡模型表面參數(shù)化:對(duì)整個(gè)邊坡模型進(jìn)行分割，建立每個(gè)局部的三維空間坐標(biāo)與貼圖坐標(biāo)的映射關(guān)系； (4.2)優(yōu)化目標(biāo)圖像:計(jì)算面片在圖像中的可見性，并指定目標(biāo)圖像，使具有相同目標(biāo)圖像的連續(xù)紋理區(qū)域盡可能大，減少紋理接縫的數(shù)量，從而減少邊坡模型中紋理不連續(xù)的現(xiàn)象； (4.3)邊坡模型顏色校正:減少光照引起的邊坡紋理不連續(xù)現(xiàn)象。2.根據(jù)權(quán)利要求1所述的一種基于無人機(jī)航拍序列影像的邊坡三維重建方法，其特征在于，步驟(2)的具體過程為，光束法平差方法借助上一步提取的無序匹配特征點(diǎn)信息，解算出各幅圖像拍攝時(shí)相機(jī)的旋轉(zhuǎn)與平移矩陣以及像點(diǎn)與相機(jī)之間的對(duì)應(yīng)關(guān)系，還原拍攝場景，自動(dòng)完成相機(jī)的標(biāo)定流程，同時(shí)建立稀疏的邊坡三維點(diǎn)云模型。
【專利摘要】本發(fā)明涉及一種基于無人機(jī)航拍序列影像的邊坡三維重建方法。針對(duì)未標(biāo)定的無人機(jī)多視圖航拍序列影像，采用基于特征匹配的算法進(jìn)行特征區(qū)域匹配與特征點(diǎn)對(duì)提??；基于無序匹配特征點(diǎn)，采用光束法平差方法從運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)，計(jì)算出邊坡的幾何結(jié)構(gòu)和相機(jī)的運(yùn)動(dòng)參數(shù)，得到稀疏的邊坡三維點(diǎn)云模型；采用基于物方面元的多視圖立體視覺算法對(duì)稀疏的邊坡三維點(diǎn)云模型進(jìn)行處理，擴(kuò)散為稠密的邊坡三維點(diǎn)云模型；采用泊松重建算法重建出邊坡的表面網(wǎng)格，并將邊坡表面的紋理信息映射到網(wǎng)格模型上，從而建立具有分辨率高和形象逼真的三維邊坡模型。本發(fā)明具有成本低、機(jī)動(dòng)靈活、攜帶方便、成像分辨率高、作業(yè)周期短、適宜高危地區(qū)勘測等特點(diǎn)，有力地推動(dòng)了低空攝影測量和計(jì)算機(jī)視覺技術(shù)在地質(zhì)工程防災(zāi)減災(zāi)領(lǐng)域的應(yīng)用。
【IPC分類】G06T17/05
【公開號(hào)】CN105184863
【申請?zhí)枴緾N201510434193
【發(fā)明人】黃雨, 于淼, 周佳敏, 毛麗雅, 王賀
【申請人】同濟(jì)大學(xué)
【公開日】2015年12月23日
【申請日】2015年7月23日