一種基于熱紅外攝像機和激光測距儀的地圖構(gòu)建方法
【專利摘要】本發(fā)明涉及一種基于熱紅外攝像機和激光測距儀的地圖構(gòu)建方法，其特征在于通過獲取目標的熱紅外圖像代替現(xiàn)有技術(shù)獲取目標的可見光圖像，有效解決現(xiàn)有技術(shù)在光照條件差、有遮擋物存在的情況下無法正確地圖構(gòu)建的問題；利用方差加權(quán)信息熵做感興趣區(qū)域提取，得到包含目標的矩形框，縮小了解空間、剔除了大量的噪聲干擾；本發(fā)明歐氏距離和溫度匹配對應(yīng)點可靠性高，用RANSAC算法過濾對應(yīng)點，最大程度提高了對應(yīng)點的可靠性，基于ICP算法匹配計算速度快。
【專利說明】一種基于熱紅外攝像機和激光測距儀的地圖構(gòu)建方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及移動機器人即時定位與地圖構(gòu)建領(lǐng)域，尤其涉及移動機器人在可見度很低及存在遮擋物的情況下的地圖構(gòu)建。它可用于移動機器人在未知區(qū)域由任意位置出發(fā)，根據(jù)激光測距儀和熱紅外攝像機的感知數(shù)據(jù)估計機器人位姿并構(gòu)建環(huán)境地圖。
【背景技術(shù)】
[0002]隨著機器人技術(shù)的發(fā)展，具有移動行走功能、環(huán)境感知能力以及軌跡規(guī)劃能力的智能移動機器人越來越受到各國研究人員的重視。實現(xiàn)即時定位與地圖構(gòu)建(SimultaneousLocalization and Mapping, SLAM)是智能機器人最基本的功能之一，也是其完成許多任務(wù)的重要前提。
[0003]目前在二維或三維的地圖構(gòu)建的應(yīng)用中，主要采用基于尺度不變特征變換算法(Scale-1nvariant feature transform, SIFT)。SIFT 算法是一種基于尺度空間的，對圖像縮放、旋轉(zhuǎn)甚至仿射變換保持不變性的特征匹配算法。該算法匹配能力較強，能提取穩(wěn)定的特征，能夠處理兩幅圖像之間發(fā)生平移、旋轉(zhuǎn)、仿射變換、視角變換、光照變換情況下的匹配問題。但是，這種方法的缺點是對環(huán)境亮度和隨機出現(xiàn)的路標具有很強的依賴性。而迭代最近點算法(Iterative Closest Point, ICP),通過迭代優(yōu)化矩陣,在每次迭代過程中,對目標點集上的每個點，在參考點集中尋找最近點，并利用這樣的對應(yīng)點，計算相應(yīng)的旋轉(zhuǎn)矩陣和平移向量，將其用于目標點集上，得到新的目標點集，然后進入下次迭代過程。最終得到最佳的轉(zhuǎn)換矩陣，實現(xiàn)兩點集的精確配準。
[0004]地圖構(gòu)建中通常使用深度相機或其他傳感器采集目標的可見光圖像，獲得目標信息?？梢姽鈭D像是反射圖像，高頻成分多，在一定照度下能反映場景的細節(jié)，但在照度不佳時的可見光圖像的對比度較低，質(zhì)量很差，無法準確獲得目標信息；熱紅外圖像是輻射圖像，灰度由目標與背景的溫差決定，在光線較暗或有煙、云、霧等環(huán)境中，可見光圖像質(zhì)量較差，紅外圖像中的目標卻依然清晰可辨。而熱紅外具備一定的穿透能力，即使在有遮擋物存在依然能夠較清晰地得到目標圖像，有利于在隱藏、偽裝和遮擋的情況下更快、更精確地探測目標。

【發(fā)明內(nèi)容】

[0005]本發(fā)明要解決的技術(shù)問題是:提供一種基于熱紅外攝像機和激光測距儀的地圖構(gòu)建方法及裝置，解決在可見度很低及存在遮擋物的情況下的地圖構(gòu)建問題。
[0006]為解決上述技術(shù)問題，本發(fā)明采用的技術(shù)方案如下:
[0007]一種基于熱紅外攝像機和激光測距儀的地圖構(gòu)建方法，其特征在于包括如下步驟:
[0008]步驟一、采用激光測距儀配合自由旋轉(zhuǎn)電機構(gòu)建三維激光測距平臺，實現(xiàn)對三維場景的掃描；
[0009]步驟二、將步驟一搭建的三維激光測距平臺和熱紅外攝像機安裝于移動機器人上，構(gòu)建能夠同時獲取目標的熱紅外圖像和三維激光點點集的掃描裝置；標定熱紅外攝像機，得到熱紅外攝像機內(nèi)部參數(shù)和外部參數(shù)；調(diào)整熱紅外攝像機的位置，使熱紅外攝像機與激光測距儀的焦點一致且不阻擋彼此的掃描區(qū)域；通過計算轉(zhuǎn)換得到裝置的全局坐標系；
[0010]步驟三、利用步驟二構(gòu)建的掃描裝置掃描得到環(huán)境的原始三維激光點數(shù)據(jù)，再記錄超聲波傳感器測得的服務(wù)機器人與前方障礙物的距離數(shù)據(jù)，構(gòu)建目標環(huán)境的二維柵格地圖；
[0011]步驟四、使用熱紅外攝像機獲得環(huán)境的多幅熱紅外圖像并對獲得的多幅熱紅外圖像進行初步的濾波降噪處理；按照水平方向和垂直方向分兩步對圖像進行透鏡畸變校正；將移動機器人熱紅外成像映射方法擴展到移動測量系統(tǒng)，計算三維激光測距儀的掃描點與所對應(yīng)的熱紅外圖像像素點的數(shù)學(xué)轉(zhuǎn)換關(guān)系；
[0012]步驟五、對熱紅外圖像進行基于方差加權(quán)信息熵處理，實現(xiàn)對復(fù)雜背景下感興趣區(qū)域的目標進行檢測與提取處理，提取多幅熱紅外圖像溫度信息特征點和歐式距離特征
占.[0013]步驟六、確定匹配對應(yīng)點之后，采用RANSAC算法求解基礎(chǔ)矩陣，然后采用基礎(chǔ)矩陣剔除匹配錯誤的對應(yīng)點；
[0014]步驟七、將二維柵格地圖與在不同位置和視角采集多幅熱紅外圖像的溫度信息特征點和歐式距離特征點進行多次ICP迭代匹配，實現(xiàn)對未知場景三維柵格地圖的重構(gòu)。
[0015]按上述技術(shù)方案，步驟一中采用由水銀接觸的旋轉(zhuǎn)電氣連接器，激光測距儀可以自由旋轉(zhuǎn)而不會導(dǎo)致電纜扭曲；三維激光測距系統(tǒng)能自由圍繞激光掃描平面的0°?360°旋轉(zhuǎn)得到三維激光數(shù)據(jù)。
[0016]按上述技術(shù)方案，步驟三中先設(shè)置三維激光測距儀以I毫秒為采樣周期采集環(huán)境數(shù)據(jù)并進行模數(shù)轉(zhuǎn)換，得到原始三維環(huán)境數(shù)據(jù)，再記錄超聲波傳感器測得的服務(wù)機器人與前方障礙物的距離數(shù)據(jù)；將所獲取的原始三維環(huán)境數(shù)據(jù)的三維激光點點集進行三角形網(wǎng)格化，以形成多個平面，并獲得與多個平面中的每一個對應(yīng)的法向矢量；合并接近的法向矢量以形成法向矢量列表并將法向矢量列表與所述環(huán)境特征矢量表中的各矢量進行匹配；將未能匹配的法向矢量表中的法向矢量添加到環(huán)境特征矢量表中以更新環(huán)境特征矢量表，利用相互匹配的矢量，構(gòu)建局部二維柵格地圖；
[0017]然后，利用里程計獲得移動機器人左右輪的移動距離和移動速度，采用軌跡遞推推獲的方法獲得當前機器人的位姿；計算機器人當前位姿在柵格地圖中的投影比率；通過擴展卡爾曼濾波的定位算法將局部二維柵格地圖通過魯棒性的預(yù)測，每一個時間點環(huán)境細節(jié)的匹配融合處理后生成全局二維柵格地圖。
[0018]本發(fā)明的重點在于:通過獲取目標的熱紅外圖像和三維激光點集，然后基于方差加權(quán)信息熵對復(fù)雜背景下感興趣區(qū)域的目標進行檢測與提取處理，并運用多次ICP迭代匹配,達到構(gòu)建未知環(huán)境的三維地圖的目的。
[0019]相對于現(xiàn)有技術(shù)，本發(fā)明的有益效果為:
[0020]本發(fā)明通過獲取目標的熱紅外圖像代替現(xiàn)有技術(shù)獲取目標的可見光圖像，有效解決現(xiàn)有技術(shù)在光照條件差、有遮擋物存在的情況下無法正確地圖構(gòu)建的問題；利用方差加權(quán)信息熵做感興趣區(qū)域提取，得到包含目標的矩形框，縮小了解空間、剔除了大量的噪聲干擾；本發(fā)明歐氏距離和溫度匹配對應(yīng)點可靠性高，用RANSAC算法過濾對應(yīng)點，最大程度提高了對應(yīng)點的可靠性，基于ICP算法匹配計算速度快。
[0021]本發(fā)明具有很好的通用性和實用性，能夠有效地推動紅外圖像的廣泛應(yīng)用，具有很好的經(jīng)濟效益。
【專利附圖】

【附圖說明】
[0022]圖1是本發(fā)明一種基于熱紅外攝像機和激光測距儀的地圖構(gòu)建方法的流程圖。
[0023]圖2是本發(fā)明中激光測距儀配合自由旋轉(zhuǎn)電機構(gòu)建三維激光測距平臺的坐標系圖。
[0024]圖3是本發(fā)明中三維激光測距平臺與熱紅外攝像機構(gòu)建的實驗平臺的坐標系圖。
[0025]圖4是本發(fā)明中熱紅外攝像機的投影模型。
【具體實施方式】
[0026]為使本發(fā)明的技術(shù)方案和優(yōu)點更加清楚明白，參照附圖對本發(fā)明作進一步的詳細說明，并非對其保護范圍的限制。
[0027]圖1給出了一個本發(fā)明系統(tǒng)的實施流程圖。如圖1所示，總的來說，本發(fā)明的方法包括如下步驟:
[0028]步驟一、利用德國SICK公司LMS200激光測距儀配合自由旋轉(zhuǎn)電機搭建三維激光掃描儀，通過激光測距儀實現(xiàn)對三維場景的掃描。三維激光測距系統(tǒng)是由內(nèi)置電機的小型云臺和LMS200激光測距儀構(gòu)成的，傾斜安裝方式，云臺的內(nèi)置電機帶動激光。本發(fā)明采用由水銀接觸的旋轉(zhuǎn)電氣連接器，測距儀可以自由旋轉(zhuǎn)而不會導(dǎo)致電纜扭曲。三維激光測距系統(tǒng)能自由圍繞激光掃描平面的OD~360D旋轉(zhuǎn)得到三維激光數(shù)據(jù)，掃描方式為垂直于水平面。將該激光掃描儀安裝在上海英集斯公司MT-R自主移動機器人系統(tǒng)平臺上。配合云臺的自由旋轉(zhuǎn)電機選用永久型重載磁同步電機，可保證三維激光測距系統(tǒng)較長的使用壽命，并具有穩(wěn)定的操作功能，其旋轉(zhuǎn)速度近似勻速運動。
[0029]實際實施案例中由于在機械安裝時，云臺的旋轉(zhuǎn)中心與激光束發(fā)射中心在空間上存在一定的偏差，其位置參數(shù)關(guān)系可由圖2結(jié)構(gòu)示意圖來表示。假定二維測距儀LMS200坐標系統(tǒng)為原點ο的坐標位于掃描平面中心，X'軸對應(yīng)為二維測距儀掃描平面，Y'軸為垂直于掃描面(的面還是軸？)，Z'軸為對應(yīng)右手坐標系。坐標系統(tǒng)Ss代表三維激光測距儀，原點坐標ο是位于一個特定的距離中心的旋轉(zhuǎn)平臺。X軸對應(yīng)于正面的三維激光測距儀的正面，Y軸對應(yīng)轉(zhuǎn)動軸的表面，Z軸為滿足右手坐標系。這個二維激光測距儀安裝角
度為與水平面夾角為β，云臺掃描平面的旋轉(zhuǎn)掃描速度為
[0030]齊次變換矩陣sIY與坐標系統(tǒng)Σρ Ss之間表達關(guān)系是:
sV
[0031]T1 = L L
L01 ^
eosf0sin,Ol
[0032]sRl - skfcosf0 0I0stL - sRl 0
00IJ [-sin^0cos^Lj[0033]本發(fā)明中和分別是二維測距儀坐標系統(tǒng)Σ L相對于三維激光測距坐標系統(tǒng)Σ5的旋轉(zhuǎn)矩陣和轉(zhuǎn)換矩陣。
[0034]測量點Lp相對于ΣL的表達為:
【權(quán)利要求】
1.一種基于熱紅外攝像機和激光測距儀的地圖構(gòu)建方法，其特征在于包括如下步驟: 步驟一、采用激光測距儀配合自由旋轉(zhuǎn)電機構(gòu)建三維激光測距平臺，實現(xiàn)對三維場景的掃描； 步驟二、將步驟一搭建的三維激光測距平臺和熱紅外攝像機安裝于移動機器人上，構(gòu)建能夠同時獲取目標的熱紅外圖像和三維激光點點集的掃描裝置；標定熱紅外攝像機，得到熱紅外攝像機內(nèi)部參數(shù)和外部參數(shù)；調(diào)整熱紅外攝像機的位置，使熱紅外攝像機與激光測距儀的焦點一致且不阻擋彼此的掃描區(qū)域；通過計算轉(zhuǎn)換得到裝置的全局坐標系； 步驟三、利用步驟二構(gòu)建的掃描裝置掃描得到環(huán)境的原始三維激光點數(shù)據(jù)，再記錄超聲波傳感器測得的服務(wù)機器人與前方障礙物的距離數(shù)據(jù)，構(gòu)建目標環(huán)境的二維柵格地圖；步驟四、使用熱紅外攝像機獲得環(huán)境的多幅熱紅外圖像并對獲得的多幅熱紅外圖像進行初步的濾波降噪處理；按照水平方向和垂直方向分兩步對圖像進行透鏡畸變校正；將移動機器人熱紅外成像映射方法擴展到移動測量系統(tǒng)，計算三維激光測距儀的掃描點與所對應(yīng)的熱紅外圖像像素點的數(shù)學(xué)轉(zhuǎn)換關(guān)系； 步驟五、對熱紅外圖像進行基于方差加權(quán)信息熵處理，實現(xiàn)對復(fù)雜背景下感興趣區(qū)域的目標進行檢測與提取處理，提取多幅熱紅外圖像溫度信息特征點和歐式距離特征點；步驟六、確定匹配對應(yīng)點之后，采用RANSAC算法求解基礎(chǔ)矩陣，然后采用基礎(chǔ)矩陣剔除匹配錯誤的對應(yīng)點； 步驟七、將二維柵格地圖與在不同位置和視角采集多幅熱紅外圖像的溫度信息特征點和歐式距離特征點進行多次ICP迭代匹配，實現(xiàn)對未知場景三維柵格地圖的重構(gòu)。
2.根據(jù)權(quán)利要求1所述基于熱紅外攝像機和激光測距儀的地圖構(gòu)建方法，其特征在于:步驟一中采用由水銀接觸的旋轉(zhuǎn)電氣連接器，激光測距儀可以自由旋轉(zhuǎn)而不會導(dǎo)致電纜扭曲；三維激光測距系統(tǒng)能自由圍繞激光掃描平面的O。?360°旋轉(zhuǎn)得到三維激光數(shù)據(jù)。
3.根據(jù)權(quán)利要求1所述基于熱紅外攝像機和激光測距儀的地圖構(gòu)建方法，其特征在于: 步驟三中先設(shè)置三維激光測距儀以I毫秒為采樣周期采集環(huán)境數(shù)據(jù)并進行模數(shù)轉(zhuǎn)換，得到原始三維環(huán)境數(shù)據(jù)，再記錄超聲波傳感器測得的服務(wù)機器人與前方障礙物的距離數(shù)據(jù)；將所獲取的原始三維環(huán)境數(shù)據(jù)的三維激光點點集進行三角形網(wǎng)格化，以形成多個平面，并獲得與多個平面中的每一個對應(yīng)的法向矢量；合并接近的法向矢量以形成法向矢量列表并將法向矢量列表與所述環(huán)境特征矢量表中的各矢量進行匹配；將未能匹配的法向矢量表中的法向矢量添加到環(huán)境特征矢量表中以更新環(huán)境特征矢量表，利用相互匹配的矢量，構(gòu)建局部二維柵格地圖； 然后，利用里程計獲得移動機器人左右輪的移動距離和移動速度，采用軌跡遞推推獲的方法獲得當前機器人的位姿；計算機器人當前位姿在柵格地圖中的投影比率；通過擴展卡爾曼濾波的定位算法將局部二維柵格地圖通過魯棒性的預(yù)測，每一個時間點環(huán)境細節(jié)的匹配融合處理后生成全局二維柵格地圖。
【文檔編號】G01C21/32GK103512579SQ201310499858
【公開日】2014年1月15日 申請日期:2013年10月22日 優(yōu)先權(quán)日:2013年10月22日
【發(fā)明者】吳懷宇, 周致富 申請人:武漢科技大學(xué)