基于結構性線條的視覺slam方法
【專利摘要】本發(fā)明提供了一種基于結構性線條的視覺SLAM方法，其中，提供了用以采集周圍環(huán)境圖像的攝像設備；利用建筑的結構性線條作為特征線條來實現實時定位和地圖構建（SLAM）；該方法包括如下步驟：SLAM初始化：選擇主導方向，采集主導方向上的線條作為特征線條，并對新增的特征線條進行參數化；SLAM過程中：針對每一幀圖像，預測所述攝像設備的運動，并依此預測特征線條在下一幀圖像中的位置，然后在下一幀圖像中在預測位置附近尋找匹配線條，得到該特征線條在下一幀圖像中的實際位置，進而計算預測位置與實際位置的偏差，再利用卡爾曼濾波器更新特征直線的位置以及所述攝像設備的位置和姿態(tài)。
【專利說明】基于結構性線條的視覺SLAM方法

【技術領域】
[0001]本發(fā)明涉及視覺同步定位與地圖構建(SLAM)領域，可應用于移動機器人、無人機的自主導航，也可用于移動終端的增強現實及虛擬建模。

【背景技術】
[0002]目前，同步定位與地圖構建(SLAM)是實現自主導航的基本問題與研究熱點。它的目標是解決在進入未知環(huán)境后，如何感知周圍環(huán)境構建增量式地圖，并同時進行自身定位的問題。用于感知周圍環(huán)境的傳感器有很多種，攝像設備憑借其廉價，體積小，便于安裝等優(yōu)點使視覺SLAM方法成為領域中重要研究內容。傳統的理論主要是利用環(huán)境中的特征點制圖和定位，優(yōu)點是特征點便于檢測和跟蹤，而缺點則是對于一些人造建筑的環(huán)境如走廊的墻面等，往往因為缺少特征點而嚴重影響SLAM的準確度?，F有技術也有利用線段實現SLAM的，但其通過跟蹤線段的兩個端點的方法使其在本質上無異于之前的特征點SLAM。還有一些技術，將垂直線量化成地面上的一點，而這將原本的六個自由度局限在了 2D平面。


【發(fā)明內容】

[0003]本發(fā)明要解決的技術問題是提供一種能在特征數目很少的情況下依然保證高精度的SLAM方法，同時使得最后地圖的描述與三位重建更清晰。
[0004]為了解決這一技術問題，本發(fā)明提供了一種基于結構性線條的視覺SLAM方法，其中，提供了用以采集周圍環(huán)境圖像的攝像設備；利用建筑的結構性線條作為特征線條來實現實時定位和地圖構建(SLAM)；
[0005]該方法包括如下步驟:
[0006]SLAM初始化:選擇主導方向，采集主導方向上的線條作為特征線條，并對新增的特征線條進行參數化；
[0007]SLAM過程中:針對每一幀圖像，預測所述攝像設備的運動，并依此預測特征線條在下一幀圖像中的位置，然后在下一幀圖像中在預測位置附近尋找匹配線條，得到該特征線條在下一幀圖像中的實際位置，進而計算預測位置與實際位置的偏差，再利用卡爾曼濾波器更新特征直線的位置以及所述攝像設備的位置和姿態(tài)。
[0008]SLAM初始化時，對采集的環(huán)境圖像進行線條檢測，根據檢測到的線條計算消失點，再依據不同的消失點對檢測到的線條進行分類，選擇其中線條最多的三類或N類作為主導方向。
[0009]在對新增線條進行參數化時，先確認該特征線條屬于哪一主導方向，利用該特征線條所屬的主導方向表示其方向，再求得該特征線條與參考平面的交點，作為特征線條的參數記錄在卡爾曼濾波器的狀態(tài)向量中；
[0010]其中參考平面為世界坐標系下兩兩垂直的XY、YZ或ZX平面，參考平面的選擇依據該特征線條與三個平面法線方向的夾角，夾角最小的平面被選為該特征線條的參考平面。
[0011]確定該特征直線屬于哪一主導方向時，將三個主導方向所對應的三個消失點分別與該特征直線的中點連接，形成三條參考直線，其中一條所述參考直線與該特征直線共線或接近共線時，則判定該線條為對應主導方向上的特征直線。
[0012]通過更新所述攝像設備的參數實現所述攝像設備的定位，所述攝像設備的參數至少包括了其在世界坐標系中的位置、姿態(tài)，角速度和速度。
[0013]在找出匹配線條的過程中，先通過幾何信息匹配過程和外觀信息匹配過程選出類似直線，然后再通過局部更新濾波器剔除異常值，得到最佳的一個或多個線段作為匹配線段；
[0014]在幾何信息匹配過程中，選擇與所述預測線條距離最近，且斜率最相似的若干線段；在外觀信息匹配過程中，將線段中點的一塊圖像塊與所述預測線條的圖像塊進行相似度的計算，選擇相似度最佳的若干線段；同時經幾何信息匹配過程和外觀信息匹配過程選擇得到的若干線段作為匹配線段。
[0015]得到了直線的預測位置及其實際匹配的匹配線段后，計算預測位置與實際位置的偏差時，計算所述匹配線段的兩個端點到該預測直線的有符號距離，計算過程中，若遇到長線段，則將長線段截取成長度一定的若干短線段，再分別計算。
[0016]處理完每一幀圖像后，還包括進行地圖管理的過程，對于每一個主導方向，給定一個直線的最小數目，僅當現有的直線數目小于這個最小數目時，才對該主導方向上的新檢測到特征線條進行參數化；
[0017]在進行地圖管理的過程中，用一個變量記錄每個特征線條連續(xù)未被匹配的次數，該次數會在重新成功匹配后被清零，否則一直累加，當地圖中的特征線條數目超過一定上限，我們則從地圖中刪除對應未被匹配次數最大的特征線條。
[0018]所述攝像設備運動過程中，還實時進行特征點檢測，通過所述特征線條和特征點共同實現實時定位和地圖構建(SLAM)。
[0019]本發(fā)明創(chuàng)造性地發(fā)現到，對于人造建筑的場景，包含了若干個主導方向的平面，而沿著這些主導方向的直線可以大致勾勒出建筑的結構，故可稱之為結構性線條。例如絕大部分情況下，建筑都垂直于地面，那么就有一個主導方向是垂直于地面的，繼而所有垂直于地面的直線都是屬于這一主導方向的結構性線條，當然主導方向應該不只有一個。本發(fā)明利用攝像設備拍攝和采集人造建筑的結構性線條來實現六個自由度的視覺同步定位與地圖構建(SLAM)。可見，本發(fā)明對特征線條進行了創(chuàng)造性地選擇，并進一步地創(chuàng)造性地將其應用于SLAM方法中，充分利用了建筑的結構信息，即使在特征數目很少的情況下依然能夠達到很高的精度。在最后的地圖描述和三維重建上，結構性線條也能夠比特征點更清晰的重現實際的地圖場景。

【專利附圖】

【附圖說明】
[0020]圖1和圖2為本發(fā)明一實施例中結構性線條在環(huán)境圖像中和三維的世界坐標系中的對比示意圖；
[0021]圖3為本發(fā)明一實施例中特征線條參數化的示意圖；
[0022]圖4為本發(fā)明一實施例中結構性線條并結合特征點的SLAM和傳統的基于點的MonoSLAM的結果比較示意圖；
[0023]圖5為本發(fā)明一實施例中三維重建的結果示意圖。

【具體實施方式】
[0024]以下將結合圖1至圖5對本發(fā)明提供的基于結構性線條的視覺SLAM方法進行詳細的描述，其為本發(fā)明一可選的實施例，可以認為，本領域的技術人員在不改變本發(fā)明精神和內容的范圍內能夠對其進行修改和潤色。
[0025]本實施例是在傳統SLAM上的改進，其提供了一種基于結構性線條的視覺SLAM方法，其中，提供了用以采集周圍環(huán)境圖像的攝像設備；利用建筑的結構性線條作為特征線條來實現實時定位和地圖構建(SLAM)；
[0026]主要過程通過matlab來實現，該方法包括如下步驟:
[0027]SLAM初始化:選擇主導方向，采集主導方向上的線條作為特征線條，并對新增的特征線條進行參數化；將其參數化后才可以將特征線條投射到世界坐標系中，也能通過對參數進行進一步處理和更新；
[0028]SLAM過程中:針對每一幀圖像，預測所述攝像設備的運動，并依此預測特征線條在下一幀圖像中的位置，然后在下一幀圖像中在預測位置附近尋找匹配線條，得到該特征線條在下一幀圖像中的實際位置，進而計算預測位置與實際位置的偏差，再利用卡爾曼濾波器更新特征直線的位置以及所述攝像設備的位置和姿態(tài)。
[0029]這里的實際位置其實為觀測位置，卡爾曼濾波器依據預測位置和觀測位置進行計算，通過狀態(tài)向量和協方差矩陣進行估算，從而得到最佳的值，最終依據該值可以在三維世界坐標系中進行更精確的實時定位和地圖構建(SLAM)。
[0030]至于如何在三維世界坐標系下進行特征線條的投射，進而實現三維的地圖構建以及具體的定位，在本領域都已有諸多文獻有所記載，本實施例僅就與現有技術的區(qū)別部分進行詳細闡述，故而不應因為本發(fā)明和實施例中未記載現有技術中已有的內容而認為本發(fā)明未充分公開，換言之，本領域的技術人員在將現有技術與本發(fā)明的技術方案結合的情況下，完全可以實現本發(fā)明的技術手段和技術效果。
[0031]SLAM初始化時，對采集的環(huán)境圖像進行線條檢測，根據檢測到的線條計算消失點，再依據不同的消失點對檢測到的線條進行分類，選擇其中線條最多的三類或N類作為主導方向。本實施例以三類主導方向進行闡述，N的取值可以為任意。
[0032]在對新增線條進行參數化時，先確認該特征線條屬于哪一主導方向，利用該特征線條所屬的主導方向表示其方向，再求得該特征線條與參考平面的交點，作為特征線條的參數記錄在卡爾曼濾波器的狀態(tài)向量中；換言之，通過消失點和與參考平面的交點可確定一條直線。
[0033]其中參考平面為世界坐標系下兩兩垂直的XY、YZ或ZX平面，參考平面的選擇依據該特征線條與三個平面法線方向的夾角，夾角最小的平面被選為該特征線條的參考平面。
[0034]確定該特征直線屬于哪一主導方向時，將三個主導方向所對應的三個消失點分別與該特征直線的中點連接，形成三條參考直線，其中一條所述參考直線與該特征直線共線或接近共線時，則判定該線條為對應主導方向上的特征直線。
[0035]通過更新所述攝像設備的參數實現所述攝像設備的定位，所述攝像設備的參數至少包括了其在世界坐標系中的位置、姿態(tài)，角速度和速度。
[0036]在找出匹配線條的過程中，先通過幾何信息匹配過程和外觀信息匹配過程選出類似直線，然后再通過局部更新濾波器剔除異常值，得到最佳的一個或多個線段作為匹配線段；
[0037]在幾何信息匹配過程中，選擇與所述預測線條距離最近，且斜率最相似的若干線段；在外觀信息匹配過程中，將線段中點的一塊圖像塊與所述預測線條的圖像塊進行相似度的計算，選擇相似度最佳的若干線段；同時經幾何信息匹配過程和外觀信息匹配過程選擇得到的若干線段作為匹配線段。
[0038]得到了直線的預測位置及其實際匹配的匹配線段后，計算預測位置與實際位置的偏差時，計算所述匹配線段的兩個端點到該預測直線的有符號距離，計算過程中，若遇到長線段，則將長線段截取成長度一定的若干短線段，再分別計算。
[0039]處理完每一幀圖像后，還包括進行地圖管理的過程，對于每一個主導方向，給定一個直線的最小數目，僅當現有的直線數目小于這個最小數目時，才對該主導方向上的新檢測到特征線條進行參數化；
[0040]在進行地圖管理的過程中，用一個變量記錄每個特征線條連續(xù)未被匹配的次數，該次數會在重新成功匹配后被清零，否則一直累加，當地圖中的特征線條數目超過一定上限，我們則從地圖中刪除對應未被匹配次數最大的特征線條。
[0041]所述攝像設備運動過程中，還實時進行特征點檢測，通過所述特征線條和特征點共同實現實時定位和地圖構建(SLAM)。
[0042]以下將對其中內容進行進一步展開，其中只詳細描述本發(fā)明提出的關于結構性線條部分的方案內容，而不對特征點進行闡述。
[0043]本發(fā)明創(chuàng)造性地發(fā)現到，對于人造建筑的場景，包含了若干個主導方向的平面，而沿著這些主導方向的直線可以大致勾勒出建筑的結構，故可稱之為結構性線條。例如絕大部分情況下，建筑都垂直于地面，那么就有一個主導方向是垂直于地面的，繼而所有垂直于地面的直線都是屬于這一主導方向的結構性線條，當然主導方向應該不只有一個。本發(fā)明利用攝像設備拍攝和采集人造建筑的結構性線條來實現六個自由度的視覺同步定位與地圖構建(SLAM)。可見，本發(fā)明對特征線條進行了創(chuàng)造性地選擇，并進一步地創(chuàng)造性地將其應用于SLAM方法中，充分利用了建筑的結構信息，即使在特征數目很少的情況下依然能夠達到很高的精度。在最后的地圖描述和三維重建上，結構性線條也能夠比特征點更清晰的重現實際的地圖場景。
[0044]步驟一、結構性線條的主導方向的確定
[0045]在圖1中，一個走廊環(huán)境里的主導方向有三個,一個是垂直于地面的,還有兩個是平行與地面的(沿著走廊方向和垂直于走廊方向)。圖2則展現了在matlab中具體如何建模和展現結構性線條的圖像截圖。
[0046]為了確定主導方向，我們先利用現有的LSD算法檢測直線，再用J-1inkage算法根據消失點的不同對圖像中直線進行分組。最后選取直線數量最多的三組作為我們的主導方向。在每組直線內，消失點可以通過公式(I)求直線交點獲得。其中，s表示一個3XM的矩陣，3 XM表示M條直線，V是需要求解的消失點的3 X I齊次坐標表示。
[0047]sTv = O (I)
[0048]通過解該方程，可得圖像中消失點的位置。得到了圖像中的消失點，可以通過公式
(2)，得到消失點在世界坐標系中的方向。而我們所說的主導方向和結構性線條的方向都可以通過世界坐標系中消失點的方向來表達。
[0049]n oc rcrV (2)
[0050]公式(2)中，R和K分別表示攝像設備的外部旋轉矩陣和內部參數矩陣，則表示所求的世界坐標系下消失點的方向。
[0051]消失點方向被全局的保留下來，不在每一步迭代中進行更新。但如果SLAM中途遇到某一方向的直線數量超過一定閾值，且又與現有的主導方向不一致時，我們會增加一個主導方向，此時，這個主導方向的消失點方向會被加入地圖的狀態(tài)向量，參與更新。
[0052]步驟二、結構性線條的初始化
[0053]所述攝像設備運動過程中，針對每一幀圖像，先對特征直線和攝像設備的運動進行參數化，然后利用卡爾曼濾波器對每幀環(huán)境圖像中的特征直線的參數和攝像設備運動的參數進行估算，得到最佳的值，從而根據該最佳的值將特征直線和攝像設備的運動軌跡投射到世界坐標系中。
[0054]這里我們采用傳統的基于擴展的卡爾曼濾波器(EKF)的框架，其包含一個狀態(tài)向量(記錄攝像設備位置、姿態(tài)和動態(tài)參數以及周圍特征直線、特征點的位置)和一個與其對應的協方差矩陣。
[0055]所以，需將結構性線條，即特征線條通過參數來表征。
[0056]由于我們只考慮結構性線條，所以初始化直線的第一步是查看該直線屬于哪個主導方向。這里需將世界坐標系下的主導方向n反投到圖像坐標系下:
[0057]V = KR? η (3)
[0058]針對某一條直線，我們分別連接直線中點和每一個消失點Vi形成一條參考直線，如果檢測直線靠近參考直線，則認為屬于該主導方向。直線的主導方向的信息被保存下來，但并不計入狀態(tài)向量。狀態(tài)向量中記錄的是直線與XY或YZ或ZX平面的交點的反深度表示，如圖2所示，[(^(^^是攝像設備沿主導方向投影到參考平面上的位置，Θ表示攝像設備投影與直線和參考平面交點的方向，h是攝像設備投影到直線與參考平面交點的距離的倒數:

【權利要求】
1.一種基于結構性線條的視覺SLAM方法，其中，提供了用以采集周圍環(huán)境圖像的攝像設備；利用建筑的結構性線條作為特征線條來實現實時定位和地圖構建(SLAM)； 該方法包括如下步驟: SLAM初始化:選擇主導方向，采集主導方向上的線條作為特征線條，并對新增的特征線條進行參數化； SLAM過程中:針對每一幀圖像，預測所述攝像設備的運動，并依此預測特征線條在下一幀圖像中的位置，然后在下一幀圖像中在預測位置附近尋找匹配線條，得到該特征線條在下一幀圖像中的實際位置，進而計算預測位置與實際位置的偏差，再利用卡爾曼濾波器更新特征直線的位置以及所述攝像設備的位置和姿態(tài)。
2.如權利要求1所述的基于結構性線條的視覺SLAM方法，其特征在于:SLAM初始化時，對采集的環(huán)境圖像進行線條檢測，根據檢測到的線條計算消失點，再依據不同的消失點對檢測到的線條進行分類，選擇其中線條最多的三類或N類作為主導方向。
3.如權利要求1所述的基于結構性線條的視覺SLAM方法，其特征在于:在對新增線條進行參數化時，先確認該特征線條屬于哪一主導方向，利用該特征線條所屬的主導方向表示其方向，再求得該特征線條與參考平面的交點，作為特征線條的參數記錄在卡爾曼濾波器的狀態(tài)向量中； 其中參考平面為世界坐標系下兩兩垂直的XY、YZ或ZX平面，參考平面的選擇依據該特征線條與三個平面法 線方向的夾角，夾角最小的平面被選為該特征線條的參考平面。
4.如權利要求3所述的基于結構性線條的視覺SLAM方法，其特征在于:確定該特征直線屬于哪一主導方向時，將三個主導方向所對應的三個消失點分別與該特征直線的中點連接，形成三條參考直線，其中一條所述參考直線與該特征直線共線或接近共線時，則判定該線條為對應主導方向上的特征直線。
5.如權利要求1所述的基于結構性線條的視覺SLAM方法，其特征在于:通過更新所述攝像設備的參數實現所述攝像設備的定位，所述攝像設備的參數至少包括了其在世界坐標系中的位置、姿態(tài)，角速度和速度。
6.如權利要求1所述的基于結構性線條的視覺SLAM方法，其特征在于:在找出匹配線條的過程中，先通過幾何信息匹配過程和外觀信息匹配過程選出類似直線，然后再通過局部更新濾波器剔除異常值，得到最佳的一個或多個線段作為匹配線段； 在幾何信息匹配過程中，選擇與所述預測線條距離最近，且斜率最相似的若干線段；在外觀信息匹配過程中，將線段中點的一塊圖像塊與所述預測線條的圖像塊進行相似度的計算，選擇相似度最佳的若干線段；同時經幾何信息匹配過程和外觀信息匹配過程選擇得到的若干線段作為匹配線段。
7.如權利要求6所述的基于結構性線條的視覺SLAM方法，其特征在于:得到了直線的預測位置及其實際匹配的匹配線段后，計算預測位置與實際位置的偏差時，計算所述匹配線段的兩個端點到該預測直線的有符號距離，計算過程中，若遇到長線段，則將長線段截取成長度一定的若干短線段，再分別計算。
8.如權利要求1所述的基于結構性線條的視覺SLAM方法，其特征在于:處理完每一幀圖像后，還包括進行地圖管理的過程，對于每一個主導方向，給定一個直線的最小數目，僅當現有的直線數目小于這個最小數目時，才對該主導方向上的新檢測到特征線條進行參數化；
9.如權利要求8所述的基于結構性線條的視覺SLAM方法，其特征在于:在進行地圖管理的過程中，用一個變量記錄每個特征線條連續(xù)未被匹配的次數，該次數會在重新成功匹配后被清零，否則一直 累加，當地圖中的特征線條數目超過一定上限，我們則從地圖中刪除對應未被匹配次數最大的特征線條。
10.如權利要求1所述的基于結構性線條的視覺SLAM方法，其特征在于:所述攝像設備運動過程中，還實時進行特征點檢測，通過所述特征線條和特征點共同實現實時定位和地圖構建(SLAM)。
【文檔編號】G06T17/05GK104077809SQ201410286543
【公開日】2014年10月1日 申請日期:2014年6月24日 優(yōu)先權日:2014年6月24日
【發(fā)明者】周慧中, 鄒丹平, 裴凌, 應忍冬, 劉佩林, 郁文賢 申請人:上海交通大學