確定攝像頭相對于環(huán)境的姿態(tài)的方法
【專利摘要】本發(fā)明提供了一種確定攝像頭相對于環(huán)境的姿態(tài)的方法。通過根據(jù)一組初始圖像確定點對應(yīng)關(guān)系并且然后對于該點對應(yīng)關(guān)系應(yīng)用2點運動估計以確定攝像頭的一組初始姿態(tài)來獲得可移動攝像頭相對于環(huán)境的姿態(tài)。根據(jù)一組初始姿態(tài)和點對應(yīng)關(guān)系生成點云。然后，對于每個下一圖像，確定點對應(yīng)關(guān)系和對應(yīng)的姿態(tài)，同時對點云進行更新。
【專利說明】確定攝像頭相對于環(huán)境的姿態(tài)的方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明一般地涉及使用計算機視覺用于運動估計，并且更具體地，涉及使用該運動估計用于車載攝像頭的姿態(tài)確定以檢測車輛附近的障礙物。
【背景技術(shù)】
[0002]從利用安裝在車輛上的攝像頭獲取的車輛附近的環(huán)境(例如,道路或車庫)的視頻進行諸如車輛或機器人的對象的準確的運動估計在車輛和機器人導(dǎo)航中是重要的問題。大多數(shù)傳統(tǒng)方法使用攝像頭模型(單眼或立體)或者運動模型(平面或非平面)。為了從圖像的序列確定車輛相對于環(huán)境的相對運動，諸如隨機樣本一致性(RANSAC)的假想-測試框架中的最少數(shù)目的特征對應(yīng)關(guān)系在存在異常值時產(chǎn)生準確的結(jié)果。
[0003]使用車載攝像頭根據(jù)視頻序列進行稠密深度估計當車輛特別是在諸如車庫、碼頭、馬路、停車場和一般道路等等的受約束環(huán)境中后退時對于諸如檢測移動中的車輛附近的人和障礙物的安全應(yīng)用來說是特別有用的。
[0004]極小解
[0005]Nister的已知的利用RANSAC框架的五點法是針對存在異常值時的運動估計的優(yōu)選方法。在兩個攝像頭之間的相對運動的情況下，在運動參數(shù)中存在六個自由度(DOF):三個DOF用于旋轉(zhuǎn)并且三個DOF用于平移。對于具有單個投影中心的傳統(tǒng)攝像頭來說，僅能夠確定五個參數(shù)，即，平移僅能夠確定到一定標度。因此，需要五個特征對應(yīng)關(guān)系中的極小值來確定運動參數(shù)。
[0006]例如，能夠使用哈里斯角點、Kanade-Lucas-Tomasi跟蹤器(KLT)和尺度不變特征變換(SIFT)來獲得特征對應(yīng)關(guān)系。通常，極小方法導(dǎo)致對于運動的有限數(shù)目的解，并且基于物理約束或額外的點對應(yīng)關(guān)系來選擇正確的運動。
[0007]極小解已知用于若干校準和3D重構(gòu)問題:徑向畸變的自動校準、立體三點問題、五點相對姿態(tài)問題、六點焦距問題、六點廣義攝像頭問題、用于估計拋物反射折射基礎(chǔ)矩陣的九點問題、九點徑向畸變問題、利用六個對應(yīng)關(guān)系的點面配準、用于利用點或線的立體設(shè)置的姿態(tài)估計以及用于利用點和線的單眼設(shè)置的姿態(tài)估計。
[0008]受限運動模型
[0009]通常由相關(guān)應(yīng)用來約束攝像頭的相對運動。例如，安裝在車輛上的攝像頭并不是通常都具有6D0F。如果行進面是平面，則攝像頭僅能夠具有三個DOF (兩個平移DOF和一個旋轉(zhuǎn)DOF )。
[0010]Scaramuzza等人已經(jīng)示出了對于特定類別的車輛、自行車和機器人，能夠僅利用一個參數(shù)來對運動進行參數(shù)化。因此，能夠使用I點方法。潛在的想法是存在旋轉(zhuǎn)瞬時中心(ICR)，并且車輛遵從圍繞該ICR的圓形路徑。
[0011]當可以使用慣性測量單元(IMU)時，能夠利用重力矢量獲得兩個測量角度。剩余的未知量是能夠利用四次方程由三點運動估計方法求解的三個參數(shù)(I個旋轉(zhuǎn)DOF和2個平移D0F)。該運動估計方法對于諸如蜂窩電話的手持數(shù)字裝置中的攝像頭來說能夠是有用的。
[0012]另一方法對于平面運動序列使用2點運動估計方法。這可用于安裝在機器人上的攝像頭在平面上移動時的室內(nèi)機器人自我運動估計。自由度的數(shù)目為三(I個旋轉(zhuǎn)DOF和2個平移D0F)。然而，相對運動僅能夠恢復(fù)到某一標度。在RANSAC框架中，所要求的迭代數(shù)目通常在確定運動所要求的點數(shù)減小時較小。考慮到方程的復(fù)雜度，該方法利用牛頓-拉夫遜算法迭代地確定解，這消耗時間并且不能用于實時應(yīng)用。
[0013]同時定位和圖創(chuàng)建(SLAM)
[0014]SLAM使用運動模型來平滑攝像頭的軌跡并且約束用于3D環(huán)境重構(gòu)的特征對應(yīng)關(guān)系的搜索區(qū)域。SLAM是用于利用視覺特征觀察來融合慣性測量的方法。當前攝像頭姿態(tài)以及視覺地標的3D位置被結(jié)合地進行估計?；赟LAM的方法負責(zé)攝像頭的姿態(tài)與觀察特征的3D位置之間的相關(guān)性。然而，基于SLAM的方法由于適當?shù)靥幚硐嚓P(guān)性的計算很復(fù)雜而具有高計算復(fù)雜度，并且因此，在具有成千上萬的特征的環(huán)境中執(zhí)行基于視覺的SLAM對于實時應(yīng)用來說是有問題的。

【發(fā)明內(nèi)容】

[0015]很多可移動對象(例如，車輛、自行車、機器人和人)能夠配備有攝像頭。本發(fā)明的實施方式提供了一種從通過安裝在對象上的單個攝像頭獲取的對象附近的環(huán)境的圖像序列估計對象的相對運動。運動估計能夠然后用于檢測環(huán)境中可能干擾安全操作和車輛的移動的障礙物。由于攝像頭被固定到對象，因此，能夠從攝像頭的姿態(tài)確定對象的運動。
[0016]如這里一般性地定義的。姿態(tài)包括3D位置和3D取向。每個姿態(tài)的平移位置和角取向能夠具有最多三個自由度(D0F)。
[0017]對于機器人學(xué)和計算機視覺來說，不完全約束和平面性下的運動估計方法的性能是已知的?，F(xiàn)有技術(shù)的方法通常使用最少數(shù)目的關(guān)于運動模型的點對應(yīng)關(guān)系。已知的是，這樣的極小方法當在諸如RANSAC的假想-測試框架中使用時是高效的并且容納異常值。
[0018]本發(fā)明的實施方式利用受到共面和正交性約束的單個二次(二階多項式)方程解析地求解平面2點運動估計。即，該方法是非迭代的，這與利用牛頓-拉夫遜迭代算法的現(xiàn)有技術(shù)方法不同。非迭代方法是更高效的，不存在局部極小問題，并且能夠?qū)崟r地執(zhí)行，這對于車輛安全應(yīng)用來說是很必要的。
[0019]雖然現(xiàn)有技術(shù)2點運動估計以2D生成視覺上準確的車輛軌跡，但是運動的準確性由于很多行進表面的非平面性導(dǎo)致不足以執(zhí)行稠密3D重構(gòu)。
[0020]因此，實施方式對于一組初始圖像使用2D相對運動方法，之后對于每個隨后的下一圖像進行3點2D至3D攝像頭姿態(tài)估計。
[0021]利用該混合方法，能夠為產(chǎn)生用于障礙物檢測應(yīng)用的稠密深度圖的平面掃描過程生成準確的運動估計。
【專利附圖】

【附圖說明】
[0022]圖1是根據(jù)本發(fā)明的實施方式的具有攝像頭的車輛和與地平面共面的運動估計位置；
[0023]圖2是根據(jù)本發(fā)明的實施方式的2點運動估計的坐標變換的示意圖；[0024]圖3是根據(jù)本發(fā)明的實施方式的確定車載攝像頭的姿態(tài)的方法的流程圖；以及
[0025]圖4是根據(jù)本發(fā)明的實施方式的用于確定稠密深度圖的平面掃描過程的流程圖。
【具體實施方式】
[0026]本發(fā)明提供了一種用于從由安裝在可移動對象上的攝像頭獲取的可移動對象附近的環(huán)境103的視頻中的一系列圖像確定攝像頭姿態(tài)的方法。對象能夠是轎車、卡車、自行車、滑行的飛機、機器人、人等等。由于攝像頭與對象是固定的關(guān)系，因此，攝像頭的姿態(tài)能夠用于確定對象的姿態(tài)、對象的運動以及對象附近的可能的障礙物。
[0027]如這里一般地定義的，姿態(tài)包括攝像頭的位置和取向。平移位置T和角取向R均能夠具有最多三個自由度。
[0028]運動估計
[0029]圖1示出了車輛101的平面運動的兩點運動估計。車輛的運動與地平面111基本上共面。攝像頭102沿著坐標系Q、C2, C3> C4在與地平面平行的平面112上移動。圖示出了分別處于兩個坐標系C1和C2的相對于攝像頭的兩個3D點P1和P2的投影線。
[0030]坐標系變換
[0031]我們使用攝像頭坐標系、用于環(huán)境的世界坐標系和中間坐標系。在校準和初始使用過程中，世界坐標系被變換到初始攝像頭坐標系。例如，在圖1中，坐標系C1對應(yīng)于變換后的世界坐標系。接下來的坐標系C2 — C3 — C4，然后顯示攝像頭的運動。
[0032]圖2示出了根據(jù)本發(fā)明的實施方式的用于2點運動估計方法的坐標變換技術(shù)的一般概念。我們的目標在于確定攝像頭坐標系C1和C2之間的運動(H)，即姿態(tài)。注意的是，C1是從世界坐標系進行的·變換。我們將坐標系C1和C2分別變換到兩個中間坐標系C' !和C' 2。我們確定C' I和C' 2之間的運動(R，T)。
[0033]方法
[0034]離線預(yù)處理
[0035]圖3示出了根據(jù)本發(fā)明的實施方式的姿態(tài)確定的一般方法。
[0036]在操作開展之前，攝像頭能夠被校準321并且能夠如下詳細描述地那樣對地平面進行估計322。這能夠在一次離線預(yù)處理320中執(zhí)行。步驟321和322產(chǎn)生攝像頭參數(shù)和地平面參數(shù)325。這使得世界坐標系能夠變換到初始攝像頭坐標系。
[0037]實時處理
[0038]在操作過程中，安裝在例如車輛101上的攝像頭102獲取車輛附近的環(huán)境的一系列圖像310。例如，車輛在道路上行駛，并且想要檢測可能的障礙物。通常，攝像頭大致指向地平面。一系列圖像包括一組初始圖像Ii (i=l，…，m)311和接下來的圖像Ii (i=m+l,…，η) 312。該組初始圖像包括例如20個圖像(B卩，m=20)。
[0039]從該組初始圖像331確定330點對應(yīng)關(guān)系。向點對應(yīng)關(guān)系應(yīng)用350兩點運動估計以獲得一組初始姿態(tài)Pi (1=1,..., m) 3550該組初始姿態(tài)用于生成370點云361。點云優(yōu)選是“稀疏的”。這里，稀疏不是不確定的相對術(shù)語，而是在數(shù)字解析領(lǐng)域中傳統(tǒng)上已知和定義的術(shù)語。
[0040]由于攝像頭與車輛處于相對固定的幾何關(guān)系，因此，攝像頭的姿態(tài)能夠用于確定車輛的運動，并且更具體地，用于定位視頻中看到的能夠干擾車輛的移動的障礙物。[0041]上述2點運動估計產(chǎn)生視覺上準確的路上車輛軌跡。然而，運動的準確性由于道路的非平面性而不足以執(zhí)行稠密3D重構(gòu)。因此，我們對于該組初始圖像311使用2點相對運動估計350，之后對于接下來的下一圖像312進行3點2D至3D攝像頭姿態(tài)估計380。即，關(guān)于點云，對于每個下一圖像312確331定點對應(yīng)關(guān)系。3點2D至3D攝像頭姿態(tài)估計380應(yīng)用于這些點對應(yīng)關(guān)系以確定下一圖像的姿態(tài)381，并且姿態(tài)用于更新375點云。初始圖像的姿態(tài)Pi (i=l，…，m) 355和下一圖像的姿態(tài)pi (i=m+l,..., η) 381的序列基本上顯示了攝像頭所經(jīng)歷的運動。
[0042]使用該混合方法，我們?yōu)楫a(chǎn)生用于障礙物檢測應(yīng)用的準確的稠密深度圖430的平面掃描過程420生成準確的運動估計。該方法的準確性足以重構(gòu)位于小距離(小于2米)處的小對象(IOcm寬的柱和尺寸30cm的盒)。下面參考圖4描述平面掃描過程。
[0043]能夠利用車輛中的處理器(例如，車輛導(dǎo)航系統(tǒng)的一部分)執(zhí)行圖3-4中所示的步驟。該方法能夠?qū)崟r地操作。還能夠使用圖形處理單元(GPU)。
[0044]2點運動估計-步驟350
[0045]運動估計350獲得用于兩個圖像的相對姿態(tài)。兩個圖像中的對應(yīng)的特征點P和P’由本質(zhì)矩陣E相關(guān):
[0046]ρ，τΕρ=0..(I)
[0047]注意的是，ρ和P’表示為球面圖像坐標中的單位矢量，即P和P’是反向投影到單位球上的像素，從而I IpI I = I Ip’ 11=1。當攝像頭被校準321時，這也始終是可能的。
[0048]能夠利用關(guān)系E=[T] XR來確定本質(zhì)矩陣E，其中，R是3X3旋轉(zhuǎn)矩陣，并且[T] X是3X I平移矢量T的斜對稱矩陣:
【權(quán)利要求】
1.一種確定攝像頭相對于環(huán)境的姿態(tài)的方法，其中，所述攝像頭是可移動的，所述方法包括: 從由所述攝像頭獲取的所述環(huán)境的一組初始圖像確定點對應(yīng)關(guān)系； 對于所述點對應(yīng)關(guān)系應(yīng)用2點運動估計以確定所述攝像頭的一組初始姿態(tài)；以及根據(jù)所述一組初始姿態(tài)和所述點對應(yīng)關(guān)系生成點云，并且對于每個下一圖像，執(zhí)行下述步驟: 從所述下一圖像確定所述點對應(yīng)關(guān)系； 從所述下一圖像的所述點對應(yīng)關(guān)系和所述點云確定所述攝像頭的姿態(tài)；以及 根據(jù)所述下一圖像的所述點對應(yīng)關(guān)系和所述姿態(tài)更新所述點云， 其中，上述步驟在處理器中執(zhí)行。
2.根據(jù)權(quán)利要求1所述的方法，其中，所述點云是稀疏的。
3.根據(jù)權(quán)利要求1所述的方法，其中，所述應(yīng)用的步驟進一步包括: 解析地求解用于所述2點運動估計的二次方程。
4.根據(jù)權(quán)利要求1所述的方法，所述方法進一步包括: 將平面掃描過程應(yīng)用于具有所述姿態(tài)的所述圖像以產(chǎn)生稠密深度圖。
5.根據(jù)權(quán)利要求3所述的方法，其中，在隨機樣本一致性RANSAC框架中進行所述2點運動估計。
6.根據(jù)權(quán)利要求5所述的方法，其中，利用至少兩個點對應(yīng)關(guān)系生成所述RANSAC框架中的假設(shè)。
7.根據(jù)權(quán)利要求1所述的方法，其中，所述攝像頭安裝在車輛上。
8.根據(jù)權(quán)利要求4所述的方法，所述方法進一步包括: 利用所述稠密深度圖檢測障礙物。
9.根據(jù)權(quán)利要求1所述的方法，其中，所述2點運動估計進一步包括: 從所述點對應(yīng)關(guān)系獲得投影線； 將第一攝像頭坐標系中的所述投影線變換到第一中間坐標系，并且將第二攝像頭坐標系中的所述投影線變換到第二中間坐標系； 利用受到共面性和正交性約束的二次方程確定所述第一中間坐標系與所述第二中間坐標系中的所述投影線之間的運動；以及 利用在所述第一中間坐標系與所述第二中間坐標系中計算出的運動確定所述第一攝像頭坐標系和所述第二攝像頭坐標系中的所述投影線之間的運動。
【文檔編號】H04N13/02GK103578117SQ201310326837
【公開日】2014年2月12日 申請日期:2013年7月31日 優(yōu)先權(quán)日:2012年8月1日
【發(fā)明者】S·拉姆阿里加姆, 田口裕一, 朱夢龍 申請人:三菱電機株式會社