專利名稱：用于車輛照相機(jī)的照相機(jī)外在參數(shù)的自標(biāo)定的制作方法
用于車輛照相機(jī)的照相機(jī)外在參數(shù)的自標(biāo)定技術(shù)領(lǐng)域
本發(fā)明總體上涉及用于標(biāo)定車輛上的照相機(jī)的系統(tǒng)和方法，且更具體地涉及用于 自動地標(biāo)定車輛上的照相機(jī)的系統(tǒng)和方法，所述照相機(jī)跟蹤地面上的點。
背景技術(shù)：
現(xiàn)代車輛有時包括一個或多個照相機(jī)，所述照相機(jī)提供備用輔助，獲得車輛駕駛 員的圖像以確定駕駛員的睡意或注意力，在車輛行駛時提供道路圖像以用于避免碰撞目 的，提供結(jié)構(gòu)識別(例如道路標(biāo)志等)。對于圖形疊加在照相機(jī)圖像上的那些應(yīng)用，重要的是 準(zhǔn)確地標(biāo)定照相機(jī)相對于車輛的位置和取向。由于制造公差，在每個車輛上必須針對諸如 預(yù)測車輛路線的準(zhǔn)確疊加的事情進(jìn)行獨立的生產(chǎn)線結(jié)束(end-of-line)照相機(jī)標(biāo)定或售后 照相機(jī)調(diào)節(jié)。
一些已知照相機(jī)系統(tǒng)不提供照相機(jī)標(biāo)定，而是回歸可能提供幾度誤差的缺省值。 其它照相機(jī)系統(tǒng)提供預(yù)先標(biāo)定方法，其中，照相機(jī)圖像上的點被手動標(biāo)記，且特征點位置在 車輛坐標(biāo)中手動測量，例如通過提供圖像的檢測板圖案。然而，這些標(biāo)定技術(shù)通常是耗時的 且必須在維護(hù)位置進(jìn)行。因而，如果車輛在行駛且碰撞道路中的突起物或一些其它障礙物， 照相機(jī)位置可能改變，此時，標(biāo)定將不準(zhǔn)確，直到車輛被帶到維護(hù)位置以被校正。
照相機(jī)標(biāo)定包括確定一組參數(shù)，所述參數(shù)將照相機(jī)圖像坐標(biāo)與車輛坐標(biāo)相關(guān)聯(lián)， 反之亦然。一些照相機(jī)參數(shù)(如，照相機(jī)焦距、光學(xué)中心等)是穩(wěn)定的，而其它參數(shù)(如，照相 機(jī)取向和位置)不穩(wěn)定。例如，照相機(jī)的高度取決于車輛的負(fù)載，負(fù)載將隨時間而變。該變 化可使得在照相機(jī)圖像上疊加的車輛軌跡圖形不準(zhǔn)確。因而，需要一種在車輛駕駛時自動 地標(biāo)定較不穩(wěn)定的照相機(jī)參數(shù)的照相機(jī)標(biāo)定過程，其中，車輛照相機(jī)系統(tǒng)隨時間連續(xù)地調(diào) 節(jié)自身。發(fā)明內(nèi)容
根據(jù)本發(fā)明的教導(dǎo)，公開了一種用于在車輛駕駛時標(biāo)定車輛上的照相機(jī)的系統(tǒng)和 方法。所述方法包括識別來自于車輛的至少兩個照相機(jī)圖像中的至少兩個特征點，所述車 輛在獲取所述圖像之間已經(jīng)移動。所述方法然后確定兩個照相機(jī)位置之間的照相機(jī)移動。 之后，所述方法基于來自于圖像的相應(yīng)特征和照相機(jī)移動方向來確定照相機(jī)坐標(biāo)中的地平 面。所述方法然后確定照相機(jī)在地面上方的高度和照相機(jī)在車輛坐標(biāo)中的旋轉(zhuǎn)。
本發(fā)明的附加特征從以下說明和所附權(quán)利要求結(jié)合附圖顯而易見。


圖1是車輛附近的地面的照相機(jī)圖像，所述圖像包括疊加圖形； 圖2 (a)和2 (b)示出了兩個連續(xù)照相機(jī)幀的照相機(jī)圖像的圖示；圖3是包括照相機(jī)的車輛從一個位置移動到另一個位置的圖示，其中，地面上的點用 于標(biāo)定照相機(jī)；圖4是照相機(jī)相對于地面的圖示，以確定地平面； 圖5是照相機(jī)相對于地面的圖示，以確定在地面上方的照相機(jī)高度； 圖6是車輛相對于地面的圖示，以確定車輛坐標(biāo)； 圖7是照相機(jī)相對于地面的圖示，以確定在車輛坐標(biāo)中的照相機(jī)旋轉(zhuǎn)； 圖8是照相機(jī)相對于地面的圖示，以使用兩個點確定照相機(jī)的標(biāo)定； 圖9是照相機(jī)在相對于地面的不同位置處的圖示，以在沒有車輛行駛距離的情況下確 定地平面；圖10是用于限定地平面的圖示，其中，多個照相機(jī)快照示出了在照相機(jī)坐標(biāo)<0,和 <02>中的三維點；圖11是用于限定地平面的圖示，其中，多個照相機(jī)快照示出了在照相機(jī)坐標(biāo)<0,中的 --會 ； ^^，圖12是示出了具有在照相機(jī)坐標(biāo)中的三維點的地平面取 向識別的圖示； 圖13是地平面取向識別的圖示，示出了照相機(jī)坐標(biāo)中的三維點； 圖14是示出了地平面取向識別和合并地平面的圖示； 圖15是照相機(jī)相對于地面的圖示，以在車輛轉(zhuǎn)向時確定照相機(jī)標(biāo)定； 圖16是照相機(jī)相對于地面的圖示，用于確定地平面； 圖17是照相機(jī)相對于兩個偽地平面的圖示，用于確定地平面位置；和 圖18是示出了用于標(biāo)定照相機(jī)的自動標(biāo)定過程的流程圖，所述自動標(biāo)定過程提供累 進(jìn)迭代。
具體實施方式
涉及用于在車輛駕駛時標(biāo)定車輛上的照相機(jī)的系統(tǒng)和方法的本發(fā)明實施例的以 下闡述本質(zhì)上僅僅是示例性的且不旨在以任何方式限制本發(fā)明或其應(yīng)用或使用。例如，本 發(fā)明標(biāo)定車輛上的照相機(jī)。然而，如本領(lǐng)域技術(shù)人員理解的那樣，本發(fā)明的照相機(jī)標(biāo)定方法 可以應(yīng)用于標(biāo)定可能不在車輛上的其它照相機(jī)。
如上所述，對于某些照相機(jī)應(yīng)用，由照相機(jī)生成的照相機(jī)圖像用圖形(例如，車輛 路徑或軌跡)疊加，以幫助車輛駕駛員導(dǎo)航車輛。圖1是在車輛(未示出)后面的地面的照 相機(jī)圖像10的圖示，其中，車輛倒車進(jìn)入駐車空間12。疊加圖形線14和16在照相機(jī)圖像 上顯示，照相機(jī)圖像將在儀表盤的顯示屏上顯示給車輛駕駛員，以給駕駛員顯示車輛正確 地倒車進(jìn)入駐車空間12需要的路徑。
如下文將詳細(xì)討論的那樣，將描述用于標(biāo)定照相機(jī)的各種技術(shù)，取決于什么信息 可用以確定照相機(jī)在地面上方的高度和照相機(jī)在車輛坐標(biāo)中的取向。在第一種情況下，車 輛以直線行駛，地面上的固定點以連續(xù)視頻幀跟蹤，提供里程表或車輛速度讀數(shù)以計算在 照相機(jī)圖像之間車輛行駛的距離。如將討論的那樣，對于第一種情況，算法確定對于照相機(jī) 的不同位置而言在照相機(jī)坐標(biāo)之間的移動和旋轉(zhuǎn)，所述位置在第一位置的照相機(jī)坐標(biāo)中測 量。該算法也基于地面上的至少兩個點和照相機(jī)移動方向來確定照相機(jī)坐標(biāo)中的地平面表 示。該算法然后識別照相機(jī)在地面上方的高度和照相機(jī)在車輛坐標(biāo)中的旋轉(zhuǎn)。
圖2 (a)示出了車輛M前面的道路22的照相機(jī)圖像20，其中，在圖像20中識別 特征點26。圖2(b)是道路22的照相機(jī)圖像觀的下一幀，其中，特征點沈更接近車輛24。5
圖3是在地面34上行駛且包括照相機(jī)32的車輛30的圖示，照相機(jī)32在車輛行 駛時獲取地面34的圖像。在該顯示中，車輛30從第一位置行駛到彼此距離為^的第二位 置。在第一位置，照相機(jī)32的中心識別為點O1,在第二位置，照相機(jī)32的中心識別為點02。 也示出了地面特征點P和Q以及特征點P在移動照相機(jī)32的標(biāo)準(zhǔn)化圖像平面(由線36表 示)中的投影位置P1和P2。
當(dāng)車輛M以直線在平坦地面34上行駛時，在地面上使用例如Harris角點檢測器 在照相機(jī)圖像中圍繞其駕駛路徑區(qū)域識別特征點P和Q。由此，在下一圖像幀中有相應(yīng)特征 點P和Q，可以使用金字塔Lucas-Kanade光流估計算法來識別。對于圖像中的每個跟蹤點 (u, v)，特征點(例如，P)基于給定的照相機(jī)內(nèi)在參數(shù)在每個標(biāo)準(zhǔn)化圖像平面中表示為ρ = (xn, yn, 1)。給定兩個相鄰幀，跟蹤的相應(yīng)特征點在其相應(yīng)標(biāo)準(zhǔn)化圖像平面36中表示為點 對(例如，<Pl，p2>)。對于每個跟蹤點(例如P)，三個點(即，第一照相機(jī)快照的照相機(jī)中心 O1、第二照相機(jī)快照的照相機(jī)中心O2、和地面點P)在三維空間中限定平面。由于P1在光射 線O1P上，p2在光射線O2P上，因此，五個點Op 02、Pl、p2和P共面。因而在車輛30以直線移動時，在照相機(jī)32的位置之間沒有旋轉(zhuǎn)。在照相機(jī)坐標(biāo)<0)中，射 線O1P1和O2P2由矢量P1和p2表示。線O1O2由點對車輛移動方向t = [t1; t2, t3]T表示。 使用該標(biāo)記，方程(1)可以重寫為方程(2)中的唯一未知項是移動方向t。對于每個相應(yīng)特征點對<Pl，p2>，方程(2)能 以矩陣形式重寫為rpli以及 P2= P2 (3)■ 1-方程(3)是關(guān)于未知距離、，t2和t3的線性方程，其中，ip2 ~ Pi + (a - p^)1! + (P2Pi ~ PiPiK = °。移動方向t可以從至少兩個點對<p1;p2>確定。由于在快照之間的距離It1I作為車輛行駛方向給出，因而，在兩個快照之間的移 動方向ti表示為ti = It1 |t。
如果有多于兩對的相應(yīng)照相機(jī)點<Pl，p2>和<qi，q2>，那么可以在排除噪音的情 況下使用總體最小二重估計，以魯棒地估計移動方向t。給定所有相應(yīng)特征點，總體最小二 重估計用于估計移動方向t。給定估計移動方向t，排除了由方程(2)估算的界外特征點， 其在所有特征點的標(biāo)準(zhǔn)偏差的三倍之外。根據(jù)其余特征點再次使用總體最小二重估計來估 計魯棒的移動方向t。
一旦算法已經(jīng)計算照相機(jī)移動方向t，那么算法基于地面34上的至少兩個點P和 Q以及照相機(jī)移動方向t來確定照相機(jī)坐標(biāo)中的地平面表示。圖4是在相對于地平面40的 位置O1和&時照相機(jī)32的圖示。
由于移動方向矢量t已知，在照相機(jī)坐標(biāo)<0,中每個點P的三維位置可以基于三6角測定從相應(yīng)照相機(jī)點對<Pi，P2>計算。假定車輛高度h在照相機(jī)標(biāo)定期間不變，照相機(jī) 移動方向t平行于地平面40。因而，在地面34上的重構(gòu)三維點與照相機(jī)移動方向t 一起限 定地平面40。
如果在地面34上有多于兩對的相應(yīng)特征點，則計算均值m，然后所有計算的三維 點被投影到移動方向t的零空間上。主成分分析(PCA)可以用于在移動方向t的零空間中 尋找地面特征點的顯著變化方向(dominant variation direction)d。方向d是方向t和 地平面法線(norm) η的矢量積。顯著變化方向d、照相機(jī)移動方向t和特征點均值m在照 相機(jī)坐標(biāo)<0,中限定地平面40。
實際上，不是所有跟蹤特征點P和Q都在地面34上。地面上方特征點歸因于誤差 /噪音。因而，排除距地平面40的距離大于閾值的特征點。最終地平面從其余特征點估計。
一旦算法確定照相機(jī)坐標(biāo)中的地平面40，算法首先排除不在地面上的那些點，且 然后確定在地面34上方的照相機(jī)高度h。圖5是照相機(jī)32相對于地平面40的顯示，示出 了用于該計算的矢量和點。點S表示界外，高于估計地平面34。為了識別地平面40上方的 照相機(jī)高度h，地平面40的法線η根據(jù)n=dXt計算。地平面40上方的照相機(jī)高度h可以 根據(jù)特征點均值m和地平面法線η之間的內(nèi)積(h = <m, n>)計算。
一旦算法計算照相機(jī)32的高度h，算法識別在車輛坐標(biāo)中的照相機(jī)旋轉(zhuǎn)。圖6是 識別相對于地平面40的車輛坐標(biāo)幀<x，y, z>的車輛50的圖示。限定在地面34上車輛 50的后輪之間居中的原點。χ軸平行于車輛保險杠，y軸是在沒有轉(zhuǎn)向的情況下的車輛倒 車方向，ζ軸是地平面40的法線η。
由于車輛50以直線移動，因而，y軸平行于照相機(jī)移動方向t。χ方向與方向d相 同，因為兩者均在地平面40中垂直于y軸。因而，在照相機(jī)坐標(biāo)<0,中車輛坐標(biāo)限定為<d， t, n>。
圖7示出了照相機(jī)32相對于地平面40，包括用于計算車輛坐標(biāo)中的照相機(jī)位置的 變量，其中，α是照相機(jī)32的下俯角，γ是照相機(jī)32的偏航角。在照相機(jī)坐標(biāo)和車輛坐標(biāo) 之間的旋轉(zhuǎn)矩陣給出為
權(quán)利要求
1.一種用于標(biāo)定相對于地面移動的照相機(jī)的方法，所述方法包括 識別至少兩個照相機(jī)圖像中的至少兩個特征點；確定在照相機(jī)的第一位置時用于照相機(jī)的不同位置的照相機(jī)坐標(biāo)之間的照相機(jī)移動 和旋轉(zhuǎn)；限定照相機(jī)坐標(biāo)中的地平面； 確定照相機(jī)在地面上方的高度；以及 識別照相機(jī)在車輛坐標(biāo)中的旋轉(zhuǎn)。
2.根據(jù)權(quán)利要求1所述的方法，其中，確定照相機(jī)移動和旋轉(zhuǎn)包括相對于標(biāo)準(zhǔn)化圖 像平面識別照相機(jī)在所述至少兩個圖像中的位置點；使用照相機(jī)的兩個圖像的照相機(jī)位置 點和一個特征點來識別三維空間；以及使用三維空間來確定兩個圖像之間的照相機(jī)移動方向。
3.根據(jù)權(quán)利要求2所述的方法，其中，在獲取兩個圖像的位置之間的距離已知時，計算 移動方向。
4.根據(jù)權(quán)利要求2所述的方法，其中，在獲取兩個圖像的位置之間的距離未知時，估計 移動方向。
5.根據(jù)權(quán)利要求2所述的方法，其中，限定地平面包括基于所述至少兩個特征點和照 相機(jī)移動方向限定照相機(jī)坐標(biāo)中的地平面。
6.根據(jù)權(quán)利要求5所述的方法，其中，限定地平面包括使用移動方向、用以確定地面上 的點的均值的地面上的兩個點、地面點的顯著變化方向和地面法線方向。
7.根據(jù)權(quán)利要求1所述的方法，其中，確定照相機(jī)高度包括計算特征點的均值和地平 面法線之間的內(nèi)積，其中，照相機(jī)高度用于排除不在地面上的特征點。
8.根據(jù)權(quán)利要求1所述的方法，其中，確定在車輛坐標(biāo)中的照相機(jī)旋轉(zhuǎn)包括使用照相 機(jī)下俯角和照相機(jī)偏航角來確定車輛坐標(biāo)中的照相機(jī)位置。
9.根據(jù)權(quán)利要求1所述的方法，其中，識別特征點包括在車輛以直線行駛時識別特征點ο
10.根據(jù)權(quán)利要求1所述的方法，其中，提供至少兩個照相機(jī)圖像包括提供多于兩個的 照相機(jī)圖像。
11.根據(jù)權(quán)利要求1所述的方法，其中，限定地平面包括合并地面上檢測的每個特征點 的獨立地平面。
12.根據(jù)權(quán)利要求1所述的方法，其中，識別至少兩個特征點包括識別一個時間幀的兩 個照相機(jī)圖像的兩個特征點和另一個時間幀的兩個照相機(jī)圖像的兩個特征點。
13.根據(jù)權(quán)利要求12所述的方法，其中，照相機(jī)在所述一個時間幀期間以直線移動，照 相機(jī)在所述兩個時間幀之間轉(zhuǎn)向，照相機(jī)在所述另一個時間幀期間以直線移動。
14.根據(jù)權(quán)利要求1所述的方法，其中，照相機(jī)在車輛上。
15.一種用于標(biāo)定在相對于地面移動的車輛上的照相機(jī)的方法，所述方法包括 識別至少兩個照相機(jī)圖像中的至少兩個特征點；確定在照相機(jī)的第一位置時用于照相機(jī)的不同位置的照相機(jī)坐標(biāo)之間的照相機(jī)移動 和旋轉(zhuǎn)，其中，確定照相機(jī)移動和旋轉(zhuǎn)包括相對于標(biāo)準(zhǔn)化圖像平面識別照相機(jī)在所述至少 兩個圖像中的位置點；使用照相機(jī)的兩個圖像的照相機(jī)位置點和一個特征點來識別三維空間；以及使用三維空間來確定兩個圖像之間的照相機(jī)移動方向；基于所述至少兩個特征點和照相機(jī)移動方向來限定照相機(jī)坐標(biāo)中的地平面，其中，限 定地平面包括使用移動方向、用以確定地面上的點的均值的地面上的兩個點、地面點的顯 著變化方向和地面法線方向；排除不在地平面上的特征點；通過計算特征點的均值和地平面法線之間的內(nèi)積來確定照相機(jī)在地面上方的高度，其 中，照相機(jī)高度用于排除不在地面上的特征點；以及使用照相機(jī)下俯角和照相機(jī)偏航角來識別照相機(jī)在車輛坐標(biāo)中的旋轉(zhuǎn)。
16.根據(jù)權(quán)利要求15所述的方法，其中，在獲取兩個圖像的位置之間的距離已知時，計 算移動方向。
17.根據(jù)權(quán)利要求15所述的方法，其中，在獲取兩個圖像的位置之間的距離未知時，估 計移動方向。
18.根據(jù)權(quán)利要求15所述的方法，其中，限定地平面包括合并地面上檢測的每個特征 點的獨立地平面。
19.根據(jù)權(quán)利要求15所述的方法，其中，識別至少兩個特征點包括識別一個時間幀的 兩個照相機(jī)圖像的兩個特征點和另一個時間幀的兩個照相機(jī)圖像的兩個特征點，其中，照 相機(jī)在所述一個時間幀期間以直線移動，照相機(jī)在所述兩個時間幀之間轉(zhuǎn)向，照相機(jī)在所 述另一個時間幀期間以直線移動。
20.一種用于標(biāo)定在相對于地面移動的車輛上的照相機(jī)的方法，所述方法包括識別至少兩個照相機(jī)圖像中的至少兩個特征點；確定在照相機(jī)的第一位置時用于照相機(jī)的不同位置的照相機(jī)坐標(biāo)之間的照相機(jī)移動 和旋轉(zhuǎn)，其中，確定照相機(jī)移動和旋轉(zhuǎn)包括相對于標(biāo)準(zhǔn)化圖像平面識別照相機(jī)在所述至少 兩個圖像中的位置點；使用照相機(jī)的兩個圖像的照相機(jī)位置點和一個特征點來識別三維空 間；以及使用三維空間來確定兩個圖像之間的照相機(jī)移動方向；基于所述至少兩個特征點和照相機(jī)移動方向來限定照相機(jī)坐標(biāo)中的地平面；通過計算特征點的均值和地平面法線之間的內(nèi)積來確定照相機(jī)在地面上方的高度；以及識別照相機(jī)在車輛坐標(biāo)中的旋轉(zhuǎn)。
全文摘要
一種用于在車輛駕駛時標(biāo)定車輛上的照相機(jī)的系統(tǒng)和方法。所述方法包括識別來自于車輛的至少兩個照相機(jī)圖像中的至少兩個特征點，所述車輛在獲取所述圖像之間已經(jīng)移動。所述方法然后確定兩個照相機(jī)位置之間的照相機(jī)移動方向。之后，所述方法基于來自于圖像的相應(yīng)特征點和照相機(jī)移動方向來確定照相機(jī)坐標(biāo)中的地平面。所述方法然后確定照相機(jī)在地面上方的高度和照相機(jī)在車輛坐標(biāo)中的旋轉(zhuǎn)。
文檔編號H04N13/00GK102037735SQ200980118127
公開日2011年4月27日 申請日期2009年5月8日 優(yōu)先權(quán)日2008年5月22日
發(fā)明者J. 沃爾斯基 M., 張 W. 申請人:通用汽車環(huán)球科技運作公司