專利名稱：攝像機校準裝置的制作方法
技術領域：
本發(fā)明的實施方式涉及一種攝像機校準裝置。
背景技術：
在現(xiàn)有技術中，有如下車載攝像裝置，S卩、在車輛上搭載多個攝像機并獲取拍攝了車輛周圍(前方、后方、左側、右側)的圖像，生成將各圖像的視點變換為車輛上方的視點后的圖像(俯視圖像)并合成，進而合成本車的圖像(幻燈圖像等)，并作為俯視圖像顯示出來。通過顯示俯視圖像，易于把握本車及周圍的狀況，在將車輛駛入例如停車場等情況下， 有助于駕駛員的駕駛。此外，俯視圖像是從設定在本車的上方等假想視點來看的圖像，通過改變假想視點的位置可改變俯視圖像的觀察方式。然而，在現(xiàn)有的車載攝像機裝置中，雖然將攝像機安裝時的安裝位置、安裝角度、 設置高度等設定為預先設計的值，但是，由于實際安裝時產(chǎn)生誤差，因而合成用各攝像機拍攝的圖像時，合成圖像的接合部分偏移，從而出現(xiàn)不連續(xù)。因此，出現(xiàn)了在拍攝區(qū)域內(nèi)配置校正模式，并基于拍攝的校正模式來校正拍攝圖像的坐標的校準(校正)裝置。例如在四臺攝像機的拍攝區(qū)域中配置四個一邊長度為Im 1. 5m左右的正方形校正模式，在合成用各攝像機拍攝的圖像時，利用各校正模式進行圖像的位置調(diào)整的情況下， 需要在地面等配置校準用的特殊校正模式，另外，為了指定本車位置，需要在正確的位置上配置校正模式。另外，在檢測由在停車場中畫出的表示停車空間的白線相交而成的四個角(特征點)，并利用這四個特征點來計算攝像機參數(shù)(攝像機的安裝位置、安裝角度、焦距等)的校準裝置的情況下，由于檢測的特征點變多，因此，需要從偏離一定程度的位置進行檢測。通過前后左右的攝像機檢測特征點的情況下，為了改變車的朝向，移動量增多。另外，有必要手動調(diào)整本車位置或對車輛設定特征點。

發(fā)明內(nèi)容
本發(fā)明要解決的課題是，提供一種可以利用停車場的白線并利用白線的兩個特征點和交叉的兩個方向的信息，進行各圖像的位置調(diào)整的校準裝置。本發(fā)明涉及一種攝像機校準裝置，其包括攝像部，具有安裝在車輛上的多個攝像機，通過所述多個攝像機拍攝所述車輛的周圍；特征點檢測部，從用所述多個攝像機拍攝的圖像中識別表示停車框的直線圖像，從各攝像機圖像檢測所述停車框的至少兩個特征點； 視點變換部，基于所述特征點檢測部檢測的所述特征點和其交叉的兩個方向的信息，合成所述各攝像機的圖像，并生成變換為從正上方觀看的視點的俯視圖像；調(diào)整部，從所述俯視圖像判別所述車輛與所述直線圖像的邊界位置，并確定車輛圖像的顯示范圍，以使所述顯示范圍相對于所述俯視圖像的比例及位置為預先指定的值的方式改變所述俯視圖像；以及攝像機數(shù)據(jù)存儲部，存儲基于所述改變的俯視圖像計算的表示所述各攝像機的特性的攝像機參數(shù)。根據(jù)上述構造的校準裝置，由于利用了停車場的白線，因此，不必設定特殊的校正模式，另外，由于利用了白線的兩個特征點和其交叉的雙方向的信息，因此，不必為了校準而離開停車框進行拍攝。


圖1是示出實施方式的攝像機校準裝置的結構框圖。圖2是示出攝像機的配置的一例的平面圖。圖3是示出將車輛停在停車場的情況的平面圖。圖4A 圖4C是示出拍攝停車場的白線時的三個模式的說明圖。圖5A 圖5C是示出模式A中用前方、左、右的攝像機拍攝的圖像的說明圖。圖6A 圖6C是示出模式B中用后方、左、右的攝像機拍攝的圖像的說明圖。圖7A 圖7C是示出模式C中用后方、左、右的攝像機拍攝的圖像的說明圖。圖8A 圖8C是示出三維空間坐標系的定義的說明圖。圖9A 圖9C是示出調(diào)整后的后方、左、右的攝像機的圖像的說明圖。圖10是示出白線框的位置與車輛位置的偏移的說明圖。圖11是示出俯視圖像的顯示區(qū)域中的本車的顯示范圍的說明圖。圖12A 圖12D是示出模式A、B的攝像機的調(diào)整圖像的說明圖。圖13是使調(diào)整圖像為長方形的說明圖。圖14是示出攝像機校準操作的流程圖。圖15A、圖15B是說明本實施方式的變形例中的特征點與角度的檢測的說明圖。圖16A 圖16D是示出在模式D中用各攝像機拍攝的圖像的說明圖。圖17A 圖17D是示出在模式D中白線因本車而消失的邊界的說明圖。圖18是示出模式F中的白線框的說明圖。圖19是示出模式G中的白線框的說明圖。圖20A 圖20D是示出模式G中用各攝像機拍攝的圖像的說明圖。圖21是越過直線(白線)調(diào)整絕對位置時的說明圖。圖22A 圖22B是示出車輛是與白線或地面相同顏色的情況的說明圖。圖23A 圖23C是說明檢測本車與白線的邊界的說明圖。
具體實施例方式以下參考附圖來說明實施方式的攝像機校準裝置。(實施方式1)圖1是示出本實施方式涉及的攝像機校準裝置的結構框圖。攝像機校準裝置包括攝像部10、攝像機數(shù)據(jù)存儲部20、特征點檢測部21、空間重構部22、空間數(shù)據(jù)緩存器 23、視點變換部M、顯示模式存儲部30、圖像合成部40及顯示部50。
攝像部10具有拍攝本車周圍的影像的例如四臺攝像機11、12、13、14。四臺攝像機11、12、13、14分別拍攝車輛的前方、后方、左側、右側。另外各攝像機11 14可使用魚眼攝像機等廣角攝像機。關于各攝像機11 14的位置將在后面記述。攝像機數(shù)據(jù)存儲部20包含存儲表示各攝像機(11 14)的特性的攝像機參數(shù)的攝像機參數(shù)表201?？梢酝ㄟ^從用各攝像機11 14拍攝的圖像中提取特征點，并基于特征點的信息計算獲得攝像機參數(shù)。攝像機參數(shù)表示攝像機的安裝位置、攝像機的安裝角度、攝像機的鏡頭失真校正值、攝像機鏡頭的焦距等攝像機特性。如果獲取用各攝像機(11 14) 拍攝的圖像的多個特征點與這些特征點在三維坐標系內(nèi)的位置的對應關系，則可通過計算近似地求出攝像機參數(shù)。此外，日本特開2002-135765號公報記載了通過計算求出攝像機參數(shù)的方法。特征點檢測部21基于來自攝像機(11 14)的輸入圖像來檢測車輛周圍的例如路面上描畫的停車場白線等路面上的特征點?？臻g重構部22基于攝像機參數(shù)生成映射到三維空間的空間模型的空間數(shù)據(jù)。另外，空間重構部22基于由特征點檢測部21檢測的路面上的特征點與車輛的當前位置來逐步改變空間模型?？臻g數(shù)據(jù)緩存器23臨時存儲空間重構部22中生成的空間數(shù)據(jù)。視點變換部M 設定假想視點，參考從空間數(shù)據(jù)緩存器23輸出的空間數(shù)據(jù)生成從任意的假想視點看到的圖像。顯示模式存儲部30包含圖像存儲部31與映射表32。圖像存儲部31存儲從正上方看的俯視圖像或從斜后方等看的俯視圖像。也就是說，攝像機11 14分別拍攝本車的周圍，并基于拍攝的圖像生成本車的背景圖像，但背景圖像上顯示的只有實景。因此，為了在背景圖像的指定位置上合成本車的俯視圖像，預先將從正上方拍攝本車的圖像或從斜后方看到的圖像作為俯視圖像存儲在圖像存儲部31中?；蛘撸杀硎颈拒嚨幕脽魣D像，并將該幻燈圖像存儲為俯視圖像。拍攝的圖像或幻燈圖像不限于一張，可以存儲多種并任意選擇。映射表32是存儲用攝像機11 14拍攝的圖像的像素數(shù)據(jù)與從假想視點觀察本車的周邊的背景圖像的像素數(shù)據(jù)的對應關系的表，存儲表示拍攝的圖像的像素與背景圖像的哪一像素對應的變換信息。圖像合成部40合成由視點變換部M進行了視點變換的圖像(俯視圖像)以及對應于顯示模式存儲部30輸出的假想視點的本車圖像(幻燈圖像等)，并在顯示部50上進行顯示。另外，圖像合成部40也可選擇拍攝部10拍攝的任意攝像機圖像并顯示在顯示部50 上。接著，參考圖2說明攝像機11 14的配置例。本實施方式中配置四臺攝像機11 14。圖2是從正上方觀察車輛1的圖，例如在車輛1的前方部配置攝像機11、在后方部配置攝像機12。另外，在車輛1的左側后視鏡處配置攝像機13、在右側后視鏡處配置攝像機 14。這樣，各攝像機11 14被配置在車輛1的四邊上。各攝像機11 14可以是用于拍攝車輛1的四周的魚眼攝像機。此外，在以下的說明中，稱攝像機11為前方攝像機、攝像機12為后方攝像機、攝像機13為左攝像機、攝像機14為右攝像機。另外，也稱具有攝像機11 14的車輛1為本車1。
以下，說明本實施方式涉及的攝像機校準裝置的主要部分(特征點檢測部21、空間重構部22、視點變換部M、攝像機數(shù)據(jù)存儲部20、空間數(shù)據(jù)緩存器2 的操作。攝像機校準所需要的鏡頭失真校正在日本特開2002-135765號公報中有所記載，例如設置溫度傳感器與溫度校正表來校正隨著氣溫的上升或下降而變化的鏡頭失真。另外，設攝像機設置在車輛1的前后左右四個地方。<相對位置調(diào)整>本實施方式中，首先，將多臺攝像機(11 14)如圖2中說明的那樣安裝在車輛的前后左右。然后，在進行鏡頭失真校正后，設定圖像為進行了視點變換的圖像，使得攝像機在一定程度上朝向地面。此時，存儲視點對于該圖像的面的位置。圖3是示出將車輛1停在停車場的情況下的平面圖。如圖3所示，停車場的停車框設為表示停車空間的四個角的框和橫向延伸的線，圖像的獲取模式設為三個模式。在停車場上畫出表示停車框2的白線，停車框2包括前方的白線加、后方的白線2b、左側的白線 2c、右側的白線2d。接著，將車輛1幾乎徑直地停入停車場的停車框2內(nèi)，并用多臺攝像機 (11 14)拍攝停車場的白線( 2d)，從而獲取三個模式(模式A、B、C)的白線圖像。如圖4A所示，模式A的圖像表示使車輛1移動至偏離停車框2后方的位置，并用前方攝像機11、左攝像機13及右攝像機14拍攝停車框2的圖像。如圖4C所示，模式C的圖像表示車輛1的前方移動至完全越過停車框2的白線加的位置而拍攝的圖像。另外，如圖4B所示，模式B的圖像表示車輛1移動至模式A與模式C之間的位置并拍攝的圖像。此外，在圖4A 4C以后，為了方便，用黑粗線表示停車框2的白線。接著，通過從三個模式的圖像中檢測描畫在地面上的白線(示出停車框的直線圖像)來檢測特征點。但檢測特征點(白線)有各種方法。例如為了易于檢測白線，將拍攝的圖像數(shù)據(jù)轉化為單色圖像并輸入，再通過圖像處理器進行邊緣提取處理。即將彩色圖像數(shù)據(jù)變換為灰度數(shù)據(jù)(單色圖像)，并設定灰度數(shù)據(jù)的亮度平均值或亮度的中央值等閾值。 然后，像素間的亮度梯度等小于閾值時，作為邊緣不檢測，而大于等于閾值時，作為邊緣進行檢測。或檢測變換為灰度數(shù)據(jù)的圖像數(shù)據(jù)的各像素的亮度和與各像素鄰接的像素的像素值的差分，并作為邊緣，檢測差分大的像素。如上所述，計算邊緣的坐標，通過上述方法檢測描畫在地面上的白線。圖5(a)、(b)、(c)示出在模式A中用前方攝像機11、左攝像機13、右攝像機14拍攝的圖像。圖6(a)、(b)、(c)示出在模式B中用后方攝像機12、左攝像機13、右攝像機14 拍攝的圖像。圖7 (a)、(b)、(c)示出在模式C中用后方攝像機12、左攝像機13、右攝像機 14拍攝的圖像。圖5(a) 圖7(c)中，在旁邊停有其他車輛的情況下，也會獲取相鄰車輛的圖像，但這并無大礙。從圖5(a) (c)的模式A的圖像檢測用前方攝像機11拍攝的特征點Al、A2和其交叉的兩個方向。即不僅檢測特征點Al、A2，還檢測在特征點中白線交叉的兩個方向。另外，檢測用左攝像機13拍攝的特征點Al與用右攝像機14拍攝的特征點A2。特征點Al相當于白線加與白線2c的交點，特征點A2相當于白線加與白線2d的交點。從圖6(a) (c)的模式B的圖像檢測用后方攝像機12拍攝的特征點B1、B2。另外，基于模式B的圖像，檢測用左攝像機13拍攝的特征點Al和其交叉的兩個方向以及特征點Bi，并檢測用右攝像機14拍攝的特征點A2和交叉的兩個方向以及特征點B2。特征點Bl相當于白線2b與白線2c的交點，特征點B2相當于白線2b與白線2d的交點。從圖7(a) (c)的模式C的圖像檢測用后方攝像機12拍攝的特征點B1、B2和其交叉的兩個方向。另外，基于模式C的圖像檢測用左攝像機13拍攝的特征點Al和其交叉的兩個方向，并檢測用右攝像機14拍攝的特征點A2和其交叉的兩個方向。此外，在圖5 (a) (c)中，分別用圓圍住特征點來表示它，但粗圓意味著檢測特征點和其交叉的雙方向。細虛線圓只意味著檢測特征點。另外，如模式A、B、C(圖4)所示，車輛1移動之后，各攝像機的位置與各特征點的相對位置發(fā)生變化，故在檢測特征點和其交叉的雙方向的情況下，在沒有過于離開特征點的位置即、易于感知交叉的雙方向的位置進行檢測。例如，在模式B(圖6(a) (C))與模式 C(圖7(a) (C))中分別檢測出特征點B1、B2的情況下，由于模式C 一方易于把握交叉的兩個方向，故不在模式B中檢測特征點B1、B2的交叉的兩個方向。此外，在檢測特征點Al、 A2、Bi、B2的情況下，作為特征點，檢測白線的中心線相交的點，但為了進一步提高精度，也可通過檢測白線的端部，而不是白線的中心，并求出特征點或交叉的兩個方向。接著，將用各攝像機(11 14)拍攝的圖像變換到從正上方看的視點。以各角度變?yōu)橹苯堑姆绞?，由模式A的兩個特征點Al、A2以及其交叉的兩個方向來計算前方攝像機 11的圖像。這里，定義三維空間坐標系。例如，定義如下的三維坐標系設與車輛1的后面平行的路面上的直線為X軸、設與車輛1的后面垂直的路面上的直線為y軸、設由路面向車輛方向垂直延伸的軸為ζ軸。在本坐標系中，將攝像機的位置設為(0，0，0)的情況下，關于攝像機的方向，將相對于χ軸旋轉的角度設為α、將相對于y軸旋轉的角度設為β、將相對于 ζ軸旋轉的角度為Y。以下的三維空間坐標系或三維空間是指基于本定義的三維空間坐標系。在定義了如圖8(a) (C)的坐標系的情況下，如下進行各軸的旋轉計算。χ軸中心旋轉χ' =χy' = y · cos(a )+z · sin(a )ζ' =-y · sin(a )+ζ · cos(a )y軸中心旋轉χ' = χ · cos(3 )+ζ · sin(3 )y' = yζ' =-χ · sin (β)+ζ · cos (β)ζ軸中心旋轉χ' = χ · cos(y)+y · sin(y)y ‘ = -χ · sin ( Y ) +y · cos ( γ )ζ' =ζ使圖像為進行了視點變換的圖像(地面為-ζ方向)，使攝像機某種程度上朝向地面。因此，檢測的特征點交叉的兩個方向在某種程度上為直角。將攝像機的朝向設為-ζ方向，并如圖8(a) (C)所示的虛線那樣進行圖像的配置。圖像相對于ζ軸垂直。由上述位置的圖像，計算檢測出特征點和其交叉的兩個方向所得的坐標。使雙方向為適當?shù)拈L度并作為兩個坐標，對準特征點形成三個坐標。計算χ軸旋轉角度和y軸旋轉角度，使得在-ζ方向看，各坐標的角度abc(b為特征點)為直角。根據(jù)上述的χ軸中心旋轉和y軸中心旋轉的計算式，旋轉后的坐標變?yōu)棣?‘ = χ · cos ( β ) -y · sin ( α ) · sin ( β ) +ζ · cos ( α ) · sin ( β )y' = y · cos ( α )+ζ · sin ( α )ζ' = -χ · sin ( β ) -y · sin ( α ) · cos ( β ) +ζ · cos ( α ) · cos ( β )。為了使從攝像機視點向-ζ方向看時該坐標看似直角，只要變換為X = x/(-ζ)、Y = y/(-z)的坐標(X，Y)的直線ab與直線be變?yōu)橹苯羌纯桑?，直線ab與直線be相對于+X方向的傾角(二維直線的式子y = ax+b中的a)為直線ab (Y (a) -Y (b)) / (X (a) -X (b))直線be (Y (c) -Y (b)) / (X (c) -X (b))若該兩個傾角相乘的值為-1則是直角。該計算式表示為f 1 ( α，β ) = 0，從另一個特征點導出的計算式表示為f2 ( α，β ) =0。然后，使用非線性聯(lián)立方程式(牛頓法)等求出α與β的解。由于非線性聯(lián)立方程式(牛頓法)是一般性的問題，只予以簡單地說明。導出兩個解的牛頓法的方程式如下。[公式1]
權利要求
1.一種攝像機校準裝置，其特征在于，包括攝像部，具有安裝在車輛上的多個攝像機，通過所述多個攝像機拍攝所述車輛的周圍；特征點檢測部，從用所述多個攝像機拍攝的圖像中識別表示停車框的直線圖像，并從各攝像機圖像檢測所述停車框的至少兩個特征點；視點變換部，基于所述特征點檢測部檢測到的所述特征點和其交叉的雙方向的信息， 合成所述各攝像機的圖像，并生成變換為從正上方觀看的視點的俯視圖像；調(diào)整部，從所述俯視圖像判別所述車輛與所述直線圖像的邊界位置，并確定車輛圖像的顯示范圍，以所述顯示范圍相對于所述俯視圖像的比例及位置為預先指定的值的方式改變所述俯視圖像；以及攝像機數(shù)據(jù)存儲部，存儲基于所述改變的俯視圖像計算的表示所述各攝像機的特性的攝像機參數(shù)。
2.根據(jù)權利要求1所述的攝像機校準裝置，其特征在于，所述攝像部安裝有用于拍攝所述車輛的前方、后方、左側、右側的四臺攝像機。
3.根據(jù)權利要求1所述的攝像機校準裝置，其特征在于，所述攝像部在移動所述車輛時在不同的位置上拍攝用白線區(qū)分的所述停車框，所述特征點檢測部檢測各位置上的所述特征點。
4.根據(jù)權利要求1所述的攝像機校準裝置，其特征在于，所述攝像部在不同的位置拍攝用白線區(qū)分的所述停車框，所述特征點檢測部檢測所述白線交叉的兩個特征點和其交叉的雙方向。
5.根據(jù)權利要求1所述的攝像機校準裝置，其特征在于，所述調(diào)整部基于所述車輛的四條邊和所述直線圖像的邊界位置設定邊界線，將由所述邊界線的交點坐標的最小值與最大值規(guī)定的區(qū)域確定為所述車輛圖像的顯示范圍。
6.根據(jù)權利要求5所述的攝像機校準裝置，其特征在于，根據(jù)所述車輛的移動，所述調(diào)整部將所述直線圖像因所述車輛而消失的位置或因所述車輛而出現(xiàn)的位置判別為所述邊界位置。
7.根據(jù)權利要求6所述的攝像機校準裝置，其特征在于，所述調(diào)整部基于所述車輛通過所述直線圖像上時的所述直線圖像的粗細變化判別所述邊界位置。
全文摘要
本發(fā)明涉及一種攝像機校準裝置，提供利用停車場的白線，并利用白線的兩個特征點和其交叉的兩個方向的信息，進行各圖像的位置調(diào)整。該攝像機校準裝置包括具有安裝在車輛上的多個攝像機的攝像部；從各攝像機圖像中檢測停車框的兩個特征點的特征點檢測部；基于特征點和其交叉的兩個方向的信息生成俯視圖像的視點變換部；以及調(diào)整部，從俯視圖像判別車輛與直線圖像的邊界位置并確定車輛圖像的顯示范圍，改變俯視圖像，使得顯示范圍的比例及位置為預先指定的值。
文檔編號G06T7/00GK102194226SQ20111003448
公開日2011年9月21日 申請日期2011年2月1日 優(yōu)先權日2010年3月2日
發(fā)明者小崎正憲 申請人:東芝阿爾派·汽車技術有限公司