移動面分界線認知裝置和方法、以及移動體設備控制系統(tǒng)的制作方法
【專利摘要】本發(fā)明涉及移動面分界線認知裝置和方法以及移動體設備控制系統(tǒng)，其目的在于減小認知分界線圖像部分與實際分界線圖像部分之間的差異，改善認知精度。本發(fā)明用區(qū)域分割線設定部(206)設定圖像畫面上相當于離車輛位置一定距離的水平假想線為區(qū)域分割線，將立體攝像裝置拍攝的輝度圖像劃分為離車輛較近的第一路面白線候補區(qū)域和離車輛較遠的第二路面白線候補區(qū)域，用路面白線直線部分認知部(207)對第一路面白線候補區(qū)域中的輝度圖像上的輝度邊緣作直線近似，認知路面白線圖像部分中的直線部分，并用路面白線曲線部分認知部(208)對第二路面白線候補區(qū)域中的路面白線圖像部分作曲線近似，認知路面白線圖像部分中的曲線部分。
【專利說明】移動面分界線認知裝置和方法、以及移動體設備控制系統(tǒng)
【技術領域】
[0001]本發(fā)明涉及移動面分界線認知裝置和使用該認知裝置的移動體設備控制系統(tǒng)以及移動面分界線認知方法，該移動面分界線認知裝置基于攝像裝置拍攝的移動體前方的攝像圖像，認知移動體的移動表面上的分界線。
【背景技術】
[0002]現有的對像物認知裝置根據車輛(移動體)搭載的攝像裝置拍攝的該車輛前方的圖像來認知圖像中的對象物，目前常用的對像物認知裝置如用于減輕駕駛員駕駛負擔的ACC(Adaptive Cruise Control,自適應巡航控制系統(tǒng))等駕駛助理系統(tǒng)等。該駕駛助理系統(tǒng)具有幫助車輛避開與障礙物等發(fā)生沖突或減輕沖突時產生的沖擊力的自動剎車功能或報警功能。此外，該系統(tǒng)還具有其它功能，如保持與前方車輛之間距離的自我車速調節(jié)功能、以及認知道路上規(guī)劃車道的車道分界線(白線)以防止越過車道分界線而脫離正在行駛的車道等功能。
[0003]專利文獻I (JP特許第3352655號公報)公開了一種認知車道分界線的車道分界線認知裝置。該車道分界線認知裝置用立體攝像裝置拍攝搭載該立體攝像裝置的車輛前方的景色(以下將“搭載(立體攝像裝置的車輛”簡稱為“車輛”，而將除此之外的其他車輛簡稱為“其他車輛”)，而后將相當于所拍攝的一幅畫面的圖像分割成多個區(qū)域(圖像區(qū)域)。用圖像畫面上的水平假想線分割各區(qū)域，該水平假想線相當于區(qū)域分割線，區(qū)域分割線與車輛位置相距一定距離，根據立體圖像計算所得到的距離信息來設定。而后，根據各區(qū)域內的輝度圖像，抽出相當于白色車道分界線端部的輝度邊緣，并對抽出的輝度邊緣進行直線近似，從而認知車道分界線圖像部分(白線圖像部分)。
[0004]然而，上述專利文獻I的車道分界線認知裝置需要從拍攝路面白線得到的圖像中的各區(qū)域內抽取輝度邊緣，并對輝度邊緣進行直線近似，才能認知路面上的白線圖像部。為此，在認知曲線形狀的路面白線時，需要按順序連接認知到的各區(qū)域內經過直線近似的近似值線，其結果，只能認知到呈折線形狀的路面白線圖像部分。而該折線形路面白線圖像部分與實際的曲線形路面白線圖像部分之間存在很大差別，因而造成車道分界線認知精度下降，難以被駕駛助理系統(tǒng)采用。

【發(fā)明內容】

[0005]本發(fā)明是鑒于上述問題而提出的技術方案，其目的在于提供一種能夠減小認知分界線圖像部分與實際分界線圖像部分之間的差異且改善移動表面上分界線認知精度的移動面分界線認知裝置、使用該認知裝置的移動體設備控制系統(tǒng)、以及移動面分界線認知方法。
[0006]為了達到上述目的，本發(fā)明提供一種移動面分界線認知裝置，該移動面分界線認知裝置用于根據在移動表面上移動的移動體前方的圖像，認知該移動表面上的分界線，所述移動體前方的圖像由該移動體搭載的攝像裝置拍攝，該移動面分界線認知裝置的特征在于，具備以下各部:區(qū)域分割線設定部，用于設定區(qū)域分割線，該區(qū)域分割線將所述移動體前方的圖像劃分為第一圖像區(qū)域和第二圖像區(qū)域，該第一圖像區(qū)域為該圖像中與所述移動體相距較近的所述移動表面部分的圖像區(qū)域，該第二圖像區(qū)域為該圖像中與所述移動體相距較遠的所述移動表面部分的圖像區(qū)域；分界線直線部分認知部，用于對所述第一圖像區(qū)域中的分界線圖像部分進行直線近似，用以認知該分界線圖像部分中的直線部分；以及，分界線曲線部分認知部，用于對第二圖像區(qū)域中的所述分界線圖像部分進行曲線近似，用以認知分界線圖像部分中的曲線部分。
[0007]本發(fā)明效果在于，減小認知的分界線圖像部分與實際的分界線圖像部分之間的差異，改善移動表面上的分界線認知精度。
【專利附圖】

【附圖說明】
[0008]圖1是車載設備控制系統(tǒng)的結構模塊圖。
[0009]圖2是構成上述車載設備控制系統(tǒng)的攝像單元和圖像解析單元的結構模塊圖。
[0010]圖3是在垂直于光透射方向的方向上所觀察到的上述攝像單元的攝像部中的圖像傳感器的模式性示意圖。
[0011]圖4是實施例1的路面白線認知裝置的結構模塊圖。
[0012]圖5是實施例1的路面白線直線部分候補區(qū)域表的示意圖。
[0013]圖6是實施例1的路面白線認知裝置的動作流程圖。
[0014]圖7是立體照相機拍攝的車輛前方的立體圖像，其中圖7A是位于左側的攝像透鏡和圖像傳感器拍攝的立體圖像，圖7B是位于右側的攝像透鏡和圖像傳感器拍攝的立體圖像。
[0015]圖8是用于說明測據運算原理的示意圖。
[0016]圖9A和圖9B是用于說明輝度圖像上的直線近似以及曲線近似的示意圖。
[0017]圖10是用于說明依次實行曲線近似的示意圖。
[0018]圖11是認知結果的示意圖。
[0019]圖12是路面白線直線部分候補區(qū)域表的制作流程圖。
[0020]圖13是邊緣抽取處理結果的示意圖。
[0021]圖14是一例輝度圖像上的路面白線直線部分的示意圖。
[0022]圖15是實施例2的路面白線認知裝置的結構模塊圖。
[0023]圖16A?圖16D是實施例2中路面白線直線部分候補區(qū)域表的示意圖。
[0024]圖17是實施例2的路面白線設置裝置的動作流程圖。
[0025]圖18是一例道路類型信息輸出裝置的模塊圖。
[0026]圖19是立體照相機的硬件結構模塊圖。
【具體實施方式】
[0027]以下說明本發(fā)明的實施方式涉及的移動面分界線認知裝置，該移動面分界線認知裝置作為路面白線認知裝置，被用于作為移動體設備控制系統(tǒng)的車載設備控制系統(tǒng)中。但是，本發(fā)明的移動面分界線認知裝置不僅適用于移動體設備控制系統(tǒng)，而且還適用于如搭載基于攝像圖像檢測物體的物體檢測裝置等其他系統(tǒng)。[0028]圖1是車載設備控制系統(tǒng)的結構模塊圖。圖1所示的車輛100搭載的車載設備控制系統(tǒng)中設有攝像單元101，該攝像單元101用于拍攝正在行駛的車輛100的行進方向上的前方區(qū)域。該攝像單元101可以設置在如車輛100前窗103的后視鏡(未圖示)附近。攝像單元101拍攝的攝像圖像的數據等各種數據被輸入作為圖像處理裝置的圖像解析單元102。圖像解析單元102對攝像單元發(fā)送的數據進行解析，計算車輛100前方存在的其他車輛的位置、角度、距離，檢測位于攝像區(qū)域內的路面上的白線等車道分界線等。對于其他車輛的檢測，根據視差圖像將路面上的對象物作為車輛來檢測。
[0029]圖像解析單元102的計算結果還被送往作為移動體設備控制裝置的車輛行駛控制單元104。車輛行駛控制單元104根據圖像解析單元103檢測到的步行者或行走車輛等認知對象的檢測結果實行駕駛輔助控制，如在遇到車輛100有可能與障礙物發(fā)生沖突時向該車輛100的駕駛員發(fā)出警告，或控制該車輛的方向盤或剎車等。
[0030]圖2是攝像單元101和圖像解析單元102的結構模塊圖。攝像單元101為立體照相機，其中具備第一攝像部IlOA和第二攝像部110B，第一攝像部IlOA和第二攝像部IlOB結構相同，分別具備:第一攝像透鏡IllA和第二攝像透鏡IllB ;第一圖像傳感器112A和第二圖像傳感器112B，其中的攝像元件均呈二維設置；第一傳感器基板113A和第二傳感器基板113B，其上分別安裝第一圖像傳感器112A和第二圖像傳感器112B ;以及，第一信號處理部114A和第二信號處理部114B，分別將第一傳感器基板113A和第二傳感器基板113B輸出的模擬電信號(第一圖像傳感器112A和第二圖像傳感器112B上的受光元件的受光量)轉換為數字電信號以生成并輸出攝像圖像數據。輝度圖像數據由攝像單元101輸出。
[0031]攝像單元101具備以FPGA (Field-Programmable Gate Array,現場可編程邏輯門陣列)等構成的處理硬件部120。該處理硬件部120具有視差運算部121，該視差運算部121計算第一攝像部IlOA和第二攝像部IlOB各自拍攝的攝像圖像之間互相對應的圖像部分的視差值，根據第一攝像部IlOA和第二攝像部IlOB輸出的輝度圖像數據得到視差圖像。在此，視差值是指以第一攝像部IlOA和第二攝像部IlOB各自拍攝的攝像圖像雙方中的一方為基準圖像，并以另一方為比較圖像，針對攝像區(qū)域內的同一地點，計算對應該地點的比較圖像上的圖像部分和基準圖像上的圖像部分之間的差值。利用三角測量原理，可以根據該視差值來計算攝像元件101與該圖像部分所對應的攝像區(qū)域內同一地點之間的距離。
[0032]另一方面，圖像解析單元102具備存儲器130和微處理單元(Micro ProcessingUnit，MPU) 140，該存儲器130用于保存攝像單元101輸出的輝度圖像數據和視差圖像數據，該MPU140內藏用于實行認知對象的認知處理或視差計算控制等的軟件。MPU140用保存在存儲器130中的輝度圖像數據和視差圖像數據，實行本實施方式涉及的路面白線的認知處理。
[0033]圖3是在與光透射方向相垂直的方向上觀察到的第一圖像傳感器112A和第二圖像傳感器112B的放大模式圖。第一圖像傳感器112A和第二圖像傳感器112B采用 CCD(Charge Couple Device,電荷稱合器件)或 CMOS (Complementary Metal OxideSemiconductor,互補金屬氧化物半導體)等的圖像傳感器,其中的攝像元件(受光元件)使用光電二極管112a。光電二極管112a按照每個像素呈二元陣列布置，而且，為了提高光電二極管112a的聚光效率，在各光電二極管112a的入射一方設有微型透鏡112b。用絲焊將第一圖像傳感器112A和第二圖像傳感器112B焊在印刷電路板(Printed Wiring Board,PffB)上形成第一傳感器基板113A和第二傳感器基板113B。
[0034]其次說明本發(fā)明的特征部分，即以路面白線認知裝置為移動面分界線認知裝置，針對該白線認知裝置進行說明。
[0035]《實施例1》
[0036]以下說明一例上述實施方式的路面白線認知裝置。圖4是實施例1的路面白線認知裝置的結構模塊圖。圖4所示的實施例1的路面白線認知裝置的功能通過圖2所示的處理硬件部120和圖像解析單元102得以實現。如圖所示，實施例1的路面白線認知裝置200具備立體圖像輸入部201、輝度圖像輸入部202、視差圖像計算部203、認知候補區(qū)域設定部204、路面白線直線部候補區(qū)域存儲部205、區(qū)域分割線設定部206、路面白線直線部分認知部207、路面白線曲線部認知部208、路面白線合成處理部209、以及路面白線認知結果輸出部210。立體照相機(未圖示)具備設有圖2所示的攝像透鏡和圖像傳感器的第一攝像部IlOA和第二攝像部110B，該立體照相機將立體圖像輸入立體圖像輸入部201。立體圖像輸入部201將根據立體圖像的左圖像或右圖像得到的輝度圖像輸入輝度圖像輸入部202。該輝度圖像或立體圖像被保存到立體照相機的存儲器中。視差圖像計算部203作為視差計算部，相當于圖2所示的處理硬件部120中的視差運算部121，該視差圖像計算部203用輸入到立體圖像輸入部201中的立體圖像，計算被攝體在左右圖像中的成像位置之差即視差值。
[0037]如上所述，認知候補區(qū)域設定部204在具有用上述視差圖像計算部203計算的視差值的圖像數據制作的視差圖像上，用規(guī)定的視差閥值，在畫面上設定相當于與車輛位置相距規(guī)定距離的水平假想線，該水平假想線被作為區(qū)域分割線，將圖像分割成兩個認知候補區(qū)域。路面白線直線部分候補區(qū)域存儲部205作為存儲部，如圖5所示地將上述規(guī)定的視差閥值ΛΤΗ、用于決定輝度畫面上左側路面白線的路面白線直線部候補區(qū)域的點A、點
B、點C、點D的頂點坐標、以及用于決定輝度畫面上右側路面白線的路面白線直線部候補區(qū)域的點E、點F、點G、點H的頂點坐標記錄到存儲表中。區(qū)域分割線設定部206用保存在路面白線直線部分候補區(qū)域存儲部205中的視差閥值Λ TH，在視差圖像上設定上述區(qū)域分割線。路面白線直線部分認知部207在認知候補區(qū)域設定部204設定的與車輛相距較近的認知候補區(qū)域內的輝度圖像上，對路面白線圖像部分中的直線部分進行認知。路面白線曲線部認知部208作為路面白線曲線部分的認知部，在與車輛相距較遠的認知候補區(qū)域內的輝度圖像上，對路面白線圖像部分中的曲線部分進行認知。路面白線合成處理部209將路面白線圖像部中，由路面白線直線部分認知部207認知的直線部分和由路面白線曲線部分認知部208認知的曲線部分連接起來進行合成處理，制作路面白線認知結果。路面白線認知結果輸出部210用于輸出路面白線認知結果。
[0038]以下針對實施例1的路面白線認知裝置，用圖6所示的流程圖說明該裝置的動作。圖7是圖2所示的立體照相機拍攝的車輛前方的立體圖像，其中圖7Α是圖2中第一攝像部IlOA拍攝的左方圖像，圖7Β是圖2的第二攝像部IlOB拍攝的右方圖像。首先，將拍攝的車輛前方的立體圖像輸入圖4的立體圖像輸入部201 (SlOl)。具體例如通過車輛搭載的立體照相機輸入圖7Α和圖7Β所示的立體圖像。而后，通過圖4所示的輝度圖像輸入部202輸入立體圖像中從圖7Α的左方圖像和圖7Β的右方圖像中的任意一方拍攝圖像取得的輝度圖像(步驟S102)。立體照相機的存儲器中保存被輸入的立體圖像或輝度圖像。視差圖像計算部203用立體圖像輸入部201中的立體圖像，計算計算對象的圖像的左方圖像與右方圖像之間的成像位置之差即視差(S103)。具體針對位于左右雙方的攝像透鏡成像的立體圖像中的相同部分，用模塊配對法求出將視差值作為像素值的視差圖像。所謂模塊配對法是指將左右雙方的圖像分割成塊，在左方圖像和右方圖像的塊類似度達到最大時，根據塊的模塊配對部分來求出視差值。例如，用大小為5X5的塊分割像素1280X960的圖像，并求出分割后每塊的視差值?？梢酝ㄟ^實驗來獲得最佳分割大小。關于視差值的計算方法，如圖8所示，利用三角測量原理，求出被攝體上某一點O點的左右圖像中的成像位置與成像中心的距離Al、Λ2，根據Λ = Λ1+Λ2，計算視差值Λ。據此，算出每個像素的視差值，將該視差值作為像素，便能夠制作視差圖像。
[0039]而后，區(qū)域分割線設定部206從路面白線直線部分候補區(qū)域存儲部205讀取視差閥值Δ TH,并檢測視差圖像上視差值為視差閥值ΔΤΗ以上的像素。進而，連接視差值在視差閥值Λ TH以上的像素中位于視差圖像上端部的多個像素，形成假想水平線，設該水平假想線為區(qū)域分割線。認知候補區(qū)域設定部204以上述區(qū)域分割線為界線，將圖9所示的輝度圖像上整個圖像區(qū)域一分為二，輝度圖像中區(qū)域分割線以下的部分為第一路面白線候補區(qū)域401，區(qū)域分割線以上的部分為第二路面白線候補區(qū)域402，進而，根據保存于路面白線直線部分候補區(qū)域存儲部205中用于決定輝度圖像上的左側路面白線的直線部分候補區(qū)域的點A及點B的頂點坐標、用于決定輝度圖像上右側路面白線的直線部分候補區(qū)域的點E及點F的頂點坐標、以及上述設定的區(qū)域分割線，求出輝度圖像上的點A和點B以及點E和點F的坐標。同樣，根據保存在路面白線直線部分候補區(qū)域存儲部205中用于決定輝度圖像上的左側路面白線的直線部候補區(qū)域的點C及點D的頂點坐標、以及用于決定輝度圖像上右側路面白線的直線部候補區(qū)域的點G及點H的頂點坐標，求出輝度圖像上的點C和點D以及點G和點H的坐標。如圖9Α所示，設定用求出的點Α、點B、點C、點D圍繞的圖像區(qū)域為第一路面白線直線部分候補區(qū)域403，點Ε、點F、點G、點H圍繞的圖像區(qū)域為第二路面白線直線部候補區(qū)域404(S104)。而后進行第一路面白線直線部分候補區(qū)域403和第二路面白線直線部分候補區(qū)域404的圖像的二值化處理，求出輝度邊緣。對輝度邊緣實行Hough轉換處理的直線近似，從而認知左側路面白線的第一路面白線直線部分405和右側路面白線的第二路面白線直線部分406(S105)。
[0040]而后，如圖9A所示，圖4`的路面白線曲線認知部208在輝度圖像上位于以路面白線直線部分認知部207認知的第一路面白線直線部分405的延長線即第一延長線407、以及第二路面白線直線部分406的延長線即第二延長線408的附近，實行輝度邊緣的抽取處理。并對抽取的輝度邊緣，用多項式近似來實行曲線近似處理(S106)。該多顯示近似能夠隨著曲線數據的變動而增加多項式的次方數，是一種是用于復雜曲線的近似方法。在此利用圖9B詳細說明針對路面白線曲線部分的認知。如圖9B所示，設定連接第一路面白線直線部分405的延長線與區(qū)域分割線的交點為點H1，從該點Hl延伸規(guī)定距離得到的探索點為點H2，連接點Hl和點H2得到假想的第一延長線407。同時設定第二路面白線直線部分406的延長線與區(qū)域分割線的交點為點H3，從該點H3延伸規(guī)定距離得到的探索點為點H4，連接點H3和點H4得到假想的第二延長線408。進而，設定探索角度Θ ^以點Hl為頂點、假想的第一延長線407旋轉一規(guī)定角度，探索角度Θ ^以點H3為頂點、假想的第二延長線408旋轉一規(guī)定角度。圖9中以點線包圍的部分表示根據這些規(guī)定的探索點和規(guī)定的探索角度所設定的、以點Hl為起點的第一探索范圍409和以點H3為起點的第二探索范圍410。在第一探索范圍409和第二探索范圍410中，探索以多項式近似的曲線的候補像素，連接各候補像素，便能夠認知第一路面白線曲線部分411和第二路面白線曲線部分412。
[0041]在下一個路面白線曲線部分的認知中，尋找第一路面白線曲線部411和第二路面白線曲線部412分別與第一探索范圍409的邊界線和第二探索范圍410的范圍界線的交點即點H5和點H6。如圖10所示，設定從點H5和H6出發(fā)并以規(guī)定的探索角度Θ:構成的第三探索范圍413和第四探索范圍414。用多項式近似對該探索范圍內的輝度邊緣進行曲線近似，尋找路面白線曲線部的候補像素。而后，將找到的各候補像素連接起來，便可以認知各自的路面白線曲線部。如此，將與經過認知的路面白線曲線部的探索范圍相交的交點為起點，并設定探索角度，依次設定探索范圍，進而在該探索范圍以內進行曲線近似，從而認知圖9所示的第二路面白線候補區(qū)域402中的路面白線曲線部分。曲線近似采用以直線部或曲線部的終點為起點的探索角度來設定探索范圍并在該探索范圍內進行邊緣抽取的方法。除此之外的曲線近似方法還有，以直線部或曲線部的終點為起點，在至少包含該終點的矩形探索范圍內進行邊緣抽取，進而反復以該矩形的各個頂點為起點進行上述曲線探索。而后，圖4的路面白線合成處理部209將經過認知的路面白線直線部和路面白線曲線部連接起來合成路面白線(S107)。而后，圖4的路面白線認知結果輸出部210輸出圖11所示的第一路面白線501和第二路面白線502的認知結果(S108)。
[0042]在認知路面白線曲線部時，如果探索范圍中存在雜音點或多條曲線，會有損于路面白線曲線部的抽取精度。如果使用孤立雜音點，則多項式近似中近似式的誤差將會有所增加。為此，需要找到孤立點并刪除該孤立點。
[0043]在此，用圖9說明平均視差值以及第一路面白線直線部分候補區(qū)域403以及第二路面白線部候補區(qū)域404的學習方法。根據事先輸入的包含路面白線的輝度圖像中的白線直線部分，求出第一路面白線直線部405的端點即點Hl和第二路面白線直線部406的端點即點H3之間的視差值的平均。將該視差值的平均作為視差閥值，保存到圖5所示的路面白線直線部分候補區(qū)域表中。第一路面白線直線部分候補區(qū)域403以及第二路面白線部分候補區(qū)域404也從事先輸入的包含白線直線的圖像輸入白線直線部分，在圖5所示的路面白線直線部分候補區(qū)域表中保存被輸入的直線坐標的平均值在第一路面白線直線部分候補區(qū)域403和第二路面白線直線部分候補區(qū)域404中的頂點坐標。在此，如果ΛΤΗ的位置高度與連接點A和點B的直線位置以及連接點E和點F的直線位置高低不同，則采用位置較低的視差值作為視差閥值。
[0044]以下用顯示路面白線直線部分候補區(qū)域表制作過程的圖12，來說明圖5所示的路面白線直線候補區(qū)域表的制作方法。
[0045]首先，輸入拍到的學習用路面白線圖像的立體圖像(S301)。而后，從左右任意一方的圖像中的輝度圖像中抽取輝度邊緣(S302)。對抽取的輝度邊緣進行直線近似(S303)。而后求出近似直線上端的平均的視差值(S304)。將該平均的視差值作為視差閥值。而后設定左側路面白線的路面白線直線部分候補區(qū)域以及右側路面白線的路面白線直線部分候補區(qū)域(S305、S306)。用下述路面白線直線部分候補區(qū)域的設定方法，來設定輝度圖像上用于決定左側路面白線的路面白線直線部分候補區(qū)域的點A、點B、點C、點D的頂點坐標、以及用于決定右側路面白線的路面白線直線部分候補區(qū)域的點E、點F、點G、點H的頂點坐標，從而制作用于保存這些頂點坐標以及視差閥值的路面白線直線部分候補區(qū)域表(S307)。
[0046]以下說明路面白線直線部分候補區(qū)域的設定方法。在此用檢測輪廓的索貝爾(Sobel)過濾處理作為邊緣抽取過濾處理。圖13是邊緣抽取處理結果的示意圖。圖13中的實線表示左側路面白線的直線候補線，虛線表示左側路面白線的近似直線。在樣品圖像的輝度圖像上，根據抽取的輝度邊緣，對左側路面白線的直線部分進行直線近似。在此采用Hough轉換作為一種直線近似方法，進行直線近似。沿著水平方向，對抽取的用虛線表示的左側路面白線的直線部、與連接候補點用實線表示的直線候補線之間的距離實行均方根誤差(Root Mean Square Error, RMSE)計算。而后，如果計算結果為任意設定的閥值TH以下，則設以虛線表示的直線部分為該學習樣品的路面左側的路線白線的直線部分。
[0047]用下式(1)進行RMSE計算。
[0048]
【權利要求】
1.一種移動面分界線認知裝置，用于根據在移動表面上移動的移動體前方的圖像，認知該移動表面上的分界線，所述移動體前方的圖像由該移動體搭載的攝像裝置拍攝，該移動面分界線認知裝置的特征在于，具備以下各部: 區(qū)域分割線設定部，用于設定區(qū)域分割線，該區(qū)域分割線將所述移動體前方的圖像劃分為第一圖像區(qū)域和第二圖像區(qū)域，該第一圖像區(qū)域為該圖像中相距所述移動體較近的所述移動表面部分的圖像區(qū)域，該第二圖像區(qū)域為該圖像中相距所述移動體較遠的所述移動表面部分的圖像區(qū)域； 分界線直線部分認知部，用于對所述第一圖像區(qū)域中的分界線圖像部分進行直線近似，用以認知該分界線圖像部分中的直線部分；以及， 分界線曲線部分認知部，用于對第二圖像區(qū)域中的所述分界線圖像部分進行曲線近似，用以認知分界線圖像部分中的曲線部分。
2.根據權利要求1所述的移動面分界線認知裝置，其特征在于， 所述攝像裝置為具有兩個攝像部的立體攝像裝置， 還具備視差圖像取得部，該視差圖像取得部用于將所述立體攝像裝置拍攝的立體圖像作為所述移動體前方的圖像，根據該立體圖像計算所述移動體前方的視差值，獲得該移動體前方的視差圖像， 所述區(qū)域分割線設定部根據該視差圖像，將圖像上與所述移動體位置相距規(guī)定距離的水平假想線設定為所述區(qū)域分割線。
3.根據權利要求1或2所述的移動面分界線認知裝置，其特征在于， 進一步具備移動面類型信息輸入部，該移動面類型信息輸入部用于輸入關于道路類型的道路類型信息， 所述區(qū)域分割線設定部根據該移動面類型信息輸入部中輸入的道路類型信息設定所述區(qū)域分割線。
4.根據權利要求2所述的移動面分界線認知裝置，其特征在于， 進一步具備輝度圖像取得部，該輝度圖像取得部用于從所述立體攝像裝置拍攝的立體圖像中的任意一方的攝像圖像中取得輝度圖像， 所述區(qū)域分割線設定部根據從該輝度圖像中抽取的所述分界線的邊緣部分、與為抽取該分界線而進行的近似處理所得到的直線的分界線圖像部分之間的差值，來設定所述區(qū)域分割線。
5.根據權利要求1至4中任意一項所述的移動面分界線認知裝置，其特征在于，進一步具備以下各部: 分界線合成部，用于將所述分界線直線部分認知部認知的所述分界線圖像部分中的直線部分和所述分界線曲線部分認知部認知的分界線圖像部分中的曲線部分連接起來，合成線部分；以及， 分界線圖像部分輸出部，用于將整個合成的線部分作為所述分界線圖像部分輸出。
6.根據權利要求1至5中任意一項所述的移動面分界線認知裝置，其特征在于，所述分界線直線部分認知部對從所述第一圖像區(qū)域內抽取的輝度圖像的輝度邊緣進行直線近似。
7.根據權利要求1至5中任意一項所述的移動面分界線認知裝置，其特征在于，所述分界線曲線部分認知部以所述分界線直線部分認知部認知的分界線圖像部分中的直線部分之后的假想延長線為基準，設定探索范圍，該探索范圍是用來在第二圖像區(qū)域中尋找所述分界線圖像部分中的曲線部分的候補的范圍。
8.根據權利要求7所述的移動面分界線認知裝置，其特征在于，所述分界線曲線部分認知部對從所述第二圖像區(qū)域內抽取的輝度圖像的輝度邊緣進行曲線近似。
9.根據權利要求2所述的移動面分界線認知裝置，其特征在于，進一步具備用于保存視差閥值的存儲部，該視差閥值基于由所述立體攝像裝置取得的立體圖像中的任意一方的攝像圖像中抽取的所述分界線的邊緣部分、與為抽取所述分界線而進行的近似處理所得到的所述分界線圖像部分中的直線部分之間的差值，所述認知候補區(qū)域設定部根據存儲部中保存的視差閥值，設定所述區(qū)域分割線。
10.根據權利要求9所述的移動面分界線認知裝置，其特征在于，所述存儲部中還保存表示所述第一圖像區(qū)域中包含的移動面分界線候補區(qū)域的信息，該第一圖像區(qū)域基于為了從由所述立體攝像裝置取得的立體圖像中任意一方的多張圖像中分別抽取所述分界線而進行的近似處理所得到的多條直線的所述分界線圖像部分，所述分界線直線部分認知部利用所述存儲部中保存的信息，對該信息表示的所述移動面分界線候補區(qū)域中的分界線圖像部分實行近似處理。
11.根據權利要求10所述的移動面分界線認知裝置，其特征在于，所述存儲部中還預存多個用于各種移動面類型的存儲表，各存儲表中保存從各種類型的所述移動表面的樣品圖像中取得的視差閥值、以及用于在圖像上設定區(qū)域分割線位置的區(qū)域分割點的坐標。
12.根據權利要求3所述的移動面分界線認知裝置，其特征在于，在移動面類型信息輸入部中輸入根據車載導航儀取得的所述移動體的位置信息和地圖數據，識別的所述移動表面的類型。
13.根據權利要求3所述的移動面分界線認知裝置，其特征在于，進一步利用GPS取得所述移動體的位置信息，所`述移動面類型信息輸入部中輸入根據GPS取得的所述移動體的位置信息、所述車載導航儀取得的所述移動體的位置信息以及地圖數據識別的道路的類型。
14.一種移動體設備控制系統(tǒng)，其中包括以下各部: 移動表面分界線認知部，用于根據在移動表面上移動的移動體前方的圖像，認知該移動表面上的分界線，上述移動體前方的圖像由該移動體搭載的攝像裝置拍攝；以及， 移動體設備控制部，用于控制該移動體上搭載的規(guī)定的設備， 該移動體設備控制系統(tǒng)的特征在于，用權利要求1至13中任意一項所述的移動面分界線認知裝置作為所述移動面分界線認知部。
15.一種移動面分界線認知方法，其根據在移動表面上移動的移動體前方的圖像，認知該移動表面上的分界線，所述移動體前方的圖像由該移動體搭載的攝像裝置拍攝，該方法的特征在于，包括以下步驟: 區(qū)域分割線設定步驟，設定區(qū)域分割線，該區(qū)域分割線將所述移動體前方的圖像劃分為第一圖像區(qū)域和第二圖像區(qū)域，該第一圖像區(qū)域為該圖像中相距所述移動體較近的所述移動表面部分的區(qū)域，該第二圖像區(qū)域為該圖像中相距所述移動體較遠的所述移動表面部分的圖像區(qū)域；分界線直線部分認知步驟，對所述第一圖像區(qū)域中的分界線圖像部分進行直線近似，認知該分界線圖像部分中的直線部分；以及， 分界線曲線部分認知步驟，對第二圖像區(qū)域中的所述分界線圖像部分進行曲線近似，認知分界線圖像部 分中的曲線部分。
【文檔編號】H04N13/02GK103731652SQ201310482453
【公開日】2014年4月16日 申請日期:2013年10月9日 優(yōu)先權日:2012年10月10日
【發(fā)明者】關?？? 申請人:株式會社理光