行駛路面檢測裝置和行駛路面檢測方法
【專利摘要】本發(fā)明提供一種行駛路面檢測裝置和行駛路面檢測方法?；趶能囕d照相機(jī)拍攝的車輛周圍的拍攝圖像得到的視差信息，檢測行駛路面，包括：行駛路面判定部，基于拍攝圖像的視差信息，對分割拍攝圖像而形成的每個圖像區(qū)域判定是否是行駛路面；及行駛路面插補(bǔ)部，基于拍攝圖像的亮度信息，將沒有被行駛路面判定部判定為是行駛路面的圖像區(qū)域作為插補(bǔ)候補(bǔ)，進(jìn)行行駛路面的插補(bǔ)，圖像區(qū)域由多個像素范圍構(gòu)成，行駛路面插補(bǔ)部將插補(bǔ)候補(bǔ)的圖像區(qū)域中的、與相鄰的像素范圍的亮度差為第1閾值以下的像素范圍的數(shù)量為第2閾值以上的圖像區(qū)域、或者與相鄰的像素范圍的亮度差為第1閾值以下的像素范圍的比例為第3閾值以上的圖像區(qū)域作為行駛路面來進(jìn)行插補(bǔ)。
【專利說明】
行駛路面檢測裝置和行駛路面檢測方法
技術(shù)領(lǐng)域
[0001]本發(fā)明涉及根據(jù)拍攝圖像來檢測行駛路面的行駛路面檢測裝置和行駛路面檢測方法。
【背景技術(shù)】
[0002]以往，作為涉及到根據(jù)由立體相機(jī)拍攝的車輛周圍的拍攝圖像的視差信息來檢測車輛的行駛路面的裝置的技術(shù)文獻(xiàn)，已知有下述的專利文獻(xiàn)I。專利文獻(xiàn)I記載了利用拍攝圖像中的視差信息(距離信息)來檢測行駛路面的裝置。
[0003]現(xiàn)有技術(shù)文獻(xiàn)
[0004]專利文獻(xiàn)
[0005]專利文獻(xiàn)1:US2014/0071240號公報

【發(fā)明內(nèi)容】

[0006]本發(fā)明欲解決的問題
[0007]然而，從拍攝圖像提取視差信息(三維位置的復(fù)原)的提取精度在行駛路面(例如瀝青面)這樣的亮度差小的區(qū)域中會下降。因此，存在的問題是，不能檢測必要充分的范圍的行駛路面。所以，在本技術(shù)領(lǐng)域中，期望能夠使行駛路面的檢測范圍提高的行駛路面檢測裝置和行駛路面檢測方法。
[0008]用于解決問題的方案
[0009]為解決上述問題，本發(fā)明的一個形態(tài)是一種行駛路面檢測裝置，基于從車載照相機(jī)拍攝的車輛周圍的拍攝圖像得到的視差信息，檢測行駛路面，行駛路面檢測裝置包括:行駛路面判定部，其基于拍攝圖像的視差信息，對分割拍攝圖像而形成的每個圖像區(qū)域判定是否是行駛路面;及行駛路面插補(bǔ)部，其基于拍攝圖像的亮度信息，將沒有被行駛路面判定部判定為是行駛路面的圖像區(qū)域作為插補(bǔ)候補(bǔ)，進(jìn)行行駛路面的插補(bǔ)，圖像區(qū)域由單個像素范圍或多個像素范圍構(gòu)成，行駛路面插補(bǔ)部將插補(bǔ)候補(bǔ)的圖像區(qū)域中的、與相鄰的像素范圍的亮度差為第I閾值以下的像素范圍的數(shù)量為第2閾值以上的圖像區(qū)域、或者與相鄰的像素范圍的亮度差為第I閾值以下的像素范圍的比例為第3閾值以上的圖像區(qū)域作為行駛路面來進(jìn)行插補(bǔ)。
[0010]根據(jù)該行駛路面檢測裝置，由于對于拍攝圖像上亮度變化大的圖像區(qū)域能高精度地得到視差信息，從而能夠利用視差信息進(jìn)行行駛路面的判定。另一方面，對于拍攝圖像上亮度變化小的圖像區(qū)域，能夠作為基于亮度信息的行駛路面的插補(bǔ)的候補(bǔ)。所以，根據(jù)該行駛路面檢測裝置，與僅根據(jù)視差信息來檢測行駛路面的情況相比，能夠提高行駛路面的檢測范圍。
[0011]在上述行駛路面檢測裝置中，也可以是，行駛路面檢測裝置具有插補(bǔ)候補(bǔ)識別部，所述插補(bǔ)候補(bǔ)識別部將沒有被行駛路面判定部判定為是行駛路面的圖像區(qū)域中的、與車載照相機(jī)的距離為第4閾值以下的圖像區(qū)域作為插補(bǔ)候補(bǔ)。根據(jù)該行駛路面檢測裝置，由于視差信息的精度隨著距離車載照相機(jī)越遠(yuǎn)而越低，所以通過將與車載相機(jī)的距離為第4閾值以下的圖像區(qū)域作為插補(bǔ)候補(bǔ)，從而能夠避免插補(bǔ)候補(bǔ)無限制地擴(kuò)大到遠(yuǎn)方的圖像區(qū)域，能夠避免進(jìn)行錯誤的行駛路面的插補(bǔ)。
[0012]在上述行駛路面檢測裝置中，也可以是，行駛路面檢測裝置還包括行車線邊界檢測部，行車線邊界檢測部基于拍攝圖像來檢測車輛所行駛的行駛行車線的行車線邊界，行駛路面檢測裝置所具有的插補(bǔ)候補(bǔ)識別部將沒有被行駛路面判定部判定為是行駛路面的圖像區(qū)域中的、與由行車線邊界檢測部檢測的行車線邊界相比在行駛行車線側(cè)的圖像區(qū)域作為插補(bǔ)候補(bǔ)。根據(jù)該行駛路面檢測裝置，由于有的情況下不需要將行駛路面的檢測進(jìn)行到車輛所行駛的行駛行車線的外側(cè)，所以將與白線等行車線邊界相比在行駛行車線側(cè)的圖像區(qū)域作為插補(bǔ)候補(bǔ)，從而能夠避免錯誤地將行駛行車線的外側(cè)的路肩的臺階部分等作為行駛路面進(jìn)行插補(bǔ)。
[0013]在上述行駛路面檢測裝置中，也可以是，行駛路面檢測裝置所具有的插補(bǔ)候補(bǔ)識別部將沒有被行駛路面判定部判定為是行駛路面的圖像區(qū)域中的、與由行駛路面判定部判定為是行駛路面的圖像區(qū)域或者由行駛路面插補(bǔ)部插補(bǔ)為行駛路面的圖像區(qū)域相鄰的、圖像區(qū)域作為插補(bǔ)候補(bǔ)。根據(jù)該行駛路面檢測裝置，由于行駛路面連續(xù)，所以通過將與被判定為行駛路面的圖像區(qū)域或者被插補(bǔ)為行駛路面的圖像區(qū)域相鄰的圖像區(qū)域作為插補(bǔ)候補(bǔ)，從而能夠避免錯誤地將與行駛路面分離開的壁面等作為行駛路面進(jìn)行插補(bǔ)。
[0014]在上述的行駛路面檢測裝置中，也可以是相鄰的像素范圍可以包括傾斜位置的像素范圍。
[0015]在上述的行駛路面檢測裝置中，也可以是所述像素范圍由單個或多個像素構(gòu)成，在像素范圍由多個像素構(gòu)成的情況下，像素范圍的亮度為各像素的亮度的平均值或各像素的亮度的最大值。
[0016]本發(fā)明的其他形態(tài)是一種行駛路面檢測方法，是基于從車載照相機(jī)拍攝的車輛周圍的拍攝圖像得到的視差信息，檢測行駛路面的行駛路面檢測裝置的行駛路面檢測方法，行駛路面檢測方法包括以下工序:行駛路面判定工序，由行駛路面檢測裝置的行駛路面判定部，基于拍攝圖像的視差信息，對分割拍攝圖像而形成的每個圖像區(qū)域判定是否是行駛路面;及行駛路面插補(bǔ)工序，由行駛路面檢測裝置的行駛路面插補(bǔ)部，基于拍攝圖像的亮度信息，將在行駛路面判定工序中沒有被判定為是行駛路面的圖像區(qū)域作為插補(bǔ)候補(bǔ)，進(jìn)行拍攝圖像中的行駛路面的插補(bǔ)，圖像區(qū)域由多個像素范圍構(gòu)成，在行駛路面插補(bǔ)工序中，將插補(bǔ)候補(bǔ)的圖像區(qū)域中的、與相鄰的像素范圍的亮度差為第I閾值以下的像素范圍的數(shù)量為第2閾值以上的圖像區(qū)域、或者與相鄰的像素范圍的亮度差為第I閾值以下的像素范圍的比例為第3閾值以上的圖像區(qū)域作為行駛路面來進(jìn)行插補(bǔ)。
[0017]根據(jù)該行駛路面檢測方法，由于對于圖像上亮度變化大的圖像區(qū)域能高精度地得到視差信息，從而能夠利用視差信息進(jìn)行行駛路面的判定。另一方面，對于圖像上亮度變化小的圖像區(qū)域，能夠作為基于亮度信息的行駛路面的插補(bǔ)的候補(bǔ)。所以，根據(jù)該行駛路面檢測方法，與僅根據(jù)視差信息來檢測行駛路面的情況相比，能夠使行駛路面的檢測范圍提高。
[0018]發(fā)明的效果
[0019]如以上說明，根據(jù)本發(fā)明的各種形態(tài)，能夠使行駛路面的檢測范圍提高。
【附圖說明】
[0020]圖1是示出本實施方式的行駛路面檢測裝置的框圖。
[0021]圖2是示出由立體相機(jī)拍攝的拍攝圖像的圖。
[0022]圖3(a)是示出被分割為多個圖像區(qū)域的拍攝圖像的圖。(b)是多個圖像區(qū)域所對應(yīng)的柵格圖。
[0023]圖4(a)是示出柵格圖中的行駛路面的插補(bǔ)候補(bǔ)的圖。(b)是示出拍攝圖像中的行駛路面的插補(bǔ)候補(bǔ)的圖。(C)是示出構(gòu)成插補(bǔ)候補(bǔ)的圖像區(qū)域的多個像素范圍的圖。
[0024]圖5(a)是示出柵格圖中的插補(bǔ)行駛路面的圖。(b)是示出行駛路面的插補(bǔ)完成的狀態(tài)的一個例子的柵格圖。
[0025]圖6(a)是示出由距立體相機(jī)的距離進(jìn)行的插補(bǔ)候補(bǔ)的限制的柵格圖。(b)的圖所示出的拍攝圖像示出由距立體相機(jī)的距離進(jìn)行的插補(bǔ)候補(bǔ)的限制。
[0026]圖7是示出由行駛行車線的行車線邊界進(jìn)行的插補(bǔ)候補(bǔ)的限制的柵格圖。
[0027]圖8(a)是示出由與行駛路面的圖像區(qū)域的相鄰進(jìn)行的插補(bǔ)候補(bǔ)的限制的柵格圖。(b)是示出通過新的行駛路面的插補(bǔ)而擴(kuò)大了插補(bǔ)候補(bǔ)的狀況的柵格圖。
[0028]圖9是示出本實施方式的行駛路面檢測裝置所進(jìn)行的行駛路面檢測方法的流程圖。
[0029]圖10是示出行駛路面檢測裝置所進(jìn)行的行駛路面的插補(bǔ)方法的流程圖。
[0030]標(biāo)號的說明
[0031]l...行駛路面檢測裝置、2...Ε⑶、3…立體相機(jī)、4…第I照相機(jī)、5…第2照相機(jī)、10...圖像獲取部(行車線邊界檢測部)、11…三維位置復(fù)原部、12...行駛路面判定部、13...插補(bǔ)候補(bǔ)識別部、14...行駛路面插補(bǔ)部、15...行駛路面信息輸出部、C…人行橫道、D…第4閾值、G-柵格線、GD...柵格線G的橫線、L1、L2、L3...白線(行車線邊界)、Μ.._車輛、Pa、Pb…插補(bǔ)候補(bǔ)(圖像區(qū)域)、ΡΜ.._插補(bǔ)區(qū)域、Q1-Q8...像素范圍、R...路面判定區(qū)域、R1...第I路面判定區(qū)域、R2…第2路面判定區(qū)域、R3...第3路面判定區(qū)域
【具體實施方式】
[0032]下面，參照【附圖說明】本發(fā)明的實施方式。
[0033]圖1所示的本實施方式的行駛路面檢測裝置I例如搭載在乘用車等車輛中，基于從拍攝車輛周圍而成的拍攝圖像得到的視差信息(與車載照相機(jī)的距離信息)來檢測行駛路面。行駛路面例如是指車輛能行駛的路面。此外，行駛路面除了包含車輛行駛的道路的路面之外，還可以包含停車場的通道和停車位的路面。
[0034]行駛路面檢測裝置I利用拍攝車輛周圍的車載照相機(jī)來獲取拍攝圖像，基于從拍攝圖像生成的視差圖像的視差信息來檢測行駛路面。視差圖像是指包含視差信息的圖像。例如，構(gòu)成視差圖像的各像素包含視差信息。
[0035][行駛路面檢測裝置的構(gòu)成]
[0036]如圖1所示，行駛路面檢測裝置I包括用于檢測行駛路面的ECU(電子控制單元)2、和立體相機(jī)(車載照相機(jī))3<^0]2是具有CPU(中央處理單元)、R0M(只讀存儲器)、RAM(隨機(jī)存取存儲器)等的電子控制單元。在ECU2中，將儲存在ROM中的程序加載到RAM并由CPU執(zhí)行，從而執(zhí)行各種處理。ECU2也可以由多個電子控制單元構(gòu)成。
[0037]立體相機(jī)3是拍攝車輛周圍并獲取拍攝圖像的圖像獲取設(shè)備。立體相機(jī)3具有以再現(xiàn)雙眼視差的方式配置的第I照相機(jī)4和第2照相機(jī)5。第I照相機(jī)4和第2照相機(jī)5例如設(shè)在車輛的前玻璃的里側(cè)，拍攝車輛的前方。此外，第I照相機(jī)4和第2照相機(jī)5也可以設(shè)在車輛的側(cè)部或者車輛的后部(例如后玻璃的里側(cè))，拍攝車輛的側(cè)方或者后方。立體相機(jī)3將拍攝的拍攝圖像向E⑶2發(fā)送。
[0038]此外，行駛路面檢測裝置I也可以包括單眼照相機(jī)來代替立體相機(jī)3。在單眼照相機(jī)中，通過使用已知的方法(例如利用了拍攝的時間差的方法)，也能夠從拍攝圖像來得到視差圖像。
[0039 ]接下來，說明ECU2的功能構(gòu)成。如圖1所示，ECU2具有圖像獲取部1、三維位置復(fù)原部U、行駛路面判定部12、插補(bǔ)候補(bǔ)識別部13、行駛路面插補(bǔ)部14、和行駛路面信息輸出部15ο
[0040]圖像獲取部10獲取立體相機(jī)3所拍攝的拍攝圖像。此處，圖2是示出由立體相機(jī)3拍攝的拍攝圖像的圖。圖2是拍攝車輛前方的拍攝圖像。在圖2中示出了形成車輛的行駛行車線的白線(行車線邊界線)L1、L2、與白線LI 一起形成相鄰行車線的白線L3、及人行橫道C。圖像獲取部10例如基于立體相機(jī)3的第I照相機(jī)4的拍攝圖像和第2照相機(jī)5的拍攝圖像，利用已知的方法生成包含視差信息的視差圖像。
[0041]此外，圖像獲取部10也可以基于獲取的拍攝圖像，檢測車輛所行駛的行駛行車線的行車線邊界。圖像獲取部10例如也可以對拍攝圖像進(jìn)行已知的圖像處理(例如邊緣檢測處理)，從而進(jìn)行白線識別(白線L1、L2的識別)。在該情況下，圖像獲取部10作為行車線邊界檢測部發(fā)揮功能。
[0042]三維位置復(fù)原部11基于視差信息，將構(gòu)成拍攝圖像的各像素所對應(yīng)的三維位置信息(三維位置坐標(biāo))復(fù)原。三維位置復(fù)原部11利用已知的方法，將拍攝圖像的各像素所對應(yīng)的三維位置信息復(fù)原。
[0043]另外，三維位置復(fù)原部11利用柵格線G來分割拍攝圖像，形成圖像區(qū)域。圖像區(qū)域是指將拍攝圖像分割而成的區(qū)域。圖3(a)是示出被分割為多個圖像區(qū)域的拍攝圖像的圖。柵格線G的橫線例如是與拍攝圖像的橫向(車輛的車寬方向)平行的多條線。柵格線G的縱線例如是朝向拍攝圖像的消失點(diǎn)而收斂的多條線。如圖3(a)所示，三維位置復(fù)原部11例如以梯形將拍攝圖像分割為多個圖像區(qū)域，該梯形從拍攝圖像的下側(cè)(即車輛的跟前側(cè))越朝向上側(cè)，圖像區(qū)域的橫向?qū)挾仍叫?。此外，圖3(a)所示的柵格線G和圖像區(qū)域是一個例子，柵格線G和圖像區(qū)域的分割的方法沒有特別限定，能夠采用已知的方法。
[0044]行駛路面判定部12使用基于視差信息復(fù)原的三維位置信息，對每個圖像區(qū)域判定是否是行駛路面。行駛路面判定部12例如將拍攝圖像隔開為長條狀的區(qū)域，并通過將在各區(qū)域中從拍攝圖像的下端朝向上側(cè)視差變化(距離變化、高度變化)為連續(xù)的像素分組化，從而判定為行駛路面。長條狀的區(qū)域例如也可以是將多個圖像區(qū)域在拍攝圖像的縱向相連而成的區(qū)域。另外，行駛路面判定部12也可以在長條狀的各區(qū)域中，從所謂的拍攝圖像縱坐標(biāo)系的視差分布特性(視差變化)提取從拍攝圖像的下端朝向上側(cè)連續(xù)的路面視差，并適用到預(yù)先儲存的行駛路面的距離-高度坐標(biāo)系的數(shù)據(jù)，從而進(jìn)行行駛路面的判定。此外，行駛路面判定部12也可以基于拍攝圖像所包含的視差信息，利用已知的方法，對每個圖像區(qū)域判定是否是行駛路面。
[0045]圖3(b)是多個圖像區(qū)域所對應(yīng)的柵格圖。圖3(b)所示的柵格圖是以距離(車輛的行進(jìn)方向的距離)為縱軸，橫向位置(車輛的車寬方向的位置)為橫軸來示出圖像區(qū)域的圖。在柵格圖的下側(cè)示出車輛M。行駛路面判定部12例如根據(jù)拍攝圖像生成柵格圖，在柵格圖上進(jìn)行行駛路面的判定。行駛路面判定部12例如以各圖像區(qū)域構(gòu)成正方形的方式生成柵格圖。此外，行駛路面判定部12在行駛路面的判定中不一定需要使用柵格圖，也可以不生成柵格圖。
[0046]在圖3(b)中，示出被行駛路面判定部12判定為行駛路面的圖像區(qū)域即路面判定區(qū)域R。在圖3(b)中，示出離車輛M最近的第I路面判定區(qū)域R1、位于第I路面判定區(qū)域Rl的遠(yuǎn)側(cè)(從車輛M觀察的遠(yuǎn)側(cè))的第2路面判定區(qū)域R2、位于最遠(yuǎn)側(cè)的第3路面判定區(qū)域R3。如圖3(b)所示，基于視差信息進(jìn)行的行駛路面的判定因視差信息的精度而難以檢測出必要充分的區(qū)域，會產(chǎn)生分散的區(qū)域(散在的區(qū)域)被判定為行駛路面的狀況。
[0047]插補(bǔ)候補(bǔ)識別部13識別行駛路面的插補(bǔ)候補(bǔ)。插補(bǔ)候補(bǔ)識別部13例如將拍攝圖像的圖像區(qū)域中的沒有被行駛路面判定部12判定為行駛路面的所有圖像區(qū)域識別為插補(bǔ)候補(bǔ)。插補(bǔ)候補(bǔ)識別部13也可以將沒有被行駛路面判定部12判定為行駛路面的圖像區(qū)域中的僅一部分圖像區(qū)域識別為插補(bǔ)候補(bǔ)。后文詳述插補(bǔ)候補(bǔ)的變形例。
[0048]行駛路面插補(bǔ)部14基于拍攝圖像的亮度信息，判定是否將插補(bǔ)候補(bǔ)識別部13所識別的插補(bǔ)候補(bǔ)作為行駛路面進(jìn)行插補(bǔ)。亮度信息例如是指拍攝圖像的各像素的亮度的信息。
[0049]此處，圖4(a)是示出柵格圖中的行駛路面的插補(bǔ)候補(bǔ)Pa的圖。插補(bǔ)候補(bǔ)Pa是沒有被行駛路面判定部12判定為行駛路面的圖像區(qū)域，是由插補(bǔ)候補(bǔ)識別部13識別為插補(bǔ)候補(bǔ)的圖像區(qū)域。下面，使用I個插補(bǔ)候補(bǔ)Pa來說明行駛路面的插補(bǔ)。
[0050]圖4(b)是示出拍攝圖像中的行駛路面的插補(bǔ)候補(bǔ)Pa的圖。圖4(b)所示的插補(bǔ)候補(bǔ)Pa與圖4(a)所示的插補(bǔ)候補(bǔ)Pa對應(yīng)。另外，圖4(c)是示出構(gòu)成插補(bǔ)候補(bǔ)Pa的多個像素范圍Ql?Q8的圖。像素范圍是在拍攝圖像上由I個像素構(gòu)成的范圍或者由多個像素構(gòu)成的范圍。像素范圍是指比圖像區(qū)域小的范圍，圖像區(qū)域由單個或者多個像素范圍構(gòu)成。此外，像素范圍是在所有的圖像區(qū)域中包含數(shù)量相同的像素的相同形狀的范圍。圖像區(qū)域所包含的像素范圍的數(shù)量例如隨著距立體相機(jī)3的距離增加而減少。
[0051]行駛路面插補(bǔ)部14判定插補(bǔ)候補(bǔ)Pa是否是低質(zhì)感區(qū)域。低質(zhì)感區(qū)域是指相鄰的像素范圍的亮度差為第I閾值以下的像素范圍的數(shù)量為第2閾值以上的圖像區(qū)域、或者相鄰的像素范圍的亮度差為第I閾值以下的像素范圍的比例為第3閾值以上的圖像區(qū)域。相鄰的像素范圍是指互相相鄰的像素范圍。例如，圖4(c)所示的像素范圍Ql與像素范圍Q2互相相鄰。像素范圍Q2與像素范圍Q3互相相鄰。像素范圍Q3與像素范圍Q2、Q4、Q6互相相鄰。此外，也可以使像素范圍Q3作為與傾斜位置的像素范圍Q1、Q7、Q5相鄰，也可以使像素范圍Q3作為與像素范圍Q1、Q7、Q5不相鄰。
[0052]亮度差是指相鄰的像素范圍的亮度之差。在像素范圍由單個像素構(gòu)成的情況下，像素范圍的亮度是該像素的亮度。在像素范圍由多個像素構(gòu)成的情況下，像素范圍的亮度例如既可以是各像素的亮度的平均值，也可以是各像素的亮度的最大值。第I閾值是指用于判定相鄰的像素范圍的亮度差的閾值。第I閾值既可以是固定值，還可以是根據(jù)晝夜的區(qū)別或者天氣而變化的值。行駛路面插補(bǔ)部14例如對僅在插補(bǔ)候補(bǔ)的圖像區(qū)域內(nèi)相鄰的像素范圍的亮度差進(jìn)行比較。行駛路面插補(bǔ)部14也可以超出圖像區(qū)域的框?qū)ο噜彽南袼胤秶牧炼炔钸M(jìn)行比較。即，行駛路面插補(bǔ)部14也可以對作為插補(bǔ)候補(bǔ)的I個圖像區(qū)域內(nèi)的像素范圍、與相鄰的其他圖像區(qū)域內(nèi)的像素范圍的亮度差進(jìn)行比較，來用于判定插補(bǔ)候補(bǔ)是否是低質(zhì)感區(qū)域。
[0053]第2閾值和第3閾值是指用于判定是否將插補(bǔ)候補(bǔ)作為行駛路面進(jìn)行插補(bǔ)的閾值。第2閾值和第3閾值既可以是固定值，還可以是根據(jù)晝夜的區(qū)別或者天氣而變化的值。
[0054]在判定為插補(bǔ)候補(bǔ)Pa是相鄰的像素范圍的亮度差為第I閾值以下的像素范圍的數(shù)量為第2閾值以上的圖像區(qū)域、或者相鄰的像素范圍的亮度差為第I閾值以下的像素范圍的比例(相對于構(gòu)成插補(bǔ)候補(bǔ)Pa的所有像素范圍的比例)為第3閾值以上的圖像區(qū)域的情況下，行駛路面插補(bǔ)部14判定為插補(bǔ)候補(bǔ)Pa是低質(zhì)感區(qū)域。在判定為插補(bǔ)候補(bǔ)Pa是低質(zhì)感區(qū)域的情況下，行駛路面插補(bǔ)部14將插補(bǔ)候補(bǔ)Pa作為行駛路面進(jìn)行插補(bǔ)。在判定為插補(bǔ)候補(bǔ)Pa不是低質(zhì)感區(qū)域的情況下，行駛路面插補(bǔ)部14不將插補(bǔ)候補(bǔ)Pa作為行駛路面進(jìn)行插補(bǔ)。圖5(a)是示出柵格圖中的插補(bǔ)區(qū)域PM的圖。圖5(a)所示的插補(bǔ)區(qū)域PM是指由行駛路面插補(bǔ)部14作為行駛路面進(jìn)行了插補(bǔ)的區(qū)域。
[0055]行駛路面插補(bǔ)部14通過反復(fù)進(jìn)行對每個被識別為插補(bǔ)候補(bǔ)的圖像區(qū)域、是否作為行駛路面進(jìn)行插補(bǔ)的判定，從而對柵格圖中的行駛路面進(jìn)行插補(bǔ)。圖5(b)是示出行駛路面的插補(bǔ)完成的狀態(tài)的一個例子的柵格圖。如圖5(b)所示，行駛路面插補(bǔ)部14進(jìn)行行駛路面的插補(bǔ)，將第I路面判定區(qū)域R1、第2路面判定區(qū)域R2、和第3路面判定區(qū)域R3之間填埋。圖5(b)所示的路面判定區(qū)域R(第I路面判定區(qū)域R1、第2路面判定區(qū)域R2、第3路面判定區(qū)域R3)和插補(bǔ)區(qū)域PM在拍攝圖像上被檢測為行駛路面。
[0056]另一方面，在相鄰的像素范圍的亮度差為第I閾值以下的像素范圍的數(shù)量為不到第2閾值的情況下，行駛路面插補(bǔ)部14不將插補(bǔ)候補(bǔ)Pa作為行駛路面進(jìn)行插補(bǔ)。在將沒有被行駛路面判定部12判定為行駛路面的所有圖像區(qū)域作為插補(bǔ)候補(bǔ)的情況下，圖5(b)的路面判定區(qū)域R和插補(bǔ)區(qū)域PM以外的圖像區(qū)域是相鄰的像素范圍的亮度差為第I閾值以下的像素范圍的數(shù)量為不到第2閾值的圖像區(qū)域。此外，行駛路面插補(bǔ)部14也可以不需要使用柵格圖，而在拍攝圖像上進(jìn)行行駛路面的插補(bǔ)。
[0057]行駛路面信息輸出部15將路面判定區(qū)域R和插補(bǔ)區(qū)域PM作為所檢測到的行駛路面并向外部輸出信息。行駛路面信息輸出部15例如向進(jìn)行車輛M的自動駕駛的ECU或者進(jìn)行車輛M的駕駛輔助的ECU輸出所檢測到的行駛路面信息。
[0058]接下來，說明插補(bǔ)候補(bǔ)的變化。圖6(a)是示出由距立體相機(jī)3的距離進(jìn)行的插補(bǔ)候補(bǔ)的限制的柵格圖。圖6 (a)示出第4閾值D和第4閾值D所對應(yīng)的柵格線G的橫線GD。如圖6 (a)所示，插補(bǔ)候補(bǔ)識別部13例如將沒有被行駛路面判定部12判定為行駛路面的圖像區(qū)域中的、距立體相機(jī)3(車輛M)的距離為第4閾值D以下的圖像區(qū)域識別為插補(bǔ)候補(bǔ)。即，插補(bǔ)候補(bǔ)識別部13不將距立體相機(jī)3的距離超過第4閾值D的圖像區(qū)域識別為插補(bǔ)候補(bǔ)。由此，能夠避免在亮度信息的精度低的遠(yuǎn)方的圖像區(qū)域中錯誤進(jìn)行行駛路面的插補(bǔ)。第4閾值D是用于限制插補(bǔ)候補(bǔ)的閾值。第4閾值D既可以是固定值，也可以是變化的值。例如能夠根據(jù)立體相機(jī)3的性能而使第4閾值D為能夠確保行駛路面的判定精度的距離(能確保視差信息的精度的距離)。第4閾值D也可以與利用行駛路面的檢測結(jié)果的外部的控制內(nèi)容相對應(yīng)來設(shè)定。
[0059]此外，插補(bǔ)候補(bǔ)識別部13在插補(bǔ)候補(bǔ)的識別中不需要一定使用柵格圖。圖6(b)的圖所示出的拍攝圖像示出由距立體相機(jī)3的距離進(jìn)行的插補(bǔ)候補(bǔ)的限制。如圖6(b)所示，插補(bǔ)候補(bǔ)識別部13也可以將在拍攝圖像上距立體相機(jī)3(車輛M)的距離為第4閾值D以下的圖像區(qū)域(橫線⑶的下側(cè)的圖像區(qū)域)識別為插補(bǔ)候補(bǔ)。這樣，插補(bǔ)候補(bǔ)識別部13通過將插補(bǔ)候補(bǔ)限制在距立體相機(jī)3(車輛M)的距離為第4閾值D以下的圖像區(qū)域，從而能夠避免對于立體相機(jī)3的拍攝精度低的遠(yuǎn)方的圖像區(qū)域進(jìn)行錯誤的行駛路面的插補(bǔ)。
[0060]圖7是示出由行駛行車線的行車線邊界進(jìn)行的插補(bǔ)候補(bǔ)的限制的柵格圖。圖7所示的單點(diǎn)劃線L1、L2示出車輛M的行駛行車線的行車線邊界即白線L1、L2。此外，圖7所示的白線L1、L2是例舉，并非與圖3(a)所示的白線L1、L2—致。
[0061]如圖7所示，插補(bǔ)候補(bǔ)識別部13也可以將沒有被行駛路面判定部12判定為行駛路面的圖像區(qū)域中的、與白線L1、L2相比在行駛行車線側(cè)(車輛M側(cè))的圖像區(qū)域識別為插補(bǔ)候補(bǔ)，其中，白線L1、L2是車輛M所行駛的行駛行車線的行車線邊界。即，插補(bǔ)候補(bǔ)識別部13不將白線L1、L2的外側(cè)的圖像區(qū)域識別為插補(bǔ)候補(bǔ)。此外，行車線邊界例如由圖像獲取部10從拍攝圖像檢測出。圖像獲取部10例如基于拍攝圖像的亮度信息，利用已知的方法來檢測出(識別)白線L1、L2。
[0062]在由圖像獲取部10僅檢測到白線L1、L2中一者的情況下，插補(bǔ)候補(bǔ)識別部13將沒有被判定為行駛路面的圖像區(qū)域中的、與識別到的白線相比在行駛行車線側(cè)(車輛M側(cè))的圖像區(qū)域識別為插補(bǔ)候補(bǔ)。另外，行車線邊界不限于白線，也可以是護(hù)欄或者路肩的臺階部。此外，插補(bǔ)候補(bǔ)識別部13不需要一定使用柵格圖，也可以在拍攝圖像上將與行車線邊界(例如L1、L2)相比在行駛行車線側(cè)的圖像區(qū)域識別為插補(bǔ)候補(bǔ)。這樣，插補(bǔ)候補(bǔ)識別部13通過將插補(bǔ)候補(bǔ)限制在與行車線邊界相比在行駛行車線側(cè)的圖像區(qū)域，從而能夠避免對于根據(jù)控制內(nèi)容而不需要的行駛行車線的外側(cè)的圖像區(qū)域進(jìn)行錯誤的行駛路面的插補(bǔ)。
[0063]圖8(a)是示出由與行駛路面的圖像區(qū)域的相鄰進(jìn)行的插補(bǔ)候補(bǔ)的限制的柵格圖。圖8(a)示出與第I路面判定區(qū)域Rl相鄰的圖像區(qū)域Pb;與第I路面判定區(qū)域Rl及第2路面判定區(qū)域R2都不相鄰的圖像區(qū)域Pc。
[0064]如圖8(a)所示，插補(bǔ)候補(bǔ)識別部13也可以將沒有被行駛路面判定部12判定為行駛路面的圖像區(qū)域中的、與被行駛路面判定部12判定為行駛路面的圖像區(qū)域相鄰的、圖像區(qū)域Pb識別為插補(bǔ)候補(bǔ)。即，插補(bǔ)候補(bǔ)識別部13也可以不將與被行駛路面判定部12判定為行駛路面的圖像區(qū)域相鄰的圖像區(qū)域以外識別為插補(bǔ)候補(bǔ)。相鄰的圖像區(qū)域是指夾著柵格線G互相相鄰的圖像區(qū)域。在相鄰的圖像區(qū)域，例如既可以包含、也可以不包含柵格圖上在傾斜方向互相相鄰的圖像區(qū)域。此外，圖像區(qū)域Pb是插補(bǔ)候補(bǔ)的一個例子，插補(bǔ)候補(bǔ)識別部13例如以在圖8(a)所示的柵格圖上包圍第I路面判定區(qū)域Rl和第2路面判定區(qū)域R2的周圍的方式，將與第I路面判定區(qū)域Rl及第2路面判定區(qū)域R2的任一者相鄰的所有圖像區(qū)域識別為插補(bǔ)候補(bǔ)。在該情況下，也由于圖8(a)所示的圖像區(qū)域Pc與第I路面判定區(qū)域Rl及第2路面判定區(qū)域R2的任一者都不相鄰，所以不被識別為插補(bǔ)候補(bǔ)。
[0065]進(jìn)一步，插補(bǔ)候補(bǔ)識別部13也可以將沒有被行駛路面判定部12判定為行駛路面的圖像區(qū)域中的、與被行駛路面插補(bǔ)部14作為行駛路面進(jìn)行了插補(bǔ)的圖像區(qū)域相鄰的圖像區(qū)域也識別為插補(bǔ)候補(bǔ)。即，插補(bǔ)候補(bǔ)識別部13也可以不將與被行駛路面判定部12判定為行駛路面的圖像區(qū)域或者被行駛路面插補(bǔ)部14作為行駛路面進(jìn)行插補(bǔ)了的圖像區(qū)域相鄰的圖像區(qū)域以外識別為插補(bǔ)候補(bǔ)。
[0066]圖8(b)是示出因新的行駛路面的插補(bǔ)而擴(kuò)大了插補(bǔ)候補(bǔ)的狀況的柵格圖。在圖8(b)中，插補(bǔ)候補(bǔ)Pb被插補(bǔ)為行駛路面。另外，與被插補(bǔ)為行駛路面的圖像區(qū)域Pb相鄰的圖像區(qū)域Pc被識別為新的插補(bǔ)候補(bǔ)。由于與第I路面判定區(qū)域Rl相鄰的插補(bǔ)候補(bǔ)的圖像區(qū)域Pb被插補(bǔ)為行駛路面，從而插補(bǔ)候補(bǔ)識別部13也可以將與第I路面判定區(qū)域Rl及第2路面判定區(qū)域R2的任一者都不相鄰而與圖像區(qū)域Pb相鄰的圖像區(qū)域Pc識別為新的插補(bǔ)候補(bǔ)。此夕卜，插補(bǔ)候補(bǔ)識別部13不需要一定使用柵格圖，也可以將拍攝圖像上相鄰的圖像區(qū)域識別作為插補(bǔ)候補(bǔ)。這樣，插補(bǔ)候補(bǔ)識別部13通過將插補(bǔ)候補(bǔ)限制在與被判定或者插補(bǔ)為行駛路面的圖像區(qū)域相鄰的圖像區(qū)域，從而能夠避免對于壁面等與行駛路面不連續(xù)的平面進(jìn)行錯誤的行駛路面的插補(bǔ)。
[0067]以上，說明了插補(bǔ)候補(bǔ)的變形例，但插補(bǔ)候補(bǔ)不限于上述內(nèi)容。插補(bǔ)候補(bǔ)識別部13可以將圖6(a)和圖6(b)所示的由距立體相機(jī)3的距離進(jìn)行的限制、圖7所示的由行車線邊界進(jìn)行的限制、和圖8(a)和圖8(b)所示的與行駛路面相鄰的圖像區(qū)域的限制中的任意2個組合來進(jìn)行插補(bǔ)候補(bǔ)的識別，也可以組合所有的限制來進(jìn)行插補(bǔ)候補(bǔ)的識別。
[0068]此外，插補(bǔ)候補(bǔ)識別部13也可以將沒有被行駛路面判定部12判定為行駛路面的圖像區(qū)域中的、距立體相機(jī)3最遠(yuǎn)的路面判定區(qū)域R(例如圖5(a)的第3路面判定區(qū)域R3)以下的距離的圖像區(qū)域識別為插補(bǔ)候補(bǔ)。即，插補(bǔ)候補(bǔ)識別部13也可以不將離立體相機(jī)3比離立體相機(jī)3最遠(yuǎn)的路面判定區(qū)域R更遠(yuǎn)的圖像區(qū)域識別為插補(bǔ)候補(bǔ)。
[0069]另外，插補(bǔ)候補(bǔ)識別部13也可以將沒有被行駛路面判定部12判定為行駛路面的圖像區(qū)域中的、在圖5(a)柵格圖中的距離的方向或者橫向位置的方向上被路面判定區(qū)域R夾著的圖像區(qū)域識別為插補(bǔ)候補(bǔ)。即，插補(bǔ)候補(bǔ)識別部13也可以不將在距離的方向或者橫向位置的方向上沒有被路面判定區(qū)域R夾著的圖像區(qū)域識別為插補(bǔ)候補(bǔ)。此外，在拍攝圖像上進(jìn)行插補(bǔ)候補(bǔ)的識別的情況下，插補(bǔ)候補(bǔ)識別部13也可以不將在拍攝圖像的縱向或者橫向上沒有被路面判定區(qū)域R夾著的圖像區(qū)域識別為插補(bǔ)候補(bǔ)。在上述以外的情況下，插補(bǔ)候補(bǔ)識別部13也可以將圖6(a)和圖6(b)所示的由距立體相機(jī)3的距離進(jìn)行的限制、圖7所示的由行車線邊界進(jìn)行的限制、和圖8(a)和圖8(b)所示的與行駛路面相鄰的圖像區(qū)域的限制組合來進(jìn)行插補(bǔ)候補(bǔ)的識別。
[0070][行駛路面檢測裝置的行駛路面檢測方法]
[0071]接下來，參照【附圖說明】行駛路面檢測裝置I的行駛路面檢測方法。圖9是示出行駛路面檢測裝置I的行駛路面檢測方法的流程圖。圖9所示的流程圖例如在車輛M為發(fā)動機(jī)驅(qū)動中的期間，在每個預(yù)先設(shè)定的時間執(zhí)行。
[0072]如圖9所示，作為步驟SlOl，行駛路面檢測裝置I的ECU2利用圖像獲取部10進(jìn)行圖像獲取。圖像獲取部10獲取由立體相機(jī)3拍攝的車輛周圍的圖像信息。此外，圖像獲取部10也可以基于所獲取的圖像信息，利用已知的圖像處理來進(jìn)行識別車輛M的行駛行車線的行車線邊界的行車線邊界識別工序。
[0073]接下來，作為步驟S102，E⑶2利用三維位置復(fù)原部11進(jìn)行三維位置信息的復(fù)原?；趶呐臄z圖像得到的視差信息(視差圖像的視差信息)，將構(gòu)成拍攝圖像的各像素所對應(yīng)的三維位置信息進(jìn)行復(fù)原(運(yùn)算)。另外，在步驟S102中，三維位置復(fù)原部11例如利用柵格線G來分割拍攝圖像，形成(識別)多個圖像區(qū)域。
[0074]接下來，作為步驟S103，ECU2利用行駛路面判定部12進(jìn)行每個圖像區(qū)域的行駛路面的判定(行駛路面判定工序)。行駛路面判定部12基于拍攝圖像的視差信息，對每個圖像區(qū)域判定是否是行駛路面。行駛路面判定部12例如利用已知的方法，根據(jù)視差信息進(jìn)行行駛路面的判定。
[0075]作為步驟S104，ECU2利用插補(bǔ)候補(bǔ)識別部13進(jìn)行插補(bǔ)候補(bǔ)的識別(插補(bǔ)候補(bǔ)識別工序)。插補(bǔ)候補(bǔ)識別部13例如將沒有被行駛路面判定部12判定為行駛路面的圖像區(qū)域識別為插補(bǔ)候補(bǔ)。插補(bǔ)候補(bǔ)識別部13也可以施加上述各種限制來進(jìn)行插補(bǔ)候補(bǔ)的識別。
[0076]作為步驟S105，ECU2利用行駛路面插補(bǔ)部14進(jìn)行行駛路面的插補(bǔ)的判定(行駛路面插補(bǔ)工序)。行駛路面插補(bǔ)部14基于拍攝圖像的亮度信息，判定是否將插補(bǔ)候補(bǔ)作為行駛路面進(jìn)行插補(bǔ)。后文詳述行駛路面插補(bǔ)部14所進(jìn)行的行駛路面的插補(bǔ)的判定。
[0077]作為步驟S106，ECU2利用行駛路面信息輸出部15進(jìn)行行駛路面信息的輸出。行駛路面信息輸出部15例如將路面判定區(qū)域R和插補(bǔ)區(qū)域PM作為檢測到的行駛路面并向外部輸出信息。行駛路面信息輸出部15例如向進(jìn)行車輛M的自動駕駛的ECU或者進(jìn)行車輛M的駕駛輔助的ECU輸出行駛路面信息。
[0078]圖10是示出行駛路面檢測裝置I所進(jìn)行的行駛路面的插補(bǔ)方法的流程圖。圖10所示的流程圖與圖9所示的流程圖的S105的處理對應(yīng)。圖1O所示的流程圖例如對每個插補(bǔ)候補(bǔ)執(zhí)行。
[0079]如圖10所示，作為步驟S201，行駛路面檢測裝置I的ECU2利用行駛路面插補(bǔ)部14來判定插補(bǔ)候補(bǔ)是否是低質(zhì)感區(qū)域。行駛路面插補(bǔ)部14基于拍攝圖像的亮度信息，判定插補(bǔ)候補(bǔ)是否是低質(zhì)感區(qū)域。在判定為插補(bǔ)候補(bǔ)是相鄰的像素范圍的亮度差為第I閾值以下的像素范圍的數(shù)量為第2閾值以上的圖像區(qū)域、或者相鄰的像素范圍的亮度差為第I閾值以下的像素范圍的比例為第3閾值以上的圖像區(qū)域的情況下，行駛路面插補(bǔ)部14判定為插補(bǔ)候補(bǔ)是低質(zhì)感區(qū)域。在判定為插補(bǔ)候補(bǔ)不是相鄰的像素范圍的亮度差為第I閾值以下的像素范圍的數(shù)量為第2閾值以上的圖像區(qū)域、和相鄰的像素范圍的亮度差為第I閾值以下的像素范圍的比例為第3閾值以上的圖像區(qū)域的任一者的情況下，行駛路面插補(bǔ)部14判定為插補(bǔ)候補(bǔ)不是低質(zhì)感區(qū)域。
[0080]ECU2在利用行駛路面插補(bǔ)部14判定為插補(bǔ)候補(bǔ)不是低質(zhì)感區(qū)域的情況下(S201:否)，不將該插補(bǔ)候補(bǔ)作為行駛路面進(jìn)行插補(bǔ)，結(jié)束處理。ECU2在利用行駛路面插補(bǔ)部14判定為插補(bǔ)候補(bǔ)是低質(zhì)感區(qū)域的情況下(S201:是)，移動至步驟S202。在步驟S202中，ECU2將利用行駛路面插補(bǔ)部14判定為是低質(zhì)感區(qū)域的插補(bǔ)候補(bǔ)作為行駛路面進(jìn)行插補(bǔ)。
[0081 ][行駛路面檢測裝置的作用效果]
[0082]根據(jù)以上說明的行駛路面檢測裝置I，通過對于拍攝圖像上亮度變化大的圖像區(qū)域高精度地得到視差信息，從而能夠利用視差信息進(jìn)行行駛路面的檢測。另一方面，對于拍攝圖像上亮度變化小的圖像區(qū)域(低質(zhì)感區(qū)域)，能夠作為基于亮度信息的行駛路面的插補(bǔ)的候補(bǔ)。因此，根據(jù)該行駛路面檢測裝置1，通過進(jìn)行基于亮度信息的行駛路面的插補(bǔ)，從而與僅根據(jù)視差信息來檢測行駛路面的情況相比，能夠提高行駛路面的檢測范圍。
[0083]另外，行駛路面檢測裝置I中，行駛路面插補(bǔ)部14也可以將沒有被行駛路面判定部判定為是行駛路面的圖像區(qū)域中的、距立體相機(jī)3的距離為第4閾值以下的圖像區(qū)域作為插補(bǔ)候補(bǔ)。根據(jù)該行駛路面檢測裝置I，由于視差信息的精度隨著距離車載照相機(jī)越遠(yuǎn)而越低，所以將距立體相機(jī)3的距離為第4閾值以下的圖像區(qū)域作為插補(bǔ)候補(bǔ)，從而能夠避免插補(bǔ)候補(bǔ)無限制地擴(kuò)大到遠(yuǎn)方的圖像區(qū)域，能夠避免進(jìn)行錯誤的行駛路面的插補(bǔ)。
[0084]另外，在行駛路面檢測裝置I中，圖像獲取部10也可以基于拍攝圖像，檢測車輛M所行駛的行駛行車線的行車線邊界。進(jìn)一步，行駛路面插補(bǔ)部14也可以將沒有被行駛路面判定部12判定為是行駛路面的圖像區(qū)域中的、與由圖像獲取部10檢測的行車線邊界(例如白線L1、L2)相比在行駛行車線側(cè)的圖像區(qū)域作為插補(bǔ)候補(bǔ)。根據(jù)該行駛路面檢測裝置1，由于有的情況下不需要將到行駛路面的檢測進(jìn)行到車輛所行駛的行駛行車線的外側(cè)，所以將與白線等行車線邊界相比在行駛行車線側(cè)的圖像區(qū)域作為插補(bǔ)候補(bǔ)，從而能夠避免錯誤地將行駛行車線的外側(cè)的路肩的臺階部分等作為行駛路面進(jìn)行插補(bǔ)。
[0085]另外，在行駛路面檢測裝置I中，行駛路面插補(bǔ)部14也可以將沒有被行駛路面判定部12判定為是行駛路面的圖像區(qū)域中的、與被行駛路面判定部12判定為是行駛路面的圖像區(qū)域或者被行駛路面插補(bǔ)部14插補(bǔ)為行駛路面的圖像區(qū)域相鄰的圖像區(qū)域作為插補(bǔ)候補(bǔ)。根據(jù)該行駛路面檢測裝置I，由于行駛路面連續(xù)，所以通過將與路面判定區(qū)域R或者插補(bǔ)區(qū)域PM相鄰的圖像區(qū)域作為插補(bǔ)候補(bǔ)，從而能夠避免錯誤地將與行駛路面分離開的壁面等像飛地那樣作為行駛路面進(jìn)行插補(bǔ)。
[0086]以上說明了本發(fā)明的優(yōu)選實施方式，但本發(fā)明不限于上述的實施方式。本發(fā)明以上述的實施方式為代表，基于本領(lǐng)域技術(shù)人員的知識能夠以進(jìn)行了各種變更、改良的各種形態(tài)來實施。
【主權(quán)項】
1.一種行駛路面檢測裝置，基于從車載照相機(jī)拍攝的車輛周圍的拍攝圖像得到的視差信息，檢測行駛路面，所述行駛路面檢測裝置包括: 行駛路面判定部，其基于所述拍攝圖像的所述視差信息，對分割所述拍攝圖像而形成的每個圖像區(qū)域判定是否是所述行駛路面;及 行駛路面插補(bǔ)部，其基于所述拍攝圖像的亮度信息，將沒有被所述行駛路面判定部判定為是所述行駛路面的所述圖像區(qū)域作為插補(bǔ)候補(bǔ)，進(jìn)行所述行駛路面的插補(bǔ)， 所述圖像區(qū)域由單個或多個像素范圍構(gòu)成，所述行駛路面插補(bǔ)部將所述插補(bǔ)候補(bǔ)的所述圖像區(qū)域中的、與相鄰的所述像素范圍的亮度差為第I閾值以下的像素范圍的數(shù)量為第2閾值以上的所述圖像區(qū)域、或者與相鄰的所述像素范圍的亮度差為所述第I閾值以下的所述像素范圍的比例為第3閾值以上的所述圖像區(qū)域作為所述行駛路面來進(jìn)行插補(bǔ)。2.如權(quán)利要求1所述的行駛路面檢測裝置， 所述行駛路面檢測裝置具有插補(bǔ)候補(bǔ)識別部，所述插補(bǔ)候補(bǔ)識別部將沒有被所述行駛路面判定部判定為是所述行駛路面的所述圖像區(qū)域中的、與所述車載照相機(jī)的距離為第4閾值以下的所述圖像區(qū)域作為所述插補(bǔ)候補(bǔ)。3.如權(quán)利要求1或2所述的行駛路面檢測裝置， 所述行駛路面檢測裝置還包括行車線邊界檢測部，所述行車線邊界檢測部基于所述拍攝圖像來檢測所述車輛所行駛的行駛行車線的行車線邊界， 所述行駛路面檢測裝置所具有的所述插補(bǔ)候補(bǔ)識別部將沒有被所述行駛路面判定部判定為是所述行駛路面的所述圖像區(qū)域中的、與由所述行車線邊界檢測部檢測的所述行車線邊界相比在所述行駛行車線側(cè)的所述圖像區(qū)域作為所述插補(bǔ)候補(bǔ)。4.如權(quán)利要求1?3的任一項所述的行駛路面檢測裝置， 所述行駛路面檢測裝置所具有的所述插補(bǔ)候補(bǔ)識別部將沒有被所述行駛路面判定部判定為是所述行駛路面的所述圖像區(qū)域中的、與被所述行駛路面判定部判定為是所述行駛路面的所述圖像區(qū)域或者被所述行駛路面插補(bǔ)部插補(bǔ)為所述行駛路面的所述圖像區(qū)域相鄰的、所述圖像區(qū)域作為所述插補(bǔ)候補(bǔ)。5.如權(quán)利要求1所述的行駛路面檢測裝置，其特征在于， 相鄰的像素范圍包括傾斜位置的像素范圍。6.如權(quán)利要求1所述的行駛路面檢測裝置，其特征在于， 所述像素范圍由單個或多個像素構(gòu)成，在像素范圍由多個像素構(gòu)成的情況下，像素范圍的亮度為各像素的亮度的平均值或各像素的亮度的最大值。7.—種行駛路面檢測方法，是基于從車載照相機(jī)拍攝的車輛周圍的拍攝圖像得到的視差信息，檢測行駛路面的行駛路面檢測裝置的行駛路面檢測方法，所述行駛路面檢測方法包括以下工序: 行駛路面判定工序，由所述行駛路面檢測裝置的行駛路面判定部，基于所述拍攝圖像的所述視差信息，對分割所述拍攝圖像而形成的每個圖像區(qū)域判定是否是所述行駛路面；及 行駛路面插補(bǔ)工序，由所述行駛路面檢測裝置的行駛路面插補(bǔ)部，基于所述拍攝圖像的亮度信息，將在所述行駛路面判定工序中沒有被判定為是所述行駛路面的所述圖像區(qū)域作為插補(bǔ)候補(bǔ)，進(jìn)行所述拍攝圖像中的所述行駛路面的插補(bǔ)， 所述圖像區(qū)域由多個像素范圍構(gòu)成，在所述行駛路面插補(bǔ)工序中，將所述插補(bǔ)候補(bǔ)的所述圖像區(qū)域中的、與相鄰的所述像素范圍的亮度差為第I閾值以下的像素范圍的數(shù)量為第2閾值以上的所述圖像區(qū)域、或者與相鄰的所述像素范圍的亮度差為所述第I閾值以下的所述像素范圍的比例為第3閾值以上的所述圖像區(qū)域作為所述行駛路面來進(jìn)行插補(bǔ)。
【文檔編號】G06K9/00GK105868688SQ201610084605
【公開日】2016年8月17日
【申請日】2016年2月14日
【發(fā)明人】伊藤宏晃
【申請人】豐田自動車株式會社