三維物體檢測(cè)裝置和異物檢測(cè)裝置制造方法
【專利摘要】具備：攝像機(jī)(10)，其拍攝車輛后方；三維物體檢測(cè)部(33、37)，其基于圖像信息檢測(cè)三維物體；三維物體判斷部(34)，其判斷檢測(cè)出的三維物體是否為其它車輛(VX)；異物檢測(cè)部(38)，其基于上述攝像元件的每個(gè)規(guī)定像素的亮度值的經(jīng)時(shí)變化以及評(píng)價(jià)對(duì)象值與基準(zhǔn)值的差分的經(jīng)時(shí)變化，檢測(cè)上述鏡頭上是否附著有異物；以及控制部(39)，其在檢測(cè)出異物的情況下，向各單元輸出控制命令以抑制該異物被判斷為是其它車輛(VX)。
【專利說(shuō)明】三維物體檢測(cè)裝置和異物檢測(cè)裝置

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種三維物體檢測(cè)裝置和異物檢測(cè)裝置。

【背景技術(shù)】
[0002]在從正在行駛的本車輛拍攝后側(cè)狀況來(lái)檢測(cè)從后方或鄰近車道靠近本車輛的車輛并使駕駛員認(rèn)識(shí)到該情況的車輛用后側(cè)方監(jiān)視方法中，已知有根據(jù)相對(duì)于本車輛的后方車輛或者正行駛于鄰近車道的車輛的相對(duì)位置關(guān)系來(lái)判斷危險(xiǎn)度，在危險(xiǎn)度變大時(shí)，降低車內(nèi)的其它的聲音輸出，并輸出表示危險(xiǎn)度變大的警報(bào)音(參照專利文獻(xiàn)1〉。
[0003]專利文獻(xiàn)1:日本特開(kāi)平11-42988號(hào)公報(bào)


【發(fā)明內(nèi)容】

[0004]發(fā)明要解決的問(wèn)題
[0005]在使用拍攝車輛后方得到的圖像而將行駛于與本車輛的行駛車道相鄰的鄰近車道的其它車輛檢測(cè)為障礙物時(shí)，在攝像機(jī)的鏡頭上附著有污泥、雨水、雪等異物的情況下，存在將該異物的像錯(cuò)誤識(shí)別為行駛于鄰近車道的其它車輛的像這樣的問(wèn)題。
[0006]本發(fā)明要解決的課題在于提供一種三維物體檢測(cè)裝置，以高精度檢測(cè)附著于攝像機(jī)的鏡頭的異物的異物檢測(cè)裝置以及防止將附著于攝像機(jī)的鏡頭的異物的像錯(cuò)誤檢測(cè)為其它車輛的像，并且以高精度檢測(cè)行駛于與本車輛的行駛車道相鄰的鄰近車道的其它車輛。
[0007]用于解決問(wèn)題的方案
[0008]本發(fā)明通過(guò)以下內(nèi)容解決上述課題:根據(jù)攝像元件的每個(gè)規(guī)定像素的亮度值的經(jīng)時(shí)變化以及評(píng)價(jià)對(duì)象值與基準(zhǔn)值的差分的經(jīng)時(shí)變化，檢測(cè)攝像機(jī)的鏡頭上是否附著有異物，在檢測(cè)出附著有異物的狀態(tài)的情況下，控制用于判斷三維物體的各處理使得抑制將檢測(cè)出的三維物體判斷為是其它車輛。
[0009]發(fā)明的效果
[0010]本發(fā)明在檢測(cè)出附著于鏡頭的異物的情況下，進(jìn)行控制使得難以輸出檢測(cè)出行駛于與本車輛的行駛車道相鄰的鄰近車道的其它車輛的意思的判斷結(jié)果，因此能夠防止將附著于鏡頭的異物的像錯(cuò)誤檢測(cè)為行駛于與本車輛的行駛車道相鄰的鄰近車道的其它車輛的像。其結(jié)果，能夠提供一種以高精度檢測(cè)附著于攝像機(jī)的鏡頭的異物的異物檢測(cè)裝置以及以高精度檢測(cè)行駛于與本車輛的駛車道相鄰的鄰近車道的其它車輛的三維物體檢測(cè)裝置和三維物體檢測(cè)方法。

【專利附圖】

【附圖說(shuō)明】
[0011]圖1是應(yīng)用了本發(fā)明的三維物體檢測(cè)裝置的一個(gè)實(shí)施方式所涉及的車輛的概要結(jié)構(gòu)圖。
[0012]圖2是表示圖1的車輛的行駛狀態(tài)的俯視圖。
[0013]圖3是表示圖1的計(jì)算機(jī)的詳細(xì)內(nèi)容的框圖。
[0014]圖4是用于說(shuō)明圖3的對(duì)位部的處理概要的圖，(幻是表示車輛的移動(dòng)狀態(tài)的俯視圖，(幻是表示對(duì)位的概要的圖像。
[0015]圖5是表示圖3的三維物體檢測(cè)部生成差分波形的情形的概要圖。
[0016]圖6是表示通過(guò)圖3的三維物體檢測(cè)部分割出的小區(qū)域的圖。
[0017]圖7是表示由圖3的三維物體檢測(cè)部得到的直方圖的一例的圖。
[0018]圖8是表示圖3的三維物體檢測(cè)部的加權(quán)的圖。
[0019]圖9是表示圖3的拖影檢測(cè)部的處理以及基于該處理的計(jì)算差分波形的處理的圖。
[0020]圖10是表示由圖3的三維物體檢測(cè)部得到的直方圖的另一例的圖。
[0021]圖11是表示由圖3的視點(diǎn)變換部、對(duì)位部、拖影檢測(cè)部以及三維物體檢測(cè)部執(zhí)行的利用差分波形信息的三維物體檢測(cè)方法的流程圖(之一)。
[0022]圖12是表示由圖3的視點(diǎn)變換部、對(duì)位部、拖影檢測(cè)部以及三維物體檢測(cè)部執(zhí)行的利用差分波形信息的三維物體檢測(cè)方法的流程圖(之二)。
[0023]圖13是表示圖1的車輛的行駛狀態(tài)的圖(基于邊緣信息的三維物體檢測(cè))，(幻是表示檢測(cè)區(qū)域等的位置關(guān)系的俯視圖，(幻是表示實(shí)際空間中的檢測(cè)區(qū)域等的位置關(guān)系的立體圖。
[0024]圖14是用于說(shuō)明圖3的亮度差計(jì)算部的動(dòng)作的圖，是表示鳥(niǎo)瞰視點(diǎn)圖像中的關(guān)注線、參照線、關(guān)注點(diǎn)以及參照點(diǎn)的位置關(guān)系的圖，化)是表示實(shí)際空間中的關(guān)注線、參照線、關(guān)注點(diǎn)以及參照點(diǎn)的位置關(guān)系的圖。
[0025]圖15是用于說(shuō)明圖3的亮度差計(jì)算部的詳細(xì)動(dòng)作的圖，是表示鳥(niǎo)瞰視點(diǎn)圖像中的檢測(cè)區(qū)域的圖，(幻是表示鳥(niǎo)瞰視點(diǎn)圖像中的關(guān)注線、參照線、關(guān)注點(diǎn)以及參照點(diǎn)的位置關(guān)系的圖。
[0026]圖16是表示邊緣線和邊緣線上的亮度分布的圖，(幻是表示在檢測(cè)區(qū)域存在三維物體(車輛)時(shí)的亮度分布的圖，(幻是表示在檢測(cè)區(qū)域不存在三維物體時(shí)的亮度分布的圖。
[0027]圖17是表示由圖3的視點(diǎn)變換部、亮度差計(jì)算部、邊緣線檢測(cè)部以及三維物體檢測(cè)部執(zhí)行的利用邊緣信息的三維物體檢測(cè)方法的流程圖(之一)。
[0028]圖18是表示由圖3的視點(diǎn)變換部、亮度差計(jì)算部、邊緣線檢測(cè)部以及三維物體檢測(cè)部執(zhí)行的利用邊緣信息的三維物體檢測(cè)方法的流程圖(之二)。
[0029]圖19是表示用于說(shuō)明邊緣檢測(cè)動(dòng)作的圖像例的圖。
[0030]圖20是表示鏡頭上附著有異物的情況下的攝像圖像的一例的圖。
[0031]圖21是表示鏡頭上附著有異物的情況下的檢測(cè)區(qū)域的狀態(tài)的一例的圖。
[0032]圖22是用于說(shuō)明在檢測(cè)區(qū)域存在車輛的情況下的邊緣信息的一例的圖。
[0033]圖23是用于說(shuō)明在鏡頭上附著有異物的情況下的邊緣信息的一例的圖。
[0034]圖24是表示圖3的攝像機(jī)中所包括的攝像元件中的相當(dāng)于檢測(cè)區(qū)域的區(qū)域的像素的圖。
[0035]圖25是表示圖24的一個(gè)像素分區(qū)的亮度值的差的絕對(duì)值的一例的曲線圖。
[0036]圖26是表示基于邊緣的強(qiáng)度的直方圖的一例的圖。
[0037]圖27是表示與鏡頭的白濁程度相應(yīng)的閾值丫的設(shè)定例有關(guān)的控制對(duì)應(yīng)圖的圖。
[0038]圖28是表示圖3的三維物體判斷部和控制部的動(dòng)作的流程圖。
[0039]圖29是表示使用邊緣信息判斷鏡頭上是否附著有異物時(shí)的控制過(guò)程的流程圖。
[0040]圖30八是用于說(shuō)明根據(jù)邊緣的長(zhǎng)度判斷鏡頭上是否附著有異物的方法的第一圖。
[0041]圖308是用于說(shuō)明根據(jù)邊緣的長(zhǎng)度判斷鏡頭上是否附著有異物的方法的第二圖。
[0042]圖31八是用于說(shuō)明根據(jù)邊緣的反轉(zhuǎn)次數(shù)判斷鏡頭上是否附著有異物的方法的第一圖。
[0043]圖318是用于說(shuō)明根據(jù)邊緣的反轉(zhuǎn)次數(shù)判斷鏡頭上是否附著有異物的方法的第二圖。
[0044]圖32是表示使用差分波形信息判斷鏡頭上是否附著有異物時(shí)的控制過(guò)程的流程圖。
[0045]圖33是表示由控制部根據(jù)基于第一異物檢測(cè)方法檢測(cè)出的異物的附著比例與基于第二異物檢測(cè)方法檢測(cè)出的異物的附著比例的關(guān)系執(zhí)行的控制對(duì)應(yīng)圖的一例的曲線圖。

【具體實(shí)施方式】
[0046]圖1是應(yīng)用了本發(fā)明的三維物體檢測(cè)裝置1和異物檢測(cè)裝置的一個(gè)實(shí)施方式所涉及的車輛的概要結(jié)構(gòu)圖，本例的三維物體檢測(cè)裝置1是將本車輛V的駕駛員在駕駛過(guò)程中應(yīng)予以注意的其它車輛、例如本車輛V在車道變更時(shí)有可能接觸的其它車輛檢測(cè)為障礙物的裝置。特別地，本例的三維物體檢測(cè)裝置1檢測(cè)行駛于與本車輛所行駛的車道相鄰的鄰近車道(以下還簡(jiǎn)稱為鄰近車道)的其它車輛。另外，本例的三維物體檢測(cè)裝置1能夠計(jì)算所檢測(cè)出的其它車輛的移動(dòng)距離、移動(dòng)速度。因此，以下說(shuō)明的一例表示將三維物體檢測(cè)裝置1搭載于本車輛V并檢測(cè)在本車輛周圍檢測(cè)的三維物體中的行駛于與本車輛V所行駛的車道相鄰的鄰近車道的其它車輛的例子。如該圖所示，本例的三維物體檢測(cè)裝置1具備攝像機(jī)10、車速傳感器20以及計(jì)算機(jī)30。
[0047]攝像機(jī)10如圖1所示那樣在本車輛V后方的高度卜的地方以光軸相對(duì)于水平向下形成角度9的方式安裝于本車輛V。攝像機(jī)10從該位置拍攝本車輛7的周圍環(huán)境中的規(guī)定區(qū)域。攝像機(jī)10具備形成像的鏡頭11。在本實(shí)施方式中，為了檢測(cè)本車輛^后方的三維物體而設(shè)置的攝像機(jī)1是一個(gè)，但是也能夠?yàn)榱似渌挠猛径O(shè)置例如用于獲取車輛周圍的圖像的其它的攝像機(jī)。車速傳感器20用于檢測(cè)本車輛V的行駛速度，并根據(jù)例如由檢測(cè)車輪轉(zhuǎn)速的車輪速度傳感器檢測(cè)出的車輪速度來(lái)計(jì)算車速。計(jì)算機(jī)30檢測(cè)車輛后方的三維物體，并且在本例中計(jì)算關(guān)于該三維物體的移動(dòng)距離和移動(dòng)速度。
[0048]圖2是表示圖1的本車輛V的行駛狀態(tài)的頂視圖。如該圖所示，攝像機(jī)10以規(guī)定的視角3拍攝車輛后方側(cè)。此時(shí)，攝像機(jī)10的視角3被設(shè)定為除了能夠拍攝到本車輛乂所行駛的車道以外還能夠拍攝到該車道左右的車道的視角。能夠拍攝的區(qū)域包括在本車輛V的后方與本車輛V的行駛車道左右相鄰的鄰近車道上的檢測(cè)對(duì)象區(qū)域八1、八2。
[0049]圖3是表示圖1的計(jì)算機(jī)30的詳細(xì)內(nèi)容的框圖。此外，在圖3中，為了明確連接關(guān)系，還圖示了攝像機(jī)10、車速傳感器20。
[0050]如圖3所示，計(jì)算機(jī)30具備視點(diǎn)變換部31、對(duì)位部32、三維物體檢測(cè)部33、三維物體判斷部34、異物檢測(cè)部38、控制部39以及拖影檢測(cè)部40。本實(shí)施方式的計(jì)算部30是與利用差分波形信息檢測(cè)三維物體的檢測(cè)模塊八有關(guān)的結(jié)構(gòu)。本實(shí)施方式的計(jì)算部30也能夠設(shè)為與利用邊緣信息檢測(cè)三維物體的檢測(cè)模塊8有關(guān)的結(jié)構(gòu)。該情況能夠?qū)D3所示的結(jié)構(gòu)中的由對(duì)位部32以及三維物體檢測(cè)部33構(gòu)成的模塊結(jié)構(gòu)八替換為用虛線包圍的由亮度差計(jì)算部35、邊緣線檢測(cè)部36以及三維物體檢測(cè)部37構(gòu)成的模塊結(jié)構(gòu)8來(lái)構(gòu)成。當(dāng)然也能夠具備模塊結(jié)構(gòu)八和模塊結(jié)構(gòu)8兩方，利用差分波形信息進(jìn)行三維物體的檢測(cè)，并且利用邊緣信息進(jìn)行三維物體的檢測(cè)。在具備模塊結(jié)構(gòu)八和模塊結(jié)構(gòu)8的情況下，例如能夠與明亮度等環(huán)境因素相應(yīng)地使模塊結(jié)構(gòu)八和模塊結(jié)構(gòu)8中的某一個(gè)進(jìn)行動(dòng)作。以下，關(guān)于各結(jié)構(gòu)進(jìn)行說(shuō)明。
[0051]?利用差分波形信息檢測(cè)三維物體?
[0052]本實(shí)施方式的三維物體檢測(cè)裝置1根據(jù)由拍攝車輛后方的單眼的攝像機(jī)1獲得的圖像信息來(lái)檢測(cè)在車輛后方的右側(cè)檢測(cè)區(qū)域或左側(cè)檢測(cè)區(qū)域存在的三維物體。
[0053]視點(diǎn)變換部31輸入由攝像機(jī)10拍攝得到的規(guī)定區(qū)域的攝像圖像數(shù)據(jù)，將所輸入的攝像圖像數(shù)據(jù)視點(diǎn)變換為鳥(niǎo)瞰視點(diǎn)狀態(tài)的鳥(niǎo)瞰視點(diǎn)圖像數(shù)據(jù)。鳥(niǎo)瞰視點(diǎn)狀態(tài)是指從上空、例如從鉛垂向下俯視的虛擬攝像機(jī)的視點(diǎn)觀看的狀態(tài)。能夠例如日本特開(kāi)2008-219063號(hào)公報(bào)所記載的那樣執(zhí)行該視點(diǎn)變換。將攝像圖像數(shù)據(jù)視點(diǎn)變換為鳥(niǎo)瞰視點(diǎn)圖像數(shù)據(jù)是因?yàn)榛谌缦略砟軌蜃R(shí)別平面物體和三維物體，該原理為三維物體所特有的鉛垂邊緣通過(guò)視點(diǎn)變換為鳥(niǎo)瞰視點(diǎn)圖像數(shù)據(jù)而被變換為通過(guò)特定的定點(diǎn)的直線群。此外，在后述的利用邊緣信息檢測(cè)三維物體過(guò)程中也使用視點(diǎn)變換部31的圖像變換處理的結(jié)果。
[0054]對(duì)位部32依次輸入通過(guò)視點(diǎn)變換部31的視點(diǎn)變換得到的鳥(niǎo)瞰視點(diǎn)圖像數(shù)據(jù)，并將所輸入的不同時(shí)刻的鳥(niǎo)瞰視點(diǎn)圖像數(shù)據(jù)的位置對(duì)準(zhǔn)。圖4是用于說(shuō)明對(duì)位部32的處理概要的圖，仏)是表示本車輛^的移動(dòng)狀態(tài)的俯視圖，(幻是表示對(duì)位的概要的圖像。
[0055]如圖4的(幻所示，設(shè)為當(dāng)前時(shí)刻的本車輛V位于VI，前一時(shí)刻的本車輛V位于乂2。另外，設(shè)為其它車輛爪位于本車輛V的后側(cè)方向并與本車輛V處于并列行駛狀態(tài)，當(dāng)前時(shí)刻的其它車輛”位于V〗，前一時(shí)刻的其它車輛爪位于VI并且，設(shè)為本車輛V在一時(shí)刻移動(dòng)了距離1此外，前一時(shí)刻可以是從當(dāng)前時(shí)刻起相隔預(yù)先決定時(shí)間(例如一個(gè)控制周期)的過(guò)去時(shí)刻，也可以是相隔任意時(shí)間的過(guò)去時(shí)刻。
[0056]在這樣的狀態(tài)中，當(dāng)前時(shí)刻的鳥(niǎo)瞰視點(diǎn)圖像？氏如圖4的(幻所示那樣。在該鳥(niǎo)瞰視點(diǎn)圖像？氏中，描繪在路面上的白線為矩形狀，是比較準(zhǔn)確地以俯視觀察所形成的狀態(tài)，但是處于位置V〗的其它車輛XX的位置發(fā)生傾倒。另外，前一時(shí)刻的鳥(niǎo)瞰視點(diǎn)圖像？也同樣地，描繪在路面上的白線為矩形狀，是比較準(zhǔn)確地以俯視觀察所形成的狀態(tài)，但是處于位置料的其它車輛XX發(fā)生傾倒。如已經(jīng)記述的那樣，是因?yàn)槿S物體的鉛垂邊緣(除了嚴(yán)格意義上的鉛垂邊緣以外還包括在三維空間中從路面立起的邊緣)通過(guò)變換為鳥(niǎo)瞰視點(diǎn)圖像數(shù)據(jù)的視點(diǎn)變換處理而表現(xiàn)為沿著傾倒方向的直線群，與此相對(duì)地路面上的平面圖像不包含鉛垂邊緣，因此即使進(jìn)行視點(diǎn)變換也不會(huì)產(chǎn)生那樣的傾倒。
[0057]對(duì)位部32在數(shù)據(jù)上執(zhí)行如上所述的鳥(niǎo)瞰視點(diǎn)圖像的對(duì)位。此時(shí)，對(duì)位部32使前一時(shí)刻的鳥(niǎo)瞰視點(diǎn)圖像偏移來(lái)使位置與當(dāng)前時(shí)刻的鳥(niǎo)瞰視點(diǎn)圖像？8 #目一致。圖4的化)的左側(cè)的圖像和中央的圖像表示偏移了移動(dòng)距離1后的狀態(tài)。該偏移量1是與圖4的(幻所示的本車輛V的實(shí)際的移動(dòng)距離(1對(duì)應(yīng)的鳥(niǎo)瞰視點(diǎn)圖像數(shù)據(jù)上的移動(dòng)量，是根據(jù)來(lái)自車速傳感器20的信號(hào)和從前一時(shí)刻至當(dāng)前時(shí)刻的時(shí)間而決定的。
[0058]另外，在對(duì)位之后，對(duì)位部32取鳥(niǎo)瞰視點(diǎn)圖像？氏、？8^的差分，生成差分圖像？
的數(shù)據(jù)。在此，差分圖像？0,的像素值可以是將鳥(niǎo)瞰視點(diǎn)圖像？8,、的像素值之差絕對(duì)值化得到的像素值，也可以為了對(duì)應(yīng)照度環(huán)境的變化而在該絕對(duì)值超過(guò)規(guī)定的閾值？時(shí)設(shè)為“1”，在不超過(guò)規(guī)定的閾值？時(shí)設(shè)為“0”。圖4的化)的右側(cè)的圖像是差分圖像？IV該閾值？可以預(yù)先設(shè)定，也可以按照后述的控制部39所生成的控制命令進(jìn)行變更。
[0059]返回圖3，三維物體檢測(cè)部33根據(jù)圖4的㈦所示的差分圖像？0,的數(shù)據(jù)來(lái)檢測(cè)三維物體。此時(shí)，本例的三維物體檢測(cè)部33還計(jì)算在實(shí)際空間中的三維物體的移動(dòng)距離。在三維物體的檢測(cè)以及移動(dòng)距離的計(jì)算時(shí)，三維物體檢測(cè)部33首先生成差分波形。此外，在三維物體的移動(dòng)速度的計(jì)算中使用三維物體的每單位時(shí)間的移動(dòng)距離。而且，三維物體的移動(dòng)速度能夠在判斷三維物體是否為車輛時(shí)使用。
[0060]在生成差分波形時(shí)，本實(shí)施方式的三維物體檢測(cè)部33在差分圖像中設(shè)定檢測(cè)區(qū)域。本例的三維物體檢測(cè)裝置1將本車輛V的駕駛員予以注意的其它車輛XX、特別是在本車輛V進(jìn)行車道變更時(shí)有可能接觸的行駛于與本車輛V所行駛的車道相鄰的車道的其它車輛冗作為檢測(cè)對(duì)象物進(jìn)行檢測(cè)。因此，在根據(jù)圖像信息檢測(cè)三維物體的本例中，在由攝像機(jī)1得到的圖像中的本車輛V的右側(cè)和左側(cè)設(shè)定兩個(gè)檢測(cè)區(qū)域。具體地說(shuō)，在本實(shí)施方式中，如圖2所示那樣在本車輛7后方的左側(cè)和右側(cè)設(shè)定矩形狀的檢測(cè)區(qū)域八1、八2。在該檢測(cè)區(qū)域八1、八2中檢測(cè)出的其它車輛爪被檢測(cè)為行駛于與本車輛V所行駛的車道相鄰的鄰近車道的障礙物。此外，這樣的檢測(cè)區(qū)域八1、八2可以根據(jù)相對(duì)于本車輛V的相對(duì)位置進(jìn)行設(shè)定，也可以將白線的位置作為基準(zhǔn)進(jìn)行設(shè)定。在以白線的位置為基準(zhǔn)進(jìn)行設(shè)定的情況下，移動(dòng)距離檢測(cè)裝置1例如優(yōu)選利用已有的白線識(shí)別技術(shù)等。
[0061]另外，三維物體檢測(cè)部33將所設(shè)定的檢測(cè)區(qū)域八1、八2的在本車輛V側(cè)的邊(沿著行駛方向的邊)識(shí)別為觸地線通常，觸地線是指三維物體接觸地面的線，但是在本實(shí)施方式中不是接觸地面的線而是如上述那樣進(jìn)行設(shè)定。此外，在這種情況下，從經(jīng)驗(yàn)上看本實(shí)施方式所涉及的觸地線與本來(lái)基于其它車輛XX的位置求出的觸地線之差也不會(huì)過(guò)大，從而在實(shí)際使用上沒(méi)有問(wèn)題。
[0062]圖5是表示圖3所示的三維物體檢測(cè)部33生成差分波形的情形的概要圖。如圖5所示，三維物體檢測(cè)部33根據(jù)由對(duì)位部32計(jì)算出的差分圖像？0“圖4的化)的右圖)中的相當(dāng)于檢測(cè)區(qū)域八1、八2的部分來(lái)生成差分波形0^。此時(shí)，三維物體檢測(cè)部33沿著通過(guò)視點(diǎn)變換而三維物體傾倒的方向生成差分波形0^。此外，在圖5所示的例子中，為了方便僅使用檢測(cè)區(qū)域八1進(jìn)行說(shuō)明，但是關(guān)于檢測(cè)區(qū)域八2，也以相同的過(guò)程生成差分波形0%。
[0063]具體地說(shuō)，三維物體檢測(cè)部33在差分圖像0%的數(shù)據(jù)上定義三維物體傾倒的方向上的線匕。然后，三維物體檢測(cè)部33對(duì)線匕上示出規(guī)定的差分的差分像素0？的個(gè)數(shù)進(jìn)行計(jì)數(shù)。在此，在差分圖像0^的像素值是將鳥(niǎo)瞰視點(diǎn)圖像？8 0 ？8~的像素值之差絕對(duì)值化得到的像素值的情況下，示出規(guī)定的差分的差分像素0？是超過(guò)規(guī)定的閾值的像素，在差分圖像0%的像素值用“ 0 ”、“ 1 ”表現(xiàn)的情況下，是表示“ 1 ”的像素。
[0064]三維物體檢測(cè)部33在對(duì)差分像素0？的個(gè)數(shù)進(jìn)行計(jì)數(shù)之后，求出線匕與觸地線[1的交點(diǎn)⑶。然后，三維物體檢測(cè)部33將交點(diǎn)⑶與計(jì)數(shù)數(shù)進(jìn)行對(duì)應(yīng)，根據(jù)交點(diǎn)⑶的位置來(lái)決定橫軸位置、即在圖5的右圖的上下方向軸上的位置，并且根據(jù)計(jì)數(shù)數(shù)決定縱軸位置、圖5的右圖的左右方向軸上的位置，繪制出交點(diǎn)⑶處的計(jì)數(shù)數(shù)。
[0065]以下同樣地，三維物體檢測(cè)部33對(duì)三維物體傾倒的方向上的線03、IX，?，進(jìn)行定義，來(lái)對(duì)差分像素0？的個(gè)數(shù)進(jìn)行計(jì)數(shù)，根據(jù)各交點(diǎn)⑶的位置決定橫軸位置、基于計(jì)數(shù)數(shù)(差分像素0？的個(gè)數(shù))決定縱軸位置進(jìn)行繪制。三維物體檢測(cè)部33依次重復(fù)上述內(nèi)容進(jìn)行頻數(shù)分布化來(lái)如圖5右圖所示那樣生成差分波形0^。
[0066]此外，如圖5左圖所示，三維物體傾倒的方向上的線匕和線03與檢測(cè)區(qū)域八1相重疊的距離不同。因此，當(dāng)假設(shè)檢測(cè)區(qū)域八1被差分像素0？填滿時(shí)，線匕上的差分像素0？的個(gè)數(shù)多于線“上的差分像素0？的個(gè)數(shù)。因此，三維物體檢測(cè)部33在基于差分像素0？的計(jì)數(shù)數(shù)決定縱軸位置的情況下，根據(jù)三維物體傾倒的方向上的線匕、!^與檢測(cè)區(qū)域八1相重疊的距離來(lái)進(jìn)行標(biāo)準(zhǔn)化。當(dāng)列舉具體例時(shí)，在圖5左圖中，在線匕上有6個(gè)差分像素0？，在線03上有5個(gè)差分像素0？。因此，在圖5中基于計(jì)數(shù)數(shù)決定縱軸位置時(shí)，三維物體檢測(cè)部33將計(jì)數(shù)數(shù)除以重疊距離等來(lái)進(jìn)行標(biāo)準(zhǔn)化。由此，如差分波形0^所示那樣，與三維物體傾倒的方向上的線匕、對(duì)應(yīng)的差分波形0^的值大致相同。
[0067]在生成差分波形0%之后，三維物體檢測(cè)部33通過(guò)與前一時(shí)刻的差分波形01^的對(duì)比來(lái)計(jì)算移動(dòng)距離。即，三維物體檢測(cè)部33基于差分波形0^、010的時(shí)間變化來(lái)計(jì)算移動(dòng)距離。
[0068]詳細(xì)地說(shuō)，三維物體檢測(cè)部33如圖6所示那樣將差分波形01,分割成多個(gè)小區(qū)域
為2以上的任意整數(shù)圖6是表示由三維物體檢測(cè)部33分割出的小區(qū)域0^?01 #的圖。小區(qū)域01 “?01 #例如圖6所示那樣以相互重疊的方式進(jìn)行分割。例如小區(qū)域小區(qū)域01重疊，小區(qū)域0112與小區(qū)域01。重疊。
[0069]接著，三維物體檢測(cè)部33按各小區(qū)域01 &求出偏移量(差分波形的橫軸方向(圖6的上下方向)的移動(dòng)量)。在此，根據(jù)前一時(shí)刻的差分波形010與當(dāng)前時(shí)刻的差分波形0^之差(橫軸方向的距離)來(lái)求出偏移量。此時(shí)，三維物體檢測(cè)部33按各小區(qū)域01,！?01 在使前一時(shí)刻的差分波形01“沿橫軸方向移動(dòng)時(shí)，判斷出與當(dāng)前時(shí)刻的差分波形0%的誤差最小的位置(橫軸方向的位置)，求出差分波形01 ~的原來(lái)的位置與誤差最小的位置的在橫軸方向上的移動(dòng)量來(lái)作為偏移量。然后，三維物體檢測(cè)部33對(duì)按各小區(qū)域0^工?01 &求出的偏移量進(jìn)行計(jì)數(shù)來(lái)制作直方圖。
[0070]圖7是表示由三維物體檢測(cè)部33獲得的直方圖的一例的圖。如圖7所示，各小區(qū)域而“?01 &與前一時(shí)刻的差分波形而㈠的誤差最小的移動(dòng)量即偏移量稍微產(chǎn)生偏差。因此，三維物體檢測(cè)部33將包含偏差的偏移量制作成直方圖，基于直方圖計(jì)算移動(dòng)距離。此時(shí)，三維物體檢測(cè)部33根據(jù)直方圖的極大值計(jì)算三維物體的移動(dòng)距離。即，在圖7所示的例子中，三維物體檢測(cè)部33將表示直方圖的極大值的偏移量計(jì)算為移動(dòng)距離I ^此外，該移動(dòng)距離I#是其它車輛XX相對(duì)于本車輛V的相對(duì)移動(dòng)距離。因此，三維物體檢測(cè)部33在計(jì)算絕對(duì)移動(dòng)距離的情況下，根據(jù)所得到的移動(dòng)距離I #和來(lái)自車速傳感器20的信號(hào)來(lái)計(jì)算絕對(duì)移動(dòng)距離。
[0071]此外，在制作成直方圖時(shí)，三維物體檢測(cè)部33也可以針對(duì)多個(gè)小區(qū)域而“?而&中的每一個(gè)進(jìn)行加權(quán)，與權(quán)重相應(yīng)地對(duì)按各小區(qū)域01 &求出的偏移量進(jìn)行計(jì)數(shù)來(lái)制作直方圖。圖8是表示三維物體檢測(cè)部33的加權(quán)的圖。
[0072]如圖8所示，小區(qū)域0^011^1以上、!1-1以下的整數(shù))是平坦的。即，小區(qū)域0^的示出規(guī)定的差分的像素?cái)?shù)的計(jì)數(shù)的最大值與最小值之差小。三維物體檢測(cè)部33針對(duì)這樣的小區(qū)域01將權(quán)重減小。這是因?yàn)殛P(guān)于平坦的小區(qū)域01沒(méi)有特征，從而在計(jì)算偏移量時(shí)誤差變大的可能性尚。
[0073]另一方面，小區(qū)域?yàn)?1-111以下的整數(shù))有大量的起伏。即，小區(qū)域的示出規(guī)定的差分的像素?cái)?shù)的計(jì)數(shù)數(shù)的最大值與最小值之差大。三維物體檢測(cè)部33針對(duì)這樣的小區(qū)域?qū)?quán)重增大。這是因?yàn)殛P(guān)于有很多起伏的小區(qū)域01 -具有特征，從而能夠正確地進(jìn)行偏移量的計(jì)算的可能性高。通過(guò)像這樣進(jìn)行加權(quán)，能夠提高移動(dòng)距離的計(jì)算精度。
[0074]此外，為了提高移動(dòng)距離的計(jì)算精度，在上述實(shí)施方式中，將差分波形0%分割成了多個(gè)小區(qū)域而口?而#，但是在移動(dòng)距離的計(jì)算精度要求不那么高的情況下，也可以不分割成小區(qū)域01?01吣在這種情況下，三維物體檢測(cè)部33根據(jù)差分波形0%與差分波形口胃㈠的誤差變?yōu)樽钚r(shí)的差分波形01 ^的偏移量來(lái)計(jì)算移動(dòng)距離。即，求前一時(shí)刻的差分波形而㈠與當(dāng)前時(shí)刻的差分波形01 3勺偏移量的方法不限定于上述內(nèi)容。
[0075]返回圖3，計(jì)算機(jī)30具備拖影檢測(cè)部40。拖影檢測(cè)部40根據(jù)由攝像機(jī)10拍攝得到的攝像圖像的數(shù)據(jù)來(lái)檢測(cè)拖影的產(chǎn)生區(qū)域。此外，由于拖影是在圖像傳感器等中產(chǎn)生的過(guò)曝光現(xiàn)象，因此如果采用使用了不產(chǎn)生這樣的拖影的0^03圖像傳感器等的攝像機(jī)10，則也可以省略拖影檢測(cè)部40。
[0076]圖9是用于說(shuō)明拖影檢測(cè)部40的處理以及基于該處理的差分波形0^的計(jì)算處理的圖像圖。首先，設(shè)為對(duì)拖影檢測(cè)部40輸入了存在拖影3的攝像圖像？的數(shù)據(jù)。此時(shí)，拖影檢測(cè)部40根據(jù)攝像圖像？檢測(cè)拖影3。拖影3的檢測(cè)方法多種多樣，例如在一般的
1)6^106:電荷|禹合器件)攝像機(jī)的情況下，從光源僅向圖像下方向產(chǎn)生拖影3。因此，在本實(shí)施方式中，檢索從圖像下側(cè)向圖像上方具有規(guī)定值以上的亮度值且在縱方向上連續(xù)的區(qū)域，將其確定為拖影3的產(chǎn)生區(qū)域。
[0077]另外，拖影檢測(cè)部40生成關(guān)于拖影3的產(chǎn)生部分將像素值設(shè)為“1 ”、將除此以外的部分設(shè)為“0”的拖影圖像3？的數(shù)據(jù)。在生成后，拖影檢測(cè)部40將拖影圖像3？的數(shù)據(jù)發(fā)送到視點(diǎn)變換部31。另外，輸入了拖影圖像3？的數(shù)據(jù)的視點(diǎn)變換部31將該數(shù)據(jù)視點(diǎn)變換為鳥(niǎo)瞰視點(diǎn)的狀態(tài)。由此，視點(diǎn)變換部31生成拖影鳥(niǎo)瞰視點(diǎn)圖像3氏的數(shù)據(jù)。在生成后，視點(diǎn)變換部31將拖影鳥(niǎo)瞰視點(diǎn)圖像3氏的數(shù)據(jù)發(fā)送到對(duì)位部33。視點(diǎn)變換部31還將前一時(shí)刻的拖影鳥(niǎo)瞰視點(diǎn)圖像38“的數(shù)據(jù)發(fā)送到對(duì)位部33。
[0078]對(duì)位部32在數(shù)據(jù)上執(zhí)行拖影鳥(niǎo)瞰視點(diǎn)圖像3氏、郊㈠的對(duì)位。關(guān)于具體的對(duì)位，與在數(shù)據(jù)上執(zhí)行鳥(niǎo)瞰視點(diǎn)圖像？氏、？^“的對(duì)位的情況相同。另外，在對(duì)位后，對(duì)位部32關(guān)于各拖影鳥(niǎo)瞰視點(diǎn)圖像3氏、38“的拖影3的產(chǎn)生區(qū)域取邏輯或。由此，對(duì)位部32生成掩模圖像即的數(shù)據(jù)。在生成后，對(duì)位部32將掩模圖像即的數(shù)據(jù)發(fā)送到三維物體檢測(cè)部33。
[0079]三維物體檢測(cè)部33關(guān)于掩模圖像腿3中的相當(dāng)于拖影3的產(chǎn)生區(qū)域的部分，將頻數(shù)分布的計(jì)數(shù)數(shù)設(shè)為零。即，在生成了如圖9所示那樣的差分波形0^的情況下，三維物體檢測(cè)部33將拖影3的計(jì)數(shù)數(shù)％設(shè)為零，生成校正后的差分波形01/。
[0080]此外，在本實(shí)施方式中，三維物體檢測(cè)部33求出車輛攝像機(jī)10)的移動(dòng)速度，根據(jù)求出的移動(dòng)速度求出關(guān)于靜止物體的偏移量。在求出靜止物體的偏移量之后，三維物體檢測(cè)部33忽略直方圖的極大值中的相當(dāng)于靜止物體的偏移量之后計(jì)算三維物體的移動(dòng)距離。
[0081]圖10是表示由三維物體檢測(cè)部33獲得的直方圖的另一例的圖。在攝像機(jī)10的視角內(nèi)除了其它車輛冗以外還存在靜止物體的情況下，在獲得的直方圖中出現(xiàn)兩個(gè)極大值I 1、I 2。在這種情況下，兩個(gè)極大值I 1、I 2中的某一方是靜止物體的偏移量。因此，三維物體檢測(cè)部33根據(jù)移動(dòng)速度求出關(guān)于靜止物體的偏移量，忽略相當(dāng)于該偏移量的極大值，采用剩下的一方的極大值計(jì)算三維物體的移動(dòng)距離。
[0082]此外，在即使忽略了相當(dāng)于靜止物體的偏移量也存在多個(gè)極大值的情況下，設(shè)想在攝像機(jī)10的視角內(nèi)存在多輛其它車輛VI。但是，在檢測(cè)區(qū)域八1、八2內(nèi)存在多輛其它車輛XX的情形是非常少見(jiàn)的。因此，三維物體檢測(cè)部33中止移動(dòng)距離的計(jì)算。
[0083]接著，說(shuō)明基于差分波形信息的三維物體檢測(cè)過(guò)程。圖11和圖12是表示本實(shí)施方式的三維物體檢測(cè)過(guò)程的流程圖。如圖11所示，首先，計(jì)算機(jī)30輸入由攝像機(jī)10得到的攝像圖像？的數(shù)據(jù)，由拖影檢測(cè)部40生成拖影圖像$(31)。接著，視點(diǎn)變換部31根據(jù)來(lái)自攝像機(jī)10的攝像圖像？的數(shù)據(jù)生成鳥(niǎo)瞰視點(diǎn)圖像？氏的數(shù)據(jù)，并且根據(jù)拖影圖像3？的數(shù)據(jù)生成拖影鳥(niǎo)瞰視點(diǎn)圖像3氏的數(shù)據(jù)(32)。
[0084]然后，對(duì)位部33將鳥(niǎo)瞰視點(diǎn)圖像？氏的數(shù)據(jù)和前一時(shí)刻的鳥(niǎo)瞰視點(diǎn)圖像？8 ~的數(shù)據(jù)進(jìn)行對(duì)位，并且將拖影鳥(niǎo)瞰視點(diǎn)圖像3氏的數(shù)據(jù)和前一時(shí)刻的拖影鳥(niǎo)瞰視點(diǎn)圖像38 ~的數(shù)據(jù)進(jìn)行對(duì)位(33)。在該對(duì)位之后，對(duì)位部33生成差分圖像？0,的數(shù)據(jù)，并且生成掩模圖像即的數(shù)據(jù)(34)。之后，三維物體檢測(cè)部33根據(jù)差分圖像？0,的數(shù)據(jù)和前一時(shí)刻的差分圖像的數(shù)據(jù)生成差分波形01, (85)。在生成差分波形0%之后，三維物體檢測(cè)部33將差分波形0^中的相當(dāng)于拖影3的產(chǎn)生區(qū)域的計(jì)數(shù)數(shù)設(shè)為零，從而抑制拖影3所產(chǎn)生的影響(86)。
[0085]之后，三維物體檢測(cè)部33判斷差分波形0^的峰值是否為第一閾值0以上(37)。該第一閾值0是預(yù)先設(shè)定的，也能夠按照?qǐng)D3所示的控制部39的控制命令進(jìn)行變更，在后記述其詳細(xì)內(nèi)容。在此，在差分波形0%的峰值不為第一閾值0以上的情況下、即幾乎不存在差分的情況下，認(rèn)為在攝像圖像？?jī)?nèi)不存在三維物體。因此，在判斷為差分波形0化的峰值不為第一閾值0以上的情況下(37 否”)，三維物體檢測(cè)部33判斷為不存在三維物體，從而不存在作為障礙物的其它車輛圖12:816) 0然后，結(jié)束圖11和圖12所示的處理。
[0086]另一方面，在判斷為差分波形0%的峰值為第一閾值0以上的情況下(37:“是”)，三維物體檢測(cè)部33判斷為存在三維物體，將差分波形0%分割成多個(gè)小區(qū)域01。?01^(88)。接著，三維物體檢測(cè)部33針對(duì)各小區(qū)域01 &進(jìn)行加權(quán)(39)。之后，三維物體檢測(cè)部33計(jì)算各小區(qū)域而“?01 &的偏移量(310),考慮權(quán)重并生成直方圖(311)。
[0087]然后，三維物體檢測(cè)部33基于直方圖計(jì)算三維物體相對(duì)于本車輛V的移動(dòng)距離、即相對(duì)移動(dòng)距離(3121接著，三維物體檢測(cè)部33根據(jù)相對(duì)移動(dòng)距離計(jì)算三維物體的絕對(duì)移動(dòng)速度(313)。此時(shí)，三維物體檢測(cè)部33對(duì)相對(duì)移動(dòng)距離進(jìn)行時(shí)間微分來(lái)計(jì)算相對(duì)移動(dòng)速度，并且加上由車速傳感器20檢測(cè)出的本車速度來(lái)計(jì)算絕對(duì)移動(dòng)速度。
[0088]之后，三維物體檢測(cè)部33判斷三維物體的絕對(duì)移動(dòng)速度是否為101^/11以上且三維物體相對(duì)于本車輛V的相對(duì)移動(dòng)速度是否為+601^/?以下(3141在滿足雙方的情況下(314 是”)，三維物體檢測(cè)部33判斷為三維物體是其它車輛XX (3151然后，結(jié)束圖11和圖12所示的處理。另一方面，在有任一方不滿足的情況下(314 否”)，三維物體檢測(cè)部33判斷為不存在其它車輛”(3161然后，結(jié)束圖11和圖12所示的處理。
[0089]此外，在本實(shí)施方式中，將本車輛V的后側(cè)方設(shè)為檢測(cè)區(qū)域八1、八2，檢測(cè)本車輛乂在行駛過(guò)程中應(yīng)予以注意的行駛于與本車輛的行駛車道相鄰的鄰近車道的其它車輛XX，特別地說(shuō)，重點(diǎn)在于在本車輛V進(jìn)行車道變更的情況下是否有接觸的可能性。這是為了在本車輛V進(jìn)行車道變更的情況下，判斷是否有可能接觸到行駛于與本車輛的行駛車道相鄰的鄰近車道的其它車輛冗。因此，執(zhí)行了步驟314的處理。即，當(dāng)以使本實(shí)施方式的系統(tǒng)在高速公路上工作的情形為前提時(shí)，在三維物體的速度小于101^/1！的情況下，即使存在其它車輛XX，在進(jìn)行車道變更時(shí)由于位于距本車輛V很遠(yuǎn)的后方，因此很少會(huì)成為問(wèn)題。同樣地，在三維物體相對(duì)于本車輛V的相對(duì)移動(dòng)速度超過(guò)+601^/?的情況下(即，三維物體相對(duì)于本車輛V的速度以大于601^/1！的速度移動(dòng)的情況下)，在進(jìn)行車道變更時(shí)，由于在本車輛V的前方移動(dòng)，因此很少會(huì)成為問(wèn)題。因此，在步驟314中，也可以說(shuō)判斷出了在進(jìn)行車道變更時(shí)成為問(wèn)題的其它車輛I
[0090]另外，通過(guò)在步驟314中判斷三維物體的絕對(duì)移動(dòng)速度是否為101^/11以上且三維物體相對(duì)于本車輛V的相對(duì)移動(dòng)速度是否為+601^/?以下，由此存在以下的效果。例如，根據(jù)攝像機(jī)10的安裝誤差，有可能存在將靜止物體的絕對(duì)移動(dòng)速度檢測(cè)出是數(shù)1^/11的情況。因此，通過(guò)判斷是否為10-/1！以上，能夠減少將靜止物體判斷為是其它車輛XX的可能性。另外，有可能由于噪聲而導(dǎo)致將三維物體相對(duì)于本車輛V的相對(duì)速度檢測(cè)為超過(guò)+601^/?的速度。因此，通過(guò)判斷相對(duì)速度是否為+601^/?以下，能夠減少因噪聲引起的錯(cuò)誤檢測(cè)的可能性。
[0091]并且也可以是，代替步驟314的處理，而判斷絕對(duì)移動(dòng)速度不為負(fù)、不為01^/1另夕卜，在本實(shí)施方式中，重點(diǎn)在于本車輛V在進(jìn)行車道變更的情況下是否有接觸的可能性，因此在步驟315中檢測(cè)出其它車輛XX的情況下，可以向本車輛的駕駛員發(fā)出警告音，或者通過(guò)規(guī)定的顯示裝置進(jìn)行相當(dāng)于警告的顯示。
[0092]這樣，根據(jù)本例的基于差分波形信息的三維物體的檢測(cè)過(guò)程，沿著通過(guò)視點(diǎn)變換而三維物體傾倒的方向，對(duì)在差分圖像？0,的數(shù)據(jù)上示出規(guī)定的差分的像素?cái)?shù)進(jìn)行計(jì)數(shù)來(lái)進(jìn)行頻數(shù)分布化，由此生成差分波形0^。在此，在差分圖像？1\的數(shù)據(jù)上示出規(guī)定的差分的像素是指在不同時(shí)刻的圖像中存在變化的像素，換言之，可以說(shuō)是存在三維物體的部分。因此，在存在三維物體的部分，通過(guò)沿著三維物體傾倒的方向?qū)ο袼財(cái)?shù)進(jìn)行計(jì)數(shù)來(lái)進(jìn)行頻數(shù)分布化，由此生成差分波形0^。特別地，由于沿著三維物體傾倒的方向?qū)ο袼財(cái)?shù)進(jìn)行計(jì)數(shù)，因此根據(jù)針對(duì)三維物體來(lái)說(shuō)在高度方向上的信息來(lái)生成差分波形0^。然后，根據(jù)包含高度方向的信息的差分波形0^的時(shí)間變化來(lái)計(jì)算三維物體的移動(dòng)距離。因此，與僅著眼于1個(gè)點(diǎn)的移動(dòng)的情況相比，時(shí)間變化前的檢測(cè)部分和時(shí)間變化后的檢測(cè)部分由于包含高度方向的信息進(jìn)行確定，因此容易得到三維物體中相同的部分，從而根據(jù)相同部分的時(shí)間變化來(lái)計(jì)算移動(dòng)距離，能夠提高移動(dòng)距離的計(jì)算精度。
[0093]另外，關(guān)于差分波形0^中的相當(dāng)于拖影3的產(chǎn)生區(qū)域的部分，將頻數(shù)分布的計(jì)數(shù)數(shù)設(shè)為零。由此，去除差分波形0%中的由拖影3產(chǎn)生的波形部位，從而能夠防止將拖影3錯(cuò)誤識(shí)別為三維物體的情形。
[0094]另外，根據(jù)在不同的時(shí)刻生成的差分波形0%的誤差最小時(shí)的差分波形0^的偏移量來(lái)計(jì)算三維物體的移動(dòng)距離。因此，根據(jù)波形這樣的一維的信息的偏移量來(lái)計(jì)算移動(dòng)距離，從而能夠在計(jì)算移動(dòng)距離時(shí)抑制計(jì)算成本。
[0095]另外，將在不同的時(shí)刻生成的差分波形而,分割成多個(gè)小區(qū)域0101 通過(guò)像這樣分割成多個(gè)小區(qū)域01 由此得到多個(gè)表示三維物體的各個(gè)部分的波形。另外，針對(duì)各小區(qū)域01 &求出各個(gè)波形的誤差最小時(shí)的偏移量，對(duì)針對(duì)各小區(qū)域01。?01 &求出的偏移量進(jìn)行計(jì)數(shù)來(lái)制作直方圖，由此計(jì)算三維物體的移動(dòng)距離。因此，針對(duì)三維物體的各個(gè)部分求出偏移量，并根據(jù)多個(gè)偏移量求出移動(dòng)距離，從而能夠提高移動(dòng)距離的計(jì)算精度。
[0096]另外，針對(duì)多個(gè)小區(qū)域而^?而#中的每一個(gè)進(jìn)行加權(quán)，與權(quán)重相應(yīng)地對(duì)針對(duì)各小區(qū)域01 &求出的偏移量進(jìn)行計(jì)數(shù)來(lái)制作直方圖。因此，關(guān)于特征性的區(qū)域?qū)?quán)重增大，關(guān)于非特征性的區(qū)域?qū)?quán)重減小，由此能夠更適當(dāng)?shù)赜?jì)算移動(dòng)距離。因而，能夠進(jìn)一步提尚移動(dòng)距尚的計(jì)算精度。
[0097]另外，關(guān)于差分波形0%的各小區(qū)域而。?01…示出規(guī)定的差分的像素?cái)?shù)的計(jì)數(shù)的最大值與最小值之差越大，則使權(quán)重越大。因此，越是最大值與最小值之差大的特征性的起伏區(qū)域則權(quán)重越大，關(guān)于起伏小的平坦的區(qū)域，權(quán)重變小。在此，就形狀來(lái)說(shuō)，與平坦的區(qū)域相比，起伏大的區(qū)域更容易正確地求出偏移量，因此通過(guò)越是最大值與最小值之差大的區(qū)域則使權(quán)重越大，由此能夠進(jìn)一步提高移動(dòng)距離的計(jì)算精度。
[0098]另外，根據(jù)對(duì)針對(duì)各小區(qū)域01。?01 &求出的偏移量進(jìn)行計(jì)數(shù)得到的直方圖的極大值，計(jì)算三維物體的移動(dòng)距離。因此，即使偏移量產(chǎn)生偏差，也能夠根據(jù)其極大值來(lái)計(jì)算正確性更高的移動(dòng)距離。
[0099]另外，求出關(guān)于靜止物體的偏移量，并忽略該偏移量，因此能夠防止由于靜止物體而導(dǎo)致三維物體的移動(dòng)距離的計(jì)算精度下降的情形。另外，在忽略了相當(dāng)于靜止物體的偏移量之后，如果存在多個(gè)極大值，則中止三維物體的移動(dòng)距離的計(jì)算。因此，能夠防止如存在多個(gè)極大值那樣的錯(cuò)誤地計(jì)算移動(dòng)距離的情形。
[0100]此外，在上述實(shí)施方式中，根據(jù)來(lái)自車速傳感器20的信號(hào)判斷本車輛V的車速，但是不限于此，也可以根據(jù)不同時(shí)刻的多個(gè)圖像來(lái)估計(jì)速度。在這種情況下，不需要車速傳感器，能夠?qū)崿F(xiàn)結(jié)構(gòu)的簡(jiǎn)單化。
[0101]另外，在上述實(shí)施方式中，將拍攝到的當(dāng)前時(shí)刻的圖像和前一時(shí)刻的圖像變換為鳥(niǎo)瞰圖，對(duì)變換后的鳥(niǎo)瞰圖進(jìn)行對(duì)位之后生成差分圖像？0,，對(duì)所生成的差分圖像？0,沿著傾倒方向(將拍攝到的圖像變換為鳥(niǎo)瞰圖時(shí)的三維物體的傾倒方向)進(jìn)行評(píng)價(jià)來(lái)生成差分波形0%，但是不限定于此。例如也可以僅將前一時(shí)刻的圖像變換為鳥(niǎo)瞰圖，對(duì)變換得到的鳥(niǎo)瞰圖進(jìn)行對(duì)位之后再次變換為與所拍攝的圖像相當(dāng)?shù)膱D像，用該圖像和當(dāng)前時(shí)刻的圖像生成差分圖像，對(duì)所生成的差分圖像沿著相當(dāng)于傾倒方向的方向(即，將傾倒方向變換為攝像圖像上的方向所得到的方向)進(jìn)行評(píng)價(jià)來(lái)生成差分波形0^。即，對(duì)當(dāng)前時(shí)刻的圖像和前一時(shí)刻的圖像進(jìn)行對(duì)位，根據(jù)進(jìn)行對(duì)位后的兩個(gè)圖像的差分生成差分圖像？0,，只要能夠沿著將差分圖像？0/變換為鳥(niǎo)瞰圖時(shí)的三維物體的傾倒方向進(jìn)行評(píng)價(jià)，也可以不必明確地生成鳥(niǎo)瞰圖。
[0102]〈基于邊緣信息檢測(cè)三維物體〉
[0103]接著，說(shuō)明能夠代替圖3所示的三維物體的檢測(cè)模塊八而進(jìn)行動(dòng)作的三維物體的檢測(cè)模塊8。三維物體的檢測(cè)模塊8由亮度差計(jì)算部35、邊緣線檢測(cè)部36以及三維物體檢測(cè)部37構(gòu)成，利用邊緣信息檢測(cè)三維物體。圖13是表示圖3的攝像機(jī)10的攝像范圍等的圖，圖13的⑷是俯視圖，圖13的⑶表示本車輛V后側(cè)方的實(shí)際空間中的立體圖。如圖13的(￡1)所示，攝像機(jī)10形成為規(guī)定的視角￡1，從本車輛V拍攝包含于該規(guī)定的視角￡1中的后側(cè)方。攝像機(jī)10的視角3與圖2所示的情況同樣地被設(shè)定成在攝像機(jī)10的攝像范圍內(nèi)、除了包含本車輛V所行駛的車道以外還包含相鄰的車道。
[0104]本例的檢測(cè)區(qū)域八1、八2在俯視圖(鳥(niǎo)瞰視點(diǎn)的狀態(tài))中形成為梯形狀，這些檢測(cè)區(qū)域八1、八2的位置、大小以及形狀根據(jù)距離屯?I決定。此外，該圖所示的例子的檢測(cè)區(qū)域八1、八2不限于梯形狀，也可以是如圖2所示那樣在鳥(niǎo)瞰視點(diǎn)的狀態(tài)下為矩形等其它的形狀。
[0105]在此，距離(11是從本車輛V到觸地線1142的距離。觸地線1142是值存在于與本車輛V所行駛的車道相鄰的車道的三維物體接觸地面的線。在本實(shí)施方式中，目的是檢測(cè)在本車輛V的后側(cè)方行駛于與本車輛V的車道相鄰的左右車道的其它車輛爪等(包含二輪車等)。因此，能夠事先根據(jù)本車輛V至白線I的距離(111和從白線I至預(yù)測(cè)為其它車輛1行駛的位置的距離也2，大致固定地決定作為其它車輛的觸地線11、12的位置的距離(11。
[0106]另外，關(guān)于距離也，不限于決定為固定的值，也可以設(shè)為可變。在這種情況下，計(jì)算機(jī)30通過(guò)白線識(shí)別等技術(shù)來(lái)識(shí)別白線I相對(duì)于本車輛V的位置，根據(jù)識(shí)別出的白線I的位置來(lái)決定距離也1。由此，使用所決定的距離(111可變地設(shè)定距離也。在以下的本實(shí)施方式中，由于其它車輛”行駛的位置(距白線評(píng)的距離(112)和本車輛乂行駛的位置(距白線I的距離(111)大致固定，因此設(shè)為距離(11被決定為固定的值。
[0107]距離(12是從本車輛V的后端部沿車輛行進(jìn)方向延伸的距離。以檢測(cè)區(qū)域八1、八2至少收容在攝像機(jī)10的視角3內(nèi)的方式?jīng)Q定該距離也。特別地，在本實(shí)施方式中，距離(12被設(shè)定為與由視角3劃分的范圍相連。距離(13是表示檢測(cè)區(qū)域八1、八2的在車輛行進(jìn)方向上的長(zhǎng)度的距離。該距離(13根據(jù)作為檢測(cè)對(duì)象的三維物體的大小決定。在本實(shí)施方式中，由于檢測(cè)對(duì)象是其它車輛爪等，因此距離(13被設(shè)定為包含其它車輛爪的長(zhǎng)度。
[0108]距離(14是如圖13的(幻所示那樣表示被設(shè)定成在實(shí)際空間中包含其它車輛爪等的輪胎的高度的距離。距離(14在鳥(niǎo)瞰視點(diǎn)圖像中設(shè)為圖13的(幻所示的長(zhǎng)度。此外，距離(14也能夠設(shè)為不包含鳥(niǎo)瞰視點(diǎn)圖像中相比于左右的鄰近車道的下一鄰近車道(即，隔一車道的鄰近車道)的長(zhǎng)度。這是因?yàn)槿绻c本車輛^的車道隔一車道的鄰近車道，則無(wú)法區(qū)分是在作為本車輛V所行駛的車道的本車道的左右鄰近車道內(nèi)存在其它車輛I還是在隔一車道的鄰近車道內(nèi)存在其它車輛冗。
[0109]如以上那樣決定距離(11?距離似，由此決定檢測(cè)區(qū)域八1、八2的位置、大小以及形狀。具體地說(shuō)，根據(jù)距離也，決定形成梯形的檢測(cè)區(qū)域八1、八2的上邊化的位置。根據(jù)距離也，決定上邊化的起點(diǎn)位置01。根據(jù)距離泊，決定上邊化的終點(diǎn)位置02。根據(jù)從攝像機(jī)10向起點(diǎn)位置延伸的直線[3，決定形成梯形的檢測(cè)區(qū)域41、八2的側(cè)邊62。同樣地，根據(jù)從攝像機(jī)10向終點(diǎn)位置02延伸的直線“，決定形成梯形的檢測(cè)區(qū)域八1、八2的側(cè)邊…。根據(jù)距離似，決定形成梯形的檢測(cè)區(qū)域八1、八2的下邊64的位置。這樣，由各邊化?64包圍的區(qū)域設(shè)為檢測(cè)區(qū)域41、42。該檢測(cè)區(qū)域41、八2如圖13的㈦所示那樣在本車輛乂后側(cè)方的實(shí)際空間中形成為正方形(長(zhǎng)方形)。
[0110]返回圖3，視點(diǎn)變換部31輸入由攝像機(jī)10拍攝得到的規(guī)定區(qū)域的攝像圖像數(shù)據(jù)。視點(diǎn)變換部31針對(duì)所輸入的攝像圖像數(shù)據(jù)進(jìn)行視點(diǎn)變換處理形成為鳥(niǎo)瞰視點(diǎn)狀態(tài)的鳥(niǎo)瞰視點(diǎn)圖像數(shù)據(jù)。鳥(niǎo)瞰視點(diǎn)狀態(tài)是指從上空、例如從鉛垂向下(或者稍微斜向下)俯視的虛擬攝像機(jī)的視點(diǎn)觀看的狀態(tài)。例如能夠通過(guò)日本特開(kāi)2008-219063號(hào)公報(bào)所記載的技術(shù)來(lái)實(shí)現(xiàn)該視點(diǎn)變換處理。
[0111]亮度差計(jì)算部35為了檢測(cè)鳥(niǎo)瞰視點(diǎn)圖像中包含的三維物體的邊緣，而針對(duì)由視點(diǎn)變換部31進(jìn)行視點(diǎn)變換得到的鳥(niǎo)瞰視點(diǎn)圖像數(shù)據(jù)進(jìn)行亮度差的計(jì)算。亮度差計(jì)算部35針對(duì)沿著在實(shí)際空間中的鉛垂方向上延伸的鉛垂虛擬線的多個(gè)位置中的每個(gè)位置計(jì)算該各位置附近的兩個(gè)像素間的亮度差。亮度差計(jì)算部35能夠通過(guò)僅設(shè)定一條在實(shí)際空間中的鉛垂方向上延伸的鉛垂虛擬線的方法以及設(shè)定兩條鉛垂虛擬線的方法中的任一個(gè)方法來(lái)計(jì)算亮度差。
[0112]針對(duì)設(shè)定兩條鉛垂虛擬線的具體方法進(jìn)行說(shuō)明。亮度差計(jì)算部35針對(duì)進(jìn)行視點(diǎn)變換得到的鳥(niǎo)瞰視點(diǎn)圖像設(shè)定與實(shí)際空間中在鉛垂方向延伸的線段相當(dāng)?shù)牡谝汇U垂虛擬線以及與第一鉛垂虛擬線不同并與實(shí)際空間中在鉛垂方向延伸的線段相當(dāng)?shù)牡诙U垂虛擬線。亮度差計(jì)算部35沿著第一鉛垂虛擬線和第二鉛垂虛擬線連續(xù)地求出第一鉛垂虛擬線上的點(diǎn)與第二鉛垂虛擬線上的點(diǎn)的亮度差。以下，詳細(xì)說(shuō)明該亮度差計(jì)算部35的動(dòng)作。
[0113]亮度差計(jì)算部35如圖14的(幻所示那樣設(shè)定與實(shí)際空間中在鉛垂方向延伸相當(dāng)?shù)木€段且通過(guò)檢測(cè)區(qū)域八1的第一鉛垂虛擬線IV以下稱為關(guān)注線匕)。另外，亮度差計(jì)算部35設(shè)定與關(guān)注線匕不同并與實(shí)際空間中在鉛垂方向延伸的線段相當(dāng)且通過(guò)檢測(cè)區(qū)域八1的第二鉛垂虛擬線匕(以下稱為參照線匕)。在此，參照線匕被設(shè)置于距離關(guān)注線匕分離實(shí)際空間中的規(guī)定距離的位置處。此外，與實(shí)際空間中在鉛垂方向延伸的線段相當(dāng)?shù)木€是指在鳥(niǎo)瞰視點(diǎn)圖像中從攝像機(jī)10的位置？8起呈放射狀擴(kuò)展的線。該呈放射狀擴(kuò)展的線是沿著在變換為鳥(niǎo)瞰視點(diǎn)時(shí)三維物體傾倒的方向的線。
[0114]亮度差計(jì)算部35在關(guān)注線匕上設(shè)定關(guān)注點(diǎn)(第一鉛垂虛擬線上的點(diǎn))。另外，亮度差計(jì)算部35在參照線匕上設(shè)定參照點(diǎn)？I'(第二鉛垂虛擬線上的點(diǎn))。這些關(guān)注線匕、關(guān)注點(diǎn)參照線匕、參照點(diǎn)在實(shí)際空間中形成圖14的(幻所示的關(guān)系。如從圖14的(^)顯而易見(jiàn)地，關(guān)注線匕和參照線匕是在實(shí)際空間中在鉛垂方向上延伸的線，關(guān)注點(diǎn)和參照點(diǎn)是在實(shí)際空間中被設(shè)定為大致相同的高度的點(diǎn)。此外，關(guān)注點(diǎn)和參照點(diǎn)并不一定需要是嚴(yán)格上的相同的高度，關(guān)注點(diǎn)和參照點(diǎn)被視為相同高度的程度的誤差是允許的。
[0115]亮度差計(jì)算部35求出關(guān)注點(diǎn)與參照點(diǎn)的亮度差。假設(shè)關(guān)注點(diǎn)與參照點(diǎn)的亮度差大時(shí)，認(rèn)為在關(guān)注點(diǎn)與參照點(diǎn)之間存在邊緣。因此，圖3所示的邊緣線檢測(cè)部36根據(jù)關(guān)注點(diǎn)與參照點(diǎn)的亮度差來(lái)檢測(cè)邊緣線。
[0116]更詳細(xì)地說(shuō)明該點(diǎn)。圖15是表示亮度差計(jì)算部35的詳細(xì)動(dòng)作的圖，圖15的⑷表示鳥(niǎo)瞰視點(diǎn)狀態(tài)的鳥(niǎo)瞰視點(diǎn)圖像，圖15的化)是將圖15的(幻所示的鳥(niǎo)瞰視點(diǎn)圖像的一部分81放大后的圖。此外，關(guān)于圖15，僅圖示檢測(cè)區(qū)域八1進(jìn)行說(shuō)明，關(guān)于檢測(cè)區(qū)域八2，也以相同的過(guò)程計(jì)算亮度差。
[0117]在攝像機(jī)10拍攝到的攝像圖像內(nèi)拍攝有其它車輛爪的情況下，如圖15的⑷所示那樣，在鳥(niǎo)瞰視點(diǎn)圖像內(nèi)的檢測(cè)區(qū)域八1出現(xiàn)其它車輛冗。如圖15的㈦示出圖15的(^)中的區(qū)域81的放大圖那樣，設(shè)為在鳥(niǎo)瞰視點(diǎn)圖像上，在其它車輛XX的輪胎的橡膠部分上設(shè)定了關(guān)注線匕。在該狀態(tài)中，亮度差計(jì)算部35首先設(shè)定參照線匕。參照線匕被設(shè)定在實(shí)際空間中沿鉛垂方向距關(guān)注線13規(guī)定的距離的位置處。具體地說(shuō)，在本實(shí)施方式所涉及的三維物體檢測(cè)裝置1中，參照線匕被設(shè)定在實(shí)際空間中與關(guān)注線匕相距10(^的位置處。由此，參照線匕在鳥(niǎo)瞰視點(diǎn)圖像上例如被設(shè)定在與其它車輛1的輪胎的橡膠相距相當(dāng)于10(3111的距離的其它車輛XX的輪胎的輪輞(01661)上。
[0118]接著，亮度差計(jì)算部35在關(guān)注線匕上設(shè)定多個(gè)關(guān)注點(diǎn)？4?？抓。在圖15的$)中，為了便于說(shuō)明，設(shè)定了六個(gè)關(guān)注點(diǎn)化1?1^6(以下，在表示任意的點(diǎn)的情況下，僅稱為關(guān)注點(diǎn)化丨)。此外，在關(guān)注線匕上設(shè)定的關(guān)注點(diǎn)1?的個(gè)數(shù)可以是任意的。在以下的說(shuō)明中，設(shè)為在關(guān)注線匕上設(shè)定了 ~個(gè)關(guān)注點(diǎn)進(jìn)行說(shuō)明。
[0119]接著，亮度差計(jì)算部35將各參照點(diǎn)？1~1?？洲設(shè)定成在實(shí)際空間中與各關(guān)注點(diǎn)？31?？抓相同的高度。而且，亮度差計(jì)算部35計(jì)算相同高度的關(guān)注點(diǎn)與參照點(diǎn)的亮度差。由此，亮度差計(jì)算部35針對(duì)沿著在實(shí)際空間中的鉛垂方向上延伸的鉛垂虛擬線的多個(gè)位置(1?⑷中的每個(gè)位置計(jì)算兩個(gè)像素間的亮度差。亮度差計(jì)算部35例如計(jì)算第一關(guān)注點(diǎn)與第一參照點(diǎn)之間的亮度差，計(jì)算第二關(guān)注點(diǎn)與第二參照點(diǎn)之間的亮度差。由此，亮度差計(jì)算部35沿著關(guān)注線匕和參照線匕連續(xù)地求出亮度差。即，亮度差計(jì)算部35依次求出第三?第~關(guān)注點(diǎn)?？抓與第三?第~參照點(diǎn)?？洲的亮度差。
[0120]亮度差計(jì)算部35在檢測(cè)區(qū)域八1內(nèi)移動(dòng)關(guān)注線匕的同時(shí)重復(fù)執(zhí)行上述的參照線11-的設(shè)定、關(guān)注點(diǎn)和參照點(diǎn)的設(shè)定、亮度差的計(jì)算這樣的處理。即，亮度差計(jì)算部35在實(shí)際空間中沿觸地線[1的延伸方向以相同的距離改變關(guān)注線匕和參照線匕各自的位置的同時(shí)重復(fù)執(zhí)行上述的處理。亮度差計(jì)算部35例如將在前次處理中成為參照線匕的線設(shè)定為關(guān)注線匕，針對(duì)該關(guān)注線匕設(shè)定參照線匕，依次求出亮度差。
[0121]返回圖3，邊緣線檢測(cè)部36根據(jù)由亮度差計(jì)算部35計(jì)算出的連續(xù)的亮度差來(lái)檢測(cè)邊緣線。例如在圖15的(幻所示的情況下，第一關(guān)注點(diǎn)和第一參照點(diǎn)位于相同的輪胎部分，因此亮度差小。另一方面，第二關(guān)注點(diǎn)?第六關(guān)注點(diǎn)?位于輪胎的橡膠部分，第二參照點(diǎn)?第六參照點(diǎn)?？抑位于輪胎的輪輞部分。因而，第二關(guān)注點(diǎn)?第六關(guān)注點(diǎn)?與第二參照點(diǎn)?第六參照點(diǎn)？1~2?？1~6的亮度差變大。因此，邊緣線檢測(cè)部36能夠檢測(cè)出在亮度差大的第二關(guān)注點(diǎn)?第六關(guān)注點(diǎn)？力?與第二參照點(diǎn)?第六參照點(diǎn)?？抑之間存在邊緣線。
[0122]具體地說(shuō)，邊緣線檢測(cè)部36在檢測(cè)邊緣線時(shí)，首先依照下述的數(shù)式1，根據(jù)第1個(gè)關(guān)注點(diǎn)(坐標(biāo)“1，71))與第1個(gè)參照點(diǎn)(坐標(biāo)“1’，71’))的亮度差來(lái)對(duì)第1個(gè)關(guān)注點(diǎn)賦予屬性。
[0123][數(shù)1]
[0124]I (^1, 71) ? I “1，，7土，)+七時(shí)
[0125]8 “1，71) = 1
[0126]I〈XI，71) ? I (叉土，，7土，)-七時(shí)
[0127]8 “1，71) = -1
[0128]在上述以外的情況時(shí)
[0129]3(^1, 71) = 0
[0130]在上述數(shù)式1中，1:表示閾值，I “1，71)表示第1個(gè)關(guān)注點(diǎn)的亮度值，I “1’，71’)表示第1個(gè)參照點(diǎn)的亮度值。根據(jù)上述數(shù)式1，在關(guān)注點(diǎn)的亮度值高于參照點(diǎn)加上閾值1:得到的亮度值的情況下，該關(guān)注點(diǎn)的屬性8 “1，71)為‘ 1’。另一方面，在關(guān)注點(diǎn)的亮度值低于從參照點(diǎn)？匕減去閾值I得到的亮度值的情況下，該關(guān)注點(diǎn)
的屬性8“1，70為‘ - 1’。在關(guān)注點(diǎn)的亮度值與參照點(diǎn)的亮度值為除此以外的關(guān)系的情況下，關(guān)注點(diǎn)？4的屬性4x1，71)為‘0’。該閾值〖可以預(yù)先設(shè)定，也能夠按照?qǐng)D3所示的控制部39發(fā)出的控制命令進(jìn)行變更，在后記述其詳細(xì)內(nèi)容。
[0131]接著，邊緣線檢測(cè)部36基于下述數(shù)式2，根據(jù)沿著關(guān)注線匕的屬性8的連續(xù)性0(^1, 71)判斷關(guān)注線匕是否為邊緣線。
[0132][數(shù)2]
[0133]8 “1，71) = 8 “1+1，71+1)時(shí)(且除了 0 = 0)，
[0134]￠^1,71)=1
[0135]在上述以外的情況時(shí)，
[0136]0 “1，71) = 0
[0137]在關(guān)注點(diǎn)？￡11的屬性“XI，丫丨)與相鄰的關(guān)注點(diǎn)？4+1的屬性8 “1—1，^1+1)相同的情況下，連續(xù)性￠(11,71)為‘1’。在關(guān)注點(diǎn)？的屬性8 ，7:0與相鄰的關(guān)注點(diǎn)？4+1的屬性4x1+1，0+1)不同的情況下，連續(xù)性4x1，71)為‘0’。
[0138]接著，邊緣線檢測(cè)部36關(guān)于關(guān)注線匕上的全部關(guān)注點(diǎn)的連續(xù)性0求出總和。邊緣線檢測(cè)部36通過(guò)將求出的連續(xù)性0的總和除以關(guān)注點(diǎn)的個(gè)數(shù)I來(lái)對(duì)連續(xù)性0進(jìn)行標(biāo)準(zhǔn)化。邊緣線檢測(cè)部36在進(jìn)行了標(biāo)準(zhǔn)化的值超過(guò)閾值0的情況下，將關(guān)注線匕判斷為邊緣線。此外，閾值9是預(yù)先通過(guò)實(shí)驗(yàn)等設(shè)定的值。閾值9可以預(yù)先設(shè)定，也可以按照后述的控制部39的控制命令進(jìn)行變更。
[0139]即，邊緣線檢測(cè)部36基于下述數(shù)式3判斷關(guān)注線匕是否為邊緣線。而且，邊緣線檢測(cè)部36關(guān)于描繪在檢測(cè)區(qū)域八1上的全部關(guān)注線匕判斷是否為邊緣線。
[0140][數(shù)3]
[0141]2?！?，丫土)/-- 9
[0142]返回圖3，三維物體檢測(cè)部37根據(jù)由邊緣線檢測(cè)部36檢測(cè)出的邊緣線的量來(lái)檢測(cè)三維物體。如上述那樣，本實(shí)施方式所涉及的三維物體檢測(cè)裝置1檢測(cè)在實(shí)際空間中在鉛垂方向上延伸的邊緣線。檢測(cè)出很多的在鉛垂方向上延伸的邊緣線就是在檢測(cè)區(qū)域八1、八2存在三維物體的可能性高。因此，三維物體檢測(cè)部37根據(jù)由邊緣線檢測(cè)部36檢測(cè)出的邊緣線的量來(lái)檢測(cè)三維物體。并且，三維物體檢測(cè)部37在檢測(cè)三維物體之前，判斷由邊緣線檢測(cè)部36檢測(cè)出的邊緣線是否為正確的邊緣線。三維物體檢測(cè)部37判斷沿著邊緣線上的鳥(niǎo)瞰視點(diǎn)圖像的邊緣線的亮度變化是否大于規(guī)定的閾值。在邊緣線上的鳥(niǎo)瞰視點(diǎn)圖像的亮度變化大于閾值的情況下，判斷為該邊緣線是由于錯(cuò)誤判斷而檢測(cè)出的。另一方面，在邊緣線上的鳥(niǎo)瞰視點(diǎn)圖像的亮度變化不大于閾值的情況下，判斷為該邊緣線是正確的邊緣線。此夕卜，該閾值是通過(guò)實(shí)驗(yàn)等預(yù)先設(shè)定的值。
[0143]圖16是表示邊緣線的亮度分布的圖，圖16的(幻表示在檢測(cè)區(qū)域八1內(nèi)存在作為三維物體的其它車輛XX時(shí)的邊緣線和亮度分布，圖16的㈦表示在檢測(cè)區(qū)域八1內(nèi)不存在三維物體時(shí)的邊緣線和亮度分布。
[0144]如圖16的⑷所示，設(shè)為判斷為在鳥(niǎo)瞰視點(diǎn)圖像中設(shè)定于其它車輛XX的輪胎橡膠部分的關(guān)注線匕是邊緣線。在這種情況下，關(guān)注線匕上的鳥(niǎo)瞰視點(diǎn)圖像的亮度變化平緩。這是由于由攝像機(jī)10拍攝到的圖像被視點(diǎn)變換為鳥(niǎo)瞰視點(diǎn)圖像，由此其它車輛爪的輪胎在鳥(niǎo)瞰視點(diǎn)圖像內(nèi)被拉長(zhǎng)。另一方面，如圖16的(幻所示，設(shè)為鳥(niǎo)瞰視點(diǎn)圖像中被設(shè)定在描繪于路面上的“50”這樣的白色文字部分上的關(guān)注線匕被錯(cuò)誤判斷為是邊緣線。在這種情況下，關(guān)注線匕上的鳥(niǎo)瞰視點(diǎn)圖像的亮度變化為起伏大的變化。這是因?yàn)樵谶吘壘€上混雜有白色文字中的亮度高的部分和路面等的亮度低的部分。
[0145]根據(jù)如以上那樣的關(guān)注線匕上的亮度分布的差異，三維物體檢測(cè)部37判斷邊緣線是否為由于錯(cuò)誤判斷而檢測(cè)出的。三維物體檢測(cè)部37在沿著邊緣線的亮度變化大于規(guī)定的閾值的情況下，判斷為該邊緣線是由于錯(cuò)誤判斷而檢測(cè)出的。而且，在檢測(cè)三維物體時(shí)不使用該邊緣線。由此，抑制路面上的“50”這樣的白色文字、路肩的雜草等被判斷為邊緣線，從而抑制三維物體的檢測(cè)精度下降。
[0146]具體地說(shuō)，三維物體檢測(cè)部37通過(guò)下述數(shù)式4、數(shù)式5中的任一個(gè)來(lái)計(jì)算邊緣線的亮度變化。該邊緣線的亮度變化相當(dāng)于實(shí)際空間中的鉛垂方向的評(píng)價(jià)值。下述數(shù)式4通過(guò)關(guān)注線匕上的第1個(gè)亮度值I “1，71)與相鄰的第1+1個(gè)亮度值I “1+1，0+1)的差分的平方的合計(jì)值來(lái)評(píng)價(jià)亮度分布。下述數(shù)式5通過(guò)關(guān)注線匕上的第1個(gè)亮度值I “1，7:0和相鄰的第1+1個(gè)亮度值I “1+1，71+1)的差分的絕對(duì)值的合計(jì)值來(lái)評(píng)價(jià)亮度分布。
[0147][數(shù)4]
[0148]鉛垂對(duì)應(yīng)方向的評(píng)價(jià)值=271)-1(^1+1, 71+1))2]
[0149][數(shù)5]
[0150]鉛垂對(duì)應(yīng)方向的評(píng)價(jià)值=271)+1(^1+1, 71+1)
[0151]此外，不限于數(shù)式5，也可以如下述數(shù)式6那樣，利用閾值〖2將相鄰的亮度值的屬性6進(jìn)行二值化，來(lái)將該二值化得到的屬性6關(guān)于全部的關(guān)注點(diǎn)進(jìn)行總和。
[0152][數(shù)6]
[0153]鉛垂對(duì)應(yīng)方向的評(píng)價(jià)值=2)3 “1，71)
[0154]其中，11〈XI，71)-1“1十1，71+1) | ? 12 時(shí)，
[0155]13 “1，71) = 1
[0156]在上述以外的情況時(shí)，
[0157]13 “1，71) = 0
[0158]在關(guān)注點(diǎn)？31的亮度值與參照點(diǎn)的亮度值的亮度差的絕對(duì)值大于閾值〖2的情況下，該關(guān)注點(diǎn)？71)的屬性70為‘1’。在除此以外的關(guān)系的情況下，關(guān)注點(diǎn)？4的屬性4x1，71)為‘0’。該閾值丨2是為了判斷關(guān)注線匕不在相同的三維物體上而通過(guò)實(shí)驗(yàn)等預(yù)先設(shè)定的。而且，三維物體檢測(cè)部37將關(guān)于關(guān)注線匕上的全部關(guān)注點(diǎn)的屬性6求總和來(lái)求出鉛垂對(duì)應(yīng)方向的評(píng)價(jià)值，判斷邊緣線是否為正確的邊緣線。
[0159]接著，關(guān)于本實(shí)施方式所涉及的利用邊緣信息的三維物體檢測(cè)方法進(jìn)行說(shuō)明。圖17和圖18是表示本實(shí)施方式所涉及的三維物體檢測(cè)方法的詳細(xì)內(nèi)容的流程圖。此外，在圖17和圖18中，為了方便，說(shuō)明以檢測(cè)區(qū)域八1為對(duì)象的處理，但是關(guān)于檢測(cè)區(qū)域八2，也執(zhí)行相同的處理。
[0160]如圖17所示，首先，在步驟321中，攝像機(jī)10拍攝由視角3和安裝位置所確定的規(guī)定區(qū)域。接著，視點(diǎn)變換部31在步驟322中輸入在步驟321中由攝像機(jī)10拍攝得到的攝像圖像數(shù)據(jù)，進(jìn)行視點(diǎn)變換來(lái)生成鳥(niǎo)瞰視點(diǎn)圖像數(shù)據(jù)。
[0161]接著，在步驟323中，亮度差計(jì)算部35在檢測(cè)區(qū)域八1上設(shè)定關(guān)注線匕。此時(shí)，亮度差計(jì)算部35將與在實(shí)際空間中在鉛垂方向上延伸的線相當(dāng)?shù)木€設(shè)定為關(guān)注線。接著，在步驟324中，亮度差計(jì)算部35在檢測(cè)區(qū)域八1上設(shè)定參照線匕。此時(shí)，亮度差計(jì)算部35將相當(dāng)于在實(shí)際空間中在鉛垂方向上延伸的線段且與關(guān)注線匕在實(shí)際空間中相距規(guī)定距離的線設(shè)定為參照線匕。
[0162]接著，在步驟325中，亮度差計(jì)算部35在關(guān)注線匕上設(shè)定多個(gè)關(guān)注點(diǎn)此時(shí)，亮度差計(jì)算部35設(shè)定在邊緣線檢測(cè)部36檢測(cè)邊緣時(shí)不會(huì)成為問(wèn)題的程度的個(gè)數(shù)的關(guān)注點(diǎn)？3。另外，在步驟326中，亮度差計(jì)算部35將參照點(diǎn)設(shè)定成在實(shí)際空間中關(guān)注點(diǎn)和參照點(diǎn)處于大致相同的高度。由此，關(guān)注點(diǎn)和參照點(diǎn)在大致水平方向上排列，容易檢測(cè)在實(shí)際空間中在鉛垂方向上延伸的邊緣線。
[0163]接著，在步驟327中，亮度差計(jì)算部35計(jì)算在實(shí)際空間中處于相同高度的關(guān)注點(diǎn)？3與參照點(diǎn)的亮度差。接著，邊緣線檢測(cè)部36依照上述的數(shù)式1計(jì)算各關(guān)注點(diǎn)的屬性8。接著，在步驟328中，邊緣線檢測(cè)部36依照上述的數(shù)式2計(jì)算各關(guān)注點(diǎn)的屬性8的連續(xù)性匕接著，在步驟329中，邊緣線檢測(cè)部36依照上述數(shù)式3，判斷將連續(xù)性^的總和標(biāo)準(zhǔn)化得到的值是否大于閾值9。在判斷為標(biāo)準(zhǔn)化得到的值大于閾值9的情況下(329:“是”)，在步驟330中，邊緣線檢測(cè)部36將該關(guān)注線匕檢測(cè)為邊緣線。然后，處理轉(zhuǎn)移到步驟331。在判斷為標(biāo)準(zhǔn)化得到的值不大于閾值9的情況下不將該關(guān)注線匕檢測(cè)為邊緣線，處理轉(zhuǎn)移到步驟331。該閾值0能夠預(yù)先設(shè)定，但是也能夠與控制部39的控制命令相應(yīng)地進(jìn)行變更。
[0164]在步驟331中，計(jì)算機(jī)30判斷是否關(guān)于檢測(cè)區(qū)域八1上可設(shè)定的全部關(guān)注線匕執(zhí)行了上述的步驟323?步驟330的處理。在判斷為未關(guān)于全部的關(guān)注線匕進(jìn)行上述處理的情況下(331 否”)，將處理返回步驟323，重新設(shè)定關(guān)注線匕，并重復(fù)進(jìn)行步驟331為止的處理。另一方面，在判斷為關(guān)于全部的關(guān)注線匕進(jìn)行了上述處理的情況下(⑴^“是”)，處理轉(zhuǎn)移到圖18的步驟332。
[0165]在圖18的步驟332中，三維物體檢測(cè)部37關(guān)于在圖17的步驟330中檢測(cè)出的各邊緣線計(jì)算沿著該邊緣線的亮度變化。三維物體檢測(cè)部37依照上述數(shù)式4、數(shù)式5、數(shù)式6中的任一個(gè)來(lái)計(jì)算邊緣線的亮度變化。接著，在步驟333中，三維物體檢測(cè)部37去除邊緣線中的亮度變化大于規(guī)定的閾值的邊緣線。即，判斷為亮度變化大的邊緣線不是正確的邊緣線，在檢測(cè)三維物體時(shí)不使用該邊緣線。如上述那樣這是為了抑制檢測(cè)區(qū)域八1中包含的路面上的文字、路肩的雜草等被檢測(cè)為邊緣線的情形。因而，規(guī)定的閾值是指預(yù)先通過(guò)實(shí)驗(yàn)等求出的根據(jù)由于路面上的文字、路肩的雜草等而產(chǎn)生的亮度變化設(shè)定的值。
[0166]接著，在步驟334中，三維物體檢測(cè)部37判斷邊緣線的量是否為第二閾值0以上。此外，該第二閾值0預(yù)先通過(guò)實(shí)驗(yàn)等求出而設(shè)定，也能夠按照?qǐng)D3所示的控制部39發(fā)出的控制命令進(jìn)行變更，在后記述其詳細(xì)內(nèi)容。例如在設(shè)定四輪車作為檢測(cè)對(duì)象的三維物體的情況下，預(yù)先通過(guò)實(shí)驗(yàn)等根據(jù)在檢測(cè)區(qū)域八1內(nèi)出現(xiàn)的四輪車的邊緣線的個(gè)數(shù)來(lái)設(shè)定該第二閾值0。在判斷為邊緣線的量為第二閾值0以上的情況下(“^'是”^在步驟335中，三維物體檢測(cè)部37檢測(cè)為在檢測(cè)區(qū)域八1內(nèi)存在三維物體。另一方面，在判斷為邊緣線的量不為第二閾值0以上的情況下(334 否”)，三維物體檢測(cè)部37判斷為在檢測(cè)區(qū)域八1內(nèi)不存在三維物體。之后，圖17和圖18所示的處理結(jié)束。也可以判斷為被檢測(cè)出的三維物體是行駛于與本車輛V所行駛的車道相鄰的鄰近車道的其它車輛I也可以考慮檢測(cè)出的三維物體相對(duì)于本車輛V的相對(duì)速度來(lái)判斷是否為行駛于鄰近車道的其它車輛爪。該第二閾值0能夠預(yù)先設(shè)定，也能夠與控制部39的控制命令相應(yīng)地進(jìn)行變更。
[0167]如上所述，根據(jù)本實(shí)施方式的利用邊緣信息的三維物體的檢測(cè)方法，為了檢測(cè)存在于檢測(cè)區(qū)域八1、八2的三維物體，而針對(duì)鳥(niǎo)瞰視點(diǎn)圖像設(shè)定作為在實(shí)際空間中在鉛垂方向上延伸的線段的鉛垂虛擬線。而且，能夠針對(duì)沿著鉛垂虛擬線的多個(gè)位置中的每個(gè)位置計(jì)算該各位置附近的兩個(gè)像素的亮度差，根據(jù)該亮度差的連續(xù)性來(lái)判斷有無(wú)三維物體。
[0168]具體地說(shuō)，針對(duì)鳥(niǎo)瞰視點(diǎn)圖像中的檢測(cè)區(qū)域六1、八2設(shè)定相當(dāng)于在實(shí)際空間中在鉛垂方向上延伸的線段的關(guān)注線匕以及與關(guān)注線匕不同的參照線匕。然后，沿著關(guān)注線匕和參照線匕連續(xù)地求出關(guān)注線匕上的關(guān)注點(diǎn)與參照線匕上的參照點(diǎn)的亮度差。這樣，通過(guò)連續(xù)地求出點(diǎn)之間的亮度差，來(lái)求出關(guān)注線匕與參照線匕的亮度差。在關(guān)注線
與參照線匕的亮度差高的情況下，在關(guān)注線匕的設(shè)定部分存在三維物體的邊緣的可能性高。由此，能夠根據(jù)連續(xù)的亮度差檢測(cè)三維物體。特別地，為了進(jìn)行在實(shí)際空間中在鉛垂方向上延伸的鉛垂虛擬線之間的亮度比較，即使通過(guò)變換為鳥(niǎo)瞰視點(diǎn)圖像而三維物體與距路面的高度相應(yīng)地被拉長(zhǎng)，也不會(huì)影響三維物體的檢測(cè)處理。因而，根據(jù)本例的方法，能夠提高三維物體的檢測(cè)精度。
[0169]另外，在本例中，求出鉛垂虛擬線附近的大致相同高度的兩個(gè)點(diǎn)的亮度差。具體地說(shuō)，根據(jù)在實(shí)際空間中處于大致相同高度的關(guān)注線匕上的關(guān)注點(diǎn)和參照線匕上的參照點(diǎn)'求出亮度差，因此能夠明確地檢測(cè)出存在在鉛垂方向上延伸的邊緣的情況下的亮度差。
[0170]并且，在本例中，根據(jù)關(guān)注線匕上的關(guān)注點(diǎn)與參照線匕上的參照點(diǎn)的亮度差來(lái)對(duì)關(guān)注點(diǎn)賦予屬性，根據(jù)沿著關(guān)注線匕的屬性的連續(xù)性0來(lái)判斷該關(guān)注線匕是否為邊緣線，因此能夠?qū)⒘炼雀叩膮^(qū)域與亮度低的區(qū)域的邊界檢測(cè)為邊緣線，從而按照人的自然的感覺(jué)進(jìn)行邊緣檢測(cè)。詳細(xì)地說(shuō)明該效果。圖19是表示對(duì)邊緣線檢測(cè)部36的處理進(jìn)行說(shuō)明的圖像例的圖。該圖像例是表示亮度高的區(qū)域和亮度低的區(qū)域反復(fù)的條紋圖案的第一條紋圖案101與表示亮度低的區(qū)域和亮度高的區(qū)域反復(fù)的條紋圖案的第二條紋圖案102相鄰的圖像。另外，該圖像例為第一條紋圖案101的亮度高的區(qū)域與第二條紋圖案102的亮度低的區(qū)域相鄰，并且第一條紋圖案101的亮度低的區(qū)域與第二條紋圖案102的亮度高的區(qū)域相鄰。位于該第一條紋圖案101與第二條紋圖案102的邊界的部位103根據(jù)人的感覺(jué)而傾向于不認(rèn)為是邊緣。
[0171]與此相對(duì)地，由于亮度低的區(qū)域與亮度高的區(qū)域相鄰，因此如果僅依據(jù)亮度差檢測(cè)邊緣，則導(dǎo)致該部位103被識(shí)別為邊緣。但是，邊緣線檢測(cè)部36除了部位103處的亮度差以外，僅在該亮度差的屬性存在連續(xù)性的情況下將部位103判斷為邊緣線，因此邊緣線檢測(cè)部36能夠抑制將以人的感覺(jué)不識(shí)別為邊緣線的部位103識(shí)別為邊緣線的錯(cuò)誤判斷，從而能夠按照人的感覺(jué)進(jìn)行邊緣檢測(cè)。
[0172]并且，在本例中，在由邊緣線檢測(cè)部36檢測(cè)出的邊緣線的亮度變化大于規(guī)定的閾值的情況下，判斷為該邊緣線是由于錯(cuò)誤判斷而檢測(cè)出的邊緣線。在將由攝像機(jī)10獲取到的攝像圖像變換為鳥(niǎo)瞰視點(diǎn)圖像的情況下，存在該攝像圖像中包含的三維物體以被拉長(zhǎng)的狀態(tài)出現(xiàn)在鳥(niǎo)瞰視點(diǎn)圖像中的傾向。例如上述那樣在其它車輛XX的輪胎被拉長(zhǎng)的情況下，由于輪胎這一個(gè)部位被拉長(zhǎng)，因此形成被拉長(zhǎng)的方向上的鳥(niǎo)瞰視點(diǎn)圖像的亮度變化小的傾向。對(duì)于此，如果將描繪在路面上的文字等錯(cuò)誤判斷為邊緣線，則在鳥(niǎo)瞰視點(diǎn)圖像中混合包含文字部分這樣的亮度高的區(qū)域和路面部分這樣的亮度低的區(qū)域。在這種情況下，在鳥(niǎo)瞰視點(diǎn)圖像中，被拉長(zhǎng)的方向的亮度變化有變大的傾向。因而，通過(guò)如本例那樣判斷沿著邊緣線的鳥(niǎo)瞰視點(diǎn)圖像的亮度變化，能夠識(shí)別出由于錯(cuò)誤判斷而檢測(cè)出的邊緣線，從而能夠提高三維物體的檢測(cè)精度。
[0173]〈三維物體的最終判斷〉
[0174]返回圖3，本例的三維物體檢測(cè)裝置1具備上述的兩個(gè)三維物體檢測(cè)部33和/或三維物體檢測(cè)部37、三維物體判斷部34、異物檢測(cè)部38以及控制部39。三維物體判斷部34根據(jù)三維物體檢測(cè)部33和/或三維物體檢測(cè)部37的檢測(cè)結(jié)果，最終判斷檢測(cè)出的三維物體是否為存在于檢測(cè)區(qū)域八1、八2的其它車輛VI。
[0175]異物檢測(cè)部38通過(guò)后述的方法檢測(cè)攝像機(jī)10的鏡頭11上附著有異物的情形?？刂撇?9在由異物檢測(cè)部38檢測(cè)出附著于鏡頭的異物的情況下，為了抑制被檢測(cè)的三維物體被判斷為是其它車輛冗，而輸出控制構(gòu)成計(jì)算機(jī)30的各部(包括控制部39)的控制命令以抑制與被檢測(cè)出的異物對(duì)應(yīng)的像被判斷為是存在于檢測(cè)區(qū)域八1、八2的其它車輛XX。在此所說(shuō)的抑制包含其它車輛的檢測(cè)或判斷的中止或中斷。關(guān)于這一點(diǎn)在后記述。
[0176]〈異物的檢測(cè)方法〉
[0177]接著，說(shuō)明異物檢測(cè)部38的檢測(cè)處理。異物檢測(cè)部38獲取由攝像機(jī)10拍攝得到的拍攝本車輛V的后方的圖像信息。圖20示出獲取到的圖像信息1(的一例。圖20所示的圖像信息是通過(guò)附著有異物的鏡頭11拍攝得到的。圖20的下側(cè)的影像是車牌⑶的像，上側(cè)的陰影的部分是攝像機(jī)10的外殼的像。車牌⑶與外殼之間的區(qū)域的圖像隨著本車輛V的移動(dòng)而時(shí)時(shí)刻刻發(fā)生變化。如圖20所示，車牌⑶與外殼之間的區(qū)域的圖像信息X包含本車輛V所行駛的道路的路面即的像和在該路面即之上擴(kuò)展的后方的天空1的像。另外，在圖當(dāng)利用通過(guò)如圖20所示那樣的附著有異物的鏡頭11拍攝得到的圖像信息進(jìn)行圖像變換處理時(shí)，如圖21所示那樣與異物的像1相應(yīng)的像12出現(xiàn)在檢測(cè)區(qū)域八11內(nèi)。根據(jù)這樣的鳥(niǎo)瞰視點(diǎn)圖像，通過(guò)上述的方法計(jì)算差分波形信息或邊緣信息，當(dāng)進(jìn)行三維物體檢測(cè)處理時(shí)，有時(shí)將像012錯(cuò)誤識(shí)別為其它車輛爪的像。
[0178]具體地說(shuō)，如圖22所示，在鏡頭11上沒(méi)有附著異物的情況下，如果在檢測(cè)區(qū)域八1存在其它車輛I則沿著在視點(diǎn)變換為鳥(niǎo)瞰視點(diǎn)圖像時(shí)三維物體傾倒的方向此1?此4，其它車輛冗的特征、例如與輪胎和輪輞的邊界相應(yīng)的差分波形信息(頻數(shù))為規(guī)定閾值以上的像素或亮度差為規(guī)定值以上的邊緣量以各閾值必以上的量分布。另一方面，如圖23所示，當(dāng)通過(guò)實(shí)驗(yàn)對(duì)鏡頭11上附著有異物1的情況進(jìn)行評(píng)價(jià)時(shí)，即使是在檢測(cè)區(qū)域八1內(nèi)其它車輛XX及其它三維物體都不存在的情況下，也傾向于沿著在視點(diǎn)變換為鳥(niǎo)瞰視點(diǎn)圖像時(shí)三維物體傾倒的方向￡[1?￡[4檢測(cè)出超過(guò)閾值必的差分波形信息的頻數(shù)分布、亮度差為規(guī)定值以上的邊緣量。與像這樣的附著于鏡頭11的異物1所產(chǎn)生的像對(duì)應(yīng)的像素信息誘發(fā)其它車輛冗及其它三維物體的錯(cuò)誤檢測(cè)。
[0179]因此，本例的三維物體檢測(cè)裝置1具備異物檢測(cè)部38，該異物檢測(cè)部38根據(jù)攝像元件的亮度值的經(jīng)時(shí)變化以及從上述的差分波形信息獲得的評(píng)價(jià)對(duì)象值與基準(zhǔn)值的差分的經(jīng)時(shí)變化這雙方檢測(cè)附著于鏡頭11的異物。
[0180]〈第一異物檢測(cè)方法〉
[0181]首先說(shuō)明基于攝像元件的亮度值的經(jīng)時(shí)變化的第一異物的檢測(cè)方法。圖24的(八〉、圖24的⑶是表示攝像機(jī)10中所包括的攝像元件￠0)等)中的相當(dāng)于檢測(cè)區(qū)域八1、八2的區(qū)域的像素12的圖，圖24的㈧為環(huán)境的明亮度比規(guī)定值亮的情況，示出例如晝間的像素分區(qū)的一例，圖24的(8)為環(huán)境的明亮度比規(guī)定值暗的情況，示出例如夜間的像素分區(qū)的一例。圖24的㈧所示的攝像元件的像素12與圖24的⑶所示的攝像元件的像素12相比每單位的像素分區(qū)123的面積被設(shè)定得小。例如在圖24的㈧中，設(shè)為以構(gòu)成攝像元件的一個(gè)像素作為一個(gè)單位的像素分區(qū)12^在圖24的(8)中，設(shè)為以構(gòu)成攝像元件的63個(gè)的像素作為一個(gè)單位的像素分區(qū)123。但是，構(gòu)成一個(gè)單位的像素分區(qū)123的像素?cái)?shù)不限定于這些數(shù)值。在環(huán)境暗的情況下，受光量少，噪聲相對(duì)變大，因此通過(guò)增大像素分區(qū)的面積，能夠抑制這樣的由于噪聲所產(chǎn)生的影響。
[0182]異物檢測(cè)部38以規(guī)定時(shí)間間隔讀取來(lái)自各像素分區(qū)123的輸出信號(hào)(對(duì)應(yīng)亮度值)，運(yùn)算每單位時(shí)間的亮度值的變化的絕對(duì)值。圖25是表示某一個(gè)像素分區(qū)123的亮度值的差的絕對(duì)值的一例的曲線圖，異物檢測(cè)部38判斷在固定時(shí)間匕I內(nèi)該亮度值的經(jīng)時(shí)變化是否為閾值7以下。被攝體變動(dòng)越多，則利用攝像元件的各像素檢測(cè)的亮度值的經(jīng)時(shí)變化越大，但是當(dāng)異物附著于鏡頭11時(shí)，該部分的由攝像元件檢測(cè)的圖像的亮度值傾向于固定為固定值，在本例中，利用該特性判斷異物的附著狀態(tài)。
[0183]用于判斷根據(jù)各像素分區(qū)123檢測(cè)的亮度值是否固定為固定值的閾值丫能夠預(yù)先通過(guò)實(shí)驗(yàn)、模擬而求出，但是也能夠與鏡頭11的白濁度相應(yīng)地設(shè)定。能夠例如下面那樣進(jìn)行白濁度的計(jì)算。即，關(guān)于水垢等異物附著在鏡頭11上并在鏡頭11的表面形成白色的薄膜由此鏡頭11發(fā)生白濁的程度，首先從由攝像元件獲取到的圖像中的能夠期望抽出地平線、路牙等規(guī)定量的邊緣的區(qū)域中抽出被攝體的邊緣，根據(jù)所抽出的邊緣的強(qiáng)度生成直方圖。圖26是表示基于邊緣的強(qiáng)度的直方圖的一例的圖，實(shí)線表示鏡頭11發(fā)生了白濁的情況下的直方圖，虛線表示鏡頭11沒(méi)有發(fā)生白濁的情況下的直方圖。
[0184]在水垢等異物附著在鏡頭11上而鏡頭11發(fā)生了白濁的情況下，由于來(lái)自被攝體的光束的一部分被異物遮擋或發(fā)生漫反射，導(dǎo)致被攝體的輪廓(邊緣)變得不清楚，如圖26所示那樣，與鏡頭沒(méi)有發(fā)生白濁的情況相比，從被攝體抽出的邊緣的強(qiáng)度有變小的傾向。本例的異物檢測(cè)部38利用該特性計(jì)算所抽出的邊緣的強(qiáng)度的平均值，并且計(jì)算所抽出的邊緣的強(qiáng)度的標(biāo)準(zhǔn)偏差0，將邊緣的強(qiáng)度的平均值加上標(biāo)準(zhǔn)偏差0得到的值計(jì)算為鏡頭的白濁度30。此外，白濁度30越小則白濁程度越大，白濁度3 0越大則白濁程度越小。
[0185]另外，由于存在當(dāng)鏡頭11發(fā)生了白濁時(shí)被攝體的輪廓變得不清楚的傾向，因此即使鏡頭11上沒(méi)有附著異物，亮度值的經(jīng)時(shí)變化也變小，由此有可能錯(cuò)誤識(shí)別為附著有異物。因此，在本例中，如上述那樣求出的鏡頭11的白濁度30為規(guī)定值以下、換言之發(fā)生白濁的程度越大，則將圖25所示的閾值丫設(shè)定得越大。由此，能夠防止由于鏡頭11的白濁而亮度值的經(jīng)時(shí)變化變?yōu)殚撝?以下從而錯(cuò)誤識(shí)別為鏡頭11上附著有異物。
[0186]圖27是表示與鏡頭11的白濁程度相應(yīng)的閾值7的設(shè)定例所涉及的控制對(duì)應(yīng)圖的圖。實(shí)線是表示在環(huán)境的明亮度比規(guī)定值亮的情況下、例如在晝間的情況下的與針對(duì)白濁程度設(shè)定閾值7有關(guān)的控制對(duì)應(yīng)圖的曲線圖，虛線是表示在環(huán)境的明亮度比規(guī)定值暗的情況下、例如在夜間的情況下的與針對(duì)白濁程度設(shè)定閾值7有關(guān)的控制對(duì)應(yīng)圖的曲線圖。鏡頭11的白濁程度越大，則將用于判斷亮度值的經(jīng)時(shí)變化的閾值7設(shè)定得越小，鏡頭11的白濁程度越小，則將用于判斷亮度值的經(jīng)時(shí)變化的閾值7設(shè)定得越大(丫一 丫1、^〈丫。。由此，能夠防止由于鏡頭11發(fā)生白濁而亮度值的經(jīng)時(shí)變化變?yōu)橥ǔ５拈撝?以下從而導(dǎo)致錯(cuò)誤識(shí)別。
[0187]〈第二異物檢測(cè)方法〉
[0188]接著，說(shuō)明基于從差分波形信息獲得的評(píng)價(jià)對(duì)象值與基準(zhǔn)值的差分的經(jīng)時(shí)變化的第二異物的檢測(cè)方法。本實(shí)施方式的異物檢測(cè)部38從通過(guò)三維物體檢測(cè)部33在一個(gè)或多個(gè)第一定時(shí)生成的差分波形信息抽出第一極大值，并且獲取基于該第一極大值的基準(zhǔn)值，從在第一定時(shí)之后的一個(gè)或多個(gè)第二定時(shí)新生成的差分波形信息中抽出在鳥(niǎo)瞰視點(diǎn)圖像上以位置或時(shí)間與第一極大值對(duì)應(yīng)的第二極大值，并且根據(jù)該第二極大值獲取評(píng)價(jià)對(duì)象值。而且，異物檢測(cè)部38根據(jù)這些評(píng)價(jià)對(duì)象值與基準(zhǔn)值的差分的經(jīng)時(shí)變化，檢測(cè)鏡頭11上是否附著有異物。
[0189]本實(shí)施方式的異物檢測(cè)部38抽出在第一定時(shí)生成的差分波形信息中所包含的第一極大值，獲取用于確定該第一極大值的X值(位置或時(shí)間)和7值(計(jì)數(shù)值)，根據(jù)第一極大值(7值)獲得基準(zhǔn)值?；鶞?zhǔn)值能夠設(shè)為第一極大值(7值)以下的值、第一極大值(7值)的規(guī)定比例的值、從第一極大值(7值)減去規(guī)定值得到的值。另外，抽出在第二定時(shí)生成的差分波形信息中所包含的極大值，即抽出與第一極大值的X值(位置或時(shí)間)對(duì)應(yīng)的或與X值的差為規(guī)定值以內(nèi)的極大值作為第二極大值。根據(jù)該第二極大值(7值)獲得評(píng)價(jià)對(duì)象值。評(píng)價(jià)對(duì)象值能夠設(shè)為第二極大值(7值)以下的值、第二極大值(7值)的規(guī)定比例的值、從第二極大值(7值)減去規(guī)定值得到的值。該方法能夠使用與根據(jù)第一極大值導(dǎo)出基準(zhǔn)值的方法相同的方法。
[0190]異物檢測(cè)部38隨著時(shí)間的經(jīng)過(guò)而獲取這些評(píng)價(jià)對(duì)象值與基準(zhǔn)值的差分，將在各定時(shí)獲取到的差分計(jì)算為經(jīng)時(shí)的變化。本實(shí)施方式的異物檢測(cè)部38根據(jù)以位置或時(shí)間對(duì)應(yīng)的評(píng)價(jià)對(duì)象值與基準(zhǔn)值的經(jīng)時(shí)的變化量，檢測(cè)鏡頭上是否附著有異物。異物檢測(cè)部38求出評(píng)價(jià)對(duì)象值與基準(zhǔn)值的偏移(偏差)的程度作為隨著時(shí)間的經(jīng)過(guò)所產(chǎn)生的經(jīng)時(shí)變化。如果即使時(shí)間經(jīng)過(guò)而評(píng)價(jià)對(duì)象值與基準(zhǔn)值的變化量也小，則能夠判斷為在第一定時(shí)檢測(cè)出的對(duì)象物和在第二定時(shí)檢測(cè)出的對(duì)象物是相同的對(duì)象物、即判斷為是附著于鏡頭11的對(duì)象物(異物)。
[0191]異物判斷部38為了評(píng)價(jià)隨著時(shí)間的經(jīng)過(guò)所產(chǎn)生的評(píng)價(jià)對(duì)象值與基準(zhǔn)值之間的變化，而在判斷為評(píng)價(jià)對(duì)象值與基準(zhǔn)值的差分的經(jīng)時(shí)變化的程度在規(guī)定的判斷范圍以內(nèi)的情況下，判斷為包含與評(píng)價(jià)對(duì)象值對(duì)應(yīng)的像素的圖像是附著于上述鏡頭的異物所產(chǎn)生的圖像，從而檢測(cè)出鏡頭11上附著有異物。具體地說(shuō)，在評(píng)價(jià)對(duì)象值與基準(zhǔn)值的差分為規(guī)定值以內(nèi)的狀態(tài)持續(xù)規(guī)定時(shí)間的情況下，檢測(cè)出鏡頭11上附著有異物，在評(píng)價(jià)對(duì)象值與基準(zhǔn)值的差分超過(guò)規(guī)定值、或者兩者之間的差分為規(guī)定值以內(nèi)的狀態(tài)未持續(xù)規(guī)定時(shí)間的情況下，檢測(cè)出鏡頭11上沒(méi)有附著異物。
[0192]本實(shí)施方式的異物檢測(cè)部38針對(duì)由三維物體檢測(cè)部33在一個(gè)或多個(gè)第一定時(shí)生成的差分波形信息至少進(jìn)行使用帶通濾波器的信號(hào)處理。該帶通濾波器截止指定頻帶的信號(hào)的通過(guò)或使其衰減，并允許期望頻帶的信號(hào)的通過(guò)。帶通濾波器沿著位置方向、例如沿著本車輛V的后方方向的與攝像機(jī)10的分離方向(圖23的+7值)、時(shí)間方向、或者空間方向進(jìn)行處理。
[0193]在本實(shí)施方式中，作為帶通濾波器，使用截止或衰減高頻成分的低通濾波器(高頻截止濾波器)。通過(guò)對(duì)差分波形信息進(jìn)行使用低通濾波器的信號(hào)處理，能夠?qū)Σ罘植ㄐ涡畔?shí)施平滑化、平均化、模糊化。當(dāng)進(jìn)行使用低通濾波器的信號(hào)處理時(shí)，去除能夠判斷為噪聲的較小的極大值，使表示比較大的變化的極大值凸顯，從而能夠抽出獲取到的圖像信息的特征。由此，能夠使由于附著于鏡頭11的異物的存在而產(chǎn)生的差分波形信息或邊緣信息的極大值凸顯，從而抽出與異物對(duì)應(yīng)的圖像信息的特征。
[0194]另外，異物檢測(cè)部38能夠使用截止或衰減的頻率不同的兩種以上的帶通濾波器。例如，異物檢測(cè)部38使用通過(guò)頻率相對(duì)較低的(例如0.3?)低通濾波器和通過(guò)頻率相對(duì)較高的(例如1?)低通濾波器這兩方進(jìn)行信號(hào)處理，將位置、時(shí)間、空間等的橫軸上相同位置的值進(jìn)行比較，能夠選擇較低的一方的值(進(jìn)行低選擇處理這樣，由于抽出也作為其它車輛冗等三維物體的特征的極大值并使由于噪聲、光環(huán)境所產(chǎn)生的高頻成分截止或衰減，因此能夠抑制光環(huán)境所導(dǎo)致的錯(cuò)誤檢測(cè)，并能夠防止盡管存在作為檢測(cè)對(duì)象的其它車輛乂乂還抑制檢測(cè)的情形。
[0195]本實(shí)施方式的異物檢測(cè)部38根據(jù)異物的檢測(cè)結(jié)果變更帶通濾波器的截止或衰減區(qū)域。異物檢測(cè)部38在持續(xù)規(guī)定時(shí)間以上檢測(cè)出附著于鏡頭11的異物的情況下，擴(kuò)大帶通濾波器的截止、衰減頻率的范圍。在使用低通濾波器的情況下，將截止或衰減的頻帶的上限值變高。當(dāng)然也可以將截止或衰減的頻帶的下限值變低。也就是說(shuō)，在本實(shí)施方式中，在檢測(cè)出附著于鏡頭11的異物且該異物在相同的場(chǎng)所存在規(guī)定時(shí)間以上的情況下，判斷為異物比較強(qiáng)力地附著于鏡頭11，而將來(lái)還會(huì)繼續(xù)檢測(cè)出該異物的可能性高，通過(guò)擴(kuò)展截止、衰減頻帶使得信號(hào)處理后的“基準(zhǔn)波形信息的極大值”和“基準(zhǔn)值”被導(dǎo)出為更低的值。由此，能夠使異物檢測(cè)的閾值降低，因此能夠促進(jìn)判斷為鏡頭11上附著有異物，從而能夠容易執(zhí)行在異物附著時(shí)進(jìn)行的其它車輛冗的判斷控制。其結(jié)果，能夠迅速地配合異物附著的檢測(cè)狀態(tài)執(zhí)行響應(yīng)性良好的其它車輛爪的檢測(cè)處理。
[0196]本實(shí)施方式的異物檢測(cè)部38除了上述的使用帶通濾波器的信號(hào)處理以外，還執(zhí)行使用變化率限制器的信號(hào)處理。通過(guò)進(jìn)行使用變化率限制器的信號(hào)處理，還能夠使差分波形信息平滑化，去除能夠判斷為噪聲的小的極大值，從而能夠抽出與表示比較大的變化的極大值相應(yīng)的圖像信息的特征。由此，能夠抽出由于附著于鏡頭11的異物的存在所產(chǎn)生的圖像信息的特征。
[0197]本實(shí)施方式的異物檢測(cè)部38與異物的檢測(cè)結(jié)果相應(yīng)地使變化率限制器的限制變化率變化。異物檢測(cè)部38在持續(xù)規(guī)定時(shí)間以上檢測(cè)出附著于鏡頭11的異物的情況下，使變化率限制器的限制變化率變高。在本實(shí)施方式中，與上述的帶通濾波器的處理同樣地，在能夠判斷為附著于鏡頭11的異物在將來(lái)也被持續(xù)檢測(cè)到的可能性高的情況下，使變化率限制器的限制變化率變高，使得信號(hào)處理后的“基準(zhǔn)波形信息的極大值”和“基準(zhǔn)值”被導(dǎo)出為更低的值，從而能夠容易執(zhí)行在異物附著時(shí)進(jìn)行的其它車輛冗的判斷控制。
[0198]根據(jù)進(jìn)行使用帶通濾波器的信號(hào)處理所得到的“基準(zhǔn)波形信息的極大值”獲取“基準(zhǔn)值”。根據(jù)獲取到的“基準(zhǔn)值”定義用于判斷異物的“規(guī)定的判斷范圍”。例如根據(jù)將“基準(zhǔn)值”作為中間值而對(duì)基準(zhǔn)值加上余量值得到的值和從基準(zhǔn)值減去余量值得到的值來(lái)定義“規(guī)定的判斷范圍”。
[0199]本實(shí)施方式的異物檢測(cè)部38根據(jù)在第一定時(shí)之后的一個(gè)或多個(gè)第二定時(shí)新生成的差分波形信息的極大值獲取“評(píng)價(jià)對(duì)象值”，對(duì)鳥(niǎo)瞰視點(diǎn)圖像上的位置相同的“評(píng)價(jià)對(duì)象值”與“基準(zhǔn)值”的差分在“規(guī)定的判斷范圍”內(nèi)的次數(shù)進(jìn)行累加。該累加能夠在預(yù)先定義的規(guī)定的評(píng)價(jià)時(shí)間內(nèi)進(jìn)行。異物檢測(cè)部38在累加得到的次數(shù)變?yōu)橐?guī)定值以上的情況下，判斷為包含與導(dǎo)出該累加結(jié)果的評(píng)價(jià)對(duì)象值對(duì)應(yīng)的像素的圖像是因附著于鏡頭11的異物而產(chǎn)生的圖像。
[0200]也能夠根據(jù)邊緣信息來(lái)進(jìn)行上述的異物檢測(cè)部38的處理。異物檢測(cè)部38從在一個(gè)或多個(gè)第一定時(shí)由三維物體檢測(cè)部37生成的包含邊緣線的信息的邊緣信息抽出第一極大值，并且根據(jù)該第一極大值獲取基準(zhǔn)邊緣長(zhǎng)度。在邊緣線的信息中包含示出規(guī)定閾值以上的亮度差、具有規(guī)定的連續(xù)性的邊緣的長(zhǎng)度的信息(包含像素的個(gè)數(shù)另外，異物檢測(cè)部38從在第一定時(shí)之后的一個(gè)或多個(gè)第二定時(shí)新生成的邊緣信息抽出在鳥(niǎo)瞰視點(diǎn)圖像上與第一極大值對(duì)應(yīng)的第二極大值，并且根據(jù)該第二極大值獲取評(píng)價(jià)邊緣長(zhǎng)度。然后，根據(jù)評(píng)價(jià)邊緣長(zhǎng)度與基準(zhǔn)邊緣長(zhǎng)度的差分的經(jīng)時(shí)變化檢測(cè)鏡頭上是否附著有異物?！敖?jīng)時(shí)變化”的意思與基于差分波形信息的處理中的“經(jīng)時(shí)變化”的意思相同。
[0201]異物判斷部38在判斷為評(píng)價(jià)邊緣長(zhǎng)度與基準(zhǔn)邊緣長(zhǎng)度的差分的經(jīng)時(shí)變化的程度在規(guī)定的判斷范圍以內(nèi)的情況下，判斷為包含與評(píng)價(jià)邊緣長(zhǎng)度對(duì)應(yīng)的像素的圖像是因附著于鏡頭11的異物而產(chǎn)生的圖像，檢測(cè)出鏡頭11上附著有異物。
[0202]具體地說(shuō)，異物檢測(cè)部38對(duì)在第一定時(shí)生成的包含邊緣線的信息的邊緣信息至少進(jìn)行使用帶通濾波器的信號(hào)處理，根據(jù)該信號(hào)處理后的“基準(zhǔn)邊緣信息的極大值”獲取“基準(zhǔn)邊緣長(zhǎng)度”。然后，根據(jù)在第一定時(shí)之后的一個(gè)或多個(gè)第二定時(shí)新生成的邊緣信息的極大值獲取“評(píng)價(jià)邊緣長(zhǎng)度”，根據(jù)鳥(niǎo)瞰視點(diǎn)圖像上的位置相同的評(píng)價(jià)邊緣長(zhǎng)度與基準(zhǔn)邊緣長(zhǎng)度的差分被判斷為在“規(guī)定的判斷范圍”的次數(shù)，判斷為包含與評(píng)價(jià)邊緣長(zhǎng)度對(duì)應(yīng)的像素的圖像是因附著于鏡頭11的異物而產(chǎn)生的圖像。該判斷能夠在預(yù)先定義的規(guī)定的評(píng)價(jià)時(shí)間內(nèi)進(jìn)行。能夠利用低通濾波器作為帶通濾波器的點(diǎn)及其作用、效果、能夠與異物的檢測(cè)狀態(tài)相應(yīng)地變更帶通濾波器的截止、衰減頻帶的點(diǎn)及其作用、效果與上述的說(shuō)明相同，因此引用其說(shuō)明。基于邊緣信息的異物檢測(cè)處理中的“基準(zhǔn)邊緣信息”對(duì)應(yīng)上述的“基準(zhǔn)差分波形信息”，該“基準(zhǔn)邊緣長(zhǎng)度”對(duì)應(yīng)上述的“基準(zhǔn)值”，該“評(píng)價(jià)邊緣長(zhǎng)度”對(duì)應(yīng)上述的“評(píng)價(jià)對(duì)象值”，用于評(píng)價(jià)該“評(píng)價(jià)邊緣長(zhǎng)度”的“規(guī)定的判斷范圍”對(duì)應(yīng)用于對(duì)使用上述的基準(zhǔn)波形信息的處理中的“評(píng)價(jià)對(duì)象值”進(jìn)行評(píng)價(jià)的“規(guī)定的判斷范圍”。
[0203]另外，由于作為本來(lái)的檢測(cè)對(duì)象的其它車輛爪等與本裝置1相獨(dú)立地運(yùn)動(dòng)，因此與其它車輛的特征相應(yīng)的差分波形信息或邊緣信息的極大值的值(大小)、位置(檢測(cè)區(qū)域八1、八2中的位置)時(shí)時(shí)刻刻變化。但是，附著于鏡頭11的異物隨本裝置1 一起運(yùn)動(dòng)，因此與其它車輛XX存在于檢測(cè)區(qū)域八1、八2的情況相比，具有與異物的特征相應(yīng)的差分波形信息、邊緣信息的極大值的值(大小〉、位置(檢測(cè)區(qū)域八1、八2中的位置)隨著時(shí)間的經(jīng)過(guò)變化小的傾向。流動(dòng)性低的泥、水垢能夠顯著地看到該傾向。
[0204]如果考慮到這樣的附著于鏡頭11的異物1的像的特征，在與第一定時(shí)生成的差分波形信息、邊緣信息的極大值相同的位置(檢測(cè)區(qū)域八1、八2中的相同的位置)處與“基準(zhǔn)值”、“基準(zhǔn)邊緣長(zhǎng)度”之差收容在判斷范圍以內(nèi)的“評(píng)價(jià)對(duì)象值”、“評(píng)價(jià)邊緣長(zhǎng)度”被檢測(cè)出規(guī)定次數(shù)以上的情況下、或者在規(guī)定的評(píng)價(jià)時(shí)間內(nèi)被檢測(cè)出規(guī)定頻率以上的情況下，能夠判斷為該第二定時(shí)的差分波形信息、邊緣信息的極大值不是與移動(dòng)的三維物體的特征對(duì)應(yīng)的極大值。換言之，能夠判斷為第二定時(shí)的差分波形信息、邊緣信息的極大值不是如三維物體那樣具有明確的輪廓(邊緣)的特征而是隨本裝置1 一起移動(dòng)的附著于鏡頭11的異物所產(chǎn)生的特征。因而，能夠判斷為上述被檢測(cè)為異物的信息(差分波形信息、邊緣信息)不是表示行駛于本車輛V的鄰近車道的其它車輛爪的像的信息(差分波形信息、邊緣信息)。
[0205]本實(shí)施方式的三維物體檢測(cè)裝置1從經(jīng)由鏡頭11實(shí)際拍攝得到的圖像信息抽出附著于該鏡頭11的異物特有的特征，根據(jù)所抽出的特征判斷附著于該鏡頭11的異物的存在，因此能夠準(zhǔn)確地判斷鏡頭11的狀態(tài)。其結(jié)果，能夠抑制將附著于鏡頭11上的異物錯(cuò)誤檢測(cè)為其它車輛I因此能夠準(zhǔn)確地檢測(cè)其它車輛1。
[0206]并且，在本實(shí)施方式中，在使用差分波形信息檢測(cè)附著于鏡頭11的異物時(shí)，使用在差分圖像上對(duì)示出規(guī)定的差分的像素?cái)?shù)進(jìn)行計(jì)數(shù)并進(jìn)行頻數(shù)分布化得到的值的極大值，但是能夠取而代之地，抽出構(gòu)成該極大值的像素中相鄰的像素的像素值之差小于規(guī)定值的多個(gè)像素群，并且在異物的檢測(cè)中使用這些像素群之間的反轉(zhuǎn)點(diǎn)的個(gè)數(shù)的極大值。相鄰的像素的像素值小于規(guī)定值的像素群是與檢測(cè)對(duì)象的特征點(diǎn)(差分、邊緣等)相應(yīng)的亮(或暗)的部分，這些像素群之間是從亮反轉(zhuǎn)為暗(或從暗反轉(zhuǎn)為亮)的暗(或亮)的部分。像素值相差規(guī)定值以上的像素群的反轉(zhuǎn)數(shù)與檢測(cè)對(duì)象的特征點(diǎn)相應(yīng)，因此能夠以與使用示出該規(guī)定差分的像素?cái)?shù)的計(jì)數(shù)結(jié)果的情況同樣的精度進(jìn)行同樣的處理。
[0207]具體地說(shuō)，在根據(jù)差分圖像信息檢測(cè)異物的情況下，三維物體檢測(cè)33將不同時(shí)刻的鳥(niǎo)瞰視點(diǎn)圖像的位置以鳥(niǎo)瞰視點(diǎn)進(jìn)行對(duì)位，在該對(duì)位后的鳥(niǎo)瞰視點(diǎn)圖像的差分圖像上沿著在視點(diǎn)變換為鳥(niǎo)瞰視點(diǎn)圖像時(shí)三維物體傾倒的方向抽出在差分圖像上示出規(guī)定的差分的像素中的相鄰的像素的像素值之差小于規(guī)定值的多個(gè)像素群。當(dāng)將像素值相同的多個(gè)像素分組時(shí)，在分組得到的像素群彼此之間存在小于規(guī)定值的像素。也就是說(shuō)，在分組得到的一個(gè)像素群與其它的像素群之間存在像素值低的像素，在此處亮暗反轉(zhuǎn)。將各像素群之間設(shè)為反轉(zhuǎn)點(diǎn)，對(duì)其個(gè)數(shù)進(jìn)行計(jì)數(shù)并進(jìn)行頻數(shù)分布化，由此生成“反轉(zhuǎn)波形信息”。該“反轉(zhuǎn)波形信息”對(duì)應(yīng)本實(shí)施方式的異物檢測(cè)處理中的上述的“差分波形信息”。
[0208]本實(shí)施方式的異物檢測(cè)部38將不同時(shí)刻的鳥(niǎo)瞰視點(diǎn)圖像的位置以鳥(niǎo)瞰視點(diǎn)進(jìn)行對(duì)位，在該對(duì)位后的鳥(niǎo)瞰視點(diǎn)圖像的差分圖像上沿著視點(diǎn)變換為鳥(niǎo)瞰視點(diǎn)圖像時(shí)三維物體傾倒的方向抽出在差分圖像上示出規(guī)定的差分的像素中的相鄰的像素的像素值之差小于規(guī)定值的多個(gè)像素群，從三維物體檢測(cè)部33獲取對(duì)像素群之間的反轉(zhuǎn)點(diǎn)進(jìn)行計(jì)數(shù)并進(jìn)行頻數(shù)分布化所生成的反轉(zhuǎn)波形信息。該反轉(zhuǎn)波形信息也可以由異物檢測(cè)部38根據(jù)從三維物體檢測(cè)部33獲取到的信息生成。
[0209]異物檢測(cè)部38從在一個(gè)或多個(gè)第一定時(shí)生成的反轉(zhuǎn)波形信息抽出第一極大值，并且根據(jù)該第一極大值獲取基準(zhǔn)反轉(zhuǎn)數(shù)，從在第一定時(shí)之后的一個(gè)或多個(gè)第二定時(shí)新生成的反轉(zhuǎn)波形信息抽出鳥(niǎo)瞰視點(diǎn)圖像上與第一極大值對(duì)應(yīng)的第二極大值。然后，根據(jù)該第二極大值獲取評(píng)價(jià)反轉(zhuǎn)數(shù)，根據(jù)該評(píng)價(jià)反轉(zhuǎn)數(shù)與基準(zhǔn)反轉(zhuǎn)數(shù)的差分的經(jīng)時(shí)變化檢測(cè)鏡頭11上是否附著有異物。
[0210]異物檢測(cè)部38抽出在第一定時(shí)生成的反轉(zhuǎn)波形信息中所包含的第一極大值，獲取用于確定該第一極大值的X值(位置或時(shí)間)和7值(反轉(zhuǎn)次數(shù)值)，根據(jù)第一極大值(7值)獲得基準(zhǔn)值?；鶞?zhǔn)反轉(zhuǎn)數(shù)能夠設(shè)為第一極大值(7值)以下的值、第一極大值(7值)的規(guī)定比例的值、從第一極大值(7值)減去規(guī)定值得到的值。另外，抽出在第二定時(shí)生成的反轉(zhuǎn)波形信息中所包含的極大值，即抽出與第一極大值的X值(位置或時(shí)間)對(duì)應(yīng)或者與X值的差為規(guī)定值以內(nèi)的極大值作為第二極大值。根據(jù)該第二極大值(7值)獲得評(píng)價(jià)反轉(zhuǎn)數(shù)。評(píng)價(jià)反轉(zhuǎn)數(shù)能夠設(shè)為第二極大值(7值)以下的值、第二極大值(7值)的規(guī)定比例的值、從第二極大值(7值)減去規(guī)定值得到的值。該方法能夠使用與基于第一極大值導(dǎo)出基準(zhǔn)反轉(zhuǎn)數(shù)的方法相同的方法。
[0211]異物檢測(cè)部38隨著時(shí)間的經(jīng)過(guò)而獲取這些評(píng)價(jià)反轉(zhuǎn)數(shù)與基準(zhǔn)反轉(zhuǎn)數(shù)的差分，計(jì)算在各定時(shí)獲取到的差分的經(jīng)時(shí)變化。本實(shí)施方式的異物檢測(cè)部38根據(jù)位置或時(shí)間對(duì)應(yīng)的評(píng)價(jià)反轉(zhuǎn)數(shù)和基準(zhǔn)反轉(zhuǎn)數(shù)的經(jīng)時(shí)的變化量檢測(cè)鏡頭上是否附著有異物。異物檢測(cè)部38求出評(píng)價(jià)反轉(zhuǎn)數(shù)與基準(zhǔn)反轉(zhuǎn)數(shù)的偏移(偏差)的程度作為隨著時(shí)間的經(jīng)過(guò)產(chǎn)生的經(jīng)時(shí)變化。如果即使時(shí)間經(jīng)過(guò)而評(píng)價(jià)反轉(zhuǎn)數(shù)和基準(zhǔn)反轉(zhuǎn)數(shù)的變化量也小，則能夠判斷為在第一定時(shí)檢測(cè)出的對(duì)象物和在第二定時(shí)檢測(cè)出的對(duì)象物是相同的對(duì)象物、即是附著于鏡頭11的對(duì)象物(異物)。
[0212]異物判斷部38為了評(píng)價(jià)隨著時(shí)間的經(jīng)過(guò)而評(píng)價(jià)反轉(zhuǎn)數(shù)和基準(zhǔn)反轉(zhuǎn)數(shù)的變化，在判斷為評(píng)價(jià)反轉(zhuǎn)數(shù)與基準(zhǔn)反轉(zhuǎn)數(shù)的差分的經(jīng)時(shí)變化的程度在規(guī)定的判斷范圍以內(nèi)的情況下，判斷為包含與評(píng)價(jià)反轉(zhuǎn)數(shù)對(duì)應(yīng)的像素的圖像是附著于上述鏡頭的異物所產(chǎn)生的圖像，檢測(cè)出鏡頭11上附著有異物。具體地說(shuō)，在評(píng)價(jià)反轉(zhuǎn)數(shù)與基準(zhǔn)反轉(zhuǎn)數(shù)的差分為規(guī)定值以內(nèi)的狀態(tài)持續(xù)規(guī)定時(shí)間的情況下，檢測(cè)出鏡頭11上附著有異物，在評(píng)價(jià)反轉(zhuǎn)數(shù)與基準(zhǔn)反轉(zhuǎn)數(shù)的差分超過(guò)規(guī)定值、或者兩者的差分為規(guī)定值以內(nèi)的狀態(tài)未持續(xù)規(guī)定時(shí)間的情況下，檢測(cè)出鏡頭11上未附著有異物。
[0213]具體地說(shuō)，異物檢測(cè)部38對(duì)從三維物體檢測(cè)部33獲取到的第一定時(shí)的“反轉(zhuǎn)波形信息”至少進(jìn)行使用帶通濾波器的信號(hào)處理，根據(jù)該信號(hào)處理后的“基準(zhǔn)反轉(zhuǎn)波形信息”的極大值獲取“基準(zhǔn)反轉(zhuǎn)數(shù)”。而且，根據(jù)在第一定時(shí)之后的一個(gè)或多個(gè)第二定時(shí)新生成的“反轉(zhuǎn)波形信息的極大值”獲取“評(píng)價(jià)反轉(zhuǎn)數(shù)”。然后，根據(jù)鳥(niǎo)瞰視點(diǎn)圖像上的位置相同的“評(píng)價(jià)反轉(zhuǎn)數(shù)”與“基準(zhǔn)反轉(zhuǎn)數(shù)”的差分被判斷為在“規(guī)定的判斷范圍”內(nèi)的次數(shù)，判斷為包含與在第二定時(shí)生成的“評(píng)價(jià)反轉(zhuǎn)數(shù)”對(duì)應(yīng)的像素的圖像是因附著于鏡頭11的異物而產(chǎn)生的圖像。使用反轉(zhuǎn)波形信息檢測(cè)附著于鏡頭11的異物的處理起到與上述的使用差分波形信息檢測(cè)附著于鏡頭11的異物的處理同樣的作用、效果，能夠應(yīng)用同樣的變形方式。本處理例中的“反轉(zhuǎn)波形信息”對(duì)應(yīng)上述的“差分波形信息”，該“基準(zhǔn)反轉(zhuǎn)數(shù)”對(duì)應(yīng)上述的“基準(zhǔn)值”，該“評(píng)價(jià)反轉(zhuǎn)數(shù)”對(duì)應(yīng)上述的“評(píng)價(jià)對(duì)象值”，該“規(guī)定的判斷范圍”對(duì)應(yīng)使用上述的基準(zhǔn)波形信息的處理中的“規(guī)定的判斷范圍”。
[0214]順便提及，即使使用邊緣信息也能夠進(jìn)行與上述的處理同樣的處理。在這種情況下，三維物體檢測(cè)部37沿著在視點(diǎn)變換為鳥(niǎo)瞰視點(diǎn)圖像時(shí)三維物體傾倒的方向抽出彼此相鄰的圖像區(qū)域的像素的亮度差為閾值I以上的像素且具有連續(xù)性的邊緣成分中的相鄰的像素的亮度差小于規(guī)定值的多個(gè)像素群。當(dāng)將像素值相同的多個(gè)像素分組時(shí)，在分組得到的像素群彼此之間存在亮度差小于規(guī)定值的像素。也就是說(shuō)，在分組得到的一個(gè)像素群與其它的像素群之間存在亮度低的像素，在此處亮暗反轉(zhuǎn)。將各像素群之間設(shè)為反轉(zhuǎn)點(diǎn)，對(duì)其個(gè)數(shù)進(jìn)行計(jì)數(shù)并進(jìn)行頻數(shù)分布化，由此生成“反轉(zhuǎn)邊緣信息”。該“反轉(zhuǎn)邊緣信息”對(duì)應(yīng)本實(shí)施方式的異物檢測(cè)處理中的上述“反轉(zhuǎn)波形信息”。
[0215]然后，異物檢測(cè)部38對(duì)由三維物體檢測(cè)部37生成的第一定時(shí)的“反轉(zhuǎn)邊緣信息”至少進(jìn)行使用帶通濾波器的信號(hào)處理，根據(jù)該信號(hào)處理后的“基準(zhǔn)反轉(zhuǎn)邊緣信息”的極大值獲取“基準(zhǔn)反轉(zhuǎn)數(shù)”。而且，根據(jù)在第一定時(shí)之后的一個(gè)或多個(gè)第二定時(shí)新生成的“反轉(zhuǎn)邊緣信息的極大值”獲取“評(píng)價(jià)反轉(zhuǎn)數(shù)”，根據(jù)鳥(niǎo)瞰視點(diǎn)圖像上的位置相同的“評(píng)價(jià)反轉(zhuǎn)數(shù)”與“基準(zhǔn)反轉(zhuǎn)數(shù)”的差分被判斷為在“規(guī)定的判斷范圍”內(nèi)的判斷次數(shù)，判斷為包含與在第二定時(shí)生成的“評(píng)價(jià)反轉(zhuǎn)數(shù)”對(duì)應(yīng)的像素的圖像是因附著于鏡頭11的異物而產(chǎn)生的圖像。
[0216]使用反轉(zhuǎn)邊緣信息檢測(cè)附著于鏡頭11的異物的處理起到與上述的使用反轉(zhuǎn)波形信息檢測(cè)附著于鏡頭11的異物的處理同樣的作用、效果，能夠應(yīng)用同樣的變形方式。本處理例中的從“邊緣信息”獲得的“反轉(zhuǎn)邊緣信息”對(duì)應(yīng)上述的從“差分波形信息”獲得的“反轉(zhuǎn)波形信息”，同樣地，“基準(zhǔn)反轉(zhuǎn)邊緣信息”中的“基準(zhǔn)反轉(zhuǎn)數(shù)”對(duì)應(yīng)的上述的“基準(zhǔn)反轉(zhuǎn)波形信息”中的“基準(zhǔn)反轉(zhuǎn)數(shù)”，該“反轉(zhuǎn)邊緣信息”中的“評(píng)價(jià)反轉(zhuǎn)數(shù)”對(duì)應(yīng)上述的“反轉(zhuǎn)波形信息”中的“評(píng)價(jià)反轉(zhuǎn)數(shù)”，用于評(píng)價(jià)該“反轉(zhuǎn)邊緣信息”中的“評(píng)價(jià)反轉(zhuǎn)數(shù)”的“規(guī)定的判斷范圍”對(duì)應(yīng)用于評(píng)價(jià)“反轉(zhuǎn)波形信息”中的“評(píng)價(jià)反轉(zhuǎn)數(shù)”的“規(guī)定的判斷范圍”。
[0217]另外，異物檢測(cè)部38根據(jù)“評(píng)價(jià)對(duì)象值”被判斷為是為了判斷其它車輛爪而設(shè)定的閾值0的規(guī)定比例以上的值的次數(shù)，判斷為包含與在第二定時(shí)生成的差分波形信息的評(píng)價(jià)對(duì)象值對(duì)應(yīng)的像素的圖像是因附著于鏡頭11的異物而產(chǎn)生的圖像。即使在能夠判斷為“評(píng)價(jià)對(duì)象值”包含在判斷范圍以內(nèi)的情況下，與極低的像素值對(duì)應(yīng)的物體是異物的可能性也低。另外，在檢測(cè)出為了判斷其它車輛XX而設(shè)定的第一閾值0的規(guī)定比例以上的“評(píng)價(jià)對(duì)象值”的情況下，產(chǎn)生異物被錯(cuò)誤檢測(cè)為是其它車輛冗的可能性。因此，在本實(shí)施方式中，在“評(píng)價(jià)對(duì)象值”為第一閾值0的規(guī)定比例以上的情況下，促進(jìn)異物檢測(cè)處理以得出是異物的判斷結(jié)果。由此，能夠降低將異物錯(cuò)誤判斷為是其它車輛爪的概率。
[0218]同樣地，異物檢測(cè)部38根據(jù)“評(píng)價(jià)邊緣長(zhǎng)度”被判斷為是為了判斷其它車輛爪而設(shè)定的閾值9的規(guī)定比例以上的值的次數(shù)，判斷為包含與在第二定時(shí)生成的邊緣信息的評(píng)價(jià)邊緣長(zhǎng)度對(duì)應(yīng)的像素的圖像是因附著于鏡頭11的異物而產(chǎn)生的圖像。即使在能夠判斷為“評(píng)價(jià)邊緣長(zhǎng)度”包含在判斷范圍以內(nèi)的情況下，與極低的評(píng)價(jià)邊緣長(zhǎng)度對(duì)應(yīng)的物體是異物的可能性也低。另外，在檢測(cè)出為了判斷其它車輛冗而設(shè)定的閾值0的規(guī)定比例以上的“評(píng)價(jià)邊緣長(zhǎng)度”的情況下，產(chǎn)生異物被錯(cuò)誤檢測(cè)為是其它車輛爪的可能性。因此，在本實(shí)施方式中，在“評(píng)價(jià)邊緣長(zhǎng)度”為閾值9的規(guī)定比例以上的情況下，促進(jìn)異物檢測(cè)處理得出是異物的判斷結(jié)果。由此，能夠降低將異物錯(cuò)誤判斷為是其它車輛爪的概率。
[0219]圖29是表示使用邊緣信息的情況下的異物檢測(cè)處理的控制過(guò)程的流程圖。首先，在步驟341中，異物檢測(cè)部38獲取三維物體檢測(cè)部37所生成的第一定時(shí)的“邊緣信息”和/或“反轉(zhuǎn)邊緣信息”。在步驟342中，異物檢測(cè)部38對(duì)“邊緣信息”、“反轉(zhuǎn)邊緣信息”進(jìn)行使用低通濾波器的信號(hào)處理來(lái)獲取“基準(zhǔn)邊緣信息”、“基準(zhǔn)反轉(zhuǎn)邊緣信息”。圖30八中示出第一定時(shí)的“邊緣信息”的模型以及進(jìn)行低通濾波器處理得到的“基準(zhǔn)邊緣信息”?！斑吘壭畔ⅰ笔亲鳛楦魅S物體傾倒的方向(區(qū)間(日文:匕' ? ))的各檢測(cè)位置(沿著與攝像機(jī)10分離的方向的檢測(cè)區(qū)域八1、八2中的位置)的沿著各三維物體傾倒的方向的邊緣成分的量的邊緣長(zhǎng)度。該圖所示的“邊緣信息”的極大值的檢測(cè)位置和“基準(zhǔn)邊緣信息”的極大值的檢測(cè)位置相同。然后，在步驟343中，異物檢測(cè)部38獲取“基準(zhǔn)邊緣信息”的極大值作為“基準(zhǔn)邊緣長(zhǎng)度”?！盎鶞?zhǔn)邊緣長(zhǎng)度”可以是將極大值乘以規(guī)定系數(shù)得到的值，也可以是從極大值減去規(guī)定值得到的值。
[0220]在該步驟中，異物檢測(cè)部38定義以“基準(zhǔn)邊緣長(zhǎng)度”為中間值的“判斷范圍”。圖308示出“判斷范圍”的一例。同樣地，異物檢測(cè)部38獲取“基準(zhǔn)反轉(zhuǎn)邊緣信息”的極大值作為“基準(zhǔn)反轉(zhuǎn)數(shù)”，并定義以“基準(zhǔn)反轉(zhuǎn)數(shù)”作為中間值的“判斷范圍”。圖31八中示出第一定時(shí)的“反轉(zhuǎn)邊緣信息”的模型、進(jìn)行低通濾波器處理得到的“基準(zhǔn)反轉(zhuǎn)邊緣信息”以及與基準(zhǔn)反轉(zhuǎn)邊緣信息的極大值對(duì)應(yīng)的“基準(zhǔn)反轉(zhuǎn)數(shù)”。另外，圖318中示出第二定時(shí)的“反轉(zhuǎn)邊緣信息”和“判斷范圍”。
[0221]并行地，在步驟3151中，異物檢測(cè)部38獲取第一定時(shí)之后的第二定時(shí)的邊緣信息、反轉(zhuǎn)邊緣信息。第二定時(shí)是第一定時(shí)之后的一個(gè)或多個(gè)定時(shí)。第二定時(shí)能夠設(shè)定在被設(shè)定為進(jìn)行異物檢測(cè)所需要的時(shí)間的“評(píng)價(jià)時(shí)間”內(nèi)。圖258中用虛線表示第二定時(shí)的邊緣信息、反轉(zhuǎn)邊緣信息。在步驟3152中，異物檢測(cè)部38獲取邊緣信息中所包含的邊緣長(zhǎng)度的極大值^ 13作為“評(píng)價(jià)邊緣長(zhǎng)度”。
[0222]進(jìn)入步驟344，異物檢測(cè)部38判斷第二定時(shí)的“評(píng)價(jià)邊緣長(zhǎng)度” 是否在判斷范圍以內(nèi)。在圖308所示的例子中，與右側(cè)的峰值對(duì)應(yīng)的“評(píng)價(jià)邊緣長(zhǎng)度義處于規(guī)定范圍外，因此是異物的可能性低，是三維物體、其它車輛XX的可能性高。另一方面，與左側(cè)的峰值對(duì)應(yīng)的“評(píng)價(jià)邊緣長(zhǎng)度1處于規(guī)定范圍以內(nèi)，因此能夠判斷為是異物的可能性高。如果“評(píng)價(jià)邊緣長(zhǎng)度處于判斷范圍以內(nèi)，則視為是異物的可能性高而進(jìn)入步驟345，累加(加上)第一得分6。另一方面，如果處于判斷范圍外，在視為是異物的可能性低而進(jìn)入步驟346，累減(減去)第二得分0。
[0223]在本實(shí)施方式中，將第一得分的絕對(duì)值設(shè)定得高于第二得分的絕對(duì)值。這樣，在“評(píng)價(jià)邊緣長(zhǎng)度”處于規(guī)定范圍以內(nèi)時(shí)加上大的值，在“評(píng)價(jià)邊緣長(zhǎng)度”處于規(guī)定范圍外時(shí)減去小的值，由此對(duì)判斷為“評(píng)價(jià)邊緣長(zhǎng)度”處于規(guī)定范圍以內(nèi)的事實(shí)進(jìn)行大的加權(quán)。本實(shí)施方式中的其它車輛XX的檢測(cè)結(jié)果容易受到太陽(yáng)、路燈、后車的車頭燈等的光的影響。即使在對(duì)檢測(cè)結(jié)果產(chǎn)生影響的亮度高的光入射到鏡頭11而判斷為“評(píng)價(jià)邊緣長(zhǎng)度”處于“規(guī)定范圍”外的情況下，也無(wú)法否定異物附著于鏡頭11的可能性。因此，即使判斷為“評(píng)價(jià)邊緣長(zhǎng)度”處于“規(guī)定范圍”外，也會(huì)抑制對(duì)其它車輛爪的檢測(cè)結(jié)果產(chǎn)生的影響，因此將要減去的值設(shè)為相對(duì)小的值。其結(jié)果，能夠準(zhǔn)確地判斷附著于鏡頭11的異物的存在。
[0224]第一得分的絕對(duì)值與第二得分的絕對(duì)值0的關(guān)系不特別地限定，能夠通過(guò)實(shí)驗(yàn)等適當(dāng)?shù)卦O(shè)定。雖然是一例，但是能夠以6(8?12):0(1?3)的程度，例如相對(duì)于= 10而設(shè)定為0= 1。該第一得分的絕對(duì)值與第二得分的絕對(duì)值0的關(guān)系能夠根據(jù)時(shí)刻、行駛場(chǎng)所、天氣等環(huán)境適當(dāng)?shù)卦O(shè)定。
[0225]在接下來(lái)的步驟547中，判斷基于在步驟351中獲取到的第二定時(shí)的反轉(zhuǎn)邊緣信息的反轉(zhuǎn)評(píng)價(jià)數(shù)是否處于判斷范圍以內(nèi)。判斷方法與步驟344相同，因此適當(dāng)?shù)匾谜f(shuō)明。如果“評(píng)價(jià)反轉(zhuǎn)數(shù)處于判斷范圍以內(nèi)，在視為是異物的可能性高而進(jìn)入步驟348，累加(加上)第一得分6。另一方面，如果處于判斷范圍外，在視為是異物的可能性低而進(jìn)入步驟349，累減(減去)第二得分0。
[0226]在接下來(lái)的步驟548中，異物檢測(cè)部38判斷在步驟352中獲取到的“評(píng)價(jià)邊緣長(zhǎng)度”是否為為了判斷其它車輛冗而設(shè)定的閾值0的規(guī)定比例以上的值，在“評(píng)價(jià)邊緣長(zhǎng)度”為閾值9的規(guī)定比例以上的情況下，進(jìn)入步驟350，累加(加上)第一得分I另外，如果處于判斷范圍外，則進(jìn)入步驟351，累減(減去)第二得分0。
[0227]此外，步驟345、步驟348、步驟350的第一得分I步驟346、步驟349、步驟351的第二得分0可以是相同的值，也可以是不同的值。在本實(shí)施方式中，將滿足與邊緣長(zhǎng)度有關(guān)的步驟344的條件以及與反轉(zhuǎn)次數(shù)有關(guān)的步驟547的條件這兩個(gè)條件的步驟548的第一得分6設(shè)定得高于步驟345的第一得分I
[0228]在步驟352中，異物檢測(cè)部38對(duì)計(jì)數(shù)值進(jìn)行合計(jì)。在步驟353中，在合計(jì)得到的計(jì)數(shù)值為預(yù)先設(shè)定的規(guī)定值以上的情況下，進(jìn)入步驟354，判斷為鏡頭11上附著有異物，另一方面，在合計(jì)得到的計(jì)數(shù)值小于預(yù)先設(shè)定的規(guī)定值的情況下，進(jìn)入步驟355，判斷為鏡頭11上沒(méi)有附著異物。判斷結(jié)果被送出到三維物體判斷部34和控制部39。
[0229]圖32是表示使用差分波形信息判斷鏡頭11上是否附著有異物的控制過(guò)程的流程圖。由于圖32的處理與圖29的處理相同，因此適當(dāng)引用關(guān)于圖29的控制過(guò)程的說(shuō)明，省略重復(fù)說(shuō)明。
[0230]〈控制部39?
[0231]接著，說(shuō)明控制部39。雖然也可以根據(jù)上述的〈第一異物檢測(cè)方法 ? 和〈第二異物檢測(cè)方法 ? 中的任一方控制三維物體的檢測(cè)，但是在本實(shí)施方式中，通過(guò)將這兩個(gè)檢測(cè)方法組合的方法來(lái)控制三維物體的檢測(cè)。下面，關(guān)于這一點(diǎn)進(jìn)行說(shuō)明。圖33是表示基于根據(jù)上述的第一異物檢測(cè)方法檢測(cè)出的異物的附著比例與基于第二異物檢測(cè)方法檢測(cè)出的異物的附著比例的關(guān)系由控制部39執(zhí)行的控制對(duì)應(yīng)圖的一例的曲線圖。該圖所示的實(shí)線是表示執(zhí)行或中止三維物體的檢測(cè)的閾值的邊界線，該實(shí)線的上側(cè)意味著中止三維物體的檢測(cè)，下側(cè)意味著執(zhí)行三維物體的檢測(cè)。
[0232]利用第一異物檢測(cè)方法得到的異物的附著比例是指攝像元件的亮度值的經(jīng)時(shí)變化為規(guī)定閾值7以下的規(guī)定像素123相對(duì)于與規(guī)定區(qū)域八1、八2相當(dāng)?shù)娜肯袼氐拿娣e比例。例如規(guī)定區(qū)域八1的攝像像素?cái)?shù)為X，其中的0.8^像素的亮度值的經(jīng)時(shí)變化為閾值7以下時(shí)的異物的附著比例評(píng)價(jià)為80%。另外，利用第二異物檢測(cè)方法得到的異物的附著比例是指在按照差分波形信息檢測(cè)的情況下評(píng)價(jià)對(duì)象值與基準(zhǔn)值的差分處于規(guī)定判斷范圍以內(nèi)的區(qū)間涉及的區(qū)間相對(duì)于規(guī)定區(qū)域41、八2整體的比例。例如規(guī)定區(qū)域八1的全部區(qū)間數(shù)為V，關(guān)于其中的0.61的區(qū)間，評(píng)價(jià)對(duì)象值與基準(zhǔn)值的差分處于規(guī)定判斷范圍以內(nèi)時(shí)的異物的附著比例評(píng)價(jià)為60%。此外，按照邊緣信息檢測(cè)的情況也同樣。
[0233]本例的控制部39如圖33的控制對(duì)應(yīng)圖所示那樣在利用第二異物檢測(cè)方法得到的異物的檢測(cè)比例小于報(bào)4且利用第一異物檢測(cè)方法得到的異物的檢測(cè)比例大于報(bào)1的情況下，中止三維物體的檢測(cè)或者判斷為三維物體是其它車輛的處理。同樣地，在利用第二異物檢測(cè)方法得到的異物的檢測(cè)比例大于了陽(yáng)且利用第一異物檢測(cè)方法得到的異物的檢測(cè)比例大于報(bào)2的情況下，中止三維物體的檢測(cè)或者判斷為三維物體是其它車輛爪的處理。另外，在利用第二異物檢測(cè)方法得到的異物的檢測(cè)比例處于報(bào)3與1財(cái)之間且利用第一異物檢測(cè)方法得到的異物的檢測(cè)比例處于與之間的情況下，如該圖的閾值線所示那樣與利用第二異物檢測(cè)方法得到的異物的檢測(cè)比例變大相關(guān)地中止三維物體的檢測(cè)或判斷為三維物體是其它車輛冗的處理。
[0234]此外，控制部39也可以在圖33所示的執(zhí)行三維物體的檢測(cè)的區(qū)域中一律檢測(cè)三維物體，但是也可以越接近閾值線，則越是抑制三維物體被判斷為是其它車輛1那樣地進(jìn)行控制。下面，說(shuō)明該控制。
[0235]即，在異物檢測(cè)部38檢測(cè)出附著于鏡頭11的異物的情況下，控制部39生成將第一閾值0變高使得難以檢測(cè)三維物體的控制命令，并輸出到三維物體檢測(cè)部33。在異物檢測(cè)部38檢測(cè)出附著于鏡頭11的異物的情況下，控制部39生成使在鳥(niǎo)瞰視點(diǎn)圖像的差分圖像上對(duì)示出規(guī)定的差分的像素?cái)?shù)進(jìn)行計(jì)數(shù)并進(jìn)行頻數(shù)分布化得到的值降低的控制命令，并將該控制命令輸出到三維物體檢測(cè)部33。這樣，通過(guò)將第一閾值0提高、或者將進(jìn)行頻數(shù)分布化得到的值輸出得低，能夠抑制檢測(cè)三維物體，結(jié)果能夠防止將異物錯(cuò)誤檢測(cè)為其它車輛I
[0236]在使用差分波形信息檢測(cè)三維物體的三維物體檢測(cè)部33在差分波形信息為規(guī)定的第一閾值0以上時(shí)檢測(cè)出三維物體的情況中，在異物檢測(cè)部38檢測(cè)出附著于鏡頭11的異物的情況下，控制部39生成將第一閾值0變高使得難以檢測(cè)三維物體的控制命令，并將該控制命令輸出到三維物體檢測(cè)部33。
[0237]同樣地，在三維物體檢測(cè)部33在差分波形信息為規(guī)定的第一閾值0以上時(shí)檢測(cè)出三維物體的情況中，在異物檢測(cè)部38檢測(cè)出附著于鏡頭11的異物的情況下，控制部39生成將在鳥(niǎo)瞰視點(diǎn)圖像的差分圖像上對(duì)示出規(guī)定的差分的像素?cái)?shù)進(jìn)行計(jì)數(shù)并進(jìn)行頻數(shù)分布化得到的值變低輸出的控制命令，并將該控制命令輸出到三維物體檢測(cè)部38。
[0238]另外，在使用差分波形信息檢測(cè)三維物體的三維物體檢測(cè)部33抽出示出閾值？以上的像素值的像素?cái)?shù)作為示出規(guī)定的差分的像素?cái)?shù)的情況中，在異物檢測(cè)部38檢測(cè)出附著于鏡頭11的異物的情況下，控制部39生成將閾值？變高使得難以檢測(cè)三維物體的控制命令，并將該控制命令輸出到三維物體檢測(cè)手部38。
[0239]同樣地，在三維物體檢測(cè)部33抽出示出閾值？以上的像素值的像素?cái)?shù)作為示出規(guī)定的差分的像素?cái)?shù)的情況中，在異物檢測(cè)部38檢測(cè)出附著于鏡頭11的異物的情況下，控制部39生成將沿著在視點(diǎn)變換為鳥(niǎo)瞰視點(diǎn)圖像時(shí)三維物體傾倒的方向在差分圖像上抽出的像素?cái)?shù)變低輸出的控制命令，并將該控制命令輸出到三維物體檢測(cè)部38。
[0240]在使用邊緣信息檢測(cè)三維物體的三維物體檢測(cè)部37根據(jù)示出規(guī)定閾值I以上的亮度差的像素抽出邊緣線的情況中，在異物檢測(cè)部38檢測(cè)出附著于鏡頭11的異物的情況下，控制部39生成將規(guī)定閾值I變高使得難以檢測(cè)三維物體的控制命令，并將該控制命令輸出到三維物體檢測(cè)部37。
[0241]同樣地，在使用邊緣信息檢測(cè)三維物體的三維物體檢測(cè)部37根據(jù)示出規(guī)定閾值七以上的亮度差的像素來(lái)抽出邊緣線的情況中，在異物檢測(cè)部38檢測(cè)出附著于鏡頭11的異物的情況下，控制部39生成將像素的亮度值變低輸出的控制命令，并將該控制命令輸出到三維物體檢測(cè)部37。
[0242]在使用邊緣信息檢測(cè)三維物體的三維物體檢測(cè)部37根據(jù)邊緣信息中所包含的具有閾值9以上的長(zhǎng)度的邊緣線檢測(cè)出三維物體的情況中，在異物檢測(cè)部38檢測(cè)出附著于鏡頭11的異物的情況下，控制部39生成將閾值0變高使得難以檢測(cè)三維物體的控制命令，并將該控制命令輸出到三維物體檢測(cè)部37。
[0243]同樣地，在使用邊緣信息檢測(cè)三維物體的三維物體檢測(cè)部37根據(jù)邊緣信息中所包含的具有閾值9以上的長(zhǎng)度的邊緣線檢測(cè)出三維物體的情況中，在異物檢測(cè)部38檢測(cè)出附著于鏡頭11的異物的情況下，控制部39生成將所檢測(cè)出的邊緣信息的邊緣線的長(zhǎng)度的值變低輸出的控制命令，并將該控制命令輸出到三維物體檢測(cè)部37。
[0244]在使用邊緣信息檢測(cè)三維物體的三維物體檢測(cè)部37根據(jù)邊緣信息中所包含的具有規(guī)定長(zhǎng)度以上的邊緣線、例如閾值9以上的長(zhǎng)度的邊緣線的條數(shù)是否為第二閾值0以上的判斷來(lái)檢測(cè)三維物體的情況中，在異物檢測(cè)部38檢測(cè)出附著于鏡頭11的異物的情況下，控制部39生成將第二閾值0變高使得難以檢測(cè)三維物體的控制命令，并將該控制命令輸出到三維物體檢測(cè)部37。
[0245]在使用邊緣信息檢測(cè)三維物體的三維物體檢測(cè)部37根據(jù)邊緣信息中所包含的具有規(guī)定長(zhǎng)度以上的邊緣線、例如閾值9以上的長(zhǎng)度的邊緣線的條數(shù)是否為第二閾值0以上的判斷來(lái)檢測(cè)三維物體的情況中，在異物檢測(cè)部38檢測(cè)出附著于鏡頭11的異物的情況下，控制部39生成將所檢測(cè)出的規(guī)定長(zhǎng)度以上的邊緣線的條數(shù)變低輸出的控制命令，并將該控制命令輸出到三維物體檢測(cè)部37。
[0246]另外，在三維物體判斷部34在所檢測(cè)出的三維物體的移動(dòng)速度為預(yù)先設(shè)定的規(guī)定速度以上時(shí)將該三維物體判斷為是其它車輛的情況中，在異物檢測(cè)部38檢測(cè)出附著于鏡頭11的異物的情況下，控制部39生成使將三維物體判斷為是其它車輛時(shí)的作為下限的規(guī)定速度變高使得難以檢測(cè)三維物體的控制命令，并將該控制命令輸出到三維物體判斷部34。
[0247]同樣地，在三維物體判斷部34在所檢測(cè)出的三維物體的移動(dòng)速度為預(yù)先設(shè)定的規(guī)定速度以上時(shí)將該三維物體判斷為是其它車輛的情況中，在異物檢測(cè)部38檢測(cè)出附著于鏡頭11的異物的情況下，控制部39生成將與將三維物體判斷為是其它車輛時(shí)的作為下限的規(guī)定速度進(jìn)行比較的三維物體的移動(dòng)速度變低輸出的控制命令，并將該控制命令輸出到三維物體判斷部34。
[0248]另外，在三維物體判斷部34在所檢測(cè)出的三維物體的移動(dòng)速度小于預(yù)先設(shè)定的規(guī)定速度時(shí)將該三維物體判斷為是其它車輛的情況中，在異物檢測(cè)部39檢測(cè)出附著于鏡頭11的異物的情況下，控制部39生成使將三維物體判斷為是其它車輛時(shí)的作為上限的規(guī)定速度變低的控制命令，并將該控制命令輸出到三維物體判斷部34。
[0249]同樣地，在三維物體判斷部34在所檢測(cè)出的三維物體的移動(dòng)速度小于預(yù)先設(shè)定的規(guī)定速度時(shí)將該三維物體判斷為是其它車輛的情況中，在異物檢測(cè)部38檢測(cè)出附著于鏡頭11的異物的情況下，控制部39生成使將三維物體判斷為是其它車輛時(shí)的作為上限的規(guī)定速度變高的控制命令，并將該控制命令輸出到三維物體判斷部34。
[0250]此外，在此，“移動(dòng)速度”包含三維物體的絕對(duì)速度以及三維物體相對(duì)于本車輛的相對(duì)速度?？梢愿鶕?jù)三維物體的相對(duì)速度計(jì)算出三維物體的絕對(duì)速度，也可以根據(jù)三維物體的絕對(duì)速度計(jì)算出三維物體的相對(duì)速度。
[0251]并且，為了抑制(包含中止或中斷)由三維物體檢測(cè)部33和/或三維物體檢測(cè)部37得到的存在三維物體這樣的檢測(cè)結(jié)果、或者由三維物體判斷部34得到的將三維物體最終判斷為是其它車輛”這樣的判斷結(jié)果，而控制部39局部遮蔽檢測(cè)區(qū)域八1、八2、或者調(diào)整在檢測(cè)、判斷中使用的閾值、輸出值。
[0252]具體地說(shuō)，控制部39指定與附著于鏡頭11的異物1的位置對(duì)應(yīng)的檢測(cè)區(qū)域八1、八2的局部的位置信息(圖像坐標(biāo)信息)，生成不進(jìn)行該遮蔽的區(qū)域中的三維物體的檢測(cè)處理或者三維物體是否為其它車輛XX的判斷的控制指令、輸出在遮蔽的區(qū)域未檢測(cè)出三維物體或遮蔽的區(qū)域中的三維物體不是其它車輛冗的意思的結(jié)果的控制指令并發(fā)送到三維物體檢測(cè)部33和丨或三維物體檢測(cè)部37、或者三維物體判斷部34。輸出在該遮蔽的區(qū)域未檢測(cè)出三維物體或者遮蔽的區(qū)域中的三維物體不是其它車輛XX的意思的結(jié)果的控制指令包含指定掩模區(qū)域的圖像數(shù)據(jù)的指令和如上述那樣變更各閾值或各輸出值的指令。
[0253]這樣，控制部39生成變更閾值、輸出值的控制指令、使三維物體的檢測(cè)處理或關(guān)于三維物體是否為其它車輛VI的判斷中止的控制指令、輸出未檢測(cè)出三維物體或三維物體不是其它車輛爪的意思的結(jié)果的控制指令并發(fā)送到三維物體檢測(cè)部33和丨或三維物體檢測(cè)部37、或者三維物體判斷部34。
[0254]本實(shí)施方式的三維物體檢測(cè)部33和/或三維物體檢測(cè)部37按照控制部39的控制命令，執(zhí)行如下處理:從作為處理對(duì)象的信息中去除圖像信息、差分波形信息、邊緣信息的一部分，調(diào)整閾值或輸出值，并在嚴(yán)格的基準(zhǔn)下進(jìn)行三維物體的檢測(cè)，輸出未檢測(cè)出三維物體的意思的檢測(cè)結(jié)果，或者將三維物體檢測(cè)處理本身中止。同樣地，三維物體判斷部38按照控制部39的控制命令，調(diào)整閾值或輸出值，在嚴(yán)格的基準(zhǔn)下進(jìn)行關(guān)于所檢測(cè)出的三維物體是否為其它車輛爪的判斷，并輸出三維物體不是其它車輛爪的意思的判斷，或者將三維物體判斷處理本身中止。在由異物檢測(cè)部38檢測(cè)出將各檢測(cè)區(qū)域八1、八2的像成像的鏡頭11上附著有異物的狀況下進(jìn)行上述三維物體判斷所涉及的控制處理。
[0255]接著，參照?qǐng)D28說(shuō)明三維物體判斷部38和控制部39的動(dòng)作。首先，在步驟341中通過(guò)異物檢測(cè)部38使用上述的第一異物檢測(cè)方法和第二異物檢測(cè)方法這雙方檢測(cè)向鏡頭11附著的異物的附著狀態(tài)并輸出到控制部39。在步驟342中，控制部39使用所檢測(cè)出的異物的附著狀態(tài)和預(yù)先存儲(chǔ)的圖33的控制對(duì)應(yīng)圖，運(yùn)算三維物體的檢測(cè)抑制程度、具體地說(shuō)是運(yùn)算第一閾值0和第二閾值0并輸出到三維物體檢測(cè)部33、37。
[0256]在步驟343中，通過(guò)上述過(guò)程執(zhí)行基于差分波形信息對(duì)三維物體的檢測(cè)。另外，在步驟344中，通過(guò)上述過(guò)程執(zhí)行基于邊緣信息對(duì)三維物體的檢測(cè)。在進(jìn)行這些基于差分信息對(duì)三維物體的檢測(cè)和基于邊緣信息對(duì)三維物體的檢測(cè)時(shí)，與水滴的附著狀態(tài)相應(yīng)的第一閾值0和第二閾值0分別被設(shè)定于三維物體檢測(cè)部33、37。
[0257]在步驟345中，判斷是否在步驟343中被檢測(cè)為是三維物體且在步驟344中被檢測(cè)為是三維物體，在步驟343、844中均檢測(cè)為是三維物體的情況下，進(jìn)入步驟346，最終判斷為是三維物體。在步驟343、844中有任一個(gè)檢測(cè)為不是三維物體的情況下，進(jìn)入步驟547，最終判斷為不是三維物體。
[0258]如以上那樣構(gòu)成并發(fā)揮作用的本發(fā)明的本實(shí)施方式的三維物體檢測(cè)裝置1起到下面的效果。
[0259](1)本實(shí)施方式的三維物體檢測(cè)裝置1從經(jīng)由鏡頭11實(shí)際拍攝得到的圖像信息抽出附著于該鏡頭11的異物特有的特征，根據(jù)所抽出的特征的經(jīng)時(shí)變化判斷附著于該鏡頭11的異物的存在，因此能夠準(zhǔn)確地判斷鏡頭11的狀態(tài)。其結(jié)果，能夠抑制將附著于鏡頭11上的異物錯(cuò)誤檢測(cè)為其它車輛I因此能夠準(zhǔn)確地檢測(cè)其它車輛I無(wú)論在使用差分圖像信息檢測(cè)其它車輛爪的情況下還是在使用邊緣信息檢測(cè)其它車輛爪的情況下都同樣地起到以下記載的作用和效果。
[0260](2)特別地，本實(shí)施方式的三維物體檢測(cè)裝置1根據(jù)攝像元件的各規(guī)定像素的亮度值的經(jīng)時(shí)變化和從差分波形信息獲得的評(píng)價(jià)對(duì)象值與基準(zhǔn)值的差分的經(jīng)時(shí)變化來(lái)檢測(cè)有無(wú)異物，因此不論晝夜都能夠提高異物的檢測(cè)精度，其結(jié)果能夠防止錯(cuò)誤檢測(cè)為其它車輛。
[0261](3)本實(shí)施方式的三維物體檢測(cè)裝置1在攝像機(jī)的鏡頭的白濁程度越大則越將用于判斷亮度值的經(jīng)時(shí)變化的閾值7增大，因此能夠防止將鏡頭的白濁所產(chǎn)生的亮度值的經(jīng)時(shí)變化小的情形錯(cuò)誤檢測(cè)為是異物附著。
[0262](4)本實(shí)施方式的三維物體檢測(cè)裝置1在檢測(cè)亮度值的經(jīng)時(shí)變化時(shí)，在環(huán)境暗的情況下使攝像元件的像素分區(qū)變大，因此能夠相對(duì)地抑制如夜間等那樣亮度噪聲大的情形，其結(jié)果，亮度值的經(jīng)時(shí)變化的檢測(cè)精度提高。
[0263]上述攝像機(jī)10相當(dāng)于本發(fā)明所涉及的攝像單元，鏡頭11相當(dāng)于本發(fā)明所涉及的鏡頭，上述視點(diǎn)變換部31相當(dāng)于本發(fā)明所涉及的圖像變換單元，上述對(duì)位部32和三維物體檢測(cè)部33相當(dāng)于本發(fā)明所涉及的三維物體檢測(cè)單元，上述亮度差計(jì)算部35、邊緣線檢測(cè)部36以及三維物體檢測(cè)部37相當(dāng)于本發(fā)明所涉及的三維物體檢測(cè)單元，上述三維物體判斷部34相當(dāng)于三維物體判斷單元，上述異物檢測(cè)部38相當(dāng)于第一異物檢測(cè)單元和第二異物檢測(cè)單元，上述控制部39相當(dāng)于控制單元。
[0264]此外，在本說(shuō)明書(shū)，說(shuō)明了在根據(jù)差分波形信息檢測(cè)三維物體時(shí)根據(jù)差分波形信息檢測(cè)附著于鏡頭11的異物的例子以及在根據(jù)邊緣信息檢測(cè)三維物體時(shí)根據(jù)邊緣信息檢測(cè)附著于鏡頭11的異物的例子，但是也可以在根據(jù)差分波形信息檢測(cè)三維物體時(shí)根據(jù)邊緣信息檢測(cè)附著于鏡頭11的異物，也可以在根據(jù)邊緣信息檢測(cè)三維物體時(shí)根據(jù)差分波形信息檢測(cè)附著于鏡頭11的異物。
[0265]另外，本實(shí)施方式中的對(duì)位部21將不同時(shí)刻的鳥(niǎo)瞰視點(diǎn)圖像的位置以鳥(niǎo)瞰視點(diǎn)進(jìn)行對(duì)位，得到對(duì)位后的該鳥(niǎo)瞰視點(diǎn)圖像，但是能夠以與檢測(cè)對(duì)象的類型、所要求的檢測(cè)精度相應(yīng)的精度進(jìn)行該“對(duì)位”處理?？梢允且酝粫r(shí)刻和同一位置為基準(zhǔn)進(jìn)行對(duì)位的嚴(yán)格的對(duì)位處理，也可以是掌握各鳥(niǎo)瞰視點(diǎn)圖像的坐標(biāo)這樣的程度緩和的對(duì)位處理。
[0266]附圖標(biāo)記說(shuō)明
[0267]1:三維物體檢測(cè)裝置；10:攝像機(jī)；11:鏡頭；20:車速傳感器；30:計(jì)算機(jī)；31:視點(diǎn)變換部；32:對(duì)位部；33、37:三維物體檢測(cè)部；34:三維物體判斷部；35:亮度差計(jì)算部；36:邊緣檢測(cè)部；38:異物檢測(cè)部；39:控制部；40:拖影檢測(cè)部；50:位置檢測(cè)裝置沾:視角；八1、八2:檢測(cè)區(qū)域；0？:交點(diǎn)；0？:差分像素風(fēng)具，:差分波形山^?廣01“小區(qū)域山1、12:觸地線山1 03:三維物體傾倒的方向上的線；？:攝像圖像；？81:鳥(niǎo)瞰視點(diǎn)圖像差分圖像；1？:掩模圖像；3:拖影；3？:拖影圖像；381:拖影鳥(niǎo)瞰視點(diǎn)圖像…:本車輛瓜:其它車輛。
【權(quán)利要求】
1.一種三維物體檢測(cè)裝置，具備: 攝像單元，其搭載于車輛，具備使規(guī)定區(qū)域的影像成像的鏡頭和攝像元件； 圖像變換單元，其將由上述攝像單元獲得的圖像視點(diǎn)變換為鳥(niǎo)瞰視點(diǎn)圖像； 三維物體檢測(cè)單元，其將由上述圖像變換單元獲得的不同時(shí)刻的鳥(niǎo)瞰視點(diǎn)圖像的位置以鳥(niǎo)瞰視點(diǎn)進(jìn)行對(duì)位，在該對(duì)位后的鳥(niǎo)瞰視點(diǎn)圖像的差分圖像上，沿著視點(diǎn)變換為上述鳥(niǎo)瞰視點(diǎn)圖像時(shí)三維物體傾倒的方向在上述差分圖像上對(duì)示出規(guī)定的差分的像素?cái)?shù)進(jìn)行計(jì)數(shù)并進(jìn)行頻數(shù)分布化，由此生成差分波形信息，基于上述差分波形信息檢測(cè)三維物體； 三維物體判斷單元，其判斷由上述三維物體檢測(cè)單元檢測(cè)出的三維物體是否為其它車輛； 第一異物檢測(cè)單元，其基于上述攝像元件的每個(gè)規(guī)定像素的亮度值的經(jīng)時(shí)變化，檢測(cè)上述鏡頭上是否附著有異物； 第二異物檢測(cè)單元，其從通過(guò)上述三維物體檢測(cè)單元在一個(gè)或多個(gè)第一定時(shí)生成的差分波形信息中抽出第一極大值并基于抽出的該第一極大值獲取基準(zhǔn)值，從在上述第一定時(shí)之后的一個(gè)或多個(gè)第二定時(shí)新生成的差分波形信息中抽出上述鳥(niǎo)瞰視點(diǎn)圖像上與上述第一極大值對(duì)應(yīng)的第二極大值并基于該第二極大值獲取評(píng)價(jià)對(duì)象值，基于上述評(píng)價(jià)對(duì)象值與上述基準(zhǔn)值的差分的經(jīng)時(shí)變化，檢測(cè)上述鏡頭上是否附著有異物；以及 控制單元，其在由上述第一異物檢測(cè)單元和上述第二異物檢測(cè)單元檢測(cè)出附著于上述鏡頭的異物的情況下，抑制根據(jù)上述規(guī)定區(qū)域的圖像檢測(cè)上述三維物體并抑制該三維物體被判斷為是上述其它車輛。
2.根據(jù)權(quán)利要求1所述的三維物體檢測(cè)裝置，其特征在于， 由上述第二異物檢測(cè)單元檢測(cè)出的異物的附著比例越大，則上述控制單元越是抑制根據(jù)上述規(guī)定區(qū)域的圖像檢測(cè)上述三維物體并抑制該三維物體被判斷為是上述其它車輛。
3.—種三維物體檢測(cè)裝置，具備: 攝像單元，其搭載于車輛，具備使規(guī)定區(qū)域的影像成像的鏡頭和攝像元件； 圖像變換單元，其將由上述攝像單元獲得的圖像視點(diǎn)變換為鳥(niǎo)瞰視點(diǎn)圖像； 三維物體檢測(cè)單元，其生成邊緣信息，并基于上述邊緣信息檢測(cè)三維物體，該邊緣信息包含基于在由上述圖像變換單元獲得的鳥(niǎo)瞰視點(diǎn)圖像中沿著視點(diǎn)變換為鳥(niǎo)瞰視點(diǎn)圖像時(shí)三維物體傾倒的方向相鄰的圖像區(qū)域的像素的亮度差為規(guī)定閾值t以上并具有連續(xù)性的邊緣成分檢測(cè)出的邊緣線的信息； 三維物體判斷單元，其判斷由上述三維物體檢測(cè)單元檢測(cè)出的三維物體是否為其它車輛； 第一異物檢測(cè)單元，其基于上述攝像元件的每個(gè)規(guī)定像素的亮度值的經(jīng)時(shí)變化，檢測(cè)上述鏡頭上是否附著有異物； 第二異物檢測(cè)單元，其從在一個(gè)或多個(gè)第一定時(shí)由上述三維物體檢測(cè)單元生成的包含上述邊緣線的信息的邊緣信息中抽出第一極大值并基于該第一極大值獲取基準(zhǔn)邊緣長(zhǎng)度，從在上述第一定時(shí)之后的一個(gè)或多個(gè)第二定時(shí)新生成的邊緣信息中抽出上述鳥(niǎo)瞰視點(diǎn)圖像上與上述第一極大值對(duì)應(yīng)的第二極大值并基于該第二極大值獲取評(píng)價(jià)邊緣長(zhǎng)度，基于上述評(píng)價(jià)邊緣長(zhǎng)度與上述基準(zhǔn)邊緣長(zhǎng)度的差分的經(jīng)時(shí)變化檢測(cè)上述鏡頭上是否附著有異物；以及 控制單元，其在由上述第一異物檢測(cè)單元和上述第二異物檢測(cè)單元檢測(cè)出附著于上述鏡頭的異物的情況下，抑制根據(jù)上述規(guī)定區(qū)域的圖像檢測(cè)上述三維物體并抑制該三維物體被判斷為是上述其它車輛。
4.根據(jù)權(quán)利要求3所述的三維物體檢測(cè)裝置，其特征在于， 上述第二異物檢測(cè)單元檢測(cè)出的異物的附著比例越大，則上述控制單元越是抑制根據(jù)上述規(guī)定區(qū)域的圖像檢測(cè)上述三維物體并抑制該三維物體被判斷為是上述其它車輛。
5.根據(jù)權(quán)利要求1?4中的任一項(xiàng)所述的三維物體檢測(cè)裝置，其特征在于， 上述第一異物檢測(cè)單元在亮度值的經(jīng)時(shí)變化為規(guī)定閾值γ以下的情況下，檢測(cè)出上述鏡頭上附著有異物。
6.根據(jù)權(quán)利要求5所述的三維物體檢測(cè)裝置，其特征在于， 上述第一異物檢測(cè)單元在包含地平線或路牙的邊緣抽出區(qū)域中抽出上述圖像的邊緣，基于所抽出的該邊緣的強(qiáng)度分布檢測(cè)上述鏡頭的白濁程度，并且 與上述白濁程度小的情況相比，在上述白濁程度大的情況下，將上述亮度值的經(jīng)時(shí)變化的規(guī)定閾值設(shè)定得相對(duì)較小。
7.根據(jù)權(quán)利要求5或6所述的三維物體檢測(cè)裝置，其特征在于， 與環(huán)境的明亮度暗的情況相比，在上述環(huán)境的明亮度亮的情況下，上述第一異物檢測(cè)單元將上述亮度值的經(jīng)時(shí)變化的規(guī)定閾值γ設(shè)定得相對(duì)較大。
8.根據(jù)權(quán)利要求1?7中的任一項(xiàng)所述的三維物體檢測(cè)裝置，其特征在于， 上述亮度值的經(jīng)時(shí)變化為規(guī)定閾值γ以下的規(guī)定像素相對(duì)于與上述規(guī)定區(qū)域相當(dāng)?shù)娜肯袼氐拿娣e比例越大，則上述控制單元越是抑制根據(jù)上述規(guī)定區(qū)域的圖像檢測(cè)上述三維物體并抑制該三維物體被判斷為是上述其它車輛。
9.根據(jù)權(quán)利要求8所述的三維物體檢測(cè)裝置，其特征在于， 在上述亮度值的經(jīng)時(shí)變化為規(guī)定閾值γ以下的規(guī)定像素相對(duì)于與上述規(guī)定區(qū)域相當(dāng)?shù)娜肯袼氐拿娣e比例為規(guī)定值以上的情況下，上述控制單元中止根據(jù)上述圖像檢測(cè)三維物體的處理以及判斷是否為上述其它車輛的處理。
10.根據(jù)權(quán)利要求1?9中的任一項(xiàng)所述的三維物體檢測(cè)裝置，其特征在于， 環(huán)境的明亮度越亮，則上述第一異物檢測(cè)單元將上述規(guī)定像素的面積設(shè)定得越小，環(huán)境的明亮度越暗，則上述第一異物檢測(cè)單元將上述規(guī)定像素的面積設(shè)定得越大。
11.根據(jù)權(quán)利要求1或2所述的三維物體檢測(cè)裝置，其特征在于， 在上述差分波形信息為規(guī)定的第一閾值α以上的情況下，上述三維物體檢測(cè)單元檢測(cè)出三維物體， 在由上述第一異物檢測(cè)單元和上述第二異物檢測(cè)單元檢測(cè)出附著于上述鏡頭的異物的情況下，上述控制單元生成將上述第一閾值α變高使得難以檢測(cè)上述三維物體的控制命令，并將該控制命令輸出到上述三維物體檢測(cè)單元。
12.根據(jù)權(quán)利要求1或2所述的三維物體檢測(cè)裝置，其特征在于， 在上述差分波形信息為規(guī)定的第一閾值α以上的情況下，上述三維物體檢測(cè)單元檢測(cè)出三維物體， 在由上述第一異物檢測(cè)單元和上述第二異物檢測(cè)單元檢測(cè)出附著于上述鏡頭的異物的情況下，上述控制單元生成使在上述鳥(niǎo)瞰視點(diǎn)圖像的差分圖像上對(duì)示出規(guī)定的差分的像素?cái)?shù)進(jìn)行計(jì)數(shù)并進(jìn)行頻數(shù)分布化得到的值降低的控制命令，并將該控制命令輸出到上述三維物體檢測(cè)單元。
13.根據(jù)權(quán)利要求1或2所述的三維物體檢測(cè)裝置，其特征在于， 上述三維物體檢測(cè)單元抽出示出閾值P以上的像素值的像素?cái)?shù)作為示出上述規(guī)定的差分的像素?cái)?shù)， 在由上述第一異物檢測(cè)單元和上述第二異物檢測(cè)單元檢測(cè)出附著于上述鏡頭的異物的情況下，上述控制單元生成將上述閾值P變高使得難以檢測(cè)上述三維物體的控制命令，并將該控制命令輸出到上述三維物體檢測(cè)單元。
14.根據(jù)權(quán)利要求1或2所述的三維物體檢測(cè)裝置，其特征在于， 上述三維物體檢測(cè)單元抽出示出閾值P以上的像素值的像素?cái)?shù)作為示出上述規(guī)定的差分的像素?cái)?shù)， 在由上述第一異物檢測(cè)單元和上述第二異物檢測(cè)單元檢測(cè)出附著于上述鏡頭的異物的情況下，上述控制單元生成將沿著在視點(diǎn)變換為上述鳥(niǎo)瞰視點(diǎn)圖像時(shí)三維物體傾倒的方向在上述差分圖像上抽出的像素?cái)?shù)變低并輸出的控制命令，并將該控制命令輸出到上述三維物體檢測(cè)單元。
15.根據(jù)權(quán)利要求3或4所述的三維物體檢測(cè)裝置，其特征在于， 上述三維物體檢測(cè)單元基于示出規(guī)定閾值t以上的亮度差的像素抽出邊緣線， 在由上述第一異物檢測(cè)單元和上述第二異物檢測(cè)單元檢測(cè)出附著于上述鏡頭的異物的情況下，上述控制單元生成將上述規(guī)定閾值t變高使得難以檢測(cè)上述三維物體的控制命令，并將該控制命令輸出到上述三維物體檢測(cè)單元。
16.根據(jù)權(quán)利要求3或4所述的三維物體檢測(cè)裝置，其特征在于， 上述三維物體檢測(cè)單元基于示出規(guī)定閾值t以上的亮度差的像素抽出邊緣線， 在由上述第一異物檢測(cè)單元和上述第二異物檢測(cè)單元檢測(cè)出附著于上述鏡頭的異物的情況下，上述控制單元生成將上述像素的亮度值降低的控制命令，并將該控制命令輸出到上述三維物體檢測(cè)單元。
17.根據(jù)權(quán)利要求3或4所述的三維物體檢測(cè)裝置，其特征在于， 上述三維物體檢測(cè)單元基于上述邊緣信息中包含的具有閾值Θ以上的長(zhǎng)度的上述邊緣線檢測(cè)三維物體， 在由上述第一異物檢測(cè)單元和上述第二異物檢測(cè)單元檢測(cè)出附著于上述鏡頭的異物的情況下，上述控制單元生成將上述閾值Θ變高使得難以檢測(cè)上述三維物體的控制命令，并將該控制命令輸出到上述三維物體檢測(cè)單元。
18.根據(jù)權(quán)利要求3或4所述的三維物體檢測(cè)裝置，其特征在于， 上述三維物體檢測(cè)單元基于上述邊緣信息中包含的具有閾值Θ以上的長(zhǎng)度的上述邊緣線檢測(cè)三維物體， 在由上述第一異物檢測(cè)單元和上述第二異物檢測(cè)單元檢測(cè)出附著于上述鏡頭的異物的情況下，上述控制單元生成將檢測(cè)出的上述邊緣信息中包含的邊緣的長(zhǎng)度的值輸出得低的控制命令，并將該控制命令輸出到上述三維物體檢測(cè)單元。
19.根據(jù)權(quán)利要求3或4所述的三維物體檢測(cè)裝置，其特征在于， 上述三維物體檢測(cè)單元基于上述邊緣信息中包含的規(guī)定長(zhǎng)度以上的邊緣線的條數(shù)是否為第二閾值β以上的判斷來(lái)檢測(cè)三維物體， 在由上述第一異物檢測(cè)單元和上述第二異物檢測(cè)單元檢測(cè)出附著于上述鏡頭的異物的情況下，上述控制單元生成將上述第二閾值β變高使得難以檢測(cè)上述三維物體的控制命令，并將該控制命令輸出到上述三維物體檢測(cè)單元。
20.根據(jù)權(quán)利要求3或4所述的三維物體檢測(cè)裝置，其特征在于， 上述三維物體檢測(cè)單元基于上述邊緣信息中包含的規(guī)定長(zhǎng)度以上的邊緣線的條數(shù)是否為第二閾值β以上的判斷來(lái)檢測(cè)三維物體， 在由上述第一異物檢測(cè)單元和上述第二異物檢測(cè)單元檢測(cè)出附著于上述鏡頭的異物的情況下，上述控制單元生成將檢測(cè)出的上述規(guī)定長(zhǎng)度以上的邊緣線的條數(shù)輸出得低的控制命令，并將該控制命令輸出到上述三維物體檢測(cè)單元。
21.根據(jù)權(quán)利要求3或4所述的三維物體檢測(cè)裝置，其特征在于， 上述三維物體判斷單元在檢測(cè)出的上述三維物體的移動(dòng)速度為預(yù)先設(shè)定的規(guī)定速度以上的情況下，將該三維物體判斷為是其它車輛， 在由上述第一異物檢測(cè)單元和上述第二異物檢測(cè)單元檢測(cè)出附著于上述鏡頭的異物的情況下，上述控制單元生成使將三維物體判斷為是其它車輛時(shí)的作為下限的上述規(guī)定速度提高使得難以檢測(cè)上述三維物體的控制命令，并將該控制命令輸出到上述三維物體判斷單元。
22.根據(jù)權(quán)利要求3或4所述的三維物體檢測(cè)裝置，其特征在于， 上述三維物體判斷單元在檢測(cè)出的上述三維物體的移動(dòng)速度是預(yù)先設(shè)定的規(guī)定速度以上的情況下，將該三維物體判斷為是上述其它車輛， 在由上述第一異物檢測(cè)單元和上述第二異物檢測(cè)單元檢測(cè)出附著于上述鏡頭的異物的情況下，上述控制單元生成將用于與將上述三維物體判斷為是其它車輛時(shí)的作為下限的上述規(guī)定速度進(jìn)行比較的上述三維物體的移動(dòng)速度變低并輸出的控制命令，并將該控制命令輸出到上述三維物體判斷單元。
23.根據(jù)權(quán)利要求3或4所述的三維物體檢測(cè)裝置，其特征在于， 上述三維物體判斷單元在檢測(cè)出的上述三維物體的移動(dòng)速度小于預(yù)先設(shè)定的規(guī)定速度的情況下，將該三維物體判斷為是其它車輛， 在由上述第一異物檢測(cè)單元和上述第二異物檢測(cè)單元檢測(cè)出附著于上述鏡頭的異物的情況下，上述控制單元生成使將上述三維物體判斷為是其它車輛時(shí)的作為上限的上述規(guī)定速度變低的控制命令，并將該控制命令輸出到上述三維物體判斷單元。
24.根據(jù)權(quán)利要求3或4所述的三維物體檢測(cè)裝置，其特征在于， 上述三維物體判斷單元在檢測(cè)出的上述三維物體的移動(dòng)速度小于預(yù)先設(shè)定的規(guī)定速度的情況下，將該三維物體判斷為是其它車輛， 在由上述第一異物檢測(cè)單元和上述第二異物檢測(cè)單元檢測(cè)出附著于上述鏡頭的異物的情況下，上述控制單元生成將用于與將上述三維物體判斷為是其它車輛時(shí)的作為上限的上述規(guī)定速度進(jìn)行比較的上述三維物體的移動(dòng)速度變高的控制命令，并將該控制命令輸出到上述三維物體判斷單元。
25.一種異物檢測(cè)裝置，具備: 攝像單元，其搭載于車輛，具備使規(guī)定區(qū)域的影像成像的鏡頭和攝像元件； 圖像變換單元，其將由上述攝像單元獲得的圖像視點(diǎn)變換為鳥(niǎo)瞰視點(diǎn)圖像； 三維物體檢測(cè)單元，其在由上述圖像變換單元獲得的上述鳥(niǎo)瞰視點(diǎn)圖像上，檢測(cè)在視點(diǎn)變換為上述鳥(niǎo)瞰視點(diǎn)圖像時(shí)三維物體傾倒的方向上亮度差為規(guī)定的第一閾值以上的像素的分布信息，在上述三維物體傾倒的方向上的上述像素的分布程度為規(guī)定的第二閾值以上的情況下，基于上述像素的分布信息檢測(cè)三維物體； 第一異物檢測(cè)單元，其基于上述攝像元件的每個(gè)規(guī)定像素的亮度值的經(jīng)時(shí)變化，檢測(cè)上述鏡頭上是否附著有異物； 第二異物檢測(cè)單元，其從通過(guò)上述三維物體檢測(cè)單元在一個(gè)或多個(gè)第一定時(shí)生成的像素的分布信息中抽出第一極大值并基于抽出的該第一極大值獲取基準(zhǔn)值，從在上述第一定時(shí)之后的一個(gè)或多個(gè)第二定時(shí)新生成的像素的分布信息中抽出上述鳥(niǎo)瞰視點(diǎn)圖像上與上述第一極大值對(duì)應(yīng)的第二極大值并基于該第二極大值獲取評(píng)價(jià)對(duì)象值，基于上述評(píng)價(jià)對(duì)象值與上述基準(zhǔn)值的差分的經(jīng)時(shí)變化檢測(cè)上述鏡頭上是否附著有異物；以及 判定單元，其在由上述第一異物檢測(cè)單元和上述第二異物檢測(cè)單元這雙方都檢測(cè)出上述異物的情況下，判定為上述鏡頭上附著有異物。
26.根據(jù)權(quán)利要求25所述的異物檢測(cè)裝置，其特征在于， 在由上述判定單元判斷為上述鏡頭上附著有異物的情況下，變更上述第一閾值和上述第二閾值來(lái)抑制上述三維物體的檢測(cè)。
【文檔編號(hào)】H04N7/18GK104509102SQ201380040050
【公開(kāi)日】2015年4月8日 申請(qǐng)日期:2013年7月12日 優(yōu)先權(quán)日:2012年7月27日
【發(fā)明者】深田修, 早川泰久, 竹村雅幸, 宇田川玲, 清原將裕, 村松彰二, 入江耕太 申請(qǐng)人:日產(chǎn)自動(dòng)車株式會(huì)社, 歌樂(lè)株式會(huì)社