車外環(huán)境識(shí)別裝置的制造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種識(shí)別在車外確認(rèn)的道路標(biāo)識(shí)的內(nèi)容的車外環(huán)境識(shí)別裝置。
【背景技術(shù)】
[0002]以往，檢測(cè)位于本車輛前方的車輛等特定物，避免與先行車輛發(fā)生碰撞(碰撞避免控制)，或者進(jìn)行控制以將與先行車輛的車間距離保持在安全距離(巡航控制)的技術(shù)已被人們所知(例如，專利文獻(xiàn)I)。另外，為了降低由超速引起的事故，對(duì)于識(shí)別每段道路上設(shè)定的限制速度而控制本車輛速度的技術(shù)的需求也在不斷升高。
[0003]為了使本車輛的速度在限制速度范圍內(nèi)而使車輛安全行駛，需要識(shí)別配置于路崖和/或門的道路標(biāo)識(shí)的內(nèi)容，正確掌握當(dāng)前行駛中的道路的限制速度。例如，專利文獻(xiàn)2中記載有如下技術(shù):對(duì)相當(dāng)于畫面上的邊緣的部位執(zhí)行霍夫變換而識(shí)別圓形的道路標(biāo)識(shí)的圖像(以下，將道路標(biāo)識(shí)的圖像簡(jiǎn)稱為道路標(biāo)識(shí))。在相關(guān)技術(shù)中，通過(guò)減輕霍夫變換所耗費(fèi)的處理負(fù)荷，能夠提尚特定道路標(biāo)識(shí)的效率。
[0004]現(xiàn)有技術(shù)文獻(xiàn)
[0005]專利文獻(xiàn)
[0006]專利文獻(xiàn)1:日本特許第3349060號(hào)公報(bào)
[0007]專利文獻(xiàn)2:日本特開(kāi)2012-243051號(hào)公報(bào)

【發(fā)明內(nèi)容】

[0008]技術(shù)問(wèn)題
[0009]為了執(zhí)行霍夫變換而識(shí)別圓形的道路標(biāo)識(shí)，首先，特定相當(dāng)于圓周的部分部位的特征點(diǎn)，然后，對(duì)于從特征點(diǎn)間隔預(yù)定距離的圓周上投票，根據(jù)其得票數(shù)而特定具有圓的中心位置和半徑的道路標(biāo)識(shí)的候選。然后，針對(duì)上述道路標(biāo)識(shí)的候選，通過(guò)圖像匹配等來(lái)識(shí)別道路標(biāo)識(shí)的內(nèi)容。然而，根據(jù)國(guó)家不同，存在提示限制速度的道路標(biāo)識(shí)的數(shù)值大小、形狀、數(shù)值間的距離各異的情況，如果忽略該差異而進(jìn)行圖像匹配，則可能原本不應(yīng)被匹配的內(nèi)容匹配成立，會(huì)對(duì)安全行駛帶來(lái)障礙。
[0010]本發(fā)明是鑒于這樣的問(wèn)題而提出的，其目的在于提供一種抑制處理負(fù)荷的增加，并且適當(dāng)?shù)嘏卸ó?dāng)前行駛的國(guó)家，從而能夠提高道路標(biāo)識(shí)的內(nèi)容的特定精度的車外環(huán)境識(shí)別裝置。
[0011]技術(shù)方案
[0012]為了解決上述課題，本發(fā)明的車外環(huán)境識(shí)別裝置的特征在于，具備:圖像獲取部，用于獲取圖像；標(biāo)識(shí)特定部，使用圖像，將以任意像素為中心的預(yù)定的半徑的圓特定為道路標(biāo)識(shí)；標(biāo)識(shí)內(nèi)容識(shí)別部，識(shí)別所特定的道路標(biāo)識(shí)的內(nèi)容；標(biāo)識(shí)內(nèi)容確定部，使用一個(gè)國(guó)家的模板，基于所識(shí)別的道路標(biāo)識(shí)的內(nèi)容的相關(guān)性評(píng)價(jià)值而累積標(biāo)識(shí)累積分，使用與具有標(biāo)識(shí)累積分的道路標(biāo)識(shí)的內(nèi)容對(duì)應(yīng)的多個(gè)國(guó)家的模板，基于所識(shí)別的道路標(biāo)識(shí)的內(nèi)容的綜合評(píng)價(jià)值而累積國(guó)別累積分，確定當(dāng)前行駛的國(guó)家。
[0013]為了易于選擇當(dāng)前識(shí)別的國(guó)家及與該國(guó)鄰接的國(guó)家，標(biāo)識(shí)內(nèi)容確定部可以針對(duì)當(dāng)前識(shí)別的國(guó)家或者當(dāng)前識(shí)別的國(guó)家及與該國(guó)鄰接的國(guó)家，對(duì)綜合評(píng)價(jià)值進(jìn)行加權(quán)。
[0014]標(biāo)識(shí)內(nèi)容確定部可以將具有標(biāo)識(shí)累積分的道路標(biāo)識(shí)的圖像存儲(chǔ)于圖像存儲(chǔ)器，基于所識(shí)別的道路標(biāo)識(shí)的內(nèi)容的相關(guān)性評(píng)價(jià)值而累積標(biāo)識(shí)累積分，使用一個(gè)國(guó)家的模板，在基于所識(shí)別的道路標(biāo)識(shí)的內(nèi)容的相關(guān)性評(píng)價(jià)值進(jìn)行國(guó)別累積分的累積處理的空閑時(shí)間執(zhí)行確定當(dāng)前行駛的國(guó)家的處理。
[0015]有益效果
[0016]根據(jù)本發(fā)明，通過(guò)抑制處理負(fù)荷的增大，并且適當(dāng)?shù)嘏卸ó?dāng)前行駛的國(guó)家，從而能夠提尚道路標(biāo)識(shí)的內(nèi)容的特定精度。
【附圖說(shuō)明】
[0017]圖1是表示車外環(huán)境識(shí)別系統(tǒng)的連接關(guān)系的框圖。
[0018]圖2是用于說(shuō)明彩色圖像和距離圖像的說(shuō)明圖。
[0019]圖3是表示車外環(huán)境識(shí)別裝置的大致功能的功能框圖。
[0020]圖4是說(shuō)明道路標(biāo)識(shí)的說(shuō)明圖。
[0021]圖5是表示車外環(huán)境識(shí)別處理的流程的流程圖。
[0022]圖6是用于說(shuō)明圖像獲取部所獲取的彩色圖像的說(shuō)明圖。
[0023]圖7是用于說(shuō)明霍夫變換的說(shuō)明圖。
[0024]圖8是用于說(shuō)明霍夫變換的說(shuō)明圖。
[0025]圖9是用于說(shuō)明第四抽出條件的說(shuō)明圖。
[0026]圖10是表示特征點(diǎn)特定處理的一個(gè)例子的流程圖。
[0027]圖11是表示特征點(diǎn)特定處理的一個(gè)例子的說(shuō)明圖。
[0028]圖12是用于說(shuō)明投票處理的說(shuō)明圖。
[0029]圖13是用于說(shuō)明投票表的說(shuō)明圖。
[0030]圖14是用于說(shuō)明中心點(diǎn)候選單的說(shuō)明圖。
[0031]圖15是用于說(shuō)明標(biāo)志表的說(shuō)明圖。
[0032]圖16是表示標(biāo)識(shí)特定處理的一個(gè)例子的流程圖。
[0033]圖17是用于說(shuō)明標(biāo)識(shí)校正部的處理的說(shuō)明圖。
[0034]圖18是表示標(biāo)識(shí)內(nèi)容識(shí)別處理的具體處理的流程的流程圖。
[0035]圖19是用于說(shuō)明識(shí)別對(duì)象區(qū)域的說(shuō)明圖。
[0036]圖20是用于說(shuō)明提示限制速度解除的道路標(biāo)識(shí)的說(shuō)明圖。
[0037]圖21是用于說(shuō)明垂直方向定位處理的說(shuō)明圖。
[0038]圖22是用于說(shuō)明模板的說(shuō)明圖。
[0039]圖23是用于說(shuō)明水平方向的匹配處理的說(shuō)明圖。
[0040]圖24是用于說(shuō)明DP匹配的說(shuō)明圖。
[0041]圖25是用于說(shuō)明關(guān)注部位的匹配處理的說(shuō)明圖。
[0042]圖26是用于說(shuō)明評(píng)價(jià)判定結(jié)果的說(shuō)明圖。
[0043]圖27是表示道路標(biāo)識(shí)的結(jié)果報(bào)告的流程的時(shí)間圖。
[0044]圖28是表示各國(guó)的道路標(biāo)識(shí)的表示方式的說(shuō)明圖。
[0045]圖29是用于說(shuō)明道路標(biāo)識(shí)的模板的說(shuō)明圖。
[0046]符號(hào)說(shuō)明
[0047]120:車外環(huán)境識(shí)別裝置
[0048]160:圖像獲取部
[0049]162:位置信息導(dǎo)出部
[0050]164:特征點(diǎn)特定部
[0051]166:投票部
[0052]168:標(biāo)識(shí)特定部
[0053]170:標(biāo)識(shí)校正部
[0054]172:標(biāo)識(shí)內(nèi)容識(shí)別部
[0055]174:標(biāo)識(shí)內(nèi)容確定部
【具體實(shí)施方式】
[0056]以下，參照附圖，對(duì)本發(fā)明的優(yōu)選的實(shí)施方式進(jìn)行詳細(xì)說(shuō)明。該實(shí)施方式所示的尺寸、材料、其它具體的數(shù)值等僅是用于容易理解發(fā)明的例示，除了特別說(shuō)明以外，均不限定本發(fā)明。應(yīng)予說(shuō)明，在本說(shuō)明書和附圖中，通過(guò)對(duì)具有實(shí)質(zhì)上相同的功能、構(gòu)成的要素標(biāo)注相同的符號(hào)而省略重復(fù)說(shuō)明，另外，對(duì)與本發(fā)明沒(méi)有直接關(guān)系的要素省略圖示。
[0057](車外環(huán)境識(shí)別系統(tǒng)100)
[0058]圖1是表示車外環(huán)境識(shí)別系統(tǒng)100的連接關(guān)系的框圖。車外環(huán)境識(shí)別系統(tǒng)100包括設(shè)置在本車輛I內(nèi)的攝像裝置110、車外環(huán)境識(shí)別裝置120和車輛控制裝置(ECU:EngineControl Unit) 130 而構(gòu)成。
[0059]攝像裝置110 包括 CCD (Charge-Coupled Device)和 / 或 CMOS (ComplementaryMetal-Oxide Semiconductor)等攝像元件而構(gòu)成，能夠拍攝相當(dāng)于本車輛I前方的環(huán)境，生成由彩色值表示的彩色圖像。在此，彩色值是由如下顏色空間中的任一個(gè)表示的數(shù)值組，艮P，由一個(gè)亮度(Y)和兩個(gè)色差(U、V)構(gòu)成的YUV格式的顏色空間，由三個(gè)色相(R(紅)、G(綠)、B(藍(lán)))構(gòu)成的RGB格式的顏色空間，或者由色相⑶、飽和度⑶、明度⑶構(gòu)成的HSB格式的顏色空間。在本實(shí)施方式中，作為圖像，列舉基于YUV格式的彩色值的彩色圖像進(jìn)行說(shuō)明，在任意部分的處理中，對(duì)于能夠不依賴彩色圖像的情況下進(jìn)行處理的應(yīng)用，不僅可以使用彩色圖像，還可以使用由亮度(Y)表示的亮度圖像(單色圖像)。
[0060]另外，攝像裝置110以兩個(gè)攝像裝置110各自的光軸在本車輛I的行進(jìn)方向側(cè)大致平行的方式大致在水平方向隔開(kāi)配置。攝像裝置110例如以1/60秒生成一幀(60fps)的方式連續(xù)生成對(duì)存在于本車輛I前方的檢測(cè)區(qū)域的對(duì)象物進(jìn)行拍攝而得的彩色圖像。在此，識(shí)別的對(duì)象物不僅包括車輛、行人、信號(hào)燈、道路(行進(jìn)道路)、道路標(biāo)識(shí)、門、護(hù)欄、建筑物之類的獨(dú)立存在的立體物，還包括道路標(biāo)識(shí)的內(nèi)容、剎車燈、高位剎車燈、尾燈、閃光信號(hào)燈、信號(hào)燈的各照明部分等能夠作為立體物的一部分而特定的物體。以下的實(shí)施方式中的各功能部以這樣的彩色圖像的更新為契機(jī)而對(duì)每幀進(jìn)行各種處理。
[0061]并且，在本實(shí)施方式中，攝像裝置110通過(guò)根據(jù)車外環(huán)境的亮度(光度計(jì)的測(cè)量結(jié)果等)的表示曝光時(shí)間和/或光圈的第一曝光方式拍攝檢測(cè)區(qū)域，生成第一圖像。另外，攝像裝置110生成能夠辨別光電顯示型的道路標(biāo)識(shí)等特定的發(fā)光源是否自行發(fā)光的圖像。作為其方法，可以使用動(dòng)態(tài)范圍廣的攝像元件進(jìn)行拍攝，以避免不發(fā)光的對(duì)象物暗部缺失、而發(fā)光源高光溢出，也可以利用曝光方式(曝光時(shí)間、光圈)與第一曝光方式不同的第二曝光方式拍攝檢測(cè)區(qū)域，生成第二圖像。例如，若是白天，則使第二曝光方式的曝光時(shí)間比與明亮的車外環(huán)境對(duì)應(yīng)的第一曝光方式的曝光時(shí)間短，或者增加光圈而生成第二圖像。在本實(shí)施方式中，將第一圖像和第二圖像分別用作彩色圖像和距離圖像。另外，上述第一曝光方式和第二曝光方式通過(guò)如下方法實(shí)現(xiàn)。
[0062]例如，通過(guò)對(duì)攝像裝置110的周期性的拍攝時(shí)機(jī)進(jìn)行分時(shí)，交替進(jìn)行基于第一曝光方式的拍攝與基于第二曝光方式的拍攝，從而能夠依次生成第一圖像和第二圖像。另外，在每個(gè)像素設(shè)置有兩個(gè)電容器并能夠?qū)υ搩蓚€(gè)電容器并行充電的攝像元件中，也可以在一次曝光中使充電時(shí)間不同而并行生成曝光方式不同的兩個(gè)圖像。并且，也可以通過(guò)在一個(gè)電容器的充電中使時(shí)間不同而讀取兩次，并行生成曝光方式不同的兩個(gè)圖像等來(lái)實(shí)現(xiàn)上述目的。另外，也可以預(yù)先準(zhǔn)備使曝光方式不同的兩套攝像裝置110 (在此，為兩個(gè)攝像裝置I1x兩套)，由兩套攝像裝置110分別生成圖像。
[0063]車外環(huán)境識(shí)別裝置120利用所謂的圖像匹配導(dǎo)出視差和包括表示任意的塊在畫面內(nèi)的位置的畫面位置的視差信息，所述圖像匹配是分別從兩個(gè)攝像裝置110獲取彩色圖像，從另一個(gè)彩色圖像檢索與從一個(gè)彩色圖像任意抽出的塊(例如水平4像素X垂直4像素的排列)對(duì)應(yīng)的塊。在此，水平方向表示所拍攝的圖像的畫面橫向方向，垂直方向表示所拍攝的圖像的畫面縱向方向。作為該圖像匹配，可以考慮在一對(duì)圖像間以任意的塊為單位比較亮度(Y)。例如，有如下方法，即，利用亮度的差分的SAD(Sum of AbsoluteDifference)、將差分平方而使用的 SSD(Sum of Squared intensity Difference)和 /或利用從各像素的亮度中減去平均值而得的分散值的相似度的NCC(Normalized CrossCorrelati)等。車外環(huán)境識(shí)別裝置120對(duì)映在檢測(cè)區(qū)域(例如600像素X200像素)的所有的塊進(jìn)行這種塊為單位的視差導(dǎo)出處理。在此，使塊為4像素X4像素，但塊內(nèi)的像素?cái)?shù)可以任意設(shè)定。
[0064]然而，在車外環(huán)境識(shí)別裝置120中雖然能夠?qū)С鲆詸z測(cè)分辨率為單位的每個(gè)塊的視差，但無(wú)法識(shí)別該塊是哪個(gè)對(duì)象物的一部分。因此，視差信息不是以對(duì)象物為單位導(dǎo)出，而是以檢測(cè)區(qū)域中的檢測(cè)分辨率為單位(例如塊單位)獨(dú)立地導(dǎo)出。在此，與上述彩色圖像進(jìn)行區(qū)分，將對(duì)應(yīng)地具有由此導(dǎo)出的視差信息的圖像稱為距離圖像。
[0065]圖2是用于說(shuō)明彩色圖像126和距離圖像128的說(shuō)明圖。例如，假設(shè)通過(guò)兩個(gè)攝像裝置110針對(duì)檢測(cè)區(qū)域124生成了圖2(a)那樣的彩色圖像126。其中，為了容易理解，在此示意性地表示兩個(gè)彩色圖像126中的一個(gè)。車外環(huán)境識(shí)別裝置120從這樣的彩色圖像126中求出每個(gè)塊的視差，形成圖2(b)那樣的距離圖像128。在距離圖像128中的各塊中關(guān)聯(lián)有該塊的視差。在此，為了便于說(shuō)明，用黑點(diǎn)表示導(dǎo)出視差的塊。在本實(shí)施方式中，分別基于第一圖像和第二圖像生成這樣的彩色圖像126和距離圖像128。
[0066]另外，在車外環(huán)境識(shí)別裝置120中，利用基于彩色圖像126的彩色值以及基于距離圖像128算出的、包括與本車輛I的相對(duì)距離在內(nèi)的實(shí)際空間中的三維位置信息，將彩色值相等且三維位置信息相近的塊彼此作為對(duì)象物而進(jìn)行分組，特定本車輛I前方的檢測(cè)區(qū)域中的對(duì)象物是否與某一特定物(例如，先行車輛)對(duì)應(yīng)。例如，根據(jù)相對(duì)距離等特定在前方行駛的先行車輛，再根據(jù)彩色值準(zhǔn)確識(shí)別該先行車輛的剎車燈是否點(diǎn)亮，從而能夠掌握先行車輛的加速和減速。另外，車外環(huán)境識(shí)別裝置120特定配置于路崖和/或門的道路標(biāo)識(shí)，并且識(shí)別該道路標(biāo)識(shí)的內(nèi)容，例如限制速度，通過(guò)車輛控制裝置130將本車輛I的速度控制在限制速度內(nèi)的安全速度。
[0067]應(yīng)予說(shuō)明，上述相對(duì)距離是通過(guò)利用所謂的立體法將距離圖像128中的每個(gè)塊的視差信息轉(zhuǎn)換成三維位置信息而求出的。在此，立體法是通過(guò)利用三角測(cè)量法，從對(duì)象物的視差導(dǎo)出該對(duì)象物相對(duì)于攝像裝置110的相對(duì)距離的方法。
[0068]回到圖1進(jìn)行說(shuō)明，車輛控制裝置130通過(guò)方向盤132、加速器踏板134、制動(dòng)踏板136接受駕駛員的操作輸入，并通過(guò)將其傳遞到轉(zhuǎn)向機(jī)構(gòu)142、驅(qū)動(dòng)機(jī)構(gòu)144、制動(dòng)機(jī)構(gòu)146來(lái)控制本車輛I。另外，車輛控制裝置130根據(jù)車外環(huán)境識(shí)別裝置120的指令控制驅(qū)動(dòng)機(jī)構(gòu)144、制動(dòng)機(jī)構(gòu)146。
[0069]以下，對(duì)車外環(huán)境識(shí)別裝置120的構(gòu)成進(jìn)行詳述。在此，對(duì)在本實(shí)施方式中作為特征的道路標(biāo)識(shí)的特定處理進(jìn)行詳細(xì)說(shuō)明，對(duì)于與本實(shí)施方式的特征沒(méi)有關(guān)系的構(gòu)成省略說(shuō)明。
[0070](車外環(huán)境識(shí)別裝置120)
[0071]圖3是表示車外環(huán)境識(shí)別裝置120的大致功能的功能框圖。如圖3所示，車外環(huán)境識(shí)別裝置120包括I/F部150、數(shù)據(jù)保持部152和中央控制部154而構(gòu)成。
[0072]I/F部150是用于與攝像裝置110和/或車輛控制裝置130進(jìn)行雙向信息交換的接口。數(shù)據(jù)保持部152由RAM、閃存、HDD等構(gòu)成，存儲(chǔ)以下所示的各功能部的處理所必需的各種信息，另外，暫時(shí)保持從攝像裝置110接收的圖像(基于第一圖像和第二圖像的彩色圖像126、距離圖像128)。
[0073]中央控制部154由包括中央處理裝置(CPU)、存儲(chǔ)有程序等的R0M、作為工作區(qū)的RAM等的半導(dǎo)體集成電路構(gòu)成，通過(guò)系統(tǒng)總線156來(lái)控制I/F部150、數(shù)據(jù)保持部152等。另夕卜，在本實(shí)施方式中，中央控制部154也作為圖像獲取部160、位置信息導(dǎo)出部162、特征點(diǎn)特定部164、投票部166、標(biāo)識(shí)特定部168、標(biāo)識(shí)校正部170、標(biāo)識(shí)內(nèi)容識(shí)別部172、標(biāo)識(shí)內(nèi)容確定部174發(fā)揮作用。以下，在本實(shí)施方式中，說(shuō)明作為識(shí)別目標(biāo)的道路標(biāo)識(shí)，然后，根據(jù)該中央控制部154的各功能部的動(dòng)作對(duì)在本實(shí)施方式中作為特征的車外環(huán)境識(shí)別處理進(jìn)行詳述。
[0074]圖4是說(shuō)明道路標(biāo)識(shí)的說(shuō)明圖。作為道路標(biāo)識(shí)的種類，有提示限制速度的道路標(biāo)識(shí)和/或提示限制速度解除的道路標(biāo)識(shí)。提示限制速度的道路標(biāo)識(shí)像圖4(a)那樣，在圓形的框內(nèi)記載有表示限制速度的數(shù)值。另外，在提示限制速度解除的道路標(biāo)識(shí)中，有像圖4(b)那樣，在單色背景上記載有從右上方向左下方傾斜的線的標(biāo)識(shí)，也有像圖4(c)那樣，將表示