基于時(shí)空關(guān)聯(lián)的地面交通標(biāo)志實(shí)時(shí)檢測(cè)識(shí)別方法
【專利摘要】基于時(shí)空關(guān)聯(lián)的地面交通標(biāo)志實(shí)時(shí)檢測(cè)識(shí)別方法屬于交通信息檢測(cè)領(lǐng)域。本發(fā)明以20-50幀/秒的幀率實(shí)時(shí)獲取智能車輛前方道路的圖像Src，結(jié)合空間關(guān)聯(lián)信息，對(duì)獲取的原始圖像Src進(jìn)行切割、灰度變換、高斯濾波、二值化處理、透視變換，得到透視圖像Src_IP。通過面積過濾、長(zhǎng)寬比過濾得到待檢測(cè)的標(biāo)志圖案diff_j。同時(shí)，讀入處理過的地面交通標(biāo)志圖像temp_i。通過圖像匹配，計(jì)算diff_j與每一幅標(biāo)準(zhǔn)圖像temp_i之間的相似度，找到一組最相似的圖片。將temp_i與相對(duì)應(yīng)diff_j的進(jìn)行相減，統(tǒng)計(jì)新圖像中的白色像素點(diǎn)個(gè)數(shù)Sum_i_r，Sum_i_r少于設(shè)定的閾值時(shí)，即認(rèn)為存在對(duì)應(yīng)的標(biāo)準(zhǔn)圖像中的地面交通標(biāo)志。結(jié)合時(shí)空關(guān)聯(lián)信息，對(duì)于識(shí)別結(jié)果進(jìn)行邏輯判斷，提升準(zhǔn)確率。本發(fā)明適用于復(fù)雜城市道路環(huán)境的智能駕駛。
【專利說明】基于時(shí)空關(guān)聯(lián)的地面交通標(biāo)志實(shí)時(shí)檢測(cè)識(shí)別方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明是一種基于智能駕駛的地面交通標(biāo)志實(shí)時(shí)檢測(cè)的方法，屬于智能交通行業(yè)的交通信息檢測(cè)領(lǐng)域。
【背景技術(shù)】
[0002]自第一輛汽車面世以來，汽車的研究始終處于一個(gè)高速、向上的狀態(tài)；隨著科技水平的提升，對(duì)于汽車的研究已經(jīng)由簡(jiǎn)單的機(jī)械領(lǐng)域擴(kuò)展到集圖像、通信、自動(dòng)化等眾多學(xué)科的領(lǐng)域。隨著社會(huì)經(jīng)濟(jì)的發(fā)展，汽車保有量逐年增加，各種問題隨之而來，智能駕駛系統(tǒng)應(yīng)運(yùn)而生。無人駕駛機(jī)車的研制，是智能駕駛系統(tǒng)的新的關(guān)鍵點(diǎn)所在。對(duì)地面交通標(biāo)志的識(shí)另O，是智能駕駛中的一個(gè)重要領(lǐng)域。準(zhǔn)確率和識(shí)別速率是該項(xiàng)研究的重點(diǎn)。通過判斷車輛行駛的車道中，是否含有地面交通標(biāo)志，以及地面交通標(biāo)志的種類和類型，給予駕駛員和智能系統(tǒng)準(zhǔn)確的指引信息，是地面交通標(biāo)志識(shí)別的關(guān)鍵所在。通過對(duì)地面交通標(biāo)志的準(zhǔn)確識(shí)另IJ，減少因失誤造成的事故數(shù)量，提高道路交通的安全系數(shù)。
[0003]地面交通標(biāo)志的識(shí)別，首先需要從攝像頭采集的視頻圖像中，將地面與天空區(qū)分開；其次，要準(zhǔn)確選擇本車行駛的車道；第三，通過時(shí)空關(guān)聯(lián)將地面交通標(biāo)志存在的區(qū)域篩選出來。目前，對(duì)于地面交通標(biāo)志識(shí)別的研究，集中于通過逆透視變換結(jié)合Hu不變矩，對(duì)地面交通標(biāo)志進(jìn)行檢測(cè)識(shí)別。該方法有一定的準(zhǔn)確率，但是通過提取Hu不變矩，來進(jìn)行判斷地面交通標(biāo)志的種類會(huì)產(chǎn)生誤差。尤其是在地面交通標(biāo)志有一定的污損或者是在強(qiáng)光照射等條件下，不能得出準(zhǔn)確的結(jié)果。所以，需要結(jié)合時(shí)空關(guān)聯(lián)信息進(jìn)行識(shí)別判斷。
【發(fā)明內(nèi)容】

[0004]本發(fā)明的目的在于無人駕駛機(jī)車行駛過程中，通過車載攝像頭，采集地面圖像，實(shí)時(shí)處理圖像，判斷其中是否含有地面交通標(biāo)志，并判斷其中的標(biāo)志種類及其信息，從而給予正確的引導(dǎo)信息；克服現(xiàn)有方法存在抗干擾性弱、檢測(cè)率低、檢測(cè)速度慢、成本高以及耗能大等缺點(diǎn)，提出了一種基于時(shí)空關(guān)聯(lián)的地面交通標(biāo)志實(shí)時(shí)檢測(cè)識(shí)別方法。
[0005]為了實(shí)現(xiàn)上述目的，本發(fā)明采取了如下技術(shù)方案:
[0006]一、攝像機(jī)安裝。本發(fā)明中將攝像頭安置在汽車中央后視鏡處。
[0007]二、圖像預(yù)處理。通過車輛上的攝像機(jī)，以20-50幀/秒的幀率實(shí)時(shí)獲取智能車輛前方道路的圖像Src。結(jié)合先驗(yàn)知識(shí)與空間關(guān)聯(lián)信息，得出當(dāng)前車道的地面交通標(biāo)志出現(xiàn)的區(qū)域范圍。對(duì)獲取的原始圖像Src進(jìn)行剪切，得到感興趣區(qū)域Src_r0i ;對(duì)感興趣區(qū)域進(jìn)行灰度變化，得到新的圖像SrC_gray，進(jìn)行圖像壓縮，得到新的圖像Src_gS ;圖像二值化處理，得到新的圖像Src_bw ;通過形態(tài)學(xué)處理、中值濾波和逆透視變換得到Src_IP。
[0008]三、設(shè)定地面交通標(biāo)志模板。我國現(xiàn)階段，城市公路、高速公路使用的地面交通標(biāo)志主要包括如下六種:直行箭頭、左轉(zhuǎn)箭頭、右轉(zhuǎn)箭頭、直行加左轉(zhuǎn)箭頭、直行加右轉(zhuǎn)箭頭、掉轉(zhuǎn)箭頭。本發(fā)明主要研究識(shí)別以上六種地面交通標(biāo)志。根據(jù)《道路交通標(biāo)志和標(biāo)線》(GB_5768-1999)規(guī)定，行車速度< 40km/h、60km/h~80km/h和≤100km/h不同路段地面交通標(biāo)志大小尺寸不一致，等比例縮放。本發(fā)明可用于檢測(cè)識(shí)別不同行車速度的路段。通過攝像機(jī)采集地面圖片，通過圖像預(yù)處理，對(duì)含有完整地面交通標(biāo)志的圖片Src_IP進(jìn)行剪切，從而獲得地面交通標(biāo)志圖像 templ_i。templ_i 是一個(gè) templ_i_widthX templ_i_height維圖像矩陣。要求模板圖像只含有地面交通標(biāo)志，每一種地面交通標(biāo)志對(duì)應(yīng)一種模板，共得到六種地面交通標(biāo)志模板。
[0009]四、圖像匹配。通過邊緣算子檢測(cè)，對(duì)圖像Src_IP進(jìn)行邊緣提?。辉谶吘壧崛〉幕A(chǔ)上，獲得圖像輪廓；對(duì)圖像的輪廓，做外接矩形。通過面積過濾、長(zhǎng)寬比過濾等方式，可以得到完整的地面交通標(biāo)志的輪廓，進(jìn)行輪廓填充。此時(shí)我們得到的是地面交通標(biāo)志的圖案，將該圖案截取下來。與預(yù)先設(shè)定的模板進(jìn)行匹配。通過計(jì)算圖像之間的相似度，選取最相似的圖像組。計(jì)算最相似的待檢測(cè)圖像和模板圖像之間的相似度，若相似度數(shù)值在設(shè)定閾值范圍以內(nèi)，則認(rèn)為此時(shí)圖像中含有對(duì)應(yīng)的地面交通標(biāo)志，否則，認(rèn)為不含有對(duì)應(yīng)的地面交通標(biāo)志。
[0010]五、時(shí)空關(guān)聯(lián)增強(qiáng)識(shí)別準(zhǔn)確率。本發(fā)明中，我們提出通過時(shí)空關(guān)聯(lián)的信息來增強(qiáng)識(shí)別魯棒性。智能車輛行駛過程中采集到的是完整的視頻；對(duì)于同一個(gè)地面交通標(biāo)志，多次檢測(cè)結(jié)果，中間的某一次出現(xiàn)錯(cuò)誤的時(shí)候，自動(dòng)濾除錯(cuò)誤的識(shí)別結(jié)果；車輛位于同一車道上，同一地面交通標(biāo)志出現(xiàn)次數(shù)大于等于三次；多車道的情況下，調(diào)轉(zhuǎn)箭頭、左轉(zhuǎn)、右轉(zhuǎn)、左轉(zhuǎn)直行箭頭、右轉(zhuǎn)直行箭頭不會(huì)出現(xiàn)在中間車道。
[0011]與現(xiàn)有的檢測(cè)方法相比，本發(fā)明具有如下優(yōu)點(diǎn):(1)該發(fā)明是應(yīng)用于無人駕駛車之上，實(shí)時(shí)性較好，每幀的處理時(shí)間在40ms左右，有較強(qiáng)的實(shí)用價(jià)值。(2)本發(fā)明能夠識(shí)別不同的地面交通標(biāo)志。(3)本發(fā)明基于現(xiàn)有的圖像匹配技術(shù)實(shí)現(xiàn)檢測(cè)識(shí)別，提高了準(zhǔn)確率，在實(shí)驗(yàn)場(chǎng)地的情況下，準(zhǔn)確率能達(dá)到95%以上。
【專利附圖】

【附圖說明】
[0012]圖1本發(fā)明的地面交通標(biāo)志檢測(cè)流程圖；
[0013]圖2直行模板；
[0014]圖3右轉(zhuǎn)模板；
[0015]圖4左轉(zhuǎn)模板；
[0016]圖5右轉(zhuǎn)加直行模板；
[0017]圖6左轉(zhuǎn)加直行模板；
[0018]圖7掉轉(zhuǎn)模板；
[0019]圖8本發(fā)明檢測(cè)實(shí)例所用到的一幅原始圖像；
[0020]圖9對(duì)圖8進(jìn)行壓縮、剪切得到的感興趣區(qū)域；
[0021 ]圖10對(duì)圖9進(jìn)行灰度變換得到的圖像；
[0022]圖11對(duì)圖10進(jìn)行二值變換、形態(tài)學(xué)處理、濾波得到的圖像；
[0023]圖12對(duì)圖11進(jìn)行逆透視變換得到圖像；
[0024]圖13對(duì)圖12進(jìn)行邊緣檢測(cè)、輪廓提取；
[0025]圖14對(duì)圖13中的輪廓做外接矩形；
[0026]圖15對(duì)圖14進(jìn)行面積過濾、寬高比過濾所得圖像；
[0027]圖16將圖15中剩余部分截取得到新的圖像；[0028]圖17圖16與準(zhǔn)備的模板進(jìn)行圖像匹配、圖像相減進(jìn)行判斷；
【具體實(shí)施方式】
[0029]下面結(jié)合附圖和【具體實(shí)施方式】對(duì)本發(fā)明的技術(shù)方案作進(jìn)一步詳細(xì)的說明。
[0030]一、攝像機(jī)安裝。本發(fā)明中將攝像頭安置在汽車中央后視鏡處，攝像機(jī)距離地面1-1.2 米。
[0031]二、通過車輛上的攝像機(jī)，以20-50幀/秒的幀率實(shí)時(shí)獲取智能車輛前方道路的圖像Src。結(jié)合先驗(yàn)知識(shí)與空間關(guān)聯(lián)信息，我們可以得出當(dāng)前車道的地面交通標(biāo)志出現(xiàn)的區(qū)域范圍。對(duì)獲取的原始圖像Src進(jìn)行剪切，將圖像上部2/3裁剪，取余下的1/3，得到新的圖像Src_height ;繼續(xù)對(duì)圖像Src_height裁剪,從圖像的左側(cè)到右側(cè)，圖像左側(cè)為O寬度，圖像右側(cè)為I寬度，從0.4寬度部分開始裁剪，到0.9寬度截止，得到感興趣區(qū)域Src_roi ;對(duì)感興趣區(qū)域進(jìn)行灰度變化，計(jì)算R，G, B通道值的平均值，作為灰度圖像的灰度值Gray，B, G, R代表圖像的三通道顏色值，得到新的圖像Src_r0i ；
[0032]
【權(quán)利要求】
1.一種基于時(shí)空關(guān)聯(lián)的地面交通標(biāo)志實(shí)時(shí)檢測(cè)識(shí)別的方法，其特征在于，包括以下步驟: 1)將攝像機(jī)置于車內(nèi)中央后視鏡處，位置固定，距離地面1-1.2米。 2)通過車輛上固定的攝像機(jī)，以20-50幀/秒的幀率實(shí)時(shí)獲取智能車輛前方道路的圖像Src，結(jié)合先驗(yàn)知識(shí)與空間關(guān)聯(lián)信息，得出當(dāng)前車道的地面交通標(biāo)志出現(xiàn)的區(qū)域范圍。對(duì)獲取的原始圖像Src進(jìn)行剪切，得到感興趣區(qū)域Src_r0i ;對(duì)感興趣區(qū)域進(jìn)行灰度變化，得到新的圖像SrC_gray，進(jìn)行圖像壓縮，得到新的圖像Src_gS ;圖像二值化處理，得到新的圖像Src_bw ;通過形態(tài)學(xué)處理、中值濾波和逆透視變換得到Src_IP ； 3)標(biāo)準(zhǔn)地面交通標(biāo)志圖案的選??；對(duì)于透視變換過后的含有完整地面交通標(biāo)志的圖像進(jìn)行剪切，得到地面交通標(biāo)志模板圖像tempi」；tempi」是一個(gè)templ_i_widthXtempl_i_height維圖像矩陣；每一種地面交通標(biāo)志對(duì)應(yīng)一種模板，共得到六種地面交通標(biāo)志模板，分別為:直行箭頭模板templ_l、左轉(zhuǎn)箭頭模板templ_2、右轉(zhuǎn)箭頭模板templ_3、直行加左轉(zhuǎn)箭頭模板templ_4、直行加右轉(zhuǎn)箭頭模板templ_5、掉轉(zhuǎn)箭頭模板templ_6 ； 4)地面交通標(biāo)志識(shí)別；通過對(duì)逆透視變換過后的圖像Src_IP進(jìn)行邊緣提取，輪廓提取，對(duì)每一個(gè)輪廓取外接矩形，通過面積過濾、長(zhǎng)寬比過濾、尺寸歸一化，得到尺寸一致的完整的地面交通標(biāo)志圖案diff_j ； 對(duì)于Src_IP中出現(xiàn)的地面交通標(biāo)志，max_area為面積最大值，此處為3000, min_area為面積最小值，此處為500 ;經(jīng)過面積過濾之后，對(duì)圖像繼續(xù)進(jìn)行寬高比過濾；寬高比范圍[β _min, β _max] ; β _min此處為2.5, β _max此處為8.5,外接矩形寬高比滿足該范圍的輪廊保留； 與預(yù)先設(shè)定的標(biāo)準(zhǔn)的地面交通標(biāo)志模板圖像temp」進(jìn)行計(jì)算，計(jì)算二者之間的歐氏距離；D = XXV (dIffJJ x f - temPl - ?(x+、diff」」' y) - temP1」(y)):(I) 歐式距離最小，則認(rèn)為此時(shí)的待檢測(cè)的圖像中可能含有相對(duì)應(yīng)的地面交通標(biāo)志；完整的圖案diff_i與相同尺寸的地面交通標(biāo)志模板圖像temp_i相減,計(jì)算白色像素點(diǎn)個(gè)數(shù)Sum_i_r ；若白色像素點(diǎn)個(gè)數(shù)在閾值范圍內(nèi)，則認(rèn)為此時(shí)的待檢測(cè)的圖像中含有相對(duì)應(yīng)的地面交通標(biāo)志； dst_i(X，y) = Idiff_i(x, y)_templ_i_bw (x，, y')(2) dst_i (x, y)表示圖像dst_i中每個(gè)像素點(diǎn)，在二值圖像dst_i中每個(gè)像素點(diǎn)的值為O或者255，黑色像素點(diǎn)值為0，dst_i(x，y)用O表示；白色像素點(diǎn)的值為255,dst_i (x, y)用I表示；統(tǒng)計(jì)dst」圖像中白色像素點(diǎn)個(gè)數(shù)Sum_i_r ；

id th diffjkei ghtSum _ ? _ r = Z Σ dsl_i(xf y)(3)


ν = (7 將Sum_i_r與預(yù)先設(shè)定的閾值T相比較，若diff_i_sum小于或者等于閾值T，則圖像Src_IP中含有相對(duì)應(yīng)的模板temp」所代表的交通標(biāo)志，就可以輸出該模板所含有的指示信息；若Sum_i_r大于閾值T，則說明圖像Src_IP中不含有相對(duì)應(yīng)的交通標(biāo)志圖像temp_i ；閾值T的閾值范圍(T_i_min，T_i_max);此處T_i_min為0，T_i_max為1300 ;每一個(gè)標(biāo)準(zhǔn)圖像對(duì)應(yīng)一組范圍；將圖像像素差值Sum_i_r與預(yù)先設(shè)定的閾值(T_i_min，T_i_max)相比較,若Sum_i_r在閾值(T_i_min, T_i_max)范圍內(nèi)，貝U圖像Src_bw中含有相對(duì)應(yīng)的標(biāo)準(zhǔn)圖像tempi」所代表的交通標(biāo)志，就可以輸出此時(shí)待匹配圖像所含有的指示信息；否則，不含有相對(duì)應(yīng)的指示信息； 5)智能車輛行駛過程中采集到的是完整的視頻；對(duì)于同一個(gè)地面交通標(biāo)志，多次檢測(cè)結(jié)果，中間的某一次出現(xiàn)錯(cuò)誤的時(shí)候，自動(dòng)濾除錯(cuò)誤的識(shí)別結(jié)果；車輛位于同一車道上，同一地面交通標(biāo)志出現(xiàn)次數(shù)大于等于三次；多車道的情況下，調(diào)轉(zhuǎn)箭頭、左轉(zhuǎn)、右轉(zhuǎn)、左轉(zhuǎn)直行箭頭、右轉(zhuǎn)直行箭頭不會(huì)出現(xiàn)在中間車道。
【文檔編號(hào)】G06K9/00GK104008377SQ201410251412
【公開日】2014年8月27日 申請(qǐng)日期:2014年6月7日 優(yōu)先權(quán)日:2014年6月7日
【發(fā)明者】袁家政, 劉宏哲, 王棚飛, 吳焰樟 申請(qǐng)人:北京聯(lián)合大學(xué)