專(zhuān)利名稱(chēng)：基于多傳感器信息融合的碰撞及偏離預(yù)警裝置的制作方法
技術(shù)領(lǐng)域：
本實(shí)用新型涉及一種汽車(chē)駕駛員安全輔助系統(tǒng)，尤其涉及一種避免前向碰撞及車(chē)道偏離的預(yù)警系統(tǒng)。
背景技術(shù)：
近年來(lái)，隨著我國(guó)道路車(chē)輛數(shù)量的迅速增長(zhǎng)，道路運(yùn)輸安全形勢(shì)日益嚴(yán)峻。特大惡性交通事故頻繁發(fā)生，不僅人員傷亡多，經(jīng)濟(jì)損失大，而且極易引起復(fù)雜的社會(huì)問(wèn)題。據(jù)公安部2007年統(tǒng)計(jì)，我國(guó)道路交通事故致死總?cè)藬?shù)中，由貨運(yùn)車(chē)輛導(dǎo)致的占了 29. 4%。為此， “國(guó)家中長(zhǎng)期科學(xué)和技術(shù)發(fā)展規(guī)劃綱要” O006-2020年)已將交通運(yùn)輸安全保障技術(shù)列為國(guó)家重大科技需求，投入大量人力物力開(kāi)展各分項(xiàng)技術(shù)及其系統(tǒng)集成的研發(fā)工作，以減少重大交通事故的傷亡和經(jīng)濟(jì)損失，并加快技術(shù)成果轉(zhuǎn)化，從而推動(dòng)行業(yè)進(jìn)步。對(duì)交通事故的研究表明，駕駛員是影響道路交通安全性的主要因素。根據(jù)我國(guó)2004年的統(tǒng)計(jì)結(jié)果，由于駕駛員過(guò)失造成的交通事故數(shù)和死亡人數(shù)分別占到總數(shù)的 89. 8%和87. 4%。由于人的反應(yīng)時(shí)間、動(dòng)作速率以及駕駛經(jīng)驗(yàn)都有一定的局限性，而且駕駛員不可能在駕駛過(guò)程中始終保持最佳狀態(tài)，所以經(jīng)常會(huì)有由于駕駛員疲勞和疏忽以致不能妥善處理車(chē)輛行駛過(guò)程而發(fā)生的突發(fā)事件和緊急情況。因此，只要由人來(lái)駕駛車(chē)輛，就可能存在事故隱患。駕駛員輔助系統(tǒng)是解決這一問(wèn)題的一項(xiàng)有效技術(shù)，它已經(jīng)得到各汽車(chē)廠家和用戶(hù)的積極關(guān)注。安全輔助駕駛是智能交通系統(tǒng)的重要組成部分，其中自動(dòng)巡航控制系統(tǒng)、車(chē)輛前向碰撞預(yù)警系統(tǒng)、前向避撞輔助系統(tǒng)等都可以大大減輕駕駛?cè)藛T的負(fù)擔(dān)，提高交通系統(tǒng)的安全性。實(shí)時(shí)準(zhǔn)確地檢測(cè)汽車(chē)前方行駛車(chē)輛等障礙物位置、速度信息是汽車(chē)防碰撞預(yù)警、 自適應(yīng)巡航控制等輔助駕駛系統(tǒng)實(shí)現(xiàn)的前提。多傳感器信息融合是信息技術(shù)領(lǐng)域的發(fā)展方向。因此構(gòu)建基于雷達(dá)和機(jī)器視覺(jué)的車(chē)輛前方障礙物檢測(cè)系統(tǒng)可以為安全輔助駕駛系統(tǒng)的發(fā)展提供理論指導(dǎo)和技術(shù)支持?，F(xiàn)有技術(shù)中，關(guān)于汽車(chē)防撞防車(chē)道偏離控制裝置也有研究，
公開(kāi)日為2009年11月 25日，公開(kāi)號(hào)為CN 101585361A的中國(guó)實(shí)用新型專(zhuān)利申請(qǐng)中公開(kāi)了一種“汽車(chē)防撞防車(chē)道偏離控制裝置”。包括77GHz毫米波雷達(dá)器，CXD視覺(jué)機(jī)器，雷達(dá)信號(hào)處理裝置，視頻處理模塊，車(chē)載顯示器，傳感器，控制軟件和揚(yáng)聲器；77GHz毫米波雷達(dá)器，CXD視覺(jué)機(jī)器，雷達(dá)信號(hào)處理裝置，視頻處理模塊，車(chē)載顯示器，傳感器，控制軟件和揚(yáng)聲器之間由信號(hào)連接。該技術(shù)方案的不足之處是不具備CCD與雷達(dá)結(jié)合的方法，根本不能提高汽車(chē)防撞防車(chē)道偏離的準(zhǔn)確率。

實(shí)用新型內(nèi)容針對(duì)上述現(xiàn)有技術(shù)，本實(shí)用新型提供一種基于多傳感器信息融合的前向碰撞及車(chē)道偏離的預(yù)警裝置。根據(jù)車(chē)載障礙物檢測(cè)的需求，確立本實(shí)用新型前向碰撞及車(chē)道偏離的預(yù)警裝置設(shè)計(jì)的基本思路是由車(chē)載雷達(dá)和前方CMOS攝像機(jī)獲取前方車(chē)路信息，傳送給車(chē)載計(jì)算機(jī)(即車(chē)載處理單元)進(jìn)行信息融合處理，對(duì)車(chē)輛前方障礙物進(jìn)行檢測(cè)，并判斷其危險(xiǎn)等級(jí)，最后將報(bào)警信息以圖形界面、震動(dòng)或者聲音提示的方式直觀地提供給駕駛員。本實(shí)用新型所具有的主要功能是通過(guò)雷達(dá)、攝像機(jī)等傳感器及時(shí)發(fā)現(xiàn)車(chē)輛行駛中潛在的碰撞危險(xiǎn)，為駕駛員提供警示信息，及時(shí)提醒駕駛員調(diào)整車(chē)輛行駛狀態(tài)，避免或減輕碰撞事故。為了解決上述技術(shù)問(wèn)題，本實(shí)用新型基于多傳感器信息融合的前向碰撞及車(chē)道偏離的預(yù)警裝置予以實(shí)現(xiàn)的技術(shù)方案是，包括毫米波雷達(dá)傳感器、USB-CAN通訊接口模塊、前方CMOS攝像機(jī)、圖像采集模塊、顯示器及報(bào)警模塊；車(chē)載處理單元；其中，所述毫米波雷達(dá)傳感器用于檢測(cè)其視野范圍內(nèi)的所有障礙物，并測(cè)量出每個(gè)目標(biāo)的相對(duì)距離、相對(duì)速度和方位角度值，所述USB-CAN通訊接口模塊將雷達(dá)信息傳給所述車(chē)載處理單元進(jìn)行處理；所述前方CMOS攝像機(jī)用于獲取前方障礙物類(lèi)型、在車(chē)道中的位置以及道路標(biāo)線(xiàn)信息；所述圖像采集模塊通過(guò)同軸電纜接收前方CMOS攝像機(jī)拍攝到的電視圖像畫(huà)面，并對(duì)所獲取的圖像進(jìn)行處理；所述車(chē)載處理單元對(duì)來(lái)自于所述USB-CAN通訊接口模塊和圖像采集模塊的雷達(dá)信號(hào)和機(jī)器視覺(jué)信息進(jìn)行融合處理；所述車(chē)載處理單元包含設(shè)備驅(qū)動(dòng)模塊、雷達(dá)數(shù)據(jù)接收和處理模塊、圖像數(shù)據(jù)接收和處理模塊、數(shù)據(jù)融合模塊、雷達(dá)目標(biāo)顯示模塊以及圖像顯示模塊；所述顯示器及報(bào)警裝置是人機(jī)交互接口，其中，所述顯示器用于提供已識(shí)別出的車(chē)道線(xiàn)和前方障礙物的圖像和報(bào)警信息；所述報(bào)警裝置用于發(fā)出語(yǔ)音報(bào)警信息，提示駕駛員注意保持安全距離。本實(shí)用新型基于多傳感器信息融合的前向碰撞及車(chē)道偏離的預(yù)警裝置，其中，所述數(shù)據(jù)融合模塊同時(shí)具有時(shí)間和空間上的信息融合功能，其中所述時(shí)間上的信息融合是采用線(xiàn)程同步方式將雷達(dá)數(shù)據(jù)和攝像機(jī)數(shù)據(jù)實(shí)現(xiàn)時(shí)間上的同步；所述空間上的信息融合是結(jié)合雷達(dá)信息和圖像信息實(shí)現(xiàn)預(yù)警信息融合和目標(biāo)類(lèi)型判斷信息融合。所述毫米波雷達(dá)傳感器的最大探測(cè)距離為175m。與現(xiàn)有技術(shù)相比，本實(shí)用新型的有益效果是在駕駛輔助系統(tǒng)，如前向碰撞預(yù)警和車(chē)道偏離報(bào)警系統(tǒng)的行車(chē)環(huán)境中，雷達(dá)的測(cè)量值可能來(lái)自于目標(biāo)車(chē)輛，也可能來(lái)自于其他干擾物。由于雷達(dá)自身工作狀態(tài)不穩(wěn)定或目標(biāo)回波能量分布不均，可能出現(xiàn)虛假目標(biāo)。同時(shí)，由于車(chē)輛行駛過(guò)程中的隨機(jī)顛簸和擺動(dòng)， 雷達(dá)測(cè)量信號(hào)還可能出現(xiàn)短暫丟失的情況，從而導(dǎo)致目標(biāo)物信息出現(xiàn)較大波動(dòng)。因而，需要先對(duì)雷達(dá)測(cè)量信號(hào)進(jìn)行相關(guān)處理，以便準(zhǔn)確地選取有效目標(biāo)。雷達(dá)對(duì)目標(biāo)的檢測(cè)和識(shí)別分為三部分目標(biāo)初選，目標(biāo)信息預(yù)測(cè)以及目標(biāo)一致性檢驗(yàn)。其中，目標(biāo)初選是遵循一定的規(guī)則，從所有雷達(dá)檢測(cè)到的目標(biāo)中選擇一個(gè)有效目標(biāo)。如何定義有效目標(biāo)與駕駛輔助系統(tǒng)的類(lèi)型有關(guān)。比如，對(duì)于自適應(yīng)巡航控制系統(tǒng)(ACC)來(lái)講，有效目標(biāo)是處于本車(chē)道中，在本車(chē)前方最近的移動(dòng)車(chē)輛；對(duì)于前向報(bào)警系統(tǒng)來(lái)說(shuō)，有效目標(biāo)則是處于本車(chē)道中，在本車(chē)前方最近的任何靜止或者運(yùn)動(dòng)的障礙物。目標(biāo)信息預(yù)測(cè)用于預(yù)估有效目標(biāo)未來(lái)時(shí)刻的運(yùn)動(dòng)狀態(tài)， 為目標(biāo)一致性檢驗(yàn)做準(zhǔn)備。而目標(biāo)一致性檢驗(yàn)則采用初選目標(biāo)信息與目標(biāo)預(yù)測(cè)值的相似程度進(jìn)行判定和評(píng)價(jià)，以實(shí)現(xiàn)有效目標(biāo)的跟蹤功能。人、車(chē)、路和環(huán)境是組成交通系統(tǒng)的基本要素，交通系統(tǒng)的運(yùn)作通過(guò)這些基本要素相互作用和變化得以體現(xiàn)。車(chē)輛行駛在道路上，其行駛環(huán)境信息中最重要部分是車(chē)輛前方的信息。車(chē)輛前方信息也就是車(chē)輛前方道路上交通要素的相關(guān)信息。這些信息包括靜態(tài)信息和動(dòng)態(tài)信息。靜態(tài)信息主要有前方道路的線(xiàn)形、設(shè)施等信息。動(dòng)態(tài)信息主要有前車(chē)和本車(chē)的距離、速度、加速度、方位、在車(chē)道中的位置等信息。本實(shí)用新型中采用雷達(dá)來(lái)獲取前方車(chē)輛的距離、速度等信息，采用攝像機(jī)來(lái)獲取前車(chē)在車(chē)道中的位置以及道路標(biāo)線(xiàn)等信息，通過(guò)一車(chē)載處理單元控制毫米波雷達(dá)傳感器、 USB-CAN通訊接口模塊、前方CMOS攝像機(jī)、圖像采集模塊、顯示器及報(bào)警模塊；并對(duì)接收到的雷達(dá)信號(hào)和機(jī)器視覺(jué)信息進(jìn)行融合處理，最終將融合后的信息交由圖像顯示模塊進(jìn)行顯示，并根據(jù)目標(biāo)的危險(xiǎn)等級(jí)作出相應(yīng)的報(bào)警提示。本實(shí)用新型通過(guò)雷達(dá)、攝像機(jī)等傳感器及時(shí)發(fā)現(xiàn)車(chē)輛行駛中潛在的碰撞危險(xiǎn)，為駕駛員提供警示信息，及時(shí)提醒駕駛員調(diào)整車(chē)輛行駛狀態(tài)，避免或減輕碰撞事故。本實(shí)用新型預(yù)警裝置采用視覺(jué)機(jī)器與雷達(dá)相結(jié)合，從根本上提高了汽車(chē)防撞防車(chē)道偏離的準(zhǔn)確率，經(jīng)過(guò)試驗(yàn)得出可以提高(5-20)%的準(zhǔn)確度。

圖1是本實(shí)用新型基于多傳感器信息融合的前向碰撞及車(chē)道偏離的預(yù)警裝置的結(jié)構(gòu)框圖；圖2是本實(shí)用新型中車(chē)載處理單元的結(jié)構(gòu)框圖；圖3是本實(shí)用新型中圖像采集與處理的主流程圖；圖4是本實(shí)用新型中信息融合的主流程圖；圖5是本實(shí)用新型中實(shí)現(xiàn)信息融合的結(jié)構(gòu)框架圖；圖6是本實(shí)用新型中實(shí)現(xiàn)信息融合中的車(chē)輛行駛坐標(biāo)系；圖7是本實(shí)用新型中信息融合試驗(yàn)匹配圖。
具體實(shí)施方式
根據(jù)車(chē)載障礙物檢測(cè)的需求，本實(shí)用新型基于多傳感器信息融合的前向碰撞及車(chē)道偏離的預(yù)警裝置的基本思路是由車(chē)載雷達(dá)(毫米波雷達(dá)傳感器10)和前方CMOS攝像機(jī)30獲取前方車(chē)路信息，傳送給作為車(chē)載處理單元的計(jì)算機(jī)進(jìn)行信息融合處理，對(duì)車(chē)輛前方障礙物進(jìn)行檢測(cè)，并判斷其危險(xiǎn)等級(jí)，最后將報(bào)警信息以圖形界面、震動(dòng)或者聲音提示的方式直觀地提供給駕駛員。由上述設(shè)計(jì)思路可以確定本實(shí)用新型預(yù)警裝置具備信息獲取功能、通信功能、信息處理功能和信息輸出功能。下面結(jié)合具體實(shí)施方式
對(duì)本實(shí)用新型作進(jìn)一步詳細(xì)地描述。如圖1所示，本實(shí)用新型一種基于多傳感器信息融合的前向碰撞及車(chē)道偏離的預(yù)警裝置，包括毫米波雷達(dá)傳感器10、USB-CAN通訊接口模塊20、前方CMOS攝像機(jī)30、圖像采集模塊40、顯示器60及報(bào)警模塊70 ；還包括一車(chē)載處理單元50。其中，所述毫米波雷達(dá)傳感器10用于檢測(cè)其視野范圍內(nèi)的所有障礙物，并測(cè)量出每個(gè)目標(biāo)的相對(duì)距離、相對(duì)速度和方位角度值，所述毫米波雷達(dá)傳感器10的最大探測(cè)距離為175m。所述USB-CAN通訊接口模塊20將雷達(dá)信息傳給所述車(chē)載處理單元50進(jìn)行處理； 所述前方CMOS攝像機(jī)30用于獲取前方障礙物類(lèi)型、在車(chē)道中的位置以及道路標(biāo)線(xiàn)信息； 所述圖像采集模塊40通過(guò)同軸電纜接收前方CMOS攝像機(jī)30拍攝到的電視圖像畫(huà)面，并對(duì)所獲取的圖像進(jìn)行處理；所述車(chē)載處理單元50 (所述車(chē)載處理單元50既可以基于車(chē)載工控機(jī)，也可以基于嵌入式處理器)對(duì)來(lái)自于所述USB-CAN通訊接口模塊20和圖像采集模塊 40的雷達(dá)信號(hào)和機(jī)器視覺(jué)信息進(jìn)行融合處理；如圖2所示，本實(shí)用新型中的所述車(chē)載處理
5單元50包含設(shè)備驅(qū)動(dòng)模塊51、雷達(dá)數(shù)據(jù)接收和處理模塊52、圖像數(shù)據(jù)接收和處理模塊53、 數(shù)據(jù)融合模塊M、雷達(dá)目標(biāo)顯示模塊55以及圖像顯示模塊56 ；所述數(shù)據(jù)融合模塊M同時(shí)具有時(shí)間和空間上的信息融合功能，其中所述時(shí)間上的信息融合是采用線(xiàn)程同步方式將雷達(dá)數(shù)據(jù)和攝像機(jī)數(shù)據(jù)實(shí)現(xiàn)時(shí)間上的同步；所述空間上的信息融合是結(jié)合雷達(dá)信息和圖像信息實(shí)現(xiàn)預(yù)警信息融合和目標(biāo)類(lèi)型判斷信息融合；如圖1所示，所述顯示器60及報(bào)警裝置 70是人機(jī)交互接口，其中，所述顯示器用于提供已識(shí)別出的車(chē)道線(xiàn)和前方障礙物的圖像和報(bào)警信息；所述報(bào)警裝置用于發(fā)出語(yǔ)音報(bào)警信息，提示駕駛員注意保持安全距離。利用上述基于多傳感器信息融合的前向碰撞及車(chē)道偏離的預(yù)警裝置進(jìn)行預(yù)警的方法，是利用所述車(chē)載處理單元50對(duì)來(lái)自于所述USB-CAN通訊接口模塊20和圖像采集模塊40的雷達(dá)信號(hào)和機(jī)器視覺(jué)信息進(jìn)行融合處理，如圖2所示，從結(jié)構(gòu)上分為雷達(dá)數(shù)據(jù)處理和圖像數(shù)據(jù)處理兩部分，其基本原理為雷達(dá)數(shù)據(jù)處理——首先，雷達(dá)數(shù)據(jù)接收和處理模塊52通過(guò)USB-CAN通訊接口模塊 20接收雷達(dá)系統(tǒng)(本實(shí)用新型中指毫米波雷達(dá)傳感器10)傳送的數(shù)據(jù)，并對(duì)接收到的雷達(dá)數(shù)據(jù)進(jìn)行解算，經(jīng)過(guò)濾波將穩(wěn)定的目標(biāo)挑選出來(lái)，得到一組固定格式的目標(biāo)數(shù)據(jù)，再由雷達(dá)圖形顯示模塊55將二維目標(biāo)方位實(shí)時(shí)顯示在顯示屏上。圖像數(shù)據(jù)處理——首先由圖像數(shù)據(jù)接收和處理模塊53接收前方CMOS攝像機(jī)30 采集到的原始圖像數(shù)據(jù)，圖像數(shù)據(jù)接收和處理模塊53對(duì)采集到的圖像進(jìn)行預(yù)處理，然后對(duì)車(chē)道線(xiàn)和障礙物進(jìn)行特征提取與匹配。將本實(shí)用新型的預(yù)警裝置用于防止車(chē)輛前向碰撞及車(chē)道偏離的預(yù)警，包括以下步驟步驟一、設(shè)備驅(qū)動(dòng)利用設(shè)備驅(qū)動(dòng)模塊51驅(qū)動(dòng)設(shè)備，包括打開(kāi)車(chē)載攝像機(jī)并驅(qū)動(dòng)毫米波雷達(dá)傳感器 10和前方CMOS視覺(jué)傳感器30 ；步驟二、雷達(dá)數(shù)據(jù)及圖像數(shù)據(jù)的接收與處理 車(chē)載處理單元50中的雷達(dá)數(shù)據(jù)接收和處理模塊52通過(guò)所述的USB-CAN接口模塊 20接收來(lái)自于所述毫米波雷達(dá)傳感器10傳送的雷達(dá)數(shù)據(jù)，該雷達(dá)數(shù)據(jù)包括在所述毫米波雷達(dá)傳感器10的視野范圍內(nèi)的所有障礙物，并測(cè)量出每個(gè)目標(biāo)的相對(duì)距離、相對(duì)速度和方位角度值；與此同時(shí)，所述的圖像采集模塊40通過(guò)同軸電纜接收前方CMOS視覺(jué)傳感器30拍攝到的電視圖像畫(huà)面，所述電視圖像畫(huà)面包括所獲取的前方障礙物類(lèi)型、在車(chē)道中的位置以及道路標(biāo)線(xiàn)信息，所述車(chē)載處理單元50中的圖像數(shù)據(jù)接收和處理模塊53獲取該電視圖像畫(huà)面后將視頻流分解成單幀圖像；然后對(duì)車(chē)道線(xiàn)和障礙物進(jìn)行特征提取與匹配。圖3示出了本實(shí)用新型中一種圖像采集與處理方法的流程。步驟S10:開(kāi)始；步驟Sll 設(shè)置攝像機(jī)參數(shù)，如分辨率為640X480 ；步驟S12:打開(kāi)攝像機(jī)；步驟S13 判斷是否已經(jīng)打開(kāi)攝像機(jī)，如果判斷結(jié)果為否，返回執(zhí)行步驟S12 ；步驟S14 如果判斷結(jié)果為真，將視頻流分解成單幀圖像，進(jìn)行捕捉；步驟S15 判斷是否分解圖像成功，捕獲到單幀圖像，如果判斷結(jié)果為否，返回執(zhí)行步驟S14 ；步驟S20 如果判斷結(jié)果為真，開(kāi)始進(jìn)行信息融合步驟(見(jiàn)后面的步驟三)；步驟S30 將信息融合步驟S20的處理結(jié)果顯示出來(lái)，并將疊加的圖像層顯示在控件上。步驟三、信息融合將上述步驟二中得到的所有障礙物中每個(gè)目標(biāo)的相對(duì)距離、相對(duì)速度和方位角度值及車(chē)道線(xiàn)位置輸入數(shù)據(jù)融合模塊M進(jìn)行像素級(jí)融合；包括時(shí)間上的信息融合和空間上的信息融合；所述時(shí)間上的信息融合，是采用線(xiàn)程同步方式創(chuàng)建雷達(dá)數(shù)據(jù)接收線(xiàn)程和攝像機(jī)數(shù)據(jù)接收線(xiàn)程，當(dāng)每次采集當(dāng)前幀圖像時(shí)獲取雷達(dá)當(dāng)前時(shí)刻的數(shù)據(jù)，這樣就將雷達(dá)數(shù)據(jù)和攝像機(jī)數(shù)據(jù)進(jìn)行了時(shí)間上的同步。所述空間上的信息融合過(guò)程如圖4所示，是結(jié)合雷達(dá)信息和圖像信息實(shí)現(xiàn)預(yù)警信息融合和目標(biāo)類(lèi)型判斷信息融合；預(yù)警信息融合和目標(biāo)類(lèi)型判斷信息融合這兩種融合都結(jié)合了雷達(dá)信息和圖像信息。其中(1)預(yù)警信息融合——根據(jù)雷達(dá)10提供的距離和速度信息，判斷該目標(biāo)的危險(xiǎn)等級(jí)。如果危險(xiǎn)等級(jí)較低則將其放入觀察區(qū)，不作處理。如果危險(xiǎn)等級(jí)較高，則結(jié)合圖像識(shí)別檢測(cè)到的車(chē)道線(xiàn)位置，判斷該目標(biāo)與本車(chē)是否處于同一車(chē)道，如果不處于則將其也放入觀察區(qū)，如果處于同一車(chē)道，則根據(jù)危險(xiǎn)等級(jí)，采用語(yǔ)音報(bào)警的方式提示駕駛員。(2)目標(biāo)類(lèi)型判斷信息融合——將雷達(dá)坐標(biāo)系下的目標(biāo)投影到圖像坐標(biāo)系中，在圖像中得到該目標(biāo)對(duì)應(yīng)的投影點(diǎn)，再以該投影點(diǎn)為中心，根據(jù)車(chē)距和車(chē)輛尾部尺寸的先驗(yàn)知識(shí)在圖像中選取合適大小的矩形感興趣區(qū)域，這樣就將原來(lái)的整幅圖像多目標(biāo)分割任務(wù)分解成局部單目標(biāo)分割任務(wù)。然后對(duì)每個(gè)ROI進(jìn)行基于知識(shí)或者模板的識(shí)別方法，進(jìn)而識(shí)別出目標(biāo)的類(lèi)型。如圖4所示步驟S201 根據(jù)雷達(dá)數(shù)據(jù)接收和處理模塊(5 所獲取的雷達(dá)數(shù)據(jù)解算出所識(shí)別目標(biāo)的相對(duì)坐標(biāo)和速度；步驟S202 將目標(biāo)的相對(duì)坐標(biāo)進(jìn)行透視變換；步驟S203 得到目標(biāo)在圖像上對(duì)應(yīng)的坐標(biāo)；步驟S204 利用圖像數(shù)據(jù)接收和處理模塊53獲取圖像數(shù)據(jù)；步驟S205 識(shí)別車(chē)道線(xiàn)；步驟S206 判斷本車(chē)是否會(huì)存在車(chē)道偏離可能，如果判斷結(jié)果為否，返回步驟 S204準(zhǔn)備進(jìn)行下一幀圖像數(shù)據(jù)的處理；步驟S207 如果判斷結(jié)果為真，發(fā)出車(chē)道偏離預(yù)警；步驟S208 結(jié)合步驟S203中的目標(biāo)在圖像上的對(duì)應(yīng)坐標(biāo)和步驟S205的車(chē)道位置信息，判斷本車(chē)與目標(biāo)是否處于同一車(chē)道，如果判斷結(jié)果為否，返回步驟S208準(zhǔn)備進(jìn)行下一幀圖像數(shù)據(jù)的處理；步驟S209 如果判斷結(jié)果為真，在可能的目標(biāo)在圖像上對(duì)應(yīng)的坐標(biāo)周?chē)⒖勺兇笮〉母信d趣區(qū)域ROI ；步驟S210 在步驟S209中建立的感興趣區(qū)域ROI內(nèi)進(jìn)行目標(biāo)識(shí)別，檢驗(yàn)是否在該感興趣區(qū)域ROI內(nèi)識(shí)別出車(chē)輛；步驟S211 判斷該目標(biāo)的危險(xiǎn)級(jí)別是否高于閾值；如果判斷結(jié)果為否，返回步驟 S204準(zhǔn)備進(jìn)行下一幀圖像數(shù)據(jù)的處理；步驟S212 如果判斷結(jié)果為真，發(fā)出前向碰撞預(yù)警。以下是對(duì)上述步驟S202坐標(biāo)變換(即完成空間上的數(shù)據(jù)融合)的進(jìn)一步描述。通過(guò)求解攝像機(jī)外部參數(shù)的約束方程后，雷達(dá)、攝像機(jī)、圖像和車(chē)體坐標(biāo)系的相對(duì)關(guān)系可以完全確定，從而雷達(dá)掃描點(diǎn)可以通過(guò)攝像機(jī)模型投影至圖像像素坐標(biāo)系上。建立車(chē)體坐標(biāo)系中物點(diǎn)P(xv，yv，zv)與圖像像素坐標(biāo)系中像點(diǎn)p(u，v)之間的轉(zhuǎn)換關(guān)系，其像素級(jí)數(shù)據(jù)融合關(guān)系式如下(u，V，1)T = K (Rc (xv, yv, zv) T+Tc)(1)式(1)中，I 。為攝像機(jī)外部參數(shù)的旋轉(zhuǎn)矩陣，T。為攝像機(jī)外部參數(shù)的平移向量，.fx、fy為χ和y方向的等效焦距，u0, Vtl為圖像像素中心的坐標(biāo)；式(2)中，K為攝像機(jī)內(nèi)部參_t 矩陣7,0U0K =0fyV0(2)001通過(guò)式⑴和式⑵完成空間上的數(shù)據(jù)融合，其數(shù)據(jù)融合第一個(gè)目的是為了把雷達(dá)坐標(biāo)系、攝像機(jī)坐標(biāo)系、圖像像素坐標(biāo)系和車(chē)體坐標(biāo)系統(tǒng)一起來(lái)。坐標(biāo)系的統(tǒng)一和建立有利于環(huán)境感知傳感器對(duì)環(huán)境和障礙物具體距離和方位的測(cè)量，攝像機(jī)外部參數(shù)的標(biāo)定可以實(shí)現(xiàn)逆透視投影變換，為車(chē)輛視覺(jué)導(dǎo)航提供重要參數(shù)。另一個(gè)目的是為了把雷達(dá)掃描點(diǎn)投影到圖像上，在圖像坐標(biāo)系上形成動(dòng)態(tài)的感興趣區(qū)域R0I，這樣有利于縮小對(duì)前方車(chē)輛、行人或其他障礙物識(shí)別與跟蹤的搜索區(qū)域，從而減少系統(tǒng)計(jì)算的時(shí)間，提高系統(tǒng)實(shí)時(shí)性。同時(shí)結(jié)合攝像機(jī)與雷達(dá)各自的感知特點(diǎn)，可以增強(qiáng)系統(tǒng)的魯棒性，有效提高檢測(cè)準(zhǔn)確率，降低識(shí)別的虛警率。雷達(dá)對(duì)目標(biāo)參數(shù)的描述采用的是二維的平面坐標(biāo)系，視景圖像中的目標(biāo)參數(shù)則采用三維空間坐標(biāo)系。攝像機(jī)拍攝的目標(biāo)圖像可以根據(jù)透視關(guān)系簡(jiǎn)化為目標(biāo)在顯示平面上的投影。車(chē)輛目標(biāo)在三維空間的位移有一些固有的規(guī)律，通過(guò)對(duì)描述車(chē)輛移動(dòng)規(guī)律的關(guān)鍵參數(shù)進(jìn)行分析，可以確定目標(biāo)二維參數(shù)在三維視景圖像中的投影關(guān)系。實(shí)現(xiàn)雷達(dá)目標(biāo)從二維平面坐標(biāo)到三維視景坐標(biāo)的轉(zhuǎn)換的過(guò)程是首先，建立一個(gè)三維空間坐標(biāo)系Ο-xyz件圖5，y軸指向?yàn)檐?chē)頭方向，0點(diǎn)表示透視投影的焦點(diǎn)；在y軸上的0’點(diǎn)垂直于χ軸的平面上建立一個(gè)矩形表示顯示平面，在ζ軸處垂直于ζ軸的平面上建立一個(gè)矩形表示道路平面；在這個(gè)簡(jiǎn)化模型中，用點(diǎn)的坐標(biāo)描述車(chē)輛目標(biāo)的位置參數(shù)， 設(shè)車(chē)輛目標(biāo)點(diǎn)為三維空間坐標(biāo)系Ο-xyz中的點(diǎn)R1,且該點(diǎn)位于道路平面Z1上，該點(diǎn)的坐標(biāo)為R1 (xi; Y1, Z1)；設(shè)目標(biāo)點(diǎn)R1在顯示平面上的投影點(diǎn)為R2，因?yàn)镽1和R2之間滿(mǎn)足透視投影關(guān)系，所以&即線(xiàn)段OR1和顯示平面的交點(diǎn)。如圖5所示，假設(shè)雷達(dá)傳感器和攝像機(jī)都安裝在車(chē)輛左右正中的縱剖面上，設(shè)雷達(dá)目標(biāo)點(diǎn)在以傳感器位置為原點(diǎn)的二維平面坐標(biāo)系中的坐標(biāo)為Τ(χκ，yK)，雷達(dá)目標(biāo)坐標(biāo)系原點(diǎn)到焦點(diǎn)0的等效水平距離為d，焦點(diǎn)0相對(duì)于道路平面的等效高度為h，顯示屏平面到焦點(diǎn)0的等效距離為1，根據(jù)其幾何關(guān)系，可得[0071]
權(quán)利要求1.一種基于多傳感器信息融合的前向碰撞及車(chē)道偏離的預(yù)警裝置，包括毫米波雷達(dá)傳感器(10)、USB-CAN通訊接口模塊00)、前方CMOS攝像機(jī)(30)、圖像采集模塊00)、顯示器(60)及報(bào)警模塊(70)；其特征在于還包括車(chē)載處理單元(50)；所述毫米波雷達(dá)傳感器(10)用于檢測(cè)其視野范圍內(nèi)的所有障礙物，并測(cè)量出每個(gè)目標(biāo)的相對(duì)距離、相對(duì)速度和方位角度值；所述USB-CAN通訊接口模塊00)將雷達(dá)信息傳給所述車(chē)載處理單元(50)進(jìn)行處理； 所述前方CMOS攝像機(jī)(30)用于獲取前方障礙物類(lèi)型、在車(chē)道中的位置以及道路標(biāo)線(xiàn) fn息；所述圖像采集模塊GO)通過(guò)同軸電纜接收前方CMOS攝像機(jī)(30)拍攝到的電視圖像畫(huà)面，并對(duì)所獲取的圖像進(jìn)行處理；所述車(chē)載處理單元(50)對(duì)來(lái)自于所述USB-CAN通訊接口模塊00)和圖像采集模塊 (40)的雷達(dá)信號(hào)和機(jī)器視覺(jué)信息進(jìn)行融合處理；所述車(chē)載處理單元(50)包含設(shè)備驅(qū)動(dòng)模塊(51)、雷達(dá)數(shù)據(jù)接收和處理模塊(52)、圖像數(shù)據(jù)接收和處理模塊(53)、數(shù)據(jù)融合模塊 (M)、雷達(dá)目標(biāo)顯示模塊(5 以及圖像顯示模塊(56)；所述顯示器(60)及報(bào)警裝置(70)是人機(jī)交互接口，其中，所述顯示器用于提供已識(shí)別出的車(chē)道線(xiàn)和前方障礙物的圖像和報(bào)警信息；所述報(bào)警裝置用于發(fā)出語(yǔ)音報(bào)警信息，提示駕駛員注意保持安全距離。
2.根據(jù)權(quán)利要求1所述的基于多傳感器信息融合的前向碰撞及車(chē)道偏離的預(yù)警裝置， 其特征在于所述毫米波雷達(dá)傳感器(10)的最大探測(cè)距離為175m。
3.根據(jù)權(quán)利要求1所述的基于多傳感器信息融合的前向碰撞及車(chē)道偏離的預(yù)警裝置， 其特征在于所述數(shù)據(jù)融合模塊(54)同時(shí)具有時(shí)間和空間上的信息融合功能，其中所述時(shí)間上的信息融合是采用線(xiàn)程同步方式將雷達(dá)數(shù)據(jù)和攝像機(jī)數(shù)據(jù)實(shí)現(xiàn)時(shí)間上的同步；所述空間上的信息融合是結(jié)合雷達(dá)信息和圖像信息實(shí)現(xiàn)預(yù)警信息融合和目標(biāo)類(lèi)型判斷信息融
專(zhuān)利摘要本實(shí)用新型公開(kāi)了一種基于多傳感器信息融合的前向碰撞及車(chē)道偏離預(yù)警裝置，包括毫米波雷達(dá)、通訊接口模塊、攝像機(jī)、圖像采集模塊、顯示及報(bào)警模塊和車(chē)載處理單元；所述車(chē)載處理單元可實(shí)現(xiàn)對(duì)來(lái)自于所述通訊接口模塊和圖像采集模塊的雷達(dá)信號(hào)和機(jī)器視覺(jué)信息進(jìn)行融合處理；將上述預(yù)警裝置用于防止車(chē)輛前向碰撞及車(chē)道偏離的預(yù)警，包括設(shè)備驅(qū)動(dòng)；雷達(dá)數(shù)據(jù)及圖像數(shù)據(jù)的接收與處理；信息融合；最后將融合信息進(jìn)行顯示。本實(shí)用新型通過(guò)雷達(dá)、攝像機(jī)發(fā)現(xiàn)車(chē)輛行駛中潛在的碰撞危險(xiǎn)，為駕駛員提供警示信息。本實(shí)用新型預(yù)警裝置采用視覺(jué)與雷達(dá)相結(jié)合，從根本上提高了汽車(chē)防撞防車(chē)道偏離的準(zhǔn)確率，經(jīng)過(guò)試驗(yàn)得出可以提高(5-20)％的準(zhǔn)確度。
文檔編號(hào)H04N7/18GK202163431SQ20112022932
公開(kāi)日2012年3月14日 申請(qǐng)日期2011年6月30日 優(yōu)先權(quán)日2011年6月30日
發(fā)明者何佳, 張殿明, 戎輝, 鄭偉, 黃偉, 龔進(jìn)峰 申請(qǐng)人:中國(guó)汽車(chē)技術(shù)研究中心