專利名稱：一種判斷車輛行駛狀態(tài)的方法
技術(shù)領(lǐng)域：
本項目涉及多目攝像機環(huán)視系統(tǒng)，尤其是一種簡易判斷車輛行駛狀態(tài)的方法。
背景技術(shù)：
當(dāng)今社會，汽車已成為一種必不可少的交通工具。人們在享受汽車帶來的方便和快捷的同時，汽車交通事故，汽車尾氣排放帶來的環(huán)境污染以及交通阻塞帶來的問題，已成為日益嚴峻的全球性社會問題。因此，利用各種先進的汽車安全技術(shù)、設(shè)備和理念減少交通事故和提高汽車安全有很大的市場潛能。上一世紀90年代以后，隨著電子技術(shù)、控制技術(shù)、傳感器技術(shù)和新材料在汽車產(chǎn)品中的廣泛應(yīng)用，汽車安全技術(shù)得到了更加迅猛的發(fā)展。現(xiàn)如今，汽車安全技術(shù)的研究已由單一安全技術(shù)的研發(fā)，向各種安全技術(shù)相融合協(xié)同的集成化、系統(tǒng)化和智能化方向發(fā)展。智 能化的汽車安全系統(tǒng)以現(xiàn)代探測技術(shù)、光電傳感技術(shù)、計算機技術(shù)和自動控制技術(shù)為核心，具有特定的識別判斷能力，能在各種復(fù)雜情況下自動協(xié)助駕駛員或自行控制汽車，確保行車安全。傳統(tǒng)車輛狀態(tài)信息傳感器車速傳感器，檔位傳感器，剎車以及油門等控制裝置。結(jié)合車輛的CAN總線形成車輛的傳感網(wǎng)絡(luò)，將整個汽車控制系統(tǒng)聯(lián)系起來統(tǒng)一管理，實現(xiàn)數(shù)據(jù)共享和相互之間協(xié)同工作，獲取車輛當(dāng)前的狀態(tài)信息。環(huán)視泊車輔助系統(tǒng)通過空中俯視圖的圖像不變形的特點進行圖像特征點的匹配從而判別車輛狀態(tài)，常用圖像特征可以是邊緣特征，顏色特征、紋理特征、形狀特征、空間關(guān)系特征?？梢允褂萌魏我环N常用的匹配方法，比如空間卷積，SIFT特征匹配，特征點灰度匹配等算法。本專利適用于車載環(huán)視駕駛輔助系統(tǒng)及環(huán)視倒車輔助系統(tǒng)。(I)與本發(fā)明相關(guān)的現(xiàn)有技術(shù)一環(huán)視圖像合成及顯示系統(tǒng)
安裝在車輛前后左右的攝像頭經(jīng)過視點變換之后，分別形成多張?zhí)摂M垂直拍攝的俯視圖像。如圖I所示。在初始標定處理過程中，各臺相機相對于車輛坐標系的位置可以求出。根據(jù)攝像頭的相對位置數(shù)據(jù)，可以將這些俯視圖像進行合成處理，拼接成一幅車輛環(huán)視的全景圖。在各臺虛擬相機的高度及焦距相同的情況下，這些俯視圖像的尺寸比例相同，可以直接進行拼接處理。在拼接后的環(huán)繞俯視圖上加入自車的俯視示意圖，即可得到最后的結(jié)果圖。如圖2所示。環(huán)視圖像顯示系統(tǒng)一般通過對目前車輛狀態(tài)的判斷來自動調(diào)節(jié)顯示模式，比如車輛低速或者倒車時系統(tǒng)自動切換到環(huán)視圖像顯示模式，并在輔助窗口顯示前方或后方廣角影像。如果判斷車輛在進行右轉(zhuǎn)或左轉(zhuǎn)時系統(tǒng)自動切換到放大的右側(cè)或者左側(cè)的俯視圖，并在輔助窗口顯示后方影像確認后方是否有車輛或行人。車速和檔位，方向盤轉(zhuǎn)角信息一般通過車載的各種傳感器通過直接連線或者通過車輛CAN總線獲得。專利文獻I :日本專利JPA2002-067158專利文獻2 :日本專利JPA2008-34966
(2)與本發(fā)明相關(guān)的現(xiàn)有技術(shù)二基于CAN / GSM的車輛監(jiān)控管理系統(tǒng)
是為具有CAN總線的汽車開發(fā)的。該系統(tǒng)的車載監(jiān)控設(shè)備首先從車輛的CAN接口上獲得詳細的車況信息，然后依托GSM移動通信系統(tǒng)與監(jiān)控中心進行通信，來實現(xiàn)對車輛全面、動態(tài)、實時的監(jiān)控。專利文獻3 :國內(nèi)專利100410021177. 6 專利文獻4 :國內(nèi)專利200510110841. 9
(3)與本發(fā)明相關(guān)的現(xiàn)有技術(shù)三自適應(yīng)巡航控制(AdaptiveCruise Control,簡稱ACC)系統(tǒng) 通過傳感器單元感知本車狀態(tài)及行車環(huán)境等信息，ACC控制器對行車信息進行處理，確定車輛的控制命令；執(zhí)行機構(gòu)，主要由制動踏板、加速踏板及車輛傳動系控制執(zhí)行器等組成，用于實現(xiàn)車輛加、減速，駕駛員通過人機界面設(shè)定系統(tǒng)參數(shù)及系統(tǒng)狀態(tài)的顯示。專利文獻5 :國內(nèi)專利200480009929 專利文獻6 :國內(nèi)專利200780002900
(4)與本發(fā)明相關(guān)的現(xiàn)有技術(shù)四定速巡航系統(tǒng)
按司機要求的速度合開關(guān)之后，不用踩油門踏板就自動地保持車速，使車輛以固定的速度行駛.當(dāng)在高速公路上長時間行車后，司機就不用再去控制油門踏板，一般情況下，當(dāng)駕駛者踩下剎車踏板或離合器時定速巡航會被自動解除。專利文獻5 :英國專利200680024573. I 專利文獻6 :日本專利200510098034. X
在對上述現(xiàn)有技術(shù)進行分析后，發(fā)明人發(fā)現(xiàn)
以上方式均需要通過車速信號，車輛轉(zhuǎn)角信號和檔位信號等復(fù)雜信息，通過直接連線或者車輛CAN總線來獲取之后進行處理分析，信息采集和處理需要大量的專用設(shè)備，因此這些系統(tǒng)主要是用于中高檔轎車，通用性不高。其次，在我國由于道路條件等限制，系統(tǒng)的實際使用率不高。即使該類系統(tǒng)出現(xiàn)故障，駕駛員也不在意。另外，由于維修技術(shù)不能與汽車技術(shù)同步飛速發(fā)展，許多維修人員尚對該類系統(tǒng)認識不足，以致于在維修過程中無意間對該系統(tǒng)造成干擾或損壞，無法科學(xué)分析故障現(xiàn)象，準確判斷故障根源。綜上所述，對于車輛主動安全和輔助駕駛系統(tǒng)，尤其是環(huán)視圖像合成系統(tǒng)中缺少一種不需要額外設(shè)備成本，直接獲取車輛狀態(tài)信息的簡易方式。

發(fā)明內(nèi)容
本發(fā)明提出一種簡捷，性價比高的判別手段。車輛環(huán)視系統(tǒng)通過安裝在車輛前后左右的多臺攝像頭拍攝的圖像，經(jīng)過前述的視角變換處理得到多張?zhí)摂M以車輛為中心垂直向下的俯視圖，并通過合成算法拼接為一張完整俯視圖(如圖2所示)。由于車輛移動過程中合成的俯視圖像不會變形，通過對于連續(xù)兩幀圖像中特征點的匹配，可以計算出車輛移動距離、旋轉(zhuǎn)角度等數(shù)據(jù)，判斷車輛當(dāng)前是前進還是倒退的狀態(tài)。系統(tǒng)根據(jù)判別的信息做出相應(yīng)的處理，如倒車則切換到后方攝像頭，右轉(zhuǎn)則切換到右側(cè)攝像頭，以及功能的切換等。


圖1A，圖IB是未處理的倒車影像經(jīng)過視點變換處理得到虛擬俯視圖。圖2A，圖2B是多目攝像頭構(gòu)成的車載環(huán)視系統(tǒng)實例。圖3是環(huán)視判斷車輛狀態(tài)的具體實施步驟。
具體實施
為使本發(fā)明的目的、技術(shù)方案和優(yōu)點更加清楚，下面將結(jié)合附圖對本發(fā)明實施方式作 進一步地詳細描述。實施步驟I :環(huán)視圖像的生成
如附圖3中的103處理模塊，由車輛四周的多臺超廣角攝像頭實時采集的圖像數(shù)據(jù)，通過廣角糾偏，視點變換和圖像合成等公開技術(shù)，拼接為一張完整俯視圖(如圖2所示)。實施步驟2 :圖像特征的抽出
如附圖3中的104處理模塊，在合成的俯視圖中尋找可以匹配用的圖像特征。常用圖像特征有顏色特征、紋理特征、形狀特征、空間關(guān)系特征。比如選擇Harris拐角點或者SIFT特征點等。非專利文獻I (Harris 拐角點)C. Harris and M. J. Stephens. A combinedcorner and edge detector. In Alley Vision Conference, pages 147 - 152，1988.
非專利文獻 2 (SIFT 特征點)Lowe，David G. (1999). "Object recognition fromlocal scale-invariant features' Proceedings of the International Conference onComputer Vision. 2. pp. 1150 - 1157
實施步驟3 :圖像特征的匹配和特征移動矢量的獲取
如附圖3中的105處理模塊，把前后幀的俯視圖中尋找到的圖像特征進行匹配處理。特征匹配算法可以采用任何一種常用的算法，比如空間卷積，SIFT特征匹配，特征點灰度匹配等算法。成功匹配的特征可以獲取前后幀特征的移動矢量。實施步驟4 :車輛平移矢量和旋轉(zhuǎn)量的計算
如附圖3中的106處理模塊，合成圖中的地面特征的移動矢量可以近似為車輛平移矢量和旋轉(zhuǎn)量(方向相反)。由于合成圖中每個特征的提取位置誤差，特征點匹配出現(xiàn)的誤匹配等誤差，一般需要對這些特征移動矢量進行綜合計算得到車輛平移矢量和旋轉(zhuǎn)量。通常可以使用最小二乘法或者隨機RANSAC方法等。非專利文獻3 (RANSAC 參數(shù)估算法)Mart in A. Fischler and Robert C.Bolles (June 1981). "Random Sample Consensus: A Paradigm for Model Fitting withApplications to Image Analysis and Automated Cartography". Cowm. of the ACM24:381 - 395.
實施步驟5 :車輛移動速度、旋轉(zhuǎn)角度的計算
如附圖3中的107處理模塊，通過記錄前后幀的系統(tǒng)時鐘(時間戳)和步驟4中計算的車輛平移矢量和旋轉(zhuǎn)量就可以計算車輛移動的速度和旋轉(zhuǎn)的角度，還可以計算出位移的加速度，旋轉(zhuǎn)的角速度等參數(shù)。實現(xiàn)公式如下V=T/(t2 tl)T Φ=Θ2-Θ1A=(V2-Vl)/it2"tl)iAl=(02-01)/{t24l)
(V為車速，Φ為車輛旋轉(zhuǎn)角度，A為加速度，Al為旋轉(zhuǎn)角加速度)
實施步驟6 :車輛行駛狀態(tài)的判斷
如附圖3中的108處理模塊，通過車輛移動速度，加速度，旋轉(zhuǎn)角度和角速度等參數(shù)來判斷車輛行駛狀態(tài)。以下為一些例子。當(dāng)車輛平移矢量方向朝前，移動速度大于事先規(guī)定好的低速閾值，旋轉(zhuǎn)角度小于事先規(guī)定好的轉(zhuǎn)彎閾值的時候，判斷車輛為正常前進行駛狀態(tài)；
當(dāng)車輛平移矢量方向朝前，移動速度大于事先規(guī)定好的低速閾值，車輛加速度為負值，旋轉(zhuǎn)角度小于事先規(guī)定好的轉(zhuǎn)彎閾值的時候，判斷車輛為減速前進行駛狀態(tài)； 當(dāng)車輛平移矢量方向朝前，移動速度小于事先規(guī)定好的低速閾值，旋轉(zhuǎn)角度小于事先規(guī)定好的轉(zhuǎn)彎閾值的時候，判斷車輛為低速前進行駛狀態(tài)；
當(dāng)車輛平移矢量方向朝前，移動速度小于事先規(guī)定好的低速閾值，車輛加速度為正值，旋轉(zhuǎn)角度小于事先規(guī)定好的轉(zhuǎn)彎閾值的時候，判斷車輛為加速前進行駛狀態(tài)；
當(dāng)車輛平移矢量方向朝前，旋轉(zhuǎn)角度大于事先規(guī)定好的轉(zhuǎn)彎閾值，旋轉(zhuǎn)角速度為正值的時候，判斷車輛為開始進入轉(zhuǎn)彎狀態(tài)；
當(dāng)車輛平移矢量方向朝前，旋轉(zhuǎn)角度大于事先規(guī)定好的轉(zhuǎn)彎閾值，旋轉(zhuǎn)角速度為負值或零的時候，判斷車輛為保持轉(zhuǎn)彎狀態(tài)；
當(dāng)車輛平移矢量接近為零的時候，判斷車輛為停車狀態(tài)；
當(dāng)車輛平移矢量方向向后的時候，判斷車輛為倒車狀態(tài)。實施步驟7 :環(huán)視系統(tǒng)顯示的切換
如附圖3中的108處理模塊，通過車輛行駛狀態(tài)來進行環(huán)視系統(tǒng)顯示的切換。以下為一些例子。當(dāng)車輛由正常前行狀態(tài)經(jīng)過減速前進行駛狀態(tài)進入低速前進行駛狀態(tài)時,啟動環(huán)視系統(tǒng)顯示，輔助窗口顯示車輛前方廣角影像。當(dāng)車輛由低速前進行駛狀態(tài)進入停車狀態(tài)時，環(huán)視系統(tǒng)輔助窗口可以按照一定時間間隔分別顯示前后左右廣角影像。當(dāng)車輛由停止狀態(tài)經(jīng)過減速前進行駛狀態(tài)進入正常前行狀態(tài)時,關(guān)閉環(huán)視系統(tǒng)顯示。以便駕駛員專心駕駛。當(dāng)車輛由正常前行狀態(tài)開始進入轉(zhuǎn)彎狀態(tài)，以及保持轉(zhuǎn)彎狀態(tài)時，啟動環(huán)視系統(tǒng)顯示，輔助窗口顯示轉(zhuǎn)彎方向的側(cè)面攝像頭廣角影像。當(dāng)車輛由保持轉(zhuǎn)彎狀態(tài)進入正常前行狀態(tài)并持續(xù)一段時間后，關(guān)閉環(huán)視系統(tǒng)顯示。以便駕駛員專心駕駛。
權(quán)利要求
1.一種判斷車輛行駛狀態(tài)的方法，其特征在于，所述方法包括在車載環(huán)視系統(tǒng)的合成圖像中，自動尋找可以追蹤的圖像特征，并在下一幀中進行特征匹配，得到每個特征的移動矢量 在車載環(huán)視系統(tǒng)的合成圖像中，通過每個匹配后的特征移動矢量綜合計算得到車輛位移和旋轉(zhuǎn)方向 在車載環(huán)視系統(tǒng)的合成圖像中，通過計算前后幀車輛的位移和旋轉(zhuǎn)角度，來判斷車輛行駛狀態(tài)。
2.根據(jù)權(quán)利要求I所述的方法，其特征在于，選取車輛空中的俯視圖片上的特征點進行匹配，俯視圖由車輛四周的超廣角攝像頭合成得到。
3.根據(jù)權(quán)利要求I所述的方法，其特征在于，選取特征量，運用任意一種匹配算法得到對應(yīng)點，記錄對應(yīng)點的坐標變化作為移動矢量。
4.根據(jù)權(quán)利要求I所述的方法，其特征在于，根據(jù)某對應(yīng)特征點的移動矢量，運用兩點距離公式以及角度公式求出點的移動速度以及旋轉(zhuǎn)的角度。
5.根據(jù)權(quán)利要求I所述的方法，其特征在于，根據(jù)計算出的數(shù)據(jù)可以判斷出車輛當(dāng)前是否正常前行，是否減速，是否停車，是否倒車，是否轉(zhuǎn)彎等狀態(tài)信息。
6.根據(jù)權(quán)利要求I所述的方法，其特征在于，根據(jù)判斷出的車輛狀態(tài)信息來進行環(huán)視系統(tǒng)顯示的切換 當(dāng)車輛由正常前行狀態(tài)經(jīng)過減速前進行駛狀態(tài)進入低速前進行駛狀態(tài)時，啟動環(huán)視系統(tǒng)顯示，輔助窗口顯示車輛前方廣角影像 當(dāng)車輛由低速前進行駛狀態(tài)進入停車狀態(tài)時，環(huán)視系統(tǒng)輔助窗口可以按照一定時間間隔分別顯示前后左右廣角影像 當(dāng)車輛由停止狀態(tài)經(jīng)過減速前進行駛狀態(tài)進入正常前行狀態(tài)時，關(guān)閉環(huán)視系統(tǒng)顯示，以便駕駛員專心駕駛 當(dāng)車輛由正常前行狀態(tài)開始進入轉(zhuǎn)彎狀態(tài)，以及保持轉(zhuǎn)彎狀態(tài)時，啟動環(huán)視系統(tǒng)顯示，輔助窗口顯示轉(zhuǎn)彎方向的側(cè)面攝像頭廣角影像 當(dāng)車輛由保持轉(zhuǎn)彎狀態(tài)進入正常前行狀態(tài)并持續(xù)一段時間后，關(guān)閉環(huán)視系統(tǒng)顯示，以便駕駛員專心駕駛。
全文摘要
本發(fā)明為一種判斷車輛行駛狀態(tài)的簡易方法，通過環(huán)視圖像中的特征點匹配來計算前后幀的車輛移動距離和轉(zhuǎn)動方向，從而判斷車輛行駛狀態(tài)并對環(huán)視系統(tǒng)的表示進行適當(dāng)?shù)那袚Q。本發(fā)明解決了傳統(tǒng)車輛行駛狀態(tài)判別中需要車速信號，車輛轉(zhuǎn)角信號和檔位信號等這些復(fù)雜信號的問題，通過環(huán)視圖像處理達到直接判定車輛狀態(tài)的功能，同時對環(huán)視系統(tǒng)的表示進行適當(dāng)切換，給予駕駛員安全，直觀，明確的提示信息。本發(fā)明簡化車輛行駛狀態(tài)判別的方式，節(jié)省了大量的設(shè)備成本。
文檔編號B60W40/02GK102774380SQ201110122348
公開日2012年11月14日 申請日期2011年5月12日 優(yōu)先權(quán)日2011年5月12日
發(fā)明者馬薇 申請人:無錫維森智能傳感技術(shù)有限公司