專利名稱：用于駕駛安全的視覺障礙物檢測方法
技術(shù)領域：
本發(fā)明屬于計算機應用技術(shù)領域，特別涉及到車輛駕駛安全領域的障礙物檢測方 法。
背景技術(shù)：
隨著各國向汽車社會快速邁進的步伐，汽車技術(shù)特別是汽車安全技術(shù)受到越來越 受多的重視。除了傳統(tǒng)汽車行業(yè)中對汽車安全起決定作用的機電控制、汽車電子、機械零 件、發(fā)動機等關(guān)鍵技術(shù)之外，各種輔助性技術(shù)也成為汽車安全駕駛的一個有效補充。目前，基于IT技術(shù)的汽車安全駕駛輔助系統(tǒng)是汽車安全駕駛的一個研究熱點。利 用IT行業(yè)的研究成果，為汽車安全駕駛提供輔助性的支持，從而增強汽車在安全方面的人 性化特征，達到輔助駕駛安全的目的。統(tǒng)計資料表明，駕駛員的人為因素導致的公路交通事 故率最高。無論是事故數(shù)量，還是傷亡人數(shù)均分別高達各自總數(shù)的90%左右。并且，在導致 這些公路交通事故的駕駛員的人為因素中，疲勞和精神分散駕駛是重要原因之一。駕駛員 在3-5秒時間內(nèi)的注意力不集中，造成了其中80 %的交通事故，主要表現(xiàn)為道路偏離和追 尾事故。研究顯示，若在公路交通事故發(fā)生前的1. 5秒給駕駛員發(fā)出預警，則可避免90%的 這類事故。因此，利用技術(shù)手段分析車道、周圍車輛的狀況等駕駛環(huán)境信息，一旦當駕駛員 發(fā)生疲勞及精神分散、汽車出現(xiàn)無意識的道路偏離、車距過近存在追尾可能時，能夠及時給 予駕駛安全預警，是減少公路交通事故行之有效的技術(shù)措施，具有重大的經(jīng)濟、社會價值。從硬件設備上看，在國內(nèi)外的各種類型的研究中，路況檢測技術(shù)主要分為兩類一 類是基于視覺傳感器的路況檢測技術(shù)，另一類是基于非視覺的其它傳感器檢測技術(shù)。其中， 基于非視覺傳感器的檢測技術(shù)發(fā)展空間有限，主要受到傳感器的機械性能、物理性能的制 約，需要得到相關(guān)學科發(fā)展的促進。而基于視覺傳感器的檢測技術(shù)由于IT技術(shù)的飛速發(fā)展 而得到了廣泛的重視。意大利帕爾馬大學研制的ARGO實驗車裝備有攝像機、霍爾效應傳感器、IO接口 板、信息輸出設備和奔騰200MMX的PC機。其核心是由奔騰200MMX的PC機實現(xiàn)的GOLD視 覺系統(tǒng)(Generic Obstacle and Lane Detection)，該系統(tǒng)根據(jù)2個前向攝像機采集的圖 像，檢測一般障礙物和結(jié)構(gòu)化環(huán)境中車道的位置，檢測速度為100ms。并實現(xiàn)幾何變換消除 左右圖像的透視效應；左圖像通過一系列形態(tài)學的處理用于檢測白線，右圖像用于檢測障 礙物，以確定車前的可行駛區(qū)域。德國研究與技術(shù)部門與大眾汽車公司于1992年合作研制成的Caravelle系統(tǒng)應 用于大眾公司的Caravelle旅行車，主要研究高速公路下的視覺導航。Caravelle系統(tǒng)包 括傳感器系統(tǒng)、執(zhí)行機構(gòu)和計算機系統(tǒng)；其中，傳感器系統(tǒng)除包括兩臺攝像機外，還包括一 個速度傳感器和一個測量駕駛角的傳感器。兩臺攝像機中一臺裝有攝遠鏡頭的用來檢測障 礙，另一臺裝有廣角鏡頭的用來檢測行車道。執(zhí)行機構(gòu)為方向力矩電機和電子油門。計算機 系統(tǒng)由兩臺PC組成，一臺完成圖像處理、卡爾曼動態(tài)濾波、車體控制，另一臺PC完成系統(tǒng)自 舉、監(jiān)控等功能。92年公布的材料顯示該系統(tǒng)從識別一幀圖像到完成控制的周期為70ms。
從發(fā)展趨勢來看，在其它傳感器發(fā)展緩慢的今天，基于視覺傳感器的IT處理技術(shù) 將承擔汽車安全輔助的主要任務，具有廣闊的發(fā)展空間。而多傳感器融合的技術(shù)方案也將 提高視覺系統(tǒng)的性能。所以，對汽車安全駕駛具有實際應用價值的路況監(jiān)測技術(shù)也將以視 覺傳感器為核心，以多傳感器融合的技術(shù)方案得到深入廣泛的發(fā)展。中國專利(2007101665162.0)公開了一種障礙物的監(jiān)測方法及其系統(tǒng)，使用水平 激光照射路面，然后用攝像頭采集指定路面的圖像是否存在激光反射特征判斷路面是否存 在障礙物，但是該方法，會對路面環(huán)境造成光干擾，并且需要激光設備，系統(tǒng)復雜。中國專利(200910049885. 3)公開了一種自動識別道路深坑與障礙物的車輛智能 裝置，使用雙目針孔攝像頭采集圖像，通過雙目視覺的方法判斷道路前方高度是否異常，對 深坑以及路面物體給出報警，目前計算機視覺中三種已有的處理方法KLT (Kanade-Lucas-Tomasi)跟蹤方法、 K均值聚類法以及歷史運動消隱法，分別說明如下KLT跟蹤方法是計算視覺中一種重要的目標跟蹤方法，它首先在待跟蹤目標上提 取具有一下特征的點(下稱角點)角點提取采用如下算法對于當前幀圖像內(nèi)的每一個點 計算出矩陣Z 其中，gx表示圖像在位置(x，y)處亮度的一階水平方向?qū)?shù)，gy表示圖像在位置 (X，y)處亮度的一階豎直方向?qū)?shù)。再計算該矩陣的特征值入工和λ2，如果λ” λ2的最 小值大于設定閾值λ，認為是角點，否則不是角點，閾值的設定根據(jù)實驗效果調(diào)整得到。提取出當前幀圖像的角點后，使用下面方法在后一幀圖像中找到當前幀圖像各角 點新的對應位置設定一個固定搜索窗口大小寬度為Wx，高度為Wy，設當前圖像(X，y)處的亮度為 I(x，y)，后一幀圖像(x，y)處的亮度為J(x，y)，對于每個角點，對于它的所有偏移(dx, dy) 計算下面值，取使ε (d)值最小的(dx，dy)為該角點從當前幀到后一幀的運動位移。 K均值聚類算法基本思想是先進行粗略的分類，然后按照某種最優(yōu)的原則修改不 合理的分類，直至分類比較合理為止，形成最終的分類結(jié)果。K-均值聚類把點到聚類中心的 某種距離(如歐式距離)和作為優(yōu)化的目標函數(shù)，采用函數(shù)求極值的方法得到迭代運算的 調(diào)整規(guī)則。K均值聚類需要根據(jù)實際情況預先給定待聚類數(shù)K。歷史運動消隱法中圖像定義如下，對于第k幀圖像(x，y)處，對應的歷史運動圖像 mhi在該處的值為 其中silh是用當前幀圖像與前一幀相減的二值化圖像，T為當前時間，AT是控制 消隱速度的時間閾值，根據(jù)實驗中的效果來設定。mhi中運動發(fā)生的象素點被設置為當前時間戳，而運動發(fā)生較久的象素點被清除，反應了當前時間附近各個點的累積運動程度。然后 計算運動歷史圖像mhi的各個連通域，即可得到障礙物的位置、大小、形狀等信息。

發(fā)明內(nèi)容
本發(fā)明的目的是為克服已有技術(shù)的不足之處，提出一種用于駕駛安全的視覺障礙 物檢測方法，僅使用普通攝像頭，實現(xiàn)簡易低廉，該方法計算速度快，比較穩(wěn)定且環(huán)境適應 能力強。本發(fā)明的用于駕駛安全的視覺障礙物檢測方法，其特征在于，包括如下步驟(1)采集視頻圖像通過采集車外視頻圖像的攝像頭實時采集車外視屏圖像；(2)采用KLT跟蹤方法與K均值聚類法得到當前幀圖像中K個候選障礙物中心和 輪廓；(3)采用基于幀差的歷史運動消隱法檢測得到當前幀圖像中多個候選障礙物中心 和輪廓；(4)對步驟⑵、(3)得到的兩種結(jié)果求交集運算，交集運算結(jié)果作為最終障礙物 的中心區(qū)域；(5)在步驟(2)、(3)得到的兩種結(jié)果中搜索與步驟(4)得到的障礙物中心區(qū)域相 連的區(qū)域，將這些區(qū)域與對應的中心區(qū)域組成當前幀圖像的各個障礙物的邊界，作為障礙 物檢測結(jié)果，轉(zhuǎn)步驟(1)。本發(fā)明的特點及有益效果本發(fā)明的特點為首先車輛上的攝像頭對前方路面進行采集，然后提取圖像中的 角點，并利用光流與K均值對障礙物初步估計，得到障礙物的候選中心位置以及大??；然后 利用基于幀差的運動歷史消隱法排除前面結(jié)果中運動速度不合理的區(qū)域，這樣得到更加魯 棒的障礙物中心，然后把兩種方法結(jié)果進行并運算，在確認后的障礙物中心周圍取區(qū)域邊 界作為每個障礙物的邊界。本發(fā)明的有益效果為僅使用普通分辨率視頻圖像采集設備，不使用除攝像頭之 外的額外傳感器，且簡單易行，且不會對路面造成污染。本方法選用了適于移動計算設備的計算視覺技術(shù)，僅使用單目視覺方法推算障礙 物的高度，計算速度比雙目視覺快速，且本方法使用兩種視覺方法進行雙重確認，檢測效果 更加穩(wěn)定準確，環(huán)境適應性好。


圖1為本發(fā)明方法采用的汽車道路障礙物監(jiān)測實施例結(jié)構(gòu)示意圖。圖2為本發(fā)明的道路障礙物檢測方法流程圖。圖3為本發(fā)明采用KLT跟蹤方法與K均值聚類法得到候選障礙物中心和輪廓流程 圖。
具體實施例方式本發(fā)明提出的用于駕駛安全的視覺障礙物檢測方法，結(jié)合附圖及實施例詳細說明 如下
本發(fā)明方法的具體實施方式
是在被保護的汽車內(nèi)安裝有采集車外視頻圖像的攝 像頭以及與其相連的計算機，該計算機上存儲有預先編制的按本發(fā)明方法實現(xiàn)的障礙物檢 測程序，攝像頭采用普通USB網(wǎng)絡攝像頭，計算機使用1.2GHz CPU處理器。攝像頭安裝實 施例如圖1所示，攝像頭1對準汽車2前方，以圖像下邊緣剛剛超過車頭3線為準(圖中虛 線標示出攝像頭對準的方向和車外視頻圖像采集的范圍)。本發(fā)明的用于駕駛安全的視覺障礙物檢測方法實施例流程如圖2所示，包括如下 步驟(1)采集視頻圖像通過采集車外視頻圖像的攝像頭實時采集車外視屏圖像，所 采集圖像的大小規(guī)格由攝像頭驅(qū)動決定，最常用的是320X240和640X480兩種大小規(guī)格。 本實施例中，所采集圖像的大小規(guī)格為320X240像素；(2)采用KLT跟蹤方法與K均值聚類法得到當前幀圖像中K個候選障礙物中心和 輪廓，如圖3所示，具體包括以下步驟A.在步驟(1)采集的當前幀圖像中提取路面區(qū)域的角點位置信息；B.根據(jù)當前幀圖像的角點數(shù)以及上一幀圖像中檢測得到的障礙物個數(shù)估計當前 幀圖像待聚類數(shù)K ;κ的確定方法如下 其中，&表示第j幀估計的聚類數(shù)，用于第^四步中的聚類，表示第j_l幀檢測 到的障礙物數(shù)；Ktl為起始幀圖像的障礙物估計數(shù)，M0為起始幀圖像內(nèi)檢測到的角點數(shù)。C.根據(jù)當前幀圖像及下一幀圖像利用KLT算法計算當前幀圖像的角點的運動位 移；D.將當前幀圖像的角點位置信息及其運動位移組成一個多維向量，采用K均值法 進行聚類，將當前幀圖像的角點劃分成K個集合，每個集合的中心為候選障礙物中心，集合 的邊界為候選障礙物輪廓；(3)采用基于幀差的歷史運動消隱法檢測得到當前幀圖像中多個候選障礙物中心 和輪廓；(4)對步驟(2)、(3)得到的兩種結(jié)果求交集運算，交集運算結(jié)果作為最終障礙物 的中心區(qū)域；(5)在步驟(2)、(3)得到的兩種結(jié)果中搜索與步驟(4)得到的障礙物中心區(qū)域相 連的區(qū)域，將這些區(qū)域與對應的中心區(qū)域組成當前幀圖像的各個障礙物的邊界，作為障礙 物檢測結(jié)果，轉(zhuǎn)步驟(1)。
權(quán)利要求
一種用于駕駛安全的視覺障礙物檢測方法，其特征在于，包括如下步驟(1)采集視頻圖像通過采集車外視頻圖像的攝像頭實時采集車外視屏圖像；(2)采用KLT跟蹤方法與K均值聚類法得到當前幀圖像中K個候選障礙物中心和輪廓；(3)采用基于幀差的歷史運動消隱法檢測得到當前幀圖像中多個候選障礙物中心和輪廓；(4)對步驟(2)、(3)得到的兩種結(jié)果求交集運算，交集運算結(jié)果作為最終障礙物的中心區(qū)域；(5)在步驟(2)、(3)得到的兩種結(jié)果中搜索與步驟(4)得到的障礙物中心區(qū)域相連的區(qū)域，將這些區(qū)域與對應的中心區(qū)域組成當前幀圖像的各個障礙物的邊界，作為障礙物檢測結(jié)果，轉(zhuǎn)步驟(1)。
2.如權(quán)利要求1所述其特征在于，所述步驟(2)采用KLT跟蹤方法與K均值聚類法得 到當前幀圖像中K個候選障礙物中心和輪廓，具體包括以下步驟A.在步驟(1)采集的當前幀圖像中提取路面區(qū)域的角點位置信息；B.根據(jù)當前幀圖像的角點數(shù)以及上一幀圖像中檢測得到的障礙物個數(shù)估計當前幀圖 像待聚類數(shù)K ；K的確定方法如下 其中，&表示第j幀估計的聚類數(shù)，用于第四步中的聚類，表示第j-i幀檢 測到的障礙物數(shù)；Ktl為起始幀圖像的障礙物估計數(shù)，M0為起始幀圖像內(nèi)檢測到的角點數(shù)。C.根據(jù)當前幀圖像及下一幀圖像利用KLT算法計算當前幀圖像的角點的運動位移；D.將當前幀圖像的角點位置信息及其運動位移組成一個多維向量，采用K均值法進行 聚類，將當前幀圖像的角點劃分成K個集合，每個集合的中心為候選障礙物中心，集合的邊 界為候選障礙物輪廓。
全文摘要
本發(fā)明涉及用于駕駛安全中的道路障礙物檢測方法，屬于計算機應用技術(shù)領域，該方法包括首先車輛上的攝像頭對前方路面進行采集，然后提取圖像中的角點，并利用光流與K均值對障礙物初步估計，得到障礙物的候選中心位置以及大小；然后利用基于幀差的運動歷史消隱法排除前面結(jié)果中運動速度不合理的區(qū)域，這樣得到更加魯棒的障礙物中心，然后把兩種方法結(jié)果取并運算，在確認后的障礙物中心周圍取區(qū)域邊界作為每個障礙物的邊界。本發(fā)明僅使用普通攝像頭，實現(xiàn)簡易低廉，該方法計算速度快，比較穩(wěn)定且環(huán)境適應能力強。
文檔編號G01C11/36GK101881615SQ20101019127
公開日2010年11月10日 申請日期2010年5月28日 優(yōu)先權(quán)日2010年5月28日
發(fā)明者宋亦旭, 常謙, 徐華, 楊澤紅, 王家廞, 賈培發(fā), 趙雁南 申請人:清華大學