一種易受傷害道路使用者的聯(lián)合檢測方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明設(shè)及計算機視覺技術(shù)及智能汽車領(lǐng)域，尤其設(shè)及一種車輛行駛環(huán)境下易受 傷害道路使用者的聯(lián)合檢測方法。
【背景技術(shù)】
[0002] 在最近一二十年里，先進駕駛輔助系統(tǒng)（如自適應(yīng)巡航系統(tǒng)，前撞報警系統(tǒng)等）的 迅速發(fā)展提高了道路交通安全。然而，那些易受傷害道路使用者（英文全稱為"Vulnerable Road Users",簡稱為"VRU")，比如行人、騎自行車的人(下文簡稱為"自行車人"）、騎電動車 的人(下文簡稱為"電動車人"）及其他小型兩輪交通工具乘用者等受到的保護依然有限。根 據(jù)2013年WK)道路安全報告統(tǒng)計，全球近一半的交通事故死亡者為易受傷害道路使用者，而 在一些中低收入國家中，最脆弱的行人和自行車人的比例更為突出。考慮到易受傷害道路 使用者的速度慢且一般沒有特殊保護措施(如安全頭盎），對它們的保護尤為迫切。其中，易 受傷害道路使用者的準確檢測是保護他們的根本所在。
[0003] 車輛周邊環(huán)境感知系統(tǒng)可W使用不同傳感器技術(shù)，如單目視覺、雙目視覺、激光雷 達和毫米波雷達等。聚焦于易受傷害道路使用者識別的領(lǐng)域，視覺傳感器因其可W獲取豐 富場景信息的能力而倍受青睞，如顏色及環(huán)境上下文信息等。不僅如此，相對于主動傳感 器，視覺傳感器價格低廉，且可W同時處理其他多種任務(wù)，如車道線和標志牌檢測等。
[0004] 雖然基于視覺的行人檢測已經(jīng)被研究了很多年，實際應(yīng)用中由行人姿態(tài)、遮擋等 帶來的挑戰(zhàn)問題還依然存在。相對于行人檢測，自行車人及電動車人等目標的檢測被研究 的很少，因為相對于行人，自行車人及電動車人檢測面臨的挑戰(zhàn)更多：自行車、電動車的類 型和騎車人的衣著導(dǎo)致自行車人和電動車人的外表變化大，騎車人的姿態(tài)變化導(dǎo)致自行車 人和電動車人的整體外形變化大，不同的觀察角度導(dǎo)致自行車人和電動車人的高寬比變化 大，自行車人和電動車人還可能被自己或外部物體遮擋等。
[0005] 因為行人和騎車人具有相似的外表，已存在的行人檢測方法常常將騎車人檢測為 行人。但是自行車人和電動車人等目標的運動速度比行人快、機動能力比行人高，運就要求 駕駛輔助系統(tǒng)和無人駕駛車輛需要給予行人、自行車人、電動車人等目標不同的關(guān)注程度。 因此，對于先進駕駛輔助系統(tǒng)和無人駕駛車輛來說，清楚的區(qū)分行人、自行車人和電動車人 等目標是很有必要的。雖然運些易受傷害道路使用者常常同時出現(xiàn)在駕駛環(huán)境中，傳統(tǒng)的 目標檢測方法都是將運些目標分開檢測，運不僅會造成多次掃描輸入圖像，還會得到混淆 的檢測結(jié)果，造成無法分清行人、自行車人或電動車人。
[0006] 因此，希望有一種技術(shù)方案來克服或至少減輕現(xiàn)有技術(shù)的至少一個上述缺陷。

【發(fā)明內(nèi)容】

[0007] 本發(fā)明的目的在于提供一種易受傷害道路使用者的聯(lián)合檢測方法來克服或至少 減輕現(xiàn)有技術(shù)中的至少一個上述缺陷。
[000引為實現(xiàn)上述目的，本發(fā)明提供一種易受傷害道路使用者聯(lián)合檢測的方法，包括離 線訓(xùn)練階段和在線目標檢測階段，其中：所述離線訓(xùn)練階段包括:1)建立易受傷害道路使用 者數(shù)據(jù)庫，該數(shù)據(jù)庫分為訓(xùn)練樣本集和測試樣本集;2)根據(jù)所述訓(xùn)練樣本集構(gòu)建能夠從背 景中分辨易受傷害道路使用者目標的VRU檢測器;所述在線目標檢測階段包括:3)利用所述 VRU檢測器對所述測試樣本集中的目標進行分類和定位并輸出檢測結(jié)果。
[0009] 進一步地，所述步驟2)具體包括W下子步驟:21)使用所述訓(xùn)練樣本集中的正樣本 訓(xùn)練上半身檢測器;22)根據(jù)檢測目標上半身位置與真實的目標位置的關(guān)系獲得多潛在區(qū) 域參數(shù);23)使用所述訓(xùn)練樣本集訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)模型，得到所述CN飾莫型。
[0010] 進一步地，所述步驟2)的步驟23)中，利用網(wǎng)絡(luò)模型對所述訓(xùn)練樣本集訓(xùn)練卷積神 經(jīng)網(wǎng)絡(luò)模型，得到所述CN飾莫型。
[0011] 進一步地，所述步驟2)的子步驟22)后還包括:24)W目標召回率為優(yōu)化函數(shù)，使用 智能優(yōu)化算法對所述步驟22)得到的多潛在區(qū)域參數(shù)進行迭代優(yōu)化，W能夠在檢測到的候 選目標上半身周圍，最大程度地覆蓋到整體目標。
[0012] 進一步地，所述步驟2)的子步驟23)后還包括:25)利用所述CN飾莫型計算多潛在區(qū) 域的分類結(jié)果及位置信息，W訓(xùn)練回歸定位模型。
[0013] 進一步地，所述步驟21)具體為利用聚合通道特征及AdaBoost分類器訓(xùn)練上半身 檢測器，W提取可能存在的目標的區(qū)域，該區(qū)域為所述在線目標檢測階段的檢測區(qū)域。
[0014] 進一步地，所述步驟22)的目標上半身位置與真實目標位置的關(guān)系為：
[0015]
[0016] 式中：11化瓜，1]^，化)為目標上半身位置，6他斯，6^麻)為真實目標位置，1〇*為設(shè) 定的概率密度模型的參數(shù)。
[0017] 進一步地，所述步驟3)具體包括W下子步驟:31)使用所述上半身分類器檢測測試 樣本集中樣本圖像可能的目標上半身;32)基于所述多潛在區(qū)域參數(shù)提取目標多潛在區(qū)域； 33)使用所述CNN模型計算各候選目標的潛在區(qū)域的分類結(jié)果;34)根據(jù)目標各潛在區(qū)域的 分類結(jié)果確定目標類別;35)根據(jù)所述目標類別及位置信息，使用所述回歸定位模型確定目 標位置。
[0018] 進一步地，所述訓(xùn)練樣本集在訓(xùn)練前W及所述測試樣本集在檢測前還包括白平衡 圖像預(yù)處理步驟。
[0019] 本發(fā)明由于采取W上技術(shù)方案，其具有W下優(yōu)點：1、本發(fā)明基于單目視覺輸入車 載相機圖像建立統(tǒng)一的VRU檢測器，可W同時檢測行人、自行車人及電動車人等易受傷害道 路使用者，且可W清楚的區(qū)分開來。此過程不需要多次掃描輸入圖像，不會混淆不同類型的 目標，可為先進駕駛輔助系統(tǒng)和無人駕駛車輛的決策提供有效幫助。2、使用人的上半身作 為目標候選區(qū)域提取的方法，輔W多潛在目標區(qū)域的設(shè)計與提取，可有效提取并盡可能的 覆蓋所有潛在的行人、自行車人及電動車人等目標。3、使用深度卷積神經(jīng)網(wǎng)絡(luò)作為分類器 提取分類特征，并結(jié)合目標多潛在區(qū)域的分類及位置信息，可實現(xiàn)目標的準確分類及精確 定位。本發(fā)明可用于先進駕駛輔助系統(tǒng)中易受傷害道路使用者的保護，也可為無人駕駛車 輛的決策提供幫助。
【附圖說明】
[0020]圖1是本發(fā)明的系統(tǒng)流程圖；
[0021 ]圖2是本發(fā)明實施例中多潛在區(qū)域的示意圖；
[0022] 圖3是本發(fā)明實施例中卷積神經(jīng)網(wǎng)絡(luò)的示意圖。
【具體實施方式】
[0023] 為使本發(fā)明實施的目的、技術(shù)方案和優(yōu)點更加清楚，下面將結(jié)合本發(fā)明實施例中 的附圖，對本發(fā)明實施例中的技術(shù)方案進行更加詳細的描述。在附圖中，自始至終相同或類 似的標號表示相同或類似的元件或具有相同或類似功能的元件。所描述的實施例是本發(fā)明 一部分實施例，而不是全部的實施例。下面通過參考附圖描述的實施例是示例性的，旨在用 于解釋本發(fā)明，而不能理解為對本發(fā)明的限制。基于本發(fā)明中的實施例，本領(lǐng)域普通技術(shù)人 員在沒有作出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明保護的范圍。下 面結(jié)合附圖對本發(fā)明的實施例進行詳細說明。
[0024] 在本發(fā)明的描述中，需要理解的是，術(shù)語"中屯、"、"縱向橫向前"、"后"、 "左"、"右"、"豎直"、"水平"、"頂"、"底""內(nèi)"、"外"等指示的方位或位置關(guān)系為基于附圖所 示的方位或位置關(guān)系，僅是為了便于描述本發(fā)明和簡化描述，而不是指示或暗示所指的裝 置或元件必須具有特定的方位、W特定的方位構(gòu)造和操作，因此不能理解為對本發(fā)明保護 范圍的限制。
[0025] 本發(fā)明所提供的易受傷害道路使用者聯(lián)合檢測的方法可用于先進駕駛輔助系統(tǒng) 中易受傷害道路使用者的保護，也可為無人駕駛車輛的決策提供幫助。通過對易受傷害道 路使用者目標(下文簡稱為"目標"）建立數(shù)據(jù)庫，根據(jù)數(shù)據(jù)庫構(gòu)建能夠從背景中分辨目標的 VRU檢測器，從而通過VRU檢測器達到對目標進行檢測的目的。目標的類型包括人、低速兩輪 交通工具乘用者(比如：自行車人)和高速兩輪交通工具乘用者(比如：電動車人）。
[0026] 如圖1所示，