基于激光雷達(dá)和雙目相機(jī)的車前行人檢測方法及系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于汽車安全駕駛領(lǐng)域，具體涉及了立體視覺技術(shù)和遙感技術(shù)，是融合激 光雷達(dá)和雙目相機(jī)的信息進(jìn)行車輛前方行人檢測的裝置與方法。
【背景技術(shù)】
[0002] 我國經(jīng)濟(jì)的快速發(fā)展，人民生活水平的不斷提高，交通運(yùn)輸業(yè)和汽車工業(yè)的高速 發(fā)展，都促使了我國機(jī)動車輛保有量的不斷攀升。到2013年底，我國汽車保有量高達(dá)1. 37 億輛，車輛碰撞事故頻發(fā)。復(fù)雜的交通環(huán)境下，如何在車輛行駛過程中保證行人安全以及車 輛和駕駛員的安全顯得尤為重要。但是，當(dāng)駕駛員疲勞駕駛或者一時疏忽，甚至有的駕駛員 身處危險狀況下，因心理承受壓力大而不能冷靜判斷，短時間內(nèi)難以做出正確決策而錯失 了最佳避讓行人的時機(jī)。因此，需要一種能夠自動且精確檢測車輛前方行人的裝置和方法， 輔助駕駛員安全駕駛汽車。
[0003] 已有的車輛前方行人檢測裝置，大多是基于單目相機(jī)，但是視覺信息受環(huán)境因素 影響較大，如下雨、霧霾；也有部分采用雷達(dá)信息來檢測行人，但是雷達(dá)信息量有限，不能單 獨(dú)用來做行人檢測裝置；針對單一傳感器無法滿足信息感知完整性和可靠性的問題，出現(xiàn) 了融合多傳感器的行人檢測方法，但在算法設(shè)計及硬件設(shè)計上不盡相同，且檢測效果不夠 精確。

【發(fā)明內(nèi)容】

[0004] 針對上述現(xiàn)有技術(shù)中存在的缺陷與不足，本發(fā)明的目的在于，提供一種基于激光 雷達(dá)和雙目相機(jī)的車前行人檢測方法。
[0005] 為了實(shí)現(xiàn)上述目的，本發(fā)明采用如下技術(shù)方案予以解決：
[0006] 一種基于激光雷達(dá)和雙目相機(jī)的車前行人檢測方法，具體包括以下步驟：
[0007] 步驟1，利用三臺激光雷達(dá)和一臺雙目相機(jī)采集車輛前方數(shù)據(jù)；
[0008] 步驟2,分別對激光雷達(dá)和雙目相機(jī)采集的數(shù)據(jù)進(jìn)行處理，得到行人相對于車輛的 距離、方位角及速度值；具體包括以下步驟：
[0009] 步驟21，根據(jù)激光雷達(dá)采集的數(shù)據(jù)，進(jìn)行疑似行人目標(biāo)的確定及行人距離、方位角 和速度的計算；
[0010] 步驟22,將三個激光雷達(dá)分別與雙目相機(jī)進(jìn)行標(biāo)定，使得每個激光雷達(dá)確定的疑 似行人目標(biāo)分別映射到雙目相機(jī)采集的左、右圖像中；
[0011] 步驟23、采用SURF算法分別對左、右圖像進(jìn)行處理，得到左、右圖像中每個疑似行 人目標(biāo)的特征點(diǎn)，并得到每個特征點(diǎn)對應(yīng)的特征向量；
[0012] 步驟24、根據(jù)得到的每個特征點(diǎn)對應(yīng)的特征向量，基于SURF特征的AdaBoost級聯(lián) 分類器檢測圖像中的行人并標(biāo)記；
[0013] 步驟25、利用雙目相機(jī)采集的圖像數(shù)據(jù)計算得到行人相對于車輛的距離、方位角 及速度值。
[0014] 進(jìn)一步的，所述步驟21具體包括如下步驟：
[0015] (1)采用K均值聚類法對激光雷達(dá)每幀中的1081個數(shù)據(jù)點(diǎn)進(jìn)行聚類，得到多個疑 似行人點(diǎn)簇，疑似行人點(diǎn)簇為激光雷達(dá)視野范圍內(nèi)所有障礙物；將疑似行人點(diǎn)簇與行人的 物理特征結(jié)合確定疑似行人目標(biāo)；每個疑似行人點(diǎn)簇用式（3)表示：
[0016] {(xi； | i = 1, 2, . . . ,m} ⑶
[0017]其中，i為每幀中疑似行人點(diǎn)簇的個數(shù)；xp 簇中心的坐標(biāo)；ri為簇中心點(diǎn) (Xi，yi)到簇邊界的最大距離值，m為每幀中疑似行人點(diǎn)簇的最大個數(shù)；
[0018] ⑵記錄疑似行人目標(biāo)的距離氏、方位角0 i及速度v肩息；
[0019] 疑似行人目標(biāo)確定以后，記錄其對應(yīng)的疑似點(diǎn)簇中心相對于激光雷達(dá)坐標(biāo)系的距 離、方位角及速度信息，作為疑似行人目標(biāo)的信息，疑似行人目標(biāo)信息用式（4)表示：
[0020] {(^, 0 i, | i = 1, 2, . . . , n} (4)
[0021] 式中，n為每幀中疑似行人目標(biāo)的最大個數(shù)；n < m。
[0022] 進(jìn)一步的，所述步驟23的具體步驟是：對于每個所述的特征點(diǎn)，選取其鄰域范圍 內(nèi)20 〇*20 〇大小的區(qū)域，其中，〇為空間中的任一點(diǎn)在尺度空間中的尺度；將區(qū)域的主方 向旋轉(zhuǎn)到特征點(diǎn)的主方向；將此區(qū)域劃分為4*4共16個子區(qū)域；對每個子區(qū)域，計算每個 像素點(diǎn)經(jīng)過加權(quán)的Harr小波在X方向和Y方向的響應(yīng)值dx、dy，然后建立一個四維的特征 向量如式（8):
[0023] v = (2 dx, 2 dy, 2 | dx |, 2 | dy) (8)
[0024] 將16個子區(qū)域的向量分別加入到該特征向量中，形成上述特征點(diǎn)對應(yīng)的 64(4*16)維的特征向量。
[0025] 進(jìn)一步的，所述步驟24具體包括如下步驟：
[0026] (1)將SURF特征點(diǎn)對應(yīng)的特征向量輸入到二值弱分類器進(jìn)行訓(xùn)練；
[0027] 所述二值弱分類器輸出1代表存在行人，輸出0代表不存在行人，用公式（9)描 述：
[0028]
【主權(quán)項(xiàng)】
1. 一種基于激光雷達(dá)和雙目相機(jī)的車前行人檢測方法，其特征在于，具體包括以下步 驟： 步驟1，利用三臺激光雷達(dá)和一臺雙目相機(jī)采集車輛前方數(shù)據(jù)； 步驟2,分別對激光雷達(dá)和雙目相機(jī)采集的數(shù)據(jù)進(jìn)行處理，得到行人相對于車輛的距 離、方位角及速度值；具體包括以下步驟： 步驟21，根據(jù)激光雷達(dá)采集的數(shù)據(jù)，進(jìn)行疑似行人目標(biāo)的確定及行人距離、方位角和速 度的計算； 步驟22,將三個激光雷達(dá)分別與雙目相機(jī)進(jìn)行標(biāo)定，使得每個激光雷達(dá)確定的疑似行 人目標(biāo)分別映射到雙目相機(jī)采集的左、右圖像中； 步驟23、采用SURF算法分別對左、右圖像進(jìn)行處理，得到左、右圖像中每個疑似行人目 標(biāo)的特征點(diǎn)，并得到每個特征點(diǎn)對應(yīng)的特征向量； 步驟24、根據(jù)得到的每個特征點(diǎn)對應(yīng)的特征向量，基于SURF特征的AdaBoost級聯(lián)分類 器檢測圖像中的行人并標(biāo)記； 步驟25、利用雙目相機(jī)采集的圖像數(shù)據(jù)計算得到行人相對于車輛的距離、方位角及速 度值。
2. 如權(quán)利要求1所述的基于激光雷達(dá)和雙目相機(jī)的車前行人檢測方法，其特征在于， 所述步驟21具體包括如下步驟： (1)采用K均值聚類法對激光雷達(dá)每幀中的1081個數(shù)據(jù)點(diǎn)進(jìn)行聚類，得到多個疑似行 人點(diǎn)簇，疑似行人點(diǎn)簇為激光雷達(dá)視野范圍內(nèi)所有障礙物；將疑似行人點(diǎn)簇與行人的物理 特征結(jié)合確定疑似行人目標(biāo)；每個疑似行人點(diǎn)簇用式（3)表示： {(Xi, Yi, Ti)Ii= 1, 2,. . . ,m} (3) 其中，i為每幀中疑似行人點(diǎn)簇的個數(shù)；XpyiS簇中心的坐標(biāo)；ri為簇中心點(diǎn)（xi,yj到簇邊界的最大距離值，m為每幀中疑似行人點(diǎn)簇的最大個數(shù)； ⑵記錄疑似行人目標(biāo)的距離氏、方位角0i及速度v肩息； 疑似行人目標(biāo)確定以后，記錄其對應(yīng)的疑似點(diǎn)簇中心相對于激光雷達(dá)坐標(biāo)系的距離、 方位角及速度信息，作為疑似行人目標(biāo)的信息，疑似行人目標(biāo)信息用式（4)表示： 0i, |i= 1, 2,. . . ,n} (4) 式中，n為每幀中疑似行人目標(biāo)的最大個數(shù);n<m。
3. 如權(quán)利要求1所述的基于激光雷達(dá)和雙目相機(jī)的車前行人檢測方法，其特征在于， 所述步驟23的具體步驟是：對于每個所述的特征點(diǎn)，選取其鄰域范圍內(nèi)20 〇 *20 〇大小的 區(qū)域，其中，〇為空間中的任一點(diǎn)在尺度空間中的尺度；將區(qū)域的主方向旋轉(zhuǎn)到特征點(diǎn)的 主方向；將此區(qū)域劃分為4*4共16個子區(qū)域；對每個子區(qū)域，計算每個像素點(diǎn)經(jīng)過加權(quán)的 Harr小波在X方向和Y方向的響應(yīng)值dx、dy，然后建立一個四維的特征向量如式（8): v= (2dx, 2dy, 2 |dx|, 2 |dy|) ⑶ 將16個子區(qū)域的向量分別加入到該特征向量中，形成上述特征點(diǎn)對應(yīng)的64(4*16)維 的特征向量。
4. 如權(quán)利要求1所述的基于激光雷達(dá)和雙目相機(jī)的車前行人檢測方法，其特征在于， 所述步驟24具體包括如下步驟： (1)將SURF特征點(diǎn)對應(yīng)的特征向量輸入到二值弱分類器進(jìn)行訓(xùn)練； 所述二值弱分類器輸出1代表存在行人，輸出0代表不存在行人，用公式（9)描述：
其中，x為一個檢測子窗口，取為20*20,n為檢測子窗口中SURF特征點(diǎn)的個數(shù)，fj(x) 為第j個特征點(diǎn)的特征向量，Pj為偏置系數(shù)，0j為閾值； 對每個特征點(diǎn)對應(yīng)的特征向量fj(X)，訓(xùn)練弱分類器hj(X，f，p，0 )，使得弱分類器hjO^tp，0)對所有訓(xùn)練樣本的分類誤差最低； (2) 強(qiáng)分類器的生成 使用得到的弱分類器對樣本集中的樣本圖像逐一進(jìn)行處理，處理的過程中，迭代次數(shù)S取值為10 ;得到強(qiáng)分類器； (3) 級聯(lián)分類器的構(gòu)建 將上述的強(qiáng)分類器串聯(lián)組成級聯(lián)分類器；級聯(lián)分類器層數(shù)c= 15 ; (4) 行人存在性檢測 (4. 1)對于每一對經(jīng)步驟23處理后的左、右圖像，按式（16)對該左、右圖像進(jìn)行灰度化 處理： Y = (0? 299) R+ (0? 587) G+ (0? 114) B (16) (4. 2)對灰度化處理后的圖像進(jìn)行縮放，使得該左、右圖像均與訓(xùn)練樣本圖像大小一 致，即20*20 ;然后使用得到的級聯(lián)分類器分別對縮放后的左、右圖像進(jìn)行處理，確定每一 對左、右圖像中是否存在行人，若存在，用矩形框?qū)π腥诉M(jìn)行標(biāo)記，并用式（17)記錄： {(ui； | i = 1, 2,. . . n} (17) 其中，i為當(dāng)前幀待檢測圖像中的行人數(shù)目，（Ui，Vi)為標(biāo)記行人的矩形框中心坐標(biāo)。