基于多傳感器融合的多視覺(jué)特征車(chē)輛檢測(cè)方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及無(wú)人車(chē)技術(shù)領(lǐng)域，具體涉及一種基于多傳感器融合的多視覺(jué)特征車(chē)輛 檢測(cè)方法。
【背景技術(shù)】
[0002] 無(wú)人車(chē)是一種集環(huán)境感知、動(dòng)態(tài)決策與規(guī)劃、行為控制與執(zhí)行等多功能為一體的 智能化程度很高的裝置。其中，環(huán)境感知技術(shù)是重要的基礎(chǔ)保證，而動(dòng)態(tài)目標(biāo)車(chē)輛的檢測(cè)是 環(huán)境感知中的重要研究?jī)?nèi)容，對(duì)無(wú)人車(chē)自主導(dǎo)航具有重要意義?；谝曈X(jué)的車(chē)輛檢測(cè)方法 能夠提供豐富的圖像信息，可以獲得車(chē)輛的尺寸和輪廓信息，但單一視覺(jué)特征對(duì)車(chē)輛檢測(cè) 的魯棒性較低;基于雷達(dá)的車(chē)輛檢測(cè)方法能夠提供豐富的縱向信息，可以獲得車(chē)輛的位置 和相對(duì)速度信息，但無(wú)法識(shí)別車(chē)輛的形狀和大小;兩種檢測(cè)方法各有利弊。
[0003] 為了提高車(chē)輛檢測(cè)信息描述的完整性與可靠性，基于多傳感器融合的車(chē)輛檢測(cè)方 法逐漸成為國(guó)內(nèi)外一個(gè)重要的研究?jī)?nèi)容和發(fā)展趨勢(shì)。因此，如何充分利用各傳感器提供的 信息進(jìn)行車(chē)輛檢測(cè)并克服兩種方法的局限性，提高車(chē)輛檢測(cè)魯棒性成為亟待解決的技術(shù)問(wèn) 題。

【發(fā)明內(nèi)容】

[0004] (一)要解決的技術(shù)問(wèn)題
[0005] 本發(fā)明要解決的技術(shù)問(wèn)題是：如何利用各傳感器提供的信息進(jìn)行車(chē)輛檢測(cè)，克服 利用單一屬性特征檢測(cè)車(chē)輛時(shí)魯棒性低的缺點(diǎn)。
[0006] (二)技術(shù)方案
[0007] 為了解決上述技術(shù)問(wèn)題，本發(fā)明提供了一種基于多傳感器融合的多視覺(jué)特征車(chē)輛 檢測(cè)方法，包括以下步驟：
[0008] S1、在動(dòng)態(tài)場(chǎng)景下，將攝像頭和毫米波雷達(dá)同時(shí)觀(guān)測(cè)到的圖像信息和車(chē)輛數(shù)據(jù)信 息進(jìn)行空間對(duì)準(zhǔn)；
[0009] S2、在圖像中，根據(jù)空間對(duì)準(zhǔn)結(jié)果，提取車(chē)輛感興趣區(qū)域；
[0010] S3、在所述車(chē)輛感興趣區(qū)域內(nèi)，提取車(chē)輛底部陰影；
[0011] S4、在步驟S3提取的車(chē)輛底部陰影范圍內(nèi)，提取HSI彩色空間S分量的車(chē)輛對(duì)稱(chēng)軸；
[0012] S5、在車(chē)輛底部陰影范圍內(nèi)，統(tǒng)計(jì)水平差分投影圖，并在車(chē)輛對(duì)稱(chēng)軸左、右兩側(cè)尋 找水平差分投影圖最大值的索引值eL和eR，確定車(chē)輛左右邊緣；
[0013] S6、融合步驟S3、步驟S4與步驟S5得到的車(chē)輛底部陰影、車(chē)輛對(duì)稱(chēng)軸與車(chē)輛左右邊 緣三個(gè)視覺(jué)特征結(jié)果，實(shí)現(xiàn)車(chē)輛檢測(cè)。
[0014](三)有益效果
[0015]本發(fā)明首先通過(guò)毫米波雷達(dá)和攝像頭獲取前方車(chē)輛的圖像和數(shù)據(jù)信息，并通過(guò)毫 米波雷達(dá)坐標(biāo)系和圖像坐標(biāo)系的轉(zhuǎn)換關(guān)系得到車(chē)輛在圖像中的位置，進(jìn)而在圖像中得到車(chē) 輛感興趣區(qū)域，減小了圖像處理時(shí)間以及非車(chē)輛感興趣區(qū)域?qū)D像處理的干擾。然后，融合 車(chē)輛的車(chē)輛底部陰影、車(chē)輛對(duì)稱(chēng)性和車(chē)輛左右邊緣三個(gè)屬性特征，實(shí)現(xiàn)車(chē)輛檢測(cè)，克服了利 用單一屬性特征檢測(cè)車(chē)輛時(shí)魯棒性低的缺點(diǎn)。
【附圖說(shuō)明】
[0016] 圖1為本發(fā)明實(shí)施例的方法提供的攝像頭圖像坐標(biāo)系和毫米波雷達(dá)坐標(biāo)系幾何關(guān) 系圖。
【具體實(shí)施方式】
[0017] 為使本發(fā)明的目的、內(nèi)容、和優(yōu)點(diǎn)更加清楚，下面結(jié)合附圖和實(shí)施例，對(duì)本發(fā)明的
【具體實(shí)施方式】作進(jìn)一步詳細(xì)描述。
[0018] 本發(fā)明實(shí)施例提供的一種基于多傳感器融合的多視覺(jué)特征車(chē)輛檢測(cè)方法，包括以 下步驟：
[0019] 步驟S1:在動(dòng)態(tài)場(chǎng)景下，將攝像頭和毫米波雷達(dá)同時(shí)觀(guān)測(cè)到的圖像信息和車(chē)輛數(shù) 據(jù)信息進(jìn)行空間對(duì)準(zhǔn)。如圖1所示，〇ρθ為毫米波雷達(dá)坐標(biāo)系，O'mn為攝像頭圖像坐標(biāo)系，P'、 P分別表示在坐標(biāo)系O'mn與坐標(biāo)系ΟρΘ下，攝像頭和毫米波雷達(dá)分別觀(guān)測(cè)到的圖像信息和車(chē) 輛數(shù)據(jù)信息。因此，通過(guò)坐標(biāo)轉(zhuǎn)換關(guān)系式（1)將毫米波雷達(dá)觀(guān)測(cè)到的車(chē)輛數(shù)據(jù)信息投影到攝 像頭觀(guān)測(cè)到的圖像信息中，完成毫米波雷達(dá)和攝像頭空間對(duì)準(zhǔn)。矩陣Τ為空間變換矩陣，通 過(guò)采集Α(Α2 4)個(gè)對(duì)應(yīng)的毫米波雷達(dá)和攝像頭的觀(guān)測(cè)數(shù)據(jù)集(m，n，P，0)，利用最小二乘法求 解得到。
[0021] 步驟S2:在圖像中，根據(jù)空間對(duì)準(zhǔn)結(jié)果，提取車(chē)輛感興趣區(qū)域。
[0022] 假定動(dòng)態(tài)場(chǎng)景中只存在一輛車(chē)輛，（m，n)是步驟1得到的空間對(duì)準(zhǔn)結(jié)果，車(chē)輛感興 趣區(qū)域可通過(guò)式(2)獲得。其中，R0I表示車(chē)輛感興趣區(qū)域;Μ與N表示攝像頭獲得的場(chǎng)景圖像 寬度和高度;Μ'與Ν'表示區(qū)域R0I的寬度與高度。通過(guò)車(chē)輛感興趣區(qū)域的提取，可以減小圖 像處理時(shí)間以及非車(chē)輛感興趣區(qū)域干擾。
[0024]步驟S3:在車(chē)輛感興趣區(qū)域內(nèi)，提取車(chē)輛底部陰影。車(chē)輛底部陰影是車(chē)輛的一個(gè)重 要屬性特征，因此，該特征可以作為車(chē)輛檢測(cè)的重要判定依據(jù)之一。最大類(lèi)間方差雙閾值算 法是基于閾值圖像分割算法中最重要的方法之一，但閾值計(jì)算的方式的是窮盡搜索，運(yùn)算 效率較低。而遺傳算法是一種基于群體的優(yōu)化算法，全局尋優(yōu)能力強(qiáng)，簡(jiǎn)化了閾值計(jì)算過(guò) 程，提高了最大類(lèi)間方差雙閾值算法效率。因此，結(jié)合以上兩種算法，提取車(chē)輛底部陰影的 具體步驟如下：
[0025] S30、假定UT為圖像平均灰度值;tl和t2表示算法的二個(gè)閾值;W1、W2與W3分別表示被 閾值七和^分成的三個(gè)不同區(qū)域的概率;m、u^U3分別表示三個(gè)不同區(qū)域的灰度均值。則為 三個(gè)不同區(qū)域間的類(lèi)間方差σ2可表示為式(3):
[0027] S31、在遺傳算法中，假定t為初始進(jìn)化代數(shù);tm為最大進(jìn)化代數(shù);Q為群體大??；針 對(duì)閾值t#Pt 2，按二進(jìn)制碼編碼，隨機(jī)生成Q個(gè)初始群體p(t)。
[0028] S32、對(duì)p(t)進(jìn)行解碼，并根據(jù)適應(yīng)度函數(shù)如式(4)所示對(duì)p (t)中的個(gè)體進(jìn)行個(gè)體 適應(yīng)度評(píng)價(jià)。
[0030] S33、利用遺傳算子對(duì)當(dāng)前群體進(jìn)行選擇、交叉、變異操作，產(chǎn)生下一代群體，同時(shí) 保留當(dāng)前群體中適應(yīng)度最小的個(gè)體到下一代群體中。
[0031] S34、判斷條件是否成立，若條件符合，則t+Ι，返回到步驟S32繼續(xù)執(zhí)行；否 貝1J，將當(dāng)前群體中適應(yīng)度最小的個(gè)體中的閾值作為最優(yōu)閾值11 *和t2*。
[0032] S35、根據(jù)最優(yōu)閾值tl*和t2*，提取車(chē)輛底部陰影。假定車(chē)輛底部陰影區(qū)域顏色用 黑色表示，根據(jù)兩個(gè)最優(yōu)閾值得到的黑色區(qū)域作為車(chē)輛底部陰影位置。
[0033]步驟S4:在步驟S3提取的車(chē)輛底部陰影范圍內(nèi)，利用式(5)提取HSI彩色空間S分量 的車(chē)輛對(duì)稱(chēng)軸。
[0035] 其中，msl、ms2表示車(chē)輛底部陰影區(qū)域列邊界位置;ns表示車(chē)輛底部陰影上行邊界位 置;ws表示車(chē)輛底部陰影寬度，arg表示取對(duì)稱(chēng)軸。
[0036]步驟S5:在車(chē)輛底部陰影范圍內(nèi)，統(tǒng)計(jì)水平差分投影圖，并在車(chē)輛對(duì)稱(chēng)軸兩側(cè)尋找 水平差分投影圖最大值的索引值eL(左側(cè)索引值)和eR(右側(cè)索引值），根據(jù)式(6)確定車(chē)輛 左右邊緣。
[0038] 步驟S6:融合步驟S3、步驟S4與步驟S5得到的車(chē)輛底部陰影、車(chē)輛對(duì)稱(chēng)軸與車(chē)輛左 右邊緣三個(gè)視覺(jué)特征結(jié)果，實(shí)現(xiàn)車(chē)輛檢測(cè)。
[0039] 通過(guò)以上步驟，不僅可以檢測(cè)到車(chē)輛的形狀和大小，而且可以得到車(chē)輛的位置和 相對(duì)速度信息，檢測(cè)的車(chē)輛信息描述更加全面和可靠，為無(wú)人車(chē)自主導(dǎo)航提供了可靠保障。
[0040] 以上所述僅是本發(fā)明的優(yōu)選實(shí)施方式，應(yīng)當(dāng)指出，對(duì)于本技術(shù)領(lǐng)域的普通技術(shù)人 員來(lái)說(shuō)，在不脫離本發(fā)明技術(shù)原理的前提下，還可以做出若干改進(jìn)和變形，這些改進(jìn)和變形 也應(yīng)視為本發(fā)明的保護(hù)范圍。
【主權(quán)項(xiàng)】
1. 一種基于多傳感器融合的多視覺(jué)特征車(chē)輛檢測(cè)方法，其特征在于，包括W下步驟： 51、 在動(dòng)態(tài)場(chǎng)景下，將攝像頭和毫米波雷達(dá)同時(shí)觀(guān)測(cè)到的圖像信息和車(chē)輛數(shù)據(jù)信息進(jìn) 行空間對(duì)準(zhǔn)； 52、 在圖像中，根據(jù)空間對(duì)準(zhǔn)結(jié)果，提取車(chē)輛感興趣區(qū)域； 53、 在所述車(chē)輛感興趣區(qū)域內(nèi)，提取車(chē)輛底部陰影； 54、 在步驟S3提取的車(chē)輛底部陰影范圍內(nèi)，提取HSI彩色空間S分量的車(chē)輛對(duì)稱(chēng)軸； 55、 在車(chē)輛底部陰影范圍內(nèi)，統(tǒng)計(jì)水平差分投影圖，并在車(chē)輛對(duì)稱(chēng)軸左、右兩側(cè)尋找水 平差分投影圖最大值的索引值eL和eR，確定車(chē)輛左右邊緣； 56、 融合步驟S3、步驟S4與步驟S5得到的車(chē)輛底部陰影、車(chē)輛對(duì)稱(chēng)軸與車(chē)輛左右邊緣Ξ 個(gè)視覺(jué)特征結(jié)果，實(shí)現(xiàn)車(chē)輛檢測(cè)。2. 如權(quán)利要求1所述的方法，其特征在于，步驟S1中，設(shè)Ορθ為毫米波雷達(dá)坐標(biāo)系，O'mn 為攝像頭圖像坐標(biāo)系，P'、P分別表示在坐標(biāo)系0'皿與坐標(biāo)系Ope下，攝像頭和毫米波雷達(dá)分 別觀(guān)測(cè)到的圖像信息和車(chē)輛數(shù)據(jù)信息，通過(guò)坐標(biāo)轉(zhuǎn)換關(guān)系式（1)將毫米波雷達(dá)觀(guān)測(cè)到的車(chē) 輛數(shù)據(jù)信息投影到攝像頭觀(guān)測(cè)到的圖像信息中，完成毫米波雷達(dá)和攝像頭空間對(duì)準(zhǔn)：(1) 其中，矩陣T為空間變換矩陣，通過(guò)采集A個(gè)對(duì)應(yīng)的毫米波雷達(dá)和攝像頭的觀(guān)測(cè)數(shù)據(jù)集 (??,η,ρ,θ)，利用最小二乘法求解得到，A> 4。3. 如權(quán)利要求2所述的方法，其特征在于，設(shè)(m，n)是步驟S1得到的空間對(duì)準(zhǔn)結(jié)果，則步 驟S2中通過(guò)式(2)獲得車(chē)輛感興趣區(qū)域：(2) 其中，R0I表示所提取的車(chē)輛感興趣區(qū)域;Μ與N表示攝像頭獲得的場(chǎng)景圖像寬度和高 度;Μ'與Ν'表示區(qū)域R0I的寬度與高度。4. 如權(quán)利要求3所述的方法，其特征在于，步驟S3具體包括： 530、 假定UT為圖像平均灰度值;tl和t2表示預(yù)設(shè)的兩個(gè)闊值，tl<t2;Wl、W2與W3分別表示 被闊值tl和t2分成的Ξ個(gè)不同區(qū)域的概率;U1、U2與U3分別表示Ξ個(gè)不同區(qū)域的灰度均值，貝U Ξ個(gè)不同區(qū)域間的類(lèi)間方差σ2表示為式(3):但) 531、 在遺傳算法中，假定t為初始進(jìn)化代數(shù);tm為最大進(jìn)化代數(shù);Q為群體大小;針對(duì)闊值 tl和t2，按二進(jìn)制碼編碼，隨機(jī)生成Q個(gè)初始群體P(t); 532、 對(duì)P (t)進(jìn)行解碼，并根據(jù)適應(yīng)度函數(shù)式(4)對(duì)P (t)中的個(gè)體進(jìn)行個(gè)體適應(yīng)度評(píng)價(jià)：㈱ 533、 利用遺傳算子對(duì)當(dāng)前群體進(jìn)行選擇、交叉、變異操作，產(chǎn)生下一代群體，同時(shí)保留 當(dāng)前群體中適應(yīng)度最小的個(gè)體到下一代群體中； 534、 判斷條件t含tm是否成立，若成立，則t+1，返回到步驟S32繼續(xù)執(zhí)行；否則，將當(dāng)前 群體中適應(yīng)度最小的個(gè)體中的闊值作為最優(yōu)闊值11 *和t2*; 535、 根據(jù)最優(yōu)闊值tl*和t2*，提取車(chē)輛底部陰影，假定車(chē)輛底部陰影區(qū)域顏色用一種 顏色表示，根據(jù)兩個(gè)最優(yōu)闊值得到的該種顏色區(qū)域作為車(chē)輛底部陰影位置。5. 如權(quán)利要求4所述的方法，其特征在于，步驟S4中，利用式巧)提取車(chē)輛對(duì)稱(chēng)軸：(5) 其中，msi、ms2表示車(chē)輛底部陰影區(qū)域列邊界位置;ns表示車(chē)輛底部陰影上行邊界位置； ws表示車(chē)輛底部陰影寬度，arg表示取對(duì)稱(chēng)軸。6. 如權(quán)利要求5所述的方法，其特征在于，步驟S5中，根據(jù)式(6)確定車(chē)輛左右邊緣。
【專(zhuān)利摘要】本發(fā)明涉及一種基于多傳感器融合的多視覺(jué)特征車(chē)輛檢測(cè)方法，屬于無(wú)人車(chē)技術(shù)領(lǐng)域。本發(fā)明首先通過(guò)毫米波雷達(dá)和攝像頭獲取前方車(chē)輛的圖像和數(shù)據(jù)信息，并通過(guò)毫米波雷達(dá)坐標(biāo)系和圖像坐標(biāo)系的轉(zhuǎn)換關(guān)系得到車(chē)輛在圖像中的位置，進(jìn)而在圖像中得到車(chē)輛感興趣區(qū)域，減小了圖像處理時(shí)間以及非車(chē)輛感興趣區(qū)域?qū)D像處理的干擾。然后，融合車(chē)輛的車(chē)輛底部陰影、車(chē)輛對(duì)稱(chēng)性和車(chē)輛左右邊緣三個(gè)屬性特征，實(shí)現(xiàn)車(chē)輛檢測(cè)，克服了利用單一屬性特征檢測(cè)車(chē)輛時(shí)魯棒性低的缺點(diǎn)。
【IPC分類(lèi)】G06K9/00, G06K9/62
【公開(kāi)號(hào)】CN105574542
【申請(qǐng)?zhí)枴緾N201510940005
【發(fā)明人】靳璐, 蘇波, 康曉, 吳越
【申請(qǐng)人】中國(guó)北方車(chē)輛研究所
【公開(kāi)日】2016年5月11日
【申請(qǐng)日】2015年12月15日