本發(fā)明涉及一種車輛周圍障礙物的精確識別方法，特別涉及一種利用雙目系統(tǒng)提供的視差信息，確定障礙物位置，高度以及距離信息的基于車載雙目相機(jī)的交通場景參與者識別方法。

背景技術(shù)：

現(xiàn)有視覺系統(tǒng)障礙物識別的方法多利用車輛模板信息或幾何以及邊緣特征信息(如車輛對稱性、車牌、車燈、底部陰影等)，各現(xiàn)有方法均有很強(qiáng)的局限性。并且對應(yīng)的距離信息由障礙物尺度變化比例或障礙物與路面交線信息獲得，準(zhǔn)確性不高且應(yīng)用場景受限。車輛識別方法多基于淺層圖像梯度信息的分類器，對于車輛特征的描述不具有普遍性，識別率較低，且不適用于復(fù)雜多變的行駛環(huán)境。

現(xiàn)有技術(shù)：車載相機(jī)系統(tǒng)包括雙目系統(tǒng)和單目系統(tǒng)，一般以單目系統(tǒng)為主。

現(xiàn)有技術(shù)存在的問題包括：1.基于視覺的障礙物檢測：不同的方法適用于不同的障礙物類別。以車輛檢測為例，此類方法多利用車輛模板信息或幾何以及邊緣特征信息(如車輛對稱性、車牌、車燈、底部陰影等)，受車輛角度、光照等因素影響，局限性較大，且通用性不強(qiáng)(如不適用于其他道路使用者，如行人，自行車)。2.基于淺層機(jī)器學(xué)習(xí)的障礙物識別：基于梯度的車輛特征提取方法無法描述各種類型、角度的交通場景參與者特征。例如，對于車輛的有效特征提取方法不適用于行人的特征描述。另外，此類方法在復(fù)雜行駛環(huán)境中識別效果較差。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的在于解決上述現(xiàn)有技術(shù)車輛特征的描述不具有普遍性，識別率較低，且不適用于復(fù)雜多變的行駛環(huán)境的問題，提供了一種基于車載雙目相機(jī)的交通場景參與者識別方法。

本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案是：一種基于車載雙目相機(jī)的交通場景參與者識別方法，包括以下步驟：

步驟一：車載雙目相機(jī)獲取當(dāng)前道路圖像，精細(xì)圖像預(yù)處理以及雙目視差匹配代價計算；

步驟二：進(jìn)行縱向路面參數(shù)估計，獲取地平線以及路面范圍信息；

步驟三：利用視差匹配代價確定潛在障礙物的位置以及尺寸信息；

步驟四：利用深度卷積神經(jīng)網(wǎng)絡(luò)描述障礙物特征信息，在特征圖譜的輸出基礎(chǔ)上利用softmax分類器驗(yàn)證障礙物檢測區(qū)域并確定障礙物的種類。

本方法發(fā)明了一種新的基于雙目視覺的障礙物區(qū)域檢測方法以及基于深度卷積神經(jīng)網(wǎng)絡(luò)的障礙物識別方法，雙目系統(tǒng)除了可以利用單目系統(tǒng)所能提供的輪廓以及紋理信息之外，還可以額外利用視差信息，可以提升障礙物區(qū)域檢測的魯棒性。基于深度卷積神經(jīng)網(wǎng)絡(luò)的特征提取方法適用于各種障礙物類別，并且識別準(zhǔn)確率遠(yuǎn)高于淺層識別方法。

作為優(yōu)選，在所述步驟一中，車載雙目相機(jī)獲取RGB格式雙目圖像，對圖像進(jìn)行預(yù)處理，主要包括降噪、除畸變以及立體矯正，對預(yù)處理后的圖片中每個像素點(diǎn)(u，v)對應(yīng)的視差d，計算基于灰度值絕對值之差(SAD)的匹配代價C_m(u，v，d)，其中u，v，d的范圍均為設(shè)定參數(shù)。

作為優(yōu)選，在所述步驟二中，進(jìn)行縱向路面參數(shù)估計，包括以下子步驟：

縱向路面參數(shù)估計子步驟一：對視差匹配代價向圖像縱軸即v軸進(jìn)行投影求和，計算圖像每一行v值對應(yīng)視差代價之和的最小值Cv；

縱向路面參數(shù)估計子步驟二：通過設(shè)定視差代價閾值Td，得出每行對應(yīng)視差代價之和小于Cv加Td所對應(yīng)的視差值d，通過v-d映射得到v-視差圖；

縱向路面參數(shù)估計子步驟三：將v-視差圖投影到現(xiàn)實(shí)坐標(biāo)系高度與深度的映射，利用B-樣條曲線擬合路面高度與深度關(guān)系，最后逆映射回v-視差圖平面，獲得縱向道路平面對應(yīng)的v-視差圖；

v-視差圖中，通過視差d＝0得到地平線v_o，通過視差d＞0對應(yīng)的圖像區(qū)域?yàn)榭v向路面的路面范圍參數(shù)。

作為優(yōu)選，在所述步驟三中，包括以下子步驟：

障礙物區(qū)域提取子步驟一：在確定的路面范圍內(nèi)，利用v-視差圖中每一行v值與對應(yīng)路面視差d的雙向映射關(guān)系，計算障礙物-道路交線匹配代價C_Boundary；障礙物-道路交線匹配代價由道路匹配代價與物體匹配代價兩部分組成，其中道路匹配代價v與d符合v-視差圖的映射關(guān)系(f：v<->d)而物體匹配代價每一行則對應(yīng)相同的視差d，其具體計算公式如下：

$C_{Boundary}\left(u_i,v_i\right)={\mathrm{\&Sigma;}}_{v=v_i}^h{C}_m\left(u_i,v,f\left(v\right)\right)+{\mathrm{\&Sigma;}}_{v=v_0}^{v_i}{C}_m\left(u_i,v,f\left(v_1\right)\right);$

其中，h為圖像高度；利用2維動態(tài)規(guī)劃法確定障礙物-道路交線匹配代價C_Boundary最小值所對應(yīng)的像素值(u_bot，v_bot)集合即為障礙物與道路的交線，每一列u值對應(yīng)的視差值為d_Boundary(u)；

障礙物區(qū)域提取子步驟二：在障礙物-道路交線以上部分，計算障礙物高度匹配代價C_Height，通過概率函數(shù)m(u，v)計算C_m(u，v，d_Boundary(u))為區(qū)域極值的可能性，該值介于-1與1之間，通過障礙物高度匹配代價計算式：

$C_{Height}\left(u_i,v_i\right)=\underset{v=v_i}{\overset{v_{bot,u_i}}{\mathrm{\&Sigma;}}}|m\left(u_i,v\right)-1|+\underset{v=0}{\overset{v_i}{\mathrm{\&Sigma;}}}|m\left(u_i,v\right)+1|$

利用2維動態(tài)規(guī)劃方法確定障礙物高度匹配代價C_Height最小值所對應(yīng)的像素值(u_i，v_i)集合即為與障礙物與道路的交線對應(yīng)的障礙物高度信息；

障礙物區(qū)域提取子步驟三：過濾障礙物的高度、寬度以及深度信息：設(shè)置障礙物寬度，高度，深度閾值模塊，過濾圖像中相鄰的障礙物區(qū)域，確定屬于同一障礙物的圖像區(qū)域。

作為優(yōu)選，在所述步驟四中包括以下子步驟：

障礙物區(qū)域驗(yàn)證子步驟一：建立深度卷積神經(jīng)網(wǎng)絡(luò)，深度卷積神經(jīng)網(wǎng)絡(luò)由1個輸入層，8個卷積層，4個池化層以及3個全連接層；

障礙物區(qū)域驗(yàn)證子步驟二：建立數(shù)據(jù)庫，采集地點(diǎn)、天候和天氣的行車記錄儀數(shù)據(jù)作為標(biāo)定樣本，標(biāo)定內(nèi)容包括類別信息以及對應(yīng)圖像中的矩形區(qū)域?qū)蔷€信息(x1，y1，x2，y2)；

障礙物區(qū)域驗(yàn)證子步驟三：利用障礙物區(qū)域驗(yàn)證子步驟二中所標(biāo)定樣本訓(xùn)練深度卷積神經(jīng)網(wǎng)絡(luò)，獲得最優(yōu)深度卷積神經(jīng)網(wǎng)絡(luò)權(quán)重；

障礙物區(qū)域驗(yàn)證子步驟三：利用訓(xùn)練所得的最優(yōu)深度卷積神經(jīng)網(wǎng)絡(luò)權(quán)重，將通過雙目系統(tǒng)獲得的障礙物區(qū)域范圍歸一化到設(shè)定的尺寸，輸入到訓(xùn)練好的深度神經(jīng)網(wǎng)絡(luò)中，深化神經(jīng)網(wǎng)絡(luò)輸出障礙物的種類。

作為優(yōu)選，深度神經(jīng)網(wǎng)絡(luò)輸出障礙物的種類的同時，同時還根據(jù)步驟三的計算結(jié)果輸出障礙物尺寸以及距離信息。

作為優(yōu)選，所述深度卷積神經(jīng)網(wǎng)絡(luò)包括：

圖像輸入層：RGB格式圖片，大小為128*128*3。

卷積層：對于任意卷積操作，均采用3*3尺寸的卷積滑窗，以及‘0’像素值邊緣填充，步長為1，

激活層：應(yīng)用于每個卷積層后，所使用的激活方程為修正線性單元(ReLu)，其表達(dá)式為：max(0，x)，其中，x為該神經(jīng)元輸入，

池化層：對于此網(wǎng)絡(luò)內(nèi)任意池化操作，采用2*2大小滑窗尺寸，取最大值滑窗內(nèi)4個數(shù)值的最大值，步長為2，

全連接層：前兩層為dropout層，防止模型過擬合，自動丟棄該全連接層內(nèi)一定比例的神經(jīng)元，參數(shù)設(shè)置為0.5，最后一層為用于障礙物類別檢測的輸出為7維向量的softmax分類器。

作為優(yōu)選，訓(xùn)練深度卷積神經(jīng)網(wǎng)絡(luò)采用基于迷你批量方式的梯度下降方法：每個循環(huán)內(nèi)，基于反向遞推的方法對softmax損失求最優(yōu)解來優(yōu)化網(wǎng)絡(luò)權(quán)重參數(shù)，直至設(shè)定的循環(huán)迭代次數(shù)完成；

softmax損失計算公式為：

$\mathrm{\&sigma;}\left(z_j\right)=\frac{e^{z_j}}{{\mathrm{\&Sigma;e}}^{z_j}}$

其中，zj為輸出向量的每個元素，用戶設(shè)置參數(shù)有迷你批量樣本大小n、學(xué)習(xí)速率1r、權(quán)重衰退系數(shù)wd以及動量系數(shù)m。

本發(fā)明的實(shí)質(zhì)性效果是：本方法發(fā)明了一種新的基于雙目視覺的障礙物區(qū)域檢測方法以及基于深度卷積神經(jīng)網(wǎng)絡(luò)的障礙物識別方法，雙目系統(tǒng)除了可以利用單目系統(tǒng)所能提供的輪廓以及紋理信息之外，還可以額外利用視差信息，可以提升障礙物區(qū)域檢測的魯棒性。基于深度卷積神經(jīng)網(wǎng)絡(luò)的特征提取方法適用于各種障礙物類別，并且識別準(zhǔn)確率遠(yuǎn)高于淺層識別方法。

附圖說明

圖1為本發(fā)明的一種流程示意圖；

圖2為本發(fā)明中深度卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)的示意圖。

具體實(shí)施方式

下面通過具體實(shí)施例，并結(jié)合附圖，對本發(fā)明的技術(shù)方案作進(jìn)一步的具體說明。

實(shí)施例：

一種基于車載雙目相機(jī)的交通場景參與者識別方法(參見附圖1和附圖2)，包括以下步驟：

步驟一：車載雙目相機(jī)獲取當(dāng)前道路圖像，精細(xì)圖像預(yù)處理以及雙目視差匹配代價計算；

車載雙目相機(jī)獲取RGB格式雙目圖像，對圖像進(jìn)行預(yù)處理，主要包括降噪、除畸變以及立體矯正，對預(yù)處理后的圖片中每個像素點(diǎn)(u，v)對應(yīng)的視差d，計算基于灰度值絕對值之差(SAD)的匹配代價C_m(u，v，d)，其中u，v，d的范圍均為設(shè)定參數(shù)。

步驟二：進(jìn)行縱向路面參數(shù)估計，獲取地平線以及路面范圍信息；縱向路面參數(shù)估計子步驟一：對視差匹配代價向圖像縱軸即v軸進(jìn)行投影求和，計算圖像每一行v值對應(yīng)視差代價之和的最小值Cv；

縱向路面參數(shù)估計子步驟二：通過設(shè)定視差代價閾值Td，得出每行對應(yīng)視差代價之和小于Cv加Td所對應(yīng)的視差值d，通過v-d映射得到v-視差圖；

縱向路面參數(shù)估計子步驟三：將v-視差圖投影到現(xiàn)實(shí)坐標(biāo)系高度與深度的映射，利用B-樣條曲線擬合路面高度與深度關(guān)系，最后逆映射回v-視差圖平面，獲得縱向道路平面對應(yīng)的v-視差圖；

v-視差圖中，通過視差d＝0得到地平線v_o，通過視差d＞0對應(yīng)的圖像區(qū)域?yàn)榭v向路面的路面范圍參數(shù)。

步驟三：利用視差匹配代價確定潛在障礙物的位置以及尺寸信息；

障礙物區(qū)域提取子步驟一：在確定的路面范圍內(nèi)，利用v-視差圖中每一行v值與對應(yīng)路面視差d的雙向映射關(guān)系，計算障礙物-道路交線匹配代價C_Boundary；障礙物-道路交線匹配代價由道路匹配代價與物體匹配代價兩部分組成，其中道路匹配代價v與d符合v-視差圖的映射關(guān)系(f：v<->d)而物體匹配代價每一行則對應(yīng)相同的視差d，其具體計算公式如下：

其中，h為為圖像高度；利用2維動態(tài)規(guī)劃法確定障礙物-道路交線匹配代價C_Boundary最小值所對應(yīng)的像素值(u_bot，v_bot)集合即為障礙物與道路的交線，每一列u值對應(yīng)的視差值為d_Boundary(u)；

障礙物區(qū)域提取子步驟二：在障礙物-道路交線以上部分，計算障礙物高度匹配代價C_Height，通過概率函數(shù)m(u，v)計算G_m(u，v，d_Boundary(u))為區(qū)域極值的可能性，該值介于-1與1之間，通過障礙物高度匹配代價計算式：

$C_{Height}\left(u_i,v_i\right)=\underset{v=v_i}{\overset{v_{bot,u_i}}{\mathrm{\&Sigma;}}}|m\left(u_i,v\right)-1|+\underset{v=0}{\overset{v_i}{\mathrm{\&Sigma;}}}|m\left(u_i,v\right)+1|$

利用2維動態(tài)規(guī)劃方法確定障礙物高度匹配代價C_Height最小值所對應(yīng)的像素值(u_i，v_i)集合即為與障礙物與道路的交線對應(yīng)的障礙物高度信息；

障礙物區(qū)域提取子步驟三：過濾障礙物的高度、寬度以及深度信息：設(shè)置障礙物寬度，高度，深度閾值模塊，過濾圖像中相鄰的障礙物區(qū)域，確定屬于同一障礙物的圖像區(qū)域。

步驟四：利用深度卷積神經(jīng)網(wǎng)絡(luò)描述障礙物特征信息，在特征圖譜的輸出基礎(chǔ)上利用softmax分類器驗(yàn)證障礙物檢測區(qū)域并確定障礙物的種類，在輸出障礙物的種類的同時，同時還根據(jù)步驟三的計算結(jié)果輸出障礙物尺寸以及距離信息。

障礙物區(qū)域驗(yàn)證子步驟一：建立深度卷積神經(jīng)網(wǎng)絡(luò)，深度卷積神經(jīng)網(wǎng)絡(luò)由1個輸入層，8個卷積層，4個池化層以及3個全連接層；

障礙物區(qū)域驗(yàn)證子步驟二：建立數(shù)據(jù)庫，采集不同地點(diǎn)、天候、天氣的行車記錄儀數(shù)據(jù)200余萬張，按照1行人、2自行車、3摩托車、4三輪車以及5小型車、6大型車以及7背景共七類人工篩選、標(biāo)定數(shù)據(jù)樣本。標(biāo)定內(nèi)容包括類別信息(1-7)以及對應(yīng)圖像中的矩形區(qū)域?qū)蔷€信息(x1，y1，x2，y2)。

障礙物區(qū)域驗(yàn)證子步驟三：利用障礙物區(qū)域驗(yàn)證子步驟二中所標(biāo)定樣本訓(xùn)練深度卷積神經(jīng)網(wǎng)絡(luò)，獲得最優(yōu)深度卷積神經(jīng)網(wǎng)絡(luò)權(quán)重；其中，所述深度卷積神經(jīng)網(wǎng)絡(luò)包括：

圖像輸入層：RGB格式圖片，大小為128*128*3。

卷積層：對于任意卷積操作，均采用3*3尺寸的卷積滑窗，以及‘0’像素值邊緣填充，步長為1，

激活層：應(yīng)用于每個卷積層后，所使用的激活方程為修正線性單元(ReLu)，其表達(dá)式為：max(0，x)，其中，x為該神經(jīng)元輸入，

池化層：對于此網(wǎng)絡(luò)內(nèi)任意池化操作，采用2*2大小滑窗尺寸，取最大值滑窗內(nèi)4個數(shù)值的最大值，步長為2，

全連接層：前兩層為dropout層，防止模型過擬合，自動丟棄該全連接層內(nèi)一定比例的神經(jīng)元，參數(shù)設(shè)置為0.5，最后一層為用于障礙物類別檢測的輸出為7維向量的softmax分類器。

訓(xùn)練深度卷積神經(jīng)網(wǎng)絡(luò)采用基于迷你批量方式的梯度下降方法：每個循環(huán)內(nèi)，基于反向遞推的方法對softmax損失求最優(yōu)解來優(yōu)化網(wǎng)絡(luò)權(quán)重參數(shù)，直至設(shè)定的循環(huán)迭代次數(shù)完成；

softmax損失計算公式為：

$\mathrm{\&sigma;}\left(z_j\right)=\frac{e^{z_j}}{{\mathrm{\&Sigma;e}}^{z_j}}$

其中，zj為輸出向量的每個元素，用戶設(shè)置參數(shù)有迷你批量樣本大小n、學(xué)習(xí)速率lr、權(quán)重衰退系數(shù)wd以及動量系數(shù)m。

障礙物區(qū)域驗(yàn)證子步驟三：利用訓(xùn)練所得的最優(yōu)深度卷積神經(jīng)網(wǎng)絡(luò)權(quán)重，將通過雙目系統(tǒng)獲得的障礙物區(qū)域范圍歸一化到設(shè)定的尺寸，輸入到訓(xùn)練好的深度神經(jīng)網(wǎng)絡(luò)中，深化神經(jīng)網(wǎng)絡(luò)輸出障礙物的種類。

本實(shí)施例為一種新的基于雙目視覺的障礙物區(qū)域檢測方法以及基于深度卷積神經(jīng)網(wǎng)絡(luò)的障礙物識別方法，雙目系統(tǒng)除了可以利用單目系統(tǒng)所能提供的輪廓以及紋理信息之外，還可以額外利用視差信息，可以提升障礙物區(qū)域檢測的魯棒性。基于深度卷積神經(jīng)網(wǎng)絡(luò)的特征提取方法適用于各種障礙物類別，并且識別準(zhǔn)確率遠(yuǎn)高于淺層識別方法。

以上所述的實(shí)施例只是本發(fā)明的一種較佳的方案，并非對本發(fā)明作任何形式上的限制，在不超出權(quán)利要求所記載的技術(shù)方案的前提下還有其它的變體及改型。