一種基于多尺度卷積神經(jīng)網(wǎng)絡(luò)的交通場景分類方法
【專利摘要】本發(fā)明公開了一種交通場景多目標(biāo)分類方法，包括以下步驟：提取基于多尺度卷積神經(jīng)網(wǎng)絡(luò)的隱性特征；獲取最優(yōu)覆蓋分割樹。本發(fā)明在實(shí)現(xiàn)交通場景分類的過程中，采用多尺度卷積神經(jīng)網(wǎng)絡(luò)，通過對原始圖像在不同尺度上有效提取具有不變性的優(yōu)秀隱性特征，相比于單一尺度的卷積神經(jīng)網(wǎng)絡(luò)，實(shí)現(xiàn)了圖像更加豐富有效特征信息的獲取。本發(fā)明通過將卷積神經(jīng)網(wǎng)絡(luò)提取的有效信息與圖像的原始分割樹結(jié)合，形成最優(yōu)純度代價(jià)樹，并進(jìn)行最優(yōu)純度的覆蓋，實(shí)現(xiàn)了獲得更加清晰的目標(biāo)輪廓，增加了分類的準(zhǔn)確性。本發(fā)明通過將RGB?D作為卷積神經(jīng)網(wǎng)絡(luò)輸入，相比傳統(tǒng)RGB卷積神經(jīng)網(wǎng)絡(luò)輸入，訓(xùn)練的特征增加了深度信息，實(shí)現(xiàn)了輸入圖像更加精確的分類。
【專利說明】
一種基于多尺度卷積神經(jīng)網(wǎng)絡(luò)的交通場景分類方法
技術(shù)領(lǐng)域
[0001]本發(fā)明屬于車輛智能交通領(lǐng)域，特別是一種城郊區(qū)道路交通場景分類方法。
【背景技術(shù)】
[0002]車輛智能化是當(dāng)今汽車工業(yè)發(fā)展的三大核心科技之一，對道路交通場景的分類是提高智能車輛和高級(jí)輔助駕駛系統(tǒng)(ADAS)智能化程度的重要前提和基礎(chǔ)。
[0003]交通場景分類是指基于車載攝像機(jī)拍攝交通場景圖像，采用不同的機(jī)器學(xué)習(xí)方法，模擬人類的視覺感知過程，實(shí)現(xiàn)對所拍攝視景內(nèi)車輛、行人、道路、環(huán)境元素進(jìn)行分類標(biāo)記。目前，按照機(jī)器學(xué)習(xí)模型層次結(jié)構(gòu)的深度不同，可以將交通場景的分類方法分為基于淺層學(xué)習(xí)的方法和基于深度學(xué)習(xí)的方法兩種。淺層學(xué)習(xí)有限的模型復(fù)雜度和表達(dá)能力難以應(yīng)對交通場景的多目標(biāo)分類問題。隨著分類復(fù)雜度的增加，需要的參數(shù)和樣本巨大，會(huì)導(dǎo)致淺層學(xué)習(xí)模型的學(xué)習(xí)結(jié)構(gòu)效率低下，難以實(shí)現(xiàn)。此外，顯性特征的確定及提取需要以豐富的專家經(jīng)驗(yàn)為基礎(chǔ)。深度學(xué)習(xí)方法能夠直接作用于原始圖像數(shù)據(jù)，能夠提取反映數(shù)據(jù)本質(zhì)的隱性特征，具有足夠的模型復(fù)雜度，可以實(shí)現(xiàn)交通場景中多目標(biāo)分類，但深度學(xué)習(xí)方法的模型結(jié)構(gòu)多樣，仍存在很大的發(fā)展與優(yōu)化空間，在現(xiàn)有的深度學(xué)習(xí)方法中分類圖像的輪廓清晰度和準(zhǔn)確性需要提高。因此，需要設(shè)計(jì)一種能夠提高分類圖像輪廓清晰度和準(zhǔn)確性的交通場景多目標(biāo)分類方法。

【發(fā)明內(nèi)容】

[0004]為解決現(xiàn)有技術(shù)存在的上述問題，本發(fā)明要設(shè)計(jì)一種能夠提高分類圖像輪廓清晰度和準(zhǔn)確性的交通場景多目標(biāo)分類方法。
[0005]為了實(shí)現(xiàn)上述目的，本發(fā)明的技術(shù)方案如下:一種基于多尺度卷積神經(jīng)網(wǎng)絡(luò)的交通場景分類方法，包括以下步驟:
[0006]A、提取基于多尺度卷積神經(jīng)網(wǎng)絡(luò)的隱性特征
[0007]Al、基于車載RGB-D相機(jī)，獲取車輛前方交通場景的RGB-D圖像，即彩色圖和深度圖，形成四通道拉普拉斯金字塔圖像作為深度學(xué)習(xí)算法的數(shù)據(jù)輸入；同時(shí)，基于圖像最小生成樹分割，利用經(jīng)典的區(qū)域融合方法，以交通場景中RGB-D圖像為輸入，構(gòu)造具有層級(jí)結(jié)構(gòu)的原始分割樹。
[0008]A2、為有效提取并融合四通道拉普拉斯金字塔圖像不同尺度上的有效信息，處理四通道拉普拉斯金字塔圖像的卷積神經(jīng)網(wǎng)絡(luò)模型為多尺度結(jié)構(gòu)，四通道拉普拉斯金字塔圖像在多尺度卷積神經(jīng)網(wǎng)絡(luò)模型中以金字塔的形式存儲(chǔ)。每一個(gè)比例的四通道拉普拉斯金字塔圖像層建立一個(gè)與其他尺度圖像共享權(quán)重參數(shù)的多級(jí)卷積神經(jīng)網(wǎng)絡(luò)，每級(jí)卷積神經(jīng)網(wǎng)絡(luò)包含卷積層及特征池化層，經(jīng)過卷積和池化過程，獲得卷積神經(jīng)網(wǎng)絡(luò)的多尺度特征圖。
[0009]對同一個(gè)尺度上的卷積神經(jīng)網(wǎng)絡(luò):卷積過程中，每個(gè)特征圖只有一個(gè)卷積核與之對應(yīng)并與之進(jìn)行卷積運(yùn)算，前一層特征圖通過一個(gè)可訓(xùn)練卷積核進(jìn)行卷積，其結(jié)果再通過一個(gè)激活函數(shù)形成下一層特征圖；池化過程中，池化層中的每個(gè)特征圖都分別和卷積層中的特征圖一一對應(yīng)，通過感受野對卷積層進(jìn)行抽樣，選取局部感受野中值最大的點(diǎn)。
[0010]對不同尺度上的卷積神經(jīng)網(wǎng)絡(luò)，在每一個(gè)尺度上相對應(yīng)的卷積層中使用相同的卷積核，相對應(yīng)的池化層中使用相同的池化函數(shù)，并且使用相同的權(quán)重參數(shù)。大尺度的特征圖反應(yīng)原始圖像的細(xì)節(jié)，即局部信息，小尺度的特征圖反應(yīng)原始圖像各部分整體信息。設(shè)FhF2...Fn分別代表不同尺度卷積神經(jīng)網(wǎng)絡(luò)經(jīng)過卷積、池化后的特征圖，其中,F1的大小即為原始圖像的大小。其公式如下式:
[0011]fs(Xs,0s) =WlHl-1 s = l,2,...,N
[0012]Hi = pool(tanh(WiH1-1+bi)) 1 = 1,2，...，L
[0013]其中，fs是尺度為s的卷積神經(jīng)網(wǎng)絡(luò)，Xs是尺度為s的四通道拉普拉斯金字塔輸入圖像，0S是尺度為S的卷積神經(jīng)網(wǎng)絡(luò)模型參數(shù)，N為多尺度卷積神經(jīng)網(wǎng)絡(luò)總的尺度數(shù)量，L為卷積神經(jīng)網(wǎng)絡(luò)的總層數(shù)，Wi為Toeplitz矩陣，Hi為第I層的特征圖，pool為池化操作，tanh為激活函數(shù)，bi為偏置。
[0014]A3、對卷積池化后與^不同尺度的特征圖F2,F3,...，F(xiàn)n進(jìn)行上采樣，使不同尺度上卷積池化后的特征圖像大小變?yōu)榕cF1具有相同尺寸的上采樣操作輸出特征圖，形成包含不同尺度上有效信息且尺度相同的特征圖集合F。其公式如下式:
[0015]F=[Fi，u(F2)，…，U(Fn)]
[0016]其中，F(xiàn)為N個(gè)尺度上采樣操作后的特征圖集合，F(xiàn)s為多尺度卷積神經(jīng)網(wǎng)絡(luò)經(jīng)卷積池化后尺度為s的未進(jìn)行上采樣操作的特征圖，尺度s的取值范圍為S = I，2，...，N，u為上采樣函數(shù)。
[0017]A4、基于卷積神經(jīng)網(wǎng)絡(luò)上采樣操作輸出的包含不同尺度上有效信息的特征圖集合，對每一個(gè)分割樹節(jié)點(diǎn)對應(yīng)原始圖像位置的特征向量，使用最大池化函數(shù)對其進(jìn)行特征聚合，生成每個(gè)節(jié)點(diǎn)對應(yīng)的聚合特征向量組。
[0018]B、獲取最優(yōu)覆蓋分割樹
[0019]B1、將交通場景圖像中的物體分為七類:第一類為車輛，第二類為行人，第三類為道路，第四類為交通標(biāo)志，第五類為建筑物，第六類為天空，第七類為樹木。采用神經(jīng)網(wǎng)絡(luò)分類器進(jìn)行聚合特征向量組的分類，獲得每個(gè)節(jié)點(diǎn)的類別分布。其中神經(jīng)網(wǎng)絡(luò)分類器是一個(gè)兩層的神經(jīng)網(wǎng)絡(luò)模型，輸入為聚合特征向量組，輸出為分割樹節(jié)點(diǎn)代表原始圖像中所屬類另IJ，神經(jīng)網(wǎng)絡(luò)分類器模型的網(wǎng)絡(luò)參數(shù)通過神經(jīng)網(wǎng)絡(luò)分類器訓(xùn)練獲得。
[0020]同時(shí)，定義類別分布混亂度函數(shù)作為覆蓋該節(jié)點(diǎn)的純度代價(jià)函數(shù)，得出覆蓋該節(jié)點(diǎn)的代價(jià)值，代價(jià)值越小，表明該節(jié)點(diǎn)的純度越高，越傾向于將該節(jié)點(diǎn)覆蓋。至此，構(gòu)造出分類純度代價(jià)樹。
[0021 ]分類純度代價(jià)函數(shù)公式如下:
[0022]ki = argmin(Zi)i = 1,2,,M
[0023]其中，Z1為分割樹第i個(gè)節(jié)點(diǎn)的類別分布代價(jià)值，1^為反映分割樹第i個(gè)節(jié)點(diǎn)類別的指標(biāo)，argminO為函數(shù)獲得使ki最小的Zi的值，M為分割樹的節(jié)點(diǎn)個(gè)數(shù)。
[0024]B2、從分類純度代價(jià)樹的每個(gè)葉子節(jié)點(diǎn)出發(fā)，尋找其至根節(jié)點(diǎn)路徑中使純度代價(jià)函數(shù)最優(yōu)的節(jié)點(diǎn)，由這些最優(yōu)節(jié)點(diǎn)組成的集合將形成涵蓋整幅原始圖像的最優(yōu)覆蓋分割樹，實(shí)現(xiàn)輪廓清晰的交通場景多目標(biāo)分類。
[0025]與現(xiàn)有技術(shù)相比，本發(fā)明具有以下有益效果:
[0026]1、本發(fā)明在實(shí)現(xiàn)交通場景分類的過程中，采用多尺度卷積神經(jīng)網(wǎng)絡(luò)，通過對原始圖像在不同尺度上有效提取具有不變性的優(yōu)秀隱性特征，相比于單一尺度的卷積神經(jīng)網(wǎng)絡(luò)，實(shí)現(xiàn)了圖像更加豐富有效特征信息的獲取。
[0027]2、本發(fā)明通過將卷積神經(jīng)網(wǎng)絡(luò)提取的有效信息與圖像的原始分割樹結(jié)合，形成最優(yōu)純度代價(jià)樹，并進(jìn)行最優(yōu)純度的覆蓋，實(shí)現(xiàn)了獲得更加清晰的目標(biāo)輪廓，增加了分類的準(zhǔn)確性。
[0028]3、本發(fā)明通過將RGB-D作為卷積神經(jīng)網(wǎng)絡(luò)輸入，相比傳統(tǒng)RGB卷積神經(jīng)網(wǎng)絡(luò)輸入，訓(xùn)練的特征增加了深度信息，卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練效果更加明顯，實(shí)現(xiàn)了輸入圖像更加精確的分類。
【附圖說明】
[0029]本發(fā)明共有附圖2張，其中:
[0030]圖1是基于多尺度卷積神經(jīng)網(wǎng)絡(luò)及最優(yōu)覆蓋分割樹的交通場景分類方法流程圖。[0031 ]圖2是基于多尺度卷積神經(jīng)網(wǎng)絡(luò)及最優(yōu)覆蓋分割樹的交通場景分類方法實(shí)例圖。
[0032]圖中:1、彩色圖，2、深度圖，3、原始分割樹，4、四通道拉普拉斯金字塔，5、多尺度特征圖，6、聚合特征向量組，7、神經(jīng)網(wǎng)絡(luò)分類器，8、分類純度代價(jià)樹，9、最優(yōu)覆蓋分割樹。
【具體實(shí)施方式】
[0033]以下結(jié)合附圖對本發(fā)明作進(jìn)一步地說明。
[0034]如圖1所示，本發(fā)明的【具體實(shí)施方式】包括以下步驟:
[0035]A、提取基于多尺度卷積神經(jīng)網(wǎng)絡(luò)的隱性特征
[0036]Al、基于車載RGB-D相機(jī)，獲取車輛前方交通場景的RGB-D圖像，即彩色圖1和深度圖2，形成四通道拉普拉斯金字塔圖像4作為深度學(xué)習(xí)算法的數(shù)據(jù)輸入;同時(shí)，基于圖像最小生成樹分割，利用經(jīng)典的區(qū)域融合方法，以交通場景中RGB-D圖像為輸入，構(gòu)造具有層級(jí)結(jié)構(gòu)的原始分割樹3。其中，原始分割樹3中的每個(gè)節(jié)點(diǎn)都對應(yīng)于一個(gè)原始分類圖像區(qū)域，根節(jié)點(diǎn)Ciq代表整幅原始分類圖像，葉節(jié)點(diǎn)代表原始分類圖像被分割的最小區(qū)域。
[0037]A2、為有效提取并融合四通道拉普拉斯金字塔圖像4不同尺度上的有效信息，處理四通道拉普拉斯金字塔圖像4的卷積神經(jīng)網(wǎng)絡(luò)模型為多尺度結(jié)構(gòu)，四通道拉普拉斯金字塔圖像4在多尺度卷積神經(jīng)網(wǎng)絡(luò)模型中以金字塔的形式存儲(chǔ)。每一個(gè)比例的四通道拉普拉斯金字塔圖像層建立一個(gè)與其他尺度圖像共享權(quán)重參數(shù)的多級(jí)卷積神經(jīng)網(wǎng)絡(luò)，每級(jí)卷積神經(jīng)網(wǎng)絡(luò)包含卷積層及特征池化層，經(jīng)過卷積和池化過程，獲得卷積神經(jīng)網(wǎng)絡(luò)的多尺度特征圖5。
[0038]對同一個(gè)尺度上的卷積神經(jīng)網(wǎng)絡(luò):卷積過程中，每個(gè)特征圖只有一個(gè)卷積核與之對應(yīng)并與之進(jìn)行卷積運(yùn)算，前一層特征圖通過一個(gè)可訓(xùn)練卷積核進(jìn)行卷積，其結(jié)果再通過一個(gè)激活函數(shù)形成下一層特征圖；池化過程中，池化層中的每個(gè)特征圖都分別和卷積層中的特征圖一一對應(yīng)，通過感受野對卷積層進(jìn)行抽樣，選取局部感受野中值最大的點(diǎn)。
[0039]對不同尺度上的卷積神經(jīng)網(wǎng)絡(luò)，在每一個(gè)尺度上相對應(yīng)的卷積層中使用相同的卷積核，相對應(yīng)的池化層中使用相同的池化函數(shù)，并且使用相同的權(quán)重參數(shù)。大尺度的特征圖反應(yīng)原始圖像的細(xì)節(jié)，即局部信息，小尺度的特征圖反應(yīng)原始圖像各部分整體信息。圖2中所采用的卷積神經(jīng)網(wǎng)絡(luò)是一個(gè)三尺度卷積神經(jīng)網(wǎng)絡(luò)，其中，F(xiàn)hF^F3分別代表不同尺度卷積神經(jīng)網(wǎng)絡(luò)經(jīng)過卷積、池化后的特征圖，F(xiàn)1的大小即為原始圖像的大小。其公式如下式:
[0040]fs(Xs,0s) =WlHl-1 s = l,2,...,N
[0041]Hi = pool(tanh(WiH1-1+bi)) 1 = 1,2，...，L
[0042]其中，fs是尺度為s的卷積神經(jīng)網(wǎng)絡(luò)，Xs是尺度為s的拉普拉斯金字塔輸入圖像，0S是尺度為s的卷積神經(jīng)網(wǎng)絡(luò)模型參數(shù)，N為多尺度卷積神經(jīng)網(wǎng)絡(luò)總的尺度數(shù)量，L為卷積神經(jīng)網(wǎng)絡(luò)的總層數(shù)，Wi為Toeplitz矩陣，Hi為第I層的特征圖，pool為池化操作，tanh為激活函數(shù)，bi為偏置。
[0043]A3、對卷積池化后與^不同尺度的特征圖F2,F3,...，F(xiàn)N進(jìn)行上采樣，使不同尺度上卷積池化后的特征圖像大小變?yōu)榕cF1具有相同尺寸的上采樣操作輸出特征圖，形成包含不同尺度上有效信息且尺度相同的特征圖集合F，如圖2中5所示。其公式如下式:
[0044]F=[Fi，u(F2)，…，U(Fn)]
[0045]其中，F(xiàn)為N個(gè)尺度上采樣操作后的特征圖集合，F(xiàn)s為多尺度卷積神經(jīng)網(wǎng)絡(luò)經(jīng)卷積池化后尺度為s的未進(jìn)行上采樣操作的特征圖，尺度s的取值范圍為S = I，2，...，N，u為上采樣函數(shù)。
[0046]A4、基于卷積神經(jīng)網(wǎng)絡(luò)上采樣操作輸出的包含不同尺度上有效信息的特征圖集合，對每一個(gè)分割樹節(jié)點(diǎn)對應(yīng)原始圖像位置的特征向量，使用最大池化函數(shù)對其進(jìn)行特征聚合，生成每個(gè)節(jié)點(diǎn)對應(yīng)的聚合特征向量組6。
[0047]B、獲取最優(yōu)覆蓋分割樹
[0048]B1、將交通場景圖像中的物體分為七類:第一類為車輛，第二類為行人，第三類為道路，第四類為交通標(biāo)志，第五類為建筑物，第六類為天空，第七類為樹木。采用神經(jīng)網(wǎng)絡(luò)分類器7進(jìn)行聚合特征向量組6的分類，獲得每個(gè)節(jié)點(diǎn)的類別分布。其中神經(jīng)網(wǎng)絡(luò)分類器7是一個(gè)兩層的神經(jīng)網(wǎng)絡(luò)模型，輸入為聚合特征向量組6，輸出為原始分割樹3節(jié)點(diǎn)代表原始圖像中所屬類別，神經(jīng)網(wǎng)絡(luò)分類器模型的網(wǎng)絡(luò)參數(shù)通過神經(jīng)網(wǎng)絡(luò)分類器訓(xùn)練獲得。
[0049]同時(shí)，定義類別分布混亂度函數(shù)作為覆蓋該節(jié)點(diǎn)的純度代價(jià)函數(shù)，得出覆蓋該節(jié)點(diǎn)的代價(jià)值，代價(jià)值越小，表明該節(jié)點(diǎn)的純度越高，越傾向于將該節(jié)點(diǎn)覆蓋。至此，構(gòu)造出分類純度代價(jià)樹8。
[0050]分類純度代價(jià)函數(shù)公式如下:
[0051]ki = argmin(Zi)i = 1,2,,M
[0052]其中，Z1為分割樹第i個(gè)節(jié)點(diǎn)的類別分布代價(jià)值，1^為反映分割樹第i個(gè)節(jié)點(diǎn)類別的指標(biāo)，argminO為函數(shù)獲得使ki最小的Zi的值，M為分割樹的節(jié)點(diǎn)個(gè)數(shù)。
[0053]B2、從分類純度代價(jià)樹8的每個(gè)葉子節(jié)點(diǎn)出發(fā)，尋找其至根節(jié)點(diǎn)路徑中使純度代價(jià)函數(shù)最優(yōu)的節(jié)點(diǎn)，由這些最優(yōu)節(jié)點(diǎn)組成的集合將形成涵蓋整幅原始圖像的最優(yōu)覆蓋分割樹9，實(shí)現(xiàn)輪廓清晰的交通場景多目標(biāo)分類。
[0054]圖2中最優(yōu)節(jié)點(diǎn)Z2、Z5、Z6、Z7、Z8被覆蓋，最終形成了輪廓清晰的交通場景分類。
【主權(quán)項(xiàng)】
1.一種基于多尺度卷積神經(jīng)網(wǎng)絡(luò)的交通場景分類方法，其特征在于:包括以下步驟: A、提取基于多尺度卷積神經(jīng)網(wǎng)絡(luò)的隱性特征 Al、基于車載RGB-D相機(jī)，獲取車輛前方交通場景的RGB-D圖像，即彩色圖(I)和深度圖(2)，形成四通道拉普拉斯金字塔(4)圖像作為深度學(xué)習(xí)算法的數(shù)據(jù)輸入;同時(shí)，基于圖像最小生成樹分割，利用經(jīng)典的區(qū)域融合方法，以交通場景中RGB-D圖像為輸入，構(gòu)造具有層級(jí)結(jié)構(gòu)的原始分割樹(3); A2、為有效提取并融合四通道拉普拉斯金字塔(4)圖像不同尺度上的有效信息，處理四通道拉普拉斯金字塔(4)圖像的卷積神經(jīng)網(wǎng)絡(luò)模型為多尺度結(jié)構(gòu)，四通道拉普拉斯金字塔(4)圖像在多尺度卷積神經(jīng)網(wǎng)絡(luò)模型中以金字塔的形式存儲(chǔ);每一個(gè)比例的四通道拉普拉斯金字塔(4)圖像層建立一個(gè)與其他尺度圖像共享權(quán)重參數(shù)的多級(jí)卷積神經(jīng)網(wǎng)絡(luò)，每級(jí)卷積神經(jīng)網(wǎng)絡(luò)包含卷積層及特征池化層，經(jīng)過卷積和池化過程，獲得卷積神經(jīng)網(wǎng)絡(luò)的多尺度特征圖(5); 對同一個(gè)尺度上的卷積神經(jīng)網(wǎng)絡(luò):卷積過程中，每個(gè)特征圖只有一個(gè)卷積核與之對應(yīng)并與之進(jìn)行卷積運(yùn)算，前一層特征圖通過一個(gè)可訓(xùn)練卷積核進(jìn)行卷積，其結(jié)果再通過一個(gè)激活函數(shù)形成下一層特征圖；池化過程中，池化層中的每個(gè)特征圖都分別和卷積層中的特征圖一一對應(yīng)，通過感受野對卷積層進(jìn)行抽樣，選取局部感受野中值最大的點(diǎn)； 對不同尺度上的卷積神經(jīng)網(wǎng)絡(luò)，在每一個(gè)尺度上相對應(yīng)的卷積層中使用相同的卷積核，相對應(yīng)的池化層中使用相同的池化函數(shù)，并且使用相同的權(quán)重參數(shù);大尺度的特征圖反應(yīng)原始圖像的細(xì)節(jié)，即局部信息，小尺度的特征圖反應(yīng)原始圖像各部分整體信息；設(shè)F1、F2...Fn分別代表不同尺度卷積神經(jīng)網(wǎng)絡(luò)經(jīng)過卷積、池化后的特征圖，其中,F1的大小即為原始圖像的大小;其公式如下式:fs(Xs,0s) =WlHl-1 s = l,2,...,NHi = pool(tanh(ffiH1-1+bi)) 1 = 1,2,...,L 其中，fs是尺度為S的卷積神經(jīng)網(wǎng)絡(luò)，Xs是尺度為S的四通道拉普拉斯金字塔(4)輸入圖像，θ5是尺度為s的卷積神經(jīng)網(wǎng)絡(luò)模型參數(shù)，N為多尺度卷積神經(jīng)網(wǎng)絡(luò)總的尺度數(shù)量，L為卷積神經(jīng)網(wǎng)絡(luò)的總層數(shù)，Wi為Toeplitz矩陣，Hi為第I層的特征圖，pool為池化操作，tanh為激活函數(shù)，bi為偏置； A3、對卷積池化后與？工不同尺度的特征圖F2,F3,...，F(xiàn)n進(jìn)行上采樣，使不同尺度上卷積池化后的特征圖像大小變?yōu)榕c?工具有相同尺寸的上采樣操作輸出特征圖，形成包含不同尺度上有效信息且尺度相同的特征圖集合F;其公式如下式:F=[Fi，u(F2) ,...，u(Fn)] 其中，F(xiàn)為N個(gè)尺度上采樣操作后的特征圖集合，匕為多尺度卷積神經(jīng)網(wǎng)絡(luò)經(jīng)卷積池化后尺度為S的未進(jìn)行上采樣操作的特征圖，尺度S的取值范圍為S = I，2，...，N，u為上采樣函數(shù)； A4、基于卷積神經(jīng)網(wǎng)絡(luò)上采樣操作輸出的包含不同尺度上有效信息的特征圖集合，對每一個(gè)分割樹節(jié)點(diǎn)對應(yīng)原始圖像位置的特征向量，使用最大池化函數(shù)對其進(jìn)行特征聚合，生成每個(gè)節(jié)點(diǎn)對應(yīng)的聚合特征向量組(6)； B、獲取最優(yōu)覆蓋分割樹(9) B1、將交通場景圖像中的物體分為七類:第一類為車輛，第二類為行人，第三類為道路，第四類為交通標(biāo)志，第五類為建筑物，第六類為天空，第七類為樹木;采用神經(jīng)網(wǎng)絡(luò)分類器(7)進(jìn)行聚合特征向量組(6)的分類，獲得每個(gè)節(jié)點(diǎn)的類別分布;其中神經(jīng)網(wǎng)絡(luò)分類器(7)是一個(gè)兩層的神經(jīng)網(wǎng)絡(luò)模型，輸入為聚合特征向量組(6)，輸出為分割樹節(jié)點(diǎn)代表原始圖像中所屬類別，神經(jīng)網(wǎng)絡(luò)分類器(7)模型的網(wǎng)絡(luò)參數(shù)通過神經(jīng)網(wǎng)絡(luò)分類器(7)訓(xùn)練獲得； 同時(shí)，定義類別分布混亂度函數(shù)作為覆蓋該節(jié)點(diǎn)的純度代價(jià)函數(shù)，得出覆蓋該節(jié)點(diǎn)的代價(jià)值，代價(jià)值越小，表明該節(jié)點(diǎn)的純度越高，越傾向于將該節(jié)點(diǎn)覆蓋;至此，構(gòu)造出分類純度代價(jià)樹(8); 分類純度代價(jià)函數(shù)公式如下: ki = argmin(Zi)i = l, 2,...,M 其中，Z1為分割樹第i個(gè)節(jié)點(diǎn)的類別分布代價(jià)值，1^為反映分割樹第i個(gè)節(jié)點(diǎn)類別的指標(biāo)，argminO為函數(shù)獲得使ki最小的Zi的值，M為分割樹的節(jié)點(diǎn)個(gè)數(shù)； B2、從分類純度代價(jià)樹(8)的每個(gè)葉子節(jié)點(diǎn)出發(fā)，尋找其至根節(jié)點(diǎn)路徑中使純度代價(jià)函數(shù)最優(yōu)的節(jié)點(diǎn)，由這些最優(yōu)節(jié)點(diǎn)組成的集合將形成涵蓋整幅原始圖像的最優(yōu)覆蓋分割樹(9)，實(shí)現(xiàn)輪廓清晰的交通場景多目標(biāo)分類。
【文檔編號(hào)】G06N3/08GK105956532SQ201610261849
【公開日】2016年9月21日
【申請日】2016年4月25日
【發(fā)明人】李琳輝, 連靜, 李紅挪, 劉爽, 錢波, 周雅夫, 孫延秋, 矯翔
【申請人】大連理工大學(xué)