本發(fā)明屬于目標(biāo)檢測領(lǐng)域，更具體地，涉及一種基于車輛特征點(diǎn)的車輛部件檢測方法和系統(tǒng)。

背景技術(shù)：

目標(biāo)檢測是計(jì)算機(jī)視覺領(lǐng)域的一個重要研究方向，由此延伸出的車輛部件檢測具有重要的實(shí)際應(yīng)用價(jià)值。車輛部件檢測作為車輛搜索系統(tǒng)的重要組成部分，逐漸成為研究熱點(diǎn)。傳統(tǒng)的檢測方法主要以圖像特征(如hog特征、lbp特征以及sift特征等)提取為主的，分類則采用支持向量機(jī)svm和adaboost算法等，這些方法由于提取的特征比較片面、沒有全局性以及無法自適應(yīng)的提取圖像的典型特征，故準(zhǔn)確率一般不太高。

傳統(tǒng)目標(biāo)檢測的方法一般分為區(qū)域選擇、特征提取和分類器分類這三個階段。區(qū)域選擇是為了對目標(biāo)的位置進(jìn)行定位，由于目標(biāo)可能出現(xiàn)在圖像的任何位置，而且目標(biāo)的大小、長寬比例也不確定，所以最初采用滑動窗口的策略對整幅圖像進(jìn)行遍歷，而且需要設(shè)置不同的尺度和不同的長寬比，這種窮舉的策略雖然包含了目標(biāo)所有可能出現(xiàn)的位置，但是缺點(diǎn)也是顯而易見的：時間復(fù)雜度太高，產(chǎn)生冗余窗口太多，這也嚴(yán)重影響后續(xù)特征提取和分類的速度和性能，而實(shí)際上由于受到時間復(fù)雜度的問題，滑動窗口的長寬比一般都是固定的設(shè)置幾個，所以對于長寬比浮動較大的多類別目標(biāo)檢測，即便是滑動窗口遍歷也不能得到很好的區(qū)域。特征提取是是為了提取出能夠唯一描述區(qū)域的特征，而由于目標(biāo)的形態(tài)多樣性、光照變化多樣性和背景多樣性等因素使得設(shè)計(jì)一個魯棒的特征并不是那么容易，這個階段常用的特征描述子有sift特征和hog特征等，由于這都是人工選擇的特征，因此不能實(shí)現(xiàn)對目標(biāo)更高層和更描述的描述，嚴(yán)重影響了后續(xù)分類的準(zhǔn)確性。分類器分類是為了根據(jù)區(qū)域的特征進(jìn)行分類，主要用到支持向量機(jī)svm和adaboost分類器等，但svm算法由于是借助二次規(guī)劃來求解支持向量的因此對大規(guī)模訓(xùn)練樣本難以實(shí)施并且對非線性問題沒有通用解決方案，adaboost算法訓(xùn)練耗時、拓展困難并且存在過擬合和魯棒性不強(qiáng)等問題?？偟膩碚f，傳統(tǒng)目標(biāo)檢測存在的兩個主要問題：一個是基于滑動窗口的區(qū)域選擇策略沒有針對性，時間復(fù)雜度高，窗口冗余；二是手工設(shè)計(jì)的特征對于多樣性的變化并沒有很好的魯棒性。

技術(shù)實(shí)現(xiàn)要素：

針對現(xiàn)有技術(shù)的以上缺陷或改進(jìn)需求，本發(fā)明提供了一種基于車輛特征點(diǎn)的車輛部件檢測方法和系統(tǒng)，其目的在于基于車輛特征點(diǎn)挑選感興趣區(qū)域進(jìn)而得到車輛部件的目標(biāo)區(qū)域，提高了最終的車輛部件檢測性能和準(zhǔn)確率。

為實(shí)現(xiàn)上述目的，按照本發(fā)明的一個方面，提供了一種基于車輛特征點(diǎn)的車輛部件檢測方法，包括：

(1)采集車輛圖像，提取車輛部件的車輛特征點(diǎn)和車輛部件的候選區(qū)域；

(2)當(dāng)候選區(qū)域的中心與車輛特征點(diǎn)的距離小于閾值得到車輛部件的感興趣區(qū)域，基于感興趣區(qū)域提取車輛部件的目標(biāo)區(qū)域。

進(jìn)一步的，車輛特征點(diǎn)包括：左后視鏡特征點(diǎn)、右后視鏡特征點(diǎn)、左車燈特征點(diǎn)、右車燈特征點(diǎn)和車標(biāo)特征點(diǎn)。

進(jìn)一步的，步驟(1)的具體實(shí)現(xiàn)方式為：

采集車輛圖像，將車輛圖像輸入特征點(diǎn)檢測器得到車輛部件的車輛特征點(diǎn)，將車輛圖像輸入候選區(qū)域檢測器得到車輛部件的候選區(qū)域；所述特征點(diǎn)檢測器為三級卷積神經(jīng)網(wǎng)絡(luò)、基于點(diǎn)分布模型、級聯(lián)線性回歸模型和自編碼網(wǎng)絡(luò)中的任意一種，所述候選區(qū)域檢測器為區(qū)域建議網(wǎng)絡(luò)、選擇性搜索器和邊緣框模型中的任意一種。

進(jìn)一步的，特征點(diǎn)檢測器為三級卷積神經(jīng)網(wǎng)絡(luò)。

進(jìn)一步的，三級卷積神經(jīng)網(wǎng)絡(luò)包括第一級網(wǎng)絡(luò)、第二級網(wǎng)絡(luò)和第三級網(wǎng)絡(luò)，其中第一級網(wǎng)絡(luò)用于檢測得到車輛部件的車輛特征點(diǎn)；第二級網(wǎng)絡(luò)和第三級網(wǎng)絡(luò)用于對車輛部件的車輛特征點(diǎn)進(jìn)行精調(diào)，最后得到精調(diào)后的車輛部件的車輛特征點(diǎn)。

進(jìn)一步的，候選區(qū)域檢測器為區(qū)域建議網(wǎng)絡(luò)。

進(jìn)一步的，步驟(2)的具體實(shí)現(xiàn)方式為：

(2-1)當(dāng)候選區(qū)域的中心與車輛特征點(diǎn)的距離d小于閾值得到車輛部件的感興趣區(qū)域，將感興趣區(qū)域輸入快速目標(biāo)檢測卷積神經(jīng)網(wǎng)絡(luò)，得到感興趣區(qū)域在快速目標(biāo)檢測卷積神經(jīng)網(wǎng)絡(luò)的原始得分s；

(2-2)利用得分函數(shù)修正系數(shù)f建立得分函數(shù)p^*＝argmax(f*s)，其中，p^*表示感興趣區(qū)域在快速目標(biāo)檢測卷積神經(jīng)網(wǎng)絡(luò)的得分，e為常數(shù)，得分最高的感興趣區(qū)域?yàn)檐囕v部件最終檢測到的目標(biāo)區(qū)域。

按照本發(fā)明的另一方面，提供了一種基于車輛特征點(diǎn)的車輛部件檢測系統(tǒng)，包括：

第一模塊，用于采集車輛圖像，提取車輛部件的車輛特征點(diǎn)和車輛部件的候選區(qū)域；

第二模塊，用于當(dāng)候選區(qū)域的中心與車輛特征點(diǎn)的距離小于閾值得到車輛部件的感興趣區(qū)域，基于感興趣區(qū)域提取車輛部件的目標(biāo)區(qū)域。

進(jìn)一步的，第一模塊的具體實(shí)現(xiàn)方式為：

采集車輛圖像，將車輛圖像輸入特征點(diǎn)檢測器得到車輛部件的車輛特征點(diǎn)，將車輛圖像輸入候選區(qū)域檢測器得到車輛部件的候選區(qū)域；所述特征點(diǎn)檢測器為三級卷積神經(jīng)網(wǎng)絡(luò)、基于點(diǎn)分布模型、級聯(lián)線性回歸模型和自編碼網(wǎng)絡(luò)中的任意一種，所述候選區(qū)域檢測器為區(qū)域建議網(wǎng)絡(luò)、選擇性搜索器和邊緣框模型中的任意一種。

進(jìn)一步的，第二模塊包括：

感興趣區(qū)域子模塊，用于當(dāng)候選區(qū)域的中心與車輛特征點(diǎn)的距離d小于閾值得到感興趣區(qū)域，將感興趣區(qū)域輸入快速目標(biāo)檢測卷積神經(jīng)網(wǎng)絡(luò)，得到感興趣區(qū)域在快速目標(biāo)檢測卷積神經(jīng)網(wǎng)絡(luò)的原始得分s；

目標(biāo)區(qū)域子模塊，用于利用得分函數(shù)修正系數(shù)f建立得分函數(shù)p^*＝argmax(f*s)，其中，p^*表示感興趣區(qū)域在快速目標(biāo)檢測卷積神經(jīng)網(wǎng)絡(luò)的得分，e為常數(shù)，得分最高的感興趣區(qū)域?yàn)檐囕v部件最終檢測到的目標(biāo)區(qū)域。

進(jìn)一步的，車輛特征點(diǎn)包括：左后視鏡特征點(diǎn)、右后視鏡特征點(diǎn)、左車燈特征點(diǎn)、右車燈特征點(diǎn)和車標(biāo)特征點(diǎn)。

總體而言，通過本發(fā)明所構(gòu)思的以上技術(shù)方案與現(xiàn)有技術(shù)相比，由于基于車輛特征點(diǎn)挑選感興趣區(qū)域，可以降低感興趣區(qū)域冗余并提高感興趣區(qū)域質(zhì)量，該方法提升了最終的檢測性能，并且在光照變化和噪聲污染下的準(zhǔn)確性和穩(wěn)定性也更好。

附圖說明

圖1是一種基于車輛特征點(diǎn)的車輛部件檢測方法的流程圖；

圖2是利用傳統(tǒng)方法得到的目標(biāo)區(qū)域的示意圖；

圖3是利用本發(fā)明方法得到的目標(biāo)區(qū)域的示意圖。

具體實(shí)施方式

為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，以下結(jié)合附圖及實(shí)施例，對本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說明。應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。此外，下面所描述的本發(fā)明各個實(shí)施方式中所涉及到的技術(shù)特征只要彼此之間未構(gòu)成沖突就可以相互組合。

如圖1所示，一種基于車輛特征點(diǎn)的車輛部件檢測方法，包括：

(1)采集車輛圖像，將車輛圖像輸入特征點(diǎn)檢測器得到車輛部件的車輛特征點(diǎn)，將車輛圖像輸入候選區(qū)域檢測器得到車輛部件的候選區(qū)域；

(2)當(dāng)候選區(qū)域的中心與車輛特征點(diǎn)的距離小于閾值得到車輛部件的感興趣區(qū)域，將感興趣區(qū)域輸入車輛部件檢測器，得到車輛部件的目標(biāo)區(qū)域。

進(jìn)一步的，車輛特征點(diǎn)包括：左后視鏡特征點(diǎn)、右后視鏡特征點(diǎn)、左車燈特征點(diǎn)、右車燈特征點(diǎn)和車標(biāo)特征點(diǎn)。

進(jìn)一步的，特征點(diǎn)檢測器為三級卷積神經(jīng)網(wǎng)絡(luò)、基于點(diǎn)分布模型、級聯(lián)線性回歸模型和自編碼網(wǎng)絡(luò)中的任意一種。

優(yōu)選的，特征點(diǎn)檢測器為三級卷積神經(jīng)網(wǎng)絡(luò)，考慮到車輛一些部件的位置關(guān)系相對固定，同人臉特征點(diǎn)存在共性(車輛的左后視鏡、右后視鏡、左車燈、右車燈和車標(biāo)可分別看作與人臉的左眼中心(le)、右眼中心(re)、左嘴角(lm)、右嘴角(rm)和鼻子(n)相對應(yīng))，本發(fā)明中將用于人臉特征點(diǎn)檢測的三級卷積神經(jīng)網(wǎng)絡(luò)推廣至車輛特征點(diǎn)檢測。

該三級卷積神經(jīng)網(wǎng)絡(luò)的第一級網(wǎng)絡(luò)在較大的車臉區(qū)域同時檢測左后視鏡、右后視鏡、左車燈、右車燈和車標(biāo)五個特征點(diǎn)；第二和第三級網(wǎng)絡(luò)分別在左后視鏡區(qū)域?qū)ψ蠛笠曠R特征點(diǎn)進(jìn)行精調(diào)，在右后視鏡區(qū)域?qū)τ液笠曠R特征點(diǎn)進(jìn)行精調(diào)，在左車燈區(qū)域?qū)ψ筌嚐籼卣鼽c(diǎn)進(jìn)行精調(diào)，在右車燈區(qū)域?qū)τ臆嚐籼卣鼽c(diǎn)進(jìn)行精調(diào)，在車標(biāo)區(qū)域?qū)嚇?biāo)特征點(diǎn)進(jìn)行精調(diào)；最后得到5個特征點(diǎn)精調(diào)后的坐標(biāo)作為最終輸出。為了更好的提高檢測精度和可靠性，三級卷積神經(jīng)網(wǎng)絡(luò)的每一級網(wǎng)絡(luò)都有多個子網(wǎng)絡(luò)共同地預(yù)測每一個特征點(diǎn)，這些子網(wǎng)絡(luò)的輸入?yún)^(qū)域不同。

本實(shí)施例的車輛特征點(diǎn)檢測器采用三級卷積神經(jīng)網(wǎng)絡(luò)，該網(wǎng)絡(luò)利用了整個車臉的上下文信息，且特征點(diǎn)的幾何學(xué)約束已經(jīng)被暗含了，更加利于特征點(diǎn)的準(zhǔn)確定位。

進(jìn)一步的，候選區(qū)域檢測器為區(qū)域建議網(wǎng)絡(luò)、選擇性搜索器和邊緣框模型中的任意一種。

優(yōu)選的，候選區(qū)域檢測器為區(qū)域建議網(wǎng)絡(luò)。

進(jìn)一步的，車輛部件檢測器為快速目標(biāo)檢測卷積神經(jīng)網(wǎng)絡(luò)、bp神經(jīng)網(wǎng)絡(luò)、卷積神經(jīng)網(wǎng)絡(luò)和快速卷積神經(jīng)網(wǎng)絡(luò)中的任意一種。

優(yōu)選的，車輛部件檢測器為快速目標(biāo)檢測卷積神經(jīng)網(wǎng)fasterr-cnn，fasterr-cnn將區(qū)域建議網(wǎng)絡(luò)(rpn)和區(qū)域檢測網(wǎng)絡(luò)fastr-cnn融合進(jìn)了一個網(wǎng)絡(luò)模型，通過交替訓(xùn)練使得rpn和fastr-cnn可以共享卷積參數(shù)。

進(jìn)一步的，步驟(2)的具體實(shí)施方式為：

(2-1)當(dāng)候選區(qū)域的中心與車輛特征點(diǎn)的距離d小于閾值得到感興趣區(qū)域，將感興趣區(qū)域輸入快速目標(biāo)檢測卷積神經(jīng)網(wǎng)絡(luò)，得到感興趣區(qū)域在快速目標(biāo)檢測卷積神經(jīng)網(wǎng)絡(luò)的原始得分s；

(2-2)利用得分函數(shù)修正系數(shù)f建立得分函數(shù)p^*＝argmax(f*s)，其中，p^*表示感興趣區(qū)域在快速目標(biāo)檢測卷積神經(jīng)網(wǎng)絡(luò)的得分，e為常數(shù)，得分最高的感興趣區(qū)域?yàn)檐囕v部件最終檢測到的目標(biāo)區(qū)域。

優(yōu)選的，感興趣區(qū)域還包括利用非極大值抑制篩選出的候選區(qū)域。

感興趣區(qū)域離該部件的中心越近，則得分越高，得分最高的感興趣區(qū)域即為每個車輛部件最終檢測到的目標(biāo)區(qū)域。通過此優(yōu)化可以避免虛檢并且能提高檢測精度。

按照本發(fā)明的另一個方面，提供了一種基于車輛特征點(diǎn)的車輛部件檢測系統(tǒng)，包括：

第一模塊，用于采集車輛圖像，將車輛圖像輸入特征點(diǎn)檢測器得到車輛部件的車輛特征點(diǎn)，將車輛圖像輸入候選區(qū)域檢測器得到車輛部件的候選區(qū)域；

第二模塊，用于當(dāng)候選區(qū)域的中心與車輛特征點(diǎn)的距離小于閾值得到車輛部件的感興趣區(qū)域，將感興趣區(qū)域輸入車輛部件檢測器，得到車輛部件的目標(biāo)區(qū)域。

進(jìn)一步的，車輛特征點(diǎn)包括：左后視鏡特征點(diǎn)、右后視鏡特征點(diǎn)、左車燈特征點(diǎn)、右車燈特征點(diǎn)和車標(biāo)特征點(diǎn)。

進(jìn)一步的，特征點(diǎn)檢測器為三級卷積神經(jīng)網(wǎng)絡(luò)、基于點(diǎn)分布模型、級聯(lián)線性回歸模型和自編碼網(wǎng)絡(luò)中的任意一種。

優(yōu)選的，特征點(diǎn)檢測器為三級卷積神經(jīng)網(wǎng)絡(luò)，該三級卷積神經(jīng)網(wǎng)絡(luò)的的第一級網(wǎng)絡(luò)在較大的車臉區(qū)域同時檢測左后視鏡、右后視鏡、左車燈、右車燈和車標(biāo)五個特征點(diǎn)；第二和第三級網(wǎng)絡(luò)分別在左后視鏡區(qū)域?qū)ψ蠛笠曠R特征點(diǎn)進(jìn)行精調(diào)，在右后視鏡區(qū)域?qū)τ液笠曠R特征點(diǎn)進(jìn)行精調(diào)，在左車燈區(qū)域?qū)ψ筌嚐籼卣鼽c(diǎn)進(jìn)行精調(diào)，在右車燈區(qū)域?qū)τ臆嚐籼卣鼽c(diǎn)進(jìn)行精調(diào)，在車標(biāo)區(qū)域?qū)嚇?biāo)特征點(diǎn)進(jìn)行精調(diào)；最后得到5個特征點(diǎn)精調(diào)后的坐標(biāo)作為最終輸出。為了更好的提高檢測精度和可靠性，三級卷積神經(jīng)網(wǎng)絡(luò)的每一級網(wǎng)絡(luò)都有多個子網(wǎng)絡(luò)共同地預(yù)測每一個特征點(diǎn)，這些子網(wǎng)絡(luò)的輸入?yún)^(qū)域不同。

進(jìn)一步的，候選區(qū)域檢測器為區(qū)域建議網(wǎng)絡(luò)、選擇性搜索器和邊緣框模型中的任意一種。

優(yōu)選的，候選區(qū)域檢測器為區(qū)域建議網(wǎng)絡(luò)。

進(jìn)一步的，車輛部件檢測器為快速目標(biāo)檢測卷積神經(jīng)網(wǎng)絡(luò)、bp神經(jīng)網(wǎng)絡(luò)、卷積神經(jīng)網(wǎng)絡(luò)和快速卷積神經(jīng)網(wǎng)絡(luò)中的任意一種。

優(yōu)選的，車輛部件檢測器為快速目標(biāo)檢測卷積神經(jīng)網(wǎng)fasterr-cnn，fasterr-cnn將區(qū)域建議網(wǎng)絡(luò)(rpn)和區(qū)域檢測網(wǎng)絡(luò)fastr-cnn融合進(jìn)了一個網(wǎng)絡(luò)模型，通過交替訓(xùn)練使得rpn和fastr-cnn可以共享卷積參數(shù)。

進(jìn)一步的，第二模塊還包括：

感興趣區(qū)域子模塊，用于當(dāng)候選區(qū)域的中心與車輛特征點(diǎn)的距離d小于閾值得到感興趣區(qū)域，將感興趣區(qū)域輸入快速目標(biāo)檢測卷積神經(jīng)網(wǎng)絡(luò)，得到感興趣區(qū)域在快速目標(biāo)檢測卷積神經(jīng)網(wǎng)絡(luò)的原始得分s；

目標(biāo)區(qū)域子模塊，用于利用得分函數(shù)修正系數(shù)f建立得分函數(shù)p^*＝argmax(f*s)，其中，p^*表示感興趣區(qū)域在快速目標(biāo)檢測卷積神經(jīng)網(wǎng)絡(luò)的得分，e為常數(shù)，得分最高的感興趣區(qū)域?yàn)檐囕v部件最終檢測到的目標(biāo)區(qū)域。

優(yōu)選的，感興趣區(qū)域還包括利用非極大值抑制篩選出的車輛部件的候選區(qū)域。

傳統(tǒng)方法利用非極大值抑制篩選出的候選區(qū)域作為感興趣區(qū)域，導(dǎo)致選取閾值的大小對感興趣區(qū)域質(zhì)量的影響很大，若選取得不合理，會嚴(yán)重影響最終的車輛部件檢測結(jié)果，如圖2所示，為利用傳統(tǒng)方法得到的目標(biāo)區(qū)域的示意圖，當(dāng)需要檢測的車輛部件為車標(biāo)和車牌時，將車輛圖像輸入候選區(qū)域檢測器得到了4個候選區(qū)域，對這4個候選區(qū)域利用非極大值抑制篩選出的候選區(qū)域作為感興趣區(qū)域，在使用非極大值抑制篩選時，當(dāng)選取的閾值偏大，會檢測得到3個目標(biāo)區(qū)域，而實(shí)際中只有2個目標(biāo)區(qū)域，當(dāng)選取的閾值偏小，會檢測得到1個目標(biāo)區(qū)域，而實(shí)際中有2個目標(biāo)區(qū)域，使用非極大值抑制篩選出的候選區(qū)域作為感興趣區(qū)域進(jìn)行后續(xù)車輛部件目標(biāo)區(qū)域檢測時，只有在閾值選取合適時，才能檢測得到正確的車輛部件目標(biāo)區(qū)域。

所以傳統(tǒng)方法利用非極大值抑制篩選出的候選區(qū)域作為感興趣區(qū)域，導(dǎo)致車輛部件檢測結(jié)果準(zhǔn)確性較低。

而本發(fā)明實(shí)施例中，當(dāng)候選區(qū)域的中心與車輛特征點(diǎn)的距離d小于閾值得到感興趣區(qū)域，將感興趣區(qū)域輸入快速目標(biāo)檢測卷積神經(jīng)網(wǎng)絡(luò)，得到感興趣區(qū)域在快速目標(biāo)檢測卷積神經(jīng)網(wǎng)絡(luò)的原始得分s；利用得分函數(shù)修正系數(shù)f建立得分函數(shù)p^*＝argmax(f*s)，其中，p^*表示感興趣區(qū)域在快速目標(biāo)檢測卷積神經(jīng)網(wǎng)絡(luò)的得分，e為常數(shù)，得分最高的感興趣區(qū)域?yàn)檐囕v部件最終檢測到的目標(biāo)區(qū)域。

如圖3所示，為利用本發(fā)明實(shí)施例方法得到的目標(biāo)區(qū)域的示意圖，可以對于同一張車輛圖像，當(dāng)需要檢測的車輛部件為車標(biāo)和車牌時，將車輛圖像輸入候選區(qū)域檢測器得到了4個候選區(qū)域，對這4個候選區(qū)域利用本發(fā)明實(shí)施例方法基于車輛特征點(diǎn)篩選出的候選區(qū)域作為感興趣區(qū)域，即使在閾值選取較小時，也可以準(zhǔn)確的檢測得到車輛部件目標(biāo)區(qū)域。

所以，基于車輛特征點(diǎn)挑選感興趣區(qū)域，可以降低感興趣區(qū)域冗余并提高感興趣區(qū)域質(zhì)量，將感興趣區(qū)域輸入車輛部件檢測器，得到車輛部件的目標(biāo)區(qū)域，提高了最終的車輛部件檢測性能和準(zhǔn)確率，并且在光照變化和噪聲污染下的準(zhǔn)確性和穩(wěn)定性也更好。

本領(lǐng)域的技術(shù)人員容易理解，以上所述僅為本發(fā)明的較佳實(shí)施例而已，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)所作的任何修改、等同替換和改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。