基于深度學(xué)習(xí)的對(duì)車牌位置不敏感的車牌識(shí)別方法
【專利摘要】本發(fā)明公開了一種基于深度學(xué)習(xí)的對(duì)車牌位置不敏感的車牌識(shí)別方法，其特征在于：構(gòu)建帶有七位車牌字符標(biāo)注的樣本集，并對(duì)深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，車牌識(shí)別方法包括下述步驟：將待檢測(cè)的車牌圖像進(jìn)行預(yù)處理；將預(yù)處理后的車牌圖像轉(zhuǎn)換成與樣本集中樣本的尺寸相同的圖像并輸入已訓(xùn)練的深度卷積神經(jīng)網(wǎng)絡(luò)；在深度卷積神經(jīng)網(wǎng)絡(luò)中進(jìn)行一次前向傳播，并輸出七個(gè)標(biāo)簽；通過查表獲得標(biāo)簽對(duì)應(yīng)的漢字和字符，獲得七位車牌字符。本發(fā)明創(chuàng)造性地通過共享卷積層同時(shí)對(duì)七位車牌字符進(jìn)行識(shí)別，同時(shí)通過有針對(duì)地進(jìn)行樣本處理，可以有效地識(shí)別車牌位置信息，提升在復(fù)雜環(huán)境下的識(shí)別率，最終達(dá)到較好的整體識(shí)別效果。
【專利說明】
基于深度學(xué)習(xí)的對(duì)車牌位置不敏感的車牌識(shí)別方法
技術(shù)領(lǐng)域
[0001]本發(fā)明涉及計(jì)算機(jī)視覺和機(jī)器學(xué)習(xí)技術(shù)領(lǐng)域，尤其涉及一種基于深度學(xué)習(xí)的對(duì)車牌位置不敏感的車牌識(shí)別方法。
【背景技術(shù)】
[0002]智能交通監(jiān)控系統(tǒng)是當(dāng)今交通監(jiān)控行業(yè)的一個(gè)重點(diǎn)發(fā)展方向，主要是依靠計(jì)算機(jī)視覺等技術(shù)對(duì)監(jiān)控?cái)z像頭拍攝下的畫面進(jìn)行自動(dòng)地分析，從而判斷出超速、闖紅燈等違章行為，并且可以自動(dòng)地識(shí)別出違章車輛的車牌號(hào)等，從而極大地方便交通監(jiān)管。
[0003]深度學(xué)習(xí)于2006年正式提出，是近年來機(jī)器學(xué)習(xí)里面的一個(gè)熱門領(lǐng)域，起源于多層人工神經(jīng)網(wǎng)絡(luò)，目前已成功應(yīng)用于計(jì)算機(jī)視覺、自然語(yǔ)言處理和智能搜索等領(lǐng)域。其中卷積神經(jīng)網(wǎng)絡(luò)在圖像識(shí)別領(lǐng)域已經(jīng)取得了令人矚目的成就，在很多應(yīng)用上都有所建樹，相比傳統(tǒng)方法有了很大的提升。而深度學(xué)習(xí)在字符識(shí)別領(lǐng)域也有非常高的準(zhǔn)確率，在著名的MNIST手寫字體數(shù)據(jù)集上達(dá)到了99%以上的準(zhǔn)確率，所以很自然地可以考慮將深度學(xué)習(xí)應(yīng)用在車牌識(shí)別領(lǐng)域。
[0004]在車牌識(shí)別領(lǐng)域，傳統(tǒng)方法通常采用圖像處理算法來對(duì)車牌進(jìn)行定位后，再經(jīng)過圖像分割取出單個(gè)字符，然后采用基于字符筆畫的識(shí)別方法進(jìn)行字符識(shí)別，這種方法也能取得不錯(cuò)的效果，但是使用起來較為麻煩，且對(duì)于預(yù)處理和分割步驟要求較高，若圖像質(zhì)量較差或分割效果不好時(shí)，則識(shí)別效果也不能得到保障。
[0005]經(jīng)過對(duì)現(xiàn)有技術(shù)的檢索，也發(fā)現(xiàn)了一些開始使用卷積神經(jīng)網(wǎng)絡(luò)做車牌識(shí)別的方法，然而在多個(gè)字符的處理上，往往還是要借助于傳統(tǒng)的圖像分割算法，分割出單個(gè)字符過后再分別送入卷積神經(jīng)網(wǎng)絡(luò)分別進(jìn)行識(shí)別，這樣便無法避免對(duì)于分割效果的要求，只能取得有限的效果提升。另一方面，現(xiàn)有車牌識(shí)別方法往往是先通過檢測(cè)算法，將車牌位置完全確定下來，然后僅將車牌部分的圖像輸入給識(shí)別算法進(jìn)行車牌識(shí)別，這就對(duì)前級(jí)檢測(cè)算法提出了較高的要求。
【發(fā)明內(nèi)容】
[0006]本發(fā)明的目的就在于為了解決上述問題而提供一種基于深度學(xué)習(xí)的對(duì)車牌位置不敏感的車牌識(shí)別方法。
[0007]本發(fā)明通過以下技術(shù)方案來實(shí)現(xiàn)上述目的:
[0008]—種基于深度學(xué)習(xí)的對(duì)車牌位置不敏感的車牌識(shí)別方法，其特征在于:構(gòu)建帶有七位車牌字符標(biāo)注的樣本集，并對(duì)深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，車牌識(shí)別方法包括下述步驟:
[0009](I)將待檢測(cè)的車牌圖像進(jìn)行預(yù)處理；
[0010](2)將預(yù)處理后的車牌圖像轉(zhuǎn)換成與樣本集中樣本的尺寸相同的圖像并輸入已訓(xùn)練的深度卷積神經(jīng)網(wǎng)絡(luò)；
[0011](3)在深度卷積神經(jīng)網(wǎng)絡(luò)中進(jìn)行一次前向傳播，并輸出七個(gè)標(biāo)簽；
[0012](4)通過查表獲得標(biāo)簽對(duì)應(yīng)的漢字和字符，獲得七位車牌字符。
[0013]具體地，所述車牌圖像包括所述車牌和其周邊的背景區(qū)域，所述車牌的位置位于所述車牌圖像的任意位置，且所述車牌圖像包含完整的車牌區(qū)域。
[0014]具體地，構(gòu)建所述樣本集的方法包括:從路口監(jiān)控或網(wǎng)絡(luò)圖像中截取包含車牌的多張車牌圖像，以車牌的位置為中心并留存部分背景區(qū)域，將多張車牌圖像拉伸到相同的大小，然后對(duì)車牌字符進(jìn)行標(biāo)注，獲得七位字符對(duì)應(yīng)的標(biāo)簽。
[0015]具體地，所述深度卷積神經(jīng)網(wǎng)絡(luò)包括5層卷積層、全連接層和softmax層，所述深度卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)包括七個(gè)分支并行網(wǎng)絡(luò)，七個(gè)所述分支并行網(wǎng)絡(luò)均包括3層全連接層和I層softmax層，七個(gè)所述分支并行網(wǎng)絡(luò)共享前5層卷積層；
[0016]所述卷積層用于特征提取，所述全連接層用于線性變換，所述softmax層用于分類，在第1、2、5層后加入用于降維和特征整合的池化層，在前兩個(gè)卷積層后加入用于提高模型泛化能力的LRN層。
[0017]具體地，對(duì)深度卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程包括:
[0018](I)網(wǎng)絡(luò)初始化:使用在imagenet數(shù)據(jù)集上訓(xùn)練過的Alexnet的卷積層及相關(guān)部分的參數(shù)作為深度卷積神經(jīng)網(wǎng)絡(luò)的初始值，全連接層的參數(shù)采用標(biāo)準(zhǔn)差為0.01的高斯隨機(jī)初始化；
[0019](2)開始訓(xùn)練:將樣本集中的樣本輸入深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行前向傳播，并將每個(gè)樣本的七個(gè)標(biāo)簽輸入值最后的loss層，采用softmax損失函數(shù)計(jì)算與目標(biāo)類之間的差距，結(jié)合反相傳播算法，進(jìn)行迭代訓(xùn)練；
[0020](3)結(jié)束訓(xùn)練:當(dāng)損失下降到無法再下降時(shí)結(jié)束訓(xùn)練。
[0021]本發(fā)明的有益效果在于:
[0022]本發(fā)明所述基于深度學(xué)習(xí)的對(duì)車牌位置不敏感的車牌識(shí)別方法創(chuàng)造性地通過共享卷積層同時(shí)對(duì)七位車牌字符進(jìn)行識(shí)別，同時(shí)通過有針對(duì)地進(jìn)行樣本處理，可以有效地識(shí)別車牌位置信息，提升在復(fù)雜環(huán)境下的識(shí)別率，最終達(dá)到較好的整體識(shí)別效果。
【附圖說明】
[0023]圖1是本發(fā)明所述基于深度學(xué)習(xí)的對(duì)車牌位置不敏感的車牌識(shí)別方法的流程圖；
[0024]圖2是本發(fā)明所述深度卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)示意圖。
【具體實(shí)施方式】
[0025]下面結(jié)合附圖對(duì)本發(fā)明作進(jìn)一步說明:
[0026]如圖1所示，本發(fā)明一種基于深度學(xué)習(xí)的對(duì)車牌位置不敏感的車牌識(shí)別方法，構(gòu)建帶有七位車牌字符標(biāo)注的樣本集，并對(duì)深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練；
[0027]構(gòu)建樣本集的方法包括:從路口監(jiān)控或網(wǎng)絡(luò)圖像中截取包含車牌的多張車牌圖像，以車牌的位置為中心并留存部分背景區(qū)域，將多張車牌圖像拉伸到相同的大小，然后對(duì)車牌字符進(jìn)行標(biāo)注，獲得七位字符對(duì)應(yīng)的標(biāo)簽。
[0028]通過網(wǎng)絡(luò)下載和交通監(jiān)控視頻截圖，獲取在不同天氣情況、不同場(chǎng)景下拍攝的含有完整車牌的圖像，進(jìn)行多次隨機(jī)截取，確保在包含完整車牌的同時(shí)，車牌區(qū)域占總截取大小的比例適中。對(duì)車牌號(hào)進(jìn)行標(biāo)注，本實(shí)施例采用訓(xùn)練樣本集為包含車牌的彩色圖像30000張，測(cè)試樣本集為5000張。
[0029]由于卷積神經(jīng)網(wǎng)絡(luò)參數(shù)量十分巨大，當(dāng)訓(xùn)練樣本集樣本數(shù)量不夠大時(shí)，極易發(fā)生過擬合，一種增大樣本集的方式是，對(duì)每張圖像隨機(jī)多次旋轉(zhuǎn)O到7度，即可以提高卷積神經(jīng)網(wǎng)絡(luò)對(duì)車牌旋轉(zhuǎn)變形的識(shí)別能力，又可以增大樣本集。并對(duì)樣本圖像的尺寸進(jìn)行標(biāo)準(zhǔn)化，通過圖像處理技術(shù)將所有的樣本圖像轉(zhuǎn)換到227 X 227 X 3的尺寸。
[°03°]深度卷積神經(jīng)網(wǎng)絡(luò)基本結(jié)構(gòu)是根據(jù)Alexnet修改而來，Alexnet的主要組成部分是5個(gè)卷積層、3個(gè)全連接層和最后的I個(gè)softmax層。本發(fā)明中使用的網(wǎng)絡(luò)結(jié)構(gòu)則包括5層卷積層、全連接層和softmax層，深度卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)包括七個(gè)分支并行網(wǎng)絡(luò)，七個(gè)分支并行網(wǎng)絡(luò)均包括3層全連接層和I層softmax層，本發(fā)明中使用的網(wǎng)絡(luò)結(jié)構(gòu)則是從全連接層開始，下面將分階段介紹本發(fā)明中使用的網(wǎng)絡(luò)模型結(jié)構(gòu)，如圖2所示:
[0031 ] Convl階段:輸入數(shù)據(jù)維數(shù)為227 X 227 X 3，數(shù)據(jù)輸入后，進(jìn)行的第一個(gè)操作階段就是Convl階段，這個(gè)階段包含了 I個(gè)卷積層、I個(gè)ReLU層、I個(gè)Pool層、I個(gè)LRN層，其中，convl層的參數(shù)為:filters: 96 ,kernel size: 11，stride: 4; ReLU為激活函數(shù)，為網(wǎng)絡(luò)增加非線性性;LRN層參數(shù)為:local size: 5，alpha:。.0001，beta:0.75;pooll層參數(shù)為:Max pooling,kernel size:3，stride:2。經(jīng)過此階段操作，輸出數(shù)據(jù)維數(shù)為27X27X96。
[0032]Conv2階段:這個(gè)階段包含了 I個(gè)卷積層、I個(gè)ReLU層、I個(gè)Pool層、I個(gè)LRN層，其中，conv2層的參數(shù)為:filters:256,kernel size:5，group:2，pad:2;ReLU為激活函數(shù)，為網(wǎng)絡(luò)增加非線性性;LRN層參數(shù)為:local size: 5 ,alpha: 0.0001 ,beta: 0.75 ; poo 12層參數(shù)為:Max pooling,kernel size:3,stride:2。經(jīng)過此階段操作，輸出數(shù)據(jù)維數(shù)為13X 13X256。
[0033]Conv3階段:這個(gè)階段包含了 I個(gè)卷積層、I個(gè)ReLU層，其中，conv3層的參數(shù)為:filters: 384, kerne I s i z e: 3，pad: I。經(jīng)過此階段操作，輸出數(shù)據(jù)維數(shù)為13X13X384。
[0034]Conv4階段:這個(gè)階段包含了 I個(gè)卷積層、I個(gè)ReLU層，其中，conv4層的參數(shù)為:filters: 384, kerne I s i z e: 3，pad: I。經(jīng)過此階段操作，輸出數(shù)據(jù)維數(shù)為13X13X384。
[0035]Conv5階段:這個(gè)階段包含了 I個(gè)卷積層、I個(gè)ReLU層、I個(gè)Pool層，其中，conv5層的參數(shù)為:f i Iters: 256，kernel size: 3，pad: I ； poo 15層的參數(shù)為:Max pool ing，kernelsize: 3，stride: 2。經(jīng)過此階段操作，輸出數(shù)據(jù)維數(shù)為6 X 6 X 256。
[0036]Fc6階段:從這個(gè)階段開始分成七個(gè)分支網(wǎng)絡(luò)，七個(gè)分支網(wǎng)絡(luò)僅fc8階段的參數(shù)有區(qū)別。Fc6階段包含了 I個(gè)全連接層、I個(gè)ReLU層、I個(gè)Dropout層，其中，fc6層的參數(shù)為:numoutput:4096； drop6層參數(shù)為:dropout rat1: 0.5。經(jīng)過此階段操作，輸出數(shù)據(jù)維數(shù)為4096 ο
[0037]Fc7階段:本階段包含了 I個(gè)全連接層、I個(gè)ReLU層、I個(gè)Dropout層，參數(shù)和fc6階段一樣。經(jīng)過此階段操作，輸出數(shù)據(jù)維數(shù)為4096。
[0038]Fc8階段:本階段包含了 I個(gè)全連接層、I個(gè)softmax層，第一個(gè)分支網(wǎng)絡(luò)的fc8層的輸出數(shù)目為31，用以識(shí)別31個(gè)表示地區(qū)的漢字，后六個(gè)分支網(wǎng)絡(luò)的fc8層的輸出數(shù)目則為36，用以識(shí)別10個(gè)數(shù)字和26個(gè)英文字母。Softmax層則根據(jù)fc8層的輸出進(jìn)行分類，輸出概率分布，在訓(xùn)練階段則同時(shí)計(jì)算loss通過反向傳播調(diào)整網(wǎng)絡(luò)參數(shù)。
[0039]具體地，對(duì)深度卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程包括:首先對(duì)網(wǎng)絡(luò)進(jìn)行初始化，使用在imagenet數(shù)據(jù)集上訓(xùn)練過的Alexnet的卷積階段參數(shù)作為本網(wǎng)絡(luò)卷積部分的初始值，全連接層的參數(shù)則采用標(biāo)準(zhǔn)差為0.01的高斯隨機(jī)初始化。然后將步驟一中獲取的訓(xùn)練樣本集中的樣本輸入到深度卷積神經(jīng)網(wǎng)絡(luò)中進(jìn)行前向傳播，同時(shí)將訓(xùn)練樣本集每個(gè)樣本的七個(gè)標(biāo)簽輸入到最后的loss層，采用softmax損失函數(shù)計(jì)算與目標(biāo)類之間的差距，結(jié)合反向傳播算法，調(diào)整整個(gè)網(wǎng)絡(luò)的參數(shù)。進(jìn)行迭代訓(xùn)練，初始學(xué)習(xí)率設(shè)置為0.001，后面根據(jù)loss的下降效果適當(dāng)降低學(xué)習(xí)率，當(dāng)loss下降到一定程度不再下降時(shí)結(jié)束訓(xùn)練。
[0040]車牌識(shí)別方法包括下述步驟:直接將含有車牌的圖像轉(zhuǎn)換成227X 227 X 3大小后輸入訓(xùn)練好的網(wǎng)絡(luò)模型中，進(jìn)行一次前向傳播，將輸出的七個(gè)預(yù)測(cè)值按順序查表即可得出車牌號(hào)。測(cè)試樣本集包含了各種環(huán)境光照及變形的車牌圖像，對(duì)5000個(gè)測(cè)試樣本進(jìn)行測(cè)試后，得到七位車牌識(shí)別準(zhǔn)確率為97%。
[0041]本發(fā)明的技術(shù)方案不限于上述具體實(shí)施例的限制，凡是根據(jù)本發(fā)明的技術(shù)方案做出的技術(shù)變形，均落入本發(fā)明的保護(hù)范圍之內(nèi)。
【主權(quán)項(xiàng)】
1.一種基于深度學(xué)習(xí)的對(duì)車牌位置不敏感的車牌識(shí)別方法，其特征在于:構(gòu)建帶有七位車牌字符標(biāo)注的樣本集，并對(duì)深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，車牌識(shí)別方法包括下述步驟: (1)將待檢測(cè)的車牌圖像進(jìn)行預(yù)處理； (2)將預(yù)處理后的車牌圖像轉(zhuǎn)換成與樣本集中樣本的尺寸相同的圖像并輸入已訓(xùn)練的深度卷積神經(jīng)網(wǎng)絡(luò)； (3)在深度卷積神經(jīng)網(wǎng)絡(luò)中進(jìn)行一次前向傳播，并輸出七個(gè)標(biāo)簽； (4)通過查表獲得標(biāo)簽對(duì)應(yīng)的漢字和字符，獲得七位車牌字符。2.根據(jù)權(quán)利要求1所述的基于深度學(xué)習(xí)的對(duì)車牌位置不敏感的車牌識(shí)別方法，其特征在于:所述車牌圖像包括所述車牌和其周邊的背景區(qū)域，所述車牌的位置位于所述車牌圖像的任意位置，且所述車牌圖像包含完整的車牌區(qū)域。3.根據(jù)權(quán)利要求1所述的基于深度學(xué)習(xí)的對(duì)車牌位置不敏感的車牌識(shí)別方法，其特征在于:構(gòu)建所述樣本集的方法包括:從路口監(jiān)控或網(wǎng)絡(luò)圖像中截取包含車牌的多張車牌圖像，以車牌的位置為中心并留存部分背景區(qū)域，將多張車牌圖像拉伸到相同的大小，然后對(duì)車牌字符進(jìn)行標(biāo)注，獲得七位字符對(duì)應(yīng)的標(biāo)簽。4.根據(jù)權(quán)利要求3所述的基于深度學(xué)習(xí)的對(duì)車牌位置不敏感的車牌識(shí)別方法，其特征在于:所述深度卷積神經(jīng)網(wǎng)絡(luò)包括5層卷積層、全連接層和softmax層，所述深度卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)包括七個(gè)分支并行網(wǎng)絡(luò)，七個(gè)所述分支并行網(wǎng)絡(luò)均包括3層全連接層和I層sof tmax層，七個(gè)所述分支并行網(wǎng)絡(luò)共享前5層卷積層； 所述卷積層用于特征提取，所述全連接層用于線性變換，所述softmax層用于分類，在第1、2、5層后加入用于降維和特征整合的池化層，在前兩個(gè)卷積層后加入用于提高模型泛化能力的LRN層。5.根據(jù)權(quán)利要求4所述的基于深度學(xué)習(xí)的對(duì)車牌位置不敏感的車牌識(shí)別方法，其特征在于:對(duì)深度卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程包括: (1)網(wǎng)絡(luò)初始化:使用在imagenet數(shù)據(jù)集上訓(xùn)練過的Alexnet的卷積層及相關(guān)部分的參數(shù)作為深度卷積神經(jīng)網(wǎng)絡(luò)的初始值，全連接層的參數(shù)采用標(biāo)準(zhǔn)差為0.01的高斯隨機(jī)初始化； (2)開始訓(xùn)練:將樣本集中的樣本輸入深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行前向傳播，并將每個(gè)樣本的七個(gè)標(biāo)簽輸入值最后的loss層，采用sof tmax損失函數(shù)計(jì)算與目標(biāo)類之間的差距，結(jié)合反相傳播算法，進(jìn)行迭代訓(xùn)練； (3)結(jié)束訓(xùn)練:當(dāng)損失下降到無法再下降時(shí)結(jié)束訓(xùn)練。
【文檔編號(hào)】G06K9/62GK105956626SQ201610313111
【公開日】2016年9月21日
【申請(qǐng)日】2016年5月12日
【發(fā)明人】鄒剛, 蔣濤, 李鴻升
【申請(qǐng)人】成都新舟銳視科技有限公司