專利名稱：：一種基于最大穩(wěn)定極值區(qū)域的車牌檢測與識別的方法
技術領域：
：本發(fā)明屬于模式識別與圖像處理
技術領域：
，具體涉及一種基于最大穩(wěn)定極值區(qū)域的車牌檢測與識別的方法。
背景技術：
：伴隨著世界各國汽車數(shù)量的增加，城市交通狀況日益受到人們的重視。如何有效地進行交通管理，越來越成為各國政府的相關部門所關注的焦點。在這種情況下，車輛的自動檢測作為信息的來源，越來越受到人們的重視。車牌自動識別技術作為車輛檢測系統(tǒng)的一個重要環(huán)節(jié)，在交通監(jiān)視和控制中占有很重要的地位，可應用于道路交通流監(jiān)控、交通事故現(xiàn)場勘測、交通違章自動記錄、高速公路自動收費系統(tǒng)、停車場自動安全管理、智能園區(qū)管理等領域。同時，車牌識別的方法還可應用到其它識別領域，因此車牌識別問題已成為現(xiàn)代交通工程領域中研究的重點和熱點問題之一。車牌識別技術的關鍵在于三部分車牌檢測、車牌字符分割和車牌字符識別。車牌檢測是車牌識別技術中最關鍵的一步，車牌檢測就是從包含整個車輛的圖像中找到車牌區(qū)域的位置。參考文獻[1]F.Martin提出了基于形態(tài)學算子“top-hat”的檢測方法，能夠找到圖像中有著顯著不同亮度的較小目標。該算法檢測率達80%。可是，由于形態(tài)學操作與二值圖像中物體的大小有關，該算法高度依賴于攝像機與車牌圖像之間的距離。參考文獻[2]B.Hongliang和L.Changping提出一種基于邊緣點統(tǒng)計和數(shù)學形態(tài)學的混合車牌檢測算法，用于高速公路收費管理系統(tǒng)。該方法分為四個部分垂直邊緣檢測，邊緣統(tǒng)計分析，分級車牌檢測和基于形態(tài)學的車牌檢測。平均準確率高達99.6%(9825個圖片中精確檢測的有9786)。該方法采用的實驗數(shù)據均為從固定距離和角度采集的圖像，因此給予特檢測置的候選區(qū)域以優(yōu)先權。該先驗知識毫無疑問會增加檢測結果的精確度。參考文獻[3]介紹的車牌檢測方法是水平掃描圖像，尋找重復對比度變化達15個像素或更多的區(qū)域。Draghici假設車牌的文字和背景之間的對比度足夠大，車牌區(qū)域至少有3到4個文字，文字最小垂直高度大約為15個像素。應當指出15這個特殊值是由使用的攝像機或圖像采集卡的分辨率、車輛與攝像機的平均距離和文字的實際大小決定的。參考文獻[4]RZimino和SRovetta提出了一種基于矢量量化的牌照檢測方法。然而向量四元樹(VQ)的方法需架構龐大的四元樹。T.D.Duan(見參考文獻[5])等人使用了Hough變換，由于Hough變換需要大量的計算量，T.D.Duan等采用了Hough變換和輪廓算法相結合的方法，使檢測精確率和運行時間都有了很大提高。C.-T.Hsieh(見參考文獻[6])中使用了小波變換的方法檢測車牌區(qū)域。檢測精確率大約是92%，但是這種方法在攝像頭和車輛之間的距離太遠或者太近，甚至是拍攝角度太寬的情況下都是不太穩(wěn)定的。隨著彩色圖像處理技術的發(fā)展，彩色圖像在車牌檢測研究中的作用也越來越重要，多種基于顏色特征的車牌檢測方法被提出。參考文獻[7]提出的基于圖像顏色的車牌檢測方法的基本思想是車牌的背景顏色和字符顏色很大可能只在車牌所在區(qū)域才發(fā)生關聯(lián)，而后使用HLS色彩模型對顏色進行區(qū)分，區(qū)分之后使用車牌特征(長寬比)等幾何特征進行檢測。但是這些基于顏色的方法都有很強的當?shù)靥厣?。另外，由于在戶外的光照條件發(fā)生改變的時候，所拍攝的車牌顏色很可能是不穩(wěn)定的，所以至今還沒有一種方法可以在自然條件下達到很高的檢測精確率。雖然現(xiàn)階段存在很多種基于各種方法的車牌檢測方法，但是由于車牌檢測本身受客觀條件(天氣、環(huán)境、拍攝條件、各國特點等等)和車牌本身條件(破損、污漬)的影響，使每種算法都存在一定的缺點。字符分割過程的目的是把一行或者多行字符組合中的每一個字符獨立完整地切割出來，成為單個的字符。作為車牌識別系統(tǒng)的關鍵步驟，車牌字符分割的準確性同樣可以決定整個系統(tǒng)的識別正確率。其中最常用的字符分割方法是投影法(見參考文獻[7])。投影法的核心思想是將車牌圖像二值化后，計算圖像所有列的垂直投影，然后依據垂直投影直方圖得到一個閾值，再與車牌的形狀和紋理特征相結合來分割字符。該方法簡單、易于實現(xiàn)，但是對車牌圖像質量要求較高，受噪聲影響較大，易造成分割字符的粘連與斷裂，在一定程度上影響了車牌的識別率。S.Nomura等人(見參考文獻[8])提出利用自適應形態(tài)學的方法對車牌模糊的圖像進行字符分割?；谥狈綀D的算法在分割字符之前自動檢測碎片和合并這些碎片。對于重疊字符的分割，形態(tài)學分級算法自動確定參考線；對于連接字符的分割，形態(tài)學細化算法和分割代價計算自動檢測基準線。該方法可以檢測斷裂、重疊或連接的字符，突出了自適應的特點。但是該算法計算復雜，不能應用于實時車牌識別系統(tǒng)。Y.Cui等人(見參考文獻[9])提出了利用時空信息的，基于馬爾科夫隨機場(MarkovRandomFields,MRF)的字符分割算法。該算法用于視頻序列中的車牌字符分割，但分割結果遠不適于自動字符識別。A.Capar等人(見參考文獻[10])建立了一個形狀驅動的活動輪廓模型，應用于車牌字符分割問題。這種方法存在對噪聲較敏感、前期處理要求較高等缺點.影響了其適用范圍。B.R.Lee等人(見參考文獻[11])使用了自適應局部二值化，先將已去邊框的車牌字符分割成單個的字符區(qū)域，然后對每個字符區(qū)域進行二值化，但當車牌噪聲較大時，該算法失效。參考文獻[12]的方法基于模式識別里聚類思想的聚類分析法。聚類法在解決字符粘連、漢字連通性以及抗噪聲等方面效果明顯，但是也存在邏輯設計復雜和運行時間長的問題。車牌字符識別實際上是依附在車牌上的印刷體文字的識別，能否正確識別不僅是文字識別技術的問題，還要考慮其載體一車牌區(qū)域的影響，也就是說車牌字符識別技術是文字識別技術與車牌圖像自身因素協(xié)調兼顧的綜合性技術。由于光照條件、天氣變化等自然因素和攝像機性能、車牌整潔度、車輛運動、拍攝傾斜角度等人為因素，車牌中的字符往往出現(xiàn)各種各樣質量的模糊污損、扭曲變形、干擾噪聲和多種分辨率，這些都給字符的識別增加了難度。目前最常用的車牌字符識別算法是基于神經網絡和模板匹配的方法。參考文獻[13]訓練了一個包含24個輸入元，15個隱層神經元，36個輸出元的多層感知神經網絡來識別26個拉丁字母和10個阿拉伯數(shù)字。識別結果為98.5%。但該算法訓練過程非常耗時，而且，隱層數(shù)目和相應的神經元需要經過多次嘗試才能確定。參考文獻[14]通過在車牌子圖像上移動字符模板并計算歸一化的交叉相關值，進行車牌字符識別。該系統(tǒng)處理每張圖片用時1.1秒。參考文獻[15]也使用模板匹配方法識別車牌字符。該方法識別速度快，但是對噪聲點比較敏感。在實際應用中，為了提高正確率往往需要使用大的模板或多個模板進行匹配，處理時間則隨著模板的增大以及模板個數(shù)的增加而增加。參考文獻[16]基于隱馬爾科夫模型，作者指出識別之前要先進行復雜的預處理過程和確定隱馬爾科夫模型參數(shù)，識別結果達95.7%。但該算法要求車牌寬度是圖像寬度的25%到75%之間，對攝像頭到車牌之間的距離有一定的限制。參考文獻[17]設計了一個基于SVM的車牌識別系統(tǒng)，識別率為97.2%?？墒?，該系統(tǒng)僅局限于韓國車牌。雖然車牌字符識別在技術上已經取得了一定的突破，然而離復雜多變的實際應用要求還有一定差距，許多新方法僅停留在理論和文章上或者限定在比較狹窄的約束范圍內，并不能以產品的形式大范圍投入使用，因而車牌字符識別的實用化研究仍然有很長的路要走。本發(fā)明就是針對這個實際應用存在的問題的解決方案，提出一種基于最大穩(wěn)定極值區(qū)域的車牌檢測與識別的方法。與本發(fā)明相關的參考文獻有[1]F.Martin,M.Garcia,andJ.L.Alba,"NewmethodsforautomaticreadingofVLP，s(VehicleLicensePlates)，”inProc.IASTEDInt.Conf.SPPRA，2002.[2]B.HongliangandLChangping，‘‘Ahybridlicenseplateextractionmethodbasedonedgestatisticsandmorphology，，，inProc.ICPR，2004，pp.831-834.[3]S.Draghici，‘‘Aneuralnetworkbasedartificialvisionsystemforlicenseplaterecognition，，，Int.J.NeuralSyst.，vol.8，no.1，pp.113-126，F(xiàn)eb.1997.[4]R.ZuninoandS.Rovetta,"Vectorquantizationforlicense-platelocationandimagecoding，，，IEEETrans.Ind.Electron.，vol.47，no.1，pp.159-167，F(xiàn)eb.2000.[5]T.D.Duan,T.L.H.Du,T.V.Phuoc,andN.V.Hoang，‘‘Buildinganautomaticvehiclelicense-platerecognitionsystem,，，inProc.Int.Conf.Comput.Sci.(RIVF)，2005，pp.59-63.[6]C.-T.Hsieh，Y._S.Juan,andK._M.Hung,"Multiplelicenseplatedetectionforcomplexbackground，，，inProc.IntConf.AINA,2005,vol.2,pp.389-392.[7]X.Shi，W.Zhao，andY.Shen.AutomaticLicensePlateRecognitionSystemBasedonColorImageProcessing[C].vol.3483，0.Gervasietal.，Ed.NewYorkSpringer-Verlag2005:1159-1168.[8]S.Nomura，K.Yamanaka，0.Katai，H.Kawakami，andT.Shiose，“Anoveladaptivemorphologicalapproachfordegradedcharacterimagesegmentation，，，PatternRecognit.，vol.38，no.11，pp.1961-1975，Nov.2005.[9]Y.CuiandQ.Huang，"Extractingcharactersoflicenseplatesfromvideosequences，”Mach.Vis.Appl.，vol.10，no.5/6，pp.308-320，Apr.1998.[10]A.CaparandM.Gokmen，“Concurrentsegmentationandrecognitionwithshape-drivenfastmarchingmethods，”inProc.18thICPR，HongKong,2006,vol.1，pp.155-158.[11]B.R.Lee,K.Park,H.Kang,H.Kim,andC.Kim,AdaptiveLocalBinarizationMethodforRecognitionofVehicleLicensePlates,vol.3322,R.KletteandJ.vZuni'c，Eds.NewYork:Springer_Verlag，2004，pp.646-655.[12]J.A.Sethian，“Afastmarchinglevelsetmethodformonotonicallyadvancingfronts,”inProc.Nat.Acad.Sci.,Feb.1996,vol.93,pp.1591-1595.[13]J.A.G.Nijhuis,M.H.terBrugge,K.A.Helmholt,J.P.ff.Pluim,L.Spaanenburg,R.S.Venema,andM.A.ffestenberg,"Carlicenseplaterecognitionwithneuralnetworksandfuzzylogic,"inProc.IEEEInt.Conf.NeuralNetw.,1995,vol.5，pp.2232-2236.[13]P.Comelli,P.Ferragina,M.N.Granieri,andF.Stabile,"Opticalrecognitionofmotorvehiclelicenseplates,，，IEEETrans.Veh.Technol.,vol.44,no.4，pp.790-799，Nov.1995.[14]Y.-P.Huang,S.~Y.Lai,andff.-P.Chuang,"Atemplate-basedmodelforlicenseplaterecognition,，，inProc.IEEEInt.Conf.Netw.,SensingandControl,2004，pp.737-742.[15]D.Llorens,A.Marzal,V.Palazon,andJ.M.Vilar,"CarlicenseplatesextractionandrecognitionbasedonconnectedcomponentsanalysisandHMMdecoding,"inLectureNotesonComputerScience,vol.3522,J.S.Marquesetal.,Eds.NewYork:Springer_Verlag,2005,pp.571-578.[16]K.K.Kim,K.I.Kim,J.B.Kim,andH.J.Kim,"Learning-basedapproach,forlicenseplaterecognition,"inProc.IEEESignalProcess.Soc.Workshop,NNsSignalProcess.，2000，vol.2，pp.614—623.
發(fā)明內容本發(fā)明專利的目的在于提供一種穩(wěn)定性和魯棒性更高的車牌檢測與識別的方法，用于車牌自動識別系統(tǒng)，實現(xiàn)車牌的自動檢測與識別。為達到上述目的，本發(fā)明提出了一種新的系統(tǒng)設計方案，其算法流程圖見附圖1。該方案包括MSER算法分割、車牌檢測、車牌字符識別三個步驟步驟1把待檢測圖像轉換成灰度圖像。提取最大穩(wěn)定極值區(qū)域(MSER)，得到候選車牌文字區(qū)域，實現(xiàn)了字符的分割；步驟2對于每個極值區(qū)域，采用一種有效的特征描述，然后利用事先訓練得到的分類器進行分類，將這些極值區(qū)域分為“文字”或“非文字”區(qū)域，再結合車牌自身結構特征，從原始圖像中提取出車牌；步驟3利用形狀上下文特征描述子，使用模板匹配的方法進行字符識別。具體而言，本發(fā)明所述的步驟2車牌檢測的具體過程為(2.1)對于每個極值區(qū)域，找到該極值區(qū)域的最小外接矩形，即找到該極值區(qū)域內像素點集合的最左邊，最右邊，最上邊和最下邊的像素位置；(2.2)對于該外接矩形圍成的子圖像，采用雙線性插值計算的方法，進行按比例縮放圖像操作，得到大小為24X48(像素)的子圖像；(2.3)設計一組Gabor濾波器用于提取該子圖像的紋理特征，具體方法為采用包含有5個尺度(u=0，1，2，3，4)8個方向(v=0，1，...，7)的Gabor濾波器組，共有40個濾波器，每個濾波器大小為32X32。通過該濾波器組得到Gabor特征的維數(shù)高達46080。本發(fā)明通過刪除一些行和列使得特征維數(shù)降低為原來的九分之一，相比PCA等其他方法更加節(jié)省時間。(2.4)利用事先訓練得到的分類器進行判別，該分類器的輸出結果為1或0，輸出1表明該極值區(qū)域為類似“文字”區(qū)域，反之表明該極值區(qū)域為“非文字”區(qū)域；(2.5)對于步驟(2.4)得到的所有類似“文字”區(qū)域，計算它們的重心坐標，區(qū)域重心是根據所有區(qū)域中的點計算而來的；(2.6)按照區(qū)域重心的行號對這些類似“文字”區(qū)域進行排序；(2.7)根據車牌本身固有的幾何特征和字符排列格式特征，比如車牌字符具有近似相同的高度或寬度，并且其重心近似成一條直線等特征，對這些類似“文字”區(qū)域的空間位置關系進行分析，可以得到一個區(qū)域集合，該集合包含的類似“文字”區(qū)域的個數(shù)最多，則認為該集合構成的子圖像是車牌；所述步驟(2.4)中Adaboost分類器訓練過程如下(2.4.1)選取樣本訓練樣本的要求是包含MSER區(qū)域的最小矩形圍成的子圖像，但是由于車牌文字以及車牌圖像背景的形態(tài)千差萬別，所以訓練樣本在選取過程中需要考慮到樣本的多樣性。訓練樣本大小都被歸一化為24X48像素，其中正例與反例的比例是12，各個樣本尤其是反例各不相同，分別具有一定的代表性；(2.4.2)根據所述步驟(2.3)中的方法，提取Gabor特征；(2.4.3)將Gabor特征轉化為對應的弱分類器使用CART(分類與回歸樹)作為弱分類器，CART只選用一個特征進行分類，即退化成了僅有一個劃分的簡單決策樹(stump)。CART弱分類器輸出結果為1或者0，輸出1表示判斷是真，也就是被判斷為車牌文字圖像，反之是假即非車牌文字圖像；(2.4.4)從大量的弱分類器中迭代選擇出最優(yōu)的分類器Adaboost算法的訓練過程的目的是挑選最優(yōu)弱分類器，并賦予其權重。在生成弱分類器之后，根據所需的弱分類器數(shù)量來進行訓練，并將所得到的弱分類器輸出使用。每個Gabor特征j對應一個弱分類器，其分類錯誤率為￡」，計算出最小分類錯誤率￡=min{ej},然后更新樣本權重，使錯分類的樣本權重加大，這樣按照Adaboost算法的訓練流程迭代并挑選一個最優(yōu)分類器。本發(fā)明所述的步驟3中車牌字符識別的具體過程為(3.1)對于步驟2得到的車牌子圖像內根據Adaboost算法判別為“文字”的區(qū)域，按照區(qū)域重心的列號進行排序；(3.2)對于車牌子圖像內每個“文字”區(qū)域，找到該區(qū)域的最小外接矩形，即找到該極值區(qū)域內像素點集合的最左邊，最右邊，最上邊和最下邊的像素位置；(3.3)對該子圖像利用Ostu算法二值化，并采用雙線性插值計算的方法，對該子圖像進行按比例縮放圖像操作，得到大小為48X96像素的圖像；(3.4)求該子圖像的輪廓線，并提取一組邊緣輪廓點；(3.5)對邊緣像素點進行精簡，檢查全部點對的距離，每次去除距離最小的點對中的一個點，直至剩下的點的數(shù)量達到要取樣的點的數(shù)量，規(guī)定該數(shù)量為100；(3.6)定義該子圖像為P，按照形狀上下文描述子的計算方法，計算形狀直方圖，得到每一個邊緣點Pi的形狀上下文hi(k)，k表示對第k個bin中所包含采樣點計數(shù)；(3.7)將該子圖像與模板庫中的每一個模板逐一比較，假設模板字符圖像為Q，第Qj個點的形狀上下文為(k)，計算P和Q之間的相似度，采用χ2分布距離來計算，得到匹配代價C(Pi，Qj)(PieP，qjeQ)，從而得到匹配代價矩陣C；(3.8)基于代價矩陣C，進行點的匹配操作，通過最小化如下匹配代價公式來獲得P和Q點集的一個對應關系η(i)(3.9)計算P和Q之間的形狀上下文距離；(3.10)根據形狀上下文距離大小，從小到大排序，距離最小的模板為匹配的模板，輸出該模板作為識別結果。所述的步驟(3.7)中模板形狀上下文計算通過下述步驟(3.7.1)創(chuàng)建匹配模板(3.7.2)采用雙線性插值計算的方法，對該子圖像進行按比例縮放圖像操作，得到大小為48X96像素的圖像；(3.7.3)利用Ostu方法計算圖像二值化的自適應閾值，并將該模板圖像二值化；(3.7.4)求該模板圖像的輪廓線，并提取一組邊緣輪廓點；(3.7.5)計算每一個邊緣點的形狀上下文。所述的步驟(3.7.1)中創(chuàng)建匹配模板的方法包括在實際圖像中采集得到字符模板。首先在MSER算法分割的基礎上，找到字符區(qū)域最左邊，最右邊，最上邊和最下邊的黑色像素位置，作為確定字符的實際邊框尺寸依據’然后采用插值計算的方法，進行按比例縮放圖像操作，以便得到規(guī)定的模板尺寸，規(guī)定模板大小為24X48像素的子圖像。本發(fā)明的主要特點有(1)車牌識別技術最基本的流程是依次經過車牌檢測、車牌字符分割、車牌字符識別三個步驟。本發(fā)明提出了一種新的設計方案，首先用MSER算法進行分割以便獲得類似字符的候選區(qū)域，然后用機器學習的辦法找到目標車牌區(qū)域，最后進行字符識別。(2)由于最大穩(wěn)定極值區(qū)域(MSER)具有仿射不變性、保鄰域性、穩(wěn)定性及多尺度特性，而且由于區(qū)域只由灰度值大小關系決定，對光照變化不敏感，因此，本發(fā)明提出的以MSER作為底層特征的車牌檢測與識別的方法，能夠適應復雜背景，具有良好的穩(wěn)定性和更高的識別率。(3)本發(fā)明充分利用Gabor特征的特性，將其作為最大穩(wěn)定極值區(qū)域的特征描述，有效地描述了車牌字符的紋理特征。(4)本發(fā)明基于最大穩(wěn)定極值區(qū)域，提出基于Adaboost分類器的目標檢測方法。本發(fā)明沒有將整個車牌目標作為整體進行訓練學習，而是將MSER算法分割出的車牌文字區(qū)域作為樣本進行學習。然后利用訓練好的Adaboost分類器分別檢測感興趣目標(即車牌)的各個部分(即車牌的各個字符)。由于Adaboost分類器能夠有很高的檢測率以及很快的檢測速度，適合構建實時的識別系統(tǒng)。(5)最大穩(wěn)定極值區(qū)域(MSER)算法能夠較準確地分割出車牌字符，本發(fā)明在此基礎上，利用形狀上下文(shapecontext)作為特征描述子是非常有效的，進而利用模板匹配方法完成了字符識別。圖1為本發(fā)明方法的流程圖。具體實施方式采用本發(fā)明的方法，首先編寫車牌自動識別軟件；然后在高速公路的入口處、收費站和其他任何合適位置采用攝像裝置自動拍攝車輛的原始圖像；接著把拍攝到的車輛原始圖像作為源數(shù)據輸入到車牌自動識別軟件中進行處理；識別出的車牌字符保存到硬盤上。下面通過具體實例來進一步說明本發(fā)明的應用。實施例1車牌檢測分為兩個階段(1)學習階段步驟1首先把待識別圖像轉換成灰度圖像。提取最大穩(wěn)定極值區(qū)域，得到候選車牌文字區(qū)域。步驟2選取樣本訓練樣本的要求是包含MSER區(qū)域的最小矩形圍成的子圖像。訓練樣本大小都被歸一化為24X48像素，其中正例與反例的比例是12，各個樣本尤其是反例各不相同，分別具有一定的代表性；步驟3設計一組Gabor濾波器用于提取該子圖像的紋理特征，具體方法為1)采用包含有5個尺度(U=0，1，2，3，4)8個方向(ν=0，1，...，7)的Gabor濾波器組，共有40個濾波器，每個濾波器大小為32X32。通過該濾波器組得到Gabor特征的維數(shù)高達46080；2)該子圖像依次與Gabor濾波器組的各個濾波器卷積后，得到120X384的矩陣，設為Α，對該矩陣實施如下過程第一步，從第3行開始，每隔3行刪除1行，得到矩陣A1；第二步，對矩陣A1，從第2行開始，每隔2行刪除1行，得到矩陣A2；第三步，對矩陣A2,從第3列開始，每隔3列刪除1列，得到矩陣A3；第四步，對矩陣A3，從第2列開始，每隔2列刪除1列，得到矩陣A4,A4為40Χ128，這樣就使得特征維數(shù)降低為原來的九分之一。步驟4將Gabor特征轉化為對應的弱分類器使用CART(分類與回歸樹)作為弱分類器，CART只選用一個特征進行分類，即退化成了僅有一個劃分的簡單決策樹(stump)。CART弱分類器輸出結果為1或者0，輸出1表示判斷是真，也就是被判斷為車牌文字圖像，反之是假即非車牌文字圖像；步驟5從大量的弱分類器中迭代選擇出最優(yōu)的分類器每個Gabor特征j對應一個弱分類器，其分類錯誤率為ε」，計算出最小分類錯誤率ε=min{ε彡，然后更新樣本權重，使錯分類的樣本權重加大，這樣按照Adaboost算法的訓練流程迭代并挑選一個最優(yōu)分類器。(2)檢測階段步驟1首先把待識別圖像轉換成灰度圖像。提取最大穩(wěn)定極值區(qū)域，得到候選車牌文字區(qū)域。步驟2對于每個極值區(qū)域，找到該極值區(qū)域的最小外接矩形，即找到該極值區(qū)域內像素點集合的最左邊，最右邊，最上邊和最下邊的像素位置；步驟3對于該外接矩形圍成的子圖像，采用雙線性插值計算的方法，進行按比例縮放圖像操作，得到大小為24Χ48(像素)的子圖像；步驟4設計一組Gabor濾波器用于提取該子圖像的紋理特征，具體方法為采用包含有5個尺度(u=0，1，2，3，4)8個方向(ν=0,1,...，7)的Gabor濾波器組，共有40個濾波器，每個濾波器大小為32X32。該子圖像依次與Gabor濾波器組的各個濾波器卷積后，得到120X384的矩陣，設為Α，維數(shù)高達46080；對該矩陣實施如下過程第一步，從第3行開始，每隔3行刪除1行，得到矩陣A1；第二步，對矩陣A1，從第2行開始，每隔2行刪除1行，得到矩陣A2；第三步，對矩陣A2，從第3列開始，每隔3列刪除1列，得到矩陣A3；第四步，對矩陣A3,從第2列開始，每隔2列刪除1列，得到矩陣A4,A4為40X128，這樣就使得特征維數(shù)降低為原來的九分之一。步驟5利用事先訓練得到的分類器進行判別，該分類器的輸出結果為1或0，輸出1表明該極值區(qū)域為類似“文字”區(qū)域，反之表明該極值區(qū)域為“非文字”區(qū)域；步驟6對于上一步得到的所有類似“文字”區(qū)域，計算它們的重心坐標，區(qū)域重心是根據所有區(qū)域中的點計算而來的；步驟7按照區(qū)域重心的行號對這些類似“文字”區(qū)域進行排序；步驟8根據車牌字符具有近似相同的高度或寬度，并且其重心近似成一條直線等車牌本身固有的幾何特征，對這些類似“文字”區(qū)域的空間位置關系進行分析，可以得到一個區(qū)域集合，該集合包含的“文字”區(qū)域的個數(shù)最多，則認為該集合構成的子圖像是車牌；車牌識別過程也分為兩個階段(1)創(chuàng)建匹配模板，并計算每個模板的形狀上下文步驟1在提取最大穩(wěn)定極值區(qū)域的基礎上，找到字符區(qū)域最左邊，最右邊，最上邊和最下邊的黑色像素位置，作為確定字符的實際邊框尺寸依據；步驟2采用插值計算的方法，進行按比例縮放圖像操作，以便得到規(guī)定的模板尺寸，規(guī)定模板大小為48X96像素的子圖像；步驟3利用Ostu方法計算圖像二值化的自適應閾值，并將該模板圖像二值化；步驟4求該模板圖像的輪廓線，并提取一組邊緣輪廓點；步驟5計算每一個邊緣點的形狀上下文。(2)車牌字符識別步驟1對于車牌檢測階段得到的車牌矩形框內根據Adaboost算法判別為“文字”的區(qū)域，按照區(qū)域重心的列號進行排序；步驟2對于車牌矩形框內每個“文字”區(qū)域，找到該區(qū)域的最小外接矩形，即找到該極值區(qū)域內像素點集合的最左邊，最右邊，最上邊和最下邊的像素位置；步驟3對該子圖像利用Ostu算法二值化，并采用雙線性插值計算的方法，對該子圖像進行按比例縮放圖像操作，得到大小為48X96像素的圖像；步驟4求該子圖像的輪廓線，并提取一組邊緣輪廓點；步驟5對邊緣像素點進行精簡，檢查全部點對的距離，每次去除距離最小的點對中的一個點，直至剩下的點的數(shù)量達到要取樣的點的數(shù)量，規(guī)定該數(shù)量為100；步驟6:定義該子圖像為P，按照形狀上下文描述子的計算方法，計算形狀直方圖，得到每一個邊緣點Pi的形狀上下文hi(k)，k表示對第k個bin中所包含采樣點計數(shù)；步驟7將該子圖像與模板庫中的每一個模板逐一比較，假設模板字符圖像為Q，第q^個點的形狀上下文為、(k)，計算P和Q之間的相似度，采用X2分布距離來計算，得到匹配代價C(Pi，Qj)(PieP，qjeQ)，從而得到匹配代價矩陣C；步驟8:基于代價矩陣C，進行點的匹配操作，通過最小化如下匹配代價公式來獲得P和Q點集的一個對應關系η(i)步驟9計算P和Q之間的形狀上下文距離；步驟10根據形狀上下文距離大小，從小到大排序，距離最小的模板為匹配的模板，輸出該模板作為識別結果。權利要求一種基于最大穩(wěn)定極值區(qū)域的車牌檢測與識別的方法，其特征在于具體步驟為步驟1.把待檢測圖像轉換成灰度圖像提取仿射不變特征區(qū)域——最大穩(wěn)定極值區(qū)域，得到候選車牌文字區(qū)域，這些區(qū)域包括大量非車牌文字區(qū)域；步驟2.對于每個極值區(qū)域，找到它最左邊，最右邊，最上邊和最下邊的像素位置，即得到包含該極值區(qū)域的最小矩形框；步驟3.對于該矩形框圍成的子圖像，進行按比例縮放圖像操作，得到大小為24×48像素的子圖像；步驟4.設計一組Gabor濾波器用于提取該子圖像的紋理特征；步驟5.利用事先訓練得到的分類器進行判別，該分類器的輸出結果為1或0，輸出1表示判斷為真，表明該極值區(qū)域為類似“文字”區(qū)域，反之是假，表明該極值區(qū)域為“非文字”區(qū)域；步驟6.對于步驟5得到的所有類似“文字”區(qū)域，計算它們的重心坐標(x0，y0)，公式如下<mrow><msub><mi>x</mi><mn>0</mn></msub><mo>=</mo><mfrac><mn>1</mn><mrow><mo>|</mo><mi>R</mi><mo>|</mo></mrow></mfrac><munder><mi>Σ</mi><mrow><mn>1</mn><mo>≤</mo><mi>i</mi><mo>≤</mo><mo>|</mo><mi>R</mi><mo>|</mo></mrow></munder><msub><mi>x</mi><mi>i</mi></msub></mrow><mrow><msub><mi>y</mi><mn>0</mn></msub><mo>=</mo><mfrac><mn>1</mn><mrow><mo>|</mo><mi>R</mi><mo>|</mo></mrow></mfrac><munder><mi>Σ</mi><mrow><mn>1</mn><mo>≤</mo><mi>i</mi><mo>≤</mo><mo>|</mo><mi>R</mi><mo>|</mo></mrow></munder><msub><mi>y</mi><mi>i</mi></msub></mrow>其中，R代表類似“文字”區(qū)域，|R|為由類似“文字”區(qū)域內所有像素組成的集合的勢，即該區(qū)域內像素點的個數(shù)，i表示該區(qū)域內第i個像素點，(xi，yi)為該區(qū)域內第i個像素點的坐標；區(qū)域重心是根據所有區(qū)域中的點計算而來的；步驟7.按照區(qū)域重心的行號對這些類似“文字”區(qū)域進行排序；步驟8.根據車牌字符具有近似相同的高度或寬度，并且其重心近似成一條直線等車牌本身固有的幾何特征和字符排列格式特征，對這些類似“文字”區(qū)域的空間位置關系進行分析，得到一個區(qū)域集合，該集合內包含的“文字”區(qū)域的個數(shù)最多，則認為該集合構成的子圖像是車牌；步驟9.對于車牌子圖像內根據Adaboost算法判別為“文字”的區(qū)域，按照區(qū)域重心的列號進行排序；步驟10.對于車牌子圖像內每個“文字”區(qū)域，按照步驟2的方法，得到包含該“文字”區(qū)域的最小矩形框圍成的子圖像；步驟11.對該子圖像進行二值化處理，并進行按比例縮放圖像操作，得到大小為48×96像素的圖像；步驟12.對該子圖像進行邊緣檢測，并提取一組邊緣輪廓點；步驟13.對邊緣像素點進行精簡，方法為檢查全部點對的距離，每次去除距離最小的點對中的一個點，直至剩下的點的數(shù)量達到要取樣的點的數(shù)量，規(guī)定該數(shù)量為100；步驟14.對于步驟10得到的子圖像，定義為P，計算形狀上下文特征；形狀上下文的計算方法為考慮形狀P的參考點pi，對形成的以其為始點，以其余點為終點的矢量集合，構造這個集合的相應的形狀直方圖描述即將整個集合視為一個空間，對空間按照角度和距離進行劃分，角度空間分為12份，距離按照log2r劃分為5份，形成12×5的子空間，并對形成的各個子空間進行統(tǒng)計描述hi(k)＝#{q≠pi∶(q-pi)∈bin(k)}其中，#表示計數(shù)，bin表示劃分后的子空間，k∈{1，2，...，K}，K為劃分以后子空間的數(shù)目，得到點pi的含有60個分量的形狀直方圖，稱為該點對應的形狀上下文；步驟15.將該子圖像與模板庫中的每一個模板逐一比較，假設字符模板圖像為Q，字符Q的第qj個點的形狀上下文為hj(k)，計算P和Q之間的相似度，采用χ2分布距離來計算，得到匹配代價C(pi，qj)(pi∈P，qj∈Q)，<mrow><mi>C</mi><mrow><mo>(</mo><msub><mi>p</mi><mi>i</mi></msub><mo>,</mo><msub><mi>q</mi><mi>j</mi></msub><mo>)</mo></mrow><mo>=</mo><mfrac><mn>1</mn><mn>2</mn></mfrac><munderover><mi>Σ</mi><mrow><mi>k</mi><mo>=</mo><mn>1</mn></mrow><mi>K</mi></munderover><mfrac><msup><mrow><mo>[</mo><msub><mi>h</mi><mi>i</mi></msub><mrow><mo>(</mo><mi>k</mi><mo>)</mo></mrow><mo>-</mo><msub><mi>h</mi><mi>j</mi></msub><mrow><mo>(</mo><mi>k</mi><mo>)</mo></mrow><mo>]</mo></mrow><mn>2</mn></msup><mrow><msub><mi>h</mi><mi>i</mi></msub><mrow><mo>(</mo><mi>k</mi><mo>)</mo></mrow><mo>+</mo><msub><mi>h</mi><mi>j</mi></msub><mrow><mo>(</mo><mi>k</mi><mo>)</mo></mrow></mrow></mfrac></mrow>從而得到匹配代價矩陣C<mfencedopen='['close=']'><mtable><mtr><mtd><mi>C</mi><mrow><mo>(</mo><msub><mi>p</mi><mn>1</mn></msub><mo>,</mo><msub><mi>q</mi><mn>1</mn></msub><mo>)</mo></mrow></mtd><mtd><mi>C</mi><mrow><mo>(</mo><msub><mi>p</mi><mn>1</mn></msub><mo>,</mo><msub><mi>q</mi><mn>2</mn></msub><mo>)</mo></mrow></mtd><mtd><mo>.</mo><mo>.</mo><mo>.</mo></mtd><mtd><mi>C</mi><mrow><mo>(</mo><msub><mi>p</mi><mn>1</mn></msub><mo>,</mo><msub><mi>q</mi><mi>n</mi></msub><mo>)</mo></mrow></mtd></mtr><mtr><mtd><mi>C</mi><mrow><mo>(</mo><msub><mi>p</mi><mn>2</mn></msub><mo>,</mo><msub><mi>q</mi><mn>1</mn></msub><mo>)</mo></mrow></mtd><mtd><mi>C</mi><mrow><mo>(</mo><msub><mi>p</mi><mn>2</mn></msub><mo>,</mo><msub><mi>q</mi><mn>2</mn></msub><mo>)</mo></mrow></mtd><mtd><mo>.</mo><mo>.</mo><mo>.</mo></mtd><mtd><mi>C</mi><mrow><mo>(</mo><msub><mi>p</mi><mn>2</mn></msub><mo>,</mo><msub><mi>q</mi><mi>n</mi></msub><mo>)</mo></mrow></mtd></mtr><mtr><mtd><mo>.</mo></mtd><mtd><mo>.</mo></mtd><mtd></mtd><mtd><mo>.</mo></mtd></mtr><mtr><mtd><mo>.</mo></mtd><mtd><mo>.</mo></mtd><mtd></mtd><mtd><mo>.</mo></mtd></mtr><mtr><mtd><mo>.</mo></mtd><mtd><mo>.</mo></mtd><mtd></mtd><mtd><mo>.</mo></mtd></mtr><mtr><mtd><mi>C</mi><mrow><mo>(</mo><msub><mi>p</mi><mi>m</mi></msub><mo>,</mo><msub><mi>q</mi><mn>1</mn></msub><mo>)</mo></mrow></mtd><mtd><mi>C</mi><mrow><mo>(</mo><msub><mi>p</mi><mi>m</mi></msub><mo>,</mo><msub><mi>q</mi><mn>2</mn></msub><mo>)</mo></mrow></mtd><mtd><mo>.</mo><mo>.</mo><mo>.</mo></mtd><mtd><mi>C</mi><mrow><mo>(</mo><msub><mi>p</mi><mi>m</mi></msub><mo>,</mo><msub><mi>q</mi><mi>n</mi></msub><mo>)</mo></mrow></mtd></mtr></mtable></mfenced>m為P內點的個數(shù)，n為Q內點的個數(shù)；步驟16.基于匹配代價矩陣C，進行點的匹配操作，P的點集{p1，p2，…，pm}和Q的點集{q1，q2，…，qn}，通過最小化如下匹配代價公式來獲得P和Q點集的一個對應關系π(i)<mrow><mi>H</mi><mrow><mo>(</mo><mi>π</mi><mo>)</mo></mrow><mo>=</mo><munder><mi>Σ</mi><mi>i</mi></munder><mi>C</mi><mrow><mo>(</mo><msub><mi>p</mi><mi>i</mi></msub><mo>,</mo><msub><mi>q</mi><mrow><mi>π</mi><mrow><mo>(</mo><mi>i</mi><mo>)</mo></mrow></mrow></msub><mo>)</mo></mrow><mo>;</mo></mrow>步驟17.計算P和Q之間的形狀上下文距離；步驟18.根據形狀上下文距離大小，從小到大排序，距離最小的模板為匹配的模板，輸出該模板作為識別結果。2.根據權利要求1所述的方法，其特征在于，所述的步驟4中設計一組Gabor濾波器提取該子圖像的紋理特征，其步驟為(4.1)采用包含有5個尺度(u=0，1，2，3，4)8個方向(v=0，1，…，7)的Gabor濾波器組，共有40個濾波器，每個濾波器大小為32X32；通過該濾波器組得到Gabor特征的維數(shù)為46080；(4.2)降維該子圖像大小為24X48像素，依次與Gabor濾波器組的各個濾波器卷積后，得到120X384的矩陣，設為A，對該矩陣實施如下過程第一步，從第3行開始，每隔3行刪除1行，得到矩陣Ai；第二步，對矩陣~，從第2行開始，每隔2行刪除1行，得到矩陣A2；第三步，對矩陣4，從第3列開始，每隔3列刪除1列，得到矩陣A3；第四步，對矩陣A3，從第2列開始，每隔2列刪除1列，得到矩陣A4;A4為40X128，這樣就使得特征維數(shù)降低為原來的九分之一。3.根據權利要求2所述的方法，其特征在于，所述的步驟5中Adaboost分類器的訓練過程，其步驟為(5.1)選取樣本按照樣本多樣性的要求選取訓練樣本，訓練樣本大小都被歸一化為24X48像素，其中正例與反例的比例是12，各個樣本分別具有一定的代表性；(5.2)提取Gabor特征；(5.3)將Gabor特征轉化為對應的弱分類器使用CART作為弱分類器，CART弱分類器輸出結果為1或者0，輸出1表示判斷是真，即被判斷為車牌文字圖像，反之是假即非車牌文字圖像；(5.4)從大量的弱分類器中迭代選擇出最優(yōu)的分類器每個Gabor特征j對應一個弱分類器，其分類錯誤率為％_，計算出最小分類錯誤率￡=min{ej},然后更新樣本權重，使錯分類的樣本權重加大，這樣按照Adaboost算法的訓練流程迭代并挑選一個最優(yōu)分類器。4.根據權利要求1所述的方法，其特征在于，所述的步驟15中模板形狀上下文的計算步驟為(15.1)創(chuàng)建匹配模板(15.2)對該子圖像進行按比例縮放圖像操作，得到大小為48X96像素的圖像；(15.3)對該模板圖像進行二值化處理；(15.4)對該模板圖像進行邊緣檢測，并提取一組邊緣輪廓點；(15.5)計算每一個邊緣點的形狀上下文。5.根據權利要求4所述的方法，其特征在于，所述的步驟(15.1)中創(chuàng)建匹配模板的方法包括(15.1.1)在實際圖像中采集得到字符模板首先在MSER算法分割的基礎上，找到字符區(qū)域最左邊，最右邊，最上邊和最下邊的像素位置，作為確定字符的實際邊框尺寸依據；(15.1.2)進行按比例縮放圖像操作，以便得到規(guī)定的模板尺寸，規(guī)定模板大小為24X48像素的子圖像。全文摘要本發(fā)明屬于模式識別與圖像處理
技術領域：
，涉及一種基于最大穩(wěn)定極值區(qū)域的車牌檢測與識別方法。首先提取最大穩(wěn)定極值區(qū)域(MSER)，得到候選車牌文字區(qū)域；對于每個極值區(qū)域，采用一種有效的特征描述，然后利用事先訓練得到的分類器進行分類，將這些極值區(qū)域分為“文字”或“非文字”區(qū)域，再結合車牌自身結構特征，從原始圖像中提取出車牌；利用形狀上下文的特征描述，用模板匹配的方法完成字符識別。由于最大穩(wěn)定極值區(qū)域具有仿射不變性、穩(wěn)定性及多尺度特性，而且由于區(qū)域只由灰度值大小關系決定，對光照變化不敏感，因此本發(fā)明提出的以其作為底層特征的車牌檢測與識別的方法，適應復雜背景，具有良好的穩(wěn)定性和更高的識別率。文檔編號G06K9/62GK101859382SQ20101019162公開日2010年10月13日申請日期2010年6月3日優(yōu)先權日2010年6月3日發(fā)明者楊夙,牛海軍申請人:復旦大學