本發(fā)明涉及智能交通領域，具體地，涉及一種魯棒的車牌、車標識別方法。
背景技術：
：近年來，隨著人們生活品質的逐步提升，汽車的需求量也日益增大。為了提高道路交通管理效率，有效應對盜車、違規(guī)駕駛等交通問題，智能交通系統(tǒng)應運而生，其關鍵技術包括車牌和車標識別。車牌是車輛的唯一標識，自動并正確地識別車牌有利于提高交通與車輛管理效率。然而，僅僅依靠車牌識別技術并不足以解決日趨復雜的交通問題。車標作為區(qū)分不同汽車廠商最顯著的標識，可以有效彌補車牌識別技術存在的不足，大大提升系統(tǒng)的可靠性。車牌識別方法通常包括車牌檢測、字符分割、字符識別等步驟。Thanongsak等提出一種基于車牌模式和監(jiān)督學習的4層反向傳播神經(jīng)網(wǎng)絡，識別率達96％。Menotti等的卷積神經(jīng)網(wǎng)絡與SVM相結合的方法，精度達96％以上。Sharma等利用小波變換獲取特征，結合多類徑向基的神經(jīng)網(wǎng)絡的方法，定位精度為97.6％，識別率達98.8％。王毅等人提出一種基于HVS色彩模型結合Adaboost的車牌檢測方法，定位成功率達98.1％。但是由于拍攝視角、光照、分辨率、場景等因素的影響，在現(xiàn)有方法中。字符分割往往是整個方法的關鍵，常用的方法有垂直投影法，連通域分析法等，其效果直接決定著后續(xù)的識別。然而，車牌污損、不清晰等因素使得傳統(tǒng)的過于依賴字符分割的方法性能大大降低。在車標識別方面，現(xiàn)有的一些方法有：Sam等的徑向切比雪夫的方法，識別率達92％，但其測試樣本較少，代表性不強；Zhang等的模板匹配的方法，識別率達95％；Llorca等的HOG+SVM的方法，識別率達92.6％；Psyllos等的基于Merge-SIFT特征的方法，識別率達94.6％，但對低分辨率的情況效果不好；Yu等的基于Bag-of-Words的方法，識別率達97.3％，其樣本為分割較好、僅包含車標的圖像，對于實際中粗略分割的樣本魯棒性差。Huang等的基于預訓練的卷積神經(jīng)網(wǎng)絡的方法，識別率達99.07％。雖然，上述方法取得了不錯的效果，但大多是基于已經(jīng)定位分割得比較理想的車標樣本，而目前現(xiàn)有方法在車標定位上的準確率往往還不能令人滿意，從而使這些依賴于準確定位分割的方法難以有效處理實際應用中包含復雜背景的車標圖片。技術實現(xiàn)要素：為了克服上述現(xiàn)有技術的不足，本發(fā)明首先提出一種魯棒的車牌識別方法。該方法具有魯棒性強、避免過于依賴字符分割的優(yōu)點。本發(fā)明還提出一種魯棒的車標識別方法，該方法對于不精確的車標定位具有較好的魯棒性。為了實現(xiàn)上述目的，本發(fā)明的技術方案為：一種魯棒的車牌識別方法，包括車牌檢測階段和車牌識別階段，在車牌檢測階段實現(xiàn)車牌區(qū)域的定位，基于定位后的車牌圖像再進行車牌識別，其中車牌識別階段具體實現(xiàn)過程為：11)對定位后車牌區(qū)域進行灰度化；12)利用最大穩(wěn)定極值區(qū)域MSER檢測方法在灰度化的車牌區(qū)域中尋找最大穩(wěn)定極值區(qū)域，并對其檢測結果進行候選字符窗口的排序，具體是根據(jù)每個候選字符窗口左上角起點的橫坐標進行排序；13)對MSER的檢測結果進行非字符窗口的初步濾除；14)記錄并保存初步過濾后的每個候選字符窗口的置信度、中心點坐標以及寬和高，進而得到該特定車牌的字符寬、高均值；15)利用保存的中心點坐標以及特定車牌的字符寬、高的均值進行字符窗口恢復；16)利用基于滑動窗的檢測方法和該特定車牌字符寬、高的均值，進一步檢測MSER方法可能漏檢的字符；17)利用能量優(yōu)化的方法對候選字符窗口進行識別，輸出最終車牌識別的結果；能量優(yōu)化方程如下式所示：其中，x＝{xi|i＝1,2,...,n}為窗口類標的集合，xi表示第i個窗口的類標，Ei(xi)＝1-p(xi|ci)為一元項，表示自能量，其中ci表示第i個窗口，p(xi|ci)為窗口ci屬于xi類的概率。Eij(xi,xj)為二元項，表示互能量，當xi與xj均為背景類時，Eij(xi,xj)＝0，否則Eij(xi,xj)＝λexp(-[100-Overlap(xi,xj)]2)，其中Overlap(xi,xj)表示窗口之間重疊部分占窗口總面積的百分數(shù)，λ為調整互能量權重的參數(shù)，ε表示互有交集的窗口對的集合。車牌檢測階段的具體實現(xiàn)過程為：21)用Adaboost檢測器對車牌樣本進行檢測，獲取若干個候選區(qū)域；22)利用SVM分類器對Adaboost檢測結果進行篩選，找出置信度最高的區(qū)域；23)對SVM的篩選結果進行紋理分析，確定車牌的邊界，獲取精確定位的車牌區(qū)域；24)對紋理分析的結果進行判定，基于下面的公式，當θ＞0.8時，則沒有過分割，保留基于紋理分析的定位結果，否則拒絕基于紋理分析的定位結果，保留SVM篩選及精確定位后的結果；其中AreaTexture_analysis表示基于紋理分析去邊處理后車牌區(qū)域的面積，AreaSVM表示SVM篩選及精確定位后車牌區(qū)域的面積。一種基于所述車牌識別方法的車標識別方法，包括以下步驟：31)根據(jù)車標與車牌位置關系的先驗知識，以及精確定位的車牌位置坐標，獲得車標所在的大致區(qū)域；32)利用Adaboost檢測器在大致區(qū)域中進行車標檢測，獲得車標的候選區(qū)域(記為ROI)，在這些ROI的并集區(qū)域內等間隔地提取局部描述子；接著對所有ROI進行加權，構建權值圖，具體過程如下：構建一張尺寸與輸入圖像I相同的輔助權值圖W，令Ri∈S為第i個ROI的像素位置集合，S為輸入圖像中所有ROI的集合，RI為輸入圖像中所有像素位置的集合，對于每一個Ri，利用下式計算其權值分布，其中，|Ri|表示Ri中所有像素的數(shù)量，(x,y)表示像素的坐標。假設每個ROI同等重要，利用下式合并圖片中所有ROI的權重分布，從而構建出完整的權值圖；33)利用加權的特征編碼方式對車標樣本進行表達，具體過程如下：設為提取的局部描述子特征向量集合，l為特征維數(shù)，N為特征向量的個數(shù)。利用K-means生成一個包含M個聚類的碼本求解與特征向量yi相對應的編碼向量ci，如下式：其中，符號⊙表示逐個元素相乘，λ為調節(jié)保真度和規(guī)范化之間平衡的參數(shù)；di刻畫yi與碼本B中各碼字bj的相似關系，用于調節(jié)ci的局部性，由下式求得：其中，||yi,B||＝[||y1,b1||,||y2,b2||,...,||yi,bM||]T，||yi,bj||表示yi與bj之間的歐式距離，參數(shù)σ用于調整局部性；為了提高編碼效率，對每個yi∈Y，選出使其歐式距離||yi,B||最小的前K個碼字，構成局部基向量矩陣對應的編碼向量通過下式最小化求解：接著，利用學習得到的權值圖W對局部編碼向量進行加權，如下式所示：ci←W(x,y)ci即利用(x,y)處的權值W(x,y)來加權與該處描述子所對應的編碼向量ci；接著，需要對加權后的編碼向量進行最大值池化，如下式：c＝max(c1,c2,...,cN)其中max執(zhí)行逐分量的最大化操作。引入空間金字塔結構在多個尺度下對編碼向量進行分區(qū)域的池化處理。金字塔被分成L層，在第r層(r＝1,2,...,L)，圖像的特征空間會被分成2r-1×2r-1個矩形區(qū)域，在其中每個矩形區(qū)域內提取l維池化的編碼向量。將每層的特征向量全部串聯(lián)起來構成最終維的向量。34)利用區(qū)分性字典對學習(DDPL)方法對編碼特征進行識別并輸出結果：設X＝[X1,X2,...,XK]為包含K類的訓練樣本集，為第k類的子集，p為特征向量維數(shù)，h為每類樣本的數(shù)量。令D為所要學習的字典，A為編碼系數(shù)矩陣?；诮M稀疏的區(qū)分性字典對模型，目標函數(shù)定義如下式：其中，{Dk,Pk}構成了關于第k類的子字典對；Ak是第k類的的編碼系數(shù)矩陣；表示除了Xk之外的所有訓練樣本；參數(shù)λ＞0控制Pk對的表達；τ、ω為正，用于平衡對應項的貢獻；mk是Ak的均值列向量，m是所有類的均值列向量，Mk是各列為mk的矩陣；di表示D的第i列，用于避免平凡解。與傳統(tǒng)技術相比，本發(fā)明的優(yōu)點有：(1)針對傳統(tǒng)的車牌檢測方法魯棒性不強、分割出的車牌區(qū)域含有較多背景的問題，本發(fā)明提出一種結合Adaboost檢測、SVM篩選以及紋理分析去邊的車牌精確檢測方法，對光照、視角、分辨率、場景等具有較好的魯棒性，大大減少了檢測出的車牌區(qū)域中的背景干擾。(2)針對傳統(tǒng)的車牌識別技術過于依賴準確的字符分割的問題，本發(fā)明提出一種以最大穩(wěn)定極值區(qū)域檢測為主、滑動窗檢測為輔，結合能量優(yōu)化的車牌識別方法，能夠有效檢出傳統(tǒng)的字符分割方法難以處理的車牌污損、不清晰等情況下的字符，而且使得字符檢測與識別同步進行，打破傳統(tǒng)的“先分割再識別”的模式。(3)針對傳統(tǒng)車標識別技術對車標定位依賴較大的問題，本發(fā)明提出一種基于加權的特征編碼和基于判別性字典對的稀疏表達車標識別方法，在僅提供粗定位的車標區(qū)域時也能夠取得高識別率。附圖說明圖1為車牌檢測模塊實現(xiàn)流程圖。圖2為車牌識別模塊實現(xiàn)流程圖。圖3為車標識別模塊實現(xiàn)流程圖。圖4為本發(fā)明車牌車標識別方法的總體實現(xiàn)流程圖。具體實施方式下面結合附圖對本發(fā)明做進一步的描述，但本發(fā)明的實施方式并不限于此。本發(fā)明的車牌車標組合識別方法，具有較強的魯棒性。其主要實現(xiàn)兩個功能：一是對待檢車輛進行車牌識別；二是對待檢車輛進行車標識別。總體過程是首先檢測出車牌的位置，根據(jù)先驗知識獲得粗分割的車標，再利用本發(fā)明的方法對車牌和車標進行識別。車牌識別和車標識別：(一)車牌識別車牌識別階段主要包括兩大模塊：車牌檢測階段和車牌識別階段。(1)車牌檢測階段，如圖1；1)利用Adaboost檢測器對樣本進行檢測，獲取若干個候選區(qū)域。2)利用SVM分類器對Adaboost檢測結果進行篩選，找出置信度最高的區(qū)域。3)對SVM的篩選結果進行紋理分析，通過對目標區(qū)域的前景線、前景點比例、背景線等統(tǒng)計，從而確定車牌的邊界，最終獲取精確定位的車牌區(qū)域。4)對紋理分析的結果進行判定，去除過分割的情況。如式(1)所示，當θ＞0.8時，認為沒有過分割，保留基于紋理分析的定位結果，否則拒絕基于紋理分析的定位結果，保留SVM篩選及精確定位后的結果；(2)車牌識別階段，如圖2；本發(fā)明中提出了一種以最大穩(wěn)定極值區(qū)域檢測(MSER)為主，滑動窗檢測為輔，結合能量優(yōu)化的車牌識別方法。具體過程如下：1)對精確定位的車牌圖片灰度化。2)利用MSER方法尋找車牌中的最大穩(wěn)定極值區(qū)域，并對其檢測結果——即候選字符窗口，根據(jù)每個窗口左上角起點的橫坐標大小進行排序；3)對MSER檢測結果進行非字符窗口的初步濾除。主要分為兩步：第一步，利用SVM字符分類器濾除一部分非字符窗口，主要去除一些較為明顯的非字符窗口。第二步，根據(jù)字符規(guī)格特性濾除SVM無法有效去除的一些污點和局部字符。4)記錄并保存每個候選字符窗口的置信度、中心點坐標以及寬和高，進而得到該特定車牌的字符寬、高均值。5)利用保存的中心點坐標以及字符寬、高的均值進行字符窗口恢復。6)利用基于滑動窗的檢測方法和該特定車牌字符寬、高的均值，進一步檢測MSER方法可能漏檢的字符。7)利用能量優(yōu)化的方法對候選字符窗口進行識別，輸出最終車牌識別的結果。能量優(yōu)化方程如式(2)所示。其中，x＝{xi|i＝1,2,...,n}為窗口類標的集合，xi表示第i個窗口的類標，Ei(xi)＝1-p(xi|ci)為一元項，表示自能量，其中ci表示第i個窗口，p(xi|ci)為窗口ci屬于xi類的概率。Eij(xi,xj)為二元項，表示互能量，當xi與xj均為背景類時，Eij(xi,xj)＝0，否則Eij(xi,xj)＝λexp(-[100-Overlap(xi,xj)]2)，其中Overlap(xi,xj)表示窗口之間重疊部分占窗口總面積的百分數(shù)，λ為調整互能量權重的參數(shù)。ε表示互有交集的窗口對的集合。(二)車標識別，如圖3；1)車標粗定位。根據(jù)車標與車牌位置關系的先驗知識，以及精確定位的車牌位置坐標，獲得粗略分割的車標區(qū)域。2)感興趣的區(qū)域(記為ROI)檢測和局部描述子提取。利用Adaboost檢測器在大致區(qū)域中進行車標檢測，找出所有感興趣區(qū)域，在這些ROI的并集區(qū)域內等間隔地提取局部描述子；接著對所有ROI進行加權，構建權值圖，具體過程如下：構建一張尺寸與輸入圖像I相同的輔助權值圖W。令Ri∈S為第i個ROI的像素位置集合，S為輸入圖像中所有ROI的集合，RI為輸入圖像中所有像素位置的集合。對于每一個Ri，可以利用式(3)計算其權值分布。其中，|Ri|表示Ri中所有像素的數(shù)量，(x,y)表示像素的坐標。假設每個ROI同等重要，利用式(4)合并圖片中所有ROI的權重分布，從而構建出完整的權值圖。3)利用加權的特征編碼方式對車標樣本進行表達。具體過程如下：設為提取的局部描述子特征向量集合，l為特征維數(shù)，N為特征向量的個數(shù)。利用K-means生成一個包含M個聚類的碼本求解與特征向量yi相對應的編碼向量ci，如式(5)所示：其中，符號⊙表示逐個元素相乘，λ為調節(jié)保真度和規(guī)范化之間平衡的參數(shù)；di刻畫yi與碼本B中各碼字bj的相似關系，用于調節(jié)ci的局部性，由式(6)求得：其中，||yi,B||＝[||y1,b1||,||y2,b2||,...,||yi,bM||]T，||yi,bj||表示yi與bj之間的歐式距離，參數(shù)σ用于調整局部性；為了提高編碼效率，對每個yi∈Y，選出使其歐式距離||yi,B||最小的前K個碼字，構成局部基向量矩陣對應的編碼向量可以通過最小化式(7)求解：接著，利用學習得到的權值圖W對局部編碼向量進行加權，如式(8)所示：ci←W(x,y)ci(8)即利用(x,y)處的權值W(x,y)來加權與該處描述子所對應的編碼向量ci；接著，對加權后的編碼向量進行最大值池化，如式(9)所示：c＝max(c1,c2,...,cN)(9)其中max執(zhí)行逐分量的最大化操作。引入空間金字塔結構在多個尺度下對編碼向量進行分區(qū)域的池化處理。金字塔被分成L層，在第r層(r＝1,2,...,L)，圖像的特征空間會被分成2r-1×2r-1個矩形區(qū)域，在其中每個矩形區(qū)域內提取l維池化的編碼向量。將每層的特征向量全部串聯(lián)起來構成最終維的向量。4)利用本發(fā)明提出的區(qū)分性字典對學習(DDPL)方法對編碼特征進行識別并輸出結果。設X＝[X1,X2,...,XK]為訓練樣本集，其中為第k類的樣本子集，p為特征維數(shù)，h為每類樣本的數(shù)量。令D為所要學習的字典，A為編碼系數(shù)矩陣?；诮M稀疏的區(qū)分性字典對模型，定義如下(10)的目標函數(shù)：其中，{Dk,Pk}構成了關于第k類的子字典對；Ak是第k類的的編碼系數(shù)矩陣；表示除了Xk之外的所有訓練樣本；參數(shù)λ＞0控制Pk對的表達；τ、ω為正，用于平衡對應項的貢獻；mk是Ak的均值列向量，m是所有類的均值列向量，Mk是各列為mk的矩陣；di表示D的第i列，用于避免平凡解。(三)實驗數(shù)據(jù)實驗中用于Adaboost訓練的車牌正樣本3000張，負樣本8000張；用于SVM訓練的正樣本2500張(與Adaboost不同)，負樣本4000張。用于測試的樣本共3334張，其中高速公路采集的樣本2495張，分辨率為1360*1024像素，拍攝時間為白天不同時段，具有不同光照、天氣、背景，拍攝地點包括不同高速路口；停車場采集樣本839張；分辨率為720*576像素，拍攝時間分為白天和夜晚。表1所示為本發(fā)明所提出方法在不同數(shù)據(jù)集下的車牌定位精度。表1本發(fā)明所提出方法在不同數(shù)據(jù)集下的車牌定位精度表2所示為本發(fā)明所提出車牌識別方法的整體效果。表2本發(fā)明提出車牌識別方法的整體效果表3所示為不同方法的車標識別效果。其中，CS表示使用LLC方法對車標樣本進行編碼，配合SVM進行分類；WCS表示使用基于加權的LLC方法進行編碼，配合SVM進行分類；WCD表示使用基于加權的LLC編碼，配合DDPL進行分類。表3不同方法的車標識別效果CSWCSWCD車標識別精度96.5％97.76％97.95％速度0.34/s張0.34/s張0.36/s張表4所示為整個車牌、車標識別系統(tǒng)的測試效果。表4整個車牌、車標識別系統(tǒng)的測試效果從實驗結果可以看出，整個系統(tǒng)的車牌識別準確率為97.50％，車標識別準確率為98.16％，系統(tǒng)速度約為1.2s/張，能夠較好的完成對車牌和車標信息的提取，而且基本可以實現(xiàn)實時應用的需求。同時，也充分說明了本發(fā)明的方法能夠具有較好的魯棒性和實用性。與傳統(tǒng)技術相比，本發(fā)明的優(yōu)點有：(1)對于傳統(tǒng)的車牌檢測方法魯棒性不強、分割出的車牌四周背景冗余較多的問題，本發(fā)明提出一種基于Adaboost檢測、SVM篩選，配合紋理分析去邊的車牌精確檢測方法，可以有效檢測不同地點、光照、視角、分辨率、背景復雜度的樣本，而且檢測出的車標區(qū)域包含較少的背景干擾。(2)對于傳統(tǒng)的車牌識別技術對字符分割依賴較大的問題，本發(fā)明提出一種以最大穩(wěn)定極值區(qū)域檢測為主、滑動窗檢測為輔，配合能量優(yōu)化的車牌識別方法，不僅能夠有效檢出傳統(tǒng)的字符分割方法難以處理的車牌污損、不清晰等情況下的字符，而且使得字符檢測與識別同步進行，打破傳統(tǒng)的“先分割再識別”的模式。(3)對于傳統(tǒng)車標識別技術對定位依賴較大，在處理包含復雜背景的樣本時魯棒性較低的問題，本發(fā)明提出一種基于加權的特征編碼配合區(qū)分性字典對學習的車標識別方法，能夠有效處理車標粗略定位、分割不好、包含復雜背景的情況，大大降低了對車標定位的依賴。以上所述的本發(fā)明的實施方式，并不構成對本發(fā)明保護范圍的限定。任何在本發(fā)明的精神原則之內所作出的修改、等同替換和改進等，均應包含在本發(fā)明的權利要求保護范圍之內。當前第1頁1 2 3