專利名稱：對道路圖像進行車牌識別的方法和系統(tǒng)的制作方法
技術領域：
本發(fā)明屬于數字圖像處理及模式識別技術領域，具體涉及一種對道路圖像進行車 牌識別的方法和系統(tǒng)。
背景技術：
近年來，隨著計算機及互聯(lián)網技術的飛速發(fā)展，各種機動車數量的迅猛增長，各類 信息包括與交通相關的信息呈現爆炸式增長的態(tài)勢，為了能夠更加安全、高效的管理這些 信息，智能交通系統(tǒng)(Intelligence Transportation System)應運而生。智能交通系統(tǒng)可 以在收費卡口，停車場，刑事追蹤等方面展現出強大的作用，而對車牌的檢測和識別是其最 為核心的組成部分。目前，雖然現在已經有了很多相對成熟的車牌識別產品，但是更高的準確率，更少 的耗時，依然吸引著人們去不斷進行研究。實際上，隨著相關領域的新發(fā)展，例如新的底層 特征的發(fā)明，更好的分類算法的提出等，都為車牌識別算法的改進提供了新的機會。另外， 現在商用的車牌識別系統(tǒng)大多只對特定的條件下有比較好的效果，例如特定的光照，距離， 角度，車牌制式(包括顏色、格式、文字)，而在變化了的環(huán)境下系統(tǒng)的準確率可能會大大降 低甚至失效，還沒有哪個系統(tǒng)可以在各種不同的條件下做到健壯穩(wěn)定(與人識別車牌的能 力還有很大差距)。在本文的第三部分會對關于這方面的一篇文章進行專門討論。再有，對 于自然條件拍攝的圖片和視頻，例如手持或車載攝像機拍攝下來的，進行車牌檢測與識別 也是一個值得研究的方向。目前存在的一些車牌識別技術中，大都將整個識別分為三個過程，如圖1所示，為 b車牌定位，c車牌字符分割，d車牌字符識別。其中對于b，使用的技術種類繁多，雖然可以分成幾類，但類之間的界限并不是很 明顯。大致有如下一些方法:A邊緣檢測后二值化，這個是使用的最多的一種方法，它在與 數學形態(tài)學方法結合后，就已經能夠得到比較好的就結果了。很常用的一個邊緣檢測算子
"-ι ο Γ
是縱向sobel算子。它的計算式為-2 0 2，而縱向邊緣檢測相較于橫向，它的優(yōu)勢，而縱
-1 0 1_
向邊緣檢測相較于橫向，它的優(yōu)勢在于一個含有車牌的圖像中車的橫向邊緣較多，而車牌 上字符的縱向邊緣較多。這種方法計算快速，效果較好，但是一個很大的缺點就是難以處理 復雜的圖像，如何有效地去除不相關的邊緣信息，(例如車輛進氣口，燈光區(qū)域，周圍樹木， 粗糙的地面等)，是一個非常關鍵的問題.B數學形態(tài)學操作，主要是腐蝕、膨脹，開閉運算 等。C連通區(qū)域分析(CCA)，最典型的是四連通和八連通方法以及各種聚類方法，與連通區(qū) 域目的相同，分出一些候選區(qū)域。D分塊分析。將圖像分為若干塊，分別計算其均值、方差、 邊緣信息等特征?；瑒哟翱?。與分塊思想類似，但是是逐點計算特征的。E彩色圖像處理， 依據RGB顏色信息。F各種分類器，包括Ada-Boost，SVM, ANN, GP, GA等。對于c，現在的技術分為如下幾類。A 二值圖像處理投影方法。是當前各種文獻中使用最多的一種技術，通常的做法是先進行橫向投影，剪切掉上下區(qū)域；然后進行縱向投 影，切分出每一個字符。B局部自適應二值化。在很多文章中局部自適應二值化或者類似的 方法，它通過分塊、逐點或者分字符來計算某一區(qū)域內的均值，對比度等特征，然后分別進 行二值化。出C傾斜校正方法。種類比較多，有利用HT定位車牌框的，也有使用顏色信息 的，還有直方圖分析的。D層次分割與合并、分裂方法。E數學形態(tài)學，腐蝕、膨脹運算。車 牌字符分割這一步其實難度是比較大的，因為如果分割失誤或者二值效果不好，后面的字 符識別很有可能就會失效。而不同的光照條件，車牌周圍的近似顏色或形狀，不同的車牌制 式，都會制約著車牌字符分割的方法，使得目前難以產生極其健壯的分割技術。多數方法都 還只是在特定情況下表現出良好的性能。對于d，0CR(光學字符識別)是模式識別領域的一個重要分支，它的目標是將圖像 形式的各種文字識別為文本形式下的。車牌字符識別便是OCR的一種特殊形式，車牌字符 識別的過程可以簡化為特征提取與特征匹配。針對字符圖像的特征提取的方法多種多樣， 有逐像素特征提取法、骨架特征提取法、垂直方向數據統(tǒng)計特征提取法、基于網格的特征提 取法、弧度梯度特征提取法等很多。另外不進行特征提取，或者說將字符圖像的黑白值直接 作為特征，依靠分類器的強大分類能力進行識別，也是一種可以采用的方式。而特征匹配的 方法，主要分為以下三種A.基于統(tǒng)計/混合/分層次的分類器B.ANN. C.模板匹配法.其 中ANN是最為常見的且性能較優(yōu)的。

發(fā)明內容
本發(fā)明的目的在于提供一種對靜態(tài)圖像進行車牌識別的方法和系統(tǒng)，旨在解決智 能交通系統(tǒng)(ATI)中的核心問題，獲取監(jiān)控圖像中的車牌號碼，為后面更深層次的應用做 準備。本發(fā)明提供的所述車牌識別的方法，包括車牌定位，車牌字符分割和車牌字符識 別三個步驟；所述車牌定位，是對輸入的圖像進行分割，得到一組車牌候選區(qū)。它的輸入為一張 圖片，大小任意，然后進行預處理，基于DBSCAN的聚類兩個步驟，輸出一組車牌候選區(qū)；所述預處理過程的任務是對原始彩色圖像進行處理，生成一張包含邊緣信息的二 值圖像。它包括圖像灰度化，sobel縱向邊緣檢測+車牌顏色增強，圖像二值化三個步驟。所述的sobel縱向邊緣檢測+車牌顏色增強，是對全圖進行sobel縱向檢測，在檢 測過程中，對于邊緣信息p (x，y)，若> K，對其周圍x*x鄰域進行掃描，對其中每一行，如有 車牌顏色出現，則增強P(x，y)10% ；實施例中K = 30，x = 7 ；這里的車牌顏色只各種車牌 中可能出現的顏色集合。所述基于DBSCAN的聚類是使用DBSCAN密度聚類方法對二值圖片進行聚類，將所 有的點劃分為幾個高密度區(qū)，超過一定閾值T的區(qū)域稱為候選區(qū)，閾值T根據實際的場景 大小通過調試而確定。這里將臨界半徑分為RH和RW，表示長寬方向上的半徑，一般RW = 3*RH ；實施例中取RH = 10，RW = 30，T = 300 ；然后計算各個區(qū)域的屬性，包括長、寬，長寬 比等，刪除區(qū)域兩側過少的點。最后對候選區(qū)的屬性進行判斷，排除不合形狀的區(qū)域，輸出 可能的候選區(qū)。所述的車牌字符分割，是對車牌候選區(qū)分別進行字符的分割，刪除錯誤候選區(qū)，對每個其他候選得到一組字符塊。它包含二次預處理和基于投影的分割兩個步驟；所述二次預處理過程，是先對區(qū)域圖片進行灰度化，然后利用均值閾值將其二值 化，最后通過水平投影，尋找投影圖中上下低谷區(qū)域，認為其為無用區(qū)域，刪除之。得到二值 車牌局部圖像。所述基于投影的分割，它的輸入為二值車牌局部圖像，輸出是一組圖像字符塊，通 常為7個(車牌上的字符數)。首先進行垂直投影，認為波谷區(qū)為無用區(qū)，其它為字符區(qū)，以 此劃分出若干區(qū)域。然后對于區(qū)域進行分析判斷，以排除非車牌區(qū)域。最后再對每一字符 圖像切除上下空白。生成一組字符區(qū)域。所述車牌字符識別，是對每組字符塊進行識別，排除錯誤候選區(qū)，生成識別出的車 牌號碼，車牌顏色以及車牌區(qū)域坐標。它的輸入為單個二值區(qū)域，輸入是識別出來的字符， 包括漢字、數字和字母。首先如果區(qū)域的寬高比> 4，其區(qū)域內點密度大于某一閾值，則直 接識別該字符為1。然后將整個二值圖像序列作為特征，帶入各自分類器進行分類，輸出結 果。如果識別的字符不為7個，則認為其為非車牌區(qū)域。最終生成識別出的車牌號碼，車牌 顏色以及車牌區(qū)域坐標。所述的分類器，其特征在于，預先分別對數字、字符和漢字建立二值模板，分類時 采用模板匹配的方式進行識別，輸出識別結果。本發(fā)明還提供一種車牌識別的系統(tǒng)，包括實現所述的車牌識別方法三個步驟的三 個模塊車牌定位模塊、車牌字符分割模塊和車牌字符識別模塊。輸入是一張圖片，輸入是 若干子區(qū)域圖片和識別結果描述文檔xml文件?？梢杂卸喾N參數選擇，具有動態(tài)配置參數 的功能，具有動態(tài)定義輸出的功能，可以輸出車牌局部圖片、駕駛員位置局部圖片、車標局 部圖片、車身局部圖片、縮略圖等，可以方便替換車牌識別方法，易于進行批量處理。所述多種參數選擇是指在程序名后加參數，plate, other, all，可以分別只識別車 牌輸出號碼及位置，只計算輸出其他局部圖片(由車牌位置推斷)和進行全部處理。實現 了關鍵過程(車牌識別)和其他過程的分離。所述的計算輸出駕駛員位置局部圖片，依據車牌位置和車型大小，估算駕駛員位 置，并與原圖像進行比對，校正后輸出駕駛員位置局部圖片。所述的計算輸出車標局部圖片，依據車牌位置，對車牌上方區(qū)域進行掃描，尋找車 標，在分割后輸出車牌位置局部圖片。所述的計算輸出車身局部圖片，依據車牌位置和車型大小，估算車身位置，并與原 圖像進行比對，校正后輸出車身局部圖片。


圖1是車牌識別流程圖。圖2是車牌定位模塊流程圖。圖3是車牌字符分割模塊流程圖。圖4是對一張圖片進行識別的實施例圖。圖5是車牌識別系統(tǒng)的流程圖。
具體實施例方式為了使本發(fā)明的目的、技術方案及優(yōu)點更加明白，以下結合附圖及實施例，對本發(fā) 明進行進一步詳細說明。應當理解，此處所描述的具體實施例僅用以解釋本發(fā)明，并不用于 限定本發(fā)明。圖1示出了車牌識別方法的主要流程。包括車牌定位，車牌字符分割和車牌字符 識別三個階段。中間傳遞的值是1或多個車牌候選區(qū)域，在b、c、d依次的運行過程當中，錯 誤的候選區(qū)被逐步拋棄。最終輸出車牌號碼。圖2示出了車牌定位模塊流程。對于一張輸入原始圖片，例如圖4左上角所示。首 先對它進行灰度化，灰度化的公式為gray = 0. 299R+0. 587G+0. 114B，其中gray代表灰度 值，R，G，B分別為圖像的三個分量。其次進行縱向sobel邊緣檢測，在縱向檢測過程當中， 進行對車牌顏色的增強，具體的規(guī)則是(藍色舉例)，對于邊緣信息P(x，》，若> 30，對其 周圍7*7鄰域進行掃描，對其中每一行，如有藍色點出現，則增強p(x，y) 10%，這里藍色指 (G< 150，R< 150，B>G，B>R)。再次進行二值化，得到一幅黑白點圖，如圖4中右上角 所示，不難看出，車牌附近的點比較密集，此為下一步聚類的基礎。之后采用DBSCAN密度聚類算法得到一組候選區(qū)，圖2中虛線所示部分為聚類算 法的具體步驟。它的大體思想就是對于密度比較高的區(qū)域，認為它們屬于同一區(qū)域。在此 實施例中，橫向半徑RH取值為10，縱向半徑RW取值為30，密度閾值取250。之后進行后 處理，刪除兩次空白區(qū)域，排除不合形狀的區(qū)域，在此實施例中，認為車牌區(qū)域形狀應滿足 2.5<長寬比<7，80<長< 220，20<寬<60。至此，定位階段結束。圖4中，右側中部偏 上的一張圖可以看出，共分出了 5個區(qū)域，這5個區(qū)域即為候選區(qū)。中部偏下的圖片示出了 車牌的那個候選區(qū)的局部圖像。圖3示出了車牌字符分割模塊流程。對于輸入的每一個候選區(qū)，先進行一系列的 預處理，包括灰度化，二值化和水平投影。圖4中最下面中央的是二值化的結果，而它左邊 是其對應的水平投影圖，它的上面是它在經過上下無用區(qū)間切割之后的結果。然后進行基 于投影的分割，具體包括垂直投影、分出字符區(qū)和空白區(qū)；區(qū)域分析、淘汰錯誤候選；對單 個字符細切分三個過程。結果如圖4中央偏下的小圖所示，由幾條縱向白線切分出了各個 字符。之后帶入識別引擎進行文字的識別，輸出車牌號碼蘇BPG016。如圖4左側中部小圖 所示。圖5示出了車牌識別系統(tǒng)的大體流程。它支持三種不同的使用方式，分別為參數 是all、無參數或參數other但無后續(xù)坐標的情況；參數plate的情況；參數other后面加上 兩組坐標的情況。在參數為all時，該系統(tǒng)將進行全部操作，先定位并識別車牌，然后由其 計算各種局部區(qū)域圖片，最后輸出。參數Plate表示只識別車牌并輸出，參數other表示只 計算各種局部區(qū)域圖片并輸出。這里的局部區(qū)域包括，駕駛員區(qū)域，車標區(qū)域和車身區(qū)域。 這些局部區(qū)域圖片將會為智能交通系統(tǒng)的其他后續(xù)應用提供一定的幫助。最后的輸出中還 包括一個xml文檔，描述識別的結果。
權利要求
一種對道路圖像進行車牌識別的方法，其特征在于，包括車牌定位，車牌字符分割和車牌字符識別三個步驟；所述車牌定位，是對輸入的圖像進行分割，得到一組車牌候選區(qū)；所述車牌字符分割，是對車牌候選區(qū)分別進行字符的分割，刪除錯誤候選區(qū)，對每個其他候選得到一組字符塊；所述車牌字符識別，是對每組字符塊進行識別，排除錯誤候選區(qū)，生成識別出的車牌號碼，車牌顏色以及車牌區(qū)域坐標。
2.根據權利要求1所述的方法，其特征在于，所述車牌定位步驟中，輸入為一張圖片， 大小任意，然后進行預處理、基于DBSCAN的聚類兩個步驟；所述預處理過程的任務是對原始彩色圖像進行處理，生成一張包含邊緣信息的二值圖 像；預處理過程包含圖像灰度化，sobel縱向邊緣檢測+車牌顏色增強，圖像二值化三個步 驟；所述基于DBSCAN的聚類的任務是對二值圖像進行聚類處理，生成一組車牌候選區(qū)；其 步驟為使用DBSCAN密度聚類方法對二值圖片進行聚類，將所有的點劃分為幾個高密度 區(qū)，超過一定閾值T的區(qū)域稱為候選區(qū)；這里將臨界半徑分為RH和RW，表示長寬方向上的 半徑，Rff = 3*rh ；然后計算各個區(qū)域的屬性，包括長、寬，長寬比，刪除區(qū)域兩側過少的點； 最后對候選區(qū)的屬性進行判斷，排除不合形狀的區(qū)域，輸出可能的候選區(qū)。
3.根據權利要求2所述的方法，其特征在于所述的sobel縱向邊緣檢測+車牌顏色增 強，其步驟為對全圖進行sobel縱向檢測，在檢測過程中，對于邊緣信息ρ (x, y)，若大于K， 對其周圍χ*χ鄰域進行掃描，對其中每一行，如有車牌顏色出現，則增強P(χ，y)10%,這里 的車牌顏色指各種車牌中可能出現的顏色集合。
4.根據權利要求1所述的方法，其特征在于所述的車牌字符分割包含二次預處理和基 于投影的分割兩個步驟；所述二次預處理過程是對每個候選區(qū)進行灰度化，局部二值化，水平投影操作，生成二 值車牌圖像；所述基于投影的分割是對二值圖像進行垂直投影，然后逐個字符切分，最后輸出一組 圖像字符塊。
5.根據權利要求4所述的方法，其特征在于所述的二次預處理，其步驟為先對區(qū)域圖 片進行灰度化，然后利用均值閾值將其二值化，最后通過水平投影，尋找投影圖中上下低谷 區(qū)域，認為其為無用區(qū)域，刪除之，得到二值車牌局部圖像。
6.根據權利要求4所述的車牌識別方法，其特征在于所述的基于投影的分割，其步驟 為首先進行垂直投影，認為波谷區(qū)為無用區(qū)，其它為字符區(qū)，以此劃分出若干區(qū)域；然后 對于區(qū)域進行分析判斷，排除非車牌區(qū)域；最后再對每一字符圖像切除上下空白；生成一 組字符區(qū)域。
7.根據權利要求1所述的方法，其特征在于所述的車牌字符識別，其步驟為輸入為單 個二值區(qū)域，輸出是識別出來的字符，包括漢字、數字和字母；首先如果區(qū)域的寬高比> 4， 其區(qū)域內點密度大于某一閾值，則直接識別該字符為1 ；然后將整個二值圖像序列作為特 征，帶入各自分類器進行分類，輸出結果；如果識別的字符不為7個，則認為其為非車牌區(qū) 域；最終生成識別出的車牌號碼，車牌顏色以及車牌區(qū)域坐標。
8.根據權利要求7所述的車牌識別方法，其特征在于用所述用分類器進行分類，是預 先分別對數字、字符和漢字建立二值模板，分類時采用模板匹配的方式進行識別，輸出識別結果。
9.一種車牌識別的系統(tǒng)，其特征在于，包括車牌定位模塊、車牌字符分割模塊、車牌 字符識別模塊三個部分，是基于權利要求1所述的車牌識別方法的；輸入是一張圖片，輸出 是若干子區(qū)域圖片和識別結果描述文檔xml文件；有多種參數選擇，具有動態(tài)配置參數的功能，具有動態(tài)定義輸出的功能，輸出車牌局部 圖片、駕駛員位置局部圖片、車標局部圖片、車身局部圖片、縮略圖；方便替換車牌識別方 法，易于進行批量處理；所述多種參數選擇是指在程序名后加參數，plate，other，all，分別只識別車牌輸出號 碼及位置，只計算輸出其他局部圖片和進行全部處理，實現關鍵過程和其他過程的分離。
10.根據權利要求9所述的車牌識別系統(tǒng)，其特征在于所述的計算輸出駕駛員位置局 部圖片，是依據車牌位置和車型大小，估算駕駛員位置，并與原圖像進行比對，校正后輸出 駕駛員位置局部圖片；所述的計算輸出車標局部圖片，是依據車牌位置，對車牌上方區(qū)域進 行掃描，尋找車標，在分割后輸出車牌位置局部圖片；所述的計算輸出車身局部圖片，是依 據車牌位置和車型大小，估算車身位置，并與原圖像進行比對，校正后輸出車身局部圖片。
全文摘要
描述了一種進行車牌識別的方法和系統(tǒng)，該方法可以為智能交通系統(tǒng)提供支持，并能廣泛應用在停車場，收費卡口，刑事緝拿等方面。方法主要包括定位、字符分割、字符識別三個階段。有較高的識別率，能夠應對較復雜的環(huán)境并能達到實時處理的要求。系統(tǒng)封裝了上述方法，并提供了不同的參數，可靈活使用。便于分布，批量處理數據。
文檔編號G06K9/00GK101872416SQ20101016698
公開日2010年10月27日 申請日期2010年5月6日 優(yōu)先權日2010年5月6日
發(fā)明者馮瑞, 王琰濱, 薛向陽, 金城 申請人:復旦大學