專利名稱：從視頻流中提取和識別車輛牌號的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種車輛牌號的方法，特別涉及一種運用運動檢測技術(shù)和對象特征判定方法從視頻流中取得候選車牌區(qū)域，并通過追蹤技術(shù)將同一車牌的候選區(qū)域歸并后合并一次文字識別，實現(xiàn)實時車牌識別。
背景技術(shù)：
從連續(xù)動畫或錄像中提取移動物體的特征，包括車輛牌照和人臉的重要性和應(yīng)用領(lǐng)域日益擴(kuò)大。在實際應(yīng)用中視頻產(chǎn)生的圖像每秒鐘有25 30幀，要在幀與幀之間隔內(nèi)對每一幀作識別處理是現(xiàn)有計算機(jī)系統(tǒng)能力難以達(dá)到的。另外逆光、太陽光斑或車前燈耀光等環(huán)境因素造成取得的圖像動態(tài)范圍大，無法 以統(tǒng)一的閥值標(biāo)準(zhǔn)處理，造成日間和夜晚及特殊照明條件下識別精度誤差。

發(fā)明內(nèi)容
本發(fā)明所要解決的技術(shù)問題是要提供一種可靠性高的從視頻流中提取和識別車輛牌號的方法。為了解決以上的技術(shù)問題，本發(fā)明提供了一種從視頻流中提取和識別車輛牌號的方法，包括以下的步驟
Stepl.通過視頻設(shè)備接口，從視頻流中獲取最新的圖像；
Step2.運動偵測計算；
運用幀間差分法運動偵測技術(shù)對連續(xù)動畫作差分計算，尋找是否有運動部分，如果沒有發(fā)現(xiàn)運動部分直接返回Stepl ；
Step3.尋找候選車牌；
將St印2算出的運動部分用Sobel變換等算法尋找到候選車牌位置，如果沒有發(fā)現(xiàn)候選的，則從對比度灰度調(diào)整表中取下一對調(diào)整值對圖像作對比度和灰度變換后再試，重復(fù)直至表中最后一對調(diào)整值也沒有發(fā)現(xiàn)候選車牌，判定為無車牌返回Stepl ；
在上述計算中發(fā)現(xiàn)候選區(qū)域的話，即停止對比度灰度變化進(jìn)入下一步驟；
Step4.車牌特征判定；
根據(jù)車牌特征對候選區(qū)域作篩選，如果發(fā)現(xiàn)不符合車牌特征的候選區(qū)域則直接返回Stepl ο所述車牌特征為車牌外框是否符合平行四邊形特征，日本車牌的上、下行之高度比為I :2的特征；
Step5.候選車牌追蹤；
運用Lucas-Kanade追蹤算法對在圖像視野范圍內(nèi)的候選區(qū)域進(jìn)行跟蹤比較,通過計算判定和上一幀的候選區(qū)域是否屬于同一車牌；如果發(fā)現(xiàn)和上一次尋找到車牌候選是同一車牌的話，將之加入候選區(qū)域集合，待歸并后一起識別計算，返回Stepl ；
如果發(fā)現(xiàn)非同一車牌，或者候選區(qū)域離開圖像視頻，則將該候選區(qū)域集合交由下一步驟做文字分割和識別；
Step6.車牌文字識別；
從候選區(qū)域集合中選取條件較好的一幅圖像做文字分割并運用神經(jīng)網(wǎng)絡(luò)和OCR算法識別文字信息，識別完成后清楚該當(dāng)候選對象集合；
Step7.識別結(jié)果輸出；
將識別結(jié)果之文字信息和圖像等數(shù)據(jù)輸出后，返回Stepl。本發(fā)明根據(jù)視頻規(guī)格(PAL制25幀/秒，NTSC制30幀/秒)以一定的時間間隔從視頻設(shè)備獲取圖像，按照以上的步驟尋找車牌候選區(qū)域、追蹤并識別車牌文字信息。本發(fā)明的優(yōu)越功效在于· 1)通過運動偵測技術(shù)和車牌的特征比縮小搜索范圍，大大提高運算速度；
2)運用對比度和灰度的動態(tài)調(diào)整方法克服了實際運用中環(huán)境因素的不利影響，在逆光和太陽反射，以及夜間車前大燈輝光照射下也都能夠取得良好的識別效果；
3)運用追蹤方式將通過攝像機(jī)視野的統(tǒng)一車輛的車牌集中起來匯總做一次處理的方法，解決了文字分割和識別處理所需時間大于視頻間隔的矛盾，在小型計算機(jī)上也能真正實現(xiàn)實時的識別處理。


圖I為本發(fā)明的工作流程示意 圖2為本發(fā)明Step3的工作流程示意 圖3為本發(fā)明Step3中對比度/灰度的調(diào)整表。
具體實施例方式請參閱附圖所示，對本發(fā)明作進(jìn)一步的描述。如圖I所示，本發(fā)明提供了一種從視頻流中提取和識別車輛牌號的方法，包括以下的步驟
Stepl.通過視頻設(shè)備接口，從視頻流中獲取最新的圖像；
Step2.運動偵測計算；
運用幀間差分法運動偵測技術(shù)對連續(xù)動畫作差分計算，尋找是否有運動部分，如果沒有發(fā)現(xiàn)運動部分直接返回Stepl ；
由于相關(guān)特征信息只能存在于運動物體部分中，所以運用幀間差分法運動偵測技術(shù)能過濾掉輸入圖像中不要的部分，對提高運算速度有很大幫助。Step3.尋找候選車牌，；
在發(fā)現(xiàn)的有運動部分的圖像上利用Sobel變換等方法可以尋找到車牌的候選位置；如果沒有發(fā)現(xiàn)候選的，則從對比度灰度調(diào)整表中取下一對調(diào)整值對圖像作對比度和灰度變換后再試，重復(fù)直至表中最后一對調(diào)整值也沒有發(fā)現(xiàn)候選車牌，判定為無車牌返回Stepl ；在上述計算中發(fā)現(xiàn)候選區(qū)域的話，即停止對比度灰度變化進(jìn)入下一步驟。為排除逆光、陰影、太陽光斑、車前燈干擾等不利因素，本發(fā)明預(yù)先定義對應(yīng)于各種可能狀況的多檔對比度和灰度調(diào)整數(shù)值表(如圖3所示)，在尋找特征部分時通過在各檔調(diào)整值上反復(fù)試驗，可以大大提高檢出的動態(tài)范圍，如圖2所示。
Step4.車牌特征判定；
對尋找到的車牌候選區(qū)域進(jìn)行特征比對，如果不符合車牌特征的話，判定為非車牌區(qū)域，直接返回Stepl。在實際車牌候選部分檢測和提取時，受各種環(huán)境等因素限制往往會發(fā)生誤識別，最典型的場面是將車前燈玻璃的格柵部分誤認(rèn)為是車牌，從而造成漏檢。因此，對候選區(qū)域的特征校驗也是提高識別率的重要環(huán)節(jié)。車牌的原始形狀是矩形，長寬比也是嚴(yán)格根據(jù)規(guī)格制作的。在實際攝像機(jī)視野中取得的車牌即使由于攝影角度關(guān)系發(fā)生變形后也應(yīng)該符合平行四邊形特征，這些特征可以運用在車牌候選區(qū)域的篩選上。另外，日本車牌在規(guī)格設(shè)計上分為上下兩排，其上、下二行的高度比正好是I :2。利用四邊形傾斜旋轉(zhuǎn)后高度比例不變的原理，實際拍攝得到變形后的車牌也應(yīng)該保持上下 行高度比I :2的特征，這個特征也是本發(fā)明校驗車牌區(qū)域的標(biāo)準(zhǔn)之一。本發(fā)明通過特征校驗過濾掉不符合特征的候選區(qū)域，從而減少不必要的耗費大量計算資源的文字識別運算。Step5.候選車牌追蹤；
運用Lucas-Kanade等追蹤算法對候選區(qū)域進(jìn)行跟蹤比較，如果發(fā)現(xiàn)和上一次尋找到車牌候選是同一車牌的話，將之加入候選區(qū)域集合，待歸并后一起識別計算，返回Stepl ；如果發(fā)現(xiàn)非同一車牌，或者候選區(qū)域離開圖像視頻，則將該候選區(qū)域集合交由下一步驟做文字分割和識別。攝像機(jī)中取得幀和幀之間隔的一個時鐘周期通常為1/25秒(PAL)或1/30秒(NTSC)。而車牌識別特別是文字分割和文字識別運算非常消耗計算資源和時間，在現(xiàn)有計算機(jī)上通常要耗費100 200毫秒，顯然對每一幀都作特征識別是不現(xiàn)實的。為解決識別算法耗時和時鐘周期不吻合的矛盾，本發(fā)明采用移動體追蹤算法對車牌候選區(qū)域計算追蹤角點，根據(jù)角點分布跟蹤并從每幀畫面上切割出特征候選區(qū)域，將相同的車牌候選加入一個候選集合，歸并在一起做一次文字分割和識別運算即可。如果追蹤發(fā)現(xiàn)車牌候選區(qū)域離開畫面視野、或發(fā)現(xiàn)特征角點分布變化(其他車牌進(jìn)入)時，將候選集合交由另一個線程，從候選集合中選出一個較好候選區(qū)域在后臺并行做文字分割和識別運算。由于移動物體通過攝像機(jī)視野需要一定時間，而此時間間隔正好可以覆蓋在后臺并行做一次文字分割和識別計算所需的時間，從而實現(xiàn)了全實時的特征提取運算功能。Step6.車牌文字識別；
從候選區(qū)域集合中選取條件較好的一幅圖像做文字分割并運用神經(jīng)網(wǎng)絡(luò)和OCR算法識別文字信息，識別完成后清楚該當(dāng)候選對象集合；
Step7.識別結(jié)果輸出；
將識別結(jié)果之文字信息和圖像等數(shù)據(jù)輸出后，返回Stepl。
權(quán)利要求
1.一種從視頻流中提取和識別車輛牌號的方法，包括以下的步驟 Stepl.通過視頻設(shè)備接口，從視頻流中獲取最新的圖像； Step2.運動偵測計算； 運用幀間差分法運動偵測技術(shù)對連續(xù)動畫作差分計算，尋找是否有運動部分，如果沒有發(fā)現(xiàn)運動部分直接返回Stepl ； Step3.尋找候選車牌； 將St印2算出的運動部分用Sobel變換等算法尋找到候選車牌位置，如果沒有發(fā)現(xiàn)候選的，則從對比度灰度調(diào)整表中取下一對調(diào)整值對圖像作對比度和灰度變換后再試，重復(fù)直至表中最后一對調(diào)整值也沒有發(fā)現(xiàn)候選車牌，判定為無車牌返回Stepl ； 在上述計算中發(fā)現(xiàn)候選區(qū)域的話，即停止對比度灰度變化進(jìn)入下一步驟； Step4.車牌特征判定； 根據(jù)車牌特征對候選區(qū)域作篩選，如果發(fā)現(xiàn)不符合車牌特征的候選區(qū)域則直接返回Stepl ； 所述車牌特征為車牌外框是否符合平行四邊形特征和自設(shè)定的要求； Step5.候選車牌追蹤； 運用Lucas-Kanade追蹤算法對在圖像視野范圍內(nèi)的候選區(qū)域進(jìn)行跟蹤比較，通過計算判定和上一幀的候選區(qū)域是否屬于同一車牌；如果發(fā)現(xiàn)和上一次尋找到車牌候選是同一車牌的話，將之加入候選區(qū)域集合，待歸并后一起識別計算，返回Stepl ； 如果發(fā)現(xiàn)非同一車牌，或者候選區(qū)域離開圖像視頻，則將該候選區(qū)域集合交由下一步驟做文字分割和識別； Step6.車牌文字識別； 從候選區(qū)域集合中選取條件較好的一幅圖像做文字分割并運用神經(jīng)網(wǎng)絡(luò)和OCR算法識別文字信息，識別完成后清楚該當(dāng)候選對象集合； Step7.識別結(jié)果輸出； 將識別結(jié)果之文字信息和圖像等數(shù)據(jù)輸出后，返回Stepl。
全文摘要
本發(fā)明公開一種從視頻流中提取和識別車輛牌號的方法，通過視頻設(shè)備接口，從視頻流中獲取最新的圖像；運動偵測計算尋找運動部分；尋找候選車牌；車牌特征判定；候選車牌追蹤；車牌文字識別；識別結(jié)果輸出。本發(fā)明的優(yōu)點是通過對現(xiàn)有算法的綜合運用和合理調(diào)度來實現(xiàn)降低計算密度和適應(yīng)寬動態(tài)的輸入圖像，從而在小型計算機(jī)裝置上實現(xiàn)實時的車牌等特征的識別功能。
文檔編號G06K9/00GK102855467SQ201210266838
公開日2013年1月2日 申請日期2012年7月30日 優(yōu)先權(quán)日2012年7月30日
發(fā)明者盛嘯嶸, 徐亮亮, 張顥熙 申請人:上海未來軟件有限公司