征中包含了車牌的候選位置信息。此外，基于高斯 差尺度空間的角點檢測模擬了人眼視覺中的視覺感受野拮抗效應(yīng)，對噪聲、尺度及仿射變 化具有一定的魯棒性。
[0064] 研究發(fā)現(xiàn)，對多尺度高斯差得到的不同尺度的角點曲率響應(yīng)，應(yīng)用多尺度積相乘 的方式，可以明顯增強(qiáng)角點曲率的幅度，同時可抑制非角點或噪聲的曲率幅度，從而能夠進(jìn) 一步得到魯棒性更強(qiáng)的角點特征。因此，在基于高斯差尺度空間的方法提取角點特征后，本 發(fā)明采用多尺度積跨尺度融合進(jìn)一步增強(qiáng)真實角點的曲率響應(yīng)和其對噪聲、尺度及仿射變 化的魯棒性。
[0065] 將上節(jié)得到的不同尺度下包含角點信息的高斯差DOG圖像Pgti做乘積?運算，以 增強(qiáng)車牌周圍角點處的曲率響應(yīng)，同時降低噪聲和非車牌區(qū)域弱角點的曲率響應(yīng)。得到跨 尺度融合后的角點特征圖Cornei^img1。如公式3所示：
[0066]
[0067] 其中，〇1，〇nie {0·3、0·6、0·7}，σ j，〇ne {0·4、0·7、0·8}，PSf 關(guān) Pi；= 〇 最后， 在Cornerjmg1的每3X3的鄰域取得角點響應(yīng)的極值點，并得到車牌圖像IMG的角點特征 圖 Corner_img〇
[0068] 圖4為應(yīng)用多尺度曲率積融合得到的角點檢測結(jié)果Corner_img。與圖3相比，采 用多尺度曲率積的跨尺度融合能夠增強(qiáng)車牌周圍角點處的曲率響應(yīng)，同時去除一些噪聲和 非車牌區(qū)域弱角點信息。
[0069] 以上實驗結(jié)果可以看出，包含車牌位置的角點密集而豐富，利用上述角點檢測算 法可以得到抗噪聲，且對尺度和放射變化魯棒的車牌候選區(qū)域。但從圖4中可以看出，非車 牌區(qū)域也存在不少角點。而文獻(xiàn)[8]中采用harris角點和近鄰傳播聚類算法確定車牌位 置，其定位結(jié)果在復(fù)雜環(huán)境下的準(zhǔn)確率不高。因此單純基于角點特征不足以實現(xiàn)復(fù)雜環(huán)境 的精確車牌定位。
[0070]另一方面，我國的車牌具有固定的顏色信息，顏色特征是定位車牌的另一有效特 征。因此，本發(fā)明進(jìn)一步考慮融合顏色特征對角點特征得到的車牌候選區(qū)域進(jìn)一步篩選。
[0071] 我國的車牌按照顏色主要分為藍(lán)底白字，黃底黑字，黑底白字和白底黑字四種類 型。為了在車牌圖像中提取車牌位置，本發(fā)明根據(jù)視覺感受野的拮抗效應(yīng)對車牌圖像提取 4種顏色特征對，構(gòu)建了基于高斯差尺度空間的視覺顏色對抗色特征提取算法。
[0072] 該算法對已轉(zhuǎn)換為HSV色彩空間的車牌圖像，分別提取藍(lán)色、白色、黑色、黃色分 量。按照我國車牌顏色特性，對包含四種顏色分量的圖像配對，即藍(lán)白顏色對、黃黑顏色對、 黑白顏色對、白黑顏色對。將配對顏色做差分得到4幅顏色對差分圖。再將差分應(yīng)用于高 斯尺度空間，形成4個顏色對尺度通道。在各個顏色對尺度通道做高斯差，即得到4個高斯 差尺度空間的顏色對抗色特征圖，分別為藍(lán)白對DoG圖、黃黑對DoG圖、黑白對DoG圖、白黑 對DoG圖。最后，在高斯空間的跨尺度融合中仍然采用基于多尺度積的高斯差尺度空間融 合各個通道顏色對圖，參見公式3，得到4個顏色對抗色特征圖。如圖5所示。
[0073] 高斯差尺度空間及多尺度積融合的視覺顏色對抗色特征提取算法的具體步驟如 下：
[0074] 輸入：已轉(zhuǎn)化為HSV色彩空間的車牌圖像頂G2 ;
[0075] 輸出：車牌圖像頂G2的視覺顏色對抗色特征圖BW_img，YB_img，BW_img，WB_img ;
[0076] 步驟I對頂G2提取包含藍(lán)、白、黑和黃四種顏色分量的子圖像，按照藍(lán)與白、黃與 黑、黑與白、白與黑的次序做差分，得到藍(lán)白、黃黑、黑白和白黑4幅顏色對差分圖；
[0077] 步驟2將4個顏色對差分圖應(yīng)用于高斯尺度空間（公式1)，得到各個視覺顏色對 多尺度通道；
[0078] 步驟3在視覺顏色對多尺度空間，應(yīng)用公式2進(jìn)一步得到各顏色對通道的高斯差 DoG圖像，即：藍(lán)白對DoG圖、黃黑對DoG圖、黑白對DoG圖、白黑對DoG圖；
[0079] 步驟4對上步得到的4個顏色對DoG圖像，同樣應(yīng)用上述所述的多尺度積融合高 斯差DoG圖像，參見公式3，得到視覺顏色對抗色特征圖BW_img，YBL_img，BLW_img，WBL_ img。多尺度積也稱多尺度曲率積。
[0080] 在以上多尺度角點特征融合中，基于多尺度積的特征融合方法既可以明顯地增強(qiáng) 角點的曲率幅度，也可抑制非角點或噪聲的曲率幅度。因此，基于多尺度積的特征融合方法 的快速、高效性特點，本發(fā)明將多尺度積特征融合應(yīng)用于角點特征與顏色對特征的多特征 融合中，以實現(xiàn)兩種特征相輔相成的融合效果。
[0081] 對提取的車牌圖像MG的角點特征圖Cornerjmg分別和提取的四種顏色對特征 圖做乘積?的運算，如公式4 (以藍(lán)白色為例）：（= BW」mg公式4。
[0082] 由此可以得到藍(lán)白顏色對角點融合圖（Corner_BW)、黑白顏色對角點融合圖 (Corner_BLW)、黃黑顏色對角點融合圖（Corner_YBL)和白黑顏色對角點融合圖（Corner_ WBL) 〇
[0083] 最終的車牌特征將4幅顏色角點融合圖進(jìn)一步做線性融合。公式5為：Fin_img = al*Corner_BW+a2*Corner_BLW+a3*Corner_YBL+a4*Corner_WBL，其中，al、a2、a3、a4 為融合 權(quán)值，融合權(quán)值al、a2、a3、a4加起來的和為1，融合權(quán)值al、a2、a3、a4根據(jù)車牌顏色類型 的分布設(shè)定。根據(jù)車牌顏色類型的分布：藍(lán)牌占70%左右、黑牌占10%左右、黃牌占10% 左右、白牌占10%左右，本發(fā)明實驗中將監(jiān)白顏色對、黑白顏色對、黃黑顏色對、白黑顏色對 的對應(yīng)融合權(quán)值依次設(shè)置為{〇. 7, 0. 1，0. 1，0. 1}。代入公式5為：
[0084] Fin_img = 0· 7XCorner_BW+0.1 XCorner_BLW+0· I XCorner_YBL+0· I XCorner_ WBL，
[0085] 得到最終的車牌特征融合圖Fin_img，如圖6所示。
[0086] 基于以上車牌特征，本發(fā)明進(jìn)一步設(shè)計基于特征點密度的車牌精確定位算法。具 體流程如圖7所示。
[0087] 算法將定位過程進(jìn)一步分為粗定位和細(xì)定位兩個過程。因在特征融合圖像中，車 牌區(qū)域的特征點相對密集，且密集區(qū)域具有車牌的長寬比特征，因此，在粗定位過程中先將 特征融合圖像中具有一定密集程度的區(qū)域初步劃分出來。將特征融合后的圖像Fin_img轉(zhuǎn) 換為二值圖，分別從橫向和縱向掃描特征點，計算特征點的數(shù)目。將橫向和縱向的特征點數(shù) 分別與設(shè)定閾值比較，并初步確定車牌位置區(qū)域（如圖8a所示）。
[0088] 粗定位實現(xiàn)
[0089] 輸入：角點和顏色特征融合圖像
[0090] 輸出：粗定位圖像（區(qū)域劃分的二值圖像）
[0091] 算法步驟：
[0092] ⑴圖像二值化，將角點和顏色對特征融合后的圖像轉(zhuǎn)換為二值圖像。
[0093] ⑵從橫向和縱向掃描二值化后圖像中的每個點（point)(從二值化圖像的點 (1，1)開始掃描），分別計算點（point)在橫向和縱向非零點值（由于已將特征融合圖像轉(zhuǎn) 化為二值圖像，因此可以將非零點作為特征點來統(tǒng)計）的數(shù)目，比較橫向、縱向的特征點數(shù) 與給定閾值（人為設(shè)定）的大小，將超過閾值的點（point)值設(shè)為1 ;若點（point)在橫向、 縱向上的任何一個方向的非零點數(shù)目小于給定的閾值，則把點（point)的值設(shè)為0。繼而進(jìn) 行下一點掃描到最后一點結(jié)束。
[0094] 因大于給定區(qū)域距離閾值的點（point)的值為1，小于給定閾值的點（point)的值 為0。此過程實現(xiàn)對二值化圖像的區(qū)域劃分，達(dá)到對車牌的粗定位。
[0095] 在粗定位之后，部分區(qū)域本屬于車牌區(qū)域，但被劃分為間隔距離較近的小區(qū)域。因 此，這里從下往上掃描存在非零點的行，判斷相鄰非零點之間的距離，只有存在有大于預(yù)設(shè) 閾值的行，才是車牌區(qū)域所在的行。由此，再進(jìn)一步判斷此行中非零點所在區(qū)域橫向或縱向 上非零點的數(shù)目進(jìn)行車牌的細(xì)定位。
[0096] 細(xì)定位實現(xiàn)
[0097] 細(xì)定位是在粗定位確定車牌候選區(qū)域的基礎(chǔ)上，進(jìn)一步根據(jù)候選區(qū)域的相鄰間隔 距離確定車牌的起始點并定位車牌區(qū)域。
[0098] 輸入：粗定位車牌位置圖像
[0099] 輸出：精確定位車牌位置圖像 [0100] 算法步驟：
[0101] ⑴在粗定位圖像的基礎(chǔ)之上，自下而上的掃描（車牌一般在車的下部）粗定位的 車牌圖像。
[0102] ⑵掃描粗定位圖像，當(dāng)橫向上某行出現(xiàn)有值的點（pointl)時（粗定位圖像為分割 區(qū)域的二值圖像），計算此行中所有相鄰非零點之間的距離，若給定的閾值大于所有相鄰非 零點之間的距離，則進(jìn)行下一行的掃描；若此行中有部分相鄰非零點之間的距離出現(xiàn)大于 給定閾值的情況，則進(jìn)行（3)-(4)的操作。
[0103] ⑶若有一個距離大于給定閾值：在縱向和橫向上掃描點（pointl)所在區(qū)域中非 零點值的數(shù)目，若點（pointl)所在區(qū)域中非零點值的數(shù)目大于給定的閾值，則點（pointl) 為車牌區(qū)域的起始點；將點（pointl)與此行中最遠(yuǎn)距離的非零點（因其他非零點之間距 離的閾值都小于距離閾值，因此將這些區(qū)域都考慮為車牌區(qū)域）之間的距離作為矩形框的 長，以車牌的長寬比來確定矩形框大?。ㄜ嚺频膶捰砷L