[0023] 車(chē)牌圖像包含的尺度、仿射變化及其復(fù)雜的背景是影響車(chē)牌定位準(zhǔn)確度的重要因 素。本發(fā)明提出的車(chē)牌定位算法基于車(chē)牌圖像特征，通過(guò)提取并融合多尺度角點(diǎn)特征和顏 色特征進(jìn)行定位。算法利用多尺度空間提取具有尺度不變和仿射不變的角點(diǎn)信息，確定車(chē) 牌的候選位置；并進(jìn)一步基于尺度空間提取多尺度車(chē)牌圖像的顏色對(duì)特征；由于角點(diǎn)特征 和顏色特征相輔相成，算法通過(guò)采用多尺度積技術(shù)對(duì)兩種特征進(jìn)行快速有效的融合；最后 通過(guò)計(jì)算車(chē)牌區(qū)域特征點(diǎn)之間的距離及密集關(guān)系實(shí)現(xiàn)車(chē)牌的準(zhǔn)確定位。實(shí)驗(yàn)數(shù)據(jù)表明，基 于多尺度空間角點(diǎn)和顏色特征，并通過(guò)多尺度積特征融合的車(chē)牌定位新方法，可以大大減 弱旋轉(zhuǎn)變換、尺度變換和噪聲帶來(lái)的影響，算法可以達(dá)到快速、準(zhǔn)確和魯棒性強(qiáng)的定位效 果。
[0024] 具體的技術(shù)方案是：一種融合仿射不變角點(diǎn)特征及視覺(jué)顏色特征的車(chē)牌定位算 法，有以下步驟：
[0025] 1)對(duì)采集的車(chē)牌圖像進(jìn)行預(yù)處理：將采集的車(chē)牌圖像進(jìn)行灰度化處理，得到車(chē)牌 圖像頂Gl ;將采集的車(chē)牌圖像進(jìn)行顏色空間轉(zhuǎn)換處理，得到已轉(zhuǎn)化為HSV色彩空間的車(chē)牌 圖像MG2 ;
[0026] 2)車(chē)牌特征提取及特征融合：對(duì)車(chē)牌圖像IMGl提取角點(diǎn)特征，得到角點(diǎn)特征圖， 根據(jù)車(chē)牌顏色分類(lèi)，對(duì)車(chē)牌圖像MG2提取顏色對(duì)特征，得到各個(gè)類(lèi)別的顏色對(duì)特征圖，將 角點(diǎn)特征圖與顏色對(duì)特征圖進(jìn)行融合，得到車(chē)牌特征融合圖；
[0027] 3)車(chē)牌圖像定位：對(duì)車(chē)牌特征融合圖利用基于特征點(diǎn)密度的車(chē)牌精確定位算法 確定車(chē)牌區(qū)域。
[0028] 步驟2)中基于高斯差尺度空間提取具有尺度不變和仿射不變性的角點(diǎn)特征，得 到高斯差尺度空間的角點(diǎn)特征圖像。在基于高斯差尺度空間的方法提取角點(diǎn)特征后，再通 過(guò)多尺度曲率積融合高斯差尺度空間的角點(diǎn)特征圖像，增強(qiáng)角點(diǎn)特征曲率響應(yīng)，求融合后 角點(diǎn)特征點(diǎn)的極值點(diǎn)，形成最終的角點(diǎn)特征圖。
[0029] 基于高斯差尺度空間的角點(diǎn)特征檢測(cè)步驟為：構(gòu)建高斯尺度空間，將預(yù)處理后的 車(chē)牌圖像頂Gl與高斯核卷積，得到不同尺度下的高斯圖像；構(gòu)建高斯差（DoG)尺度空間，在 以上高斯空間中取不同尺度的特征圖像相減，得到高斯差尺度空間的特征圖像。
[0030] 基于多尺度曲率積融合的角點(diǎn)檢測(cè)的步驟為：通過(guò)多尺度曲率積融合高斯差尺度 空間的特征圖像，增強(qiáng)角點(diǎn)特征曲率響應(yīng)；求融合后角點(diǎn)特征點(diǎn)的極值點(diǎn)，形成最終的角點(diǎn) 特征圖。
[0031] 步驟2)中基于高斯差尺度空間提取多尺度車(chē)牌圖像的顏色對(duì)特征。
[0032] 基于高斯差尺度空間提取多尺度車(chē)牌圖像的顏色對(duì)特征的步驟為：對(duì)已轉(zhuǎn)化為 HSV色彩空間的車(chē)牌圖像頂G2分別提取藍(lán)色、白色、黑色、黃色分量，按照我國(guó)車(chē)牌顏色特 性，對(duì)包含四種顏色分量的圖像配對(duì)，將配對(duì)顏色做差分得到各個(gè)顏色對(duì)差分圖，再將各個(gè) 顏色對(duì)差分圖應(yīng)用于高斯尺度空間，得到各個(gè)顏色對(duì)尺度通道，對(duì)各個(gè)顏色對(duì)尺度通道做 高斯差，得到各顏色對(duì)通道的高斯差DoG圖像，最后，對(duì)各顏色對(duì)通道的高斯差DoG圖像，應(yīng) 用多尺度積融合高斯差DoG圖像，得到4個(gè)顏色對(duì)特征圖。
[0033] 步驟2)中采用多尺度積技術(shù)將角點(diǎn)特征與顏色對(duì)特征進(jìn)行融合。
[0034] 采用多尺度積技術(shù)對(duì)角點(diǎn)特征與顏色對(duì)特征進(jìn)行融合的步驟為：將步驟2)的角 點(diǎn)特征圖分別與四個(gè)顏色對(duì)特征圖做乘積?的運(yùn)算，得到4幅顏色角點(diǎn)融合圖，分別為藍(lán)白 顏色對(duì)角點(diǎn)融合圖（Corner_BW)、黑白顏色對(duì)角點(diǎn)融合圖（Corner_BLW)、黃黑顏色對(duì)角點(diǎn) 融合圖（Corner_YBL)和白黑顏色對(duì)角點(diǎn)融合圖（Corner_WBL)，根據(jù)車(chē)牌顏色類(lèi)型的分布， 將4幅顏色角點(diǎn)融合圖根據(jù)公式5做線性融合，得到車(chē)牌特征融合圖Finjmg ;公式5為： Fin_img = al*Corner_BW+a2*Co;rne;r_BLW+a3*Co;rne;r_YBL+a4*Co;rne;r_WBL，其中，al、a2、 a3、a4為融合權(quán)值，融合權(quán)值al、a2、a3、a4加起來(lái)的和為1，融合權(quán)值al、a2、a3、a4根據(jù) 車(chē)牌顏色類(lèi)型的分布設(shè)定。
[0035] 步驟3)中車(chē)牌圖像定位的步驟為：將車(chē)牌特征融合圖轉(zhuǎn)換為二值圖，分別從橫向 和縱向掃描特征點(diǎn)，計(jì)算特征點(diǎn)的數(shù)目；將橫向和縱向的特征點(diǎn)數(shù)分別與設(shè)定閾值比較，并 初步確定車(chē)牌位置區(qū)域；對(duì)初定位后的車(chē)牌圖像，自底向上掃描圖像，計(jì)算每一特征點(diǎn)與同 一行下個(gè)相鄰特征點(diǎn)的距離；根據(jù)特征點(diǎn)間距離確定車(chē)牌區(qū)域起始點(diǎn)；確定起始點(diǎn)后，將 起始點(diǎn)與此行中最遠(yuǎn)距離的特征點(diǎn)之間的距離作為矩形框的長(zhǎng)，再以車(chē)牌的長(zhǎng)寬比來(lái)確定 矩形框大小；最后通過(guò)矩形框?qū)⒋藚^(qū)域框出，從而定位車(chē)牌。
[0036] 本發(fā)明的有益效果為：本發(fā)明提出了一種基于多尺度積融合多尺度差角點(diǎn)檢測(cè)和 視覺(jué)顏色特征的車(chē)牌定位算法。通過(guò)在高斯差尺度空間提取具有尺度和仿射不變特性的角 點(diǎn)和顏色特征，并在多尺度角點(diǎn)特征及多特征融合中提出基于多尺度積的快速融合方法， 最后通過(guò)車(chē)牌區(qū)域特征點(diǎn)之間的距離及密集關(guān)系實(shí)現(xiàn)車(chē)牌的準(zhǔn)確定位。對(duì)大量實(shí)拍的復(fù)雜 環(huán)境下的車(chē)輛圖像進(jìn)行測(cè)試表明，該算法對(duì)車(chē)牌定位具有快速、高效的定位效果，且在旋轉(zhuǎn) 變換、尺度變換和噪聲等方面的魯棒性表現(xiàn)較好。
【附圖說(shuō)明】
[0037] 圖1為車(chē)牌識(shí)別算法的流程圖；
[0038] 圖2為本發(fā)明的車(chē)牌定位算法的流程圖；
[0039] 圖3為基于高斯差尺度空間的角點(diǎn)特征圖；
[0040] 圖4為基于多尺度曲率積融合的角點(diǎn)特征圖；
[0041] 圖5為基于高斯差尺度空間的顏色對(duì)色差特征圖：（a)圖為藍(lán)白高斯差圖，（b)圖 為黃黑高斯差圖，（C)圖為黑白高斯差圖，（d)為白黑高斯差圖；
[0042] 圖6為車(chē)牌特征融合圖；
[0043] 圖7為車(chē)牌精確定位算法流程圖；
[0044] 圖8為基于多尺度積角點(diǎn)檢測(cè)和視覺(jué)顏色特征的車(chē)牌定位效果圖：(a)圖為初定 位效果圖，（b)圖為車(chē)牌定位效果圖；
[0045] 圖9為在不同尺度和復(fù)雜環(huán)境下的魯棒性：（a)和（b)圖是不同尺度下的定位效 果圖，（c)和（d)圖復(fù)雜環(huán)境下的定位效果圖；
[0046] 圖10為對(duì)噪聲的魯棒性：(a)圖為加入椒鹽噪聲后的車(chē)牌定位圖，（b)圖為加入斑 點(diǎn)噪聲后的車(chē)牌定位圖，（C)圖為加入高斯噪聲后的車(chē)牌定位圖。
【具體實(shí)施方式】
[0047] 本發(fā)明的融合仿射不變角點(diǎn)特征及視覺(jué)顏色特征的車(chē)牌定位算法主要分為三部 分：車(chē)牌圖像預(yù)處理、車(chē)牌特征提取及特征融合、車(chē)牌圖像定位。算法的具體流程如圖2所 不。
[0048] 實(shí)際應(yīng)用中采集的車(chē)牌圖像多屬于RGB彩色空間，但該色彩空間不能夠很好的擬 合人眼對(duì)顏色的感知。另一方面，在角點(diǎn)檢測(cè)中若直接處理彩色圖像會(huì)增大算法的計(jì)算復(fù) 雜度。因此本發(fā)明對(duì)獲取車(chē)牌圖像做如下預(yù)處理：
[0049] ⑴提取角點(diǎn)特征之前，將RGB彩色圖像轉(zhuǎn)化為灰度圖像并作濾波處理去除噪聲； 得到灰度化處理后的車(chē)牌圖像頂Gl ;
[0050] ⑵提取顏色對(duì)特征之前，將RGB彩色圖像從RGB色彩空間轉(zhuǎn)化為HSV色彩空間，得 到已轉(zhuǎn)化為HSV色彩空間的車(chē)牌圖像頂G2。
[0051] 角點(diǎn)特征是指圖像中具有代表性以及健壯性的點(diǎn)，是圖像重要的局部特征，已被 廣泛應(yīng)用于圖像匹配、對(duì)象識(shí)別和跟蹤等場(chǎng)景。目前的角點(diǎn)檢測(cè)算法主要從圖像的邊緣信 息和灰度信息兩方面考慮。車(chē)牌定位算法要求能夠準(zhǔn)確地定位車(chē)牌，及對(duì)噪聲、尺度及仿射 變化具有魯棒性。本發(fā)明采用高斯差尺度空間提取具有尺度不變和仿射不變性的角點(diǎn)特 征，并進(jìn)一步通過(guò)多尺度曲率積方法融合跨尺度角點(diǎn)特征，來(lái)獲得具有對(duì)噪聲、尺度及仿射 變化魯棒的車(chē)牌位置候選關(guān)鍵點(diǎn)?；诟咚共畛叨瓤臻g多尺度曲率積融合的角點(diǎn)特征檢測(cè) 算法的具體步驟如下所示。
[0052] 輸入：灰度化處理后的車(chē)牌圖像頂Gl ;
[0053] 輸出：車(chē)牌圖像IMGl的角點(diǎn)特征圖Corner_img ;
[0054] 步驟1構(gòu)建高斯尺度空間，將預(yù)處理后的車(chē)牌圖像頂Gl與高斯核卷積，得到不同 尺度下的高斯圖像：
[0055] 步驟2構(gòu)建高斯差（DoG)尺度空間。在以上高斯空間中取適當(dāng)尺度的特征圖像相 減，得到高斯差尺度空間的特征圖像；
[0056] 步驟3通過(guò)多尺度曲率積融合高斯差尺度空間的特征圖像，增強(qiáng)角點(diǎn)特征曲率響 應(yīng)；
[0057] 步驟4求融合后角點(diǎn)特征點(diǎn)的極值點(diǎn)，形成最終的角點(diǎn)特征圖Corner_img。
[0058] 灰度化處理后的車(chē)牌圖像頂G與公式1在多個(gè)高斯尺度下進(jìn)行卷積，構(gòu)建車(chē)牌圖 像的多尺度高斯空間C。 CN 105139017 A 說(shuō)明書(shū) 6/12 頁(yè)
[0059]
公式 I
[0060] 其中，σ se {〇· 3, 0· 4, 0· 6, 0· 7, 0· 8}。將尺度〇 i下的車(chē)牌模糊圖像^與尺度〇 j 下的卷積圖^^進(jìn)行差分運(yùn)算（如公式2所示）即得到不同尺度的高斯差分（Different of Gaussian，DoG)圖像pS&〇
[0061]
[0062] 其中O1G {0·3、0·6、0·7}，σ # {0.4、0.7、0.8}，得到的高斯差尺度空間的特征 圖像的角點(diǎn)特征更明確，效果較優(yōu)。
[0063] 圖3為應(yīng)用以上多尺度差角點(diǎn)檢測(cè)算法得到的車(chē)牌圖像。不難發(fā)現(xiàn)，車(chē)牌部位的 角點(diǎn)信息比其他部位豐富，因此，角點(diǎn)特