汽車儀表盤視覺檢測中基于尺度不變特征變換的圖像roi定位方法及裝置制造方法
【專利摘要】汽車儀表盤視覺檢測中基于尺度不變特征變換的圖像ROI定位方法及裝置，屬于圖像圖像ROI定位領域。為了解決目前基于模板的ROI定位方法效果差的問題。它包括：確定模板圖像和待檢測圖像的檢測項區(qū)域的ROI，基于尺度不變特征變換的圖像ROI定位方法提取模板圖像和待檢測圖像的特征點集和特征向量集，再對模板圖像和待檢測圖像利用歐氏距離進行初匹配，并用馬氏距離進行匹配點對的篩選，進而求取模板圖像到待檢測圖像匹配點的變換矩陣，根據(jù)變換矩陣對待檢測圖像的每個檢測項區(qū)域的ROI進行重構，獲得最新ROI，對獲得最新ROI進行檢測，判斷是否定位成功。它用于汽車儀表盤的視覺檢測中。
【專利說明】汽車儀表盤視覺檢測中基于尺度不變特征變換的圖像ROI 定位方法及裝置

【技術領域】
[0001] 本發(fā)明屬于圖像圖像R0I定位領域。

【背景技術】
[0002] 在汽車儀表盤的視覺檢測中，首要步驟即為對圖像的R0I (感興趣區(qū)域）進行選 取。汽車儀表盤的待檢測項目很多，其不同區(qū)域都有不同的R0I，這些R0I需要能精確包含 待檢測區(qū)域，并且不能互相存在重疊。在流水線工作中，相機的擺放位置往往會有不同程度 的偏差，這些偏差很難利用一些機械設施完全消除。這些位置偏差會令圖像原本的R0I不 能選取到正確的待檢測區(qū)域，這會對后續(xù)圖像處理工作造成不可預知的錯誤。
[0003] 基于圖像處理的軟件R0I定位可以很好的消除位置偏差對后續(xù)處理造成的不良 影響。相比于人工精確放置儀表，軟件中的圖像R0I定位具有更好的穩(wěn)定性、更快的速度和 更高的精度?；趫D像處理的軟件R0I定位具有更精簡的工作環(huán)境。相比于制造機械裝置 對儀表盤進行固定以減小位置誤差，加入越多的機械裝置則會對整個檢測平臺造成更大的 負擔，并且工人將儀表盤安裝在機械裝置上也會耗費更多的時間。
[0004] 在圖像R0I定位的眾多方法中，基于模板處理的圖像R0I定位方法應用最多，其思 想為將模板圖像進行位移上、旋轉角度上等位姿的變換，利用距離匹配、矩匹配或其他匹配 方式，對模板圖像特征和待檢測圖像特征進行處理，得出匹配度最高的情況，然后利用這種 情況的位姿變換參數(shù)來計算R0I的變換結果。
[0005] 該方法受限于圖像特征的完整性，在汽車儀表盤的視覺檢測中，表盤的LED亮滅 和指針指向等特征具有多變性，這些不確定性都會對圖像校正造成不同程度影響?；跇?定板的相機標定技術也可以對圖像進行R0I定位，但考慮到檢測空間受限，沒有可以放置 標定板的地方，所以一般把汽車儀表盤自身特征當做標定依據(jù)。
[0006] 基于模板處理的方法，對模板圖像的選取需要很嚴格，不僅需要盡可能的包含多 種汽車儀表盤點亮情況，即點亮所有燈，讓相機盡量收進所有表盤內(nèi)容，還需要模板圖像和 待檢測圖像的獲取環(huán)境一致。但是，當遇到表盤LED燈無法點亮或圖像缺失等問題，現(xiàn)有方 法無法提供有效的處理手段。待檢測汽車儀表盤圖像相對于模板圖像多出的噪聲信息也會 給現(xiàn)有算法帶來不穩(wěn)定，例如陰影、輝光、反射等由于工作環(huán)境不同而導致的噪聲干擾，這 些噪聲會被當做表盤內(nèi)容進行匹配。儀表盤視覺檢測中，光線和清晰度對檢測的影響很高， 基于模板處理的方法無法很好的處理過亮、過暗和模糊的情況，圖像的特征會受很大程度 的影響。


【發(fā)明內(nèi)容】

[0007] 本發(fā)明的目的是為了解決目前基于模板的R0I定位方法對處理過亮、過暗和模糊 的待檢測圖像時，待檢測圖像的特征會受很大程度的影響，以致于R0I定位效果差的問題， 本發(fā)明提供一種汽車儀表盤視覺檢測中基于尺度不變特征變換的圖像R0I定位方法及裝 置。
[0008] 本發(fā)明的汽車儀表盤視覺檢測中基于尺度不變特征變換的圖像R0I定位方法，
[0009] 它包括如下步驟：
[0010] 用于獲取汽車儀表盤模板圖像和待檢測圖像的檢測項區(qū)域的R0I和定位用R0I信 息，并將所述信息存儲的步驟；
[0011] 用于根據(jù)模板圖像的定位用R0I，利用尺度不變特征變換方法提取模板圖像的特 征點集和特征向量集，并保存的步驟；
[0012] 用于根據(jù)取待檢測圖像的定位用R0I，利用尺度不變特征變換方法提取待檢測圖 像的特征點集和特征向量集，并保存的步驟；
[0013] 用于求模板圖像的特征向量集中的每一項與待檢測圖像的特征向量集的每一項 的η維空間歐氏距離，并通過所述歐氏距離來提取初匹配點對集的步驟；
[0014] 所述初匹配點對集包括模板圖像初匹配特征點集和待檢測圖像初匹配特征點集， 所述模板圖像初匹配特征點集和待檢測圖像初匹配特征點集一一對應；
[0015] 用于分別計算模板圖像初匹配特征點集和待檢測圖像初匹配特征點集的樣本均 值，進而求出每個初匹配點到相應初匹配特征點集的馬氏距離，并根據(jù)所述馬氏距離得到 最終匹配點對集的步驟；
[0016] 用于根據(jù)最終匹配點對集求取模板圖像到待檢測圖像的變換矩陣的步驟；
[0017] 用于通過變換矩陣求出模板圖像的每個檢測項區(qū)域的R0I的四個頂點坐標在待 檢測圖像中的取值，并對得到的四個取值進行矩形重構，獲得待檢測圖像新的R0I的四個 頂點坐標，從而確定待檢測圖像的每個檢測項區(qū)域的最新R0I的步驟；
[0018] 用于對待檢測圖像的各個檢測項區(qū)域的最新R0I進行判斷是否有重合和超出邊 界的情況，若滿足其中一種情況，則判斷R0I定位失敗，否則，判斷R0I定位成功的步驟。
[0019] 汽車儀表盤視覺檢測中基于尺度不變特征變換的圖像R0I定位裝置，它包括如下 模塊：
[0020] 用于獲取汽車儀表盤模板圖像和待檢測圖像的檢測項區(qū)域的R0I和定位用R0I信 息，并將所述信息存儲的模塊；
[0021] 用于根據(jù)模板圖像的定位用R0I，利用尺度不變特征變換方法提取模板圖像的特 征點集和特征向量集，并保存的模塊；
[0022] 用于根據(jù)取待檢測圖像的定位用R0I，利用尺度不變特征變換方法提取待檢測圖 像的特征點集和特征向量集，并保存的模塊；
[0023] 用于求模板圖像的特征向量集中的每一項與待檢測圖像的特征向量集的每一項 的η維空間歐氏距離，并通過所述歐氏距離來提取初匹配點對集的模塊；
[0024] 所述初匹配點對集包括模板圖像初匹配特征點集和待檢測圖像初匹配特征點集， 所述模板圖像初匹配特征點集和待檢測圖像初匹配特征點集一一對應；
[0025] 用于分別計算模板圖像初匹配特征點集和待檢測圖像初匹配特征點集的樣本均 值，進而求出每個初匹配點到相應初匹配特征點集的馬氏距離，并根據(jù)所述馬氏距離得到 最終匹配點對集的模塊；
[0026] 用于根據(jù)最終匹配點對集求取模板圖像到待檢測圖像的變換矩陣的模塊；
[0027] 用于通過變換矩陣求出模板圖像的每個檢測項區(qū)域的R0I的四個頂點坐標在待 檢測圖像中的取值，并對得到的四個取值進行矩形重構，獲得待檢測圖像新的ROI的四個 頂點坐標，從而確定待檢測圖像的每個檢測項區(qū)域的最新R0I的模塊；
[0028] 用于對待檢測圖像的各個檢測項區(qū)域的最新R0I進行判斷是否有重合和超出邊 界的情況，若滿足其中一種情況，則判斷R0I定位失敗，否則，判斷R0I定位成功的模塊。
[0029] 本發(fā)明提取圖像特特征點，然后對特征點進行匹配，它只需要兩幅圖像的部分特 征點匹配成功，即可完成兩幅圖像的變換矩陣的求取，即可以完成待檢測圖像的R0I定位。 本發(fā)明可以自動避免儀表盤長邊緣、如段式燈帶來的冗余特征點，本發(fā)明可以自動消除同 類邊緣特征點。在特征點和特征向量求取后，本發(fā)明在兩幅儀表盤圖像的匹配環(huán)節(jié)利用歐 氏距離進行初匹配，并用馬氏距離進行匹配點對的篩選，可以有效避免由于儀表盤擺放差 異所造成的特征點集的不同，當出現(xiàn)仿射變換較嚴重的時候也能準確的找出匹配點對。并 且可以求出R0I參數(shù)的最優(yōu)解，在求取兩幅汽車儀表盤圖像匹配點的變換矩陣時，會求取 特征點陣的最小二乘廣義逆矩陣，為最優(yōu)解。所以本發(fā)明有益效果在于：
[0030] 1、本發(fā)明不需要進行模板圖像匹配操作，所以對待檢測圖像的完整性要求不高， 只需要可以取到一部分特征點即可，算法會自動過濾掉未匹配成功的特征點，并且這些點 對R0I定位結果無影響，算法的魯棒性和R0I定位效果好。
[0031] 2、本發(fā)明可以避免汽車儀表盤圖像噪聲對R0I定位結果的影響，由于相機環(huán)境不 同，其陰影、輝光、反射等噪聲可能會被當作表盤內(nèi)容，但是這些噪聲提取出的特征點在模 板圖像中不一定存在，所以會被自動的過濾掉。
[0032] 3、本發(fā)明會對不同尺度下的汽車儀表盤圖像進行處理，通過對圖像進行初匹配點 對集和最終匹配點對集降采樣，可以提取到的特征點非常全面，大大提高了算法的精度。
[0033] 4、本發(fā)明受光線影響和圖像清晰度影響較小，本發(fā)明會通過對區(qū)域極值點的查找 來確定極值點，所以整體圖像的亮度對特征點的提取影響不大。
[0034] 5、本發(fā)明可以求出R0I的最優(yōu)解，在求取變換矩陣時，需要求取特征點陣的最小 二乘廣義逆矩陣。在求出所有最新R0I后，會對這些參數(shù)進行判斷，當有重合、超出圖像邊 界的無效情況時，會給出警告。

【專利附圖】

【附圖說明】
[0035] 圖1為【具體實施方式】一所述的汽車儀表盤視覺檢測中基于尺度不變特征變換的 圖像R0I定位方法的原理不意圖。

【具體實施方式】

【具體實施方式】 [0036] 一：結合圖1說明本實施方式，本實施方式所述的汽車儀表盤視覺 檢測中基于尺度不變特征變換的圖像R0I定位方法，它包括如下步驟：
[0037] 用于獲取汽車儀表盤模板圖像和待檢測圖像的檢測項區(qū)域的R0I和定位用R0I信 息，并將所述信息存儲的步驟；
[0038] 用于根據(jù)模板圖像的定位用R0I，利用尺度不變特征變換方法提取模板圖像的特 征點集和特征向量集，并保存的步驟；
[0039] 用于根據(jù)取待檢測圖像的定位用R0I，利用尺度不變特征變換方法提取待檢測圖 像的特征點集和特征向量集，并保存的步驟；
[0040] 用于求模板圖像的特征向量集中的每一項與待檢測圖像的特征向量集的每一項 的η維空間歐氏距離，并通過所述歐氏距離來提取初匹配點對集的步驟；
[0041] 所述初匹配點對集包括模板圖像初匹配特征點集和待檢測圖像初匹配特征點集， 所述模板圖像初匹配特征點集和待檢測圖像初匹配特征點集一一對應；
[0042]用于分別計算模板圖像初匹配特征點集和待檢測圖像初匹配特征點集的樣本均 值，進而求出每個初匹配點到相應初匹配特征點集的馬氏距離，并根據(jù)所述馬氏距離得到 最終匹配點對集的步驟；
[0043]用于根據(jù)最終匹配點對集求取模板圖像到待檢測圖像的變換矩陣的步驟；
[0044] 用于通過變換矩陣求出模板圖像的每個檢測項區(qū)域的R0I的四個頂點坐標在待 檢測圖像中的取值，并對得到的四個取值進行矩形重構，獲得待檢測圖像新的R0I的四個 頂點坐標，從而確定待檢測圖像的每個檢測項區(qū)域的最新R0I的步驟；
[0045] 用于對待檢測圖像的各個檢測項區(qū)域的最新R0I進行判斷是否有重合和超出邊 界的情況，若滿足其中一種情況，則判斷R0I定位失敗，否則，判斷R0I定位成功的步驟。
[0046] 本實施方式中，
[0047] 步驟一：采集汽車儀表盤的模板圖像，人工確定儀表盤各個檢測項區(qū)域的R0I 和定位用R0I，利用尺度不變特征變換方法提取定位用R0I所圈定圖像區(qū)域的特征點集

【權利要求】
1. 汽車儀表盤視覺檢測中基于尺度不變特征變換的圖像ROI定位方法，其特征在于， 它包括如下步驟： 用于獲取汽車儀表盤模板圖像和待檢測圖像的檢測項區(qū)域的R0I和定位用R0I信息， 并將所述信息存儲的步驟； 用于根據(jù)模板圖像的定位用R0I，利用尺度不變特征變換方法提取模板圖像的特征點 集和特征向量集，并保存的步驟； 用于根據(jù)取待檢測圖像的定位用R0I，利用尺度不變特征變換方法提取待檢測圖像的 特征點集和特征向量集，并保存的步驟； 用于求模板圖像的特征向量集中的每一項與待檢測圖像的特征向量集的每一項的η 維空間歐氏距離，并通過所述歐氏距離來提取初匹配點對集的步驟； 所述初匹配點對集包括模板圖像初匹配特征點集和待檢測圖像初匹配特征點集，所述 模板圖像初匹配特征點集和待檢測圖像初匹配特征點集一一對應； 用于分別計算模板圖像初匹配特征點集和待檢測圖像初匹配特征點集的樣本均值，進 而求出每個初匹配點到相應初匹配特征點集的馬氏距離，并根據(jù)所述馬氏距離得到最終匹 配點對集的步驟； 用于根據(jù)最終匹配點對集求取模板圖像到待檢測圖像的變換矩陣的步驟； 用于通過變換矩陣求出模板圖像的每個檢測項區(qū)域的R0I的四個頂點坐標在待檢測 圖像中的取值，并對得到的四個取值進行矩形重構，獲得待檢測圖像新的R0I的四個頂點 坐標，從而確定待檢測圖像的每個檢測項區(qū)域的最新R0I的步驟； 用于對待檢測圖像的各個檢測項區(qū)域的最新R0I進行判斷是否有重合和超出邊界的 情況，若滿足其中一種情況，則判斷R0I定位失敗，否則，判斷R0I定位成功的步驟。
2. 根據(jù)權利要求1所述的汽車儀表盤視覺檢測中基于尺度不變特征變換的圖像R0I定 位方法，其特征在于，所述求模板圖像的特征向量集中的每一項與待檢測圖像的特征向量 集的每一項的η維空間歐氏距離，并通過所述歐氏距離來提取初匹配點對集的步驟包括 ： 用于從模板圖像的特征向量集中選擇一特征向量，與待檢測圖像的特征向量集中所有 特征向量取歐氏距離，其中最小距離為EdiSl，次小距離為
當
時，則 相應的兩個特征點為初匹配點對的步驟 所述β為歐氏距離倍數(shù)閾值，β的取值范圍為0. 6?0. 8 ; 用于當對模板圖像的特征向量集中的所有特征向量均進行上述步驟后，得到的所有初 匹配點存入初匹配點對集的步驟。
3. 根據(jù)權利要求2所述的汽車儀表盤視覺檢測中基于尺度不變特征變換的圖像R0I定 位方法，其特征在于，β =0.75。
4. 根據(jù)權利要求1或2所述的汽車儀表盤視覺檢測中基于尺度不變特征變換的圖像 R0I定位方法，其特征在于，所述用于根據(jù)所述馬氏距離得到最終匹配點對集的步驟包括； 用于獲取初匹配點對集中每一初匹配點對到相應初匹配特征點集的馬氏距離的差值， 獲得的差值組成差值序列的步驟； 用于求取差值序列的均值和方差的步驟； 用于當求取的方差在設定的閾值內(nèi)時，則相應的初匹配點對存入最終匹配點對集內(nèi)的 步驟； 用于當求取的方差不在設定的閾值內(nèi)時，則求取相應的差值序列中的最大值dmax，刪除 所有差值滿足大于或等于thd*dmax的初匹配點對，并重新組成差值序列的步驟； 其中thd的取值范圍為0. 001-0. 01。
5. 根據(jù)權利要求4所述的汽車儀表盤視覺檢測中基于尺度不變特征變換的圖像ROI定 位方法，其特征在于，thd = 0. 003。
6. 根據(jù)權利要求4所述的汽車儀表盤視覺檢測中基于尺度不變特征變換的圖像ROI定 位方法，其特征在于，所述根據(jù)最終匹配點對集求取模板圖像到待檢測圖像的變換矩陣的 步驟為：
，其中，
為待檢測圖像的最終匹配點集，
為模板圖像的 最終匹配點集 所述變換矩陣
。
7. 根據(jù)權利要求6所述的汽車儀表盤視覺檢測中基于尺度不變特征變換的圖像R0I定 位方法，其特征在于，所述對新的R0I頂點坐標進行矩形重構，確定待檢測圖像的每個檢測 項區(qū)域的最新R0I的步驟包括： 所述新的R〇i頂點坐標為（χ^ 、（χ2, y2)、（χ3, 和（x4, ，分別代表所述R〇i左上、 右上、右下和左下方向四個頂點位置坐標； 選取min匕，y2)為最新R0I的上邊界縱坐標的步驟； 選取max (y3, y4)為最新R0I的下邊界縱坐標的步驟； 選取min (Xp x4)為最新R0I的左邊界橫坐標的步驟； 選取max(x2,x3)為最新R0I的右邊界橫坐標的步驟。
8. 根據(jù)權利要求7所述的汽車儀表盤視覺檢測中基于尺度不變特征變換的圖像R0I定 位方法，其特征在于，所述用于對待檢測圖像的各個檢測項區(qū)域的最新R0I進行判斷是否 有重合或超出邊界的情況，若滿足其中一種情況，則判斷R0I定位失敗，否則，判斷R0I定位 成功的步驟包括： 用于對待檢測圖像的各個檢測項區(qū)域的最新R0I進行判斷互相是否有重合，當滿足一 個不重合條件的，則判斷相應的兩個最新R0I不重合，否則判斷相應的兩個最新R0I重合的 步驟； 所述不重合條件包括： 條件a :A左邊界在B右邊界的右方；條件b :B左邊界在A右邊界的右方；條件c :A上 邊界在B下邊界的下方；條件d :B上邊界在A下邊界的下方； A表示一個檢測項區(qū)域的最新ROI，B表示另一個檢測項區(qū)域的最新R0I ; 用于對待檢測圖像的各個檢測項區(qū)域的最新R0I進行判斷是否有超出邊界，當一個檢 測項區(qū)域的最新R0I滿足所有未超出邊界條件時，則判斷相應的最新R0I未超出邊界，否 則，則判斷相應的最新R0I超出邊界的步驟； 未超出邊界條件包括： 條件e :最新ROI的左邊界位直坐標小于0 ;條件f :最新ROI的右邊界位直坐標大于寬 度；條件g :最新ROI的上邊界位置坐標小于〇 ;條件h :最新ROI的下邊界位置坐標大于商 度。
9.汽車儀表盤視覺檢測中基于尺度不變特征變換的圖像ROI定位裝置，其特征在于， 它包括如下模塊： 用于獲取汽車儀表盤模板圖像和待檢測圖像的檢測項區(qū)域的ROI和定位用ROI信息， 并將所述信息存儲的模塊； 用于根據(jù)模板圖像的定位用ROI，利用尺度不變特征變換方法提取模板圖像的特征點 集和特征向量集，并保存的模塊； 用于根據(jù)取待檢測圖像的定位用ROI，利用尺度不變特征變換方法提取待檢測圖像的 特征點集和特征向量集，并保存的模塊； 用于求模板圖像的特征向量集中的每一項與待檢測圖像的特征向量集的每一項的η 維空間歐氏距離，并通過所述歐氏距離來提取初匹配點對集的模塊； 所述初匹配點對集包括模板圖像初匹配特征點集和待檢測圖像初匹配特征點集，所述 模板圖像初匹配特征點集和待檢測圖像初匹配特征點集一一對應； 用于分別計算模板圖像初匹配特征點集和待檢測圖像初匹配特征點集的樣本均值，進 而求出每個初匹配點到相應初匹配特征點集的馬氏距離，并根據(jù)所述馬氏距離得到最終匹 配點對集的模塊； 用于根據(jù)最終匹配點對集求取模板圖像到待檢測圖像的變換矩陣的模塊； 用于通過變換矩陣求出模板圖像的每個檢測項區(qū)域的ROI的四個頂點坐標在待檢測 圖像中的取值，并對得到的四個取值進行矩形重構，獲得待檢測圖像新的ROI的四個頂點 坐標，從而確定待檢測圖像的每個檢測項區(qū)域的最新ROI的模塊； 用于對待檢測圖像的各個檢測項區(qū)域的最新ROI進行判斷是否有重合和超出邊界的 情況，若滿足其中一種情況，則判斷ROI定位失敗，否則，判斷ROI定位成功的模塊。
【文檔編號】G06T7/00GK104091325SQ201410267691
【公開日】2014年10月8日 申請日期:2014年6月16日 優(yōu)先權日:2014年6月16日
【發(fā)明者】高會軍, 李博倫, 于金泳, 李竹奇, 楊學博, 由嘉 申請人:哈爾濱工業(yè)大學