一種基于視覺的車輛外廓尺寸自動測量系統(tǒng)及方法
【專利摘要】本發(fā)明公開了一種基于視覺的車輛外廓尺寸自動測量系統(tǒng)及方法，包括四個攝像機和云臺、橫向水平相機支架、縱向水平相機支架、圖像采集卡、計算機系統(tǒng)和位置傳感器；每個攝像機都安裝在一個云臺中，其中兩個攝像機固定在橫向水平支架上，另兩個攝像機固定在縱向水平支架上，位置傳感器安裝在車輛即將進入攝像機的視野范圍的位置，用來感知車輛位置，并給計算機系統(tǒng)提供一個觸發(fā)信號。本發(fā)明不僅可以降低成本，而且具有自動化、非接觸、精度高、適應(yīng)性強等優(yōu)點，可有效識別超限、超載等不法車輛，滿足汽車綜合性能檢測的需要，提高公路交通系統(tǒng)的監(jiān)控性能和車輛的管理水平。
【專利說明】一種基于視覺的車輛外廓尺寸自動測量系統(tǒng)及方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種基于視覺的車輛外廓尺寸自動測量系統(tǒng)及方法。

【背景技術(shù)】
[0002] 近年來，由于車輛超限超載、違規(guī)改裝等導(dǎo)致的交通事故頻發(fā)，嚴重影響了國家財 產(chǎn)和人民生命安全。為了從源頭上有效禁止車輛超限超載、"大噸小標(biāo)"、非法改裝等問題， 確保車輛行駛安全，車輛外廓尺寸參數(shù)已成為汽車運行安全檢測的重要內(nèi)容之一。
[0003] 通過對目前現(xiàn)有的車輛外廓尺寸的研究發(fā)現(xiàn)：目前，國內(nèi)公安車輛管理所、機動車 檢測站等對車輛外廓尺寸檢驗基本上延用過去用鋼卷尺等人工測量方法，檢驗誤差大、效 率低、工作強度大，并且受人為因素的干擾。在三維檢測方面，主要采用全站儀、三坐標(biāo)測量 機等測量工具，體積大，結(jié)構(gòu)復(fù)雜，對測量條件要求苛刻，價格昂貴，不利于在汽車檢測領(lǐng)域 進行推廣。視覺傳感器作為最接近于人類的感知方式，具有信息量大、適應(yīng)范圍廣和感應(yīng)時 間短等優(yōu)點，可應(yīng)用在車輛檢測中。國內(nèi)一些研究機構(gòu)和公司雖然從理論方面對車輛外廓 尺寸測量系統(tǒng)有過不同的研究，但國內(nèi)目前還沒有真正產(chǎn)品化和實用化的基于視覺的在用 車外廓尺寸自動測量系統(tǒng)。


【發(fā)明內(nèi)容】

[0004] 本發(fā)明為了解決上述問題，提出了一種基于視覺的車輛外廓尺寸自動測量系統(tǒng)及 方法，本發(fā)明將機器視覺和汽車檢測相結(jié)合，根據(jù)車輛尺寸參數(shù)具有的特點，設(shè)計機器視覺 測量系統(tǒng)，利用圖像采集與預(yù)處理、圖像特征提取、圖像匹配、三維重建、運動估計等技術(shù)實 現(xiàn)汽車外形尺寸參數(shù)的自動測量，可徹底解決人工測量誤差大、效率低、工作強度大等弊 端，具有自動化、非接觸、精度高、通用性的特點，可有效辨認超限、改裝等不法車輛，完善汽 車性能檢測技術(shù)，提高公路交通系統(tǒng)的監(jiān)控性能和車輛的管理水平。
[0005] 為了實現(xiàn)上述目的，本發(fā)明采用如下技術(shù)方案：
[0006] -種基于視覺的車輛外廓尺寸自動測量系統(tǒng)，包括四個攝像機和云臺、橫向水平 相機支架、縱向水平相機支架、圖像采集卡、計算機系統(tǒng)和位置傳感器；每個攝像機都安裝 在一個云臺中，其中兩個攝像機固定在橫向水平支架上，另兩個攝像機固定在縱向水平支 架上，位置傳感器安裝在車輛即將進入攝像機的視野范圍的位置，用來感知車輛位置，并給 計算機系統(tǒng)提供一個觸發(fā)信號，啟動測量系統(tǒng)，攝像機用來采集圖像，并將圖像像素轉(zhuǎn)換成 數(shù)字信號，通過圖像采集卡傳輸?shù)诫娔X中，以數(shù)據(jù)文件的形式保存在硬盤上。
[0007] 所述固定在橫向水平支架上的攝像機，組成一對雙目視覺傳感器，用來測量車身 覽度、車廂覽度。
[0008] 所述固定在縱向水平支架上的攝像機，組成一對雙目視覺傳感器，測量車身總長、 車身高度、車廂長度和車廂高度。
[0009] 所述云臺，用于實現(xiàn)對攝像機角度和距離參數(shù)的調(diào)節(jié)。
[0010] 所述計算機系統(tǒng)，用以處理圖像采集卡采集到的圖像數(shù)據(jù)，并對處理獲得的車輛 外廓尺寸進行顯示。
[0011] 基于視覺的車輛外廓尺寸自動測量方法，包括以下步驟：
[0012] (1)攝像機采集到圖像后，通過圖像采集卡傳輸?shù)接嬎銠C系統(tǒng)，計算機系統(tǒng)對圖像 進行去噪聲、校正處理；
[0013] ⑵提取圖像的Harris角點特征和Canny邊緣特征；
[0014] (3)進行特征點立體匹配，利用順序性約束、唯一性約束和連續(xù)性約束剔除誤匹 配，利用三維重建獲得相匹配的特征點的三維坐標(biāo)；
[0015] (4)對特征點進行跟蹤匹配與圖像拼接；
[0016] (5)根據(jù)所有特征點的三維坐標(biāo)，進行運動估計，獲得車輛的車身長度、車身寬度、 車身高度、車廂長度、車廂寬度信息。
[0017] 所述步驟（1)的具體方法，包括：
[0018] 步驟1-1 :攝像機采集到圖像后，通過圖像采集卡傳輸?shù)接嬎銠C系統(tǒng)，計算機系統(tǒng) 首先采用高斯濾波對圖像進行去噪聲處理，減少圖像采集過程中噪聲的干擾，增加后續(xù)圖 像匹配成功的特征點數(shù)目；
[0019] 步驟1-2 :對高斯濾波后的圖像，計算機系統(tǒng)利用基于攝像機標(biāo)定參數(shù)的校正算 法對圖像進行校正，使左右圖像中的對應(yīng)點分別在兩圖的相同像素行中，從而將特征點匹 配的搜索空間從二維降到一維的對極線上，提高后續(xù)特征點立體匹配的效率。
[0020] 所述步驟1-1的具體方法為：高斯濾波的過程：
[0021]

【權(quán)利要求】
1. 一種基于視覺的車輛外廓尺寸自動測量系統(tǒng)，其特征是：包括四個攝像機和云臺、 橫向水平相機支架、縱向水平相機支架、圖像采集卡、計算機系統(tǒng)和位置傳感器；每個攝像 機都安裝在一個云臺中，其中兩個攝像機固定在橫向水平支架上，另兩個攝像機固定在縱 向水平支架上，位置傳感器安裝在車輛即將進入攝像機的視野范圍的位置，用來感知車輛 位置，并給計算機系統(tǒng)提供一個觸發(fā)信號，啟動測量系統(tǒng)，攝像機用來采集圖像，并將圖像 像素轉(zhuǎn)換成數(shù)字信號，通過圖像采集卡傳輸?shù)诫娔X中，以數(shù)據(jù)文件的形式保存在硬盤上。
2. 如權(quán)利要求1所述的一種基于視覺的車輛外廓尺寸自動測量系統(tǒng)，其特征是：所述 固定在橫向水平支架上的攝像機，組成一對雙目視覺傳感器，用來測量車身寬度、車廂寬 度；所述固定在縱向水平支架上的攝像機，組成一對雙目視覺傳感器，測量車身長度、車身 高度、車廂長度和車廂高度；所述云臺，用于實現(xiàn)對攝像機角度和距離參數(shù)的調(diào)節(jié)；所述計 算機系統(tǒng)，用以處理圖像采集卡采集到的圖像數(shù)據(jù)，并對處理獲得的車輛側(cè)視圖和外廓尺 寸進行顯示。
3. 基于權(quán)利要求1-2中任一項所述的系統(tǒng)的自動測量方法，其特征是：包括以下步 驟： (1) 攝像機采集到圖像后，通過圖像采集卡傳輸?shù)接嬎銠C系統(tǒng)，計算機系統(tǒng)對圖像進行 去噪聲、校正處理； (2) 提取圖像的Harris角點特征和Canny邊緣特征； (3) 進行特征點立體匹配，利用順序性約束、唯一性約束和連續(xù)性約束剔除誤匹配，利 用三維重建獲得相匹配的特征點的三維坐標(biāo)； (4) 對特征點進行跟蹤匹配與圖像拼接； (5) 根據(jù)所有特征點的三維坐標(biāo)，進行運動估計，獲得車輛的車身長度、車身寬度、車身 高度、車廂長度、車廂寬度、車廂高度信息。
4. 如權(quán)利要求3所述的自動測量方法，其特征是：所述步驟（1)的具體方法，包括： 步驟1-1 :攝像機采集到圖像后，通過圖像采集卡傳輸?shù)接嬎銠C系統(tǒng)，計算機系統(tǒng)首先 采用高斯濾波對圖像進行去噪聲處理，減少圖像采集過程中噪聲的干擾，增加后續(xù)圖像匹 配成功的特征點數(shù)目； 步驟1-2 :對高斯濾波后的圖像，計算機系統(tǒng)利用基于攝像機標(biāo)定參數(shù)的校正算法對 圖像進行校正，使左右圖像中的對應(yīng)點分別在兩圖的相同像素行中，從而將特征點匹配的 搜索空間從二維降到一維的對極線上，提高后續(xù)特征點立體匹配的效率。
5. 如權(quán)利要求4所述的自動測量方法，其特征是：所述步驟1-1的具體方法為：高斯濾 波的過程：
式中，g(x，y)表示去噪處理后得到的圖像，f(x，y)表示圖像中的像素點，S為（x，y)點 鄰域中點的集合，即窗口模板，L是集合內(nèi)坐標(biāo)點的總數(shù)，為防止特征丟失，采用3X3的高 斯方形窗口，即：
所述步驟1-2,具體步驟為：根據(jù)攝像機的標(biāo)定參數(shù)計算左右攝像機的投影矩陣： Pol =Kl [RlITJ Poe =Ke [ReITJ 其中，I、Kk為左右攝像機的內(nèi)參數(shù)矩陣，&、?Υ、RK、Tk為左右攝像機的外部參數(shù)矩陣； 校正后，將左右攝像機新的投影矩陣分別定義為Pm和Pnk: Pnl =K[Rl-RcJ Pne =K[R|-Rce] 其中，K和R為經(jīng)過校正后的兩攝像機的內(nèi)參數(shù)矩陣和旋轉(zhuǎn)矩陣，cjPcK為左右攝像 機的光心坐標(biāo)； 根據(jù)左右視圖各自校正前后像素點坐標(biāo)的對應(yīng)，求出校正后圖像上各點的像素坐標(biāo)：
式中和?分別表示校正前、后左圖像像素點的齊次坐標(biāo)，和?分別表示校 正前、后右圖像像素點的齊次坐標(biāo)，其中左圖像指左攝像機采集的圖像，左攝像機是指兩組 攝像機中，橫向水平相機支架上面向汽車前進方向左邊的攝像機和縱向水平支架上位于左 邊的攝像機，右圖像指右攝像機米集的圖像，右攝像機為另外兩臺攝像機。
6.如權(quán)利要求3所述的自動測量方法，其特征是：所述步驟（2)中，其具體步驟： 步驟2-1 :對預(yù)處理后的圖像中的像素點（x，y)，計算X方向的差分Ix，y方向的差分Iy，w(x，y)表示窗口函數(shù)，?表示卷積操作，定義： d少，）?/，B=η!(Λ：,y)?Il^C=D=nf.Y,y)? (/Jv) 計算相關(guān)矩陣M: (AD\ M= [CB) 計算像素點（x，y)的Harris角點響應(yīng)： R= (AB-CD)2-k(A+B)2 式中k為常數(shù)，設(shè)定一個閾值T，在w(X，y)*w(x,y)范圍內(nèi)尋找極大值點，若Harris角 點響應(yīng)大于閾值T，則將該像素點視為Harris角點； 步驟2-2 :對預(yù)處理后的圖像，利用導(dǎo)數(shù)算子求出圖像灰度沿著X和y兩個方向的偏導(dǎo) 數(shù)（Gx，Gy)，求出梯度幅值： G=P：+ 計算梯度方向：
\ 入/ 對梯度幅值進行非極大值抑制，找到Canny邊緣。
7. 如權(quán)利要求6所述的自動測量方法，其特征是：所述步驟2-2中，圖像灰度沿著X和 y兩個方向的偏導(dǎo)數(shù)（Gx，Gy): Gx =[f(x+1,y)-f(x,y)+f(x+1,y+l)-f(x,y+l)]/2Gy =[f(x,y+l)-f(x,y)+f(x+1,y+l)-f(x+1,y)]/2 ； 所述步驟2-2中，將梯度角離散為圓周的四個扇區(qū)之一，四個扇區(qū)的標(biāo)號為O到3,對應(yīng) 3*3鄰域的四種可能組合，遍歷圖像，若某個像素的灰度值與其梯度方向上前后兩個像素的 灰度值相比不是最大的，那么這個像素值置為〇,即不是邊緣；獲得濾波后圖像的統(tǒng)計累積 直方圖，用累計統(tǒng)計直方圖得到一個高閾值T1，然后再取一個低閾值T2;若某個像素的灰度 值大于高閾值，那么它一定是邊緣；如果低于低閾值，那么它一定不是邊緣；如果在低閾值 和高閾值之間，判斷這個像素的鄰接像素中有沒有超過高閾值的邊緣像素：如果有那么它 就是邊緣，否則就不是邊緣。
8. 如權(quán)利要求3所述的自動測量方法，其特征是：所述步驟（3)的具體方法包括： 步驟3-1 :以左圖像作為基準(zhǔn)圖，將左圖像中的Harris角點作為待匹配特征點，以右圖 像中和Harris角點同一行為中心的5行為搜索范圍，以相似性度量函數(shù)
為判斷依據(jù)，確定匹配特征點數(shù)據(jù)集，完成初始匹配；式中，I表示匹配窗口的灰度值，fmw表示匹配窗口，上標(biāo)L和R分別表示同時刻左右兩個攝像頭拍攝的圖像； 步驟3-2 :為了減少誤匹配，提高匹配準(zhǔn)確率，對初始匹配獲得的特征點對，利用順序 性約束、唯一性約束和連續(xù)性約束剔除誤匹配； 步驟3-3 :對左、右圖像匹配的特征點，根據(jù)攝像機標(biāo)定結(jié)果，獲得該特征點在車體坐 標(biāo)系下的三維坐標(biāo)； 步驟3-4 :對Canny邊緣特征點，重復(fù)上述步驟，獲得Canny邊緣特征點在車體坐標(biāo)系 下的三維坐標(biāo)。
9. 如權(quán)利要求3所述的自動測量方法，其特征是：所述步驟（4)的具體方法為： 步驟4-1 :根據(jù)采集的相鄰幀圖像的實際情況設(shè)定跟蹤點匹配的搜索范圍，以減少計 算量，降低誤匹配率，仍以相似度函數(shù)YSSD為特征點匹配的判斷依據(jù)，并利用唯一性約束剔 除誤匹配； 步驟4-2 :特征點跟蹤匹配后，對相鄰兩時刻的圖像拼接，獲得車輛的側(cè)視圖，并通過 計算機系統(tǒng)顯示出來； 其特征是：所述步驟（5)的具體方法為： 將t時刻和t+Ι時刻匹配特征點的三維坐標(biāo)集合分別記為{pt，J和{qt+1，J，且pt，i= [Xt，i，Yt，i，Zt，JT，qt+1，i= [Xt+1，i;，Yt+1，"Zt+1，JT，i= 1，2,…，η，η表示t時刻和t+Ι時刻得到 的匹配點對數(shù)； 為了兼顧算法的實時性和精確度，采用一種魯棒的運動參數(shù)估計方法：首先用RANSCN結(jié)合單位四元數(shù)方法剔除數(shù)據(jù)中的誤匹配點并求出車體運動參數(shù)的預(yù)估值；然后從預(yù)估值 出發(fā)利用Levenberg-Marquardt非線性優(yōu)化算法，獲得更為精確的旋轉(zhuǎn)矩陣R和平移向量T； 所述步驟（5)的具體方法包括： 步驟5-1 :從前、后幀兩組對應(yīng)三維點集{pt，J和{qt+1，J中隨機選取3對點，將它們的 三維坐標(biāo)值代入公式 qt+i,i=RPt,i+T (1) 式中R和T分別表示三維旋轉(zhuǎn)矩陣和平移矢量，表明了被測車輛在t時刻和t+l時刻 之間位姿的變化； 利用單位四元數(shù)方法求解旋轉(zhuǎn)矩陣R和平移矢量T，定義距離閾值t，利用求出的旋轉(zhuǎn) 矩陣R和平移矢量T計算每對匹配點之間的歐式距離，若得出的歐式距離大于距離閾值t， 則該匹配點定義為外點，否則定義為內(nèi)點，經(jīng)過m次計算，選取內(nèi)點數(shù)目最多的一組重新求 取旋轉(zhuǎn)矩陣R和平移矢量T; 步驟5-2 :將步驟5-1中得到的旋轉(zhuǎn)矩陣R和平移矢量T作為迭代初始值，以反投影誤 差
最小作為優(yōu)化準(zhǔn)則，利用Levenberg-Marquardt非線性估計算法迭代出更精確的旋轉(zhuǎn) 矩陣R和平移矢量T。
10.如權(quán)利要求3所述的自動測量方法，其特征是：所述步驟（6)的具體方法為：以初 始時刻的車體坐標(biāo)系作為基準(zhǔn)坐標(biāo)系，根據(jù)獲得的旋轉(zhuǎn)矩陣R和平移矢量T，將每一時刻圖 像中新出現(xiàn)特征點的三維坐標(biāo)[X，Υ，Ζ]τ轉(zhuǎn)換到初始時刻的坐標(biāo)系統(tǒng)中，獲得基準(zhǔn)坐標(biāo)系下 車輛上特征點的三維坐標(biāo)數(shù)據(jù)，車輛行駛通過后，根據(jù)所有特征點的三維坐標(biāo)，獲得車輛的 車身長度、車身寬度、車身高度、車廂長度、車廂寬度、車廂高度信息，并通過計算機系統(tǒng)顯 示出來。
【文檔編號】G01B11/02GK104236478SQ201410483838
【公開日】2014年12月24日 申請日期:2014年9月19日 優(yōu)先權(quán)日:2014年9月19日
【發(fā)明者】曹鳳萍, 王剛, 李愛娟, 徐傳燕, 邱緒云 申請人:山東交通學(xué)院