一種基于運動視覺的車禍過程重現(xiàn)方法
【專利摘要】一種基于運動視覺的車禍過程重現(xiàn)方法，基于運動視覺采用幾何圖形分割和基于運動動力學(xué)的目標(biāo)跟蹤技術(shù)實現(xiàn)車輛目標(biāo)的重建與跟蹤。采用分解圖像關(guān)聯(lián)矩陣的算法實現(xiàn)圖像的匹配，有效的實現(xiàn)了圖像匹配，降低算法的計算量?；谶\動動力學(xué)的目標(biāo)跟蹤算法減少了跟蹤目標(biāo)丟失問題。該技術(shù)通過處理交通監(jiān)控得到的錄像資料可以有效重現(xiàn)車輛碰撞的全過程，可對整個過程進行定性和定量的分析。通過運動視覺重建出整體車輛的3D模型，通過目標(biāo)跟蹤技術(shù)實現(xiàn)相撞車輛的識別，得到車輛的運動軌跡，能精確、完整的記錄事故信息，并重現(xiàn)事故場景。
【專利說明】一種基于運動視覺的車禍過程重現(xiàn)方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及視頻圖像處理領(lǐng)域，尤其是一種基于運動視覺的道路車禍過程的重復(fù) 再現(xiàn)的方法。

【背景技術(shù)】
[0002] 隨著汽車保有量的增長，道路交通事故已成為世界性的問題，汽車被動安全性也 成為汽車最首要的性能。目前，我國對交通事故的處理與認(rèn)定也是采用傳統(tǒng)方法僅限于對 目擊者的現(xiàn)場調(diào)查，對現(xiàn)場進行拍照記錄一些零散的信息，對車輛的剎車軌跡進行簡單的 測量來進行事故的責(zé)任認(rèn)定。這種方法效率低下、耗費人力，責(zé)任認(rèn)定也存在較大的主觀 性，同時對車禍過程的記錄也不夠詳細(xì)、不夠直觀。另外一種采用電測量的方法對碰撞現(xiàn)場 進行模擬能夠得到較精確的數(shù)據(jù)，但是它的造價太高，得到的數(shù)據(jù)也不夠直觀，也只是得到 部分的實驗結(jié)果不能應(yīng)用到越來越多的交通事故認(rèn)定中。這樣事故報告中沒有完整而詳細(xì) 的事故信息記錄，則給事故再現(xiàn)分析帶來困難。


【發(fā)明內(nèi)容】

[0003] 本發(fā)明目的是提供一種基于運動視覺的車禍過程重現(xiàn)方法，采用幾何圖形分割和 基于運動動力學(xué)的目標(biāo)跟蹤技術(shù)實現(xiàn)車輛目標(biāo)的重建與跟蹤，通過運動視覺重建出整體車 輛的3D模型，利用目標(biāo)跟蹤技術(shù)實現(xiàn)相撞車輛的識別，得到車輛的運動軌跡，便于完整地 記錄事故信息和重現(xiàn)事故過程。
[0004] 為實現(xiàn)上述目的，采用了以下技術(shù)方案：本發(fā)明所述重現(xiàn)方法的步驟如下：
[0005] (1)從路況監(jiān)控視頻中提取圖像序列一一按固定幀數(shù)為步長間隔將道路監(jiān)控視頻 的幀提取出來，轉(zhuǎn)換成圖片格式，為后續(xù)的圖像處理做準(zhǔn)備。
[0006] (2)目標(biāo)車輛與背景分割一一利用布爾圖像的圖像分割算法BMS，布爾圖像是指對 圖片的每個顏色通道設(shè)置一個閥值來得到二值化的圖像，通過這種方法能夠有效的將目標(biāo) 車輛與背景分割開來，將汽車的輪廓從背景中提取出來。
[0007] (3)特征點的提取一一對汽車輪廓圖像建立尺度空間，基于尺度空間不變性的 SIFT算子，將圖像中感興趣的可以更有效描述圖像內(nèi)容及結(jié)構(gòu)的特征找出來，例如圖像中 的邊緣、角點、興趣點等；在尺度空間中尋找可有效描述圖像內(nèi)容及結(jié)構(gòu)特征的極值點，并 提取出極值點的位置、尺度、旋轉(zhuǎn)不變量；尺度空間不變性是指在不同的尺度空間下仍然能 夠匹配特征點。
[0008] (4)圖像匹配一一采用因式分解圖像關(guān)聯(lián)矩陣的算法，根據(jù)所選擇特征的值，建立 特征點間的對應(yīng)關(guān)系，將同一空間物理點在不同圖像中的成像點對應(yīng)起來，由此得到相應(yīng) 的視差圖像。
[0009] 其中，關(guān)聯(lián)矩陣是待匹配圖像之間的關(guān)鍵點組成的矩陣；因式分解是將復(fù)雜的關(guān) 聯(lián)矩陣轉(zhuǎn)換成簡單的較小的克羅內(nèi)克積矩陣，這種算法避免費時去計算成對的關(guān)聯(lián)矩陣， 降低計算難度。另外使用因式分解分解關(guān)聯(lián)矩陣的算法得到了一種新的關(guān)于原始問題的近 似方法，這使得本發(fā)明有效的改善了現(xiàn)有的圖形匹配計算算法。
[0010] (5)攝像機的標(biāo)定和校準(zhǔn)一一采用基于標(biāo)定物的攝像機標(biāo)定方法，使用結(jié)構(gòu)已知 的標(biāo)定參照物，通過建立標(biāo)定參照物上三維坐標(biāo)已知的點與其圖像點的對應(yīng)約束關(guān)系， 通過計算來確定攝像機模型的內(nèi)、外參數(shù)。
[0011] 攝像機的外參數(shù)是攝像機坐標(biāo)系與世界坐標(biāo)系之間進行變換時所需要的一個 3X3的旋轉(zhuǎn)矩陣R和一個3X1的平移矢量T。
[0012] 攝像機的內(nèi)參數(shù)是有效焦距f、像面中心坐標(biāo)Vtl)、徑向畸變修正系數(shù)、切向畸 變修正系數(shù)、仿射畸變和非正交畸變修正系數(shù)。
[0013] (6)車輛外形輪廓幾何模型重建一一采用表面空間分割方法將汽車表面的不同 幾何形狀從汽車整體上提取出來，將汽車表面整體分割成多個不同幾何形的小部分；再利 用幾何學(xué)的分層量化方法將汽車表面分割出來的每一個小部分量化為各種不同的參數(shù)，例 如：位置、位置方向和幾何圖形的尺寸。最后將每個量化后的幾何圖形再重新映射到車輛的 每一部分得到幾何圖形描述的車輛的3D模型。
[0014] (7)多目標(biāo)碰撞車輛跟蹤一一基于運動動力學(xué)的目標(biāo)跟蹤算法實現(xiàn)對目標(biāo)車輛的 跟蹤；對車輛的運動建立運動動力學(xué)模型，應(yīng)用該模型估計車輛的運動狀態(tài)，對目標(biāo)車輛進 行跟蹤。
[0015] (8)事故現(xiàn)場周圍場景重建一一因為交通事故的外圍環(huán)境不是一個剛體結(jié)構(gòu)，不 能采用基于結(jié)構(gòu)的重建算法，所以采用一種基于SIFT算子的特征點的提取與匹配算法實 現(xiàn)周圍場景的點云重建。
[0016] 與現(xiàn)有技術(shù)相比，本發(fā)明具有如下優(yōu)點：
[0017] 1、應(yīng)用布爾圖像分割方法，很好的將目標(biāo)車輛從背景中分割出來，并凸顯出車輛 外形；
[0018] 2、應(yīng)用運動動力學(xué)的目標(biāo)車輛跟蹤技術(shù)，對目標(biāo)車輛進行高精度的識別與跟蹤， 能夠很好地得到相撞車輛的運動軌跡，為交通事故認(rèn)定提供依據(jù)；
[0019] 3、采用分解圖像關(guān)聯(lián)矩陣的算法實現(xiàn)圖像匹配，有效降低算法的計算量；
[0020] 4、有效解決多個目標(biāo)車輛外形相似、追蹤時目標(biāo)軌跡交叉、相機移動等問題，還可 避免由于目標(biāo)移動超出視野或者被其他目標(biāo)遮擋而引起的數(shù)據(jù)丟失問題。

【專利附圖】

【附圖說明】
[0021] 圖1是本發(fā)明方法的系統(tǒng)框圖。
[0022] 圖2是本發(fā)明方法步驟2的流程圖。
[0023] 圖3是本發(fā)明方法步驟3的流程圖。
[0024] 圖4是本發(fā)明方法步驟6的流程圖。
[0025] 圖5是本發(fā)明方法步驟7的流程圖。
[0026] 圖6是本發(fā)明方法的攝像機模型示意圖。
[0027] 圖7是本發(fā)明方法中目標(biāo)車輛與背景分割的實驗結(jié)果圖。
[0028] 圖8是本發(fā)明方法中幾何學(xué)的3D模型重建的實驗結(jié)果圖。
[0029] 圖9是本發(fā)明方法中車輛的點云重建結(jié)果圖。
[0030] 圖10是本發(fā)明方法中車輛跟蹤實驗結(jié)果圖。

【具體實施方式】
[0031] 下面結(jié)合附圖對本發(fā)明做進一步說明：
[0032] 如圖1、2、3、4、5、6所示，本發(fā)明所述方法步驟如下：
[0033] (1)從路況監(jiān)控視頻中提取圖像序列一一按固定幀數(shù)為步長間隔將道路監(jiān)控視頻 的幀提取出來，轉(zhuǎn)換成圖片格式，為后續(xù)的圖像處理做準(zhǔn)備。
[0034] (2)目標(biāo)車輛與背景分割一一利用布爾圖像的圖像分割算法，將目標(biāo)車輛與背景 分割開來，將汽車的輪廓從背景中提取出來；目標(biāo)車輛與背景分割是指進行車禍過程的三 維重建時，首先要將目標(biāo)車輛從背景中提取出來，具體實現(xiàn)步驟如下：
[0035] 1)以δ為步長在〇?255之間取不同的Θ作為圖片每個顏色通道的閾值，得到 多個均勻分布的二值化的布爾圖像；
[0036] 2)將得到的二值化圖像中的封閉區(qū)域內(nèi)部賦值為1，其余部分賦值為0,得到凸顯 目標(biāo)車輛的關(guān)注圖像；
[0037] 3)對多個關(guān)注圖像取線性平均值得到整體的平均關(guān)注圖像；
[0038] 4)進行高斯模糊得到最后的凸顯圖像；
[0039] 所述的布爾圖形的獲得公式如下：
[0040] Bi= THRESH(Φ (I), Θ )
[0041] 其中，THRESHC，Θ )函數(shù)表示對輸入圖像I進行二值化；Θ表示二值化的閥值； 通過布爾圖像得到凸顯目標(biāo)車輛的關(guān)注圖像公式如下：

【權(quán)利要求】
1. 一種基于運動視覺的車禍過程重現(xiàn)方法，其特征在于，所述方法步驟如下： (1) 從路況監(jiān)控視頻中提取圖像序列一一按固定幀數(shù)為步長間隔將道路監(jiān)控視頻的幀 提取出來，轉(zhuǎn)換成圖片格式； (2) 目標(biāo)車輛與背景分割一一利用布爾圖像的圖像分割算法，將目標(biāo)車輛與背景分割 開來，將汽車的輪廓從背景中提取出來； (3) 特征點的提取一一對汽車輪廓圖像建立尺度空間，基于尺度空間不變性的SIFT算 子在尺度空間中尋找可有效描述圖像內(nèi)容及結(jié)構(gòu)特征的極值點，并提取出極值點的位置、 尺度、旋轉(zhuǎn)不變量； (4) 圖像匹配一一采用因式分解圖像關(guān)聯(lián)矩陣的算法，根據(jù)所選擇特征的值，建立特征 點間的對應(yīng)關(guān)系，將同一空間物理點在不同圖像中的成像點對應(yīng)起來，由此得到相應(yīng)的視 差圖像； 其中，關(guān)聯(lián)矩陣是待匹配圖像之間的關(guān)鍵點組成的矩陣；因式分解是將復(fù)雜的關(guān)聯(lián)矩 陣轉(zhuǎn)換成簡單的較小的克羅內(nèi)克積矩陣； (5) 攝像機的標(biāo)定和校準(zhǔn)一一采用基于標(biāo)定物的攝像機標(biāo)定方法，使用結(jié)構(gòu)已知的標(biāo) 定參照物，通過建立標(biāo)定參照物上三維坐標(biāo)已知的點與其圖像點的對應(yīng)約束關(guān)系，通過計 算來確定攝像機模型的內(nèi)、外參數(shù)； 攝像機的外參數(shù)是攝像機坐標(biāo)系與世界坐標(biāo)系之間進行變換時所需要的一個3X3的 旋轉(zhuǎn)矩陣R和一個3X1的平移矢量T; 攝像機的內(nèi)參數(shù)是有效焦距f、像面中心坐標(biāo)（Utl,Vtl)、徑向畸變修正系數(shù)、切向畸變 修正系數(shù)、仿射畸變和非正交畸變修正系數(shù)； (6) 車輛外形輪廓幾何模型重建一一采用表面空間分割方法將汽車表面的不同幾何形 狀從汽車整體上提取出來，將汽車表面整體分割成多個不同幾何形的小部分；再利用幾何 學(xué)的分層量化方法將汽車表面分割出來的每一個小部分量化為各種不同的參數(shù)，最后將每 個量化后的幾何圖形再重新映射到車輛的每一部分得到幾何圖形描述的車輛的3D模型； (7) 多目標(biāo)碰撞車輛跟蹤一一基于運動動力學(xué)的目標(biāo)跟蹤算法實現(xiàn)對目標(biāo)車輛的跟 蹤；對車輛的運動建立運動動力學(xué)模型，應(yīng)用該模型估計車輛的運動狀態(tài)，對目標(biāo)車輛進行 跟蹤； (8) 事故現(xiàn)場周圍場景重建一一采用基于SIFT算子的特征點的提取與匹配算法實現(xiàn) 周圍場景的點云重建。
2. 根據(jù)權(quán)利要求1所述的一種基于運動視覺的車禍過程重現(xiàn)方法，其特征在于，所述 步驟（2)中，目標(biāo)車輛與背景分割是指進行車禍過程的三維重建時，首先要將目標(biāo)車輛從 背景中提取出來，具體實現(xiàn)步驟如下： 1) 以S為步長在O?255之間取不同的Θ作為圖片每個顏色通道的閾值，得到多個 均勻分布的二值化的布爾圖像； 2) 將得到的二值化圖像中的封閉區(qū)域內(nèi)部賦值為1，其余部分賦值為0,得到凸顯目標(biāo) 車輛的關(guān)注圖像； 3) 對多個關(guān)注圖像取線性平均值得到整體的平均關(guān)注圖像； 4) 進行高斯模糊得到最后的凸顯圖像； 所述的布爾圖形的獲得公式如下： Bi=THRESH(Φ(I),θ) 其中，THRESHC，θ)函數(shù)表示對輸入圖像I進行二值化；Θ表示二值化的閥值；通過 布爾圖像得到凸顯目標(biāo)車輛的關(guān)注圖像公式如下：
其中，2表示得到的目標(biāo)車輛的封閉圖形；A(B)表示提取出布爾圖形B的封閉區(qū)間；Ρ(Β|Ι)表示基于布爾圖像B的最優(yōu)廣義函數(shù)。
3. 根據(jù)權(quán)利要求1所述的一種基于運動視覺的車禍過程重現(xiàn)方法，其特征在于，所述 步驟（3)中，SIFT算子描述子提取公式如下：
Θ(X，y)=tarT1((L(X，y+1)-L(X，y-1))(L(χ+1，y)-L(χ-1，y))) 其中，m(x，y)和Θ(x，y)分別代表點（x，y)處的梯度和方向；L(x，y)表示（x，y)點處 的灰度值。
4. 根據(jù)權(quán)利要求1所述的一種基于運動視覺的車禍過程重現(xiàn)方法，其特征在于，所述 步驟（4)中，判斷圖像節(jié)點匹配與否的算法公式如下：
其中，X表示待匹配圖像的對應(yīng)矩陣；Kp表示節(jié)點關(guān)聯(lián)矩陣；Kq表示邊界關(guān) 聯(lián)矩陣；K表示整體關(guān)聯(lián)矩陣； K矩陣分解公式如下：
其中，//, ；"2 =b2，/,,:H〇，iF-Gi表示第i幅圖像的關(guān)聯(lián) 矩陣
5. 根據(jù)權(quán)利要求1所述的一種基于運動視覺的車禍過程重現(xiàn)方法，其特征在于，所 述步驟（5)中，所述攝像機外參數(shù)包括旋轉(zhuǎn)矩陣R和平移矢量T，為了能夠利用圖像坐標(biāo) Pi(Xi,yd表達(dá)空間任意一點Xwi=(Xwi，ywi，zwi)必須先將其空間坐標(biāo)變換為攝像機坐標(biāo)Xcii =(xei，yei，ZcJ，該變換的矩陣表達(dá)式： Xci= RXwi+t 其中，R是一個3X3的旋轉(zhuǎn)矩陣；t是一個3X1的平移矢量； 所述攝像機內(nèi)參數(shù)包括有效焦距f、像面中心坐標(biāo)（Utl,Vtl)、徑向畸變修正系數(shù)、切向畸 變修正系數(shù)、仿射畸變和非正交畸變修正系數(shù)；用來描述攝像機的內(nèi)部幾何結(jié)構(gòu)及鏡頭的 光學(xué)特性； 所建立的攝像機內(nèi)參數(shù)模型如下：
其中，（χ/，y/ )表示像平面上的理想透視投影點；（SXi，δyi)表示總的畸變的修正系 數(shù)；建立空間點和像平面點的共線性方程求解攝像機內(nèi)參數(shù)如下：
其中，（Ui,Vi)表示空間點對應(yīng)的像點坐標(biāo)；f表示攝像機焦距；4和dy表示單個像素 在X軸和y軸上的物理尺寸；（sUi,δVi)表示利用像素坐標(biāo)表示的畸變因素。
6. 根據(jù)權(quán)利要求1所述的一種基于運動視覺的車禍過程重現(xiàn)方法，其特征在于，所述 步驟（6)中，所述車輛3D模型的重建步驟如下： 1) 圖像分解一一將汽車的每一個小部分分解，每個角度圖片中目標(biāo)車輛的分割公式如 下：
其中，P(I,wIΤ)表不分割方式；q(I，w)表不參考分割方式； 2) 目標(biāo)量化一一得到每一個小部分的目標(biāo)位置、方向、尺寸；對表面分割結(jié)果的評價公 式如下：
其中，IG(S)表示評價得分；Snmk表示第m個圖片的第η個分割部分的第k個有效幾何 圖形； 3) 重新組合一一采用AND-OR樹最優(yōu)搜索算法將每個量化后的幾何圖形再重新映射到 車輛的每一部分得到幾何圖形描述的車輛的3D模型；AND-OR樹最優(yōu)搜索算法公式如下：
其中，ch⑴函數(shù)返回節(jié)點i的索引號。
7. 根據(jù)權(quán)利要求1所述的一種基于運動視覺的車禍過程重現(xiàn)方法，其特征在于，所述 步驟（7)中，目標(biāo)跟蹤算法的實現(xiàn)步驟如下： 1)采用廣義線性賦值方法建立模型：
2) 線性回歸的方法對跟蹤小片段做近似：
其中，Cii表示跟蹤小片段； 3) 兩個跟蹤小片段之間相似點檢測Pij:
其中，漢/,α」表示用皮修補了Qi和α』之間的間隔； 4) 連接相鄰的兩個跟蹤小片段得到跟蹤目標(biāo)的運動軌跡； 通過上述過程得到目標(biāo)車輛在每一個圖像中的位置，將所得的車輛3D模型定位到每 一個圖片的位置得到動態(tài)的3D車輛運動場景。
8. 根據(jù)權(quán)利要求1所述的一種基于運動視覺的車禍過程重現(xiàn)方法，其特征在于：所述 尺度空間不變性是在不同的尺度空間下仍然能夠匹配特征點的特性。
9. 根據(jù)權(quán)利要求1所述的一種基于運動視覺的車禍過程重現(xiàn)方法，其特征在于：尺度 空間是指在圖像處理中引入一個被視為尺度的參數(shù)通過連續(xù)變換尺度參數(shù)獲得不同尺度 下的圖像處理信息。
【文檔編號】G06T7/00GK104463842SQ201410571218
【公開日】2015年3月25日 申請日期:2014年10月23日 優(yōu)先權(quán)日:2014年10月23日
【發(fā)明者】張立國, 崔利洋, 楊芳梅, 金梅 申請人:燕山大學(xué)