一種基于雙目視覺的無人機(jī)危險(xiǎn)車距識(shí)別系統(tǒng)及方法
【專利摘要】一種基于雙目視覺的無人機(jī)危險(xiǎn)車距識(shí)別系統(tǒng)及方法，搭載GPS模塊、無線傳輸模塊和機(jī)載攝像機(jī)，采用雙目測距和三維重建技術(shù)結(jié)合GPS定位技術(shù)實(shí)現(xiàn)測距和測速以及車輛的危險(xiǎn)預(yù)警。本系統(tǒng)采用基于雙目測距和三維重建技術(shù)結(jié)合GPS定位技術(shù)實(shí)現(xiàn)對(duì)車輛的測距和測速，具體步驟如下：攝像機(jī)的標(biāo)定、目標(biāo)圖像的獲取、特征提取、立體校正、立體匹配、距離和速度測量。在判斷兩車處在危險(xiǎn)距離后通過無線傳輸模塊把攝像頭捕捉到的視頻實(shí)時(shí)傳輸給交通管理部門。本發(fā)明在高效精準(zhǔn)的作業(yè)同時(shí)大大提高了交通智能化程度，降低了交通管理部門的工作強(qiáng)度。
【專利說明】
-種基于雙目視覺的無人機(jī)危險(xiǎn)車距識(shí)別系統(tǒng)及方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明設(shè)及危險(xiǎn)車距識(shí)別領(lǐng)域，具體設(shè)及一種基于雙目視覺的無人機(jī)危險(xiǎn)車距識(shí) 別系統(tǒng)及方法。
【背景技術(shù)】
[0002] 隨著社會(huì)經(jīng)濟(jì)的發(fā)展和人們生活水平的提高，車輛的數(shù)量急劇增加，隨之而來的 是越來越多的追尾等交通事故的發(fā)生，由于信息傳輸?shù)臏?、交通事故造成的擁堵等情況 常常使執(zhí)法部口無詳細(xì)的憑據(jù)去了解事故發(fā)生的整個(gè)過程。
[0003] 目前，已有各種有關(guān)測量安全車距方法、裝置及系統(tǒng)等，但運(yùn)些大都用于輔助駕 駛，且不能實(shí)時(shí)進(jìn)行兩車間距預(yù)警并反饋給執(zhí)法部口。因此急需一種系統(tǒng)來輔助執(zhí)法部口 執(zhí)法，提高執(zhí)法效率，并確保執(zhí)法部口準(zhǔn)確無誤的掌握交通事故的整個(gè)過程，有利于做出公 平、公正的判斷。

【發(fā)明內(nèi)容】

[0004] 針對(duì)現(xiàn)有技術(shù)的上述不足，本發(fā)明旨在提供一種可動(dòng)態(tài)實(shí)時(shí)監(jiān)測車距、車速，當(dāng)出 現(xiàn)危險(xiǎn)車距時(shí)，把視頻實(shí)時(shí)傳輸給交警部口并進(jìn)行提醒，輔助執(zhí)法部口快速、有效執(zhí)法的一 種基于雙目視覺的無人機(jī)危險(xiǎn)車距識(shí)別系統(tǒng)及方法。
[0005] 本發(fā)明所采用的技術(shù)方案是:一種基于雙目視覺的無人機(jī)危險(xiǎn)車距識(shí)別系統(tǒng)及方 法，結(jié)合無人機(jī)機(jī)載GPS和機(jī)載攝像機(jī)，采用雙目測距和S維重建技術(shù)結(jié)合GPS定位技術(shù)實(shí) 現(xiàn)距離和速度測量W及車輛的危險(xiǎn)距離預(yù)警。
[0006] 所述雙目測距和=維重建的步驟包括攝像機(jī)的標(biāo)定、目標(biāo)圖像的獲取、特征提取、 立體校正、立體匹配、距離和速度測量。
[0007] 所述速度測量是通過解析無人機(jī)機(jī)載GPS模塊所接收到的數(shù)據(jù)包獲得無人機(jī)所飛 行的相對(duì)于地面靜止物體的速度加上所測車輛相對(duì)于無人機(jī)的相對(duì)速度即為車輛相對(duì)于 地面的絕對(duì)速度。
[000引所述危險(xiǎn)距離預(yù)警是本發(fā)明利用機(jī)載GPS沿指定路段巡航時(shí)對(duì)路段進(jìn)行監(jiān)測，采 用雙目測距和S維重建技術(shù)結(jié)合GI^定位技術(shù)實(shí)現(xiàn)距離和速度測量W及車輛的危險(xiǎn)距離預(yù) 警，在判斷存在危險(xiǎn)距離后通過無線傳輸模塊把攝像頭捕捉到的視頻實(shí)時(shí)傳輸給交通管理 部口。
[0009]本發(fā)明與現(xiàn)有技術(shù)相比，有益效果在于： 1. 在監(jiān)測成本及準(zhǔn)確性W及操作便利性方面具有明顯的優(yōu)勢(shì)； 2. 可W動(dòng)態(tài)地實(shí)時(shí)檢測車距、車速，當(dāng)出現(xiàn)危險(xiǎn)車距時(shí)，把視頻實(shí)時(shí)傳輸給交警部口 并進(jìn)行提醒，輔助交警快速、有效的執(zhí)法； 3. 由于本發(fā)明具有自動(dòng)檢測并提醒的功能，大大提高了交通智能化程度，降低了交通 管理部口的工作強(qiáng)度。
【附圖說明】
[0010] 圖1是本發(fā)明系統(tǒng)總體結(jié)構(gòu)簡圖。
[0011] 圖2是本發(fā)明所采用雙目定位技術(shù)中極線約束原理示意圖。
[0012] 圖3是本發(fā)明所采用雙攝像頭模型的俯視圖。
[0013] 圖4是本發(fā)明所采用雙攝像頭模型的立體視圖。
【具體實(shí)施方式】
[0014] 為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，W下結(jié)合附圖，對(duì)本發(fā)明進(jìn) 行進(jìn)一步詳細(xì)說明。
[0015] 本發(fā)明為一種基于雙目視覺的無人機(jī)危險(xiǎn)車距識(shí)別系統(tǒng)及方法，搭載GI^模塊、無 線傳輸模塊和機(jī)載攝像機(jī)，采用雙目測距和S維重建技術(shù)結(jié)合GPS定位技術(shù)實(shí)現(xiàn)測距和測 速W及車輛的危險(xiǎn)預(yù)警。
[0016] 如圖1所示，一種基于雙目視覺的無人機(jī)危險(xiǎn)車距預(yù)警系統(tǒng)，包括嵌入式平臺(tái)A、無 人機(jī)41、6口5模塊42、無線傳輸模塊43、雙目攝像頭44。其中嵌入式平臺(tái)4應(yīng)采用11111111〇巧6〇曰'(1 turbot高性能運(yùn)算平臺(tái)進(jìn)行無人機(jī)Al飛行姿態(tài)的控制及巡航路線規(guī)劃、解析GPS模塊A2所 接收的數(shù)據(jù)包、分析雙目攝像頭A4所采集到的數(shù)據(jù)并將處理后的數(shù)據(jù)通過無線傳輸模塊A3 發(fā)送回地面;無人機(jī)Al搭載所需要的模塊進(jìn)行巡航監(jiān)測;GPS模塊A2接收相關(guān)地理信息的數(shù) 據(jù)包并傳輸給嵌入式平臺(tái)A進(jìn)行解析;無線傳輸模塊A3應(yīng)采用4G通信模塊或5.8G化的無線 傳輸模塊將處理后的數(shù)據(jù)傳輸給地面接收端;雙目攝像頭A4用來進(jìn)行車輛坐標(biāo)的定位和目 標(biāo)車輛距離的測量。
[0017] 本系統(tǒng)采用基于雙目測距和S維重建技術(shù)結(jié)合GI^定位技術(shù)實(shí)現(xiàn)對(duì)車輛的測距和 測速，具體步驟如下:攝像機(jī)的標(biāo)定、目標(biāo)圖像的獲取、特征提取、立體校正、立體匹配、距離 和速度測量。
[0018] 首先在地面對(duì)嵌入式平臺(tái)A設(shè)定巡航路線對(duì)指定路段進(jìn)行巡航，利用雙目視覺定 位技術(shù)對(duì)車輛進(jìn)行測距和測速，如發(fā)現(xiàn)車輛超速或兩車處于危險(xiǎn)車距則啟動(dòng)攝像頭進(jìn)行視 頻捕捉，并將捕捉到的視頻通過無線傳輸模塊A3傳輸給地面接收端。
[0019] 下面對(duì)基于雙目視覺的測距和測速的實(shí)現(xiàn)方法進(jìn)行詳細(xì)闡述。
[0020] 首先進(jìn)行攝像機(jī)標(biāo)定，具體實(shí)現(xiàn)方法如下： 在實(shí)際使用的攝像機(jī)中，因?yàn)橹圃旃に嚨南拗浦鼽c(diǎn)不能保證在成像設(shè)備的正中屯、位 置，所W引入兩個(gè)參數(shù)嫁和轉(zhuǎn)表示真實(shí)主點(diǎn)與理想主點(diǎn)間的偏移。因?yàn)橄袼攸c(diǎn)在一個(gè)普通攝 像機(jī)上不能保證是正方形，所W使用兩個(gè)不同的焦距起和在。假設(shè)成像平面上的點(diǎn)為g =Cx 7評(píng)，目標(biāo)物體點(diǎn)為0 =[乂 r之。，引入?yún)?shù)S(比例因子)和單應(yīng)性矩陣H，其定義如下g二 S佩其中H由兩個(gè)矩陣表示：W二#T
(1) 1陣 (2) W用于目標(biāo)物體平面與攝像機(jī)平面的旋轉(zhuǎn)平移變換，即攝像機(jī)外參數(shù)矩陣。
[0021] 考慮到透鏡崎變，假設(shè)QiXXp, Jp)為校正后的點(diǎn)，gyUAJoO為崎變后的點(diǎn)，則有
(3) 其中投V%乾?乾，構(gòu)成一個(gè)5x1的矩陣，該矩陣就是攝像機(jī)的崎變矩陣。
[0022] 標(biāo)定是為得到攝像機(jī)的上述參數(shù)。OpenCV使用平面物體（例如平面黑白棋盤） 標(biāo)定攝像機(jī)。使用立體相機(jī)從不同角度不同距離拍攝左右棋盤圖像進(jìn)行標(biāo)定。在化enCV中 調(diào)用f indChessboardCornersO函數(shù)可找到棋盤角點(diǎn)信息的近似值，再使用cornerSubPix O函數(shù)得到棋盤角點(diǎn)的亞像素坐標(biāo)。使用化aw化essboardCornersO函數(shù)繪制出檢測到的 棋盤角點(diǎn)，W便在實(shí)驗(yàn)中觀察結(jié)果，然后使用stereo化librate()函數(shù)完成雙目標(biāo)定。
[0023] 目標(biāo)圖像由機(jī)載攝像機(jī)采集并傳輸至嵌入式平臺(tái)，并在嵌入式平臺(tái)中使用化enCV 庫函數(shù)進(jìn)行特征提取。
[0024] 接著進(jìn)行立體校正，具體實(shí)現(xiàn)方法如下： 有了旋轉(zhuǎn)矩陣7?和平移向量r，立體校正Bouguet算法就能簡單地使左右圖像中的每 幅重投影次數(shù)最小且重投影崎變最大，所W使立體匹配更加準(zhǔn)確和快速，并使左右圖像的 觀測面積最大。
[00巧]通過投影矩陣P把=維點(diǎn)變換成可W在平面上顯示的二維點(diǎn)。
(4) 同理，二維點(diǎn)也可通過重投影矩陣0重投影為=維 點(diǎn) (6) 其中位點(diǎn))為主點(diǎn)在左圖像上的坐標(biāo)，《為焦距冷為雙目間距，為主點(diǎn)在右圖 像的X坐標(biāo)。根據(jù)式（5)得到S維坐標(biāo)為：（乂 /r J /r)。在OpenCV中可通過 StereoRectifyO函數(shù)完成W上校正功能，該函數(shù)輸入?yún)?shù)是前面標(biāo)定返回的結(jié)果:攝像機(jī) 矩陣，崎變向量，左右旋轉(zhuǎn)矩陣R和平移向量r。輸出參數(shù)有式(4)中投影矩陣P，分別為 AeZY和Ai加，W及重投影矩陣0?？烧{(diào)用函數(shù)InitUndisto;rtRectifyMap()生成圖像校正 所需的映射矩陣。
[00%]然后進(jìn)行立體匹配，具體實(shí)現(xiàn)方法如下： 立體匹配是尋求同一空間景物在不同視點(diǎn)下投影圖像的像間的一一對(duì)應(yīng)關(guān)系。立體匹 配可義用BM算法,SGBM算法,GC算法等。
[0027]要計(jì)算目標(biāo)點(diǎn)在左右兩個(gè)視圖上形成的視差，首先要把該點(diǎn)在左右視圖上兩個(gè)對(duì) 應(yīng)的像點(diǎn)匹配起來。然而，在二維空間上匹配對(duì)應(yīng)點(diǎn)是非常耗時(shí)的，為了減少匹配捜索范 圍，我們可W利用極線約束使得對(duì)應(yīng)點(diǎn)的匹配由二維捜索降為一維捜索。極線約束原理如 圖2所示，空間中任意一點(diǎn)在圖像平面上的投影點(diǎn)，必然處于由該點(diǎn)和兩個(gè)攝像頭中屯、組成 的對(duì)極平面上。對(duì)于圖像上的某一特征點(diǎn)，其在另一視圖上的匹配點(diǎn)必處于對(duì)應(yīng)的對(duì)極線 上，運(yùn)稱為極線約束。極線約束使得特征匹配由二維捜索降低為一維捜索，從而大大加快計(jì) 算速度，并且減少誤匹配。
[00%]最后進(jìn)行距離和速度測量，具體實(shí)現(xiàn)方法如下： 雙攝像頭測距的原理如圖3及圖4所示，其中，圖4中Z是目標(biāo)點(diǎn)到成像平面的距離，f是 攝像頭焦距，T具兩攝像車并屯、的距離。目標(biāo)點(diǎn)在左右兩幅視圖上成像的橫向坐標(biāo)直接存在 的差異（即視差
，與目標(biāo)點(diǎn)到成像平面的距離Z存在著反比例的關(guān)系：Z=fT/d。 在化enCV中，f的量綱是像素點(diǎn)，T的量綱由定標(biāo)板棋盤格的實(shí)際尺寸和用戶輸入值確定，一 般是W毫米為單位（當(dāng)然為了精度提高也可W設(shè)置為0.1毫米量級(jí)）
3量綱也 是像素點(diǎn)。因此分子分母約去，Z的量綱與T相同。
[0029] 假設(shè)Sl為圖像平面上兩輛車之間的距離，S2為兩輛車之間的實(shí)際距離，則： (7) S像平面上在時(shí)間t里行駛的路程，枉為車輛相對(duì)于無人機(jī)的實(shí)際速度， 則 :) I絕對(duì)運(yùn)動(dòng)速度恥可由機(jī)載GI^得出，假設(shè)X為無人機(jī)機(jī)載GPS所獲得數(shù)據(jù) 包； t內(nèi)所經(jīng)過的位移，則： (9) I速度V可由車輛相對(duì)于無人機(jī)的相對(duì)運(yùn)動(dòng)速度和無人機(jī)的絕對(duì)運(yùn)動(dòng)速度 得 (10) 在得出車輛的絕對(duì)運(yùn)動(dòng)速度后與設(shè)定的車道限速進(jìn)行對(duì)比，若車輛速度大于限速則進(jìn) 行違章抓拍;若得出兩車間實(shí)際距離小于所設(shè)定的安全距離則啟動(dòng)攝像頭將畫面通過無線 傳輸模塊A3傳輸回地面接收端進(jìn)行預(yù)警，并調(diào)整無人機(jī)飛行速度使之與車輛速度接近并繼 續(xù)進(jìn)行判斷和預(yù)警。
【主權(quán)項(xiàng)】
1. 一種基于雙目視覺的無人機(jī)危險(xiǎn)車距識(shí)別系統(tǒng)及方法，具有危險(xiǎn)車距識(shí)別及預(yù)警功 能，其特征在于無人機(jī)上搭載攝像頭并利用GPS定位技術(shù)沿路段巡航，使用機(jī)載嵌入式平臺(tái) 對(duì)采集到的視頻進(jìn)行實(shí)時(shí)分析處理，得出相鄰兩車距離以及每輛車的車速，對(duì)危險(xiǎn)車距進(jìn) 行實(shí)時(shí)報(bào)警和追蹤，并利用無線傳輸技術(shù)將視頻實(shí)時(shí)傳輸給交通管理部門。2. 根據(jù)權(quán)利要求1所述的一種基于雙目視覺的無人機(jī)危險(xiǎn)車距識(shí)別系統(tǒng)及方法，其特 征在于所述無人機(jī)搭載攝像頭為雙目攝像頭。3. 根據(jù)權(quán)利要求1所述的一種基于雙目視覺的無人機(jī)危險(xiǎn)車距識(shí)別系統(tǒng)及方法，其特 征在于所述測距方法采用基于雙目定位和三維重建技術(shù)結(jié)合GPS定位技術(shù)的測距。4. 根據(jù)權(quán)利要求1所述的一種基于雙目視覺的無人機(jī)危險(xiǎn)車距識(shí)別系統(tǒng)及方法，其特 征在于所述雙目測距和三維重建的步驟如下:攝像機(jī)標(biāo)定、目標(biāo)圖像獲取、特征提取、立體 校正、立體匹配、距離和速度測量。
【文檔編號(hào)】G01S11/12GK106019264SQ201610337852
【公開日】2016年10月12日
【申請(qǐng)日】2016年5月22日
【發(fā)明人】李彥瑋, 江志奇, 劉怡萱, 谷亞茹, 廖羽喬
【申請(qǐng)人】江志奇