基于無人機的車輛環(huán)境感知系統(tǒng)及方法
【技術領域】
[0001] 本發(fā)明涉及圖像處理領域，具體涉及一種基于無人機空中平臺的對地面選定車輛 的環(huán)境感知技術，能夠快速獲取該車輛周圍道路環(huán)境信息。
【背景技術】
[0002] 車輛在現(xiàn)代社會中已經(jīng)發(fā)展成為不可缺少的代步工具。車輛行駛過程中穩(wěn)定并且 快速，但是需要獲取相應的外圍環(huán)境信息以確保其運行的安全性。現(xiàn)階段對車輛外部環(huán)境 的感知，主要依靠駕駛員人為觀察。雖然人為觀察可以迅速判斷出周圍的其他車輛、行人、 交通信號與標志，但是人類的感知依賴自身狀態(tài)，酒精、疲勞與經(jīng)驗缺失會降低環(huán)境感知的 準確性，此時通常導致交通事故。此外，隨著智能車輛與交通技術的發(fā)展，無人駕駛將會普 及，人工感知將會被逐漸替代。
[0003] 與此同時，智能車輛環(huán)境感知技術正在被研究。通過激光或超聲波測距已經(jīng)相當 成熟，基于機器視覺的交通標志識別也在逐漸發(fā)展，紅外行人感知也頗有成效。這些技術精 度高、實時性強，一定程度上輔助了車輛的環(huán)境感知，并對駕駛員進行提醒，或直接將數(shù)據(jù) 輸入車輛控制系統(tǒng)，以進行避障和保證安全。
[0004] 雖然現(xiàn)代汽車搭載這些裝置，但該裝置的使用范圍有限，其大多數(shù)搭載在車輛上 進行感知，容易受到遮擋，感知范圍有限，無法大尺度獲得車輛周圍各個物體相對位置信 息，同時易受自身車輛運動干擾，影響感知準確度。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明針對現(xiàn)有車輛環(huán)境感知技術中的感知范圍有限并且容易被干擾等不足，提 供了一種基于無人機的車輛環(huán)境感知系統(tǒng)及方法。本發(fā)明基于無人機的空中平臺，利用觀 察高度優(yōu)勢，從垂直于車輛平面方向進行廣域觀察，工作狀態(tài)穩(wěn)定，能夠獲得一個全面的目 標車輛與其他車輛、行人和障礙物的位置關系信息；同時也能獲得前方道路方向、車輛占有 率、能否通行等交通信息。
[0006] 為了達到上述目的，本發(fā)明通過以下技術方案實現(xiàn)：
[0007] -種基于無人機的車輛環(huán)境感知系統(tǒng)，包括:無人飛行器和地面站。
[0008] 所述的無人飛行器上搭載增穩(wěn)云臺和攝像裝置、第一無線通信模塊、第一圖像傳 輸模塊;通過攝像裝置對路面進行拍攝，獲得車輛、道路的視頻圖像;通過第一無線通信模 塊接收飛行控制信號;通過第一圖像傳輸模塊將拍攝的視頻圖像傳輸至地面站。無人飛行 器與車輛通過系留繩連接，由車載供電系統(tǒng)為無人飛行器供電。所述的攝像裝置同時進行 彩色視頻拍攝和紅外拍攝。
[0009] 所述的地面站裝有第二無線通信模塊、第二圖像傳輸模塊和計算機模塊;通過第 二無線通信模塊傳輸飛行控制信號給無人飛行器;通過第二圖像傳輸模塊接收無人飛行器 傳來視頻圖像;通過計算機模塊，對接收的視頻圖像進行處理，得到車輛環(huán)境信息，并通過 數(shù)據(jù)線與無人駕駛車輛進行信息交互。地面站放置在車輛上，由車載供電系統(tǒng)供電。所述的 車輛環(huán)境信息包括目標車輛與道路的位置關系、目標車輛與行人、其他車輛的距離。所述的 計算機模塊計算飛行控制參數(shù)給無人飛行器，以使得無人飛行器和車輛一同前行。
[0010] 基于上述系統(tǒng)實現(xiàn)的基于無人機的車輛環(huán)境感知方法的流程包括以下幾個步驟：
[0011] 步驟（1)感知系統(tǒng)啟動后，無人飛行器起飛，懸停后與車輛中地面站建立通信，同 時開始進行環(huán)境感知。
[0012] 步驟(2)無人飛行器搭載攝像裝置，通過攝像裝置對路面進行拍攝，獲得車輛、道 路的視頻圖像，并通過所搭載的第一圖像傳輸模塊將視頻圖像傳回地面站。
[0013] 步驟(3)地面站通過計算機模塊對收到的視頻圖像進行圖像處理，并通過數(shù)據(jù)線 將車輛環(huán)境信息傳輸給車輛。
[0014] 步驟(4)計算機模塊通過圖像處理得到無人飛行器與車輛的位置關系，然后計算 無人飛行器飛行控制參數(shù)并發(fā)送，使無人飛行器和車輛一同前行，且無人飛行器實時以車 輛為中心進行環(huán)境感知。
[0015] 所述的步驟(3)進行圖像處理的過程如下：
[0016] 步驟3.1、通過圖像配準進行增穩(wěn)，跟蹤圖像中的特征點獲取圖像背景的運動，通 過仿射變換方法消除抖動。
[0017] 步驟3.2、鏡頭垂直地面拍攝，可以避免透視運算與坐標變換，從而通過比例變換 獲得圖像中道路長度、車輛距離等信息。
[0018] 步驟3.3、圖像處理時，從彩色視頻中提取道路位置以及車輛位置，從紅外圖像提 取行人位置，獲得圖像中物體坐標后，通過比例計算得到目標車輛與道路的位置關系、目標 車輛與行人、其它車輛的距離。
[0019] 所述的步驟(4)中實現(xiàn)無人飛行器和車輛一同前行，包括如下方面：
[0020] (1)、簡化無人飛行器的控制，計算機模塊只對無人機的俯仰與偏航兩個參數(shù)進行 控制，控制采用雙模參數(shù)自校正模糊PID控制。
[0021] (2)、計算無人飛行器與車輛的相對位置時，以畫面中心作為無人飛行器所處位 置，在設定的區(qū)域范圍內(nèi)，尋找用特殊顏色標記車頂?shù)哪繕塑囕v。發(fā)現(xiàn)目標車輛位置后，計 算無人飛行器與車輛在現(xiàn)實中的偏移距離與偏移方向。
[0022] (3)、根據(jù)得到的偏移距離與偏移方向，計算機模塊計算PID控制算法的比例、積分 和微分值，給出無人飛行器的飛行控制參數(shù)，通過第二無線通信模塊傳輸給無人飛行器，實 現(xiàn)無人飛行器的自動跟車飛行。
[0023] (4)、當無人飛行器丟失目標車輛后，通過系留繩能夠提供對無人飛行器的引導。
[0024] 本發(fā)明技術方案，有如下創(chuàng)新點與優(yōu)勢：
[0025] (1)本發(fā)明基于無人機空中平臺，工作狀態(tài)穩(wěn)定，利用高度優(yōu)勢，從垂直于車輛平 面方向進行廣域觀察，覆蓋面廣，易于感知目標車輛周邊道路環(huán)境信息。該角度下所觀察到 的車輛相對位置信息清晰明確，準確率高。同時很好避免視角過低導致的機器視覺盲區(qū)增 大，范圍受限。同時根據(jù)選定車輛的車身長度與寬度參數(shù)可以精準計算出圖像中物體間的 距離信息。
[0026] (2)本發(fā)明對地面拍攝時，同時進行彩色視頻和紅外視頻拍攝。普通彩色視頻適合 用來提取道路方向與車輛軌跡信息，紅外視頻適合用來進行行人與車輛檢測，從而增強不 同目標的圖像特征，降低圖像識別的難度，同時分組識別可以避免圖像處理時所需要提取 信息的互相干擾造成的誤檢與遺漏。
[0027] (3)本發(fā)明所采用的無人飛行器跟隨目標車輛移動，可以實時感知車輛周圍環(huán)境 信息。由于無人飛行器的速度有限，同時出于安全性考慮，目前車輛行駛速度需要控制在 40km/h以下。
[0028] (4)本發(fā)明采用車載裝置供電。地面站可以將充電接口與信息交互接口集成，以簡 化地面站結構，同時解決供電問題。環(huán)境感知需要長時間滯空，現(xiàn)行無人飛行器電池續(xù)航時 間有限，通過系留繩供電以延長無人飛行器飛行時間。此外，系留繩可以在無人飛行器丟失 目標車輛時進行航向引導，避免無人飛行器與車輛失散。
[0029] (5)本發(fā)明系統(tǒng)含有無人飛行器與地面站兩部分，無人飛行器僅負責飛行、拍攝和 回傳圖像，處理進程較少，能夠最大化優(yōu)化飛行控制過程以提升飛行精度與飛行安全。地面 站負責控制、接收圖像、處理圖像、信息交互，其計算量能力較強，穩(wěn)定性高，適合承當大部 分主要感知工作。兩部分裝置互相協(xié)調以實現(xiàn)本發(fā)明系統(tǒng)的流暢工作。
【附圖說明】
[0030] 圖1是本發(fā)明的基于無人機的車輛環(huán)境感知系統(tǒng)的組成示意圖；
[0031] 圖2是本發(fā)明的基于無人機的車輛環(huán)境感知方法的流程示意圖；
[0032]圖3a為提取道路信息的示意圖；
[0033]圖3b為提取車輛位置信息的示意圖；
[0034]圖3c為提取行人位置信息的示意圖；
[0035]圖4是本發(fā)明的進行距離計算的示意圖。
[0036] 圖中：1_需要被環(huán)境感知的目標車輛，2-地面站，3-系留繩，4-無人飛行器。
【具體實施方式】
[0037] 下面結合附圖對本發(fā)明作進一步說明：
[0038] 如圖1所示，本發(fā)明提供一種基于無人機的車輛環(huán)境感知系統(tǒng)，其包括：需要環(huán)境 感知的目標車輛1，地面站2,系留繩3,無人飛行器4。所述的地面站2與無人飛行器4通過無 線通信，并進行圖像傳輸。地面站2放置在目標車輛1上，由目標車輛1供電，無人飛行器4由 目標車輛1通過系留繩3供電。
[0039]無人飛行器4為一架四旋翼無人飛行器。無人飛行器4上搭載GPS(全球定位系統(tǒng)） 模塊、AHRS(航姿參考系統(tǒng))模塊和飛行控制裝置，以保證無人飛行器的穩(wěn)定安全飛行。無人 飛行器4上搭載增穩(wěn)云臺和攝像裝置，以實現(xiàn)無人飛行器4對路面的穩(wěn)定拍攝，從而獲得車 輛、道路的視頻圖像。其中所述攝像裝置可同時進行彩色視頻拍攝與紅外視頻拍攝。無人飛 行器4上搭載第一無線通信模塊，實現(xiàn)飛行控制信號的接收。無人飛行器4上搭載第一圖像 傳輸模塊，將無人飛行器拍攝的視頻圖像傳輸至地面站。無人飛行器4與車輛1通過系留繩3 連接，由車載供電系統(tǒng)供電。
[0040]地面站2裝有第二無線通信模塊，用于傳輸飛行控制信號給無人飛行器4。地面站2 裝有第二圖像傳輸模塊，用于接收無人飛行器4傳來視頻圖像。地面站2內(nèi)置計算機模塊，對 視頻圖像進行處理，得到車輛環(huán)境信息，并能夠通過數(shù)據(jù)線與無人駕駛車輛1進行信息交 互。地面站2由無人駕駛車輛1的車載供電系統(tǒng)供電。地面站2可以將充電接口與信息交互接 口集成，以簡化地面站結構，同時解決供電問題。
[0041] 圖2為利用上述車輛環(huán)境感知系統(tǒng)，實現(xiàn)的基于無人機的車輛環(huán)境感知方法的流 程圖，包括步驟(1)一步驟(4)。下面詳細對各步驟進行說明：
[0042] 步驟（1)感知系統(tǒng)啟動后，無人飛行器4將立即起飛至地面站2所在車輛1上方100-200米處懸停，并與地面站2建立通信，然后開始進行環(huán)境感知。
[0043] 取無人飛行器飛行高度為150米，鏡頭角度為60°，則位于該高度時，無人飛行器的 視野半徑在85米，可以拍攝到周圍大量的物體，以保證能夠充分感知環(huán)境。同時，在該高度 范圍內(nèi)，無人飛行器能夠在較短時間內(nèi)到達目標點，靈活機動，控制信號強，有利于安全飛 行，避免失控。
[0044] 步驟(2)無人飛行器4通過所搭載的攝像裝置，對路面進行拍攝，獲得車輛、道路的 視頻圖像，并通過所搭載的第一圖像傳輸模塊將視頻圖像傳回地面站。
[0045]無人飛行器4搭載攝像裝置，攝像裝置的單目鏡頭需要進行標定，以修正在其拍攝 過程中直線產(chǎn)生的弧度，還原道路與車輛變形，降低環(huán)境感知的干擾與誤檢