率。此外，攝像 裝置可以同時采集路面彩色視頻影像和紅外視頻影像，無人飛行器4進(jìn)行拍攝時，將會覆蓋 包含目標(biāo)車輛在內(nèi)的極大范圍，并通過第一圖像傳輸模塊將視頻圖像傳回地面站2。地面站 2的計算機(jī)模塊將立即進(jìn)行圖像處理，以獲得環(huán)境信息。
[0046]步驟(3)地面站2的計算機(jī)模塊對收到的視頻圖像進(jìn)行圖像處理，然后地面站2通 過數(shù)據(jù)線將得到的車輛環(huán)境信息傳輸給車輛1。在進(jìn)行圖像處理時，先將圖像配準(zhǔn)增穩(wěn);然 后，分別從彩色視頻中提取輸出車輛與道路信息，從紅外圖像提取輸出行人位置。
[0047] 步驟(3)的工作原理如下：
[0048] 步驟3.1、通過圖像配準(zhǔn)進(jìn)行增穩(wěn)，跟蹤圖像中的特征點(diǎn)獲取圖像背景的運(yùn)動，從 而通過仿射變換方法消除抖動。
[0049] 步驟3.2、鏡頭垂直地面拍攝，可以避免透視運(yùn)算與坐標(biāo)變換，從而通過簡單比例 計算獲得圖像中道路長度、車輛距離等信息。
[0050] 步驟3.3、如圖3a~圖3c所示，是本發(fā)明的進(jìn)行圖像處理感知車輛環(huán)境的示意圖， 圖像處理時：
[0051] ①、對于彩色視頻，通過顏色空間變換、閾值分割以及形態(tài)學(xué)操作等圖像處理方法 提取道路位置信息。如圖3a所示，通過：
[0052]將拍攝的圖像從RGB(紅，綠，藍(lán))顏色空間轉(zhuǎn)換到HSV(色調(diào)，飽和度，亮度)顏色空 間。對于轉(zhuǎn)換后的圖像，選取圖像中飽和度值在〇%_5%內(nèi)的區(qū)域，（在一般光照條件下，高 空拍攝的圖像中路面區(qū)域顏色閾值在上述區(qū)間內(nèi)，其他條件下閾值區(qū)間可能有所不同，需 要調(diào)整)得到道路二值化圖像。
[0053]對上述二值化圖像進(jìn)行形態(tài)學(xué)膨脹與腐蝕運(yùn)算，消除道路上車輛造成的空洞，同 時平滑道路邊界。其中，形態(tài)學(xué)操作的結(jié)構(gòu)元素定義為圓形，圓的半徑為車輛寬度的1/4。
[0054]然后進(jìn)行邊緣檢測，根據(jù)圖像梯度的驟變檢測到二值圖像黑白交錯出，此處則為 邊緣。由于道路邊緣可能為不規(guī)則曲線，可以通過霍夫變換繪制邊緣直線，從而獲得規(guī)則的 道路區(qū)域?；舴蜃儞Q過程:對于道路邊緣線a上的若干個點(diǎn) yn,)，近似滿足直線:X cos0+Y sin0 = r，其中0、r是參數(shù)。以點(diǎn)Ai(xi，yi,)為例，將xi、yi作為 參數(shù)，貝在：τ-θ參數(shù)平面上，可以得到曲線：r = X cos0+Y sin0。由此，可以將點(diǎn)集Α(Αι, 知，~，六[1)轉(zhuǎn)換成^0平面上的若干曲線，這些曲線過同一點(diǎn)（0^)。經(jīng)過霍夫變換后，統(tǒng)計^ Θ平面上的峰值點(diǎn)，獲取該點(diǎn)坐標(biāo)，即直線的參數(shù)Θ、Γ，從而繪制出直線。
[0055] ②、對于彩色視頻，采用基于Haar特征級聯(lián)分類器提取車輛位置信息，如圖3b所 示。采用基于Haar特征級聯(lián)分類器進(jìn)行車輛檢測，從而獲取各車輛在圖像中的坐標(biāo)、長、寬。 其中分類器檢測時，尋找圖形中的某一大型車輛，設(shè)定搜索窗口的長為該大型車輛長度的 1.2倍，搜索窗口的寬為該大型車輛寬度的1.2倍，并保持搜索窗口的形狀和大小不變，以完 成精確檢測。
[0056] ③、對于紅外圖像，提取行人位置信息，采用基于融合H0G(梯度方向直方圖）與DCT (離散余弦變換)特征的SVM分類器進(jìn)行提取。其中，融合特征V = [ 10VHQG，3VDCT]，VHQG為H0G特 征，V DCT為DCT特征。此時，該特征同時包含梯度方向與邊緣方向信息，對航拍紅外線行人目 標(biāo)具有良好的識別能力，從而得到行人坐標(biāo)，如圖3c所示。
[0057]④、獲取圖像中物體坐標(biāo)后，進(jìn)行距離計算。
[0058]例如圖4中所示，已知目標(biāo)車輛1長為W，寬為H，其與另一輛車橫向距離為Si，縱向 距離為S2,道路寬度為L。
[0059] 根據(jù)比例k如下：
[0060]
[0061]其中，w為車輛實(shí)際長度，h為車輛實(shí)際寬度。
[0062]可獲得實(shí)際道路寬度l=kL;目標(biāo)車輛1與另一輛車的實(shí)際橫向距離aikSi，實(shí)際 縱向距離S2 = kS2。
[0063]通過上面步驟3.1~3.3，從而可以計算得到目標(biāo)車輛與道路的位置關(guān)系、目標(biāo)車 輛與行人、其它車輛的距離信息。整體如圖3所示。
[0064]步驟(4)計算機(jī)模塊通過圖像處理得到無人飛行器4與車輛1的位置關(guān)系，得到偏 移距離與偏移方向，根據(jù)該值計算無人飛行器4的飛行控制參數(shù)并發(fā)送，使無人飛行器4和 車輛1 一同前行，以實(shí)時以車輛為中心進(jìn)行環(huán)境感知。
[0065]步驟(4)中實(shí)現(xiàn)無人飛行器和車輛一同前行的工作原理包括如下方面：
[0066] (1)、為了簡化無人飛行器4的控制，只對無人飛行器4的俯仰與偏航兩個參數(shù)進(jìn)行 控制?？刂撇捎秒p模參數(shù)自校正模糊PID(比例-積分-微分)控制。
[0067] (2)、計算相對位置時，以畫面中心作為無人飛行器4所處位置，可在畫面中心附近 設(shè)定一個感興趣區(qū)域范圍，在該區(qū)域范圍內(nèi)尋找用特殊顏色標(biāo)記車頂?shù)哪繕?biāo)車輛1。發(fā)現(xiàn)目 標(biāo)車輛1位置后，進(jìn)行無人飛行器4與目標(biāo)車輛1在現(xiàn)實(shí)中的偏移距離與方向的計算。
[0068] (3 )、根據(jù)得到的位置數(shù)據(jù)，計算機(jī)模塊將計算PID控制算法的比例、積分、微分值， 給出無人飛行器4的飛行控制參數(shù)，通過無線通信模塊傳輸給無人飛行器4,實(shí)現(xiàn)無人飛行 器4的自動跟車飛行。
[0069] (4)、當(dāng)無人飛行器4丟失目標(biāo)車輛1后，系留繩3能夠在一定程度上提供對無人飛 行器4的引導(dǎo)。
【主權(quán)項(xiàng)】
1. 一種基于無人機(jī)的車輛環(huán)境感知系統(tǒng)，包括:無人飛行器和地面站;其特征在于： 所述的無人飛行器上搭載增穩(wěn)云臺和攝像裝置、第一無線通信模塊、第一圖像傳輸模 塊;通過攝像裝置對路面進(jìn)行拍攝，獲得車輛和道路的視頻圖像;通過第一無線通信模塊接 收飛行控制信號;通過第一圖像傳輸模塊將拍攝的視頻圖像傳輸至地面站;所述的無人飛 行器與車輛通過系留繩連接，由車載供電系統(tǒng)為無人飛行器供電；所述的攝像裝置同時進(jìn) tx彩色視頻拍攝和紅外拍攝； 所述的地面站裝有第二無線通信模塊、第二圖像傳輸模塊和計算機(jī)模塊;通過第二無 線通信模塊傳輸飛行控制信號給無人飛行器;通過第二圖像傳輸模塊接收無人飛行器傳來 視頻圖像;通過計算機(jī)模塊，對接收的視頻圖像進(jìn)行處理，得到車輛環(huán)境信息，并通過數(shù)據(jù) 線與無人駕駛車輛進(jìn)行信息交互;所述的地面站放置在車輛上，由車載供電系統(tǒng)供電;所述 的車輛環(huán)境信息包括目標(biāo)車輛與道路的位置關(guān)系、目標(biāo)車輛與行人、其他車輛的距離;所述 的計算機(jī)模塊計算飛行控制參數(shù)給無人飛行器，以使得無人飛行器和車輛一同前行。2. 根據(jù)權(quán)利要求1所述的一種基于無人機(jī)的車輛環(huán)境感知系統(tǒng)，其特征在于:所述的計 算機(jī)模塊，從彩色視頻中提取道路位置以及車輛位置，從紅外圖像提取行人位置，獲得圖像 中物體坐標(biāo)后，通過比例計算得到目標(biāo)車輛與道路的位置關(guān)系、目標(biāo)車輛與行人、其它車輛 的距離。3. -種基于權(quán)利要求1所述的車輛環(huán)境感知系統(tǒng)的車輛環(huán)境感知方法，其特征在于:該 感知方法的實(shí)現(xiàn)步驟如下： 步驟1，感知系統(tǒng)啟動后，無人飛行器起飛，懸停后與車輛中的地面站建立通信，同時開 始進(jìn)行環(huán)境感知； 步驟2，無人飛行器搭載攝像裝置，通過攝像裝置對路面進(jìn)行拍攝，獲得車輛和道路的 視頻圖像，并通過所搭載的第一圖像傳輸模塊將視頻圖像傳回地面站； 步驟3,地面站通過計算機(jī)模塊對收到的視頻圖像進(jìn)行圖像處理，并通過數(shù)據(jù)線將車輛 環(huán)境信息傳輸給車輛； 步驟4,計算機(jī)模塊通過圖像處理得到無人飛行器與車輛的位置關(guān)系，然后計算無人飛 行器飛行控制參數(shù)并發(fā)送，使無人飛行器和車輛一同前行，且無人飛行器實(shí)時以車輛為中 心進(jìn)行環(huán)境感知。4. 根據(jù)權(quán)利要求3所述的車輛環(huán)境感知方法，其特征在于:所述的步驟1中，無人飛行器 起飛至地面站所在車輛上方100-200米處懸停。5. 根據(jù)權(quán)利要求3所述的車輛環(huán)境感知方法，其特征在于:所述的步驟3中，進(jìn)行圖像處 理的步驟為： 步驟3.1、通過圖像配準(zhǔn)進(jìn)行增穩(wěn)，跟蹤圖像中的特征點(diǎn)獲取圖像背景的運(yùn)動，通過仿 射變換方法消除抖動； 步驟3.2、鏡頭垂直地面拍攝，避免透視運(yùn)算與坐標(biāo)變換，通過比例變換獲得圖像中道 路長度和車輛距離； 步驟3.3、圖像處理時，從彩色視頻中提取道路位置以及車輛位置，從紅外圖像提取行 人位置，獲得圖像中物體坐標(biāo)后，通過比例計算得到目標(biāo)車輛與道路的位置關(guān)系、目標(biāo)車輛 與行人、其它車輛的距離。6. 根據(jù)權(quán)利要求5所述的所述的車輛環(huán)境感知方法，其特征在于:所述的步驟3.3中，采 用基于Haar特征級聯(lián)分類器提取車輛位置，分類器檢測時，尋找圖形中的某一大型車輛，設(shè) 定搜索窗口的長為該大型車輛長度的1.2倍，搜索窗口的寬為該大型車輛寬度的1.2倍。7.根據(jù)權(quán)利要求3所述的車輛環(huán)境感知方法，其特征在于:所述的步驟4中，實(shí)現(xiàn)無人飛 行器和車輛一同前行，包括如下方面： (1) 簡化無人飛行器的控制，計算機(jī)模塊只對無人飛行機(jī)的俯仰與偏航兩個參數(shù)進(jìn)行 控制，控制采用雙模參數(shù)自校正模糊PID控制； (2) 計算無人飛行器與車輛相對位置時，以畫面中心作為無人飛行器所處位置，在設(shè)定 的區(qū)域范圍內(nèi)尋找用特殊顏色標(biāo)記車頂?shù)哪繕?biāo)車輛，發(fā)現(xiàn)目標(biāo)車輛位置后，計算無人飛行 器與車輛在現(xiàn)實(shí)中的偏移距離與方向； (3) 根據(jù)得到的偏移距離與偏移方向，計算機(jī)模塊計算PID控制算法的比例、積分和微 分值，給出無人飛行機(jī)的飛行控制參數(shù)，通過第二無線通信模塊傳輸給無人飛行器，實(shí)現(xiàn)無 人飛行機(jī)的自動跟車飛行； (4) 當(dāng)無人飛行器丟失目標(biāo)車輛后，通過系留繩提供對無人飛行器的引導(dǎo)。
【專利摘要】本發(fā)明是一種基于無人機(jī)的車輛環(huán)境感知系統(tǒng)及方法，用于快速獲取車輛周圍道路環(huán)境信息。感知系統(tǒng)包括無人飛行器和地面站，無人飛行器與車輛通過系留繩連接，通過無人飛行器對路面進(jìn)行拍攝，并傳輸視頻圖像給地面站；地面站放置在目標(biāo)車輛上，對視頻圖像處理獲得車輛環(huán)境信息，并計算飛行控制參數(shù)給無人飛行器，以使得無人飛行器和車輛一同前行。感知方法基于感知系統(tǒng)，無人飛行器起飛懸停在車輛上方，建立通信進(jìn)行環(huán)境感知，回傳視頻圖像到地面站處理，地面站計算車輛環(huán)境信息傳輸給車輛、計算飛行控制參數(shù)給無人飛行器。本發(fā)明從垂直于車輛平面方向進(jìn)行廣域觀察，覆蓋面廣，易于感知目標(biāo)車輛周邊道路環(huán)境信息，可精準(zhǔn)計算出圖像中物體間距離。
【IPC分類】G06K9/00, G08G1/01
【公開號】CN105512628
【申請?zhí)枴緾N201510889283
【發(fā)明人】王云鵬, 余貴珍, 李欣旭, 陳鵬, 馬亞龍
【申請人】北京航空航天大學(xué)
【公開日】2016年4月20日
【申請日】2015年12月7日