一種無人機(jī)3d全景視覺裝置的制造方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及無人直升機(jī)、全景激光光源、全方位視覺傳感器、無線傳輸以及計(jì)算機(jī) 視覺技術(shù)在無人機(jī)視覺等方面的應(yīng)用，尤其涉及一種無人機(jī)3D全景視覺裝置。
【背景技術(shù)】
[0002] 無人直升機(jī)航拍照片具有大比例尺、廣視角、高現(xiàn)勢性的優(yōu)點(diǎn)。目前無人機(jī)航拍廣 泛應(yīng)用于軍事偵察、國家生態(tài)環(huán)境保護(hù)、礦產(chǎn)資源勘探、海洋環(huán)境監(jiān)測、土地利用調(diào)查、水資 源開發(fā)、農(nóng)作物長勢監(jiān)測與估產(chǎn)、農(nóng)業(yè)作業(yè)、自然災(zāi)害監(jiān)測與評估、城市規(guī)劃與市政管理、森 林病蟲害防護(hù)與監(jiān)測、公共安全、國防事業(yè)、數(shù)字地球以及廣告攝影等領(lǐng)域，有著廣闊的市 場需求。
[0003] 當(dāng)前無人機(jī)視覺上的研究，大多是利用無人機(jī)視覺進(jìn)行避障，或者利用無人機(jī)視 覺進(jìn)行飛行控制。但是，無人機(jī)航拍所獲取的二維圖像缺乏實(shí)際的幾何數(shù)據(jù)，無法再現(xiàn)被測 物的3D實(shí)體幾何數(shù)據(jù)；為了獲取更詳細(xì)，更準(zhǔn)確的信息，需要對無人機(jī)所拍攝的圖像進(jìn)行 拼接以活動(dòng)周圍全景圖像，另外還需要進(jìn)行3D測量。目前基本上采用雙目立體視覺的方式 來獲取被測物的深度信息。近年來出現(xiàn)了一種直接測量物體深度的技術(shù)，如微軟公司的深 度傳感器，但是這種技術(shù)屬于面掃描技術(shù)，要獲取3D全景仍然存在著很大困難。無人機(jī)視 覺從2D圖像走向3D圖像，從某一個(gè)面走向360°全景是一個(gè)發(fā)展趨勢，基于無人機(jī)航拍圖 像的3D測量與3D全景重建技術(shù)在軍事、民用和科學(xué)研究等方面都有著極其廣闊的應(yīng)用前 旦 〇
[0004] 申請?zhí)枮?01410264745. 9的中國專利申請公開了一種基于無人機(jī)的航拍測繪裝 置及圖像校準(zhǔn)方法，通過設(shè)置角度攝像頭和堅(jiān)直攝像頭，可以同時(shí)提供斜角影像圖和俯視 影像圖；根據(jù)兩個(gè)最終影像點(diǎn)之間的應(yīng)然距離與兩個(gè)原始影像點(diǎn)之間的實(shí)然距離的比值， 對原始影像圖進(jìn)行縮放，從而得到最終影像圖。這種方法屬于雙目立體視覺的測量方式，該 方式除了 3D測量效率低以外，容易受到各種干擾，攝像機(jī)構(gòu)復(fù)雜，計(jì)算復(fù)雜度高，在實(shí)用上 還存在著較大距離。
[0005] 申請?zhí)枮?01110085596. 6的中國專利申請公開了一種無人機(jī)航拍視頻實(shí)時(shí)全景 圖拼接方法。利用視頻采集卡采集由無人機(jī)通過微波通道實(shí)時(shí)傳回基站的圖像，對圖像序 列進(jìn)行關(guān)鍵幀選擇，對關(guān)鍵幀進(jìn)行圖像增強(qiáng)；在圖像拼接過程中，首先采用魯棒性良好的 SURF特征檢測方法對圖像幀的特征檢測和幀間匹配；又采用幀到全景的圖像變換方式，減 少圖像連乘累積誤差，并結(jié)合無人機(jī)的GPS位置信息，確定飛行路徑在時(shí)序上不相鄰但在 空間上相鄰的圖像幀，優(yōu)化幀到全景的變換關(guān)系，確定圖像重疊區(qū)域，實(shí)現(xiàn)圖像融合和全景 圖的構(gòu)建，實(shí)現(xiàn)了邊飛邊拼接的實(shí)時(shí)效果；在圖像變換時(shí)，利用視域上相鄰幀信息和空域相 鄰幀信息，優(yōu)化圖像變換，獲得準(zhǔn)確的全景圖。該案件實(shí)現(xiàn)的效果只是將局部圖像拼接為全 景圖像，未涉及到3D測量與3D重構(gòu)。
[0006] 申請?zhí)枮?01010297558. 2的中國專利文獻(xiàn)公開了一種基于激光探測和圖像識 別的無人直升機(jī)三維定位及測繪方法，包括了基于激光探測和圖像識別的測距傳感器、高 度傳感器和飛行控制計(jì)算機(jī)，測距傳感器由機(jī)載攝像機(jī)和激光發(fā)射器組成，用于探測無人 直升機(jī)距周圍障礙物的距離，通過改變俯仰角和偏航角，測距傳感器對無人直升機(jī)周圍環(huán) 境進(jìn)行探測并測距；高度傳感器用于測量無人直升機(jī)距地面的飛行高度；根據(jù)在不同俯仰 角、航向角和飛行高度條件下測量得到的測距數(shù)據(jù)，實(shí)現(xiàn)無人直升機(jī)對未知環(huán)境的三維同 步定位及測繪。該案屬于主動(dòng)視覺對周圍障礙物的檢測，但是在檢測過程中要不斷改變俯 仰角、航向角和飛行高度，使得攝像機(jī)構(gòu)復(fù)雜度增加，實(shí)時(shí)性降低；此外該案尚未涉及如何 應(yīng)用主動(dòng)式視覺對周圍環(huán)境的3D重構(gòu)。
[0007]綜上所述，在無人機(jī)航拍技術(shù)中，對于還原場景、目標(biāo)的三維結(jié)構(gòu)存在著如下若干 個(gè)棘手的問題：1)如何消除航拍過程中飛機(jī)本身的抖動(dòng)、偏移、旋轉(zhuǎn)等引起攝像機(jī)的擺動(dòng)、 旋轉(zhuǎn)對成像模型的不利影響；2)如何使得無人機(jī)以較低的速度甚至"懸停"并穩(wěn)定地沿預(yù) 定航線飛行，來獲得構(gòu)建理想的3D模型的圖像；3)如何使得無人機(jī)在不改變俯仰角、航向 角和飛行高度情況下能方便地獲取飛行航線上的全景圖像，使得無人機(jī)視覺裝置簡單化； 4)如何使得無人機(jī)能夠適應(yīng)各種復(fù)雜、狹小的環(huán)境，并且能實(shí)現(xiàn)懸停、側(cè)飛等多種姿態(tài)飛 行，無人機(jī)的機(jī)身機(jī)械結(jié)構(gòu)簡單；5)如何對主動(dòng)式全景視覺傳感器進(jìn)行微型化和輕量化設(shè) 計(jì)，有效減少無人機(jī)的負(fù)載量；6)如何進(jìn)行場景及對象的快速3D測量，包括對飛行過程中 的障礙物的檢測及避障；7)如何根據(jù)相同場景在多個(gè)成像上的內(nèi)在約束關(guān)系重建目標(biāo)三 維結(jié)構(gòu)并進(jìn)行精確測量；8)如何實(shí)現(xiàn)邊飛行、邊3D測量和邊3D建模。

【發(fā)明內(nèi)容】

[0008]為了克服已有的無人機(jī)視覺裝置的自動(dòng)化和智能化水平低、難以對周邊場景及對 象進(jìn)行快速3D測量、難以用視覺方式對周邊障礙物進(jìn)行快速檢測與快速避障、周邊環(huán)境的 三維建模困難等不足，本發(fā)明提供一種新型的無人機(jī)3D全景視覺裝置，能夠提高無人機(jī)視 覺裝置的自動(dòng)化和智能化水平，對無人機(jī)周邊環(huán)境及物體對象進(jìn)行快速3D視覺測量，并自 動(dòng)實(shí)現(xiàn)三維建模。
[0009]要實(shí)現(xiàn)上述
【發(fā)明內(nèi)容】
，必須要解決幾個(gè)核心問題：（1)適合于3D環(huán)境視覺測量與 3D建模的無人機(jī)的選型；（2)實(shí)現(xiàn)一種價(jià)格低廉、總體重量在無人機(jī)的負(fù)重能力范圍內(nèi)、具 有無線視頻圖像傳輸能力、并能快速并高精度獲得實(shí)際物體深度信息的主動(dòng)式全景視覺傳 感器；（3)采用計(jì)算機(jī)視覺技術(shù)對周邊環(huán)境的三維重建方法；(4)采用計(jì)算機(jī)視覺技術(shù)對周 邊障礙物的檢測與避障；（5)采用計(jì)算機(jī)視覺技術(shù)計(jì)算得到無人機(jī)的飛行軌跡。
[0010] 本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案是：
[0011] 首先是無人機(jī)的選型，根據(jù)技術(shù)要點(diǎn)，本發(fā)明采用旋翼式無人機(jī)，該機(jī)型能實(shí)現(xiàn) "懸停"動(dòng)作并可以垂直起降，其機(jī)動(dòng)性大大超過固定翼式無人機(jī)，非常適合在城市或室內(nèi) 等的復(fù)雜狹窄空間或者在需要低速穩(wěn)定飛行的場合下使用。
[0012] 與傳統(tǒng)的直升機(jī)相比，多旋翼無人機(jī)的結(jié)構(gòu)更為緊湊，各個(gè)旋翼間可相互抵消反 扭力；由于采用了較小的旋翼，無人機(jī)可以飛至離目標(biāo)更近的區(qū)域。多旋翼飛行器通過多個(gè) 旋翼轉(zhuǎn)速的配合控制來實(shí)現(xiàn)多種姿態(tài)飛行的，多旋翼產(chǎn)生的推力可更有效的控制無人機(jī)的 飛行姿態(tài)。
[0013]在航拍應(yīng)用中，最基本的要求是無人機(jī)拍攝出的畫面平穩(wěn)清晰，便于后期的處理 以及為之后的三維重建提供優(yōu)質(zhì)的航拍素材。
[0014]首先，無人機(jī)需要搭載高分辨率的3D全景視覺裝置升空并完成飛行航線，這就要 求無人機(jī)具有一定的負(fù)載能力。
[0015] 其次，在航拍過程中對無人機(jī)的飛行速度有較高的要求，常常需要無人機(jī)以較低 的速度甚至"懸停"并穩(wěn)定地沿預(yù)定航線飛行，來獲得理想的全景圖像。而"懸停"以及低 速飛行正是多旋翼無人機(jī)所適合的，它較差的抗風(fēng)性能可通過飛行控制器和相機(jī)云臺加以 補(bǔ)償。
[0016] 針對航拍這一應(yīng)用場合的特殊需求和各類型無人機(jī)的特點(diǎn)，最終選取四旋翼無人 機(jī)作為航拍無人機(jī)平臺。
[0017] 四旋翼無人機(jī)系統(tǒng)可分為飛行器主體部分、3D全景視覺裝置和飛行控制機(jī)地面站 控制系統(tǒng)部分；3D全景視覺裝置固定安裝在飛行器主體部分中部，3D全景視覺裝置的中軸 線與飛行器主體部分的中軸線重疊。
[0018] 飛行器主體部分根據(jù)四旋翼飛行器的結(jié)構(gòu)?？紤]到機(jī)身自重、強(qiáng)度，機(jī)身采用全碳 纖結(jié)構(gòu)，由中心板、機(jī)臂和起落架組成。中心板成正四邊形，四個(gè)機(jī)臂分布于中心板四邊形 的定點(diǎn)處。機(jī)身材料采用2. 0mm厚度3K全碳板加工而成，配合航空錯(cuò)合金管夾和碳纖管組 合而成。在各個(gè)機(jī)臂末端安裝電機(jī)與螺旋槳，電機(jī)采用機(jī)臂上安裝有電子調(diào)速器，中心板上 安裝有飛行控制器及其附屬設(shè)備。
[0019] 考慮到需要滿足飛行器載重和續(xù)航時(shí)間的要求，選擇的主要電子器件如下：1)電 機(jī)：盤式無刷電機(jī)，定子尺寸48MM幸2MM，配合1447螺旋槳，單個(gè)電機(jī)全油門拉力為2260 克，功率355瓦，力效6. 4克每瓦。2)電子調(diào)速器：持續(xù)工作電流30安，瞬間最大電流45 安，持續(xù)10秒。3)電池：6S鋰電池，電壓22. 2V，最大放電倍率20~25C，單體內(nèi)阻1.2毫 歐，重量1400克；在該配置下，無人機(jī)最大起飛重量8千克，巡航飛行的時(shí)間15分鐘。
[0020] 3D全景視覺裝置主要包括主動(dòng)式全景視覺傳感器、嵌入式設(shè)備和電源；嵌入式設(shè) 備中包括圖像獲取模塊，無線圖像傳輸模塊，地面監(jiān)視器等。主要功能是獲取穩(wěn)定，高清的 場景航拍全景圖像，并實(shí)時(shí)的在地面監(jiān)視拍攝內(nèi)容。
[0021] 主動(dòng)式全景視覺傳感器內(nèi)置WiFi無線通信。它的特點(diǎn)是體積小、重量輕、直接拍 攝全景，非常適合對重量較為敏感、航拍攝像面大的航拍應(yīng)用。
[0022] 無線圖像傳輸模塊，定向天線和監(jiān)視器，使得地面人員可以實(shí)時(shí)觀察到飛行器飛 行中圖像獲取的內(nèi)容，以便于控制人員對飛行器做出相應(yīng)的控制。圖像傳輸設(shè)備工作頻率 為1. 2GHz，該頻段的信號，跨越障礙的能力出色，與其他頻段干擾少。
[0023] 無線數(shù)據(jù)通信模塊保證了飛行器和地面控制系統(tǒng)之間的數(shù)據(jù)交換，同時(shí)定向天線 可以進(jìn)一步加強(qiáng)圖像傳輸?shù)男盘?，使得地面監(jiān)視器不會出現(xiàn)信號干擾和中斷的情況。
[0024] 3D全景視覺裝置主要包括無線通信單元、主動(dòng)式全景視覺傳感器和電源；本發(fā)明 是讓無人機(jī)攜帶3D全景視覺裝置對周邊環(huán)境進(jìn)行視覺檢測和建模。
[0025] 無人機(jī)負(fù)重能力與3D全景視覺裝置的重量匹配的計(jì)算：無線通信單元，其重量 <l〇g，有效通信距離5km;主動(dòng)式全景視覺傳感器，其重量<200g，成像分辨率為300萬像素； 電源，其重量50g ;這三者重量的總和為260g。
[0026]主動(dòng)式全景視覺傳感器，其硬件包括：全方位視覺傳感器、全景激光光源和LED帶 光源；所述的全方位視覺傳感器與所述的全景激光光源進(jìn)行同軸固定連接，LED帶光源環(huán) 繞在所述的全方位視覺傳感器的下固定座上；為了滿足輕量化和低成本設(shè)計(jì)要求，所述的 全方位視覺傳感器與所述的全景激光光源中的部件采用塑料模具壓制生產(chǎn)。
[0027] 為了最大限度獲取無人機(jī)周邊環(huán)境高質(zhì)量的全景圖像，要求所述的全方位視覺傳 感器的垂直視場盡可能大些，成像的全景圖像更便于進(jìn)行3D測量與3D建模；根據(jù)周邊環(huán)境 的3D測量及3D建模的要求，對全方位視覺傳感器的折反射鏡面的光學(xué)成像后的全景圖像 的測量數(shù)據(jù)能方便計(jì)算，垂直視場角度盡可能大，同時(shí)要盡可能減少畸變，并具有較高的檢 測精度；
[0028] 折反射鏡面的垂直剖面設(shè)計(jì)為凹圓弧曲線，如圖2所示，根據(jù)光學(xué)反射原理，得到 以下幾個(gè)公式；
[0029]
[0030]
[0031]
[0032]
[0033] 式中，r為入射光束的高度，r'為入射光束的角度，S為反射光束的角度，R為反射 鏡面的圓弧半徑，a為入射光束的入射角，0為反射鏡面圓弧曲線的切線角。對于選定的 固定焦距的攝像機(jī)，反射光束的角度S只有在一個(gè)固定的范圍內(nèi)才能在成像芯片上成像； 也就是說，入射光束的高度和角度只有滿足一定條件才能在成像芯片上成像。
[0034] 全方位視覺傳感器的折反射鏡面是將凹圓弧的曲線環(huán)繞對稱軸一周而形成的，如 圖11所示；這種設(shè)計(jì)便于塑料模具成型加工，全景成像的畸變小，水平成像范圍為360°， 垂直成像范圍接近90°，并且成像清晰度與物點(diǎn)距離遠(yuǎn)近無關(guān)；這些特性非常適合于航拍 視覺裝置。
[0035] 主動(dòng)式3D立體全景視覺傳感器，如圖12所示，將實(shí)際物理空間坐標(biāo)系建立在全景 激光光源的軸心線與垂直于軸心線的全景激光的交點(diǎn)，坐標(biāo)值分別用X、Y、Z表示；全景圖 像坐標(biāo)系建立在全景圖像的中心，坐標(biāo)值分別用u、v表示；折反射鏡面的坐標(biāo)系建立在凹 圓弧的中心，坐標(biāo)值分別用X'、Y'表示。
[0036] 為了對空間環(huán)境及物體進(jìn)行3D測量，需要對全方位視覺傳感器進(jìn)行標(biāo)定，標(biāo)定的 目的是從成像平面上的點(diǎn)P(U'，V'）上找出入射光束的高度r和入射光束的角度的r'對應(yīng) 關(guān)系，用公式（5)表示；
[0037]r=f(p(u，，V'））
[0038] (5)
[0039] r' =g(p(u