一種基于光流的無(wú)人機(jī)自動(dòng)降落引導(dǎo)方法
【專(zhuān)利摘要】本發(fā)明提出一種基于光流的無(wú)人機(jī)自動(dòng)降落引導(dǎo)方法，在降落過(guò)程中通過(guò)對(duì)光流模塊的相機(jī)拍攝的實(shí)時(shí)圖像進(jìn)行處理，確定標(biāo)志物，估計(jì)標(biāo)志物相對(duì)無(wú)人機(jī)的位置和姿態(tài)；將相對(duì)位置、姿態(tài)信息發(fā)送給飛行控制器，從而控制無(wú)人機(jī)逐步逼近降落目標(biāo)，最終實(shí)現(xiàn)無(wú)人機(jī)全自主降落。由于無(wú)人機(jī)在自主飛行和降落過(guò)程中，使用下視的光流傳感器實(shí)現(xiàn)自身的定位，所以能夠在無(wú)GPS情況下完成自身的視覺(jué)定位。而且在GPS失效的情況下，使用光流模塊進(jìn)行輔助定位，能夠保證無(wú)人機(jī)準(zhǔn)確的找到降落場(chǎng)地，從而提高無(wú)人機(jī)降落的可靠性，該方法設(shè)計(jì)合理，能夠在不同情況下實(shí)現(xiàn)準(zhǔn)確降落，適用性廣泛。
【專(zhuān)利說(shuō)明】
一種基于光流的無(wú)人機(jī)自動(dòng)降落引導(dǎo)方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明涉及無(wú)人機(jī)、機(jī)器人自主導(dǎo)航領(lǐng)域，具體為一種基于光流的無(wú)人機(jī)自動(dòng)降 落引導(dǎo)方法。
【背景技術(shù)】
[0002] 近幾年，微型無(wú)人機(jī)由于其體積小、重量輕、隱蔽性好等特點(diǎn)被廣泛應(yīng)用于攝像、 監(jiān)控、偵查、追蹤、測(cè)繪等各個(gè)領(lǐng)域，并開(kāi)啟了無(wú)人機(jī)技術(shù)爆炸的時(shí)代。而動(dòng)態(tài)追蹤拍攝時(shí)微 小平臺(tái)（如汽車(chē)頂）回收拍攝裝備、快遞行業(yè)定點(diǎn)投送物品等民用無(wú)人機(jī)使用的新需求，都 對(duì)微型無(wú)人機(jī)的自動(dòng)降落技術(shù)提出了新挑戰(zhàn)。
[0003] 基于GPS的自動(dòng)降落時(shí)目前最常用的解決方法，但是這類(lèi)基于GPS導(dǎo)航的自動(dòng)降落 技術(shù)均存在一些不足：1)目前民用GPS定位精度僅能達(dá)到10米，對(duì)于一些地形復(fù)雜的區(qū)域， 如建筑群密集的城市中心，很有可能由于導(dǎo)航誤差造成無(wú)人機(jī)在低空進(jìn)近時(shí)墜毀;2 )GPS信 號(hào)受非空氣介質(zhì)干擾大，在遮擋物較多的地域(如森林)會(huì)造成誤差加大甚至信號(hào)缺失;3) 專(zhuān)業(yè)級(jí)高精度GPS設(shè)備造價(jià)高昂，經(jīng)濟(jì)性不足。GPS的精度不是特別高，若在偏離降落地點(diǎn)上 方時(shí)，GPS失效，可能會(huì)導(dǎo)致無(wú)法降落。
[0004] 通過(guò)計(jì)算機(jī)視覺(jué)的方式能夠克服GPS定位的缺陷，目前較為常用的方法是光流方 法。光流的概念是由Gibson于1950年首提出的，是指空間運(yùn)動(dòng)的物體在成像面上的像素運(yùn) 動(dòng)的瞬時(shí)速度，是利用圖像序列中像素在時(shí)間域上的變化以及相鄰幀之間的相關(guān)性來(lái)找到 與上一幀之間存在的對(duì)應(yīng)關(guān)系，從而計(jì)算出相鄰幀之間的運(yùn)動(dòng)信息的一種方法。它表征了 二維圖像的灰度變化和場(chǎng)景中物體及其運(yùn)動(dòng)的關(guān)系，它根據(jù)像素灰度的時(shí)域變化和相關(guān)性 確定各個(gè)像素的運(yùn)動(dòng)速度，因此，可被觀察者用來(lái)確定目標(biāo)的運(yùn)動(dòng)情況。1981年，Barron等 人對(duì)多種光流計(jì)算技術(shù)進(jìn)行總結(jié)，按照理論基礎(chǔ)與數(shù)學(xué)方法的區(qū)別把光流計(jì)算方法分為四 種:基于梯度的方法、基于匹配的方法、基于能量的方法、基于相位的方法。但實(shí)際應(yīng)用過(guò)程 中，定位有兩種:一種為標(biāo)志物定位，一種是光流定位。
[0005] 目前的無(wú)人機(jī)著陸系統(tǒng)主要包括設(shè)置在無(wú)人機(jī)上的圖像采集模塊、圖像處理模塊 和導(dǎo)航參數(shù)計(jì)算模塊。已有的方法有：
[0006] 上海理工大學(xué)的夏云龍、魏國(guó)亮等人提出了基于聲源時(shí)延和氣壓高度傳感器的無(wú) 人機(jī)精確降落技術(shù)，該項(xiàng)技術(shù)在降落點(diǎn)安置聲源，在無(wú)人機(jī)上構(gòu)造基于全向性駐極體麥克 風(fēng)的正四面體麥克風(fēng)接收陣列，利用聲源時(shí)延技術(shù)計(jì)算無(wú)人機(jī)的俯仰角和偏航角，再通過(guò) 無(wú)人機(jī)上安裝的氣壓高度傳感器感知無(wú)人機(jī)的高度，從而精確引導(dǎo)無(wú)人機(jī)降落。但聲源時(shí) 延方法仍會(huì)受到環(huán)境干擾。
[0007] 在審中的發(fā)明專(zhuān)利"針對(duì)小型無(wú)人機(jī)自主降落的視覺(jué)分級(jí)地標(biāo)定位識(shí)別方法"，利 用GPS將無(wú)人機(jī)導(dǎo)航到降落場(chǎng)地上方，然后通過(guò)視覺(jué)分級(jí)地標(biāo)定位識(shí)別，對(duì)機(jī)載攝像頭獲取 的圖像進(jìn)行處理，給出降落地標(biāo)的地位信息。該方法還是需要依賴(lài)GPS。

【發(fā)明內(nèi)容】

[0008] 為解決現(xiàn)有技術(shù)存在的問(wèn)題，本發(fā)明提出了一種基于光流的無(wú)人機(jī)自動(dòng)降落引導(dǎo) 方法，其特點(diǎn)是:在無(wú)人機(jī)接收到降落指令時(shí)，在GPS引導(dǎo)無(wú)人機(jī)飛往降落場(chǎng)上方數(shù)米大概 位置的過(guò)程中，若GPS失效，則利用本發(fā)明的基于光流的輔助定位方法，使無(wú)人機(jī)可以找到 降落場(chǎng)，進(jìn)行降落。
[0009] 為了實(shí)現(xiàn)上述任務(wù)，本發(fā)明的技術(shù)方案為：
[0010] 所述一種基于光流的無(wú)人機(jī)自動(dòng)降落引導(dǎo)方法，其特征在于:包括以下步驟：
[0011]步驟1:無(wú)人機(jī)根據(jù)自身飛行高度判斷是否需要降低飛行高度，以滿(mǎn)足無(wú)人機(jī)機(jī)載 相機(jī)清晰拍攝降落場(chǎng)地圖像要求；當(dāng)無(wú)人機(jī)飛行高度滿(mǎn)足要求后，無(wú)人機(jī)機(jī)載相機(jī)持續(xù)拍 攝降落場(chǎng)地圖像，并將拍攝的圖像轉(zhuǎn)換為灰度圖；
[0012] 步驟2:根據(jù)相鄰兩幀灰度圖像，利用以下方法得到光流場(chǎng)方向和速度：
[0013] 利用SAD算法對(duì)相鄰兩幀灰度圖像進(jìn)行匹配，以N*N的像素區(qū)域作為研究區(qū)域，選 擇若干對(duì)研究區(qū)域中匹配度最好的一對(duì)研究區(qū)域;再對(duì)得到的該對(duì)匹配度最好的研究區(qū)域 中的每對(duì)對(duì)應(yīng)像素點(diǎn)的位置作矢量運(yùn)算，得到像素點(diǎn)的運(yùn)動(dòng)方向，對(duì)所有像素點(diǎn)的運(yùn)動(dòng)方 向進(jìn)行統(tǒng)計(jì)，將統(tǒng)計(jì)值最大的運(yùn)動(dòng)方向作為光流場(chǎng)方向；
[0014] 在相機(jī)坐標(biāo)系下的光流場(chǎng)速度^及^利用以下公式得到：
[0017] 其中：Tx、Ty、Tz為世界坐標(biāo)系下，相鄰兩幀灰度圖像中運(yùn)動(dòng)方向?yàn)楣饬鲌?chǎng)方向的匹 配像素點(diǎn)P的運(yùn)動(dòng)平移分量，所述世界坐標(biāo)系以降落場(chǎng)所所在平面作為XY平面，垂直該平面 的軸為Z軸;x、y為像平面上的點(diǎn)p在相機(jī)坐標(biāo)系下的坐標(biāo)，Z為相機(jī)成像平面距離降落點(diǎn)的 垂直高度，f為相機(jī)焦距，《 X、《 y、《 z為點(diǎn)P的運(yùn)動(dòng)角速度；
[0018] 步驟3:根據(jù)步驟2得到的光流場(chǎng)方向和速度確定無(wú)人機(jī)的運(yùn)動(dòng)方向和速度，其中 無(wú)人機(jī)的運(yùn)動(dòng)方向與光流場(chǎng)方向相反，無(wú)人機(jī)在世界坐標(biāo)系下的速度V x、Vy根據(jù)以下公式得 到：
[0021] 無(wú)人機(jī)按照確定的運(yùn)動(dòng)方向和速度飛行；
[0022] 步驟4:循環(huán)進(jìn)行步驟2和步驟3,直至無(wú)人機(jī)機(jī)載相機(jī)拍攝的圖像中出現(xiàn)降落場(chǎng)地 地標(biāo)，進(jìn)入步驟5;
[0023] 步驟5:所述降落場(chǎng)地地標(biāo)包括外部標(biāo)記和內(nèi)部標(biāo)記;所述內(nèi)部標(biāo)記嵌套在外部標(biāo) 記內(nèi)；
[0024] 當(dāng)無(wú)人機(jī)機(jī)載相機(jī)拍攝圖像出現(xiàn)清晰完整外部標(biāo)記時(shí)，無(wú)人機(jī)進(jìn)入第一進(jìn)近域， 無(wú)人機(jī)機(jī)載相機(jī)持續(xù)拍攝圖像，根據(jù)圖像中的外部標(biāo)記確定無(wú)人機(jī)降落場(chǎng)地方位和無(wú)人機(jī) 的位姿，調(diào)整無(wú)人機(jī)的飛行方向；無(wú)人機(jī)根據(jù)得到的飛行方向減速下降飛行；
[0025] 當(dāng)無(wú)人機(jī)機(jī)載相機(jī)拍攝圖像出現(xiàn)清晰完整內(nèi)部標(biāo)記時(shí)，無(wú)人機(jī)進(jìn)入第二進(jìn)近域， 無(wú)人機(jī)機(jī)載相機(jī)持續(xù)拍攝圖像，根據(jù)圖像中的內(nèi)部標(biāo)記確定無(wú)人機(jī)降落場(chǎng)地方位和無(wú)人機(jī) 的位姿，調(diào)整無(wú)人機(jī)的飛行方向；無(wú)人機(jī)根據(jù)得到的飛行方向減速降落。
[0026] 所述一種基于光流的無(wú)人機(jī)自動(dòng)降落引導(dǎo)方法，其特征在于:包括以下步驟：
[0027] 步驟1:無(wú)人機(jī)根據(jù)自身飛行高度判斷是否需要降低飛行高度，以滿(mǎn)足無(wú)人機(jī)機(jī)載 相機(jī)清晰拍攝降落場(chǎng)地圖像要求；當(dāng)無(wú)人機(jī)飛行高度滿(mǎn)足要求后，無(wú)人機(jī)機(jī)載相機(jī)持續(xù)拍 攝降落場(chǎng)地圖像，并將拍攝的圖像轉(zhuǎn)換為灰度圖；
[0028] 步驟2:根據(jù)相鄰兩幀灰度圖像，利用以下方法得到光流場(chǎng)方向和速度：
[0029] 利用SAD算法對(duì)相鄰兩幀灰度圖像進(jìn)行匹配，以N*N的像素區(qū)域作為研究區(qū)域，選 擇若干對(duì)研究區(qū)域中匹配度最好的一對(duì)研究區(qū)域;再對(duì)得到的該對(duì)匹配度最好的研究區(qū)域 中的每對(duì)對(duì)應(yīng)像素點(diǎn)的位置作矢量運(yùn)算，得到像素點(diǎn)的運(yùn)動(dòng)方向，對(duì)所有像素點(diǎn)的運(yùn)動(dòng)方 向進(jìn)行統(tǒng)計(jì)，將統(tǒng)計(jì)值最大的運(yùn)動(dòng)方向作為光流場(chǎng)方向；
[0030] 在相機(jī)坐標(biāo)系下的光流場(chǎng)速度^及^利用以下公式得到：
[0033] 其中：Tx、Ty、Tz為世界坐標(biāo)系下，相鄰兩幀灰度圖像中運(yùn)動(dòng)方向?yàn)楣饬鲌?chǎng)方向的匹 配像素點(diǎn)P的運(yùn)動(dòng)平移分量，所述世界坐標(biāo)系以降落場(chǎng)所所在平面作為XY平面，垂直該平面 的軸為Z軸;x、y為像平面上的點(diǎn)p在相機(jī)坐標(biāo)系下的坐標(biāo)，Z為相機(jī)成像平面距離降落點(diǎn)的 垂直高度，f為相機(jī)焦距，《 X、《 y、《 z為點(diǎn)P的運(yùn)動(dòng)角速度；
[0034] 步驟3:根據(jù)步驟2得到的光流場(chǎng)方向和速度確定無(wú)人機(jī)的運(yùn)動(dòng)方向和速度，其中 無(wú)人機(jī)的運(yùn)動(dòng)方向與光流場(chǎng)方向相反，無(wú)人機(jī)在世界坐標(biāo)系下的速度V x、Vy根據(jù)以下公式得 到：
[0037] 無(wú)人機(jī)按照確定的運(yùn)動(dòng)方向和速度飛行；
[0038] 步驟4:以步驟3確定的運(yùn)動(dòng)方向?yàn)槌跏挤较颍园⒒椎侣菪€為飛行軌跡進(jìn)行 飛行，直至無(wú)人機(jī)機(jī)載相機(jī)拍攝的圖像中出現(xiàn)降落場(chǎng)地地標(biāo)，進(jìn)入步驟5;
[0039] 步驟5:所述降落場(chǎng)地地標(biāo)包括外部標(biāo)記和內(nèi)部標(biāo)記;所述內(nèi)部標(biāo)記嵌套在外部標(biāo) 記內(nèi)；
[0040] 當(dāng)無(wú)人機(jī)機(jī)載相機(jī)拍攝圖像出現(xiàn)清晰完整外部標(biāo)記時(shí)，無(wú)人機(jī)進(jìn)入第一進(jìn)近域， 無(wú)人機(jī)機(jī)載相機(jī)持續(xù)拍攝圖像，根據(jù)圖像中的外部標(biāo)記確定無(wú)人機(jī)降落場(chǎng)地方位和無(wú)人機(jī) 的位姿，調(diào)整無(wú)人機(jī)的飛行方向，無(wú)人機(jī)根據(jù)得到的飛行方向減速下降飛行；
[0041] 當(dāng)無(wú)人機(jī)機(jī)載相機(jī)拍攝圖像出現(xiàn)清晰完整內(nèi)部標(biāo)記時(shí)，無(wú)人機(jī)進(jìn)入第二進(jìn)近域， 無(wú)人機(jī)機(jī)載相機(jī)持續(xù)拍攝圖像，根據(jù)圖像中的內(nèi)部標(biāo)記確定無(wú)人機(jī)降落場(chǎng)地方位和無(wú)人機(jī) 的位姿，調(diào)整無(wú)人機(jī)的飛行方向；無(wú)人機(jī)根據(jù)得到的飛行方向減速降落。
[0042] 進(jìn)一步的優(yōu)選方案，所述基于光流的無(wú)人機(jī)自動(dòng)降落引導(dǎo)方法，其特征在于:所述 外部標(biāo)記為由N*N個(gè)完全相同的方格構(gòu)成的正方形區(qū)域;外部標(biāo)記的最外圈方格區(qū)域?yàn)楹?色，其余的方格區(qū)域?yàn)楹谏虬咨?；?nèi)部標(biāo)記為由N*N個(gè)完全相同的方格構(gòu)成的正方形區(qū) 域，且內(nèi)部標(biāo)記嵌套在外部標(biāo)記內(nèi)；內(nèi)部標(biāo)記的最外圈方格區(qū)域?yàn)楹谏?，其余的方格區(qū)域?yàn)?黑色或白色，且與內(nèi)部標(biāo)記最外圈方格相鄰的外部標(biāo)記方格為白色;所述外部標(biāo)記的方格 大于內(nèi)部標(biāo)記的方格;所述外部標(biāo)記方格區(qū)域黑白布局與內(nèi)部標(biāo)記方格區(qū)域黑白布局不 同。
[0043] 進(jìn)一步的優(yōu)選方案，所述基于光流的無(wú)人機(jī)自動(dòng)降落引導(dǎo)方法，其特征在于:所述 降落場(chǎng)地地標(biāo)還包括有衛(wèi)星標(biāo)記;衛(wèi)星標(biāo)記為由N*N個(gè)完全相同的方格構(gòu)成的正方形區(qū)域， 衛(wèi)星標(biāo)記的最外圈方格區(qū)域?yàn)楹谏?，其余的方格區(qū)域?yàn)楹谏虬咨?，衛(wèi)星標(biāo)記的方格小于 內(nèi)部標(biāo)記的方格，衛(wèi)星標(biāo)記面積小于內(nèi)部標(biāo)記面積的1/3;衛(wèi)星標(biāo)記放置在外部標(biāo)記最外圈 方格區(qū)域及其內(nèi)側(cè)，當(dāng)與衛(wèi)星標(biāo)記最外圈方格相鄰的外部標(biāo)記方格或內(nèi)部標(biāo)記方格為黑色 時(shí)，在衛(wèi)星標(biāo)記最外圈方格邊緣設(shè)計(jì)有白色間隙。
[0044] 進(jìn)一步的優(yōu)選方案，所述基于光流的無(wú)人機(jī)自動(dòng)降落引導(dǎo)方法，其特征在于:步驟 5中，當(dāng)無(wú)人機(jī)機(jī)載相機(jī)拍攝圖像出現(xiàn)清晰完整內(nèi)部標(biāo)記時(shí)，無(wú)人機(jī)進(jìn)入第二進(jìn)近域，無(wú)人 機(jī)機(jī)載相機(jī)持續(xù)拍攝圖像，根據(jù)圖像中的內(nèi)部標(biāo)記確定無(wú)人機(jī)降落場(chǎng)地方位和無(wú)人機(jī)的位 姿，調(diào)整無(wú)人機(jī)的飛行方向，無(wú)人機(jī)根據(jù)得到的飛行方向減速下降；當(dāng)外部標(biāo)記完整呈現(xiàn)并 占滿(mǎn)無(wú)人機(jī)機(jī)載相機(jī)全景框時(shí)，無(wú)人機(jī)機(jī)載相機(jī)繼續(xù)持續(xù)拍攝圖像，根據(jù)圖像中的內(nèi)部標(biāo) 記確定無(wú)人機(jī)降落場(chǎng)地方位和無(wú)人機(jī)的位姿，調(diào)整無(wú)人機(jī)的飛行方向，無(wú)人機(jī)根據(jù)得到的 飛行方向減速降落;在無(wú)人機(jī)進(jìn)入第二進(jìn)近域下降過(guò)程中，若沒(méi)有出現(xiàn)過(guò)外部標(biāo)記完整呈 現(xiàn)并占滿(mǎn)無(wú)人機(jī)機(jī)載相機(jī)全景框情況時(shí)，無(wú)人機(jī)上升回到第一進(jìn)近域，重新進(jìn)近。
[0045] 進(jìn)一步的優(yōu)選方案，所述基于光流的無(wú)人機(jī)自動(dòng)降落引導(dǎo)方法，其特征在于:步驟 5中，在無(wú)人機(jī)根據(jù)得到的飛行方向減速降落過(guò)程中，若無(wú)人機(jī)機(jī)載相機(jī)拍攝的圖像中沒(méi)有 完整的內(nèi)部標(biāo)記時(shí)，則根據(jù)圖像中的衛(wèi)星標(biāo)記確定無(wú)人機(jī)降落場(chǎng)地方位和無(wú)人機(jī)的位姿， 調(diào)整無(wú)人機(jī)的飛行方向，使無(wú)人機(jī)機(jī)載相機(jī)拍攝的圖像中重新出現(xiàn)完整的內(nèi)部標(biāo)記。
[0046] 進(jìn)一步的優(yōu)選方案，所述基于光流的無(wú)人機(jī)自動(dòng)降落引導(dǎo)方法，其特征在于:步驟 5中，當(dāng)無(wú)人機(jī)進(jìn)入第一進(jìn)近域后，無(wú)人機(jī)機(jī)載相機(jī)持續(xù)拍攝圖像，根據(jù)圖像中的外部標(biāo)記 確定無(wú)人機(jī)降落場(chǎng)地方位和無(wú)人機(jī)的位姿，調(diào)整無(wú)人機(jī)的飛行方向的過(guò)程為：
[0047] 1)、將拍攝的圖像轉(zhuǎn)化為灰度圖，并得到二值化的邊緣分布圖；然后提取邊緣分布 圖的輪廓樹(shù)信息；
[0048] 2)、根據(jù)輪廓樹(shù)信息，濾除面積小于2/3外部標(biāo)記面積的輪廓，以及所有無(wú)子輪廓 的輪廓，在剩余輪廓中選擇凸四邊形作為候選的外部標(biāo)記輪廓；
[0049] 3)、對(duì)每個(gè)候選的外部標(biāo)記輪廓進(jìn)行如下處理：
[0050] 將候選的外部標(biāo)記輪廓圖像信息映射到方形區(qū)域，所述方形區(qū)域?yàn)橛蒒*N個(gè)完全 相同的方格構(gòu)成的正方形區(qū)域；當(dāng)方格內(nèi)不少于2/3的像素點(diǎn)為黑色，則判定該方格為黑 色;得到方形區(qū)域中所有方格顏色;若方形區(qū)域最外圈方格不全為黑色，則將該候選外部標(biāo) 記輪廓丟棄，否則按照設(shè)定的規(guī)則根據(jù)方形區(qū)域的方格顏色和方向得到二進(jìn)制碼值；
[0051] 4)、將二進(jìn)制碼值中的ID信息與無(wú)人機(jī)內(nèi)部存儲(chǔ)的ID信息進(jìn)行對(duì)比，得到對(duì)比一 致的ID信息對(duì)應(yīng)的外部標(biāo)記，并根據(jù)該外部標(biāo)記的二進(jìn)制碼值中的方位信息確定無(wú)人機(jī)降 落場(chǎng)地方位；
[0052] 5)、依據(jù)4)中外部標(biāo)記最外圈方格的4個(gè)角點(diǎn)在相機(jī)坐標(biāo)系中的坐標(biāo)，結(jié)合無(wú)人機(jī) 機(jī)載相機(jī)參數(shù)，利用PnP算法解算得到相機(jī)的姿態(tài);根據(jù)無(wú)人機(jī)與無(wú)人機(jī)機(jī)載相機(jī)的相對(duì)位 置關(guān)系，得到無(wú)人機(jī)位姿。
[0053] 進(jìn)一步的優(yōu)選方案，所述基于光流的無(wú)人機(jī)自動(dòng)降落引導(dǎo)方法，其特征在于:步驟 5中，當(dāng)無(wú)人機(jī)進(jìn)入第二進(jìn)近域后，無(wú)人機(jī)機(jī)載相機(jī)持續(xù)拍攝圖像，根據(jù)圖像中的內(nèi)部標(biāo)記 確定無(wú)人機(jī)降落場(chǎng)地方位和無(wú)人機(jī)的位姿，調(diào)整無(wú)人機(jī)的飛行方向的過(guò)程為：
[0054] 1)、將拍攝的圖像轉(zhuǎn)化為灰度圖，并得到二值化的內(nèi)部標(biāo)記輪廓圖；
[0055] 2)、將內(nèi)部標(biāo)記輪廓圖映射到方形區(qū)域，所述方形區(qū)域?yàn)橛蒒*N個(gè)完全相同的方格 構(gòu)成的正方形區(qū)域；當(dāng)方格內(nèi)不少于2/3的像素點(diǎn)為黑色，則判定該方格為黑色;得到方形 區(qū)域中所有方格顏色;按照設(shè)定的規(guī)則根據(jù)方形區(qū)域的方格顏色和方向得到二進(jìn)制碼值；
[0056] 3)、根據(jù)內(nèi)部標(biāo)記二進(jìn)制碼值中的方位信息確定無(wú)人機(jī)降落場(chǎng)地方位；
[0057] 4)、依據(jù)內(nèi)部標(biāo)記最外圈方格的4個(gè)角點(diǎn)在相機(jī)坐標(biāo)系中的坐標(biāo)，結(jié)合無(wú)人機(jī)機(jī)載 相機(jī)參數(shù)，利用PnP算法解算得到相機(jī)的姿態(tài);根據(jù)無(wú)人機(jī)與無(wú)人機(jī)機(jī)載相機(jī)的相對(duì)位置關(guān) 系，得到無(wú)人機(jī)位姿。
[0058] 進(jìn)一步的優(yōu)選方案，所述基于光流的無(wú)人機(jī)自動(dòng)降落引導(dǎo)方法，其特征在于:步驟 5中，根據(jù)圖像中的衛(wèi)星標(biāo)記確定無(wú)人機(jī)降落場(chǎng)地方位和無(wú)人機(jī)位姿的過(guò)程為：
[0059] 1)、將拍攝的圖像轉(zhuǎn)化為灰度圖，并得到二值化的邊緣分布圖；然后提取邊緣分布 圖的輪廓樹(shù)信息；
[0060] 2)、根據(jù)輪廓樹(shù)信息，得到若干衛(wèi)星標(biāo)記輪廓；
[0061 ] 3)、對(duì)每個(gè)衛(wèi)星標(biāo)記輪廓進(jìn)行如下處理：
[0062]將衛(wèi)星標(biāo)記輪廓圖像信息映射到方形區(qū)域，所述方形區(qū)域?yàn)橛蒒*N個(gè)完全相同的 方格構(gòu)成的正方形區(qū)域；當(dāng)方格內(nèi)不少于2/3的像素點(diǎn)為黑色，則判定該方格為黑色;得到 方形區(qū)域中所有方格顏色;按照設(shè)定的規(guī)則根據(jù)方形區(qū)域的方格顏色和方向得到該衛(wèi)星標(biāo) 記的二進(jìn)制碼值；
[0063] 4)、根據(jù)拍攝圖像中的所有衛(wèi)星標(biāo)記二進(jìn)制碼值中的方位信息，解算得到無(wú)人機(jī) 降落場(chǎng)地方位；
[0064] 5)、依據(jù)4)中所有衛(wèi)星標(biāo)記最外圈方格的角點(diǎn)在相機(jī)坐標(biāo)系中的坐標(biāo)，結(jié)合無(wú)人 機(jī)機(jī)載相機(jī)參數(shù)，利用PnP算法解算得到相機(jī)的姿態(tài);根據(jù)無(wú)人機(jī)與無(wú)人機(jī)機(jī)載相機(jī)的相對(duì) 位置關(guān)系，得到無(wú)人機(jī)位姿。
[0065] 有益效果
[0066] 本發(fā)明的方法是無(wú)人機(jī)在自主飛行和降落過(guò)程中，使用下視的光流傳感器實(shí)現(xiàn)自 身的定位，所以能夠在無(wú)GPS情況下完成自身的視覺(jué)定位。本方法中，在降落過(guò)程中通過(guò)對(duì) 光流模塊的相機(jī)拍攝的實(shí)時(shí)圖像進(jìn)行處理，確定標(biāo)志物，估計(jì)標(biāo)志物相對(duì)無(wú)人機(jī)的位置和 姿態(tài);將相對(duì)位置、姿態(tài)信息發(fā)送給飛行控制器，從而控制無(wú)人機(jī)逐步逼近降落目標(biāo)，最終 實(shí)現(xiàn)無(wú)人機(jī)全自主降落。因此在GPS失效的情況下，使用光流模塊進(jìn)行輔助定位，能夠保證 無(wú)人機(jī)準(zhǔn)確的找到降落場(chǎng)地，從而提高無(wú)人機(jī)降落的可靠性，該方法設(shè)計(jì)合理，能夠在不同 情況下實(shí)現(xiàn)準(zhǔn)確降落，適用性廣泛。
[0067] 本發(fā)明的附加方面和優(yōu)點(diǎn)將在下面的描述中部分給出，部分將從下面的描述中變 得明顯，或通過(guò)本發(fā)明的實(shí)踐了解到。
【附圖說(shuō)明】
[0068]本發(fā)明的上述和/或附加的方面和優(yōu)點(diǎn)從結(jié)合下面附圖對(duì)實(shí)施例的描述中將變得 明顯和容易理解，其中：
[0069]圖1:本發(fā)明的方法流程圖。
[0070] 圖2:進(jìn)近域示意圖。
[0071] 圖3:降落場(chǎng)地地標(biāo)示意圖。
[0072]圖4:二值化示意圖。
【具體實(shí)施方式】
[0073]下面詳細(xì)描述本發(fā)明的實(shí)施例，所述實(shí)施例是示例性的，旨在用于解釋本發(fā)明，而 不能理解為對(duì)本發(fā)明的限制。
[0074]如圖1所示，展示了本發(fā)明在將無(wú)人機(jī)引至降落場(chǎng)地上方大致范圍內(nèi)GPS失效，利 用光流模塊引導(dǎo)無(wú)人機(jī)移動(dòng)至降落場(chǎng)地上方大致范圍內(nèi)，以及無(wú)人機(jī)自主降落的精確過(guò) 程，首先以GPS、光流模塊依次優(yōu)先的方法進(jìn)行導(dǎo)航定位將無(wú)人機(jī)引導(dǎo)到降落場(chǎng)地上方數(shù)米 大概位置。本發(fā)明以6*6(降落場(chǎng)地可以劃分成N*N個(gè)完全相同的方格區(qū)域組成的正方形區(qū) 域，稱(chēng)為N*N的標(biāo)志物)的二維碼標(biāo)志物方案作為降落場(chǎng)地為案例展開(kāi)。
[0075] 有GPS時(shí)，利用GPS導(dǎo)航將無(wú)人機(jī)引至降落場(chǎng)地上方數(shù)米處(這個(gè)高度和機(jī)場(chǎng)的大 小成正比，高度是機(jī)場(chǎng)邊長(zhǎng)的15倍，此時(shí)無(wú)人機(jī)剛好可以識(shí)別到降落場(chǎng)地）；當(dāng)GPS失效時(shí)， 降落地標(biāo)還沒(méi)有全部呈現(xiàn)在無(wú)人機(jī)機(jī)載相機(jī)視野內(nèi)，則采用光流模塊對(duì)無(wú)人機(jī)進(jìn)行引導(dǎo)， 直到其機(jī)載相機(jī)能夠拍攝到整個(gè)降落地標(biāo);若無(wú)GPS且光流模塊失效時(shí)，無(wú)人機(jī)會(huì)利用姿態(tài) 増穩(wěn)和慣性導(dǎo)航，即導(dǎo)航具有優(yōu)先級(jí)選擇的標(biāo)準(zhǔn)。
[0076] 在GPS失效的情況下，無(wú)人機(jī)選擇光流模塊進(jìn)行導(dǎo)航，將其引導(dǎo)至降落場(chǎng)地上方， 光流模塊起作用時(shí)，光流法應(yīng)用的前提假設(shè)是:相鄰幀之間的亮度是恒定;相鄰視頻幀的取 幀時(shí)間連續(xù)，或者，相鄰幀之間物體的運(yùn)動(dòng)比較"微小"；保持空間一致性。光流模塊應(yīng)用的 前提條件是:圖像必須為單通道，將光流場(chǎng)的計(jì)算與陀螺儀測(cè)得高度相結(jié)合。
[0077] 在光流模塊起作用時(shí)，具體操作步驟如下：
[0078] 步驟1:無(wú)人機(jī)根據(jù)自身飛行高度判斷是否需要降低飛行高度，以滿(mǎn)足無(wú)人機(jī)機(jī)載 相機(jī)清晰拍攝降落場(chǎng)地圖像要求；當(dāng)無(wú)人機(jī)飛行高度滿(mǎn)足要求后，無(wú)人機(jī)機(jī)載相機(jī)持續(xù)拍 攝降落場(chǎng)地圖像，并將拍攝的圖像轉(zhuǎn)換為灰度圖。
[0079] 步驟2:根據(jù)相鄰兩幀灰度圖像，利用以下方法得到光流場(chǎng)方向和速度：
[0080] 利用SAD算法對(duì)相鄰兩幀灰度圖像進(jìn)行匹配，以3*3的像素區(qū)域作為研究區(qū)域，選 擇若干對(duì)研究區(qū)域中匹配度最好的一對(duì)研究區(qū)域;再對(duì)得到的該對(duì)匹配度最好的研究區(qū)域 中的每對(duì)對(duì)應(yīng)像素點(diǎn)的位置作矢量運(yùn)算，得到像素點(diǎn)的運(yùn)動(dòng)方向，對(duì)所有像素點(diǎn)的運(yùn)動(dòng)方 向進(jìn)行統(tǒng)計(jì)，作出折線圖，尋找其峰值，將峰值對(duì)應(yīng)的運(yùn)動(dòng)方向作為光流場(chǎng)方向；
[0081 ]在相機(jī)坐標(biāo)系下的光流場(chǎng)速度^及^利用以下公式得到：

[0084] 其中：Tx、Ty、Tz為世界坐標(biāo)系下，相鄰兩幀灰度圖像中運(yùn)動(dòng)方向?yàn)楣饬鲌?chǎng)方向的匹 配像素點(diǎn)P的運(yùn)動(dòng)平移分量，所述世界坐標(biāo)系以降落場(chǎng)所所在平面作為XY平面，垂直該平面 的軸為Z軸;x、y為像平面上的點(diǎn)p在相機(jī)坐標(biāo)系下的坐標(biāo)，Z為相機(jī)成像平面距離降落點(diǎn)的 垂直高度，f為相機(jī)焦距，《 y、為點(diǎn)P的運(yùn)動(dòng)角速度。
[0085] 步驟3:根據(jù)步驟2得到的光流場(chǎng)方向和速度確定無(wú)人機(jī)的運(yùn)動(dòng)方向和速度，其中 無(wú)人機(jī)的運(yùn)動(dòng)方向與光流場(chǎng)方向相反，無(wú)人機(jī)在世界坐標(biāo)系下的速度V x、Vy根據(jù)以下公式得 到：
[0088] 無(wú)人機(jī)按照確定的運(yùn)動(dòng)方向和速度飛行。
[0089] 步驟4:在得到無(wú)人機(jī)的運(yùn)動(dòng)方向和速度后，有兩種方式尋找無(wú)人機(jī)降落位置，一 是循環(huán)進(jìn)行步驟2和步驟3,完全依據(jù)光流指引，直至無(wú)人機(jī)機(jī)載相機(jī)拍攝的圖像中出現(xiàn)降 落場(chǎng)地地標(biāo)，進(jìn)入步驟5;二是以步驟3確定的運(yùn)動(dòng)方向?yàn)槌跏挤较?，以阿基米德螺旋線為飛 行軌跡進(jìn)行飛行，直至無(wú)人機(jī)機(jī)載相機(jī)拍攝的圖像中出現(xiàn)降落場(chǎng)地地標(biāo)，進(jìn)入步驟5。
[0090] 步驟5:所述降落場(chǎng)地地標(biāo)包括外部標(biāo)記和內(nèi)部標(biāo)記;所述內(nèi)部標(biāo)記嵌套在外部標(biāo) 記內(nèi)；
[0091] 當(dāng)無(wú)人機(jī)機(jī)載相機(jī)拍攝圖像出現(xiàn)清晰完整外部標(biāo)記時(shí)，無(wú)人機(jī)進(jìn)入第一進(jìn)近域， 無(wú)人機(jī)機(jī)載相機(jī)持續(xù)拍攝圖像，根據(jù)圖像中的外部標(biāo)記確定無(wú)人機(jī)降落場(chǎng)地方位和無(wú)人機(jī) 的位姿，調(diào)整無(wú)人機(jī)的飛行方向，無(wú)人機(jī)根據(jù)得到的飛行方向減速下降飛行；
[0092] 當(dāng)無(wú)人機(jī)機(jī)載相機(jī)拍攝圖像出現(xiàn)清晰完整內(nèi)部標(biāo)記時(shí)，無(wú)人機(jī)進(jìn)入第二進(jìn)近域， 無(wú)人機(jī)機(jī)載相機(jī)持續(xù)拍攝圖像，根據(jù)圖像中的內(nèi)部標(biāo)記確定無(wú)人機(jī)降落場(chǎng)地方位和無(wú)人機(jī) 的位姿，調(diào)整無(wú)人機(jī)的飛行方向；無(wú)人機(jī)根據(jù)得到的飛行方向減速降落。
[0093] 步驟5實(shí)現(xiàn)的是精確降落階段，在精確降落階段基于地標(biāo)分級(jí)進(jìn)行視覺(jué)引導(dǎo)。精確 降落分為兩個(gè)階段進(jìn)近:第一個(gè)階段為大致進(jìn)近，這個(gè)階段所在區(qū)域稱(chēng)為第一進(jìn)近域，此時(shí) 外部標(biāo)記起作用;第二個(gè)階段為精確進(jìn)近，這個(gè)階段所在的區(qū)域稱(chēng)為第二進(jìn)近域，降落標(biāo)示 物的內(nèi)部標(biāo)記起作用;兩個(gè)進(jìn)近域都是由相機(jī)的參數(shù)和設(shè)置的降落場(chǎng)地的大小決定的。本 發(fā)明采用的降落場(chǎng)地地標(biāo)如圖3所示。
[0094]所述外部標(biāo)記為由6*6個(gè)完全相同的方格構(gòu)成的正方形區(qū)域；外部標(biāo)記的最外圈 方格區(qū)域?yàn)楹谏溆嗟姆礁駞^(qū)域?yàn)楹谏虬咨?；?nèi)部標(biāo)記為由6*6個(gè)完全相同的方格構(gòu)成 的正方形區(qū)域，且內(nèi)部標(biāo)記嵌套在外部標(biāo)記內(nèi)；內(nèi)部標(biāo)記的最外圈方格區(qū)域?yàn)楹谏?，其余?方格區(qū)域?yàn)楹谏虬咨遗c內(nèi)部標(biāo)記最外圈方格相鄰的外部標(biāo)記方格為白色;所述外部 標(biāo)記的方格大于內(nèi)部標(biāo)記的方格;所述外部標(biāo)記方格區(qū)域黑白布局與內(nèi)部標(biāo)記方格區(qū)域黑 白布局不同。
[0095] 所述降落場(chǎng)地地標(biāo)還包括有衛(wèi)星標(biāo)記;衛(wèi)星標(biāo)記為由6*6個(gè)完全相同的方格構(gòu)成 的正方形區(qū)域，衛(wèi)星標(biāo)記的最外圈方格區(qū)域?yàn)楹谏?，其余的方格區(qū)域?yàn)楹谏虬咨?，衛(wèi)星標(biāo) 記的方格小于內(nèi)部標(biāo)記的方格，衛(wèi)星標(biāo)記面積小于內(nèi)部標(biāo)記面積的1/3;衛(wèi)星標(biāo)記放置在外 部標(biāo)記最外圈方格區(qū)域及其內(nèi)側(cè)，當(dāng)與衛(wèi)星標(biāo)記最外圈方格相鄰的外部標(biāo)記方格或內(nèi)部標(biāo) 記方格為黑色時(shí)，在衛(wèi)星標(biāo)記最外圈方格邊緣設(shè)計(jì)有白色間隙。
[0096] 無(wú)人機(jī)降落到第一進(jìn)近域時(shí)，需要對(duì)拍攝到的圖像進(jìn)行一系列的處理，估算降落 場(chǎng)地方向和無(wú)人機(jī)實(shí)時(shí)位姿并進(jìn)行位姿調(diào)整，當(dāng)無(wú)人機(jī)從第一進(jìn)近域進(jìn)入到第二進(jìn)近域 時(shí)，判斷是否需要重新進(jìn)近：
[0097] 當(dāng)無(wú)人機(jī)機(jī)載相機(jī)拍攝圖像出現(xiàn)清晰完整內(nèi)部標(biāo)記時(shí)，無(wú)人機(jī)進(jìn)入第二進(jìn)近域， 無(wú)人機(jī)機(jī)載相機(jī)持續(xù)拍攝圖像，根據(jù)圖像中的內(nèi)部標(biāo)記確定無(wú)人機(jī)降落場(chǎng)地方位和無(wú)人機(jī) 的位姿，調(diào)整無(wú)人機(jī)的飛行方向，無(wú)人機(jī)根據(jù)得到的飛行方向減速下降；當(dāng)外部標(biāo)記完整呈 現(xiàn)并占滿(mǎn)無(wú)人機(jī)機(jī)載相機(jī)全景框時(shí)，無(wú)人機(jī)機(jī)載相機(jī)繼續(xù)持續(xù)拍攝圖像，根據(jù)圖像中的內(nèi) 部標(biāo)記確定無(wú)人機(jī)降落場(chǎng)地方位和無(wú)人機(jī)的位姿，調(diào)整無(wú)人機(jī)的飛行方向，無(wú)人機(jī)根據(jù)得 到的飛行方向減速降落;在無(wú)人機(jī)進(jìn)入第二進(jìn)近域下降過(guò)程中，若沒(méi)有出現(xiàn)過(guò)外部標(biāo)記完 整呈現(xiàn)并占滿(mǎn)無(wú)人機(jī)機(jī)載相機(jī)全景框情況時(shí)，無(wú)人機(jī)上升回到第一進(jìn)近域，重新進(jìn)近。
[0098] 在無(wú)人機(jī)根據(jù)得到的飛行方向減速降落過(guò)程中，若無(wú)人機(jī)機(jī)載相機(jī)拍攝的圖像中 沒(méi)有完整的內(nèi)部標(biāo)記時(shí)，則根據(jù)圖像中的衛(wèi)星標(biāo)記確定無(wú)人機(jī)降落場(chǎng)地方位和無(wú)人機(jī)的位 姿，調(diào)整無(wú)人機(jī)的飛行方向，使無(wú)人機(jī)機(jī)載相機(jī)拍攝的圖像中重新出現(xiàn)完整的內(nèi)部標(biāo)記。
[0099] 下面分別說(shuō)明無(wú)人機(jī)在不同階段的圖像處理與解算過(guò)程：
[0100] 當(dāng)無(wú)人機(jī)進(jìn)入第一進(jìn)近域后，無(wú)人機(jī)機(jī)載相機(jī)持續(xù)拍攝圖像，根據(jù)圖像中的外部 標(biāo)記確定無(wú)人機(jī)降落場(chǎng)地方位和無(wú)人機(jī)的位姿，調(diào)整無(wú)人機(jī)的飛行方向的過(guò)程為：
[0101] 1)、將拍攝的圖像轉(zhuǎn)化為灰度圖，并利用Canny算子得到二值化的邊緣分布圖；然 后提取邊緣分布圖的輪廓樹(shù)信息；
[0102] 2)、根據(jù)輪廓樹(shù)信息，濾除面積小于2/3外部標(biāo)記面積的輪廓(無(wú)人機(jī)由自身攜帶 的超聲波設(shè)備得到其所在高度，根據(jù)這個(gè)高度和拍攝到的圖像的面積，根據(jù)相機(jī)模型計(jì)算 出圖像對(duì)應(yīng)的三維空間的面積，根據(jù)這個(gè)面積進(jìn)行濾除），以及所有無(wú)子輪廓的輪廓，在剩 余輪廓中選擇凸四邊形作為候選的外部標(biāo)記輪廓；
[0103] 3)、對(duì)每個(gè)候選的外部標(biāo)記輪廓進(jìn)行如下處理：
[0104] 將候選的外部標(biāo)記輪廓圖像信息映射到方形區(qū)域，并利用k-means算法將方形區(qū) 域中的像素點(diǎn)分為黑白兩種;所述方形區(qū)域?yàn)橛?*6個(gè)完全相同的方格構(gòu)成的正方形區(qū)域； 當(dāng)方格內(nèi)不少于2/3的像素點(diǎn)為黑色，則判定該方格為黑色;得到方形區(qū)域中所有方格顏 色;若方形區(qū)域最外圈方格不全為黑色，則將該候選外部標(biāo)記輪廓丟棄，否則按照設(shè)定的規(guī) 則根據(jù)方形區(qū)域的方格顏色和方向得到二進(jìn)制碼值;本實(shí)施例中將方形區(qū)域內(nèi)部4*4的區(qū) 域轉(zhuǎn)換為16位無(wú)符號(hào)整形，并根據(jù)4個(gè)方向，分別計(jì)算出四個(gè)朝向的碼值，共同組成二進(jìn)制 碼值；
[0105] 4)、將二進(jìn)制碼值中的ID信息與無(wú)人機(jī)內(nèi)部存儲(chǔ)的ID信息進(jìn)行對(duì)比，得到對(duì)比一 致的ID信息對(duì)應(yīng)的外部標(biāo)記，并根據(jù)該外部標(biāo)記的二進(jìn)制碼值中的方位信息確定無(wú)人機(jī)降 落場(chǎng)地方位；
[0106] 5)、依據(jù)4)中外部標(biāo)記最外圈方格的4個(gè)角點(diǎn)在相機(jī)坐標(biāo)系中的坐標(biāo)，結(jié)合無(wú)人機(jī) 機(jī)載相機(jī)參數(shù)，利用PnP算法解算得到相機(jī)的姿態(tài);根據(jù)無(wú)人機(jī)與無(wú)人機(jī)機(jī)載相機(jī)的相對(duì)位 置關(guān)系，得到無(wú)人機(jī)位姿。
[0107] 當(dāng)無(wú)人機(jī)進(jìn)入第二進(jìn)近域后，無(wú)人機(jī)機(jī)載相機(jī)持續(xù)拍攝圖像，根據(jù)圖像中的內(nèi)部 標(biāo)記確定無(wú)人機(jī)降落場(chǎng)地方位和無(wú)人機(jī)的位姿，調(diào)整無(wú)人機(jī)的飛行方向的過(guò)程為：
[0108] 1)、將拍攝的圖像轉(zhuǎn)化為灰度圖，并利用Canny算子得到二值化的內(nèi)部標(biāo)記輪廓 圖；
[0109] 2)、將內(nèi)部標(biāo)記輪廓圖映射到方形區(qū)域，所述方形區(qū)域?yàn)橛?*6個(gè)完全相同的方格 構(gòu)成的正方形區(qū)域；當(dāng)方格內(nèi)不少于2/3的像素點(diǎn)為黑色，則判定該方格為黑色;得到方形 區(qū)域中所有方格顏色;按照設(shè)定的規(guī)則根據(jù)方形區(qū)域的方格顏色和方向得到二進(jìn)制碼值； [0110] 3)、根據(jù)內(nèi)部標(biāo)記二進(jìn)制碼值中的方位信息確定無(wú)人機(jī)降落場(chǎng)地方位；
[0111] 4)、依據(jù)內(nèi)部標(biāo)記最外圈方格的4個(gè)角點(diǎn)在相機(jī)坐標(biāo)系中的坐標(biāo)，結(jié)合無(wú)人機(jī)機(jī)載 相機(jī)參數(shù)，利用PnP算法解算得到相機(jī)的姿態(tài);根據(jù)無(wú)人機(jī)與無(wú)人機(jī)機(jī)載相機(jī)的相對(duì)位置關(guān) 系，得到無(wú)人機(jī)位姿。
[0112] 根據(jù)圖像中的衛(wèi)星標(biāo)記確定無(wú)人機(jī)降落場(chǎng)地方位和無(wú)人機(jī)位姿的過(guò)程為：
[0113] 1)、將拍攝的圖像轉(zhuǎn)化為灰度圖，并利用Canny算子得到二值化的邊緣分布圖；然 后提取邊緣分布圖的輪廓樹(shù)信息；
[0114] 2)、根據(jù)輪廓樹(shù)信息，得到若干衛(wèi)星標(biāo)記輪廓；
[0115] 3)、對(duì)每個(gè)衛(wèi)星標(biāo)記輪廓進(jìn)行如下處理：
[0116]將衛(wèi)星標(biāo)記輪廓圖像信息映射到方形區(qū)域，所述方形區(qū)域?yàn)橛?*6個(gè)完全相同的 方格構(gòu)成的正方形區(qū)域；當(dāng)方格內(nèi)不少于2/3的像素點(diǎn)為黑色，則判定該方格為黑色;得到 方形區(qū)域中所有方格顏色;按照設(shè)定的規(guī)則根據(jù)方形區(qū)域的方格顏色和方向得到該衛(wèi)星標(biāo) 記的二進(jìn)制碼值；
[0117] 4)、根據(jù)拍攝圖像中的所有衛(wèi)星標(biāo)記二進(jìn)制碼值中的方位信息，解算得到無(wú)人機(jī) 降落場(chǎng)地方位；
[0118] 5)、依據(jù)4)中所有衛(wèi)星標(biāo)記最外圈方格的角點(diǎn)在相機(jī)坐標(biāo)系中的坐標(biāo)，結(jié)合無(wú)人 機(jī)機(jī)載相機(jī)參數(shù)，利用PnP算法解算得到相機(jī)的姿態(tài);根據(jù)無(wú)人機(jī)與無(wú)人機(jī)機(jī)載相機(jī)的相對(duì) 位置關(guān)系，得到無(wú)人機(jī)位姿。
[0119] 盡管上面已經(jīng)示出和描述了本發(fā)明的實(shí)施例，可以理解的是，上述實(shí)施例是示例 性的，不能理解為對(duì)本發(fā)明的限制，本領(lǐng)域的普通技術(shù)人員在不脫離本發(fā)明的原理和宗旨 的情況下在本發(fā)明的范圍內(nèi)可以對(duì)上述實(shí)施例進(jìn)行變化、修改、替換和變型。
【主權(quán)項(xiàng)】
1. 一種基于光流的無(wú)人機(jī)自動(dòng)降落引導(dǎo)方法，其特征在于:包括以下步驟： 步驟1:無(wú)人機(jī)根據(jù)自身飛行高度判斷是否需要降低飛行高度，以滿(mǎn)足無(wú)人機(jī)機(jī)載相機(jī) 清晰拍攝降落場(chǎng)地圖像要求；當(dāng)無(wú)人機(jī)飛行高度滿(mǎn)足要求后，無(wú)人機(jī)機(jī)載相機(jī)持續(xù)拍攝降 落場(chǎng)地圖像，并將拍攝的圖像轉(zhuǎn)換為灰度圖； 步驟2:根據(jù)相鄰兩幀灰度圖像，利用以下方法得到光流場(chǎng)方向和速度： 利用SAD算法對(duì)相鄰兩幀灰度圖像進(jìn)行匹配，以n*n的像素區(qū)域作為研究區(qū)域，選擇若 干對(duì)研究區(qū)域中匹配度最好的一對(duì)研究區(qū)域;再對(duì)得到的該對(duì)匹配度最好的研究區(qū)域中的 每對(duì)對(duì)應(yīng)像素點(diǎn)的位置作矢量運(yùn)算，得到像素點(diǎn)的運(yùn)動(dòng)方向，對(duì)所有像素點(diǎn)的運(yùn)動(dòng)方向進(jìn) 行統(tǒng)計(jì)，將統(tǒng)計(jì)值最大的運(yùn)動(dòng)方向作為光流場(chǎng)方向； 在相機(jī)坐標(biāo)系下的光流場(chǎng)速度vx及vy利用以下公式得到：其中：Tx、Ty、Tz為世界坐標(biāo)系下，相鄰兩幀灰度圖像中運(yùn)動(dòng)方向?yàn)楣饬鲌?chǎng)方向的匹配像 素點(diǎn)P的運(yùn)動(dòng)平移分量，所述世界坐標(biāo)系以降落場(chǎng)所所在平面作為XY平面，垂直該平面的軸 為Z軸;x、y為像平面上的點(diǎn)p在相機(jī)坐標(biāo)系下的坐標(biāo)，Z為相機(jī)成像平面距離降落點(diǎn)的垂直 高度，f為相機(jī)焦距，《 X、《y、為點(diǎn)P的運(yùn)動(dòng)角速度； 步驟3:根據(jù)步驟2得到的光流場(chǎng)方向和速度確定無(wú)人機(jī)的運(yùn)動(dòng)方向和速度，其中無(wú)人 機(jī)的運(yùn)動(dòng)方向與光流場(chǎng)方向相反，無(wú)人機(jī)在世界坐標(biāo)系下的速度Vx、Vy根據(jù)以下公式得到：無(wú)人機(jī)按照確定的運(yùn)動(dòng)方向和速度飛行； 步驟4:循環(huán)進(jìn)行步驟2和步驟3,直至無(wú)人機(jī)機(jī)載相機(jī)拍攝的圖像中出現(xiàn)降落場(chǎng)地地 標(biāo)，進(jìn)入步驟5; 步驟5 :所述降落場(chǎng)地地標(biāo)包括外部標(biāo)記和內(nèi)部標(biāo)記；所述內(nèi)部標(biāo)記嵌套在外部標(biāo)記 內(nèi)； 當(dāng)無(wú)人機(jī)機(jī)載相機(jī)拍攝圖像出現(xiàn)清晰完整外部標(biāo)記時(shí)，無(wú)人機(jī)進(jìn)入第一進(jìn)近域，無(wú)人 機(jī)機(jī)載相機(jī)持續(xù)拍攝圖像，根據(jù)圖像中的外部標(biāo)記確定無(wú)人機(jī)降落場(chǎng)地方位和無(wú)人機(jī)的位 姿，調(diào)整無(wú)人機(jī)的飛行方向；無(wú)人機(jī)根據(jù)得到的飛行方向減速下降飛行； 當(dāng)無(wú)人機(jī)機(jī)載相機(jī)拍攝圖像出現(xiàn)清晰完整內(nèi)部標(biāo)記時(shí)，無(wú)人機(jī)進(jìn)入第二進(jìn)近域，無(wú)人 機(jī)機(jī)載相機(jī)持續(xù)拍攝圖像，根據(jù)圖像中的內(nèi)部標(biāo)記確定無(wú)人機(jī)降落場(chǎng)地方位和無(wú)人機(jī)的位 姿，調(diào)整無(wú)人機(jī)的飛行方向；無(wú)人機(jī)根據(jù)得到的飛行方向減速降落。2. -種基于光流的無(wú)人機(jī)自動(dòng)降落引導(dǎo)方法，其特征在于:包括以下步驟： 步驟1:無(wú)人機(jī)根據(jù)自身飛行高度判斷是否需要降低飛行高度，以滿(mǎn)足無(wú)人機(jī)機(jī)載相機(jī) 清晰拍攝降落場(chǎng)地圖像要求；當(dāng)無(wú)人機(jī)飛行高度滿(mǎn)足要求后，無(wú)人機(jī)機(jī)載相機(jī)持續(xù)拍攝降 落場(chǎng)地圖像，并將拍攝的圖像轉(zhuǎn)換為灰度圖； 步驟2:根據(jù)相鄰兩幀灰度圖像，利用以下方法得到光流場(chǎng)方向和速度： 利用SAD算法對(duì)相鄰兩幀灰度圖像進(jìn)行匹配，以n*n的像素區(qū)域作為研究區(qū)域，選擇若 干對(duì)研究區(qū)域中匹配度最好的一對(duì)研究區(qū)域;再對(duì)得到的該對(duì)匹配度最好的研究區(qū)域中的 每對(duì)對(duì)應(yīng)像素點(diǎn)的位置作矢量運(yùn)算，得到像素點(diǎn)的運(yùn)動(dòng)方向，對(duì)所有像素點(diǎn)的運(yùn)動(dòng)方向進(jìn) 行統(tǒng)計(jì)，將統(tǒng)計(jì)值最大的運(yùn)動(dòng)方向作為光流場(chǎng)方向； 在相機(jī)坐標(biāo)系下的光流場(chǎng)速度vx及vy利用以下公式得到：其中：Tx、Ty、Tz為世界坐標(biāo)系下，相鄰兩幀灰度圖像中運(yùn)動(dòng)方向?yàn)楣饬鲌?chǎng)方向的匹配像 素點(diǎn)P的運(yùn)動(dòng)平移分量，所述世界坐標(biāo)系以降落場(chǎng)所所在平面作為XY平面，垂直該平面的軸 為Z軸;x、y為像平面上的點(diǎn)p在相機(jī)坐標(biāo)系下的坐標(biāo)，Z為相機(jī)成像平面距離降落點(diǎn)的垂直 高度，f為相機(jī)焦距，《 X、《y、為點(diǎn)P的運(yùn)動(dòng)角速度； 步驟3:根據(jù)步驟2得到的光流場(chǎng)方向和速度確定無(wú)人機(jī)的運(yùn)動(dòng)方向和速度，其中無(wú)人 機(jī)的運(yùn)動(dòng)方向與光流場(chǎng)方向相反，無(wú)人機(jī)在世界坐標(biāo)系下的速度Vx、Vy根據(jù)以下公式得到：無(wú)人機(jī)按照確定的運(yùn)動(dòng)方向和速度飛行； 步驟4:以步驟3確定的運(yùn)動(dòng)方向?yàn)槌跏挤较颍园⒒椎侣菪€為飛行軌跡進(jìn)行飛行， 直至無(wú)人機(jī)機(jī)載相機(jī)拍攝的圖像中出現(xiàn)降落場(chǎng)地地標(biāo)，進(jìn)入步驟5; 步驟5 :所述降落場(chǎng)地地標(biāo)包括外部標(biāo)記和內(nèi)部標(biāo)記；所述內(nèi)部標(biāo)記嵌套在外部標(biāo)記 內(nèi)； 當(dāng)無(wú)人機(jī)機(jī)載相機(jī)拍攝圖像出現(xiàn)清晰完整外部標(biāo)記時(shí)，無(wú)人機(jī)進(jìn)入第一進(jìn)近域，無(wú)人 機(jī)機(jī)載相機(jī)持續(xù)拍攝圖像，根據(jù)圖像中的外部標(biāo)記確定無(wú)人機(jī)降落場(chǎng)地方位和無(wú)人機(jī)的位 姿，調(diào)整無(wú)人機(jī)的飛行方向，無(wú)人機(jī)根據(jù)得到的飛行方向減速下降飛行； 當(dāng)無(wú)人機(jī)機(jī)載相機(jī)拍攝圖像出現(xiàn)清晰完整內(nèi)部標(biāo)記時(shí)，無(wú)人機(jī)進(jìn)入第二進(jìn)近域，無(wú)人 機(jī)機(jī)載相機(jī)持續(xù)拍攝圖像，根據(jù)圖像中的內(nèi)部標(biāo)記確定無(wú)人機(jī)降落場(chǎng)地方位和無(wú)人機(jī)的位 姿，調(diào)整無(wú)人機(jī)的飛行方向；無(wú)人機(jī)根據(jù)得到的飛行方向減速降落。3. 根據(jù)權(quán)利要求1或2所述一種基于光流的無(wú)人機(jī)自動(dòng)降落引導(dǎo)方法，其特征在于:所 述外部標(biāo)記為由N*N個(gè)完全相同的方格構(gòu)成的正方形區(qū)域;外部標(biāo)記的最外圈方格區(qū)域?yàn)?黑色，其余的方格區(qū)域?yàn)楹谏虬咨?；?nèi)部標(biāo)記為由N*N個(gè)完全相同的方格構(gòu)成的正方形區(qū) 域，且內(nèi)部標(biāo)記嵌套在外部標(biāo)記內(nèi)；內(nèi)部標(biāo)記的最外圈方格區(qū)域?yàn)楹谏?，其余的方格區(qū)域?yàn)?黑色或白色，且與內(nèi)部標(biāo)記最外圈方格相鄰的外部標(biāo)記方格為白色;所述外部標(biāo)記的方格 大于內(nèi)部標(biāo)記的方格;所述外部標(biāo)記方格區(qū)域黑白布局與內(nèi)部標(biāo)記方格區(qū)域黑白布局不 同。4. 根據(jù)權(quán)利要求3所述基于光流的無(wú)人機(jī)自動(dòng)降落引導(dǎo)方法，其特征在于:所述降落場(chǎng) 地地標(biāo)還包括有衛(wèi)星標(biāo)記;衛(wèi)星標(biāo)記為由N*N個(gè)完全相同的方格構(gòu)成的正方形區(qū)域，衛(wèi)星標(biāo) 記的最外圈方格區(qū)域?yàn)楹谏?，其余的方格區(qū)域?yàn)楹谏虬咨?，衛(wèi)星標(biāo)記的方格小于內(nèi)部標(biāo) 記的方格，衛(wèi)星標(biāo)記面積小于內(nèi)部標(biāo)記面積的1/3;衛(wèi)星標(biāo)記放置在外部標(biāo)記最外圈方格區(qū) 域及其內(nèi)側(cè)，當(dāng)與衛(wèi)星標(biāo)記最外圈方格相鄰的外部標(biāo)記方格或內(nèi)部標(biāo)記方格為黑色時(shí)，在 衛(wèi)星標(biāo)記最外圈方格邊緣設(shè)計(jì)有白色間隙。5. 根據(jù)權(quán)利要求3所述基于光流的無(wú)人機(jī)自動(dòng)降落引導(dǎo)方法，其特征在于:步驟5中，當(dāng) 無(wú)人機(jī)機(jī)載相機(jī)拍攝圖像出現(xiàn)清晰完整內(nèi)部標(biāo)記時(shí)，無(wú)人機(jī)進(jìn)入第二進(jìn)近域，無(wú)人機(jī)機(jī)載 相機(jī)持續(xù)拍攝圖像，根據(jù)圖像中的內(nèi)部標(biāo)記確定無(wú)人機(jī)降落場(chǎng)地方位和無(wú)人機(jī)的位姿，調(diào) 整無(wú)人機(jī)的飛行方向，無(wú)人機(jī)根據(jù)得到的飛行方向減速下降；當(dāng)外部標(biāo)記完整呈現(xiàn)并占滿(mǎn) 無(wú)人機(jī)機(jī)載相機(jī)全景框時(shí)，無(wú)人機(jī)機(jī)載相機(jī)繼續(xù)持續(xù)拍攝圖像，根據(jù)圖像中的內(nèi)部標(biāo)記確 定無(wú)人機(jī)降落場(chǎng)地方位和無(wú)人機(jī)的位姿，調(diào)整無(wú)人機(jī)的飛行方向，無(wú)人機(jī)根據(jù)得到的飛行 方向減速降落;在無(wú)人機(jī)進(jìn)入第二進(jìn)近域下降過(guò)程中，若沒(méi)有出現(xiàn)過(guò)外部標(biāo)記完整呈現(xiàn)并 占滿(mǎn)無(wú)人機(jī)機(jī)載相機(jī)全景框情況時(shí)，無(wú)人機(jī)上升回到第一進(jìn)近域，重新進(jìn)近。6. 根據(jù)權(quán)利要求4所述基于光流的無(wú)人機(jī)自動(dòng)降落引導(dǎo)方法，其特征在于:步驟5中，在 無(wú)人機(jī)根據(jù)得到的飛行方向減速降落過(guò)程中，若無(wú)人機(jī)機(jī)載相機(jī)拍攝的圖像中沒(méi)有完整的 內(nèi)部標(biāo)記時(shí)，則根據(jù)圖像中的衛(wèi)星標(biāo)記確定無(wú)人機(jī)降落場(chǎng)地方位和無(wú)人機(jī)的位姿，調(diào)整無(wú) 人機(jī)的飛行方向，使無(wú)人機(jī)機(jī)載相機(jī)拍攝的圖像中重新出現(xiàn)完整的內(nèi)部標(biāo)記。7. 根據(jù)權(quán)利要求5所述基于光流的無(wú)人機(jī)自動(dòng)降落引導(dǎo)方法，其特征在于:步驟5中，當(dāng) 無(wú)人機(jī)進(jìn)入第一進(jìn)近域后，無(wú)人機(jī)機(jī)載相機(jī)持續(xù)拍攝圖像，根據(jù)圖像中的外部標(biāo)記確定無(wú) 人機(jī)降落場(chǎng)地方位和無(wú)人機(jī)的位姿，調(diào)整無(wú)人機(jī)的飛行方向的過(guò)程為： 1) 、將拍攝的圖像轉(zhuǎn)化為灰度圖，并得到二值化的邊緣分布圖；然后提取邊緣分布圖的 輪廓樹(shù)信息； 2) 、根據(jù)輪廓樹(shù)信息，濾除面積小于2/3外部標(biāo)記面積的輪廓，以及所有無(wú)子輪廓的輪 廓，在剩余輪廓中選擇凸四邊形作為候選的外部標(biāo)記輪廓； 3) 、對(duì)每個(gè)候選的外部標(biāo)記輪廓進(jìn)行如下處理： 將候選的外部標(biāo)記輪廓圖像信息映射到方形區(qū)域，所述方形區(qū)域?yàn)橛蒒*N個(gè)完全相同 的方格構(gòu)成的正方形區(qū)域；當(dāng)方格內(nèi)不少于2/3的像素點(diǎn)為黑色，則判定該方格為黑色;得 到方形區(qū)域中所有方格顏色;若方形區(qū)域最外圈方格不全為黑色，則將該候選外部標(biāo)記輪 廓丟棄，否則按照設(shè)定的規(guī)則根據(jù)方形區(qū)域的方格顏色和方向得到二進(jìn)制碼值； 4) 、將二進(jìn)制碼值中的ID信息與無(wú)人機(jī)內(nèi)部存儲(chǔ)的ID信息進(jìn)行對(duì)比，得到對(duì)比一致的 ID信息對(duì)應(yīng)的外部標(biāo)記，并根據(jù)該外部標(biāo)記的二進(jìn)制碼值中的方位信息確定無(wú)人機(jī)降落場(chǎng) 地方位； 5) 、依據(jù)4)中外部標(biāo)記最外圈方格的4個(gè)角點(diǎn)在相機(jī)坐標(biāo)系中的坐標(biāo)，結(jié)合無(wú)人機(jī)機(jī)載 相機(jī)參數(shù)，利用PnP算法解算得到相機(jī)的姿態(tài);根據(jù)無(wú)人機(jī)與無(wú)人機(jī)機(jī)載相機(jī)的相對(duì)位置關(guān) 系，得到無(wú)人機(jī)位姿。8. 根據(jù)權(quán)利要求5所述基于光流的無(wú)人機(jī)自動(dòng)降落引導(dǎo)方法，其特征在于:步驟5中，當(dāng) 無(wú)人機(jī)進(jìn)入第二進(jìn)近域后，無(wú)人機(jī)機(jī)載相機(jī)持續(xù)拍攝圖像，根據(jù)圖像中的內(nèi)部標(biāo)記確定無(wú) 人機(jī)降落場(chǎng)地方位和無(wú)人機(jī)的位姿，調(diào)整無(wú)人機(jī)的飛行方向的過(guò)程為： 1 )、將拍攝的圖像轉(zhuǎn)化為灰度圖，并得到二值化的內(nèi)部標(biāo)記輪廓圖； 2 )、將內(nèi)部標(biāo)記輪廓圖映射到方形區(qū)域，所述方形區(qū)域?yàn)橛蒒*N個(gè)完全相同的方格構(gòu)成 的正方形區(qū)域；當(dāng)方格內(nèi)不少于2/3的像素點(diǎn)為黑色，則判定該方格為黑色;得到方形區(qū)域 中所有方格顏色;按照設(shè)定的規(guī)則根據(jù)方形區(qū)域的方格顏色和方向得到二進(jìn)制碼值； 3 )、根據(jù)內(nèi)部標(biāo)記二進(jìn)制碼值中的方位信息確定無(wú)人機(jī)降落場(chǎng)地方位； 4)、依據(jù)內(nèi)部標(biāo)記最外圈方格的4個(gè)角點(diǎn)在相機(jī)坐標(biāo)系中的坐標(biāo)，結(jié)合無(wú)人機(jī)機(jī)載相機(jī) 參數(shù)，利用PnP算法解算得到相機(jī)的姿態(tài);根據(jù)無(wú)人機(jī)與無(wú)人機(jī)機(jī)載相機(jī)的相對(duì)位置關(guān)系， 得到無(wú)人機(jī)位姿。9.根據(jù)權(quán)利要求6所述基于光流的無(wú)人機(jī)自動(dòng)降落引導(dǎo)方法，其特征在于:步驟5中，根 據(jù)圖像中的衛(wèi)星標(biāo)記確定無(wú)人機(jī)降落場(chǎng)地方位和無(wú)人機(jī)位姿的過(guò)程為： 1)、將拍攝的圖像轉(zhuǎn)化為灰度圖，并得到二值化的邊緣分布圖；然后提取邊緣分布圖的 輪廓樹(shù)信息； 2 )、根據(jù)輪廓樹(shù)信息，得到若干衛(wèi)星標(biāo)記輪廓； 3) 、對(duì)每個(gè)衛(wèi)星標(biāo)記輪廓進(jìn)行如下處理： 將衛(wèi)星標(biāo)記輪廓圖像信息映射到方形區(qū)域，所述方形區(qū)域?yàn)橛蒒*N個(gè)完全相同的方格 構(gòu)成的正方形區(qū)域；當(dāng)方格內(nèi)不少于2/3的像素點(diǎn)為黑色，則判定該方格為黑色;得到方形 區(qū)域中所有方格顏色;按照設(shè)定的規(guī)則根據(jù)方形區(qū)域的方格顏色和方向得到該衛(wèi)星標(biāo)記的 二進(jìn)制碼值； 4) 、根據(jù)拍攝圖像中的所有衛(wèi)星標(biāo)記二進(jìn)制碼值中的方位信息，解算得到無(wú)人機(jī)降落 場(chǎng)地方位； 5) 、依據(jù)4)中所有衛(wèi)星標(biāo)記最外圈方格的角點(diǎn)在相機(jī)坐標(biāo)系中的坐標(biāo)，結(jié)合無(wú)人機(jī)機(jī) 載相機(jī)參數(shù)，利用PnP算法解算得到相機(jī)的姿態(tài);根據(jù)無(wú)人機(jī)與無(wú)人機(jī)機(jī)載相機(jī)的相對(duì)位置 關(guān)系，得到無(wú)人機(jī)位姿。
【文檔編號(hào)】G05D1/12GK106054929SQ201610480771
【公開(kāi)日】2016年10月26日
【申請(qǐng)日】2016年6月27日
【發(fā)明人】布樹(shù)輝, 楊君, 趙勇, 張臻煒
【申請(qǐng)人】西北工業(yè)大學(xué)