基于標(biāo)志物顏色及輪廓檢測的無人機(jī)自動尋的著陸方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種基于標(biāo)志物顏色及輪廓檢測的無人機(jī)自動尋的著陸方法，屬于數(shù) 字圖像處理和無人機(jī)技術(shù)交叉的領(lǐng)域。
【背景技術(shù)】
[0002] 近年來，小型無人機(jī)和微型無人機(jī)的發(fā)展驅(qū)動了一些領(lǐng)域新的研究，例如電子、機(jī) 械、航空、自動控制等。在搜索、營救、國土安全、實(shí)時(shí)森林防火、敏感地區(qū)的監(jiān)控等方面，無 人機(jī)具有巨大的潛力。
[0003] 國內(nèi)外無人機(jī)制造商生產(chǎn)的無人機(jī)在載荷、適用范圍、任務(wù)執(zhí)行能力以及命令、控 制和數(shù)據(jù)獲取能力都千差萬別，商用和民用仍然處于初期階段。
[0004] 無人機(jī)執(zhí)行任務(wù)的過程中，著陸階段是最容易出故障的階段，實(shí)現(xiàn)無人機(jī)自動著 降是提高無人機(jī)自主控制能力的重要環(huán)節(jié)。傳統(tǒng)無人機(jī)由操作員通過無人機(jī)的機(jī)載攝像頭 由下行鏈路傳回的視頻圖像控制，操縱無人機(jī)從一個(gè)坐標(biāo)飛行到另一個(gè)坐標(biāo)，這要求操作 員熟悉無人機(jī)的飛行特性，以及當(dāng)前位置和目標(biāo)位置等詳細(xì)信息。傳統(tǒng)無人機(jī)在操作時(shí)所 能依靠的自動系統(tǒng)非常有限，大部分工作還需要人工完成。因此，無人機(jī)自動導(dǎo)航和著陸方 面是迫切需要提升的短板。
[0005] 隨著光學(xué)攝像技術(shù)、圖像處理技術(shù)的發(fā)展，機(jī)器視覺導(dǎo)航技術(shù)已經(jīng)成為無人機(jī)自 主導(dǎo)航技術(shù)的重點(diǎn)。基于視覺的導(dǎo)航著陸系統(tǒng)只需要一個(gè)攝像頭和一個(gè)機(jī)載圖像處理單 元，利用攝像頭傳回的實(shí)時(shí)視頻圖像來計(jì)算目標(biāo)位置，輔助機(jī)載的導(dǎo)航控制系統(tǒng)控制無人 機(jī)完成自主著陸。基于圖像特征匹配實(shí)現(xiàn)目標(biāo)的檢測和跟隨主要利用的圖像特征有：
[0006] 1)角點(diǎn)特征。2012年劉洪瓊等在《計(jì)算機(jī)技術(shù)與自動化》發(fā)表論文"的角點(diǎn)跟蹤算 法"對視頻穩(wěn)定系統(tǒng)的角點(diǎn)跟蹤算法的分析，針對圖像旋轉(zhuǎn)與局部物體運(yùn)動情況，采取圓投 影向量相關(guān)系數(shù)法對基于角點(diǎn)跟蹤的運(yùn)動估計(jì)算法進(jìn)行改進(jìn)，結(jié)合局部運(yùn)動鄰域相關(guān)算法 剔除運(yùn)動物體，并采用菱形快速搜索算法提高角點(diǎn)配準(zhǔn)速度。
[0007] 2)尺度不變特征（sift)。2015年Wensley，J.H.在Proceedings of the IEEE發(fā)表 論文"An Efficient SIFT-Based Mode-Seeking Algorithm for Sub-Pixel Registration of Remotely Sensed Images"對尺度不變換特征轉(zhuǎn)換特征匹配在遙感圖像 的多模匹配中遇到的問題提出了解決方案。指出在模式識別中每一個(gè)sift特征都和一個(gè)尺 度、方向和位置相關(guān)，以此來排除無關(guān)的匹配點(diǎn)提高匹配的準(zhǔn)確度。
[0008] 3)加速魯棒特性（surf) jOOeHerbert Bay于2006年在ECCV大會上第一次在提出 了這一旋轉(zhuǎn)和尺度不變檢測方法和描述子方法，surf使用海森矩陣的行列式值作特征點(diǎn)偵 測并用積分圖加速運(yùn)算，檢測速度比Sift提高了數(shù)倍。
[0009] 4)圖像的顏色特征。圖像的顏色特征描述的是圖像的全局特征，其對圖像的局部 大小、方向、形狀等變化不敏感，不能很好地得到圖像的局部特征。
[0010] 角點(diǎn)特征檢測速度快，但受到圖像噪聲、光照等的影響，它的健壯性不是很好。 Sift和Surf計(jì)算復(fù)雜，難以達(dá)到實(shí)時(shí)的要求，并且當(dāng)視頻中不存在目標(biāo)圖像時(shí)也能檢測到 特征點(diǎn)。

【發(fā)明內(nèi)容】

[0011] 本發(fā)明所要解決的技術(shù)問題是提供一種基于標(biāo)志物顏色及輪廓檢測的無人機(jī)自 動尋的著陸方法，能夠利用機(jī)載攝像頭的實(shí)時(shí)視頻圖像準(zhǔn)確檢測到無人機(jī)和降落標(biāo)志物的 相對位置，且在低像素、不同天氣條件下均有較高的適用性。本發(fā)明用模板匹配標(biāo)志物圖形 的形狀以及顏色的重要參數(shù)作為判斷依據(jù)，實(shí)時(shí)計(jì)算計(jì)算標(biāo)志物坐標(biāo)，檢測結(jié)果準(zhǔn)確率高， 對無人機(jī)自主尋的著降具有重要的實(shí)用價(jià)值。本發(fā)明旨在給出一種快速、準(zhǔn)確、部署簡單的 無人機(jī)自動尋的著陸方法，利用廉價(jià)的可見光傳感器實(shí)時(shí)獲取場景圖像，并通過著陸區(qū)域 標(biāo)志物(也即圖像檢測的目標(biāo)）的顏色特征以及其形狀輪廓約束來對無人機(jī)著陸區(qū)域進(jìn)行 實(shí)時(shí)的準(zhǔn)確檢測，進(jìn)而實(shí)現(xiàn)無人機(jī)在指定區(qū)域自動降落。
[0012] 本發(fā)明為解決上述技術(shù)問題采用以下技術(shù)方案：
[0013] 本發(fā)明提供一種基于標(biāo)志物顏色及輪廓檢測的無人機(jī)自動尋的著陸方法，所述標(biāo) 志物僅包括紅綠藍(lán)中的任意兩種顏色，包括以下具體步驟：
[0014] 步驟1，無 人機(jī)機(jī)載攝像頭拍攝的視頻信號通過圖傳設(shè)備實(shí)時(shí)傳輸至圖像處理系 統(tǒng)；
[0015] 步驟2,圖像處理系統(tǒng)對接收到的視頻圖像進(jìn)行逐幀預(yù)處理，具體為：
[0016] 201，將當(dāng)前幀圖像進(jìn)行縮放，以滿足實(shí)際需求;并對縮放后的圖像進(jìn)行通道分離， 得到各通道的二值化圖像；
[0017] 202,對步驟201所得的具有標(biāo)志物邊界信息的二值化圖像進(jìn)行腐蝕膨脹處理，并 獲取其連通域；
[0018] 203，對步驟202中獲取的連通域進(jìn)行去噪處理，具體為：
[0019] a，若獲取的連通域數(shù)目大于第一閾值，按照邊界長度對連通域進(jìn)行排序，濾除邊 界長度不在有效邊界長度范圍內(nèi)的連通域，若剩余連通域數(shù)目大于第二閾值，則進(jìn)入步驟 b，否則進(jìn)入步驟5;
[0020] b，獲取剩余連通域的外接矩形的長寬比，濾除外接矩形長寬比不在有效比值范圍 內(nèi)的連通域，進(jìn)入步驟204;
[0021] 204,將剩余連通域映射到對應(yīng)標(biāo)志物所含兩種顏色的通道的二值化圖像上，所得 到的區(qū)域作為興趣區(qū)；對興趣區(qū)內(nèi)求像素和，獲取每個(gè)連通域?qū)?yīng)的一對興趣區(qū)的像素和 的比值，若該比值小于第三閾值，則刪除對應(yīng)的連通域，否則進(jìn)入步驟6;
[0022] 205，若步驟204中剩余連通域的數(shù)目等于1，則進(jìn)入步驟3;若剩余連通域數(shù)目大于 1，且當(dāng)前幀之前的各幀視頻圖像經(jīng)過步驟201至204處理后的連通域剩余數(shù)目均大于1，則 舍棄當(dāng)前幀圖像，返回步驟201;若剩余連通域數(shù)目大于1，且當(dāng)前幀之前的各幀視頻圖像經(jīng) 過步驟201至204處理后的連通域剩余數(shù)目出現(xiàn)過等于1的情況，則進(jìn)入步驟4;
[0023] 步驟3，計(jì)算該連通域的中心坐標(biāo)，該中心坐標(biāo)即為目標(biāo)標(biāo)志物的坐標(biāo)；
[0024] 步驟4，計(jì)算各剩余連通域的中心坐標(biāo)，并計(jì)算各個(gè)中心坐標(biāo)與前一幀視頻圖像得 到的目標(biāo)標(biāo)志物坐標(biāo)之間的相對距離，相對距離最短的中心坐標(biāo)即為目標(biāo)標(biāo)志物的坐標(biāo)。
[0025] 作為本發(fā)明的進(jìn)一步優(yōu)化方案，步驟2中各通道的二值化圖像為：
[0027] 式中，1 = 0，1，2、」=0，1，2、1<: = 0，1，2，;[關(guān)」關(guān)1<:，當(dāng)1=0，」=1，1<: = 2時(shí)01。，011，012 分別對應(yīng)B，G，R通道;I i為二值化圖像。
[0028] 作為本發(fā)明的進(jìn)一步優(yōu)化方案，步驟a中第二閾值小于第一閾值。
[0029]作為本發(fā)明的進(jìn)一步優(yōu)化方案，步驟204中第三閾值為0.15。
[0030]作為本發(fā)明的進(jìn)一步優(yōu)化方案，步驟a中第一閾值為3。
[0031] 本發(fā)明采用以上技術(shù)方案與現(xiàn)有技術(shù)相比，具有以下技術(shù)效果:本發(fā)明能夠利用 機(jī)載攝像頭的實(shí)時(shí)視頻圖像準(zhǔn)確檢測到無人機(jī)和降落標(biāo)志物的相對位置，且在低像素、不 同天氣條件下均有較高的適用性;用模板匹配標(biāo)志物圖形的形狀以及顏色的重要參數(shù)作為 判斷依據(jù)，實(shí)時(shí)計(jì)算計(jì)算標(biāo)志物坐標(biāo)，檢測結(jié)果準(zhǔn)確率高，對無人機(jī)自主尋的著降具有重要 的實(shí)用價(jià)值;利用廉價(jià)的可見光傳感器實(shí)時(shí)獲取場景圖像，并通過著陸區(qū)域標(biāo)志物(也即圖 像檢測的目標(biāo)）的顏色特征以及其形狀輪廓約束來對無人機(jī)著陸區(qū)域進(jìn)行實(shí)時(shí)的準(zhǔn)確檢 測，進(jìn)而實(shí)現(xiàn)無人機(jī)在指定區(qū)域自動降落。
【附圖說明】
[0032] 圖1是對接收到的視頻圖像進(jìn)行預(yù)處理的流程圖。
[0033]圖2是計(jì)算連通域以及對連通域進(jìn)行初步去噪處理的流程圖。
[0034] 圖3是對連通域取外接矩形并且利用外接矩形長寬比去噪的流程圖。
[0035] 圖4是利用連通域內(nèi)B通道和R通道像素值的比值去噪的流程圖。
[0036]圖5是標(biāo)志物圖像。
[0037]圖6是本實(shí)例中處理的幀。
[0038]圖7是預(yù)處理后的B通道的二值圖像。
[0039]圖8是預(yù)處理后的R通道的二值圖像。
[0040]圖9是對B通道二值圖像腐蝕膨脹的結(jié)果。
[0041 ]圖10是對B通道取連通域的結(jié)果。
[0042] 圖11是初步去噪后的結(jié)果。
[0043] 圖12是利用外接矩形長寬比去噪后的結(jié)果。
[0044] 圖13是連通域內(nèi)B通道和R通道像素的比值去噪后的結(jié)果。
[0045] 圖14是最終在本幀中找到的標(biāo)志物坐標(biāo)。
[0046] 圖15是本發(fā)明方法流程圖。
【具體實(shí)施方式】
[0047] 下面結(jié)合附圖以及實(shí)施例對本發(fā)明的技術(shù)方案做進(jìn)一步的詳細(xì)說明：
[0048] 本發(fā)明一種基于標(biāo)志物顏色及輪廓檢測的無人機(jī)自動尋的著陸方法，如圖1、2、3、 4和15所示，具體內(nèi)容這里不再贅述。
[0049] 本實(shí)例中，視頻采集于離目標(biāo)1-4米的相機(jī)，拍攝角度相機(jī)鏡頭和目標(biāo)法線最大偏 角60度，幀大小1920*1080，幀速率29f/s。標(biāo)志物圖像如圖5所示，圖片大小1000*1000像素， 中間紅色部分大小520*520,紅色區(qū)域面積和藍(lán)色區(qū)域面積的比值約為Ο . 37。檢測目標(biāo)區(qū) 域，通過對著陸標(biāo)志物(標(biāo)志物為兩個(gè)嵌套在一起的矩形，內(nèi)部矩形為紅色，外部矩形為藍(lán) 色）的顏色和形狀進(jìn)行限制來檢測出標(biāo)志物在圖像中的區(qū)域，具體步驟如下：
[0050] 1.讀入一幀圖像存入img_scene，設(shè)置縮放比例為0.4，對img_scene圖像進(jìn)行縮放 處理，如圖6所示(本實(shí)施例中采用視頻為算法檢測效果測試用視頻，本發(fā)明中給出的圖6中 所示幀圖像為檢測過程中有代表性的一幀）。接下來將分別獲取場景圖中的藍(lán)色和紅色區(qū) 域，以便后續(xù)操作中對標(biāo)志物位置進(jìn)行確定。
[0051]為了減小光線和攝像機(jī)角度的條件的影響，按公式（1)對縮放后的圖像進(jìn)行通道 分離，得到各通道的二值化圖像