一種面向硬式空中加油的視覺測量方法
【專利摘要】本發(fā)明提出了一種面向硬式空中加油的視覺測量方法，一種面向硬式空中加油的視覺測量方法，該方法的步驟如下：步驟一：基于發(fā)光二極管(LED)的受油口目標(biāo)識別；步驟二：LED標(biāo)志點中心點匹配；步驟三：利用高斯最小二乘微分校正算法對受油口相對相機的平移矩陣和旋轉(zhuǎn)矩陣進行求解。本方法利用視覺傳感器，對受油口位姿進行測量，利用測量得到的位姿關(guān)系對受油機以及加油桿實現(xiàn)精確控制，實現(xiàn)加油對接。本方法魯棒性好，精確性高，可大大提高硬式空中加油的安全性和可靠性。
【專利說明】-種面向硬式空中加油的視覺測量方法 【技術(shù)領(lǐng)域】
[0001] 本發(fā)明是一種面向硬式空中加油的視覺測量方法，屬于計算機視覺測量技術(shù)領(lǐng) 域。 【【背景技術(shù)】】
[0002] 空中加油是指在飛行過程中一架飛機向另一架或多架飛機(或直升機)傳輸燃油 的活動?？罩屑佑妥猿霈F(xiàn)起，就W其在軍事行動中的重要作用而日益受到各國的廣泛重視。 長航時無人機進行一次空中加油，其續(xù)航時間能增加80% W上，運也為攜帶更多任務(wù)載荷 提供了可能;無人機進行一次空中加油，航時可提高30%~40%，從而為解決燃油與武器裝 載之間的矛盾提供了有效途徑。
[0003] 空中加油技術(shù)是提高飛機遠程作戰(zhàn)效能的關(guān)鍵技術(shù)之一，是增強戰(zhàn)斗力的放大 器?？罩屑佑筒粌H改變了 W往的作戰(zhàn)模式，而且還可W提高戰(zhàn)績的綜合作戰(zhàn)效能，已成為先 進軍用飛機完成作戰(zhàn)任務(wù)不可缺少的保障措施。相對于軟管式加油，硬管式空中加油因為 加油量大、受油機操作負擔(dān)輕、受油機受油設(shè)備簡單等特點而具有明顯的優(yōu)勢，因而成為未 來空中加油技術(shù)的發(fā)展方向。
[0004] 目前，空中加油技術(shù)中發(fā)展比較成熟并被廣泛采用的空中加油系統(tǒng)可分為下屬四 種:一種是插頭-錐套式(軟管)加油系統(tǒng)，另一種是飛巧式(硬管)加油系統(tǒng)，還有兩種方式 是將上述兩種系統(tǒng)結(jié)合起來的混合式及多系統(tǒng)式。
[0005] 自上世紀(jì)五十年代，人工操縱的空中加油技術(shù)已經(jīng)比較成熟，但人工操縱的空中 加油技術(shù)效率較低、對飛行員的駕駛技術(shù)要求很高，易受到駕駛員屯、理和生理W及技術(shù)戰(zhàn) 術(shù)狀態(tài)的影響。因此開展自主空中加油技術(shù)的研究具有重要的意義。20世紀(jì)80年代W來，伴 隨著神經(jīng)科學(xué)、計算神經(jīng)科學(xué)、解剖學(xué)的發(fā)展，人類對腦科學(xué)有了更加深入的了解。在所感 知的外部世界信息中，大約80%的部分來自視覺，運種客觀的事實使得科學(xué)家對視覺信息 的各種處理機制進行了非常深入的研究，并取得了一系列的視覺信息處理理論成果。運些 成果的取得，使得計算機視覺科研人員有條件從事模擬生物視覺功能的研究，也為改善目 前的機器視覺識別性能提供了生物學(xué)上的依據(jù)。機器(計算機)視覺是指用計算機實現(xiàn)類生 物的視覺功能，即對客觀世界Ξ維場景的感知、識別、理解。因此，機器視覺是計算機科學(xué)和 智能科學(xué)交叉而形成的學(xué)科，是W模擬生物視覺功能或信息處理機制為主要研究內(nèi)容，構(gòu) 建仿生視覺的計算模型，利用計算機對描述自然景物的圖像數(shù)據(jù)進行處理，W實現(xiàn)類似于 生物視覺感知功能為目標(biāo)。
[0006] 相對于其它導(dǎo)航方式，視覺傳感器具有輕便、低功耗、體積小、重量輕等優(yōu)點，同時 能夠提供豐富的周圍環(huán)境信息。 【
【發(fā)明內(nèi)容】
】
[0007] 1、發(fā)明目的：
[000引本發(fā)明提出了一種面向硬式空中加油的視覺測量方法，其目的是提供一種更具實 用價值的硬式空中加油測量方法，為自主空中加油系統(tǒng)提供精確可靠的測量信息，革新當(dāng) 前的人工操縱加油技術(shù)，提高空中加油效率，最大程度避免因操作員誤操作造成的機毀人 亡的重大事故。
[0009] 2、技術(shù)方案：
[0010] 本發(fā)明針對硬式空中加油需求，提出了一種魯棒性強、精確度高的視覺測量方法， 前期工作需要對相機的參數(shù)進行確定和對空中硬式加油視覺測量圖像的獲取。該方法通過 對圖像序列進行圖像處理操作解算受油口相對相機的平移矩陣和旋轉(zhuǎn)矩陣。圖像序列是通 過可見光相機拍攝獲取的，相機的內(nèi)參是解算位姿關(guān)系時的必備參數(shù)，相機參數(shù)可W通過 張正友標(biāo)定法確定。測量方法步驟構(gòu)成見附圖1所示。
[0011] -種面向硬式空中加油的視覺測量方法，該方法的步驟如下：
[001^ 步驟一:基于發(fā)光二極管(L邸)的受油口目標(biāo)識別
[0013] 在視覺測量時，需要對受油口進行識別，在受油口附近設(shè)置7個紅色Lm)光標(biāo)記點 的方法，利用計算機視覺實現(xiàn)對光標(biāo)記點的檢測識別。
[0014] (1)將圖像序列進行彩色空間(RGB)到色相、飽和度和明度化SV)化處理：
[0015] 通過相機獲取光標(biāo)記點的位圖像，將光標(biāo)記點設(shè)置成紅色，利用運個顏色特征信 息進行點提取。首先，將相機采集到的RGB圖像變換到HSV空間。對于H、S、VS個通道的圖像， 選取其中光標(biāo)記點最明顯的S通道圖像進行中值濾波，并由給定闊值進行分割，得到二值化 圖像。該二值化圖像可能存在噪聲，可W用腐蝕，膨脹等形態(tài)處理，將該噪聲去掉，檢測到光 斑區(qū)域，但光斑的數(shù)目及光斑中屯、點（光標(biāo)記點）的坐標(biāo)位置需要精確求解。根據(jù)均值平移 (meanshift)的聚類思想，采用mean shift聚類算法求解運些光標(biāo)記點的圖像坐標(biāo)，為最后 受油口與相機相對位置測量做準(zhǔn)備。
[0016] 色調(diào)Η表示顏色的色相，用角度來度量，取值范圍為0°~360°，從紅色才是按逆時 針方向計算，紅色為0°，綠色為120°，藍色為240%飽和度S表示顏色的純度，其取值范圍為 0.0~1.0;亮度V表示顏色的亮度，取值范圍為0.0(黑色)~1.0(白色），圓錐的頂面對應(yīng)于V =1，代表的顏色最亮。令max為R、G、B^個分量的最大值，min為Ξ個分量的最小值，r、g、b分 別表示Ξ個分量的值，RGB到HSV的變換的數(shù)學(xué)公式如下所示：
[0017]
[001 引
（2)
[0019] V=max (3)
[0020] (2)對顏色空間變換后的圖像分別在H、S、V通道進行闊值分割：
[0021] 由于檢測對象是受油口附近紅色光標(biāo)記點，通過RGB顏色空間到HSV空間的變換得 到Ξ個通道H、S、V通道圖像，其中S通道光標(biāo)記點最為明顯，選擇S通道的圖像進行特定闊值 分割，即可檢測到目標(biāo)光斑。分割得到的二值圖可能存在噪聲點，可W通過中值濾波及形態(tài) 學(xué)的腐蝕膨脹算子進行處理。
[0022] (3)光標(biāo)記點中屯、定位：
[0023] 在經(jīng)過W上操作之后，能夠獲取Lm)標(biāo)志點在圖像中的區(qū)域，在運一基礎(chǔ)上，還需 要確定每個區(qū)域的中屯、位置，也就是確定光標(biāo)記點的中屯、。不同于背景像素有很多相似塊 區(qū)域分布在圖像各處，顯著點往往是聚集在一起。所W可W認為像素塊Pi和與其相似的塊 距離都很近，則Pi是顯著的，當(dāng)相似塊都分布在較遠區(qū)域，則Pi的顯著性不高。因此用 dp〇sition(Pi ,Pj)來度重像素塊Pi和Pj之間的距罔，良P :
[0024]
(4)
[002引式中，dp0sition(Pi加）是像素塊Pi和像素塊W之間的距離，和巧表 示分別是像素塊Pi和像素塊W的圖像坐標(biāo)。
[0026] 結(jié)合上面兩個特征，對于兩個像素塊，采用一個相異度計算方法：
[0027]
(5)
[002引式中C為系數(shù)，(^1*山。如瓜)含義與上式相同，山。1。如1加)表示像素塊口滿像素 塊W在顏色空間上的距離。
[0029] 在計算像素塊Pi的顯著程度時，選擇K個與它最相似的像素塊作為參考 集，如果它與參考集的差異度很大，則可認為它與圖像其他像素塊的相異度都很大。因此定 義顯著性
[0030]
脯
[0031] 式中r為尺度。
[0032] 1)多尺度顯著度增強
[0033] 由于背景像素塊在多尺度上有很多相似的塊，而顯著像素塊只在幾個尺度上有類 似的塊，故引入多尺度方法來加強顯著區(qū)域與非顯著區(qū)域的對比度。因此修正如下：
[0034]
巧
[0035] 其中rme {R|R={ri，r2. . .rM}}，rm為尺度，Μ為尺度的數(shù)目。
[0036] 可得出像素 Pi的顯著度為它在不同尺度上的均值：
[0037]
做
[0038] 2)區(qū)域顯著值修正
[0039] 根據(jù)Ξ分法(Rule of thirds)特性，可W認為在全局視角上，像素離交點的距離 越近，它的顯著度越高，所W顯著度公式修正為
[0040]
觀
[0041] 其中df DC1 (i)表示像素塊Pi離交點的距離。
[0042] 由上述方法可W找到顯著度最大的像素塊，取其中屯、作為光標(biāo)記點中屯、。
[00創(chuàng)步驟二:L邸標(biāo)志點中屯、點匹配
[0044] 將塊擬合之后的點與標(biāo)志點的世界坐標(biāo)進行擬合，計算每個提到的點的圖像坐標(biāo) 與所有標(biāo)志點的世界坐標(biāo)轉(zhuǎn)換成圖像坐標(biāo)之后的圖像坐標(biāo)之間的歐式距離，與哪個標(biāo)志點 最近，就認為提到的某點為該標(biāo)志點，從而可W賦予其世界坐標(biāo)進行后面的計算。
[0045] 特征點匹配(Point Fea化re Matching)，即匹配標(biāo)記連續(xù)帖圖像對應(yīng)特征點的位 置。因為已經(jīng)給出了光標(biāo)記點門在圖像上的投影方程，假定從攝像機采集圖像提取特征點 得到的檢測點集為山，口2，。'口。}，其中^ =(化乂^)是圖像坐標(biāo)，而投影點集為(^，0,.);同 時設(shè)對應(yīng)的投影點集為城，矣，…襲J，其中二的.，^)是利用針孔投影成像模型計 算得到的在像素坐標(biāo)系中的坐標(biāo)。
[0046] 當(dāng)檢測特征點與投影特征點匹配上時，兩個點集的歐式距離最小。檢測點集{pi， P2，...Pn巧日投影點集{クl，Λ，...成}之間的歐式距離矩陣化r如下，其矩陣的維數(shù)為mXn。
[0047]
(化）
[0048] 點集間對應(yīng)點的匹配問題可W用經(jīng)典的數(shù)學(xué)指派問題來描述，可描述為：
[0049] 假設(shè)有兩個點集A，B，Sik表示集合A中的點i與集合B中的點k之間的歐式距離，求解 兩個點集的最小歐式距離，即可表示為如下公式：
[(Κ)加]
(II)
[0051] S={sy I sij = dist(ai,bj) ,aieA,bjeB,i = l...N, j = (12)
[0化2] sik、sij和dist(ai，bj)表示點之間的歐氏距離，xik為示性函數(shù)，當(dāng)點匹配上時值為 1，否則為〇。
[0053] 求解上述最小歐式距離的解，可利用匈牙利算法化ngarian，限于求解方陣即點數(shù) 相同的兩個點集，W及改進算法Munkres，求解非方陣，即兩個點數(shù)不一樣多的點集。
[0054] 步驟Ξ:利用高斯最小二乘微分校正算法對受油口相對相機的平移矩陣和旋轉(zhuǎn)矩 陣進行求解
[0055] (1)相機成像模型及各個坐標(biāo)系定義說明：
[0056] 針對硬管式空中加油問題，假定相機放置在加油機機身尾部下方伸縮管附近某一 特定位置，并事先已標(biāo)定好。為了獲取受油機相對加油機的位置和姿態(tài)信息，可在受油口附 近設(shè)置多個光標(biāo)記點，用于對受油機機背上受油口的識別和定位，并由事先標(biāo)定好的光標(biāo) 記點的相對幾何位置關(guān)系及攝像機成像系統(tǒng)模型來求解上述位置和姿態(tài)信息。
[0057] 基于視覺的導(dǎo)航系統(tǒng)為加油機和受油機的引導(dǎo)控制系統(tǒng)提供受油機相對加油機 的位置和姿態(tài)信息，對運些信息的求解首先需要定義加油機機體坐標(biāo)系、受油機機體坐標(biāo) 系、攝像機成像系統(tǒng)坐標(biāo)系，及受油機坐標(biāo)系，通過各個坐標(biāo)系之間的關(guān)系來描述其相對幾 何位姿關(guān)系。各個坐標(biāo)系的定義如下：
[005引Ob廣Xbiybizbi:受油機機體坐標(biāo)系；
[0059] Ob廣亂2yb2Zb2:加油機機體坐標(biāo)系
[0060] Oc-xcyczc:安裝在加油機上的攝像機(伸縮管附近)成像坐標(biāo)系 [0061 ] Od-xdydZd:受油口（目標(biāo)）坐標(biāo)系
[00創(chuàng) Oe-XeyeZe:大地坐標(biāo)系
[0063] 視覺測量的主要功能就是求解受油機上的受油口坐標(biāo)系Od-xdydZd的中屯、Od到加油 機伸縮管附近攝像機坐標(biāo)系中屯、Oc的距離dD，最后轉(zhuǎn)換為受油機和加油機質(zhì)屯、間的相對距 離和姿態(tài)。
[0064] 加油機上的相機成像原理可采用針孔攝像機數(shù)學(xué)模型來描述。為了從代數(shù)上描述 上述幾何投影關(guān)系，需要建立攝像機坐標(biāo)系和圖像平面坐標(biāo)系?？臻g中某一Ξ維空間點成 像到圖像平面之間的成像過程如附圖2所示。
[0065] 圖中攝像機坐標(biāo)表示為Oc-xcyczc，攝像機的焦距為f。空間點Pc在攝像機坐標(biāo)系中 的歐氏坐標(biāo)記為(x。，y。，z。），它的像點p在圖像坐標(biāo)系中的坐標(biāo)記為(x，y)，根據(jù)Ξ角關(guān)系， 得到下述關(guān)系：
[0069] 而圖像坐標(biāo)系與圖像物理坐標(biāo)系的關(guān)系如附圖3所示。
[0070] 圖像物理坐標(biāo)系W攝像機光軸與像平面的交點為原點，W毫米為單位。假設(shè)每一 個像素在X軸與y軸方向的物理尺寸為dx.dy，圖像物理坐標(biāo)系原點在圖像坐標(biāo)系中坐標(biāo)為 (U0，V0)，則在圖像坐標(biāo)系上的點(U，V)與圖像物理坐標(biāo)系中對應(yīng)點(X，y)的轉(zhuǎn)換關(guān)系可表示 為：
[007U
(巧)
[0072] 為了使用方便，用齊次坐標(biāo)與矩形形式來表示：
[0073]
姐:）
[0074] 而攝像機坐標(biāo)(X。，y。，Z。）同受油口坐標(biāo)(xd，yd，zd)的坐標(biāo)轉(zhuǎn)換是兩個Ξ維坐標(biāo)系 之間的變換，可W用一個旋轉(zhuǎn)矩陣R與一個位移矩陣t來描述，轉(zhuǎn)換關(guān)系的數(shù)學(xué)表達式如下：
[0075]
(1巧
[0076] (2)基于高斯最小二乘微分校正算法的位姿測量
[0077] 高斯最小二乘微分校正算法將高斯-牛頓法應(yīng)用于表示估計點與檢測點之間偏差 非線性代價函數(shù)的最小化上。選擇運種算法是因為它代表了一類廣泛用于攝影測量的算 法。高斯最小二乘微分校正算法結(jié)構(gòu)簡單，實時性好，已經(jīng)被應(yīng)用于多種場景下的位姿估計 問題。
[0078]設(shè)圖像序列在k時刻檢測、標(biāo)記的特征點j的坐標(biāo)是[Uj vj 1]τ，旋轉(zhuǎn)矩陣R和位移 矩陣t均為未知向量X化)的估計值玄(&)的函數(shù)，利用義(/〇將第j個坐標(biāo)點投影到成像平面， 記作權(quán),，V, 。重新安排特征點坐標(biāo)，得到：
[00 巧]G(玄 w)=防，巧，......，兩，?7", ] (15)
[0080] 式中克二反云[，訂，刖.一.個參數(shù)分別是偏航角、俯仰角、滾轉(zhuǎn)角，后S個參 數(shù)為相對位移在x，y，z方向上的投影。
[0081] k時刻處理算法提取達到的像素點集記為Go化），視覺估計誤差A(yù)G化)定義為：
[0082] Δ(7(7()二G；i(/()-G(丈'(/()) (16)
[0083] Go(k) = [ui,vi,......Vm] (17)
[0084] 高斯最小二乘微分校正算法迭代更新玄作），迭代公式為：
[0085] 一
(18)
[0086] 其中，i為迭代次數(shù)，W化)為控制矩陣，礦(/〇為Ri化)的逆，年W為Ai化)的轉(zhuǎn)置。 Ri化)和Ai化)定義如下：
[0089] 目為偏導(dǎo)數(shù)符號。
[0090] 迭代過程結(jié)束后，即估計點和檢測點的位置偏差充分小時，可得出估計值 文二反云去石。I的最優(yōu)解，即解算出旋轉(zhuǎn)矩陣R和位移矩陣t，從而估計出飛機的位 姿。
[0091] 3、優(yōu)點及效果：
[0092] 本發(fā)明提出了一種面向硬式空中加油的視覺測量方法，提出了從目標(biāo)識別，到特 征點匹配，再到位姿測量的一整套測量方案，其目的是提供一種具有實用價值的硬式空中 加油測量方法。本方法利用視覺傳感器，對受油口位姿進行測量，利用測量得到的位姿關(guān)系 對受油機W及加油桿實現(xiàn)精確控制，實現(xiàn)加油對接。本方法魯棒性好，精確性高，可大大提 高硬式空中加油的安全性和可靠性。 【【附圖說明】】
[0093] 圖1為面向硬式空中加油的視覺測量系統(tǒng)示意圖。
[0094] 圖2為攝像機成像模型示意圖。
[00M]圖3為圖像坐標(biāo)系與圖像物理坐標(biāo)系關(guān)系圖。
[0096] 圖4為硬式空中加油受油口示意圖。
[0097] 圖5(a)、圖5(b)和圖5(c)為姿態(tài)角變化曲線。
[0098] 圖6(a)、圖6(b)和圖6(c)為位移變化曲線。
[0099] 圖7為重投影誤差曲線。
[0100] 圖中標(biāo)號及符號說明如下：
[0101] R一一旋轉(zhuǎn)矩陣.
[0102] t--位移矩陣；
[0103] Y一一滿足條件(是）；
[01 04] OwXwYwZw--世界坐標(biāo)系;OcXcYcZc-攝像機坐標(biāo)系；
[01化]OoUV--圖像坐標(biāo)系;0XY--圖像物理坐標(biāo)系。 【【具體實施方式】】
[0106] 下面通過一個具體的視覺測量實例來驗證本發(fā)明所提出的設(shè)計方法的有效性。本 實例中使用兩架無人機做測試試驗，一架無人機作為加油機，一架作為受油機。受油機上安 裝如圖4所示的3D打印受油口模型作為測量對象，受油口周圍的7個凸臺涂上紅色作為測量 標(biāo)志點，在加油機上安裝工業(yè)相機作為視覺傳感器獲取受油口的可見光圖像，使用機載微 型電腦搭建的視覺測量系統(tǒng)對獲取圖像序列進行處理。實例選取任意一帖圖像作為說明。 實驗計算機配置為巧-4210M處理器，2.60Ghz主頻，4G內(nèi)存，軟件為visual studio 2010版 本。
[0107] 本實例的具體實現(xiàn)步驟如下：
[0108] 前期工作:相機的參數(shù)確定和空中硬式加油視覺測量圖像獲取
[0109] 通過張正友標(biāo)定法確定公式（1 6 )中的相機參數(shù)矩陣為
[0110] 然后用標(biāo)定好的相機拍攝，獲取加油相機序列，進行下一步圖像處理。
[0111] 步驟一:基于發(fā)光二極管(LED)的受油口目標(biāo)識別
[0112] 本實例中，采用在受油口附近設(shè)置7個光標(biāo)記點的方法，利用計算機視覺實現(xiàn)對光 標(biāo)記點的檢測識別。
[0113] 通過攝像機獲取光標(biāo)記點圖像，利用紅色標(biāo)記點的顏色特征信息進行點的提取。 首先，進行顏色空間變換，攝像頭采集圖像進行彩色空間(RGB)到色相、飽和度和明度化SV) 化處理，得到H、S、VS個通道的圖像。RGB到HSV的變換數(shù)學(xué)公式見公式（1)-(3)。
[0114] 然后對變換之后的圖像進行闊值分割處理。選取其中光標(biāo)記點最明顯的S通道圖 像進行中值濾波，并由給定闊值進行分割，得到二值化圖像。
[0115] 該二值化圖像可能存在噪聲，可W用腐蝕，膨脹等形態(tài)處理，將該噪聲去掉，檢測 到光斑區(qū)域，但光斑的數(shù)目及光斑中屯、點（光標(biāo)記點）的坐標(biāo)位置需要精確求解。根據(jù)mean shift的聚類思想，采用mean shift聚類算法求解運些光標(biāo)記點的圖像坐標(biāo)，為最后受油口 與攝像機相對位置測量做準(zhǔn)備。
[0116] 最后，由公式(4)-(9)計算出光標(biāo)記點區(qū)域每個像素在不同尺度上的顯著度均值， 由此得到每個光標(biāo)記點區(qū)域的中屯、位置。每個標(biāo)記點中屯、的圖像坐標(biāo)為：
[0117]
[011引步驟二:L邸標(biāo)志點中屯、點匹配
[0119] 在得到每個光標(biāo)記點區(qū)域的中屯、坐標(biāo)之后，需要將其與標(biāo)志點的世界坐標(biāo)進行擬 合才可W進行位姿的解算。
[0120] 利用公式（10)計算檢測點集{pi，化，…口。}和投影點集!A，知，之間的歐式距 離矩陣化r，利用公式（11)得到兩點集的歐式距離。再利用munkres算法，求解匹配結(jié)果。匹 配矩陣為：assi即=[1，2,3,4,5,6,7]τ。
[0121] 步驟Ξ:利用高斯最小二乘微分校正算法對受油口相對相機的平移矩陣和旋轉(zhuǎn)矩 陣進行求解
[0122] 要得到圖像坐標(biāo)與攝像機坐標(biāo)系的關(guān)系，首先需要知道相機參數(shù)，根據(jù)選用的相 機型號，公式16中的相機內(nèi)參矩陣夫
[0123] 從公式（17)可W看出，對受油口位姿進行精確測量，實際上就是求解公式中的R和 Τ矩陣，設(shè)圖像序列在k時刻檢測、標(biāo)記的特征點j的坐標(biāo)是山vj UT，參數(shù)矩陣R和Τ為未知 向量X(k)的估計值ΧΟΗ的函數(shù)，利用克作)將第j個坐標(biāo)點投影到成像平面，記作 咳；^ 利用公式（15)-(20),設(shè)置迭代最小偏差為IX 10-5,最大迭代次數(shù)為50,迭代 求解出受油口位姿。求解出該帖的位移矩陣為
利用計算得到的位姿關(guān)系，對7個標(biāo)志點進行重投影，與Pi矩陣做差，得到重投影誤差為 0.07。
[0124] 接下來對連續(xù)圖像序列中的多幅圖像進行位姿求解，求解出的Ξ個姿態(tài)角變化曲 線見附圖5(a)、圖5(b)和圖5(c)所示，Ξ個方向的位移見附圖6(a)、圖6(b)和圖6(c)所示， 根據(jù)解算的結(jié)果通過重投影反解回標(biāo)志點得到的中屯、點象素與步驟一得到的象素做差，可 計算得到重投影誤差，誤差曲線見附圖7。通過試驗結(jié)果可W發(fā)現(xiàn)，本發(fā)明能夠?qū)τ彩娇罩?加油模擬受油口的位姿進行精確測量。
【主權(quán)項】
1. 一種面向硬式空中加油的視覺測量方法，其特征在于，該方法的步驟如下： 步驟一:基于發(fā)光二極管LED的受油口目標(biāo)識別 在視覺測量時，需要對受油口進行識別，在受油口附近設(shè)置7個紅色LED光標(biāo)記點，利用 計算機視覺實現(xiàn)對光標(biāo)記點的檢測識別； 1.1將圖像序列進行彩色空間RGB到色相、飽和度和明度HSV化處理： 通過相機獲取光標(biāo)記點的位圖像，將光標(biāo)記點設(shè)置成紅色，利用這個顏色特征信息進 行點提取;首先，將相機采集到的RGB圖像變換到HSV空間；對于Η、S、V三個通道的圖像，選取 其中光標(biāo)記點最明顯的S通道圖像進行中值濾波，并由給定閾值進行分割，得到二值化圖 像;該二值化圖像存在噪聲，用腐蝕、膨脹的形態(tài)處理，將該噪聲去掉，檢測到光斑區(qū)域，但 光斑的數(shù)目及光斑中心點的坐標(biāo)位置需要精確求解;根據(jù)均值平移mean shift的聚類思 想，采用mean shift聚類算法求解這些光標(biāo)記點的圖像坐標(biāo)，為最后受油口與相機相對位 置測量做準(zhǔn)備； 色調(diào)Η表示顏色的色相，用角度來度量，取值范圍為0°~360°，從紅色才是按逆時針方 向計算，紅色為0°，綠色為120°，藍色為240° ;飽和度S表示顏色的純度，其取值范圍為0.0~ 1. 〇;亮度V表示顏色的亮度，取值范圍為0.0黑色~1.0白色，圓錐的頂面對應(yīng)于V= 1，代表 的顏色最亮;令max為R、G、B三個分量的最大值，min為三個分量的最小值，r、g、b分別表示三 個分量的值，RGB到HSV的變換的數(shù)學(xué)公式如下所示：1.2對顏色空間變換后的圖像分別在H、S、V通道進行閾值分割： 由于檢測對象是受油口附近紅色光標(biāo)記點，通過RGB顏色空間到HSV空間的變換得到三 個通道H、S、V通道圖像，其中S通道光標(biāo)記點最為明顯，選擇S通道的圖像進行特定閾值分 害J，即檢測到目標(biāo)光斑;分割得到的二值圖存在噪聲點，通過中值濾波及形態(tài)學(xué)的腐蝕膨脹 算子進行處理； 1.3光標(biāo)記點中心定位： 在經(jīng)過以上操作之后，能夠獲取LED標(biāo)志點在圖像中的區(qū)域，在這一基礎(chǔ)上，還需要確 定每個區(qū)域的中心位置，也就是確定光標(biāo)記點的中心；不同于背景像素有很多相似塊區(qū)域 分布在圖像各處，顯著點往往是聚集在一起;所以認為像素塊口:和與其相似的塊距離都很 近，則？1是顯著的，當(dāng)相似塊都分布在較遠區(qū)域，則 ?1的顯著性不高；因此用cUmc^PuPj) 來度量像素塊pdPw之間的距離，即：式中，(^。^也心^^是像素塊口雨像素塊仍之間的距離^^&^和聲^^^表示分 別是像素塊Pi和像素塊Pj的圖像坐標(biāo)； 結(jié)合上面兩個特征，對于兩個像素塊，采用一個相異度計算方法：式中c為系數(shù)，dpositiorXpi，Pj )含義與上式相同，cUlor (Pi，Pj )表示像素塊Pi和像素塊Pj在 顏色空間上的距離； 在計算像素塊Pl的顯著程度時，選擇K個與它最相似的像素塊作為參考集，如 果它與參考集的差異度很大，則認為它與圖像其他像素塊的相異度都很大；因此定義顯著 性式中r為尺度； 1.31多尺度顯著度增強 由于背景像素塊在多尺度上有很多相似的塊，而顯著像素塊只在幾個尺度上有類似的 塊，故引入多尺度方法來加強顯著區(qū)域與非顯著區(qū)域的對比度；因此修正如下：其中rme {R|R={ri，r2. . .γμ}}，rm為尺度，Μ為尺度的數(shù)目； 得出像素口:的顯著度為它在不同尺度上的均值：1.32區(qū)域顯著值修正 根據(jù)三分法的特性，認為在全局視角上，像素離交點的距離越近，它的顯著度越高，所 以顯著度公式修正為其中df _ (i)表示像素塊?1離交點的距離； 因此能找到顯著度最大的像素塊，取其中心作為光標(biāo)記點中心； 步驟二:LED標(biāo)志點中心點匹配 將塊擬合之后的點與標(biāo)志點的世界坐標(biāo)進行擬合，計算每個提到的點的圖像坐標(biāo)與所 有標(biāo)志點的世界坐標(biāo)轉(zhuǎn)換成圖像坐標(biāo)之后的圖像坐標(biāo)之間的歐式距離，與哪個標(biāo)志點最 近，就認為提到的某點為該標(biāo)志點，從而賦予其世界坐標(biāo)進行后面的計算； 特征點匹配即匹配標(biāo)記連續(xù)幀圖像對應(yīng)特征點的位置；因為已經(jīng)給出了光標(biāo)記點匕在 圖像上的投影方程，假定從攝像機采集圖像提取特征點得到的檢測點集為 中P』=(UhU)是圖像坐標(biāo)，而投影點集為同時設(shè)對應(yīng)的投影點集為 …兔j，其中為:= (?·},為)是利用針孔投影成像模型計算得到的在像素坐標(biāo)系中 的坐標(biāo)； 當(dāng)檢測特征點與投影特征點匹配上時，兩個點集的歐式距離最小;檢測點集{Pl，p2，··· pn}和投影點免?/?,丨之間的歐式距離矩陣Err如下，其矩陣的維數(shù)為m Xη;點集間對應(yīng)點的匹配問題用數(shù)學(xué)指派問題來描述，描述為： 假設(shè)有兩個點集A，Β，Slk表示集合Α中的點i與集合Β中的點k之間的歐式距離，求解兩個 點集的最小歐式距離，即表示為如下公式：S = {sij | sij = dist(ai,bj) ,aieA,bj eB, i = 1···Ν, j = 1···Μ} (12) Sik、Sij和dist(ai,bj)表示點之間的歐氏距離，Xik為示性函數(shù)，當(dāng)點匹配上時值為1，否 則為〇; 求解上述最小歐式距離的解，利用匈牙利算法Hungarian，限于求解方陣即點數(shù)相同的 兩個點集，以及改進算法Munkres，求解非方陣，即兩個點數(shù)不一樣多的點集； 步驟三:利用高斯最小二乘微分校正算法對受油口相對相機的平移矩陣和旋轉(zhuǎn)矩陣進 行求解 3.1相機成像模型及各個坐標(biāo)系定義說明： 針對硬管式空中加油問題，假定相機放置在加油機機身尾部下方伸縮管附近某一特定 位置，并事先已標(biāo)定好;為了獲取受油機相對加油機的位置和姿態(tài)信息，在受油口附近設(shè)置 多個光標(biāo)記點，用于對受油機機背上受油口的識別和定位，并由事先標(biāo)定好的光標(biāo)記點的 相對幾何位置關(guān)系及攝像機成像系統(tǒng)模型來求解上述位置和姿態(tài)信息； 基于視覺的導(dǎo)航系統(tǒng)為加油機和受油機的引導(dǎo)控制系統(tǒng)提供受油機相對加油機的位 置和姿態(tài)信息，對這些信息的求解首先需要定義加油機機體坐標(biāo)系、受油機機體坐標(biāo)系、攝 像機成像系統(tǒng)坐標(biāo)系，及受油機坐標(biāo)系，通過各個坐標(biāo)系之間的關(guān)系來描述其相對幾何位 姿關(guān)系;各個坐標(biāo)系的定義如下： Obi-xbiybizbi:受油機機體坐標(biāo)系； Obl_Xb2yb2Zb2 :加油機機體坐標(biāo)系； Oc-Xc^Z。:安裝在加油機上的攝像機成像坐標(biāo)系； Od-xdydZd:受油口坐標(biāo)系； Oe-xeyeze:大地坐標(biāo)系； 視覺測量的功能就是求解受油機上的受油口坐標(biāo)系Od-xdydZd的中心Od到加油機伸縮管 附近攝像機坐標(biāo)系中心0。的距離dD，最后轉(zhuǎn)換為受油機和加油機質(zhì)心間的相對距離和姿態(tài)； 加油機上的相機成像原理采用針孔攝像機數(shù)學(xué)模型來描述;為了從代數(shù)上描述上述幾 何投影關(guān)系，需要建立攝像機坐標(biāo)系和圖像平面坐標(biāo)系； 設(shè)攝像機坐標(biāo)表示為〇c-Xcyczc，攝像機的焦距為f;空間點P c在攝像機坐標(biāo)系中的歐氏 坐標(biāo)記為(Mc^z。），它的像點p在圖像坐標(biāo)系中的坐標(biāo)記為(x，y)，根據(jù)三角關(guān)系，得到下 述關(guān)系：上式表述為：圖像物理坐標(biāo)系以攝像機光軸與像平面的交點為原點，以毫米為單位;假設(shè)每一個像 素在X軸與y軸方向的物理尺寸為dx.dy，圖像物理坐標(biāo)系原點在圖像坐標(biāo)系中坐標(biāo)為(u〇， vo)，則在圖像坐標(biāo)系上的點(u，v)與圖像物理坐標(biāo)系中對應(yīng)點(X，y)的轉(zhuǎn)換關(guān)系表示為：為了使用方便，用齊次坐標(biāo)與矩形形式來表示：而攝像機坐標(biāo)(^。，2。）同受油口坐標(biāo)(^，7<!，2(1)的坐標(biāo)轉(zhuǎn)換是兩個三維坐標(biāo)系之間 的變換，用一個旋轉(zhuǎn)矩陣R與一個位移矩陣t來描述，轉(zhuǎn)換關(guān)系的數(shù)學(xué)表達式如下：3.2基于高斯最小二乘微分校正算法的位姿測量 高斯最小二乘微分校正算法將高斯-牛頓法應(yīng)用于表示估計點與檢測點之間偏差非線 性代價函數(shù)的最小化上； 設(shè)圖像序列在k時刻檢測、標(biāo)記的特征點j的坐標(biāo)是[uj Vj 1]τ，旋轉(zhuǎn)矩陣R和位移矩陣t 均為未知向量X(k)的估計值叉沐)的函數(shù)，利用無沃)將第j個坐標(biāo)點投影到成像平面，記作 [W,巧1]%重新安排特征點坐標(biāo)，得到：式1111 =[及外y，I.乂，^ 前三個參數(shù)分別是偏航角、俯仰角、滾轉(zhuǎn)角，后三個參數(shù)為 相對位移在X，y，z方向上的投影； k時刻處理算法提取達到的像素點集記為G〇(k)，視覺估計誤差A(yù)G(k)定義為：G〇(k) = [Ul，Vl，......Vm] (17) 高斯最小二乘微分校正算法迭代更新，迭代公式為：其中，i為迭代次數(shù)，W(k)為控制矩陣，礦⑷為心⑴的逆，的轉(zhuǎn)置^(k) 和Ai(k)定義如下：為偏導(dǎo)數(shù)符號； 迭代過程結(jié)束后，即估計點和檢測點的位置偏差充分小時，得出估計值 最優(yōu)解，即解算出旋轉(zhuǎn)矩陣r和位移矩陣t，從而估計出飛機的位 姿。
【文檔編號】G06T7/00GK105825505SQ201610143150
【公開日】2016年8月3日
【申請日】2016年3月14日
【發(fā)明人】段海濱, 張聰, 李聰
【申請人】北京航空航天大學(xué)