本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，更進(jìn)一步涉及遙感圖像融合技術(shù)領(lǐng)域中的一種基于稀疏張量和多視圖特征的遙感圖像融合方法。本發(fā)明用于融合同一個(gè)傳感器獲得的關(guān)于同一個(gè)場(chǎng)景的多光譜圖像和全色圖像融合，在保持多光譜圖像光譜信息的同時(shí)提高圖像的空間分辨率，可應(yīng)用于地形測(cè)繪與地圖更新、地物分類、遙感監(jiān)測(cè)和森林資源調(diào)查、軍事偵察等領(lǐng)域。

背景技術(shù)：

目前，現(xiàn)有的遙感圖像融合方法最具代表性的是基于模型類的融合方法。該方法結(jié)合了稀疏表示理論使得融合后的圖像取得了更高的空間分辨率，它的優(yōu)點(diǎn)在于實(shí)現(xiàn)簡(jiǎn)單、速度快。但是存在的缺點(diǎn)是缺少了對(duì)于多光譜圖像的譜間信息的考慮，同時(shí)只是基于圖像灰度信息的處理視角過(guò)于單一，使得融合后的多光譜圖像產(chǎn)生了光譜扭曲。

jiangc,zhangh,shenh,etal在其發(fā)表的論文“two-stepsparsecodingforthepan-sharpeningofremotesensingimages”(《selectedtopicsinappliedearthobservationsandremotesensing》ieeejournalof,2014,7(5):1792-1805)中提出了一種兩步稀疏編碼的遙感圖像融合方法。該方法的步驟是，第一步稀疏編碼過(guò)程是低分辨多光譜圖像的圖像塊由對(duì)應(yīng)位置的低分辨全色圖像塊線性表示。第二步稀疏編碼是通過(guò)低分辨字典來(lái)稀疏表示殘差。兩步稀疏編碼結(jié)束后，得到融合后的多光譜圖像。該方法存在的不足之處是，由于該方法將多光譜圖像分波段融合，沒(méi)能充分考慮對(duì)波段間的信息充分利用，使得融合結(jié)果產(chǎn)生了色彩失真。

上海交通大學(xué)在其擁有專利技術(shù)“一種基于稀疏表示的遙感圖像融合方法”(申請(qǐng)日：2013年03月29日，申請(qǐng)?zhí)枺?01310108594.3，公開(kāi)號(hào)：103208102b)中公開(kāi)了一種基于稀疏表示的遙感圖像融合方法。首先建立多光譜圖像與其亮度分量之間的線性回歸模型；其次利用訓(xùn)練的高、低分辨率字典分別對(duì)全色圖像和多光譜圖像進(jìn)行稀疏表示，并根據(jù)線性回歸模型獲得多光譜圖像亮度分量稀疏表示系數(shù)；然后根據(jù)全色圖像和亮度分量的稀疏表示系數(shù)提取細(xì)節(jié)成分，并在通用分量替換融合框架下注入到多光譜圖像各波段的稀疏表示系數(shù)中；最后進(jìn)行圖像復(fù)原得到高空間分辨率的多光譜圖像。該方法存在的不足是，從單一視圖對(duì)多光譜和全色圖像進(jìn)行考慮，使得融合后的圖像的空間分辨率受到制約；其次，該方法沒(méi)有考慮到多光譜的譜間關(guān)系，導(dǎo)致最終的融合圖像的光譜有扭曲。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的是針對(duì)上述現(xiàn)有技術(shù)的不足，提出一種基于稀疏張量和多視圖特征的遙感圖像融合方法。

本發(fā)明的思路是，本發(fā)明根據(jù)待融合圖像的灰度特征、紋理特征、邊緣特征構(gòu)成圖像的多視圖特征，基于非采樣輪廓變換的框架對(duì)低通系數(shù)進(jìn)行融合，計(jì)算多視圖特征塊的特征接近度并構(gòu)成多模字典，在多模字典下對(duì)帶通系數(shù)融合，經(jīng)過(guò)逆變換后得到高分辨的多光譜圖像。由于利用了低分辨多光譜圖像多視圖特征矩陣和全色圖像多視圖特征矩陣和張量基追蹤方法對(duì)融合后圖像空譜信息進(jìn)行增強(qiáng)，提高了融合圖像的清晰度并光譜扭曲，克服了現(xiàn)有圖像融合技術(shù)處理視角過(guò)于單一和欠缺對(duì)于多光譜圖像譜間關(guān)系考慮的缺點(diǎn)。

為實(shí)現(xiàn)上述目的，本發(fā)明包括如下步驟：

(1)輸入待融合圖像：

分別輸入待融合的低分辨多光譜圖像和全色圖像；

(2)提取低通和帶通系數(shù)：

(2a)從低分辨多光譜圖像中提取低分辨多光譜主成分低通系數(shù)和低分辨多光譜主成分帶通系數(shù)；

(2b)利用非采樣輪廓波變換方法，對(duì)全色圖像進(jìn)行分解，得到全色圖像低通系數(shù)和全色圖像帶通系數(shù)；

(3)提取邊緣特征：

(3a)利用一二階梯度算子和拉普拉斯算子，對(duì)低分辨多光譜主成分進(jìn)行梯度變換，得到低分辨多光譜主成分邊緣特征；

(3b)利用一二階梯度算子和拉普拉斯算子，對(duì)全色圖像進(jìn)行梯度變換，得到全色圖像邊緣特征；

(4)獲得多視圖特征矩陣：

(4a)將低分辨多光譜主成分、低分辨多光譜主成分帶通系數(shù)、低分辨多光譜邊緣特征按第三維方向依次排列，組成低分辨多光譜多視圖特征矩陣；

(4b)將全色圖像、全色圖像帶通系數(shù)、全色圖像邊緣特征按第三維方向依次排列，組成全色圖像多視圖特征矩陣；

(5)獲得多視圖特征小塊：

(5a)利用列向量化方法，對(duì)低分辨多光譜多視圖特征矩陣進(jìn)行列向量化，得到低分辨多光譜多視圖特征小塊；

(5b)利用列向量化方法，對(duì)全色圖像多視圖特征矩陣進(jìn)行列向量化，得到全色圖像多視圖特征小塊；

(6)獲得特征接近度：

(6a)按照?qǐng)D像塊的排列順序，依次選取低分辨多光譜多視圖特征小塊中的一個(gè)小塊；

(6b)按照下式，計(jì)算所選的低分辨多光譜多視圖特征小塊與全部的全色圖像多視圖特征小塊的特征接近度：

其中，fij表示第i個(gè)多光譜多視圖特征小塊與第j個(gè)全色圖像多視圖特征小塊的特征接近度，min表示取最小值操作，max表示取最大值操作，var表示協(xié)方差操作，t表示多光譜多視圖特征小塊和全色圖像多視圖特征小塊按第二維度方向組合得到的矩陣；

(6c)判斷是否選完所有的圖像塊，若是，則執(zhí)行步驟(7)，否則，執(zhí)行步驟(6a)

(7)獲得因子矩陣：

利用索引映射法，將特征接近度映射與其對(duì)應(yīng)的全色圖像，獲得因子矩陣；

(8)將低分辨多光譜帶通系數(shù)按照第三維方向組合，得到低分辨多光譜帶通系數(shù)張量塊；

(9)將全色圖像帶通系數(shù)按照第三維方向組合，得到全色圖像帶通系數(shù)張量塊；

(10)獲得多模字典：

利用張量模展開(kāi)方法，對(duì)低分辨多光譜帶通系數(shù)進(jìn)行模方向展開(kāi)，獲得多模字典；

(11)獲得稀疏系數(shù)：

(11a)使用張量基追蹤方法，獲得低分辨多光譜帶通系數(shù)在多模字典下的多光譜稀疏系數(shù)；

(11b)使用張量基追蹤方法，獲得全色圖像帶通系數(shù)在多模字典下的全色稀疏系數(shù)；

(12)獲得融合后的帶通系數(shù)：

將多光譜稀疏系數(shù)與全色稀疏系數(shù)相加，得到融合后的帶通系數(shù)；

(13)獲得融合后的多光譜圖像主成分：

利用非采樣的輪廓波變換的逆變換，將融合后的帶通系數(shù)與低分辨多光譜低通系數(shù)逆變換，得到融合后的多光譜圖像主成分；

(14)獲得融合后的多光譜圖像：

利用主成分分析逆變換方法將，將融合后的多光譜圖像主成分逆變換，得到融合后的多光譜圖像。

與現(xiàn)有的技術(shù)相比本發(fā)明具有以下優(yōu)點(diǎn)：

第一，本發(fā)明能夠根據(jù)低分辨多光譜圖像多視圖特征矩陣和全色圖像多視圖特征矩陣，對(duì)低分辨多光譜圖像和全色圖像進(jìn)行融合，克服了現(xiàn)有技術(shù)存在的只是基于圖像灰度信息的處理視角過(guò)于單一的問(wèn)題，使得本發(fā)明在融合過(guò)程中增強(qiáng)了對(duì)空間信息的捕捉能力，融合結(jié)果具有更高的空間分辨率。

第二，本發(fā)明利用張量基追蹤方法，對(duì)低分辨多光譜圖像的帶通系數(shù)進(jìn)行重構(gòu)，克服了現(xiàn)有技術(shù)中欠缺對(duì)于多光譜圖像的譜間關(guān)系的考慮，使得本發(fā)明能夠顯著的改善融合結(jié)果的光譜扭曲現(xiàn)象。

附圖說(shuō)明

圖1為本發(fā)明的流程圖；

圖2為本發(fā)明的仿真圖。

具體實(shí)施方式

下面結(jié)合附圖對(duì)本發(fā)明作進(jìn)一步的描述。

參考附圖1，對(duì)本發(fā)明實(shí)現(xiàn)的步驟作進(jìn)一步的詳細(xì)描述。

步驟1，輸入待融合圖像。

分別輸入待融合的低分辨多光譜圖像m和全色圖像p。

本發(fā)明的實(shí)施例中，輸入的低分辨多光譜圖像大小為64×64×4，分辨率為2m；高分辨率的全色圖像大小為256×256，分辨率為0.5m。

步驟2，提取低分辨多光譜主成分c1的低通系數(shù)lm與帶通系數(shù)hm。

第一步，利用主成分分析方法，對(duì)低分辨多光譜圖像進(jìn)行主成分分析，得到低分辨多光譜的主成分c1，c1的大小為256×256。

第二步，利用非采樣輪廓波變換方法，對(duì)低分辨多光譜主成分c1進(jìn)行分解，得到低分辨多光譜主成分低通系數(shù)lm和低分辨多光譜主成分帶通系數(shù)hm。

本發(fā)明的實(shí)施例在非采樣輪廓波變換中，使用的金字塔濾波器類型為“9-7”，方向?yàn)V波器組類型為“pkva”，低分辨多光譜主成分低通系數(shù)lm大小為256×256，低分辨多光譜主成分帶通系數(shù)hm大小為256×256×4。

步驟3，提取全色圖像p的低通系數(shù)lp和帶通系數(shù)hp。

利用輪廓波變換方法，對(duì)全色圖像進(jìn)行分解，得到全色圖像的低通系數(shù)lp和全色圖像帶通系數(shù)hp。

本發(fā)明的實(shí)施例中，全色圖像低通系數(shù)lp大小為256×256，全色圖像帶通系數(shù)hp大小為256×256×4。

步驟4，提取待融合圖像邊緣特征fp。

第一步，利用一二階梯度算子，經(jīng)過(guò)梯度變換，得到主成分c1的水平方向一階梯度f(wàn)1、垂直方向上一階梯度f(wàn)2、水平方向二階梯度f(wàn)3、垂直方向二階梯度f(wàn)4。

第二步，將主成分c1的水平方向一階梯度f(wàn)1、垂直方向上一階梯度f(wàn)2、水平方向二階梯度f(wàn)3、垂直方向二階梯度f(wàn)4按第三維的方向組合得到低分辨多光譜主成分邊緣特征fm。

第三步，利用一二階梯度算子，經(jīng)過(guò)梯度變換，得到全色圖像p的水平方向一階梯度f(wàn)5、垂直方向一階梯度f(wàn)6、水平方向二階梯度f(wàn)7、垂直方向上二階梯度f(wàn)8；

第四步，將全色圖像p的水平方向一階梯度f(wàn)5、垂直方向一階梯度f(wàn)6、水平方向二階梯度f(wàn)7、垂直方向上二階梯度f(wàn)8按第三維的方向組合得到全色圖像邊緣信息fp。

步驟5，獲得低分辨多光譜的多視圖特征矩陣bm。

將低分辨多光譜主成分c1、低分辨多光譜主成分帶通系數(shù)hm、低分辨多光譜邊緣特征fm按第三維方向組合排列，得到低分辨多光譜多視圖特征矩陣bm。

步驟6，獲得全色圖像多視圖特征矩陣bp。

將全色圖像p、全色圖像帶通系數(shù)hp、全色圖像邊緣特征fp按第三維方向組合排列，組成低分辨多光譜多視圖特征矩陣bp。

步驟7，獲得低分辨多光譜多視圖特征小塊nm。

利用列向量化方法，對(duì)低分辨多光譜多視圖特征矩陣bm進(jìn)行列向量化，得到低分辨多光譜多視圖特征小塊nm。

步驟8，獲得全色圖像多視圖特征小塊np。

利用列向量化方法，對(duì)全色圖像多視圖特征矩陣bp進(jìn)行列向量化，得到全色圖像多視圖特征小塊np。

步驟9，獲得特征接近度。

第一步，按照?qǐng)D像塊的排列順序，依次選取低分辨多光譜多視圖特征小塊nm的一個(gè)小塊。

第二步，按照下式，計(jì)算所選的低分辨多光譜多視圖特征小塊與全部的全色圖像多視圖特征小塊的特征接近度：

其中，fij表示第i個(gè)多光譜多視圖特征小塊與第j個(gè)全色圖像多視圖特征小塊的特征接近度，min表示取最小值操作，max表示取最大值操作，var表示協(xié)方差操作，t表示多光譜多視圖特征小塊和全色圖像多視圖特征小塊按第二維度方向組合得到的矩陣。

第三步，判斷是否選完所有的圖像塊，若是，則執(zhí)行步驟10，否則，執(zhí)行步驟9的第一步。

步驟10，獲得因子矩陣d1。

第一步，利用列向量化方法，對(duì)全色圖像進(jìn)行列向量化，得到全色圖像列向量。

第二步，對(duì)所有的特征接近度由高到低排序，保留前200個(gè)特征接近度的索引。

第三步，將特征接近度的索引映射到全色圖像列向量。

第四步，在全色圖像列向量中，選取前200個(gè)特征接近度索引對(duì)應(yīng)的全色圖像列向量。

第五步，將全色圖像列向量組合成矩陣，得到因子矩陣d1。

步驟11，將低分辨多光譜帶通系數(shù)hm按照第三維方向組合，得到低分辨多光譜帶通系數(shù)張量塊e1。

步驟12，將全色圖像帶通系數(shù)hp按照第三維方向組合，得到全色圖像帶通系數(shù)張量塊e2。

步驟13，獲得多模字典dn。

第一步，將低分辨多光譜帶通系數(shù)張量塊e1按照模2方向展開(kāi)，得到低分辨多光譜模2矩陣d2；

第二步，將低分辨多光譜帶通系數(shù)張量塊e1張量塊按照模3方向展開(kāi)，得到低分辨多光譜模3矩陣d3；

第三步，將因子矩陣d1、低分辨多光譜模2矩陣d2、低分辨多光譜模3矩陣d3組合得到多模字典dn。

步驟14，使用張量基追蹤方法，獲得低分辨多光譜帶通系數(shù)張量塊e1在多模字典dn下的多光譜稀疏系數(shù)a1。

所述張量基追蹤公式如下：

其中，min表示取最小值操作，a表示待求解的稀疏系數(shù)，m表示帶通系數(shù)，d表示多模字典，ε表示重構(gòu)誤差，s.t表示限制條件的符號(hào)，||·||1表示一范數(shù)操作，表示二范數(shù)平方操作。

步驟15，使用張量基追蹤方法，獲得全色圖像帶通系數(shù)張量塊e2在多模字典dn下的全色稀疏系數(shù)a2。

所述張量基追蹤公式如下：

其中，min表示取最小值操作，a表示待求解的稀疏系數(shù)，m表示帶通系數(shù)，d表示多模字典，ε表示重構(gòu)誤差，s.t表示限制條件的符號(hào)，||·||1表示一范數(shù)操作，表示二范數(shù)平方操作。

步驟16，獲得融合后的帶通系數(shù)an。

將多光譜稀疏系數(shù)a1與全色稀疏系數(shù)a2相加，得到融合后的帶通系數(shù)an＝a1+a2。

步驟17，獲得融合后的多光譜圖像主成分c2。

利用非采樣的輪廓波變換的逆變換，將融合后的帶通系數(shù)hn與低分辨多光譜低通系數(shù)lm逆變換，得到融合后的多光譜圖像主成分c2。

步驟18，獲得融合后的多光譜圖像。

利用主成分分析逆變換方法將，將融合后的多光譜圖像主成分c2逆變換，得到融合后的多光譜圖像。

下面結(jié)合附圖2對(duì)本發(fā)明的仿真效果做進(jìn)一步說(shuō)明。

1.仿真條件：

本發(fā)明的仿真所使用待融合的圖像由geoeye數(shù)據(jù)集提供，包括2.0m空間分辨率的低分辨多光譜圖像和0.5m空間分辨率的高分辨全色圖像。低分辨多光譜圖像具有四個(gè)光譜帶：藍(lán)色(b)，綠色(g)，紅色(r)和近紅外(nir)。

仿真環(huán)境：matlabr2014aonpcwithintel(r)core(tm)/2.50g/2.5g。

2.仿真結(jié)果與分析：

圖2(a)是本發(fā)明仿真實(shí)驗(yàn)中輸入的待融合低分辨的多光譜圖像，圖2(b)是本發(fā)明仿真實(shí)驗(yàn)中輸入的待融合高分辨的全色圖像，圖2(c)是高分辨多光譜圖像，作為本發(fā)明仿真實(shí)驗(yàn)中的參考圖像，圖2(d)是采用本發(fā)明對(duì)圖2(a)和圖2(b)融合后獲得的高分辨多光譜圖像。

由圖2(d)與圖2(a)的比較可見(jiàn)，圖2(a)的圖像細(xì)節(jié)不清晰，如圖像的道路的邊緣模糊，圖像中的白色小塊不清楚，而圖2(d)在空間分辨率、光譜信息、視覺(jué)效果上明顯優(yōu)于圖2(a)，且更加接近于圖2(c)的視覺(jué)效果，圖2(d)中道路輪廓更加清晰，白色小塊的空間分辨率和光譜分辨率有明顯提升。

本發(fā)明則很好地利用了附圖2(a)和附圖2(b)中待融合圖像自身的多視圖特征，對(duì)融合后圖像的空間分辨率進(jìn)行增強(qiáng)。此外，對(duì)多光譜圖像譜間關(guān)系的考慮，使得本發(fā)明顯著的改善了融合結(jié)果的光譜扭曲現(xiàn)象。

綜上所述，可以看出本發(fā)明能夠很好的提升待融合圖像的空間信息和光譜信息，克服了現(xiàn)有圖像融合技術(shù)中視圖單一、缺少對(duì)圖像譜間信息考慮的缺點(diǎn)。