本發(fā)明屬于圖像融合技術(shù)領(lǐng)域，尤其涉及一種基于聯(lián)合稀疏模型的圖像融合方法。

背景技術(shù)：

隨著傳感器技術(shù)的飛速發(fā)展，傳感器的靈敏度及分辨率等諸多性能得到大幅度提升。較單傳感器而言，多傳感器獲取的數(shù)據(jù)信息更具可靠性、互補(bǔ)性和冗余性。因此，多傳感器圖像融合成為圖像理解和計(jì)算機(jī)視覺領(lǐng)域中一項(xiàng)備受關(guān)注的新興技術(shù)。目前，圖像融合技術(shù)已廣泛應(yīng)用于軍事偵察、遙感、社會(huì)安全和醫(yī)療診斷等重要領(lǐng)域。作為數(shù)字圖像融合一個(gè)非常重要的組成部分，紅外圖像和可見光圖像的融合技術(shù)得到國(guó)內(nèi)外學(xué)者的重視，是數(shù)字圖像融合的重要研究領(lǐng)域。通?？梢姽鈭D像利用場(chǎng)景中的目標(biāo)反射成像，成像輪廓清晰，背景自然逼真，但當(dāng)光線弱或有遮擋時(shí)，目標(biāo)信息往往不容易被觀察到。而紅外圖像是對(duì)場(chǎng)景實(shí)現(xiàn)熱輻射成像，其不受光照條件影響，通常包含了可見光圖像捕捉不到的重要目標(biāo)信息，但它分辨率較低，辨識(shí)困難。將可見光和紅外圖像融合可以充分利用兩種傳感器的優(yōu)點(diǎn)，得到背景和目標(biāo)都清晰的圖像，彌補(bǔ)單傳感器圖像的不足。多傳感器圖像融合可分為像素級(jí)融合、特征級(jí)融合和決策級(jí)融合。其中，像素級(jí)圖像融合方法因具有較高的保真度而獲得廣泛應(yīng)用。但是隨著傳感器技術(shù)的發(fā)展，圖像的尺寸越來越大，從而在存儲(chǔ)和計(jì)算方面給像素級(jí)融合帶來了極大挑戰(zhàn)，圖像尺寸大影響融合算法的存儲(chǔ)和計(jì)算速度。

綜上所述，現(xiàn)有的多傳感器圖像融合存在圖像尺寸大導(dǎo)致融合的存儲(chǔ)和計(jì)算速度低。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的在于提供一種基于聯(lián)合稀疏模型的圖像融合方法，旨在解決現(xiàn)有的多傳感器圖像融合存在圖像尺寸大導(dǎo)致融合的存儲(chǔ)和計(jì)算速度低的問題。

本發(fā)明是這樣實(shí)現(xiàn)的，一種基于聯(lián)合稀疏模型的圖像融合方法，所述基于聯(lián)合稀疏模型的圖像融合方法包括以下步驟：

步驟一，使用已學(xué)習(xí)的過完備字典將源圖像聯(lián)合稀疏表示成共同稀疏部分和各自的私有稀疏部分；

步驟二，對(duì)得到的兩類稀疏系數(shù)使用所設(shè)計(jì)的融合規(guī)則，獲得融合后的稀疏系數(shù)；

步驟三，使用融合后的稀疏系數(shù)和字典重建圖像。

進(jìn)一步，所述聯(lián)合稀疏表示的字典D∈R^Jm×(J+1)n表示為：

其中J表示傳感器的數(shù)量，圖像的維度為m×n。冗余字典D_c∈R^m×n和D_j∈R^m×n分別是信號(hào)公共部分和專有部分的稀疏表示字典。

轉(zhuǎn)化為下式求解稀疏表示系數(shù)：

進(jìn)一步，所述融合規(guī)則為：

其中，τ₁＝1/(1+exp{-β(||m_A||₂-||m_B||₂)}),(β＞0)，

m_A,m_B分別表示源圖像每塊的均值；源圖像x_A和x_B分別減去m_A和m_B得到和分別為稀疏表示系數(shù)矩陣S^C和的第i列，為融合圖像的稀疏系數(shù)矩陣s_F的第i列；K是圖像塊的總個(gè)數(shù)。

進(jìn)一步，所述基于聯(lián)合稀疏模型的圖像融合方法具體步驟如下：

1)圖像融合是對(duì)兩幅已經(jīng)配準(zhǔn)的灰度源進(jìn)行融合，將滑窗技術(shù)作用于源圖像X_A,X_B上，使兩幅圖像分別變成為大小為的圖像塊，然后將劃分好的圖像塊變成n維列向量形式；

2)對(duì)源圖像j(j＝A,B)的i圖像塊首先減去它們的均值得到減去均值后的圖像塊然后通過求解式得到一個(gè)共同稀疏系數(shù)和兩個(gè)不同稀疏系數(shù)

3)根據(jù)融合規(guī)則，將所獲得的稀疏系數(shù)帶入到式得到融合后的系數(shù)

4)通過得到融合后的圖像X_F的i圖像塊

5)使用變換方法將獲得的變成大小為的圖像塊；通過加權(quán)平均處理得到融合圖像X_F。

本發(fā)明提供的基于聯(lián)合稀疏模型的圖像融合方法，首先使用已學(xué)習(xí)的過完備字典將源圖像聯(lián)合稀疏表示成共同稀疏部分和各自的私有稀疏部分。然后對(duì)得到的兩類稀疏系數(shù)使用所設(shè)計(jì)的融合規(guī)則，獲得融合后的稀疏系數(shù)。最后使用融合后的稀疏系數(shù)和字典重建圖像。仿真實(shí)驗(yàn)結(jié)果表明，本發(fā)明提高了紅外與可見光圖像的融合效果。

附圖說明

圖1是本發(fā)明實(shí)施例提供的基于聯(lián)合稀疏模型的圖像融合方法流程圖。

圖2是本發(fā)明實(shí)施例提供的基于聯(lián)合稀疏模型的圖像融合算法流程圖。

圖3是本發(fā)明實(shí)施例提供的紅外與可見光源圖像示意圖。

圖4是本發(fā)明實(shí)施例提供的各算法作用在a1組圖像的融合結(jié)果圖；

圖中：(a)DWT的融合圖像；(b)DTCWT的融合圖像；(e)NSCT的融合圖像；(i)本發(fā)明的融合圖像。

具體實(shí)施方式

為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，以下結(jié)合實(shí)施例，對(duì)本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說明。應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。

下面結(jié)合附圖對(duì)本發(fā)明的應(yīng)用原理作詳細(xì)的描述。

如圖1所示，本發(fā)明實(shí)施例提供的基于聯(lián)合稀疏模型的圖像融合方法包括以下步驟：

S101:使用已學(xué)習(xí)的過完備字典將源圖像聯(lián)合稀疏表示成共同稀疏部分和各自的私有稀疏部分；

S102:對(duì)得到的兩類稀疏系數(shù)使用所設(shè)計(jì)的融合規(guī)則，獲得融合后的稀疏系數(shù)；

S103:使用融合后的稀疏系數(shù)和字典重建圖像。

下面結(jié)合具體實(shí)施例對(duì)本發(fā)明的應(yīng)用原理作進(jìn)一步的描述。

1原理方法

1.1聯(lián)合稀疏模型

Baron D等人提出的基于聯(lián)合稀疏表示模型的分布式壓縮感知理論認(rèn)為，不同傳感器在同一地點(diǎn)接收到的信號(hào)可以由共同稀疏表示部分和專有稀疏表示部分組成，即：

x_j＝z_c+z_j,j∈{1,2,3,...,J} (1)

式(1)中，x_j表示第j個(gè)傳感器接收到的信號(hào)，z_c∈R^m是信號(hào)的專有部分。假設(shè)冗余字典D_c∈R^m×n和D_j∈R^m×n分別是信號(hào)公共部分和專有部分的稀疏表示字典，那么信號(hào)的公共部分和專有部分可以分別表示為：

z_c＝D_cα_c，z_j＝D_jα_j (2)

式(2)中，α_c∈Rⁿ是信號(hào)共有的稀疏系數(shù)，α_j∈Rⁿ是第j個(gè)信號(hào)的專有部分的稀疏系數(shù)。于是，將信號(hào)幾何的矩陣形式表示如下：

X＝DΛ (3)

式(3)中，是信號(hào)的集合，信號(hào)的稀疏系數(shù)為聯(lián)合稀疏表示的字典D∈R^Jm×(J+1)n可以表示為：

上式問題可以轉(zhuǎn)化為下式求解稀疏表示系數(shù)：

使用ROMP方法解決公式(5)的求解問題。ROMP算法的基本步驟如下：

輸入：觀測(cè)向量Y∈R^M，稀疏度K。

輸出：索引集I∈{1,2,…,d}，重構(gòu)出的K稀疏向量估計(jì)值Θ＝[θ₁,θ₂,…θ_N]^T。

初始化：殘差Q＝Y(jié)，索引集I＝Φ。

循環(huán)下列步驟L次(或者直到|I|＝2L為止)，這里L(fēng)取值等于稀疏度K。

(1)找出Θ＝Φ^TY中幅度最大的L個(gè)非零值，并將這L個(gè)角標(biāo)構(gòu)成集合J，若非零元素個(gè)素少于L，則僅將所有這些元素角標(biāo)構(gòu)成集合J。

(2)找出J的子集使得對(duì)于所有角標(biāo)i及j∈J₀，滿足|θ_i|＜2|θ_j|；然后在所有J₀中，選出能量最大(即最大)所對(duì)應(yīng)的那個(gè)子集。

(3)將上述選定的那個(gè)子集J₀加入到索引集中：I←I∪J₀，同時(shí)更新殘差Q：

Q＝Y(jié)-ΦΘ；

經(jīng)過L次迭代，就可以獲取Θ的估計(jì)值，通過X＝ΨΘ可重構(gòu)出原信號(hào)X。

1.2字典學(xué)習(xí)

目前主要有兩種方法構(gòu)造字典:分析變換方法和學(xué)習(xí)方法。使用K-SVD算法學(xué)習(xí)字典。釆用USC-SIPI圖像庫作為訓(xùn)練圖像集。

1.3融合規(guī)則

紅外與可見光圖像融合方法的核心和難點(diǎn)問題是確定各個(gè)待融合單元的融合規(guī)則，其優(yōu)劣將直接影響融合圖像的質(zhì)量。在壓縮感知領(lǐng)域，絕大多數(shù)方法對(duì)低頻系數(shù)和高頻系數(shù)的融合均采用同一規(guī)則——加權(quán)平均法或者絕對(duì)值取大法。這樣處理的缺點(diǎn)是得到的采樣值中高低頻系數(shù)混在一起，不易區(qū)分，為了克服這一缺點(diǎn)，本發(fā)明設(shè)計(jì)了如下融合規(guī)則：

其中，τ₁＝1/(1+exp{-β(||m_A||₂-||m_B||₂)}),(β＞0)，

m_A,m_B分別表示源圖像每塊的均值。源圖像x_A和x_B分別減去m_A和m_B得到和分別為稀疏表示系數(shù)矩陣S^C和的第i列，為融合圖像的稀疏系數(shù)矩陣s_F的第i列。K是圖像塊的總個(gè)數(shù)。

1.4基于聯(lián)合稀疏模型的圖像融合方法

本發(fā)明認(rèn)為同一場(chǎng)景下獲取的紅外圖像和光學(xué)圖像均可由共有稀疏表示和專有稀疏表示兩部分組成。共有稀疏表示部分可以看作紅外圖像和可見光圖像所具有的相同的空間結(jié)構(gòu)，如道路，樹林，農(nóng)田等的形狀特征。由于樹木等對(duì)可見光光波傳輸?shù)淖钃?，在光學(xué)圖像中不存在的目標(biāo)影像會(huì)在紅外圖像上出現(xiàn)目標(biāo)區(qū)域，這些區(qū)域則可以看作紅外圖像的專有部分。為了方便描述，我們假設(shè)兩個(gè)幾何已配準(zhǔn)的灰度源圖像為本發(fā)明設(shè)計(jì)如下的融合方法，流程圖如圖2所示。算法具體步驟如下：

1)將滑窗技術(shù)作用于源圖像X_A,X_B上，使兩幅圖像分別變成為大小為的圖像塊，然后將劃分好的圖像塊變成n維列向量形式。

2)對(duì)源圖像j(j＝A,B)的i圖像塊首先減去它們的均值得到減去均值后的圖像塊然后通過求解式得到一個(gè)共同稀疏系數(shù)和兩個(gè)不同稀疏系數(shù)

3)根據(jù)融合規(guī)則，將所獲得的稀疏系數(shù)帶入到式(6)得到融合后的系數(shù)

4)通過得到融合后的圖像X_F的i圖像塊

5)使用與第一步相同的變換方法將獲得的(大小為n×1)變成大小為的圖像塊?；凹夹g(shù)導(dǎo)致出現(xiàn)了圖像塊與塊之間有重疊，最后，通過加權(quán)平均處理得到融合圖像X_F。

下面結(jié)合實(shí)驗(yàn)對(duì)本發(fā)明的應(yīng)用效果作詳細(xì)的描述。

1實(shí)驗(yàn)結(jié)果與比較

為證明所提算法具有較優(yōu)的融合效果，本發(fā)明將所提出方法與基于多分辨率分析融合算法(DWT，DTCWT,NSCT)分別作用于這些圖像。1.1節(jié)描述了各個(gè)方法的參數(shù)設(shè)置。所有的實(shí)驗(yàn)在MATLAB R2012b平臺(tái)運(yùn)行，計(jì)算機(jī)性能為3.20-GHz CPU和2.00-GB RAM。

1.1實(shí)驗(yàn)數(shù)據(jù)，為圖3。

1.1.1實(shí)驗(yàn)參數(shù)設(shè)置

實(shí)驗(yàn)中，各算法的參數(shù)設(shè)置如下：

多分辨率圖像融合方法：實(shí)驗(yàn)中DWT的小波基選擇‘db1’；DTCWT的第一層和其余層的濾波器分別選擇‘LeGall 5-3’和‘Qshift-06’；基于DWT和DTCWT融合方法的分解層數(shù)都設(shè)為4；基于NSCT融合方法，金字塔濾波器采用“pyrexc”濾波器，方向?yàn)V波器釆用“vk”濾波器。NSCT變換每層從粗到精的方向分解層數(shù)為{4，8，8，16}。

本發(fā)明所提方法：本發(fā)明采用“滑窗”策略將圖像塊在過完備冗余字典下進(jìn)行稀疏表示。在實(shí)驗(yàn)中選取的圖像塊大小為8×8；訓(xùn)練字典時(shí)，稀疏度T設(shè)置為5，字典D的大小為64×256，迭代次數(shù)為180。停止誤差ε＝0.001；β＝1。

1.1.2實(shí)驗(yàn)結(jié)果及分析

(1)部分紅外與可見光圖像融合結(jié)果及分析

表1表示的是a1組圖像融合后的客觀評(píng)價(jià)指標(biāo)結(jié)果。

表1客觀評(píng)價(jià)指標(biāo)

從表1可以看出，對(duì)于a1組圖像，本發(fā)明的各項(xiàng)評(píng)價(jià)指標(biāo)都是最優(yōu)的，比如，標(biāo)準(zhǔn)差為117.1862，該指標(biāo)最大表明本發(fā)明得到的融合圖像灰度分散程度較高。Q⁰,Q^W,Q^E分別為0.59131，0.908345，0.631646。這三個(gè)指標(biāo)越大，表明本發(fā)明獲得的融合圖像與源圖像越相似，并且總體顯著性較高，更加突出融合圖像的邊緣信息。圖4顯示的是所有算法的融合結(jié)果圖。圖中分別是DWT，DTCWT，NSCT，本發(fā)明的融合結(jié)果圖。從圖4可以看出，本發(fā)明不僅可以較優(yōu)的融合紅外和可見光信息，而且融合后的圖像的邊緣信息更加突出。并且，亮度略高于其余方法。

以上所述僅為本發(fā)明的較佳實(shí)施例而已，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)所作的任何修改、等同替換和改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。