一種基于交互非局部均值濾波的紅外與可見(jiàn)光圖像融合方法
【專(zhuān)利摘要】本發(fā)明涉及一種基于交互非局部均值濾波的紅外與可見(jiàn)光圖像融合方法，主要解決現(xiàn)有紅外與可見(jiàn)光圖像融合方法獲得融合圖像的清晰度、對(duì)比度、空間分辨率低等問(wèn)題。其實(shí)現(xiàn)步驟為：(1)對(duì)輸入的紅外與可見(jiàn)光圖像進(jìn)行交互非局部均值濾波獲得基層圖像；(2)對(duì)紅外與可見(jiàn)光圖像與其基層圖像相減得到紅外與可見(jiàn)光圖像的細(xì)節(jié)圖像；(3)計(jì)算細(xì)節(jié)圖像的鄰域窗口統(tǒng)計(jì)特性得到紅外與可見(jiàn)光圖像的融合權(quán)重圖；(4)將紅外與可見(jiàn)光圖像的融合權(quán)重圖分別作用于紅外與可見(jiàn)光圖像，并對(duì)經(jīng)融合權(quán)重圖作用的紅外圖像與可見(jiàn)光圖像進(jìn)行加權(quán)融合便獲得融合圖像。本發(fā)明采用的基于交互非局部均值濾波的紅外與可見(jiàn)光圖像融合方法能獲得清晰度、對(duì)比度、空間分辨率高的融合圖像，融合效果好，可用于人類(lèi)視覺(jué)和機(jī)器認(rèn)知等領(lǐng)域。
【專(zhuān)利說(shuō)明】-種基于交互非局部均值濾波的紅外與可見(jiàn)光圖像融合方 法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于圖像融合處理【技術(shù)領(lǐng)域】，具體涉及一種基于交互非局部均值濾波的紅 外與可見(jiàn)光圖像融合方法。

【背景技術(shù)】
[0002] 圖像融合是將兩個(gè)或多個(gè)傳感器獲得的同一場(chǎng)景的圖像信息有機(jī)整合的技術(shù)，融 合圖像更有利于人類(lèi)與機(jī)器視覺(jué)感知和其它圖像處理任務(wù)，如：圖像增強(qiáng)、人臉識(shí)別、特征 提取和目標(biāo)檢測(cè)等。由于圖像融合技術(shù)可以豐富圖像的信息及視覺(jué)效果，因此，圖像融合被 廣泛應(yīng)用于計(jì)算機(jī)視覺(jué)、醫(yī)學(xué)成像、遙感測(cè)量等領(lǐng)域。
[0003] 從二十世紀(jì)八十年代開(kāi)始，多傳感器圖像融合已引起了廣泛的興趣和研究熱潮， 其在機(jī)器學(xué)習(xí)、遙感、計(jì)算機(jī)視覺(jué)、醫(yī)學(xué)圖像處理以及軍事應(yīng)用中有著廣泛的應(yīng)用前景。經(jīng) 過(guò)近三十年的發(fā)展，圖像融合技術(shù)已形成了一定的規(guī)模，國(guó)內(nèi)外也都開(kāi)發(fā)出許多用于不同 領(lǐng)域的融合系統(tǒng)，但是，這并不意味著圖像融合技術(shù)已相當(dāng)成熟了。從國(guó)內(nèi)外目前的研究情 況來(lái)看，圖像融合技術(shù)在理論和技術(shù)方面均存在有待解決的問(wèn)題。與國(guó)外相比，國(guó)內(nèi)開(kāi)展圖 像融合研究工作起步較晚，盡管?chē)?guó)內(nèi)近幾年在圖像融合方面的研究取得了較大的成就；但 是，相比國(guó)外仍處于較落后的狀態(tài)。因此，急需我們對(duì)圖像融合進(jìn)行廣泛深入的基礎(chǔ)理論和 基礎(chǔ)技術(shù)的研究。
[0004] 隨著新的信息理論的不斷發(fā)展及國(guó)外內(nèi)學(xué)者對(duì)圖像融合不斷深入全面地研究， 圖像融合研究取得了較大的進(jìn)步。近年來(lái)，國(guó)內(nèi)外學(xué)者提出了許多圖像融合方法，其中， 基于多尺度變換的圖像融合方法是目前被廣泛采用的方法，如文章《Image sequence fusion using a shift-invariant wavelet transform》， Image Processing,1997. Proceedings·，International Conference on. IEEE，1997,3 :288_291，因?yàn)樾〔ㄗ儞Q不 能很好地捕捉圖像的邊緣和紋理信息，而且，該方法用簡(jiǎn)單的系數(shù)絕對(duì)值取大的融合規(guī) 貝1J，得到的融合圖像效果不理想。此后，Kor S等人便提出了基于提升小波變換的特征級(jí) 圖像融合方法，參見(jiàn)文章 《Feature level fusion of multimodal medical images in lifting wavelet transform domain)),Engineering in Medicine and Biology Society, 2004.IEMBS ; 04.26th Annual International Conference ofthe IEEE. IEEE,2004,1 ： 1479-1482,該方法通過(guò)計(jì)算小波變換系數(shù)的梯度，并通過(guò)比較兩幅圖像的小波變換系數(shù)梯 度之差與設(shè)定的閾值的大小來(lái)確定融合系數(shù)，該方法所得到的融合圖像盡管效果有所改 善，但是，還是難以滿足要求。隨著非下采樣輪廓波變換（NSCT)的興起，學(xué)者們已將NSCT 應(yīng)用于圖像融合中，參見(jiàn)〈〈Image fusion based on nonsubsampled contourlet transform for infrared and visible light image)), Infrared Physics & Technology, 2013,61 ： 94-100.該方法獲得的融合圖像細(xì)節(jié)較豐富，紋理較清晰，視覺(jué)效果優(yōu)于前兩種方法，這是 由于NSCT具有：（1)高度冗余性，與有用信息有關(guān)的NSCT系數(shù)在各個(gè)細(xì)節(jié)子帶內(nèi)呈現(xiàn)稀疏 性分布；（2) NSCT采用的是具有各向異性的Contourlet基，是的各個(gè)細(xì)節(jié)子帶"描述"的是 源圖像在不同方向上的細(xì)節(jié)信息，因此具有多方向選擇性；而且，這種基于NSCT的圖像融 合方法對(duì)低頻子帶系數(shù)和帶通方向子帶系數(shù)分別采用基于區(qū)域視覺(jué)特性和交互梯度融合 規(guī)則。但NSCT也有自身的不足：由于NSCT采用的方向?yàn)V波器為扇形濾波器的非下采樣濾 波器組，通過(guò)此濾波器獲得帶通方向子帶系數(shù)；從而使得基于NSCT的圖像融合方法的計(jì)算 量較大，不利于實(shí)際應(yīng)用；而且融合圖像的清晰度、空間分辨率等依然相對(duì)較低，整體效果 還是不盡如人意。


【發(fā)明內(nèi)容】

[0005] 本發(fā)明的目的在于針對(duì)上述現(xiàn)有方法的不足，提出一種基于交互非局部均值濾波 的紅外與可見(jiàn)光圖像融合方法，以實(shí)現(xiàn)融合權(quán)重的自適應(yīng)性、融合圖像的清晰度與空間分 辨率等，以得到圖像質(zhì)量更好的融合圖像。
[0006] 實(shí)現(xiàn)本發(fā)明的技術(shù)關(guān)鍵在于直接紅外圖像與可見(jiàn)光圖像進(jìn)行融合，節(jié)省了存儲(chǔ)空 間，通過(guò)計(jì)算紅外圖像與可見(jiàn)光圖像的細(xì)節(jié)圖像鄰域窗口統(tǒng)計(jì)特性得到具有自適應(yīng)性的紅 外與可見(jiàn)光圖像融合權(quán)重圖，整個(gè)過(guò)程分為四大部分。首先，對(duì)紅外圖像與可見(jiàn)光圖像分別 進(jìn)行交互非局部均值濾波獲取紅外圖像與可見(jiàn)光圖像的基層圖像；其次，將紅外圖像與可 見(jiàn)光圖像與其基層圖像相減獲得對(duì)應(yīng)的細(xì)節(jié)圖像；再次，分別計(jì)算紅外圖像與可見(jiàn)光圖像 的細(xì)節(jié)圖像鄰域窗口統(tǒng)計(jì)特性得到具有自適應(yīng)性的紅外圖像與可見(jiàn)光圖像的融合權(quán)重圖； 最后，將紅外圖像與可見(jiàn)光圖像的融合權(quán)重圖分別作用于紅外圖像與可見(jiàn)光圖像，并對(duì)經(jīng) 融合權(quán)重作用的紅外圖像與可見(jiàn)光圖像進(jìn)行加權(quán)融合便得到融合圖像。本發(fā)明方法的具體 實(shí)現(xiàn)步驟如下 ：
[0007] (1)對(duì)輸入的紅外圖像A和可見(jiàn)光圖像B分別進(jìn)行交互非局部均值濾波處理，得到 基層圖像B A和BB :

【權(quán)利要求】
1. 一種基于交互非局部均值濾波的紅外與可見(jiàn)光圖像融合方法，其特征在于： 所述方法包括如下步驟： (1) 對(duì)輸入的紅外圖像A和可見(jiàn)光圖像B分別進(jìn)行交互非局部均值濾波，獲得紅外與可 見(jiàn)光圖像的基層圖像Ba與Bb; (2) 將紅外圖像A與可見(jiàn)光圖像B分別與基層圖像Ba與Bb相減，得到紅外與可見(jiàn)光圖 像的細(xì)節(jié)圖像Da與Db ; (3) 計(jì)算細(xì)節(jié)圖像的鄰域窗口的統(tǒng)計(jì)特性獲得紅外與可見(jiàn)光圖像的融合權(quán)重圖14與 (4) 將融合權(quán)重圖與h分別作用于紅外圖像A和可見(jiàn)光圖像B，并對(duì)經(jīng)融合權(quán)重 圖作用的紅外圖像與可見(jiàn)光圖像進(jìn)行加權(quán)融合，得到最終的融合圖像F。
2. 如權(quán)利要求1所述的一種基于交互非局部均值濾波的紅外與可見(jiàn)光圖像融合方法， 其步驟（1)所述的采用交互非局部均值濾波對(duì)紅外圖像A和可見(jiàn)光圖像B進(jìn)行濾波處理， 獲得基層圖像Ba與Bb，按如下步驟進(jìn)行： (2a)構(gòu)造交互非局部均值濾波核：
其中，A與B分別為紅外圖像與可見(jiàn)光圖像，>9為高斯核的標(biāo)準(zhǔn)差，k為濾波器參數(shù)，NP 與Nq分別表不紅外圖像A中位置為p和q的相似窗口，Mp與Mq分別表不可見(jiàn)光圖像B中 位置為P和q的相似窗口，I(Np)與I(Nq)分別表示紅外圖像A中的鄰域Np與Nq的灰度值， I(Mp)與I(Mq)分別表示可見(jiàn)光圖像B中的鄰域Mp與Mq的灰度值； (2b)計(jì)算紅外圖像A與可見(jiàn)光圖像B的基層圖像Ba與Bb，按如下公式計(jì)算：
3. 如權(quán)利要求1所述的基于交互非局部均值濾波的紅外與可見(jiàn)光圖像融合方法，其中 步驟（3)所述的通過(guò)計(jì)算紅外A與可見(jiàn)光圖像B的細(xì)節(jié)圖像鄰域窗口的統(tǒng)計(jì)特性獲得源紅 外圖像A與可見(jiàn)光圖像B的融合權(quán)重圖Ia與，按照如下步驟進(jìn)行： (3a)確定紅外圖像A和可見(jiàn)光圖像B的像素位置（m，n)以及其鄰域窗口的大小VXV，構(gòu)造矩陣M，其中，矩陣M中對(duì)應(yīng)位置的元素為紅外圖像A(或可見(jiàn)光圖像B)像素位 置（m，n)的大小為VXnr的鄰域窗口圖像塊中像素值； (3b)將矩陣M的行與列對(duì)應(yīng)的數(shù)值分別記為觀測(cè)值與變量值，計(jì)算矩陣M的協(xié)方差矩 陣的行的無(wú)偏估計(jì)值UH; (3c)確定矩陣Uh的特征值，由于矩陣M的大小為VXnr，所以矩陣M有V個(gè)特征值， 這些特征值的和正比于鄰域窗口圖像塊的水平細(xì)節(jié)強(qiáng)度，將這些特征值的和記為DSTh ; (3d)同理有，將矩陣M的每一列與每一行分別看作一個(gè)觀測(cè)值和一個(gè)變量，從而由矩 陣M的協(xié)方差矩陣列的無(wú)偏估計(jì)值Uv的特征值的和獲得垂直細(xì)節(jié)強(qiáng)度DSTv ; (3e)通過(guò)DSTh和DSTv計(jì)算紅外圖像A與可見(jiàn)光圖像B的融合權(quán)重^A與€ B，是通過(guò) 如下公式進(jìn)行； IA(m,n) =DSTh [A] (m,n)+DSTv [A] (m,n) IB (m,n) =DSTh [B] (m,n) +DSTv [B] (m,n) 其中，A、B分別為紅外圖像與可見(jiàn)光圖像，（m，n)為圖像的空間位置。
【文檔編號(hào)】G06T5/10GK104268847SQ201410490237
【公開(kāi)日】2015年1月7日 申請(qǐng)日期:2014年9月23日 優(yōu)先權(quán)日:2014年9月23日
【發(fā)明者】秦翰林, 延翔, 韓姣姣, 牟媛, 宗靖國(guó), 李佳, 曾慶杰, 趙日成, 趙營(yíng), 周慧鑫, 劉上乾 申請(qǐng)人:西安電子科技大學(xué)