本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，特別涉及一種圖像融合方法及裝置。

背景技術(shù)：

隨著科學(xué)技術(shù)的飛速發(fā)展，計算機(jī)視覺技術(shù)的廣泛應(yīng)用，視頻采集設(shè)備廣泛的應(yīng)用于航拍攝影、環(huán)境監(jiān)測、安防監(jiān)控等方面。但是受到地理地形、氣象條件等因素影響，照度不佳的情況下采集到的可見光圖像可能存在模糊的問題，而紅外圖像因為物體的材料和色彩會影響紅外光的反射，也不能清楚的反應(yīng)出真實的場景，而圖像融合技術(shù)能有效的綜合可見光圖像和紅外圖像的優(yōu)點，清晰的展現(xiàn)圖像。

然而，現(xiàn)有技術(shù)中，只是對可見光圖像和紅外圖像進(jìn)行簡單的融合，對于圖像的細(xì)節(jié)無法清晰的顯示，在紅外圖像中亮度異常變高時反應(yīng)的圖像不真實，影響了用戶的體驗。

技術(shù)實現(xiàn)要素：

本發(fā)明提供一種圖像融合方法及裝置，用以解決現(xiàn)有技術(shù)中的對于圖像的細(xì)節(jié)無法清晰的顯示，在紅外圖像中亮度異常變高時反應(yīng)的圖像不真實的問題。

為達(dá)到上述目的，本發(fā)明實施例公開了一種圖像融合方法，所述方法包括：

采用相同的劃分方法，將獲取的可見光圖像和紅外圖像劃分為多個層次；

獲取可見光圖像和紅外圖像的低頻分量，和對應(yīng)每個層次的高頻分量，其中所述低頻分量中包含至少一個參數(shù)，所述高頻分量中包含至少一個參數(shù)；

針對所述可見光圖像和紅外圖像的低頻分量中的對應(yīng)參數(shù)，判斷所述對應(yīng)參數(shù)的值的差是否大于設(shè)定閾值，如果是，將所述可見光圖像的低頻分量中該參數(shù)的值作為融合后的低頻分量中對應(yīng)參數(shù)的值；如果否，根據(jù)所述可見光圖像和紅外圖像的低頻分量中的該對應(yīng)參數(shù)的值，及預(yù)設(shè)的低頻融合算法，確定融合后的低頻分量中對應(yīng)參數(shù)的值；

根據(jù)可見光圖像和紅外圖像對應(yīng)每個層次的高頻分量及預(yù)先設(shè)定的高頻融合算法，確定每個層次融合后的高頻分量；

將確定的所述融合后的低頻分量和每層次融合后的高頻分量進(jìn)行重構(gòu)，得到融合后的圖像。

進(jìn)一步地，所述獲取可見光圖像和紅外圖像對應(yīng)每個層次的高頻分量后，所述確定每個層次融合后的高頻分量之前，所述方法還包括：

針對可見光圖像對應(yīng)每個層次的高頻分量進(jìn)行映射處理與中值濾波；和/或，

針對紅外圖像對應(yīng)每個層次的高頻分量進(jìn)行放大處理。

進(jìn)一步地，所述針對可見光圖像對應(yīng)每個層次的高頻分量進(jìn)行映射處理包括：

針對可見光圖像對應(yīng)每個層次的高頻分量中的每個參數(shù)的值，判斷該參數(shù)的值的絕對值是否小于第一參數(shù)閾值；

如果是，將該參數(shù)的值更新為零；

如果否，判斷該參數(shù)的值的絕對值是否小于第二參數(shù)閾值，如果是，根據(jù)預(yù)先設(shè)定的參數(shù)調(diào)整系數(shù)對該參數(shù)的值進(jìn)行更新，其中第二參數(shù)閾值大于第一參數(shù)閾值。

進(jìn)一步地，所述采用相同的劃分方法，將獲取的可見光圖像和紅外圖像劃分為多個層次之前，所述方法還包括：

將所述可見光圖像和紅外圖像進(jìn)行圖像配準(zhǔn)。

進(jìn)一步地，所述采用相同的劃分方法，將獲取的可見光圖像和紅外圖像劃分為多個層次之前，所述方法還包括：

將所述可見光圖像進(jìn)行透霧處理和/或?qū)驗V波。

進(jìn)一步地，所述將所述可見光圖像進(jìn)行透霧處理包括：

獲取所述可見光圖像的暗通道分量；

根據(jù)所述暗通道分量中每個參數(shù)的值，確定所述暗通道分量中參數(shù)的最大值的目標(biāo)參數(shù)，識別所述目標(biāo)參數(shù)對應(yīng)的可見光圖像的目標(biāo)像素點；

將所述可見光圖像的目標(biāo)像素點的紅R值、綠G值、藍(lán)B值中的最小值作為目標(biāo)光照強(qiáng)度的數(shù)值；

將所述目標(biāo)光照強(qiáng)度的數(shù)值作為所述可見光圖像每個像素點對應(yīng)的光照強(qiáng)度的數(shù)值，判斷所述可見光圖像中每個像素點對應(yīng)的光照強(qiáng)度的數(shù)值與該像素點對應(yīng)的暗通道分量中對應(yīng)參數(shù)的值的差是否小于第一設(shè)定閾值；

如果是，根據(jù)該像素點對應(yīng)的光照強(qiáng)度的數(shù)值與像素點對應(yīng)的暗通道分量中對應(yīng)參數(shù)的值的差、所述第一設(shè)定閾值及初始透射率，確定該像素點對應(yīng)的第一透射率。

進(jìn)一步地，所述根據(jù)該像素點對應(yīng)的光照強(qiáng)度的數(shù)值與像素點對應(yīng)的暗通道分量中對應(yīng)參數(shù)的值的差、所述第一設(shè)定閾值及初始透射率，確定該像素點對應(yīng)的第一透射率包括：

確定該像素點對應(yīng)的光照強(qiáng)度的數(shù)值與像素點對應(yīng)的暗通道分量中對應(yīng)參數(shù)的值的差與第一設(shè)定閾值的比值；

將所述比值及初始透射率的乘積確定為像素點對應(yīng)的第一透射率。

進(jìn)一步地，確定該像素點對應(yīng)的第一透射率后，所述方法還包括：

統(tǒng)計所述可見光圖像中對應(yīng)的第一透射率小于第二設(shè)定閾值的像素點的數(shù)量，判斷所述數(shù)量與可見光圖像中像素點的總數(shù)量的比值是否大于第三設(shè)定閾值；

如果是，將所述第一透射率小于第四設(shè)定閾值的像素點的第一透射率更改為1。

進(jìn)一步地，所述根據(jù)所述可見光圖像和紅外圖像的低頻分量中的該對應(yīng)參數(shù)的值，及預(yù)設(shè)的低頻融合算法，確定融合后的低頻分量中對應(yīng)參數(shù)的值包括：

根據(jù)F_L＝L_W·V_L+(1-L_W)·N_L，確定融合后的低頻分量中對應(yīng)參數(shù)的值，其中F_L為融合后的低頻分量中對應(yīng)參數(shù)的值，V_L為可見光圖像低頻分量中該對應(yīng)參數(shù)的值，N_L為紅外圖像低頻分量中該對應(yīng)參數(shù)的值，L_W為融合時可見光圖像對應(yīng)的權(quán)重，La為預(yù)先設(shè)定的可見光圖像的融合比例，K為預(yù)先設(shè)定的閾值。

進(jìn)一步地，所述根據(jù)可見光圖像和紅外圖像對應(yīng)每個層次的高頻分量及預(yù)先設(shè)定的高頻融合算法，確定每個層次融合后的高頻分量包括：

根據(jù)確定每個層次融合后的高頻分量，其中針對每個層次的可見光圖像對應(yīng)的高頻分量和紅外對應(yīng)對應(yīng)的低頻分量，M、N為該層次可見光圖像對應(yīng)的高頻分量和紅外圖像對應(yīng)的高頻分量對應(yīng)矩陣的行數(shù)和列數(shù)，R為預(yù)先設(shè)定的窗口閾值，D1(i，j)為該層次可見光圖像對應(yīng)的高頻分量對應(yīng)矩陣(i，j)點對應(yīng)參數(shù)的可見光區(qū)域能量，D2(i，j)為該層次紅外圖像對應(yīng)的高頻分量對應(yīng)矩陣(i，j)點對應(yīng)參數(shù)的紅外區(qū)域能量，DD為該層次可見光圖像對應(yīng)的高頻分量對應(yīng)矩陣(i，j)點和紅外圖像對應(yīng)的高頻分量對應(yīng)矩陣(i，j)點的區(qū)域能量相關(guān)性，F(xiàn)_H為該層次融合后的高頻分量中對應(yīng)參數(shù)的值。

本發(fā)明實施例公開了一種圖像融合裝置，所述裝置包括：

劃分模塊，用于采用相同的劃分方法，將獲取的可見光圖像和紅外圖像劃分為多個層次；

獲取模塊，用于獲取可見光圖像和紅外圖像的低頻分量，和對應(yīng)每個層次的高頻分量；

低頻融合模塊，用于針對所述可見光圖像和紅外圖像的低頻分量中的對應(yīng)參數(shù)，判斷所述對應(yīng)參數(shù)的值的差是否大于設(shè)定閾值，如果是，將所述可見光圖像的低頻分量中該參數(shù)的值作為融合后的低頻分量中對應(yīng)參數(shù)的值；如果否，根據(jù)所述可見光圖像和紅外圖像的低頻分量中的該對應(yīng)參數(shù)的值，及預(yù)設(shè)的低頻融合算法，確定融合后的低頻分量中對應(yīng)參數(shù)的值；

高頻融合模塊，用于根據(jù)可見光圖像和紅外圖像對應(yīng)每個層次的高頻分量及預(yù)先設(shè)定的高頻融合算法，確定每個層次融合后的高頻分量；

重構(gòu)模塊，用于將確定的所述融合后的低頻分量和每層次融合后的高頻分量進(jìn)行重構(gòu)，得到融合后的圖像。

進(jìn)一步地，所述裝置還包括：

第一處理模塊，用于針對可見光圖像對應(yīng)每個層次的高頻分量進(jìn)行映射處理與中值濾波；和/或，針對紅外圖像對應(yīng)每個層次的高頻分量進(jìn)行放大處理。

進(jìn)一步地，所述第一處理模塊，具體用于針對可見光圖像對應(yīng)每個層次的高頻分量中的每個參數(shù)的值，判斷該參數(shù)的值的絕對值是否小于第一參數(shù)閾值；如果是，將該參數(shù)的值更新為零；如果否，判斷該參數(shù)的值的絕對值是否小于第二參數(shù)閾值，如果是，根據(jù)預(yù)先設(shè)定的參數(shù)調(diào)整系數(shù)對該參數(shù)的值進(jìn)行更新，其中第二參數(shù)閾值大于第一參數(shù)閾值。

進(jìn)一步地，所述裝置還包括：

配準(zhǔn)模塊，用于將所述可見光圖像和紅外圖像進(jìn)行圖像配準(zhǔn)。

進(jìn)一步地，所述裝置還包括：

第二處理模塊，用于將所述可見光圖像進(jìn)行透霧處理和/或?qū)驗V波。

進(jìn)一步地，所述第二處理模塊，具體用于獲取所述可見光圖像的暗通道分量；根據(jù)所述暗通道分量中每個參數(shù)的值，確定所述暗通道分量中參數(shù)的最大值的目標(biāo)參數(shù)，識別所述目標(biāo)參數(shù)對應(yīng)的可見光圖像的目標(biāo)像素點；將所述可見光圖像的目標(biāo)像素點的紅R值、綠G值、藍(lán)B值中的最小值作為目標(biāo)光照強(qiáng)度的數(shù)值；將所述目標(biāo)光照強(qiáng)度的數(shù)值作為所述可見光圖像每個像素點對應(yīng)的光照強(qiáng)度的數(shù)值，判斷所述可見光圖像中每個像素點對應(yīng)的光照強(qiáng)度的數(shù)值與該像素點對應(yīng)的暗通道分量中對應(yīng)參數(shù)的值的差是否小于第一設(shè)定閾值；如果是，根據(jù)該像素點對應(yīng)的光照強(qiáng)度的數(shù)值與像素點對應(yīng)的暗通道分量中對應(yīng)參數(shù)的值的差、所述第一設(shè)定閾值及初始透射率，確定該像素點對應(yīng)的第一透射率。

進(jìn)一步地，所述第二處理模塊，具體用于確定該像素點對應(yīng)的光照強(qiáng)度的數(shù)值與像素點對應(yīng)的暗通道分量中對應(yīng)參數(shù)的值的差與第一設(shè)定閾值的比值；將所述比值及初始透射率的乘積確定為像素點對應(yīng)的第一透射率。

進(jìn)一步地，所述第二處理模塊，還用于統(tǒng)計所述可見光圖像中對應(yīng)的第一透射率小于第二設(shè)定閾值的像素點的數(shù)量，判斷所述數(shù)量與可見光圖像中像素點的總數(shù)量的比值是否大于第三設(shè)定閾值；如果是，將所述第一透射率小于第四設(shè)定閾值的像素點的第一透射率更改為1。

進(jìn)一步地，所述低頻融合模塊，具體用于根據(jù)F_L＝L_W·V_L+(1-L_W)·N_L，確定融合后的低頻分量中對應(yīng)參數(shù)的值，其中F_L為融合后的低頻分量中對應(yīng)參數(shù)的值，V_L為可見光圖像低頻分量中該對應(yīng)參數(shù)的值，N_L為紅外圖像低頻分量中該對應(yīng)參數(shù)的值，L_W為融合時可見光圖像對應(yīng)的權(quán)重，La為預(yù)先設(shè)定的可見光圖像的融合比例，K為預(yù)先設(shè)定的閾值。

進(jìn)一步地，所述高頻融合模塊，具體用于根據(jù)確定每個層次融合后的高頻分量，其中針對每個層次的可見光圖像對應(yīng)的高頻分量和紅外對應(yīng)對應(yīng)的低頻分量，M、N為該層次可見光圖像對應(yīng)的高頻分量和紅外圖像對應(yīng)的高頻分量對應(yīng)矩陣的行數(shù)和列數(shù)，R為預(yù)先設(shè)定的窗口閾值，D1(i，j)為該層次可見光圖像對應(yīng)的高頻分量對應(yīng)矩陣(i，j)點對應(yīng)參數(shù)的可見光區(qū)域能量，D2(i，j)為該層次紅外圖像對應(yīng)的高頻分量對應(yīng)矩陣(i，j)點對應(yīng)參數(shù)的紅外區(qū)域能量，DD為該層次可見光圖像對應(yīng)的高頻分量對應(yīng)矩陣(i，j)點和紅外圖像對應(yīng)的高頻分量對應(yīng)矩陣(i，j)點的區(qū)域能量相關(guān)性，F(xiàn)_H為該層次融合后的高頻分量中對應(yīng)參數(shù)的值。

本發(fā)明實施例公開了一種圖像融合方法，該方法包括：采用相同的劃分方法，將獲取的可見光圖像和紅外圖像劃分為多個層次；獲取可見光圖像和紅外圖像的低頻分量，和對應(yīng)每個層次的高頻分量，其中所述低頻分量中包含至少一個參數(shù)，所述高頻分量中包含至少一個參數(shù)；針對所述可見光圖像和紅外圖像的低頻分量中的對應(yīng)參數(shù)，判斷所述對應(yīng)參數(shù)的值的差是否大于設(shè)定閾值，如果是，將所述可見光圖像的低頻分量中該參數(shù)的值作為融合后的低頻分量中對應(yīng)參數(shù)的值；如果否，根據(jù)所述可見光圖像和紅外圖像的低頻分量中的該對應(yīng)參數(shù)的值，及預(yù)設(shè)的低頻融合算法，確定融合后的低頻分量中對應(yīng)參數(shù)的值；根據(jù)可見光圖像和紅外圖像對應(yīng)每個層次的高頻分量及預(yù)先設(shè)定的高頻融合算法，確定每個層次融合后的高頻分量；將確定的所述融合后的低頻分量和每層次融合后的高頻分量進(jìn)行重構(gòu)，得到融合后的圖像。由于在本發(fā)明實施例中，在根據(jù)預(yù)設(shè)的低頻融合算法，確定融合后的低頻分量中對應(yīng)參數(shù)的值之前，針對所述可見光圖像和紅外圖像的低頻分量中的對應(yīng)參數(shù)，判斷所述對應(yīng)參數(shù)的值的差是否大于設(shè)定閾值，如果所述差值大于設(shè)定閾值，將所述可見光圖像的低頻分量中該參數(shù)的值作為融合后的低頻分量中對應(yīng)參數(shù)的值，消除了因物體的材料或顏色造成紅外圖像中亮度異常變高反應(yīng)融合后的圖像不真實的問題，并根據(jù)預(yù)先設(shè)定的高頻融合算法，確定每個層次融合后的高頻分量，將確定的所述融合后的低頻分量和融合后的每層次的高頻分量進(jìn)行重構(gòu)，得到融合后的圖像。針對可見光圖像和紅外圖像進(jìn)行了深層次的融合，實現(xiàn)了對圖像細(xì)節(jié)的清晰顯示，并解決了在紅外圖像中亮度異常變高時反應(yīng)的圖像不真實的問題，提高了用戶的體驗。

附圖說明

為了更清楚地說明本發(fā)明實施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對實施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其他的附圖。

圖1為本發(fā)明實施例1提供的一種圖像融合過程示意圖；

圖2為本發(fā)明實施例1提供的一種圖像重構(gòu)過程示意圖；

圖3為本發(fā)明實施例3提供的一種可見光圖像對應(yīng)的高頻分量的映射關(guān)系示意圖；

圖4為本發(fā)明實施例5提供的一種圖像融合過程示意圖；

圖5為本發(fā)明實施例8提供的一種圖像融合過程示意圖；

圖6為本發(fā)明實施例9提供的一種圖像融合裝置結(jié)構(gòu)示意圖。

具體實施方式

下面將結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實施例僅僅是本發(fā)明一部分實施例，而不是全部的實施例?；诒景l(fā)明中的實施例，本領(lǐng)域普通技術(shù)人員在沒有作出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明保護(hù)的范圍。

實施例1：

圖1為本發(fā)明實施例提供的一種圖像融合過程示意圖，該過程包括：

S101：采用相同的劃分方法，將獲取的可見光圖像和紅外圖像劃分為多個層次，獲取可見光圖像和紅外圖像的低頻分量，和對應(yīng)每個層次的高頻分量，其中所述低頻分量中包含至少一個參數(shù)，所述高頻分量中包含至少一個參數(shù)。

本發(fā)明實施例提供的圖像融合方法應(yīng)用于電子設(shè)備，該電子設(shè)備可以為圖像采集設(shè)備，如攝像機(jī)、照相機(jī)等，也可以是手機(jī)、個人電腦(PC)、平板電腦等設(shè)備。

針對圖像的劃分方法包括：區(qū)域分割方法、直方圖法和金字塔變換法等。以金子塔變換法為例，金字塔變換法主要步驟包括：低通濾波、下采樣、上采樣、帶通濾波，每完成一次金子塔變換，便可將圖像劃分為一個層次，例如：針對可見光圖像和紅外圖像采用的劃分方法為三層次的金字塔變換，即對可見光圖像和紅外圖像進(jìn)行三次金字塔變換，可見光圖像和紅外圖像完成一次金子塔變換后分別得到對應(yīng)的第一層的高頻分量和第一層的低頻分量，將第一層次的低頻分量，又作為第二次金子塔變換的輸入圖像，依次類推，每層次對應(yīng)的低頻分量作為下層次金子塔變換的輸入圖像，經(jīng)過三次金字塔變換后，得到對應(yīng)可見光圖像和紅外圖像的三個層次的高頻分量和一個低頻分量，其中所述低頻分量中包含至少一個參數(shù)，所述高頻分量中包含至少一個參數(shù)。

具體的，在對可見光圖像和紅外圖像進(jìn)行劃分時，還可以采用其他的劃分方法，只要采用相同的劃分方法將可見光圖像和紅外圖像劃分為多個層次即可。

S102：針對所述可見光圖像和紅外圖像的低頻分量中的對應(yīng)參數(shù)，判斷所述對應(yīng)參數(shù)的值的差是否大于設(shè)定閾值，如果是，進(jìn)行S103，如果否，進(jìn)行S104。

S103：將所述可見光圖像的低頻分量中該參數(shù)的值作為融合后的低頻分量中對應(yīng)參數(shù)的值。

S104：根據(jù)所述可見光圖像和紅外圖像的低頻分量中的該對應(yīng)參數(shù)的值，及預(yù)設(shè)的低頻融合算法，確定融合后的低頻分量中對應(yīng)參數(shù)的值。

在圖像采集的過程中，由于物體的材料或者顏色將會影響紅外光的反射量，例如：車牌、紅色物體能較好的反射紅外光，這樣紅外光的亮度異常變大，在紅外圖像中會呈現(xiàn)亮度過高的現(xiàn)象，而此時接收的可見光的亮度是正常的。在本發(fā)明實施例中，如果紅外圖像中存在亮度異常變大，可以根據(jù)可見光圖像的亮度取代異常的紅外圖像中的亮度，從而提高融合后的圖像的清晰度。

具體的，將可見光圖像的低頻分量中每個參數(shù)與紅外圖像的低頻分量中的對應(yīng)參數(shù)進(jìn)行比較，針對每個對應(yīng)的參數(shù)，判斷所述可見光圖像的低頻分量中該參數(shù)與紅外圖像的低頻分量中的對應(yīng)參數(shù)的值的差是否大于設(shè)定閾值，如果所述差值大于設(shè)定閾值，將所述可見光圖像的低頻分量中該參數(shù)的值作為融合后的低頻分量中對應(yīng)參數(shù)的值，如果所述差值不大于設(shè)定閾值，根據(jù)所述可見光圖像和紅外圖像的低頻分量中的該對應(yīng)參數(shù)的值，及預(yù)設(shè)的低頻融合算法，確定融合后的低頻分量中對應(yīng)參數(shù)的值。

該設(shè)定閾值可以為大于零的數(shù)值，例如可以是90、100、110等，該設(shè)定閾值可以根據(jù)可見光圖像和紅外圖像采集的場景的紅外強(qiáng)弱來調(diào)節(jié)。所述預(yù)設(shè)的低頻融合算法可以為針對可見光圖像和紅外圖像分別設(shè)定權(quán)重值，根據(jù)權(quán)重值及該對應(yīng)參數(shù)的值，確定融合后的低頻分量中對應(yīng)參數(shù)的值，所述可見光圖像和紅外圖像對應(yīng)的權(quán)重值可以分別為0.5、0.5，當(dāng)然對應(yīng)的權(quán)重值也可以為0.6、0.4等。例如：所述可見光圖像和紅外圖像的低頻分量中的對應(yīng)參數(shù)的值分別為216和206，所述預(yù)設(shè)的低頻融合算法為所述可見光圖像和紅外圖像對應(yīng)的權(quán)重值分別為0.5、0.5，得到融合后的低頻分量中對應(yīng)參數(shù)的值為211。

S105：根據(jù)可見光圖像和紅外圖像對應(yīng)每個層次的高頻分量及預(yù)先設(shè)定的高頻融合算法，確定每個層次融合后的高頻分量。

具體的，預(yù)先設(shè)定的高頻融合算法可以為針對可見光圖像和紅外圖像分別設(shè)定權(quán)重值，根據(jù)權(quán)重值及所述可見光圖像和紅外圖像的高頻分量中對應(yīng)參數(shù)的值，確定融合后的高頻分量中對應(yīng)參數(shù)的值，例如所述可見光圖像和紅外圖像對應(yīng)的權(quán)重值可以分別為0.7和0.5，或者對應(yīng)的權(quán)重值也可以為0.8和0.5等。例如：所述可見光圖像和紅外圖像的二層次的高頻分量中的對應(yīng)參數(shù)的值分別為150和160，所述預(yù)先設(shè)定的高頻融合算法為所述可見光圖像和紅外圖像對應(yīng)的權(quán)重值別為0.7和0.5，得到二層次融合后的高頻分量中對應(yīng)參數(shù)的值為185。

S106：將確定的所述融合后的低頻分量和融合后的每層次的高頻分量進(jìn)行重構(gòu)，得到融合后的圖像。

在本發(fā)明實施例中，將確定的所述融合后的低頻分量和每層次融合后的高頻分量進(jìn)行重構(gòu)的過程與對可見光和紅外圖像的劃分過程相反。如果上述劃分方法為針對可見光圖像和紅外圖像進(jìn)行三層次的金子塔變換，確定融合后的圖像則是針對所述融合后的低頻分量和每層次融合后的高頻分量進(jìn)行金字塔重構(gòu)。如圖2所示為本發(fā)明實施例提供的一種圖像重構(gòu)過程示意圖，將所述融合后的低頻分量與三層次融合后的高頻分量進(jìn)行一次金字塔重構(gòu)，得到一次重構(gòu)后的低頻分量，將一次重構(gòu)后的低頻分量與二層次融合后的高頻分量進(jìn)行一次金字塔重構(gòu)，得到二次重構(gòu)后的低頻分量，將二次重構(gòu)后的低頻分量與一層次融合后的高頻分量進(jìn)行一次金字塔重構(gòu)，得到融合后的圖像。

根據(jù)低頻分量和每層次的高頻分量進(jìn)行重構(gòu)為現(xiàn)有技術(shù)，在本發(fā)明實施例中對該過程不再進(jìn)行贅述。

由于在本發(fā)明實施例中，在根據(jù)預(yù)設(shè)的低頻融合算法，確定融合后的低頻分量中對應(yīng)參數(shù)的值之前，針對所述可見光圖像和紅外圖像的低頻分量中的對應(yīng)參數(shù)，判斷所述對應(yīng)參數(shù)的值的差是否大于設(shè)定閾值，如果所述差值大于設(shè)定閾值，將所述可見光圖像的低頻分量中該參數(shù)的值作為融合后的低頻分量中對應(yīng)參數(shù)的值，消除了因物體的材料或顏色造成紅外圖像中亮度異常變高反應(yīng)融合后的圖像不真實的問題，并根據(jù)預(yù)先設(shè)定的高頻融合算法，確定每個層次融合后的高頻分量，將確定的所述融合后的低頻分量和融合后的每層次的高頻分量進(jìn)行重構(gòu)，得到融合后的圖像。針對可見光圖像和紅外圖像進(jìn)行了深層次的融合，實現(xiàn)了對圖像細(xì)節(jié)的清晰顯示，并解決了在紅外圖像中亮度異常變高時反應(yīng)的圖像不真實的問題，提高了用戶的體驗。

實施例2：

為了消除可見光圖像中的噪音，并使紅外信息在融合后的圖像中更加突出，從而提高融合后的圖像的清晰度，在上述各實施例的基礎(chǔ)上，在本發(fā)明實施例中，所述獲取可見光圖像和紅外圖像對應(yīng)每個層次的高頻分量后，所述確定融合后的每個層次的高頻分量之前，所述方法還包括：

針對可見光圖像對應(yīng)每個層次的高頻分量進(jìn)行映射處理與中值濾波；和/或，

針對紅外圖像對應(yīng)每個層次的高頻分量進(jìn)行放大處理。

具體的，可以根據(jù)可見光圖像對應(yīng)每個層次的高頻分量中的每個參數(shù)的值的大小，設(shè)定映射規(guī)則，例如：如果參數(shù)的值在大于0小于5的范圍內(nèi)，則將該參數(shù)的值改變?yōu)?，如果參數(shù)的值在大于5小于10的范圍內(nèi)，則將該參數(shù)的值改變?yōu)?等。

針對完成映射處理后的可見光圖像每個層次的高頻分量，對每個層次的高頻分量進(jìn)行中值濾波，進(jìn)一步的去除可見光圖像中的噪聲。中值濾波的基本原理是把高頻分量中一個參數(shù)的值，用該參數(shù)鄰域中各參數(shù)的值的中值代替，讓該參數(shù)的值接近真實值，從而消除孤立的噪音。在實際應(yīng)用中可以使用3*3窗口對每個層次的高頻分量進(jìn)行中值濾波，也可以使用4*4或其他大小的窗口對每個層次的高頻分量進(jìn)行中值濾波。在本發(fā)明實施例中，對高頻分量進(jìn)行中值濾波是現(xiàn)有技術(shù)不再進(jìn)行贅述。

為了使紅外信息在融合后的圖像中更為突出，在本發(fā)明實施例中，還可以對紅外圖像對應(yīng)每個層次的高頻分量進(jìn)行放大處理。具體的，對紅外圖像不同層次的高頻分量乘以不同放大系數(shù)，該放大系數(shù)為不小于1的數(shù)值，例如可以是2，也可以是3等。較佳的，因為每層次高頻分量對最后融合后的圖像的影響逐層次加大，在放大系數(shù)設(shè)定上可以令放大系數(shù)逐層次減小，例如：紅外圖像對應(yīng)著3個層次的高頻分量，可以針對一層次的高頻分量設(shè)定放大系數(shù)b1＝2.0，針對二層次的高頻分量設(shè)定放大系數(shù)b1＝1.5，針對三層次的高頻分量設(shè)定放大系數(shù)b1＝1.0，根據(jù)每個層次對應(yīng)的放大系數(shù)，對紅外圖像對應(yīng)每個層次的高頻分量進(jìn)行放大處理。

實施例3：

在圖像采集過程中，在低照度的情況下，可見光圖像會出現(xiàn)大量噪聲，而對可見光圖像進(jìn)行劃分后，所述噪聲主要表現(xiàn)在可見光高頻分量中，為了提高融合后的圖像的清晰度，在本發(fā)明實施例中，所述針對可見光圖像對應(yīng)每個層次的高頻分量進(jìn)行映射處理包括：

針對可見光圖像對應(yīng)每個層次的高頻分量中的每個參數(shù)的值，判斷該參數(shù)的值的絕對值是否小于第一參數(shù)閾值；

如果是，將該參數(shù)的值更新為零；

如果否，判斷該參數(shù)的值的絕對值是否小于第二參數(shù)閾值，如果是，根據(jù)預(yù)先設(shè)定的參數(shù)調(diào)整系數(shù)對該參數(shù)的值進(jìn)行更新，其中第二參數(shù)閾值大于第一參數(shù)閾值。

可見光圖像對應(yīng)的每層次的高頻分量中每個參數(shù)的值的絕對值大小反映了可見光圖像中的邊緣等紋理信息，當(dāng)引入噪聲時，可見光高頻分量中同時存在邊緣和噪聲。由于需要保留可見光圖像中的邊緣，而去除噪聲，需要設(shè)定閾值，當(dāng)所述高頻分量中某參數(shù)的值小于這個閾值時，將該參數(shù)的值置為0。為了防止邊緣被去除，該設(shè)定閾值為一個很小的值。

圖3為本發(fā)明實施例提供的一種可見光圖像對應(yīng)的高頻分量的映射關(guān)系示意圖，具體的，針對可見光圖像對應(yīng)每個層次的高頻分量中的每個參數(shù)的值，判斷該參數(shù)的值的絕對值是否小于第一參數(shù)閾值x1，如果是，將該參數(shù)的值更新為零，如果否，判斷該參數(shù)的值的絕對值是否小于第二參數(shù)閾值x2，如果是，根據(jù)預(yù)先設(shè)定的參數(shù)調(diào)整系數(shù)對該參數(shù)的值進(jìn)行更新，其中第二參數(shù)閾值大于第一參數(shù)閾值。其中所述第一參數(shù)值x1和第二參數(shù)閾值x2為大于零的數(shù)值，其第一參數(shù)閾值小于第二參數(shù)閾值，例如第一參數(shù)閾值和第二參數(shù)閾值可以分別為0.02和0.8，也可以分別為0.1和1，具體的可以根據(jù)可見光圖像采集環(huán)境的噪音水平來確定。所述參數(shù)調(diào)整系數(shù)為大于零的數(shù)值，具體的該參數(shù)調(diào)整系數(shù)可以根據(jù)所述第一參數(shù)值x1和第二參數(shù)閾值x2確定，例如可以為x2/(x2-x1)。

實施例4：

在上述各實施例的基礎(chǔ)上，在本發(fā)明實施例中，為了方便后續(xù)針對圖像的劃分及融合步驟的進(jìn)行，并提高融合后的清晰度，在上述各實施例的基礎(chǔ)上，在本發(fā)明實施例中，所述采用相同的劃分方法，將獲取的可見光圖像和紅外圖像劃分為多個層次之前，所述方法還包括：

將所述可見光圖像和紅外圖像進(jìn)行圖像配準(zhǔn)。

具體的，針對可見光圖像和紅外圖像，可以分別提取所述可見光圖像和紅外圖像的尺度不變特征(SURF)，根據(jù)可見光圖像對應(yīng)的SURF與所述紅外圖像的SURF，進(jìn)行圖像的配準(zhǔn)。具體將所述可見光圖像和紅外圖像進(jìn)行圖像配準(zhǔn)是現(xiàn)有技術(shù)，在本發(fā)明實施例中對該過程不再進(jìn)行贅述。

實施例5：

為了提高融合后的圖像的清晰度，在上述各實施例的基礎(chǔ)上，在本發(fā)明實施例中，所述采用相同的劃分方法，將獲取的可見光圖像和紅外圖像劃分為多個層次之前，所述方法還包括：

將所述可見光圖像進(jìn)行透霧處理和/或?qū)驗V波。

具體的，對可見光圖像進(jìn)行透霧處理和/或?qū)驗V波，消除可見光圖像中的噪音，提高可見光圖像的清晰度，具體將所述可見光圖像進(jìn)行透霧處理和導(dǎo)向濾波是現(xiàn)有技術(shù)，在本發(fā)明實施例中對該過程不再進(jìn)行贅述。

為了更好的提高可見光圖像的清晰度，所述將所述可見光圖像進(jìn)行透霧處理包括：

獲取所述可見光圖像的暗通道分量；

根據(jù)所述暗通道分量中每個參數(shù)的值，確定所述暗通道分量中參數(shù)的最大值的目標(biāo)參數(shù)，識別所述目標(biāo)參數(shù)對應(yīng)的可見光圖像的目標(biāo)像素點；

將所述可見光圖像的目標(biāo)像素點的紅R值、綠G值、藍(lán)B值中的最小值作為目標(biāo)光照強(qiáng)度的數(shù)值；

將所述目標(biāo)光照強(qiáng)度的數(shù)值作為所述可見光圖像每個像素點對應(yīng)的光照強(qiáng)度的數(shù)值，判斷所述可見光圖像中每個像素點對應(yīng)的光照強(qiáng)度的數(shù)值與該像素點對應(yīng)的暗通道分量中對應(yīng)參數(shù)的值的差是否小于第一設(shè)定閾值；

如果是，根據(jù)該像素點對應(yīng)的光照強(qiáng)度的數(shù)值與像素點對應(yīng)的暗通道分量中對應(yīng)參數(shù)的值的差、所述第一設(shè)定閾值及初始透射率，確定該像素點對應(yīng)的第一透射率。

在可見光圖像采集過程中，如果存在與天空、水域接近的白色的明亮區(qū)域時，會導(dǎo)致可見光圖像對應(yīng)區(qū)域的亮度過大，造成融合后的圖像該對應(yīng)的區(qū)域亮度異常，不能對所述對應(yīng)的區(qū)域的圖像細(xì)節(jié)清晰的顯示，影響用戶的體驗，在本發(fā)明實施例中為了消除所述明亮區(qū)域?qū)λ隹梢姽鈭D像的影響，對所述可見光圖像進(jìn)行透霧處理。

具體的，針對可見光圖像，獲取所述可見光圖像的暗通道分量，比較所述暗通道分量中每個參數(shù)的值，確定暗通道分量中參數(shù)的最大值對應(yīng)的參數(shù)為目標(biāo)參數(shù)，根據(jù)目標(biāo)參數(shù)在所述暗通道分量中的位置，識別所述目標(biāo)參數(shù)對應(yīng)的可見光圖像的目標(biāo)像素點，根據(jù)所述目標(biāo)像素點對應(yīng)的紅(red，R)值、綠(green，G)值、藍(lán)(blue，B)值，將該像素點對應(yīng)的R值、G值、B值最小的數(shù)值確定為目標(biāo)光照強(qiáng)度的數(shù)值。

判斷所述目標(biāo)光照強(qiáng)度的數(shù)值與所述可見光圖像每個像素點對應(yīng)的暗通道分量中對應(yīng)參數(shù)的值是否小于第一設(shè)定閾值，第一設(shè)定閾值可以為70、80、90等，具體的第一設(shè)定閾值可以根據(jù)圖像采集環(huán)境的光照強(qiáng)度和紅外強(qiáng)度來確定。如果可見光圖像某個像素點暗通道分量中對應(yīng)參數(shù)的值大于所述第一設(shè)定閾值，則說明該像素點對應(yīng)著明亮區(qū)域，根據(jù)該像素點對應(yīng)的光照強(qiáng)度的數(shù)值，即目標(biāo)光照強(qiáng)度的數(shù)值，與該像素點對應(yīng)的暗通道分量中對應(yīng)的參數(shù)的值的差、所述第一設(shè)定閾值及初始透射率，確定該像素點對應(yīng)的第一透射率。例如：所述差的值為100、所述第一設(shè)定閾值為80,、所述初始透射率為1，可以確定該像素點對應(yīng)的第一透射率為100/(2*80)*1＝0.625。

為了消除所述明亮區(qū)域?qū)梢姽鈭D像的影響，所述根據(jù)該像素點對應(yīng)的光照強(qiáng)度的數(shù)值與像素點對應(yīng)的暗通道分量中對應(yīng)參數(shù)的值的差、所述第一設(shè)定閾值及初始透射率，確定該像素點對應(yīng)的第一透射率包括：

確定該像素點對應(yīng)的光照強(qiáng)度的數(shù)值與像素點對應(yīng)的暗通道分量中對應(yīng)參數(shù)的值的差與第一設(shè)定閾值的比值；

將所述比值及初始透射率的乘積確定為像素點對應(yīng)的第一透射率。

具體的，關(guān)于每個像素點的初始透射率，可以根據(jù)公式

進(jìn)行確定，其中DARK_C為該像素點對應(yīng)的暗通道分量中對應(yīng)參數(shù)的值，AC為目標(biāo)大氣強(qiáng)度的數(shù)值，t為初始透射率，Thr為預(yù)先設(shè)定的透霧強(qiáng)度調(diào)節(jié)閾值，數(shù)值越大透霧強(qiáng)度越大。得到每個像素點的初始透射率后，根據(jù)該像素點對應(yīng)的光照強(qiáng)度的數(shù)值與像素點對應(yīng)的暗通道分量中對應(yīng)參數(shù)的值的差與第一設(shè)定閾值的比值，將所述比值與該點對應(yīng)的初始透射率的乘積確定為該像素點對應(yīng)的第一透射率。

圖4為本發(fā)明實施例提供的一種圖像融合過程示意圖，該過程包括：

S401：將獲取的可見光圖像和紅外圖像進(jìn)行圖像配準(zhǔn)。

S402：將所述可見光圖像進(jìn)行透霧處理和/或?qū)驗V波。

S403：采用相同的劃分方法，將所述可見光圖像和紅外圖像劃分為多個層次，獲取可見光圖像和紅外圖像的低頻分量，和對應(yīng)每個層次的高頻分量。

S404：針對所述可見光圖像和紅外圖像的低頻分量中的對應(yīng)參數(shù)，判斷所述對應(yīng)參數(shù)的值的差是否大于設(shè)定閾值，如果是，進(jìn)行S405，如果否，進(jìn)行S406。

S405：將所述可見光圖像的低頻分量中該參數(shù)的值作為融合后的低頻分量中對應(yīng)參數(shù)的值。

S406：根據(jù)所述可見光圖像和紅外圖像的低頻分量中的該對應(yīng)參數(shù)的值，及預(yù)設(shè)的低頻融合算法，確定融合后的低頻分量中對應(yīng)參數(shù)的值。

S407：根據(jù)可見光圖像和紅外圖像對應(yīng)每個層次的高頻分量及預(yù)先設(shè)定的高頻融合算法，確定每個層次融合后的高頻分量。

S408：將確定的所述融合后的低頻分量和融合后的每層次的高頻分量進(jìn)行重構(gòu)，得到融合后的圖像。

實施例6：

在對根據(jù)可見光圖像的每個像素點及該像素點對應(yīng)的差值對該像素點的透射率進(jìn)行更改后，在所述明亮區(qū)域可能會產(chǎn)生色斑，影響融合后的圖像的清晰度，為了提高融合后的圖像的清晰度，在上述各實施例的基礎(chǔ)上，在本發(fā)明實施例中，確定該像素點對應(yīng)的第一透射率后，所述方法還包括：

統(tǒng)計所述可見光圖像中對應(yīng)的第一透射率小于第二設(shè)定閾值的像素點的數(shù)量，判斷所述數(shù)量與可見光圖像中像素點的總數(shù)量的比值是否大于第三設(shè)定閾值；

如果是，將所述第一透射率小于第四設(shè)定閾值的像素點的第一透射率更改為1。

具體的，統(tǒng)計所述可見光圖像中對應(yīng)的第一透射率小于第二設(shè)定閾值的像素點的數(shù)量，判斷所述數(shù)量與可見光圖像中像素點的總數(shù)量的比值是否大于第三設(shè)定閾值，如果大于第三設(shè)定閾值則需要對所述第一透射率進(jìn)行優(yōu)化，消除色斑，將所述第一透射率小于第四設(shè)定閾值的像素點的第一透射率更改為1，其中，所述第二設(shè)定閾值為預(yù)先設(shè)定的檢測閾值，可以為0.4、0.5、0.6等，所述第三設(shè)定閾值為根據(jù)圖像獲取的環(huán)境設(shè)置的，例如：白天為0.1，晚上為0.2，所述第四閾值可以根據(jù)所述所述數(shù)量與可見光圖像中像素點的總數(shù)量的比值來確定，例如可以為所述比值的3倍、4倍等。

實施例7：

為了實現(xiàn)可見光圖像和紅外圖像的低頻分量中對應(yīng)參數(shù)的融合，在上述各實施例的基礎(chǔ)上，對可見光圖像和紅外圖像的低頻分量中對應(yīng)參數(shù)的融合方式包括：

方式一、

所述根據(jù)所述可見光圖像和紅外圖像的低頻分量中的該對應(yīng)參數(shù)的值，及預(yù)設(shè)的低頻融合算法，確定融合后的低頻分量中對應(yīng)參數(shù)的值包括：

根據(jù)F_L＝L_W·V_L+(1-L_W)·N_L，確定融合后的低頻分量中對應(yīng)參數(shù)的值，其中F_L為融合后的低頻分量中對應(yīng)參數(shù)的值，V_L為可見光圖像低頻分量中該對應(yīng)參數(shù)的值，N_L為紅外圖像低頻分量中該對應(yīng)參數(shù)的值，L_W為融合時可見光圖像對應(yīng)的權(quán)重，La為預(yù)先設(shè)定的可見光圖像的融合比例，K為預(yù)先設(shè)定的閾值。

具體的，例如：預(yù)先設(shè)定的可見光圖像的融合比例La為0.8，預(yù)先設(shè)定的閾值為K為90，可見光圖像和紅外圖像的低頻分量中的該對應(yīng)參數(shù)的值分別為210、180，將可見光圖像和紅外圖像的低頻分量中的該對應(yīng)參數(shù)的值分別為210、180，代入公式得到L_W為0.7，將L_W為0.7代入公式得到F_L中對應(yīng)參數(shù)的值為201。

方式二、

所述根據(jù)所述可見光圖像和紅外圖像的低頻分量中的該對應(yīng)參數(shù)的值，及預(yù)設(shè)的低頻融合算法，確定融合后的低頻分量中對應(yīng)參數(shù)的值包括：

根據(jù)F_L＝la·V_L+(1-la)·N_L,la∈[0,1]，確定融合后的低頻分量中對應(yīng)參數(shù)的值，其中F_L為融合后的低頻分量中對應(yīng)參數(shù)的值，V_L為可見光圖像低頻分量中該對應(yīng)參數(shù)的值，N_L為紅外圖像低頻分量中該對應(yīng)參數(shù)的值，La為預(yù)先設(shè)定的可見光圖像的融合比例，其中La的取值范圍在[0，1]之間。

具體的，例如：預(yù)先設(shè)定的可見光融合比例La為0.8，可見光圖像和紅外圖像的低頻分量中的該對應(yīng)參數(shù)的值分別為210、180，將可見光圖像和紅外圖像的低頻分量中的該對應(yīng)參數(shù)的值分別為210、180，代入公式F_L＝la·V_L+(1-la)·N_L,la∈[0,1]得到F_L中對應(yīng)參數(shù)的值為204。

實施例8：

為了實現(xiàn)可見光圖像和紅外圖像對應(yīng)每個層次的高頻分量的融合，在上述各實施例的基礎(chǔ)上，對可見光圖像和紅外圖像對應(yīng)每個層次的高頻分量的融合方式包括：

方式一、所述根據(jù)可見光圖像和紅外圖像對應(yīng)每個層次的高頻分量及預(yù)先設(shè)定的高頻融合算法，確定每個層次融合后的高頻分量包括：

根據(jù)確定每個層次融合后的高頻分量，其中針對每個層次的可見光圖像對應(yīng)的高頻分量和紅外對應(yīng)對應(yīng)的低頻分量，M、N為該層次可見光圖像對應(yīng)的高頻分量和紅外圖像對應(yīng)的高頻分量對應(yīng)矩陣的的行數(shù)和列數(shù)，R為預(yù)先設(shè)定的窗口閾值，D1(i，j)為該層次可見光圖像對應(yīng)的高頻分量對應(yīng)矩陣(i，j)點對應(yīng)參數(shù)的可見光區(qū)域能量，D2(i，j)為該層次紅外圖像對應(yīng)的高頻分量對應(yīng)矩陣(i，j)點對應(yīng)參數(shù)的紅外區(qū)域能量，DD為該層次可見光圖像對應(yīng)的高頻分量對應(yīng)矩陣(i，j)點和紅外圖像對應(yīng)的高頻分量對應(yīng)矩陣(i，j)點的區(qū)域能量相關(guān)性，F(xiàn)_H為該層次融合后的高頻分量中對應(yīng)參數(shù)的值。

具體的，針對每層次的可見光圖像對應(yīng)的高頻分量中每個參數(shù)和紅外圖像對應(yīng)的高頻分量中對應(yīng)參數(shù)，確定對應(yīng)的可見光區(qū)域能量D1，紅外區(qū)域能量D2，區(qū)域能量相關(guān)性DD，

將所述D1、D2、DD代入公式確定該層次該參數(shù)對應(yīng)融合后的高頻分量中對應(yīng)參數(shù)的值。

方式二、

所述根據(jù)可見光圖像和紅外圖像對應(yīng)每個層次的高頻分量及預(yù)先設(shè)定的高頻融合算法，確定每個層次融合后的高頻分量包括：

根據(jù)確定每個層次融合后的高頻分量，其中F_H為該層次融合后的高頻分量對應(yīng)矩陣(i，j)點的參數(shù)的值，V_H為該層次可見光圖像高頻分量對應(yīng)矩陣(i，j)點的參數(shù)的值，N_H為該層次紅外圖像高頻分量對應(yīng)矩陣(i，j)點的參數(shù)的值。

具體的，確定每層次融合后的高頻分量F_H中每個參數(shù)的值時，比較對應(yīng)該層次的可見光圖像高頻分量中對應(yīng)參數(shù)的值與對應(yīng)該層次的紅外圖像高頻分量中對應(yīng)參數(shù)的值的大小，選取所述對應(yīng)參數(shù)的值較大的值作為該層次融合后的高頻分量F_H中對應(yīng)參數(shù)的值。

圖5為本發(fā)明實施例提供的一種圖像融合過程示意圖，具體的，針對獲取的可見光圖像和紅外圖像進(jìn)行圖像配準(zhǔn)，針對可見光圖像進(jìn)行透霧處理和導(dǎo)向濾波，增加可見光圖像的清晰度，將可見光圖像和紅外圖像采用同樣的劃分方法進(jìn)行劃分，獲取可見光圖像和紅外圖像的低頻分量，和對應(yīng)每個層次的高頻分量，對可見光圖像和紅外圖像的低頻分量，和對應(yīng)每個層次的高頻分量進(jìn)行處理，將處理后的可見光圖像和紅外圖像的低頻分量進(jìn)行融合得到融合后的低頻分量，將處理后的可見光圖像和紅外圖像的對應(yīng)每個層次的高頻分量進(jìn)行融合，確定每層次融合后的高頻分量，將所述融合后的低頻分量和每層次融合后的高頻分量進(jìn)行重構(gòu)，得到融合后的圖像。

實施例9：

圖6為本發(fā)明實施例提供的一種圖像融合裝置結(jié)構(gòu)示意圖，所述裝置包括：

劃分模塊61，用于采用相同的劃分方法，將獲取的可見光圖像和紅外圖像劃分為多個層次；

獲取模塊62，用于獲取可見光圖像和紅外圖像的低頻分量，和對應(yīng)每個層次的高頻分量；

低頻融合模塊63，用于針對所述可見光圖像和紅外圖像的低頻分量中的對應(yīng)參數(shù)，判斷所述對應(yīng)參數(shù)的值的差是否大于設(shè)定閾值，如果是，將所述可見光圖像的低頻分量中該參數(shù)的值作為融合后的低頻分量中對應(yīng)參數(shù)的值；如果否，根據(jù)所述可見光圖像和紅外圖像的低頻分量中的該對應(yīng)參數(shù)的值，及預(yù)設(shè)的低頻融合算法，確定融合后的低頻分量中對應(yīng)參數(shù)的值；

高頻融合模塊64，用于根據(jù)可見光圖像和紅外圖像對應(yīng)每個層次的高頻分量及預(yù)先設(shè)定的高頻融合算法，確定每個層次融合后的高頻分量；

重構(gòu)模塊65，用于將確定的所述融合后的低頻分量和每層次融合后的高頻分量進(jìn)行重構(gòu)，得到融合后的圖像。

所述裝置還包括：

第一處理模塊66，用于針對可見光圖像對應(yīng)每個層次的高頻分量進(jìn)行映射處理與中值濾波；和/或，針對紅外圖像對應(yīng)每個層次的高頻分量進(jìn)行放大處理。

所述第一處理模塊66，具體用于針對可見光圖像對應(yīng)每個層次的高頻分量中的每個參數(shù)的值，判斷該參數(shù)的值的絕對值是否小于第一參數(shù)閾值；如果是，將該參數(shù)的值更新為零；如果否，判斷該參數(shù)的值的絕對值是否小于第二參數(shù)閾值，如果是，根據(jù)預(yù)先設(shè)定的參數(shù)調(diào)整系數(shù)對該參數(shù)的值進(jìn)行更新，其中第二參數(shù)閾值大于第一參數(shù)閾值。

所述裝置還包括：

配準(zhǔn)模塊67，用于將所述可見光圖像和紅外圖像進(jìn)行圖像配準(zhǔn)。

所述裝置還包括：

第二處理模塊68，用于將所述可見光圖像進(jìn)行透霧處理和/或?qū)驗V波。

所述第二處理模塊68，具體用于獲取所述可見光圖像的暗通道分量；根據(jù)所述暗通道分量中每個參數(shù)的值，確定所述暗通道分量中參數(shù)的最大值的目標(biāo)參數(shù)，識別所述目標(biāo)參數(shù)對應(yīng)的可見光圖像的目標(biāo)像素點；將所述可見光圖像的目標(biāo)像素點的紅R值、綠G值、藍(lán)B值中的最小值作為目標(biāo)光照強(qiáng)度的數(shù)值；將所述目標(biāo)光照強(qiáng)度的數(shù)值作為所述可見光圖像每個像素點對應(yīng)的光照強(qiáng)度的數(shù)值，判斷所述可見光圖像中每個像素點對應(yīng)的光照強(qiáng)度的數(shù)值與該像素點對應(yīng)的暗通道分量中對應(yīng)參數(shù)的值的差是否小于第一設(shè)定閾值；如果是，根據(jù)該像素點對應(yīng)的光照強(qiáng)度的數(shù)值與像素點對應(yīng)的暗通道分量中對應(yīng)參數(shù)的值的差、所述第一設(shè)定閾值及初始透射率，確定該像素點對應(yīng)的第一透射率。

所述第二處理模塊68，具體用于確定該像素點對應(yīng)的光照強(qiáng)度的數(shù)值與像素點對應(yīng)的暗通道分量中對應(yīng)參數(shù)的值的差與第一設(shè)定閾值的比值；將所述比值及初始透射率的乘積確定為像素點對應(yīng)的第一透射率。

所述第二處理模塊68，還用于統(tǒng)計所述可見光圖像中對應(yīng)的第一透射率小于第二設(shè)定閾值的像素點的數(shù)量，判斷所述數(shù)量與可見光圖像中像素點的總數(shù)量的比值是否大于第三設(shè)定閾值；如果是，將所述第一透射率小于第四設(shè)定閾值的像素點的第一透射率更改為1。

所述低頻融合模塊63，具體用于根據(jù)F_L＝L_W·V_L+(1-L_W)·N_L，確定融合后的低頻分量中對應(yīng)參數(shù)的值，其中F_L為融合后的低頻分量中對應(yīng)參數(shù)的值，V_L為可見光圖像低頻分量中該對應(yīng)參數(shù)的值，N_L為紅外圖像低頻分量中該對應(yīng)參數(shù)的值，L_W為融合時可見光圖像對應(yīng)的權(quán)重，La為預(yù)先設(shè)定的可見光圖像的融合比例，K為預(yù)先設(shè)定的閾值。

所述高頻融合模塊64，具體用于根據(jù)確定每個層次融合后的高頻分量，其中針對每個層次的可見光圖像對應(yīng)的高頻分量和紅外對應(yīng)對應(yīng)的低頻分量，M、N為該層次可見光圖像對應(yīng)的高頻分量和紅外圖像對應(yīng)的高頻分量對應(yīng)矩陣的行數(shù)和列數(shù)，R為預(yù)先設(shè)定的窗口閾值，D1(i，j)為該層次可見光圖像對應(yīng)的高頻分量對應(yīng)矩陣(i，j)點對應(yīng)參數(shù)的可見光區(qū)域能量，D2(i，j)為該層次紅外圖像對應(yīng)的高頻分量對應(yīng)矩陣(i，j)點對應(yīng)參數(shù)的紅外區(qū)域能量，DD為該層次可見光圖像對應(yīng)的高頻分量對應(yīng)矩陣(i，j)點和紅外圖像對應(yīng)的高頻分量對應(yīng)矩陣(i，j)點的區(qū)域能量相關(guān)性，F(xiàn)_H為該層次融合后的高頻分量中對應(yīng)參數(shù)的值。

本發(fā)明實施例公開了一種圖像融合方法及裝置，應(yīng)用于電子設(shè)備，該方法包括：采用相同的劃分方法，將獲取的可見光圖像和紅外圖像劃分為多個層次；獲取可見光圖像和紅外圖像的低頻分量，和對應(yīng)每個層次的高頻分量，其中所述低頻分量中包含至少一個參數(shù)，所述高頻分量中包含至少一個參數(shù)；針對所述可見光圖像和紅外圖像的低頻分量中的對應(yīng)參數(shù)，判斷所述對應(yīng)參數(shù)的值的差是否大于設(shè)定閾值，如果是，將所述可見光圖像的低頻分量中該參數(shù)的值作為融合后的低頻分量中對應(yīng)參數(shù)的值；如果否，根據(jù)所述可見光圖像和紅外圖像的低頻分量中的該對應(yīng)參數(shù)的值，及預(yù)設(shè)的低頻融合算法，確定融合后的低頻分量中對應(yīng)參數(shù)的值；根據(jù)可見光圖像和紅外圖像對應(yīng)每個層次的高頻分量及預(yù)先設(shè)定的高頻融合算法，確定融合后的每個層次的高頻分量；將確定的所述融合后的低頻分量和融合后的每層次的高頻分量進(jìn)行重構(gòu)，得到融合后的圖像。由于在本發(fā)明實施例中，在根據(jù)預(yù)設(shè)的低頻融合算法，確定融合后的低頻分量中對應(yīng)參數(shù)的值之前，針對所述可見光圖像和紅外圖像的低頻分量中的對應(yīng)參數(shù)，判斷所述對應(yīng)參數(shù)的值的差是否大于設(shè)定閾值，如果所述差值大于設(shè)定閾值，將所述可見光圖像的低頻分量中該參數(shù)的值作為融合后的低頻分量中對應(yīng)參數(shù)的值，消除了因物體的材料或顏色造成紅外圖像中亮度異常變高反應(yīng)融合后的圖像不真實的問題，并根據(jù)預(yù)先設(shè)定的高頻融合算法，確定每個層次融合后的高頻分量，將確定的所述融合后的低頻分量和融合后的每層次的高頻分量進(jìn)行重構(gòu)，得到融合后的圖像。針對可見光圖像和紅外圖像進(jìn)行了深層次的融合，實現(xiàn)了對圖像細(xì)節(jié)的清晰顯示，并解決了在紅外圖像中亮度異常變高時反應(yīng)的圖像不真實的問題，提高了用戶的體驗。

對于系統(tǒng)/裝置實施例而言，由于其基本相似于方法實施例，所以描述的比較簡單，相關(guān)之處參見方法實施例的部分說明即可。

需要說明的是，在本文中，諸如第一和第二等之類的關(guān)系術(shù)語僅僅用來將一個實體或者一個操作與另一個實體或者另一個操作區(qū)分開來，而不一定要求或者暗示這些實體或者操作之間存在任何這種實際的關(guān)系或者順序。

本領(lǐng)域內(nèi)的技術(shù)人員應(yīng)明白，本申請的實施例可提供為方法、系統(tǒng)、或計算機(jī)程序產(chǎn)品。因此，本申請可采用完全硬件實施例、完全軟件實施例、或結(jié)合軟件和硬件方面的實施例的形式。而且，本申請可采用在一個或多個其中包含有計算機(jī)可用程序代碼的計算機(jī)可用存儲介質(zhì)(包括但不限于磁盤存儲器、CD-ROM、光學(xué)存儲器等)上實施的計算機(jī)程序產(chǎn)品的形式。

本申請是參照根據(jù)本申請實施例的方法、設(shè)備(系統(tǒng))、和計算機(jī)程序產(chǎn)品的流程圖和/或方框圖來描述的。應(yīng)理解可由計算機(jī)程序指令實現(xiàn)流程圖和/或方框圖中的每一流程和/或方框、以及流程圖和/或方框圖中的流程和/或方框的結(jié)合?？商峁┻@些計算機(jī)程序指令到通用計算機(jī)、專用計算機(jī)、嵌入式處理機(jī)或其他可編程數(shù)據(jù)處理設(shè)備的處理器以產(chǎn)生一個機(jī)器，使得通過計算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備的處理器執(zhí)行的指令產(chǎn)生用于實現(xiàn)在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能的裝置。

這些計算機(jī)程序指令也可存儲在能引導(dǎo)計算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備以特定方式工作的計算機(jī)可讀存儲器中，使得存儲在該計算機(jī)可讀存儲器中的指令產(chǎn)生包括指令裝置的制造品，該指令裝置實現(xiàn)在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能。

這些計算機(jī)程序指令也可裝載到計算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備上，使得在計算機(jī)或其他可編程設(shè)備上執(zhí)行一系列操作步驟以產(chǎn)生計算機(jī)實現(xiàn)的處理，從而在計算機(jī)或其他可編程設(shè)備上執(zhí)行的指令提供用于實現(xiàn)在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能的步驟。

盡管已描述了本申請的優(yōu)選實施例，但本領(lǐng)域內(nèi)的技術(shù)人員一旦得知了基本創(chuàng)造性概念，則可對這些實施例做出另外的變更和修改。所以，所附權(quán)利要求意欲解釋為包括優(yōu)選實施例以及落入本申請范圍的所有變更和修改。

顯然，本領(lǐng)域的技術(shù)人員可以對本申請進(jìn)行各種改動和變型而不脫離本申請的精神和范圍。這樣，倘若本申請的這些修改和變型屬于本申請權(quán)利要求及其等同技術(shù)的范圍之內(nèi)，則本申請也意圖包含這些改動和變型在內(nèi)。