專利名稱：基于場景景深的霧天可見光/紅外圖像彩色融合方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種基于場景景深的霧天可見光/紅外圖像彩色融合方法，屬于多波段圖像融合領(lǐng)域。
背景技術(shù)：
紅外和可見光圖像傳感器在軍事、安全監(jiān)控領(lǐng)域具有廣泛用途。可見光圖像是反射圖像，高頻成分多，在一定照度下能反映場景的細(xì)節(jié)信息；紅外圖像是輻射圖像，灰度由目標(biāo)與背景的溫差決定，不能反映真實(shí)的場景，但是紅外圖像可以突出場景中的熱目標(biāo)或冷目標(biāo)，尤其是場景中存在煙霧的情況下，紅外線可以穿透煙霧探測到被遮擋的目標(biāo)?？梢姽夂图t外圖像融合技術(shù)能夠有效地綜合和發(fā)掘二者的特征信息，突出目標(biāo)， 增強(qiáng)場景細(xì)節(jié)，有利于在隱藏、偽裝和迷惑的情況下更快、更精確地探測目標(biāo)。1996年，荷蘭國家應(yīng)用科學(xué)研究院人力因素實(shí)驗(yàn)室(TNO)提出了 TNO融合結(jié)構(gòu)(簡稱TNO法)。TNO結(jié)構(gòu)可將紅外與微光圖像差別較大的部分通過色彩突出出來。這種方法操作較為簡單，便于實(shí)時(shí)實(shí)現(xiàn)，但彩色融合后圖像動(dòng)態(tài)范圍降低，色彩對比過于強(qiáng)烈，不利于長時(shí)間觀察。美國麻省理工學(xué)院(MIT)林肯實(shí)驗(yàn)室于20世紀(jì)90年代中期提出了基于生物視覺特性的彩色融合方法(簡稱MIT法)。MIT融合結(jié)構(gòu)來源于生物的彩色視覺模型，即基于靈長類動(dòng)物視覺模型和響尾蛇對可見光和熱的感應(yīng)模型,構(gòu)造出前饋中心-周邊分離網(wǎng)絡(luò)(CSSN)，也稱為拮抗處理。基于TNO方法和拮抗方法的線性組合法是目前最常用的融合方法，即融合圖像是可見光圖像與紅外圖像的線性組合，組合系數(shù)的選擇沒有特定的標(biāo)準(zhǔn)，一般根據(jù)經(jīng)驗(yàn)獲得。色彩傳遞技術(shù)最早由Reinhard等人在2001年提出，色彩傳遞技術(shù)使用一幅顏色飽和度好、對比度高的白天自然圖像作為參考圖像，在參考圖像和色彩不佳的源圖像之間建立一種映射關(guān)系，調(diào)整源彩色圖像各個(gè)顏色分量的均值和方差，使處理后的源圖像具有與參考圖像類似的色彩。2003年Toet將色彩傳遞技術(shù)引入到多波段的圖像融合中，用以調(diào)整融合圖像的色彩，但這種基于全局均值和方差的色彩傳遞方法的效果依賴于參考圖像與源圖像場景顏色的相似度，且目前沒有成熟的參考圖像選取準(zhǔn)則。隨著單幅霧天圖像增強(qiáng)技術(shù)的發(fā)展，根據(jù)霧天成像物理模型，圖像的場景景深信息可以通過多種途徑計(jì)算得到。2008年,Raanan Fattal假設(shè)場景點(diǎn)反射率與大氣中懸浮顆粒的散射率是相互獨(dú)立的兩個(gè)量，根據(jù)獨(dú)立成分分析方法計(jì)算出了場景的景深信息。2009 年，KaimingHe基于暗通道先驗(yàn)知識也得到了與場景景深相關(guān)的傳遞參數(shù)。2009年，Peter Carr假設(shè)戶外霧天圖像中位于圖像上方的場景點(diǎn)景深往往大于圖像下方場景點(diǎn)的景深，用圖像分割和a膨脹的方法計(jì)算出了場景景深。在國內(nèi)，2007年，孫玉寶構(gòu)建了一個(gè)包含場景景深與圖像梯度的能量泛函，推導(dǎo)了相應(yīng)的包含圖像梯度和場景景深的偏微分方程，再通過用戶簡單的交互操作，估計(jì)出了場景點(diǎn)的景深。2008年，陳功利用晴天參考圖像、霧天參考圖像和場景的先驗(yàn)知識計(jì)算出霧天物理模型的部分參數(shù)，并借助于這些參數(shù)估算出場景中每個(gè)點(diǎn)與某一固定點(diǎn)的深度比。因此，場景景深信息的計(jì)算已經(jīng)有了比較成熟的發(fā)展， 根據(jù)單幅霧天圖像計(jì)算場景景深是可行的。

發(fā)明內(nèi)容
本發(fā)明的目的是為解決現(xiàn)有可見光/紅外圖像融合技術(shù)中融合系數(shù)選取沒有特定標(biāo)準(zhǔn)，融合圖像色彩不自然，以及不能有效處理霧天降質(zhì)圖像融合的問題，提出一種基于場景景深的霧天可見光/紅外圖像彩色融合方法。該基于場景景深的霧天可見光/紅外圖像彩色融合方法，包括如下步驟步驟一、根據(jù)可見光圖像，計(jì)算場景的景深信息；步驟二、計(jì)算步驟一得到的場景景深的最大值，然后用景深圖像除以該最大值，得到場景的歸一化景深信息；步驟三、根據(jù)步驟二得到的歸一化景深信息，在YUV顏色空間進(jìn)行可見光和紅外圖像的非線性加權(quán)彩色融合；步驟四、選取參考圖像，將參考圖像變換至YUV顏色空間，并分別計(jì)算參考圖像在 Y、U、V通道的均值和方差；步驟五、計(jì)算均值矩陣和方差矩陣，并進(jìn)行色彩傳遞；步驟六、將色彩傳遞后的YUV空間融合圖像變換至RGB顏色空間。步驟一中場景的景深信息為一幅與可見光圖像大小相同的灰度圖像，其中景深圖像中灰度值大的像素點(diǎn)對應(yīng)于可見光圖像中景深大的像素點(diǎn)，且可見光圖像中霧較厚區(qū)域的灰度值大于霧較薄區(qū)域的灰度值。步驟二中歸一化景深信息的取值范圍在0和I之間。步驟三中非線性加權(quán)彩色融合采用以下方法首先新建一幅Y、U、V三個(gè)通道值全為0的YUV圖像；然后，將可見光圖像像素值賦給新建YUV圖像的U通道，將紅外圖像像素值賦給新建YUV圖像的V通道，得到融合圖像的色差通道；最后將可見光圖像和紅外圖像進(jìn)行非線性組合得到新建YUV圖像的Y通道，其中紅外圖像的非線性組合系數(shù)為步驟二中的歸一化景深，可見光圖像的非線性組合系數(shù)是用步驟一中場景的景深減去歸一化景深。步驟五中計(jì)算均值矩陣和方差矩陣采用以下方法首先用步驟二得到的歸一化景深乘以方差，分別得到Y(jié)、U、V通道的方差矩陣，用步驟一的景深減去步驟二得到的歸一化景深，乘以均值，分別得到Y(jié)、U、V通道的均值矩陣；然后建立映射關(guān)系，將Y、U、V通道的方差矩陣和均值矩陣作為參考圖像的均值和方差信息傳遞給融合圖像，得到Y(jié)UV空間色彩傳遞后的融合圖像。用于彩色融合的可見光圖像和紅外圖像是灰度圖像。用于彩色融合的可見光圖像和紅外圖像是霧天拍攝的圖像。本發(fā)明的有益效果本發(fā)明所提供的基于場景景深的霧天可見光/紅外圖像彩色融合方法，與現(xiàn)有技術(shù)相比，主要改進(jìn)之處在于①基于場景景深的彩色融合方法對可見光圖像質(zhì)量沒有嚴(yán)格要求，本發(fā)明所提供的方法更適用于霧天降質(zhì)圖像的融合。②將場景細(xì)節(jié)信息與景深大小關(guān)聯(lián)起來。根據(jù)人眼視覺特性及受霧天影響的可見光圖像特點(diǎn)，場景細(xì)節(jié)豐富程度與景深存在反比關(guān)系，結(jié)合景深信息的融合既能包含可見光細(xì)節(jié)信息，又能突出紅外圖像中的熱目標(biāo)或冷目標(biāo)。
③將參考圖像的均值和方差與場景景深聯(lián)系起來，將與景深相關(guān)的方差矩陣和均值矩陣作為參考圖像的顏色特征信息傳遞給融合圖像。


圖I為本發(fā)明基于場景景深的霧天可見光/紅外圖像自然感彩色融合方法的流程圖；圖2為具體實(shí)施例中受人工煙霧影響的實(shí)際場景圖像；其中，(a)為彩色可見光圖像、(b)為中波紅外圖像；圖3為具體實(shí)施例中由圖2(a)計(jì)算出的場景景深信息；其中，(a)為歸一化場景景深、(b)為用I減去(a)得到的信息；圖4為具體實(shí)施例中與圖I具有相似場景的彩色參考圖像；圖5為具體實(shí)施例中基于圖3的場景景深信息的RGB空間自然感彩色融合圖像。
具體實(shí)施例方式為了進(jìn)一步說明本發(fā)明的目的和優(yōu)點(diǎn)，下面結(jié)合附圖和具體實(shí)施例對本發(fā)明作進(jìn)一步的說明。本發(fā)明所述方法的工作原理為霧天情況下，可見光圖像中的場景細(xì)節(jié)信息被淹沒，而紅外線可以穿透煙霧，紅外圖像可以突出被遮擋的目標(biāo)。根據(jù)霧天成像物理模型，可見光圖像的退化程度與場景景深存在指數(shù)關(guān)系，隨著景深的增大，圖像退化速度指數(shù)增加， 因此圖像融合過程中考慮場景的景深信息是合理可行的。本實(shí)施例中采用同一場景受人工煙霧影響而降質(zhì)的中波紅外圖像與可見光圖像(如附圖2)來進(jìn)行基于場景景深的霧天可見光/紅外圖像自然感彩色融合。其具體實(shí)現(xiàn)過程包括如圖I所示的步驟。a.根據(jù)可見光圖像計(jì)算場景景深；可見光圖像如附圖2(a)，根據(jù)成像物理模型和暗通道先驗(yàn)知識，計(jì)算出場景的景深圖像，如附圖3(a)，場景的景深圖像是一幅與可見光圖像大小相同的灰度圖像，其中景深圖像中灰度值大的像素點(diǎn)對應(yīng)于可見光圖像中景深大的像素點(diǎn)，且可見光圖像中霧較厚區(qū)域的灰度值大于霧較薄區(qū)域的灰度值。b.景深圖像歸一化；首先計(jì)算景深圖像灰度值的最大值，然后用景深圖像的每個(gè)灰度值除以該最大值，得到歸一化的景深信息，記作normd,歸一化景深信息的取值范圍在0和I之間；c. YUV空間彩色融合；首先新建一幅Y、U、V三個(gè)通道值全為0的YUV圖像F ;然后，將可見光圖像像素值賦給新建YUV圖像的U通道，將紅外圖像像素值賦給新建YUV圖像的V通道，得到融合圖像的色差通道；最后，將可見光圖像和紅外圖像進(jìn)行非線性組合得到新建YUV圖像的Y通道， 其中紅外圖像的非線性組合系數(shù)是步驟b中得到的歸一化景深normd，可見光圖像的非線性組合系數(shù)是用I減去步驟b中得到的歸一化景深normd，用公式表示為
其中F表示YUV空間融合圖像，IR表示紅外圖像，Vis表示可見光圖像，normd表示歸一化景深，下標(biāo)Y、U、V分別表示YUV顏色空間的三個(gè)通道。d. YUV空間非線性色彩傳遞；首先，選擇一幅與可見光圖像具有相似場景的彩色圖像作為參考圖像，如附圖4 所示；其次，將參考圖像變換至YUV顏色空間，并分別計(jì)算參考圖像在Y、U、V通道的均值和方差，記作yYMf、yuMf、yVM、。^、。^、；再次，用步驟b得到的歸一化景深乘以方差，分別得到Y(jié)、U、V通道的方差矩陣0Yd、O'、0vd，用I減去步驟b得到的歸一化景深乘以均值，分別得到Y(jié)、U、V通道的均值矩陣yYd、uud, Uvd，用公式表示為
權(quán)利要求
1.基于場景景深的霧天可見光/紅外圖像彩色融合方法，其特征在于，包括如下步驟步驟一、根據(jù)可見光圖像，計(jì)算場景的景深信息；步驟二、計(jì)算步驟一得到的場景景深的最大值，然后用景深圖像除以該最大值，得到場景的歸一化景深信息；步驟三、根據(jù)步驟二得到的歸一化景深信息，在YUV顏色空間進(jìn)行可見光和紅外圖像的非線性加權(quán)彩色融合；步驟四、選取參考圖像，將參考圖像變換至YUV顏色空間，并分別計(jì)算參考圖像在Y、U、 V通道的均值和方差；步驟五、計(jì)算均值矩陣和方差矩陣，并進(jìn)行色彩傳遞；步驟六、將色彩傳遞后的YUV空間融合圖像變換至RGB顏色空間。
2.如權(quán)利要求I所述的基于場景景深的霧天可見光/紅外圖像彩色融合方法，其特征在于，步驟一中場景的景深信息為一幅與可見光圖像大小相同的灰度圖像，其中景深圖像中灰度值大的像素點(diǎn)對應(yīng)于可見光圖像中景深大的像素點(diǎn)，且可見光圖像中霧較厚區(qū)域的灰度值大于霧較薄區(qū)域的灰度值。
3.如權(quán)利要求I所述的基于場景景深的霧天可見光/紅外圖像彩色融合方法，其特征在于，步驟二中歸一化景深信息的取值范圍在0和I之間。
4.如權(quán)利要求I或2或3所述的基于場景景深的霧天可見光/紅外圖像彩色融合方法，其特征在于，步驟三中非線性加權(quán)彩色融合采用以下方法首先新建一幅Y、U、V三個(gè)通道值全為0的YUV圖像；然后，將可見光圖像像素值賦給新建YUV圖像的U通道，將紅外圖像像素值賦給新建YUV圖像的V通道，得到融合圖像的色差通道；最后將可見光圖像和紅外圖像進(jìn)行非線性組合得到新建YUV圖像的Y通道，其中紅外圖像的非線性組合系數(shù)為步驟二中的歸一化景深，可見光圖像的非線性組合系數(shù)是用步驟一中場景的景深減去歸一化景深。
5.如權(quán)利要求I或2或3所述的基于場景景深的霧天可見光/紅外圖像彩色融合方法，其特征在于，步驟五中計(jì)算均值矩陣和方差矩陣采用以下方法首先用步驟二得到的歸一化景深乘以方差，分別得到Y(jié)、U、V通道的方差矩陣，用步驟一的景深減去步驟二得到的歸一化景深，乘以均值，分別得到Y(jié)、U、V通道的均值矩陣；然后建立映射關(guān)系，將Y、U、V通道的方差矩陣和均值矩陣作為參考圖像的均值和方差信息傳遞給融合圖像，得到Y(jié)UV空間色彩傳遞后的融合圖像。
6.如權(quán)利要求I或2或3所述的基于場景景深的霧天可見光/紅外圖像彩色融合方法，其特征在于用于彩色融合的可見光圖像和紅外圖像為灰度圖像。
7.如權(quán)利要求I或2或3所述的基于場景景深的霧天可見光/紅外圖像彩色融合方法，其特征在于用于彩色融合的可見光圖像和紅外圖像為霧天拍攝的圖像。
全文摘要
本發(fā)明涉及一種基于場景景深的霧天可見光/紅外圖像彩色融合方法，屬于多波段圖像融合領(lǐng)域。本發(fā)明的目的是為解決現(xiàn)有可見光/紅外圖像融合技術(shù)中融合系數(shù)選取沒有特定標(biāo)準(zhǔn)，融合圖像色彩不自然，以及不能有效處理受霧天或人工煙霧影響的圖像的問題。首先根據(jù)霧天可見光圖像計(jì)算場景的景深圖像，并歸一化，得到景深信息；然后，將歸一化景深信息作為可見光和紅外圖像融合的權(quán)重因子，進(jìn)行可見光和紅外圖像的非線性加權(quán)彩色融合；最后，建立映射關(guān)系，用非線性色彩傳遞技術(shù)修正非線性加權(quán)的彩色融合結(jié)果，得到熱目標(biāo)突出、顏色真實(shí)自然的彩色融合圖像。
文檔編號G06T5/50GK102609927SQ20121000938
公開日2012年7月25日 申請日期2012年1月12日 優(yōu)先權(quán)日2012年1月12日
發(fā)明者張貝, 王嶺雪, 陳榕齊 申請人:北京理工大學(xué)