專利名稱：基于霧天圖像復(fù)原和圖像融合的圖像去霧方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理領(lǐng)域，尤其涉及一種基于可見光圖像和近紅外圖像，結(jié)合暗原色先驗(yàn)和加權(quán)最小二乘濾波器的去霧方法。
背景技術(shù)：
在霧天情況下，由于景物的能見度降低，以致在相機(jī)獲取的圖像中，目標(biāo)對(duì)比度和顏色特征被大大地衰減，因此需要消除霧氣的影響。隨著計(jì)算機(jī)技術(shù)的不斷發(fā)展，對(duì)有霧條件下的景物影像進(jìn)行去霧處理已經(jīng)成為可能。事實(shí)上，圖像去霧一直是計(jì)算機(jī)視覺領(lǐng)域研究的重要內(nèi)容，其主要應(yīng)用在目標(biāo)探測(cè)、視頻監(jiān)控、地形勘測(cè)和自動(dòng)駕駛等領(lǐng)域。目前圖像去霧的方法主要有兩類，即霧天圖像增強(qiáng)和霧天圖像復(fù)原。霧天圖像的增強(qiáng)方法不考慮圖像退化的原因，單從圖像處理的角度出發(fā)，增強(qiáng)圖像的對(duì)比度，改善圖像的視覺效果，突出圖像的細(xì)節(jié)，但對(duì)于突出部分的信息可能會(huì)造成一定損失；霧天圖像復(fù)原是研究霧天圖像退化的物理過程，建立退化模型，反演退化過程，補(bǔ)償由于霧氣存在所造成的圖像失真，從而改善霧天圖像的質(zhì)量。這種方法針對(duì)性強(qiáng)，得到的去霧效果自然，一般不會(huì)有信息損失，處理的關(guān)鍵點(diǎn)是模型中參數(shù)的估計(jì)。圖像融合是指將不同波段采集到的同一目標(biāo)的圖像數(shù)據(jù)經(jīng)過圖像處理和計(jì)算機(jī)技術(shù)等，最大限度的提取各波段圖像中的有效信息，最后融合成高質(zhì)量的圖像，從而提高圖像信息的利用率，增強(qiáng)圖像中信息透明度和目標(biāo)的對(duì)比度，以形成對(duì)目標(biāo)信息描述的清晰性、完整性和準(zhǔn)確性。圖像融合在醫(yī)學(xué)、遙感、計(jì)算機(jī)視覺、氣象預(yù)報(bào)及軍事目標(biāo)識(shí)別等方面的應(yīng)用潛力得到充分認(rèn)識(shí)、尤其在計(jì)算機(jī)視覺方面，圖像融合被認(rèn)為是克服目前某些難點(diǎn)的技術(shù)方向；在航天、航空多種運(yùn)載平臺(tái)上，各種遙感器所獲得的大量光譜遙感圖像的融合，為信息的高效提取提供了良好的處理手段，取得明顯效益。但是，目前還沒有提出結(jié)合霧天圖像復(fù)原和圖像融合的圖像去霧方法，傳統(tǒng)的霧天圖像去霧方法的效果均不夠理想。

發(fā)明內(nèi)容
本發(fā)明的目的是提供一種去霧后圖像清晰、對(duì)比度和清晰度高、細(xì)節(jié)豐富的基于霧天圖像復(fù)原與圖像融合的圖像去霧方法。為解決上述技術(shù)問題，本發(fā)明采用的技術(shù)方案為一種基于霧天圖像復(fù)原與圖像融合的圖像去霧方法，其實(shí)施步驟如下1)輸入同一有霧場(chǎng)景的可見光圖像和近紅外圖像，將可見光圖像的亮度信息和近紅外圖像分別進(jìn)行多次加權(quán)最小二乘濾波，根據(jù)濾波結(jié)果獲取經(jīng)融合的圖像亮度信息；2)用融合后的圖像亮度信息替代原可見光圖像的亮度信息，得到初步去霧結(jié)果；3)獲取融合可見光圖像的暗原色，并根據(jù)暗原色獲取融合可見光圖像的大氣光值；4)根據(jù)暗原色先驗(yàn)獲取融合可見光圖像的透射率初始值，根據(jù)軟摳圖方法對(duì)透射率初始值進(jìn)行優(yōu)化，得到優(yōu)化后的透射率；
5)根據(jù)霧圖形成模型，利用所述大氣光值和所述優(yōu)化后的透射率恢復(fù)所述融合可見光圖像，得到最終去霧圖像。作為本發(fā)明上述技術(shù)方案的進(jìn)一步改進(jìn)所述步驟1)中進(jìn)行多次加權(quán)最小二乘濾波并根據(jù)濾波結(jié)果獲得經(jīng)融合的圖像亮度信息具體是指將可見光圖像的亮度信息或者近紅外圖像作為輸入?yún)?shù)進(jìn)行第一次加權(quán)最小二乘濾波，然后將當(dāng)前的濾波結(jié)果作為下一次濾波的輸入?yún)?shù)進(jìn)行多次加權(quán)最小二乘濾波，獲取每一次濾波的輸入?yún)?shù)與輸出結(jié)果的差值，并將該差值除以當(dāng)次濾波的輸出結(jié)果，獲得與濾波次數(shù)相對(duì)應(yīng)的多組可見光圖像亮度信息和近紅外圖像的對(duì)比圖像；將所述多組對(duì)比圖像中的每一組可見光圖像亮度信息和近紅外圖像的對(duì)比圖像進(jìn)行比較獲取其中的較大值，然后將較大值加1后進(jìn)行連乘運(yùn)算，再將連乘運(yùn)算結(jié)果乘以最后一次濾波輸出的可見光圖像的亮度信息，得到融合后的圖像亮度信息。步驟1)中進(jìn)行加權(quán)最小二乘濾波時(shí)，加權(quán)最小二乘濾波的表達(dá)式為 =w^AzD，其中Zi為第k次濾波的輸入?yún)?shù)，ζ表示輸入的初步去霧圖像的亮度信息
或近紅外圖像，為第k次濾波的輸出參數(shù)以及第k+1次濾波的輸入?yún)?shù)，WvJO為加權(quán)最小二乘濾波器。所述加權(quán)最小二乘濾波器^viO的表達(dá)式為= +^其中XtlCk 為第k次濾波結(jié)果的粗糙度，λ ^為進(jìn)行第一次濾波時(shí)輸入?yún)?shù)的粗糙度，c為常數(shù)系數(shù)，k 為濾波序號(hào)，Lg為拉普拉斯矩陣，U為和Lg相同大小的單位矩陣。所述步驟3)中獲取融合可見光圖像的暗原色具體是指根據(jù)
嚴(yán)⑷=00))獲取融合可見光圖像的暗原色I(xiàn)tok，其中C表示r通道、g通道
或者b通道；Γ表示圖I的c通道的分量，I為輸入的融合可見光圖像，Ω (χ)表示以像素點(diǎn)χ為中心的正方形區(qū)域。所述步驟幻中獲取融合可見光圖像的大氣光值具體是指首先從融合可見光圖像的暗原色的所有點(diǎn)中提取部分最亮點(diǎn)，然后在所述部分最亮點(diǎn)對(duì)應(yīng)可見光圖像的像素中選擇強(qiáng)度最大的像素點(diǎn)的值作為大氣光值。所述步驟4)中根據(jù)暗原色先驗(yàn)獲取融合可見光圖像的透射率初始值具體是指 根據(jù)i' = l- min(min4^)獲取融合可見光圖像的透射率初始值t'，其中c為r通道、g通
C Ω Ac
道或者b通道；Γ為圖I的c通道的分量，I為輸入的融合可見光圖像，Ω為以像素點(diǎn)χ為中心的正方形區(qū)域，Ae為大氣光值的c通道的分量，ω為常數(shù)系數(shù)。所述步驟4)中根據(jù)軟摳圖方法對(duì)透射率初始值進(jìn)行優(yōu)化具體是指根據(jù)t = Xt' /(L+λ U)獲取優(yōu)化后的透射率t，其中L為軟摳圖拉普拉斯矩陣，λ為修正參數(shù)，U 為和L相同大小的單位矩陣。所述步驟幻中恢復(fù)融合可見光圖像具體是指根據(jù)J= W+」獲取最終去
霧圖像J，其中I為輸入的融合可見光圖像，A為大氣光值，t為優(yōu)化后的透射率，t0為常數(shù)。本發(fā)明具有下述優(yōu)點(diǎn)本發(fā)明提出了一種結(jié)合暗原色先驗(yàn)和加權(quán)最小二乘濾波器的圖像去霧算法，利用基于暗原色先驗(yàn)的單幅霧天圖像去霧方法，以及基于加權(quán)最小二乘濾波器的可見光圖像和近紅外圖像的融合技術(shù)，得到清晰的去霧圖像，該算法能有效地提高霧天圖像的對(duì)比度和清晰度，增加圖像細(xì)節(jié)信息，能顯著改善由霧氣造成的圖像對(duì)比度下降、景物顏色失真以及亮度減弱等圖像質(zhì)量退化的情況，得到高質(zhì)量的去霧圖像，具有去霧圖像清晰、對(duì)比度和清晰度高、細(xì)節(jié)豐富的優(yōu)點(diǎn)。


圖1為本發(fā)明實(shí)施例的實(shí)施流程示意圖；圖2為輸入的有霧場(chǎng)景的可見光圖像；圖3為與圖2同一場(chǎng)景的近紅外圖像；圖4為根據(jù)最小二乘濾波由圖2、圖3得到的融合圖像，即初步去霧圖像；圖5為圖4的暗原色；圖6為根據(jù)暗原色先驗(yàn)得到的透射率初始值；圖7為根據(jù)軟摳圖方法得到的透射率的優(yōu)化值；圖8為根據(jù)霧圖形成模型得到的最終去霧圖像。
具體實(shí)施例方式如圖1所示，本發(fā)明實(shí)施例基于霧天圖像復(fù)原與圖像融合的圖像去霧方法的實(shí)施步驟如下1)輸入同一有霧場(chǎng)景的可見光圖像和近紅外圖像，將可見光圖像的亮度信息和近紅外圖像分別進(jìn)行多次加權(quán)最小二乘濾波，根據(jù)濾波結(jié)果獲取經(jīng)融合的圖像亮度信息；2)用融合后的圖像亮度信息替代原可見光圖像的亮度信息，得到初步去霧結(jié)果；3)獲取融合可見光圖像的暗原色，并根據(jù)暗原色獲取融合可見光圖像的大氣光值；4)根據(jù)暗原色先驗(yàn)獲取融合可見光圖像的透射率初始值，根據(jù)軟摳圖方法對(duì)透射率初始值進(jìn)行優(yōu)化，得到優(yōu)化后的透射率；5)根據(jù)霧圖形成模型，利用大氣光值和優(yōu)化后的透射率恢復(fù)融合可見光圖像，得到最終去霧圖像。步驟1)中進(jìn)行多次加權(quán)最小二乘濾波并根據(jù)濾波結(jié)果獲得經(jīng)融合的圖像亮度信息具體是指將可見光圖像(如圖2所示)的亮度信息或者近紅外圖像(如圖3所示)作為輸入?yún)?shù)進(jìn)行第一次加權(quán)最小二乘濾波，然后將當(dāng)前的濾波結(jié)果作為下一次濾波的輸入?yún)?shù)進(jìn)行多次加權(quán)最小二乘濾波，獲取每一次濾波的輸入?yún)?shù)與輸出結(jié)果的差值，并將該差值除以當(dāng)次濾波的輸出結(jié)果，獲得與濾波次數(shù)相對(duì)應(yīng)的多組可見光圖像亮度信息和近紅外圖像的對(duì)比圖像；將多組對(duì)比圖像中的每一組可見光圖像亮度信息和近紅外圖像的對(duì)比圖像進(jìn)行比較獲取其中的較大值，然后將較大值加1后進(jìn)行連乘運(yùn)算，再將連乘運(yùn)算結(jié)果乘以最后一次濾波輸出的可見光圖像的亮度信息，得到融合后的圖像亮度信息。步驟1)中進(jìn)行加權(quán)最小二乘濾波時(shí)，加權(quán)最小二乘濾波的表達(dá)式為 =w^AzD，其中ζ:為第k次濾波的輸入?yún)?shù)，ζ表示輸入的初步去霧圖像的亮度信息
或近紅外圖像，^v1為第k次濾波的輸出參數(shù)以及第k+1次濾波的輸入?yún)?shù)，WvJO為加權(quán)最小二乘濾波器。
本實(shí)施例中，加權(quán)最小二乘濾波器WvO的表達(dá)式為= +\其中λ 0ck為第k次濾波結(jié)果的粗糙度，λ 0為進(jìn)行第一次濾波時(shí)輸入?yún)?shù)的粗糙度，c為常數(shù)系數(shù)，k為濾波序號(hào)，Lg為拉普拉斯矩陣，U為和Lg相同大小的單位矩陣。本實(shí)施例中，λ0 =0. 1，C = 2。拉普拉斯矩陣的表達(dá)式為Lg =DtxAxDx +DryAyDy，Dx和Dy為離散差分算子，Ax、Ay 是對(duì)角矩陣，其元素定義為
權(quán)利要求
1.一種基于霧天圖像復(fù)原與圖像融合的圖像去霧方法，其特征在于其實(shí)施步驟如下1)輸入同一有霧場(chǎng)景的可見光圖像和近紅外圖像，將可見光圖像的亮度信息和近紅外圖像分別進(jìn)行多次加權(quán)最小二乘濾波，根據(jù)濾波結(jié)果獲取經(jīng)融合的圖像亮度信息；2)用融合后的圖像亮度信息替代原可見光圖像的亮度信息，得到初步去霧結(jié)果；3)獲取融合可見光圖像的暗原色，并根據(jù)暗原色獲取融合可見光圖像的大氣光值；4)根據(jù)暗原色先驗(yàn)獲取融合可見光圖像的透射率初始值，根據(jù)軟摳圖方法對(duì)透射率初始值進(jìn)行優(yōu)化，得到優(yōu)化后的透射率；5)根據(jù)霧圖形成模型，利用所述大氣光值和所述優(yōu)化后的透射率恢復(fù)所述融合可見光圖像，得到最終去霧圖像。
2.根據(jù)權(quán)利要求1所述的基于霧天圖像復(fù)原與圖像融合的圖像去霧方法，其特征在于所述步驟1)中進(jìn)行多次加權(quán)最小二乘濾波并根據(jù)濾波結(jié)果獲得經(jīng)融合的圖像亮度信息具體是指將可見光圖像的亮度信息或者近紅外圖像作為輸入?yún)?shù)進(jìn)行第一次加權(quán)最小二乘濾波，然后將當(dāng)前的濾波結(jié)果作為下一次濾波的輸入?yún)?shù)進(jìn)行多次加權(quán)最小二乘濾波，獲取每一次濾波的輸入?yún)?shù)與輸出結(jié)果的差值，并將該差值除以當(dāng)次濾波的輸出結(jié)果，獲得與濾波次數(shù)相對(duì)應(yīng)的多組可見光圖像亮度信息和近紅外圖像的對(duì)比圖像；將所述多組對(duì)比圖像中的每一組可見光圖像亮度信息和近紅外圖像的對(duì)比圖像進(jìn)行比較獲取其中的較大值，然后將較大值加1后進(jìn)行連乘運(yùn)算，再將連乘運(yùn)算結(jié)果乘以最后一次濾波輸出的可見光圖像的亮度信息，得到融合后的圖像亮度信息。
3.根據(jù)權(quán)利要求2所述的基于霧天圖像復(fù)原與圖像融合的圖像去霧方法，其特征在于所述步驟1)中進(jìn)行加權(quán)最小二乘濾波時(shí)，加權(quán)最小二乘濾波的表達(dá)式為 ζΓ+ι =w^(Zak)，其中ζ；"為第k次濾波的輸入?yún)?shù)，ζ表示輸入的初步去霧圖像的亮度信息或近紅外圖像，ζ:為第k次濾波的輸出參數(shù)以及第k+1次濾波的輸入?yún)?shù)，WvJO為加權(quán)最小二乘濾波器。
4.根據(jù)權(quán)利要求3所述的基于霧天圖像復(fù)原與圖像融合的圖像去霧方法，其特征在于所述加權(quán)最小二乘濾波器^/(·)的表達(dá)式為=^其中人乂為第k次濾波結(jié)果的粗糙度，λ ^為進(jìn)行第一次濾波時(shí)輸入?yún)?shù)的粗糙度，c為常數(shù)系數(shù)，k為濾波序號(hào)，Lg為拉普拉斯矩陣，U為和Lg相同大小的單位矩陣。
5.根據(jù)權(quán)利要求1所述的基于霧天圖像復(fù)原與圖像融合的圖像去霧方法，其特征在于所述步驟3)中獲取融合可見光圖像的暗原色具體是指根據(jù)7^00=41 ^ ω))獲取融合可見光圖像的暗原色I(xiàn)tok，其中c表示r通道、g通道或者b通道；Γ表示圖I的c 通道的分量，I為輸入的融合可見光圖像，Ω (χ)表示以像素點(diǎn)χ為中心的正方形區(qū)域。
6.根據(jù)權(quán)利要求5所述的基于霧天圖像復(fù)原與圖像融合的圖像去霧方法，其特征在于所述步驟3)中獲取融合可見光圖像的大氣光值具體是指首先從融合可見光圖像的暗原色的所有點(diǎn)中提取部分最亮點(diǎn)，然后在所述部分最亮點(diǎn)對(duì)應(yīng)可見光圖像的像素中選擇強(qiáng)度最大的像素點(diǎn)的值作為大氣光值。
7.根據(jù)權(quán)利要求1所述的基于霧天圖像復(fù)原與圖像融合的圖像去霧方法，其特征在于所述步驟4)中根據(jù)暗原色先驗(yàn)獲取融合可見光圖像的透射率初始值具體是指根據(jù) ' = 1~ω min(min獲取融合可見光圖像的透射率初始值t ‘，其中c為r通道、g通道或c ω a者b通道；Γ為圖I的c通道的分量，I為輸入的融合可見光圖像，Ω為以像素點(diǎn)χ為中心的正方形區(qū)域，Ae為大氣光值的c通道的分量，ω為常數(shù)系數(shù)。
8.根據(jù)權(quán)利要求7所述的基于霧天圖像復(fù)原與圖像融合的圖像去霧方法，其特征在于所述步驟4)中根據(jù)軟摳圖方法對(duì)透射率初始值進(jìn)行優(yōu)化具體是指根據(jù)t= At' / (L+AU)獲取優(yōu)化后的透射率t，其中L為軟摳圖拉普拉斯矩陣，λ為修正參數(shù)，U為和L相同大小的單位矩陣。
9.根據(jù)權(quán)利要求1 8中任意一項(xiàng)所述的基于霧天圖像復(fù)原與圖像融合的圖像去霧方法，其特征在于所述步驟幻中恢復(fù)融合可見光圖像具體是指根據(jù)J= w+乂獲取最終去霧圖像J，其中I為輸入的融合可見光圖像，A為大氣光值，t為優(yōu)化后的透射率，t0為常數(shù)。
全文摘要
本發(fā)明公開了一種基于霧天圖像復(fù)原與圖像融合的圖像去霧方法，其實(shí)施步驟如下1)輸入同一有霧場(chǎng)景的可見光圖像和近紅外圖像，將可見光圖像的亮度信息和近紅外圖像分別進(jìn)行多次加權(quán)最小二乘濾波，根據(jù)濾波結(jié)果獲取經(jīng)過融合的圖像亮度信息；2)用融合后的圖像亮度信息替代原可見光圖像的亮度信息，得到初步去霧結(jié)果；3)獲取融合可見光圖像的暗原色，根據(jù)暗原色獲取融合可見光圖像的大氣光值；4)根據(jù)暗原色先驗(yàn)獲取融合可見光圖像的透射率初始值，根據(jù)軟摳圖方法優(yōu)化透射率初始值得到優(yōu)化后的透射率；5)根據(jù)霧圖形成模型，利用大氣光值和優(yōu)化后的透射率恢復(fù)融合可見光圖像得到最終去霧圖像。本發(fā)明具有提高霧天圖像的對(duì)比度和清晰度、增加霧天圖像細(xì)節(jié)的優(yōu)點(diǎn)。
文檔編號(hào)G06T5/50GK102243758SQ201110197800
公開日2011年11月16日 申請(qǐng)日期2011年7月14日 優(yōu)先權(quán)日2011年7月14日
發(fā)明者馮華君, 徐之海, 李奇, 陶叔銀 申請(qǐng)人:浙江大學(xué)