本發(fā)明屬于圖像處理和分析技術領域，特別是在存在吸收和散射光學衰減的環(huán)境中，例如霧天及水下環(huán)境中拍攝彩色圖像的基于暗通道理論的水下彩色圖像增強方法。

背景技術：

水下視覺是海洋探測、海洋生物調查、水下工程監(jiān)測中重要的科學研究依據(jù)。在水中，水體光學衰減、散射及光源照明使得拍攝的水下圖像存在可見距離小、低對比度、模糊、非均勻照明、亮斑、色彩投射和各種噪聲等復雜退化，因此在應用計算機視覺方法進行各種水下視頻分析及圖像的處理應用中，水下圖像的復原或增強都是必要的處理過程。光在水中傳輸，水體內部光學屬性(iop)決定的吸收和散射影響了整個水下成像的效果。浮游生物、彩色溶解有機質和總懸浮物質的濃度和目標距離成也是影響水下彩色圖像質量的主要因素。前向散射導致圖像特征的模糊，后向散射通常使圖像的對比度降低，產生霧狀模糊疊加在圖像上。隨著水下深度的增加，色彩按照波長依次消失，在靠近光譜紅色一端的波長的吸收速度大約是靠近藍色端光譜吸收速度的100倍，藍色由于波長最短，在水下傳播的距離最長。運動作業(yè)時所引起的浪花、漩渦、泥沙及各種海洋生物的影響也導致了圖像的不規(guī)則模糊。除此以外，成像系統(tǒng)、光源色溫都將對水下彩色圖像的質量產生影響。

水下圖像增強主要包括了對圖像對比度、清晰度和色彩補償?shù)确矫娴难芯俊＝陙?，研究人員基于he等人提出的圖像去霧理論提出了很多水下圖像增強方法，he等人對自然白天的圖像進行統(tǒng)計，提出暗通道假設，認為無霧自然圖像中至少有一個彩色通道有非常低的亮度值，因此暗通道的亮度增加是因為霧，經典暗通道法通過選擇暗通道中最亮的像素對應的彩色分量值作為背景光估計值。chiang等在暗通道的基礎上，假設已知衰減系數(shù)，通過估計圖像的深度圖，將圖像分割為前景和背景部分然后通過顏色矯正對圖像進行增強，但是這種方法僅對于偏藍色背景的清澈水下圖像較為有效。galdran等提出了紅通道假設，提出在水中隨著距離增加紅通道衰減的更快，后向散射背景光通過紅通道的最大值來估計。carlevaris-bianco等人提出的暗通道法從藍-綠通道與紅通道差值的最大值來估計傳輸圖，用傳輸圖的最小值作為后向散射背景光。在已有的水下圖像去霧增強方法中，后向散射背景光都是被假設為在整幅圖像中是均勻的。但實際上，在水下環(huán)境中，水中的懸浮顆粒的濃度較高，光線-顆粒的交互散射作用結果使圖像的背景光亮度并不均勻。在經典暗通道的基礎上，emberton等人提出了分層后向散射背景光估計法，但是必須根據(jù)一些圖像特征找到圖像中最模糊的區(qū)域。ancuti等人提出了基于局部暗通道最大值的后向散射背景光估計法來實現(xiàn)多尺度的水下圖像融合增強?；诰植勘尘肮獾膬蓚€方法中，都是對暗通道直接求局部最大值，目前的這些方法雖然取得了一定的去霧及色彩增強效果，但增強的水下圖像清晰度不佳。

技術實現(xiàn)要素：

本發(fā)明要解決的技術問題是針對存在吸收、散射引起的模糊、對比度降低、飽和度降低和非均勻色彩投射等退化因素的水下彩色圖像特別是近岸水下彩色圖像，提出一種有效的基于暗通道理論的水下彩色圖像增強方法，可實現(xiàn)對水下彩色圖像的清晰度、對比度和色彩的有效增強。

本發(fā)明提出了利用光線和粒子交互概率模型的局部后散射光估計法和基于retinex光照反射模型的傳輸圖估計法。本發(fā)明適用于存在飽和度下降、非均勻色彩投射、模糊等退化的水下彩色圖像及其他具有相同退化的光衰減環(huán)境。

本發(fā)明所要解決的技術問題是通過以下的技術方案來實現(xiàn)的。本發(fā)明是一種基于暗通道理論的水下彩色圖像增強方法，其特點是：該方法步驟如下：對水下退化圖像，在jaffe-mcglamery成像模型基礎上，對暗通道圖像采用retinex方法估計傳輸圖，然后利用泊松分布擬合的局部散射背景光估計法，將暗通道圖像塊中最接近估計值像素點對應的水下彩色圖像像素值作為該圖像塊后向散射背景光，在求得復原圖像后，應用對比度拉伸進行色彩增強，最后獲得增強后水下圖像輸出。

本發(fā)明所述的一種基于暗通道理論的水下彩色圖像增強方法，其特點是：所述的retinex方法選自：

1、單尺度視網膜增強ssr(singlescaleretinex)；

2、多尺度視網膜增強算法msr(multi-scaleretinex)；

3、帶色彩恢復的多尺度視網膜增強算法msrcr(multi-scaleretinexwithcolorrestoration)；

4、mccannretinex算法(也稱迭代retinex)。

本發(fā)明所述的一種基于暗通道理論的水下彩色圖像增強方法，其特點是：其具體步驟如下：

根據(jù)jaffe-mcglamery成像模型，對rgb空間水下退化圖像i可描述為：

其中，x為圖像像素，j^c(x)為目標輻照度，c＝{r，g，b}，為背景光或后向散射光，tc(x)為傳輸圖，表示場景輻照度中未被吸收和散射，而直接到達相機的比例，與目標和相機的距離有關。he等人提出的暗通道理論假設目標在一個彩色通道內有較弱的反射，即：

miny∈ω(x)(minc∈r，g，bj^c(x))＝0(2)

其中，ω(x)表示以像素x為中心的一個窗口。本發(fā)明解決方案步驟如下：

第一步，對歸一化后彩色圖像i∈(0，1)，計算暗通道圖像ldc：

ldc(x)＝miny∈ω(x)(minc∈r，g，bi^c(x))(3)

由式(1)，(2)和(3)可得：

第二步，設t(x)＝tr(x)，對式(4)兩邊應用對數(shù)運算得：

其中，

tr(x)＝1-rr(x)(16)

第三步，估計傳輸圖tr(x)

retinex理論認為圖像是由場景中光照信息圖像和物體固有的反射系數(shù)圖像組成的，所謂光照信息圖像是指照射在物體上的入射光信息的圖像的形式，而物體的反射系數(shù)圖像是不受光照條件影響的目標本身的反射圖像。retinex理論的核心思想就是排除光照條件的影響，恢復出物體本身反射系數(shù)。本發(fā)明應用retinex算法估計式(15)中的rr(x)，由(16)求得tr(x)。

第四步，計算tg(x)，tb(x)，由

其中，λ0為參考波長，通常為440nm或400nm，sx為吸收系數(shù)曲線斜率經驗值，在380～600nm波長范圍內，吸收系數(shù)光譜斜率sx經驗值在0.0049～0.0175nm^-1分布。

第五步，對暗通道圖像ldc中的像素x，對其鄰域ω(x)(ω大小的選擇可以為15×15，32×32，56×56，72×72等)，假設圖像塊內目標距離一致，應用泊松分布擬合，獲得擬合后泊松分布均值為mean(poissonfit(ldc(y)))，用塊ω中暗通道圖像灰度值與擬合后泊松分布均值最接近的像素對應的r，g，b值作為后向散射的估計值，即

第六步，根據(jù)得到tc(x)和的估計值，由下式恢復圖像j^c(x)

第七步，彩色對比度拉伸，由下式計算j^c(x)的最大值和最小值

其中，和為j^c(x)的平均值和方差，μ為動態(tài)參數(shù)。

最后，增強圖像的最后輸出為：

本發(fā)明方法中，動態(tài)范圍μ取值越小，圖像的對比度越強。優(yōu)選的動態(tài)范圍μ取值為2-3。

以下對本發(fā)明方法的原理闡述如下：

水體的光學特性是決定水下成像的重要因素，天然水的固有光學特性是純水(分子散射和吸收)、海水中溶質(分子散射和吸收)和懸浮顆粒(顆粒散射和吸收)的固有光學特性的復合。光在水中的傳播受兩種因素的影響：吸收和散射。吸收是光沿媒介傳輸過程中的功率丟失，取決于媒介的光折射率。水中光散射是指水中光在傳播過程中，受到介質微粒的作用，偏離原來直線傳播的現(xiàn)象。前向散射導致圖像特征的模糊，后向散射通常使圖像的對比度降低，產生霧狀模糊疊加在圖像上。通過增加人工照明雖然可以增加可視距離，但經常會導致非均勻照明情況，在圖像中產生亮斑，而亮斑周圍卻很暗。隨著水下深度的增加，色彩按照波長依次消失。除了由于水下傳播距離的衰減，水中微粒的大小和屬性也同樣影響散射、反射、傳播和吸收的速度。因此，水下彩色圖像的綜合退化表現(xiàn)為飽和度降低，非均勻色彩投射，且對比度降低，細節(jié)模糊和噪聲。

根據(jù)jaffe-mcglamery成像模型，相機接收到的光由三部分構成(i)物體直接反射光ed，(ii)前向散射部分ef(來自目標小角度光反射)，(iii)后向散射(非目標反射光)eb，

直接成分為反射光的衰減，

其中，j^c(x)為目標輻照度，c＝{r，g，b}，cλ為衰減系數(shù)，為吸收系數(shù)aλ和散射系數(shù)bλ的和。

cλ＝aλ+bλ(18)

d(x)為目標距相機距離，前向散射通常為水下圖像退化的一小部分，eb為后向散射，也就是背景光，

忽略前向散射，可得式(1)所示的退化模型，根據(jù)該退化模型，要求出j^c(x)，必須盡可能好的去估計：tc和he等人通過統(tǒng)計自然無霧圖片并分析其中的假設，得出了一個暗通道的先驗假設，認為無霧圖像中至少有一個彩色通道有非常低的亮度值，即式(2)，設暗通道圖像為ldc式(3)，由式(1)，(2)和(3)可得式(4)。

在水體光學性質中，對水體光學性質有顯著影響的包括：總顆粒物(tsm)，非色素顆粒物(tripton)和黃色物質cdom。我國近岸水域水深較淺，水體以ii類水體為主，主要為d類和e類水體，d類水體比較渾濁，多呈現(xiàn)黃色和黃綠色，懸浮泥沙占主導地位，在吸收過程中，非色素顆粒物的吸收為主要退化因素，黃色物質吸收作用次之。e類水體十分渾濁，受陸源輸入影響嚴重，懸浮泥沙含量非常高，主要分布在河口、淺灘等，非色素顆粒物的吸收占絕對主導地位。因此對近岸水域，非色素顆粒物和黃色物質是吸收系數(shù)貢獻率的主要因素，其中，非色素顆粒物對吸收系數(shù)貢獻率一般超過60％，黃色物質吸收作用次之，貢獻率一般小于35％。另外tsm不吸收光，其對可見光范圍內(400-700nm)的全散射表現(xiàn)為白色霧狀模糊。對我國近岸水體的光學調查結果表明，近岸水體光學系數(shù)在一定深度變化較小，其中，吸收系數(shù)相對與散射系數(shù)有較高的平均值，散射系數(shù)值量值較小，分布在(10^-2～10^-1)之間，隨波長改變較小。因此，在近岸水體的衰減中，式(18)中的衰減系數(shù)cλ可近似等于吸收系數(shù)aλ，吸收系數(shù)占絕對主要的地位，另外，黃色物質和非色素顆粒物的吸收系數(shù)成隨波長的e指數(shù)衰減趨勢，有：

其中，λ0為參考波長，通常為440nm或400nm，sx為吸收系數(shù)曲線斜率經驗值，在380～600nm波長范圍內，利用最小二乘法擬合非色素顆粒物吸收系數(shù)光譜斜率sx經驗值及范圍在0.0049～0.0175nm^-1分布。紅、綠、藍主要波長為紅640-780nm，綠505-525，藍505-470，由上式可得式(6)、(7)：

由于，紅色波長最長，所以在水中衰減比較快，對淺水水下圖像來說，暗通道往往就是紅色通道，因此，本發(fā)明假設t(x)＝tr(x)。

retinex理論認為圖像是由場景中光照信息圖像和物體固有的反射系數(shù)圖像組成的，所謂光照信息圖像是指照射在物體上的入射光信息的圖像的形式，而物體的反射系數(shù)圖像是不受光照條件條件影響的目標本身的反射圖像。retinex理論的核心思想就是排除光照條件的影響，恢復出物體本身反射系數(shù)。本發(fā)明提出了應用retinex算法估計式(15)中的rr，由(16)求得tr(x)的方法。

當獲得傳輸圖tr(x)后，可通過式(8)、(9)估計得到tg(x)和tb(x)。

散射背景光不是源于目標，是由環(huán)境光散射而來，在近岸自然光照條件下，通常假設自然光照在目標成像水深范圍內變化是輕微的，可理解為從無窮遠光線在媒介中經過交互到達相機的背景光。在大多數(shù)以式(1)為成像模型的水下圖像的增強方法，后向散射光被假設在整幅圖像中是均勻的，而這種假設與實際有較大的偏差，特別是而在近岸水域，懸浮泥沙及來源大陸江河攜帶有機體濃度較高，研究證明，雖然兩條光線在水中傳播相同的距離，但將遇到隨機不同次數(shù)的顆粒交互，在長度l的成像距離內，設b為散射系數(shù)，對0～75m深的海水，光線與水體交互的次數(shù)符合均值為λ＝bl的泊松分布，

在均勻顆粒大小的前提下，背景光經相同距離的n次交互后，亮度應符合均值為λ＝bl的泊松分布。因此，本發(fā)明提出了局部泊松擬合估計法，對歸一化后彩色圖像i∈(0，1)，對暗通道圖像ldc中的像素x，對其鄰域ω(x)(ω大小的選擇可以為15×15，32×32，56×56，72×72等)，假設圖像塊內目標距離一致，應用泊松分布擬合，獲得擬合后泊松分布均值為mean(poissonfit(ldc(y)))，用塊ω中暗通道圖像灰度值與擬合后泊松分布均值最接近的像素對應的r，g，b值作為后向散射的估計值，即式(10)、(11)。

利用式(12)，恢復圖像后，對計算結果j^c(x)，本發(fā)明采用無色偏色彩拉伸方法，應用式(13)計算j^c(x)的最大值和最小值增強圖像的最后輸出為式(14)。

本發(fā)明涉及基于暗通道理論的圖像去霧、圖像增強及圖像增強，具體涉及一種基于retinex照度反射系數(shù)分解的傳輸圖估計法和一種光粒子交互泊松分布擬合的局部散射背景光估計法，本發(fā)明不僅僅可以用于水下圖像增強及增強，同樣適用于其他光學屬性與散射和衰減相關的成像介質中，例如霧天、煙霧環(huán)境下拍攝的圖像，本發(fā)明也可以用于醫(yī)學成像，用于增強受生物散射介質如血液和組織影響而拍攝的圖像。

本發(fā)明與現(xiàn)有技術相比有如下優(yōu)點：

(1)本發(fā)明提出了首個可應用于近岸水域水下圖像的增強解決方案。

(2)本發(fā)明首次提出了利用retinex照度、反射系數(shù)分解估計模型(1)中傳輸圖t的方法；

(3)本發(fā)明提出了應用近岸水體黃色物質和非色素顆粒吸收衰減模型估計(1)中傳輸圖t的方法。

(4)本發(fā)明首次提出了局部后向散射光估計法。

(5)本發(fā)明首次提出利用光線和粒子交互概率模型的局部后向散射光估計法。

(6)本發(fā)明與現(xiàn)有的其他水下圖像增強方法相比，能夠更好的實現(xiàn)水下圖像的清晰度和色彩增強，更適用于應用在近岸水域水體渾濁的水下圖像增強問題。

附圖說明

圖1為水下彩色圖像原圖；

圖2為現(xiàn)有技術carlevaris-bianco等人提出的水下圖像增強方法結果圖；

圖3為現(xiàn)有技術galdran等人提出的水下圖像增強方法結果圖；

圖4為現(xiàn)有技術fu等人提出的水下圖像增強方法結果圖；

圖5為現(xiàn)有技術ancuti等人提出的水下圖像增強方法單尺度結果圖；

圖6為本發(fā)明方法的水下圖像增強方法結果圖；

具體實施方式

以下進一步對本發(fā)明的技術方案進行描述，使本領域技術人員進一步理解本發(fā)明，而不構成對本發(fā)明權利的限制。

實施例1，一種基于暗通道理論的水下彩色圖像增強方法，該方法步驟如下：對水下退化圖像，在jaffe-mcglamery成像模型基礎上，對暗通道圖像采用retinex方法估計傳輸圖，然后利用泊松分布擬合的局部散射背景光估計法，將暗通道圖像塊中最接近估計值像素點對應的水下彩色圖像像素值作為該圖像塊后向散射背景光，在求得復原圖像后，應用對比度拉伸進行色彩增強，最后獲得增強后水下圖像輸出。

對一幅r，g，b空間歸一化后水下彩色圖像i∈(0，1)具體方法步驟如下：

第一步，對水下成像模型式(1)，采用式(3)計算暗通道圖像ldc，本實施例中ω大小為15*15。

第二步，設t(x)＝tr(x)，對式(4)兩邊應用對數(shù)運算。

第三步，對式(15)應用mccann’sretinex算法，估計式(15)中的rr，由(16)求得tr(x)。

第四步，由式(8)，(9)估計tg(x)和tb(x)，其中λr＝620nmλg＝540nm，λb＝450nm，sx＝0.0049。

對暗通道圖像ldc中的像素x，對其鄰域ω(x)，ω(x)大小的選擇可以為15×15，32×32，56×56，72×72等，塊大小越小，越有利于提高增強后圖像的清晰度，快越大有利于提高增強后圖像的色彩，本實施例中ω(x)＝15×15。

第五步，應用式(10)、(11)獲得后向散射的估計值。

第六步，利用式(12)，計算j^c(x)。

最后，通過計算式(13)，(14)獲得增強圖像的最后輸出，動態(tài)范圍μ取值越小，圖像的對比度越強。一般來說取值在2-3之間能取得較為明顯的效果。本實施例中μ＝2。

圖1為水下彩色圖像原圖，圖2-5為現(xiàn)有技術中其他幾種方法對圖1水下圖像增強的結果，圖6是采用本發(fā)明方法得到的水下彩色圖像增強結果。可以看出本發(fā)明提出的水下彩色圖像增強方法可有效的提高水下圖像的清晰度和色彩失真，特別是在清晰度方面，效果優(yōu)于現(xiàn)有其他方法。

實施例2，本發(fā)明水下彩色圖像增強方法對增強圖像清晰度和色彩的性能對比實驗：

在本實施例中，水池長2.53米，寬1.02米，高1.03米。試驗目標為imatestsfrplus清晰度板和colorchecker24x-ritechart(21.59×27.94cm)。采用oti-uwc-325/p/e彩色相機，分別在94.5cm(duntley法則)條件下拍攝水下圖像。

imatest是美國imatest公司開發(fā)的一款被廣泛應用的圖像評測軟件，它的系統(tǒng)基于matlab建立。imatest是一個用來對數(shù)碼相機圖像進行數(shù)據(jù)測試的軟件包，這個軟件的功能有很多，比如說：分辨率測試(sfr--mtf)、色差、色彩還原度、色彩空間等，它是目前最權威的成像分析軟件。

采用imatest4.3圖像質量評價軟件對清晰度板和彩色板水下圖像采用其他方法增強后及本發(fā)明提出方法增強后的圖像進行自動分析，對比結果如附表1和附表2所示：

附表1：imatestsfr清晰度分析

附表2：imatest4.3彩色板數(shù)據(jù)分析

由附表1和表2中數(shù)據(jù)可以看出，本發(fā)明方法在增強水下圖像清晰度和色彩方面優(yōu)于現(xiàn)有技術其他方法。

其中，mtf(調制傳輸函數(shù)，modulationtransferfunction)mtf50是當mtf數(shù)值下降至最大值的50％時，對應的頻率(周期每像素，cycleperpixel)，lw/ph＝cycleperpixel*總像素*2。

其中評價彩色色板圖像質量時，采用cielab空間，l表示明度值；a表示紅-綠值；b表示黃-藍值。色彩誤差有兩種，一種是δc，另一種是δe，兩種的區(qū)別就在于δc不考慮亮度信號y的色差值，而δe包括了亮度信號y的色差值，通常情況下色差數(shù)值越小說明圖像質量越好，計算公式如下，其中l(wèi)1，a1，b1，表示色板lab空間標準值，l2，a2，b2表示待測量圖像lab空間的值。