基于局部SoG的水下圖像清晰化方法
【專利摘要】本發(fā)明公開了一種基于局部SoG的水下圖像清晰化方法，包括以下步驟：設(shè)水下圖像為原圖像，用該原圖像的邊界值進(jìn)行邊界擴(kuò)充得到填充后的圖像；然后，取一個(gè)局部域大小為N×N像素點(diǎn)的窗口，利用該窗口在邊界擴(kuò)充后的圖像的各個(gè)通道中進(jìn)行平移，估計(jì)每個(gè)局部域內(nèi)的光源顏色，將局部域的光源顏色作為窗口中心像素點(diǎn)的光源顏色eλ；并通過光源顏色eλ與原始光源顏色之間的衰減特性分別求出三個(gè)顏色通道的透射率tλ和其對應(yīng)的方差σλ；最后，對方差σλ最大的透射率進(jìn)行循環(huán)分塊操作以獲取背景光，從而得到最終的清晰的圖像。通過大量實(shí)驗(yàn)證明，本發(fā)明提出的算法在提高圖像清晰度、恢復(fù)圖像顏色等方面有著非常好的性能。
【專利說明】
基于局部SoG的水下圖像清晰化方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明設(shè)及一種計(jì)算機(jī)圖像處理方法，尤其設(shè)及一種水下圖像清晰化方法。
【背景技術(shù)】
[0002] 水下圖像在海洋能源勘探、海洋環(huán)境監(jiān)測與保護(hù)W及海洋軍事等領(lǐng)域扮演著非常 重要的角色W。但因水下環(huán)境特殊，難W獲取高質(zhì)量的水下圖像。溶解在水中的有機(jī)物和懸 浮在水中的顆粒物會對光產(chǎn)生吸收和散射效應(yīng)，造成圖像對比度下降，場景可見范圍縮小， 圖像質(zhì)量降低W。因此，水下圖像清晰化問題在計(jì)算機(jī)視覺應(yīng)用領(lǐng)域和數(shù)字圖像處理領(lǐng)域 亟待解決W。
[0003] 由于水下圖像與霧天圖像擁有相似的成像模型和圖像特征，不少學(xué)者采用基于暗 通道先驗(yàn)的去霧方法來處理水下圖像W。但如果在水下環(huán)境中直接使用暗通道先驗(yàn)會出現(xiàn) 透射率估計(jì)偏大，背景光偏小等問題W。因此，在使用基于暗通道先驗(yàn)的方法處理水下圖像 之前，需對水下圖像進(jìn)行顏色失真去除。其中，最常用的顏色恒常性算法為化ade of Gray 算法W。
[0004] 化ade of Gray(SoG)算法應(yīng)用的前提為均勻光照條件，因此估計(jì)的光源顏色在全 局都是一致的。但在水下環(huán)境中，由于光在水中的衰減與波長和傳播距離相關(guān)，估計(jì)的光源 顏色應(yīng)該是衰減的，也就是說場景中各點(diǎn)的光源顏色不相同，運(yùn)與化ade of Gray算法估計(jì) 出的全局唯一的光源顏色結(jié)果矛盾。
[0005] [參考文獻(xiàn)]
[0006] [IJSchettini 民，Corchs S.Underwater image processing:state of the art of restoration and image enhancement methods.EURASIP Journal on Advances in Signal Processing,2010(1),2010:1-14.
[0007] [2]S.Bazeilie.Vision sous-marine monoculaire pour la reconnaissance objets[Ph.D.thesis].2008,Universe de Bretagne Occidentale.
[0008] [3]J.Mertens，F(xiàn).民eplogle.Use of point spread and beam spread functions for analysis of imaging systems in water.Journal of the Optical Society of America,1977,67(8):1105-1117.
[0009] [4]J.S.Jaffe.Computer modeling and the design of optimal underwater imaging systems. IEEE Journal of Oceanic Engineering,1990,15(2):101-111.
[0010] [5]Haocheng Wen，Yonghong Tian，Tiejun Huang,et al.. Single underwater image enhancement with a new optical model . In:Proceedings of IEEE International Symposium on Circuits and Systems,Beijing,China,2013:753-756.
[0011] [6]G.Fi打layso打，E.Trezzi.Shades of gray and colour constancy[C]. In: Proceedings of 12th Color Imaging Conference,Scottsdale,USA,2004,2004:37-41.
[0012] [7]Li Fang,Wu Jin-yong，Wang Yi-ke，et al..A color cast detection algorithm of robust performance.In:Proceedings of IEEE International Conference on Advanced Computational Intelligence,Nanjing,China,2012:662-664.
[0013] [8]Yujie Li,Huimin Lu,Lifeng Zhang,et al..Real-time visualization system for deep-sea surveying.Mathematical Problems in Engineering,2014,2014 (1):809-812.
[0014] [ 9 ] Stephan T , Friihberger P , Werl in S , et al . . Mode 1 based image restoration for underwater images.In:Proceedings of SPIE Optical Metrology 2013，Belli^ham，USA，2013:87911F-1-87911F-9.

【發(fā)明內(nèi)容】

[0015] 針對現(xiàn)有技術(shù)中由于場景中各點(diǎn)的光源顏色不相同，與采用化ade of Gray算法 估計(jì)出的全局唯一的光源顏色結(jié)果相矛盾，本發(fā)明提出一種基于局部SoG的水下圖像清晰 化方法，首先，利用原始圖像估計(jì)每一個(gè)局部域的光源顏色，并將其作為區(qū)域中屯、像素點(diǎn)的 光源顏色。然后，利用得到的光源顏色分別計(jì)算Ξ個(gè)顏色通道的透射率和其對應(yīng)的方差。最 后，對方差最大的透射率圖進(jìn)行循環(huán)分塊操作W獲取背景光，從而得到最終的復(fù)原圖像。通 過大量實(shí)驗(yàn)證明，本發(fā)明提出的算法在提高圖像清晰度、恢復(fù)圖像顏色等方面有著非常好 的性能。
[0016] 為了解決上述技術(shù)問題，本發(fā)明提出的一種基于局部SoG的水下圖像清晰化方法， 包括W下步驟：
[0017] 步驟一、輸入水下圖像為原圖像I(x)，用該原圖像I(x)的邊界值進(jìn)行邊界擴(kuò)充得 到填充后的圖像lA(X);
[001 引 Ιλ(χ) = ]·"θ(λ)5(χ，λ)Ρ(λ)(1λ (1)
[0019] 式（1)中，ω表示整個(gè)可見光波長范圍，λ為入射光波長，X為像素點(diǎn)，6(λ)表示入射 光的分布，S (X，λ)為圖像山(X)中的某一點(diǎn)對入射光的反射率，Ρ (λ)表示相機(jī)對入射光的感 光特性；
[0020] 步驟二、在該圖像中取一個(gè)大小為ΝΧΝ像素點(diǎn)的窗口，利用該窗口在圖像?Α(χ)的 各個(gè)通道上逐行的從左到右進(jìn)行平移，每次移動一個(gè)像素形成一局部域Ω，估計(jì)每個(gè)局部 域Ω的光源顏色，步驟是：
[0021] 設(shè)該圖像山^)的場景中所有物體表面的任意一個(gè)局部域Ω的平均反射是無色差 的，即：
[0022] (2)
[0023] 式(2)中，Ω表示圖像?Α(χ)中某個(gè)局部域，k為[0，1]之間的一個(gè)常數(shù)；
[0024] 所W，局部域Ω的光源顏色如下：
[0025] (3)
[0026] 式（3)中，P為常數(shù)，取值范圍為4~ΙΟ,θΩΑ為局部域Ω的光源顏色，在一個(gè)局部域
[0027] Ω中光源顏色的各通道分量為單值;將局部域Ω的光源顏色6ΩΑ作為局部域中屯、像素點(diǎn)的 光源顏色θλ:
(4)
[0028] 式(4)中，CA是入射光在水中的衰減系數(shù)，d(X)為景深，6Α是局部域中屯、像素點(diǎn)的光 源顏色，所述光源顏色ΘΑ的元素值中包含了圖像Ια(χ)各通道的顏色衰減特征，兩是圖像L· (X)的光源顏色，設(shè)焉為常數(shù)；
[0029] 步驟Ξ:利用局部域中屯、像素點(diǎn)的光源顏色ΘΑ和圖像Ια(χ)的光源顏色％之間的顏 色衰減特性求出圖像Ιλ( X)的RGBS通道透射率U:
[0030]
[0031 ]選擇R通道的透射率tR作為待分塊的透射率；
[0032] 步驟四：建立圖像山^)像素的索引index;與此同時(shí)，選擇待分塊的透射率tR上半 部分中均值和標(biāo)準(zhǔn)差最小的部分進(jìn)行循環(huán)分塊操作，循環(huán)4次后得到透射率塊，根據(jù)圖像L· (X)像素索引index,確定該透射率塊在圖像山^)中對應(yīng)的圖像塊，通過求取該對應(yīng)的圖像 塊尺68;通道的均值得到該圖像lA(X)的背景光化,。〇;根據(jù)式(6)得到清晰圖像JA(X):
[0033] (6)
[0034] 與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果是：
[0035] 本發(fā)明提出的基于局部SoG的水下圖像清晰化方法是通過計(jì)算圖像中每一個(gè)局部 域的光源顏色來獲取場景中每一個(gè)點(diǎn)的衰減特性，從而得到各通道的透射率及其方差，并 利用透射率估計(jì)背景光，最終得到清晰圖像。
【附圖說明】
[0036] 圖1是本發(fā)明圖像清晰化處理流程圖；
[0037] 圖2(a)是實(shí)施例1的原始圖像；
[0038] 圖2(b)是對圖2(a)所示原始圖像經(jīng)過傳統(tǒng)化ade of Gray算法獲得的效果圖像；
[0039] 圖2(c)是對圖2(a)所示原始圖像經(jīng)過本發(fā)明處理方法估計(jì)的光源顏色中R通道分 量；
[0040] 圖2(d)是對圖2(a)所示原始圖像經(jīng)過本發(fā)明處理方法獲得的效果圖像；
[0041 ]圖3(a)是實(shí)施例2的原始圖像，其中，C=13.48，K = 2.47;
[0042] 圖3(b)是對圖3(a)所示原始圖經(jīng)過文獻(xiàn)[引提出的方法獲得的效果圖像，其中，C = 13.48，Κ = 2.47;
[0043] 圖3(c)是對圖3(a)所示原始圖經(jīng)過本發(fā)明處理方法獲得的效果圖像，其中，C = 35.72，Κ = 1.69;
[0044] 圖4(a)是實(shí)施例3的原始圖像，其中，C=10.01，K = 2.44;
[0045] 圖4(b)是對圖4(a)所示原始圖經(jīng)過文獻(xiàn)[9]提出的方法獲得的效果圖像，其中，C = 12.61，Κ = 1.89;
[0046] 圖4(c)是對圖4(a)所示原始圖經(jīng)過本發(fā)明處理方法獲得的效果圖像，其中，C = 20.64，Κ = 1.38。
【具體實(shí)施方式】
[0047] 下面結(jié)合附圖和具體實(shí)施例對本發(fā)明技術(shù)方案作進(jìn)一步詳細(xì)描述，所描述的具體 實(shí)施例僅對本發(fā)明進(jìn)行解釋說明，并不用W限制本發(fā)明。
[0048] 水下圖像可W看作是在藍(lán)(綠)色燈光下拍攝的圖像，圖像中的藍(lán)(綠)色基調(diào)可認(rèn) 為是光源顏色，可用顏色恒常性算法去除。Shade of Gray算法是Gray World算法的改進(jìn)形 式，在處理水下圖像時(shí)能夠獲得更好的效果。Gray World假設(shè)認(rèn)為:場景中所有物體表面的 平均反射是無色差的，即
[0049]
[(K)加 ]Gray World算法估計(jì)光源e的過程可W表示如下：
[0化1 ]
[0052] Siade of Gray算法利用Minkowski范數(shù)代替Gray World算法中簡單求平均的操 作，能夠獲得更好的處理結(jié)果。該算法估計(jì)光源e的方法如下：
[0化3]
[0054] 其中，P和k為常數(shù)。
[0055] Shade of Gray算法應(yīng)用的前提為均勻光照條件，因此估計(jì)的光源顏色在全局都 是一致的。但在水下環(huán)境中，由于入射光在水中的衰減與波長和傳播距離相關(guān)，估計(jì)的光源 顏色應(yīng)該是衰減的，也就是說場景中各點(diǎn)的光源顏色不相同，運(yùn)與化ade of Gray算法估計(jì) 出的全局唯一的光源顏色結(jié)果矛盾。
[0056] 如圖1所示，本發(fā)明提出的一種基于局部SoG的水下圖像清晰化方法，包括W下步 驟：
[0057] 步驟一、輸入水下圖像為原圖像I(x)，用該原圖像I(x)的邊界值進(jìn)行邊界擴(kuò)充得 到填充后的圖像lA(X);
[005引 Ιλ(χ) = ]·"θ(λ)5(χ，λ)Ρ(λ)(1λ (1)
[0059] 式（1)中，ω表示整個(gè)可見光波長范圍，λ為入射光波長，X為像素點(diǎn)，6(λ)表示入射 光的分布，S(x, λ)為圖像^(χ)中的某一點(diǎn)對入射光的反射率，Ρ (λ)表不相機(jī)對入射光的感 光特性；
[0060] 步驟二、在該圖像中取一個(gè)大小為ΝXΝ像素點(diǎn)的窗口，利用該窗口在圖像Ιλ(X)的 各個(gè)通道上逐行的從左到右進(jìn)行平移，每次移動一個(gè)像素形成一局部域Ω，估計(jì)每個(gè)局部 域Ω的光源顏色，步驟是：
[0061] 設(shè)該圖像山^)的場景中所有物體表面的任意一個(gè)局部域Ω的平均反射是無色差 的，即：
[0062] 根據(jù)上述對于化ade of Gray算法在水下環(huán)境使用時(shí)出現(xiàn)的弊端，本發(fā)明提出基 于局部Gray World假設(shè)，即：場景中所有物體表面的任意一個(gè)局部域的平均反射是無色差 的
[0063] 処
[0064] 式(2)中，Ω表示圖像?Α(χ)中某個(gè)局部域，k為[0，1]之間的一個(gè)常數(shù)；
[0(?日]所W，局部域Ω的光源顏色如下：
[0066] (3)
[0067] 式（3)中，P為常數(shù)，取值范圍為4~ΙΟ,θΩΑ為局部域Ω的光源顏色，在一個(gè)局部域 Ω中光源顏色的各通道分量為單值;將局部域Ω的光源顏色6ΩΑ作為局部域中屯、像素點(diǎn)的 光源顏色θλ:
[006引 (斗）
[0069] 式(4)中，CA是入射光在水中的衰減系數(shù)，d(X)為景深，6Α是局部域中屯、像素點(diǎn)的光 源顏色，所述光源顏色ΘΑ的元素值中包含了圖像Ια(χ)各通道的顏色衰減特征，馬是圖像L· (X)的光源顏色，通過大量實(shí)驗(yàn)數(shù)據(jù)可知，馬為[0.9，1]之間的一個(gè)常數(shù)；
[0070] 步驟Ξ:利用局部域中屯、像素點(diǎn)的光源顏色6Α和圖像^(Χ)的光源顏色瑪之間的顏 色衰減特性求出圖像Ιλ( X)的RGBS通道透射率U:
[0071] (5)
[0072] 選擇R通道的透射率tR作為待分塊的透射率；
[0073] 步驟四：為方便將透射率圖與原圖像相對應(yīng)，建立圖像^(x)像素的索引index;與 此同時(shí)，為了保證盡可能的除去人工光源的影響，選擇透射率圖和索引的上半部分進(jìn)行操 作，進(jìn)一步講，選擇待分塊的透射率tR上半部分中均值和標(biāo)準(zhǔn)差最小的部分進(jìn)行循環(huán)分塊 操作，循環(huán)4次后得到的透射率塊，根據(jù)圖像^(x)像素索引index,確定該透射率塊在圖像山 (X)中對應(yīng)的圖像塊，通過求取該對應(yīng)的圖像塊RGBS通道的均值得到該圖像山^)的背景 光化,。〇;根據(jù)式(6)得到清晰圖像JA(X):
[0074]
(6j
[0075] 實(shí)施例1:
[0076] 為了驗(yàn)證本發(fā)明提出算法的有效性，將本發(fā)明算法與化ade of Gray算法進(jìn)行對 比，圖2(a)是實(shí)施例1的原始圖像。圖2(b)是對圖2(a)所示原始圖像經(jīng)過傳統(tǒng)化ade of Gray算法獲得的效果圖像，圖2(c)是對圖2(a)所示原始圖像經(jīng)過本發(fā)明處理方法估計(jì)的光 源顏色中R通道分量，顯然，本發(fā)明處理結(jié)果符合人們對透射率的認(rèn)知，即：近景處透射率 大，遠(yuǎn)景處透射率小;散射程度弱處透射率大，散射嚴(yán)重處透射率小。圖2(d)是對圖2(a)所 示原始圖像經(jīng)過本發(fā)明處理方法獲得的效果圖像，根據(jù)圖2(d)可W看出本發(fā)明算法明顯去 除了圖像中后向散射的影響，并且較好的保持了原圖像的色調(diào)信息，更符合人們對水下圖 像的認(rèn)知經(jīng)驗(yàn)。實(shí)驗(yàn)結(jié)果表明，Shade of Gray算法只能實(shí)現(xiàn)有限的顏色補(bǔ)償功能，而本發(fā) 明提出的算法可W較好地補(bǔ)償圖像中各點(diǎn)的光源顏色。
[0077] 實(shí)施例2
[0078] 為客觀評價(jià)本發(fā)明中所運(yùn)用的局部SoG，使用文獻(xiàn)[7]中提出的一種魯棒的色偏檢 測方法說明彩色圖像色偏情況。計(jì)算的K值越大，表示圖像色偏越嚴(yán)重。
[0079]
[0080] 其中，1116日]1_日，1116日]1_13分別表示Lab顏色空間中a，b兩個(gè)分量的均值，]VI_a,M_b分別 表示a，b兩個(gè)分量的平均差，為L分量的方差，Thres為闊值，H，W為圖像的分別率。
[0081] 與此同時(shí)，使用Lab顏色空間的L分量計(jì)算圖像的對比度C，C越大說明圖像細(xì)節(jié)越 清晰。
[0082]
[0083] 其中，num表示L分量分塊數(shù)目，Ni為第i個(gè)L分量塊的像素?cái)?shù)，Lbi(x)表示第i個(gè)L分 量塊中像素點(diǎn)X的像素值，化1為第i個(gè)L分量塊的均值。
[0084] 圖3(a)是實(shí)施例2的一原始圖像，其中，C= 13.48，Κ = 2.47;圖3(b)是對圖3(a)所 示原始圖經(jīng)過文獻(xiàn)[引提出的使用一種結(jié)合暗通道先驗(yàn)與導(dǎo)向Ξ角雙邊濾波估計(jì)透射率的 方法獲得的效果圖像，其中，C=13.48，K = 2.47;圖3(c)是對圖3(a)所示原始圖經(jīng)過本發(fā)明 處理方法獲得的效果圖像，其中，C = 35.72，K = 1.69。
[0085] 圖4(a)是實(shí)施例2的另一原始圖像，其中，C=10.01，K = 2.44;圖4(b)是對圖4(a) 所示原始圖經(jīng)過文獻(xiàn)[9]提出的利用暗通道先驗(yàn)得到一個(gè)類景深函數(shù)，并通過該景深函數(shù) 求得景深的方法獲得的效果圖像，其中，C=12.61，Κ=1.89;圖4(c)是對圖4(a)所示原始圖 經(jīng)過本發(fā)明處理方法獲得的效果圖像，其中，C = 20.64，K = 1.38。
[0086] 綜上，由實(shí)施例2中兩組圖像可知，本發(fā)明圖像清晰化處理方法在提高水下圖像清 晰度的同時(shí)，減弱了原始圖像中的色偏問題，較好的保持了水下圖像的主色調(diào)，視覺效果更 加自然。從客觀指標(biāo)上來看，本發(fā)明方法也在圖像對比度和色偏問題上優(yōu)于文獻(xiàn)[引和文獻(xiàn)
[9]的算法。
[0087]盡管上面結(jié)合圖對本發(fā)明進(jìn)行了描述，但是本發(fā)明并不局限于上述的具體實(shí)施方 式，上述的【具體實(shí)施方式】僅僅是示意性的，而不是限制性的，本領(lǐng)域的普通技術(shù)人員在本發(fā) 明的啟示下，在不脫離本發(fā)明宗旨的情況下，還可W作出很多變形，運(yùn)些均屬于本發(fā)明的保 護(hù)之內(nèi)。
【主權(quán)項(xiàng)】
1. 一種基于局部SoG的水下圖像清晰化方法，其特征在于，包括以下步驟： 步驟一、輸入水下圖像為原圖像I(x)，用該原圖像I(x)的邊界值進(jìn)行邊界擴(kuò)充得到填 充后的圖像Ιλ(χ); Ιλ(χ)=Ιωθ(λ)8(χ,λ)Ρ(λ)?λ (1) 式（1)中，ω表示整個(gè)可見光波長范圍，λ為入射光波長，χ為像素點(diǎn)，e(A)表示入射光的 分布，S (X，λ)為圖像L· (X)中的某一點(diǎn)對入射光的反射率，P (λ)表示相機(jī)對入射光的感光特 性； 步驟二、在該圖像中取一個(gè)大小為Ν XΝ像素點(diǎn)的窗口，利用該窗口在圖像Ιλ(X)的各個(gè) 通道上逐行的從左到右進(jìn)行平移，每次移動一個(gè)像素形成一局部域Ω，估計(jì)每個(gè)局部域Ω 的光源顏色，步驟是： 設(shè)該圖像IUx)的場景中所有物體表面的任意一個(gè)局部域Ω的平均反射是無色差的， 即：式⑵中，Ω表示圖像Ιλ(χ)中某個(gè)局部域，k為[0，1]之間的一個(gè)常數(shù)； 所以，局部域Ω的光源顏色如下：式(3)中，p為常數(shù)，取值范圍為4~10,θΩλ為局部域Ω的光源顏色，在一個(gè)局部域Ω中光 源顏色的各通道分量為單值;將局部域Ω的光源顏色ecu作為局部域中心像素點(diǎn)的光源顏 色θλ:式(4)中，(^是入射光在水中的衰減系數(shù)，d(x)為景深，以是局部域中心像素點(diǎn)的光源顏 色，所述光源顏色以的元素值中包含了圖像Ιλ(χ)各通道的顏色衰減特征，馬是圖像Ιλ(χ)的 光源顏色，設(shè)巧為常數(shù)； 步驟三:利用局部域中心像素點(diǎn)的光源顏色α和圖像Ιλ(χ)的光源顏色毛之間的顏色衰 減特性求出圖像Ιλ (X)的RGB三通道透射率U:選擇R通道的透射率tR作為待分塊的透射率； 步驟四：建立圖像IUx)像素的索引index;與此同時(shí)，選擇待分塊的透射率tR上半部分 中均值和標(biāo)準(zhǔn)差最小的部分進(jìn)行循環(huán)分塊操作，循環(huán)4次后得到透射率塊，根據(jù)圖像Ιλ(χ) 像素索引index，確定該透射率塊在圖像Ιλ(X)中對應(yīng)的圖像塊，通過求取該對應(yīng)的圖像塊 RGB三通道的均值得到該圖像Ιλ(χ)的背景光隊(duì)。〇;根據(jù)式(6)得到清晰圖像JUx):
【文檔編號】G06T5/00GK105825481SQ201610137128
【公開日】2016年8月3日
【申請日】2016年3月9日
【發(fā)明人】楊愛萍, 曲暢, 鄭佳, 王建
【申請人】天津大學(xué)