一種基于圖像熵的視頻雨滴去除方法及系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于視頻雨滴去除技術(shù)領(lǐng)域，尤其設(shè)及一種基于圖像滴的視頻雨滴去除方 法及系統(tǒng)。
【背景技術(shù)】
[0002] 由于擁有包括自動性、智能性、高效性等諸多優(yōu)點，戶外計算機視覺系統(tǒng)被廣泛使 用在軍事國防、醫(yī)療技術(shù)、智能交通等領(lǐng)域。但是惡劣天氣會嚴(yán)重影響其性能，甚至導(dǎo)致其 完全失效。在諸多惡劣天氣情況中，雨由于擁有較大粒子（雨滴）半徑及其他復(fù)雜物理特 性，會對視覺系統(tǒng)所攝取的圖像的質(zhì)量造成較大程度的影響。視頻雨滴去除技術(shù)通過使用 雨的物理、頻率等特性，對圖像中的雨滴進行識別、去除。其不僅能夠顯著提升圖像質(zhì)量，還 有利于圖像的進一步處理。因此，視頻雨滴去除技術(shù)已經(jīng)成為計算機視覺領(lǐng)域不可缺少的 關(guān)鍵性技術(shù)。
[0003] 近些年來關(guān)于視頻中雨滴檢測與去除的研究已然成為熱點。star化等在2003年 最早提出了時域均值的雨滴去除策略，作者認(rèn)為在視頻圖像序列中，雨滴對像素的影響只 存在于少數(shù)幾帖中，故可直接對視頻帖進行平均就可W得到去除了雨的影響的原圖像。遺 憾的是，他們并沒有對方法進行試驗驗證。Garg和化yar最早使用了雨的動態(tài)及光度特性 (K.GargandS.K.Nayar,"Detectionandremovalofrainfromvideos, "inProc. IE邸Conf.Comput.Vis.PatternReco即it. ,Jun. 2004,vol. 1,pp. 528 - 53巧，分別建立了 兩種模型，并基于該兩個模型提出了檢測和去除雨的方法。對于雨的動態(tài)模型，其表明了 雨在其下落方向具有時域相關(guān)性；對于光度模型，其分為靜態(tài)雨及動態(tài)雨模型。對于靜態(tài) 雨滴，其亮度顯著高于其覆蓋的背景；對于動態(tài)雨滴（雨線），其亮度由靜態(tài)雨滴亮度、背 景亮度及相機曝光時間決定。之后，作者提出了一種使用帖差法進行雨滴初檢，使用兩種 特性進行誤檢去除，并最終利用前后帖圖像信息進行雨滴去除的方法。雖然此方法性能較 好，但其對于嚴(yán)重失焦（遠(yuǎn)處）的雨、明亮背景上的雨及雨勢變化無法處理。2006年化ang 等人狂hangXP,LiH,QiYY,LeowWK,NgTK.Rainremovalinvideobycombining temporalandchromaticproperties.In:Proceedingsofthe2006International ConferenceonMultimediaandExpo.Toronto,Canada:IE邸，2006.461.j464)使用了雨 的時域分布及色彩特性。由于雨的時域分布直方圖顯示兩個峰（分別代表雨滴亮度及背 景亮度），且近似構(gòu)成高斯混合模型，故非監(jiān)督學(xué)習(xí)方法一一K-means聚類能夠有效地對 之進行分離。之后，作者發(fā)現(xiàn)被雨滴影響像素的帖間RGB值的變化基本相同，故誤檢能夠 進一步被去除。此方法實驗效果較好，但是在整個視頻利用聚類的方法辨別雨滴和背景， 計算效率不高，不能進行實時的處理。2007年Barnum等人炬arnumPC,NarasimhanS G,KanadeT.Analysisofrainandsnowinfrequencyspace.Internatio-nalJournal ofComputerVision, 2010,86(2!3):256!274)注意到之前的多數(shù)方法嚴(yán)重依賴于清晰雨 線的提取，而雨線由于會造成重復(fù)的模式，在頻域中對雨進行分析是合理的。作者建立高斯 模型來近似雨的影響，并通過求在=維傅里葉變換中的模型所占比例進行雨滴檢測，進而 通過迭代去雨，最后反變換至視頻圖像。實驗結(jié)果表明此種方法擁有較好的處理性能，但此 方法的時間復(fù)雜度過高，且對于不顯眼的雨及雨勢變化的處理，其會出現(xiàn)顯著性能下降。
[0004] 由于使用雨的頻率特性能夠在特定情況下顯著提升算法去雨性能，且在僅處理單 幅圖像（即無時域信息）時，頻率特性能夠發(fā)揮更大的作用。化-Hsiang化等（化YH,Kang LW,LinCW,etal.Single-frame-basedrainremovalviaimagedecomposition. In:Proceedingof2011IEEEInternationalConferenceonAcoustics,Speechand SignalProcessing(ICASS巧.Prague,Czech:IE邸Press, 2011:1453-1456.)首先提 出了基于MCA(形態(tài)學(xué)成分分析）及圖像分解的單幅圖像去雨算法，作者首先使用雙邊 濾波將圖像分為高頻及低頻部分，之后進行字典學(xué)習(xí)，并通過將雨部分字典系數(shù)設(shè)置為 0得到去雨圖像。由于此方法存在字典選擇非自動性的缺點，Li-WeiKang等化angL W,LinCW,FuYH.Automaticsingle-image-basedrainstreaksremovalviaimage decomposition.ImageProcessing,IEEETransactionson,2012, 21 (4):1742-1755.)提 出了一種基于自學(xué)習(xí)的自動改進算法。之后，De-An化ang等化uangDA,KangLW,Yang MC,etal.Context-awaresingleimagerainremoval.In:Proceedingof2012IEEE InternationalConferenceonMultimediaandExpo(ICME).Melbourne,Australia:lEE EPress，2012:164-169.)提出了基于上下文感知的單幅圖像去雨算法，此方法僅需要單幅 圖像進行學(xué)習(xí)工作，故可W大幅減少算法所需時間。而Duan-Yu化en等煙lenDY,化en CC,KangLW.Visualdepthguidedimagerainstreaksremovalviasparsecoding. In:Proceedingof2012InternationalSymposiumonIntelligentSignalProcessing andCommunicationsSystems.NewTaipei,Taiwan:IEEE, 2012:151-156.)弓|入了DoD(深度 差異）的概念，深度差異能夠衡量圖像的局部相關(guān)性信息，故能夠為單幅圖像去雨提供幫 助，同時，他們使用引導(dǎo)濾波替代原先使用的雙邊濾波，因為其擁有更好的性能。
[0005] 綜上所述，現(xiàn)有的視頻雨滴去除技術(shù)存在W下缺點：
[0006] 現(xiàn)有視頻雨滴去除技術(shù)較少使用圖像局部特性，常進行圖像的整體考慮，計算效 率不高；
[0007] 現(xiàn)有視頻雨滴去除技術(shù)常在多個色彩空間上進行處理，擁有較高的時間復(fù)雜度；
[0008] 現(xiàn)有視頻雨滴去除技術(shù)在雨滴去除時大量使用鄰域兩帖的值替換法，會對輸出圖 像的質(zhì)量造成影響。

【發(fā)明內(nèi)容】

[0009] 本發(fā)明提供了一種基于圖像滴的視頻雨滴去除方法及系統(tǒng)，旨在解決現(xiàn)有的視頻 雨滴去除技術(shù)較少使用圖像局部特性，計算效率不高的技術(shù)問題。
[0010] 本發(fā)明提供的基于圖像滴的視頻雨滴去除方法及系統(tǒng)還可W解決W下技術(shù)問 題：
[0011] 現(xiàn)有視頻雨滴去除技術(shù)常在多個色彩空間上進行處理，擁有較高的時間復(fù)雜度；
[0012] 現(xiàn)有視頻雨滴去除技術(shù)在雨滴去除時大量使用鄰域兩帖的值替換法，會對輸出圖 像的質(zhì)量造成影響。
[0013] 本發(fā)明是該樣實現(xiàn)的，一種基于圖像滴的視頻雨滴去除方法，包括：
[0014] 步驟a;通過圖像特定闊值及窗口大小計算圖像局部滴；
[0015] 步驟b;根據(jù)圖像局部滴結(jié)合面積及角度濾波確定圖像含雨部分，使用多個鄰居 帖的圖像局部滴均值檢測運動物體部分，并利用雨的時域分布特性得到雨滴部分；
[0016] 步驟C;采用相鄰帖均值替換法去除雨滴部分，得到去雨圖像。
[0017] 本發(fā)明實施例采取的技術(shù)方案還包括：所述步驟a還包括：讀取視頻帖，并對視頻 帖進行色彩空間轉(zhuǎn)換；所述對視頻帖進行色彩空間轉(zhuǎn)換具體包括：
[0018] 步驟al;將視頻帖從RGB色彩空間轉(zhuǎn)換到Y(jié)Cb化色彩空間；所述色彩空間轉(zhuǎn)換公 式為：
[0019]
[0020] 步驟a2 ;將步驟al的公式的R、G、B分量寫成兩部分的組合，且提取出Cb和&分 量，步驟al的公式重寫為：
[0021]
[0022] 其中，化g、Gbg與Bbg分別是沒有被雨滴覆蓋的像素在S個分量上的背景強度值， AR、AG與AB是雨滴引起的背景強度在R、G與B分量上的增量；若像素未被雨滴覆蓋，貝U AR、AG及AB均為零；反之，均不為零；
[0023] 步驟a3 ;雨滴引起的AR、AG及AB近似相等，步驟a2中的公式變換為：
[0024] Cb= 128-0. 1482Rbg-0. 2910Gbg+0. 4392Bbg [00巧]Cr= 128+0. 4392Rbg-0. 3678Gbg-0. 0714Bbg
[0026] 本發(fā)明實施例采取的技術(shù)方案還包括；在所述步驟a中，所述通過圖像特定闊值 及窗口大小計算圖像局部滴具體為：通過圖像Y亮度分量的特定闊值及窗口大小計算圖像 局部滴。
[0027] 本發(fā)明實施例采取的技術(shù)方案還包括；在所述步驟b中，所述利用雨的時域分布 特性得到雨滴部分還包括；利用雨的時域分布特性進一步分離運動物體部分；具體為：計 算從n-7帖到n巧帖的亮度最大值減