計算局部滴, 選擇大于2. 7的圖像部分,得到圖像含雨部分,并將圖像含雨部分記為len ;由于雨具有動 態(tài)性及高亮度性等特性,使用面積及角度濾波器對圖像進行噪聲去除(具體為通過角度、 面積直方圖確定闊值,并將不滿足闊值的部分去除);而由于運動物體在鄰居帖中表現出 更高的局部滴,利用時域的局部滴均值可W檢測出部分運動物體(具體檢測方式為;選擇 大于一定閥值的運動物體;在本發(fā)明實施例中,該閥值為4. 4,具體可根據實際應用進行設 定),并將該部分運動物體記為mol ;在本發(fā)明實施方式中,使用鄰域5帖的圖像局部滴均值 檢測出帖中部分運動物體,具體也可使用其他數量的鄰居帖進行檢測。
[0075] 步驟400;利用雨的時域分布特性進一步分離運動物體部分,并從圖像含雨部分 中除去運動物體部分,得到最終的雨滴部分;
[0076] 在步驟400中,對于雨滴來說,靜態(tài)雨滴具有似鏡頭的特性,從周圍環(huán)境中大量吸 收、折射光源,造成其亮度明顯增加;又由于其半徑較大,在重力的作用下,其會擁有較大的 下落速度,故雨滴經常被攝像機捕捉為光亮雨線。且由于其高速性,在時域雨滴總會造成有 規(guī)律性的亮度波動,且波動幅度較于運動物體來說明顯較小,具體如圖3所示,為雨的時域 分布特性效果圖。因為雨的時域亮度波動幅度較小,利用此特性進一步分離運動物體部分, 并得到最終的雨滴部分;具體算法為;計算從n-7帖到n+7帖的亮度最大值減去亮度最小 值的值,如果值大于一定閥值,則設置為運動物體部分,將該運動物體部分記為mo2,并通過 結合mol及mo2得到全部的運動物體部分,通過從圖像含雨部分len中除去全部的運動物 體部分,得到最終的雨滴部分;在本發(fā)明實施例中,該閥值設為35,具體可根據實際應用進 行設定。
[0077] 步驟500;采用相鄰帖均值替換法去除雨滴部分,得到去雨圖像;
[0078] 在步驟500中,由于現在已經獲取了標識圖像含雨部分的二值圖及原圖,又由于 雨僅影響有限相鄰帖,使用相鄰帖均值替換進行最終去雨;由于雨勢存在變化情況,現有的 視頻去雨技術通常僅在鄰域3帖之中進行均值替換,去雨效果不佳,本發(fā)明實施例使用鄰 域15帖均值替換,W獲取更好的圖像效果,在本發(fā)明其他實施例中,也可使用其他數量的 鄰域帖均值替換。
[0079] 步驟600;通過各向異性濾波對去雨圖像進行修復處理,并將修復處理后的圖像 轉換到RGB色彩空間,得到最終的去雨圖像。
[0080] 在步驟600中,在使用均值替換法去除雨滴之后,會對輸出圖像的質量造成降低, 本發(fā)明通過使用進一步的圖像修復機制W獲取更好的圖像效果。在各種圖像處理方法中, 我們能夠將圖像看做矩陣、圖、隨機過程、力場(如光流場)等等;各項異性濾波將圖像看做 熱量場,每個像素看做熱流,根據當前像素和周圍像素的關系,來確定是否要向周圍擴散; 比如某個鄰域像素和當前像素差別較大,則代表該個鄰域像素很可能是個邊界,那么當前 像素就不向該個方向擴散了,該個邊界也就得到保留了,即其為邊保留平滑濾波,且克服了 高斯模糊的缺陷。一維熱傳導方程,也稱一維擴散方程,其為各向異性濾波方程的基礎。熱 能是由分子的不規(guī)則運動產生的,在熱能流動中有兩種基本過程;傳導和對流;傳導由相 鄰分子的碰撞產生,一個分子的振動動能被傳送到其最近的分子;該種傳導導致了熱能的 傳播,即便分子本身的位置沒有什么移動,熱能也傳播了;此外,如果振動的分子從一個區(qū) 域運動到另一個區(qū)域,它會帶走其熱能,該種類型的熱能運動稱為對流;W此為基礎,基于 擴散方程的濾波方法是近年來出現的一種新的圖像濾波技術,即求解初始值為輸入圖像的 非線性熱擴散方程。在擴散方程中,通過引入圖像特征,設計合適的擴散系數來控制擴散方 程的擴散行為,使得在平滑圖像的同時能夠保留甚至增強圖像的特征信息,獲得更高 質量的圖像效果。
[0081] 請參閱圖4,是本發(fā)明實施例的基于圖像滴的視頻雨滴去除系統(tǒng)的結構示意圖。本 發(fā)明實施例的基于圖像滴的視頻雨滴去除系統(tǒng)包括空間轉換模塊、滴值計算模塊、圖像檢 測模塊、雨滴檢測模塊、圖像去雨模塊和圖像修復模塊;具體地:
[0082] 空間轉換模塊用于讀取視頻帖,并將視頻帖從RGB色彩空間轉換到YCb化色彩空 間;其中,對于色彩空間,其是為了定量描述顏色而建立的支持數字圖像的生成、存儲、處理 及顯示的顏色模型。其中最出名的為RGB色彩空間,RGB色彩空間建立的主要依據是人的 眼睛有紅、綠和藍=種色感細胞,它們的最大感光靈敏度分別落在紅色、藍色和綠色區(qū)域, 其合成的光譜響應就是視覺曲線,由此推出任何彩色都可W用紅、綠、藍=種基色來配置; 但由于在使用RGB色彩空間進行圖像處理時需要同時處理紅、綠、藍=個通道上的數據,造 成了時間復雜度過高的現象;而對于YCb化色彩空間,其是DVD、攝像機、數字電視等消費類 視頻產品中,常用的色彩編碼方案。YCbCr不是一種絕對色彩空間,是YUV壓縮和偏移的版 本。YCb化色彩空間中的Y指亮度分量,Cb指藍色色度分量,而化指紅色色度分量。人的 肉眼對視頻的Y亮度分量更敏感,因此在通過對色度分量進行子采樣來減少色度分量后, 肉眼將察覺不到圖像質量的變化,且通過計算,在被雨影響的圖像中,雨的部分基本存在于 Y亮度分量,Cb藍色色度分量及化紅色色度分量并不受雨滴的影響,故在YCb化色彩空間 中使用去雨算法,只需去除Y亮度分量中雨場,能夠降低時間復雜度。具體地,從RGB色彩 空間轉換到YCb&色彩空間的轉換公式為:
[0083]
[0084] 對于有雨的一幅圖像,每個像素在R、G、BS個分量上的強度值可W認為由兩部分 組成,一部分是不被雨滴覆蓋的背景強度值,另一部分是由于雨滴折射作用引起的背景強 度值的增量。將公式(1)的R、G、B分量寫成兩部分的組合,且提取出Cb和化分量,重寫 (1)式為如下形式:
[0085]
[0086] 在公式(2)中,化g、抓g、Bbg分別是沒有被雨滴覆蓋的像素在S個分量上的背景 強度值,AR、AG、AB是雨滴引起的背景強度在R、G、B分量上的增量。若像素未被雨滴覆 蓋,則AR,AG,AB均為零;反么均不為零。結合雨滴的色彩屬性,雨滴引起的AR、AG、 AB應近似相等,所W公式(2)可W變換為如下形式:
[0087] Cb= 128-0. 1482Rbg-0. 2910Gbg+0. 4392Bbg
[0088] (3)
[0089] Cr= 128+0. 4392Rbg-0. 3678Gbg-0. 0714Bbg
[0090] 通過公式(3)可W看出,通過色彩空間轉換后,受雨滴影響圖像僅Y亮度分量含有 雨滴成分,Cb藍色色度分量和化紅色色度分量自動消去了雨滴引起的強度變化部分,使得 其不受雨滴的存在與否的影響,因此,在圖像去雨過程中,只需去除Y分量中雨場,能夠大 幅縮短處理時間。
[0091] 滴值計算模塊用于通過圖像Y亮度分量的特定闊值及窗口大小計算圖像局部滴; 其中,滴指的是體系的混亂的程度,它在控制論、概率論、數論、天體物理、生命科學等領域 都有重要應用,在不同的學科中也有引申出的更為具體的定義,是各領域十分重要的參量。 滴由魯道夫?克勞修斯(RudolfClausius)提出,并應用在熱力學中。后來在,克勞德?艾 爾伍德?香農(ClaudeElwood化annon)第一次將滴的概念引入到信息論中來。在信息 論中,滴表示的是不確定性的量度。信息論的創(chuàng)始人香農在其著作《通信的數學理論》中 提出了建立在概率統(tǒng)計模型上的信息度量。他把信息定義為"用來消除不確定性的東西"。 信息論中,化annon用事件發(fā)生概率的倒數來表示該事件的信息。如系統(tǒng)某一狀態(tài)i(i= 0, 1,k,n)發(fā)生的概率為Pi,則該狀態(tài)具備的信息可描述為:
[0095] 在此,Shannon滴關于信息量的定義不是對于所有狀態(tài)都存在,由式(4)知
[0096]
[0097] 為此,有學者重新定義了指數形式的信息滴,用式(8)所示的指數關系式計算某 一狀態(tài)的信息量:
[0098] AI也)=exp(1-Pi) (8)
[0099]
[0100] 式中,AI扣)在區(qū)間[0,U所有的點都存在且連續(xù);AI(pi= 0) =Kl,K1 > 0 為有限值;AI(pi= 1) =K2,0《K2<K1 ;隨著pi的增大,AI(pi)按指數規(guī)律減小。而后 有學者提出WSHANNON滴的定義來計算圖像的滴。設圖像中像素(i,j)的灰度值為fO,它 的某種鄰域內的像素的灰度值分別為:fl,f2,…,fi,…化,且該n+1個像素構成一個局 部圖像窗口,其滴按式(6)計算,但其中的pi被定義為窗口中某一像素灰度與窗口中各 像素灰度之和的比值:
[0101]
(10)
[0102] 圖像檢測模塊用于根據圖像局部滴結合面積及角度濾波確定圖像含雨部分,并使 用多個鄰居帖的圖像局部滴均值,檢測出帖中部分運動物體;其中,圖像局部滴能夠在圖像 所包含信息量的情況下,突出反映圖像中像素位置的灰度信息及在像素鄰域內灰度分布的 綜合特征。且在邊界集中或者邊界明顯區(qū)域能夠得到更高的局部滴值。具體計算方法為對 第n帖使用5*5的窗口大小計算局部滴,選擇大于2. 7的圖像部分,得到圖像含雨部分,并 將圖像含雨部分記為len;由于雨具有動態(tài)性及高亮度性等特性,使用面積及角度濾波器 對圖像進行噪聲去除(具體為通過角度、面積直方圖確定闊值,并將不滿足闊值的部分去 除);而由于運動物體在鄰居帖中表現出更高的局部滴,利用時域的局部滴均值可W檢測 出部分運動物體(具體檢