專利名稱：基于自適應(yīng)聚類顏色傳遞的霧天圖像清晰化方法
技術(shù)領(lǐng)域：
本發(fā)明屬于圖像恢復(fù)技術(shù)領(lǐng)域，涉及一種在低對比度低信息量條件下對 圖像進(jìn)行清晰化恢復(fù)的方法，具體涉及一種基于自適應(yīng)聚類顏色傳遞的霧天 圖像清晰化方法。
技術(shù)背景隨著計算機(jī)圖像處理技術(shù)的不斷發(fā)展，以及監(jiān)控，數(shù)碼攝像等領(lǐng)域的迫 切需要，人們在分析某些低對比度、低信息量照片的時候，要求能夠?qū)D像 進(jìn)行較大程度的清晰化處理，恢復(fù)圖像中的一些關(guān)鍵信息。在我國，大霧是一種時常出現(xiàn)的天氣情況，在大霧天氣下，無論應(yīng)用于 哪個領(lǐng)域的戶外視頻監(jiān)視系統(tǒng)，所拍攝到的都是有著大霧干擾的低對比度的 圖像。圖像信息量很低，其中存在著大量難以看清的畫面信息和相當(dāng)一部分 根本就無法分辨的細(xì)節(jié)信息，而這些有時卻正是一幅圖像最需要的內(nèi)容，所 以，在通常情況下，大霧下圖像的利用率相當(dāng)?shù)?，甚至在一些情況下，不得 不被當(dāng)作廢圖像，不具有任何的使用和分析的價值。一般情況下，對低對比度的圖像進(jìn)行清晰化處理，采用的是拉伸對比度 的方法，可是由于實際場景中的霧況的不一致性，使得所需要拉伸的程度也 大不相同，并且很難找到霧況與對比度之間的映射關(guān)系，因此在很多情況下， 即使是對對比度進(jìn)行手動的非線性拉伸，也很難取得較好的效果，這就使得 大霧天氣下的圖像恢復(fù)成了一個很棘手的問題。發(fā)明內(nèi)容本發(fā)明的目的是，提供一種基于自適應(yīng)聚類顏色傳遞的霧天圖像清晰化 方法，來對大霧條件下所拍攝的霧天模糊圖像進(jìn)行清晰化處理，恢復(fù)出霧天 模糊圖像中的有效信息。本發(fā)明采用的技術(shù)方案是， 一種基于自適應(yīng)聚類顏色傳遞的霧天圖像清 晰化方法，該方法按照以下步驟實施，步驟l、采集源圖像和目標(biāo)圖像信息，通過顏色空間的轉(zhuǎn)換，對源圖像 以及目標(biāo)圖像分別進(jìn)行解耦合處理；步驟2、對步驟1所得的解耦合處理結(jié)果，在丄"々顏色空間中，統(tǒng)計出 其三個通道的源圖像與目標(biāo)圖像的均值與方差，使源圖像的統(tǒng)計特性盡可能 地向目標(biāo)圖像"靠攏"，盡量使源圖像與目標(biāo)圖像有相同的或盡量相似的統(tǒng) 計特性；步驟3、將步驟2所得到的在^^顏色空間上的校正源圖像再由Z"/ 顏 色空間變換還原到RGB顏色空間，得到一次顏色傳遞校正結(jié)果圖像，如果沒有顏色失真，進(jìn)行完步驟3之后，就完成了源圖像的處理操作； 如果出現(xiàn)色偏失真，還需要通過以下步驟繼續(xù)完成對圖像顏色的校正； 步驟4、將步驟3所得到的一次顏色傳遞校正結(jié)果圖像繼續(xù)與目標(biāo)圖像 進(jìn)行顏色聚類；步驟5、對步驟4所得到的結(jié)果進(jìn)行源圖像與目標(biāo)圖像的相似類別的査 找與對應(yīng)；步驟6、根據(jù)步驟5所得到的結(jié)果，進(jìn)行二次顏色傳遞校正；步驟7、用戶根據(jù)對顏色質(zhì)量的主觀判斷，對步驟6所得的二次顏色傳遞校正圖像，調(diào)整二次校正的聚類個數(shù)，得到最終的校正結(jié)果圖。本發(fā)明的有益效果是，實現(xiàn)了對大霧條件下所拍攝的圖像進(jìn)行清晰化處理，恢復(fù)出大部分的細(xì)節(jié)信息，恢復(fù)圖像中的一些關(guān)鍵信息，恢復(fù)出圖像中的景物色彩信息。
具體實施方式
下面結(jié)合具體實施方式
對本發(fā)明進(jìn)行詳細(xì)說明。本發(fā)明的工作原理是，采用自適應(yīng)聚類顏色傳遞的方法，設(shè)置一個晴天 下拍攝的圖像作為目標(biāo)圖像(可以是不同場景的圖像)，該目標(biāo)圖像可以與 待處理圖像不是相同的景物，將待處理圖像在解耦合后的顏色空間上，通過 改變待處理圖像的統(tǒng)計特性，使之與目標(biāo)圖像的統(tǒng)計特性趨于相似的方式進(jìn) 行顏色傳遞。以此達(dá)到對霧天圖像的清晰化的處理效果，不在圖像中留下明 顯的不平滑的人為處理過后的痕跡，使圖像處于一種自然的狀態(tài)。本發(fā)明中，將有霧天氣下拍攝到的圖像稱為源圖像，將晴天天氣下拍攝 到的清晰度好的圖像稱為目標(biāo)圖像。也可以事先在處理之前，將目標(biāo)圖像存 儲于系統(tǒng)中，以備處理時使用。本發(fā)明的霧天圖像清晰化處理方法，按照以下步驟實施，步驟l、采集源圖像和目標(biāo)圖像信息，通過顏色空間的轉(zhuǎn)換，對源圖像以及目標(biāo)圖像的三個顏色通道RGB分別進(jìn)行解耦合處理。采用的方法是，將源圖像和目標(biāo)圖像分別都從RGB顏色空間轉(zhuǎn)換到丄^ 顏色空間，因為丄"-顏色空間上三個通道間的耦合程度比較低，所以通過空 間轉(zhuǎn)換的方法，能夠達(dá)到對RGB顏色空間上的圖像三通道解耦合的目的。 RGB顏色空間到丄"/ 顏色空間的轉(zhuǎn)換，轉(zhuǎn)換的過程共分兩步a、先將RGB顏色空間轉(zhuǎn)換到LMS顏色空間<formula>formula see original document page 11</formula>(1)<formula>formula see original document page 11</formula>(2)步驟2、在Zor/ 顏色空間中，統(tǒng)計出其三個通道的源圖像與目標(biāo)圖像的 均值與方差，使源圖像的統(tǒng)計特性盡可能地向目標(biāo)圖像"靠攏"，盡量使源-圖像與目標(biāo)圖像有相同的或盡量相似的統(tǒng)計特性，具體的方法按照以下步驟 實施a、將源圖像和目標(biāo)圖像轉(zhuǎn)換到丄^顏色空間后，在丄"々顏色空間下計算各個通道的總體均值/z和標(biāo)準(zhǔn)差^即源圖像的統(tǒng)計參數(shù)為乂，W，《，crf;目標(biāo)圖像的統(tǒng)計參數(shù)為"，A" ， 乂， 一，《，W;參數(shù)的下標(biāo)s J分別代表源圖和目標(biāo)圖。均值和標(biāo)準(zhǔn)差的計算公式如下 1<formula>formula see original document page 11</formula>其中，/(U')表示圖像在(/,力點上的灰度值，圖像的大小為mx"。b、在源圖像中，按照下式每個像素點的各通道都減去該通道的總體均值，<formula>formula see original document page 12</formula>C、對源圖像中各個像素點按照下式進(jìn)行像素值的縮放，(5)<formula>formula see original document page 12</formula>(6)d、源圖像的每個像素點各個通道值按照下式加上目標(biāo)圖像相應(yīng)通道的均值，<formula>formula see original document page 12</formula>(7)步驟3、將所得到的在丄"々顏色空間上的校正源圖像再由￡ / 顏色空間 變換到RGB顏色空間，得到的校正圖像稱為一次顏色傳遞校正結(jié)果圖， 從丄"/ 顏色空間到RGB顏色空間的轉(zhuǎn)換，具體過程分為兩步 a、將圖像畫面從丄^空間轉(zhuǎn)換到LMS顏色空間_<formula>formula see original document page 12</formula>b、再將圖像畫面從LMS顏色空間轉(zhuǎn)換到RGB顏色空間:<formula>formula see original document page 12</formula>經(jīng)過這樣的處理之后，畫面的細(xì)節(jié)能夠得到明顯的增強(qiáng)，畫面的整體清 晰度得到了提高。如果沒有顏色失真，迸行到第三步之后，就完成了源圖像的處理過程。 但是由于目標(biāo)圖像選擇允許與源圖像不是同一個季節(jié)拍攝的圖像，因此，在 經(jīng)過了上述顏色傳遞之后，可能出現(xiàn)一定程度的色偏失真，這時，需要通過 下面的步驟完成對顏色的校正。 .步驟4、將一次顏色傳遞校正后的結(jié)果圖像繼續(xù)與目標(biāo)圖像進(jìn)行顏色聚 類。采用自組織特征映射神經(jīng)元網(wǎng)絡(luò)作為聚類器進(jìn)行顏色的聚類，定義該聚類器的輸入神經(jīng)元個數(shù)為3，這三個輸入神經(jīng)元的含義分別為圖像中像素的 (/ ，G,巧值，即x^i 、 x2=G、 x3 = 5，輸出神經(jīng)元的個數(shù)表示所需要聚類的 類別數(shù)，例如，當(dāng)需要對圖像的顏色聚類的類別數(shù)為8色時，w = 8。 該SOFM聚類器的學(xué)習(xí)過程如下a、 初始化，權(quán)值矩陣『是一個值為M^ e
的隨機(jī)數(shù)矩陣，學(xué)習(xí)速率 W,)二/7。(〈1)，這里，；;。=0.01，鄰域^ = 3及總學(xué)習(xí)次數(shù)7 = 100。b、 計算歐式(Euclid)距離，<formula>formula see original document page 13</formula> c、 確定獲勝神經(jīng)元，<formula>formula see original document page 13</formula>d、 修正連接權(quán)值，以g為中心，確定學(xué)習(xí)鄰域Wg(O，修正權(quán)值<formula>formula see original document page 14</formula>其它(12)e、 返回步驟b直到完成所有輸入模式，即遍歷> =1，2,...,"的訓(xùn)練，f、 更新學(xué)習(xí)速率;;(O<formula>formula see original document page 14</formula>(13)該聚類器收斂之后，權(quán)值陣『=[w,]3x = [w1;，W2"w3y]》 表示的是各個類別的顏色中心，即屬于第7'類的顏色中心為<formula>formula see original document page 14</formula>對照聚類中心就可以對一幅圖像的顏色，按照"距離哪個顏色中心最近， 就屬于明f個顏色類別"的原則進(jìn)行聚類，獲得不同顏色類別所在的顏色區(qū)域。 步驟5、相似類別的查找與對應(yīng)。經(jīng)過聚類之后，經(jīng)過一次顏色傳遞校正后的源圖像與目標(biāo)圖像之間類別 所在區(qū)域不能""^一對應(yīng)，因此，需要進(jìn)行相似類別的判斷，具體步驟如下， a、將圖像由RGB顏色空間轉(zhuǎn)換到HSV顏色空間，<formula>formula see original document page 14</formula>(14)<formula>formula see original document page 14</formula>(15)<formula>formula see original document page 14</formula>(16)b、 對H、 S分別進(jìn)行m級量化，統(tǒng)計出各聚類后區(qū)域的歸一化//5二維直方圖，即/f分量為<formula>formula see original document page 15</formula>^分量為<formula>formula see original document page 15</formula>c、 使用修正的Bhattacharyya系數(shù)作為二維直方圖相似程度的評判，計 算公式如下<formula>formula see original document page 15</formula>(17)' 通過分析/)(p,《)可知兩直方圖顏色的不匹配程度，Z)(;7,們的值越小 兩直方圖匹配度越高，表明兩個區(qū)域越相似。 步驟6、進(jìn)行二次顏色傳遞校正。將在步驟4得到的每一個經(jīng)過一次顏色傳遞校正圖像的聚類區(qū)域校正至 找到最相似的目標(biāo)圖像的聚類區(qū)域后，利用目標(biāo)圖像的聚類區(qū)域的統(tǒng)計特 性，按照前述的一次顏色傳遞校正相同的方法，對一次校正結(jié)果圖像中對應(yīng) 的聚類區(qū)域進(jìn)行顏色傳遞校正，得到二次顏色傳遞校正圖像。步驟7、用戶根據(jù)對顏色質(zhì)量的主觀判斷，人工調(diào)整二次校正的聚類個 數(shù)，得到最終的校正結(jié)果圖。如果用戶對顏色的色差能夠有比較大的容忍性，例如只關(guān)心清晰化后圖 像的細(xì)節(jié)部分，只采用一次校正就可以；如果用戶對色差的要求比較苛刻， 則需要進(jìn)行這一步的操作。由于圖像的霧況不同，參照用的目標(biāo)圖像不同，聚類個數(shù)的多少會影響 到圖像清晰化過程中的顏色恢復(fù)效果。聚類經(jīng)驗值選為8個類別的聚類，可以根據(jù)圖像效果的好壞在此基礎(chǔ)上增減聚類類別數(shù)，以達(dá)到滿意的效果屈。本發(fā)明的方法在進(jìn)行圖像清晰化時，所選擇的自標(biāo)圖像允許與源圖像的 畫面內(nèi)容不一致，但是，為了盡可能地保證顏色的恢復(fù)效果，要求目標(biāo)圖像 的畫面色調(diào)盡量與源圖像相似。此外，對于攝像頭固定的視頻監(jiān)視系統(tǒng)，可 以采集一幀晴好天氣下的畫面存儲起來，作為目標(biāo)圖像，這樣當(dāng)系統(tǒng)訓(xùn)練得 到了聚類類別數(shù)之后，存儲起來，在系統(tǒng)投入運行之后，直接調(diào)用該訓(xùn)練得 到的類別數(shù)進(jìn)行處理，就可實現(xiàn)完全的自動化處理。
權(quán)利要求
1. 一種基于自適應(yīng)聚類顏色傳遞的霧天圖像清晰化方法，其特征在于，該方法按照以下步驟實施，步驟1、采集源圖像和目標(biāo)圖像信息，通過顏色空間的轉(zhuǎn)換，對源圖像以及目標(biāo)圖像分別進(jìn)行解耦合處理；步驟2、對步驟1所得的解耦合處理結(jié)果，在Lαβ顏色空間中，統(tǒng)計出其三個通道的源圖像與目標(biāo)圖像的均值與方差，使源圖像的統(tǒng)計特性盡可能地向目標(biāo)圖像“靠攏”，盡量使源圖像與目標(biāo)圖像有相同的或盡量相似的統(tǒng)計特性；步驟3、將步驟2所得到的在Lαβ顏色空間上的校正源圖像再由Lαβ顏色空間變換還原到RGB顏色空間，得到一次顏色傳遞校正結(jié)果圖像，如果沒有顏色失真，進(jìn)行完步驟3之后，就完成了源圖像的處理操作；如果出現(xiàn)色偏失真，還需要通過以下步驟繼續(xù)完成對圖像顏色的校正；步驟4、將步驟3所得到的一次顏色傳遞校正結(jié)果圖像繼續(xù)與目標(biāo)圖像進(jìn)行顏色聚類；步驟5、對步驟4所得到的結(jié)果進(jìn)行源圖像與目標(biāo)圖像的相似類別的查找與對應(yīng)；步驟6、根據(jù)步驟5所得到的結(jié)果，進(jìn)行二次顏色傳遞校正；步驟7、用戶根據(jù)對顏色質(zhì)量的主觀判斷，對步驟6所得的二次顏色傳遞校正圖像，調(diào)整二次校正的聚類個數(shù)，得到最終的校正結(jié)果圖。
2、 根據(jù)權(quán)利要求1所述的圖像清晰化方法，其特征在于，所述的步驟1 的解耦合處理方法，具體包括以下步驟a、先將RGB顏色空間按照下面的公式轉(zhuǎn)換到LMS顏色空間，<formula>formula see original document page 3</formula>b、再將LMS顏色空間轉(zhuǎn)換到Z^顏色空間，<formula>formula see original document page 3</formula>將圖像轉(zhuǎn)換到Zc^顏色空間之后，就完成了對三個顏色通道的解耦合。
3、根據(jù)權(quán)利要求1所述的圖像清晰化方法，其特征在于，所述的步驟2中統(tǒng)計和處理均值和方差的方法，具體包括以下步驟，a、將源圖像和目標(biāo)圖像轉(zhuǎn)換到Z^顏色空間后，在i^/ 顏色空間下計算各個通道的總體均值^和標(biāo)準(zhǔn)差。，即源圖像的三個通道的統(tǒng)計參數(shù)為乂，《，//f， ^，《，crf，目標(biāo)圖像的三個通道的統(tǒng)計參數(shù)為A"，,， 一，《，o/，參數(shù)的下標(biāo)、,分別代表源圖像和目標(biāo)圖像，均值和標(biāo)準(zhǔn)差的計算公式如下<formula>formula see original document page 3</formula>其中，/(u')表示圖像在("力點上的灰度值，圖像的大小為wxn，b、在源圖像中，按照下式每個像素點的各通道都減去該通道的總體均值，<formula>formula see original document page 4</formula>c、對源圖像中各個像素點按照下式進(jìn)行像素值的縮放，<formula>formula see original document page 4</formula>d、源圖像的每個像素點各個通道值按照下式加上目標(biāo)圖像相應(yīng)通道的 均值，<formula>formula see original document page 4</formula>
4、根據(jù)權(quán)利要求1所述的圖像清晰化方法，其特征在于，所述的步驟3 中的顏色空間變換還原方法，具體包括以下步驟 a、先將ZM顏色空間轉(zhuǎn)換到LMS顏色空間，<formula>formula see original document page 4</formula>b、再將圖像畫面從LMS顏色空間轉(zhuǎn)換到RGB顏色空間,<formula>formula see original document page 4</formula>
5、根據(jù)權(quán)利要求1所述的圖像清晰化方法，其特征在于，所述的步驟4中，采用自組織特征映射神經(jīng)元網(wǎng)絡(luò)進(jìn)行顏色聚類，具體包括以下步驟將SOFM顏色聚類器的輸入神經(jīng)元個數(shù)設(shè)置為3，這三個輸入神經(jīng)元的 含義分別為圖像中像素的(及,G，^值，即x,i 、 x2=G、 x3 = JS，輸出神經(jīng)元的個數(shù)表示所需要聚類的類別數(shù)，該SOFM顏色聚類器的學(xué)習(xí)過程如下a、 初始化權(quán)值矩陣『為一個值為Wv e
的隨機(jī)數(shù)矩陣，學(xué)習(xí)速率;;(O = 7。(< 1)， 這里，7。 =0.01，鄰域^\^(/) = 3及總學(xué)習(xí)次數(shù)7 = 100，b、 計算歐式(Euclid)距離《爿II廠嗎2c、 確定獲勝神經(jīng)元《=min《} C/L.局d、 修正連接權(quán)值以g為中心，確定學(xué)習(xí)鄰域iVg(r)，修正權(quán)值e、 返回步驟b直到完成所有輸入模式，即遍歷/ = 1,2，...，"的訓(xùn)練，f、 更新學(xué)習(xí)速率7(0<formula>formula see original document page 5</formula>該聚類器收斂之后，權(quán)值陣『=[W々.]3x = [W1;,W2"W3;.];. = 1,2, ， 表示的是各個類別的顏色中心，即屬于第7類的顏色中心為[Ay.，G"5y〗=[ ，w 2" w3y] ， ( y' = 1，2"."")，對照聚類中心就可以對一幅圖像的顏色，按照"距離哪個顏色中心最近， 就屬于哪個顏色類別"為原則進(jìn)行聚類，獲得不同顏色類別所在的顏色區(qū)域。
6.根據(jù)權(quán)利要求l所述的圖像清晰化方法，其特征在于，所述的步驟5中源圖像與目標(biāo)圖像的相似類別的査找與對應(yīng)的方法，具體包括以下步驟a、將圖像由RGB顏色空間轉(zhuǎn)換到/^r顏色空間，—j[y-min(及,G，剛/F, F>0= 0， r = o'60(G — 5)/SF r = i 60[2 + (s —牟f] 「g60〖4 + (/ —C)/SF〗 j/ = jg0 F = 0// + 360 //<0b、對i/、 S分別進(jìn)行m級量化，統(tǒng)計出各聚類后區(qū)域的歸一化//5二維 直方圖，即7/分量為"^A,^2，…，P附](f = 1 )，a = i/t = 1c、使用修正的Bhattacharyya系數(shù)作為二維直方圖相似程度的評判，計算公式如下
7.根據(jù)權(quán)利要求l所述的圖像清晰化方法，其特征在于，所述的步驟6中的二次顏色傳遞校正的方法，具體包括以下步驟將在步驟4得到的每一個經(jīng)過一次顏色傳遞校正圖像的聚類區(qū)域校正至找到最相似的目標(biāo)圖像的聚類區(qū)域后，利用目標(biāo)圖像的聚類區(qū)域的統(tǒng)計特 性，按照前述的一次顏色傳遞校正相同的方法，對一次校正結(jié)果圖像中對應(yīng) 的聚類區(qū)域進(jìn)行顏色傳遞校正，得到二次顏色傳遞校正圖像。
全文摘要
本發(fā)明公開了一種基于自適應(yīng)聚類顏色傳遞的霧天圖像清晰化方法，該方法按照以下步驟實施采集源圖像和目標(biāo)圖像信息，通過顏色空間的轉(zhuǎn)換分別進(jìn)行解耦合處理；統(tǒng)計出源圖像與目標(biāo)圖像的均值與方差，使源圖像的統(tǒng)計特性盡可能地向目標(biāo)圖像“靠攏”；將所得到的在Lαβ顏色空間上的校正源圖像再由Lαβ顏色空間變換還原到RGB顏色空間，得到一次顏色傳遞校正結(jié)果圖；將一次顏色傳遞校正后的結(jié)果圖像繼續(xù)與目標(biāo)圖像進(jìn)行顏色聚類；進(jìn)行相似類別的查找與對應(yīng)；進(jìn)行二次顏色傳遞校正；人工調(diào)整二次校正的聚類個數(shù)，得到最終的校正結(jié)果圖。本發(fā)明的方法實現(xiàn)了對大霧條件下所拍攝的圖像進(jìn)行清晰化處理，能夠恢復(fù)出源圖像中的有效信息。
文檔編號G06T5/50GK101281642SQ20081001817
公開日2008年10月8日 申請日期2008年5月12日 優(yōu)先權(quán)日2008年5月12日
發(fā)明者薇 劉, 虹 朱, 剛 李, 楊向波, 棟 王, 琚寧飛, 袁承興, 鄧穎娜, 楠 邢, 郭馨潞 申請人:西安理工大學(xué)