專利名稱：基于非局部均值的Bayer型CFA圖像去馬賽克方法
技術(shù)領(lǐng)域：
本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，更進一步涉及圖像恢復(fù)技術(shù)領(lǐng)域的基于非局部均值的Bayer型CFA圖像去馬賽克方法。本發(fā)明可用于恢復(fù)單傳感芯片相機中CFA圖像的完整彩色信息，從而彌補由于減少相機硬件成本所帶來的圖像彩色信息的丟失；同時，也可用于計算機中對相機以“Raw Mode”方式保存的原始數(shù)據(jù)進行處理，從而獲得高質(zhì)量的彩色圖像。
背景技術(shù)：
單傳感相機采用單片CCD或CMOS傳感芯片，通過在傳感器前覆蓋一個顏色濾波陣列(color filer array, CFA)來捕獲圖像。這種方式所捕獲的CFA圖像為一種馬賽克圖像，每個像素點只有三基色中的一個顏色值，而另外兩個顏色值則需要根據(jù)其鄰域信息來 插值，這一顏色插值技術(shù)被稱為“去馬賽克”(demosaicing)?，F(xiàn)有的CFA圖像去馬賽克技術(shù)可以簡單地分為線性插值技術(shù)和非線性插值技術(shù)。線性插值最簡單也最具代表性的有雙線性插值和雙立方插值。雙線性插值和雙立方插值技術(shù)的優(yōu)點在于其實現(xiàn)簡單，速度快；但其缺點也是顯而易見的在圖像中會產(chǎn)生嚴(yán)重的人工痕跡(如彩色鑲邊，即虛假顏色效應(yīng))，尤其在圖像的高頻部分更為突出。相對地，非線性插值技術(shù)更復(fù)雜，由于考慮了 RGB通道間的相關(guān)性，其插值效果明顯要優(yōu)于線性插值技術(shù)。這一類技術(shù)有很多,例如,Wenmain Lu和Yap-peng Tan在文章中“Color filter arraydemosaicing new method and performance measures，，(IEEE Trans. Image Process.,vol. 12,no. 10,pp. 1194-1210，Oct. 2003)中提出的去馬賽克方法。非線性插值技術(shù)雖然可以獲得優(yōu)質(zhì)彩色圖像，但其復(fù)雜度高，計算代價大。微軟公司提出的專利申請“用于彩色圖像去馬賽克的優(yōu)質(zhì)梯度校正線性插值”(申請日:2005年03月15日，申請?zhí)?00510055929. 5，公開號CN1722852)中公開了一種用于彩色圖像去馬賽克的梯度校正線性插值方法和系統(tǒng)。該方法和系統(tǒng)首先使用現(xiàn)有的線性插值技術(shù)如雙線性插值技術(shù)來估算所需顏色的值，然后通過計算當(dāng)前像素上所需色彩的梯度來計算校正項，最后線性組合該插值和校正項以產(chǎn)生像素上遺漏色彩值。該方法直接使用梯度來影響和校正由現(xiàn)有插值技術(shù)估計的色彩值。但不足之處是僅僅利用了梯度來校正雙線性插值的結(jié)果，雖然比雙線性插值有了很大改進，但對圖像細節(jié)部分處理效果仍然不太理想，虛假顏色效應(yīng)依然嚴(yán)重。西安電子科技大學(xué)提出的專利“基于邊緣方向插值的CFA圖像去馬賽克方法”(申請日2011年07月22日，申請?zhí)?01110207617. 7，公開號CN102254301)中提出一種基于邊緣方向插值的去馬賽克方法。該方法根據(jù)圖像的邊緣走向來插值，使得圖像的邊緣部分的插值效果有了明顯提高。該方法的不足之處是該方法是通過梯度來判斷邊緣方向，對于大的邊緣能獲得較好的插值結(jié)果，但是對于細小的邊緣則無法判斷邊緣方向，所以該方法對細小邊緣和紋理區(qū)域插值結(jié)果不理想。

發(fā)明內(nèi)容
本發(fā)明針對現(xiàn)有去馬賽克算法對圖像的細小邊緣和紋理區(qū)域插值效果不佳的缺陷，提出了一種基于非局部均值的Bayer型CFA圖像去馬賽克方法，本發(fā)明采用了非局部均值的思想，將圖像分塊處理，在當(dāng)前圖像塊的鄰域中搜索相似圖像塊，利用圖像的結(jié)構(gòu)相似性對當(dāng)前圖像塊進行插值，使得圖像的高頻部分的插值結(jié)果有顯著的提高，有效抑制了虛假顏色效應(yīng)。為實現(xiàn)上述目的，本發(fā)明包括如下主要步驟(I)輸入一幅待去馬賽克的Bayer型CFA圖像；(2)采用亮度公式估計亮度； (3)在輸入待去馬賽克的Bayer型CFA圖像中逐像素取一個5X5像素大小的圖像塊作為當(dāng)前待去馬賽克的圖像塊；(4)在當(dāng)前待去馬賽克圖像塊的33X33像素大小的鄰域中提取三組圖像塊集合；(5)計算圖像塊的權(quán)重5a)采用高斯核距離公式計算三組圖像塊集合中每個圖像塊與當(dāng)前待去馬賽克圖像塊的聞斯核距尚;5b)在三組圖像塊集合中的每組圖像塊集合內(nèi)，按高斯核距離由小到大對該組所有圖像塊進行排序，取前5個圖像塊作為相似圖像塊，舍棄其余圖像塊；5c)采用權(quán)重計算公式計算每組圖像塊集合中5個相似圖像塊的權(quán)重；(6)采用加權(quán)平均公式對三組圖像塊集合中的相似圖像塊進行加權(quán)平均；(7)將加權(quán)圖像塊中的值按像素空間位置一一對應(yīng)地插入到當(dāng)前待去馬賽克圖像塊中；(8)判斷是否完成所有像素的插值，若完成，則執(zhí)行步驟(9)，否則轉(zhuǎn)入步驟(3)；(9)用邊緣修正方法對插值后圖像進行邊緣修正；(10)色度修正IOa)采用顏色空間轉(zhuǎn)換公式將邊緣修正后的圖像從RGB空間轉(zhuǎn)換到Y(jié)UV空間；IOb)在YUV空間中對圖像的色度矩陣U和V分別進行3 X 3窗口的中值濾波；IOc)將圖像從YUV空間轉(zhuǎn)換到RGB空間，并將每個像素中不需要插值的顏色值替換為CFA圖像中對應(yīng)的原有顏色值；IOd)判斷是否完成了三次色度矩陣U和V的中值濾波，若完成，則執(zhí)行步驟(11)，否則轉(zhuǎn)入步驟IOa)；(11)輸出彩色圖像。本發(fā)明與現(xiàn)有的技術(shù)相比具有以下優(yōu)點第一，本發(fā)明采用非局部均值的思想，利用圖像自身的冗余性來搜索相似圖像塊，并依據(jù)精確估計的亮度來計算權(quán)重，利用相似圖像塊的結(jié)構(gòu)相似性對當(dāng)前圖像塊進行插值，能夠避免現(xiàn)有技術(shù)跨邊緣插值所造成的顏色效應(yīng)，使得本發(fā)明尤其適用于處理紋理較多的圖像。第二，本發(fā)明針對現(xiàn)有技術(shù)對圖像的細小邊緣區(qū)域插值效果不佳的缺陷，對非局部均值插值后的圖像進行了邊緣修正，使得圖像的高頻部分的插值效果有明顯提高，提高了對細小邊緣的插值效果；
第三，本發(fā)明對邊緣修正后的圖像進行了色度修正，對圖像兩個色度矩陣進行了三次中值濾波，改善了現(xiàn)有技術(shù)在插值過程中易造成小部分像素色度偏差的缺點，有效抑制了虛假顏色的出現(xiàn)。


圖I為本發(fā)明的流程圖；圖2為現(xiàn)有技術(shù)與本發(fā)明的去馬賽克仿真效果圖。
具體實施例方式下面結(jié)合附圖1，對本發(fā)明實現(xiàn)的步驟作進一步的詳細描述步驟1，輸入一幅待去馬賽克的CFA圖像Is，其中待去馬賽克的CFA圖像為Bayer模式的CFA圖像，圖像中每個像素點僅存在紅、綠、藍三基色中一個顏色值，該顏色值不需要插值，另外兩個顏色值缺失，需要采用去馬賽克方法進行插值。步驟2，估計亮度，計算公式如下L = ACHV1H+ ^1Mf M1 +A2MJM2X1HVIs其中，L為所需估計的亮度矩陣，A為RGB彩色圖像轉(zhuǎn)化為亮度矩陣的轉(zhuǎn)換矩陣，H為RGB彩色圖像采樣成Bayer形式CFA圖像的采樣因子，T為矩陣轉(zhuǎn)置運算符，上標(biāo)_1為矩陣求逆運算符，σ，AJP λ 2為常數(shù)，其值分別為σ = 0. 00001, A1 = O. 0008, A2 = O. 02,M1和M2為濾波矩陣，M1 =I3(S)S1，I3為3X3大小單位矩陣，S1為高通濾波器[O. 2，-O. 5，O. 65, -O. 5,0. 2]， 表示克羅內(nèi)克(Kronecker)算子,M2由下式運算得到
權(quán)利要求
1.一種基于非局部均值的Bayer型CFA圖像去馬賽克方法，包括如下步驟 (1)輸入一幅待去馬賽克的Bayer型CFA圖像； (2)采用亮度公式估計亮度； (3)在輸入待去馬賽克的Bayer型CFA圖像中逐像素取ー個5X 5像素大小的圖像塊作為當(dāng)前待去馬賽克的圖像塊； (4)在當(dāng)前待去馬賽克圖像塊的33X33像素大小的鄰域中提取三組圖像塊集合； (5)計算圖像塊的權(quán)重 5a)采用高斯核距離公式計算三組圖像塊集合中每個圖像塊與當(dāng)前待去馬賽克圖像塊的聞斯核距尚; 5b)在三組圖像塊集合中的每組圖像塊集合內(nèi)，按高斯核距離由小到大對該組所有圖像塊進行排序，取前5個圖像塊作為相似圖像塊，舍棄其余圖像塊； 5c)采用權(quán)重計算公式計算每組圖像塊集合中5個相似圖像塊的權(quán)重； (6)采用加權(quán)平均公式對三組圖像塊集合中的相似圖像塊進行加權(quán)平均； (7)將加權(quán)圖像塊中的值按像素空間位置一一對應(yīng)地插入到當(dāng)前待去馬賽克圖像塊中； (8)判斷是否完成所有像素的插值，若完成，則執(zhí)行步驟(9)，否則轉(zhuǎn)入步驟(3)； (9)用邊緣修正方法對插值后圖像進行邊緣修正； (10)色度修正 IOa)采用顏色空間轉(zhuǎn)換公式將邊緣修正后的圖像從RGB空間轉(zhuǎn)換到Y(jié)UV空間； IOb)在YUV空間中對圖像的色度矩陣U和V分別進行3 X 3窗ロ的中值濾波； IOc)將圖像從YUV空間轉(zhuǎn)換到RGB空間，并將每個像素中不需要插值的顏色值替換為CFA圖像中對應(yīng)的原有顏色值； IOd)判斷是否完成了三次色度矩陣U和V的中值濾波，若完成，則執(zhí)行步驟(11)，否則轉(zhuǎn)入步驟IOa)； (11)輸出彩色圖像。
2.根據(jù)權(quán)利要求I所述的基于非局部均值的Bayer型CFA圖像去馬賽克方法，其特征在于步驟(I)中所述的Bayer型CFA圖像為ー種馬賽克圖像，圖像中每個像素點僅存在紅、綠、藍三基色中ー個顏色值，該顏色值不需要插值，另外兩個顏色值缺失，需要采用去馬賽克方法進行插值。
3.根據(jù)權(quán)利要求I所述的基于非局部均值的Bayer型CFA圖像去馬賽克方法，其特征在于步驟(2)中所述的亮度估計公式如下L = A(H V1H + ^MjrM1 + X2MlM2)1 Ητσ 1Is 其中，L為所需估計的亮度矩陣，A為RGB彩色圖像轉(zhuǎn)化為亮度矩陣的轉(zhuǎn)換矩陣，H為RGB彩色圖像采樣成Bayer形式CFA圖像的采樣因子，T為矩陣轉(zhuǎn)置運算符，上標(biāo)_1為矩陣求逆運算符，σ，A1和λ 2為常數(shù)，其值分別為σ = 0.00001，A1 = 0.0008，A2 = O. 02,M1和M2為濾波矩陣，M1 =I3ISS1，I3為3X3大小單位矩陣，S1為高通濾波器[O. 2，-O. 5，O.65, -O. 5,0. 2]， 表示克羅內(nèi)克(Kronecker)算子,M2由下式運算得到
4.根據(jù)權(quán)利要求I所述的基于非局部均值的Bayer型CFA圖像去馬賽克方法，其特征在于步驟(3)中所述的逐像素取圖像塊的方法為-J人第17行第17列的像素起，到倒數(shù)第17行倒數(shù)第17列的像素為止,對姆個像素點均以該像素點為中心取大小為5X5像素大小的圖像塊作為當(dāng)前待去馬賽克的圖像塊。
5.根據(jù)權(quán)利要求I所述的基于非局部均值的Bayer型CFA圖像去馬賽克方法，其特征在于步驟(4)中所述的提取圖像塊集合的具體方法如下 (1)在當(dāng)前待去馬賽克圖像塊33X33像素大小的鄰域中，從第3行第4列的像素開始，分別沿行方向和列方向姆隔ー個像素取ー個像素點作為中心像素點，以該像素點為中心取ー個5X5像素大小的圖像塊，得到14X 15共210個圖像塊，將這些圖像塊作為第一組圖像塊集合； (2)在當(dāng)前待去馬賽克圖像塊33X33像素大小的鄰域中，從第4行第3列的像素開始，分別沿行方向和列方向姆隔ー個像素取一個像素點作為中心像素點，以該像素點為中心取ー個5X5像素大小的圖像塊，得到15X14共210個圖像塊，將這些圖像塊作為第二組圖像塊集合； (3)在當(dāng)前待去馬賽克圖像塊33X33像素大小的鄰域中，從第4行第4列的像素開始，分別沿行方向和列方向姆隔一個像素取一個像素點作為中心像素點，以該像素點為中心取ー個5X5像素大小的圖像塊，得到14X 14共196個圖像塊，將這些圖像塊作為第三組圖像塊集合。
6.根據(jù)權(quán)利要求I所述的基于非局部均值的Bayer型CFA圖像去馬賽克方法，其特征在于步驟5a)中所述的高斯核距離公式為
7.根據(jù)權(quán)利要求I所述的基于非局部均值的Bayer型CFA圖像去馬賽克方法，其特征在于步驟5c)中所述的權(quán)重計算公式為
8.根據(jù)權(quán)利要求I所述的基于非局部均值的Bayer型CFA圖像去馬賽克方法，其特征在于步驟(6)中所述的加權(quán)平均公式為
9.根據(jù)權(quán)利要求I所述的基于非局部均值的Bayer型CFA圖像去馬賽克方法，其特征在于步驟(7)中所述的對當(dāng)前待去馬賽克圖像塊插值的方法為將加權(quán)圖像塊中的值按像素位置一一對應(yīng)地插入到當(dāng)前待去馬賽克圖像塊中，得到ー個5X5X4的三維矩陣，其中每個像素都具有ー個紅色值、兩個綠色值和ー個藍色值；每個像素最終的綠色值取兩個綠色值的均值，得到插值后的彩色圖像塊。
10.根據(jù)權(quán)利要求I所述的基于非局部均值的Bayer型CFA圖像去馬賽克方法，其特征在于步驟(9)中所述的邊緣修正方法為對綠色通道中插入的像素點分別計算水平和垂直梯度，如果水平梯度小于垂直梯度，則對此像素的綠色值進行水平鄰域加權(quán)修正，如果水平梯度大于垂直梯度，則對此像素的綠色值進行垂直鄰域加權(quán)修正，如果水平梯度等于垂直梯度，對此像素的緑色值進行水平和垂直鄰域加權(quán)修正；對插值像素點的紅色值和藍色值均進行水平和垂直鄰域加權(quán)修正。
全文摘要
本發(fā)明公開了一種基于非局部均值的Bayer型CFA圖像去馬賽克方法，主要解決了現(xiàn)有技術(shù)對圖像細小邊緣部分插值效果不佳的問題。其實現(xiàn)步驟是(1)輸入一幅Bayer型CFA圖像；(2)估計亮度；(3)逐像素取圖像塊作為當(dāng)前待去馬賽克的圖像塊；(4)提取三組圖像塊集合；(5)計算圖像塊的權(quán)重；(6)相似圖像塊加權(quán)平均；(7)對當(dāng)前待去馬賽克圖像塊插值；(8)判斷是否完成所有像素的插值，若完成，則執(zhí)行步驟(9)，否則轉(zhuǎn)入步驟(3)；(9)邊緣修正；(10)色度修正；(11)輸出彩色圖像。本發(fā)明能夠很好地恢復(fù)圖像的細小邊緣區(qū)域的信息，有效抑制了虛假顏色效應(yīng)，尤其適用于紋理較多的CFA圖像。
文檔編號G06T7/40GK102663719SQ20121007329
公開日2012年9月12日 申請日期2012年3月19日 優(yōu)先權(quán)日2012年3月19日
發(fā)明者侯彪, 公茂果, 張小華, 朱同華, 焦李成, 王桂婷, 王爽, 田小林, 鐘樺 申請人:西安電子科技大學(xué)