本發(fā)明主要涉及到數(shù)字圖像處理領(lǐng)域,尤其涉及一種亮度通道引導(dǎo)的簡(jiǎn)單鏡頭成像模糊去除方法。
背景技術(shù):
目前,單反相機(jī)在人們的日常生活中發(fā)揮著越來越重要的作用。然而,為彌補(bǔ)單反鏡頭中鏡片的幾何畸變和像差,進(jìn)一步提高成像質(zhì)量,單反鏡頭的設(shè)計(jì)日益復(fù)雜,甚至包含數(shù)十個(gè)獨(dú)立的光學(xué)器件。復(fù)雜鏡頭在提高成像質(zhì)量的同時(shí),也會(huì)增加鏡頭的體積和重量,導(dǎo)致鏡頭成本大大提高。近年來,隨著計(jì)算攝影技術(shù)的發(fā)展,簡(jiǎn)單鏡頭結(jié)合后期圖像復(fù)原算法整逐漸成為相機(jī)設(shè)計(jì)領(lǐng)域以及圖像處理領(lǐng)域一個(gè)新的研究方向。
簡(jiǎn)單鏡頭只包含一個(gè)鏡片,受鏡頭像差和色散的影響,由簡(jiǎn)單鏡頭直接拍攝的圖像是模糊的,而且邊緣處存在色散,從而導(dǎo)致圖像質(zhì)量不高。需要首先標(biāo)定得到簡(jiǎn)單鏡頭的點(diǎn)擴(kuò)散函數(shù)(Point Spread Function,PSF),PSF又稱模糊核,PSF中包含簡(jiǎn)單鏡頭的像差等模糊信息,可用于后期的圖像復(fù)原算法中。
相對(duì)于精密的單反鏡頭,簡(jiǎn)單鏡頭沒有經(jīng)過任何校正,直接由簡(jiǎn)單鏡頭拍得的圖片色散效應(yīng)比較明顯,而且在去模糊過程中,色散效應(yīng)會(huì)進(jìn)一步加劇。高質(zhì)量的簡(jiǎn)單鏡頭成像算法必須充分考慮到色散的影響。
傳統(tǒng)的PSF標(biāo)定方法直接利用簡(jiǎn)單鏡頭得到的彩色圖像進(jìn)行PSF標(biāo)定,這種方法存在的主要問題在于:受RGB這種圖像存儲(chǔ)方式的影響,RGB圖像的每個(gè)通道圖像都存在色散,所以直接由RGB圖像估計(jì)PSF時(shí)都會(huì)受到圖像中色散效應(yīng)的影響,從而導(dǎo)致PSF估計(jì)精度不高。而且估計(jì)出PSF之后,由于PSF不精確,在后續(xù)去模糊過程中會(huì)使色散效應(yīng)更明顯。
在中國專利申請(qǐng)?zhí)朲L201510222290.9中介紹了一種基于對(duì)稱性的單透鏡計(jì)算成像PSF快速標(biāo)定方法,這種方法直接由RGB圖像估計(jì)PSF,受RGB圖像中色散效應(yīng)的影響,所估計(jì)出的PSF并不滿足高質(zhì)量的簡(jiǎn)單鏡頭成像需求。
技術(shù)實(shí)現(xiàn)要素:
本發(fā)明為克服傳統(tǒng)PSF標(biāo)定方法中模糊和估計(jì)不準(zhǔn),色散效應(yīng)在去模糊過程中加劇的問題,旨在提供一種提高簡(jiǎn)單鏡頭PSF標(biāo)定精度后得到清晰復(fù)原圖像的方法。
步驟一:將RGB彩色圖像轉(zhuǎn)換成YUV格式的圖像,并提取亮度Y圖像;轉(zhuǎn)換公式如下:
其中,Y表示YUV格式圖像對(duì)應(yīng)的亮度通道,U和V表示YUV格式圖像對(duì)應(yīng)的色度通道,R、G、B分別表示RGB格式圖像對(duì)應(yīng)的紅綠藍(lán)通道;
步驟二:以亮度通道引導(dǎo)PSF的標(biāo)定,將基于亮度通道的PSF標(biāo)定轉(zhuǎn)化為盲卷積圖像復(fù)原問題,并將所估計(jì)的模糊核PSF作為原圖的模糊核;
所述步驟二中由亮度通道Y引導(dǎo)的PSF標(biāo)定所采用的盲卷積圖像復(fù)原算法為基于最大后驗(yàn)概率MAP的盲卷積圖像復(fù)原算法,在最大后驗(yàn)概率模型下,盲卷積圖像復(fù)原問題的統(tǒng)計(jì)學(xué)模型可以表述為:
arg max P(k,y|b)=argmax P(b|y,k)P(y)P(k)
其中,k表示簡(jiǎn)單鏡頭的模糊核,又稱點(diǎn)擴(kuò)散函數(shù)PSF;y表示亮度圖像對(duì)應(yīng)的清晰圖像;b表示由單透鏡成像系統(tǒng)直接得到的模糊圖像;P(k,y|b)表示在模糊圖像b已知條件下,與模糊圖像b對(duì)應(yīng)的模糊核和清晰圖像分別為k和y的概率;P(b|y,k)表示如果已知模糊核k和清晰圖像y,對(duì)應(yīng)的模糊圖像為b的概率;P(y)表示對(duì)原始清晰圖像已知的先驗(yàn)概率;P(k)表示模糊核的先驗(yàn)概率;
考慮到對(duì)數(shù)與乘積的轉(zhuǎn)換關(guān)系以及對(duì)數(shù)函數(shù)的單調(diào)性,對(duì)所述步驟二中上述公式左右兩端分別取負(fù)對(duì)數(shù):
-log P(k,y|b)=-log P(b|k,y)-log P(y)-log P(k)
則上述問題轉(zhuǎn)化為能量最小化問題,左邊的目標(biāo)函數(shù)可以定義為:
其中,表示數(shù)據(jù)擬合項(xiàng);λ1||▽(y)||p1表示圖像先驗(yàn);λ2||k||p2表示模糊核先驗(yàn)。
步驟三:基于步驟二中得到的模糊核,利用非盲卷積圖像復(fù)原算法對(duì)原圖像進(jìn)行去模糊處理,得到最終的清晰復(fù)原圖像;非盲卷積圖像復(fù)原目標(biāo)函數(shù)可以表述為:
其中,k表示簡(jiǎn)單鏡頭的模糊核,又稱點(diǎn)擴(kuò)散函數(shù)PSF;i表示清晰圖像;b表示由單透鏡成像系統(tǒng)直接得到的模糊圖像;表示數(shù)據(jù)擬合項(xiàng);λ||▽i||1表示圖像先驗(yàn),其中▽i表示圖像的導(dǎo)數(shù);λ表示模糊核先驗(yàn)在目標(biāo)函數(shù)中的權(quán)重。
進(jìn)一步的,所述步驟二中λ1=0.45、λ2=0.55。
進(jìn)一步的,所述步驟三中λ=0.8。
本發(fā)明的方法考慮到簡(jiǎn)單鏡頭的色散效應(yīng)對(duì)PSF估計(jì)的影響,將傳統(tǒng)由RGB圖像估計(jì)PSF的方法轉(zhuǎn)換到Y(jié)UV空間下,提取亮度Y通道作為PSF估計(jì)的引導(dǎo)圖像,亮度Y通道含有豐富的邊緣信息,但并不包含色度信息,所以估計(jì)出的PSF并不受色散效應(yīng)影響,精確度更高,從而在后續(xù)圖像復(fù)原過程中對(duì)圖像中原本存在的色散效應(yīng)影響較小,最終的復(fù)原圖像質(zhì)量較高。
本發(fā)明的附加方面和優(yōu)點(diǎn)將在下面的描述中部分給出,部分將從下面的描述中變得明顯,或通過本發(fā)明的實(shí)踐了解到。
附圖說明
為了更清楚地說明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案,下面將對(duì)實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡(jiǎn)單地介紹,顯而易見地,下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例,對(duì)于本領(lǐng)域普通技術(shù)人員來講,在不付出創(chuàng)造性勞動(dòng)性的前提下,還可以根據(jù)這些附圖獲得其他的附圖。
圖1為本發(fā)明所述方法的流程圖;
圖2為原始模糊RGB圖像;
圖3為原始模糊圖像對(duì)應(yīng)的亮度圖像Y;
圖4為以亮度圖像Y為引導(dǎo)圖像所標(biāo)定出的模糊核PSF;
圖5為最終復(fù)原的清晰圖像。
具體實(shí)施方式
下面將結(jié)合本發(fā)明實(shí)施例中的附圖,對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述,顯然,所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例,而不是全部的實(shí)施例。基于本發(fā)明中的實(shí)施例,本領(lǐng)域普通技術(shù)人員在沒有作出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例,都屬于本發(fā)明保護(hù)的范圍。
本發(fā)明提供的一種簡(jiǎn)單鏡頭成像的多通道PSF標(biāo)定方法,如圖1所示,包括如下步驟:
步驟一:將RGB彩色圖像轉(zhuǎn)換成YUV格式的圖像,并提取亮度Y圖像。其中將RGB彩色圖像轉(zhuǎn)換成YUV格式圖像對(duì)應(yīng)的轉(zhuǎn)換公式如下:
其中,Y表示YUV格式圖像對(duì)應(yīng)的亮度通道,U和V表示YUV格式圖像對(duì)應(yīng)的色度通道,R、G、B分別表示RGB格式圖像對(duì)應(yīng)的紅綠藍(lán)通道。簡(jiǎn)單鏡頭直接拍得的RGB模糊圖像如圖2所示,經(jīng)過轉(zhuǎn)換提取的亮度Y通道圖像如圖3所示。
步驟二:以亮度通道引導(dǎo)PSF的標(biāo)定,將基于亮度通道的PSF標(biāo)定轉(zhuǎn)化為盲卷積圖像復(fù)原問題,并將所估計(jì)的模糊核PSF作為原圖的模糊核。其中由亮度通道Y引導(dǎo)的PSF標(biāo)定所采用的盲卷積圖像復(fù)原算法為基于最大后驗(yàn)概率MAP的盲卷積圖像復(fù)原算法,在最大后驗(yàn)概率模型下,盲卷積圖像復(fù)原問題的統(tǒng)計(jì)學(xué)模型可以表述為:
argmaxP(k,y|b)=argmaxP(b|y,k)P(y)P(k)
其中,k表示簡(jiǎn)單鏡頭的模糊核,又稱點(diǎn)擴(kuò)散函數(shù)PSF;y表示亮度圖像對(duì)應(yīng)的清晰圖像;b表示由單透鏡成像系統(tǒng)直接得到的模糊圖像;P(k,y|b)表示在模糊圖像b已知條件下,與模糊圖像b對(duì)應(yīng)的模糊核和清晰圖像分別為k和y的概率;P(b|y,k)表示如果已知模糊核k和清晰圖像y,對(duì)應(yīng)的模糊圖像為b的概率;P(y)表示對(duì)原始清晰圖像已知的先驗(yàn)概率;P(k)表示模糊核的先驗(yàn)概率;
考慮到對(duì)數(shù)與乘積的轉(zhuǎn)換關(guān)系以及對(duì)數(shù)函數(shù)的單調(diào)性,對(duì)所述步驟二中上述公式左右兩端分別取負(fù)對(duì)數(shù):
-log P(k,y|b)=-log P(b|k,y)-log P(y)-log P(k)
則上述問題轉(zhuǎn)化為能量最小化問題,左邊的目標(biāo)函數(shù)可以定義為:
其中,表示數(shù)據(jù)擬合項(xiàng);||▽(y)||p1表示圖像先驗(yàn);||k||p2表示模糊核先驗(yàn),λ1和λ2分別表示圖像先驗(yàn)和模糊核先驗(yàn)的權(quán)重。優(yōu)選的,取λ1=0.45,λ2=0.55。因?yàn)槭枪烙?jì)PSF,所以PSF的先驗(yàn)權(quán)重λ2大一些,這樣使目標(biāo)函數(shù)更加精準(zhǔn),在求解過程中更加趨于真實(shí)值。所估計(jì)出的PSF如圖4所示。
步驟三:基于步驟二中得到的模糊核,利用非盲卷積圖像復(fù)原算法對(duì)原圖像進(jìn)行去模糊處理,得到最終的清晰復(fù)原圖像。其中的非盲卷積圖像復(fù)原目標(biāo)函數(shù)可以表述為:
其中,k表示簡(jiǎn)單鏡頭的模糊核,又稱點(diǎn)擴(kuò)散函數(shù)PSF;i表示清晰圖像;b表示由單透鏡成像系統(tǒng)直接得到的模糊圖像;表示數(shù)據(jù)擬合項(xiàng);||▽i||1表示圖像先驗(yàn),其中▽i表示圖像的導(dǎo)數(shù);λ表示模糊核先驗(yàn)在目標(biāo)函數(shù)中的權(quán)重。優(yōu)選的,取λ=0.8。求解非盲卷積圖像復(fù)原算法的目標(biāo)函數(shù)即可得到最終的清晰復(fù)原圖像,如圖5所示。
本發(fā)明的方法考慮到簡(jiǎn)單鏡頭的色散效應(yīng)對(duì)PSF估計(jì)的影響,將傳統(tǒng)由RGB圖像估計(jì)PSF的方法轉(zhuǎn)換到Y(jié)UV空間下,提取亮度Y通道作為PSF估計(jì)的引導(dǎo)圖像,亮度Y通道含有豐富的邊緣信息,但并不包含色度信息,所以估計(jì)出的PSF并不受色散效應(yīng)影響,精確度更高,從而在后續(xù)圖像復(fù)原過程中對(duì)圖像中原本存在的色散效應(yīng)影響較小,最終的復(fù)原圖像質(zhì)量較高。
本領(lǐng)域普通技術(shù)人員可以理解實(shí)現(xiàn)上述實(shí)施例方法中的全部或部分流程,是可以通過計(jì)算機(jī)程序來指令相關(guān)的硬件來完成,所述的程序可存儲(chǔ)于一計(jì)算機(jī)可讀取存儲(chǔ)介質(zhì)中,該程序在執(zhí)行時(shí),可包括如上述各方法的實(shí)施例的流程。其中,所述的存儲(chǔ)介質(zhì)可為磁碟、光盤、只讀存儲(chǔ)記憶體(Read-Only Memory,ROM)或隨機(jī)存儲(chǔ)記憶體(Random Access Memory,RAM)等。
以上所揭露的僅為本發(fā)明一種較佳實(shí)施例而已,當(dāng)然不能以此來限定本發(fā)明之權(quán)利范圍,因此依本發(fā)明權(quán)利要求所作的等同變化,仍屬本發(fā)明所涵蓋的范圍。