本發(fā)明涉及一種基于字典學(xué)習(xí)的HDR(High Dynamic Range,高動(dòng)態(tài)范圍)照片風(fēng)格轉(zhuǎn)移方法,屬于圖像處理領(lǐng)域。
背景技術(shù):
風(fēng)格化技術(shù),又稱非真實(shí)感渲染(即NPR,Non-Photorealistic Rendering),是計(jì)算機(jī)技術(shù)和繪畫(huà)技術(shù)相結(jié)合的一個(gè)研究領(lǐng)域,指利用計(jì)算機(jī)生成具有藝術(shù)風(fēng)格的圖形技術(shù)。目前,很多高性能相機(jī)(例如:Canon 5D Mark III、Nikon D800等)能夠通過(guò)三次不同程度的曝光(欠曝、正常、過(guò)曝),自動(dòng)合成一系列的HDR照片。這些HDR風(fēng)格的照片具有風(fēng)格顯著、細(xì)節(jié)豐富、顏色飽滿等特點(diǎn),展現(xiàn)了豐富的藝術(shù)特質(zhì),典型的HDR照片風(fēng)格包括:自然、浮雕、繪畫(huà)、油畫(huà)等。區(qū)別于相機(jī)拍攝的HDR效果,人們更希望在普通照片上實(shí)現(xiàn)多種HDR照片風(fēng)格,使普通照片也能展現(xiàn)獨(dú)特的藝術(shù)魅力,因此很多HDR照片的生成軟件(例如:HDR making、Dynamic Photo HDRI等)逐漸流行起來(lái),其中大部分是通過(guò)手動(dòng)的對(duì)顏色和細(xì)節(jié)進(jìn)行調(diào)整來(lái)實(shí)現(xiàn)的,不僅交互繁瑣、費(fèi)時(shí)費(fèi)力,而且生成的HDR效果穩(wěn)定性差,對(duì)比于實(shí)際拍攝的HDR效果差距較大,無(wú)法完美地表現(xiàn)出照片的藝術(shù)性。
目前國(guó)內(nèi)外的研究人員已經(jīng)提出了很多關(guān)于圖像顏色轉(zhuǎn)移和圖像增強(qiáng)的方法:
Reinhard等人在色彩空間lαβ基礎(chǔ)上提出了基于統(tǒng)計(jì)的顏色轉(zhuǎn)移算法,在lαβ顏色空間匹配兩幅圖像各個(gè)顏色通道的統(tǒng)計(jì)信息——均值和方差,然后改變?cè)磮D像中的顏色分布使它匹配參考圖像的分布。
Chang等人提出了一種基于樣本的顏色轉(zhuǎn)移方法,根據(jù)樣本圖像的顏色特征對(duì)源圖像的顏色進(jìn)行調(diào)整,使源圖像在保持自身輪廓的同時(shí)擁有與樣本圖像相似的顏色,該算法提高了顏色傳遞匹配過(guò)程的準(zhǔn)確性,改進(jìn)了顏色傳遞的效果。
Xiao等人提出了梯度保持的顏色轉(zhuǎn)移算法,通過(guò)直方圖匹配和梯度保持的優(yōu)化模型提高顏色轉(zhuǎn)移的效果。
Luan等人開(kāi)發(fā)了一個(gè)交互工具用于局部顏色轉(zhuǎn)移,同時(shí)保持了全局的連續(xù)性。Wen等人提出了一個(gè)基于畫(huà)筆的顏色轉(zhuǎn)移系統(tǒng),用戶可以指定局部區(qū)域改變其顏色風(fēng)格。
Tai等人提出基于圖像分割的色彩轉(zhuǎn)移算法,主要由圖像分割、分割區(qū)域色彩匹配和分割區(qū)域組合三部分組成。其中圖像分割部分采用改進(jìn)的EM算法來(lái)估計(jì)像素在混合高斯模型下的顏色分布。改進(jìn)的EM采用迭代更新的方式獲得更精確的像素顏色分布。
Fattal等人利用邊界保持的濾波器對(duì)圖像做平滑處理得到基本層和細(xì)節(jié)層,最后通過(guò)調(diào)整縮放因子來(lái)實(shí)現(xiàn)圖像的細(xì)節(jié)增強(qiáng)。
Qin等人提出HSV色彩空間的Retinex結(jié)構(gòu)光圖像增強(qiáng)算法。首先將傳統(tǒng)RGB空間上的多尺度Retinex算法轉(zhuǎn)換到HSV顏色空間;然后通過(guò)分析HSV顏色空間模型來(lái)增強(qiáng)模型中的V分量,同時(shí)利用相關(guān)系數(shù)使S分量隨著V分量的增強(qiáng)自適應(yīng)調(diào)整;最后將HSV模型轉(zhuǎn)換到RGB空間,使增強(qiáng)后的圖像顏色得到保持。
Xiao等人提出一種基于不同彩色空間融合的快速圖像增強(qiáng)算法,該算法首先在HSV空間對(duì)亮度分量V通道進(jìn)行增強(qiáng)處理,同時(shí)在拉伸得到的對(duì)數(shù)域反射分量到一定的動(dòng)態(tài)范圍時(shí),引入增強(qiáng)調(diào)整因子,調(diào)整不同亮度值的增強(qiáng)程度來(lái)避免噪聲放大及色彩失真現(xiàn)象;然后,在RGB色彩空間,分析光暈產(chǎn)生的原因,并利用改進(jìn)的高斯濾波器來(lái)消除光暈,并在計(jì)算反射分量時(shí),通過(guò)參數(shù)調(diào)整圖像顏色的保真度。最后,將兩種不同顏色空間的處理結(jié)果進(jìn)行加權(quán)平均最為最終的增強(qiáng)圖像。
Zhou等人提出一種基于改進(jìn)Mean Shift濾波的Retinex彩色圖像增強(qiáng)算法,首先采用主成分分析法將低對(duì)比度圖像分解為亮度和色彩兩部分,通過(guò)改觀現(xiàn)有的Mean Shift濾波方法實(shí)現(xiàn)光照分量的自適應(yīng)增強(qiáng),并對(duì)色彩通道進(jìn)行恢復(fù),最后在全局分析基礎(chǔ)上進(jìn)行圖像補(bǔ)償。
為了解決上述問(wèn)題,基于以上的研究,我們?cè)趫D像顏色轉(zhuǎn)移和圖像增強(qiáng)的基礎(chǔ)上提出了一種基于字典學(xué)習(xí)的HDR照片風(fēng)格轉(zhuǎn)移方法。
技術(shù)實(shí)現(xiàn)要素:
本發(fā)明的目的是在于針對(duì)已有技術(shù)存在的缺陷,提供一種基于字典學(xué)習(xí)的HDR照片風(fēng)格轉(zhuǎn)移方法。該發(fā)明重點(diǎn)關(guān)注兩個(gè)方面:第一,如何避免復(fù)雜的手動(dòng)交互;第二,如何生成高質(zhì)量的HDR效果。參考基于樣例的處理技術(shù),即從樣例中提取特征信息對(duì)源信息進(jìn)行自動(dòng)調(diào)整和處理,我們同樣考慮利用HDR照片樣例進(jìn)行交互簡(jiǎn)化和效果生成,即給定一張具有HDR風(fēng)格的樣例照片,從中提取出所需要的顏色和細(xì)節(jié)特征,并將這些特征自動(dòng)轉(zhuǎn)移到源照片上,從而生成具有HDR風(fēng)格的新照片。
為達(dá)到上述目的,本發(fā)明采用如下技術(shù)方案:
一種基于字典學(xué)習(xí)的HDR照片風(fēng)格轉(zhuǎn)移方法,具體操作步驟如下:
(1)借助梯度保持的顏色轉(zhuǎn)移方法,將HDR參考照片的顏色特征轉(zhuǎn)移到源照片上;
(2)對(duì)HDR參考照片提取細(xì)節(jié)特征,利用K_SVD算法進(jìn)行字典訓(xùn)練,形成細(xì)節(jié)的過(guò)完備字典集;
(3)利用細(xì)節(jié)的過(guò)完備字典集對(duì)源照片進(jìn)行稀疏重建,生成與HDR參考照片特征一致的細(xì)節(jié);
(4)將顏色轉(zhuǎn)移的結(jié)果和細(xì)節(jié)重建的結(jié)果合并,最終生成HDR風(fēng)格的新照片。
所述步驟(1)中利用梯度保持的算法對(duì)源HDR照片進(jìn)行顏色轉(zhuǎn)移,將用戶心儀的參考照片的風(fēng)格轉(zhuǎn)移到源照片上,使源照片具有參考照片的顏色風(fēng)格,同時(shí)保持源照片的梯度特征,具體步驟如下:
通過(guò)求解與顏色、梯度這兩個(gè)能量項(xiàng)相關(guān)的能量方程,保留源照片的結(jié)構(gòu)信息,最終得到高保真的顏色轉(zhuǎn)移結(jié)果,把顏色轉(zhuǎn)移的問(wèn)題轉(zhuǎn)化為求解下面的能量方程:
其中Ec,Ed分別表示與顏色、梯度相關(guān)的能量項(xiàng),Φ,R,I分別表示顏色轉(zhuǎn)移結(jié)束時(shí)的輸出圖像,參考圖像,源圖像;H(·)表示對(duì)圖像做直方圖匹配,G(·)表示獲取圖像梯度,ωc,ωd分別表示顏色分量、梯度分量的權(quán)重;
1)顏色映射
在(1)式中,定義了顏色映射的能量項(xiàng)Ec,通過(guò)下面的公式(2)求解:
其中H(·)表示圖像的顏色直方圖分布,k表示直方圖區(qū)間序號(hào),n表示區(qū)間總數(shù);為了得到顏色映射結(jié)果,輸出圖像的顏色直方圖分布必須與參考圖像的顏色直方圖分布相匹配;為了求解方便,將源圖像的直方圖與參考圖像的直方圖進(jìn)行匹配,得到一個(gè)中間圖像,該圖像較準(zhǔn)確的保持了參考圖像的顏色分布;同時(shí)為了避免對(duì)結(jié)構(gòu)的影響,對(duì)中間圖像進(jìn)行分解,得到細(xì)節(jié)層和色調(diào)層F,在色調(diào)層做顏色處理,因此公式(2)重新定義為:
其中Φ表示輸出的圖像,p表示圖像的像素,通過(guò)求解公式(3)得到顏色映射的結(jié)果;
2)梯度保持
由于顏色映射時(shí)分離了細(xì)節(jié)層,因此得到的結(jié)果丟失結(jié)構(gòu)保真度,根據(jù)求解公式(1)中聲明的能量項(xiàng)Ed能夠保持源圖像的梯度特征,用下面的公式(4)表示:
其中表示梯度算子,p表示圖像上的像素點(diǎn),m表示總的像素點(diǎn),λ表示調(diào)節(jié)圖像對(duì)比度的參數(shù);當(dāng)λ>1時(shí),增加對(duì)比度;當(dāng)λ<1時(shí),減小對(duì)比度;當(dāng)λ=1時(shí),保持對(duì)比度不變;
在梯度域內(nèi)優(yōu)化能夠有效地保持源圖像的原始結(jié)構(gòu)特征,為了保持源圖像的梯度,首先利用索貝爾差分算子計(jì)算源圖像的梯度,然后根據(jù)用戶的需求,確定對(duì)比度的參數(shù)λ,得到源圖像梯度保持的結(jié)果,求出Ec和Ed之后,代入公式(1)得到顏色轉(zhuǎn)移結(jié)果。
所述步驟(2)對(duì)HDR參考照片提取細(xì)節(jié)特征,利用K_SVD算法進(jìn)行字典訓(xùn)練,得到細(xì)節(jié)的過(guò)完備字典集D,具體步驟為:
選擇一張HDR浮雕或者油畫(huà)風(fēng)格照片作為參考圖像,為了提高重建圖像的質(zhì)量,需要對(duì)參考圖像做預(yù)處理,先用加權(quán)最小二乘法WLS濾波器提取其細(xì)節(jié)特征,然后隨機(jī)取100000個(gè)5x5的小塊,作為訓(xùn)練樣本集Y;
通過(guò)提取的訓(xùn)練樣本集Y,學(xué)習(xí)出一個(gè)具有HDR浮雕或油畫(huà)風(fēng)格特征的過(guò)完備字典D;利用K_SVD算法訓(xùn)練,對(duì)HDR照片風(fēng)格的訓(xùn)練過(guò)程,使用如下公式表示:
其中D={d1,d2…dk}∈Rr×k(k>r)是通過(guò)學(xué)習(xí)獲得的過(guò)完備冗余字典D,α是訓(xùn)練樣本集Y在字典D上的稀疏系數(shù)向量,δ表示αi中非零元素?cái)?shù)目的上限,表示訓(xùn)練樣本集Y的全局重構(gòu)誤差;
將Y作為K_SVD算法的輸入,根據(jù)字典學(xué)習(xí)的兩個(gè)階段,在稀疏編碼階段,通過(guò)初始化字典D,然后歸一化字典D,利用正交匹配追蹤OMP算法得到Y(jié)在字典D上的稀疏表示系數(shù)矩陣α;在字典更新階段,根據(jù)求出的稀疏矩陣系數(shù)α,逐列更新字典原子;在滿足k次迭代或者滿足收斂條件時(shí),得到最終優(yōu)化的過(guò)完備字典D;在更新字典D的過(guò)程中,假設(shè)dk表示將要更新字典的第k列,αk表示該列對(duì)應(yīng)的稀疏系數(shù),將公式(5)重寫(xiě)如下:
其中Dα被分解為k個(gè)秩為1的矩陣的和,假設(shè)其中k-1項(xiàng)都是固定的,剩下的1列就是要更新的第k列;(6)式中的矩陣Ek表示除去原子dk后剩余的成分在樣本集Y中的誤差;
利用奇異值分解SVD的方法來(lái)更新Ek和通過(guò)該方法找到與Ek差值最小且秩為1的矩陣,能夠有效減少訓(xùn)練樣本的全局重建誤差;但是由于通過(guò)奇異值分解得到的不是稀疏的,即與更新前的非零元素的位置和大小不一樣,導(dǎo)致得到的字典不緊致;因此,采用只保留中的非零項(xiàng),再利用SVD方法更新αk和dk,直到逐列完成字典更新,通過(guò)這種方法得到的字典D能夠很好地表示樣本的特性。
所述步驟(3)采用稀疏表達(dá)的思想,利用步驟(2)中學(xué)習(xí)得到的字典對(duì)源照片進(jìn)行稀疏重建,生成與參考照片特征一致的細(xì)節(jié),具體步驟如下:
稀疏表示部分借鑒Lee提出的FSS算法,算法流程如下:
(1)輸入:普通風(fēng)格的源照片X,參考照片的訓(xùn)練字典D;
(2)對(duì)源照片X利WLS濾波器分解出細(xì)節(jié)特征,并進(jìn)行優(yōu)化處理,得到圖像X1;
(3)循壞過(guò)程:從圖像X1左上角依次取出大小為5×5的圖像塊x,對(duì)每個(gè)小塊提取細(xì)節(jié)特征,然后將每個(gè)小塊變成25×1的列信號(hào)求出每個(gè)列信號(hào)在字典D下的稀疏表示系數(shù)α,具體為:
步驟1.計(jì)算圖像塊x的平均值m;
步驟2.已知D和通過(guò)下面的表達(dá)式求解稀疏系數(shù)α,
其中,λ1表示正則化參數(shù),用來(lái)平衡重建誤差項(xiàng)與稀疏約束項(xiàng),λ1取值范圍在0與1之間;
步驟3.估計(jì)的浮雕風(fēng)格圖像塊為Dα,輸出的浮雕/油畫(huà)風(fēng)格圖像塊為x*=m+Dα;
(4)輸出:將稀疏重建的小塊按原來(lái)的位置進(jìn)行恢復(fù),得到具有細(xì)節(jié)豐富的浮雕或者油畫(huà)風(fēng)格圖像X*。
所述步驟(4)將顏色轉(zhuǎn)移的結(jié)果和細(xì)節(jié)重建的結(jié)果合并,最終生成HDR風(fēng)格的新照片,具體步驟為:
由于HDR照片具有顏色和細(xì)節(jié)兩個(gè)方面的特征,通過(guò)利用參考圖像的顏色和細(xì)節(jié)方面的指導(dǎo)信息,分別得到了源照片顏色轉(zhuǎn)移的結(jié)果以及源照片稀疏重建的結(jié)果;最后,需要將這兩個(gè)結(jié)果合并,使源照片在色調(diào)和細(xì)節(jié)上都具有HDR風(fēng)格的特點(diǎn);該合并過(guò)程實(shí)際等效于求解一個(gè)包含數(shù)據(jù)項(xiàng)和梯度項(xiàng)的能量方程,其中數(shù)據(jù)項(xiàng)是顏色轉(zhuǎn)移的結(jié)果,而梯度項(xiàng)是細(xì)節(jié)重建的結(jié)果,用下面的式子表示:
其中Φ*,Φ,X*分別表示最終生成的HDR風(fēng)格照片,源照片顏色轉(zhuǎn)移結(jié)果,源照片的稀疏重建結(jié)果;p表示照片上的像素點(diǎn),λ*表示梯度約束系數(shù),▽表示獲取照片的梯度,通過(guò)優(yōu)化上面的能量方程得到合并的結(jié)果,即得到新的HDR風(fēng)格照片。
本發(fā)明與已有技術(shù)相比具有如下特點(diǎn):
(1)本發(fā)明提供的實(shí)現(xiàn)算法流程清晰、結(jié)構(gòu)完整,實(shí)現(xiàn)效率高。
(2)通過(guò)字典學(xué)習(xí)的方法訓(xùn)練得到參考照片的細(xì)節(jié)特征字典。
(3)利用稀疏表達(dá)的方法重建源圖像,使源圖像具有參考圖像的細(xì)節(jié)特征。
附圖說(shuō)明
圖1是基于字典學(xué)習(xí)的HDR照片風(fēng)格轉(zhuǎn)移方法程序框圖。
圖2是HDR浮雕風(fēng)格轉(zhuǎn)移結(jié)果(a)表示源照片(b)表示參考照片(c)表示顏色轉(zhuǎn)移的結(jié)果(d)表示稀疏重建的結(jié)果(e)表示最終的輸出結(jié)果。
圖3是HDR油畫(huà)風(fēng)格轉(zhuǎn)移結(jié)果(a)表示源照片(b)表示參考照片(c)表示顏色轉(zhuǎn)移的結(jié)果(d)表示稀疏重建的結(jié)果(e)表示最終的輸出結(jié)果。
具體實(shí)施方式
本發(fā)明的優(yōu)先實(shí)施例結(jié)合附圖說(shuō)明如下:
參見(jiàn)圖1,一種基于字典學(xué)習(xí)的HDR照片風(fēng)格轉(zhuǎn)移方法,具體操作步驟如下:
(1)借助梯度保持的顏色轉(zhuǎn)移方法,將HDR參考照片的顏色特征轉(zhuǎn)移到源照片上;具體步驟如下:
通過(guò)求解與顏色、梯度這兩個(gè)能量項(xiàng)相關(guān)的能量方程,保留源照片的結(jié)構(gòu)信息,最終得到高保真的顏色轉(zhuǎn)移結(jié)果,把顏色轉(zhuǎn)移的問(wèn)題轉(zhuǎn)化為求解下面的能量方程:
其中Ec,Ed分別表示與顏色、梯度相關(guān)的能量項(xiàng),Φ,R,I分別表示顏色轉(zhuǎn)移結(jié)束時(shí)的輸出圖像,參考圖像,源圖像;H(·)表示對(duì)圖像做直方圖匹配,G(·)表示獲取圖像梯度,ωc,ωd分別表示顏色分量、梯度分量的權(quán)重;
1)顏色映射
在(1)式中,定義了顏色映射的能量項(xiàng)Ec,通過(guò)下面的公式(2)求解:
其中H(·)表示圖像的顏色直方圖分布,k表示直方圖區(qū)間序號(hào),n表示區(qū)間總數(shù);為了得到顏色映射結(jié)果,輸出圖像的顏色直方圖分布必須與參考圖像的顏色直方圖分布相匹配;為了求解方便,將源圖像的直方圖與參考圖像的直方圖進(jìn)行匹配,得到一個(gè)中間圖像,該圖像較準(zhǔn)確的保持了參考圖像的顏色分布;同時(shí)為了避免對(duì)結(jié)構(gòu)的影響,對(duì)中間圖像進(jìn)行分解,得到細(xì)節(jié)層和色調(diào)層F,對(duì)色調(diào)層進(jìn)行顏色處理,因此公式(2)重新定義為:
其中Φ表示輸出的圖像,p表示圖像的像素,通過(guò)求解公式(3)得到顏色映射的結(jié)果;
2)梯度保持
由于顏色映射時(shí)分離了細(xì)節(jié)層,因此得到的結(jié)果丟失結(jié)構(gòu)保真度,根據(jù)求解公式(1)中聲明的能量項(xiàng)Ed能夠保持源圖像的梯度特征,用下面的公式(4)表示:
其中表示梯度算子,p表示圖像上的像素點(diǎn),m表示圖像總的像素點(diǎn),λ表示調(diào)節(jié)圖像對(duì)比度的參數(shù);當(dāng)λ>1時(shí),增加對(duì)比度;當(dāng)λ<1時(shí),減小對(duì)比度;當(dāng)λ=1時(shí),保持對(duì)比度不變;
在梯度域內(nèi)優(yōu)化能夠有效地保持源圖像的原始結(jié)構(gòu)特征,為了保持源圖像的梯度,首先利用索貝爾差分算子計(jì)算源圖像的梯度,然后根據(jù)用戶的需求,確定對(duì)比度的參數(shù)λ,得到源圖像梯度保持的結(jié)果,求出Ec和Ed之后,代入公式(1)得到顏色轉(zhuǎn)移結(jié)果。
(2)對(duì)HDR參考照片提取細(xì)節(jié)特征,利用K_SVD算法進(jìn)行字典訓(xùn)練,得到細(xì)節(jié)的過(guò)完備字典集D,具體步驟為:
選擇一張HDR浮雕或者油畫(huà)風(fēng)格照片作為參考圖像,為了提高重建圖像的質(zhì)量,需要對(duì)參考圖像做預(yù)處理,先用加權(quán)最小二乘法WLS濾波器提取其細(xì)節(jié)特征,然后隨機(jī)取100000個(gè)5x5的小塊,作為訓(xùn)練樣本集Y;
通過(guò)提取的訓(xùn)練樣本集Y,學(xué)習(xí)出一個(gè)具有HDR浮雕或油畫(huà)風(fēng)格特征的過(guò)完備字典D;利用K_SVD算法訓(xùn)練,對(duì)HDR照片風(fēng)格的訓(xùn)練過(guò)程,使用如下公式表示:
其中D={d1,d2…dk}∈Rr×k(k>r)是通過(guò)學(xué)習(xí)獲得的過(guò)完備冗余字典D,α是訓(xùn)練樣本集Y在字典D上的稀疏系數(shù)向量,δ表示αi中非零元素?cái)?shù)目的上限,表示訓(xùn)練樣本集Y的全局重構(gòu)誤差;
將Y作為K_SVD算法的輸入,根據(jù)字典學(xué)習(xí)的兩個(gè)階段,在稀疏編碼階段,通過(guò)初始化字典D,然后歸一化字典D,利用正交匹配追蹤OMP算法得到Y(jié)在字典D上的稀疏表示系數(shù)矩陣α;在字典更新階段,根據(jù)求出的稀疏矩陣系數(shù)α,逐列更新字典原子;在滿足k次迭代或者滿足收斂條件時(shí),得到最終優(yōu)化的過(guò)完備字典D;在更新字典D的過(guò)程中,假設(shè)dk表示將要更新字典的第k列,αk表示該列對(duì)應(yīng)的稀疏系數(shù),將公式(5)重寫(xiě)如下:
其中Dα被分解為k個(gè)秩為1的矩陣的和,假設(shè)其中k-1項(xiàng)都是固定的,剩下的1列就是要更新的第k列;(6)式中的矩陣Ek表示除去原子dk后剩余的成分在樣本集Y中的誤差;
利用奇異值分解SVD的方法來(lái)更新Ek和通過(guò)該方法找到與Ek差值最小且秩為1的矩陣,能夠有效減少訓(xùn)練樣本的全局重建誤差;但是由于通過(guò)奇異值分解得到的不是稀疏的,即與更新前的非零元素的位置和大小不一樣,導(dǎo)致得到的字典不緊致;因此,采用只保留中的非零項(xiàng),再利用SVD方法更新αk和dk,直到逐列完成字典更新,通過(guò)這種方法得到的字典D能夠很好地表示樣本的特性。
(3)利用細(xì)節(jié)的過(guò)完備字典集對(duì)源照片進(jìn)行稀疏重建,生成與HDR參考照片特征一致的細(xì)節(jié);具體步驟如下:
稀疏表示部分借鑒Lee提出的FSS算法,算法流程如下:
(1)輸入:普通風(fēng)格的源照片X,參考照片的訓(xùn)練字典D;
(2)對(duì)源照片X利WLS濾波器分解出細(xì)節(jié)特征,并進(jìn)行優(yōu)化處理,得到圖像X1;
(3)循壞過(guò)程:從圖像X1左上角依次取出大小為5×5的圖像塊x,對(duì)每個(gè)小塊提取細(xì)節(jié)特征,然后將每個(gè)小塊變成25×1的列信號(hào)求出每個(gè)列信號(hào)在字典D下的稀疏表示系數(shù)α,具體為:
步驟1.計(jì)算圖像塊x的平均值m;
步驟2.已知D和通過(guò)下面的表達(dá)式求解稀疏系數(shù)α,
其中,λ1表示正則化參數(shù),用來(lái)平衡重建誤差項(xiàng)與稀疏約束項(xiàng),λ1取值范圍在0與1之間;
步驟3.估計(jì)的浮雕風(fēng)格圖像塊為Dα,輸出的浮雕/油畫(huà)風(fēng)格圖像塊為x*=m+Dα;
(4)輸出:將稀疏重建的小塊按原來(lái)的位置進(jìn)行恢復(fù),得到具有細(xì)節(jié)豐富的浮雕或者油畫(huà)風(fēng)格圖像X*。
(4)將顏色轉(zhuǎn)移的結(jié)果和細(xì)節(jié)重建的結(jié)果合并,最終生成HDR風(fēng)格的新照片,具體步驟為:
由于HDR照片具有顏色和細(xì)節(jié)兩個(gè)方面的特征,通過(guò)利用參考圖像的顏色和細(xì)節(jié)方面的指導(dǎo)信息,分別得到了源照片顏色轉(zhuǎn)移的結(jié)果以及源照片稀疏重建的結(jié)果;最后,需要將這兩個(gè)結(jié)果合并,使源照片在色調(diào)和細(xì)節(jié)上都具有HDR風(fēng)格的特點(diǎn);該合并過(guò)程實(shí)際等效于求解一個(gè)包含數(shù)據(jù)項(xiàng)和梯度項(xiàng)的能量方程,其中數(shù)據(jù)項(xiàng)是顏色轉(zhuǎn)移的結(jié)果,而梯度項(xiàng)是細(xì)節(jié)重建的結(jié)果,用下面的式子表示:
其中Φ*,Φ,X*分別表示最終生成的HDR風(fēng)格照片,源照片顏色轉(zhuǎn)移結(jié)果,源照片的稀疏重建結(jié)果;p表示照片上的像素點(diǎn),λ*表示梯度約束系數(shù),表示獲取照片的梯度,通過(guò)優(yōu)化上面的能量方程得到合并的結(jié)果,即得到新的HDR風(fēng)格照片。
該方法適應(yīng)于所有的HDR風(fēng)格轉(zhuǎn)移,用戶只需按照所選擇的參考照片類型通過(guò)上述步驟進(jìn)行處理,就可以將源照片變成新的HDR風(fēng)格照片。假如參考的HDR照片風(fēng)格為浮雕風(fēng)格,則對(duì)應(yīng)的HDR浮雕風(fēng)格轉(zhuǎn)移的實(shí)驗(yàn)結(jié)果如圖2所示。假如參考的HDR照片風(fēng)格為油畫(huà)風(fēng)格,則對(duì)應(yīng)的HDR油畫(huà)風(fēng)格轉(zhuǎn)移的實(shí)驗(yàn)結(jié)果如圖3所示。