本發(fā)明涉及一種圖像處理技術(shù)，尤其是涉及一種基于神經(jīng)網(wǎng)絡(luò)畫(huà)風(fēng)學(xué)習(xí)的圖像渲染方法。

背景技術(shù)：

隨著數(shù)字娛樂(lè)越來(lái)越得到大眾的青睞，計(jì)算機(jī)風(fēng)格化渲染技術(shù)日益成為研究熱點(diǎn)。然而為了將目標(biāo)圖像渲染為希望的風(fēng)格，用戶常需要掌握并調(diào)整大量的參數(shù)，這對(duì)他們的使用是非常不便的。

神經(jīng)網(wǎng)絡(luò)(Neural network)在機(jī)器學(xué)習(xí)領(lǐng)域中，結(jié)構(gòu)模仿生物的神經(jīng)網(wǎng)絡(luò)，通過(guò)調(diào)整網(wǎng)絡(luò)中的參數(shù)來(lái)達(dá)到近似擬合高維復(fù)雜數(shù)據(jù)。神經(jīng)網(wǎng)絡(luò)在工程上實(shí)現(xiàn)起來(lái)，有很多細(xì)節(jié)決定了神經(jīng)網(wǎng)絡(luò)的成敗，例如：目標(biāo)函數(shù)、網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)、初始參數(shù)設(shè)置等。

Gatys團(tuán)隊(duì)利用了一個(gè)前人訓(xùn)練好的網(wǎng)絡(luò)，VGG網(wǎng)絡(luò)，來(lái)獲取圖像的feature。VGG模型在ImageNet數(shù)據(jù)庫(kù)中訓(xùn)練而成，關(guān)注的是它結(jié)構(gòu)中的5個(gè)卷積層。因?yàn)樗且粋€(gè)訓(xùn)練好的而且每層的feature都是有較好性質(zhì)的網(wǎng)絡(luò)，所以直接提取它對(duì)圖像進(jìn)行識(shí)別時(shí)的中間層為圖像的feature即可。在VGG圖像識(shí)別的中間層，數(shù)據(jù)為一個(gè)(c,h,w)的3維張量，對(duì)應(yīng)c個(gè)feature，每個(gè)feature為一張(h,w)的二維數(shù)組，由于卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)特性，feature中每個(gè)元素對(duì)局部的圖像都有描述作用。Gatys團(tuán)隊(duì)就利用了這一點(diǎn)，使得對(duì)于圖像feature的表征有了現(xiàn)成的工具。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的就是為了克服上述現(xiàn)有技術(shù)存在的缺陷而提供一種基于神經(jīng)網(wǎng)絡(luò)畫(huà)風(fēng)學(xué)習(xí)的圖像渲染方法。

本發(fā)明的目的可以通過(guò)以下技術(shù)方案來(lái)實(shí)現(xiàn)：

一種基于神經(jīng)網(wǎng)絡(luò)畫(huà)風(fēng)學(xué)習(xí)的圖像渲染方法，

包括以下步驟：

S1，獲取待渲染圖像x和參考圖像y，利用VGG模型獲取參考圖像y的特征(feature)，令待渲染圖像x學(xué)習(xí)參考圖像y的風(fēng)格，得到渲染圖像z；

S2，定義函數(shù)L_content(z；x)描述z和x內(nèi)容的差異，函數(shù)L_texture(z；y)描述z和y風(fēng)格的差異；

S3，優(yōu)化z使差異最小化，得到最終的渲染圖像。

所述的步驟S2中，對(duì)于第l層中第k個(gè)特征，F(xiàn)、P分別為需要轉(zhuǎn)化的圖像x和轉(zhuǎn)化后的圖像z經(jīng)過(guò)VGG時(shí)的中間層，i為行標(biāo)，j為列標(biāo)，a_l為權(quán)系數(shù)。

所述的步驟S2中，

其中，G、A分別為被模仿的圖像y和轉(zhuǎn)化后的圖像z計(jì)算出的Gram矩陣

所述的步驟S3中，使內(nèi)容目標(biāo)損失和紋理目標(biāo)損失的和最小化，實(shí)現(xiàn)差異最小化。需要優(yōu)化的cost函數(shù)為：

L(z；x,y)＝αL_content(z；x)+βL_texture(z；y)，α、β為權(quán)系數(shù)。

所述的步驟S3中，內(nèi)容目標(biāo)損失為：

其中，C為當(dāng)前圖像，T是目標(biāo)圖片即輸入圖片的值，i為行標(biāo)，j為列標(biāo)，N為像素總數(shù)；

第l層紋理目標(biāo)的損失為：

其中，第l層可以表示為Gram矩陣

與現(xiàn)有技術(shù)相比，本發(fā)明通過(guò)將內(nèi)容損失和紋理?yè)p失的和的最小化，得到了與目標(biāo)圖片風(fēng)格較為接近的渲染效果。

附圖說(shuō)明

圖1為本發(fā)明的流程圖；

圖2為本實(shí)施例的圖像x；

圖3為本實(shí)施例的圖像y；

圖4為本實(shí)施例的圖像z。

具體實(shí)施方式

下面結(jié)合附圖和具體實(shí)施例對(duì)本發(fā)明進(jìn)行詳細(xì)說(shuō)明。本實(shí)施例以本發(fā)明技術(shù)方案為前提進(jìn)行實(shí)施，給出了詳細(xì)的實(shí)施方式和具體的操作過(guò)程，但本發(fā)明的保護(hù)范圍不限于下述的實(shí)施例。

實(shí)施例

如圖1所示，本實(shí)施例的圖像渲染方法包括以下步驟：

1、將圖像x通過(guò)學(xué)習(xí)y的風(fēng)格，得到圖像z，則定義函數(shù)L_content(z；x)描述z和x內(nèi)容的差異，函數(shù)L_texture(z；y)描述z和y風(fēng)格的差異，然后優(yōu)化z。

2、設(shè)為第n層第k個(gè)feature的第i個(gè)元素(這里將(h,w)的二維數(shù)組視為一個(gè)1維向量)，則定義兩個(gè)圖像內(nèi)容上是否相像(content loss)就有：

F,P分別為需要轉(zhuǎn)化的圖像x和轉(zhuǎn)化后的圖像z經(jīng)過(guò)VGG時(shí)的中間層。

3、接下來(lái)定義兩個(gè)圖像風(fēng)格上是否相似，這里在content loss上再進(jìn)了一小步，就是使用了Gram矩陣

即認(rèn)為相似的風(fēng)格可以用不同feature間的相關(guān)度表示。于是定義了兩個(gè)圖像風(fēng)格上是否相似(texture loss)：

4、G,A分別為被模仿的圖像y和轉(zhuǎn)化后的圖像z計(jì)算出的Gram矩陣，所以需要優(yōu)化的cost函數(shù)為：

L(z；x,y)＝αL_content(z；x)+βL_texture(z；y)。

關(guān)于優(yōu)化過(guò)程：

1)內(nèi)容目標(biāo)的損失能夠很簡(jiǎn)單的表示為:

其中C是當(dāng)前的圖片，T是目標(biāo)圖片即輸入圖片的值，i為行標(biāo)，i為列標(biāo)，N為像素總數(shù)。

2)而紋理目標(biāo)則跟同一層的所有特征圖有關(guān)，第l層可以表示為Gram矩陣:

因此第l層紋理目標(biāo)的損失就能表示為：

3)同樣G為當(dāng)前圖片的紋理信息，T為輸入圖片的紋理信息。我們要求總的目標(biāo)函數(shù)，即Lc+Ls.找到使這個(gè)值最小的圖片就是我們的畫(huà)風(fēng)學(xué)習(xí)的結(jié)果。

4)優(yōu)選地，疊加內(nèi)容圖是通過(guò)增加了一個(gè)內(nèi)容的損失項(xiàng)，通過(guò)對(duì)兩個(gè)內(nèi)容的損失項(xiàng)和紋理的損失項(xiàng)的和的最小化，即Lc1+Lc2+Ls的最小，能夠得到類(lèi)似的結(jié)果。

本實(shí)施例使用的圖像x、y分別如圖2、圖3所示，得到的圖像z如圖4所示。