本發(fā)明涉及圖像處理技術(shù),尤其涉及一種基于卷積神經(jīng)網(wǎng)絡(luò)模型的圖像融合方法及系統(tǒng)。
背景技術(shù):
當(dāng)今社會(huì),由于手機(jī)攝影越發(fā)流行,各種的后期圖像處理的軟件隨著之盛行,軟件所提供的修圖等圖像融合技術(shù)的需求也越發(fā)擴(kuò)大,一個(gè)快速的,有效的,并且?guī)в腥の缎缘膱D像融合技術(shù)成為該類行業(yè)所追求的目標(biāo),從而進(jìn)一步的吸引更多的用戶使用自身的產(chǎn)品。
但是現(xiàn)存的圖像融合技術(shù)并非十分完美,算法復(fù)雜度,有效性,耗時(shí)都仍然處于一個(gè)急需優(yōu)化的水平。極大的用戶需求量需要更完善更豐富的技術(shù)支持才能得以填補(bǔ),但是當(dāng)前的技術(shù)模型卻無法在短時(shí)間內(nèi)完成圖片的融合以及圖片融合的豐富度上給予人群更好的用戶體驗(yàn)。
因此,在這種情況下,希望有一種技術(shù),能在短時(shí)間內(nèi)解決用戶的圖片融合需求,并同時(shí)能夠提供大量的融合風(fēng)格讓用戶自主進(jìn)行選擇,進(jìn)而完成相關(guān)產(chǎn)品的適用性和可靠性,從而克服上述的問題。
技術(shù)實(shí)現(xiàn)要素:
本發(fā)明的目的在于克服現(xiàn)有技術(shù)的不足,本發(fā)明提供了一種基于卷積神經(jīng)網(wǎng)絡(luò)模型的圖像融合方法及系統(tǒng),在本發(fā)明實(shí)施例中,滿足用戶對(duì)圖像融合需求,提高圖像融合速度。
為了解決上述技術(shù)問題,本發(fā)明實(shí)施例提供了一種基于卷積神經(jīng)網(wǎng)絡(luò)模型的圖像融合方法,所述圖像融合方法包括:
獲取至少一張待融合風(fēng)格圖像信息和至少一張待融合內(nèi)容圖像信息,并將所述待融合風(fēng)格圖像信息和所述待融合內(nèi)容圖像信息放縮到統(tǒng)一大??;
對(duì)統(tǒng)一大小的所述待融合風(fēng)格圖像信息和所述待融合內(nèi)容圖像信息進(jìn)行初始化融合處理,獲取初始融合圖像信息;
在卷積神經(jīng)網(wǎng)絡(luò)模型內(nèi)計(jì)算所述初始融合圖像信息與統(tǒng)一大小的所述待融合風(fēng)格圖像信息和所述待融合內(nèi)容圖像信息損失梯度,獲取總損失梯度;
根據(jù)所述總損失梯度對(duì)所述初始融合圖像信息進(jìn)行更新和對(duì)所述卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行參數(shù)保存。
優(yōu)選地,所述對(duì)統(tǒng)一大小的所述待融合風(fēng)格圖像信息和所述待融合內(nèi)容圖像信息進(jìn)行初始化融合處理,包括:
采用均勻分布對(duì)所述待融合風(fēng)格圖像信息和所述待融合內(nèi)容圖像信息進(jìn)行初始化融合處理,獲取初始融合圖像信息;
所述均勻分布為
其中,p表示分布概率,x表示所述待融合風(fēng)格圖像信息和所述待融合內(nèi)容圖像信息的像素值,k=1,2,…,m。
優(yōu)選地,所述卷積神經(jīng)網(wǎng)絡(luò)模型為21個(gè)神經(jīng)網(wǎng)絡(luò)層的卷積神經(jīng)網(wǎng)絡(luò)架構(gòu),其中包括16個(gè)卷積層,5降采樣層。
優(yōu)選地,所述在卷積神經(jīng)網(wǎng)絡(luò)模型內(nèi)計(jì)算所述初始融合圖像信息與統(tǒng)一大小的所述待融合風(fēng)格圖像信息和所述待融合內(nèi)容圖像信息損失梯度,包括:
對(duì)所述卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行參數(shù)設(shè)定,所述參數(shù)包括待融合風(fēng)格圖像信息的影響比重、待融合內(nèi)容圖像信息影響比重和循環(huán)次數(shù);
計(jì)算所述初始融合圖像信息與統(tǒng)一大小的所述待融合風(fēng)格圖像信息的損失梯度,獲取第一損失梯度;
計(jì)算所述初始融合圖像信息與統(tǒng)一大小的所述待融合內(nèi)容圖像信息的損失梯度,獲取第二損失梯度;
根據(jù)所述第一損失梯度和所述第二損失梯度計(jì)算,獲取總損失梯度。
優(yōu)選地,所述待融合風(fēng)格圖像信息的影響比重為0.5、所述待融合內(nèi)容圖像信息影響比重0.5和所述循環(huán)次數(shù)為120。
另外,本發(fā)明實(shí)施例還提供了一種基于卷積神經(jīng)網(wǎng)絡(luò)模型的圖像融合系統(tǒng),所述圖像融合系統(tǒng)包括:
信息獲取模塊:用于獲取至少一張待融合風(fēng)格圖像信息和至少一張待融合內(nèi)容圖像信息,并將所述待融合風(fēng)格圖像信息和所述待融合內(nèi)容圖像信息放縮到統(tǒng)一大??;
融合模塊:用于對(duì)統(tǒng)一大小的所述待融合風(fēng)格圖像信息和所述待融合內(nèi)容圖像信息進(jìn)行初始化融合處理,獲取初始融合圖像信息;
梯度計(jì)算模塊:用于在卷積神經(jīng)網(wǎng)絡(luò)模型內(nèi)計(jì)算所述初始融合圖像信息與統(tǒng)一大小的所述待融合風(fēng)格圖像信息和所述待融合內(nèi)容圖像信息損失梯度,獲取總損失梯度;
信息更新模塊:用于根據(jù)所述總損失梯度對(duì)所述初始融合圖像信息進(jìn)行更新和對(duì)所述卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行參數(shù)保存。
優(yōu)選地,所述融合模塊包括:
均勻融合單元:用于采用均勻分布對(duì)所述待融合風(fēng)格圖像信息和所述待融合內(nèi)容圖像信息進(jìn)行初始化融合處理,獲取初始融合圖像信息;
所述均勻分布為
其中,p表示分布概率,x表示所述待融合風(fēng)格圖像信息和所述待融合內(nèi)容圖像信息的像素值,k=1,2,…,m。
優(yōu)選地,所述卷積神經(jīng)網(wǎng)絡(luò)模型為21個(gè)神經(jīng)網(wǎng)絡(luò)層的卷積神經(jīng)網(wǎng)絡(luò)架構(gòu),其中包括16個(gè)卷積層,5降采樣層。
優(yōu)選地,所述梯度計(jì)算模塊包括:
參數(shù)設(shè)定單元:用于對(duì)所述卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行參數(shù)設(shè)定,所述參數(shù)包括待融合風(fēng)格圖像信息的影響比重、待融合內(nèi)容圖像信息影響比重和循環(huán)次數(shù);
第一梯度計(jì)算單元:用于計(jì)算所述初始融合圖像信息與統(tǒng)一大小的所述待融合風(fēng)格圖像信息的損失梯度,獲取第一損失梯度;
第二梯度計(jì)算單元:用于計(jì)算所述初始融合圖像信息與統(tǒng)一大小的所述待融合內(nèi)容圖像信息的損失梯度,獲取第二損失梯度;
總梯度計(jì)算單元:用于根據(jù)所述第一損失梯度和所述第二損失梯度計(jì)算,獲取總損失梯度。
優(yōu)選地,所述待融合風(fēng)格圖像信息的影響比重為0.5、所述待融合內(nèi)容圖像信息影響比重0.5和所述循環(huán)次數(shù)為120。
在發(fā)明實(shí)施例中,采用本發(fā)明實(shí)施例滿足用戶對(duì)圖像融合風(fēng)格的需求,同時(shí)該模型的適應(yīng)性強(qiáng),只需要提供不同的風(fēng)格圖像,就可以得到不同方式的圖像融合處理,極大的豐富了用戶體驗(yàn);同時(shí)該模型因?yàn)槭且粋€(gè)自學(xué)習(xí)模型,只需要在模型前期學(xué)習(xí)的過程中投入計(jì)算量和運(yùn)算時(shí)間成本,當(dāng)一個(gè)模型已經(jīng)完全學(xué)習(xí)完畢并將對(duì)應(yīng)的參數(shù)進(jìn)行保存之后,再進(jìn)行新的圖像融合時(shí)不需要消耗額外的時(shí)間,因此比以往的模型都極大的提高了圖像融合的效率,迎合用戶即時(shí)圖像融合的需求。
附圖說明
為了更清楚地說明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案,下面將對(duì)實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡單地介紹,顯而易見的,下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例,對(duì)于本領(lǐng)域普通技術(shù)人員來講,在不付出創(chuàng)造性勞動(dòng)的前提下,還可以根據(jù)這些附圖獲得其它的附圖。
圖1是本發(fā)明實(shí)施例中的基于卷積神經(jīng)網(wǎng)絡(luò)模型的圖像融合方法的流程示意圖;
圖2是本發(fā)明實(shí)施例中的基于卷積神經(jīng)網(wǎng)絡(luò)模型的圖像融合系統(tǒng)的系統(tǒng)組成結(jié)構(gòu)示意圖。
具體實(shí)施方式
下面將結(jié)合本發(fā)明實(shí)施例中的附圖,對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述,顯然,所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例,而不是全部的實(shí)施例?;诒景l(fā)明中的實(shí)施例,本領(lǐng)域普通技術(shù)人員在沒有作出創(chuàng)造性勞動(dòng)前提下所獲得的所有其它實(shí)施例,都屬于本發(fā)明保護(hù)的范圍。
圖1是本發(fā)明實(shí)施例中的基于卷積神經(jīng)網(wǎng)絡(luò)模型的圖像融合方法的流程示意圖,如圖1所述,所述圖像融合方法包括:
s11:獲取至少一張待融合風(fēng)格圖像信息和至少一張待融合內(nèi)容圖像信息,并將所述待融合風(fēng)格圖像信息和所述待融合內(nèi)容圖像信息放縮到統(tǒng)一大?。?/p>
s12:對(duì)統(tǒng)一大小的所述待融合風(fēng)格圖像信息和所述待融合內(nèi)容圖像信息進(jìn)行初始化融合處理,獲取初始融合圖像信息;
s13:在卷積神經(jīng)網(wǎng)絡(luò)模型內(nèi)計(jì)算所述初始融合圖像信息與統(tǒng)一大小的所述待融合風(fēng)格圖像信息和所述待融合內(nèi)容圖像信息損失梯度,獲取總損失梯度;
s14:根據(jù)所述總損失梯度對(duì)所述初始融合圖像信息進(jìn)行更新和對(duì)所述卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行參數(shù)保存。
對(duì)s11作進(jìn)一步說明:
獲取至少一張待融合風(fēng)格圖像信息和至少一張待融合內(nèi)容圖像信息,并將所述待融合風(fēng)格圖像信息和所述待融合內(nèi)容圖像信息放縮到統(tǒng)一大小。
進(jìn)一步的,用戶選擇需要融合的至少一張風(fēng)格圖像信息和至少一張內(nèi)容圖像信息(可以根據(jù)用戶的需求,選擇多張,在本發(fā)明實(shí)施例中僅對(duì)個(gè)選擇一張進(jìn)行展開說明),因?yàn)楂@取的風(fēng)格圖像信息和內(nèi)容圖像信息的圖片的大小可能存在不一致的,因此,需要對(duì)風(fēng)格圖像信息和內(nèi)容圖像信息大小進(jìn)行統(tǒng)一,即采用圖像放縮方法進(jìn)行圖像信息放縮處理,將圖像放縮至規(guī)定的大小,如規(guī)定圖像大小為長*寬分別為10*5cm,即將圖像信息放縮至10*5cm大小即可。
對(duì)s12作進(jìn)一步說明:
對(duì)統(tǒng)一大小的所述待融合風(fēng)格圖像信息和所述待融合內(nèi)容圖像信息進(jìn)行初始化融合處理,獲取初始融合圖像信息。
進(jìn)一步的,初始化融合時(shí),將兩個(gè)圖像的像素值進(jìn)行初始化,這里采用均勻分布對(duì)所述待融合風(fēng)格圖像信息和所述待融合內(nèi)容圖像信息進(jìn)行初始化融合處理,獲取初始融合圖像信息;所述均勻分布為
對(duì)s13作進(jìn)一步的說明:
在卷積神經(jīng)網(wǎng)絡(luò)模型內(nèi)計(jì)算所述初始融合圖像信息與統(tǒng)一大小的所述待融合風(fēng)格圖像信息和所述待融合內(nèi)容圖像信息損失梯度,獲取總損失梯度。
進(jìn)一步的,所述卷積神經(jīng)網(wǎng)絡(luò)模型為21個(gè)神經(jīng)網(wǎng)絡(luò)層的卷積神經(jīng)網(wǎng)絡(luò)架構(gòu),其中包括16個(gè)卷積層,5降采樣層。所述卷積神經(jīng)網(wǎng)絡(luò)模型的參數(shù)分別有待融合風(fēng)格圖像信息的影響比重weight-style、待融合內(nèi)容圖像信息影響比重weight-content和循環(huán)次數(shù)num-iterations,其中在本發(fā)明實(shí)施例中,最佳的參數(shù)設(shè)定為待融合風(fēng)格圖像信息的影響比重weight-style為0.5、待融合內(nèi)容圖像信息影響比重weight-content為0.5和循環(huán)次數(shù)num-iterations為120。
對(duì)所述卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行參數(shù)設(shè)定,所述參數(shù)包括待融合風(fēng)格圖像信息的影響比重、待融合內(nèi)容圖像信息影響比重和循環(huán)次數(shù);計(jì)算所述初始融合圖像信息與統(tǒng)一大小的所述待融合風(fēng)格圖像信息的損失梯度,獲取第一損失梯度;計(jì)算所述初始融合圖像信息與統(tǒng)一大小的所述待融合內(nèi)容圖像信息的損失梯度,獲取第二損失梯度;根據(jù)所述第一損失梯度和所述第二損失梯度計(jì)算,獲取總損失梯度。
首先根據(jù)用戶的需求,用戶可以自行設(shè)置待融合風(fēng)格圖像信息的影響比重weight-style、待融合內(nèi)容圖像信息影響比重weight-content和循環(huán)次數(shù)num-iterations的參數(shù),若不設(shè)置,則按本發(fā)明實(shí)施例中認(rèn)為最佳的參數(shù)進(jìn)行設(shè)置。
在卷積神經(jīng)網(wǎng)絡(luò)模型中每一層的卷積神經(jīng)網(wǎng)絡(luò)相應(yīng)智商,構(gòu)建一個(gè)風(fēng)格表示,用于計(jì)算不同過濾器響應(yīng)之間的相關(guān)性,其中期望取決于輸入圖像的控件延伸,這些特征相關(guān)性由gram矩陣
為了生成與給定圖像的樣式相匹配的紋理,使用白噪聲圖像的梯度下降來找到與原始圖像的樣式表示相匹配的另一個(gè)圖像;這通過最小化來自原始圖像的gram矩陣的條目與要生成的圖像的gram矩陣之間的均方距離來實(shí)現(xiàn);所以讓
通常,網(wǎng)絡(luò)中的每個(gè)層定義了一個(gè)非線性濾波器組,其非線性濾波器組的復(fù)雜度隨網(wǎng)絡(luò)中層的位置而增加。因此,通過對(duì)該圖像的過濾器響應(yīng),給定的輸入圖像
相對(duì)于層l中激活的這種損失的導(dǎo)數(shù),可以使用標(biāo)準(zhǔn)誤差反向傳播來計(jì)算相對(duì)于圖像
總體損失梯度如下:
其中w1是每層對(duì)總損失的貢獻(xiàn)的權(quán)重因子。從而可以分析計(jì)算el相對(duì)于層l中激活的導(dǎo)數(shù)即可使用標(biāo)準(zhǔn)誤差反向傳播容易的計(jì)算出el相對(duì)于網(wǎng)絡(luò)下層激活的梯度值。
對(duì)s14作進(jìn)一步說明:
根據(jù)所述總損失梯度對(duì)所述初始融合圖像信息進(jìn)行更新和對(duì)所述卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行參數(shù)保存。
進(jìn)一步的,根據(jù)上述獲取的到總的損失梯度,然后采用總的損失梯度對(duì)初始融合圖像信息進(jìn)行更新;在模型進(jìn)行訓(xùn)練學(xué)習(xí)的過程中會(huì)消耗一定的時(shí)間,并且需要投入不同的風(fēng)格圖像進(jìn)行得到不同的圖像融合風(fēng)格;模型運(yùn)行結(jié)束后需要對(duì)模型的參數(shù)進(jìn)行保存,并對(duì)不同的參數(shù)進(jìn)行分類;在以后的使用中,只需要通過當(dāng)前已經(jīng)有的參數(shù)進(jìn)行圖像的融合,而不需要再進(jìn)行一次學(xué)習(xí)過程,從而大大的降低了本模型的運(yùn)算時(shí)間長成本,從而滿足了用戶即時(shí)圖像融合的需求。
圖2是本發(fā)明實(shí)施例中的基于卷積神經(jīng)網(wǎng)絡(luò)模型的圖像融合系統(tǒng)的系統(tǒng)組成結(jié)構(gòu)示意圖,如圖2所示,所述圖像融合系統(tǒng)包括:
信息獲取模塊:用于獲取至少一張待融合風(fēng)格圖像信息和至少一張待融合內(nèi)容圖像信息,并將所述待融合風(fēng)格圖像信息和所述待融合內(nèi)容圖像信息放縮到統(tǒng)一大??;
融合模塊:用于對(duì)統(tǒng)一大小的所述待融合風(fēng)格圖像信息和所述待融合內(nèi)容圖像信息進(jìn)行初始化融合處理,獲取初始融合圖像信息;
梯度計(jì)算模塊:用于在卷積神經(jīng)網(wǎng)絡(luò)模型內(nèi)計(jì)算所述初始融合圖像信息與統(tǒng)一大小的所述待融合風(fēng)格圖像信息和所述待融合內(nèi)容圖像信息損失梯度,獲取總損失梯度;
信息更新模塊:用于根據(jù)所述總損失梯度對(duì)所述初始融合圖像信息進(jìn)行更新和對(duì)所述卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行參數(shù)保存。
優(yōu)選地,所述融合模塊包括:
均勻融合單元:用于采用均勻分布對(duì)所述待融合風(fēng)格圖像信息和所述待融合內(nèi)容圖像信息進(jìn)行初始化融合處理,獲取初始融合圖像信息;
所述均勻分布為,則稱x服從離散的均勻分布,將所述離散均勻分布值加128,獲取所述初始融合圖像信息像素值,所述像素值在0到256之間;
其中,p表示分布概率,x表示所述待融合風(fēng)格圖像信息和所述待融合內(nèi)容圖像信息的像素值,。
優(yōu)選地,所述卷積神經(jīng)網(wǎng)絡(luò)模型為21個(gè)神經(jīng)網(wǎng)絡(luò)層的卷積神經(jīng)網(wǎng)絡(luò)架構(gòu),其中包括16個(gè)卷積層,5降采樣層。
優(yōu)選地,所述梯度計(jì)算模塊包括:
參數(shù)設(shè)定單元:用于對(duì)所述卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行參數(shù)設(shè)定,所述參數(shù)包括待融合風(fēng)格圖像信息的影響比重、待融合內(nèi)容圖像信息影響比重和循環(huán)次數(shù);
第一梯度計(jì)算單元:用于計(jì)算所述初始融合圖像信息與統(tǒng)一大小的所述待融合風(fēng)格圖像信息的損失梯度,獲取第一損失梯度;
第二梯度計(jì)算單元:用于計(jì)算所述初始融合圖像信息與統(tǒng)一大小的所述待融合內(nèi)容圖像信息的損失梯度,獲取第二損失梯度;
總梯度計(jì)算單元:用于根據(jù)所述第一損失梯度和所述第二損失梯度計(jì)算,獲取總損失梯度。
優(yōu)選地,所述待融合風(fēng)格圖像信息的影響比重為0.5、所述待融合內(nèi)容圖像信息影響比重0.5和所述循環(huán)次數(shù)為120。
具體地,本發(fā)明實(shí)施例的系統(tǒng)相關(guān)功能模塊的工作原理可參見方法實(shí)施例的相關(guān)描述,這里不再贅述。
在發(fā)明實(shí)施例中,采用本發(fā)明實(shí)施例滿足用戶對(duì)圖像融合風(fēng)格的需求,同時(shí)該模型的適應(yīng)性強(qiáng),只需要提供不同的風(fēng)格圖像,就可以得到不同方式的圖像融合處理,極大的豐富了用戶體驗(yàn);同時(shí)該模型因?yàn)槭且粋€(gè)自學(xué)習(xí)模型,只需要在模型前期學(xué)習(xí)的過程中投入計(jì)算量和運(yùn)算時(shí)間成本,當(dāng)一個(gè)模型已經(jīng)完全學(xué)習(xí)完畢并將對(duì)應(yīng)的參數(shù)進(jìn)行保存之后,再進(jìn)行新的圖像融合時(shí)不需要消耗額外的時(shí)間,因此比以往的模型都極大的提高了圖像融合的效率,迎合用戶即時(shí)圖像融合的需求。
本領(lǐng)域普通技術(shù)人員可以理解上述實(shí)施例的各種方法中的全部或部分步驟是可以通過程序來指令相關(guān)的硬件來完成,該程序可以存儲(chǔ)于一計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中,存儲(chǔ)介質(zhì)可以包括:只讀存儲(chǔ)器(rom,readonlymemory)、隨機(jī)存取存儲(chǔ)器(ram,randomaccessmemory)、磁盤或光盤等。
另外,以上對(duì)本發(fā)明實(shí)施例所提供的一種基于卷積神經(jīng)網(wǎng)絡(luò)模型的圖像融合方法及系統(tǒng)進(jìn)行了詳細(xì)介紹,本文中應(yīng)采用了具體個(gè)例對(duì)本發(fā)明的原理及實(shí)施方式進(jìn)行了闡述,以上實(shí)施例的說明只是用于幫助理解本發(fā)明的方法及其核心思想;同時(shí),對(duì)于本領(lǐng)域的一般技術(shù)人員,依據(jù)本發(fā)明的思想,在具體實(shí)施方式及應(yīng)用范圍上均會(huì)有改變之處,綜上所述,本說明書內(nèi)容不應(yīng)理解為對(duì)本發(fā)明的限制。