一種圖像超分辨率重建方法
【專利摘要】本發(fā)明公開(kāi)了一種圖像超分辨率重建方法，圖像處理技術(shù)領(lǐng)域；該方法包括以下步驟：提取訓(xùn)練圖像庫(kù)中的低分辨率圖像Y；將獲得的低分辨率圖像進(jìn)行雙立方插值放大，放大到所需尺寸；設(shè)計(jì)一個(gè)含有動(dòng)態(tài)卷積層的卷積神經(jīng)網(wǎng)絡(luò)；低分辨率圖像Y輸入預(yù)訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)B，得到濾波器SH1和SV1；將低分辨率圖像Y和濾波器SV1，SH1輸入預(yù)訓(xùn)練好的含有動(dòng)態(tài)卷積層的卷積神經(jīng)網(wǎng)絡(luò)；重建高分辨率圖像X；實(shí)驗(yàn)結(jié)果表明，本發(fā)明提出的算法，不僅在視覺(jué)效果上而且在客觀評(píng)價(jià)標(biāo)準(zhǔn)上都取得了比其他三種優(yōu)秀的算法要顯著的效果，展現(xiàn)了優(yōu)秀的超分辨率重建性能。
【專利說(shuō)明】
一種圖像超分辨率重建方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，具體涉及一種圖像超分辨率重建方法。
【背景技術(shù)】
[0002] 圖像超分辨重建是指通過(guò)軟件算法的方式將已有的低分辨率圖像轉(zhuǎn)換成高分辨 率圖像。它在圖像打印，視頻監(jiān)控，醫(yī)學(xué)圖像處理，衛(wèi)星成像，刑偵分析等領(lǐng)域有廣泛的應(yīng)用 并涌現(xiàn)了大量?jī)?yōu)秀的算法，這些算法大致分為三類:基于插值的圖像超分辨率算法，基于重 構(gòu)的圖像超分辨重建算法，基于學(xué)習(xí)的圖像超分辨重建算法。
[0003] 近年來(lái)，深度學(xué)習(xí)理論迅速發(fā)展，與傳統(tǒng)依賴先驗(yàn)知識(shí)的特征提取算法不同，深度 神經(jīng)網(wǎng)絡(luò)可在訓(xùn)練數(shù)據(jù)驅(qū)動(dòng)下自適應(yīng)地構(gòu)建特征描述，具有更高的靈活性和普適性。作為 實(shí)現(xiàn)深度學(xué)習(xí)的一項(xiàng)重要技術(shù)，卷積神經(jīng)網(wǎng)絡(luò)有幾十年的發(fā)展歷史，深度卷積神經(jīng)網(wǎng)絡(luò)最 近由于其在圖像分類中的優(yōu)秀表現(xiàn)成為一個(gè)爆炸性的研究熱點(diǎn)，已成功地應(yīng)用于其他計(jì)算 機(jī)視覺(jué)領(lǐng)域。所以也可以利用卷積神經(jīng)網(wǎng)絡(luò)對(duì)圖像進(jìn)行超分辨率重建，直接以原始圖像為 輸入，在訓(xùn)練數(shù)據(jù)的驅(qū)動(dòng)下通過(guò)自主學(xué)習(xí)獲取特征描述，簡(jiǎn)化特征模型的同時(shí)提高運(yùn)算效 率。利用卷積神經(jīng)網(wǎng)絡(luò)對(duì)圖像進(jìn)行超分辨率重建，直接學(xué)習(xí)低分辨率和高分辨率圖像之間 端到端的映射。

【發(fā)明內(nèi)容】

[0004] 本發(fā)明的目的在于提出一種圖像超分辨率重建方法，該方法包括以下步驟：
[0005] S1根據(jù)圖像退化模型，對(duì)高分辨率訓(xùn)練圖像集中的圖像進(jìn)行模糊和下采樣，得到 對(duì)應(yīng)的低分辨率訓(xùn)練圖像集，將低分辨率圖像記為Y;
[0006] S2將獲得的低分辨率圖像進(jìn)行雙立方插值放大，放大到所需尺寸；
[0007] S3設(shè)計(jì)一個(gè)含有動(dòng)態(tài)卷積層的卷積神經(jīng)網(wǎng)絡(luò)；
[0008] S4低分辨率圖像Y輸入預(yù)訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)B，得到濾波器SH1和SV1;
[0009] S5將低分辨率圖像Y和濾波器SV1，SH1輸入預(yù)訓(xùn)練好的含有動(dòng)態(tài)卷積層的卷積神 經(jīng)網(wǎng)絡(luò)；
[0010] S6重建高分辨率圖像X;
[0011] 所述S3,含有動(dòng)態(tài)卷積層的卷積神經(jīng)網(wǎng)絡(luò)包括三部分：
[0012] S3.1從低分辨率圖像Y提取圖像塊，每個(gè)圖像塊被表示成高維向量。這些向量包括 一組特征映射圖，其數(shù)目等于向量的維數(shù)：
[0013] Fl(Y)=max(0，Wl*Y+Bl)
[0014] W1是權(quán)重，B1是偏差，符號(hào)*是卷積，W1對(duì)應(yīng)于nl個(gè)濾波器，即nl個(gè)卷積作用于圖 像，卷積核的大小為cl ΧΠ ΧΠ ，濾波器來(lái)自獨(dú)立的卷積網(wǎng)絡(luò)B。
[0015] S3.2每個(gè)高維向量非線性映射到另一個(gè)高維向量。概念上，每個(gè)映射向量是一個(gè) 高分辨率圖像塊的代表，這些向量包括另一組特征圖；
[0016] F2(Y)=max(0，W2*Fl(Y)+B2)
[0017] W2是權(quán)重，B2是偏差，符號(hào)*是卷積，W2對(duì)應(yīng)于n2個(gè)濾波器，即n2個(gè)卷積作用于圖 像，每個(gè)卷積核的大小為nl X f 2 X f 2，濾波器來(lái)自獨(dú)立的卷積網(wǎng)絡(luò)B。
[0018] S3.3聚合上述高分辨率圖像塊，產(chǎn)生最終的高分辨率圖像；
[0019] F(Y)=W3*F2(Y)+B3
[0020] W3是權(quán)重，B3是偏差，符號(hào)*是卷積，W3對(duì)應(yīng)于n3個(gè)濾波器，即n3個(gè)卷積作用于圖 像，卷積核的大小為n2 X f 3 X f3。
[0021] S5包括如下
[0022] S5.1前向傳播
[0023] 設(shè)1|為基于樣本t的第i次特征圖輸入，綍為基于樣本t的第j次特征圖輸出，_為 卷積核，其計(jì)算公式為
[0024]
[0025] 與傳統(tǒng)卷積層不同的是，含有動(dòng)態(tài)卷積層的卷積神經(jīng)網(wǎng)絡(luò)中每個(gè)卷積層的卷積核 不同。
[0026] S5.2后向傳播
[0027] 梯度損失函數(shù)L相對(duì)于垮：
[0028]
[0029] 符號(hào)土表示零填充卷積。
[0030]梯度損失函數(shù)L相對(duì)于
[0031]
[0032] 織為的轉(zhuǎn)置。
[0033] S4包括如下
[0034]與傳統(tǒng)的卷積層不同，動(dòng)態(tài)卷積層接受兩個(gè)輸入。第一個(gè)輸入是上一層的特征圖， 第二個(gè)輸入是濾波器。特征圖來(lái)自卷積網(wǎng)絡(luò)A，濾波器來(lái)自獨(dú)立的卷積網(wǎng)絡(luò)B。
[0035] 卷積網(wǎng)絡(luò)B結(jié)構(gòu)：
[0036] 1)卷積層C1，輸入與卷積網(wǎng)絡(luò)A相同的低分辨率訓(xùn)練數(shù)據(jù)，通過(guò)nl個(gè)大小cl ΧΠΧ Π 的濾波器，輸出nl個(gè)特征圖
[0037] 2)最大值-下采樣層Ml，由C1層產(chǎn)生的nl個(gè)特征圖，通過(guò)步長(zhǎng)為2,大小2X2的窗口
[0038] 3)卷積層C2,輸入nl個(gè)特征圖，通過(guò)n2個(gè)大小nl ΧΠ ΧΠ 濾波器，輸出n2個(gè)特征圖
[0039] 4)最大值-下采樣層M2,由C2層產(chǎn)生的n2個(gè)特征圖，通過(guò)步長(zhǎng)為2,大小2X2的窗 P;
[0040] 5)卷積層C3,輸入n2個(gè)特征圖，通過(guò)n3個(gè)大η2ΧΠ ΧΠ 濾波器，輸出n3個(gè)特征圖；
[0041] 6)最大值-下采樣層M3,由C3層產(chǎn)生的n3個(gè)特征圖，通過(guò)步長(zhǎng)為2,大小2X2的窗 P;
[0042] 7)M3的輸出通過(guò)一個(gè)全連接層轉(zhuǎn)換為一個(gè)一維行向量HI: 1 Xhl;
[0043] 8)M3的輸出通過(guò)一個(gè)全連接層轉(zhuǎn)換為一個(gè)一維列向量VI :vl X 1;
[0044] 9)對(duì)HI和VI運(yùn)用Sof tmax函數(shù)，得到向量SH1和SV1;
[0045] 10)濾波器SV1應(yīng)用于動(dòng)態(tài)卷積層；
[0046] 11)濾波器SH1應(yīng)用于動(dòng)態(tài)卷積層。
【附圖說(shuō)明】
[0047]圖1是本發(fā)明含有動(dòng)態(tài)卷積層的卷積神經(jīng)網(wǎng)絡(luò)圖像超分辨重建算法框架；
[0048]圖2是本發(fā)明獲取動(dòng)態(tài)卷積層濾波器SV1和SH1的卷積神經(jīng)網(wǎng)絡(luò)B框架；
[0049] 圖3是使用本發(fā)明用放大2倍的圖像經(jīng)過(guò)含有動(dòng)態(tài)卷積層的卷積神經(jīng)網(wǎng)絡(luò)處理的 重建結(jié)果和其他三種算法比較;其中，a為原圖，b為雙三次插值，c為改進(jìn)的錨點(diǎn)近鄰回歸算 法，d為基于卷積神經(jīng)網(wǎng)絡(luò)的超分辨率重建算法，e為本發(fā)明。
[0050] 圖4是使用本發(fā)明用放大2倍的圖像經(jīng)過(guò)含有動(dòng)態(tài)卷積層的卷積神經(jīng)網(wǎng)絡(luò)處理的 重建結(jié)果和其他三種算法比較;其中，a為原圖，b為雙三次插值，c為改進(jìn)的錨點(diǎn)近鄰回歸算 法，d為基于卷積神經(jīng)網(wǎng)絡(luò)的超分辨率重建算法，e為本發(fā)明
【具體實(shí)施方式】
[0051] 參照?qǐng)D1，本發(fā)明的框架為
[0052] 步驟1，輸入低分辨率圖像Y;
[0053]步驟2,利用Matlab軟件中的imresize函數(shù)將該低分辨率的圖像進(jìn)行2倍的雙立方 插值放大，得到低分辨率圖像Y;
[0054] 步驟3,低分辨率圖像Y輸入預(yù)訓(xùn)練好的卷積網(wǎng)絡(luò)神經(jīng)B，得到濾波器SH1和SV1;
[0055] 步驟4,將低分辨率圖像Y和濾波器SV1輸入預(yù)訓(xùn)練好的含有動(dòng)態(tài)卷積層的卷積神 經(jīng)網(wǎng)絡(luò)的第一個(gè)動(dòng)態(tài)卷積層；
[0056]步驟5,上一步驟中的輸出與濾波器SH1輸入含有動(dòng)態(tài)卷積層的卷積神經(jīng)網(wǎng)絡(luò)的第 二個(gè)動(dòng)態(tài)卷積層；
[0057]步驟6,上一步驟中的輸出輸入含有動(dòng)態(tài)卷積層的卷積神經(jīng)網(wǎng)絡(luò)第三層，得到高分 辨率圖像；
[0058]步驟7,重建高分辨率圖像。
[0059]為了驗(yàn)證算法的有效性，在測(cè)試庫(kù)set5和測(cè)試庫(kù)14上，分別與其他三種優(yōu)秀算法 進(jìn)行比較。圖3的四幅圖像分別是原圖，Bicubic雙三次插值算法，A+為改進(jìn)的錨點(diǎn)近鄰回歸 算法，SRCNN為基于卷積神經(jīng)網(wǎng)絡(luò)的超分辨率重建算法，本發(fā)明圖像超分辨率重建算法。圖4 的四幅圖像分別是原圖，Bicubic雙三次插值算法，A+為改進(jìn)的錨點(diǎn)近鄰回歸算法，SRCNN為 基于卷積神經(jīng)網(wǎng)絡(luò)的超分辨率重建算法，本發(fā)明圖像超分辨率重建算法。
[0060] 表1為圖3重建結(jié)果的結(jié)構(gòu)相似性(SS頂)和峰值信噪比(PSNR)比較。
[0061] 表 1
[0062]
[0063]
[0064] 表2為圖4重建結(jié)果的結(jié)構(gòu)相似性(SS頂)和峰值信噪比(PSNR)比較。
[0065] 表 2
[0066]
[0067]實(shí)驗(yàn)結(jié)果表明，本發(fā)明提出的算法，不僅在視覺(jué)效果上而且在客觀評(píng)價(jià)標(biāo)準(zhǔn)上都 取得了比其他三種優(yōu)秀的算法要顯著的效果，展現(xiàn)了優(yōu)秀的超分辨率重建性能。
【主權(quán)項(xiàng)】
1. 一種圖像超分辨率重建方法，其特征在于:該方法包括W下步驟， S1提取訓(xùn)練圖像庫(kù)中的低分辨率圖像Y; S2將獲得的低分辨率圖像進(jìn)行雙立方插值放大，放大到所需尺寸； S3設(shè)計(jì)一個(gè)含有動(dòng)態(tài)卷積層的卷積神經(jīng)網(wǎng)絡(luò)； S4低分辨率圖像Y輸入預(yù)訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)B，得到濾波器甜1和SV1; S5將低分辨率圖像Y和濾波器SV1，SH1輸入預(yù)訓(xùn)練好的含有動(dòng)態(tài)卷積層的卷積神經(jīng)網(wǎng) 絡(luò)； S6重建高分辨率圖像X。2. 根據(jù)權(quán)利要求1所述的一種圖像超分辨率重建方法，其特征在于:所述S3,含有動(dòng)態(tài) 卷積層的卷積神經(jīng)網(wǎng)絡(luò)包括Ξ部分： S3.1從低分辨率圖像Y提取圖像塊，每個(gè)圖像塊被表示成高維向量;運(yùn)些向量包括一組 特征映射圖，其數(shù)目等于向量的維數(shù)： Fl(Y)=max(0，Wl^+Bl) W1是權(quán)重，B1是偏差，符號(hào)*是卷積，W1對(duì)應(yīng)于nl個(gè)濾波器，即nl個(gè)卷積作用于圖像，每 個(gè)卷積核的大小為cixnxn，ni個(gè)濾波器來(lái)自獨(dú)立的卷積網(wǎng)絡(luò)B; S3.2每個(gè)高維向量非線性映射到另一個(gè)高維向量;概念上，每個(gè)映射向量是一個(gè)高分 辨率圖像塊的代表，運(yùn)些向量包括另一組特征圖； F2(Y)=max(0，W2 沖 1(Y)+B2) W2是權(quán)重，B2是偏差，符號(hào)*是卷積，W2對(duì)應(yīng)于n2個(gè)濾波器，即n2個(gè)卷積作用于圖像，每 個(gè)卷積核的大小為nl X f2 X f2，n2個(gè)濾波器來(lái)自獨(dú)立的卷積網(wǎng)絡(luò)B; S3.3聚合上述高分辨率圖像塊，產(chǎn)生最終的高分辨率圖像； F(Y)=W3 沖 2(Y)+B3 W3是權(quán)重，B3是偏差，符號(hào)*是卷積，W3對(duì)應(yīng)于n3個(gè)濾波器即n3個(gè)卷積作用于圖像，每個(gè) 卷積核的大小為n2 X巧X巧。3. 根據(jù)權(quán)利要求1所述的一種圖像超分辨率重建方法，其特征在于:S5包括如下， S5.1前向傳播 設(shè)環(huán)為基于樣本t的第i次特征圖輸入，攘為基于樣本t的第j次特征圖輸出，1?為卷積 核，其計(jì)算公式為與傳統(tǒng)卷積層不同的是，含有動(dòng)態(tài)卷積層的卷積神經(jīng)網(wǎng)絡(luò)中每個(gè)卷積層的卷積核不 同； S5.2后向傳播 梯度損失函數(shù)L相對(duì)于彎;符號(hào)?表示零填充卷積； 梯度損失函數(shù)L相對(duì)于黎為野的轉(zhuǎn)置。4.根據(jù)權(quán)利要求1所述的一種圖像超分辨率重建方法，其特征在于：S4包括如下，與傳 統(tǒng)的卷積層不同，動(dòng)態(tài)卷積層接受兩個(gè)輸入;第一個(gè)輸入是上一層的特征圖，第二個(gè)輸入是 濾波器;特征圖來(lái)自卷積網(wǎng)絡(luò)A，濾波器來(lái)自獨(dú)立的卷積網(wǎng)絡(luò)B; 卷積網(wǎng)絡(luò)B結(jié)構(gòu)： 1) 卷積層C1，輸入與卷積網(wǎng)絡(luò)A相同的低分辨率訓(xùn)練數(shù)據(jù)與卷積網(wǎng)絡(luò)A相同，通過(guò)nl個(gè) 大小cl xn xn的濾波器，輸出ni個(gè)特征圖 2) 最大值-下采樣層Ml，由C1層產(chǎn)生的nl特征圖，通過(guò)步長(zhǎng)為2,大小2X2的窗口 3) 卷積層C2，輸入nl特征圖，通過(guò)n2個(gè)大小c2 X f 2 X f 2的濾波器，輸出n2個(gè)特征圖 4) 最大值-下采樣層M2,由C2層產(chǎn)生的n2特征圖，通過(guò)步長(zhǎng)為2,大小2X2的窗口； 5) 卷積層C3，輸入n2特征圖，通過(guò)n3個(gè)大小c3 X巧X巧的濾波器，輸出n3個(gè)特征圖； 6) 最大值-下采樣層M3，由C3層產(chǎn)生的n3特征圖，通過(guò)步長(zhǎng)為2，大小2 X 2的窗口； 7. M3的輸出通過(guò)一個(gè)全連接層轉(zhuǎn)換為一個(gè)一維行向量H1:1 Xhl; 8. M3的輸出通過(guò)一個(gè)全連接層轉(zhuǎn)換為一個(gè)一維列向量VI: vl X 1; 9) 對(duì)Η1和V1運(yùn)用Sof tmax函數(shù)，得到向量甜1和SV1; 10) 濾波器SV1應(yīng)用于動(dòng)態(tài)卷積層； 11) 濾波器甜1應(yīng)用于動(dòng)態(tài)卷積層。
【文檔編號(hào)】G06T3/40GK105976318SQ201610280837
【公開(kāi)日】2016年9月28日
【申請(qǐng)日】2016年4月28日
【發(fā)明人】曹雪, 王宇桐, 禹晶, 肖創(chuàng)柏
【申請(qǐng)人】北京工業(yè)大學(xué)