本發(fā)明屬于數(shù)字圖像/視頻信號處理領(lǐng)域，特別涉及一種基于聯(lián)合深度網(wǎng)絡(luò)的壓縮低分辨率圖像復(fù)原方法。

背景技術(shù)：

隨著多媒體技術(shù)的快速發(fā)展和廣泛的應(yīng)用，高質(zhì)量的圖像和視頻已經(jīng)成為一種主流的需求。視頻數(shù)據(jù)的質(zhì)量越高，其分析價值越大。然而，受到有限的信道帶寬和存儲能力等因素的影響，圖像和視頻均已壓縮形式傳輸和常態(tài)存儲。最常見的圖像退化因素有下采樣和壓縮失真。下采樣減少了圖像的空間分辨率，而壓縮失真導(dǎo)致圖像存在塊效應(yīng)、振鈴、以及模糊等問題。因此，針對壓縮失真的低分辨率圖像，研究多降質(zhì)因素圖像復(fù)原技術(shù)，具有重要的理論意義和實際應(yīng)用價值。

圖像超分辨率復(fù)原方法能夠利用單幀或多幀的低分辨率圖像恢復(fù)出高分辨率圖像。在采用針對無壓縮圖像的超分辨率方法直接對壓縮失真的低分辨率圖像進行超分辨率復(fù)原時，圖像分辨率會提高，但嚴重的塊效應(yīng)失真現(xiàn)象也會放大。因此，去除塊效應(yīng)成為退化圖像復(fù)原過程中的一個重要問題。廣大學者往往采用預(yù)處理、后處理的去噪方法來減少塊效應(yīng)，提高重建圖像的主觀質(zhì)量，具有靈活、簡單、有效等優(yōu)勢。

現(xiàn)有的傳統(tǒng)處理方法通常將圖像去壓縮失真和超分辨率復(fù)原作為分別獨立的任務(wù)加以解決。或者，有些方法將含有壓縮失真的低分辨率圖像進行依次串行處理。已有的主要方法分為基于圖像增強的預(yù)處理方法和后處理方法。在預(yù)處理方法中，圖像去噪、去塊處理模塊后級聯(lián)一個超分辨率復(fù)原模塊。該方法基本實現(xiàn)圖像去塊、去噪和空間分辨率提高等功能。但在去噪過程中，其不可避免地丟失的一些圖像細節(jié)信息，從而降低超分辨率復(fù)原的性能?；趫D像增強的后處理方法，則在超分辨率復(fù)原模塊后級聯(lián)一個圖像去噪模塊。該方法雖然實現(xiàn)空間分辨率放大，但在超分辨率復(fù)原過程中，壓縮失真現(xiàn)象也隨之放大，這對后續(xù)的壓縮失真處理造成困難。

以上方法均為淺層學習的方法。由于學習能力有限，這些方法提取的特征是圖像的底層特征，該方法的重建性能受到制約。另外，兩個降質(zhì)因素分別獨立處理的方式，未能充分考慮兩個問題的相互關(guān)系。

近年來，基于深度學習的圖像復(fù)原方法受到了人們的關(guān)注。這類方法在領(lǐng)域知識引導(dǎo)及數(shù)據(jù)驅(qū)動下進行網(wǎng)絡(luò)學習，所獲得的特征在預(yù)測任務(wù)中被證實比傳統(tǒng)的手工設(shè)計的特征具備更強的表征能力，從而提升預(yù)測的準確性。相比于傳統(tǒng)的淺層學習方法，深度學習方法取得更優(yōu)的重建質(zhì)量。

基于卷積神經(jīng)網(wǎng)絡(luò)的超分辨率復(fù)原方法與基于稀疏編碼的超分辨率復(fù)原方法構(gòu)建等價性，將特征提取、非線性映射、圖像重建三個階段統(tǒng)一到一個深度卷積神經(jīng)網(wǎng)絡(luò)中，通過卷積神經(jīng)網(wǎng)絡(luò)直接學習低分辨率圖像到高分辨率圖像的映射關(guān)系。在去噪聲問題中，該方法在改變訓(xùn)練樣本之后，端對端的學習退化圖像與復(fù)原圖像之間的映射關(guān)系，可以實現(xiàn)去噪聲功能。該方法表明深度卷積神經(jīng)網(wǎng)絡(luò)具有強大的特征表示學習能力。然而，在針對同時含有壓縮失真和低分辨率降質(zhì)因素的圖像復(fù)原中，該方法的重建圖像的平坦區(qū)域仍含有較明顯的塊效應(yīng)。

基于卷積神經(jīng)網(wǎng)絡(luò)的去壓縮失真復(fù)原方法根據(jù)去壓縮失真任務(wù)的特點，在特征提取層后加入特征增強層。該方法首先通過特征提取過程中得到含噪聲影響的特征，再將其映射到理想的特征空間，最后完成圖像重建。該方法表明深度學習在特征學習過程中具有去壓縮失真的能力，并為退化特征到理想特征的映射關(guān)系學習提供指導(dǎo)。然而，該方法的卷積核尺寸是為了去壓縮失真任務(wù)而特定設(shè)置，未能實現(xiàn)空間分辨率的放大。

雖然基于深度學習的圖像復(fù)原方法具有較好的重建效果，但是由于此方法針對解決圖像單降質(zhì)因素問題，當對多降質(zhì)因素的處理時，此方法無法得到較好的重建圖像。

技術(shù)實現(xiàn)要素：

本發(fā)明的目的在于克服現(xiàn)有技術(shù)的不足，針對同時含有壓縮失真和低分辨率兩種降質(zhì)問題的低質(zhì)量圖像，提供一個去壓縮失真與超分辨率復(fù)原的聯(lián)合深度網(wǎng)絡(luò)，使其能協(xié)同解決具有壓縮失真的低分辨率圖像的超分辨復(fù)原問題。

本發(fā)明是采用以下技術(shù)手段實現(xiàn)的：一種基于聯(lián)合深度網(wǎng)絡(luò)的壓縮低分辨率圖像復(fù)原方法，主要包括整體流程、離線部分和在線部分。

整體流程：首先設(shè)計了圖像復(fù)原的處理流程；然后根據(jù)此流程設(shè)計了網(wǎng)絡(luò)結(jié)構(gòu)；最后將該網(wǎng)絡(luò)各階段特征圖尺寸的調(diào)整，完成退化圖像映射到復(fù)原圖像；

離線部分：主要包括3個步驟：訓(xùn)練樣本彩色空間變換；訓(xùn)練樣本庫生成；網(wǎng)絡(luò)訓(xùn)練及模型獲取。其中，訓(xùn)練樣本庫生成方法中包括訓(xùn)練樣本獲取的三個階段；網(wǎng)絡(luò)模型訓(xùn)練及模型獲取階段包括損失函數(shù)、梯度下降法的選??；

在線部分：主要包括5個步驟：特征提??；特征增強；特征圖重建；高頻信息提??；高頻信息融合。其中，特征提取包括圖像塊提取，特征表示；高頻信息融合包括特征融合，殘差圖像融合。

所述的整體流程，具體步驟如下：

(1)本發(fā)明的整體流程。如附圖1所示，圖像復(fù)原流程主要包括去壓縮失真處理和超分辨率復(fù)原處理。當待處理的退化圖像放大倍數(shù)為a時，本發(fā)明的圖像復(fù)原流程具體如下：

在去壓縮失真處理中，輸入退化圖像，對其進行特征提取、特征增強和特征映射重建，產(chǎn)生去壓縮失真的特征圖；然后，在超分辨率復(fù)原處理中，首先將去壓縮失真的特征圖插值放大a倍，輸出后的高分辨率HR初始估計圖像是輸入退化圖像尺寸的a倍；然后，將HR初始估計圖經(jīng)過高頻特征提取和高頻信息融合得到殘差圖像；最后，殘差圖像與HR初始估計圖像相加后得到重建后的HR圖像。

(2)本發(fā)明設(shè)計的網(wǎng)絡(luò)結(jié)構(gòu)，各層對應(yīng)于圖像復(fù)原的處理流程，具有不同的物理意義。如附圖3所示，本發(fā)明的網(wǎng)絡(luò)結(jié)構(gòu)包括28個卷積層，25個RELU激活模塊，一個雙三次(Bicubic)插值放大模塊，兩個融合層。其中，在去壓縮失真的步驟中，由4個卷積層和3個RELU激活模塊組成去壓縮失真的子模塊，每個卷積層對應(yīng)本發(fā)明中特征提取、特征增強、非線性映射、特征重建的步驟；在尾端級聯(lián)一個相同的去壓縮失真子模塊，由兩個去壓縮失真子模塊組成一個去壓縮失真的子網(wǎng)絡(luò)，包括8個卷積層和6個RELU激活模塊。在超分辨率復(fù)原的步驟中，由一個插值放大模塊，20個卷積層，19個RELU激活模塊，兩個融合層組成一個超分辨率復(fù)原子網(wǎng)絡(luò)，其中高頻信息提取階段采用19個卷積層，重建階段采用1個卷積層，兩個融合層包括特征圖融合、殘差圖像融合。

在CNN的圖像處理過程中，卷積層之間需要通過卷積濾波器聯(lián)系，卷積濾波器的定義表示為W×H×C×D,其中，C代表被濾波圖像的通道數(shù)；W、H分別代表濾波范圍的寬、高；D代表卷積濾波器的種類。如5×5×3×20:代表濾波器寬高各為5個像素，輸入圖像通道數(shù)為3，共20種。

(3)本發(fā)明在圖像復(fù)原過程中，各卷積層輸入和輸出特征圖的變化如下：

本發(fā)明中沒有加入池化層和全連接層，在前8個卷積層中先采用先卷積操作，再對輸出尺寸變化的特征圖采用上采樣操作，旨在保證輸入特征圖與輸出特征圖的尺寸不變。在壓縮失真處理過程中，輸入圖像大小為1×64×64的特征圖，在第一個卷積層中，先經(jīng)過64個卷積核9×9之后會產(chǎn)生64×56×56的特征圖，再經(jīng)過上采樣得到64×64×64的特征圖；在第二個卷積層中，輸入大小為64×64×64的特征圖，先經(jīng)過32個卷積核7×7之后會產(chǎn)生32×58×58的特征圖，再經(jīng)過上采樣得到32×64×64的特征圖；在第三個卷積層中，輸入大小為32×64×64的特征圖，先經(jīng)過16個卷積核1×1之后會產(chǎn)生16×64×64的特征圖；在第四個卷積層中，輸入大小為16×64×64的特征圖，先經(jīng)過1個卷積核5×5之后會產(chǎn)生1×60×60的特征圖，再經(jīng)過上采樣得到1×64×64的特征圖，此時，第四個卷積層的輸出特征圖與第一個卷積層的輸入特征圖相等，與第一個到第四個卷積層相同，第五個到第八個卷積層重復(fù)它們的操作，第八個卷積層會產(chǎn)生1×64×64的特征圖，完成前八個卷積層的去壓縮失真處理。在超分辨率復(fù)原操作中，去壓縮失真處理的輸出特征圖可作為超分辨率復(fù)原處理的輸入特征圖，輸入大小為1×64×64的特征圖，經(jīng)過四倍雙三次插值放大產(chǎn)生1×256×256的特征圖，作為高分辨率初始估計圖，再經(jīng)過二十個卷積層處理。其中，在第一個卷積層中，輸入大小為1×256×256的特征圖，先經(jīng)過64個卷積核3×3之后會產(chǎn)生64×254×254的特征圖，再經(jīng)過64×254×254的特征圖上下左右各一個補零后得到64×256×256的特征圖；其余第二個到第十九個卷積層與第一個卷積層呈現(xiàn)相同的操作，第十九個卷積層會產(chǎn)生64×256×256的特征圖，它是沒有信息融合所得到的特征圖；在特征圖融合層中，分別為第十八個和第十九個卷積層的輸出特征圖賦予權(quán)重0.4和0.6，它們加權(quán)后的結(jié)果為64×256×256的信息融合特征圖；在第二十個卷積層中，分別處理有無信息融合的特征圖，在第一個處理過程中，將輸入大小為64×256×256的無信息融合特征圖經(jīng)過1個卷積核3×3之后會產(chǎn)生1×254×254的特征圖，再經(jīng)過上采樣得到1×256×256的無信息融合的殘差圖像；在第二個處理過程中，將輸入大小為64×256×256的有信息融合特征圖經(jīng)過1個卷積核3×3之后會產(chǎn)生1×254×254的特征圖，再經(jīng)過上采樣得到1×256×256的有信息融合殘差圖像，前后共得到兩個輸出圖像；在殘差圖像融合層中，給有無信息融合的殘差圖像分別賦予權(quán)重0.6和0.4，它們加權(quán)后的結(jié)果為1×256×256的殘差圖像；最后，將與1×256×256的殘差圖像與1×256×256的高分辨率初始估計圖相加后得到1×256×256的高分辨率圖像。

所述的離線部分，具體步驟如下：

(1)訓(xùn)練樣本彩色空間變換：將圖像從RGB彩色空間轉(zhuǎn)換到Y(jié)CbCr彩色空間；只對圖像的亮度通道(Y)進行處理；

(2)訓(xùn)練樣本庫生成：首先采用滑動窗在圖像上滑動，隨機裁剪生成大量子圖像Z；然后先經(jīng)過不同放大倍數(shù)的下采樣D，再經(jīng)過不同放大倍數(shù)上采樣U，生成無壓縮失真的低分辨率訓(xùn)練樣本；最后采用JPEG壓縮方法Q，分別進行不同壓縮質(zhì)量參數(shù)(CQ)的壓縮處理，生成不同壓縮失真程度的低分辨率訓(xùn)練樣本X。所得訓(xùn)練樣本可根據(jù)不同階段重建監(jiān)督的需求進行分組；圖像退化過程如公式(1)所示。

X＝DUQ(Z) (1)

(3)訓(xùn)練網(wǎng)絡(luò)：首先，為去壓縮失真子網(wǎng)絡(luò)和超分辨率復(fù)原子網(wǎng)絡(luò)分別建立損失監(jiān)督，并采用常用的梯度下降法求解最小化損失函數(shù)的問題。其中，去壓縮失真子網(wǎng)絡(luò)采用MSE損失函數(shù)確定誤差，通過隨機梯度下降法(SGD)調(diào)整最優(yōu)化網(wǎng)絡(luò)參數(shù)，基礎(chǔ)學習率設(shè)置為0.0001，每訓(xùn)練1000次減半；權(quán)重衰減設(shè)為0.0005，動量設(shè)置為0.9；超分辨率復(fù)原子網(wǎng)絡(luò)采用微批梯度下降法(mini-batch)計算網(wǎng)絡(luò)誤差并調(diào)節(jié)網(wǎng)絡(luò)參數(shù)，基礎(chǔ)學習率設(shè)置為0.1，每訓(xùn)練1000次減半；權(quán)重衰減設(shè)為0.0005，動量設(shè)置為0.9；最后，經(jīng)過反復(fù)迭代，當達到預(yù)設(shè)的最大迭代次數(shù)(4萬次)時停止訓(xùn)練，獲得圖像復(fù)原的網(wǎng)絡(luò)模型。

所述的在線部分，具體步驟如下：

(1)對輸入圖像進行特征提?。韩@取一幅待處理的壓縮失真的低分辨率，采用滑動窗提取重疊的圖像塊；并將每個圖像塊表示為向量，由這些向量組合成特征圖的集合；根據(jù)逐層特征圖可視化得到特征變換的重要信息，但是特征提取階段所得到的特征圖含有噪聲和偽影；

(2)對含噪聲的特征圖進行去噪聲并實現(xiàn)特征增強：對特征提取得到的特征圖進行卷積操作；利用離線訓(xùn)練所得到的含噪聲特征與無噪聲特征的映射關(guān)系，進行含噪聲特征的自適應(yīng)調(diào)節(jié)，完成含噪聲特征到理想特征空間的映射；特征增強層產(chǎn)生去除噪聲的特征圖，但是所得到的特征圖過亮或過暗；

(3)去噪聲特征圖的重建：將去除噪聲特征圖中的向量非線性映射到另一個向量中；由這些向量組成多個重建特征圖，再由多個重建的特征圖平均產(chǎn)生一個重建特征圖；

以上三個步驟為一個去壓縮失真子模塊的處理過程，在去壓縮失真子模塊之后需要級聯(lián)一個相同的去壓縮失真子模塊，重復(fù)前三個步驟處理過程，獲得去壓縮失真重建特征圖，它的尺寸與輸入圖像的尺寸相同；

(4)高頻信息提取：對去壓縮失真得到的特征圖處理，采用雙三次插值放大(Bicubic)的方式進行a倍插值放大，產(chǎn)生高分辨率HR初始估計圖像，它的尺寸是去壓縮失真特征圖尺寸的a倍；采用十九個卷積層得到卷積濾波后的特征圖；

(5)高頻信息融合：第十九層的特征圖作為無融合的特征圖；將各層卷積后的特征圖進行逐層特征可視化、分析各層特征圖的相關(guān)性，選擇加權(quán)融合第十八、十九層的特征圖，得到融合后的特征圖；將有無融合的特征圖通過重建層產(chǎn)生兩個殘差圖像，再將兩個殘差圖像加權(quán)融合得到融合后的殘差圖像；最后將融合后的殘差圖像與高分辨率HR初始估計圖相加后得到最終的重建圖像。

本發(fā)明的特點：

首先，本發(fā)明從協(xié)同處理壓縮失真和降采樣因素的角度出發(fā)，建立了一種基于聯(lián)合深度網(wǎng)絡(luò)的壓縮低分辨率圖像復(fù)原方法，可完成含有壓縮失真與低分辨率隨機組合的退化圖像復(fù)原；其次，本發(fā)明的網(wǎng)絡(luò)含有28卷積層，建立細長型的網(wǎng)絡(luò)結(jié)構(gòu)，根據(jù)遷移學習的思想，對預(yù)先訓(xùn)練好的模型采用微調(diào)的方式完成極深網(wǎng)絡(luò)的訓(xùn)練收斂，解決梯度消失、梯度爆炸的問題；再者，本發(fā)明通過特征可視化完成網(wǎng)絡(luò)模型參數(shù)的設(shè)定，端對端的學習退化特征與理想特征的關(guān)系，且省去預(yù)處理和后處理；最后，本發(fā)明完成三個重要融合，相同尺寸特征圖的融合，殘差圖像的融合，高頻信息與高頻初始估計圖的融合。

附圖說明：

圖1、發(fā)明方法總體流程圖；

圖2、發(fā)明方法離線部分流程圖；

圖3、發(fā)明方法在線部分流程圖；

圖4、去壓縮失真子網(wǎng)絡(luò)逐層可視化結(jié)果圖；

圖5、有無去壓縮失真級聯(lián)結(jié)構(gòu)的實驗結(jié)果圖；

(a)一個去壓縮失真子模塊的實驗結(jié)果圖；

(b)兩個級聯(lián)去壓縮失真子模塊的實驗結(jié)果圖；

圖6、有無特征融合的實驗結(jié)果圖；

(a)無特征融合層的實驗結(jié)果圖；

(b)有特征融合層的實驗結(jié)果圖；

圖7、本發(fā)明方法與現(xiàn)有方法主觀實驗結(jié)果比較；

(a)原始圖像；

(b)待處理的低質(zhì)量圖像(L4Q20：由原圖下采樣四倍，JPEG壓縮20得到)；

(c)VDSR方法的實驗結(jié)果圖；

(d)FSRCNN方法的實驗結(jié)果圖；

(e)CSCN方法的實驗結(jié)果圖；

(f)本發(fā)明的實驗結(jié)果圖；

圖8、本發(fā)明方法與現(xiàn)有方法客觀實驗結(jié)果比較；

(a)測試圖片:(放大四倍，不同壓縮比的“buttery”圖像)，不同方法的PSNR曲線；

(b)測試圖片:(放大兩倍，不同壓縮比的“buttery”圖像)，不同方法的PSNR曲線。

具體實施方式：

以下結(jié)合說明書附圖，對本發(fā)明的實施實例加以詳細說明：

一種基于聯(lián)合深度網(wǎng)絡(luò)的壓縮低分辨率圖像復(fù)原方法，整體流程圖如附圖1所示；算法分為離線部分和在線部分；其流程圖分別如附圖2和附圖3所示；離線部分，根據(jù)圖像下采樣和壓縮失真程度建立訓(xùn)練樣本庫；對于一幅尺寸為M×N圖像，在第一階段，首先對其進行S倍下采樣，然后進行S倍上采樣，最后得到尺寸為M×N低分辨率LR圖像；在第二階段，采用不同壓縮質(zhì)量參數(shù)(CQ，Compressed Quality)值對低分辨率圖像進行壓縮；在第三階段，首先將有無壓縮失真的訓(xùn)練樣本作為第一組訓(xùn)練樣本庫，將高低分辨率的訓(xùn)練樣本作為第二組訓(xùn)練樣本庫；然后將第一、二組訓(xùn)練樣本庫分別進行去壓縮失真子網(wǎng)絡(luò)和超分辨率子網(wǎng)絡(luò)的訓(xùn)練；最后由兩個級聯(lián)結(jié)構(gòu)的子網(wǎng)絡(luò)構(gòu)成一個聯(lián)合深度網(wǎng)絡(luò)。在線部分，避免圖像預(yù)處理及后處理，對需要輸入壓縮失真的低分辨率圖像，由網(wǎng)絡(luò)模型預(yù)測得出復(fù)原圖像，進一步提升網(wǎng)絡(luò)預(yù)測性能。

所述離線部分分為3個步驟：

(1)在訓(xùn)練樣本彩色空間變換過程中，考慮到國內(nèi)外通用數(shù)據(jù)集“91image”的普遍性及重要的實驗對比意義，本發(fā)明采用圖像復(fù)原領(lǐng)域通用的包含有91幅自然圖像的數(shù)據(jù)集作為訓(xùn)練樣本，該數(shù)據(jù)集包含91幅無壓縮失真的高分辨率圖像；在JPEG壓縮和模糊前，將圖像從RGB彩色空間轉(zhuǎn)換到Y(jié)CbCr彩色空間；由于數(shù)據(jù)量化階段中，亮度數(shù)據(jù)Y的量化明顯比色差數(shù)據(jù)Cr和Cb的量化表帶來的數(shù)據(jù)損失要小，因此，只對圖像的亮度通道(Y)進行處理；

(2)在訓(xùn)練樣本庫生成的過程中，為了實現(xiàn)去壓縮失真與超分辨率復(fù)原子網(wǎng)絡(luò)的協(xié)同訓(xùn)練，本發(fā)明經(jīng)過三個階段獲得訓(xùn)練樣本庫。第一階段，采用33×33的滑動窗在圖像上滑動，將高分辨率HR圖像隨機裁剪生成大約24,800個33×33子圖像，作為無壓縮的HR訓(xùn)練樣本Zⁱ；第二階段，先經(jīng)過不同放大倍數(shù)S_i的下采樣(S_i＝2,3,4)，再經(jīng)過不同放大倍數(shù)S_i的上采樣，輸出圖像與輸入圖像(稱為無壓縮的高分辨率訓(xùn)練樣本Zⁱ)尺寸大小相同，生成74,400幅無壓縮失真的低分辨率LR訓(xùn)練樣本Yⁱ；第三階段，對74,400幅無壓縮失真的LR訓(xùn)練樣本運用JPEG壓縮方法，分別進行不同壓縮質(zhì)量參數(shù)(CQ)值的壓縮處理，CQ設(shè)定為(10，20，30，40)，生成不同壓縮失真程度的低分辨率訓(xùn)練樣本Xⁱ；最后階段，將訓(xùn)練樣本分組，將有無壓縮失真的低分辨率訓(xùn)練樣本可作為去壓縮失真子網(wǎng)絡(luò)的訓(xùn)練樣本庫，將無壓縮失真的高低分辨率訓(xùn)練樣本作為超分辨率復(fù)原子網(wǎng)絡(luò)的訓(xùn)練樣本庫；

(3)網(wǎng)絡(luò)訓(xùn)練及模型獲取的方法，分別為去壓縮失真子網(wǎng)絡(luò)和超分辨率復(fù)原子網(wǎng)絡(luò)建立訓(xùn)練機制，并通過端到端學習得到其映射關(guān)系；

去壓縮失真模塊訓(xùn)練數(shù)據(jù)集為其中，Xⁱ是壓縮失真的低分辨率訓(xùn)練樣本，Yⁱ是無壓縮失真的低分辨率訓(xùn)練樣本，N為訓(xùn)練樣本的數(shù)量；用均方誤差MSE作為損失函數(shù)，如公式(2)；通過反向傳播的隨機梯度下降法SGD使得損失函數(shù)最小化，得到調(diào)節(jié)后的網(wǎng)絡(luò)參數(shù)θ₁＝{W₁，W₂，W₃，B₁，B₂，B₃}；

超分辨率復(fù)原模塊訓(xùn)練數(shù)據(jù)集為其中，Yⁱ是無壓縮失真的低分辨率訓(xùn)練樣本，Zⁱ是無壓縮失真的高分辨率訓(xùn)練樣本，N為訓(xùn)練樣本的數(shù)量；殘差圖像為rⁱ＝Zⁱ-Yⁱ，通過CNN網(wǎng)絡(luò)訓(xùn)練得到Y(jié)ⁱ的殘差預(yù)測F(Yⁱ)，最后，殘差預(yù)測F(Yⁱ)與插值放大的低分辨率圖像Yⁱ相結(jié)合得到高分辨率圖像Zⁱ，如公式(4)；

用均方誤差MSE作為損失函數(shù)，如公式(3)；通過反向傳播微批(mini-batch)梯度下降法使得損失函數(shù)最小化，得到調(diào)節(jié)后的網(wǎng)絡(luò)參數(shù)θ₁＝{W₁，...，W₂₀，B₁，...，B₂₀}；

Zⁱ＝F(Yⁱ)+Yⁱ (4)

經(jīng)過反復(fù)迭代訓(xùn)練，當達到預(yù)設(shè)的最大迭代次數(shù)(4萬次)時停止訓(xùn)練，獲得圖像復(fù)原的網(wǎng)絡(luò)模型。

所述的在線部分，具體步驟如下：

(1)對輸入圖像進行特征提取。采用卷積神經(jīng)網(wǎng)絡(luò)CNN進行自底向上的特征提取和表達。輸入圖像為一幅待處理的壓縮失真的低分辨率圖像，首先對輸入的圖像采用滑動窗，步長為1，提取重疊的圖像塊，并將其表示為向量，由這些向量組成特征圖的結(jié)合；然后根據(jù)卷積濾波器的參數(shù)設(shè)定得到逐級變換的特征圖，并實現(xiàn)逐層特征圖可視化，根據(jù)特征圖可視化的結(jié)果對卷積濾波器進行優(yōu)化，可達到網(wǎng)絡(luò)參數(shù)優(yōu)化的作用；最后特征提取階段所得到的特征圖含有噪聲和偽影，需要對其處理。特征提取層公式表示如下：

F₁(X)＝max(0，W₁*X+B₁) (5)

式中，W₁和B₁分別表示特征提取層的卷積濾波器和偏置，W₁的尺寸是1×9×9×64,它表示64種不同的卷積濾波器，每個卷積的核尺寸1×9×9,F₁(X)是特征提取層得到的特征圖；

(2)對含噪聲的特征圖進行去噪聲并實現(xiàn)特征增強。首先，將特征提取階段所得到的特征圖作為特征增強層的處理對象；然后采用訓(xùn)練階段得到的一組卷積濾波器對其處理，完成含噪聲特征到理想特征空間的映射，最后特征增強層達到對特征提取層特征圖去噪聲的作用。特征增強層的公式表示如下：

F₂(X)＝max(0，W₂*F₁(X)+B₂) (6)

式中，W₂和B₂分別表示特征增強層的卷積濾波器和偏置，W₂的尺寸是64×7×7×32,它表示32種不同的卷積濾波器,每個卷積的核尺寸64×7×7,F₂(X)是特征增強層卷積得到的特征圖；

(3)無壓縮失真特征圖重建。首先，將去噪聲后特征圖中的向量非線性映射到另一個向量中；然后，采用類似于均值濾波器的卷積操作，將特征圖中多個過亮和過暗的特征圖重建，其中，特征重建層與特征提取層相對應(yīng)，采用均值功能的卷積濾波器聚合多個特征圖為一個特征圖；無壓縮失真特征圖重建的公式表示如下：

F₃(X)＝max(0，W₃*F₂(X)+B₃) (7)

式中，W₃和B₃分別表示非線性映射層的卷積濾波器和偏置,W₃的尺寸是32×1×1×16。一個非線性映射層具有16種不同的卷積濾波器。每個卷積的核尺寸是32×1×1，F(xiàn)₃(X)是通過非線性映射層產(chǎn)生的特征圖；

F₄(X)＝W₄*F₃(X)+B₄ (8)

式中，W₄和B₄分別表示特征重建層的卷積濾波器和偏置，W₄的尺寸是16×5×5×1，特征重建層有1個卷積濾波器,等同于均值濾波器的作用，每個卷積的核尺寸是16×5×5，能夠?qū)崿F(xiàn)平均特征圖的作用，F(xiàn)₃(X)是特征重建層產(chǎn)生的特征圖；

(4)級聯(lián)網(wǎng)絡(luò)。以上三個步驟可作為一個去壓縮失真子模塊，在其后級聯(lián)1個相同的去壓縮失真子模塊，由兩個去壓縮失真子模塊組成一個去壓縮失真子網(wǎng)絡(luò)；最后，輸入的退化圖像經(jīng)過去壓縮失真子網(wǎng)絡(luò)處理后，產(chǎn)生去壓縮失真的特征圖；

(5)高頻信息提取。首先，在去壓縮失真子網(wǎng)絡(luò)后加入一個雙三次bicubic插值放大層，將去壓縮失真特征圖調(diào)整尺寸，得到HR初始估計圖Y，其中，雙三次bicubic插值放大也是一種卷積操作；然后，采用VGG19網(wǎng)絡(luò)結(jié)構(gòu)，通過19個卷積層逐層特征提取，其中，更深層的網(wǎng)絡(luò)會學習到細節(jié)信息更多的特征圖；該步驟由下式實現(xiàn)：

F₁(X)＝W₁*Y+B₁ (9)

F_i+1(X)＝max(0，W_i*F_i(X)+B_i){i＝2，...19} (10)

式中,W_i和B_i分別表示高頻信息提取階段的卷積濾波器和偏置,其中,卷積濾波器W₁的尺寸是1×3×3×64,第2-19層卷積層W_i的尺寸是64×3×3×64,每個卷積核的尺寸為64×3×3。非線性激活函數(shù)ReLu的表示為max(0,X),可以提取有用的特征圖；

(6)高頻信息融合。首先觀察各層特征圖，并分析各層特征圖，每層包含64種相同尺寸的特征圖；然后，通過雙流網(wǎng)絡(luò)得到特征圖，一流網(wǎng)絡(luò)得到未融合的第19層的特征圖，另一流網(wǎng)絡(luò)加權(quán)融合第18、19卷積層的特征圖，分別為其賦予權(quán)值，得到有融合的特征圖；最后，有無融合的特征圖分別經(jīng)過第20個卷積層重建獲得各自的殘差圖像，并為其賦予權(quán)值，加權(quán)融合得到融合后的殘差圖像；最后，融合后的殘差圖像與高分辨率HR初始估計圖相加后得到最終的重建圖像，高頻信息融合由以下公式實現(xiàn)：

A(X)＝a×F₁₈(X)+(1-a)F₁₉(X) (11)

式中，F(xiàn)₁₈(X)和F₁₉(X)分別表示為第18層和第19層的特征圖，分別為其賦予權(quán)值，a為0.4。分別為有無信息融合的特征圖通過重建層產(chǎn)生殘差圖像，由以下公式實現(xiàn)：

K(X)＝max(0，W₂₀*F₁₉(X)+B₂₀) (12)

L(X)＝max(0，W₂₀*A(X)+B₂₀) (13)

F＝a×K(X)+(1-a)L(X) (14)

式中，W₂₀和B₂₀分別表示為重建層的卷積濾波器和偏置，其中，卷積濾波器W₂₀的尺寸是64×3×3×1,每個卷積核的尺寸為64×3×3。L(X)和K(X)分別是通過重建層產(chǎn)生的有無加權(quán)融合的殘差圖像，分別為其賦予權(quán)值，a為0.4，得到融合后的殘差圖像F；

R＝Y(jié)+F (15)

式中，將殘差圖像F和高分辨率初始估計圖Y相加得到重建圖像R。