一種反卷積神經網絡訓練方法
【技術領域】
[0001] 本發(fā)明屬于人工智能的技術領域，具體地設及一種反卷積神經網絡訓練方法。
【背景技術】
[0002] 深度學習是目前人工智能領域的研究熱點之一?；谏窠浘W絡的思想，深度學習 致力于模仿人腦的分層感知方式，通過構造多層感知器（MultilayerPerception,MLP)由 低層次特征組合出能夠代表屬性類別或特征的抽象高層表示，從而成為目前提取復雜圖像 特征的有效模型之一。
[0003] 經典的深度學習模型主要包括深度置信網值eepBeliefNetworks,DB化）、多 層稀疏的自動編碼模型（AutoEncode,AE)與卷積神經網絡（ConvolutionalNeural Networks,CNNs)。通常，該些模型均通過編碼器由輸入圖像提取特征，從底向上逐層貪屯、地 將圖像轉化到特征空間，相對的，使用解碼器將特征空間的特征通過網絡自頂向下重構輸 入圖像。其中，DB化與AE是無監(jiān)督的網絡模型，他們可W自底向上地分層學習豐富的圖像 特征并為高層次應用，例如模式識別，提供一定的增益。然而，由于編碼器通常使用一些簡 單的非線性函數，有可能會嚴重限制對潛在特征的提取，從而使得模型學習到次優(yōu)化的特 征，從而制約其在識別領域應用實際精確度的提高。此外，它們的訓練復雜度及時間開銷均 十分巨大。
[0004] CN化模型為有監(jiān)督的學習模型，被譽為真正有效訓練多層網絡模型的第一個算 法。該模型使用可訓練的卷積濾波器集合W及相應的池化下采樣算法構成多層網絡。與 DB化W及AE相同，該模型自底向上訓練網絡，只能完成特征提取的功能及相關高層次應 用，如模式識別，不能完成圖像重構功能及相應的低層次應用。
[0005] Zeiler等人于2010年首次提出了反卷積神經網絡模型值econvolutional Networks,DN)。該模型為無監(jiān)督的深度學習模型。模型將卷積稀疏編碼擴展到多層，使用 了與CN化相似的網絡結構，從而使模型不僅能夠應對提取特征的高層應用而且可W實現 圖像重構的低層應用，并改善了傳統(tǒng)稀疏編碼算法中忽視自然圖像平移不變性的缺點。特 殊地，可W認為卷積稀疏編碼模型是單層反卷積神經網絡模型的特例。通過多層結構的學 習集表示，模型可W有效提取圖像不同尺度的特征，并在高層應用，如識別、分類中取得了 諸多令人滿意的效果。陳揚鐵提出，DN圖像去噪的應用中同樣表現優(yōu)異，展示了其在低層 次應用中的潛力。
[0006] 然而，對DN模型的求解設及大量卷積運算化及一系列優(yōu)化問題。Zeiler等人將整 個優(yōu)化問題分解為兩個子問題；固定特征圖求解濾波器的濾波器子問題W及固定濾波器求 解特征圖的特征圖子問題。實際求解時，對該兩個子問題進行交替優(yōu)化求解直到整個模型 收斂。兩個子問題均使用共輛梯度法（Con化gateGradient,CG)進行求解，計算復雜度高， 運算緩慢。Zeiler引入FISTA算法用于求解特征圖的子問題，并在層間加入池化下采樣算 法，W提高模型的整體運算速度，然而卷積的大量使用W及多層的復雜結構使得目標函數 的求解依然復雜度很高，收斂慢。除優(yōu)化訓練算法外，主流的DN優(yōu)化方法還包括使用GPU 運算及使用多線程編程方法等。
[0007] 由于卷積稀疏編碼模型是單層的反卷積神經網絡模型的特例，一些基于卷積稀疏 編碼模型的優(yōu)化求解算法可視為對單層反卷積神經網絡模型的優(yōu)化求解特例。Bristow等 人通過將卷積運算變換到傅里葉域并使用快速傅里葉運算提高卷積運算的速度W改進模 型的收斂效率。Rigamonti等人提出了帶可分離濾波器罰項的卷積稀疏編碼模型，通過訓練 可分離的濾波器W降低卷積運算的復雜度，提高卷積運算的速度。然而將此類方法拓展到 多層反卷積神經網絡模型仍然需要較多工作與改進。

【發(fā)明內容】

[0008] 本發(fā)明的技術解決問題是；克服現有技術的不足，提供一種反卷積神經網絡訓練 方法，其能夠有效地提取圖像特征，有益于分類正確率的提高，提高反卷積神經網絡的訓練 收斂效率及收斂精度，降低反卷積神經網絡在實際應用中的訓練成本，同時可被應用于其 他基于卷積運算的優(yōu)化問題求解中。
[0009] 本發(fā)明的技術解決方案是；該種反卷積神經網絡訓練方法，包括訓練階段和重建 階段，訓練階段包括W下步驟：
[0010] (1)對訓練圖像進行預處理：選定訓練集圖像，處理為灰度圖像，并統(tǒng)一長寬像 素；
[0011] (2)對訓練圖像進行批設置；根據所訓練網絡進行的應用，對訓練圖像進行批次 劃分；
[0012] (3)設置訓練圖像的網絡訓練參數，訓練圖像的網絡訓練參數包括網絡層數、每層 濾波器尺寸、每層特征圖數量、FISTA重構步數與重構步長、總循環(huán)epoch次數、特征圖稀疏 控制參數；
[0013] (4)開始第一層訓練；用隨機數初始化第一層特征圖與第一層濾波器，輸入一批 訓練圖像；首先解特征圖子問題，使用FISTA方法求出特征圖，然后解濾波器子問題，每計 算一次當前殘差僅用于更新一個濾波器，每次用于更新濾波器的梯度步長均來自當前重新 計算的重構殘差，反復重復解特征圖子問題和解濾波器子問題該兩個步驟直到重構殘差收 斂；輸入第二批訓練圖像，用隨機數初始化第二批圖像的特征圖且沿用上一批訓練得到的 濾波器，如此反復，直到完成所有批次的訓練圖像訓練，作為一個epoch,隨后再輸入第一批 圖像開始第二個巧och訓練，直到完成步驟（3)的總循環(huán)巧och次數；
[0014] 重建階段包括W下步驟：
[0015] (5)對待重構圖像進行預處理；將待重構圖像處理為灰度圖像，并統(tǒng)一長寬像素；
[0016] (6)設置待重構圖像的網絡訓練參數，待重構圖像的網絡訓練參數包括FISTA重 構步長、重構次數與特征圖稀疏度控制參數；
[0017] (7)按批輸入待重構圖像直到完成所有批圖像的重構：按批依次輸入待重構圖 像，網絡使用之前由訓練圖像訓練得到的各層濾波器計算特征圖子問題至收斂后得到重構 圖像與各層特征圖。
[0018] 本發(fā)明通過改進解濾波器子問題，每計算一次當前殘差僅用于更新一個濾波器， 每次用于更新濾波器的梯度步長均來自當前重新計算的重構殘差，該樣能夠有效地提取圖 像特征，有益于分類正確率的提高，提高反卷積神經網絡的訓練收斂效率及收斂精度，降低 反卷積神經網絡在實際應用中的訓練成本，同時可被應用于其他基于卷積運算的優(yōu)化問題 求解中。
【附圖說明】
[0019] 圖1示出了反卷積神經網絡模型邏輯結構。
[0020] 圖2是訓練實驗中S即算法與傳統(tǒng)CG算法表現客觀數據對比；圖2中（a)化）為 第一層訓練結果，（C) (d)為第二層的訓練結果。
[0021] 圖3是重構實驗中S即算法與傳統(tǒng)CG算法表現客觀數據對比；圖3中（a)化）為 第一層訓練結果，（C) (d)為第二層的訓練結果。
[0022] 圖4是根據本發(fā)明的反卷