積神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法的流程圖。
【具體實(shí)施方式】
[0023] 如圖4所示，該種反卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法，包括訓(xùn)練階段和重建階段，訓(xùn)練階段 包括W下步驟：
[0024] (1)對(duì)訓(xùn)練圖像進(jìn)行預(yù)處理：選定訓(xùn)練集圖像，處理為灰度圖像，并統(tǒng)一長寬像 素；
[0025] (2)對(duì)訓(xùn)練圖像進(jìn)行批設(shè)置；根據(jù)所訓(xùn)練網(wǎng)絡(luò)進(jìn)行的應(yīng)用，對(duì)訓(xùn)練圖像進(jìn)行批次 劃分；
[002引 做設(shè)置訓(xùn)練圖像的網(wǎng)絡(luò)訓(xùn)練參數(shù)，訓(xùn)練圖像的網(wǎng)絡(luò)訓(xùn)練參數(shù)包括網(wǎng)絡(luò)層數(shù)、每層 濾波器尺寸、每層特征圖數(shù)量、FISTA重構(gòu)步數(shù)與重構(gòu)步長、總循環(huán)巧och次數(shù)、特征圖稀疏 控制參數(shù)；
[0027] (4)開始第一層訓(xùn)練；用隨機(jī)數(shù)初始化第一層特征圖與第一層濾波器，輸入一批 訓(xùn)練圖像；首先解特征圖子問題，使用FISTA方法求出特征圖，然后解濾波器子問題，每計(jì) 算一次當(dāng)前殘差僅用于更新一個(gè)濾波器，每次用于更新濾波器的梯度步長均來自當(dāng)前重新 計(jì)算的重構(gòu)殘差，反復(fù)重復(fù)解特征圖子問題和解濾波器子問題該兩個(gè)步驟直到重構(gòu)殘差 收斂；輸入第二批訓(xùn)練圖像，用隨機(jī)數(shù)初始化第二批圖像的特征圖且沿用上一批訓(xùn)練得到 的濾波器，如此反復(fù)，直到完成所有批次的訓(xùn)練圖像訓(xùn)練，作為一個(gè)epoch,隨后再輸入第一 批圖像開始第二個(gè)巧och訓(xùn)練，直到完成步驟（3)的總循環(huán)巧och次數(shù)；
[0028] 重建階段包括W下步驟：
[0029](5)對(duì)待重構(gòu)圖像進(jìn)行預(yù)處理；將待重構(gòu)圖像處理為灰度圖像，并統(tǒng)一長寬像素；
[0030] 做設(shè)置待重構(gòu)圖像的網(wǎng)絡(luò)訓(xùn)練參數(shù)，待重構(gòu)圖像的網(wǎng)絡(luò)訓(xùn)練參數(shù)包括FISTA重 構(gòu)步長、重構(gòu)次數(shù)與特征圖稀疏度控制參數(shù)；
[0031] (7)按批輸入待重構(gòu)圖像直到完成所有批圖像的重構(gòu)：按批依次輸入待重構(gòu)圖 像，網(wǎng)絡(luò)使用之前由訓(xùn)練圖像訓(xùn)練得到的各層濾波器計(jì)算特征圖子問題至收斂后得到重構(gòu) 圖像與各層特征圖。
[0032] 本發(fā)明通過改進(jìn)解濾波器子問題，每計(jì)算一次當(dāng)前殘差僅用于更新一個(gè)濾波器， 每次用于更新濾波器的梯度步長均來自當(dāng)前重新計(jì)算的重構(gòu)殘差，該樣能夠有效地提取圖 像特征，有益于分類正確率的提高，提高反卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練收斂效率及收斂精度，降低 反卷積神經(jīng)網(wǎng)絡(luò)在實(shí)際應(yīng)用中的訓(xùn)練成本，同時(shí)可被應(yīng)用于其他基于卷積運(yùn)算的優(yōu)化問題 求解中。
[0033] 優(yōu)選地，所述步驟（2)中將相似度高的同類圖像作為同批訓(xùn)練。
[0034] 優(yōu)選地，所述步驟（4)中通過公式（1)解濾波器子問題：
[00對(duì)
【主權(quán)項(xiàng)】
1. 一種反卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法，其特征在于，包括訓(xùn)練階段和重建階段，訓(xùn)練階段包 括以下步驟： (1) 對(duì)訓(xùn)練圖像進(jìn)行預(yù)處理：選定訓(xùn)練集圖像，處理為灰度圖像，并統(tǒng)一長寬像素； (2) 對(duì)訓(xùn)練圖像進(jìn)行批設(shè)置：根據(jù)所訓(xùn)練網(wǎng)絡(luò)進(jìn)行的應(yīng)用，對(duì)訓(xùn)練圖像進(jìn)行批次劃分； (3) 設(shè)置訓(xùn)練圖像的網(wǎng)絡(luò)訓(xùn)練參數(shù)，訓(xùn)練圖像的網(wǎng)絡(luò)訓(xùn)練參數(shù)包括網(wǎng)絡(luò)層數(shù)、每層濾波 器尺寸、每層特征圖數(shù)量、FISTA重構(gòu)步數(shù)與重構(gòu)步長、總循環(huán)epoch次數(shù)、特征圖稀疏控制 參數(shù)； (4) 開始第一層訓(xùn)練：用隨機(jī)數(shù)初始化第一層特征圖與第一層濾波器，輸入一批訓(xùn)練 圖像；首先解特征圖子問題，使用FISTA方法求出特征圖，然后解濾波器子問題，每計(jì)算一 次當(dāng)前殘差僅用于更新一個(gè)濾波器，每次用于更新濾波器的梯度步長均來自當(dāng)前重新計(jì)算 的重構(gòu)殘差，反復(fù)重復(fù)解特征圖子問題和解濾波器子問題這兩個(gè)步驟直到重構(gòu)殘差收斂； 輸入第二批訓(xùn)練圖像，用隨機(jī)數(shù)初始化第二批圖像的特征圖且沿用上一批訓(xùn)練得到的濾波 器，如此反復(fù)，直到完成所有批次的訓(xùn)練圖像訓(xùn)練，作為一個(gè)epoch，隨后再輸入第一批圖像 開始第二個(gè)epoch訓(xùn)練，直到完成步驟（3)的總循環(huán)epoch次數(shù)； 重建階段包括以下步驟： (5) 對(duì)待重構(gòu)圖像進(jìn)行預(yù)處理：將待重構(gòu)圖像處理為灰度圖像，并統(tǒng)一長寬像素； (6) 設(shè)置待重構(gòu)圖像的網(wǎng)絡(luò)訓(xùn)練參數(shù)，待重構(gòu)圖像的網(wǎng)絡(luò)訓(xùn)練參數(shù)包括FISTA重構(gòu)步 長、重構(gòu)次數(shù)與特征圖稀疏度控制參數(shù)； (7) 按批輸入待重構(gòu)圖像直到完成所有批圖像的重構(gòu)：按批依次輸入待重構(gòu)圖像，網(wǎng) 絡(luò)使用之前由訓(xùn)練圖像訓(xùn)練得到的各層濾波器計(jì)算特征圖子問題至收斂后得到重構(gòu)圖像 與各層特征圖。
2. 根據(jù)權(quán)利要求1所述的反卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法，其特征在于，所述步驟（2)中將相 似度高的同類圖像作為同批訓(xùn)練。
3. 根據(jù)權(quán)利要求2所述的反卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法，其特征在于，所述步驟（4)中通過 公式（1)解濾波器子問題：
(1) 其中u = fk是當(dāng)前待更新的濾波器，
：是當(dāng)前待更新濾波器在上 一次迭代中得到的值，L > 0是Vg萊布尼茨梯度的上界常量參數(shù)，g(fk)是以當(dāng)前待更新濾 波器為變量表示的總代價(jià)函數(shù)。
4. 根據(jù)權(quán)利要求3所述的反卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法，其特征在于，所述步驟（4)和（5) 之間還包括以下步驟： (a) 開始第二層訓(xùn)練：使用第一層訓(xùn)練得到的第一層濾波器，用隨機(jī)數(shù)初始化第二層 濾波器以及特征圖；將第一批訓(xùn)練圖像輸入網(wǎng)絡(luò)，對(duì)濾波器與特征圖進(jìn)行優(yōu)化計(jì)算直到收 斂；輸入下一批訓(xùn)練圖像，用隨機(jī)數(shù)初始化該下一批特征圖，訓(xùn)練至收斂，如此反復(fù)直到完 成所有批次訓(xùn)練圖像的訓(xùn)練； (b) 開始第η層訓(xùn)練，η為大于2的整數(shù)：使用前n-1層訓(xùn)練得到的濾波器，用隨機(jī)數(shù) 初始化第η層濾波器以及特征圖；將第一批訓(xùn)練圖像輸入網(wǎng)絡(luò)，對(duì)濾波器與特征圖進(jìn)行優(yōu) 化計(jì)算直到收斂；輸入下一批訓(xùn)練圖像，用隨機(jī)數(shù)初始化該下一批特征圖，訓(xùn)練至收斂，如 此反復(fù)直到完成所有批次訓(xùn)練圖像的訓(xùn)練。
5.根據(jù)權(quán)利要求4所述的反卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法，其特征在于，所述步驟（a)和（b) 中通過公式（2)對(duì)濾波器與特征圖進(jìn)行優(yōu)化計(jì)算：
⑵ 其中，是第1層當(dāng)前待更新的濾波器，&是該濾波器在上一次迭代中得到的值，L1 是第1層萊布尼茨梯度的上界常量參數(shù)，g1是第1層以為單變量的總代價(jià)函數(shù)。
【專利摘要】本發(fā)明公開了一種反卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法，其能夠有效地提取圖像特征，有益于分類正確率的提高，提高反卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練收斂效率及收斂精度，降低反卷積神經(jīng)網(wǎng)絡(luò)在實(shí)際應(yīng)用中的訓(xùn)練成本，同時(shí)可被應(yīng)用于其他基于卷積運(yùn)算的優(yōu)化問題求解中。這種反卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法，包括訓(xùn)練階段和重建階段，訓(xùn)練階段包括步驟：(1)對(duì)訓(xùn)練圖像進(jìn)行預(yù)處理；(2)對(duì)訓(xùn)練圖像進(jìn)行批設(shè)置；(3)設(shè)置訓(xùn)練圖像的網(wǎng)絡(luò)訓(xùn)練參數(shù)；(4)開始第一層訓(xùn)練；重建階段包括步驟：(5)對(duì)待重構(gòu)圖像進(jìn)行預(yù)處理；(6)設(shè)置待重構(gòu)圖像的網(wǎng)絡(luò)訓(xùn)練參數(shù)；(7)按批輸入待重構(gòu)圖像直到完成所有批圖像的重構(gòu)。
【IPC分類】G06N3-02
【公開號(hào)】CN104866900
【申請(qǐng)?zhí)枴緾N201510046974
【發(fā)明人】施云惠, 張軼昀, 丁文鵬, 尹寶才
【申請(qǐng)人】北京工業(yè)大學(xué)
【公開日】2015年8月26日
【申請(qǐng)日】2015年1月29日