本發(fā)明涉及計(jì)算機(jī)視覺與數(shù)字圖像處理領(lǐng)域，尤其涉及一種基于卷積對(duì)神經(jīng)網(wǎng)絡(luò)的圖像去噪方法。

背景技術(shù)：

圖像去噪，是計(jì)算機(jī)視覺和圖像處理的一個(gè)經(jīng)典且根本的問題，是解決很多相關(guān)問題的預(yù)處理必備過程，它的目的是從有噪聲的圖像y中恢復(fù)潛在的干凈的圖像x，該過程可表示為：y＝x+n，其中，n通常被認(rèn)為是加性高斯白噪聲(Additive White Gaussian,AWG)，這是一個(gè)典型的病態(tài)的線性的逆問題。為了解決這個(gè)問題，早期的很多方法都是通過局部濾波來解決的，譬如高斯濾波、中值濾波、雙邊濾波等，這些局部濾波方法既沒有在全局范圍內(nèi)濾波，也沒有考慮到自然圖像塊與塊之間的聯(lián)系性，因此獲得的去噪效果不盡人意。

隨著非局部自相似(Nonlocal Self-Similarity,NSS)概念的提出，更多的有效的去噪方法被提出。其中最早且最有影響力的方法是非局部均值(Nonlocal Means,NLM)去噪算法，它的主要思想是在一個(gè)全局范圍內(nèi)滑動(dòng)的搜索框里尋找NSS塊，通過歐氏距離來估計(jì)塊與塊之間的相關(guān)性，并用權(quán)重來表示，則圖像塊的每個(gè)像素值通過權(quán)重平均來計(jì)算。之后，將NSS引入變換域中，誕生了另外一個(gè)重要的方法叫三維塊匹配(Block-matching and 3D filtering,BM3D)算法，先是建立一個(gè)3D的立方的NSS圖像塊，然后在稀疏的3D變換域中對(duì)圖像塊進(jìn)行協(xié)同濾波。除了在變換域中建模，另外一種常用的去噪方法是求解低秩矩陣，其中有代表性的方法是加權(quán)核范數(shù)最小化(Weighted NuclearNorm Minimize,WNNM)，它是利用NSS噪聲圖像塊來求解決定核范數(shù)的權(quán)重，進(jìn)而通過奇異值分解等步驟獲得潛在的低秩矩陣，即為去噪后的干凈圖像。然而，低秩的過程并不能完全去除噪聲，所以去噪效果并沒有那么好；另外時(shí)間復(fù)雜度很高，并不適合實(shí)際需要實(shí)時(shí)去噪的場(chǎng)合。

技術(shù)實(shí)現(xiàn)要素：

為解決上述技術(shù)問題，本發(fā)明公開了一種基于卷積對(duì)神經(jīng)網(wǎng)絡(luò)的圖像去噪方法，極大地增強(qiáng)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)能力，建立起噪聲圖像到干凈圖像的準(zhǔn)確映射，可以實(shí)現(xiàn)實(shí)時(shí)去噪。

為實(shí)現(xiàn)上述目的，本發(fā)明采用以下技術(shù)方案：

本發(fā)明公開了一種基于卷積對(duì)神經(jīng)網(wǎng)絡(luò)的圖像去噪方法，包括以下步驟：

S1：搭建卷積對(duì)神經(jīng)網(wǎng)絡(luò)模型，所述卷積對(duì)神經(jīng)網(wǎng)絡(luò)模型包括多個(gè)卷積對(duì)和相應(yīng)的激活層；

S2：選取訓(xùn)練集，并設(shè)置所述卷積對(duì)神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練參數(shù)；

S3：根據(jù)所述卷積對(duì)神經(jīng)網(wǎng)絡(luò)模型及其訓(xùn)練參數(shù)，以最小化損失函數(shù)為目標(biāo)訓(xùn)練所述卷積對(duì)神經(jīng)網(wǎng)絡(luò)模型形成圖像去噪神經(jīng)網(wǎng)絡(luò)模型；

S4：將待處理的圖像輸入到所述圖像去噪神經(jīng)網(wǎng)絡(luò)模型，輸出去噪后的圖像。

優(yōu)選地，步驟S1中的所述卷積對(duì)是由一個(gè)卷積核大于1×1的卷積層和一個(gè)卷積核為1×1的卷積層組成。

優(yōu)選地，卷積核大于1×1的卷積層的卷積核大小為3×3、5×5、7×7、9×9或11×11。

優(yōu)選地，步驟S1中搭建的所述卷積對(duì)神經(jīng)網(wǎng)絡(luò)模型中在多個(gè)所述卷積對(duì)后還添加一個(gè)1×1的卷積層和相應(yīng)的激活層。

優(yōu)選地，所述卷積對(duì)神經(jīng)網(wǎng)絡(luò)模型包括3個(gè)卷積對(duì)和一個(gè)1×1的卷積層、以及每個(gè)卷積層后相應(yīng)的激活層，其中3個(gè)卷積對(duì)中的第一個(gè)卷積對(duì)由卷積核大小分別為11×11和1×1的兩層卷積層組成，第二個(gè)卷積對(duì)和第三個(gè)卷積對(duì)均由卷積核大小分別為5×5和1×1的兩層卷積層組成。

優(yōu)選地，所述訓(xùn)練集包括多張?jiān)肼晥D像和相應(yīng)的干凈圖像，步驟S2還包括：將所述噪聲圖像分割成38×38的噪聲圖像塊，將所述干凈圖像分割成20×20的干凈圖像塊。

優(yōu)選地，步驟S3中的損失函數(shù)L(θ)為均方誤差函數(shù)：

其中，MSE為均方誤差，X_i、Y_i分別為選取的所述訓(xùn)練集中的圖像的噪聲 圖像塊和干凈圖像塊，θ表示權(quán)重；n表示圖像塊的個(gè)數(shù)；F函數(shù)表示訓(xùn)練出的噪聲圖像到干凈圖像的映射。

優(yōu)選地，步驟S3中在訓(xùn)練所述卷積對(duì)神經(jīng)網(wǎng)絡(luò)模型過程中，所述卷積對(duì)神經(jīng)網(wǎng)絡(luò)模型的權(quán)重的初始值由高斯隨機(jī)函數(shù)生成，最小化損失函數(shù)采用Adam優(yōu)化方法。

優(yōu)選地，步驟S3中的所述圖像去噪神經(jīng)網(wǎng)絡(luò)模型是根據(jù)最小化損失函數(shù)獲得的卷積層的權(quán)重來建立的。

優(yōu)選地，步驟S2中所述訓(xùn)練集中選取包含多種噪聲方差的多張圖像，步驟S3中對(duì)多種噪聲方差的多張圖像分別訓(xùn)練所述卷積對(duì)神經(jīng)網(wǎng)絡(luò)模型形成多種對(duì)應(yīng)的噪聲方差下的所述圖像去噪神經(jīng)網(wǎng)絡(luò)模型，步驟S4中將待處理的圖像輸入到相應(yīng)的噪聲方差下的所述圖像去噪神經(jīng)網(wǎng)絡(luò)模型，輸出去噪后的圖像。

與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果在于：本發(fā)明的圖像去噪方法基于深度網(wǎng)絡(luò)的學(xué)習(xí)，通過引入卷積對(duì)，極大地增強(qiáng)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)能力，建立起噪聲圖像到干凈圖像的準(zhǔn)確映射，可以實(shí)現(xiàn)實(shí)時(shí)去噪；將圖像去噪過程分為模型訓(xùn)練過程和去噪過程，能夠顯著提高圖像去噪的峰值信噪比(PSNR)和視覺效果，減少去噪時(shí)間，應(yīng)用在圖像處理方面的預(yù)處理過程和獨(dú)立的圖像去噪領(lǐng)域，能有效地提升圖像去噪的效率和質(zhì)量。

在進(jìn)一步的方案中，本發(fā)明搭建的卷積對(duì)神經(jīng)網(wǎng)絡(luò)模型中的卷積對(duì)選用合適大小的卷積核的卷積層，使得不需要引入池化層就能夠便于訓(xùn)練并有足夠的能力獲得很好的去噪效果，從而避免因?yàn)橐氤鼗瘜邮沟脜?shù)減少而導(dǎo)致的模型不精確、效果變差等問題。

在更進(jìn)一步的方案中，本發(fā)明針對(duì)多種不同的噪聲方差訓(xùn)練卷積對(duì)神經(jīng)網(wǎng)絡(luò)模型形成對(duì)應(yīng)的噪聲方差下的圖像去噪神經(jīng)網(wǎng)絡(luò)模型，并通過與待處理的圖像相對(duì)應(yīng)的噪聲方差下的圖像去噪神經(jīng)網(wǎng)絡(luò)模型對(duì)待處理的圖像進(jìn)行去噪，去噪速度快。

附圖說明

圖1是本發(fā)明優(yōu)選實(shí)施例的基于卷積對(duì)神經(jīng)網(wǎng)絡(luò)的圖像去噪方法的流程圖；

圖2是本發(fā)明優(yōu)選實(shí)施例的卷積對(duì)神經(jīng)網(wǎng)絡(luò)模型的內(nèi)部構(gòu)造示意圖。

具體實(shí)施方式

下面對(duì)照附圖并結(jié)合優(yōu)選的實(shí)施方式對(duì)本發(fā)明作進(jìn)一步說明。

本發(fā)明的基于卷積對(duì)神經(jīng)網(wǎng)絡(luò)的圖像去噪方法，通過引入卷積對(duì)的神經(jīng)網(wǎng)絡(luò)，引入卷積層和激活層，借助卷積層的學(xué)習(xí)能力和激活層的篩選能力獲取好的特征，極大地增強(qiáng)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)能力，準(zhǔn)確地學(xué)習(xí)出從噪聲圖像到干凈圖像的映射以建立起輸入到輸出的映射，從而能夠通過學(xué)習(xí)到的映射進(jìn)行干凈圖像的預(yù)測(cè)和估計(jì)。

如圖1所示，本發(fā)明的優(yōu)選實(shí)施例的基于卷積對(duì)神經(jīng)網(wǎng)絡(luò)的圖像去噪方法，包括以下步驟：

S1：搭建卷積對(duì)神經(jīng)網(wǎng)絡(luò)模型，所述卷積對(duì)神經(jīng)網(wǎng)絡(luò)模型包括多個(gè)卷積對(duì)和相應(yīng)的激活層；

如圖2所示，本發(fā)明優(yōu)選實(shí)施例的卷積對(duì)神經(jīng)網(wǎng)絡(luò)模型包括3個(gè)卷積對(duì)、1個(gè)1×1的卷積層和每個(gè)卷積層后的激活層；每個(gè)卷積對(duì)可以由一個(gè)大于1×1的卷積層(卷積核的大小可以是3×3、5×5、7×7、9×9或11×11)和一個(gè)1×1的卷積層組成，在本實(shí)施例中，第一個(gè)卷積對(duì)由卷積核大小分別為11×11和1×1的兩層卷積層組成，第二個(gè)和第三個(gè)卷積對(duì)都是由卷積核大小分別為5×5和1×1的兩層卷積層組成。其中卷積核大小為11×11和5×5的卷積層有很好的提取特征的效果，參數(shù)不多使得計(jì)算量不大，方便實(shí)現(xiàn)；卷積核大小為1×1的卷積層在網(wǎng)絡(luò)的最后可以增強(qiáng)提取的有效特征，從而增加網(wǎng)絡(luò)的訓(xùn)練參數(shù)能力。其中，本實(shí)施例中每個(gè)卷積層后的激活層選用雙曲正切函數(shù)(tanh函數(shù))。

通過本發(fā)明優(yōu)選實(shí)施例中建立的卷積對(duì)神經(jīng)網(wǎng)絡(luò)模型中選取的卷積層的總層數(shù)和卷積核大小，在保證神經(jīng)網(wǎng)絡(luò)的能力的基礎(chǔ)上，避免了在訓(xùn)練過程中出現(xiàn)梯度爆炸、過擬合和計(jì)算復(fù)雜度等問題；使得在訓(xùn)練本發(fā)明優(yōu)選實(shí)施例中的卷積對(duì)神經(jīng)網(wǎng)絡(luò)模型時(shí)，不需引入池化層，就能夠便于訓(xùn)練并有足夠的能力獲得很好的去噪效果，從而避免因?yàn)橐氤鼗瘜邮沟脜?shù)減少而導(dǎo)致的模型不精確、效果變差等問題。

S2：選取訓(xùn)練集，并設(shè)置卷積對(duì)神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練參數(shù)；

本發(fā)明優(yōu)選實(shí)施例中選取在超分辨領(lǐng)域常用的高質(zhì)量的91張圖像作為訓(xùn)練集，每張圖像分別有對(duì)應(yīng)的噪聲圖像和干凈圖像。然后設(shè)置卷積對(duì)神經(jīng)網(wǎng)絡(luò)模型 的訓(xùn)練參數(shù)，包括每次輸入模型訓(xùn)練的圖像塊數(shù)量、輸入圖像塊和輸出圖像塊的大小、圖像深度、學(xué)習(xí)速率等。為增大數(shù)據(jù)集，將訓(xùn)練集中的每張圖像對(duì)應(yīng)的噪聲圖像和干凈圖像分別分割成同一分辨率的圖像塊；并設(shè)置padding為“VALID”(即通過卷積作用，圖像的大小會(huì)根據(jù)卷積核的大小相應(yīng)減小)，假設(shè)卷積層的卷積核大小為M×M，圖像大小為N×N，則經(jīng)過一層該卷積層的圖像大小變?yōu)?N-M+1)×(N-M+1)；根據(jù)本優(yōu)選實(shí)施例的卷積對(duì)神經(jīng)網(wǎng)絡(luò)模型，若選取輸入噪聲圖像的大小為N×N，則對(duì)應(yīng)的干凈圖像的大小為(N-18)×(N-18)，增大數(shù)據(jù)集可以有效地避免訓(xùn)練過程中的過擬合現(xiàn)象。在本實(shí)施例中，將訓(xùn)練集中的噪聲圖像分割成38×38的噪聲圖像塊，將干凈圖像分割成20×20的干凈圖像塊，使得在訓(xùn)練模型時(shí)能夠更好地捕捉圖像的結(jié)構(gòu)信息和細(xì)節(jié)信息；每次輸入模型訓(xùn)練的圖像塊的數(shù)量為128；由于針對(duì)的是灰度圖的去噪，圖像深度設(shè)為1；學(xué)習(xí)速率設(shè)為0.001，每次訓(xùn)練時(shí)的衰減速率設(shè)為0.9；每訓(xùn)練2000次進(jìn)行一次測(cè)試，觀察目前模型的效果以更改模型的相關(guān)參數(shù)，當(dāng)?shù)蠹s10000次左右時(shí)，學(xué)習(xí)速率降為0。其中，在選取訓(xùn)練集的同時(shí)還可以選取測(cè)試集，測(cè)試集中可以選擇去噪領(lǐng)域常用的10張圖像，測(cè)試集中的每張圖像也同樣包含噪聲圖像和對(duì)應(yīng)的干凈圖像，在對(duì)卷積對(duì)神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練的過程中，可以采用測(cè)試集中的圖像來對(duì)目前模型的效果進(jìn)行觀察。

S3：根據(jù)卷積對(duì)神經(jīng)網(wǎng)絡(luò)模型及其訓(xùn)練參數(shù)，以最小化損失函數(shù)為目標(biāo)訓(xùn)練卷積對(duì)神經(jīng)網(wǎng)絡(luò)模型形成圖像去噪神經(jīng)網(wǎng)絡(luò)模型；

其中損失函數(shù)L(θ)選為均方誤差函數(shù)(MSE)：

其中，MSE為均方誤差，X_i、Y_i分別為選取的所述訓(xùn)練集中的圖像的噪聲圖像塊和干凈圖像塊，θ表示權(quán)重；n表示圖像塊的個(gè)數(shù)；F函數(shù)表示訓(xùn)練出的噪聲圖像到干凈圖像的映射；

由于峰值信噪比(PSNR)公式為：

其中，MAX通常是圖像的灰度級(jí)，一般取255，由上式可以看出，不斷最 小化損失函數(shù)(MSE)就可以獲得高的峰值信噪比(PSNR)值，即圖像的質(zhì)量越高。在本實(shí)施例中，最小化損失函數(shù)采用Adam優(yōu)化方法，其中Adam優(yōu)化方法計(jì)算方式是，每時(shí)間步長(zhǎng)迭代一次，計(jì)算一次平均梯度和平均梯度的平方根的衰減量(第一和第二動(dòng)量估計(jì))，第一動(dòng)量會(huì)隨著時(shí)間不短衰減，由于第一和第二動(dòng)量的初始值為0，則導(dǎo)致一些權(quán)重系數(shù)變?yōu)?；因此能夠有效避免優(yōu)化過程進(jìn)入局部最優(yōu)解，并且加快優(yōu)化速度，來獲得全局最優(yōu)解。其中卷積對(duì)神經(jīng)網(wǎng)絡(luò)模型的權(quán)重θ的初始值由高斯隨機(jī)函數(shù)生成，足夠的隨機(jī)性能夠增強(qiáng)網(wǎng)絡(luò)的魯棒性。

根據(jù)最小化損失函數(shù)獲得卷積層的權(quán)重，建立有效的圖像去噪神經(jīng)網(wǎng)絡(luò)模型，該模型去噪速度快，對(duì)不同噪聲方差下的圖像去噪都有很強(qiáng)的魯棒性，獲得PSNR和視覺效果都很好。

S4：將待處理的圖像輸入到圖像去噪神經(jīng)網(wǎng)絡(luò)模型，輸出去噪后的圖像。

在步驟S2中的訓(xùn)練集中可以選取包含多種噪聲方差的多張圖像，步驟S3中對(duì)多種噪聲方差的多張圖像分別訓(xùn)練卷積對(duì)神經(jīng)網(wǎng)絡(luò)模型形成多種對(duì)應(yīng)的噪聲方差下的圖像去噪神經(jīng)網(wǎng)絡(luò)模型。步驟S4中將待處理的圖像輸入到與該圖像相應(yīng)的噪聲方差下的圖像去噪神經(jīng)網(wǎng)絡(luò)模型，即可預(yù)測(cè)出對(duì)應(yīng)的干凈圖像，輸出去噪后的圖像。

在一個(gè)實(shí)例中，待處理的有噪聲的圖像的大小為512×512，輸出預(yù)測(cè)的干凈圖像的大小為494×494，雖然圖像大小有所變化，但對(duì)于整體來說影響很小，而圖像質(zhì)量提高很多。

在另一個(gè)實(shí)例中，在噪聲方差為30的情況下，一張321×481的噪聲圖像的PSNR為18.59，經(jīng)過圖像去噪神經(jīng)網(wǎng)絡(luò)模型映射后，去噪后的干凈圖像的PSNR為30.80，極大地提高了圖像的質(zhì)量，視覺效果也令人滿意。

根據(jù)本發(fā)明的圖像去噪方法，可以提前訓(xùn)練好各種噪聲方差下的圖像去噪神經(jīng)網(wǎng)絡(luò)模型，圖像去噪神經(jīng)網(wǎng)絡(luò)模型即是端對(duì)端直接由輸入噪聲圖像到輸出干凈圖像的映射，通過圖像去噪神經(jīng)網(wǎng)絡(luò)模型對(duì)圖像進(jìn)行去噪的速度極快，不到0.1秒就獲得干凈圖像，有很強(qiáng)的實(shí)用價(jià)值，在需要實(shí)時(shí)去噪的場(chǎng)合將會(huì)有廣泛的應(yīng)用。除了速度快、去噪效果好等優(yōu)點(diǎn)，本發(fā)明還有很強(qiáng)的魯棒性，針對(duì)不同的噪聲水平和分辨率，去噪的時(shí)間和效果基本上沒有變化。因此，本發(fā)明提供的卷積 對(duì)神經(jīng)網(wǎng)絡(luò)圖像去噪方法的去噪效果好、速度快、魯棒性強(qiáng)，有很強(qiáng)的實(shí)用性和實(shí)時(shí)性，市場(chǎng)前景廣闊，尤其是對(duì)實(shí)時(shí)性要求很好的場(chǎng)合。

本發(fā)明優(yōu)選實(shí)施例的圖像去噪方法，通過引入卷積對(duì)層，極大地增強(qiáng)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)能力，建立起噪聲圖像到干凈圖像的準(zhǔn)確映射。卷積對(duì)中11×11和兩個(gè)5×5的卷積層的效果很好，該大小的卷積核引入的參數(shù)不會(huì)很多，因此計(jì)算量不會(huì)很大，但是卻能夠提取到好的特征；卷積對(duì)中的1×1的卷積層實(shí)際上就是一個(gè)線性變換層，能夠增強(qiáng)好的特征在網(wǎng)絡(luò)中的作用。除了卷積層的引入，本發(fā)明還在每個(gè)卷積層后面增加了以tanh函數(shù)為激活函數(shù)的隱藏層。搭建起需要學(xué)習(xí)的卷積對(duì)神經(jīng)網(wǎng)絡(luò)模型后，通過不斷減小損失函數(shù)的數(shù)值來訓(xùn)練網(wǎng)絡(luò)模型的參數(shù)，損失函數(shù)選用均方誤差函數(shù)，減小均方誤差能夠增大PSNR，從而提高圖像的質(zhì)量。對(duì)于不同的高斯噪聲方差，訓(xùn)練卷積對(duì)神經(jīng)網(wǎng)絡(luò)模型形成對(duì)應(yīng)的圖像去噪神經(jīng)網(wǎng)絡(luò)模型以構(gòu)造噪聲圖像到干凈圖像的映射，最終通過建立的有效映射對(duì)相應(yīng)的噪聲方差下的圖像進(jìn)行去噪處理，可以獲得接近干凈的圖像。

以上內(nèi)容是結(jié)合具體的優(yōu)選實(shí)施方式對(duì)本發(fā)明所作的進(jìn)一步詳細(xì)說明，不能認(rèn)定本發(fā)明的具體實(shí)施只局限于這些說明。對(duì)于本發(fā)明所屬技術(shù)領(lǐng)域的技術(shù)人員來說，在不脫離本發(fā)明構(gòu)思的前提下，還可以做出若干等同替代或明顯變型，而且性能或用途相同，都應(yīng)當(dāng)視為屬于本發(fā)明的保護(hù)范圍。