本公開(kāi)涉及圖像處理技術(shù)領(lǐng)域，尤其涉及一種圖像復(fù)原方法及裝置。

背景技術(shù)：

當(dāng)用戶(hù)通過(guò)視頻網(wǎng)站或者視頻應(yīng)用程序觀看一些電視臺(tái)或者視頻平臺(tái)提供的電影或者電視劇時(shí)，通常會(huì)在整個(gè)視頻畫(huà)面的左上角或者右上角的臺(tái)標(biāo)打上馬賽克，由此導(dǎo)致視頻畫(huà)面中的圖像信息被模糊掉，降低了視頻質(zhì)量。

技術(shù)實(shí)現(xiàn)要素：

為克服相關(guān)技術(shù)中存在的問(wèn)題，本公開(kāi)實(shí)施例提供一種圖像復(fù)原方法及裝置，用以確保視頻圖像上不再由于馬賽克區(qū)域的存在影響用戶(hù)的視覺(jué)體驗(yàn)，提升視頻質(zhì)量。

根據(jù)本公開(kāi)實(shí)施例的第一方面，提供一種圖像復(fù)原方法，包括：

確定視頻圖像上的馬賽克區(qū)域；

將所述馬賽克區(qū)域的第一圖像內(nèi)容輸入至已訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)中，通過(guò)所述卷積神經(jīng)網(wǎng)絡(luò)的正卷積模塊對(duì)所述第一圖像內(nèi)容進(jìn)行卷積處理，得到所述第一圖像內(nèi)容的第一特征表示；

通過(guò)所述卷積神經(jīng)網(wǎng)絡(luò)中的反卷積模塊對(duì)所述第一特征表示進(jìn)行反卷積處理，得到所述馬賽克區(qū)域被馬賽克前的第二圖像內(nèi)容，所述第二圖像內(nèi)容的分辨率與所述第一圖像內(nèi)容的分辨率相同；

將所述第二圖像內(nèi)容顯示在所述馬賽克區(qū)域。

在一實(shí)施例中，所述方法還包括：

通過(guò)設(shè)定數(shù)量的馬賽克樣本對(duì)所述正卷積模塊和所述反卷積模塊各自對(duì)應(yīng)的特征參數(shù)進(jìn)行訓(xùn)練，得到所述正卷積模塊對(duì)應(yīng)的第一特征參數(shù)集合和所述反卷積模塊的第二特征參數(shù)集合；

基于訓(xùn)練得到的所述第一特征參數(shù)集合，通過(guò)所述正卷積模塊對(duì)所述設(shè)定數(shù)量的馬賽克樣本進(jìn)行卷積處理，得到第二特征表示；

基于訓(xùn)練得到的所述第二特征參數(shù)集合，通過(guò)所述反卷積模塊對(duì)所述第二特征表示進(jìn)行反卷積處理，得到所述設(shè)定數(shù)量的馬賽克樣本的重構(gòu)圖像；

確定所述設(shè)定數(shù)量的重構(gòu)圖像與所述設(shè)定數(shù)量的馬賽克樣本各自對(duì)應(yīng)的原始圖像之間的復(fù)原誤差；

當(dāng)所述復(fù)原誤差達(dá)到收斂條件時(shí)，控制所述卷積神經(jīng)網(wǎng)絡(luò)停止訓(xùn)練，得到所述已訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)。

在一實(shí)施例中，所述反卷積模塊的輸出維度與所述正卷積模塊的輸入維度相同。

在一實(shí)施例中，所述確定視頻圖像上的馬賽克區(qū)域，包括：

將視頻圖像輸入至已訓(xùn)練的分類(lèi)模型，所述分類(lèi)模型由設(shè)定數(shù)量的馬賽克樣本通過(guò)對(duì)預(yù)設(shè)分類(lèi)算法進(jìn)行訓(xùn)練得到；

基于所述已訓(xùn)練的分類(lèi)模型檢測(cè)所述視頻圖像上的馬賽克區(qū)域。

在一實(shí)施例中，所述方法還包括：

確定馬賽克區(qū)域的第一圖像內(nèi)容的分辨率與所述正卷積模塊的輸入維度是否相同；

若所述第一圖像內(nèi)容的分辨率與所述輸入維度不相同，根據(jù)所述第一圖像內(nèi)容的分辨率與所述輸入維度，對(duì)所述第一圖像內(nèi)容進(jìn)行縮放處理；

所述將所述第二圖像內(nèi)容顯示在所述馬賽克區(qū)域之前，所述方法還包括：

根據(jù)所述第一圖像內(nèi)容的分辨率與所述輸入維度，將所述第二圖像內(nèi)容縮放到與所述第一圖像內(nèi)容的未被縮放處理之前的分辨率。

根據(jù)本公開(kāi)實(shí)施例的第二方面，提供一種圖像復(fù)原裝置，包括：

第一確定模塊，被配置為確定視頻圖像上的馬賽克區(qū)域；

第一處理模塊，被配置為將所述第一確定模塊確定的所述馬賽克區(qū)域的第一圖像內(nèi)容輸入至已訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)中，通過(guò)所述卷積神經(jīng)網(wǎng)絡(luò)的正卷積模塊對(duì)所述第一圖像內(nèi)容進(jìn)行卷積處理，得到所述第一圖像內(nèi)容的第一特征表示；

第二處理模塊，被配置為通過(guò)所述卷積神經(jīng)網(wǎng)絡(luò)中的反卷積模塊對(duì)所述第一處理模塊得到的所述第一特征表示進(jìn)行反卷積處理，得到所述馬賽克區(qū)域被馬賽克前的第二圖像內(nèi)容，所述第二圖像內(nèi)容的分辨率與所述第一圖像內(nèi)容的分辨率相同；

顯示模塊，被配置為將所述第二處理模塊得到的所述第二圖像內(nèi)容顯示在所述馬賽克區(qū)域。

在一實(shí)施例中，所述裝置還可包括：

訓(xùn)練模塊，被配置為通過(guò)設(shè)定數(shù)量的馬賽克樣本對(duì)所述正卷積模塊和所述反卷積模塊各自對(duì)應(yīng)的特征參數(shù)進(jìn)行訓(xùn)練，得到所述正卷積模塊對(duì)應(yīng)的第一特征參數(shù)集合和所述反卷積模塊的第二特征參數(shù)集合；

第三處理模塊，被配置為基于所述訓(xùn)練模塊訓(xùn)練得到的所述第一特征參數(shù)集合，通過(guò)所述正卷積模塊對(duì)所述設(shè)定數(shù)量的馬賽克樣本進(jìn)行卷積處理，得到第二特征表示；

第四處理模塊，被配置為基于訓(xùn)練得到的所述第二特征參數(shù)集合，通過(guò)所述反卷積模塊對(duì)所述第三處理模塊得到的所述第二特征表示進(jìn)行反卷積處理，得到所述設(shè)定數(shù)量的馬賽克樣本的重構(gòu)圖像；

第二確定模塊，被配置為確定所述第四處理模塊得到的所述設(shè)定數(shù)量的重構(gòu)圖像與所述設(shè)定數(shù)量的馬賽克樣本各自對(duì)應(yīng)的原始圖像之間的復(fù)原誤差；

控制模塊，被配置為當(dāng)所述第二確定模塊確定的所述復(fù)原誤差達(dá)到收斂條件時(shí)，控制所述卷積神經(jīng)網(wǎng)絡(luò)停止訓(xùn)練，得到所述已訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)。

在一實(shí)施例中，所述反卷積模塊的輸出維度與所述正卷積模塊的輸入維度相同。

在一實(shí)施例中，所述第一確定模塊可包括：

輸入子模塊，被配置為將視頻圖像輸入至已訓(xùn)練的分類(lèi)模型，所述分類(lèi)模型由設(shè)定數(shù)量的馬賽克樣本通過(guò)對(duì)預(yù)設(shè)分類(lèi)算法進(jìn)行訓(xùn)練得到；

檢測(cè)子模塊，被配置為基于所述已訓(xùn)練的分類(lèi)模型檢測(cè)所述輸入子模塊輸入的所述視頻圖像上的馬賽克區(qū)域。

在一實(shí)施例中，所述裝置還可包括：

第三確定模塊，被配置為確定馬賽克區(qū)域的第一圖像內(nèi)容的分辨率與所述正卷積模塊的輸入維度是否相同；

縮放模塊，被配置為若所述第三確定模塊確定所述第一圖像內(nèi)容的分辨率與所述輸入維度不相同，根據(jù)所述第一圖像內(nèi)容的分辨率與所述輸入維度，對(duì)所述第一圖像內(nèi)容進(jìn)行縮放處理；

所述縮放模塊還被配置為根據(jù)所述第一圖像內(nèi)容的分辨率與所述輸入維度，將所述第二圖像內(nèi)容縮放到與所述第一圖像內(nèi)容的未被縮放處理之前的分辨率。

根據(jù)本公開(kāi)實(shí)施例的第三方面，提供一種圖像復(fù)原裝置，包括：

處理器；

用于存儲(chǔ)處理器可執(zhí)行指令的存儲(chǔ)器；

其中，所述處理器被配置為：

確定視頻圖像上的馬賽克區(qū)域；

將所述馬賽克區(qū)域的第一圖像內(nèi)容輸入至已訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)中，通過(guò)所述卷積神經(jīng)網(wǎng)絡(luò)的正卷積模塊對(duì)所述第一圖像內(nèi)容進(jìn)行卷積處理，得到所述第一圖像內(nèi)容的第一特征表示；

通過(guò)所述卷積神經(jīng)網(wǎng)絡(luò)中的反卷積模塊對(duì)所述第一特征表示進(jìn)行反卷積處理，得到所述馬賽克區(qū)域被馬賽克前的第二圖像內(nèi)容，所述第二圖像內(nèi)容的分辨率與所述第一圖像內(nèi)容的分辨率相同；

將所述第二圖像內(nèi)容顯示在所述馬賽克區(qū)域。

本公開(kāi)的實(shí)施例提供的技術(shù)方案可以包括以下有益效果：

通過(guò)CNN的正卷積模塊對(duì)馬賽克區(qū)域的第一圖像內(nèi)容進(jìn)行卷積處理，通過(guò)CNN的反卷積模塊對(duì)卷積后的第一圖像內(nèi)容的特征表示進(jìn)行反卷積處理，得到馬賽克區(qū)域被馬賽克前的第二圖像內(nèi)容，將第二圖像內(nèi)容顯示在馬賽克區(qū)域，從而可以使視頻圖像上能夠顯示出視頻圖像上的原始內(nèi)容，確保視頻圖像上不再由于馬賽克區(qū)域的存在影響用戶(hù)的視覺(jué)體驗(yàn)，提升了視頻質(zhì)量。

應(yīng)當(dāng)理解的是，以上的一般描述和后文的細(xì)節(jié)描述僅是示例性和解釋性的，并不能限制本公開(kāi)。

附圖說(shuō)明

此處的附圖被并入說(shuō)明書(shū)中并構(gòu)成本說(shuō)明書(shū)的一部分，示出了符合本發(fā)明的實(shí)施例，并與說(shuō)明書(shū)一起用于解釋本發(fā)明的原理。

圖1A是根據(jù)一示例性實(shí)施例示出的圖像復(fù)原方法的流程圖。

圖1B是圖1A所示實(shí)施例示出的卷積神經(jīng)網(wǎng)絡(luò)的框架圖。

圖1C是圖1A所示實(shí)施例示出的視頻圖像上的未打馬賽克的示意圖。

圖1D是圖1A所示實(shí)施例示出的視頻圖像上的馬賽克的示意圖。

圖1E是圖1A所示實(shí)施例示出的對(duì)視頻圖像進(jìn)行復(fù)原后的的示意圖。

圖2A是根據(jù)一示例性實(shí)施例示出的訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)的流程圖。

圖2B是根據(jù)一示例性實(shí)施例示出的訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)時(shí)所采用的框架圖。

圖3是根據(jù)另一示例性實(shí)施例示出的圖像復(fù)原方法的流程圖。

圖4是根據(jù)一示例性實(shí)施例示出的一種圖像復(fù)原裝置的框圖。

圖5是根據(jù)一示例性實(shí)施例示出的另一種圖像復(fù)原裝置的框圖。

圖6是根據(jù)一示例性實(shí)施例示出的一種適用于圖像復(fù)原裝置的框圖。

具體實(shí)施方式

這里將詳細(xì)地對(duì)示例性實(shí)施例進(jìn)行說(shuō)明，其示例表示在附圖中。下面的描述涉及附圖時(shí)，除非另有表示，不同附圖中的相同數(shù)字表示相同或相似的要素。以下示例性實(shí)施例中所描述的實(shí)施方式并不代表與本發(fā)明相一致的所有實(shí)施方式。相反，它們僅是與如所附權(quán)利要求書(shū)中所詳述的、本發(fā)明的一些方面相一致的裝置和方法的例子。

圖1A是根據(jù)一示例性實(shí)施例示出的圖像復(fù)原方法的流程圖，圖1B是圖1A所示實(shí)施例示出的卷積神經(jīng)網(wǎng)絡(luò)的架構(gòu)圖，圖1C是圖1A所示實(shí)施例示出的視頻圖像上的未打馬賽克的示意圖，圖1D是圖1A所示實(shí)施例示出的視頻圖像上的馬賽克的示意圖，圖1E是圖1A所示實(shí)施例示出的對(duì)視頻圖像進(jìn)行復(fù)原后的的示意圖；該圖像復(fù)原方法可以應(yīng)用在電子設(shè)備(例如：智能手機(jī)、平板電腦)上，可以通過(guò)在電子設(shè)備上安裝視頻應(yīng)用的方式實(shí)現(xiàn)，如圖1A所示，該圖像復(fù)原方法包括以下步驟S101-S104：

在步驟S101中，確定視頻圖像上的馬賽克區(qū)域。

在一實(shí)施例中，可以通過(guò)對(duì)視頻圖像上的臺(tái)標(biāo)所在的區(qū)域進(jìn)行粗檢測(cè)，定位出馬賽克所在的大致區(qū)域，例如，馬賽克通常會(huì)在視屏圖像的左上方或者右上方，在檢測(cè)出大致區(qū)域后，再根據(jù)馬賽克自身的對(duì)比度、清晰度等特征，識(shí)別出馬賽克區(qū)域。在另一實(shí)施例中，可以采用模式識(shí)別的方法，通過(guò)已訓(xùn)練的分類(lèi)模型對(duì)馬賽克區(qū)域進(jìn)行識(shí)別。

在步驟S102中，將馬賽克區(qū)域的第一圖像內(nèi)容輸入至已訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)中，通過(guò)卷積神經(jīng)網(wǎng)絡(luò)的正卷積模塊對(duì)第一圖像內(nèi)容進(jìn)行卷積處理，得到第一圖像內(nèi)容的第一特征表示。

在一實(shí)施例中，如圖1B所示，第一圖像內(nèi)容輸出到CNN10中的正卷積模塊11，通過(guò)正卷積模塊11的卷積處理，得到第一圖像內(nèi)容的特征表示。本領(lǐng)域技術(shù)人員可以理解的是，正卷積模塊11可包含CNN中的多個(gè)卷積層以及多個(gè)子采樣層，每個(gè)卷積層以及每個(gè)子采樣層的參數(shù)均為CNN10被訓(xùn)練的，并且經(jīng)過(guò)正卷積模塊11卷積處理得到的第一特征表示能夠準(zhǔn)確表示第一圖像內(nèi)容，關(guān)于CNN中的多個(gè)卷積層以及多個(gè)子采樣層的具體結(jié)構(gòu)可參見(jiàn)相關(guān)技術(shù)的描述，本公開(kāi)在此不做詳述。

在步驟S103中，通過(guò)卷積神經(jīng)網(wǎng)絡(luò)中的反卷積模塊對(duì)第一特征表示進(jìn)行反卷積處理，得到馬賽克區(qū)域被馬賽克前的第二圖像內(nèi)容，第二圖像內(nèi)容的分辨率與第一圖像內(nèi)容的分辨率相同。

在一實(shí)施例中，如圖1B所示，可以將第一圖像內(nèi)容的特征表示輸入到反卷積模塊12，通過(guò)反卷積模塊12的反卷積處理，復(fù)原馬賽克區(qū)域被馬賽克前的第二圖像內(nèi)容。本領(lǐng)域技術(shù)人員可以理解的是，反卷積模塊12可包含多個(gè)反卷積層以及多個(gè)上采樣層，上采樣層用于對(duì)反卷積處理的特征表示進(jìn)行上采樣重建，以確保反卷積模塊12輸出的第二圖像內(nèi)容的分辨率與第一圖像內(nèi)容的分辨率相同。

在步驟S104中，將第二圖像內(nèi)容顯示在馬賽克區(qū)域。

在一示例性場(chǎng)景中，圖1C所示的視頻圖像具有平臺(tái)臺(tái)標(biāo)“56我樂(lè)”，位于整個(gè)視頻圖像的右上方。在視頻播放過(guò)程中，每一幀的視頻圖像中的臺(tái)標(biāo)被打上馬賽克，若馬賽克區(qū)域具有重要的圖像內(nèi)容，會(huì)影響到用戶(hù)觀看視頻圖像的體驗(yàn)，通過(guò)本公開(kāi)實(shí)施例，可以將馬賽克區(qū)域復(fù)原出不包含有臺(tái)標(biāo)的圖像內(nèi)容，從而可以能夠確保視頻圖像的完整性。作為示例，圖1C中的視頻圖像的分辨率為1400*1000，通過(guò)步驟S101識(shí)別出的圖1C中的馬賽克區(qū)域的大小為200*200，此時(shí)可以將馬賽克區(qū)域的200*200的第一圖像內(nèi)容輸入至已訓(xùn)練的CNN10，通過(guò)CNN10中的正卷積模塊11對(duì)第一圖像內(nèi)容進(jìn)行卷積處理，得到第一圖像內(nèi)容的第一特征表示，將第一特征表示通過(guò)反卷積模塊12進(jìn)行反卷積，輸出第二圖像內(nèi)容，第二圖像內(nèi)容的分辨率為200*200，通過(guò)將第二圖像內(nèi)容顯示在馬賽克區(qū)域，實(shí)現(xiàn)對(duì)視頻圖像的馬賽克區(qū)域的圖像復(fù)原，從而可以使用戶(hù)能夠觀看到?jīng)]有馬賽克的正常圖像，提升視屏質(zhì)量。

本實(shí)施例中，通過(guò)CNN的正卷積模塊對(duì)馬賽克區(qū)域的第一圖像內(nèi)容進(jìn)行卷積處理，通過(guò)CNN的反卷積模塊對(duì)卷積后的第一圖像內(nèi)容的第一特征表示進(jìn)行反卷積處理，得到馬賽克區(qū)域被馬賽克前的第二圖像內(nèi)容，將第二圖像內(nèi)容顯示在馬賽克區(qū)域，從而可以使視頻圖像上能夠顯示出視頻圖像上的原始內(nèi)容，確保視頻圖像上不再由于馬賽克區(qū)域的存在影響用戶(hù)的視覺(jué)體驗(yàn)，提升了視頻質(zhì)量。

在一實(shí)施例中，方法還包括：

通過(guò)設(shè)定數(shù)量的馬賽克樣本對(duì)正卷積模塊和反卷積模塊各自對(duì)應(yīng)的特征參數(shù)進(jìn)行訓(xùn)練，得到正卷積模塊對(duì)應(yīng)的第一特征參數(shù)集合和反卷積模塊的第二特征參數(shù)集合；

基于訓(xùn)練得到的第一特征參數(shù)集合，通過(guò)正卷積模塊對(duì)設(shè)定數(shù)量的馬賽克樣本進(jìn)行卷積處理，得到第二特征表示；

基于訓(xùn)練得到的第二特征參數(shù)集合，通過(guò)反卷積模塊對(duì)第二特征表示進(jìn)行反卷積處理，得到設(shè)定數(shù)量的馬賽克樣本的重構(gòu)圖像；

確定設(shè)定數(shù)量的重構(gòu)圖像與設(shè)定數(shù)量的馬賽克樣本各自對(duì)應(yīng)的原始圖像之間的復(fù)原誤差；

當(dāng)復(fù)原誤差達(dá)到收斂條件時(shí)，控制卷積神經(jīng)網(wǎng)絡(luò)停止訓(xùn)練，得到已訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)。

在一實(shí)施例中，反卷積模塊的輸出維度與正卷積模塊的輸入維度相同。

在一實(shí)施例中，確定視頻圖像上的馬賽克區(qū)域，包括：

將視頻圖像輸入至已訓(xùn)練的分類(lèi)模型，分類(lèi)模型由設(shè)定數(shù)量的馬賽克樣本通過(guò)對(duì)預(yù)設(shè)分類(lèi)算法進(jìn)行訓(xùn)練得到；

基于已訓(xùn)練的分類(lèi)模型檢測(cè)視頻圖像上的馬賽克區(qū)域。

在一實(shí)施例中，方法還包括：

確定馬賽克區(qū)域的第一圖像內(nèi)容的分辨率與正卷積模塊的輸入維度是否相同；

若第一圖像內(nèi)容的分辨率與輸入維度不相同，根據(jù)第一圖像內(nèi)容的分辨率與輸入維度，對(duì)第一圖像內(nèi)容進(jìn)行縮放處理。

至此，本公開(kāi)實(shí)施例提供的上述方法，可以使視頻圖像上能夠顯示出視頻圖像上的原始內(nèi)容，確保視頻圖像上不再由于馬賽克區(qū)域的存在影響用戶(hù)的視覺(jué)體驗(yàn)，提升視頻質(zhì)量。

下面以具體實(shí)施例來(lái)說(shuō)明本公開(kāi)實(shí)施例提供的技術(shù)方案。

圖2A是根據(jù)一示例性實(shí)施例示出的訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)的流程圖，圖2B是根據(jù)一示例性實(shí)施例示出的訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)時(shí)所采用的框架圖；本實(shí)施例利用本公開(kāi)實(shí)施例提供的上述方法，以如何訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)為例進(jìn)行示例性說(shuō)明，如圖2A所示，包括如下步驟：

在步驟S201中，通過(guò)設(shè)定數(shù)量的馬賽克樣本對(duì)正卷積模塊和反卷積模塊各自對(duì)應(yīng)的特征參數(shù)進(jìn)行訓(xùn)練，得到正卷積模塊對(duì)應(yīng)的第一特征參數(shù)集合和反卷積模塊的第二特征參數(shù)集合。

在一實(shí)施例中，該馬賽克樣本為電視臺(tái)或者網(wǎng)絡(luò)平臺(tái)的臺(tái)標(biāo)被馬賽克后得到的圖片樣本。在一實(shí)施例中，可以對(duì)CNN進(jìn)行批量訓(xùn)練，每次參與訓(xùn)練的馬賽克樣本的設(shè)定數(shù)量的具體個(gè)數(shù)不做限制，例如，設(shè)定數(shù)量為128、64，等等。在一實(shí)施例中，第一特征參數(shù)集合中的特征參數(shù)為正卷積模塊11中的各卷積層以及子采樣層是中的權(quán)重參數(shù)，第二特征參數(shù)集合中的特征參數(shù)為反卷積模塊12中的各反卷積層以及上采樣層中的權(quán)重參數(shù)，第一特征參數(shù)集合和第二特征參數(shù)集合中所包含的參數(shù)的數(shù)量可根據(jù)各卷積層以及子采樣層、各反卷積層以及上采樣層中的神經(jīng)元的數(shù)量來(lái)確定，本公開(kāi)對(duì)參數(shù)的具體數(shù)量不做限制。

在步驟S202中，基于訓(xùn)練得到的第一特征參數(shù)集合，通過(guò)正卷積模塊對(duì)設(shè)定數(shù)量的馬賽克樣本進(jìn)行卷積處理，得到第二特征表示。

在步驟S203中，基于訓(xùn)練得到的第二特征參數(shù)集合，通過(guò)反卷積模塊對(duì)第二特征表示進(jìn)行反卷積處理，得到設(shè)定數(shù)量的馬賽克樣本的重構(gòu)圖像。

正卷積模塊對(duì)設(shè)定數(shù)量的馬賽克樣本進(jìn)行卷積處理以及反卷積模塊對(duì)第二特征表示進(jìn)行反卷積處理的描述可以參見(jiàn)上述圖1A所示實(shí)施例的描述，在此不再詳述。

在步驟S204中，確定設(shè)定數(shù)量的重構(gòu)圖像與設(shè)定數(shù)量的馬賽克樣本各自對(duì)應(yīng)的原始圖像之間的復(fù)原誤差，當(dāng)復(fù)原誤差達(dá)到收斂條件時(shí)，執(zhí)行步驟S205，當(dāng)復(fù)原誤差未達(dá)到收斂條件時(shí)，執(zhí)行步驟S201對(duì)CNN繼續(xù)訓(xùn)練。

在一實(shí)施例中，可以通過(guò)CNN10的損失函數(shù)計(jì)算重構(gòu)圖像預(yù)原始圖像之間的復(fù)原誤差，CNN10的損失函數(shù)的具體公式可以參見(jiàn)相關(guān)技術(shù)的描述，在此不再詳述。

在步驟S205中，當(dāng)復(fù)原誤差達(dá)到收斂條件時(shí)，控制卷積神經(jīng)網(wǎng)絡(luò)停止訓(xùn)練，得到已訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)。

在一示例性場(chǎng)景中，以設(shè)定數(shù)量為128為例進(jìn)行示例性說(shuō)明，128張馬賽克樣本對(duì)應(yīng)128張未包含電視臺(tái)或者網(wǎng)絡(luò)平臺(tái)的臺(tái)標(biāo)的原始圖像，當(dāng)將128張馬賽克樣本輸入到CNN10后，該128張馬賽克樣本可以對(duì)正卷積模塊11和反卷積模塊12各自對(duì)應(yīng)的特征參數(shù)進(jìn)行訓(xùn)練，得到正卷積模塊11對(duì)應(yīng)的第一特征參數(shù)集合和反卷積模塊12的第二特征參數(shù)集合。之后，通過(guò)正卷積模塊11的第一特征參數(shù)集合和反卷積模塊12的第二特征參數(shù)集合對(duì)128張馬賽克樣本進(jìn)行卷積以及反卷積，得到該128張馬賽克樣本各自對(duì)應(yīng)的復(fù)原圖像，通過(guò)復(fù)原誤差計(jì)算模塊13計(jì)算該128張馬賽克樣本各自對(duì)應(yīng)的復(fù)原圖像與對(duì)應(yīng)的原始圖像的復(fù)原誤差，當(dāng)復(fù)原誤差達(dá)到收斂條件時(shí)，控制CNN10停止訓(xùn)練，得到已訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)。

本實(shí)施例中，通過(guò)對(duì)CNN進(jìn)行訓(xùn)練，使CNN具有了正向卷積以及反向卷積的功能，當(dāng)復(fù)原誤差達(dá)到收斂條件時(shí)，可以使訓(xùn)練后的CNN能夠準(zhǔn)確復(fù)原出馬賽克區(qū)域的原始圖像，確保視頻圖像的完整性。

圖3是根據(jù)另一示例性實(shí)施例示出的圖像復(fù)原方法的流程圖；本實(shí)施例利用本公開(kāi)實(shí)施例提供的上述方法，以如何確定視頻圖像上的馬賽克區(qū)域并對(duì)馬賽克區(qū)域的第一圖像內(nèi)容進(jìn)行預(yù)處理為例進(jìn)行示例性說(shuō)明，如圖3所示，包括如下步驟：

在步驟S301中，將視頻圖像輸入至已訓(xùn)練的分類(lèi)模型，分類(lèi)模型由設(shè)定數(shù)量的馬賽克樣本通過(guò)對(duì)預(yù)設(shè)分類(lèi)算法進(jìn)行訓(xùn)練得到。

在一實(shí)施例中，預(yù)設(shè)分類(lèi)算法可以為adaboost、支持向量機(jī)(Support Vector Machine，簡(jiǎn)稱(chēng)為SVM)、CNN等，通過(guò)馬賽克樣本以及非馬賽克樣本對(duì)預(yù)設(shè)分類(lèi)算法進(jìn)行訓(xùn)練，得到用于檢測(cè)馬賽克區(qū)域的分類(lèi)模型。

在步驟S302中，基于已訓(xùn)練的分類(lèi)模型檢測(cè)視頻圖像上的馬賽克區(qū)域。

在一實(shí)施例中，馬賽克區(qū)域可以包括馬賽克區(qū)域的中心位置以及馬賽克區(qū)域的第一圖像內(nèi)容的分辨率。

在步驟S303中，確定馬賽克區(qū)域的第一圖像內(nèi)容的分辨率與卷積神經(jīng)網(wǎng)絡(luò)的輸入維度是否相同。

在步驟S304中，若第一圖像內(nèi)容的分辨率與輸入維度不相同，根據(jù)第一圖像內(nèi)容的分辨率與輸入維度，對(duì)第一圖像內(nèi)容進(jìn)行縮放處理。

在步驟S305中，在復(fù)原到第二圖像內(nèi)容后，根據(jù)第一圖像內(nèi)容的分辨率與輸入維度，將第二圖像內(nèi)容縮放到與第一圖像內(nèi)容的未被縮放處理之前的分辨率。

例如，通過(guò)上述步驟S302確定第一圖像內(nèi)容的分辨率為200*200，CNN10的輸入維度為100*100，則可以將第一圖像內(nèi)容進(jìn)行1/4的縮小處理，從而可以通過(guò)上述圖1A所示實(shí)施例的描述對(duì)第一圖像內(nèi)容進(jìn)行復(fù)原，在通過(guò)上述圖1A所示實(shí)施例復(fù)原出第二圖像內(nèi)容后，第二圖像內(nèi)容的分辨率為100*100，因此需要將第二圖像內(nèi)容進(jìn)行2*2倍放大，從而將100*100大小的第二圖像內(nèi)容放大至與第一圖像內(nèi)容的未被縮放處理之前的分辨率，即200*200。

本實(shí)施例中，通過(guò)已訓(xùn)練的分類(lèi)模型對(duì)視頻圖像中的馬賽克區(qū)域進(jìn)行識(shí)別，可以提高馬賽克區(qū)域檢測(cè)的效率；通過(guò)對(duì)馬賽克區(qū)域進(jìn)行縮放處理，可以確保任意大小的馬賽克區(qū)域就可通過(guò)CNN進(jìn)行圖像復(fù)原。

圖4是根據(jù)一示例性實(shí)施例示出的一種圖像復(fù)原裝置的框圖，如圖4所示，圖像復(fù)原裝置包括：

第一確定模塊41，被配置為確定視頻圖像上的馬賽克區(qū)域；

第一處理模塊42，被配置為將第一確定模塊41確定的馬賽克區(qū)域的第一圖像內(nèi)容輸入至已訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)中，通過(guò)卷積神經(jīng)網(wǎng)絡(luò)的正卷積模塊對(duì)第一圖像內(nèi)容進(jìn)行卷積處理，得到第一圖像內(nèi)容的第一特征表示；

第二處理模塊43，被配置為通過(guò)卷積神經(jīng)網(wǎng)絡(luò)中的反卷積模塊42對(duì)第一處理模塊得到的第一特征表示進(jìn)行反卷積處理，得到馬賽克區(qū)域被馬賽克前的第二圖像內(nèi)容，第二圖像內(nèi)容的分辨率與第一圖像內(nèi)容的分辨率相同；

顯示模塊44，被配置為將第二處理模塊43得到的第二圖像內(nèi)容顯示在馬賽克區(qū)域。

圖5是根據(jù)一示例性實(shí)施例示出的另一種圖像復(fù)原裝置的框圖，如圖5所示，在上述圖4所示實(shí)施例的基礎(chǔ)上，在一實(shí)施例中，裝置還可包括：

訓(xùn)練模塊45，被配置為通過(guò)設(shè)定數(shù)量的馬賽克樣本對(duì)正卷積模塊和反卷積模塊各自對(duì)應(yīng)的特征參數(shù)進(jìn)行訓(xùn)練，得到正卷積模塊對(duì)應(yīng)的第一特征參數(shù)集合和反卷積模塊的第二特征參數(shù)集合；

第三處理模塊46，被配置為基于訓(xùn)練模塊45訓(xùn)練得到的第一特征參數(shù)集合，通過(guò)正卷積模塊對(duì)設(shè)定數(shù)量的馬賽克樣本進(jìn)行卷積處理，得到第二特征表示；

第四處理模塊47，被配置為基于訓(xùn)練得到的第二特征參數(shù)集合，通過(guò)反卷積模塊對(duì)第三處理模塊46得到的第二特征表示進(jìn)行反卷積處理，得到設(shè)定數(shù)量的馬賽克樣本的重構(gòu)圖像；

第二確定模塊48，被配置為確定第四處理模塊47得到的設(shè)定數(shù)量的重構(gòu)圖像與設(shè)定數(shù)量的馬賽克樣本各自對(duì)應(yīng)的原始圖像之間的復(fù)原誤差；

控制模塊49，被配置為當(dāng)?shù)诙_定模塊確定的復(fù)原誤差達(dá)到收斂條件時(shí)，控制卷積神經(jīng)網(wǎng)絡(luò)停止訓(xùn)練，得到已訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)。

在一實(shí)施例中，反卷積模塊的輸出維度與正卷積模塊的輸入維度相同。

在一實(shí)施例中，第一確定模塊41可包括：

輸入子模塊411，被配置為將視頻圖像輸入至已訓(xùn)練的分類(lèi)模型，分類(lèi)模型由設(shè)定數(shù)量的馬賽克樣本通過(guò)對(duì)預(yù)設(shè)分類(lèi)算法進(jìn)行訓(xùn)練得到；

檢測(cè)子模塊412，被配置為基于已訓(xùn)練的分類(lèi)模型檢測(cè)輸入子模塊411輸入的視頻圖像上的馬賽克區(qū)域。

在一實(shí)施例中，裝置還可包括：

第三確定模塊50，被配置為確定第一確定模塊41確定的馬賽克區(qū)域的第一圖像內(nèi)容的分辨率與正卷積模塊的輸入維度是否相同；

縮放模塊51，被配置為若第三確定模塊50確定第一圖像內(nèi)容的分辨率與輸入維度不相同，根據(jù)第一圖像內(nèi)容的分辨率與輸入維度，對(duì)第一圖像內(nèi)容進(jìn)行縮放處理。

縮放模塊51還被配置為在顯示模塊44將第二圖像內(nèi)容顯示在馬賽克區(qū)域之前，根據(jù)第一圖像內(nèi)容的分辨率與輸入維度，將第二圖像內(nèi)容縮放到與第一圖像內(nèi)容的未被縮放處理之前的分辨率。

關(guān)于上述實(shí)施例中的裝置，其中各個(gè)模塊執(zhí)行操作的具體方式已經(jīng)在有關(guān)該方法的實(shí)施例中進(jìn)行了詳細(xì)描述，此處將不做詳細(xì)闡述說(shuō)明。

圖6是根據(jù)一示例性實(shí)施例示出的一種適用于圖像復(fù)原裝置的框圖。例如，裝置600可以是移動(dòng)電話(huà)，計(jì)算機(jī)，數(shù)字廣播終端，消息收發(fā)設(shè)備，游戲控制臺(tái)，平板設(shè)備，醫(yī)療設(shè)備，健身設(shè)備，個(gè)人數(shù)字助理等。

參照?qǐng)D6，裝置600可以包括以下一個(gè)或多個(gè)組件：處理組件602，存儲(chǔ)器604，電源組件606，多媒體組件608，音頻組件610，輸入/輸出(I/O)的接口612，傳感器組件614，以及通信組件616。

處理組件602通?？刂蒲b置600的整體操作，諸如與顯示，電話(huà)呼叫，數(shù)據(jù)通信，相機(jī)操作和記錄操作相關(guān)聯(lián)的操作。處理元件602可以包括一個(gè)或多個(gè)處理器620來(lái)執(zhí)行指令，以完成上述的方法的全部或部分步驟。此外，處理組件602可以包括一個(gè)或多個(gè)模塊，便于處理組件602和其他組件之間的交互。例如，處理部件602可以包括多媒體模塊，以方便多媒體組件608和處理組件602之間的交互。

存儲(chǔ)器604被配置為存儲(chǔ)各種類(lèi)型的數(shù)據(jù)以支持在設(shè)備600的操作。這些數(shù)據(jù)的示例包括用于在裝置600上操作的任何應(yīng)用程序或方法的指令，聯(lián)系人數(shù)據(jù)，電話(huà)簿數(shù)據(jù)，消息，圖片，視頻等。存儲(chǔ)器604可以由任何類(lèi)型的易失性或非易失性存儲(chǔ)設(shè)備或者它們的組合實(shí)現(xiàn)，如靜態(tài)隨機(jī)存取存儲(chǔ)器(SRAM)，電可擦除可編程只讀存儲(chǔ)器(EEPROM)，可擦除可編程只讀存儲(chǔ)器(EPROM)，可編程只讀存儲(chǔ)器(PROM)，只讀存儲(chǔ)器(ROM)，磁存儲(chǔ)器，快閃存儲(chǔ)器，磁盤(pán)或光盤(pán)。

電力組件606為裝置600的各種組件提供電力。電力組件606可以包括電源管理系統(tǒng)，一個(gè)或多個(gè)電源，及其他與為裝置600生成、管理和分配電力相關(guān)聯(lián)的組件。

多媒體組件608包括在所述裝置600和用戶(hù)之間的提供一個(gè)輸出接口的屏幕。在一些實(shí)施例中，屏幕可以包括液晶顯示器(LCD)和觸摸面板(TP)。如果屏幕包括觸摸面板，屏幕可以被實(shí)現(xiàn)為觸摸屏，以接收來(lái)自用戶(hù)的輸入信號(hào)。觸摸面板包括一個(gè)或多個(gè)觸摸傳感器以感測(cè)觸摸、滑動(dòng)和觸摸面板上的手勢(shì)。所述觸摸傳感器可以不僅感測(cè)觸摸或滑動(dòng)動(dòng)作的邊界，而且還檢測(cè)與所述觸摸或滑動(dòng)操作相關(guān)的持續(xù)時(shí)間和壓力。在一些實(shí)施例中，多媒體組件608包括一個(gè)前置攝像頭和/或后置攝像頭。當(dāng)設(shè)備600處于操作模式，如拍攝模式或視頻模式時(shí)，前置攝像頭和/或后置攝像頭可以接收外部的多媒體數(shù)據(jù)。每個(gè)前置攝像頭和后置攝像頭可以是一個(gè)固定的光學(xué)透鏡系統(tǒng)或具有焦距和光學(xué)變焦能力。

音頻組件610被配置為輸出和/或輸入音頻信號(hào)。例如，音頻組件610包括一個(gè)麥克風(fēng)(MIC)，當(dāng)裝置600處于操作模式，如呼叫模式、記錄模式和語(yǔ)音識(shí)別模式時(shí)，麥克風(fēng)被配置為接收外部音頻信號(hào)。所接收的音頻信號(hào)可以被進(jìn)一步存儲(chǔ)在存儲(chǔ)器604或經(jīng)由通信組件616發(fā)送。在一些實(shí)施例中，音頻組件610還包括一個(gè)揚(yáng)聲器，用于輸出音頻信號(hào)。

I/O接口612為處理組件602和外圍接口模塊之間提供接口，上述外圍接口模塊可以是鍵盤(pán)，點(diǎn)擊輪，按鈕等。這些按鈕可包括但不限于：主頁(yè)按鈕、音量按鈕、啟動(dòng)按鈕和鎖定按鈕。

傳感器組件614包括一個(gè)或多個(gè)傳感器，用于為裝置600提供各個(gè)方面的狀態(tài)評(píng)估。例如，傳感器組件614可以檢測(cè)到設(shè)備600的打開(kāi)/關(guān)閉狀態(tài)，組件的相對(duì)定位，例如所述組件為裝置600的顯示器和小鍵盤(pán)，傳感器組件614還可以檢測(cè)裝置600或裝置600一個(gè)組件的位置改變，用戶(hù)與裝置600接觸的存在或不存在，裝置600方位或加速/減速和裝置600的溫度變化。傳感器組件614可以包括接近傳感器，被配置用來(lái)在沒(méi)有任何的物理接觸時(shí)檢測(cè)附近物體的存在。傳感器組件614還可以包括光傳感器，如CMOS或CCD圖像傳感器，用于在成像應(yīng)用中使用。在一些實(shí)施例中，該傳感器組件614還可以包括加速度傳感器，陀螺儀傳感器，磁傳感器，壓力傳感器或溫度傳感器。

通信組件616被配置為便于裝置600和其他設(shè)備之間有線(xiàn)或無(wú)線(xiàn)方式的通信。裝置600可以接入基于通信標(biāo)準(zhǔn)的無(wú)線(xiàn)網(wǎng)絡(luò)，如WiFi，2G或3G，或它們的組合。在一個(gè)示例性實(shí)施例中，通信部件616經(jīng)由廣播信道接收來(lái)自外部廣播管理系統(tǒng)的廣播信號(hào)或廣播相關(guān)信息。在一個(gè)示例性實(shí)施例中，所述通信部件616還包括近場(chǎng)通信(NFC)模塊，以促進(jìn)短程通信。例如，在NFC模塊可基于射頻識(shí)別(RFID)技術(shù)，紅外數(shù)據(jù)協(xié)會(huì)(IrDA)技術(shù)，超寬帶(UWB)技術(shù)，藍(lán)牙(BT)技術(shù)和其他技術(shù)來(lái)實(shí)現(xiàn)。

在示例性實(shí)施例中，裝置600可以被一個(gè)或多個(gè)應(yīng)用專(zhuān)用集成電路(ASIC)、數(shù)字信號(hào)處理器(DSP)、數(shù)字信號(hào)處理設(shè)備(DSPD)、可編程邏輯器件(PLD)、現(xiàn)場(chǎng)可編程門(mén)陣列(FPGA)、控制器、微控制器、微處理器或其他電子元件實(shí)現(xiàn)，用于執(zhí)行上述方法。

在示例性實(shí)施例中，還提供了一種包括指令的非臨時(shí)性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，例如包括指令的存儲(chǔ)器604，上述指令可由裝置600的處理器620執(zhí)行以完成上述方法。例如，所述非臨時(shí)性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)可以是ROM、隨機(jī)存取存儲(chǔ)器(RAM)、CD-ROM、磁帶、軟盤(pán)和光數(shù)據(jù)存儲(chǔ)設(shè)備等。

本領(lǐng)域技術(shù)人員在考慮說(shuō)明書(shū)及實(shí)踐這里公開(kāi)的公開(kāi)后，將容易想到本公開(kāi)的其它實(shí)施方案。本申請(qǐng)旨在涵蓋本公開(kāi)的任何變型、用途或者適應(yīng)性變化，這些變型、用途或者適應(yīng)性變化遵循本公開(kāi)的一般性原理并包括本公開(kāi)未公開(kāi)的本技術(shù)領(lǐng)域中的公知常識(shí)或慣用技術(shù)手段。說(shuō)明書(shū)和實(shí)施例僅被視為示例性的，本公開(kāi)的真正范圍和精神由下面的權(quán)利要求指出。

應(yīng)當(dāng)理解的是，本公開(kāi)并不局限于上面已經(jīng)描述并在附圖中示出的精確結(jié)構(gòu)，并且可以在不脫離其范圍進(jìn)行各種修改和改變。本公開(kāi)的范圍僅由所附的權(quán)利要求來(lái)限制。