本發(fā)明涉及圖像處理，具體地講，涉及一種基于水印圖像差值的主動(dòng)deepfake檢測(cè)方法。

背景技術(shù)：

1、隨著虛假信息在媒體上的傳播愈加泛濫，如今，數(shù)字內(nèi)容的可信度可能因制造虛假事實(shí)的簡(jiǎn)便性而受到削弱。信息在傳達(dá)給潛在用戶之前，可能會(huì)經(jīng)過多次修改。人工智能的最新進(jìn)展，尤其是在圖像和視頻處理領(lǐng)域，使得更改信息內(nèi)容的可能性越來越大，因?yàn)槊襟w內(nèi)容可能會(huì)受到各種類型的操縱。隨著圖像合成技術(shù)的快速發(fā)展，如gan，diffusion，ai生成的圖像已經(jīng)達(dá)到了很高的水平，使它們幾乎無法與人類觀察者的真實(shí)圖像區(qū)分開來。在各種可能的媒體操縱方法中，deepfake是一種最近出現(xiàn)的技術(shù)，能夠生成合成的人類圖像。

2、當(dāng)前的deepfake檢測(cè)技術(shù)主要依賴于被動(dòng)地捕捉偽造過程中留下的痕跡，這些痕跡針對(duì)不同的偽造方式位置會(huì)有所區(qū)別，因此在面對(duì)跨域檢測(cè)時(shí)效果會(huì)不盡人意。為了解決這一問題，從主動(dòng)檢測(cè)的角度來充分發(fā)掘這些偽造痕跡，通過水印區(qū)域的變化來進(jìn)行deepfake檢測(cè)?，F(xiàn)有的deepfake檢測(cè)方法主要面臨的是泛化性不足與魯棒性問題，在面對(duì)未知的偽造方法或者說是跨域檢測(cè)時(shí)，這些方法的性能會(huì)顯著下降，其具體原因?yàn)槟Ｐ蛯?duì)于偽造痕跡捕捉不夠準(zhǔn)確從而進(jìn)行了誤判。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明要解決的技術(shù)問題是提供一種基于水印圖像差值的主動(dòng)deepfake檢測(cè)方法，利用四元數(shù)極諧傅里葉矩（qpfhm）作為水印嵌入的工具，并且利用嵌入的水印圖像與原始圖像差值作為deepfake檢測(cè)的主要依據(jù)。

2、本發(fā)明采用如下技術(shù)方案實(shí)現(xiàn)發(fā)明目的：

3、一種基于水印圖像差值的主動(dòng)deepfake檢測(cè)方法，其特征在于，包括以下步驟：

4、s1：構(gòu)造兩階段的主動(dòng)deepfake檢測(cè)框架，包括訓(xùn)練水印攻擊網(wǎng)絡(luò)階段與deepfake檢測(cè)；

5、s2：訓(xùn)練水印攻擊網(wǎng)絡(luò)階段；

6、s21：利用四元數(shù)極諧傅里葉矩作為水印嵌入的工具，來嵌入水印信息并且利用水印攻擊網(wǎng)絡(luò)來移除水印；

7、s22：為了保證水印攻擊網(wǎng)絡(luò)能準(zhǔn)確的移除四元數(shù)極諧傅里葉矩水印，采用三個(gè)損失：mse損失、局部損失及感知損失進(jìn)行優(yōu)化；

8、s3：deepfake檢測(cè)階段；利用訓(xùn)練水印攻擊網(wǎng)絡(luò)階段訓(xùn)練的水印攻擊網(wǎng)絡(luò)進(jìn)行水印攻擊，使輸入的含水印圖像能夠去除其中的水印信息，因此便得到含水印圖像與去除水印圖像的差值，再通過一個(gè)xception?分類器網(wǎng)絡(luò)進(jìn)行差值的偽造痕跡的真?zhèn)畏诸悺?/p>

9、作為本技術(shù)方案的進(jìn)一步限定，所述s21的具體流程為：

10、s211：對(duì)于極坐標(biāo)系下的彩色圖像，四元數(shù)極諧傅里葉矩表示為：

11、（1）

12、其中：為極坐標(biāo)的徑向距離；

13、為極坐標(biāo)角度；

14、為單位純四元數(shù)；

15、為階數(shù)；

16、為重復(fù)度；

17、表示徑向基函數(shù)：

18、（2）

19、s212：在由式（2）計(jì)算出彩色圖像的四元數(shù)極諧傅里葉矩后，利用有限個(gè)四元數(shù)極諧傅里葉矩來近似重構(gòu)，在極坐標(biāo)系下利用有限個(gè)四元數(shù)極諧傅里葉矩近似重構(gòu)彩色圖像函數(shù)的表達(dá)式寫為：

20、（3）

21、s213：嵌入流程；

22、首先將原始彩色人臉圖像轉(zhuǎn)換到極坐標(biāo)系上，并將其表示為；

23、然后根據(jù)正交矩定義及四元數(shù)理論，計(jì)算出的高階四元數(shù)正交矩，其中和分別表示階數(shù)和重復(fù)度；

24、從中篩選出魯棒的四元數(shù)正交矩集合；

25、選擇的水印為長(zhǎng)度的二值隨機(jī)序列，根據(jù)密鑰和水印序列調(diào)整矩幅值得到含水印的矩集合；

26、分別將和通過式（3）進(jìn)行重構(gòu)得到圖像和，最后得到含水印的圖像；

27、s214：將含水印圖像與原始圖像輸入到水印攻擊網(wǎng)絡(luò)中，水印攻擊網(wǎng)絡(luò)采用的unet網(wǎng)絡(luò)，移除水印，輸出圖像。

28、作為本技術(shù)方案的進(jìn)一步限定，unet網(wǎng)絡(luò)為對(duì)稱的u形結(jié)構(gòu)，由編碼器和解碼器兩部分組成，編碼器逐步提取圖像特征，并通過下采樣減少空間維度；解碼器逐步恢復(fù)空間維度，并通過上采樣重建圖像，同時(shí)結(jié)合編碼器的特征信息通過殘差的方式相連接。

29、作為本技術(shù)方案的進(jìn)一步限定，所述s22的具體流程為：

30、s221：mse損失；mse損失函數(shù)是圖像恢復(fù)任務(wù)中最常用的逐像素?fù)p失函數(shù)之一，從水印攻擊網(wǎng)絡(luò)中得到的輸出為圖像，將mse損失表示為：

31、（4）

32、s222：局部損失；根據(jù)四元數(shù)極諧傅里葉矩的原理，最終嵌入水印的位置總是在圖像的最大內(nèi)切圓之內(nèi)，設(shè)計(jì)一個(gè)新穎的局部損失函數(shù)：

33、（5）

34、其中：表示輸入張量在圖像坐標(biāo)處的索引值；

35、表示輸入張量在圖像坐標(biāo)處的索引值；

36、表示在輸入張量中定義的最大內(nèi)嵌圓區(qū)域的索引集合；

37、具體來說，對(duì)于每個(gè)批次中的圖像，包含所有滿足以下條件的索引：

38、，是以圖像中心為原點(diǎn)的坐標(biāo)， h和 w分別是圖像的高度和寬度；

39、 n m是掩碼區(qū)域內(nèi)的像素總數(shù)，即中元素的數(shù)量；

40、s223：感知損失：因此，利用一個(gè)預(yù)訓(xùn)練的?vgg16模型來提取關(guān)鍵的特征圖，感知損失網(wǎng)絡(luò)計(jì)算的是在選定的網(wǎng)絡(luò)層上，原始圖像與水印攻擊網(wǎng)絡(luò)輸出的圖像之間的歐氏距離，具體的損失函數(shù)定義如下：

41、（6）

42、其中：是?vgg16網(wǎng)絡(luò)中第層的特稱圖輸出；

43、、及分別為第層特征圖的通道、高度及寬度；

44、s224：水印攻擊網(wǎng)絡(luò)的總損失表示為：

45、?（7）

46、其中：與為控制損失函數(shù)權(quán)重的超參數(shù)。

47、作為本技術(shù)方案的進(jìn)一步限定，所述s3的具體流程為：

48、固定好在訓(xùn)練水印攻擊網(wǎng)絡(luò)階段訓(xùn)練好的水印攻擊網(wǎng)絡(luò)，并且將含水印圖像作為第二階段的輸入；

49、s31：先對(duì)含水印圖像進(jìn)行?deepfake?得到檢測(cè)圖像；

50、s32：將含水印圖像與檢測(cè)圖像輸入到水印攻擊網(wǎng)絡(luò)中，分別得到?jīng)]有偽造過的攻擊后圖像與偽造過的攻擊后圖像；

51、s33：由于差值信息無法輕易察覺，因此利用放大后的差值信息進(jìn)行偽造檢測(cè)，表示為：

52、（8）

53、其中：表示利用?xception?網(wǎng)絡(luò)對(duì)差值圖像進(jìn)行真?zhèn)畏诸悾?/p>

54、表示對(duì)于差值圖像放大的倍數(shù)；

55、為?xception?網(wǎng)絡(luò)對(duì)于輸入的預(yù)測(cè)結(jié)果；

56、采用一個(gè)簡(jiǎn)單的bce損失即能夠訓(xùn)練?xception?網(wǎng)絡(luò)：

57、（9）

58、其中：表示人臉的標(biāo)簽，0?代表為真，1?代表為假；

59、表示?xception?預(yù)測(cè)出的結(jié)果。

60、與現(xiàn)有技術(shù)相比，本發(fā)明的優(yōu)點(diǎn)和積極效果是：本發(fā)明提出了一種新穎的主動(dòng)deepfake?檢測(cè)方法。通過利用水印圖像偽造后的差值信息，可以實(shí)現(xiàn)?deepfake?高精度的檢測(cè)。本發(fā)明設(shè)計(jì)了一種兩階段的主動(dòng)?deepfake?檢測(cè)框架。并且設(shè)計(jì)了一種新型的局部損失函數(shù)來輔助水印攻擊網(wǎng)絡(luò)進(jìn)行水印的去除?，F(xiàn)有的主動(dòng)deepfake檢測(cè)方法主要集中在利用解碼器提取出的水印信息與嵌入信息進(jìn)行比對(duì)，從而判斷該圖像是否偽造。本方法從另一個(gè)角度出發(fā)，設(shè)計(jì)了一種兩階段的主動(dòng)?deepfake?檢測(cè)框架，通過嵌入水印后的差值信息進(jìn)行偽造檢測(cè)。與此同時(shí)，針對(duì)于水印攻擊網(wǎng)絡(luò)，本發(fā)明提出了一種新型的局部損失函數(shù)來幫助網(wǎng)絡(luò)更好的攻擊嵌入水印的區(qū)域。鑒于?qphfm?對(duì)常規(guī)攻擊的魯棒性，本發(fā)明在面對(duì)壓縮時(shí)也會(huì)保持較高的檢測(cè)率；水印圖像無論是經(jīng)過哪種?deepfake，其基本原理都是會(huì)生成高度逼真的肉眼無法區(qū)分是否偽造的圖像，但這總是會(huì)改變水印區(qū)域的特征，利用這一特性，本發(fā)明在面對(duì)不同的?deepfake?偽造方式時(shí)也可保持優(yōu)秀的檢測(cè)率。