一種視頻人臉活體檢測方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于圖像處理領(lǐng)域，涉及人臉識別中的活體檢測技術(shù)，尤其是涉及利用人 臉動態(tài)信息和微紋理特征抵抗人臉假冒視頻攻擊的方法。
【背景技術(shù)】
[0002] 近年來，人臉識別技術(shù)取得了突飛猛進的發(fā)展，在應(yīng)對姿態(tài)、光照和表情變化時有 了更高的穩(wěn)定性，這也促使越來越多的場合使用人臉識別技術(shù)進行身份認證。
[0003] 然而目前現(xiàn)有的人臉識別系統(tǒng)都還缺乏可靠的安全性，源于它極易受到各種形式 的非法用戶的虛假攻擊，最常見的如人臉照片攻擊、人臉視頻攻擊和三維人臉模型攻擊。因 此，研究可靠的人臉活體檢測技術(shù)與人臉識別系統(tǒng)相結(jié)合成為實際應(yīng)用中迫切需要解決的 問題。
[0004] 現(xiàn)階段，國內(nèi)外關(guān)于活體人臉的檢測技術(shù)主要有：微紋理分析、三維人臉重建、基 于運動信息、基于非可見光的多光譜成像、基于多特征融合、人機交互式、熱紅成像等。
[0005] 微紋理分析的方法，主要依據(jù)真假人臉在圖像紋理上的差異。Li等人[1]提出利 用圖像的二維傅里葉頻譜來區(qū)分真假人臉，這種方法易受光照條件、照片扭曲等影響。Tan 等人[2]首次把視角擴展到空間，通過提取圖像的空域特征并改進分類器以提高活體檢測的 性能，創(chuàng)立了第一個人臉活體檢測標準數(shù)據(jù)庫NUAA。在2011年的國際生物特征聯(lián)合會議 上，Jukka等人[3]提取人臉的多規(guī)模LBP (局部二元模式）特征，分別是
最后拼接為一個特征向量，在NUAA數(shù)據(jù)庫上取得了良好的性能。受到Jukka等人的啟發(fā)， Schwartz[4]融合了 LBP、DoG等多種特征以最大化地提取出人臉的紋理信息，這在一定程度 上提高了檢測的性能。文獻[5]創(chuàng)建了另一個新的標準數(shù)據(jù)庫REPLAY-ATTACK，為后續(xù)的研 究者提供了新的更全面的實驗對象，該方法同樣采用的是LBP特征。文獻 [6]通過結(jié)合時間 和空間的信息，提取LBP-TOP特征，并在REPLAY-ATTACK數(shù)據(jù)庫上進行驗證檢測，取得了良 好的性能。但是所有的基于微紋理的方法都只能抵抗照片攻擊。
[0006] 基于運動信息的方法，人臉的運動信息主要包括唇部運動、眨眼等。Gang Pan等 人[7]提出一種基于Adaboost算法的眼睛開合度（Eye Closity)計算方法，將不同的眨眼動 作嵌入到建立的條件隨機場（Conditional Random Field，CRF)人眼模型當中，獲取了較高 的眨眼檢測率。受此啟發(fā)，Jiangwei Li在文獻[8]中通過分析眨眼時的人眼區(qū)域在不同尺 度、不同方向的Gabor響應(yīng)波來判斷活體。文中利用40個Gabor小波（5個尺度、8個方向） 對人眼圖片進行分解，發(fā)現(xiàn)照片人眼和活體人眼的KGRW(key Gabor response waves)有明 顯差異，因此通過觀察KGRW可以推斷視頻中有無眨眼信號。K. Kollreider等人[9]將人臉 檢測和光流估計結(jié)合到一起來進行活體檢測，因為真實的人臉是三維結(jié)構(gòu)，人臉突出的部 位如鼻子相對于攝像頭在平面上所產(chǎn)生的二維運動的幅度要大于人臉的邊界區(qū)域如耳朵。 Kollreider等人[1°]利用唇部的運動來進行活體檢測，通過一個精準的人臉和唇部檢測器 精確地定位嘴唇，分析用戶在讀取一段文字時唇部的運動模式是否和應(yīng)有的模式一致。
[0007] 但上述的這些方法在應(yīng)對攻擊者需要將合法用戶的人臉照片的眼睛和嘴巴位置 掏空，并將自己的相應(yīng)部位隱藏照片其后以做出相應(yīng)的動作，因而導(dǎo)致活體檢測的性能會 大大降低。

【發(fā)明內(nèi)容】

[0008] 針對上述的現(xiàn)有技術(shù)及存在的問題，本發(fā)明提出了一種視頻人臉活體檢測方法， 結(jié)合動態(tài)相關(guān)性模型和LBP (Local Binary Pattern)等價模式（Uniform Pattern)特征提 取，最后將特征向量送入支持向量機SVM(Support Vector Machine)分類器進行訓(xùn)練測試 的方案，解決了目前現(xiàn)存方法的檢測不穩(wěn)定、易受外界環(huán)境影響以及在抵抗視頻攻擊薄弱 的缺陷，在檢測性能上比目前現(xiàn)存的方法要好。
[0009] 本發(fā)明提出了一種視頻人臉活體檢測方法，該方法包括以下步驟：
[0010] 步驟一，輸入一個視頻流；
[0011] 步驟二，截取所述視頻流，得到N個視頻幀圖片；
[0012] 步驟三，對N個視頻幀圖片采用動態(tài)相關(guān)性模型算法建立N-I個動態(tài)模型：
[0013] 對于N個視頻幀，產(chǎn)生一個面積大小為mnXN的數(shù)據(jù)矩陣F:
[0015] 設(shè)M是兩個相鄰幀之間的線性映射系數(shù)，且
[0016] F2=MF1 (2)
[0017] 則有：
[0018] F = [F1 MF1 …Mn 1F1]和[F2 F3 …Fn] = MEF1 F2 …Fn J ;
[0019] 步驟四，相位角模型選擇，得到最終的單個動態(tài)降階模型圖片：
[0020] 公式（2)表示基于克雷洛夫子空間的視頻幀的相互的關(guān)系，依據(jù)通過Arnoldi
[0021 ] 迭代算法使其正交化，得到：
[0022] MF產(chǎn) F1A (3)
[0023] 其中，A是由前N-I個幀變換過程中產(chǎn)生的伴隨矩陣，并且通過結(jié)合前N-I個幀逼 近第N幀；即：
[0026] 得到：
[0027] F產(chǎn) F !A (5)
[0028] 從公式（4)到（5)，得到：
[0029] MF產(chǎn) F 產(chǎn) F1A (6)
[0030] 得到了接近于M的特征值的低維的系統(tǒng)矩陣A，通過計算矩陣A的復(fù)特征值的相 位角，選取相位角為零或者逼近于零的特征值所對應(yīng)的模型為最終的單個動態(tài)降階模型圖 片；
[0031] 步驟五，對上述的動態(tài)降階模型模型圖片提取基于分割加權(quán)的LBP等價模式特征 直方圖；
[0032] 首先將步驟四獲得的動態(tài)降階模型圖片的人臉圖像進行人臉檢測和定位，按照人 臉器官分為左眼、右眼、左臉頰、鼻子、右臉頰、嘴巴和臉輪廓七個區(qū)域；隨后，在每個區(qū)域中 的每個像素點計算LBP等價模式特征值；然后計算每個子區(qū)域的直方圖并進行直方圖歸一 化處理；計算公式如下：
[0034] 其中的g。為鄰域像素點的灰度值，g。為中心像素點的灰度值，P為鄰域中像素點 的個數(shù)，R為鄰域半徑。
代表〇、1之間跳變次數(shù)小于等于2 ;然后對于每個區(qū)域的LBP特征進行不同的系數(shù)加權(quán)， 設(shè)左眼、右眼、左臉頰、鼻子、右臉頰、嘴巴和臉輪廓七個區(qū)域?qū)?yīng)的Fisher系數(shù)分別為 Ry Rra，Rlf，Rn，Rrf，Rni, R。;將得到的每個區(qū)域的LBP等價模式特征值按照每個區(qū)域的R值進 行加權(quán)即為每個區(qū)域最終的特征值，然后拼接成一個特征向量，即為整幅人臉圖像的LBP 等價模式紋理特征向量；
[0036] 步驟六，基于三種核函數(shù)的SVM分類，區(qū)分虛擬攻擊和合法用戶：
[0037] 將得到的人臉的圖像的LBP等價模式紋理特征向量送入SVM分類器來訓(xùn)練和測 試，采用基于多項式核、徑向基核和sigmoid核三種核函數(shù)的SVM分類器，然后根據(jù)特異性 和敏感度這兩個指標判斷基于不同的核函數(shù)下的SVM的性能，并選擇性能最好的SVM對測 試樣本進行判決并分析測試結(jié)果。
[0038] 與現(xiàn)有技術(shù)相比，本發(fā)明首次使用動態(tài)相關(guān)性模型對視頻幀進行預(yù)處理，相較于 以前的方法，能精準地捕獲到人臉的動態(tài)變化（如眨眼、唇部運動等動態(tài)信息），很好地彌 補了目前對于視頻攻擊的性能較好的活體檢測方法的缺失。其次，本設(shè)計通過分析人臉不 同區(qū)域的紋理差異，提出加權(quán)人臉區(qū)域分割，重點突出了對活體檢測性能大的人臉區(qū)域。最 后，本設(shè)計基于三種不同的核函數(shù)下通過性能指標的比較選擇出性能最佳的SVM分類器。 從總體上來講，本方法提出的算法，人臉活體檢測性能優(yōu)于其他現(xiàn)有的針對視頻攻擊的方 法，致力于較好地抵抗假冒的人臉視頻攻擊。
【附圖說明】
[0039] 圖1是本發(fā)明的整體流程圖；
[0040] 圖2是對人臉分割和提取的特征加權(quán)的流程圖；
[0041] 圖3是提取每個區(qū)域的LBP等價模式特征的流程圖；
[0042] 圖4是基于三種核函數(shù)的SVM分類器訓(xùn)練及測試的流程圖。
【具體實施方式】
[0043] 下面結(jié)合附圖和實施例對本發(fā)明的技術(shù)方案進行詳細說明。
[0044] -、采用動態(tài)相關(guān)性模型選擇一幅模型圖片
[0045] 此模型應(yīng)用于人臉活體檢測中以獲得人臉動態(tài)信息，它是一種基于先驗知識從非 線性復(fù)雜流體中提取相關(guān)模型從而對復(fù)雜的流動行為進行降階的一種數(shù)學(xué)方法，這些模型 又被稱為相關(guān)流結(jié)構(gòu)。
[0046] 首先對輸入的N幀視頻流采用動態(tài)相關(guān)性模型算法建立N-I個動態(tài)模型，具體步 驟如下：
[0047] 對于從一段視頻中截取的N個視頻幀，分別為F1, F2，…Fn，若每一幀轉(zhuǎn)換為一個 mn X 1的列向量，則對于N個視頻幀，將會產(chǎn)生一個面積大小為mn X N的數(shù)據(jù)矩陣F :
[0049] 其中，m、η表示每一幀圖像的面積大小是mXn, N為視頻幀個數(shù)。
[0050] 由于這N個視頻幀是相關(guān)的，設(shè)M是兩個相鄰幀之間的線性映射，則會有如下關(guān) 系：
[0051] F2=MF1 (2)
[0052] 其中，F(xiàn)p F2分別是是第一個和第二個視頻幀。
[0053] 則有：
[0054] F = [F1 MF1 ... Mn 1F1]和[F2 F3 ... Fn] = M[F! F2 ... Fn J
[0055] 其中的M是未知的，它捕獲到視頻中的全部的可視的動態(tài)信息，因為M是mnXmn 階，若直接計算M的特征值，計算代價太大。因此，可以采用基于克雷洛夫子空間的方法簡 化計算量，由于其中的列是非正交的，故需要通過Arnoldi迭代算法使其正交化。
[0056] 公式⑵展現(xiàn)了基于克雷洛夫子空間的視頻幀的相互的關(guān)系，依據(jù)Arnoldi迭代 算法得到：
[0057] MF產(chǎn) F1A (3)
[0058] 其中，A是由前N-I個幀變換過程中產(chǎn)生的伴隨矩陣。
[0059] 通過結(jié)合前N-I個幀可以逼近第N幀，同理第二幀也可如下得到：

[0062] 其中的c。，…cN i分別前后兩個視頻幀得相關(guān)系數(shù)。
[0063] 得到：
[0064] F產(chǎn) F