一種可抗姿態(tài)和表情變化的三維人臉校準方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及圖像處理及模式識別技術(shù)領(lǐng)域，尤其涉及三維人臉識別方向中抗姿態(tài) 變化的人臉校準方法。
【背景技術(shù)】
[0002] 在當今信息時代，個人身份的有效識別與認證在安保系統(tǒng)中，比如機場安檢、門禁 監(jiān)督等，是一個非常重要的問題。傳統(tǒng)的身份驗證的方法有著使用不便、安全性低等缺點， 生物特征識別作為一種新型的身份識別方法，因其具有安全性、易維護性、普遍性等優(yōu)點， 為上述問題提供了解決方向。
[0003] 生物特征識別技術(shù)是指，利用人體固有的生理信息及行為作為特征，通過智能計 算進行身份識別及驗證的技術(shù)。人臉識別是生物特征識別的一個分支，具有易被采集、友 好、用戶接受度高等優(yōu)勢。三維人臉識別是指利用三維圖像進行人臉識別的技術(shù)。三維人 臉帶有人臉的原始幾何形狀信息，有望克服現(xiàn)今人臉識別中遇到的姿態(tài)變化的問題。
[0004] 現(xiàn)在提出的三維人臉識別方法一般都是針對沒有姿態(tài)或只帶很小姿態(tài)的人臉，但 是在三維人臉識別的實際應(yīng)用中，需要實現(xiàn)具有任意姿態(tài)的人臉識別，而這仍然是個難題。 姿態(tài)不變的三維人臉識別的難點都在于，在人臉帶有較大姿態(tài)變化的情況下，不僅人臉數(shù) 據(jù)會隨著旋轉(zhuǎn)而發(fā)生較大變化，而且人臉也會因為自遮擋在某些區(qū)域上損失較多數(shù)據(jù)，從 而人臉不完整，失去對稱性。表情變化會使人臉變形，從而人臉幾何結(jié)構(gòu)發(fā)生變化，導(dǎo)致三 維數(shù)據(jù)變化。在這種情況下，如何能準確地校準人臉，將人臉姿態(tài)校準到正面，并填補損失 的數(shù)據(jù)，從而與人臉訓(xùn)練庫中采集的人臉更好地匹配，就是需要解決的問題。但是，很多方 法基于三維表面曲率或者基于二維輪廓，這些特征都容易受到三維人臉數(shù)據(jù)損失的影響， 所以人臉校準仍具是一個難題，至今仍然沒有良好魯棒性的方法能解決上述問題。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明的目的在于針對目前三維人臉識別中人臉校準領(lǐng)域內(nèi)現(xiàn)有技術(shù)的不足，提 出了一種可抗姿態(tài)和表情變化的三維人臉校準方法，該方法在人臉有較大姿態(tài)變化的情況 下，仍然具有較強的魯棒性。
[0006] 本發(fā)明的目的是通過以下技術(shù)方案來實現(xiàn)的：一種可抗姿態(tài)和表情變化的三維人 臉校準方法，包括以下步驟：
[0007] (1)構(gòu)造主動外觀模型階段，具體包括以下子步驟：
[0008] (I. 1)采集訓(xùn)練人臉：通過三維圖像獲取設(shè)備獲取中性姿態(tài)（即無任何姿勢變化） 的人臉，作為人臉訓(xùn)練庫，手動定位重要標記點，并通過掃描人臉與背景的分界線獲得人臉 的外輪廓點，得到足夠的標記點；
[0009] (1. 2)生成人臉深度圖：在三維人臉所在坐標系中，在x-y坐標軸上以一定分辨率 為間隔建立網(wǎng)格，將z軸坐標值采用雙立方插值的方法插值到相應(yīng)x-y網(wǎng)格上，填補空洞， 得到三維人臉網(wǎng)格圖，將三維人臉網(wǎng)格圖對x-y坐標系投影，z軸坐標作為像素值，獲得深 度圖，將對應(yīng)的三維標記點投影到x-y坐標系上，獲得深度圖上標記點的二維坐標；
[0010] (1. 3)人臉預(yù)處理：對步驟1. 2獲取的人臉深度圖進行中值濾波去掉峰值點，進行 高斯平滑濾波平滑人臉去除噪聲，降采樣到10萬像素大小范圍內(nèi)的人臉；
[0011] (1.4)校準人臉形狀：由訓(xùn)練人臉所有的標記點構(gòu)成的網(wǎng)格圖表示人臉形狀，采 用普式分析的方法將人臉形狀對齊到統(tǒng)一形狀；
[0012] (1. 5)生成形狀模型：將所有訓(xùn)練人臉的形狀減去統(tǒng)一形狀，并采用主成份分析 的方法獲取主成份，作為形狀向量；形狀模型表示如下：
[0013]
【主權(quán)項】
1. 一種可抗姿態(tài)和表情變化的三維人臉校準方法，其特征在于，該方法包括以下步 驟： (1) 構(gòu)造主動外觀模型階段，具體包括以下子步驟： (1. 1)采集訓(xùn)練人臉：通過三維圖像獲取設(shè)備獲取中性姿態(tài)的人臉，作為人臉訓(xùn)練庫， 手動定位重要標記點，并通過掃描人臉與背景的分界線獲得人臉的外輪廓點，得到足夠的 標記點； (1.2) 生成人臉深度圖：在三維人臉所在坐標系中，在x-y坐標軸上以一定分辨率為間 隔建立網(wǎng)格，將z軸坐標值采用雙立方插值的方法插值到相應(yīng)x-y網(wǎng)格上，填補空洞，得到 三維人臉網(wǎng)格圖，將三維人臉網(wǎng)格圖對x-y坐標系投影，z軸坐標作為像素值，獲得深度圖， 將對應(yīng)的三維標記點投影到x-y坐標系上，獲得深度圖上標記點的二維坐標； (1. 3)人臉預(yù)處理：對步驟1. 2獲取的人臉深度圖進行中值濾波去掉峰值點，進行高斯 平滑濾波平滑人臉去除噪聲，降采樣到10萬像素大小范圍內(nèi)的人臉； (1. 4)校準人臉形狀：由訓(xùn)練人臉所有的標記點構(gòu)成的網(wǎng)格圖表示人臉形狀，采用普 式分析的方法將人臉形狀對齊到統(tǒng)一形狀； (1. 5)生成形狀模型：將所有訓(xùn)練人臉的形狀減去統(tǒng)一形狀，并采用主成份分析的方 法獲取主成份，作為形狀向量；形狀模型表示如下：
其中？1表示形狀參數(shù)，s ^表示形狀模型的基本形狀，s表示任意形狀模型的實例，s = (X1, Y1, X2, y2,. . .，xv, yv)T，SiQ = 1，2,. . .，η)表示形狀向量，η表示形狀的維數(shù)，V表示標 記點的個數(shù)； (1. 6)訓(xùn)練人臉形狀標準化：將基本形狀Stl進行三角形網(wǎng)格化，并將所有訓(xùn)練人臉的 外觀根據(jù)其形狀向基本形狀Stl變形，形成具有基本形狀的人臉，其中變形采用分段線性變 形方法，即將兩個網(wǎng)格形狀內(nèi)的對應(yīng)三角形進行仿射變換； (1. 7)生成主動外觀模型：將步驟1. 6形狀標準化的訓(xùn)練人臉，采用主成份分析的方法 獲取主成份，作為外觀向量；外觀模型表示如下：
其中λ廣示外觀模型的參數(shù)，M(X)表示任意外觀模型的實例，Atl(X)表示標準外觀模 板，Ai(X) (i = 1，2,...，m)表示外觀向量，M(x)、Atl(X)和Ai(X)均為二維圖像，m表示外觀 向量的維數(shù)； (2) 測試人臉校準階段，具體包括以下子步驟： (2. 1)采集人臉測試庫：通過三維圖像獲取設(shè)備獲取不同姿態(tài)及表情變化的三維人 臉，作為人臉測試庫； (2.2) 生成人臉深度圖：對于測試庫中所有三維人臉，在三維人臉所在坐標系中，在 x-y坐標軸上以一定分辨率為間隔建立網(wǎng)格，將z軸坐標值采用雙立方插值的方法插值到 相應(yīng)x-y網(wǎng)格上，填補空洞，得到三維人臉網(wǎng)格圖，將三維人臉網(wǎng)格圖對x-y坐標系投影，z 軸坐標作為像素值，獲得深度圖； (2. 3)人臉預(yù)處理：對步驟2. 2獲取的人臉深度圖進行中值濾波去掉峰值點，進行高斯 平滑濾波平滑人臉去除噪聲，降采樣到10萬像素大小范圍內(nèi)的人臉； (2. 4)人臉粗校準，具體子步驟如下： (2. 4. 1)在訓(xùn)練庫中選擇中性姿態(tài)和中性表情的人臉，以鼻尖點為基準進行疊加并平 均，得到平均臉，從平均臉上分割出鼻子區(qū)域，作為平均鼻子模型； (2.4.2)將測試庫中所有的三維人臉以旋轉(zhuǎn)角度β繞Y軸旋轉(zhuǎn)，得到一系列旋轉(zhuǎn)后的 三維人臉；其中β e [-90°，90° ]，以6°為步長，每張測試庫中的人臉均有R = 31個旋 轉(zhuǎn)角度；旋轉(zhuǎn)公式如下：
其中，某三維坐標點表示為（Xi, Yi, Zi) (i = 1，2,…，N),對應(yīng)輸出的旋轉(zhuǎn)坐標點為 ，zf );根據(jù)步驟2. 2中的方法，將旋轉(zhuǎn)后的三維人臉轉(zhuǎn)化為深度圖； (2. 4. 3)將步驟2. 4. 2得到的人臉深度圖與步驟2. 4. 1得到的平均鼻子模型進行以標 準互相關(guān)為準則的模板匹配，得到標準互相關(guān)圖； (2. 4. 4)計算標準互相關(guān)圖的最大相關(guān)系數(shù)，最大相關(guān)系數(shù)在標準互相關(guān)圖中的位置 為鼻子區(qū)域所在位置，獲得對應(yīng)的鼻尖點及旋轉(zhuǎn)角度 (2.4.5)根據(jù)式（3)以旋轉(zhuǎn)角度0,繞Y軸旋轉(zhuǎn)測試人臉，進行粗校準； (2. 4. 6)以檢測的鼻尖點為圓心以人臉寬度為直徑作圓分割出人臉的有效區(qū)域； (2. 5)將經(jīng)過粗校準的人臉與主動外觀模型進行匹配，設(shè)置目標函數(shù)，通過迭代的方式 計算模型的參數(shù)，最小化目標函數(shù)可表示為：
其中W(x ;ρ)表示分段線性變形函數(shù)，I為測試人臉深度圖，A = [A1, A2, ...，Am]表示外 觀向量的組合，λ = [ λ λ 2,. . .，λ m]表示外觀參數(shù)的組合； (2. 6)采用反向融合方式通過迭代搜索進行參數(shù)更新直到目標函數(shù)收斂，具體子步驟 如下： (2.6.1) 預(yù)計算：計算標準外觀模板Atl及外觀向量AiQ = l，2，...，m)的梯度▽為， ο W βψ 計算W(X ;ρ)在P = 0處的雅可比矩陣二一，計算梯度圖像,== op Φ 計算A的投影正交補集P = E-AAt; (2.6.2) 根據(jù)W(x;p)將人臉圖像I變形為I(W(x;p)); m (2· 6. 3)計算梯度聯(lián)合圖像 =戶(Λ + Σ?) = PJ/L'，其中 J = [J。，J1, · · ·，JJ i=l 表示梯度圖像Ji (i = 〇, 1，...，m)的組合，A =[1,A] e ;計算海森矩陣 Hfsic - JfsicJfsic '， (2. 6. 4)計算形狀參數(shù)P的迭代更新量Δρ = "S.J- /g ;更新仿射 變換/?) e 。好ΙκΔ/?)'，。表示融合計算； (2. 6. 5)計算外觀參數(shù)λ的迭代更新量Δ λ = At (I-Aci-A λ -J Δ ρ)，更新參數(shù) λ - λ+Λ λ，返回步驟2. 6.2迭代，直至目標函數(shù)收斂，此時，輸入測試人臉變形為基本形 狀，實現(xiàn)可抗姿態(tài)和表情變化的三維人臉校準。
【專利摘要】本發(fā)明公開了一種可抗姿態(tài)和表情變化的三維人臉校準方法，包含構(gòu)造主動外觀模型階段和人臉校準階段。構(gòu)造主動外觀模型是指，通過三維圖像獲取設(shè)備獲取三維人臉，手動標定人臉重要標記點，通過人臉的網(wǎng)格形狀及外觀信息構(gòu)造基于深度圖的主動外觀模型；測試人臉校準階段是指，首先通過平均鼻子模型將人臉粗校準，然后將測試人臉與基于深度圖的主動外觀模型進行匹配，將人臉進行精校準。本發(fā)明通過由粗到精的方法能對抗人臉的姿態(tài)和表情變化，保證在自然條件下的人臉也能被準確校準，并且通過將三維人臉轉(zhuǎn)化為深度圖上處理，提高了校準效率，對促進三維人臉在身份認證方向上的實際應(yīng)用有著重要作用。
【IPC分類】G06K9-00, G06T15-00
【公開號】CN104657713
【申請?zhí)枴緾N201510067374
【發(fā)明人】胡浩基, 劉蓉
【申請人】浙江大學(xué)
【公開日】2015年5月27日
【申請日】2015年2月9日