專利名稱：一種減小表情影響的快速三維人臉識別方法
技術(shù)領域：
本發(fā)明涉及一種三維人臉識別方法，尤其涉及一種以側(cè)面輪廓線匹配作為排除算法并利用人臉剛性區(qū)域進行精確匹配的減小表情影響的快速三維人臉識別方法。

背景技術(shù)：
自動人臉識別技術(shù)在國家安全、軍事安全、公共安全和家庭娛樂等領域具有廣泛的應用前景，過去幾十年中，人臉識別得到深入廣泛的研究。然而，基于圖像的二維人臉識別技術(shù)仍然面臨巨大挑戰(zhàn)，在光線、姿態(tài)和表情變化的情況下，二維人臉識別的準確性還遠遠不能讓人滿意。
三維人臉識別技術(shù)有望從根本上解決基于圖像的人臉識別方法所面臨的“受姿態(tài)、光線和表情影響”的難題?；谌S數(shù)據(jù)已經(jīng)獲取的前提，三維人臉識別受光線的影響很小。由于三維數(shù)據(jù)具有顯式的幾何形狀，三維人臉識別更具克服姿態(tài)變化的潛力。然而，三維人臉一般以點云形式保存，數(shù)據(jù)多，計算量大，導致人臉識別速度較慢，影響了識別的實時性。并且表情變化改變了三維人臉模型的形狀，造成人臉局部區(qū)域的非剛性變形，從而降低了三維人臉識別的性能。因此，如何減小識別運算量、降低表情影響是三維人臉識別中的關鍵問題和挑戰(zhàn)?，F(xiàn)有的技術(shù)尚無法在各種表情變化情況下達到快速、準確的識別性能。


發(fā)明內(nèi)容
本發(fā)明提供一種基于人臉側(cè)面輪廓線和局部剛性區(qū)域匹配的由粗到細的減小表情影響的快速三維人臉識別方法。
本發(fā)明采用如下技術(shù)方案 一種減小表情影響的快速三維人臉識別方法，該方法的主要步驟如下 步驟1以鼻尖至鼻根之間的測試人臉模型側(cè)面輪廓線線段作為測試人臉模型中的有價值側(cè)面輪廓線，從測試人臉模型中提取測試人臉模型中的有價值側(cè)面輪廓線，從庫集模型的各個三維人臉模型中提取用于匹配的側(cè)面輪廓線且該用于匹配的側(cè)面輪廓線覆蓋鼻尖至鼻根之間的三維人臉模型側(cè)面輪廓線線段； 步驟2使用迭代最近點算法，從庫集模型中選擇出能與測試人臉模型中的有價值側(cè)面輪廓線相匹配的庫集模型中的三維人臉模型，組成剩余庫集模型； 步驟3從庫集模型的各個三維人臉模型中提取出匹配區(qū)域，該匹配區(qū)域為以鼻尖為球心的球所包含的人臉區(qū)域，再利用剩余庫集模型中的三維人臉模型的索引，從所提取出的匹配區(qū)域中，選取出屬于剩余庫集模型中的三維人臉模型的匹配區(qū)域，組成剩余庫集模型匹配區(qū)域； 步驟4從測試人臉模型中切割第一剛性區(qū)域和第二剛性區(qū)域，所述的第一剛性區(qū)域為包含鼻子的區(qū)域，所述的第二剛性區(qū)域由兩眼之間的區(qū)域以及與兩眼之間區(qū)域相連的部分額頭區(qū)域、部分鼻子區(qū)域組成； 步驟5將第一剛性區(qū)域與剩余庫集模型匹配區(qū)域中第一個模型匹配區(qū)域相匹配，得到第11匹配結(jié)果d11，將第二剛性區(qū)域與剩余庫集模型匹配區(qū)域中第一個模型匹配區(qū)域相匹配，得到第21匹配結(jié)果d21，將第一剛性區(qū)域的匹配結(jié)果d11與第二剛性區(qū)域的匹配結(jié)果d21采用加法規(guī)則融和，得到測試模型與剩余庫集模型中的第一個模型的匹配結(jié)果d1；將第一剛性區(qū)域與剩余庫集模型匹配區(qū)域中第二個模型匹配區(qū)域相匹配，得到第12匹配結(jié)果d12，將第二剛性區(qū)域與剩余庫集模型匹配區(qū)域中第二個模型匹配區(qū)域相匹配，得到第22匹配結(jié)果d22，將第一剛性區(qū)域的匹配結(jié)果d12與第二剛性區(qū)域的匹配結(jié)果d22采用加法規(guī)則融和，得到測試模型與剩余庫集模型中的第二個模型的匹配結(jié)果d2；依此類推，將第一剛性區(qū)域與剩余庫集模型匹配區(qū)域中第n′個模型匹配區(qū)域相匹配，得到第1n′匹配結(jié)果d1n′，將第二剛性區(qū)域與剩余庫集模型匹配區(qū)域中第n′個模型匹配區(qū)域相匹配，得到第2n′匹配結(jié)果d2n′，將第一剛性區(qū)域的匹配結(jié)果d1n′與第二剛性區(qū)域的匹配結(jié)果d2n′采用加法規(guī)則融和，得到測試模型與剩余庫集模型中的第n′個模型的匹配結(jié)果dn′，其中，n′為剩余庫集模型中的模型個數(shù)， 第一剛性區(qū)域與剩余庫集模型匹配區(qū)域中的各個模型匹配區(qū)域相匹配的匹配方法，與第二剛性區(qū)域與剩余庫集模型匹配區(qū)域中的各個模型匹配區(qū)域相匹配的匹配方法采用相同的匹配方法并得到相應的匹配結(jié)果，該相同的匹配方法為 (1)在測試人臉模型中取點集i＝1，2，...，np，

分別表示點集Pik中的點pik的坐標值，上標k表示第k次迭代，k≥1，np表示點集Pik中點的個數(shù)，P為主軸坐標系下的測試人臉模型的點集，所述的主軸坐標系以鼻尖為原點O，以人臉的朝向軸為z軸，以位于人臉對稱平面內(nèi)且與朝向軸垂直的軸為y軸，以垂直于對稱平面的軸為x軸； (2)采用基于映射和鄰域搜索相結(jié)合的搜索算法查找?guī)旒Ｐ忘c云中的對應點使得||Gjk-Pjk||最小，并組成對應點對{(Pik，gjk)}，共np對，其中，j＝1，2，...，ng，

分別表示點集Gjk中的點gjk的坐標值，ng表示點集Gjk中點的個數(shù)，G為主軸坐標系下的庫集人臉模型的點集，||·||為歐氏范數(shù)； (3)利用(2)中得到的對應點對集合，計算最優(yōu)的旋轉(zhuǎn)矩陣Rk和平移向量Tk，使得目標函數(shù)最??； (4)利用(3)得到的最優(yōu)的旋轉(zhuǎn)矩陣Rk和平移向量Tk更新測試模型點集Pik為Pik+1 (5)計算Pik+1和Gjk之間的對應點對的平均距離dk+1 (6)如果dk-dk+1不小于給定的閾值τ，該閾值τ為0.01，令dk＝dk+1，返回(2)，直至dk-dk+1＜τ為止，以此距離dk+1為最近點平均距離，并以此最近點平均距離dk+1為匹配結(jié)果，為使第一次迭代順利進行，應為初始對應點對的平均距離d1設定初值，設為d1＝100mm。
所述的用于查找?guī)旒Ｐ忘c云中的對應點的基于映射和鄰域搜索相結(jié)合的搜索算法為 (1)主軸坐標系下的測試人臉模型的點集為i＝1，2，...，np，np表示點集Pik中的點pik的個數(shù)，主軸坐標系下的庫集人臉模型的點集為j＝1，2，...，ng，ng表示點集Gjk中的點gjk的個數(shù)； (2)點集Pik和Gjk在主軸坐標系下的xoy平面上的投影分別為i＝1，2，...，np，j＝1，2，...，ng，pik′表示點pik在xoy平面上的投影點，gjk′表示點gjk在xoy平面上的投影點，對投影Pik′、Gjk′柵格化，定義圍繞在pik′周圍的3*3的方格為pik′的鄰域V(pik′)，Gjk′中的搜索鄰域V′(gjk′)定義為圍繞在gjk′周圍的5*5的方格； (3)采用全局搜索法搜索出點集Pik中的第一個點在點集Gjk中的距離最近的點，組成第一組對應點對，所述的全局搜索法為對點集Pik中的一個點pmk，m＝1，2，....，np，計算其與點集Gjk中每個點的距離，以距離最小的點gj′k作為最近點，組成一組對應點對(pmk，gj′k)，1≤j′≤ng； (4)點集Pjk中此后的每個點Pik在Gjk中的最近點gjk的搜索方法為判斷投影點pik′是否位于投影點pi-1k′的鄰域V(pi-1k′)之中，當投影點pik′位于投影點pi-1k′的鄰域V(pi-1k′)中時，在pi-1k的對應點gj-1k的投影點gj-1k′的鄰域V(gj-1k′)所對應的三維空間的點集中尋找與pik距離最小的點gjk，并與pik組成對應點對(pik，gjk)；當投影點pik′位于投影點pi-1k′的鄰域V(pk-1k′)之外時，采用全局搜索法搜索鄰域搜索法未能搜索到的pik的Gjk中最近點。
步驟6采用最近鄰分類器，從步驟5得到的匹配結(jié)果中選出相似度最高的一個作為三維人臉識別的結(jié)果，其中，以最近點平均距離作為相似性度量，認為最近點平均距離小的相似性高，最近點平均距離大的相似性低。
本發(fā)明首先提取簡單又有較好表征性的人臉特征——人臉側(cè)面輪廓線進行粗匹配，在識別初期快速排除部分庫集對象，在隨后的精確匹配過程中選取人臉剛性區(qū)域采用改進的迭代最近點算法進行匹配，提高了識別速度，同時減小了表情變化帶來的影響。該方法主要有以下優(yōu)點 (1)傳統(tǒng)的單純基于曲率提取人臉特征點的方法，容易產(chǎn)生一個特征點多個候選區(qū)域的情況，造成特征點定位困難。本發(fā)明在提取人臉特征點時，依據(jù)人臉形狀特征，首先將人臉置于主軸坐標框架下，根據(jù)人臉在主軸坐標系下均呈現(xiàn)相同的正面姿態(tài)的特點，先利用坐標信息確定大致的人臉特征點候選集，然后再根據(jù)曲率信息精確定位特征點。
(2)相比較一些人臉識別算法中的網(wǎng)格化處理，本發(fā)明主要針對三維掃描系統(tǒng)得到的人臉原始點云模型，不需要任何的網(wǎng)格化處理，適用性廣，速度快。
(3)在對人臉模型進行識別之前，首先設計一個簡單的排除算法——側(cè)面輪廓線匹配算法快速排除部分庫集模型，在后續(xù)精確匹配時，測試模型只需與剩余庫集模型匹配，大大提高了識別速度。
(4)在排除算法中，截取側(cè)面輪廓線中鼻尖到鼻根這一區(qū)域段的側(cè)面輪廓線段作為有價值側(cè)面輪廓線進行匹配，采用有價值側(cè)面輪廓線進行匹配，減少了匹配對象點集的點數(shù)，提高了識別速度，同時該段輪廓線受表情變化影響較小，具有較強的穩(wěn)定性，使用該段輪廓線匹配可以避免表情變化引起的將正確對象排除的情況，提高識別精度。
(5)在精確匹配階段，選取人臉模型中相對剛性的區(qū)域進行匹配，可減小表情變化產(chǎn)生的影響，提高三維人臉識別的性能。
(6)在基于剛性區(qū)域匹配時，結(jié)合三維人臉的形狀特性，采用基于投影和鄰域搜索的改進ICP算法，加快了對應點對的查找過程，提高了識別速度。



圖1是減小表情影響的快速三維人臉識別流程圖； 圖2是特征點提取流程圖； 圖3是側(cè)面輪廓線提取示意圖，(a)是提取的人臉對稱面，(b)是提取的人臉側(cè)面輪廓線，(c)實線框包含的側(cè)面輪廓線段為庫集模型用于匹配的側(cè)面輪廓線，虛線框包含的側(cè)面輪廓線為測試模型的有價值側(cè)面輪廓線； 圖4是人臉區(qū)域切割示意圖，(a)是三維人臉模型，(b)是庫集模型匹配區(qū)域，(c)是測試模型第一剛性區(qū)域，(d)是測試模型第二剛性區(qū)域； 圖5是基于投影和鄰域搜索的改進迭代最近點算法流程圖；
具體實施例方式 下面參照說明書附圖，對本發(fā)明的具體實施方式
做出更為詳細地說明 1、三維人臉模型側(cè)面輪廓線提取 側(cè)面輪廓線提取通過三步完成，首先確定人臉主軸坐標系，然后檢測鼻尖點和內(nèi)眼角點，最后根據(jù)特征點確定人臉對稱面以提取側(cè)面輪廓線。
(1)確定人臉主軸坐標系 人臉主軸坐標系是指由三維人臉數(shù)據(jù)的三個主軸所構(gòu)成的坐標系，三個主軸分別對應人臉的朝向軸(z軸)、人臉對稱平面上與朝向軸垂直的軸(y軸)，以及垂直于對稱平面的軸(x軸)，三個軸符合右手坐標系，在該坐標系下，人臉均為相同的正面姿態(tài)，如圖4(a)所示。觀察人臉點云的基本形狀，我們發(fā)現(xiàn)人臉點云是一張上下方向較長，左右跨度居中，前后厚度較小的曲面，近似于半橢球的形狀。設人臉點集為M1＝{pi1∈R3/1≤i≤n1}，其中pi1表示人臉點集M1中的點，n1表示人臉點集M1中點的個數(shù)，我們對人臉點集分布做主元分析(PCA)，可以得到一個平均點和三個主方向(特征向量)，這三個特征向量分別對應從大到小排序的三個特征值，按PCA的特征值與特征向量的關系，最大特征值對應的主方向是點集散度最大的方向，最小特征值對應的主方向是點集散度最小的方向。由以上分析可知如果三維人臉數(shù)據(jù)嚴格對稱，三個特征向量應分別對應人臉主軸坐標系的x，y，z軸。邊緣數(shù)據(jù)會造成人臉三維模型不對稱，但是對絕大多數(shù)三維人臉模型來說，以鼻尖點為球心的一定半徑內(nèi)的數(shù)據(jù)仍然是對稱的，因此本發(fā)明先對整個三維人臉模型使用PCA方法求模型主軸方向，構(gòu)成一個直角坐標系，該坐標系基本反映了人臉的姿態(tài)，求得人臉模型在該坐標系下的坐標，在該坐標系下，z坐標最大點近似為鼻尖點，然后對落在以z坐標最大點為球心，半徑為50mm的球體內(nèi)的點集，第二次使用PCA求其主軸方向，即可得到較為精確的人臉主軸坐標系。具體步驟如下 1)對人臉點集M1＝{pi1∈R3/1≤i1≤n1}進行PCA運算，求得原始人臉數(shù)據(jù)的三個主軸(v′1，v′2，v′3)，其中n1表示人臉點集M1中點的個數(shù)； 2)將點集M1＝{pi1∈R3/1≤i1≤n1}轉(zhuǎn)換到以(v′1，v′2，v′3)為坐標軸的坐標系下，得到M2＝{pi2∈R3/1≤i2≤n1}， pi2＝(v′1，v′2，v′3)Tpi1(1) 3)點集M2＝{pi2∈R3/1≤i2≤n1}中，落在以鼻尖點(z坐標最大點)為中心，以r＝50mm為半徑的球面內(nèi)的點組成新的點集M3＝{pi3∈R3/1≤i3≤n3}，其中pi3表示新的點集M3中的點，n3表示新的點集M3中點的個數(shù)，對M3＝{pi3∈R3/1≤i3≤n3}進行第二次PCA運算，得到三個精確主軸(v″1，v″2，v″3)。
4)綜合上述，人臉主軸坐標系的三個坐標軸(v1，v2，v3)為 (v1，v2，v3)＝(v′1，v′2，v′3)(v″1，v″2，v″3)(2) 5)對于三維人臉上的每個點pi1，在人臉主軸坐標系下的坐標fi1為 fi1＝(v1，v2，v3)Tpi1(3) 6)平移人臉主軸坐標系下的三維模型，使其z坐標最大點平移到人臉主軸坐標系的原點，即使鼻尖點處在坐標系的原點。
fi1′＝(v1，v2，v3)Tpi1-pnt(4) 其中pnt表示鼻尖點。至此，將三維人臉模型轉(zhuǎn)換到其主軸坐標系下，本發(fā)明中用于匹配的模型都是基于主軸坐標系下的人臉模型。
(2)檢測鼻尖點和內(nèi)眼角點 總的來說，三維人臉特征點定位方法絕大部分都是基于人臉特征的，如對稱性、幾何特征(如鼻尖點特別凸，而眼角處特別凹)等。本發(fā)明的特征點檢測方法首先根據(jù)人臉模型中特征點幾何分布的特性，確定其在主軸坐標系下的坐標信息，從而可確定特征點候選點集，然后通過計算特征點候選點集中每個點的曲率特征(Shape Index值)，精確確定標志點?？紤]人臉模型的幾何結(jié)構(gòu)特征，并參照人臉主軸坐標系信息，可知鼻尖點pnt在人臉主軸坐標系原點附近，內(nèi)眼角點pet在人臉主軸坐標系y軸方向原點以上人面部三分之一距離處，在x軸方向應分布在距離原點為人臉寬度的十分之一距離處。1)特征點候選點集確定在三維人臉點云中，依據(jù)點在主軸坐標系中的坐標信息確定鼻尖候選點集Snt和內(nèi)眼角候選點集Set，確定方法如下 Snt＝{p/||p-O||＜R1，p∈C}(5) Set＝{p/|xp|＜t1，t2＜yp＜t3，p∈C}(6) 其中，O表示主軸坐標系原點，C表示主軸坐標系下的人臉點集，p表示點集C中的點，||·||表示歐氏范數(shù)，R1表示鼻尖候選區(qū)域的半徑，取為10mm，Lwidth表示人臉模型橫向?qū)挾?，Llongth表示人臉模型縱向長度，對于不同的庫集模型可通過訓練得出。
2)Shape Index值計算 計算候選點集Snt、Set中每個點的Shape Index值。Shape Index值代表的是人臉的曲率信息，與坐標系獨立，且與剛體運動無關，該特征能夠真實反映人臉表面的凹凸特征，能夠有效的分離出凹凸特征明顯的鼻尖、眼角區(qū)域。首先在候選集每個點p周圍尋找與該點距離小于某一閾值的m個鄰近點，由該m個鄰近點組成點p的鄰近域，根據(jù)鄰近域點集構(gòu)造點p的微切平面，確定三維人臉模型曲面在點p處法向量n，以n為z軸建立切平面坐標系，將鄰近域點都置于切平面坐標系下，采用最小二乘法在轉(zhuǎn)換后的鄰近域點集內(nèi)擬合一個二次曲面，利用二次曲面系數(shù)計算曲面在頂點p處的最大主曲率κ1(p)和最小主曲率κ2(p)，最后計算點p的Shape Index值 3)閾值分割及特征點選擇 對每個點的鄰近域點集的Shape Index值取均值作為該點的Shape Index特征，對這個特征進行閾值分割。在Snt中選取Shape Index值在0.85～1之間的點組成的聯(lián)通域，作為鼻尖區(qū)域，鼻尖點定位為該聯(lián)通區(qū)域的質(zhì)心。在Set中ShapeIndex值在0～0.27之間的點組成聯(lián)通域，聯(lián)通域大于等于兩個，選取其中關于yoz平面對稱的兩個區(qū)域作為內(nèi)眼角區(qū)域，分別選取兩個聯(lián)通域的質(zhì)心作為內(nèi)眼角點。
(3)人臉對稱面確定 人臉對稱面穿過鼻梁，將人臉分為左右對稱的兩部分。本發(fā)明中人臉對稱面提取方法如下首先由(2)檢測鼻尖點和內(nèi)眼角點方法可確定鼻尖點及其法向量，在主軸坐標系下的三維人臉模型點集中從鼻尖到眼角區(qū)域的豎直方向上尋找法向量與鼻尖點法向量最近似共面的點，這些點組成了鼻梁線，過鼻梁線和鼻尖點法向量的平面即定為人臉對稱面，側(cè)面輪廓線的求取只需計算對稱平面與三維人臉點云的交，如圖3(a)、(b)所示。
2、基于側(cè)面輪廓線匹配的排除算法 三維人臉模型數(shù)據(jù)量很大，造成識別速度慢，嚴重影響了識別的實時性，尋找一個簡單的匹配算法，能在短時間內(nèi)將相似度低的部分庫集(gallery)模型對象預先排除，在后續(xù)精確匹配時，測試模型只需與剩余gallery模型匹配，可大大提高識別速度。
側(cè)面輪廓線是指側(cè)面朝向時人臉前面部分的輪廓線，如圖3(c)所示。側(cè)面輪廓線可以表達人臉的細節(jié)結(jié)構(gòu)，且輪廓線包括的點數(shù)較少，匹配簡單，選取受表情變化影響較小的輪廓線段，進行匹配，作為排除算法，可收到較好的效果。
(1)側(cè)面輪廓線匹配 匹配測試模型和gallery模型的側(cè)面輪廓線，計算兩個模型間對應點對的平均距離作為兩者的相似度，排除庫集中相似度較低的部分模型，主要步驟如下所示 1)側(cè)面輪廓線重采樣 由于輪廓線上各點間距不統(tǒng)一，為了使匹配更精確，本發(fā)明首先對輪廓線進行統(tǒng)一間距，即重新在輪廓線上進行點采樣，用采樣點來描述側(cè)面輪廓線。我們設定間距ds＝0.5mm，從側(cè)面輪廓線端點開始，每隔0.5mm采樣一個點，直到輪廓線末端。對于弧長為Ls的曲線其采樣個數(shù)ns為 該ns個點組成了重采樣后的輪廓線。
2)有價值側(cè)面輪廓線和用于匹配的側(cè)面輪廓線提取 為防止在預先匹配時將正確的gallery對象排除，保證算法對表情變化的人臉識別具有較好的穩(wěn)定性，選取人臉相對剛性區(qū)域的側(cè)面輪廓線進行匹配，而鼻尖到鼻根點之間的輪廓線區(qū)域受各種表情的變化都是最小的，是人臉中最穩(wěn)定的區(qū)域，本發(fā)明選取該段側(cè)面輪廓線為有價值側(cè)面輪廓線。在輪廓線匹配時采用迭代最近點法(ICP)算法，ICP算法要求兩個匹配模型中，一個是另外一個的子集，故gallery模型中的用于匹配的側(cè)面輪廓線要包含測試模型有價值輪廓線，如圖4(c)所示，虛線框內(nèi)輪廓線部分為本發(fā)明中截取的測試模型有價值側(cè)面輪廓線Lp，實線框內(nèi)輪廓線部分為本發(fā)明中截取的gallery模型中用于匹配的側(cè)面輪廓線Lg。具體定義如下所示 其中，L表示對稱面與三維人臉模型的交線即側(cè)面輪廓線，pL表示側(cè)面輪廓線上的點，ynb表示鼻根點的y軸坐標，鼻根點定義為過兩內(nèi)眼角連線的與人臉對稱面垂直的面與側(cè)面輪廓線的交點，ynt表示鼻尖點的y軸坐標，式中單位為毫米(mm)。
3)輪廓線匹配 輪廓線匹配采用ICP算法，ICP算法是三維數(shù)據(jù)配準中主要和廣泛應用的一種算法，該算法實質(zhì)上是基于最小二乘法的最優(yōu)匹配方法，它重復進行“確定對應關系點集-計算最優(yōu)剛體變換”的過程，直到某個表示正確匹配的收斂準則得到了滿足。具體步驟如下 步驟一對測試人臉有價值側(cè)面輪廓線Lpk1中的每個點lpj1k1，計算其與gallery模型中用于匹配的側(cè)面輪廓線Lgk1中每個點的距離，選取距離最小的點lgm1k1，組成對應點對{(lpj1k1，lgm1k1)}，共

對，其中，

為測試人臉有價值側(cè)面輪廓線Lpk1上點的個數(shù)，上標k1表示第k1次迭代，k1≥1； 步驟二利用步驟一中得到的對應點對集合，計算最優(yōu)的旋轉(zhuǎn)矩陣R1k1和平移向量T1k1，使得目標函數(shù)最小。其中，

分別為點lpj1k1的x、y、z軸坐標，

分別為點lgm1k1的x、y、z軸坐標； 步驟三利用步驟二得到的最優(yōu)的旋轉(zhuǎn)矩陣R1k1和平移向量T1k1更新測試模型的側(cè)面輪廓線Lpk1為Lpk1+1，即 其中，

分別為更新后的側(cè)面輪廓線Lpk1+1上點lpj1k1+1的x、y、z軸坐標； 步驟四 計算Lpk1+1和Lgk1之間的對應點對平均距離其中

表示測試模型有價值側(cè)面輪廓線Lpk1+1上的點數(shù)； 步驟五如果ldk1-ldk1+1不小于給定的閾值τ1(τ1＝0.01)，令ldk1＝ldk1+1，返回步驟一，繼續(xù)循環(huán)迭代，直至ldk1-ldk1+1＜τ1為止，以此距離ldk1+1為最近點平均距離，并以此最近點平均距離ldk1+1為匹配結(jié)果，為使第一次迭代順利進行，應為初始對應點對的平均距離ld1設定初值，本發(fā)明中設為ld1＝100mm。
ICP算法對兩個匹配模型的初始位置要求較高，如果初始位置相差太大，其匹配結(jié)果是不可靠的，因為此時ICP收斂的方向是不確定的。然而，本發(fā)明中在采用PCA計算人臉主軸坐標系后已經(jīng)將人臉模型都置于主軸坐標系中，人臉在主軸坐標系下有統(tǒng)一的姿態(tài)，相當于已經(jīng)建立了兩個三維人臉模型的初始對應關系，所以可以直接匹配。對于所提取的測試模型有價值側(cè)面輪廓線Lp和庫集模型用于匹配的側(cè)面輪廓線Lg，兩者的相似度量計算如下 Sim(Lp，Lg)＝RMS(Lp，Lg)(14) 其中表示最近點平均距離，lpi為輪廓線Lp上的點，lgi為輪廓線Lg上的點，且(lpi，lgj)為最終匹配時的對應點對，

為Lp上點的個數(shù)。
(2)排除算法 在進行精確匹配之前首先將測試模型有價值側(cè)面輪廓線與gallery中的全部N個模型用于匹配的側(cè)面輪廓線匹配，得出N個匹配結(jié)果，該N個匹配結(jié)果組成一個N維向量ld，對向量ld規(guī)則化后，采用排除法則得出排除后的剩余庫集模型集S ld＝{ldm1/1≤m1≤N}(15) S＝{Mm2/ld′m2＜δrej，1≤m2≤N′}(17) 式中，ldm1表示每次匹配的結(jié)果，ld′表示規(guī)則化后的匹配結(jié)果向量，ld′m2為規(guī)則化后的結(jié)果，在0-1之間，N′表示經(jīng)剩余庫集模型個數(shù)(N′＜N)，Mm2表示剩余庫集模型中的第m2個模型，δrej表示排除閾值。在后續(xù)匹配中，只將測試模型與剩余庫集模型集S中的N′個模型匹配，來完成識別。通過設定不同的閾值δrej，可以決定N′的大小。取較大的閾值δrej，可以避免將正確模型排除，但是會導致排除算法效率不高，若取較小的閾值δrej，可以排除較多gallery對象，提高識別速度，但是有時會將正確對象排除。本發(fā)明通過離線訓練，確定δrej為0.4。本發(fā)明通過統(tǒng)計學的手段減少了精確匹配時gallery模型的個數(shù)，提高了識別速度。
3、人臉剛性區(qū)域的自動提取 如果將三維人臉模型分成多個子區(qū)域，各個子區(qū)域?qū)θ四槺砬榈拿舾谐潭仁遣煌??？偟膩碚f，前額、眼睛附近和鼻子區(qū)域受表情影響最小，而臉頰、嘴巴附近區(qū)域最容易受表情影響。通過將人臉劃分為不同的子區(qū)域，對帶有表情的人臉每個子區(qū)域進行匹配，選取類內(nèi)差異與類間差異比值最小的子區(qū)域作為本發(fā)明中所用的剛性區(qū)域。在離線時經(jīng)過上述訓練，最終選取Mrp1，Mrp2兩個子區(qū)域作為第一剛性區(qū)域和第二剛性區(qū)域，所述的第一剛性區(qū)域為包含鼻子的區(qū)域，所述的第二剛性區(qū)域由兩眼之間的區(qū)域以及與兩眼之間區(qū)域相連的部分額頭區(qū)域、部分鼻子區(qū)域組成，如圖4(c)、(d)所示。在接下來的匹配中采用基于投影和鄰域搜索的改進ICP算法，ICP算法要求兩個匹配模型中，一個是另外一個的子集，故gallery模型中匹配區(qū)域選擇較大區(qū)域為Mrg，該匹配區(qū)域為以鼻尖為球心的球所包含的人臉區(qū)域(圖4(b))，具體選擇方法如下 Mrp1＝{p/||p-O1||＜35，p∈M}(18) Mrp2＝{p/||p-O2||＜40，p∈M}(19) O1＝{p/xp＝0，yp＝20，p∈M} (20) O2＝{p/xp＝0，yp＝30，p∈M} (21) Mrg＝{p/||p-O||＜100，p∈M} (22) 其中，p表示三維人臉模型M上的點，xp、yp分別表示點p的x、y軸坐標，O表示主軸坐標系的原點，式中的坐標信息都是基于人臉主軸坐標系下的，單位為毫米(mm)，||·||表示歐氏范數(shù)。
Gallery模型中的匹配區(qū)域是在數(shù)據(jù)離線處理時提取的，識別時，一部分gallery模型被基于側(cè)面輪廓線匹配的排除算法排除，只是剩余模型與測試模型匹配。利用剩余庫集模型中的三維人臉模型的索引，從所提取出的匹配區(qū)域中，選取出屬于剩余庫集模型的三維人臉模型的匹配區(qū)域，組成剩余庫集模型匹配區(qū)域。在接下來的精確匹配中，測試模型的剛性區(qū)域分別與每個剩余庫集模型匹配區(qū)域進行匹配。
4、基于人臉剛性區(qū)域的精確匹配 ICP算法以其算法簡單，能對物體實施任意方向的剛性變換在三維數(shù)據(jù)配準中得到了廣泛應用。但是ICP算法在每次迭代中，都要在兩個點集之間建立最近點對應關系。當要匹配的兩個模型的點數(shù)分別是np1，ng1時，原始的ICP算法的時間復雜度是O(np1·ng1)，而實際處理的三維人臉模型一般點數(shù)在一萬點以上，這樣即使在快速的計算機上也會耗費很長時間。
鄰域搜索法是假設在兩個點集P1和G1之間存在鄰域的關系。在找p1i(p1i∈P1)的最近點時，先看看在它的鄰域中有沒有已匹配點，假設有已匹配點p1k，并且p1k的最近點是g1k(g1k∈G1)，則在g1k的鄰域中尋找p1i的最近點g1i，否則就在點集G1中進行全局查找。如果點集P1和G1中的點數(shù)分別為np1和ngi，這種最近點鄰域搜索法在最好情況下的時間復雜度是O(np1)，最差的情況是每次都是全局搜索，時間復雜度為O(np1·ng1)。該方法在二維圖像的搜索中應用很廣，但是在三維人臉模型空間中進行最近點搜索時，效果不是很好，因為三維空間點的鄰域確定非常復雜，并且對于三維人臉模型來講，幾乎所有點只在一個曲面上密集分布，而在人臉模型立方體的其他位置都是沒有點的，所以采用三維空間最近點搜索難以收到好的效果。觀察人臉，我們發(fā)現(xiàn)如果將我們提取的對象匹配區(qū)域映射到與人臉對稱面垂直的平面，原來點的鄰域關系在映射平面里仍然是保持的，即在三維點云中臨近的兩個點在投影到與人臉對稱面垂直的平面后仍然是臨近的，而在二維平面里建立鄰域關系較三維空間來講更容易。因此，在本發(fā)明中，我們采用基于投影和鄰域搜索的改進ICP算法，將主軸坐標系下的三維人臉映射到xoy平面，在xoy平面上確定每個點的鄰域關系，即在ICP匹配查找最近點時，是借助于投影的平面內(nèi)建立的鄰域信息進行的。具體的基于人臉剛性區(qū)域的精確匹配過程如下 將第一剛性區(qū)域與剩余庫集模型匹配區(qū)域中第一個模型匹配區(qū)域相匹配，得到第11匹配結(jié)果d11，將第二剛性區(qū)域與剩余庫集模型匹配區(qū)域中第一個模型匹配區(qū)域相匹配，得到第21匹配結(jié)果d21，將第一剛性區(qū)域的匹配結(jié)果d11與第二剛性區(qū)域的匹配結(jié)果d21采用加法規(guī)則融和，得到測試模型與剩余庫集模型中的第一個模型的匹配結(jié)果d1；將第一剛性區(qū)域與剩余庫集模型匹配區(qū)域中第二個模型匹配區(qū)域相匹配，得到第12匹配結(jié)果d12，將第二剛性區(qū)域與剩余庫集模型匹配區(qū)域中第二個模型匹配區(qū)域相匹配，得到第22匹配結(jié)果d22，將第一剛性區(qū)域的匹配結(jié)果d12與第二剛性區(qū)域的匹配結(jié)果d22采用加法規(guī)則融和，得到測試模型與剩余庫集模型中的第二個模型的匹配結(jié)果d2；依此類推，將第一剛性區(qū)域與剩余庫集模型匹配區(qū)域中第n′個模型匹配區(qū)域相匹配，得到第1n′匹配結(jié)果d1n′，將第二剛性區(qū)域與剩余庫集模型匹配區(qū)域中第n′個模型匹配區(qū)域相匹配，得到第2n′匹配結(jié)果d2n′，將第一剛性區(qū)域的匹配結(jié)果d1n′與第二剛性區(qū)域的匹配結(jié)果d2n′采用加法規(guī)則融和，得到測試模型與剩余庫集模型中的第n′個模型的匹配結(jié)果dn′，其中，n′為剩余庫集模型中的模型個數(shù)。
第一剛性區(qū)域與剩余庫集模型匹配區(qū)域中的各個模型匹配區(qū)域相匹配的匹配方法，與第二剛性區(qū)域與剩余庫集模型匹配區(qū)域中的各個模型匹配區(qū)域相匹配的匹配方法采用相同的匹配方法并得到相應的匹配結(jié)果(圖5)，該相同的匹配方法為 (1)在測試人臉模型中取點集i＝1，2，...，np，

分別表示點集Pik中的點pik的坐標值，上標k表示第k次迭代，k≥1，np表示點集Pik中點的個數(shù)，P為主軸坐標系下的測試人臉模型的點集，所述的主軸坐標系以鼻尖為原點O，以人臉的朝向軸為z軸，以位于人臉對稱平面內(nèi)且與朝向軸垂直的軸為y軸，以垂直于對稱平面的軸為x軸； (2)采用基于映射和鄰域搜索相結(jié)合的搜索算法查找?guī)旒Ｐ忘c云中的對應點使得||Gjk-Pik||最小，并組成對應點對{(pik，gjk)}，共np對，其中，j＝1，2，...，ng，

分別表示點集Gjk中的點gjk的坐標值，ng表示點集Gjk中點的個數(shù)，G為主軸坐標系下的庫集人臉模型的點集，||·||為歐氏范數(shù)； (3)利用(2)中得到的對應點對集合，計算最優(yōu)的旋轉(zhuǎn)矩陣Rk和平移向量Tk，使得目標函數(shù)最??； (4)利用(3)得到的最優(yōu)的旋轉(zhuǎn)矩陣Rk和平移向量Tk更新測試模型點集Pik為Pik+1 (5)計算Pik+1和Gjk之間的對應點對的平均距離dk+1 (6)如果dk-dk+1不小于給定的閾值τ，該閾值τ為0.01，令dk＝dk+1，返回(2)，直至dk-dk+1＜τ為止，以此距離dk+1為最近點平均距離，并以此最近點平均距離dk+1為匹配結(jié)果d，為使第一次迭代順利進行，應為初始對應點對的平均距離d1設定初值，本發(fā)明中設為d1＝100mm。
所述的用于查找?guī)旒Ｐ忘c云中的對應點的基于映射和鄰域搜索相結(jié)合的搜索算法為 (1)主軸坐標系下的測試人臉模型的點集為i＝1，2，...np，np表示點集Pik中的點pik的個數(shù)，主軸坐標系下的庫集人臉模型的點集為j＝1，2，...ng，ng表示點集Gjk中的點gjk的個數(shù)； (2)點集Pik和Gjk在主軸坐標系下的xoy平面上的投影分別為i＝1，2，...np，j＝1，2，...ng，pik′表示點pik在xoy平面上的投影點，gjk′表示點gjk在xoy平面上的投影點，對投影pik′、Gjk′柵格化，定義圍繞在pik′周圍的3*3的方格為pik′的鄰域V(pik′)，Gjk′中的搜索鄰域V′(gjk′)定義為圍繞在gjk′周圍的5*5的方格； (3)采用全局搜索法搜索出點集Pik中的第一個點在點集Gjk中的距離最近的點，組成第一組對應點對，所述的全局搜索法為對點集Pik中的一個點pmk，m＝1，2，....np，計算其與點集Gjk中每個點的距離，以距離最小的點gj′k作為最近點，組成一組對應點對(pmk，gj′k)，1 ≤j′≤ng； (4)點集pik中此后的每個點pik在Gjk中的最近點gjk的搜索方法為判斷投影點pik′是否位于投影點pi-1k′的鄰域V(pi-1k′)之中，當投影點pik′位于投影點pi-1k′的鄰域V(pi-1k′)中時，在pi-1k的對應點gj-1k的投影點gj-1k′的鄰域V(gj-1k′)所對應的三維空間的點集中尋找與pik距離最小的點gjk，并與pik組成對應點對(pik，gjk)；當投影點pik′位于投影點pi-1k′的鄰域V(pi-1k′)之外時，采用全局搜索法搜索鄰域搜索法未能搜索到的pik在Gjk中的最近點。
剩余庫集模型中有n′個模型，在完成上述匹配過程后將產(chǎn)生n′個匹配結(jié)果d1，d2，...，dn′，分別表示了測試模型與剩余庫集模型對應點對的平均距離。
5、識別 采用最近鄰分類器，從匹配結(jié)果中選出相似度最高的一個作為三維人臉識別的結(jié)果，其中，以對應點對平均距離作為相似性度量，認為對應點對平均距離小的相似性高，對應點對平均距離大的相似性低。在匹配結(jié)果d1，d2，...，dn′中求最小值dmin，該最小值在剩余庫集模型中對應的模型即為識別結(jié)果。
權(quán)利要求
1、一種減小表情影響的快速三維人臉識別方法，其特征在于該方法的主要步驟如下
步驟1以鼻尖至鼻根之間的測試人臉模型側(cè)面輪廓線線段作為測試人臉模型中的有價值側(cè)面輪廓線，從測試人臉模型中提取測試人臉模型中的有價值側(cè)面輪廓線，從庫集模型的各個三維人臉模型中提取用于匹配的側(cè)面輪廓線且該用于匹配的側(cè)面輪廓線覆蓋鼻尖至鼻根之間的三維人臉模型側(cè)面輪廓線線段；
步驟2使用迭代最近點算法，從庫集模型中選擇出能與測試人臉模型中的有價值側(cè)面輪廓線相匹配的庫集模型中的三維人臉模型，組成剩余庫集模型；
步驟3從庫集模型的各個三維人臉模型中提取出匹配區(qū)域，該匹配區(qū)域為以鼻尖為球心的球所包含的人臉區(qū)域，再利用剩余庫集模型中的三維人臉模型的索引，從所提取出的匹配區(qū)域中，選取出屬于剩余庫集模型中的三維人臉模型的匹配區(qū)域，組成剩余庫集模型匹配區(qū)域；
步驟4從測試人臉模型中切割第一剛性區(qū)域和第二剛性區(qū)域，所述的第一剛性區(qū)域為包含鼻子的區(qū)域，所述的第二剛性區(qū)域由兩眼之間的區(qū)域以及與兩眼之間區(qū)域相連的部分額頭區(qū)域、部分鼻子區(qū)域組成；
步驟5將第一剛性區(qū)域與剩余庫集模型匹配區(qū)域中第一個模型匹配區(qū)域相匹配，得到第11匹配結(jié)果d11，將第二剛性區(qū)域與剩余庫集模型匹配區(qū)域中第一個模型匹配區(qū)域相匹配，得到第21匹配結(jié)果d21，將第一剛性區(qū)域的匹配結(jié)果d11與第二剛性區(qū)域的匹配結(jié)果d21采用加法規(guī)則融和，得到測試模型與剩余庫集模型中的第一個模型的匹配結(jié)果d1；將第一剛性區(qū)域與剩余庫集模型匹配區(qū)域中第二個模型匹配區(qū)域相匹配，得到第12匹配結(jié)果d12，將第二剛性區(qū)域與剩余庫集模型匹配區(qū)域中第二個模型匹配區(qū)域相匹配，得到第22匹配結(jié)果d22，將第一剛性區(qū)域的匹配結(jié)果d12與第二剛性區(qū)域的匹配結(jié)果d22采用加法規(guī)則融和，得到測試模型與剩余庫集模型中的第二個模型的匹配結(jié)果d2；依此類推，將第一剛性區(qū)域與剩余庫集模型匹配區(qū)域中第n′個模型匹配區(qū)域相匹配，得到第1n′匹配結(jié)果d1n′,將第二剛性區(qū)域與剩余庫集模型匹配區(qū)域中第n′個模型匹配區(qū)域相匹配，得到第2n′匹配結(jié)果d2n′’，將第一剛性區(qū)域的匹配結(jié)果d1n′與第二剛性區(qū)域的匹配結(jié)果d2n′采用加法規(guī)則融和，得到測試模型與剩余庫集模型中的第n′個模型的匹配結(jié)果dn′，其中，n′為剩余庫集模型中的模型個數(shù)，
第一剛性區(qū)域與剩余庫集模型匹配區(qū)域中的各個模型匹配區(qū)域相匹配的匹配方法，與第二剛性區(qū)域與剩余庫集模型匹配區(qū)域中的各個模型匹配區(qū)域相匹配的匹配方法采用相同的匹配方法并得到相應的匹配結(jié)果，該相同的匹配方法為
(1)在測試人臉模型中取點集i＝1，2，...，np，
分別表示點集pik中的點pik的坐標值，上標k表示第k次迭代，k≥1，np表示點集pik中點的個數(shù)，P為主軸坐標系下的測試人臉模型的點集，所述的主軸坐標系以鼻尖為原點O，以人臉的朝向軸為z軸，以位于人臉對稱平面內(nèi)且與朝向軸垂直的軸為y軸，以垂直于對稱平面的軸為x軸，
(2)采用基于映射和鄰域搜索相結(jié)合的搜索算法查找?guī)旒Ｐ忘c云中的對應點使得||Gjk-Pik||最小，并組成對應點對{(pik，gjk)}，共np對，其中，j＝1，2，...，ng，
分別表示點集Gjk中的點gjk的坐標值，ng表示點集Gjk中點的個數(shù)，G為主軸坐標系下的庫集人臉模型的點集，||·||為歐氏范數(shù)，
(3)利用(2)中得到的對應點對集合，計算最優(yōu)的旋轉(zhuǎn)矩陣Rk和平移向量Tk，使得目標函數(shù)最小，
(4)利用(3)得到的最優(yōu)的旋轉(zhuǎn)矩陣Rk和平移向量Tk更新測試模型點集Pik為Pik+1
(5)計算Pik+1和Gjk之間的對應點對的平均距離dk+1
(6)如果dk-dk+1不小于給定的閾值τ，該閾值τ為0.01，令dk＝dk+1，返回(2)，直至dk-dk+1＜τ為止，以此距離dk+1為最近點平均距離，并以此最近點平均距離dk+1為匹配結(jié)果，為使第一次迭代順利進行，應為初始對應點對的平均距離d1設定初值，設為d1＝100mm，
所述的用于查找?guī)旒Ｐ忘c云中的對應點的基于映射和鄰域搜索相結(jié)合的搜索算法為
(1)主軸坐標系下的測試人臉模型的點集為i＝1，2，...np，np表示點集Pik中的點Pik的個數(shù)，主軸坐標系下的庫集人臉模型的點集為j＝1，2，...ng，ng表示點集Gjk中的點gjk的個數(shù)，
(2)點集Pik和Gjk在主軸坐標系下的xoy平面上的投影分別為i＝1，2，...np，j＝1，2，...ng，pik′表示點pik在xoy平面上的投影點，gjk′表示點gjk在xoy平面上的投影點，對投影Pik′、Gjk′柵格化，定義圍繞在pik′周圍的3*3的方格為pik′的鄰域V(pik′)，Gjk′中的搜索鄰域V′(gjk ′)定義為圍繞在gjk′周圍的5*5的方格，
(3)采用全局搜索法搜索出點集Pik中的第一個點在點集Gjk中的距離最近的點，組成第一組對應點對，所述的全局搜索法為對點集Pik中的一個點pmk，m＝1，2，....，np，計算其與點集Gjk中每個點的距離，以距離最小的點gj′k作為最近點，組成一組對應點對(pmk，gj′k)，1≤j′≤ng，
(4)點集Pik中此后的每個點pik在Gjk中的最近點gjk的搜索方法為判斷投影點pik′是否位于投影點pi-1k′的鄰域V(pi-1k′)之中，當投影點pik′位于投影點pi-1k′的鄰域V(pi-1k′)中時，在pi-1k的對應點gj-1k的投影點gj-1k′的鄰域V(gj-1k′)所對應的三維空間的點集中尋找與pik距離最小的點gjk，并與pik組成對應點對(pik，gjk)；當投影點pik′位于投影點pi-1k′的鄰域V(pi-1k′)之外時，采用全局搜索法搜索鄰域搜索法未能搜索到的pik的Gjk中最近點；
步驟6采用最近鄰分類器，從步驟5得到的匹配結(jié)果中選出相似度最高的一個作為三維人臉識別的結(jié)果，其中，以最近點平均距離作為相似性度量，認為最近點平均距離小的相似性高，最近點平均距離大的相似性低。
全文摘要
一種以側(cè)面輪廓線匹配作為排除算法并利用人臉剛性區(qū)域進行精確匹配的減小表情影響的快速三維人臉識別方法首先提取三維人臉模型的鼻尖和內(nèi)眼角特征點，根據(jù)特征點確定人臉對稱面，人臉對稱面與三維人臉點云的交構(gòu)成了側(cè)面輪廓線。在測試人臉模型側(cè)面輪廓線上截取有價值側(cè)面輪廓線，將測試人臉模型有價值側(cè)面輪廓線與庫集人臉模型用于匹配的側(cè)面輪廓線采用迭代最近點算法匹配，根據(jù)匹配結(jié)果排除庫集中部分不相似模型。然后提取測試人臉第一剛性區(qū)域和第二剛性區(qū)域，并分別與剩余庫集模型匹配區(qū)域匹配，匹配采用基于投影和鄰域搜索的改進迭代最近點算法，匹配結(jié)果采用加法規(guī)則融合，最后通過最近鄰分類器得出識別結(jié)果。
文檔編號G06K9/64GK101315661SQ20081002233
公開日2008年12月3日 申請日期2008年7月18日 優(yōu)先權(quán)日2008年7月18日
發(fā)明者達飛鵬, 李曉莉 申請人:東南大學