專利名稱：多模態(tài)信息結(jié)合的多姿態(tài)三維人臉面部五官標(biāo)志點定位方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種多姿態(tài)三維人臉面部五官標(biāo)志點定位方法，特別是一種多模態(tài)信 息結(jié)合的多姿態(tài)三維人臉面部五官標(biāo)志點定位方法。
背景技術(shù)：
多姿態(tài)人臉五官標(biāo)志點提取是人臉建模、表情分析及人臉識別中的關(guān)鍵技術(shù)，準(zhǔn) 確高效的面部五官特征提取能夠為上述應(yīng)用奠定良好的基礎(chǔ)。文 獻"Guangpeng Zhang, Yunhong Wang. A 3D facial feature point localization method based on statistical shape model, in Proceeding of ICASSP2007，pp. 249-252. ”公開了一種多姿態(tài)三維人臉面部五官標(biāo)志點定位方法。該方法 通過檢測面部曲面形狀變化，并建立五官分布統(tǒng)計模型對人臉五官標(biāo)志點進行定位。首先， 采用曲面形狀索引特征對人臉表面區(qū)域進行粗分割，分割出五官區(qū)域；其次采用面部五官 統(tǒng)計形狀模型對分割后的區(qū)域進行特征點定位，五官區(qū)域中滿足統(tǒng)計形狀模型分割規(guī)律且 距離區(qū)域中心點最近的點即為最終定位的五官特征點，從而實現(xiàn)姿態(tài)不變特征點的提取。 但是，該方法存在以下問題首先，該方法中的曲面形狀索引受曲面噪聲點的影響較大，定 位準(zhǔn)確率只有88. 3% ；其次，采用五官統(tǒng)計形狀模型對姿態(tài)有著較大的依賴性，雖然能夠克 服部分姿態(tài)影響，但是對于姿態(tài)變化較大的人臉模型，定位準(zhǔn)確率僅僅達到57. 5%。

發(fā)明內(nèi)容
為了克服現(xiàn)有的多姿態(tài)三維人臉面部五官標(biāo)志點定位方法對姿態(tài)魯棒性差的不 足，本發(fā)明提供一種多模態(tài)信息結(jié)合的多姿態(tài)三維人臉面部五官標(biāo)志點定位方法。該方法 采用多模態(tài)信息結(jié)合進行三維人臉面部五官標(biāo)志點定位，借助二維圖像中五官結(jié)構(gòu)輪廓清 晰和三維人臉模型中五官標(biāo)志區(qū)域凹凸分明的優(yōu)勢，能夠不用預(yù)先對人臉模型的姿態(tài)進行 估計和補償，從而對姿態(tài)有著較強的魯棒性。本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案一種多模態(tài)信息結(jié)合的多姿態(tài)三維人 臉面部五官標(biāo)志點定位方法，其特點是包括下述步驟(a)對人臉二維紋理圖像進行特征點檢測，將每幅人臉二維紋理圖像對由前視位 置繞相機光軸方向變化產(chǎn)生的圖像形變失真進行精確仿真，傾斜轉(zhuǎn)換度由定向的t子采
樣，仿真圖像依照 =」7進行Φ旋轉(zhuǎn)，在X方向采用標(biāo)準(zhǔn)偏差^r^的高斯函數(shù)對圖像
COS^cVr -1
進行卷積操作，C = 0.8 ；式中，Φ是相機經(jīng)度角，θ是相機緯度角；對形變變量通過相機經(jīng)度角Φ和相機緯度角θ調(diào)節(jié)；采用相似度不變匹配方法對所有仿真圖像進行比較，提取出的特征點中抽取最具 有代表性的五官特征描述點；(b)將人臉二維紋理圖像中檢測出的五官特征點數(shù)據(jù)U = Iui e R2 :i = 1,2,'",N}，R2表示二維數(shù)據(jù)空間，根據(jù)相應(yīng)關(guān)系映射到三維人臉模型中；二維圖像中非人臉區(qū)域內(nèi) 檢測出的特征點在三維人臉數(shù)據(jù)中對應(yīng)點的特征值為0，即非人臉區(qū)域，將非人臉區(qū)域點從 三維人臉數(shù)據(jù)中剔除；對三維人臉模型數(shù)據(jù)集P {Pi，i = 1,2, ...,N}中的每一個頂點Pi， 計算由最大曲率和最小曲率、,,表示的三維人臉五官區(qū)域凹凸變化的結(jié)構(gòu)描述信息脊線作為人臉五官的局部突變點集；式中，kthreshl, kthresh2分別為局部區(qū)域的門限曲率， 由遺傳算法計算得出，得到人臉五官區(qū)域位置的脊線Udge和谷線Ivalley ；(c) Stepl 分別對不同姿態(tài)三維人臉數(shù)據(jù)集Mf*Mnf的突變點集合PF|mart|f* PG|marknf中的每一個標(biāo)志點Pi, Fimar/, Pj, F|maAnf，建立形狀編碼，并比較Mf和Mnf特征點對間的 約束關(guān)系及=(p,,Fima/ PjMnf IU e 斤}；St印2 對R建立的點對約束，計算PF|maritf和PF|maAnf各點的匹配誤差D (pijF|markf, Pj, F|maritnf)，統(tǒng)計出偏差閾值τ ；乂印3:去除PF|maAf*PF|maAnf中誤差值大于偏差閾值τ的點，建立新的集合 PF|fflarkf/和PF|maAnf'，轉(zhuǎn)&印2，若相鄰兩次閾值差小于給定誤差值，迭代結(jié)束；Step4 :PF|markf'和PF|■廣即是相應(yīng)人臉數(shù)據(jù)模型中的五官標(biāo)志點。本發(fā)明的有益效果是由于采用多模態(tài)信息結(jié)合進行三維人臉面部五官標(biāo)志點定 位，借助二維圖像中五官結(jié)構(gòu)輪廓清晰和三維人臉模型中五官標(biāo)志區(qū)域凹凸分明的優(yōu)勢， 能夠不用預(yù)先對人臉模型的姿態(tài)進行估計和補償，從而對姿態(tài)有著較強的魯棒性，對正面 三維人臉模型的五官標(biāo)志點平均定位準(zhǔn)確率達到98. 5%，對姿態(tài)變化較小人臉模型，定位 準(zhǔn)確率由背景技術(shù)的88. 3%提高到91. 6% ；對于姿態(tài)變化較大的人臉模型，本發(fā)明具有顯 著的優(yōu)越性，定位準(zhǔn)確率由背景技術(shù)的57. 5%提高到73. 5%，遠遠高于背景技術(shù)的定位準(zhǔn) 確率。下面結(jié)合具體實施方式
對本發(fā)明作詳細說明。
具體實施例方式本發(fā)明多模態(tài)信息結(jié)合的多姿態(tài)三維人臉面部五官標(biāo)志點定位方法，首先對二維 人臉紋理圖像采用仿射不變的AfTine-SIFT方法進行特征點檢測；然后，利用映射關(guān)系將 二維空間中檢測出的特征點投影到三維空間，對三維人臉模型數(shù)據(jù)集中的每一個頂點，計 算由最大、最小曲率表示的三維人臉五官區(qū)域凹凸變化的結(jié)構(gòu)描述信息脊線和谷線，作為 人臉五官的局部突變點集；最后，建立不同姿態(tài)人臉特征點對間的約束關(guān)系，用最小二乘 法進行匹配優(yōu)化，對匹配結(jié)果進行統(tǒng)計分析，得出某一偏差值，使絕大多數(shù)點均在該偏差值 以內(nèi)，以此偏差值作為閾值濾除偏差大的點，建立新的集合，認為被濾出的點是非五官標(biāo)志 點，直到相鄰兩次閾值之差小于給定的誤差值，將此時集合中的點確定為人臉五官標(biāo)志點。 由于本發(fā)明采用多模態(tài)信息結(jié)合的思路進行三維人臉面部五官標(biāo)志點定位，借助二維圖像 中五官結(jié)構(gòu)輪廓清晰和三維人臉模型中五官標(biāo)志區(qū)域較易凹凸分明的優(yōu)勢，能夠不用預(yù)先 對人臉模型的姿態(tài)進行估計和補償，從而對姿態(tài)有著較強的魯棒性，實現(xiàn)了對多姿態(tài)三維人臉面部五官標(biāo)志點的定位。1、基于二維紋理圖像的特征點檢測。人臉可以在三維空間中進行6自由度的運動，同時實際應(yīng)用中不同相機獲取到的 人臉圖像由于相機光軸方向的變化而產(chǎn)生圖像失真，從而使得人臉特征點的檢測面臨著更 大的困難。ASIFT(Affine Scale Invariant Feature Transform)在保留 SIFT 方法優(yōu)良 性能，如對旋轉(zhuǎn)、尺度縮放、平移、亮度變化保持不變性，對視角變化、噪聲也保持一定程度 的穩(wěn)定性的基礎(chǔ)上，對仿射變化具有更強的不敏感性。ASIFT方法首先對由相機光軸方向 變化產(chǎn)生的圖像失真進行精確仿真，然后，采用與SIFT相同的步驟進行特征點檢測。ASIFT 能夠?qū)θ齻€參數(shù)進行仿真，即尺度、相機經(jīng)度角和相機緯度角，同時對旋轉(zhuǎn)和平移參數(shù)進行 歸一化，因此對仿射變換具有不變性。ASIFT方法具體實現(xiàn)步驟如下Stepl 將每幅圖對由前視位置繞相機光軸方向可能引起的仿射形變進行仿真， 該形變由兩個參數(shù)決定相機經(jīng)度角Φ和緯度角Θ。圖像經(jīng)由依照傾斜轉(zhuǎn)換度相關(guān)參數(shù)
t = 進行Φ旋轉(zhuǎn)。對于數(shù)字圖像而言，傾斜轉(zhuǎn)換度由一個定向的t子采樣來完成，該過
COS汐
程需要首先在X方向上使用一個有著標(biāo)準(zhǔn)偏差cr^v/^I的高斯函數(shù)來對圖像進行卷積操作， 選取c = 0. 8。St印2 這些旋轉(zhuǎn)和傾斜轉(zhuǎn)換度變量通過一系列有限的緯度和經(jīng)度角來調(diào)節(jié)，這些 參數(shù)的采樣步驟保證仿真圖像與其他由相機經(jīng)度角Φ和緯度角θ產(chǎn)生的視圖相似性較 強。St印3 所有仿真圖像用相似度不變匹配方法SIFT來進行比較。ASIFT對仿射變換具有不變性，同時由于其保留了 SIFT本身對尺度、旋轉(zhuǎn)、平移的 不變特性，因此ASIFT能夠較為魯棒地檢測同一個體的不同姿態(tài)人臉圖像對間相匹配的特 征點對。但是由ASIFT提取的大多數(shù)特征點在人臉五官描述方面并沒有實際意義，對于人 臉識別所需要的最為重要的五官描述標(biāo)志點，絕大多數(shù)特征點為冗余特征。為了有效地進 行人臉分析，必須從提取出的特征點中抽取最具有代表性的五官特征描述點。2、五官局部突變描述。人臉庫中的二維圖像數(shù)據(jù)U= Iui e R2! = 1,2,-,N}與三維網(wǎng)格數(shù)據(jù)V = Ivj =(Xj，yj，Zj) e R3 :j = 1,2, -,Μ}存在映射關(guān)系，記為 ψ =Ui — Vj，/ = l，2,...,iV|v, ￠0，R2， R3分別表示二維、三維數(shù)據(jù)空間。將二維圖像的特征點向三維空間進行映射，二維圖像中非 人臉區(qū)域內(nèi)檢測出的特征點在三維人臉數(shù)據(jù)中對應(yīng)點的特征值為0，即非人臉區(qū)域，由此可 以將非面部區(qū)域點從三維人臉數(shù)據(jù)中自動剔除。以P{Pi，i = 1,2,...,N}表示三維人臉數(shù)據(jù)集合，對該數(shù)據(jù)集中的每一個頂點Pi， 其最大和最小曲率分別表示為年,,和，能夠描述曲面結(jié)構(gòu)的重要信息，而由最大最小曲率 計算出的三維曲面上的脊線和谷線能夠較好地描述人臉五官區(qū)域的凹凸變化，分別以lHdge 和Ivalley表示，其計算原則為Indge = {ρ,, Α^ > kthKM)\Pl e ρ}(1) Imlley ={p if(k2pi <Kthreshl)\ρ, eρ}(2)
其中kthreshl、kthresh2分別為局部區(qū)域的門限曲率，其值可以由遺傳算法計算得出。 由以上谷線和脊線的計算原則，能分別得到人臉五官區(qū)域位置的谷線和脊線。假設(shè)映射到三維空間的面部區(qū)域特征點集由尋PF{PFJ，j = 1,2,...,M;M<N}表示，在該集合中按照式(1)
和⑵計算滿足脊線和谷線的點，并保留相應(yīng)的脊線和谷線。令特征點集Pf內(nèi)的脊線和谷 線分別標(biāo)記為PFki_，PF|valley，并將兩集合合并為PF|mart，表示人臉五官的局部突變點集。3、迭代約束的五官標(biāo)志點定位。為了從五官局部突變點集合PF|marit中確定最終的標(biāo)志點，需要建立不同姿態(tài)人臉 數(shù)據(jù)集中五官標(biāo)志點間的約束關(guān)系，并采用迭代優(yōu)化的方式進行修正，達到最優(yōu)匹配。算法 思想為建立不同姿態(tài)人臉特征點對間的約束關(guān)系，然后用最小二乘法進行匹配優(yōu)化，對匹 配結(jié)果進行統(tǒng)計分析，得出某一偏差值τ，使絕大多數(shù)點均在該偏差值以內(nèi)，以此偏差值作 為閾值濾除偏差大的點，建立新的集合PF|maA'，認為被濾出的點是非五官標(biāo)志點，直到相 鄰兩次閾值之差小于給定的誤差值，將此時集合PF|maA'中的點確定為人臉五官標(biāo)志點。算法過程如下Stepl 假設(shè)不同姿態(tài)三維人臉數(shù)據(jù)集Mf,分別對Mf和Mnf的突變點集合PF|martf和 PF|fflarknf中的每一個標(biāo)志點Pi, Fimar/，Pj, Flmarkni,建立形狀編碼，并比較Mf和Mnf特征點對間的 約束關(guān)系及={p,,Flmo/ e PjMnf I ij e N、；Step2 對R建立的點對約束，計算PF|maritf和PF|maAnf各點的匹配誤差D (pijF|markf, Pj, F|maritnf)，統(tǒng)計得出偏差閾值τ ；Step3 去除PF|maAf和PF|martnf中誤差值大于閾值τ的點，建立新的集合PF|martf ‘ 和PF|maAnf ‘，轉(zhuǎn)&印2，若相鄰兩次閾值差小于給定誤差值，迭代結(jié)束；Srep4:記此時的PF|martf'和PF|maAnf'即為相應(yīng)人臉數(shù)據(jù)模型中的五官標(biāo)志點。
權(quán)利要求
1. 一種多模態(tài)信息結(jié)合的多姿態(tài)三維人臉面部五官標(biāo)志點定位方法，其特征在于包括 下述步驟(a)對人臉二維紋理圖像進行特征點檢測，將每幅人臉二維紋理圖像對由前視位置繞 相機光軸方向變化產(chǎn)生的圖像形變失真進行精確仿真，傾斜轉(zhuǎn)換度由定向的t子采樣，仿真圖像依照 = 進行Φ旋轉(zhuǎn)，在χ方向采用標(biāo)準(zhǔn)偏差^^的高斯函數(shù)對圖像進行卷 cos 汐cVr -1積操作，c = 0.8 ；式中，Φ是相機經(jīng)度角，θ是相機緯度角；對形變變量通過相機經(jīng)度角Φ和相機緯度角θ調(diào)節(jié)；采用相似度不變匹配方法對所有仿真圖像進行比較，提取出的特征點中抽取最具有代 表性的五官特征描述點；(b)將人臉二維紋理圖像中檢測出的五官特征點數(shù)據(jù)U= Iui e R2 :i = 1,2,…，N}， R2表示二維數(shù)據(jù)空間，根據(jù)相應(yīng)關(guān)系映射到三維人臉模型中；二維圖像中非人臉區(qū)域內(nèi)檢 測出的特征點在三維人臉數(shù)據(jù)中對應(yīng)點的特征值為0，即非人臉區(qū)域，將非人臉區(qū)域點從三 維人臉數(shù)據(jù)中剔除；對三維人臉模型數(shù)據(jù)集P{Pi，i = 1,2,...,N}中的每一個頂Api，計算 由最大曲率和最小曲率、,,表示的三維人臉五官區(qū)域凹凸變化的結(jié)構(gòu)描述信息脊線Udge和Ivalley
全文摘要
本發(fā)明公開了一種多模態(tài)信息結(jié)合的多姿態(tài)三維人臉面部五官標(biāo)志點定位方法，用于解決現(xiàn)有的多姿態(tài)三維人臉面部五官標(biāo)志點定位方法對姿態(tài)魯棒性差的技術(shù)問題。技術(shù)方案是采用多模態(tài)信息結(jié)合進行三維人臉面部五官標(biāo)志點定位，借助二維圖像中五官結(jié)構(gòu)輪廓清晰和三維人臉模型中五官標(biāo)志區(qū)域凹凸分明的優(yōu)勢，能夠不用預(yù)先對人臉模型的姿態(tài)進行估計和補償，從而對姿態(tài)有著較強的魯棒性，對正面三維人臉模型的五官標(biāo)志點平均定位準(zhǔn)確率達到98.5％，對姿態(tài)變化較小人臉模型，定位準(zhǔn)確率由背景技術(shù)的88.3％提高到91.6％；對于姿態(tài)變化較大的人臉模型，本發(fā)明具有顯著的優(yōu)越性，定位準(zhǔn)確率由背景技術(shù)的57.5％提高到73.5％。
文檔編號G06K9/00GK102081733SQ201110007180
公開日2011年6月1日 申請日期2011年1月13日 優(yōu)先權(quán)日2011年1月13日
發(fā)明者張艷寧, 林增剛, 梁君, 郗潤平, 郭哲 申請人:西北工業(yè)大學(xué)