基于表情不變區(qū)域的三維人臉識(shí)別方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于三維人臉識(shí)別技術(shù)領(lǐng)域，更為具體地講，涉及一種基于表情不變區(qū)域 的三維人臉識(shí)別方法。
【背景技術(shù)】
[0002] 從上世紀(jì)90年代算起，人臉識(shí)別已經(jīng)經(jīng)過了 20多年的發(fā)展。最初的人臉識(shí)別研宄 熱點(diǎn)集中于二維圖像上的人臉識(shí)別，經(jīng)過相關(guān)研宄的推進(jìn)，在限制光照角度、姿態(tài)、表情等 約束條件下二維人臉識(shí)別已經(jīng)能夠取得不錯(cuò)的識(shí)別率，能夠滿足簡(jiǎn)單條件下的應(yīng)用場(chǎng)景。 隨著研宄的推進(jìn)，非理想條件下的人臉識(shí)別成為相關(guān)研宄熱點(diǎn)，但是復(fù)雜條件下的識(shí)別率 沒有取得長(zhǎng)足進(jìn)步。隨著三維掃描技術(shù)的發(fā)展，三維數(shù)據(jù)獲取變得越來越容易，加之計(jì)算機(jī) 處理能力的提升，三維人臉識(shí)別成為研宄熱點(diǎn)。二維圖像從本質(zhì)上說是三維數(shù)據(jù)在平面上 的簡(jiǎn)約投影，所以三維數(shù)據(jù)在信息量方面擁有更為豐富的形狀信息，而且三維數(shù)據(jù)采集過 程基本不受光照影響。但是三維人臉識(shí)別的劣勢(shì)明顯，高分辨率下的三維數(shù)據(jù)匹配需要消 耗大量的計(jì)算時(shí)間，而且三維人臉更易受到表情變化的影響，非剛性變換區(qū)域?qū)⒅苯佑绊?識(shí)別率。因此，需要研宄更好更新的方適當(dāng)法消除表情變化的影響，并盡量減少識(shí)別過程所 需的匹配時(shí)間。
[0003] 三維人臉數(shù)據(jù)一般以點(diǎn)云形式表示，通過空間中虛擬的X、Y、Z軸標(biāo)定每個(gè)點(diǎn)的坐 標(biāo)信息，且點(diǎn)點(diǎn)之間無其他關(guān)聯(lián)。三維人臉識(shí)別的基本流程可以分為預(yù)處理、特征提取、特 征匹配三部分。預(yù)處理部分要解決的主要問題是提取完整的人臉區(qū)域和降噪平滑，由于三 維掃描設(shè)備獲取人臉數(shù)據(jù)時(shí)會(huì)附帶頭發(fā)、肩部等部位，這些部位勢(shì)必會(huì)影響完整人臉提取， 同時(shí)由掃描設(shè)備所引起的空洞、凸起等噪聲也需要予以消除。特征提取是通過特定算法提 取某些值組成向量來表征原有人臉，特征匹配則是以這些向量計(jì)算兩兩人臉之間相似度的 過程。
[0004] 根據(jù)三維人臉識(shí)別所需數(shù)據(jù)的不同可以分為兩類。首先是單模態(tài)識(shí)別，此類識(shí)別 只依靠三維人臉數(shù)據(jù)進(jìn)行識(shí)別，人臉關(guān)鍵點(diǎn)標(biāo)定、特征提取等步驟依賴于原生三維數(shù)據(jù)。單 模態(tài)識(shí)別可以分為基于特征的方法和基于整體分析的方法兩種。其次是多模態(tài)識(shí)別，由于 三維數(shù)據(jù)缺乏二維圖像上的紋理信息，所以在三維數(shù)據(jù)的基礎(chǔ)上融合二維圖像從理論上能 夠獲得更高的信息量，提取到的特征更有區(qū)分度，從而提高識(shí)別率。
[0005] 多模態(tài)識(shí)別有多種理解形式，可以利用不同傳感器獲得不同表示形式進(jìn)行識(shí)別， 也可以利用多條件下不同取樣進(jìn)行識(shí)別，或者利用不同算法的結(jié)果進(jìn)行融合得到最終識(shí)別 結(jié)果。針對(duì)三維人臉上的多模態(tài)識(shí)別，Tsalakanidou利用PCA對(duì)彩色圖像、深度圖像分別 進(jìn)行處理，并將其結(jié)果融合作為最終識(shí)別結(jié)果；Mian依據(jù)三維人臉的球面表示設(shè)計(jì)了一個(gè) 拒絕分類器，從而能夠篩選部分待識(shí)別人臉并減少計(jì)算量，提取人臉受表情影響較小的區(qū) 域表示原有人臉，并基于這些區(qū)域進(jìn)行人臉識(shí)別。但是目前的多模態(tài)識(shí)別方法，在提取表情 不變區(qū)域時(shí)精確底較低，因此在消除表情變化影響方面仍然存在不足。

【發(fā)明內(nèi)容】

[0006] 本發(fā)明的目的在于克服現(xiàn)有技術(shù)的不足，提供一種基于表情不變區(qū)域的三維人臉 識(shí)別方法，通過二維圖像和三維圖像結(jié)合，準(zhǔn)確提取人臉的鼻尖點(diǎn)，以此來獲取精確度更高 的人臉區(qū)域和表情不變區(qū)域，從而提高三維人臉識(shí)別的準(zhǔn)確度。
[0007] 為實(shí)現(xiàn)上述發(fā)明目的，本發(fā)明基于表情不變區(qū)域的三維人臉識(shí)別方法包括以下步 驟：
[0008] S1 :分別提取待識(shí)別樣本和對(duì)照樣本的統(tǒng)計(jì)特征和表情不變區(qū)域，每幅三維人臉 數(shù)據(jù)的特征提取的具體步驟包括：
[0009] SI. 1 :對(duì)三維人臉數(shù)據(jù)對(duì)應(yīng)的二維人臉圖像進(jìn)行人臉區(qū)域檢測(cè)；
[0010] S1. 2 :根據(jù)二維人臉圖像檢測(cè)到的人臉區(qū)域的X坐標(biāo)范圍和y坐標(biāo)范圍，從三維人 臉數(shù)據(jù)提取出對(duì)應(yīng)的三維人臉區(qū)域，作為初始三維人臉區(qū)域；
[0011] S1. 3 :根據(jù)步驟S1. 2得到的初始三維人臉區(qū)域進(jìn)行鼻尖點(diǎn)檢測(cè)，得到鼻尖點(diǎn)；
[0012] S1. 4 :以鼻尖點(diǎn)為球心，計(jì)算三維人臉數(shù)據(jù)中每個(gè)點(diǎn)到鼻尖點(diǎn)的距離，如果距離小 于預(yù)設(shè)半徑R，則該點(diǎn)屬于三維人臉區(qū)域，否則不屬于，從而得到三維人臉區(qū)域；
[0013] S1. 5 :對(duì)步驟S1. 4得到的三維人臉區(qū)域進(jìn)行人臉姿態(tài)校正，得到校正后的三維人 臉區(qū)域；
[0014] S1.6:對(duì)于步驟S1.5得到的三維人臉區(qū)域，設(shè)置K個(gè)半徑Xk，k= 1，2,…，K，入k <Ak+1，且AK<R，以鼻尖點(diǎn)為球心，分別統(tǒng)計(jì)以Ak為半徑的球體內(nèi)的三維人臉數(shù)據(jù)點(diǎn)數(shù) fk，構(gòu)建統(tǒng)計(jì)特征向量F=的，f2，…，fK);
[0015] SI. 7 :提取表情不變區(qū)域，具體方法為：首先獲取鼻尖點(diǎn)（xa，ya，za)的橫向切片， 再以鼻尖點(diǎn)為圓心、以預(yù)設(shè)半徑v在切片平面上作圓，求得與鼻尖點(diǎn)橫向切片的兩個(gè)交點(diǎn) (xb，yb，zb)、（x^yZ。）；在步驟S1.5得到的三維人臉區(qū)域內(nèi)，遍歷每個(gè)點(diǎn)（x，y，z)，如果 xe[Xb,xj并且yG[ya-Sya+ 6 2]，或者y>ya+ 6 2，其中Si表示向下偏移量，S2表示 向上偏移量，那么該點(diǎn)屬于表情不變區(qū)域，否則不屬于；
[0016] S2 :將對(duì)照樣本的統(tǒng)計(jì)特征向量作為拒絕分類器的對(duì)照樣本，計(jì)算待識(shí)別樣本的 三維人臉區(qū)域的統(tǒng)計(jì)特征向量和每個(gè)對(duì)照樣本的統(tǒng)計(jì)特征向量的距離，將對(duì)照樣本按照距 離從小到大進(jìn)行排序，根據(jù)預(yù)定比例選擇前若干個(gè)對(duì)照樣本作為待選對(duì)照樣本；
[0017] S3 :根據(jù)待識(shí)別樣本和步驟S2得到的待選對(duì)照樣本，將待識(shí)別樣本的表情不變區(qū) 域的坐標(biāo)點(diǎn)集和每個(gè)待選對(duì)照樣本的表情不變區(qū)域的坐標(biāo)點(diǎn)集進(jìn)行匹配，選擇匹配誤差最 小的Q個(gè)待選對(duì)照樣本作為識(shí)別結(jié)果。
[0018] 本發(fā)明基于表情不變區(qū)域的三維人臉識(shí)別方法，首先從三維人臉數(shù)據(jù)對(duì)應(yīng)的二維 人臉圖像中檢測(cè)得到二人臉區(qū)域，根據(jù)二維人臉區(qū)域在三維人臉數(shù)據(jù)中提取到初始三維人 臉區(qū)域，對(duì)其進(jìn)行橫向切片，檢測(cè)得到鼻尖點(diǎn)，再根據(jù)鼻尖點(diǎn)提取到較準(zhǔn)確的三維人臉區(qū) 域，然后從該三維人臉區(qū)域中提取統(tǒng)計(jì)特征向量和表情不變區(qū)域，將對(duì)照樣本的統(tǒng)計(jì)特征 向量作為拒絕分類器的對(duì)照樣本，根據(jù)待識(shí)別樣本的統(tǒng)計(jì)特征向量得到待選對(duì)照樣本，再 將待識(shí)別樣本的表情不變區(qū)域的點(diǎn)集與待選對(duì)照樣本的表情不變區(qū)域的點(diǎn)集進(jìn)行匹配，根 據(jù)匹配誤差得到識(shí)別結(jié)果。
[0019] 本發(fā)明具有以下有益效果：
[0020] (1)采用二維人臉圖像和三維人臉數(shù)據(jù)相結(jié)合的方法得到三維人臉區(qū)域，使提取 到的三維人臉區(qū)域更準(zhǔn)確；
[0021] (2)通過對(duì)三維人臉區(qū)域的人臉姿態(tài)校正，可以對(duì)待識(shí)別樣本和對(duì)照樣本進(jìn)行粗 略校正，避免匹配算法的不收斂；
[0022] (3)通過鼻尖點(diǎn)來得到表情不變區(qū)域，能夠適應(yīng)人臉的變化，使表情不變區(qū)域更加 準(zhǔn)確。
【附圖說明】
[0023] 圖1是本發(fā)明基于表情不變區(qū)域的三維人臉識(shí)別方法的流程圖；
[0024] 圖2是人臉特征提取的流程圖；
[0025] 圖3是三維人臉數(shù)據(jù)的示例圖；
[0026] 圖4是三維人臉數(shù)據(jù)進(jìn)行噪聲消除的示例圖；
[0027] 圖5是二維人臉圖像的人臉檢測(cè)結(jié)果圖；
[0028] 圖6是基于切片的鼻尖點(diǎn)檢測(cè)的原理示意圖；
[0029] 圖7是提取到的三維人臉區(qū)域示例圖；
[0030] 圖8是統(tǒng)計(jì)特征提取示意圖；
[0031] 圖9是提取表情不變區(qū)域