基于表情不變區(qū)域的三維人臉識(shí)別方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于三維人臉識(shí)別技術(shù)領(lǐng)域,更為具體地講,涉及一種基于表情不變區(qū)域 的三維人臉識(shí)別方法。
【背景技術(shù)】
[0002] 從上世紀(jì)90年代算起,人臉識(shí)別已經(jīng)經(jīng)過了 20多年的發(fā)展。最初的人臉識(shí)別研宄 熱點(diǎn)集中于二維圖像上的人臉識(shí)別,經(jīng)過相關(guān)研宄的推進(jìn),在限制光照角度、姿態(tài)、表情等 約束條件下二維人臉識(shí)別已經(jīng)能夠取得不錯(cuò)的識(shí)別率,能夠滿足簡(jiǎn)單條件下的應(yīng)用場(chǎng)景。 隨著研宄的推進(jìn),非理想條件下的人臉識(shí)別成為相關(guān)研宄熱點(diǎn),但是復(fù)雜條件下的識(shí)別率 沒有取得長(zhǎng)足進(jìn)步。隨著三維掃描技術(shù)的發(fā)展,三維數(shù)據(jù)獲取變得越來越容易,加之計(jì)算機(jī) 處理能力的提升,三維人臉識(shí)別成為研宄熱點(diǎn)。二維圖像從本質(zhì)上說是三維數(shù)據(jù)在平面上 的簡(jiǎn)約投影,所以三維數(shù)據(jù)在信息量方面擁有更為豐富的形狀信息,而且三維數(shù)據(jù)采集過 程基本不受光照影響。但是三維人臉識(shí)別的劣勢(shì)明顯,高分辨率下的三維數(shù)據(jù)匹配需要消 耗大量的計(jì)算時(shí)間,而且三維人臉更易受到表情變化的影響,非剛性變換區(qū)域?qū)⒅苯佑绊?識(shí)別率。因此,需要研宄更好更新的方適當(dāng)法消除表情變化的影響,并盡量減少識(shí)別過程所 需的匹配時(shí)間。
[0003] 三維人臉數(shù)據(jù)一般以點(diǎn)云形式表示,通過空間中虛擬的X、Y、Z軸標(biāo)定每個(gè)點(diǎn)的坐 標(biāo)信息,且點(diǎn)點(diǎn)之間無其他關(guān)聯(lián)。三維人臉識(shí)別的基本流程可以分為預(yù)處理、特征提取、特 征匹配三部分。預(yù)處理部分要解決的主要問題是提取完整的人臉區(qū)域和降噪平滑,由于三 維掃描設(shè)備獲取人臉數(shù)據(jù)時(shí)會(huì)附帶頭發(fā)、肩部等部位,這些部位勢(shì)必會(huì)影響完整人臉提取, 同時(shí)由掃描設(shè)備所引起的空洞、凸起等噪聲也需要予以消除。特征提取是通過特定算法提 取某些值組成向量來表征原有人臉,特征匹配則是以這些向量計(jì)算兩兩人臉之間相似度的 過程。
[0004] 根據(jù)三維人臉識(shí)別所需數(shù)據(jù)的不同可以分為兩類。首先是單模態(tài)識(shí)別,此類識(shí)別 只依靠三維人臉數(shù)據(jù)進(jìn)行識(shí)別,人臉關(guān)鍵點(diǎn)標(biāo)定、特征提取等步驟依賴于原生三維數(shù)據(jù)。單 模態(tài)識(shí)別可以分為基于特征的方法和基于整體分析的方法兩種。其次是多模態(tài)識(shí)別,由于 三維數(shù)據(jù)缺乏二維圖像上的紋理信息,所以在三維數(shù)據(jù)的基礎(chǔ)上融合二維圖像從理論上能 夠獲得更高的信息量,提取到的特征更有區(qū)分度,從而提高識(shí)別率。
[0005] 多模態(tài)識(shí)別有多種理解形式,可以利用不同傳感器獲得不同表示形式進(jìn)行識(shí)別, 也可以利用多條件下不同取樣進(jìn)行識(shí)別,或者利用不同算法的結(jié)果進(jìn)行融合得到最終識(shí)別 結(jié)果。針對(duì)三維人臉上的多模態(tài)識(shí)別,Tsalakanidou利用PCA對(duì)彩色圖像、深度圖像分別 進(jìn)行處理,并將其結(jié)果融合作為最終識(shí)別結(jié)果;Mian依據(jù)三維人臉的球面表示設(shè)計(jì)了一個(gè) 拒絕分類器,從而能夠篩選部分待識(shí)別人臉并減少計(jì)算量,提取人臉受表情影響較小的區(qū) 域表示原有人臉,并基于這些區(qū)域進(jìn)行人臉識(shí)別。但是目前的多模態(tài)識(shí)別方法,在提取表情 不變區(qū)域時(shí)精確底較低,因此在消除表情變化影響方面仍然存在不足。
【發(fā)明內(nèi)容】
[0006] 本發(fā)明的目的在于克服現(xiàn)有技術(shù)的不足,提供一種基于表情不變區(qū)域的三維人臉 識(shí)別方法,通過二維圖像和三維圖像結(jié)合,準(zhǔn)確提取人臉的鼻尖點(diǎn),以此來獲取精確度更高 的人臉區(qū)域和表情不變區(qū)域,從而提高三維人臉識(shí)別的準(zhǔn)確度。
[0007] 為實(shí)現(xiàn)上述發(fā)明目的,本發(fā)明基于表情不變區(qū)域的三維人臉識(shí)別方法包括以下步 驟:
[0008] S1 :分別提取待識(shí)別樣本和對(duì)照樣本的統(tǒng)計(jì)特征和表情不變區(qū)域,每幅三維人臉 數(shù)據(jù)的特征提取的具體步驟包括:
[0009] SI. 1 :對(duì)三維人臉數(shù)據(jù)對(duì)應(yīng)的二維人臉圖像進(jìn)行人臉區(qū)域檢測(cè);
[0010] S1. 2 :根據(jù)二維人臉圖像檢測(cè)到的人臉區(qū)域的X坐標(biāo)范圍和y坐標(biāo)范圍,從三維人 臉數(shù)據(jù)提取出對(duì)應(yīng)的三維人臉區(qū)域,作為初始三維人臉區(qū)域;
[0011] S1. 3 :根據(jù)步驟S1. 2得到的初始三維人臉區(qū)域進(jìn)行鼻尖點(diǎn)檢測(cè),得到鼻尖點(diǎn);
[0012] S1. 4 :以鼻尖點(diǎn)為球心,計(jì)算三維人臉數(shù)據(jù)中每個(gè)點(diǎn)到鼻尖點(diǎn)的距離,如果距離小 于預(yù)設(shè)半徑R,則該點(diǎn)屬于三維人臉區(qū)域,否則不屬于,從而得到三維人臉區(qū)域;
[0013] S1. 5 :對(duì)步驟S1. 4得到的三維人臉區(qū)域進(jìn)行人臉姿態(tài)校正,得到校正后的三維人 臉區(qū)域;
[0014] S1.6:對(duì)于步驟S1.5得到的三維人臉區(qū)域,設(shè)置K個(gè)半徑Xk,k= 1,2,…,K,入k <Ak+1,且AK<R,以鼻尖點(diǎn)為球心,分別統(tǒng)計(jì)以Ak為半徑的球體內(nèi)的三維人臉數(shù)據(jù)點(diǎn)數(shù) fk,構(gòu)建統(tǒng)計(jì)特征向量F=的,f2,…,fK);
[0015] SI. 7 :提取表情不變區(qū)域,具體方法為:首先獲取鼻尖點(diǎn)(xa,ya,za)的橫向切片, 再以鼻尖點(diǎn)為圓心、以預(yù)設(shè)半徑v在切片平面上作圓,求得與鼻尖點(diǎn)橫向切片的兩個(gè)交點(diǎn) (xb,yb,zb)、(x^yZ。);在步驟S1.5得到的三維人臉區(qū)域內(nèi),遍歷每個(gè)點(diǎn)(x,y,z),如果 xe[Xb,xj并且yG[ya-Sya+ 6 2],或者y>ya+ 6 2,其中Si表示向下偏移量,S2表示 向上偏移量,那么該點(diǎn)屬于表情不變區(qū)域,否則不屬于;
[0016] S2 :將對(duì)照樣本的統(tǒng)計(jì)特征向量作為拒絕分類器的對(duì)照樣本,計(jì)算待識(shí)別樣本的 三維人臉區(qū)域的統(tǒng)計(jì)特征向量和每個(gè)對(duì)照樣本的統(tǒng)計(jì)特征向量的距離,將對(duì)照樣本按照距 離從小到大進(jìn)行排序,根據(jù)預(yù)定比例選擇前若干個(gè)對(duì)照樣本作為待選對(duì)照樣本;
[0017] S3 :根據(jù)待識(shí)別樣本和步驟S2得到的待選對(duì)照樣本,將待識(shí)別樣本的表情不變區(qū) 域的坐標(biāo)點(diǎn)集和每個(gè)待選對(duì)照樣本的表情不變區(qū)域的坐標(biāo)點(diǎn)集進(jìn)行匹配,選擇匹配誤差最 小的Q個(gè)待選對(duì)照樣本作為識(shí)別結(jié)果。
[0018] 本發(fā)明基于表情不變區(qū)域的三維人臉識(shí)別方法,首先從三維人臉數(shù)據(jù)對(duì)應(yīng)的二維 人臉圖像中檢測(cè)得到二人臉區(qū)域,根據(jù)二維人臉區(qū)域在三維人臉數(shù)據(jù)中提取到初始三維人 臉區(qū)域,對(duì)其進(jìn)行橫向切片,檢測(cè)得到鼻尖點(diǎn),再根據(jù)鼻尖點(diǎn)提取到較準(zhǔn)確的三維人臉區(qū) 域,然后從該三維人臉區(qū)域中提取統(tǒng)計(jì)特征向量和表情不變區(qū)域,將對(duì)照樣本的統(tǒng)計(jì)特征 向量作為拒絕分類器的對(duì)照樣本,根據(jù)待識(shí)別樣本的統(tǒng)計(jì)特征向量得到待選對(duì)照樣本,再 將待識(shí)別樣本的表情不變區(qū)域的點(diǎn)集與待選對(duì)照樣本的表情不變區(qū)域的點(diǎn)集進(jìn)行匹配,根 據(jù)匹配誤差得到識(shí)別結(jié)果。
[0019] 本發(fā)明具有以下有益效果:
[0020] (1)采用二維人臉圖像和三維人臉數(shù)據(jù)相結(jié)合的方法得到三維人臉區(qū)域,使提取 到的三維人臉區(qū)域更準(zhǔn)確;
[0021] (2)通過對(duì)三維人臉區(qū)域的人臉姿態(tài)校正,可以對(duì)待識(shí)別樣本和對(duì)照樣本進(jìn)行粗 略校正,避免匹配算法的不收斂;
[0022] (3)通過鼻尖點(diǎn)來得到表情不變區(qū)域,能夠適應(yīng)人臉的變化,使表情不變區(qū)域更加 準(zhǔn)確。
【附圖說明】
[0023] 圖1是本發(fā)明基于表情不變區(qū)域的三維人臉識(shí)別方法的流程圖;
[0024] 圖2是人臉特征提取的流程圖;
[0025] 圖3是三維人臉數(shù)據(jù)的示例圖;
[0026] 圖4是三維人臉數(shù)據(jù)進(jìn)行噪聲消除的示例圖;
[0027] 圖5是二維人臉圖像的人臉檢測(cè)結(jié)果圖;
[0028] 圖6是基于切片的鼻尖點(diǎn)檢測(cè)的原理示意圖;
[0029] 圖7是提取到的三維人臉區(qū)域示例圖;
[0030] 圖8是統(tǒng)計(jì)特征提取示意圖;
[0031] 圖9是提取表情不變區(qū)域