一種基于三維數(shù)據(jù)的人臉識(shí)別系統(tǒng)的制作方法
【專利摘要】本發(fā)明公開一種基于三維數(shù)據(jù)的人臉識(shí)別系統(tǒng)，通過(guò)在點(diǎn)云層對(duì)三維數(shù)據(jù)質(zhì)量進(jìn)行初步評(píng)估，檢測(cè)鼻尖區(qū)域，以鼻尖區(qū)域作為基準(zhǔn)數(shù)據(jù)進(jìn)行配準(zhǔn)，進(jìn)行深度人臉圖像映射，再次評(píng)估圖像質(zhì)量后，進(jìn)行深度人臉數(shù)據(jù)進(jìn)行紋理修復(fù)，最后按照訓(xùn)練好的三維人臉視覺詞典進(jìn)行三維數(shù)據(jù)的視覺詞典直方圖向量提取，利用分類器實(shí)現(xiàn)三維人臉識(shí)別。本發(fā)明提高了人臉數(shù)據(jù)的質(zhì)量和三維人臉識(shí)別的效率。
【專利說(shuō)明】-種基于H維數(shù)據(jù)的人臉識(shí)別系統(tǒng) 所屬技術(shù)領(lǐng)域
[0001] 本發(fā)明設(shè)及一種人臉識(shí)別系統(tǒng)，尤其設(shè)及一種=維深度人臉數(shù)據(jù)的人臉識(shí)別系 統(tǒng)。
【背景技術(shù)】
[0002] =維人臉識(shí)別相對(duì)于二維人臉識(shí)別，有著其對(duì)光照魯棒、受姿態(tài)W及表情等因素 影響較小等優(yōu)點(diǎn)，因此在=維數(shù)據(jù)采集技術(shù)飛速發(fā)展W及=維數(shù)據(jù)的質(zhì)量和精度大大提升 之后，很多學(xué)者都將他們的研究投入到該領(lǐng)域中。
[0003] 現(xiàn)階段，=維人臉識(shí)別是=維人臉領(lǐng)域中許多應(yīng)用的基礎(chǔ)性工作。該領(lǐng)域的初始 工作大部分是利用=維數(shù)據(jù)的信息:如曲率，深度等等對(duì)人臉進(jìn)行描述，但是由于=維數(shù)據(jù) 的采集中有很多數(shù)據(jù)的噪點(diǎn)，因此曲率等特征由于其本身對(duì)于噪音的敏感特性，使得其作 為=維人臉的特征描述向量在識(shí)別結(jié)果上精度不高;后面再將=維數(shù)據(jù)映射到深度圖數(shù)據(jù) 后，很多二維人臉的表象特征開始應(yīng)用到該領(lǐng)域，如主成分分析(PCA) W及Gabor濾波器特 征;但是運(yùn)些特征也有各自的缺點(diǎn):對(duì)于PCA特征，由于其隸屬于全局的表象特征，因此對(duì)于 S維數(shù)據(jù)的細(xì)節(jié)紋理描述能力不足;對(duì)于Gabor濾波器特征，由于S維數(shù)據(jù)的噪音問(wèn)題，導(dǎo) 致其對(duì)于=維人臉數(shù)據(jù)的描述能力依賴于獲取的=維人臉數(shù)據(jù)的質(zhì)量。
[0004] CN Pat. No. 201010256907提出了S維彎曲不變量的相關(guān)特征用來(lái)進(jìn)行人臉特性 描述。該方法通過(guò)編碼=維人臉表面相鄰節(jié)點(diǎn)的彎曲不變量的局部特征，提取彎曲不變量 相關(guān)特征;對(duì)所述彎曲不變量的相關(guān)特征進(jìn)行簽名并采用譜回歸進(jìn)行降維，獲得主成分，并 運(yùn)用K最近鄰分類方法對(duì)=維人臉進(jìn)行識(shí)別。但是由于提取變量相關(guān)特征時(shí)需要復(fù)雜的計(jì) 算量，因此在效率上限制了該方法的進(jìn)一步應(yīng)用。
[0005] CN化t.No.200910197378提出了一種全自動(dòng)S維人臉檢測(cè)和姿勢(shì)糾正的方法。該 方法通過(guò)對(duì)人臉=維曲面進(jìn)行多尺度的矩分析，提出了臉部區(qū)域特征來(lái)粗糖地檢測(cè)人臉曲 面，及提出鼻尖區(qū)域特征來(lái)準(zhǔn)確地定位鼻尖的位置，然后進(jìn)一步精確地分割出完整的人臉 曲面，根據(jù)人臉曲面的距離信息提出鼻根區(qū)域特征來(lái)檢測(cè)鼻根的位置后，建立了一個(gè)人臉 坐標(biāo)系，并據(jù)此自動(dòng)地進(jìn)行人臉姿勢(shì)的糾正應(yīng)用。該專利目的在于對(duì)=維人臉數(shù)據(jù)的姿態(tài) 進(jìn)行估計(jì)，屬于=維人臉識(shí)別系統(tǒng)的數(shù)據(jù)預(yù)處理階段。
[0006] 本發(fā)明據(jù)=維點(diǎn)云的特性，提取=維人臉區(qū)域的特征區(qū)域進(jìn)行定位;然后依據(jù)此 特殊區(qū)域首先判斷=維點(diǎn)云是否包含合格的=維人臉，在點(diǎn)云層對(duì)=維數(shù)據(jù)質(zhì)量進(jìn)行初步 評(píng)估;如果存在合格的鼻尖區(qū)域，則W此區(qū)域作為基準(zhǔn)數(shù)據(jù)進(jìn)行配準(zhǔn);數(shù)據(jù)配準(zhǔn)后根據(jù)預(yù)設(shè) 的x、y、z分辨率和位置信息將點(diǎn)云數(shù)據(jù)映射成深度圖像;得到人臉深度圖像后再次進(jìn)行人 臉數(shù)據(jù)質(zhì)量評(píng)估;評(píng)估合格后的深度人臉數(shù)據(jù)進(jìn)行紋理修復(fù)，實(shí)現(xiàn)數(shù)據(jù)去噪W及深度紋理 進(jìn)一步優(yōu)化;最后按照訓(xùn)練好的=維人臉視覺詞典進(jìn)行=維數(shù)據(jù)的視覺詞典直方圖向量提 取，利用分類器實(shí)現(xiàn)=維人臉識(shí)別。本發(fā)明目的在于給出完整的=維人臉識(shí)別解決方案，涵 蓋:數(shù)據(jù)特征區(qū)域提取、數(shù)據(jù)配準(zhǔn)、數(shù)據(jù)預(yù)處理、數(shù)據(jù)質(zhì)量評(píng)估、特征提取W及數(shù)據(jù)分類。

【發(fā)明內(nèi)容】

[0007] 為了提出完整的=維人臉識(shí)別解決方案，解決上述技術(shù)問(wèn)題，本發(fā)明公開一種基 于S維數(shù)據(jù)的人臉識(shí)別系統(tǒng)。
[0008] 一種基于=維數(shù)據(jù)的人臉識(shí)別系統(tǒng)，包括維人臉點(diǎn)云數(shù)據(jù)輸入計(jì)算單元;人臉 特定區(qū)域檢測(cè)計(jì)算單元;數(shù)據(jù)配準(zhǔn)計(jì)算單元;深度人臉數(shù)據(jù)映射計(jì)算單元;深度人臉圖像評(píng) 估計(jì)算單元;深度人臉紋理修復(fù)計(jì)算單元;深度人臉特征提取計(jì)算單元;=維人臉識(shí)別計(jì)算 單元。
[0009] 本發(fā)明包括如下步驟：
[0010] A.S維人臉點(diǎn)云數(shù)據(jù)的輸入；
[0011] B.對(duì)于=維人臉點(diǎn)云數(shù)據(jù)中人臉特定區(qū)域檢測(cè)；
[0012] C.對(duì)于檢測(cè)到的人臉特定區(qū)域進(jìn)行數(shù)據(jù)配準(zhǔn)；
[0013] D.對(duì)于配準(zhǔn)后的=維人臉點(diǎn)云數(shù)據(jù)進(jìn)行深度人臉數(shù)據(jù)映射；
[0014] E.人臉深度數(shù)據(jù)質(zhì)量評(píng)估計(jì)算單元；
[0015] F.對(duì)于深度人臉數(shù)據(jù)進(jìn)行深度人臉紋理修復(fù)；
[0016] G.人臉深度數(shù)的特征提取；
[0017] H.對(duì)于深度人臉數(shù)據(jù)進(jìn)行=維人臉識(shí)別。
[0018] 優(yōu)選的，在上述的一種基于=維數(shù)據(jù)的人臉識(shí)別系統(tǒng)中，所述的步驟A支持各類= 維點(diǎn)云采集設(shè)備的數(shù)據(jù)輸入。
[0019] 優(yōu)選的，在上述的一種基于=維數(shù)據(jù)的人臉識(shí)別系統(tǒng)中，所述的步驟B包括如下步 驟：
[0020] 步驟一:確定域平均負(fù)有效能量密度的闊值，定義為thr;
[0021 ]步驟二:利用數(shù)據(jù)的深度信息，提取在一定深度范圍內(nèi)的人臉數(shù)據(jù)作為待處理數(shù) 據(jù)；
[0022] 步驟計(jì)算由深度信息選取出的人臉數(shù)據(jù)的法向量信息；
[0023] 步驟四：按照區(qū)域平均負(fù)有效能量密度的定義，求出待處理數(shù)據(jù)中各連通域的平 均負(fù)有效能量密度，選擇其中密度值最大的連通域；
[0024] 步驟五：當(dāng)該區(qū)域的闊值大于預(yù)定義的thr時(shí)，該區(qū)域即為鼻尖區(qū)域，否則回到步 驟一繼續(xù)。
[0025] 優(yōu)選的，在上述的一種基于=維數(shù)據(jù)的人臉識(shí)別系統(tǒng)中，所述的步驟C，包括如下 步驟：
[0026] 步驟一:在模板庫(kù)中準(zhǔn)備一幅與標(biāo)準(zhǔn)姿態(tài)相對(duì)應(yīng)的鼻尖區(qū)域的數(shù)據(jù)；
[0027] 步驟二:得到配準(zhǔn)的參考區(qū)域后，計(jì)算3*3的矩陣，公式如下：
[002引
[0029] 步驟
計(jì)算旋轉(zhuǎn)矩陣R和平移矩陣t，當(dāng)X行列值為1時(shí)，R=X，t = P-R*Q;
[0030] 步驟四：獲取兩個(gè)=維數(shù)據(jù)點(diǎn)集之間的=維空間變換矩陣，從而實(shí)現(xiàn)兩個(gè)點(diǎn)集的 配準(zhǔn)。
[0031] 優(yōu)選的，在上述的一種基于=維數(shù)據(jù)的人臉識(shí)別系統(tǒng)中，所述的步驟D，獲得的人 臉鼻尖區(qū)域作為深度圖像數(shù)據(jù)的中屯、位置的參考基準(zhǔn)，其空間坐標(biāo)系的X軸和y軸信息映射 為人臉深度圖像的圖像坐標(biāo)系信息;具體計(jì)算過(guò)程如下：
[0032] 鼻尖點(diǎn)為N(x，y，z)，則空間點(diǎn)P(xl，yl，zl)的圖像坐標(biāo)為：
[0033] Ix= (xl-x)+wid1:h/2
[0034] ]；y= (yl-y)+hei 曲 t/2
[0035] 其中wi化h為深度圖像的寬度，hei曲t為深度圖像的高度；
[0036] 同時(shí)，根據(jù)S維點(diǎn)云數(shù)據(jù)的深度精度預(yù)先設(shè)定深度分辨率Zref,作為將空間坐標(biāo)系 的Z軸信息作為映射為人臉深度圖像的深度值的參考基準(zhǔn)，公式如下：
[0037]
[0038] 完成將=維點(diǎn)云數(shù)據(jù)映射為深度人臉圖像的數(shù)據(jù)映射。
[0039] 優(yōu)選的，在上述的一種基于=維數(shù)據(jù)的人臉識(shí)別系統(tǒng)中，所述的步驟E，包括深度 特征臉的計(jì)算和深度圖像數(shù)據(jù)質(zhì)量評(píng)估，包括如下步驟：
[0040] 深度特征臉的計(jì)算步驟如下：
[0041] 步驟一:將訓(xùn)練集中的每一張深度人臉圖像數(shù)據(jù)都從二維矩陣?yán)旆Q為一維列向 量，將運(yùn)些列向量組合在一起形成矩陣A。假設(shè)每張深度人臉圖像的分辨率是M*M，那么拉伸 過(guò)后的人臉列向量的維度就是D = M*M。若訓(xùn)練集中有N張深度人臉圖像，那么樣本矩陣A的 維度就是D*N;
[0042] 步驟二:將訓(xùn)練集中的腳長(zhǎng)深度人臉圖像在對(duì)應(yīng)維度上相加然后求平均，就可W得 到深度圖像的平均臉;將腳長(zhǎng)深度圖像都減去深度平均臉，得到差值圖像數(shù)據(jù)矩陣O ;
[0043] 步驟=:對(duì)協(xié)方差矩陣C = O * O T進(jìn)行特征值分解;根據(jù)占據(jù)所有特征值能量的比 率，選擇最大的一些特征值，其所對(duì)應(yīng)的特征向量即為深度特征臉；
[0044] 步驟四：深度人臉圖像都可W投影到運(yùn)些特征臉張成的空間中進(jìn)行近似計(jì)算。
[0045] 深度圖像數(shù)據(jù)質(zhì)量評(píng)估計(jì)算過(guò)程如下：
[0046] 該過(guò)程分為訓(xùn)練和評(píng)估兩個(gè)階段:在訓(xùn)練階段，如圖5(a)所示，訓(xùn)練出深度人臉圖 像的特征臉，W此為基礎(chǔ)張成深度人臉圖像空間；在評(píng)估階段，對(duì)于輸入的深度人臉圖像， 將其映射為深度特征臉空間中的一點(diǎn)，得到利用深度特征臉表征的近似深度人臉圖像；
[0047]
[004引然后將近似圖像與原始圖像進(jìn)行對(duì)比，如果差值大于某個(gè)闊值，則說(shuō)明該深度圖 像不符合運(yùn)些深度特征臉代表的類型，評(píng)估不通過(guò);否則則認(rèn)為該圖像符合運(yùn)些深度特征 臉代表的類巧.評(píng)化誦討，
[0049]
[0050] 優(yōu)選的，在上述的一種基于=維數(shù)據(jù)的人臉識(shí)別系統(tǒng)中，所述的步驟F，包括如下 步驟：
[0051] 步驟一:對(duì)于深度圖像中的噪點(diǎn)進(jìn)行檢測(cè)計(jì)算單元，噪點(diǎn)類型主要包括數(shù)據(jù)空桐 W及數(shù)據(jù)的凸起，在深度圖像中則表現(xiàn)為人臉深度數(shù)據(jù)中的零值W及局部紋理的深度凸起 值。
[0052]步驟二:進(jìn)行深度數(shù)據(jù)去噪本發(fā)明中采用鄰域深度有效值濾波，對(duì)上述深度人臉 圖像中的噪音進(jìn)行過(guò)濾，該濾波表達(dá)式可W描述為：
[0化3]
[0054] 其中當(dāng)I(x-m，y-n)為深度圖像有效點(diǎn)時(shí)，值為W(A--AVV-H) = C-; 當(dāng)I (x-m，y-n)為深度圖像無(wú)效點(diǎn)時(shí)，值為0。
[0055] 步驟在對(duì)奇異點(diǎn)進(jìn)行初步的低通濾波之后，繼續(xù)利用邊緣保持濾波對(duì)于深度 圖像進(jìn)行進(jìn)一步的紋理修復(fù)，本發(fā)明中邊緣保持濾波器采用雙邊濾波(不限于）。雙邊濾波 器是由兩個(gè)函數(shù)構(gòu)成，一個(gè)函數(shù)是通過(guò)幾何空間距離決定濾波器系數(shù)，另一個(gè)函數(shù)則是由 像素差值決定濾波器系數(shù)。在雙邊濾波器中，輸出像素的值依賴于鄰域像素的值的加權(quán)組 合：
[0056:
[0化7:
[0058:
[0059:
[0060；
[0061；
[0062；
[0063] 通過(guò)運(yùn)種結(jié)合方式，在圖像濾波中同時(shí)考慮了空間域與值域的差別，在濾除數(shù)據(jù) 噪音的過(guò)程中也可W保留數(shù)據(jù)中的特定邊緣信息，有效的進(jìn)行了深度人臉圖像數(shù)據(jù)噪音的 修復(fù)W及人臉深度特性信息的增強(qiáng)。
[0064] 優(yōu)選的，在上述的一種基于=維數(shù)據(jù)的人臉識(shí)別系統(tǒng)中，所述的步驟G，分為視覺 詞匯訓(xùn)練階段和視覺字典直方圖特征提取階段，包括如下步驟：
[0065] 在視覺詞匯訓(xùn)練階段，對(duì)訓(xùn)練集中的P幅分辨率為M*N的深度圖像首先進(jìn)行Gabor 濾波器濾波，通過(guò)運(yùn)種方式將原始的深度圖像轉(zhuǎn)換為P*M*N個(gè)多維Gabor濾波響應(yīng)向量;將 運(yùn)些向量按照其所在圖像的空間位置進(jìn)行分組，并對(duì)每組向量集合進(jìn)行K均值聚類，得到的 聚類中屯、為該圖像空間位置所對(duì)應(yīng)的Gabor濾波響應(yīng)向量集合的視覺詞匯(視覺分詞典）； 將每組的視覺向量連接起來(lái)，就構(gòu)成了深度人臉圖像的視覺詞典。
[0066] 在視覺詞典直方圖特征提取階段，當(dāng)測(cè)試人臉圖像輸入后，經(jīng)過(guò)Gabor濾波后，將 任一濾波向量都與其所在位置相對(duì)應(yīng)的視覺分詞典中的所有基元詞匯比較，通過(guò)距離匹配 的方式，把它映射到與之距離最為接近的基元上。通過(guò)運(yùn)種方式，就可W提取出原始深度圖 像的視覺詞典直方圖特征。
[0067] 優(yōu)選的，在上述的一種基于=維數(shù)據(jù)的人臉識(shí)別系統(tǒng)中，所述的步驟H，包括如下 步驟：
[0068] 步驟一:將=維人臉深度圖像分割成一些局部紋理區(qū)域；
[0069] 步驟二:對(duì)于每個(gè)Gabor濾波響應(yīng)向量，按照位置的不同將其映射到其對(duì)應(yīng)的視覺 分析詞典的詞匯中，并W此為基礎(chǔ)建立視覺詞典直方圖向量作為=維人臉的特征表達(dá)；
[0070] 步驟最近鄰分類器被用來(lái)作為最后的人臉識(shí)別，其中Ll距離被選作為距離度 量，獲得最終的分類結(jié)果。
[0071] 與現(xiàn)有技術(shù)相比，本發(fā)明具有如下技術(shù)效果：
[0072] 本發(fā)明據(jù)=維點(diǎn)云的特性，提取=維人臉區(qū)域的特征區(qū)域進(jìn)行定位;然后依據(jù)此 特殊區(qū)域首先判斷=維點(diǎn)云是否包含合格的=維人臉，在點(diǎn)云層對(duì)=維數(shù)據(jù)質(zhì)量進(jìn)行初步 評(píng)估;如果存在合格的鼻尖區(qū)域，則W此區(qū)域作為基準(zhǔn)數(shù)據(jù)進(jìn)行配準(zhǔn);數(shù)據(jù)配準(zhǔn)后根據(jù)預(yù)設(shè) 的x、y、z分辨率和位置信息將點(diǎn)云數(shù)據(jù)映射成深度圖像;得到人臉深度圖像后再次進(jìn)行人 臉數(shù)據(jù)質(zhì)量評(píng)估;評(píng)估合格后的深度人臉數(shù)據(jù)進(jìn)行紋理修復(fù)，實(shí)現(xiàn)數(shù)據(jù)去噪W及深度紋理 進(jìn)一步優(yōu)化;最后按照訓(xùn)練好的=維人臉視覺詞典進(jìn)行=維數(shù)據(jù)的視覺詞典直方圖向量提 取，利用分類器實(shí)現(xiàn)=維人臉識(shí)別。提高了人臉數(shù)據(jù)的質(zhì)量和=維人臉識(shí)別的效率。
【附圖說(shuō)明】
[0073] 圖1是本發(fā)明系統(tǒng)流程圖；
[0074] 圖2是本發(fā)明鼻尖檢測(cè)模塊示意圖；
[0075] 圖3是本發(fā)明數(shù)據(jù)配準(zhǔn)模塊示意圖；
[0076] 圖4是本發(fā)明數(shù)據(jù)空間映射示意圖；
[0077] 圖5是本發(fā)明人臉深度圖像質(zhì)量評(píng)估流程示意圖；
[0078] 圖6是本發(fā)明深度紋理修復(fù)示意圖；
[0079] 圖7是本發(fā)明特征提取示意圖；
[0080] 圖8是本發(fā)明人臉識(shí)別流程示意圖；
[0081] 圖9是本發(fā)明系統(tǒng)框圖。
【具體實(shí)施方式】
[0082] 下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完 整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；?本發(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他 實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。
[0083] 本發(fā)明公開一種基于=維數(shù)據(jù)的人臉識(shí)別系統(tǒng)，包括維人臉點(diǎn)云數(shù)據(jù)輸入計(jì) 算單元;人臉特定區(qū)域檢測(cè)計(jì)算單元;數(shù)據(jù)配準(zhǔn)計(jì)算單元;深度人臉數(shù)據(jù)映射計(jì)算單元;深 度人臉圖像評(píng)估計(jì)算單元;深度人臉紋理修復(fù)計(jì)算單元;深度人臉特征提取計(jì)算單元;=維 人臉識(shí)別計(jì)算單元。
[0084] 如圖1所示，本發(fā)明系統(tǒng)流程如下：
[0085] A.S維人臉點(diǎn)云數(shù)據(jù)的輸入；
[0086] B.對(duì)于=維人臉點(diǎn)云數(shù)據(jù)中人臉特定區(qū)域檢測(cè)；
[0087] C.對(duì)于檢測(cè)到的人臉特定區(qū)域進(jìn)行數(shù)據(jù)配準(zhǔn)；
[0088] D.對(duì)于配準(zhǔn)后的=維人臉點(diǎn)云數(shù)據(jù)進(jìn)行深度人臉數(shù)據(jù)映射；
[0089] E.人臉深度數(shù)據(jù)質(zhì)量評(píng)估計(jì)算單元；
[0090] F.對(duì)于深度人臉數(shù)據(jù)進(jìn)行深度人臉紋理修復(fù)；
[0091] G.人臉深度數(shù)的特征提?。?br>[0092] H.對(duì)于深度人臉數(shù)據(jù)進(jìn)行=維人臉識(shí)別。
[0093] 如圖2所示，在上述的一種基于=維數(shù)據(jù)的人臉識(shí)別系統(tǒng)中人臉特定區(qū)域檢測(cè)計(jì) 算單元，圖2(a)中，由于=維點(diǎn)云人臉數(shù)據(jù)中鼻尖區(qū)域的數(shù)據(jù)信息明顯區(qū)別于人臉的其他 位置，因此本發(fā)明中人臉特征區(qū)域采用的是鼻尖區(qū)域;圖2(b)是鼻尖區(qū)域定位的流程圖，包 括如下步驟：
[0094] 步驟一:確定域平均負(fù)有效能量密度的闊值，定義為thr;
[00%]步驟二:利用數(shù)據(jù)的深度信息，提取在一定深度范圍內(nèi)的人臉數(shù)據(jù)作為待處理數(shù) 據(jù)；
[0096] 步驟計(jì)算由深度信息選取出的人臉數(shù)據(jù)的法向量信息；
[0097] 步驟四：按照區(qū)域平均負(fù)有效能量密度的定義，求出待處理數(shù)據(jù)中各連通域的平 均負(fù)有效能量密度，選擇其中密度值最大的連通域；
[0098] 步驟五：當(dāng)該區(qū)域的闊值大于預(yù)定義的thr時(shí)，該區(qū)域即為鼻尖區(qū)域，否則回到步 驟一繼續(xù)。
[0099] 如圖3所示，在上述的數(shù)據(jù)配準(zhǔn)計(jì)算單元，包括如下步驟：
[0100] 步驟一:在模板庫(kù)中準(zhǔn)備一幅與標(biāo)準(zhǔn)姿態(tài)相對(duì)應(yīng)的鼻尖區(qū)域的數(shù)據(jù)；
[0101] 步驟二:得到配準(zhǔn)的參考區(qū)域后，計(jì)算3*3的矩陣，公式如下：
[0102]
[0103] 步驟計(jì)算旋轉(zhuǎn)矩陣R和平移矩陣t，當(dāng)X行列值為1時(shí)，R=X，t = P-R*Q;
[0104] 步驟四：獲取兩個(gè)=維數(shù)據(jù)點(diǎn)集之間的=維空間變換矩陣，從而實(shí)現(xiàn)兩個(gè)點(diǎn)集的 配準(zhǔn)。
[0105] 如圖4所示，在上述的深度人臉數(shù)據(jù)映射計(jì)算單元，該計(jì)算單元檢測(cè)獲得的人臉鼻 尖區(qū)域作為深度圖像數(shù)據(jù)的中屯、位置的參考基準(zhǔn)，其空間坐標(biāo)系的X軸和y軸信息映射為人 臉深度圖像的圖像坐標(biāo)系信息;具體計(jì)算過(guò)程如下：
[0106] 鼻尖點(diǎn)為N(X，y，Z)，則空間點(diǎn)P(Xl，y 1，Z1)的圖像坐標(biāo)為：
[0107] Ix=(xl-x)+wid 化/2
[0108] ]；y= (yl-y)+hei 曲 t/2
[0109] 其中Wi化h為深度圖像的寬度，hei曲t為深度圖像的高度；
[0110] 同時(shí)，根據(jù)S維點(diǎn)云數(shù)據(jù)的深度精度預(yù)先設(shè)定深度分辨率Zref,作為將空間坐標(biāo)系 的Z軸信息作為映射為人臉深度圖像的深度值的參考基準(zhǔn)，公式如下：
[0111]
[0112] 完成將=維點(diǎn)云數(shù)據(jù)映射為深度人臉圖像的數(shù)據(jù)映射。
[0113] 如圖5所示，其中（a)為深度人臉圖像的特征臉示意圖，深度特征臉的計(jì)算過(guò)程可 W總結(jié)為：
[0114] 步驟一:將訓(xùn)練集中的每一張深度人臉圖像數(shù)據(jù)都從二維矩陣?yán)旆Q為一維列向 量，將運(yùn)些列向量組合在一起形成矩陣A。假設(shè)每張深度人臉圖像的分辨率是M*M，那么拉伸 過(guò)后的人臉列向量的維度就是D = M*M。若訓(xùn)練集中有N張深度人臉圖像，那么樣本矩陣A的 維度就是D*N;
[0115] 步驟二:將訓(xùn)練集中的腳長(zhǎng)深度人臉圖像在對(duì)應(yīng)維度上相加然后求平均，就可W得 到深度圖像的平均臉;將腳長(zhǎng)深度圖像都減去深度平均臉，得到差值圖像數(shù)據(jù)矩陣O ;
[0116] 步驟S:對(duì)協(xié)方差矩陣C = O *巫T進(jìn)行特征值分解;根據(jù)占據(jù)所有特征值能量的比 率，選擇最大的一些特征值，其所對(duì)應(yīng)的特征向量即為深度特征臉；
[0117] 步驟四：深度人臉圖像都可W投影到運(yùn)些特征臉張成的空間中進(jìn)行近似計(jì)算。
[0118] 其中（b)為本發(fā)明中的深度圖像數(shù)據(jù)質(zhì)量評(píng)估模塊的算法流程，該模塊分為訓(xùn)練 和評(píng)估兩個(gè)階段：
[0119] 在訓(xùn)練階段，如圖5(a)所示，訓(xùn)練出深度人臉圖像的特征臉，W此為基礎(chǔ)張成深度 人臉圖像空間;在評(píng)估階段，對(duì)于輸入的深度人臉圖像，將其映射為深度特征臉空間中的一 點(diǎn)，得到利用深度特征臉表征的近似深度人臉圖像；
[0120]
[0121] 然后將近似圖像與原始圖像進(jìn)行對(duì)比，如果差值大于某個(gè)闊值，則說(shuō)明該深度圖 像不符合運(yùn)些深度特征臉代表的類型，評(píng)估不通過(guò);否則則認(rèn)為該圖像符合運(yùn)些深度特征 臉代表的類型，評(píng)估通過(guò)；
[0122]
[0123] 如圖6在上述的深度人臉紋理修復(fù)計(jì)算單元，包括如下步驟：
[0124] 步驟一:對(duì)于深度圖像中的噪點(diǎn)進(jìn)行檢測(cè)計(jì)算單元，噪點(diǎn)類型主要包括數(shù)據(jù)空桐 W及數(shù)據(jù)的凸起，在深度圖像中則表現(xiàn)為人臉深度數(shù)據(jù)中的零值W及局部紋理的深度凸起 值。
[0125] 步驟二:進(jìn)行深度數(shù)據(jù)去噪，在本發(fā)明中采用鄰域深度有效值濾波，對(duì)上述深度人 臉圖像中的噪音進(jìn)行過(guò)濾，該濾波表達(dá)式可W描述為：
[0126]

[0127] 其中當(dāng)I (x-m，y-n)為深度圖像有效點(diǎn)時(shí)，值為 當(dāng)I (x-m，y-n)為深度圖像無(wú)效點(diǎn)時(shí)，值為0。
[0128] 步驟=:在對(duì)奇異點(diǎn)進(jìn)行初步的低通濾波之后，繼續(xù)利用邊緣保持濾波對(duì)于深度 圖像進(jìn)行進(jìn)一步的紋理修復(fù)，本發(fā)明中邊緣保持濾波器采用雙邊濾波(不限于）。雙邊濾波 器是由兩個(gè)函數(shù)構(gòu)成，一個(gè)函數(shù)是通過(guò)幾何空間距離決定濾波器系數(shù)，另一個(gè)函數(shù)則是由 像素差值決定濾波器系數(shù)。在雙邊濾波器中，輸出像素的值依賴于鄰域像素的值的加權(quán)組 合：
[0129]
[0130]
[0131]
[0132]
[0133]
[0134]
[0135]
[0136] 通過(guò)運(yùn)種結(jié)合方式，在圖像濾波中同時(shí)考慮了空間域與值域的差別，在濾除數(shù)據(jù) 噪音的過(guò)程中也可W保留數(shù)據(jù)中的特定邊緣信息，有效的進(jìn)行了深度人臉圖像數(shù)據(jù)噪音的 修復(fù)W及人臉深度特性信息的增強(qiáng)。
[0137] 如圖7所示為本發(fā)明中的對(duì)人臉深度圖像數(shù)據(jù)進(jìn)行視覺詞典直方圖特征提取的示 意圖該過(guò)程可W分為視覺詞匯訓(xùn)練階段和視覺字典直方圖特征提取階段。
[013引在視覺詞匯訓(xùn)練階段，對(duì)訓(xùn)練集中的P幅分辨率為M*N的深度圖像首先進(jìn)行Gabor 濾波器濾波，通過(guò)運(yùn)種方式將原始的深度圖像轉(zhuǎn)換為P*M*N個(gè)多維Gabor濾波響應(yīng)向量;將 運(yùn)些向量按照其所在圖像的空間位置進(jìn)行分組，并對(duì)每組向量集合進(jìn)行K均值聚類，得到的 聚類中屯、為該圖像空間位置所對(duì)應(yīng)的Gabor濾波響應(yīng)向量集合的視覺詞匯(視覺分詞典）； 將每組的視覺向量連接起來(lái)，就構(gòu)成了深度人臉圖像的視覺詞典。
[0139] 在視覺詞典直方圖特征提取階段，當(dāng)測(cè)試人臉圖像輸入后，經(jīng)過(guò)Gabor濾波后，將 任一濾波向量都與其所在位置相對(duì)應(yīng)的視覺分詞典中的所有基元詞匯比較，通過(guò)距離匹配 的方式，把它映射到與之距離最為接近的基元上。通過(guò)運(yùn)種方式，就可W提取出原始深度圖 像的視覺詞典直方圖特征。
[0140] 如圖8所示為本發(fā)明中的人臉識(shí)別流程示意圖，對(duì)紋理優(yōu)化后的=維人臉圖像進(jìn) 行視覺直方圖特征提取，特征提取之后采用最近鄰分類器與注冊(cè)數(shù)據(jù)庫(kù)中的深度人臉模板 進(jìn)行匹配，獲得最終的分類結(jié)果。具體步驟如下：
[0141] 步驟一:將=維人臉深度圖像分割成一些局部紋理區(qū)域；
[0142] 步驟二:對(duì)于每個(gè)Gabor濾波響應(yīng)向量，按照位置的不同將其映射到其對(duì)應(yīng)的視覺 分析詞典的詞匯中，并W此為基礎(chǔ)建立視覺詞典直方圖向量作為=維人臉的特征表達(dá)；
[0143] 步驟最近鄰分類器被用來(lái)作為最后的人臉識(shí)別，其中Ll距離被選作為距離度 量，獲得最終的分類結(jié)果。
[0144] 如圖9所示為本發(fā)明的系統(tǒng)框圖，包括各個(gè)模塊在系統(tǒng)中的位置W及其主要功能。
【主權(quán)項(xiàng)】
1. 一種基于三維數(shù)據(jù)的人臉識(shí)別系統(tǒng)，其特征在于，包括:三維人臉點(diǎn)云數(shù)據(jù)輸入計(jì)算 單元;人臉特定區(qū)域檢測(cè)計(jì)算單元;數(shù)據(jù)配準(zhǔn)計(jì)算單元;深度人臉數(shù)據(jù)映射計(jì)算單元;深度 人臉圖像評(píng)估計(jì)算單元;深度人臉紋理修復(fù)計(jì)算單元;深度人臉特征提取計(jì)算單元;三維人 臉識(shí)別計(jì)算單元。2. 基于權(quán)利要求1所述的一種基于三維數(shù)據(jù)的人臉識(shí)別系統(tǒng)，其特征在于，包括如下步 驟： A. 三維人臉點(diǎn)云數(shù)據(jù)的輸入； B. 對(duì)于三維人臉點(diǎn)云數(shù)據(jù)中人臉特定區(qū)域檢測(cè)； C. 對(duì)于檢測(cè)到的人臉特定區(qū)域進(jìn)行數(shù)據(jù)配準(zhǔn)； D. 對(duì)于配準(zhǔn)后的三維人臉點(diǎn)云數(shù)據(jù)進(jìn)行深度人臉數(shù)據(jù)映射； E. 人臉深度數(shù)據(jù)質(zhì)量評(píng)估計(jì)算單元； F. 對(duì)于深度人臉數(shù)據(jù)進(jìn)行深度人臉紋理修復(fù)； G. 人臉深度數(shù)的特征提?。? Η.對(duì)于深度人臉數(shù)據(jù)進(jìn)行三維人臉識(shí)別。3. 基于權(quán)利要求2所述的一種基于三維數(shù)據(jù)的人臉識(shí)別系統(tǒng)，其特征在于，所述的步驟 Α支持各類三維點(diǎn)云采集設(shè)備的數(shù)據(jù)輸入。4. 基于權(quán)利要求2所述的一種基于三維數(shù)據(jù)的人臉識(shí)別系統(tǒng)，其特征在于，所述的步驟 B，由于三維點(diǎn)云人臉數(shù)據(jù)中鼻尖區(qū)域的數(shù)據(jù)信息明顯區(qū)別于人臉的其他位置，因此人臉特 征區(qū)域采用的是鼻尖區(qū)域，鼻尖區(qū)域定位包括如下步驟： 步驟一:確定域平均負(fù)有效能量密度的閾值，定義為thr; 步驟二:利用數(shù)據(jù)的深度信息，提取在一定深度范圍內(nèi)的人臉數(shù)據(jù)作為待處理數(shù)據(jù)； 步驟三:計(jì)算由深度信息選取出的人臉數(shù)據(jù)的法向量信息； 步驟四：按照區(qū)域平均負(fù)有效能量密度的定義，求出待處理數(shù)據(jù)中各連通域的平均負(fù) 有效能量密度，選擇其中密度值最大的連通域； 步驟五：當(dāng)該區(qū)域的閾值大于預(yù)定義的thr時(shí)，該區(qū)域即為鼻尖區(qū)域，否則回到步驟一 繼續(xù)。5. 基于權(quán)利要求2所述的一種基于三維數(shù)據(jù)的人臉識(shí)別系統(tǒng)，其特征在于，所述的步驟 C包括如下步驟： 步驟一:在模板庫(kù)中準(zhǔn)備一幅與標(biāo)準(zhǔn)姿態(tài)相對(duì)應(yīng)的鼻尖區(qū)域的數(shù)據(jù)； 步驟二:得到配準(zhǔn)的參考區(qū)域后，計(jì)算3*3的矩陣，公式如下：步驟三:計(jì)算旋轉(zhuǎn)矩陣R和平移矩陣t，當(dāng)X行列值為1時(shí)，R=X，t = P-R*Q; 步驟四：獲取兩個(gè)三維數(shù)據(jù)點(diǎn)集之間的三維空間變換矩陣，從而實(shí)現(xiàn)兩個(gè)點(diǎn)集的配準(zhǔn)。6. 基于權(quán)利要求2所述的一種基于三維數(shù)據(jù)的人臉識(shí)別系統(tǒng)，其特征在于，所述的步驟 D，該步驟檢測(cè)獲得的人臉鼻尖區(qū)域作為深度圖像數(shù)據(jù)的中心位置的參考基準(zhǔn)，其空間坐標(biāo) 系的X軸和y軸信息映射為人臉深度圖像的圖像坐標(biāo)系信息;具體計(jì)算過(guò)程如下： 鼻尖點(diǎn)為N(x，y，z)，則空間點(diǎn)P(xl，yl，zl)的圖像坐標(biāo)為： Ix=(xl-x)+width/2 Iy=(yl~y)+height/2 其中width為深度圖像的寬度，height為深度圖像的高度； 同時(shí)，根據(jù)三維點(diǎn)云數(shù)據(jù)的深度精度預(yù)先設(shè)定深度分辨率Zref，作為將空間坐標(biāo)系的z 軸信息作為映射為人臉深度圖像的深度值的參考基準(zhǔn)，公式如下：完成將三維點(diǎn)云數(shù)據(jù)映射為深度人臉圖像的數(shù)據(jù)映射。7. 基于權(quán)利要求2所述的一種基于三維數(shù)據(jù)的人臉識(shí)別系統(tǒng)，其特征在于，所述的步驟 E，包括深度特征臉的計(jì)算和深度圖像數(shù)據(jù)質(zhì)量評(píng)估，包括如下步驟： 深度特征臉的計(jì)算步驟如下： 步驟一:將訓(xùn)練集中的每一張深度人臉圖像數(shù)據(jù)都從二維矩陣?yán)旆Q為一維列向量， 將這些列向量組合在一起形成矩陣A。假設(shè)每張深度人臉圖像的分辨率是M*M，那么拉伸過(guò) 后的人臉列向量的維度就是D = M*M。若訓(xùn)練集中有N張深度人臉圖像，那么樣本矩陣A的維 度就是D*N; 步驟二:將訓(xùn)練集中的N張深度人臉圖像在對(duì)應(yīng)維度上相加然后求平均，就可以得到深 度圖像的平均臉;將N張深度圖像都減去深度平均臉，得到差值圖像數(shù)據(jù)矩陣Φ; 步驟三:對(duì)協(xié)方差矩陣C= Φ * Φ τ進(jìn)行特征值分解;根據(jù)占據(jù)所有特征值能量的比率，選 擇最大的一些特征值，其所對(duì)應(yīng)的特征向量即為深度特征臉； 步驟四：深度人臉圖像都可以投影到這些特征臉張成的空間中進(jìn)行近似計(jì)算； 深度圖像數(shù)據(jù)質(zhì)量評(píng)估計(jì)算過(guò)程如下： 該過(guò)程分為訓(xùn)練和評(píng)估兩個(gè)階段:在訓(xùn)練階段，如圖5(a)所示，訓(xùn)練出深度人臉圖像的 特征臉，以此為基礎(chǔ)張成深度人臉圖像空間；在評(píng)估階段，對(duì)于輸入的深度人臉圖像，將其 映射為深度特征臉空間中的一點(diǎn)，得到利用深度特征臉表征的近似深度人臉圖像；然后將近似圖像與原始圖像進(jìn)行對(duì)比，如果差值大于某個(gè)閾值，則說(shuō)明該深度圖像不 符合這些深度特征臉代表的類型，評(píng)估不通過(guò);否則則認(rèn)為該圖像符合這些深度特征臉代 表的類型，評(píng)估通過(guò)；08. 基于權(quán)利要求2所述的一種基于三維數(shù)據(jù)的人臉識(shí)別系統(tǒng)，其特征在于，所述的步驟 F，包括如下步驟： 步驟一：對(duì)于深度圖像中的噪點(diǎn)進(jìn)行檢測(cè)計(jì)算單元，噪點(diǎn)類型主要包括數(shù)據(jù)空洞以及 數(shù)據(jù)的凸起，在深度圖像中則表現(xiàn)為人臉深度數(shù)據(jù)中的零值以及局部紋理的深度凸起值。 步驟二:進(jìn)行深度數(shù)據(jù)去噪本發(fā)明中采用鄰域深度有效值濾波，對(duì)上述深度人臉圖像 中的噪音進(jìn)行過(guò)濾，該濾波表達(dá)式可以描述為：其中當(dāng)1(11,7-11)為深度圖像有效點(diǎn)時(shí)，值為觀(_^-/?,;\'-/?) = <^(*^2：)/2:<72/2節(jié)_:2;當(dāng)1 (x-m, y-n)為深度圖像無(wú)效點(diǎn)時(shí)，值為Ο; 步驟三:在對(duì)奇異點(diǎn)進(jìn)行初步的低通濾波之后，繼續(xù)利用邊緣保持濾波對(duì)于深度圖像 進(jìn)行進(jìn)一步的紋理修復(fù)，本發(fā)明中邊緣保持濾波器采用雙邊濾波(不限于）。雙邊濾波器是 由兩個(gè)函數(shù)構(gòu)成，一個(gè)函數(shù)是通過(guò)幾何空間距離決定濾波器系數(shù)，另一個(gè)函數(shù)則是由像素 差值決定濾波器系數(shù)。在雙邊濾波器中，輸出像素的值依賴于鄰域像素的值的加權(quán)組合：其中，由幾何空間距離決定的濾波器系數(shù)，其公式為：由像素差值決定的濾波器系數(shù)，其公式為：則權(quán)重系數(shù)則為空間域系數(shù)以及值域系數(shù)的乘積：9. 基于權(quán)利要求2所述的一種基于三維數(shù)據(jù)的人臉識(shí)別系統(tǒng)，其特征在于，所述的步驟 G，分為視覺詞匯訓(xùn)練階段和視覺字典直方圖特征提取階段，包括如下步驟： 在視覺詞匯訓(xùn)練階段，對(duì)訓(xùn)練集中的Ρ幅分辨率為Μ*Ν的深度圖像首先進(jìn)行Gabor濾波 器濾波，通過(guò)這種方式將原始的深度圖像轉(zhuǎn)換為P*M*N個(gè)多維Gabor濾波響應(yīng)向量;將這些 向量按照其所在圖像的空間位置進(jìn)行分組，并對(duì)每組向量集合進(jìn)行K均值聚類，得到的聚類 中心為該圖像空間位置所對(duì)應(yīng)的Gabor濾波響應(yīng)向量集合的視覺詞匯(視覺分詞典）；將每 組的視覺向量連接起來(lái)，就構(gòu)成了深度人臉圖像的視覺詞典； 在視覺詞典直方圖特征提取階段，當(dāng)測(cè)試人臉圖像輸入后，經(jīng)過(guò)Gabor濾波后，將任一 濾波向量都與其所在位置相對(duì)應(yīng)的視覺分詞典中的所有基元詞匯比較，通過(guò)距離匹配的方 式，把它映射到與之距離最為接近的基元上;通過(guò)這種方式提取出原始深度圖像的視覺詞 典直方圖特征。10. 基于權(quán)利要求2所述的一種基于三維數(shù)據(jù)的人臉識(shí)別系統(tǒng)，其特征在于，所述的步 驟Η，包括如下步驟： 步驟一:將三維人臉深度圖像分割成一些局部紋理區(qū)域； 步驟二:對(duì)于每個(gè)Gabor濾波響應(yīng)向量，按照位置的不同將其映射到其對(duì)應(yīng)的視覺分析 詞典的詞匯中，并以此為基礎(chǔ)建立視覺詞典直方圖向量作為三維人臉的特征表達(dá)； 步驟三:最近鄰分類器被用來(lái)作為最后的人臉識(shí)別，其中L1距離被選作為距離度量，獲 得最終的分類結(jié)果。
【文檔編號(hào)】G06K9/00GK105956582SQ201610472527
【公開日】2016年9月21日
【申請(qǐng)日】2016年6月24日
【發(fā)明人】夏春秋
【申請(qǐng)人】深圳市唯特視科技有限公司