非約束環(huán)境下的有效人臉特征提取方法
【專利摘要】本發(fā)明提供一種非約束環(huán)境下的有效人臉特征提取方法，首先，構造多尺度主方向旋轉(zhuǎn)梯度模板，包括3*3和5*5兩個尺度的主方向旋轉(zhuǎn)梯度模板；然后，對人臉圖像中生物視覺ROI區(qū)域即感興趣區(qū)域進行關鍵點標記，得到3*3尺度、5*5尺度的主方向旋轉(zhuǎn)HOG特征，將k?PDR?HOG?3和k?PDR?HOG?5兩個特征級聯(lián)融合，得到最終的基于關鍵點的多尺度主方向旋轉(zhuǎn)HOG特征。相比于原始的HOG算法，本發(fā)明構造的多尺度主方向旋轉(zhuǎn)梯度模板在非約束環(huán)境下可以提取更為豐富全面的人臉特征，k?MSPDR?HOG特征具有強魯棒性和高準確性。
【專利說明】
非約束環(huán)境下的有效人臉特征提取方法
技術領域
[0001] 本發(fā)明設及一種非約束環(huán)境下的有效人臉特征提取方法。
【背景技術】
[0002] 隨著社會的發(fā)展和科技的進步，人類對快速高效的身份驗證技術有著迫切的要 求。生物特征是人類理想的身份驗證依據(jù)，而人臉特征是目前身份驗證中最為理想的生物 特征。
[0003] 目前，由于在考勤、n禁系統(tǒng)、監(jiān)控體系、刑事偵查等領域的良好應用前景，人臉識 別受到了越來越多研究者的關注。近十年來，人臉識別技術取得了很大的進步，但是目前比 較成熟的人臉識別方法大多集中在約束或半約束情況的研究，而在非約束環(huán)境中，人臉識 別會受到遮擋、光照、姿態(tài)、低分辨率等干擾條件的影響，將已有的人臉特征提取方法，如 冊G、LBP、SIFT等，用于非約束環(huán)境的人臉識別性能急劇下降。為克服非約束條件下存在的 各種噪聲的干擾，研究人員提出了很多方法，但仍無法徹底消除各種噪聲對人臉識別造成 的影響。
[0004] 目前非約束環(huán)境下的人臉識別研究方法可W分為兩種:基于3D模型的人臉識別和 基于2D模型的人臉識別?；?D模型的人臉識別優(yōu)點在于能夠很好地克服姿態(tài)、遮擋、光照 等干擾因素的影響，但構造3D模型時耗費的時間代價巨大，不適合廣泛的商業(yè)應用。而2D模 型主要著重于提取人臉圖像中具有良好表達效果的特征，使特征值能夠最佳、最具判別性 地表征人臉。Wolf等提出了改進的LBP算法進行人臉特征提取算法，并將提取出來的特征值 與Gabor特征值相融合，試圖得到最佳特征描述算子，但是由于提取的是整張人臉圖片的特 征值，所W受圖片背景、姿態(tài)、遮擋等因素的干擾影響較大;Marsico等提出FACE模型，對人 臉姿態(tài)W及光照歸一化，取得了較好的識別效果，但是在進行人臉圖像的重構時，雖然削弱 了姿態(tài)和光照的影響，但是在重構的過程中弱化了圖像其他的有效特征。
[0005] 目前已有算法存在的不足之處在于：
[0006] -、傳統(tǒng)的全局特征提取算法包含了額頭、臉頰、下己等非特征區(qū)域的冗余信息， 導致引入的光照、姿態(tài)、遮擋等噪聲較多。
[0007] 二、經(jīng)典HOG算法中用梯度算子計算像素點的梯度幅值和梯度方向，它僅描述了 水平和垂直兩個方向的灰度變化，包含的像素點信息較少，然而非約束環(huán)境下的人臉識別 由于干擾因素較多，需考慮更豐富更全面的提取有用信息W表征人臉特征。

【發(fā)明內(nèi)容】

[000引本發(fā)明的目的是提供一種非約束環(huán)境下的有效人臉特征提取方法，構造了多尺度 主方向旋轉(zhuǎn)梯度模板，提出基于關鍵點的多尺度主方向旋轉(zhuǎn)HOG特征提取算法，盡可能準確 提取非約束環(huán)境下有效人臉特征，解決現(xiàn)有技術中存在的非約束環(huán)境下的傳統(tǒng)全局HOG算 法在進行人臉特征提取時存在的引入冗余信息過多、梯度算子模板計算得到的有用信息較 少的問題。
[0009] 本發(fā)明的技術解決方案是：
[0010] -種非約束環(huán)境下的有效人臉特征提取方法，包括：
[0011] 首先，構造多尺度主方向旋轉(zhuǎn)梯度算子，包括3*3和5巧兩個尺度的主方向旋轉(zhuǎn)梯 度模板；
[0012] 然后，對人臉圖像中生物視覺ROI區(qū)域即感興趣區(qū)域進行關鍵點標記，W關鍵點為 中屯、，在鄰域范圍內(nèi)分別計算3*3和5巧兩個尺度、四組旋轉(zhuǎn)梯度模板下的冊G特征，并將每 個尺度的四組HOG特征級聯(lián)，得到3*3尺度和時5尺度的主方向旋轉(zhuǎn)冊G特征，即k-PDR-WG- 3、k-PDR-H0G-5;
[0013] 最后，將k-PDR-冊G-3和k-PDR-HOG-5兩個特征級聯(lián)融合，得到最終的基于關鍵點 的多尺度主方向旋轉(zhuǎn)HOG特征。
[0014] 進一步地，構造3*3尺度主方向旋轉(zhuǎn)梯度模板具體為:在一個圓周如范圍內(nèi)將3*3 尺度主方向梯度模板從主方向每隔45°沿逆時針旋轉(zhuǎn)一次，得到八個旋轉(zhuǎn)梯度模板，即3*3 尺度主方向旋轉(zhuǎn)梯度算子。
[0015] 進一步地，構建的3*3尺度主方向梯度模板如下：
[0016]
[0017] 其中，模板中權值2大于其他數(shù)值，設為主方向，如箭頭所示。
[0018] 進一步地，根據(jù)梯度求導規(guī)則將3*3尺度主方向旋轉(zhuǎn)梯度模板兩兩為一組分為四 組，其中每組旋轉(zhuǎn)梯度模板包含兩個主方向相互垂直模板。
[0019] 進一步地，構造5巧尺度主方向旋轉(zhuǎn)梯度模板具體為:在一個圓周如范圍內(nèi)將5*5 尺度主方向梯度模板從主方向每隔45°沿逆時針旋轉(zhuǎn)一次，得到八個旋轉(zhuǎn)梯度模板，即時5 尺度主方向旋轉(zhuǎn)梯度板板。
[0020] 進一步地，構建的5*5尺度主方向梯度模板如下：
[0021]
[0022] 其中，模板中權值2大于其他數(shù)值，設為主方向，如箭頭所示。
[0023] 進一步地，根據(jù)梯度求導規(guī)則將5巧尺度主方向旋轉(zhuǎn)梯度模板兩兩為一組分為四 組，其中每組旋轉(zhuǎn)梯度模板包含兩個主方向相互垂直模板。
[0024] 本發(fā)明的有益效果是:該種非約束環(huán)境下的有效人臉特征提取方法，首先對生物 視覺ROI區(qū)域包括眉毛、眼睛、鼻子、嘴己等區(qū)域進行關鍵點標記，相比于經(jīng)典的全局特征提 取算法不僅大大降低了特征維度，而且減少了額頭、臉頰等非特征區(qū)域冗余信息的干擾;另 夕h本發(fā)明設計3*3、5巧兩種尺度下四組主方向旋轉(zhuǎn)梯度模板，利用運些模板分別計算各個 像素點的梯度幅值、方向變化，統(tǒng)計得到兩種尺度的主方向旋轉(zhuǎn)冊G特征，并進行融合得到 最終基于關鍵點的多尺度主方向旋轉(zhuǎn)HOG特征。相比于原始的HOG算法，本發(fā)明構造的多尺 度主方向旋轉(zhuǎn)梯度模板在非約束環(huán)境下可W提取更為豐富全面的人臉特征，k-MSPDR-HOG 特征具有強魯棒性和高準確性。
【附圖說明】
[0025]圖1是本發(fā)明實施例非約束環(huán)境下的有效人臉特征提取方法的流程示意圖。
[00%]圖2實施例中3*3尺度主方向旋轉(zhuǎn)梯度模板的示意圖。
[0027] 圖3是實施例中分組3*3尺度主方向旋轉(zhuǎn)梯度模板的示意圖。
[0028] 圖4是實施例中財5尺度主方向旋轉(zhuǎn)梯度模板的示意圖。
[0029] 圖5是實施例中分組財5尺度主方向旋轉(zhuǎn)梯度模板的示意圖。
[0030] 圖6是LFW數(shù)據(jù)庫與0化數(shù)據(jù)庫上k-HOG算法與全局HOG算法的特征維數(shù)比較示意 圖。
【具體實施方式】
[0031 ]下面結(jié)合附圖詳細說明本發(fā)明的優(yōu)選實施例。
[00創(chuàng)實施例
[0033] 實施例對原始HOG算子進行改進，構建了 3*3、5巧兩個尺度主方向旋轉(zhuǎn)HOG算子，實 現(xiàn)了非約束環(huán)境下有效人臉特征提取。一方面，相比原始HOG梯度模板，改進梯度模板范圍 變大，包含的像素點個數(shù)增加，從多尺度角度捕捉人臉紋理灰度變化統(tǒng)計信息；另一方面， 改進梯度模板主方向在0°~360°范圍內(nèi)每隔45°逆時針旋轉(zhuǎn)一次，得到八個旋轉(zhuǎn)梯度模板， 根據(jù)梯度求導規(guī)則將八個模板分為四組(Group),分別計算關鍵點鄰域范圍內(nèi)的梯度方向 直方圖，從多方向角度描述人臉紋理方向變化統(tǒng)計信息。
[0034] 實施例的一種非約束環(huán)境下的有效人臉特征提取方法，具體實現(xiàn)流程如圖1所示： 首先對人臉圖像進行關鍵點標記，然后W關鍵點為中屯、，在一定鄰域范圍內(nèi)分別提取3*3尺 度、5巧尺度的主方向旋轉(zhuǎn)HOG特征，得到基于關鍵點的3*3尺度主方向旋轉(zhuǎn)HOG特征（3*3- Scale Principal Direction Rotation Histograms of Oriented Gradient based on keypoints，k-PDR-H0G-3)和基于關鍵點的5*5尺度主方向旋轉(zhuǎn)HOG特征（5*5-Scale Principal Direction Rotation Histograms of Oriented Gradient based on keypoints，k-PDR-冊G-5)，然后將運兩個特征進行級聯(lián)融合，得到最終的基于關鍵點的多 尺度主方向旋轉(zhuǎn)冊G特征（Multi-Scale Principal Direction Rotation Histograms of Oriented Gradient based on keypoints,k-MSPDR-H0G)。
[0035] 3*3尺度主方向旋轉(zhuǎn)梯度模板
[0036] 利用傳統(tǒng)的[-1 0 1]梯度模板計算梯度幅值和方向存在較大的局限性。首先，傳 統(tǒng)梯度模板僅考慮中屯、像素點周圍4個像素點，包含的像素點灰度信息較少，不能豐富地體 現(xiàn)中屯、像素點周圍的紋理信息；其次，傳統(tǒng)梯度算子僅計算水平和豎直兩個方向的紋理變 化，但是因為人臉五官的形狀較為規(guī)律，人臉的主要幾個組成部分，如眉毛，眼睛，鼻子和 嘴，它們的中屯、部分均是水平或垂直延長的，但是它們的尾部均是大約在對角線方向（V4 和如/4)收斂，僅從水平和豎直兩個方向計算梯度幅值和梯度方向不足W體現(xiàn)人臉紋理信 息的變化。受W上傳統(tǒng)梯度模板局限性的啟發(fā)，本發(fā)明構建了如下所示的3*3尺度主方向梯 度模板，模板中權值2大于其他數(shù)值，設為主方向，如箭頭所示。
[0037]
[0038] 在一個圓周如范圍內(nèi)將模板主方向每隔45°沿逆時針旋轉(zhuǎn)一次，得到八個旋轉(zhuǎn)梯 度模板，即3*3尺度主方向旋轉(zhuǎn)梯度模板，如圖2所示。并根據(jù)梯度求導規(guī)則將八個模板分為 四組(Group),如圖3所示，其中HiXi和Hiyi分別表示兩個主方向相互垂直模板，便于計算不同 方向的梯度幅值和梯度方向及統(tǒng)計HOG特征。相比傳統(tǒng)[-1 0 1]梯度模板，3*3主方向旋轉(zhuǎn) 梯度模板計算中屯、像素點周圍8*2=16個像素點灰度值，而傳統(tǒng)[-1 0 1]梯度模板僅計算 中屯、像素點周圍巧2 = 4個像素點灰度值，統(tǒng)計像素點個數(shù)增加，可W捕捉到的人臉紋理灰 度變化信息也增加；同時3*3主方向旋轉(zhuǎn)梯度模板在0、V4、V2、331/4、JT、5V4、3V2、7V4、2 n方向上增加模板的權重，突出主方向的灰度變化情況，描述主要的人臉紋理延伸方向，并 且將其分為四組，分別用來提取不同方向的HOG特征，可W更充分描述豐富的人臉紋理方向 f目息。
[0039] 5巧尺度主方向旋轉(zhuǎn)梯度算子
[0040] 考慮不同尺度的梯度算子表征的人臉紋理信息不同，因此，本發(fā)明在3*3尺度主方 向旋轉(zhuǎn)梯度模板基礎上，進一步構造5巧尺度主方向旋轉(zhuǎn)梯度模板，并與3*3尺度主方向旋 轉(zhuǎn)梯度模板結(jié)合使用，使其表征的非約束人臉信息更加全面豐富。5*5主方向梯度模板如 下：
[0041]
[0042] 同理，在一個圓周(231)范圍內(nèi)將模板主方向每隔45°沿逆時針旋轉(zhuǎn)一次，得到八個 旋轉(zhuǎn)梯度模板，即5*5尺度主方向旋轉(zhuǎn)梯度模板，如圖4所示。并根據(jù)梯度求導規(guī)則將八個模 板分為四組(Group )，如圖5所示。
[0043] 在本發(fā)明中，一幅人臉圖像標記51個關鍵點，分別標識人臉中眼睛、嘴己、眉毛等 關鍵特征區(qū)域。每個關鍵點的梯度方向直方圖為9維，并且本發(fā)明從兩個尺度八個方向全面 充分描述非約束人臉特征，因此，最終的k-MSPDR-冊G特征維度為51*9*4巧= 3672,特征信 息更全面豐富，噪聲魯棒性更強。
[0044] 傳統(tǒng)的冊G算法中用[-1 0 1]梯度模板計算像素點的梯度幅值和梯度方向，它僅 描述了水平和垂直兩個方向的灰度變化，且包含的像素點信息較少，應用于非約束人臉特 征提取效果較差。因此本發(fā)明提出的基于關鍵點的多尺度主方向旋轉(zhuǎn)HOG算子(Multi- Scale Principal Direction Rotation Histograms of Oriented Gradient based on keypoints，k-MSPDR-H0G)可W有效提取非約束人臉特征。一方面，本發(fā)明是基于面部關鍵 點提取特征，可W有效消除非約束全局人臉特征提取中光照、姿態(tài)、旋轉(zhuǎn)等干擾因素影響， 相比傳統(tǒng)HOG算子，基于關鍵點的HOG算子化OG based on k巧points,k-HOG)提取非約束人 臉特征準確率提高了20.37%化FW數(shù)據(jù)庫)和5.5% (0化數(shù)據(jù)庫）；另一方面，本發(fā)明W關鍵 點為中屯、，在一定鄰域范圍內(nèi)從多尺度、多方向兩個角度充分描述非約束人臉特征，相比k- 冊G算子，k-MSPDR-HOG算子提取非約束人臉特征準確率又進一步提高了 11.66 % (LFW數(shù)據(jù) 庫）和6.68% (0化數(shù)據(jù)庫）。
[0045] 由此可見，本發(fā)明提出的基于關鍵點的多尺度主方向旋轉(zhuǎn)HOG特征提取算法是一 種有效的非約束環(huán)境下的人臉特征提取算法。
[0046] 實驗驗證
[0047] 全局HOG算法與k-HOG算法的識別性能比較
[004引在Matlab環(huán)境下進行實驗，人臉數(shù)據(jù)庫包括LFW數(shù)據(jù)庫和0化數(shù)據(jù)庫。LFW包含了在 非約束環(huán)境下捕捉到的5749類不同人的人臉圖像，共有13,233張，圖像的尺寸為250X250。 0化共包含40類不同人臉對象，每人分別有10張圖像，共400張人臉圖像。每張圖像的尺寸大 小為92 X 112。運里采用基于關鍵點的HOG算法化-HOG)和全局HOG算法化OG)分別提取LFW數(shù) 據(jù)庫和0化數(shù)據(jù)庫的非約束人臉特征，并用SVM分類器進行人臉識別，結(jié)果如表巧日表2所示。 K-HOG 和 HOG 的參數(shù)設置一致，即 cell = 8*8 = 64(pixels)block = 2*2 = 4(cell)，bin = 9。 [0049 ] 表1LFW數(shù)據(jù)庫上全局HOG算法與k-HOG算法識別率比較
[(K)加 ]
[0化1 ]
[0化2]
[0053] 由表1和表2結(jié)果可W看出，基于關鍵點的HOG特征提取算法在兩個數(shù)據(jù)庫上的識 別率均明顯高于全局HOG特征提取算法，并且特征維數(shù)均為51*9 = 459,明顯少于全局HOG特 征維數(shù)化。胖_0;[1116]13；[0加日。=8100,0化_0;[1116]13；[0]1眶=1260)，如圖6。由此可見，基于關鍵點 的特征提取算法可W有效消除非約束人臉識別中光照、姿態(tài)、分辨率等干擾因素影響，可W 有效提高非約束人臉特征的準確性和魯棒性。
[0054] 實施例與k-冊G算法的識別性能比較
[0055] 運里采用本發(fā)明提出的k-MSPDR-HOG算法與k-HOG算法提取LFW數(shù)據(jù)庫和0化數(shù)據(jù) 庫的非約束人臉特征，并用KNN分類器和SVM分類器分別進行識別，結(jié)果如表3、表4所示。
[0056] 表3LFW數(shù)據(jù)庫上k-MSPDR-HOG算法與k-HOG算法識別率比較
[0化7]
[0化引 [0化9]
[0060]由表3可見，在LFW數(shù)據(jù)庫上，利用K順分類器進行分類時，K-MSPDR-HOG算法比K- 冊G算法(基于關鍵點的冊G特征提取算法）、3*3k-PDR-冊G算法(基于關鍵點的3*3尺度的主 方向旋轉(zhuǎn)HOG特征提取算法)和5巧k-PDR-HOG算法(基于關鍵點的5巧尺度的主方向旋轉(zhuǎn)HOG 特征提取算法)在S組實驗上平均識別率分別提高了7.22%、3.19 %、0.43 % ;利用SVM分類 器進行分類時，K-MSPDR-HOG算法的識別率分別比其他S種算法平均提高了 11.66%、 2.11%、0.44%。
[0061 ] 同理，由表4可見，在0化數(shù)據(jù)庫上，利用K順分類器進行分類時，K-MSPDR-HOG算法 的識別率比1(-冊6、3*34斗01?-冊6、5巧4斗01?-冊6在^組實驗上平均分別提高了7.32%、 0.61 %、0.74% ;利用SVM分類器進行分類時，K-MSPDR-冊G算法的識別率分別比其他S種算 法平均提高了 6.68 %、0.72 %、1.31%。
[0062] 由此可見，K-MSPDR-冊G算法是一種基于關鍵點的特征提取算法，從多尺度、多方 向兩個角度改進梯度模板可W充分描述非約束人臉特征，在不同數(shù)據(jù)庫和分類器情況下， 均明顯高于k-冊G算法性能。
[0063] 實施例提出的k-MSMG-HOG算法與經(jīng)典全局特征提取算法的比較
[0064] 將K-MSMG-HOG算法與其他經(jīng)典全局特征提取算法進行比較，采用MN分類器在 LFW、0化兩個庫上實驗，仿真結(jié)果如表5、表6所示。表5中取訓練樣本數(shù)為10,表6中取訓練樣 本數(shù)為4。其中前四種算法均是全局特征提取算法，對于LFW數(shù)據(jù)庫，在進行特征提取之前需 使用人臉檢測器裁剪出固定大小的人臉，去除掉背景干擾。
[00化]表5 LFW數(shù)據(jù)庫上K-MSPDR-HOG算法與其他全局特征提取算法的比較
[0066]
[0067]
[006引
[0069]
[0070] 由表可知，實施例的K-MSMG-HOG人臉特征提取算法相比于其他經(jīng)典的全局特征提 取算法，在LFW數(shù)據(jù)庫上的識別率提高了 17.62%~38.06%，在WL數(shù)據(jù)庫上的識別率提高 了4.79%~12.35%。證明了本發(fā)明提出的算法在非約束環(huán)境下能夠進行有效的人臉特征 提取。
【主權項】
1. 一種非約束環(huán)境下的有效人臉特征提取方法，其特征在于，包括： 首先，構造多尺度主方向旋轉(zhuǎn)梯度模板，包括3*3和5*5兩個尺度的主方向旋轉(zhuǎn)梯度模 板； 然后，對人臉圖像中生物視覺ROI區(qū)域即感興趣區(qū)域進行關鍵點標記，以關鍵點為中 心，在鄰域范圍內(nèi)分別計算3*3和5*5兩個尺度、四組旋轉(zhuǎn)梯度模板下的HOG特征，并將每個 尺度的四組HOG特征級聯(lián)，得到3*3尺度、5*5尺度的主方向旋轉(zhuǎn)HOG特征，即k-PDR-H0G-3、k-PDR-H0G-5； 最后，將k-PDR-H0G-3和k-roR-H0G-5兩個特征級聯(lián)融合，得到基于關鍵點的多尺度主 方向旋轉(zhuǎn)HOG特征。2. 如權利要求1所述的非約束環(huán)境下的有效人臉特征提取方法，其特征在于，構造3*3 尺度主方向旋轉(zhuǎn)梯度模板具體為:在一個圓周2JT范圍內(nèi)將3*3尺度主方向梯度模板從主方 向每隔45°沿逆時針旋轉(zhuǎn)一次，得到八個旋轉(zhuǎn)梯度模板，即3*3尺度主方向旋轉(zhuǎn)梯度模板。3. 如權利要求2所述的非約束環(huán)境下的有效人臉特征提取方法，其特征在于，構建的3* 3尺度主方向梯度模板如下：其中，模板中權值2大于其他數(shù)值，設為主方向，如箭頭所示。4. 如權利要求2所述的非約束環(huán)境下的有效人臉特征提取方法，其特征在于，根據(jù)梯度 求導規(guī)則將八個3*3尺度主方向旋轉(zhuǎn)梯度模板兩兩為一組分為四組，其中每組旋轉(zhuǎn)梯度模 板包含兩個主方向相互垂直模板。5. 如權利要求1-4任一項所述的非約束環(huán)境下的有效人臉特征提取方法，其特征在于， 構造5*5尺度主方向旋轉(zhuǎn)梯度模板具體為:在一個圓周2JT范圍內(nèi)將5*5尺度主方向梯度模板 從主方向每隔45°沿逆時針旋轉(zhuǎn)一次，得到八個旋轉(zhuǎn)梯度模板，即5*5尺度主方向旋轉(zhuǎn)梯度 模板。6. 如權利要求5所述的非約束環(huán)境下的有效人臉特征提取方法，其特征在于，構建的5* 5尺度主方向梯度模板如下其中，模板中權值2大于其他數(shù)值，設為主方向，如箭頭所示。7. 如權利要求5所述的非約束環(huán)境下的有效人臉特征提取方法，其特征在于，根據(jù)梯度 求導規(guī)則將5*5尺度主方向旋轉(zhuǎn)梯度模板兩兩為一組分為四組，其中每組旋轉(zhuǎn)梯度模板包 含兩個主方向相互垂直模板。
【文檔編號】G06K9/00GK106022214SQ201610290463
【公開日】2016年10月12日
【申請日】2016年5月4日
【發(fā)明人】童瑩, 嚴郁, 黃維, 曹雪虹
【申請人】南京工程學院