一種人臉表情識(shí)別方法
【專利摘要】本發(fā)明公開了一種人臉表情識(shí)別方法，屬于圖像處理。本發(fā)明為：從表情庫(kù)中選擇多幅不同人的中性表情圖像，以及多幅與所選中性表情同人的各類表情圖片，并分別提取N個(gè)特征點(diǎn)的位置信息向量；基于后者與前者的向量差得到對(duì)應(yīng)不同表情類別的底層表情特征點(diǎn)信息向量feij，并基于feij訓(xùn)練各類表情的SVM分類器；再feij分別送入各SVM分類器中，計(jì)算feij分別到各SVM分類器的超平面的距離，形成表情特征庫(kù)；在待識(shí)別人的中性表情圖像和實(shí)時(shí)輸入的待識(shí)別圖像上提取位N個(gè)特征點(diǎn)的位置信息向量，計(jì)算前者與后者的向量差，并送入各SVM分類器中進(jìn)行特征變換處理，得到特征向量；取該特征向量與表情特征庫(kù)中歐式距離所對(duì)應(yīng)的特征向量為識(shí)別出的表情。本發(fā)明能提升識(shí)別的準(zhǔn)確性和實(shí)時(shí)性。
【專利說(shuō)明】一種人臉表情識(shí)別方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及圖像處理，具體涉及人臉表情識(shí)別技術(shù)。
【背景技術(shù)】
[0002]人臉表情識(shí)別技術(shù)在近年來(lái)隨著一些相關(guān)領(lǐng)域的飛速發(fā)展如機(jī)器學(xué)習(xí)，圖像處理，人類識(shí)別等，成為了一個(gè)熱點(diǎn)發(fā)展的技術(shù)。人臉表情識(shí)別系統(tǒng)的影響和潛力同時(shí)推廣到廣大的應(yīng)用場(chǎng)合中，如人機(jī)交互，智能機(jī)器人，駕駛員狀態(tài)監(jiān)督等等。人臉表情識(shí)別系統(tǒng)是計(jì)算機(jī)理解人們情感的前提，也是人們探索智能、理解智能的有效途徑。如何實(shí)現(xiàn)計(jì)算機(jī)的擬人化，使其能根據(jù)周圍的環(huán)境以及對(duì)象的狀態(tài)等內(nèi)容，自適應(yīng)地為交流對(duì)象提供最友好的操作環(huán)境，消除操作者和機(jī)器之間的障礙，己經(jīng)成為下一代人機(jī)界面發(fā)展的目標(biāo)，是智能機(jī)器人走進(jìn)人們?nèi)粘Ｉ畋仨毥鉀Q的問(wèn)題，對(duì)建立多信息智能化人機(jī)交互系統(tǒng)有著重要意義。
[0003]人臉表情識(shí)別技術(shù)一般包括三部分內(nèi)容:(I)人臉檢測(cè)；(2)人臉表情特征的提??；(3)表情特征的分類。其中人臉表情特征提取是整個(gè)系統(tǒng)中最為核心的步驟，特征提取直接影響到識(shí)別的精度，魯棒性，和實(shí)時(shí)性。常見(jiàn)的人臉特征提取的方法包括:基于幾何特征，表觀特征，動(dòng)態(tài)特征的方法。
[0004]I)基于幾何特征的方法，這類方法是對(duì)人臉特定的區(qū)域如眼睛，嘴，鼻等區(qū)域建立模型或者二維的拓?fù)浣Y(jié)構(gòu)，提取幾何特征。這類方法很大程度上減少了數(shù)據(jù)量的輸入，但對(duì)于基準(zhǔn)點(diǎn)的準(zhǔn)確性要求高，而且對(duì)于圖像質(zhì)量低的情況難以處理。
[0005]2)表觀特征的提取方法，即對(duì)圖像進(jìn)行預(yù)處理后，獲得局部區(qū)域像素之間的關(guān)系如梯度，紋理等。比如以Gabor小波作為初始特征，然后利用基因規(guī)劃算法合成新的特征，最后通過(guò)SVM(支持向量機(jī))分類器進(jìn)行表情識(shí)別，Gabor特征雖然區(qū)分能力強(qiáng)，但是缺點(diǎn)在于其維數(shù)高，計(jì)算量大。詳見(jiàn)文獻(xiàn):J.Yu, B, Bhanu.Evolut1naryfeature synthesis for facial express1n recognit1n[J].Pattern Recognit1nLetters, 2006, 27(11):289-1298。
[0006]3)動(dòng)態(tài)特征提取方法，此類針對(duì)圖像序列的人臉特征提取的方法有光流法，特征點(diǎn)跟蹤法等。如利用AAM(主動(dòng)外觀模型)在圖像序列中提取多個(gè)特征點(diǎn)后，根據(jù)特征點(diǎn)估計(jì)其中特定特征點(diǎn)組成的運(yùn)動(dòng)特征向量，最后利用SVM的分類投票進(jìn)行分類識(shí)別。但其存在的問(wèn)題是AAM通過(guò)人工標(biāo)點(diǎn)的位置信息結(jié)合紋理信息建立數(shù)學(xué)統(tǒng)計(jì)模型，其復(fù)雜度大，然后再利用最優(yōu)化理論通過(guò)多次迭代進(jìn)行特征點(diǎn)定位，運(yùn)算量極大，特征點(diǎn)雖能夠達(dá)到精石角但無(wú)法實(shí)時(shí)° 詳見(jiàn)文獻(xiàn):S.Park, D.Kim.Subtle facial express1n recognit1n usingmot1n magnificat1n [J].Pattern Recognit1n Letters, 2009, 30 (7): 708-716。
[0007]綜上所述，人臉表情識(shí)別雖然經(jīng)過(guò)多年的發(fā)展，精確提取出表情特征從而進(jìn)行強(qiáng)魯棒性人臉表情的識(shí)別仍就是一個(gè)亟需解決的技術(shù)難題，同時(shí)提升基于SVM進(jìn)行表情自動(dòng)識(shí)別時(shí)的實(shí)時(shí)性和準(zhǔn)確性仍需要進(jìn)一步提升。
【發(fā)明內(nèi)容】

[0008]本發(fā)明的發(fā)明目的在于:提供一種識(shí)別準(zhǔn)確度高的人臉表情識(shí)別方法。
[0009]本發(fā)明的人臉表情識(shí)別方法，包括下列步驟:
[0010]步驟1:構(gòu)建表情特征庫(kù)
[0011]步驟101:從表情庫(kù)中選擇R幅不同人的中性表情圖像，其中所述R大于或等于20 ；
[0012]分別在各圖像上定位N個(gè)表情特征點(diǎn)的位置信息，提取每幅圖片的表情特征點(diǎn)信息向量 Vi = (X1, X2,...，Xn, Yi, Y2,...yn),其中 η = 1，2，...，N ;i = 1，2，...，R ;并分別對(duì)
各特征點(diǎn)信息向量Vi進(jìn)行預(yù)處理得到Vi = (X1 - - Λ%.,,，Α.? -XJ1 U2 - j,..., v? -y)，其中?、V分別表示向量Vi中N個(gè)Xn的均值，N個(gè)yn的均值；
[0013]步驟102:從表情庫(kù)中選擇與步驟I中對(duì)應(yīng)R人的各類表情圖片各S幅，其中所述S大于或等于5;
[0014]分別在每幅圖像上定 位N個(gè)表情特征點(diǎn)的位置信息，提取每幅圖片的表情特征點(diǎn)信息向量》/ = (.VA&JWb…J',J，其中上標(biāo)j用于標(biāo)識(shí)不同的表情分類；并分別對(duì)各
特征點(diǎn)信息向量進(jìn)行預(yù)處理得到a/ = (X, — XiX1-X,...,Xn-X, -y,y2 -7,,..,凡-J}，其中
X、y分別表示向量中N個(gè)Xn的均值，Nf yn的均值；
[0015]步驟103:計(jì)算底層表情特征點(diǎn)信息向量爲(wèi)j =m/ -v,；
[0016]步驟104:基于底層表情特征點(diǎn)信息向量fe?訓(xùn)練各類表情對(duì)應(yīng)的SVM分類器；
[0017]步驟105:將底層表情特征點(diǎn)信息向量fe?分別送入步驟4得到的各SVM分類器中，計(jì)算每一個(gè)底層表情特征點(diǎn)信息向量f<_分別到各SVM分類器的超平面的距離
，由各個(gè)feature^形成表情特征庫(kù)；
[0018]步驟2:人臉表情識(shí)別
[0019]步驟201:輸入待識(shí)別人的人臉中性表情圖像，在當(dāng)前圖像上定位N個(gè)表情特征點(diǎn)的位置信息，提取位置信息向量V’ = (X1, X2,..., xn, Y1, y2，…yn)，并進(jìn)行預(yù)處理得到
V= (xt-X3X2-x,yt -y,y2-y,...y?-y) * 其中 p 分別表示向量 V，中 N 個(gè) xn 的
均值，N個(gè)yn的均值；
[0020]步驟202:實(shí)時(shí)輸入步驟201所述的待識(shí)別人的人臉圖像序列，在每一幅圖像上定位N個(gè)表情特征點(diǎn)的位置信息,提取位置信息向量U’ = (X1, X2,, xn, Y1, y2,...yn),并進(jìn)
行預(yù)處理得到?' =Ixl —χ,χ2 -X,…,? u U2 —y,...ya —,)，其中χ、y分別表示向量u’
中N個(gè)xn的均值，N個(gè)yn的均值；
[0021]步驟203:將了-了送入步驟104得到的各SVM分類器中進(jìn)行特征變換處理，得到特征向量featest ；
[0022]步驟204:計(jì)算特征向量featest與表情特征庫(kù)/i?atere/中各個(gè)向量的歐式距離，將歐式距離最小的特征向量j的所對(duì)應(yīng)的表情類別確定為當(dāng)前待識(shí)別人的表情。[0023]本發(fā)明通過(guò)上述步驟將現(xiàn)有人臉表情識(shí)別處理時(shí)的分類投票問(wèn)題在SVM映射的高維空間中轉(zhuǎn)換成了一個(gè)向量匹配問(wèn)題，從而完成了低層表情特征到高層表情特征的轉(zhuǎn)換，低層特征與各個(gè)分類超平面的精確距離，使得高層的表情特征具有更強(qiáng)更準(zhǔn)確的區(qū)分能力。
[0024]進(jìn)一步，本發(fā)明對(duì)現(xiàn)有的在圖像上定位N個(gè)表情特征點(diǎn)的位置信息，提取每幅圖片的表情特征點(diǎn)信息的處理進(jìn)行了改進(jìn)，提出了一種基于隨機(jī)森林的表情特征點(diǎn)的定位方法，以提升對(duì)人臉表情特征點(diǎn)定位的準(zhǔn)確度和運(yùn)算速度。
[0025]所謂隨機(jī)森林,實(shí)質(zhì)是一個(gè)組合分類器，將構(gòu)成隨機(jī)森林的基礎(chǔ)分類器稱作決策樹。隨機(jī)森林即是由多顆決策樹形成。每課決策樹為一個(gè)樹狀預(yù)測(cè)模型，它由節(jié)點(diǎn)和有向邊組成的層次結(jié)構(gòu)。決策樹中包含3種節(jié)點(diǎn):根節(jié)點(diǎn)，內(nèi)部節(jié)點(diǎn)(中間節(jié)點(diǎn))，葉子節(jié)點(diǎn)(終節(jié)點(diǎn))。每課決策樹只有一個(gè)根節(jié)點(diǎn)，為全體訓(xùn)練數(shù)據(jù)的集合。決策樹中的每個(gè)內(nèi)部節(jié)點(diǎn)都是一個(gè)分裂問(wèn)題，它將分到該節(jié)點(diǎn)的樣本數(shù)據(jù)按某個(gè)特定的屬性(分類規(guī)則)進(jìn)行分割成2塊。每個(gè)葉子節(jié)點(diǎn)是帶有最終分類結(jié)果標(biāo)簽的數(shù)據(jù)集合。從決策樹的根節(jié)點(diǎn)到葉子節(jié)點(diǎn)的每一條路徑都形成一個(gè)分類。
[0026]本發(fā)明改進(jìn)的在圖像上定位N個(gè)表情特征點(diǎn)的位置信息具體包括下列步驟:
[0027]A.基于采樣的人臉表情特征點(diǎn)，訓(xùn)練特征點(diǎn)定位的隨機(jī)森林:
[0028]步驟al:對(duì)訓(xùn)練樣本圖像進(jìn)行特征點(diǎn)標(biāo)記，并記錄得到的N個(gè)特征點(diǎn)的位置信息；
[0029]步驟a2:將訓(xùn)練 樣本圖像隨機(jī)分為M組圖像組，每組圖像組分別對(duì)應(yīng)特征點(diǎn)定位的隨機(jī)森林的一顆決策二叉樹Tni，其中m = 1，...，M ;分別在各圖像組的每幅圖像上隨機(jī)抽取若干相同大小的方塊bi;標(biāo)識(shí)符i用于區(qū)分不同的方塊，第m組圖像組所包含的所有方塊
h構(gòu)成訓(xùn)練集^，落入決策二叉樹Tm的根節(jié)點(diǎn)；
[0030]步驟a3:隨機(jī)生成O到255之間的兩個(gè)以上隨機(jī)數(shù)Ti，構(gòu)成分離參數(shù)組G ={xj,基于分離參數(shù)組G對(duì)決策二叉樹Tm的節(jié)點(diǎn)進(jìn)行分類處理:
[0031]確定當(dāng)前待處理節(jié)點(diǎn)的最優(yōu)分離參數(shù)τ%
[0032]若方塊匕的積分圖均值或積分圖的任一像素點(diǎn)的值小于分離參數(shù)τ i7則方塊h屬于子訓(xùn)練集，否則屬于子訓(xùn)練集Ρκ;設(shè)當(dāng)前待處理節(jié)點(diǎn)所包含的方塊匕構(gòu)成訓(xùn)練
集6，基于公式Σ計(jì)算分離參數(shù)Ti的分類信息增益
IG(Ti),即原訓(xùn)練集(P:)的不確定度減去分離后2個(gè)子訓(xùn)練集的不確定度，對(duì)任意訓(xùn)練
集P的分類不確定度可通過(guò)分類不確定度函數(shù)=進(jìn)

『I I|尸丨
行計(jì)算，其中P(CnIbi)表示方塊匕屬于第η個(gè)特征點(diǎn)的概率，且=




Λ
k e (0，I)，λ e [0.1, 0.15]，其中<表示方塊匕的中心坐標(biāo)到第η個(gè)特征點(diǎn)的坐標(biāo)偏移量，|Ρ|表示訓(xùn)練集P所包含的方塊匕的個(gè)數(shù)，SiP(C1Jbi)表示對(duì)訓(xùn)練集P中所有元素的P(C1Jbi)求和；[0033]從分離參數(shù)組G中選擇分類信息增益IG(Ti)最大的τ ,作為本次最優(yōu)分離參數(shù) 并記錄^到分類分離參數(shù)集合T!,;
[0034]基于當(dāng)前最優(yōu)分離參數(shù)τ %對(duì)待處理節(jié)點(diǎn)進(jìn)行分類處理:若訓(xùn)練集6中的方塊
h的積分圖均值或積分圖的任一像素點(diǎn)的值小于分離參數(shù)則落入當(dāng)前節(jié)點(diǎn)的左子女節(jié)點(diǎn)；否則落入當(dāng)前節(jié)點(diǎn)的右子女節(jié)點(diǎn)；
[0035]步驟a4:當(dāng)決策二叉樹Tm深度等于預(yù)設(shè)閾值或當(dāng)前分類信息增益IG( τ ,)均低于預(yù)設(shè)閾值時(shí)，創(chuàng)建決策二叉樹Tm的一個(gè)葉子節(jié)點(diǎn)；否則對(duì)當(dāng)前得到的子女節(jié)點(diǎn)繼續(xù)執(zhí)行步驟a3 ；
[0036]B.人臉表情特征點(diǎn)的定位:
[0037]步驟bl:將輸入的待定位人臉圖像分割成多個(gè)相同大小的子塊P」，標(biāo)識(shí)符j用于區(qū)分不同的子塊，所述子塊h的大小與步驟a2中所述的方塊匕相同；
[0038]步驟b2:將所有的子塊P」全部投放到步驟A訓(xùn)練好的隨機(jī)森林中的每一顆決策樹Tffl上進(jìn)行判決，即將當(dāng)前圖像的全部子塊P」分別落入M棵決策二叉樹Tm的根節(jié)點(diǎn)，基于分離參數(shù)集合TIt中所記錄的決策二叉樹、各節(jié)點(diǎn)的最優(yōu)分離參數(shù)τ %根據(jù)步驟a3所述的分類處理對(duì)各子塊Pj進(jìn)行分類處理，直到各子塊Pj落入對(duì)應(yīng)的葉子節(jié)點(diǎn)；
[0039]在決策二叉樹Tm中，子塊Pj所在的葉子節(jié)點(diǎn)定義為。由M個(gè)葉子節(jié)點(diǎn)^構(gòu)成子塊Pj的定位集Lj ；
[0040]步驟b3:基于公式
【權(quán)利要求】
1.一種人臉表情識(shí)別方法，其特征在于，包括下列步驟: 步驟1:構(gòu)建表情特征庫(kù)步驟101:從表情庫(kù)中選擇R幅不同人的中性表情圖像，其中所述R大于或等于20 ；分別在各圖像上定位N個(gè)表情特征點(diǎn)的位置信息，提取每幅圖片的表情特征點(diǎn)信息向量 Vi = (X1, X2,, Xn, Y1, Y2,...Jr),其中 η = I, 2,..., N ；i = 1，2，…，R ;并分別對(duì)各特征點(diǎn)信息向量vi進(jìn)行預(yù)處理得到Vi =(? -XiX2.-Xi,,,,Xtt--j)，其中JC、J分別表示向量Vi中N個(gè)Xn的均值，N個(gè)yn的均值； 步驟102:從表情庫(kù)中選擇與步驟I中對(duì)應(yīng)R人的各類表情圖片各S幅，其中所述S大于或等于5 ； 分別在每幅圖像上定位N個(gè)表情特征點(diǎn)的位置信息，提取每幅圖片的表情特征點(diǎn)信息向量w/其中上標(biāo)j用于標(biāo)識(shí)不同的表情分類；并分別對(duì)各特征點(diǎn)信息向量U進(jìn)行預(yù)處理得到《/ =(Λ., -y2-?,,.,?-.1’，...,凡-.!’>，其中X、y分別表示向量w/中N個(gè)Xn的均值，N個(gè)yn的均值； 步驟103:計(jì)算底層表情特征點(diǎn)信息向量? ? ； 步驟104:基于底層表情特征點(diǎn)信息向量fe?訓(xùn)練各類表情對(duì)應(yīng)的SVM分類器； 步驟105:將底層表情特征點(diǎn)信息向量fV_分別送入步驟4得到的各SVM分類器中，計(jì)算每一個(gè)底層表情特征點(diǎn)信息向量fe?分別到各SVM分類器的超平面的距離feature?，由各個(gè)Jkiture丨形成表情特征庫(kù)； 步驟2:人臉表情識(shí)別 步驟201:輸入待識(shí)別人的人臉中性表情圖像，在當(dāng)前圖像上定位N個(gè)表情特征點(diǎn)的位置信息，提取位置信息向量V’ =并進(jìn)行預(yù)處理得到V= (x, —1,? —I,..,,xn -XtV1 -JiJ2 — - J)，其中1、J 分別表示向量 V’ 中 N個(gè) Xn 的均值，N個(gè)yn的均值；步驟202:實(shí)時(shí)輸入步驟201所述的待識(shí)別人的人臉圖像序列，在每一幅圖像上定位N個(gè)表情特征點(diǎn)的位置信息，提取位置信息向量u’ = (X1, X2,, xn, Y1, y2,...yn)，并進(jìn)行預(yù)處理得至Li U =(馬-x,x2 -X,,?txe -x, V, -y^ -1dl其中?、；分別表示向量u’中N個(gè)Xn的均值，N個(gè)yn的均值； 步驟203:將?7送入步驟104得到的各SVM分類器中進(jìn)行特征變換處理，得到特征向量 featest ； 步驟204:計(jì)算特征向量featest與表情特征庫(kù)中各個(gè)向量的歐式距離,將歐式距離最小的特征向量j的所對(duì)應(yīng)的表情類別確定為當(dāng)前待識(shí)別人的表情。
2.如權(quán)利要求1所述的方法，其特征在于，所述步驟101中，提取每幅圖片的表情特征點(diǎn)信息包括下列步驟: A.基于采樣的人臉表情特征點(diǎn)，訓(xùn)練特征點(diǎn)定位的隨機(jī)森林:步驟al:對(duì)訓(xùn)練樣本圖像進(jìn)行特征點(diǎn)標(biāo)記，并記錄得到的N個(gè)表情特征點(diǎn)的位置信息； 步驟a2:將訓(xùn)練樣本圖像隨機(jī)分為M組圖像組，每組圖像組分別對(duì)應(yīng)特征點(diǎn)定位的隨機(jī)森林的一顆決策二叉樹Tm，其中m = 1，...，M ;分別在各圖像組的每幅圖像上隨機(jī)抽取若干相同大小的方塊bi;標(biāo)識(shí)符i用于區(qū)分不同的方塊，第m組圖像組所包含的所有方塊匕構(gòu)成訓(xùn)練集< ?落入決策二叉樹Tm的根節(jié)點(diǎn)； 步驟a3:隨機(jī)生成O到255之間的兩個(gè)以上隨機(jī)數(shù)Ti，構(gòu)成分離參數(shù)組G= |>J，基于分離參數(shù)組G對(duì)決策二叉樹Tm的節(jié)點(diǎn)進(jìn)行分類處理: 確定當(dāng)前待處理節(jié)點(diǎn)的最優(yōu)分離參數(shù) 若方塊h的積分圖均值或積分圖的任一像素點(diǎn)的值小于分離參數(shù)^，則方塊匕屬于子訓(xùn)練集，否則屬于子訓(xùn)練集Ρκ;設(shè)當(dāng)前待處理節(jié)點(diǎn)所包含的方塊h構(gòu)成訓(xùn)練集pqm 基于公式
3.如權(quán)利要求2所述的方法，其特征在于，所述步驟b2中，基于公式
4.如權(quán)利要求2或3所述的方法，其特征在于，所述步驟a3中， 在確定當(dāng)前待處理節(jié)點(diǎn)的最優(yōu)分離參數(shù)^時(shí)，基于方塊h的積分圖均差與分離參數(shù)h的大小關(guān)系，將訓(xùn)練集#分為兩個(gè)子訓(xùn)練集L、R，計(jì)算分離參數(shù)Ti的分類信息增益IG ( τ j)； 在基于當(dāng)前最優(yōu)分離參數(shù)1%對(duì)待處理節(jié)點(diǎn)進(jìn)行分類處理時(shí)，基于方塊I3i的積分圖均差與最優(yōu)分離參數(shù)^大小關(guān)系，確定當(dāng)前節(jié)點(diǎn)的子女節(jié)點(diǎn)分別包含的方塊匕； 所述方塊匕的積分圖均差為積分圖最右下角的點(diǎn)與中心點(diǎn)的值之差的其中常數(shù)C的取值區(qū)間為8-15。
【文檔編號(hào)】G06K9/46GK104036255SQ201410280557
【公開日】2014年9月10日 申請(qǐng)日期:2014年6月21日 優(yōu)先權(quán)日:2014年6月21日
【發(fā)明者】馬爭(zhēng), 解梅, 陳路, 蔡家柱 申請(qǐng)人:電子科技大學(xué)