人臉表情識別裝置和方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種人臉表情識別裝置和方法，具體為，涉及在多姿態(tài)下識別人臉表情的裝置和方法。
【背景技術(shù)】
[0002]本發(fā)明屬于圖像處理、計算機視覺、模式識別技術(shù)領(lǐng)域，特別涉及一種全局結(jié)合基于關(guān)鍵點可靠性判斷的多層次局部分析的多姿態(tài)人臉表情識別方法。
[0003]人臉表情包括自然狀態(tài)、高興、驚訝、悲傷、憤怒、害怕、厭惡等。人臉表情識別是人機交互與情感計算研究的重要組成部分。以往的人臉表情研究大部分基于受控條件，如正向情況下等。然而在實際的應(yīng)用中，更多情況下在進行人臉表情識別時是在非受控條件下進行的，即，人臉是處于任意的姿態(tài)下的。
[0004]在現(xiàn)有技術(shù)中，關(guān)于人臉表情識別的技術(shù)例如有《基于證據(jù)理論的人臉表情識別方法》(發(fā)明專利申請公開第CN120629321A號公報)，其中結(jié)合人臉全局信息和局部信息，對表情庫中的人臉和左眼圖像分別提取Gabor特征，得到兩個識別結(jié)果，利用證據(jù)理論進行決策融合。
[0005]關(guān)于該技術(shù)例如還有《基于特征點矢量與紋理形變能量參數(shù)的人臉表情識別方法》(發(fā)明專利申請公開第CN120945361A號公報)，其中，結(jié)合特征點矢量與紋理形變能量參數(shù)對表情識別進行研究。首先根據(jù)AAM提取關(guān)鍵點，根據(jù)關(guān)鍵點提取特征點矢量特征和特征塊紋理信息，降維后訓(xùn)練神經(jīng)網(wǎng)絡(luò)得到表情識別結(jié)果。
[0006]在上述現(xiàn)有技術(shù)中，并未充分考慮到在不同姿態(tài)下如何進行處理，會產(chǎn)生由于關(guān)鍵點定位不準導(dǎo)致的表情錯誤識別，導(dǎo)致在不同姿態(tài)情況下進行人臉表情識別的準確性差。

【發(fā)明內(nèi)容】

[0007]本發(fā)明有鑒于現(xiàn)有技術(shù)存在的問題，提供一種能夠在多姿態(tài)下準確進行人臉表情識別的裝置和方法。
[0008]本發(fā)明的人臉表情識別裝置，包括:圖像預(yù)處理單元，其對獲取的待識別人臉圖像進行預(yù)處理，生成預(yù)處理圖像；姿態(tài)確定單元，其確定所述預(yù)處理圖像中的人臉的姿態(tài)信息；關(guān)鍵點定位單元，其根據(jù)所述姿態(tài)信息，在所述預(yù)處理圖像中確定多個關(guān)鍵點；關(guān)鍵點可靠性分析單元，其從所述多個關(guān)鍵點選擇出多個可靠關(guān)鍵點；特征提取單元，其對預(yù)處理圖像提取全局特征、與所述多個可靠關(guān)鍵點相應(yīng)的可靠關(guān)鍵點特征、和與所述可靠關(guān)鍵點相應(yīng)的區(qū)域內(nèi)的可靠局部特征；以及表情確定單元，其將至少包括所述全局特征、所述可靠關(guān)鍵點特征和所述可靠局部特征的三個特征，與預(yù)先訓(xùn)練得到的相應(yīng)姿態(tài)下各表情的標準人臉的相應(yīng)特征進行相似度比較，而確定待識別人臉圖像的表情。
[0009]另外，本發(fā)明的人臉表情識別方法，包括:圖像預(yù)處理步驟，其中對獲取的待識別人臉圖像進行預(yù)處理，生成預(yù)處理圖像；姿態(tài)確定步驟，其中確定所述預(yù)處理圖像中的人臉的姿態(tài)信息；關(guān)鍵點定位步驟，其中根據(jù)所述姿態(tài)信息，在所述預(yù)處理圖像中確定多個關(guān)鍵點；關(guān)鍵點可靠性分析步驟，其中從所述多個關(guān)鍵點選擇出多個可靠關(guān)鍵點；特征提取步驟，其中對預(yù)處理圖像提取全局特征、與所述多個可靠關(guān)鍵點相應(yīng)的可靠關(guān)鍵點特征、和與所述可靠關(guān)鍵點相應(yīng)的區(qū)域內(nèi)的可靠局部特征；以及表情確定步驟，其中將至少包括所述全局特征、所述可靠關(guān)鍵點特征和所述可靠局部特征的三個特征，與預(yù)先訓(xùn)練得到的相應(yīng)姿態(tài)下各表情的標準人臉的相應(yīng)特征進行相似度比較，而確定表情。
[0010]根據(jù)本發(fā)明，能夠?qū)θ我庾藨B(tài)下的人臉準確地識別其表情。
【附圖說明】
[0011]圖1是本發(fā)明實施方式的人臉表情識別裝置的方框圖。
[0012]圖2是本發(fā)明中作為標準人臉的姿態(tài)分類示意圖。
[0013]圖3是本發(fā)明實施方式的人臉表情識別裝置中識別人臉表情的流程圖。
[0014]圖4是本發(fā)明人臉關(guān)鍵點定位TJK意圖。
[0015]圖5是可靠關(guān)鍵點判斷的區(qū)域分解示意圖。
[0016]圖6是與表情相關(guān)的五官區(qū)域劃分圖。
[0017]圖7是與表情相關(guān)的人臉其他區(qū)域劃分圖。
[0018]圖8是實施例1的表情確定單元進行處理的流程圖。
[0019]圖9是實施例2的表情確定單元進行處理的流程圖。
[0020]圖10是實施例3的表情確定單元進行處理的流程圖。
【具體實施方式】
[0021]下面，結(jié)合附圖詳細說明本發(fā)明的人臉表情識別裝置及其方法的【具體實施方式】。在本實施方式中以具體的例子進行說明，但本發(fā)明并不限于該【具體實施方式】。
[0022]圖1是本實施方式的人臉表情識別裝置的方框圖。
[0023]本實施方式的人臉表情識別裝置100包括圖像預(yù)處理單元110、姿態(tài)確定單元120、關(guān)鍵點定位單元130、關(guān)鍵點可靠性分析單元140、特征提取單元150和表情確定單元160。下面詳細說明各單元。
[0024]<圖像預(yù)處理單元110 >
[0025]圖像預(yù)處理單元110對獲取的待識別人臉圖像進行預(yù)處理，生成預(yù)處理圖像。
[0026]在圖像預(yù)處理單元110中，獲取待識別人臉圖像，該待識別人臉圖像進行一系列預(yù)處理操作，比如歸一化、尺寸變換、直方圖均衡化等。在預(yù)處理后，作為預(yù)處理圖像將該待識別人臉圖像歸一化到統(tǒng)一大小。
[0027]<姿態(tài)確定單元120 >
[0028]姿態(tài)確定單元120確定預(yù)處理圖像中的人臉的姿態(tài)信息。
[0029]為了能夠使后述關(guān)鍵點定位單元130和表情確定單元160準確地定位關(guān)鍵點及識別表情，由姿態(tài)確定單元120預(yù)先進行人臉姿態(tài)判斷。其可通過將上述預(yù)處理圖像與預(yù)先訓(xùn)練得到的各姿態(tài)下的標準人臉進行對比來判斷人臉的姿態(tài)，得到該姿態(tài)信息。
[0030]圖2為標準人臉的圖像的示意圖。
[0031]作為各姿態(tài)下的標準人臉，如圖2所示，可分為右視、正視、左視、俯視、仰視等多個朝向方向的標準人臉。該標準人臉可通過各種訓(xùn)練方法得到，例如SVM(支持向量機)、神經(jīng)網(wǎng)絡(luò)、AdaBoost等。對此，將在后述進行詳細說明。
[0032]<關(guān)鍵點定位單元130 >
[0033]關(guān)鍵點定位單元130根據(jù)上述姿態(tài)信息，在預(yù)處理圖像中確定多個關(guān)鍵點。
[0034]關(guān)鍵點定位單元130，根據(jù)姿態(tài)確定單元120確定的預(yù)處理圖像中的人臉的姿態(tài)信息，與預(yù)先對各姿態(tài)下的標準人臉設(shè)定的預(yù)設(shè)關(guān)鍵點選擇相應(yīng)地，確定預(yù)處理圖像中人臉的關(guān)鍵點。作為預(yù)設(shè)關(guān)鍵點，是預(yù)先訓(xùn)練得到的，對此將在后面進行詳細說明。
[0035]<關(guān)鍵點可靠性分析單元140 >
[0036]關(guān)鍵點可靠性分析單元140從關(guān)鍵點確定單元130所確定的多個關(guān)鍵點分析各關(guān)鍵點的可靠性，并從中選擇可靠關(guān)鍵點。
[0037]在本實施方式中，關(guān)鍵點可靠性分析單元140，根據(jù)預(yù)先保存的對于各姿態(tài)下的標準人臉劃分的多個預(yù)設(shè)區(qū)域的信息，和預(yù)先對各姿態(tài)下的上述標準人臉設(shè)定的預(yù)設(shè)關(guān)鍵點的?目息，對由關(guān)鍵點確定單兀130確定的關(guān)鍵點進彳丁分析。
[0038]此時，利用與劃分預(yù)設(shè)區(qū)域相同的方法，對預(yù)處理圖像中的人臉劃分多個區(qū)域，并將各關(guān)鍵點在相應(yīng)區(qū)域中的位置關(guān)系，與預(yù)設(shè)關(guān)鍵點在預(yù)設(shè)區(qū)域中的位置關(guān)系進行比較，選擇位置關(guān)系一致的關(guān)鍵點作為可靠關(guān)鍵點。
[0039]<特征提取單元150 >
[0040]特征提取單元150對預(yù)