專利名稱：人臉表情識(shí)別方法及系統(tǒng)、表情分類器的訓(xùn)練方法及系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及模式識(shí)別技術(shù)領(lǐng)域，特別是涉及一種人臉表情識(shí)別方法及系統(tǒng)、一種 人臉表情分類器的訓(xùn)練方法及系統(tǒng)。
背景技術(shù)：
人臉表情是人類視覺(jué)中最為普遍的模式，人臉表情識(shí)別(FER，facialexpression recognition)研究目的就是如何自動(dòng)、可靠、高效地利用人臉表情所傳達(dá)的信息。人臉表情識(shí)別是人機(jī)自然交互、計(jì)算機(jī)視覺(jué)、情感計(jì)算和圖像處理等研究的一個(gè) 熱點(diǎn)課題，在人機(jī)交互、遠(yuǎn)程教育、安全領(lǐng)域、智能機(jī)器人研制、醫(yī)療、動(dòng)畫制作等領(lǐng)域有著 廣泛的應(yīng)用。如果計(jì)算機(jī)也能夠象人類那樣具有理解和表達(dá)情感的能力，自主適應(yīng)環(huán)境，將 從根本上改變?nèi)伺c計(jì)算機(jī)之間的關(guān)系，使計(jì)算機(jī)更好地為人類服務(wù)。這也正是研究人臉表 情識(shí)別并賦予計(jì)算機(jī)具有情感理解和情感表達(dá)課題的重要意義?，F(xiàn)有的人臉表情識(shí)別，通常首先基于美國(guó)心理學(xué)家艾克曼提出的六種基本情感 (分別為高興、驚訝、憤怒、恐懼、厭惡和悲傷)獲得比較夸張的表情，作為人臉表情庫(kù)，然 后，通過(guò)對(duì)該人臉表情庫(kù)中部分樣本的訓(xùn)練，識(shí)別出數(shù)據(jù)庫(kù)中另一部分夸張表情。然而人在自發(fā)狀態(tài)下出現(xiàn)的表情是連續(xù)的，即由中性到夸張，目前對(duì)具體的表情， 如高興、驚訝、憤怒、恐懼、厭惡和悲傷六種表情的研究，都是對(duì)具體的靜態(tài)庫(kù)進(jìn)行訓(xùn)練和測(cè) 試。采用這樣的模板得到的表情識(shí)別結(jié)果，實(shí)際上是離散的，跳躍式的。例如，在制作動(dòng)畫 時(shí)，往往需要導(dǎo)入識(shí)別出的圖片序列，然后對(duì)這些圖片序列進(jìn)行合成，不僅工作量大，而且 經(jīng)常出現(xiàn)動(dòng)畫表情不自然順暢，口型和對(duì)話情景相差懸殊的問(wèn)題?？傊枰绢I(lǐng)域技術(shù)人員迫切解決的一個(gè)技術(shù)問(wèn)題就是如何能夠提供一種人 臉表情識(shí)別方法，用以克服現(xiàn)有表情識(shí)別結(jié)果離散、跳躍、不自然的缺點(diǎn)。

發(fā)明內(nèi)容
本發(fā)明所要解決的技術(shù)問(wèn)題是提供一種人臉表情識(shí)別方法及系統(tǒng)、一種人臉表情 分類器的訓(xùn)練方法及系統(tǒng)，用以克服現(xiàn)有表情識(shí)別結(jié)果離散、跳躍、不自然的缺點(diǎn)。為了解決上述問(wèn)題，本發(fā)明公開了一種人臉表情識(shí)別方法，包括對(duì)輸入視頻圖像，進(jìn)行融合二值圖像和灰度圖像序列的光流運(yùn)動(dòng)場(chǎng)的特征提取， 獲得特征序列；將輸入的特征序列作為觀測(cè)序列，根據(jù)人臉表情分類器判別該觀測(cè)序列所屬的表 情類別；其中，所述人臉表情分類器為組合各種表情的隱馬爾可夫模型得到的，所述隱馬爾 可夫模型經(jīng)訓(xùn)練人臉表情樣本中的中性表情序列和弱小表情序列得到。優(yōu)選的，在所述特征提取步驟前，所述方法還包括針對(duì)輸入視頻圖像，獲取其中的人臉圖像；對(duì)所述人臉圖像進(jìn)行眼睛定位，得到眼睛位置；根據(jù)所述眼睛位置，對(duì)所述人臉圖像進(jìn)行歸一化操作；
從所述歸一化后的人臉圖像中割取預(yù)設(shè)大小的圖像。優(yōu)選的，所述人臉表情分類器為通過(guò)以下步驟獲得的分類器獲得人臉檢測(cè)后的人臉表情樣本，所述人臉表情樣本包括各種表情序列樣本，所 述各種表情序列包括中性表情序列、弱小表情序列和夸張表情序列；對(duì)所述人臉表情樣本，進(jìn)行融合二值圖像和灰度圖像序列的光流運(yùn)動(dòng)場(chǎng)的特征提 取，獲得特征序列；將所述特征序列作為觀測(cè)序列，對(duì)人臉表情樣本中的中性表情序列和弱小表情序 列進(jìn)行訓(xùn)練，為各種表情建立相應(yīng)的隱馬爾可夫模型；組合各種表情的隱馬爾可夫模型，形成人臉表情分類器。本發(fā)明還公開了一種人臉表情分類器的訓(xùn)練方法，包括獲得人臉檢測(cè)后的人臉表情樣本，所述人臉表情樣本包括各種表情序列樣本，所 述各種表情序列包括中性表情序列、弱小表情序列和夸張表情序列；對(duì)所述人臉表情樣本，進(jìn)行融合二值圖像和灰度圖像序列的光流運(yùn)動(dòng)場(chǎng)的特征提 取，獲得特征序列；將所述特征序列作為觀測(cè)序列，對(duì)人臉表情樣本中的中性表情序列和弱小表情序 列進(jìn)行訓(xùn)練，為各種表情建立相應(yīng)的隱馬爾可夫模型；組合各種表情的隱馬爾可夫模型，形成人臉表情分類器。優(yōu)選的，所述二值圖像序列的特征提取步驟包括對(duì)輸入表情圖像序列進(jìn)行二值化，得到二值圖像序列；對(duì)所述二值圖像序列采用H-S光流方法計(jì)算運(yùn)動(dòng)場(chǎng)，獲得二值圖像運(yùn)動(dòng)場(chǎng)；對(duì)所述二值化圖像運(yùn)動(dòng)場(chǎng)進(jìn)行面部輪廓剪切，獲取二值化特征部位；對(duì)所述二值化特征部位進(jìn)行動(dòng)作方向提取，得到各個(gè)二值化特征部位的運(yùn)動(dòng)方向 信息，作為特征序列。優(yōu)選的，所述灰度圖像序列的光流運(yùn)動(dòng)場(chǎng)的特征提取步驟包括對(duì)輸入表情圖像序列進(jìn)行灰度預(yù)處理，得到灰度圖像序列；對(duì)所述灰度圖像序列采用H-S光流方法計(jì)算運(yùn)動(dòng)場(chǎng)，獲得灰度圖像運(yùn)動(dòng)場(chǎng)；對(duì)所述灰度圖像運(yùn)動(dòng)場(chǎng)進(jìn)行高通濾波，獲取灰度特征部位；對(duì)所述灰度特征部位進(jìn)行動(dòng)作方向和強(qiáng)度提取，得到各個(gè)灰度特征部位的運(yùn)動(dòng)方 向信息和強(qiáng)度信息，作為特征序列。優(yōu)選的，所述組合各種表情的隱馬爾可夫模型，形成人臉表情分類器的步驟包 括將每一種表情的隱馬爾可夫模型的輸出作為弱分類器；采用Adaboost算法對(duì)所述弱分類器進(jìn)行選擇和訓(xùn)練，獲得人臉表情分類器。優(yōu)選的，在所述特征提取步驟前，所述方法還包括對(duì)所述人臉表情樣本進(jìn)行眼睛定位，得到眼睛位置；根據(jù)所述眼睛位置，對(duì)所述人臉表情樣本進(jìn)行歸一化操作；從所述歸一化后的人臉表情樣本中割取預(yù)設(shè)大小的圖像。本發(fā)明還公開了一種人臉表情識(shí)別系統(tǒng)，包括特征提取模塊，用于針對(duì)輸入視頻圖像，進(jìn)行融合二值圖像和灰度圖像序列的光流運(yùn)動(dòng)場(chǎng)的特征提取，獲得特征序列；識(shí)別模塊，用于將輸入的特征序列作為觀測(cè)序列，根據(jù)人臉表情分類器判別該觀 測(cè)序列所屬的表情類別；其中，所述人臉表情分類器為組合各種表情的隱馬爾可夫模型得 到的，所述隱馬爾可夫模型經(jīng)訓(xùn)練人臉表情樣本中的中性表情序列和弱小表情序列得到。優(yōu)選的，所述系統(tǒng)還包括圖像校準(zhǔn)模塊，所述圖像校準(zhǔn)模塊包括獲取子模塊，用于針對(duì)輸入視頻圖像，獲取其中的人臉圖像；眼睛定位子模塊，用于對(duì)所述人臉圖像進(jìn)行眼睛定位，得到眼睛位置；歸一化子模塊，用于根據(jù)所述眼睛位置，對(duì)所述人臉圖像進(jìn)行歸一化操作；割取子模塊，用于從所述歸一化后的人臉圖像中割取預(yù)設(shè)大小的圖像。本發(fā)明還公開了一種人臉表情分類器訓(xùn)練系統(tǒng)，包括獲取模塊，用于獲得人臉檢測(cè)后的人臉表情樣本，所述人臉表情樣本包括各種表 情序列樣本，所述各種表情序列包括中性表情序列、弱小表情序列和夸張表情序列；特征提取模塊，用于針對(duì)所述人臉表情樣本，進(jìn)行融合二值圖像和灰度圖像序列 的光流運(yùn)動(dòng)場(chǎng)的特征提取，獲得特征序列；訓(xùn)練模塊，用于將所述特征序列作為觀測(cè)序列，對(duì)人臉表情樣本中的中性表情序 列和弱小表情序列進(jìn)行訓(xùn)練，為各種表情建立相應(yīng)的隱馬爾可夫模型；組合模塊，用于組合各種表情的隱馬爾可夫模型，形成人臉表情分類器。優(yōu)選的，所述特征提取模塊包括二值化子模塊，用于對(duì)輸入表情圖像序列進(jìn)行二值化，得到二值圖像序列；第一計(jì)算子模塊，用于對(duì)所述二值圖像序列采用H-S光流方法計(jì)算運(yùn)動(dòng)場(chǎng)，獲得 二值圖像運(yùn)動(dòng)場(chǎng)；剪切子模塊，用于對(duì)所述二值化圖像運(yùn)動(dòng)場(chǎng)進(jìn)行面部輪廓剪切，獲取二值化特征 部位；方向提取子模塊，用于對(duì)所述二值化特征部位進(jìn)行動(dòng)作方向提取，得到各個(gè)二值 化特征部位的運(yùn)動(dòng)方向信息，作為特征序列。優(yōu)選的，所述特征提取模塊包括灰度圖像獲取子模塊，用于對(duì)輸入表情圖像序列進(jìn)行灰度預(yù)處理，得到灰度圖像 序列；第二計(jì)算子模塊，用于對(duì)所述灰度圖像序列采用H-S光流方法計(jì)算運(yùn)動(dòng)場(chǎng)，獲得 灰度圖像運(yùn)動(dòng)場(chǎng)；濾波子模塊，用于對(duì)所述灰度圖像運(yùn)動(dòng)場(chǎng)進(jìn)行高通濾波，獲取灰度特征部位；方向和強(qiáng)度提取子模塊，用于對(duì)所述灰度特征部位進(jìn)行動(dòng)作方向和強(qiáng)度提取，得 到各個(gè)灰度特征部位的運(yùn)動(dòng)方向信息和強(qiáng)度信息，作為特征序列。優(yōu)選的，所述系統(tǒng)還包括預(yù)處理模塊，所述預(yù)處理模塊包括眼睛定位子模塊，對(duì)所述人臉表情樣本進(jìn)行眼睛定位，得到眼睛位置；歸一化子模塊，用于根據(jù)所述眼睛位置，對(duì)所述人臉表情樣本進(jìn)行歸一化操作；割取子模塊，用于從所述歸一化后的人臉表情樣本中割取預(yù)設(shè)大小的圖像。與現(xiàn)有技術(shù)相比，本發(fā)明具有以下優(yōu)點(diǎn)本發(fā)明將弱小的表情變化作為整個(gè)表情序列從發(fā)生到結(jié)束整個(gè)序列的前奏。具體而言，在提取得到作為觀測(cè)序列的特征序列后，對(duì)人臉表情樣本中的中性表情序列和弱小 表情序列進(jìn)行訓(xùn)練，為各種表情建立相應(yīng)的隱馬爾可夫模型，然后組合各種表情的隱馬爾 可夫模型，形成人臉表情分類器；由于所述訓(xùn)練過(guò)程通過(guò)隱馬爾可夫模型的前向?qū)W習(xí)，對(duì)某 個(gè)觀測(cè)序列的概率進(jìn)行評(píng)估，也即，某種表情的隱馬爾可夫模型具有判別某個(gè)觀測(cè)序列是 否為該表情的能力；同時(shí)，由于所述訓(xùn)練過(guò)程是針對(duì)人臉表情樣本中的中性表情序列和弱 小表情序列進(jìn)行的，因而該人臉表情分類器可預(yù)測(cè)出人臉表情的變化趨勢(shì)；再者，在輸入視頻圖像只包含中性表情、弱小表情時(shí)，本發(fā)明即可將所述輸入視頻 圖像中的弱小表情識(shí)別出來(lái)；因此，相對(duì)于現(xiàn)有技術(shù)，只考慮夸張表情，在表情已經(jīng)積累到 明顯的表情后，才開始進(jìn)行識(shí)別，本發(fā)明可以實(shí)現(xiàn)對(duì)弱小表情的識(shí)別；這樣，獲得的弱小表 情能夠與后面的夸張表情相連接，進(jìn)而獲得較為完整的連續(xù)表情序列。


圖1是本發(fā)明一種人臉表情分類器訓(xùn)練方法實(shí)施例的流程圖；圖2是本發(fā)明一種眼睛定位的示意圖；圖3是本發(fā)明一種高興表情序列的示意；圖4是本發(fā)明一種人臉表情識(shí)別方法實(shí)施例的流程圖；圖5是本發(fā)明一種人臉表情分類器訓(xùn)練系統(tǒng)實(shí)施例的結(jié)構(gòu)圖。
具體實(shí)施例方式為使本發(fā)明的上述目的、特征和優(yōu)點(diǎn)能夠更加明顯易懂，下面結(jié)合附圖和具體實(shí) 施方式對(duì)本發(fā)明作進(jìn)一步詳細(xì)的說(shuō)明。人在自發(fā)狀態(tài)下出現(xiàn)的表情是連續(xù)的，即由中性到夸張，而各種表情的正常表現(xiàn) 經(jīng)常是比較弱小的，因此，解決從弱小表情到強(qiáng)烈的夸張表情的序列識(shí)別是表情識(shí)別實(shí)用 化、自然化的關(guān)鍵。本發(fā)明實(shí)施例的核心構(gòu)思之一在于，將弱小的表情變化作為整個(gè)表情序列從發(fā)生 到結(jié)束整個(gè)序列的前奏。具體而言，基于學(xué)習(xí)的方法，對(duì)連續(xù)人臉表情庫(kù)進(jìn)行訓(xùn)練，由于連 續(xù)人臉表情序列包括中性表情序列、弱小表情序列和夸張表情序列，在學(xué)習(xí)過(guò)程中，如果只 對(duì)庫(kù)中的中性表情序列和弱小表情序列進(jìn)行訓(xùn)練，獲得人臉表情分類器；那么，在對(duì)人臉表 情進(jìn)行識(shí)別時(shí)，在夸張表情出現(xiàn)之前，即可實(shí)現(xiàn)對(duì)弱小表情的識(shí)別。這樣，獲得的弱小表情 能夠與后面的夸張表情相連接，進(jìn)而獲得較為完整的連續(xù)表情序列。參照?qǐng)D1，示出了本發(fā)明一種人臉表情分類器訓(xùn)練方法實(shí)施例的流程圖，具體可以 包括步驟101、獲得人臉檢測(cè)后的人臉表情樣本，所述人臉表情樣本包括各種表情序列 樣本，所述各種表情序列包括中性表情序列、弱小表情序列和夸張表情序列；在實(shí)際中，所述人臉表情樣本可以存在于連續(xù)人臉表情庫(kù)中，所述各種表情可以 包括六種基本表情高興、驚訝、憤怒、恐懼、厭惡和悲傷，也可以對(duì)所述六種表情進(jìn)行進(jìn)一 步分類，如高興表情可以進(jìn)一步包括smile(微笑)、laugh(大笑)和sneer(冷笑)；憤怒 表情可進(jìn)一步包括impatience (急躁)、anger (氣憤)和fury (狂怒)；驚訝表情可進(jìn)一 步包括doubt (疑惑)、curiousness (好奇)、surprise (吃驚)和gape (目瞪口呆)；恐懼表情可進(jìn)一步包括fear (害怕)和shyness (膽怯)；厭惡表情可進(jìn)一步包括disgust (憎 惡)和contempt (蔑視)；悲傷表情可進(jìn)一步包括despair (絕望)和sadness (悲傷)等。在實(shí)際中，由于經(jīng)過(guò)人臉檢測(cè)后的人臉表情樣本大小、位置和灰度各不相同，為保 證獲得較好的識(shí)別效果，在本發(fā)明的一種優(yōu)選實(shí)施例中，對(duì)所有人臉表情樣本的尺寸、位置 和灰度進(jìn)行預(yù)處理，使不同的人臉樣本圖像的尺寸、灰度保持一致。所述預(yù)處理步驟具體可以通過(guò)以下子步驟實(shí)現(xiàn)子步驟A1、對(duì)所述人臉表情樣本進(jìn)行眼睛定位，得到眼睛位置；在具體實(shí)現(xiàn)中，可以采用統(tǒng)計(jì)模式識(shí)別方法，將采集并分割獲得的正面人臉圖像 中的雙眼區(qū)域圖像和非雙眼區(qū)域圖像作為訓(xùn)練樣本，訓(xùn)練得到雙眼區(qū)域檢測(cè)器。例如，采用 自適應(yīng)增強(qiáng)(Adaboost，adaptive boosting)算法對(duì)10000張24X 16的雙眼區(qū)域圖像和非 雙眼區(qū)域圖像進(jìn)行訓(xùn)練，得到雙眼區(qū)域檢測(cè)器。在進(jìn)行眼睛定位時(shí)，可以采用所述雙眼區(qū)域檢測(cè)器在人臉圖像內(nèi)搜索雙眼區(qū)域位 置，確定雙眼區(qū)域位置后，在所述雙眼區(qū)域位置內(nèi)定位左眼位置和右眼位置。參考圖2示出 了一種眼睛定位的示意圖，其中2a為雙眼區(qū)域檢測(cè)器搜索到的眼睛矩形區(qū)域位置，2b所示 的矩形中心即為眼睛位置。子步驟A2、根據(jù)所述眼睛位置，對(duì)所述人臉表情樣本進(jìn)行歸一化操作；在具體實(shí)現(xiàn)中，所述歸一化操作可以包括尺寸歸一化和灰度歸一化操作。其中，尺 寸歸一化的操作可以為將樣本圖像旋轉(zhuǎn)，使每個(gè)人臉的雙眼之間的連線為水平方向，然后 按照雙眼中心距離固定的原則，比例縮放旋轉(zhuǎn)后的圖像，根據(jù)雙眼距離固定、雙眼中心連線 中點(diǎn)到人臉圖像上矩形框距離固定的原則裁剪圖像，即得到了尺寸歸一化后的圖像。灰度歸一化的操作可以采取對(duì)尺寸歸一化后的圖像進(jìn)行灰度拉伸，以改善圖像的 對(duì)比度；或者，采用直方圖均衡化等直方圖修正技術(shù)使圖像具有相近的統(tǒng)計(jì)意義上的均值 和方差，以部分消除光照的影響，本發(fā)明對(duì)具體的操作方式不加以限制。子步驟A3、從所述歸一化后的人臉表情樣本中割取預(yù)設(shè)大小的圖像。例如，從歸一化后的人臉樣本中截取出64X64的裸臉圖像。經(jīng)過(guò)這些預(yù)處理后，相同表情序列樣本在某些特征上才會(huì)具有一定的相似性，而 不同表情序列樣本之間才會(huì)具有一定的差異，此時(shí)才可以采用統(tǒng)計(jì)模式識(shí)別算法進(jìn)行人臉 表情分類器的訓(xùn)練。步驟102、對(duì)所述人臉表情樣本，進(jìn)行融合二值圖像和灰度圖像序列的光流運(yùn)動(dòng)場(chǎng) 的特征提取，獲得特征序列；由于通常采用的經(jīng)過(guò)歸一化后的人臉表情樣本，仍然具有很高的維數(shù)(例如 64 X 64，128 X 128)，直接在人臉表情樣本的灰度特征基礎(chǔ)上進(jìn)行處理，一方面信息冗余，另 一方面復(fù)雜度很高，對(duì)計(jì)算機(jī)的硬件性能是一個(gè)挑戰(zhàn)，因此，特征提取成為圖像識(shí)別領(lǐng)域中 最基本的問(wèn)題之一，能否提取出有效的分類特征是解決該問(wèn)題的關(guān)鍵。常用特征提取方法 的基本思想是將原始樣本映射到某一低維特征空間，得到最能反映樣本本質(zhì)的低維樣本特 征，這樣能夠有效地減少樣本的存儲(chǔ)量和處理速度，實(shí)現(xiàn)人臉的自動(dòng)分類。常用的特征方法有提取幾何特征、統(tǒng)計(jì)特征、頻率域特征和運(yùn)動(dòng)特征等。由于能夠 反映表情變化的實(shí)質(zhì)，受光照不均性影響較小，運(yùn)動(dòng)特征提取在人連表情識(shí)別中得到廣泛 應(yīng)用。
9
而在眾多運(yùn)動(dòng)特征提取方法中，光流算法主要應(yīng)用于基于視頻圖像的系統(tǒng)中，光 流能夠表示點(diǎn)的運(yùn)動(dòng)，而表清發(fā)生時(shí)主要表現(xiàn)在各點(diǎn)眼睛、眉毛、嘴巴等的上下、彎曲等變 化。利用光流來(lái)表示表情發(fā)生過(guò)程中不同表情特征點(diǎn)的運(yùn)動(dòng)。通過(guò)計(jì)算視頻圖像中表情特 征點(diǎn)的光流來(lái)得到各特征點(diǎn)的運(yùn)動(dòng)，并以此作為表情特征。此外，二值圖像占用空間小，且輪廓描述能力強(qiáng)；而灰度圖像具有一定的細(xì)節(jié)描述 能力，因此，本發(fā)明進(jìn)行融合二值圖像和灰度圖像序列的光流運(yùn)動(dòng)場(chǎng)的特征提取。在具體實(shí)現(xiàn)中，所述二值圖像序列的的特征提取步驟可以包括子步驟B1、對(duì)輸入表情圖像序列進(jìn)行二值化，得到二值圖像序列；子步驟B2、對(duì)所述二值圖像序列采用H-S光流方法計(jì)算運(yùn)動(dòng)場(chǎng)，獲得二值圖像運(yùn) 動(dòng)場(chǎng)；H-S(Horn & Schunck)方法是光流計(jì)算中的經(jīng)典方法之一，其主要思想是圖像中 兩點(diǎn)間的灰度變化被假定為線性。子步驟B3、對(duì)所述二值化圖像運(yùn)動(dòng)場(chǎng)進(jìn)行面部輪廓剪切，獲取二值化特征部位；子步驟B4、對(duì)所述二值化特征部位進(jìn)行動(dòng)作方向提取，得到各個(gè)二值化特征部位 的運(yùn)動(dòng)方向信息，作為特征序列。由于二值圖像序列運(yùn)動(dòng)場(chǎng)通過(guò)面部輪廓剪裁后，保留了特征部位的運(yùn)動(dòng)方向，那 么，分別統(tǒng)計(jì)各個(gè)特征部位邊界向上和向下運(yùn)動(dòng)的像素點(diǎn)數(shù)目，采取其比值判斷該特征部 位動(dòng)作的方向，如向上向下等，即可得到特征序列。所述灰度圖像序列的光流運(yùn)動(dòng)場(chǎng)的特征提取可以通過(guò)以下子步驟來(lái)實(shí)現(xiàn)子步驟C1、對(duì)輸入表情圖像序列進(jìn)行灰度預(yù)處理，得到灰度圖像序列；子步驟C2、對(duì)所述灰度圖像序列采用H-S光流方法計(jì)算運(yùn)動(dòng)場(chǎng)，獲得灰度圖像運(yùn) 動(dòng)場(chǎng)；子步驟C3、對(duì)所述灰度圖像運(yùn)動(dòng)場(chǎng)進(jìn)行高通濾波，獲取灰度特征部位；子步驟C4、對(duì)所述灰度特征部位進(jìn)行動(dòng)作方向和強(qiáng)度提取，得到各個(gè)灰度特征部 位的運(yùn)動(dòng)方向信息和強(qiáng)度信息，作為特征序列。通過(guò)高通濾波后，灰度圖像序列運(yùn)動(dòng)場(chǎng)，保留了特征部位運(yùn)動(dòng)較強(qiáng)的矢量；在此基 礎(chǔ)上，可以統(tǒng)計(jì)各個(gè)特征部位邊界上像素點(diǎn)的數(shù)目判斷該特征部位動(dòng)作的強(qiáng)度。經(jīng)過(guò)上述二值和灰度圖像序列的特征抽取后，可以獲得眉毛的動(dòng)作方向、鼻子的 動(dòng)作方向、嘴巴的動(dòng)作方向、眉毛與鼻子的動(dòng)作強(qiáng)度之比以及眉毛與嘴巴的動(dòng)作強(qiáng)度之比， 共5維特征序列。步驟103、將所述特征序列作為觀測(cè)序列，對(duì)人臉表情樣本中的中性表情序列和弱 小表情序列進(jìn)行訓(xùn)練，為各種表情建立相應(yīng)的隱馬爾可夫模型；在人臉表情識(shí)別的分類器設(shè)計(jì)和選擇階段，主要有線性分類器、神經(jīng)網(wǎng)絡(luò)分類 器、支持向量機(jī)、隱馬爾可夫模型等分類識(shí)別方法。其中，隱馬爾可夫模型(HMM，Hidden Markov Model)作為一種統(tǒng)計(jì)分析模型，具有健壯的數(shù)學(xué)結(jié)構(gòu)，適用于動(dòng)態(tài)過(guò)程時(shí)間序列建 模，且具有強(qiáng)大的模式分類能力，因此，本發(fā)明采用HMM方法，以精確地描繪表情的變化本 質(zhì)和動(dòng)態(tài)性能。人臉面部表情動(dòng)作變化可以看成是一個(gè)隨機(jī)過(guò)程，以高興、驚訝、憤怒、恐懼、厭惡 和悲傷6種基本表情為例，每種表情對(duì)應(yīng)一個(gè)HMM模型，其中，每個(gè)HMM模型具有6種狀態(tài)，每個(gè)HMM模型的觀測(cè)序列也即步驟102提取的特征序列，其轉(zhuǎn)移概率也即從某一種表情轉(zhuǎn) 變到另一種表情的概率，輸出概率是某一觀測(cè)序列呈現(xiàn)出某一種表情的概率，初始分布是 各種表情的概率，具體到本發(fā)明，也即人臉表情樣本。因此，本步驟將所述特征序列作為觀測(cè)序列，對(duì)人臉表情樣本進(jìn)行訓(xùn)練，為各種表 情建立相應(yīng)的隱馬爾可夫模型。訓(xùn)練過(guò)程為，通過(guò)時(shí)間序列分析，學(xué)習(xí)人臉表情樣本中的夸 張表情，記憶特征序列變化和表情之間的關(guān)系。由于所述訓(xùn)練過(guò)程通過(guò)HMM模型的前向?qū)W 習(xí)，對(duì)某個(gè)觀測(cè)序列的概率進(jìn)行評(píng)估，因而，本發(fā)明通過(guò)統(tǒng)計(jì)隨機(jī)過(guò)程發(fā)生的特點(diǎn)建立反映 該過(guò)程特點(diǎn)的概率模型，也即，某種表情的HMM模型具有判別某個(gè)觀測(cè)序列是否為該表情 的能力；這樣，當(dāng)輸入表情特征序列時(shí)，該HMM模型可預(yù)測(cè)出人臉表情的變化趨勢(shì)。參考圖3，示出了本發(fā)明一種高興表情序列。在一個(gè)連續(xù)表情序列中，中性表情一 弱小表情一夸張表情，是一個(gè)漸進(jìn)的過(guò)程。圖中，中性表情(13-16幀)，弱小表情(17-22 幀)，夸張表情(23-34幀)。本發(fā)明將弱小的表情變化作為整個(gè)表情序列從發(fā)生到結(jié)束整個(gè) 序列的前奏，也即，訓(xùn)練操作只針對(duì)人臉表情樣本中的中性表情序列和弱小表情序列進(jìn)行。 例如，一種訓(xùn)練示例可以為，通過(guò)對(duì)13幀-20幀的處理，來(lái)建立該高興表情的HMM模型，即 可預(yù)測(cè)出該高興表情的變化趨勢(shì)。當(dāng)然，上述訓(xùn)練圖像幀的選取只是作為示例，本領(lǐng)域技術(shù)人員可以根據(jù)經(jīng)驗(yàn)進(jìn)行 所述訓(xùn)練圖像幀的選取，本發(fā)明對(duì)此不加以限制。步驟104、組合各種表情的隱馬爾可夫模型，形成人臉表情分類器。盡管HMM具有較好的統(tǒng)計(jì)特性，但各種表情中有些面部特征部位的動(dòng)作是非常接 近的，如恐懼和高興時(shí)，嘴巴都是張開，且嘴角都向兩側(cè)拉伸；悲傷和憤怒時(shí)，鼻子都微微塌 下去等等。針對(duì)上述問(wèn)題，本發(fā)明可以采用自適應(yīng)增強(qiáng)(Adaboost，adaptiveboosting)方 法，加大分類錯(cuò)誤樣本的權(quán)值，提高連續(xù)表情分類器的性能。Adaboost是一種迭代算法，其核心思想是針對(duì)同一個(gè)訓(xùn)練集訓(xùn)練不同的分類器 (弱分類器)，然后把這些弱分類器集合起來(lái)，構(gòu)成一個(gè)更強(qiáng)的最終分類器(強(qiáng)分類器)。 其算法本身是通過(guò)改變數(shù)據(jù)分布來(lái)實(shí)現(xiàn)的，它根據(jù)每次訓(xùn)練集之中每個(gè)樣本的分類是否正 確，以及上次的總體分類的準(zhǔn)確率，來(lái)確定每個(gè)樣本的權(quán)值。將修改過(guò)權(quán)值的新數(shù)據(jù)集送給 下層分類器進(jìn)行訓(xùn)練，最后將每次訓(xùn)練得到的分類器最后融合起來(lái)，作為最后的決策分類 器。使用Adaboost分類器可以排除一些不必要的訓(xùn)練數(shù)據(jù)特征，并將關(guān)鍵放在關(guān)鍵的訓(xùn)練 數(shù)據(jù)上面。因此，所述組合步驟可以包括將每一種表情的隱馬爾可夫模型的輸出作為弱分類器；采用Adaboost算法對(duì)所述弱分類器進(jìn)行選擇和訓(xùn)練，獲得人臉表情分類器。參照?qǐng)D4，示出了本發(fā)明一種人臉表情識(shí)別方法實(shí)施例的流程圖，具體可以包括步驟401、對(duì)輸入視頻圖像，進(jìn)行融合二值圖像和灰度圖像序列的光流運(yùn)動(dòng)場(chǎng)的特 征提取，獲得特征序列；在實(shí)際中，所述輸入視頻圖像一般通過(guò)攝像頭或攝像機(jī)采集得到，所以其中的幀 圖像中可能不存在人臉，或者，即使存在人臉，所述人臉的大小、位置和灰度也各不相同。為 保證獲得較好的識(shí)別效果，在特征提取前，本發(fā)明可以采用如下圖像校準(zhǔn)步驟，具體可以包括子步驟D1、針對(duì)輸入視頻圖像，獲取其中的人臉圖像；在實(shí)際中，可采用人臉追蹤算法等人臉檢測(cè)方法，獲取輸入視頻圖像中的人臉區(qū) 域所在位置，從而獲取得到其中的人臉圖像。子步驟D2、對(duì)所述人臉圖像進(jìn)行眼睛定位，得到眼睛位置；子步驟D3、根據(jù)所述眼睛位置，對(duì)所述人臉圖像進(jìn)行歸一化操作；子步驟D4、從所述歸一化后的人臉圖像中割取預(yù)設(shè)大小的圖像。步驟402、將輸入的特征序列作為觀測(cè)序列，根據(jù)人臉表情分類器判別該觀測(cè)序列 所屬的表情類別。在具體實(shí)現(xiàn)中，所述人臉表情分類器可以通過(guò)以下訓(xùn)練步驟獲得步驟E1、獲得人臉檢測(cè)后的人臉表情樣本，所述人臉表情樣本包括各種表情序列 樣本，所述各種表情序列包括中性表情序列、弱小表情序列和夸張表情序列；步驟E2、對(duì)所述人臉表情樣本，進(jìn)行融合二值圖像和灰度圖像序列的光流運(yùn)動(dòng)場(chǎng) 的特征提取，獲得特征序列；步驟E3、將所述特征序列作為觀測(cè)序列，對(duì)人臉表情樣本中的中性表情序列和弱 小表情序列進(jìn)行訓(xùn)練，為各種表情建立相應(yīng)的隱馬爾可夫模型；步驟E4、組合各種表情的隱馬爾可夫模型，形成人臉表情分類器。對(duì)于上述訓(xùn)練步驟而言，由于其與圖1所示的訓(xùn)練方法實(shí)施例的實(shí)現(xiàn)過(guò)程相似， 這里就不一一贅述。由于訓(xùn)練獲得的人臉表情分類器為組合各種表情的HMM模型得到的， 所述HMM模型具有判別觀測(cè)序列是否為某種表情的能力，因此，所述識(shí)別過(guò)程可以為，將輸入的特征序列作為觀測(cè)序列，判別該觀測(cè)序列所屬的表情類別。例如，訓(xùn)練獲得的人臉表情分類器將人臉表情分為高興、驚訝、憤怒、恐懼、厭惡和 悲傷6種基本表情，那么，當(dāng)輸入特征序列時(shí)，該人臉表情分類器可以輸出所述特征序列所 屬的表情類別。此外，由于訓(xùn)練是針對(duì)人臉表情樣本中的中性表情序列和弱小表情序列進(jìn)行的， 因而該人臉表情分類器可預(yù)測(cè)出人臉表情的變化趨勢(shì)。這樣，在所述輸入視頻圖像只包含 中性表情和弱小表情時(shí)，本發(fā)明即可將所述輸入視頻圖像中的弱小表情識(shí)別出來(lái)。因此，相 對(duì)于現(xiàn)有技術(shù)，只考慮夸張表情，在表情已經(jīng)積累到明顯的表情后，才開始進(jìn)行識(shí)別，本發(fā) 明可以實(shí)現(xiàn)對(duì)弱小表情的識(shí)別。這樣，獲得的弱小表情能夠與后面的夸張表情相連接，進(jìn)而 獲得較為完整的連續(xù)表情序列。由于本發(fā)明能夠通過(guò)識(shí)別獲得較為完整的連續(xù)表情序列，在制作動(dòng)畫時(shí)，就能夠 避免出現(xiàn)動(dòng)畫表情不自然順暢，口型和對(duì)話情景相差懸殊的問(wèn)題。對(duì)于識(shí)別方法實(shí)施例而言，由于其訓(xùn)練步驟與圖1所示的訓(xùn)練方法實(shí)施例基本相 似，所以描述的比較簡(jiǎn)單，相關(guān)之處參見(jiàn)訓(xùn)練方法實(shí)施例的部分說(shuō)明即可。需要說(shuō)明的是，對(duì)于方法實(shí)施例，為了簡(jiǎn)單描述，故將其都表述為一系列的動(dòng)作組 合，但是本領(lǐng)域技術(shù)人員應(yīng)該知悉，本發(fā)明并不受所描述的動(dòng)作順序的限制，因?yàn)橐罁?jù)本發(fā) 明，某些步驟可以采用其他順序或者同時(shí)進(jìn)行。其次，本領(lǐng)域技術(shù)人員也應(yīng)該知悉，說(shuō)明書 中所描述的實(shí)施例均屬于優(yōu)選實(shí)施例，所涉及的動(dòng)作和模塊并不一定是本發(fā)明所必須的。參考圖5，示出了本發(fā)明一種人臉表情分類器訓(xùn)練系統(tǒng)實(shí)施例的結(jié)構(gòu)圖，具體可以包括獲取模塊501，用于獲得人臉檢測(cè)后的人臉表情樣本，所述人臉表情樣本包括各種 表情序列樣本，所述各種表情序列包括中性表情序列、弱小表情序列和夸張表情序列；特征提取模塊502，用于針對(duì)所述人臉表情樣本，進(jìn)行融合二值圖像和灰度圖像序 列的光流運(yùn)動(dòng)場(chǎng)的特征提取，獲得特征序列；訓(xùn)練模塊503，用于將所述特征序列作為觀測(cè)序列，對(duì)人臉表情樣本中的中性表情 序列和弱小表情序列進(jìn)行訓(xùn)練，為各種表情建立相應(yīng)的隱馬爾可夫模型；組合模塊504，用于組合各種表情的隱馬爾可夫模型，形成人臉表情分類器。 在具體實(shí)現(xiàn)中，步驟可以包括子步驟Bi、對(duì)輸入表情圖像序列進(jìn)行二值化，得到二值圖像序列；子步驟B2、對(duì)所述二值圖像序列采用H-S光流方法計(jì)算運(yùn)動(dòng)場(chǎng)，獲得二值圖像運(yùn) 動(dòng)場(chǎng)；H-S (Horn & Schimck)方法是光流計(jì)算中的經(jīng)典方法之一，其主要思想是圖像中 兩點(diǎn)間的灰度變化被假定為線性。對(duì)應(yīng)于所述二值圖像序列的的特征提取，所述特征提取 模塊可以進(jìn)一步包括二值化子模塊，用于對(duì)輸入表情圖像序列進(jìn)行二值化，得到二值圖像序列；第一計(jì)算子模塊，用于對(duì)所述二值圖像序列采用H-S光流方法計(jì)算運(yùn)動(dòng)場(chǎng)，獲得 二值圖像運(yùn)動(dòng)場(chǎng)；剪切子模塊，用于對(duì)所述二值化圖像運(yùn)動(dòng)場(chǎng)進(jìn)行面部輪廓剪切，獲取二值化特征 部位；方向提取子模塊，用于對(duì)所述二值化特征部位進(jìn)行動(dòng)作方向提取，得到各個(gè)二值 化特征部位的運(yùn)動(dòng)方向信息，作為特征序列。對(duì)應(yīng)于所述灰度圖像序列的的特征提取，所述特征提取模塊的結(jié)構(gòu)可以為灰度圖像獲取子模塊，用于對(duì)輸入表情圖像序列進(jìn)行灰度預(yù)處理，得到灰度圖像 序列；第二計(jì)算子模塊，用于對(duì)所述灰度圖像序列采用H-S光流方法計(jì)算運(yùn)動(dòng)場(chǎng)，獲得 灰度圖像運(yùn)動(dòng)場(chǎng)；濾波子模塊，用于對(duì)所述灰度圖像運(yùn)動(dòng)場(chǎng)進(jìn)行高通濾波，獲取灰度特征部位；方向和強(qiáng)度提取子模塊，用于對(duì)所述灰度特征部位進(jìn)行動(dòng)作方向和強(qiáng)度提取，得 到各個(gè)灰度特征部位的運(yùn)動(dòng)方向信息和強(qiáng)度信息，作為特征序列。在實(shí)際中，由于經(jīng)過(guò)人臉檢測(cè)后的人臉表情樣本大小、位置和灰度各不相同，為保 證獲得較好的識(shí)別效果，在本發(fā)明的一種優(yōu)選實(shí)施例中，對(duì)所有人臉表情樣本的尺寸、位置 和灰度進(jìn)行預(yù)處理，使不同的人臉樣本圖像的尺寸、灰度保持一致，此時(shí)，所述系統(tǒng)還可以 包括預(yù)處理模塊，所述預(yù)處理模塊可以進(jìn)一步包括眼睛定位子模塊，對(duì)所述人臉表情樣本進(jìn)行眼睛定位，得到眼睛位置；歸一化子模塊，用于根據(jù)所述眼睛位置，對(duì)所述人臉表情樣本進(jìn)行歸一化操作；割取子模塊，用于從所述歸一化后的人臉表情樣本中割取預(yù)設(shè)大小的圖像。對(duì)于系統(tǒng)實(shí)施例而言，由于其與圖1所示的方法實(shí)施例基本相似，所以描述的比 較簡(jiǎn)單，相關(guān)之處參見(jiàn)系統(tǒng)實(shí)施例的部分說(shuō)明即可。
本發(fā)明還公開了一種人臉表情識(shí)別系統(tǒng)實(shí)施例，具體可以包括特征提取模塊，用于針對(duì)輸入視頻圖像，進(jìn)行融合二值圖像和灰度圖像序列的光 流運(yùn)動(dòng)場(chǎng)的特征提取，獲得特征序列；識(shí)別模塊，用于將輸入的特征序列作為觀測(cè)序列，根據(jù)人臉表情分類器判別該觀 測(cè)序列所屬的表情類別；其中，所述人臉表情分類器為組合各種表情的隱馬爾可夫模型得 到的，所述隱馬爾可夫模型經(jīng)訓(xùn)練人臉表情樣本中的中性表情序列和弱小表情序列得到。在實(shí)際中，所述輸入視頻圖像一般通過(guò)攝像頭或攝像機(jī)采集得到，所以其中的幀 圖像中可能不存在人臉，或者，即使存在人臉，所述人臉的大小、位置和灰度也各不相同。為 保證獲得較好的識(shí)別效果，在特征提取前，所述系統(tǒng)還可以包括圖像校準(zhǔn)模塊，所述圖像校 準(zhǔn)模塊可以進(jìn)一步包括獲取子模塊，用于針對(duì)輸入視頻圖像，獲取其中的人臉圖像；眼睛定位子模塊，用于對(duì)所述人臉圖像進(jìn)行眼睛定位，得到眼睛位置；歸一化子模塊，用于根據(jù)所述眼睛位置，對(duì)所述人臉圖像進(jìn)行歸一化操作；割取子模塊，用于從所述歸一化后的人臉圖像中割取預(yù)設(shè)大小的圖像。對(duì)于系統(tǒng)實(shí)施例而言，由于其與圖4所示的方法實(shí)施例基本相似，所以描述的比 較簡(jiǎn)單，相關(guān)之處參見(jiàn)方法實(shí)施例的部分說(shuō)明即可。本發(fā)明可用于視頻電話、視頻數(shù)字娛樂(lè)領(lǐng)域，例如，用于制作人臉動(dòng)畫，獲取人臉 動(dòng)作等。以上對(duì)本發(fā)明所提供的一種人臉表情識(shí)別方法及系統(tǒng)、一種人臉表情分類器的訓(xùn) 練方法及系統(tǒng)，進(jìn)行了詳細(xì)介紹，本文中應(yīng)用了具體個(gè)例對(duì)本發(fā)明的原理及實(shí)施方式進(jìn)行 了闡述，以上實(shí)施例的說(shuō)明只是用于幫助理解本發(fā)明的方法及其核心思想；同時(shí)，對(duì)于本領(lǐng) 域的一般技術(shù)人員，依據(jù)本發(fā)明的思想，在具體實(shí)施方式
及應(yīng)用范圍上均會(huì)有改變之處，綜 上所述，本說(shuō)明書內(nèi)容不應(yīng)理解為對(duì)本發(fā)明的限制。
權(quán)利要求
一種人臉表情識(shí)別方法，其特征在于，包括對(duì)輸入視頻圖像，進(jìn)行融合二值圖像和灰度圖像序列的光流運(yùn)動(dòng)場(chǎng)的特征提取，獲得特征序列；將輸入的特征序列作為觀測(cè)序列，根據(jù)人臉表情分類器判別該觀測(cè)序列所屬的表情類別；其中，所述人臉表情分類器為組合各種表情的隱馬爾可夫模型得到的，所述隱馬爾可夫模型經(jīng)訓(xùn)練人臉表情樣本中的中性表情序列和弱小表情序列得到。
2.如權(quán)利要求1所述的方法，其特征在于，在所述特征提取步驟前，還包括 針對(duì)輸入視頻圖像，獲取其中的人臉圖像；對(duì)所述人臉圖像進(jìn)行眼睛定位，得到眼睛位置； 根據(jù)所述眼睛位置，對(duì)所述人臉圖像進(jìn)行歸一化操作； 從所述歸一化后的人臉圖像中割取預(yù)設(shè)大小的圖像。
3.如權(quán)利要求1所述的方法，其特征在于，所述人臉表情分類器為通過(guò)以下步驟獲得 的分類器獲得人臉檢測(cè)后的人臉表情樣本，所述人臉表情樣本包括各種表情序列樣本，所述各 種表情序列包括中性表情序列、弱小表情序列和夸張表情序列；對(duì)所述人臉表情樣本，進(jìn)行融合二值圖像和灰度圖像序列的光流運(yùn)動(dòng)場(chǎng)的特征提取， 獲得特征序列；將所述特征序列作為觀測(cè)序列，對(duì)人臉表情樣本中的中性表情序列和弱小表情序列進(jìn) 行訓(xùn)練，為各種表情建立相應(yīng)的隱馬爾可夫模型；組合各種表情的隱馬爾可夫模型，形成人臉表情分類器。
4.一種人臉表情分類器的訓(xùn)練方法，其特征在于，包括獲得人臉檢測(cè)后的人臉表情樣本，所述人臉表情樣本包括各種表情序列樣本，所述各 種表情序列包括中性表情序列、弱小表情序列和夸張表情序列；對(duì)所述人臉表情樣本，進(jìn)行融合二值圖像和灰度圖像序列的光流運(yùn)動(dòng)場(chǎng)的特征提取， 獲得特征序列；將所述特征序列作為觀測(cè)序列，對(duì)人臉表情樣本中的中性表情序列和弱小表情序列進(jìn) 行訓(xùn)練，為各種表情建立相應(yīng)的隱馬爾可夫模型；組合各種表情的隱馬爾可夫模型，形成人臉表情分類器。
5.如權(quán)利要求4所述的方法，其特征在于，所述二值圖像序列的特征提取步驟包括 對(duì)輸入表情圖像序列進(jìn)行二值化，得到二值圖像序列；對(duì)所述二值圖像序列采用H-S光流方法計(jì)算運(yùn)動(dòng)場(chǎng)，獲得二值圖像運(yùn)動(dòng)場(chǎng)； 對(duì)所述二值化圖像運(yùn)動(dòng)場(chǎng)進(jìn)行面部輪廓剪切，獲取二值化特征部位； 對(duì)所述二值化特征部位進(jìn)行動(dòng)作方向提取，得到各個(gè)二值化特征部位的運(yùn)動(dòng)方向信 息，作為特征序列。
6.如權(quán)利要求4所述的方法，其特征在于，所述灰度圖像序列的光流運(yùn)動(dòng)場(chǎng)的特征提 取步驟包括對(duì)輸入表情圖像序列進(jìn)行灰度預(yù)處理，得到灰度圖像序列； 對(duì)所述灰度圖像序列采用H-S光流方法計(jì)算運(yùn)動(dòng)場(chǎng)，獲得灰度圖像運(yùn)動(dòng)場(chǎng)； 對(duì)所述灰度圖像運(yùn)動(dòng)場(chǎng)進(jìn)行高通濾波，獲取灰度特征部位；對(duì)所述灰度特征部位進(jìn)行動(dòng)作方向和強(qiáng)度提取，得到各個(gè)灰度特征部位的運(yùn)動(dòng)方向信 息和強(qiáng)度信息，作為特征序列。
7.如權(quán)利要求4所述的方法，其特征在于，所述組合各種表情的隱馬爾可夫模型，形成 人臉表情分類器的步驟包括將每一種表情的隱馬爾可夫模型的輸出作為弱分類器；采用Adaboost算法對(duì)所述弱分類器進(jìn)行選擇和訓(xùn)練，獲得人臉表情分類器。
8.如權(quán)利要求4所述的方法，其特征在于，在所述特征提取步驟前，還包括 對(duì)所述人臉表情樣本進(jìn)行眼睛定位，得到眼睛位置；根據(jù)所述眼睛位置，對(duì)所述人臉表情樣本進(jìn)行歸一化操作； 從所述歸一化后的人臉表情樣本中割取預(yù)設(shè)大小的圖像。
9.一種人臉表情識(shí)別系統(tǒng)，其特征在于，包括特征提取模塊，用于針對(duì)輸入視頻圖像，進(jìn)行融合二值圖像和灰度圖像序列的光流運(yùn) 動(dòng)場(chǎng)的特征提取，獲得特征序列；識(shí)別模塊，用于將輸入的特征序列作為觀測(cè)序列，根據(jù)人臉表情分類器判別該觀測(cè)序 列所屬的表情類別；其中，所述人臉表情分類器為組合各種表情的隱馬爾可夫模型得到的， 所述隱馬爾可夫模型經(jīng)訓(xùn)練人臉表情樣本中的中性表情序列和弱小表情序列得到。
10.如權(quán)利要求9所述的系統(tǒng)，其特征在于，還包括圖像校準(zhǔn)模塊，所述圖像校準(zhǔn)模塊 包括獲取子模塊，用于針對(duì)輸入視頻圖像，獲取其中的人臉圖像； 眼睛定位子模塊，用于對(duì)所述人臉圖像進(jìn)行眼睛定位，得到眼睛位置； 歸一化子模塊，用于根據(jù)所述眼睛位置，對(duì)所述人臉圖像進(jìn)行歸一化操作； 割取子模塊，用于從所述歸一化后的人臉圖像中割取預(yù)設(shè)大小的圖像。
11.一種人臉表情分類器訓(xùn)練系統(tǒng)，其特征在于，包括獲取模塊，用于獲得人臉檢測(cè)后的人臉表情樣本，所述人臉表情樣本包括各種表情序 列樣本，所述各種表情序列包括中性表情序列、弱小表情序列和夸張表情序列；特征提取模塊，用于針對(duì)所述人臉表情樣本，進(jìn)行融合二值圖像和灰度圖像序列的光 流運(yùn)動(dòng)場(chǎng)的特征提取，獲得特征序列；訓(xùn)練模塊，用于將所述特征序列作為觀測(cè)序列，對(duì)人臉表情樣本中的中性表情序列和 弱小表情序列進(jìn)行訓(xùn)練，為各種表情建立相應(yīng)的隱馬爾可夫模型；組合模塊，用于組合各種表情的隱馬爾可夫模型，形成人臉表情分類器。
12.如權(quán)利要求11所述的系統(tǒng)，其特征在于，所述特征提取模塊包括 二值化子模塊，用于對(duì)輸入表情圖像序列進(jìn)行二值化，得到二值圖像序列；第一計(jì)算子模塊，用于對(duì)所述二值圖像序列采用H-S光流方法計(jì)算運(yùn)動(dòng)場(chǎng)，獲得二值 圖像運(yùn)動(dòng)場(chǎng)；剪切子模塊，用于對(duì)所述二值化圖像運(yùn)動(dòng)場(chǎng)進(jìn)行面部輪廓剪切，獲取二值化特征部位；方向提取子模塊，用于對(duì)所述二值化特征部位進(jìn)行動(dòng)作方向提取，得到各個(gè)二值化特 征部位的運(yùn)動(dòng)方向信息，作為特征序列。
13.如權(quán)利要求11所述的系統(tǒng)，其特征在于，所述特征提取模塊包括灰度圖像獲取子模塊，用于對(duì)輸入表情圖像序列進(jìn)行灰度預(yù)處理，得到灰度圖像序列；第二計(jì)算子模塊，用于對(duì)所述灰度圖像序列采用H-S光流方法計(jì)算運(yùn)動(dòng)場(chǎng)，獲得灰度 圖像運(yùn)動(dòng)場(chǎng)；濾波子模塊，用于對(duì)所述灰度圖像運(yùn)動(dòng)場(chǎng)進(jìn)行高通濾波，獲取灰度特征部位； 方向和強(qiáng)度提取子模塊，用于對(duì)所述灰度特征部位進(jìn)行動(dòng)作方向和強(qiáng)度提取，得到各 個(gè)灰度特征部位的運(yùn)動(dòng)方向信息和強(qiáng)度信息，作為特征序列。
14.如權(quán)利要求11所述的系統(tǒng)，其特征在于，還包括預(yù)處理模塊，所述預(yù)處理模塊包括眼睛定位子模塊，對(duì)所述人臉表情樣本進(jìn)行眼睛定位，得到眼睛位置； 歸一化子模塊，用于根據(jù)所述眼睛位置，對(duì)所述人臉表情樣本進(jìn)行歸一化操作； 割取子模塊，用于從所述歸一化后的人臉表情樣本中割取預(yù)設(shè)大小的圖像。
全文摘要
本發(fā)明提供了一種人臉表情識(shí)別方法及系統(tǒng)、一種人臉表情分類器的訓(xùn)練方法及系統(tǒng)。其中的人臉表情識(shí)別方法具體包括對(duì)輸入視頻圖像，進(jìn)行融合二值圖像和灰度圖像序列的光流運(yùn)動(dòng)場(chǎng)的特征提取，獲得特征序列；將輸入的特征序列作為觀測(cè)序列，根據(jù)人臉表情分類器判別該觀測(cè)序列所屬的表情類別；其中，所述人臉表情分類器為組合各種表情的隱馬爾可夫模型得到的，所述隱馬爾可夫模型經(jīng)訓(xùn)練人臉表情樣本中的中性表情序列和弱小表情序列得到。本發(fā)明用以克服現(xiàn)有表情識(shí)別結(jié)果離散、跳躍、不自然的缺點(diǎn)。
文檔編號(hào)G06K9/62GK101877056SQ20091024341
公開日2010年11月3日 申請(qǐng)日期2009年12月21日 優(yōu)先權(quán)日2009年12月21日
發(fā)明者崔國(guó)勤 申請(qǐng)人:北京中星微電子有限公司