專利名稱：人體非程式化運(yùn)動的情感識別方法
技術(shù)領(lǐng)域：
本發(fā)明屬于計(jì)算機(jī)模式識別領(lǐng)域，具體涉及一種人體非程式化運(yùn)動 的情感識別方法，根據(jù)人體各關(guān)節(jié)點(diǎn)的三維運(yùn)動數(shù)據(jù)，提取運(yùn)動特征， 識別運(yùn)動序列蘊(yùn)含的情感狀態(tài)。
背景技術(shù)：
1997年MIT媒體實(shí)驗(yàn)室的Picard提出"情感計(jì)算"，受到學(xué)術(shù)界的 日益關(guān)注和企業(yè)界的迅速反應(yīng)。如何自動識別和理解人的情感，引起了 包括心理學(xué)、計(jì)算機(jī)科學(xué)、語言學(xué)和相關(guān)學(xué)科大量研究者的關(guān)注。心理 學(xué)家研究認(rèn)為，在人與人的交互中，單詞語義所包含的信息量占所傳遞 總信息量的7%，語調(diào)占38%，而人臉的表情占了總信息量的55%，因此目 前基于人臉表情和聲音語調(diào)來識別情感的研究比較廣泛。而之后的研究 者認(rèn)為，結(jié)合臉部和身體運(yùn)動一起識別情感比僅依靠臉部來識別情感準(zhǔn) 確率要提高35%，特別是在某些無法看到面部或者沒有聲音的場合，肢體 運(yùn)動特征很有可能起到良好的識別作用，因此基于人體運(yùn)動特征的情感 識別逐步引起研究者的重視。
目前基于人體運(yùn)動特征的情感識別的研究主要有兩種方向。 一是基 于程式化運(yùn)動的情感識別，所謂程式化運(yùn)動指的是在某種情感狀態(tài)下表 現(xiàn)出來的固定的動作或者姿態(tài)，例如握緊拳頭表示處于憤怒的情感狀態(tài); 二是基于非程式化運(yùn)動的情感識別，所謂非程式化動作指的是無論何種 情感狀態(tài)下，運(yùn)動的外在表現(xiàn)相同，例如走路、敲門等動作，但是運(yùn)動 的內(nèi)含不同，例如不同的情感狀態(tài)下，運(yùn)動的速度和動作的幅度等是不 一樣的。程式化運(yùn)動只有在特定的情況下才會發(fā)生，因此在現(xiàn)實(shí)生活中比較難捕獲，而非程式化的動作屬于日常的、常規(guī)的動作，在日常的工 作、學(xué)習(xí)和生活環(huán)境中很容易捕獲，因此基于非程式化運(yùn)動的情感識別 具有更廣泛的意義。
從非程式化人體運(yùn)動來識別人的情感還處于探索階段。格拉斯哥大 學(xué)的Pollick等通過觀察者對演員的表演，采集敲門和喝酒的手臂運(yùn)動
視頻，識別其中蘊(yùn)含的10種情感，并通過計(jì)算距離矩陣，利用多維尺度 分析進(jìn)行投影，結(jié)果與情感維相符。雖然不是一個(gè)自動識別系統(tǒng)，但卻 證明了通過非程式化人體運(yùn)動，.可以識別人的情感。Pollick等還建立了 走路、敲門、舉手、扔?xùn)|西等動作的運(yùn)動數(shù)據(jù)庫，采集了30個(gè)演員，四 種情感的全身各關(guān)節(jié)點(diǎn)的三維數(shù)據(jù)，可用于身份、性別、情感等識別， 見Ma Y.L.， Paterson H. and Pollick F. E. " A motion-capture library for the study of identity, gender, and emotion perception from biological motion" Behavior Research Methods 38(1) pp 134-141. (2006)。劍橋大學(xué)的 Bernhardt等基于此運(yùn)動數(shù)據(jù)庫，針對敲門動作，基于運(yùn)動能量進(jìn)行分割， 提取手腕關(guān)節(jié)和肘部關(guān)節(jié)的運(yùn)動信息作為特征，利用支持向量機(jī)進(jìn)行分 類，實(shí)現(xiàn)了通過非程式化運(yùn)動自動識別人的情感，見Bernhardt, D. and Robinson, P. "Detecting affect from non-stylised body motions." in Affective Computing and Intelligent Interaction. Lisbon, Portugal, pp.59-70. (2007)。 Bernhardt等雖然實(shí)現(xiàn)了基于非程式化運(yùn)動的情感識別，然而采用支持向 量機(jī)進(jìn)行建模，學(xué)習(xí)速度比較慢，由于沒有很好利用時(shí)序序列的變化規(guī) 律，識別率偏低。
發(fā)明內(nèi)容
本發(fā)明提出一種人體非程式化運(yùn)動的情感識別方法，解決現(xiàn)有同類 情感識別方法存在的學(xué)習(xí)速度較慢、識別率偏低的問題。本發(fā)明的一種人體非程式化運(yùn)動的情感識別方法，包括以下步驟 第一步.建立隱馬爾可夫模型步驟；以訓(xùn)練樣本集合作為觀察序列，
建立每一種動作類型、每一種情感所對應(yīng)的隱馬爾可夫模型；包括以下
子步驟
訓(xùn)練數(shù)據(jù)采集子步驟建立包括若干動作類型、每種動作類型又包 括若干情感類型的訓(xùn)練樣本集；
運(yùn)動分割子步驟根據(jù)人體運(yùn)動序列的能量曲線圖，將訓(xùn)練數(shù)據(jù)集 中每一個(gè)運(yùn)動序列分割為一序列動作原語，每個(gè)動作原語由若干連續(xù)的 幀組成；
特征提取子步驟對運(yùn)動序列中每一個(gè)動作原語，根據(jù)運(yùn)動序列的 腕關(guān)節(jié)、肘關(guān)節(jié)、踝關(guān)節(jié)和膝關(guān)節(jié)的三維運(yùn)動數(shù)據(jù)，提取運(yùn)動特征，得 到各個(gè)動作原語所對應(yīng)的特征向量，將運(yùn)動序列中的所有動作原語對應(yīng) 的特征向量組合成一個(gè)特征向量序列，并標(biāo)記動作類型和情感類型；提 取訓(xùn)練數(shù)據(jù)集中的所有運(yùn)動序列的特征向量序列，標(biāo)記動作類型和情感 類型，得到訓(xùn)練樣本集合；
訓(xùn)練子步驟對訓(xùn)練樣本集合，利用Baum-Welch算法進(jìn)行隱馬爾可 夫模型訓(xùn)練，保存獲得的隱馬爾可夫模型參數(shù)；
所述的隱馬爾可夫模型采用連續(xù)隱馬爾可夫模型，模型參數(shù)包括轉(zhuǎn) 移概率矩陣A、初始狀態(tài)分布"，以及觀察序列所對應(yīng)的高斯混合模型 的系數(shù)C、均值向量u和協(xié)方差矩陣2;
一種動作類型的一種情感訓(xùn)練一個(gè)隱馬爾可夫模型，共建立NmXNe 個(gè)隱馬爾可夫模型，這些模型表示為{入r, r=l...NmXNe };
第二步.情感識別步驟對待識別人體運(yùn)動序列進(jìn)行識別，包括以 下子步驟
數(shù)據(jù)采集子步驟利用三維運(yùn)動捕捉系統(tǒng)來捕捉待測的人體的運(yùn)動 序列，每個(gè)運(yùn)動序列由人體各關(guān)節(jié)點(diǎn)的三維運(yùn)動數(shù)據(jù)序列來表示，所述人體各關(guān)節(jié)點(diǎn)包括頭、脖子、骨盆中心和左右肩關(guān)節(jié)、肘關(guān)節(jié)、腕關(guān)節(jié)、 髖關(guān)節(jié)、膝關(guān)節(jié)、踝關(guān)節(jié)共15個(gè)關(guān)節(jié)點(diǎn)；
運(yùn)動分割子步驟根據(jù)人體運(yùn)動序列的能量曲線圖，將待識別人體 運(yùn)動序列分割為一序列動作原語，每個(gè)動作原語由若干連續(xù)的幀組成；
特征提取子步驟對待識別人體運(yùn)動序列中每一個(gè)動作原語，根據(jù) 運(yùn)動序列的人體腕關(guān)節(jié)、肘關(guān)節(jié)、踝關(guān)節(jié)和膝關(guān)節(jié)的三維運(yùn)動數(shù)據(jù)，提 取運(yùn)動特征，得到各個(gè)動作原語所對應(yīng)的特征向量；
識別子步驟通過所構(gòu)建的隱馬爾可夫模型對待識別人體運(yùn)動序列 進(jìn)行情感識別和動作類型識別
將各個(gè)動作原語所對應(yīng)的特征向量作為觀察序列X，輸入前向算法 或者后向算法，計(jì)算NmXNe個(gè)隱馬爾可夫模型中每一個(gè)隱馬爾可夫模型 產(chǎn)生觀察序列的似然概率P(X/入》，取其中似然概率最大的隱馬爾可夫模 型h，表示為
隱馬爾可夫模型h所對應(yīng)的情感狀態(tài)和動作類型即為待識別的運(yùn)動 序列所蘊(yùn)含的情感狀態(tài)和動作種類。
所述的情感識別方法，其特征在于，所述建立隱馬爾可夫模型步驟
中，所述訓(xùn)練數(shù)據(jù)采集子步驟包括以下具體過程
2-1.確定動作類型和情感類型動作類型為1 10種，包括走路、敲 門、舉手、扔?xùn)|西中的一種或多種；情感類型T為2 6種，包括高興、 悲傷、無情感、憤怒中的兩種以上;各種動作類型的每種情感類型包括2 6個(gè)運(yùn)動序列；
2-2.利用三維運(yùn)動捕捉系統(tǒng)拍攝記錄人體運(yùn)動序列利用20 40個(gè) 演員進(jìn)行表演，男女演員各占一半，演員表演時(shí)穿上設(shè)備配套服裝，并 在人體各關(guān)節(jié)點(diǎn)上貼上標(biāo)記點(diǎn)，所述人體各關(guān)節(jié)點(diǎn)包括頭、脖子、骨盆中心和左右肩關(guān)節(jié)、肘關(guān)節(jié)、腕關(guān)節(jié)、髖關(guān)節(jié)、膝關(guān)節(jié)、踝關(guān)節(jié)共15個(gè) 關(guān)節(jié)點(diǎn)；
每個(gè)運(yùn)動序列由人體各關(guān)節(jié)點(diǎn)的三維運(yùn)動數(shù)據(jù)序列來表示，利用三 維運(yùn)動捕捉系統(tǒng)拍攝記錄每個(gè)演員的每種動作類型的每種情感類型。
所述的情感識別方法，其特征在于，所述建立隱馬爾可夫模型步驟 和識別步驟中的運(yùn)動分割子步驟包括如下過程
3-1.計(jì)算每一幀的運(yùn)動能量首先計(jì)算每一幀中上肢左右肘關(guān)節(jié)、 左右肩關(guān)節(jié)和下肢左右膝關(guān)節(jié)和左右髖關(guān)節(jié)共八個(gè)關(guān)節(jié)點(diǎn)的旋轉(zhuǎn)自由度 的角速度，第i幀第j個(gè)關(guān)節(jié)點(diǎn)旋轉(zhuǎn)自由度的角速度《,為
《，y =《+i,廠i=l"'N， j=l".8，
其中，《，,為第i幀第j個(gè)關(guān)節(jié)點(diǎn)旋轉(zhuǎn)自由度，N是運(yùn)動序列的幀數(shù); 根據(jù)每一幀中肢體各個(gè)關(guān)節(jié)點(diǎn)旋轉(zhuǎn)自由度的角速度，計(jì)算每一幀的 運(yùn)動能量，第i幀的運(yùn)動能量Ei按下式計(jì)算
式中，o)j為各個(gè)關(guān)節(jié)點(diǎn)旋轉(zhuǎn)自由度的系數(shù)，取值范圍為0.1—0.8， 關(guān)節(jié)點(diǎn)旋轉(zhuǎn)自由度越大、取值越大，所有"j的和為l;
所述關(guān)節(jié)點(diǎn)旋轉(zhuǎn)自由度為與關(guān)節(jié)點(diǎn)相連兩根骨頭的夾角；
3-2.根據(jù)每一幀的運(yùn)動能量，繪制運(yùn)動序列的能量直方圖，在噪音 閾值之上，取最大直方圖所對應(yīng)的能量作為分割閾值;噪音閾值為0.001 0.1，能量曲線的最小值越大、噪音閾值取值越大；
3-3.根據(jù)運(yùn)動序列每一幀的運(yùn)動能量，繪制運(yùn)動序列的能量曲線圖， 所有運(yùn)動能量大于所述分割閾值的連續(xù)的幀序列組成一個(gè)初始分割，將 一個(gè)初始分割的起點(diǎn)和終點(diǎn)分別向前后延伸以達(dá)到能量曲線的局部最小 值，得到一個(gè)動作原語；最終將運(yùn)動序列的能量曲線分割為各個(gè)動作原
ii所述能量曲線圖由若干個(gè)鐘型曲線組成，每一個(gè)鐘型曲線對應(yīng)一個(gè) 動作原語，鐘型曲線左右兩邊的局部最小值即為運(yùn)動分割的起始點(diǎn)和終 點(diǎn)。
所述的情感識別方法，其特征在于，所述建立隱馬爾可夫模型步驟 和識別步驟中的特征提取子步驟中
所述運(yùn)動特征為肢體關(guān)節(jié)點(diǎn)與身體中心的最大距離、平均速度和平 均加速度，計(jì)算公式如下-
《=max^ "a=maX^ ||物)||
—1 1 .
其中
A, &， ^分別表示第i幀第k個(gè)關(guān)節(jié)點(diǎn)到身體中心的最大距離、 第k個(gè)關(guān)節(jié)點(diǎn)的平均速度和平均加速度，k=1...8;
di,k， Si，k, ai,k分別表示第i幀第k個(gè)關(guān)節(jié)點(diǎn)到身體中心的距離、第k個(gè) 關(guān)節(jié)點(diǎn)的速度和加速度；
M為當(dāng)前運(yùn)動原語所占據(jù)的幀數(shù)；A(^)表示第i幀中第k個(gè)關(guān)節(jié)點(diǎn) 的位置；
所述關(guān)節(jié)點(diǎn)的速度是該關(guān)節(jié)點(diǎn)位置的一階導(dǎo)數(shù)，關(guān)節(jié)點(diǎn)的加速度是 該關(guān)節(jié)點(diǎn)速度的一階導(dǎo)數(shù)；
所述身體中心為骨盆中心點(diǎn)。
所述的情感識別方法，其特征在于，所述建立隱馬爾可夫模型步驟中的訓(xùn)練子步驟包括如下過程
5-1.設(shè)置收斂閾值和最大循環(huán)次數(shù)；收斂閾值取值為10'2 10'4，收 斂閾值過大，會影響訓(xùn)練的精度，而收斂閾值過小，循環(huán)次數(shù)增加，收 斂速度變慢；最大循環(huán)次數(shù)取值為30 60，設(shè)置最大循環(huán)次數(shù)避免由于 沒有達(dá)到收斂閾值而導(dǎo)致死循環(huán)；
5-2.模型初始化設(shè)置模型狀態(tài)數(shù)S為4 16，觀察序列對應(yīng)的混合 高斯模型的混合成分?jǐn)?shù)G為4 8，通過實(shí)驗(yàn)來選擇最優(yōu)的S和G的設(shè)置； 隨機(jī)生成隱馬爾可夫模型的其他初始化參數(shù)，包括初始狀態(tài)系數(shù)^、轉(zhuǎn) 移概率矩陣A、觀察序列對應(yīng)的混合高斯模型的混合系數(shù)向量C、均值 向量U和協(xié)方差矩陣2;
5-3.根據(jù)動作類型和情感類型，從訓(xùn)練樣本集中提取一種動作類型 的一種情感所對應(yīng)的所有特征向量序列作為隱馬爾可夫模型的訓(xùn)練樣 本；
5-4.利用Baum-Wdch算法進(jìn)行隱馬爾可夫模型訓(xùn)練，保存獲得的隱 馬爾可夫模型參數(shù)兀、A、 C、 U、 S;
5-5.重復(fù)過程5-2 5-4，訓(xùn)練下一個(gè)隱馬爾可夫模型。
本發(fā)明提出的基于能量的運(yùn)動分割，能更好地展現(xiàn)運(yùn)動的內(nèi)在的規(guī) 律，同時(shí)利用隱馬爾可夫模型對時(shí)間序列結(jié)構(gòu)的較強(qiáng)的建模能力，對不 同情感、不同種類的運(yùn)動建立各自的隱馬爾可夫模型，不僅可以識別情 感，還可以識別運(yùn)動類型，具有較高的識別率。
程式化人體運(yùn)動和臉部表情只有在特定的場景下人體才會表現(xiàn)出 來，大部分的時(shí)間中人體內(nèi)心的情感并沒有通過臉部或程式化的運(yùn)動中 表露出來，然而卻蘊(yùn)含在非程式化的運(yùn)動過程中。由于非程式化的人體 運(yùn)動屬于日常的、常規(guī)的動作，更能準(zhǔn)確地反映出角色的內(nèi)心情感，在 日常的工作、學(xué)習(xí)和生活環(huán)境中很容易捕獲，因此本發(fā)明具有比較強(qiáng)的實(shí)用性和比較廣泛的用途。
圖1為本發(fā)明流程框圖2為運(yùn)動分割子步驟流程框圖3為訓(xùn)練子步驟流程框圖4為識別子步驟過程示意圖。
具體實(shí)施例方式
以下結(jié)合附圖和實(shí)施例對本發(fā)明進(jìn)一步說明。 實(shí)施例.從敲門、舉手動作識別人的情感
由于人體運(yùn)動主要是以肢體運(yùn)動為主，且大部分人是右手習(xí)慣的特 點(diǎn)，本實(shí)施例從人體右手的運(yùn)動中來識別人的情感。
本發(fā)明利用格拉斯哥大學(xué)Pollick等建立的人體三維運(yùn)動數(shù)據(jù)庫來
采集訓(xùn)練樣本和測試樣本。該數(shù)據(jù)庫共有敲門、舉手、扔?xùn)|西、走路四 種非程式化人體運(yùn)動序列和高興、憤怒、悲傷和無情感四種情感狀態(tài)，
表演的角色共有30個(gè)，每個(gè)角色每種動作類型的每種情感共有兩個(gè)運(yùn)動 序列， 一種動作類型一共含有240個(gè)人體運(yùn)動序列。本實(shí)施例從30個(gè)角 色中選擇29個(gè)角色的敲門和舉手兩個(gè)動作類型的運(yùn)動序列為訓(xùn)練數(shù)據(jù) 集，另外一個(gè)角色的敲門和舉手兩個(gè)動作類型的運(yùn)動序列作為測試數(shù)據(jù) 集。并對訓(xùn)練數(shù)據(jù)集和測試數(shù)據(jù)集中的運(yùn)動序列進(jìn)行預(yù)處理，通過平移 和旋轉(zhuǎn)運(yùn)算，將世界坐標(biāo)的三維運(yùn)動數(shù)據(jù)序列轉(zhuǎn)換為以身體中心為原點(diǎn) 的局部坐標(biāo)，使之具有平移不變性和旋轉(zhuǎn)不變性； 步驟一，建立隱馬爾可夫模型； 1.訓(xùn)練數(shù)據(jù)采集從格拉斯哥大學(xué)建立的人體三維運(yùn)動數(shù)據(jù)庫30 個(gè)角色中選擇29個(gè)角色的敲門和舉手兩個(gè)動作類型的運(yùn)動序列為訓(xùn)練數(shù)據(jù)集；
2.運(yùn)動分割根據(jù)非程式化人體運(yùn)動的運(yùn)動序列的能量曲線圖，將
訓(xùn)練數(shù)據(jù)集中每一個(gè)運(yùn)動序列分割為一序列動作原語，每個(gè)動作原語由
若干連續(xù)的幀組成；
2-1.對于訓(xùn)練數(shù)據(jù)集中的每一個(gè)運(yùn)動序列，計(jì)算每一幀的運(yùn)動能量:
首先計(jì)算每一幀中肩關(guān)節(jié)旋轉(zhuǎn)自由度和肘關(guān)節(jié)旋轉(zhuǎn)自由度的角速度，第i
幀第j個(gè)關(guān)節(jié)點(diǎn)旋轉(zhuǎn)自由度的角速度^為
<formula>formula see original document page 15</formula>
其中，《，,為第i幀第j個(gè)關(guān)節(jié)點(diǎn)旋轉(zhuǎn)自由度，N是運(yùn)動序列的幀數(shù);
根據(jù)每一幀中肩關(guān)節(jié)旋轉(zhuǎn)自由度和肘關(guān)節(jié)旋轉(zhuǎn)自由度的角速度，計(jì)
算每一幀的運(yùn)動能量，第i幀的運(yùn)動能量Ei按下式計(jì)算
<formula>formula see original document page 15</formula> 其中0) i和G) 2分別取0.2和0.8;
2-2.根據(jù)每一幀的運(yùn)動能量，繪制運(yùn)動序列的能量直方圖，在噪音 閾值to(取0.005)之上，取最大直方圖所對應(yīng)的能量作為分割閾值，設(shè)為t;
2-3.根據(jù)運(yùn)動序列每一幀的運(yùn)動能量，繪制運(yùn)動序列的能量曲線圖， 所有運(yùn)動能量大于所述分割閾值t的連續(xù)的幀序列組成一個(gè)初始分割，將 一個(gè)初始分割的起點(diǎn)和終點(diǎn)分別向前后延伸以達(dá)到能量曲線的局部最小 值，得到一個(gè)動作原語；最終將運(yùn)動序列的能量曲線分割為各個(gè)動作原 語。
3.特征提取對運(yùn)動序列中每一個(gè)動作原語，根據(jù)運(yùn)動序列的腕關(guān) 節(jié)、肘關(guān)節(jié)的三維運(yùn)動數(shù)據(jù)，提取運(yùn)動特征，得到各個(gè)動作原語所對應(yīng) 的特征向量，將運(yùn)動序列中的所有原語對應(yīng)的特征向量組合成一個(gè)特征 向量序列，并標(biāo)記動作類型和情感類型；提取訓(xùn)練數(shù)據(jù)集中的所有運(yùn)動 序列的特征向量序列，表標(biāo)記動作類型和情感類型，得到訓(xùn)練樣本集合;
運(yùn)動特征為手腕關(guān)節(jié)點(diǎn)和肘部關(guān)節(jié)點(diǎn)與身體中心的最大距離、平均速度和平均加速度，計(jì)算公式如下
<formula>formula see original document page 16</formula>
其中
^， &， ^分別表示第i幀第k個(gè)關(guān)節(jié)點(diǎn)到身體中心的最大距離以及
第k個(gè)關(guān)節(jié)點(diǎn)的平均速度和平均加速度,k=l.. .2;
di,k, Si，k， ai，k分別表示第i幀第k個(gè)關(guān)節(jié)點(diǎn)到身體中心的距離以及第k 個(gè)關(guān)節(jié)點(diǎn)的速度和加速度；
M為當(dāng)前運(yùn)動原語所占據(jù)的幀數(shù)；表示第i幀中第k個(gè)關(guān)節(jié)點(diǎn) 的位置；
4.訓(xùn)練隱馬爾可夫模型訓(xùn)練敲門和舉手兩種動作類型，高興、憤 怒、悲傷和無情感四種情感所對應(yīng)的8個(gè)隱馬爾可夫模型， 一種動作的
一種情感建立一個(gè)隱馬爾可夫模型入r=(兀r,Ar,Cr， P r, S r ,),其中
r=l,2，...，8。
4-1.設(shè)置收斂閾值為0.005，最大循環(huán)次數(shù)為30;
4-2.模型初始化本實(shí)施例中模型狀態(tài)數(shù)設(shè)置為14，混合高斯模型 的混合成分設(shè)置為5;隨機(jī)生成隱馬爾可夫模型的其他初始化參數(shù)，包括 初始狀態(tài)系數(shù)、、轉(zhuǎn)移概率矩陣A"觀察序列對應(yīng)的混合高斯模型的混
合系數(shù)向量Cr、均值向量Ur和協(xié)方差矩陣2r;
4-3.根據(jù)動作類型標(biāo)記和情感標(biāo)記，從訓(xùn)練樣本集中提取一種動作
類型的一種情感所對應(yīng)的特征向量序列作為隱馬爾可夫模型的訓(xùn)練樣本
集；4-4.利用Baum-Wdch算法進(jìn)行隱馬爾可夫模型訓(xùn)練，保存獲得的隱 馬爾可夫模型參數(shù)兀r、 Ar、 Cr、 ur、 2r;
4-5.重復(fù)過程4-2 4-4，訓(xùn)練下一個(gè)隱馬爾可夫模型。
步驟二，情感識別步驟通過隱馬爾可夫模型實(shí)現(xiàn)情感識別和動作 類型識別。
1. 數(shù)據(jù)采集將步驟一的訓(xùn)練數(shù)據(jù)采集子步驟中，格拉斯哥大學(xué)人 體三維運(yùn)動數(shù)據(jù)庫30個(gè)角色選擇29個(gè)角色后剩余一個(gè)角色的敲門和舉 手兩個(gè)動作類型的運(yùn)動序列作為測試數(shù)據(jù)集；
2. 運(yùn)動分割將測試數(shù)據(jù)集中的每一個(gè)運(yùn)動序列分割為一序列動作 原語，每個(gè)動作原語由若干連續(xù)的幀組成；
3. 特征提取對運(yùn)動序列中每一個(gè)動作原語，根據(jù)運(yùn)動序列的人體 腕關(guān)節(jié)、肘關(guān)節(jié)的三維運(yùn)動數(shù)據(jù)，提取運(yùn)動特征，得到各個(gè)動作原語所 對應(yīng)的特征向量，將運(yùn)動序列中的所有原語對應(yīng)的特征向量組合成一個(gè) 特征向量序列；提取測試數(shù)據(jù)集中的所有運(yùn)動序列的特征向量序列，得 到測試樣本集；
4. 情感識別將測試樣本集中的每一個(gè)特征向量序列作為觀察序列 X輸入前向算法或者后向算法，計(jì)算8個(gè)隱馬爾可夫模型中每一個(gè)隱馬 爾可夫模型產(chǎn)生觀察序列的似然概率P(X/入r)，取其中似然概率最大的隱 馬爾可夫模型h，表示為
// = argmax{P(X/;ir)}r = 1...8
隱馬爾可夫模型h所對應(yīng)的情感狀態(tài)和動作類型即為待識別的運(yùn)動 序列所蘊(yùn)含的情感狀態(tài)和動作種類。
本實(shí)施例共進(jìn)行30次的交叉驗(yàn)證，每次交叉驗(yàn)證從30個(gè)角色中抽 取29個(gè)角色的運(yùn)動序列作為訓(xùn)練樣本，另外1個(gè)角色的運(yùn)動序列作為測試樣本。每次交叉驗(yàn)證中，測試樣本的角色均不同。試驗(yàn)結(jié)果如表1所 示
表l敲門、舉手兩種動作類型情感識別的混淆矩陣
\識別 敲門 舉手
實(shí)際
高興憤怒中性悲傷高興憤怒中性悲傷
51670.18330.13330. 16670.00000.00000.00000. 0000
08330.73330.13330.03330. 01670.00000.00000.0000
26670.10000.41670.21670. 00000.00000.00000,0000
15000.05000.23330.56670. 00000.00000.00000. 0000
00000.00000.00000.00000. 31670.38330.20000.1000
00000.00000.00000. 00000. 33330.51670.11670. 0333
00000.00000.00000. 00000.36670.11670.35000. 1667
00000.00000.00000. 00000.15000.10000.23330. 5167
其中敲門動作的情感識別正確率為0.5583，舉手動作的情感識別正 確率為0.425，總體識別率為0.4917。動作類型的識別率為0.9979。而用 支持向量機(jī)進(jìn)行對敲門動作進(jìn)行分類，得到情感識別率為0.5083。與支 持向量機(jī)分類進(jìn)行比較，隱馬爾可夫模型的分類方法的識別率提高了 0.05。
興怒性傷興怒性傷
高憤中悲高憤中悲
敲門 舉手
權(quán)利要求
1.一種人體非程式化運(yùn)動的情感識別方法，包括以下步驟第一步.建立隱馬爾可夫模型步驟；以訓(xùn)練樣本集合作為觀察序列，建立每一種動作類型、每一種情感所對應(yīng)的隱馬爾可夫模型；包括以下子步驟訓(xùn)練數(shù)據(jù)采集子步驟建立包括若干動作類型、每種動作類型又包括若干情感類型的訓(xùn)練樣本集；運(yùn)動分割子步驟根據(jù)人體運(yùn)動序列的能量曲線圖，將訓(xùn)練數(shù)據(jù)集中每一個(gè)運(yùn)動序列分割為一序列動作原語，每個(gè)動作原語由若干連續(xù)的幀組成；特征提取子步驟對運(yùn)動序列中每一個(gè)動作原語，根據(jù)運(yùn)動序列的腕關(guān)節(jié)、肘關(guān)節(jié)、踝關(guān)節(jié)和膝關(guān)節(jié)的三維運(yùn)動數(shù)據(jù)，提取運(yùn)動特征，得到各個(gè)動作原語所對應(yīng)的特征向量，將運(yùn)動序列中的所有動作原語對應(yīng)的特征向量組合成一個(gè)特征向量序列，并標(biāo)記動作類型和情感類型；提取訓(xùn)練數(shù)據(jù)集中的所有運(yùn)動序列的特征向量序列，標(biāo)記動作類型和情感類型，得到訓(xùn)練樣本集合；訓(xùn)練子步驟對訓(xùn)練樣本集合，利用Baum-Welch算法進(jìn)行隱馬爾可夫模型訓(xùn)練，保存獲得的隱馬爾可夫模型參數(shù)；所述的隱馬爾可夫模型采用連續(xù)隱馬爾可夫模型，模型參數(shù)包括轉(zhuǎn)移概率矩陣A、初始狀態(tài)分布π，以及觀察序列所對應(yīng)的高斯混合模型的系數(shù)C、均值向量μ和協(xié)方差矩陣∑；一種動作類型的一種情感訓(xùn)練一個(gè)隱馬爾可夫模型，共建立Nm×Ne個(gè)隱馬爾可夫模型，這些模型表示為{λr，r＝1...Nm×Ne}；第二步.情感識別步驟對待識別人體運(yùn)動序列進(jìn)行識別，包括以下子步驟數(shù)據(jù)采集子步驟利用三維運(yùn)動捕捉系統(tǒng)來捕捉待測的人體的運(yùn)動序列，每個(gè)運(yùn)動序列由人體各關(guān)節(jié)點(diǎn)的三維運(yùn)動數(shù)據(jù)序列來表示，所述人體各關(guān)節(jié)點(diǎn)包括頭、脖子、骨盆中心和左右肩關(guān)節(jié)、肘關(guān)節(jié)、腕關(guān)節(jié)、髖關(guān)節(jié)、膝關(guān)節(jié)、踝關(guān)節(jié)共15個(gè)關(guān)節(jié)點(diǎn)；運(yùn)動分割子步驟根據(jù)人體運(yùn)動序列的能量曲線圖，將待識別人體運(yùn)動序列分割為一序列動作原語，每個(gè)動作原語由若干連續(xù)的幀組成；特征提取子步驟對待識別人體運(yùn)動序列中每一個(gè)動作原語，根據(jù)運(yùn)動序列的人體腕關(guān)節(jié)、肘關(guān)節(jié)、踝關(guān)節(jié)和膝關(guān)節(jié)的三維運(yùn)動數(shù)據(jù)，提取運(yùn)動特征，得到各個(gè)動作原語所對應(yīng)的特征向量；識別子步驟通過所構(gòu)建的隱馬爾可夫模型對待識別人體運(yùn)動序列進(jìn)行情感識別和動作類型識別將各個(gè)動作原語所對應(yīng)的特征向量作為觀察序列X，輸入前向算法或者后向算法，計(jì)算Nm×Ne個(gè)隱馬爾可夫模型中每一個(gè)隱馬爾可夫模型產(chǎn)生觀察序列的似然概率P(X/λr)，取其中似然概率最大的隱馬爾可夫模型h，表示為<maths id="math0001" num="0001" ><math><![CDATA[ <mrow><mi>h</mi><mo>=</mo><mi>arg</mi><munder> <mi>max</mi> <mi>r</mi></munder><mo>{</mo><mi>P</mi><mrow> <mo>(</mo> <mi>X</mi> <mo>/</mo> <msub><mi>λ</mi><mi>r</mi> </msub> <mo>)</mo></mrow><mo>}</mo> </mrow>]]></math> id="icf0001" file="A2009100621310003C1.tif" wi="40" he="6" top= "156" left = "67" img-content="drawing" img-format="tif" orientation="portrait" inline="yes"/></maths>r＝1...Nm×Ne隱馬爾可夫模型h所對應(yīng)的情感狀態(tài)和動作類型即為待識別的運(yùn)動序列所蘊(yùn)含的情感狀態(tài)和動作種類。
2.如權(quán)利要求1所述的情感識別方法，其特征在于，所述建立隱馬 爾可夫模型步驟中，所述訓(xùn)練數(shù)據(jù)采集子步驟包括以下具體過程2-1.確定動作類型和情感類型動作類型為1 10種，包括走路、敲 門、舉手、扔?xùn)|西中的一種或多種；情感類型T為2 6種，包括高興、 悲傷、無情感、憤怒中的兩種以上;各種動作類型的每種情感類型包括2 6個(gè)運(yùn)動序列；2-2.利用三維運(yùn)動捕捉系統(tǒng)拍攝記錄人體運(yùn)動序列利用20 40個(gè) 演員進(jìn)行表演，男女演員各占一半，演員表演時(shí)穿上設(shè)備配套服裝，并在人體各關(guān)節(jié)點(diǎn)上貼上標(biāo)記點(diǎn)，所述人體各關(guān)節(jié)點(diǎn)包括頭、脖子、骨盆中心和左右肩關(guān)節(jié)、肘關(guān)節(jié)、腕關(guān)節(jié)、髖關(guān)節(jié)、膝關(guān)節(jié)、踝關(guān)節(jié)共15個(gè) 關(guān)節(jié)點(diǎn)；每個(gè)運(yùn)動序列由人體各關(guān)節(jié)點(diǎn)的三維運(yùn)動數(shù)據(jù)序列來表示，利用三 維運(yùn)動捕捉系統(tǒng)拍攝記錄每個(gè)演員的每種動作類型的每種情感類型。
3.如權(quán)利要求1所述的情感識別方法，其特征在于，所述建立隱馬 爾可夫模型步驟和識別步驟中的運(yùn)動分割子步驟包括如下過程-3-1.計(jì)算每一幀的運(yùn)動能量首先計(jì)算每一幀中上肢左右肘關(guān)節(jié)、 左右肩關(guān)節(jié)和下肢左右膝關(guān)節(jié)和左右髖關(guān)節(jié)共八個(gè)關(guān)節(jié)點(diǎn)的旋轉(zhuǎn)自由度 的角速度，第i幀第j個(gè)關(guān)節(jié)點(diǎn)旋轉(zhuǎn)自由度的角速度(為<formula>formula see original document page 4</formula>其中，《，,為第i幀第j個(gè)關(guān)節(jié)點(diǎn)旋轉(zhuǎn)自由度，N是運(yùn)動序列的幀數(shù)； 根據(jù)每一幀中肢體各個(gè)關(guān)節(jié)點(diǎn)旋轉(zhuǎn)自由度的角速度，計(jì)算每一幀的 運(yùn)動能量，第i幀的運(yùn)動能量Ei按下式計(jì)算式中，"j為各個(gè)關(guān)節(jié)點(diǎn)旋轉(zhuǎn)自由度的系數(shù)，取值范圍為0.1—0.8， 關(guān)節(jié)點(diǎn)旋轉(zhuǎn)自由度越大、取值越大，所有"j的和為h所述關(guān)節(jié)點(diǎn)旋轉(zhuǎn)自由度為與關(guān)節(jié)點(diǎn)相連兩根骨頭的夾角；3-2.根據(jù)每一幀的運(yùn)動能量，繪制運(yùn)動序列的能量直方圖，在噪音 閾值之上，取最大直方圖所對應(yīng)的能量作為分割閾值；噪音閾值為0.001 0.1，能量曲線的最小值越大、噪音閾值取值越大；3-3.根據(jù)運(yùn)動序列每一幀的運(yùn)動能量，繪制運(yùn)動序列的能量曲線圖， 所有運(yùn)動能量大于所述分割閾值的連續(xù)的幀序列組成一個(gè)初始分割，將 一個(gè)初始分割的起點(diǎn)和終點(diǎn)分別向前后延伸以達(dá)到能量曲線的局部最小值，得到一個(gè)動作原語；最終將運(yùn)動序列的能量曲線分割為各個(gè)動作原 語；所述能量曲線圖由若干個(gè)鐘型曲線組成，每一個(gè)鐘型曲線對應(yīng)一個(gè) 動作原語，鐘型曲線左右兩邊的局部最小值即為運(yùn)動分割的起始點(diǎn)和終 占。"、、o
4.如權(quán)利要求1所述的情感識別方法，其特征在于，所述建立隱馬 爾可夫模型步驟和識別步驟中的特征提取子步驟中所述運(yùn)動特征為肢體關(guān)節(jié)點(diǎn)與身體中心的最大距離、平均速度和平 均加速度，計(jì)算公式如下<formula>formula see original document page 5</formula>其中^分別表示第i幀第k個(gè)關(guān)節(jié)點(diǎn)到身體中心的最大距離、 第k個(gè)關(guān)節(jié)點(diǎn)的平均速度和平均加速度，k=1...8;di,k， Si,k， ai,k分別表示第i幀第k個(gè)關(guān)節(jié)點(diǎn)到身體中心的距離、第k個(gè) 關(guān)節(jié)點(diǎn)的速度和加速度；M為當(dāng)前運(yùn)動原語所占據(jù)的幀數(shù)；表示第i幀中第k個(gè)關(guān)節(jié)點(diǎn) 的位置；所述關(guān)節(jié)點(diǎn)的速度是該關(guān)節(jié)點(diǎn)位置的一階導(dǎo)數(shù)，關(guān)節(jié)點(diǎn)的加速度是 該關(guān)節(jié)點(diǎn)速度的一階導(dǎo)數(shù)；所述身體中心為骨盆中心點(diǎn)。
5.如權(quán)利要求1所述的情感識別方法，其特征在于，所述建立隱馬 爾可夫模型步驟中的訓(xùn)練子步驟包括如下過程5-1.設(shè)置收斂閾值和最大循環(huán)次數(shù)；收斂閾值取值為10_2 1(T4，收 斂閾值過大，會影響訓(xùn)練的精度，而收斂閾值過小，循環(huán)次數(shù)增加，收 斂速度變慢；最大循環(huán)次數(shù)取值為30 60，設(shè)置最大循環(huán)次數(shù)避免由于 沒有達(dá)到收斂閾值而導(dǎo)致死循環(huán)；5-2.模型初始化設(shè)置模型狀態(tài)數(shù)S為4 16，觀察序列對應(yīng)的混合 高斯模型的混合成分?jǐn)?shù)G為4 8，通過實(shí)驗(yàn)來選擇最優(yōu)的S和G的設(shè)置； 隨機(jī)生成隱馬爾可夫模型的其他初始化參數(shù)，包括初始狀態(tài)系數(shù)n、轉(zhuǎn) 移概率矩陣A、觀察序列對應(yīng)的混合高斯模型的混合系數(shù)向量C、均值 向量U和協(xié)方差矩陣2;5-3.根據(jù)動作類型和情感類型，從訓(xùn)練樣本集中提取一種動作類型 的一種情感所對應(yīng)的所有特征向量序列作為隱馬爾可夫模型的訓(xùn)練樣 本；5-4.利用Baum-Welch算法進(jìn)行隱馬爾可夫模型訓(xùn)練，保存獲得的隱 馬爾可夫模型參數(shù)兀、A、 C、 u、 2;5-5.重復(fù)過程5-2 5-4，訓(xùn)練下一個(gè)隱馬爾可夫模型。
全文摘要
人體非程式化運(yùn)動的情感識別方法，屬于計(jì)算機(jī)模式識別領(lǐng)域，解決現(xiàn)有同類情感識別方法存在的學(xué)習(xí)速度較慢、識別率偏低的問題。本發(fā)明包括建立隱馬爾可夫模型步驟和情感識別步驟；建立隱馬爾可夫模型步驟又包括訓(xùn)練數(shù)據(jù)采集子步驟、運(yùn)動分割子步驟、特征提取子步驟、訓(xùn)練子步驟，建立多種動作類型各種情感的隱馬爾可夫模型；情感識別步驟包括數(shù)據(jù)采集子步驟、運(yùn)動分割子步驟、特征提取子步驟、識別子步驟，通過所構(gòu)建的隱馬爾可夫模型對待識別人體運(yùn)動序列進(jìn)行情感識別和動作類型識別。本發(fā)明能更好地展現(xiàn)運(yùn)動的內(nèi)在的規(guī)律，不僅可以識別情感，還可以識別運(yùn)動類型，具有較高的識別率，具有較強(qiáng)的實(shí)用性和較廣泛的用途。
文檔編號G06K9/64GK101561881SQ20091006213
公開日2009年10月21日 申請日期2009年5月19日 優(yōu)先權(quán)日2009年5月19日
發(fā)明者芳 劉, 李新仕, 王天江, 剛 陳, 幸 陳, 龔立宇 申請人:華中科技大學(xué)