專利名稱：基于高斯特征的人體運(yùn)動情感識別方法
技術(shù)領(lǐng)域：
本發(fā)明屬于計算機(jī)模式識別領(lǐng)域，具體涉及一種基于高斯特征的人體運(yùn)動情感識別方法，根據(jù)人體運(yùn)動中各個關(guān)節(jié)點(diǎn)的三維數(shù)據(jù)來提取高
斯特征，采用LogitBoost方法以識別人的情感類別。
背景技術(shù)：
自1997年MIT媒體實(shí)驗(yàn)室的Picard提出"情感計算"，如何自動識別和理解人的情感，引起了包括計算機(jī)科學(xué)、心理學(xué)等相關(guān)學(xué)科的研究者及企業(yè)界的密切關(guān)注。心理學(xué)家研究認(rèn)為，在人與人的交互中，語調(diào)包含的信息量占所傳遞總信息量的38%，人臉的表情占了總信息量的55%，因此目前基于人臉表情和聲音語調(diào)來識別情感的研究比較廣泛。20多年來，人們研究從臉部或聲音特征來識別情感，取得了大量的研究成果。國內(nèi)的許多單位也做了不少工作，如中科院自動化所，中科院先進(jìn)人機(jī)通信技術(shù)聯(lián)合實(shí)驗(yàn)室，復(fù)旦大學(xué)媒體計算與Web智能實(shí)驗(yàn)室，浙江大學(xué)數(shù)字媒體計算與設(shè)計實(shí)驗(yàn)室，清華大學(xué)人機(jī)交互與媒體集成研究所等。這些方法在一些標(biāo)準(zhǔn)測試數(shù)據(jù)庫上的平均識別率能達(dá)到70%，但對于其中各個不同的數(shù)據(jù)庫，識別率偏差很大且性能不穩(wěn)定，遠(yuǎn)遠(yuǎn)滿足不了實(shí)用的要求。
心理學(xué)進(jìn)一步研究表明，人的情感不僅僅通過面部表情和聲音特征表現(xiàn)出來，人的肢體運(yùn)動特征中也包含有豐富的情感信息，其中包含一些面部表情和聲音特征中所沒有的獨(dú)特的重要情感信息，結(jié)合臉部和身體運(yùn)動一起識別情感比僅依靠臉部來識別情感準(zhǔn)確率要提高35%?；谌?br> 體運(yùn)動特征進(jìn)行情感識別就是在這樣的背景下提出來的。在多媒體技術(shù)的頂級國際學(xué)術(shù)會議Annual ACM International Conference onMultimedia上，情感識別專家也指出，情感識別技術(shù)的發(fā)展趨勢是讓計算機(jī)能夠有機(jī)地融合面部表情、人的肢體運(yùn)動和聲音等多種信息，綜合理解人的情感。僅僅考慮面部和聲音兩種模態(tài)的特征，限制了情感識別的應(yīng)用范圍。比如在有些場合，無法看到面部或者沒有聲音，這些方法就無能為力，這時人體運(yùn)動特征很有可能起到良好的識別作用。
目前基于人體運(yùn)動特征的情感識別的研究主要有兩種大方向。 一是基于程式化運(yùn)動的情感識別，所謂程式化運(yùn)動即在某種情感類別下表現(xiàn)出的固定動作或姿態(tài)，比如握緊拳頭表示處于憤怒的情感類別；二是基于非程式化運(yùn)動的情感識別，所謂非程式化動作指無論何種情感類別下，運(yùn)動的外在表現(xiàn)相同，例如走路、敲門等動作，但是運(yùn)動的內(nèi)含不同，因?yàn)椴煌那楦蓄悇e下，運(yùn)動的速度和幅度等是不一樣的。程式化運(yùn)動只有在特定的情況下才會發(fā)生，因此在現(xiàn)實(shí)生活中比較難捕獲，而非程式化的動作屬于日常的、常規(guī)的動作，在日常生活環(huán)境中容易捕獲，因此基于非程式化運(yùn)動的情感識別具有更廣泛的意義。
從非程式化人體運(yùn)動來識別人的情感還處于初級探索階段。格拉斯哥大學(xué)的Pollick等通過采集演員們敲門和喝酒的手臂運(yùn)動視頻，識別其中蘊(yùn)含的10種情感，并通過計算距離矩陣，利用多維尺度分析進(jìn)行投影，結(jié)果與情感維相符。雖然這不是一個自動識別系統(tǒng)，但卻證明了通過非程式化人體運(yùn)動，可以識別人的情感。Pollick等還建立了走路、敲門、舉手、扔?xùn)|西等動作的運(yùn)動數(shù)據(jù)庫，采集了30個演員在四種情感下，全身各關(guān)節(jié)點(diǎn)的三維數(shù)據(jù)，可用于身份、性別、情感等識別，見MaY丄.，Paterson H. and Pollick F. E. " A motion-capture library for the study ofidentity, gender, and emotion perception from biological motion" BehaviorResearch Methods 38(1) pp 134-141. (2006)。劍橋大學(xué)的Bernhardt等基于此運(yùn)動數(shù)據(jù)庫，針對敲門動作，基于右臂的運(yùn)動能量進(jìn)行分割，提取手腕關(guān)節(jié)和肘部關(guān)節(jié)的運(yùn)動信息作為特征，利用支持向量機(jī)進(jìn)行分類，實(shí)現(xiàn)了通過非程式化運(yùn)動自動識別人的情感，見Bernhardt， D. andRobinson, P." Detecting affect from non國stylised body motiorls." in AffectiveComputing and Intelligent Interaction. Lisbon, Portugal, pp.59-70. (2007)。Bernhardt等雖然實(shí)現(xiàn)了基于非程式化運(yùn)動的情感識別，然而采用簡單的運(yùn)動特征和支持向量機(jī)進(jìn)行建模，學(xué)習(xí)速度大約為900分鐘，比較慢，最終對所有動作的識別率為50. 1%。

發(fā)明內(nèi)容
本發(fā)明提供一種基于高斯特征的人體運(yùn)動情感識別方法，目的在于解決現(xiàn)有情感識別方法的識別率偏低、學(xué)習(xí)識別速度稍慢的問題。
本發(fā)明的輸入數(shù)據(jù)中，訓(xùn)練樣本集包含四種情感類別(高興、悲傷、中性、憤怒)，每種情感類別包括幾個非程式化的人體運(yùn)動序列，每個人體運(yùn)動序列由多個動作組成，每個動作由多幀數(shù)據(jù)組成，每幀數(shù)據(jù)為人體各關(guān)節(jié)點(diǎn)的三維數(shù)據(jù)；
待測人體運(yùn)動序列由多個動作組成，每個動作由多幀數(shù)據(jù)組成，每幀數(shù)據(jù)為人體各關(guān)節(jié)點(diǎn)的三維數(shù)據(jù)。
本發(fā)明的一種基于高斯特征的人體運(yùn)動情感識別方法，包括訓(xùn)練分類器步驟和情感識別步驟
一、訓(xùn)練分類器步驟，順序包括下述子步驟
訓(xùn)練數(shù)據(jù)采集子步驟建立包括若干動作類型、每種動作類型又包括若干情感類型的訓(xùn)練樣本集；
運(yùn)動分割子步驟將訓(xùn)練樣本集中的人體運(yùn)動序列分割為若干個動
作；
特征提取子步驟對分割得到的每一個動作，提取其高斯特征，獲
11得運(yùn)動序列的特征序列；
訓(xùn)練子步驟對當(dāng)前訓(xùn)練樣本集，使用李群流形上的LogitBoost機(jī)器學(xué)習(xí)方法按照既定的訓(xùn)練策略進(jìn)行學(xué)習(xí)訓(xùn)練，得到各個情感類別對應(yīng)的強(qiáng)分類器；
二、情感識別步驟，順序包括下述子步驟
待測數(shù)據(jù)采集子步驟利用三維運(yùn)動捕捉系統(tǒng)來捕捉待測的人體的運(yùn)動序列，每個運(yùn)動序列由人體各關(guān)節(jié)點(diǎn)的三維運(yùn)動數(shù)據(jù)序列來表示，所述人體各關(guān)節(jié)點(diǎn)包括頭、脖子、骨盆中心和左右肩關(guān)節(jié)、肘關(guān)節(jié)、腕關(guān)節(jié)、髖關(guān)節(jié)、膝關(guān)節(jié)、踝關(guān)節(jié)共15個關(guān)節(jié)點(diǎn)；
運(yùn)動分割子步驟將待測人體運(yùn)動序列分割為若干個動作；
特征提取子步驟對分割得到的每一個動作，提取其高斯特征，獲得運(yùn)動序列的特征序列；
識別子步驟把待測人體運(yùn)動序列的特征序列分別放入各個情感類別對應(yīng)的強(qiáng)分類器中，得到該運(yùn)動序列中各動作分別屬于每種情感類別的概率值，將其中最大的概率值對應(yīng)的情感類別作為輸出結(jié)果。
所述的情感識別方法，其特征在于，所述訓(xùn)練分類器步驟中，所述訓(xùn)練數(shù)據(jù)采集子步驟包括以下具體過程
2-1.確定動作類型和情感類型動作類型為1 10種，包括走路、敲門、舉手、扔?xùn)|西中的一種或多種；情感類型T為2 6種，包括高興、悲傷、無情感、憤怒中的兩種以上;各種動作類型的每種情感類型包括2 6個運(yùn)動序列；
2-2.利用三維運(yùn)動捕捉系統(tǒng)拍攝記錄人體運(yùn)動序列利用20 40個演員進(jìn)行表演，男女演員各占一半，演員表演時穿上設(shè)備配套服裝，并在人體各關(guān)節(jié)點(diǎn)上貼上標(biāo)記點(diǎn)，所述人體各關(guān)節(jié)點(diǎn)包括頭、脖子、骨盆中心和左右肩關(guān)節(jié)、肘關(guān)節(jié)、腕關(guān)節(jié)、髖關(guān)節(jié)、膝關(guān)節(jié)、踝關(guān)節(jié)共15個關(guān)節(jié)點(diǎn)；
每個運(yùn)動序列由人體各關(guān)節(jié)點(diǎn)的三維運(yùn)動數(shù)據(jù)序列來表示，利用三維運(yùn)動捕捉系統(tǒng)拍攝記錄每個演員的每種動作類型的每種情感類型。
所述的情感識別方法，其特征在于，所述訓(xùn)練分類器步驟和情感識別步驟中，所述運(yùn)動分割子步驟包括以下具體過程-
3-1.計算每一個運(yùn)動序列中每一幀對應(yīng)時刻的人體運(yùn)動的運(yùn)動能
第i幀數(shù)據(jù)的運(yùn)動能量Ej按下式計算
式中， 為第i幀對應(yīng)時刻的人體運(yùn)動的第j個關(guān)節(jié)點(diǎn)旋轉(zhuǎn)自由度的
角速度
《,；《v
其中，《，,為第i幀對應(yīng)時刻的人體運(yùn)動的第j個關(guān)節(jié)點(diǎn)旋轉(zhuǎn)自由度，
為第j個關(guān)節(jié)點(diǎn)的相連兩根骨頭的夾角；"j為各個關(guān)節(jié)點(diǎn)旋轉(zhuǎn)自由度的系數(shù)，取值范圍為0.1—0.8，關(guān)節(jié)點(diǎn)旋轉(zhuǎn)自由度越大、取值越大，=
1; i=l'"N， N為自然數(shù)，是運(yùn)動序列的幀數(shù)；j=l"*8，分別為上肢左右肩關(guān)節(jié)、左右肘關(guān)節(jié)和下肢左右膝關(guān)節(jié)和左右髖關(guān)節(jié)所對應(yīng)的8個序號；
3-2.對每個運(yùn)動序列，根據(jù)每一幀對應(yīng)時刻的人體運(yùn)動的運(yùn)動能量，繪制運(yùn)動序列的能量曲線圖，所有運(yùn)動能量大于噪音閾值的連續(xù)的幀序列組成一個個初始分割，運(yùn)動能量不大于噪音閾值的連續(xù)的幀序列組成一個個初始運(yùn)動間隔，若一個初始運(yùn)動間隔的長度超過間隔閾值，則初始運(yùn)動間隔為間歇，否則把該初始運(yùn)動間隔和其左右的初始分割合并
為一個動作，每個動作包含若干幀數(shù)據(jù)；最終將每個運(yùn)動序列分割為若干個動作和間歇；噪音閾值為0.01 0. 1，能量曲線的最小值越大、取值越大；間隔閾值為20 100幀，單位時間內(nèi)采集幀數(shù)越多、取值越大。
所述的情感識別方法，其特征在于，所述訓(xùn)練分類器步驟和情感識別步驟中，所述特征提取子步驟包括如下具體過程
4-1.對每個動作m，計算其中每一幀對應(yīng)時刻的人體運(yùn)動的特征向
<formula>formula see original document page 14</formula>
其中，m=l，...,M，表示樣訓(xùn)練樣本集或待測人體運(yùn)動序列中動作的序號；《(％)表示第k幀對應(yīng)時刻的人體運(yùn)動的第j個關(guān)節(jié)點(diǎn)的位置，k=l，...,K， K為當(dāng)前動作包含的幀數(shù)；械,;， ,/^,;，/ ^.分別表示第k幀對應(yīng)時刻的人體運(yùn)動的第j個關(guān)節(jié)點(diǎn)到身體中心的距離以及第j個關(guān)節(jié)點(diǎn)的速度、加速度和急動度；
所述肢體關(guān)節(jié)點(diǎn)的速度、加速度和急動度分別對應(yīng)肢體關(guān)節(jié)點(diǎn)位置的一階、二階和三階導(dǎo)數(shù)；所述身體中心為骨盆中^、點(diǎn)；
4-2.計算特征向量均值計算每一個動作包含的所有幀對應(yīng)時刻的
人體運(yùn)動的特征向量均值Um，
1《
4-3.計算協(xié)方差計算每一個動作包含的所有幀對應(yīng)時刻的人體運(yùn)動的特征向量協(xié)方差矩陣Em，
;=^^亂附)-/0亂附)-/07 ;
4-4.構(gòu)建高斯特征Sm:對于每一個動作，組合該動作的協(xié)方差和均值得到其高斯特征s
"附 A
0 1
其中，Rm滿足關(guān)系式；-^及/，并且Rm為下三角矩陣；各個動作的高斯特征構(gòu)成一個李群空間；
4-5.獲得特征序列將M個動作的高斯特征組合為特征序列S，S:{Si，.",Sm,...SM} °
所述的情感識別方法，其特征在于，所述訓(xùn)練分類器步驟中，所述
訓(xùn)練子步驟包括以下過程
5-1.輸入訓(xùn)練樣本集，構(gòu)造二維矩陣
.(sM，;0.........
其中，Sm為第m個動作的高斯特征，ymt表示第m個訓(xùn)練樣本是否為第t類情感，若是則y^取l，否則取O; t=l，...,T， T為情感類別個數(shù)；
5-2.初始化樣本權(quán)重Wmt 、樣本為正樣本的可能性估計A(&)、分類函數(shù)Ft(S):
ww,=l/M ，
A(" = l"，= 0 ，
置迭代序號p^ ，其中，m=l，...，M; 情感序號t-l,...,T;;-3.置情感序號1=1;
;-4.根據(jù)下式計算和Wmt :
A(S附)(1-A(")'歸一化權(quán)重wmt ，計算特征序列S:d,...，S。
.S"的帶權(quán)均值
w '
加 A/
7=1
其中L為高斯特征Sm所處的李群空間，"0^,/)為Sm與/之間的距離，:l0g(&力)；/為L中的任意一個元素；5-6.將U和高斯特征Sm之間的距離映射到向量空間
、=置(^0,")，
將y和高斯特征sm之間的距離矩陣dO,&)的所有非o元素依次序排列得到向量Sm， "C",&) = 1og(//—^附)；
5-7.通過帶權(quán)最小二乘法，基于權(quán)重Wmt擬合出向量Sm—Zmt的系數(shù)，并將其組合成向量g ，從而得到一個弱分類器fpt(S):
力,
1 g
其中1表示正樣本，0表示負(fù)樣本；
5-8.判斷是否t〈T,是則置情感序號t二t + l，轉(zhuǎn)過程5-4;否則轉(zhuǎn)過程5-9;
5-9.更新Pt(Sm)和Ft(S):
^(/"s)-Hx(s))，
乂 J M=l
F,(S) — Ft(S)+厶,(S),^-，t F (S) = 0
5-10.判斷是否p〈P,是則置迭代序號p-p+l，轉(zhuǎn)過程5-3;否則轉(zhuǎn)過程5-ll; P = 50 200，為迭代次數(shù)；
5-11.輸出各情感類別對應(yīng)的分類函數(shù)A(S)，作為各情感類別對應(yīng)的
強(qiáng)分類器。
所述的情感識別方法，其特征在于，所述訓(xùn)練分類器步驟中，通過下述迭代式計算所述訓(xùn)練子步驟過程5-5中U值
A/^exp(D附log"-X))，= ，
/^初始值為從特征序列S中隨機(jī)選擇的一個高斯特征，
若滿足llog(A/z)l"， e取10-11 10-9，則停止迭代，最后得到的Pq就是待求的u。
所述訓(xùn)練子步驟的過程5-5、 5-6、 5-7涉及到高斯特征的距離度量d的計算，由于高斯特征為矩陣表示，而非向量表示，這樣一來高斯特征間的距離度量不能簡單的采用向量間的距離度量方法，所以高斯特征的距離度量問題便成了一個迫切需要解決的問題。
17同樣是矩陣表示的協(xié)方差特征，有人根據(jù)它的正定對稱性，將協(xié)方
差特征間距離的度量轉(zhuǎn)化為黎曼流形(Riemannian Manifolds)下的對應(yīng)點(diǎn)間距離的度量，并基于此對經(jīng)典的LogitBoost機(jī)器學(xué)習(xí)方法予以改進(jìn)，以對協(xié)方差特征進(jìn)行學(xué)習(xí)訓(xùn)練。本發(fā)明中，解決高斯特征間距離度量問題的思路和協(xié)方差特征間距離度量是相同的，又因高斯特征并不具有對稱正定性，所以黎曼流形空間不適合它，但由高斯特征的定義式不難證明所有的高斯特征實(shí)際上構(gòu)成了一個李群空間，由此高斯特征距離度量問題就完全可以借助成熟的李群理論來解決。因此給定兩高斯特征S,和S2， S！和S2的距離d(S,， S2)的計算式如下
順A):k)g(《-X)。
本發(fā)明采用高斯特征描述人體運(yùn)動，該特征具有描述能力強(qiáng)、特征
維度低、有良好的李群結(jié)構(gòu)和能夠有效的分析其空間結(jié)構(gòu)等優(yōu)勢；采用基于李群空間的LogitBoost機(jī)器學(xué)習(xí)方法進(jìn)行多類情感識別，在機(jī)器學(xué)習(xí)過程中充分利用高斯特征的李群結(jié)構(gòu)，訓(xùn)練與識別效率高，實(shí)用性更強(qiáng)。


圖l是本發(fā)明的流程示意圖2是本發(fā)明訓(xùn)練子步驟的流程示意圖。
具體實(shí)施例方式
圖1是本發(fā)明的流程示意圖；圖2是本發(fā)明訓(xùn)練子步驟的流程示意圖。
下面結(jié)合實(shí)施例對本發(fā)明詳細(xì)說明。
本實(shí)施例基于格拉斯哥大學(xué)Pollick等建立的包括走路、敲門、舉手、扔?xùn)|西等四種人體運(yùn)動類型和高興、悲傷、無情感、憤怒四種情感類別的運(yùn)動數(shù)據(jù)庫。該數(shù)據(jù)庫中共有30個角色，每個角色每種運(yùn)動類型包含四種情感類別，每種情感共有兩個運(yùn)動序列， 一種運(yùn)動類型一共含有240個人體運(yùn)動序列，本實(shí)施例從中提取敲門運(yùn)動類型的人體15個關(guān)節(jié)點(diǎn)的三維運(yùn)動數(shù)據(jù)，并由于大部分人是右手敲門的特點(diǎn)可知情感識別主要涉及右肩關(guān)節(jié)和右肘關(guān)節(jié)的運(yùn)動，首先對輸入的運(yùn)動序列進(jìn)行數(shù)據(jù)處理為達(dá)到人體運(yùn)動的平移和旋轉(zhuǎn)不變性，將三維運(yùn)動數(shù)據(jù)序列轉(zhuǎn)換
為以身體中心為原點(diǎn)的局部坐標(biāo)，然后進(jìn)行規(guī)范化取某一被測者的右
臂長度去除所有人的右臂各關(guān)節(jié)點(diǎn)的坐標(biāo)。
一、訓(xùn)練分類器步驟
1. 訓(xùn)練數(shù)據(jù)采集子步驟從格拉斯哥大學(xué)運(yùn)動數(shù)據(jù)庫的30個角色中
選擇29個角色的敲門動作類型，該動作類型的每種情感類型包括2個運(yùn)動序列，共計232個運(yùn)動序列，作為訓(xùn)練樣本集；
2. 運(yùn)動分割子步驟將訓(xùn)練樣本集中的人體運(yùn)動序列分割為若干個動作；
2-l.計算每一個運(yùn)動序列中每一幀的運(yùn)動能量敲門動作的運(yùn)動能量
由右肩關(guān)節(jié)和右肘關(guān)節(jié)的旋轉(zhuǎn)自由度引起，計算公式如下
￡, = —i + "4*4其中Ei表示第i幀的能量，"2和"4分別是右肩關(guān)節(jié)和右肘關(guān)節(jié)兩
個旋轉(zhuǎn)自由度的能量系數(shù)，因系數(shù)之和為l，本例依據(jù)大臂和小臂的旋轉(zhuǎn)
自由度大小，分別取0.2和0.8; ,2，《,4分別是右肩關(guān)節(jié)旋轉(zhuǎn)自由度和
右肘關(guān)節(jié)旋轉(zhuǎn)自由度的角速度，其計算公式如下-
《，廣《+i，廠《,y ，
其中j=2，4;可得第一個人的一個運(yùn)動序列的第一幀的肩關(guān)節(jié)旋轉(zhuǎn)自
由度的角速度為0.0042，該幀對應(yīng)時刻的運(yùn)動能量值為0.00519285;2-2.對每個運(yùn)動序列，根據(jù)2-1得到每一幀對應(yīng)時刻的人體運(yùn)動的的運(yùn)動能量繪制運(yùn)動序列的能量曲線圖，所有運(yùn)動能量大于經(jīng)驗(yàn)噪音閾
值to(經(jīng)驗(yàn)值取0.01)的連續(xù)的幀序列組成一個個初始分割，運(yùn)動能量不大于噪音閾值的連續(xù)的幀序列組成一個個初始運(yùn)動間隔，若初始運(yùn)動間隔的長度超過間隔閾值(此處取30幀)，則該段為間歇，否則把初始運(yùn)動間隔和其左右的初始分割合并為一個動作；本實(shí)例訓(xùn)練樣本集中每個運(yùn)動序列分別分割為5個動作，共得到1160個動作；
3.特征提取子步驟對分割得到的每一個動作，提取其高斯特征，獲得運(yùn)動序列的特征序列；
3-1.對每個動作m，計算其中每一幀對應(yīng)時刻的人體運(yùn)動的特征向
-^，附)=(&《1, &*,1， ^", ~w"."^4,8, ^m， A"w, A厶,8);其中，第一個人的一個運(yùn)動序列分割后得到的第一個動作的第一幀的特征向量為(0.40782717， 0.00213876， 0.00247773， 0.00117469， 0.53413537，0.00114627， 0.00092994， 0.00159401);
3-2.計算特征向量均值計算每一個動作包含的所有幀對應(yīng)時刻的
人體運(yùn)動的特征向量均值"m，
<formula>formula see original document page 20</formula>
其中，第一個人的運(yùn)動序列分割后得到的第一個動作包括179幀，其特征向量均值為(0.89342013， 0.03117220， 0.00623311， 0,00239637，0.72697111， 0.01341624， 0.00233629， 0.00102327);
3-3.計算協(xié)方差計算每一個動作包含的所有幀對應(yīng)時刻的人體運(yùn)
動的特征向量協(xié)方差矩陣i:m，其中，第一個人的運(yùn)動序列分割后得到的第一個動作的特征向量協(xié)方差
矩陣為8X8矩陣，
其中第一行矩陣元素為
0.11492570 -0.00048734 0.00072089 0.00044750 0.04134104 ,0.00055740 0細(xì)12卯30細(xì)11202 '
第二行矩陣元素為
-0.00048734 0.00042318 0.00000070 0.00000077 -0.00000624 .0.000113410.00000084 0.00000013 '
第三行矩陣元素為
0.00072089 0.00000070 0.00000221 0.00000058 0.00028045 .-0.000000170.00000052 0.00000019 '
第四行矩陣元素為
0.00044750 0.00000077 0.00000058 0.00000059 0.00017807 .-0扁000360.000000140.00000016 ,
第五行矩陣元素為
0.04134104 -0.00000624 0.00028045 0.00017807 0.01540005 ，0.00013535 0.00000529 0.00000421 '
第六行矩陣元素為
0.00055740 0.00011341 -0.00000017 -0.00000036 0.00013535 ,0.000005890.00000009 -0.00000009 '
第七行矩陣元素為
0.00012卯3 0.00000084 0.00000052 0.00000014 0.00000529 .0細(xì)00009 0.00000022 0扁00005 '
第八行矩陣元素為
0.00011202 0.00000013 0.00000019 0.00000016 0.00000421 ,-0.0000009 0.00000005 0.00000008 ，
3-4.構(gòu)建高斯特征Sw對于每一個動作，組合該動作的協(xié)方差和
均值得到其高斯特征Sm，
<formula>formula see original document page 21</formula>其中，第一個人的運(yùn)動序列分割后得到的第一個動作的高斯特征為
為9X9矩陣，
其中第一行矩陣元素為
0.33卿6940
0
-0.08981188
第二行矩陣元素為:
-0.001437570
0.020521010
0
0.00327213
第三行矩陣元素為:
0.002126470
0.000492210
0.004168990.00153724
第四行矩陣元素為:
0.001320030
0細(xì)467390
0細(xì)674650.00088803
0.00187571
第五行矩陣元素為
0.121947470
0.005502770
0.00441839-0.02533044
0.00615302 0.02100477
第六行矩陣元素為:
0.00164420 0.00564165 -0.00192256 -0.00379077 -0.003065050 0 0.00192287
0.00488871
第七行矩陣元素為
0.00038063 0.00043826 0.001008400.000902430 0.00047927
第八行矩陣元素為
0.00033045 0.00000876 0.000276040.00000404 0細(xì)57卿 0.00020142
第九行矩陣元素為
-0.00000113 -0.00000146 -0.00000734
0.00049114 -0.00014057 0.00000369
00
0
0
0 13-5.獲得特征序列:
S:隊(duì)…，S。
將1160個動作的高斯特征組合為特征序列S，..Sm};本實(shí)例中訓(xùn)練樣本集共得到1160個特征序列；
4.訓(xùn)練子步驟對當(dāng)前訓(xùn)練樣本集，使用李群流形上的LogitBoost
機(jī)器學(xué)習(xí)方法按照既定的訓(xùn)練策略進(jìn)行學(xué)習(xí)訓(xùn)練，得到各個情感類別對
應(yīng)的強(qiáng)分類器；具體包括以下過程
4-1.輸入訓(xùn)練樣本集，構(gòu)造二維矩陣
—(")—(s,&)-
_(sM，_yM1).........CWmt).
4-2.初始化樣本權(quán)重Wmt 、樣本為正樣本的可能性估計AC^)、分 類函數(shù)Ft (S):
w附，=1/1160 ， A(" = l"，
，)=o ，
置迭代序號p=l ，
P取為20 ;
4-3.置情感序號t-l;. 4-4.根據(jù)下式計算和wmt :
處)(l-就))，
U,("(1-,》；
初始值為3/16;
4-5.歸一化權(quán)重Wmt ，計算特征序列SISi，...,Sm,...SKa的帶權(quán)均值<formula>formula see original document page 24</formula>，
U的計算
A/^exp(Z:,附log"乂))， A = ，
/^初始值為從特征序列S中隨機(jī)選擇的一個高斯特征，若滿足
|log(A//)|" (S取10-'。)，則停止迭代，最后得到的Uq就是待求的P ;
4-6.將U和高斯特征Sm之間的距離映射到向量空間-
4-7.通過帶權(quán)最小二乘法，基于權(quán)重Wmt擬合出向量Sm—、的系數(shù)， 并將其組合成向量g ，從而得到一個弱分類器fpt(S):
，=
1 g"ec0/(//,51))〉0 0 "薦(dO,S))S0
4-8.判斷是否t〈T,是則置情感序號t二t + l，轉(zhuǎn)過程4-4;否則轉(zhuǎn) 過程4-9;
4-9.更新Pt(SJ和Ft(S):
<formula>formula see original document page 24</formula>
4-10.判斷是否p〈P,是則置迭代序號p二p+l，轉(zhuǎn)過程4-3;否則轉(zhuǎn)也可不斷調(diào)整P來提高識別結(jié)果的準(zhǔn)確率； 4-11.輸出四個情感類別對應(yīng)的分類函數(shù)A(S)，作為各情感類別對應(yīng)
的強(qiáng)分類器。
二、情感識別步驟
1. 待測數(shù)據(jù)采集子步驟將步驟一中的訓(xùn)練數(shù)據(jù)采集子步驟中30個 角色中選擇29個角色后剩余的一個角色的敲門動作類型的每種情感類型 包括的2個運(yùn)動序列，共計8個運(yùn)動序列作為測試數(shù)據(jù)集；
2. 運(yùn)動分割子步驟將待測人體運(yùn)動序列分割為若干個動作； 2-l.計算運(yùn)動序列中每一幀的運(yùn)動能量敲門動作的運(yùn)動能量由右肩
關(guān)節(jié)和右肘關(guān)節(jié)的旋轉(zhuǎn)自由度引起，計算公式如下
其中Ei表示第i幀的能量，0)2和0)4分別是右肩關(guān)節(jié)和右肘關(guān)節(jié)兩 個旋轉(zhuǎn)自由度的能量系數(shù)，因系數(shù)之和為l，本例依據(jù)大臂和小臂的旋轉(zhuǎn)
自由度大小，分別取0.2和0.8; <2，《,4分別是右肩關(guān)節(jié)旋轉(zhuǎn)自由度和 右肘關(guān)節(jié)旋轉(zhuǎn)自由度的角速度，其計算公式如下
^《W-《，y'，
其中〗=2,4;
2-2.對每個運(yùn)動序列，根據(jù)1-1得到每一幀對應(yīng)時刻的人體運(yùn)動的 的運(yùn)動能量繪制運(yùn)動序列的能量曲線圖，所有運(yùn)動能量大于經(jīng)驗(yàn)噪音閾 值to(經(jīng)驗(yàn)值取0.01)的連續(xù)的幀序列組成一個個初始分割，運(yùn)動能量不大 于噪音閾值的連續(xù)的幀序列組成一個個初始運(yùn)動間隔，若初始運(yùn)動間隔 的長度超過間隔閾值(此處取30幀)，則該段為間歇，否則把初始運(yùn)動 間隔和其左右的初始分割合并為一個動作；本實(shí)例每個待測人體運(yùn)動序 列分割為5個動作，共得到40個動作；
3. 特征提取子步驟對分割得到的每一個動作，提取其高斯特征， 獲得運(yùn)動序列的特征序列；
253-1.對每個動作m，計算其中每一幀對應(yīng)時刻的人體運(yùn)動的特征向
<formula>formula see original document page 26</formula>
3-2.計算特征向量均值計算每一個動作包含的所有幀對應(yīng)時刻的 人體運(yùn)動的特征向量均值Um，
<formula>formula see original document page 26</formula>
3-3.計算協(xié)方差計算每一個動作包含的所有幀對應(yīng)時刻的人體運(yùn) 動的特征向量協(xié)方差矩陣Em，
<formula>formula see original document page 26</formula>
3-4.構(gòu)建高斯特征Sm:對于每一個動作，組合該動作的協(xié)方差和 均值得到其高斯特征Sm，
<formula>formula see original document page 26</formula>
3-5.獲得特征序列將40個動作的高斯特征組合為特征序列S， S:(Si,…,Sm,…S]v[);
本實(shí)例中每個待測人體運(yùn)動序列中共40個特征序列； 4.識別子步驟把待測人體運(yùn)動序列的40個特征序列分別放入各 個情感類別對應(yīng)的強(qiáng)分類器《(S)中，得到待測樣本中40個動作分別屬于
每種情感類別的概率值，將其中最大的概率值對應(yīng)的情感類別作為輸出 結(jié)果。
本發(fā)明從Pollick等所建立的人體運(yùn)動數(shù)據(jù)庫的30個角色中抽取29 個角色的人體運(yùn)動序列作為訓(xùn)練樣本，另外1個角色的人體運(yùn)動序列作 為測試樣本，共進(jìn)行30次的交叉驗(yàn)證。對每個角色進(jìn)行測試時，由該角色所有動作的識別結(jié)果計算出對其所有情感的識別錯誤率(0.25、 0.475、 0.65、 0.325、 0.5、 0.45、 0.525、 0.3、 0.15、 0.15、 0.65、 0.7、 0.425、 0.35、 0.75、 0.5、 0.4、 0.575、 0.55、 0.6、 0.675、 0.325、 0.325、 0.35、 0.575、 0.525、 0.175、 0.475、 0.275、 0.5)，最終得到識別準(zhǔn)確率提高至55. 1%。 在同一設(shè)備上，實(shí)驗(yàn)大約耗時650分鐘，速度也有提高。
權(quán)利要求
1.一種基于高斯特征的人體運(yùn)動情感識別方法，包括訓(xùn)練分類器步驟和情感識別步驟一、訓(xùn)練分類器步驟，順序包括下述子步驟訓(xùn)練數(shù)據(jù)采集子步驟建立包括若干動作類型、每種動作類型又包括若干情感類型的訓(xùn)練樣本集；運(yùn)動分割子步驟將訓(xùn)練樣本集中的人體運(yùn)動序列分割為若干個動作；特征提取子步驟對分割得到的每一個動作，提取其高斯特征，獲得運(yùn)動序列的特征序列；訓(xùn)練子步驟對當(dāng)前訓(xùn)練樣本集，使用李群流形上的LogitBoost機(jī)器學(xué)習(xí)方法按照既定的訓(xùn)練策略進(jìn)行學(xué)習(xí)訓(xùn)練，得到各個情感類別對應(yīng)的強(qiáng)分類器；二、情感識別步驟，順序包括下述子步驟待測數(shù)據(jù)采集子步驟利用三維運(yùn)動捕捉系統(tǒng)來捕捉待測的人體的運(yùn)動序列，每個運(yùn)動序列由人體各關(guān)節(jié)點(diǎn)的三維運(yùn)動數(shù)據(jù)序列來表示，所述人體各關(guān)節(jié)點(diǎn)包括頭、脖子、骨盆中心和左右肩關(guān)節(jié)、肘關(guān)節(jié)、腕關(guān)節(jié)、髖關(guān)節(jié)、膝關(guān)節(jié)、踝關(guān)節(jié)共15個關(guān)節(jié)點(diǎn)；運(yùn)動分割子步驟將待測人體運(yùn)動序列分割為若干個動作；特征提取子步驟對分割得到的每一個動作，提取其高斯特征，獲得運(yùn)動序列的特征序列；識別子步驟把待測人體運(yùn)動序列的特征序列分別放入各個情感類別對應(yīng)的強(qiáng)分類器中，得到該運(yùn)動序列中各動作分別屬于每種情感類別的概率值，將其中最大的概率值對應(yīng)的情感類別作為輸出結(jié)果。
2. 如權(quán)利要求1所述的情感識別方法，其特征在于，所述訓(xùn)練分類器步驟中，所述訓(xùn)練數(shù)據(jù)采集子步驟包括以下具體過程2-1.確定動作類型和情感類型動作類型為1 10種，包括走路、敲門、舉手、扔?xùn)|西中的一種或多種；情感類型T為2 6種，包括高興、悲傷、無情感、憤怒中的兩種以上;各種動作類型的每種情感類型包括2 6個運(yùn)動序列；2- 2.利用三維運(yùn)動捕捉系統(tǒng)拍攝記錄人體運(yùn)動序列利用20 40個演員進(jìn)行表演，男女演員各占一半，演員表演時穿上設(shè)備配套服裝，并在人體各關(guān)節(jié)點(diǎn)上貼上標(biāo)記點(diǎn)，所述人體各關(guān)節(jié)點(diǎn)包括頭、脖子、骨盆中心和左右肩關(guān)節(jié)、肘關(guān)節(jié)、腕關(guān)節(jié)、髖關(guān)節(jié)、膝關(guān)節(jié)、踝關(guān)節(jié)共15個關(guān)節(jié)點(diǎn);.每個運(yùn)動序列由人體各關(guān)節(jié)點(diǎn)的三維運(yùn)動數(shù)據(jù)序列來表示，利用三維運(yùn)動捕捉系統(tǒng)拍攝記錄每個演員的每種動作類型的每種情感類型。
3. 如權(quán)利要求l所述的情感識別方法，其特征在于，所述訓(xùn)練分類器步驟和情感識別步驟中，所述運(yùn)動分割子步驟包括以下具體過程3- 1.計算每一個運(yùn)動序列中每一幀對應(yīng)時刻的人體運(yùn)動的運(yùn)動能第i幀數(shù)據(jù)的運(yùn)動能量Ei按下式計算五=f^#式中，(為第i幀對應(yīng)時刻的人體運(yùn)動的第j個關(guān)節(jié)點(diǎn)旋轉(zhuǎn)自由度的角速度=《+w-《》 其中，^為第i幀對應(yīng)時刻的人體運(yùn)動的第j個關(guān)節(jié)點(diǎn)旋轉(zhuǎn)自由度，為第j個關(guān)節(jié)點(diǎn)的相連兩根骨頭的夾角；"j為各個關(guān)節(jié)點(diǎn)旋轉(zhuǎn)自由度的系數(shù)，取值范圍為0.1—0.8，關(guān)節(jié)點(diǎn)旋轉(zhuǎn)自由度越大、取值越大，= /=i1; i=l"*N， N為自然數(shù)，是運(yùn)動序列的幀數(shù)；j=P"8，分別為上肢左右肩關(guān)節(jié)、左右肘關(guān)節(jié)和下肢左右膝關(guān)節(jié)和左右髖關(guān)節(jié)所對應(yīng)的8個序號；.3- 2.對每個運(yùn)動序列，根據(jù)每一幀對應(yīng)時刻的人體運(yùn)動的運(yùn)動能量，繪制運(yùn)動序列的能量曲線圖，所有運(yùn)動能量大于噪音閾值的連續(xù)的幀序列組成一個個初始分割，運(yùn)動能量不大于噪音閾值的連續(xù)的幀序列組成一個個初始運(yùn)動間隔，若一個初始運(yùn)動間隔的長度超過間隔閾值，則該初始運(yùn)動間隔為間歇，否則把該初始運(yùn)動間隔和其左右的初始分割合并為一個動作，每個動作包含若干幀數(shù)據(jù)；最終將每個運(yùn)動序列分割為若干個動作和間歇；噪音閾值為0.01 0. 1，能量曲線的最小值越大、取值越大；間隔閾值為20 100幀，單位時間內(nèi)采集幀數(shù)越多、取值越大。
4.如權(quán)利要求1所述的情感識別方法，其特征在于，所述訓(xùn)練分類器步驟和情感識別步驟中，所述特征提取子步驟包括如下具體過程4- 1.對每個動作m，計算其中每一幀對應(yīng)時刻的人體運(yùn)動的特征向量m) s-(t附)=/^t,'， &4,, / /w，…，A^,8, &/t,8, ^"8， ~;,8)'=||^.(&)||，"tJ =||/>乂(&)||，;^,; =||,.(^)||，^Ay =H:(&)|| ，其中，m-l，...,M，表示樣訓(xùn)練樣本集或待測人體運(yùn)動序列中動作的序號；《(％)表示第k幀對應(yīng)時刻的人體運(yùn)動的第j個關(guān)節(jié)點(diǎn)的位置，k=l，...，K， K為當(dāng)前動作包含的幀數(shù)；w",/^，；^," ;^.分別表示第k幀對應(yīng)時刻的人體運(yùn)動的第j個關(guān)節(jié)點(diǎn)到身體中心的距離以及第j個關(guān)節(jié)點(diǎn)的速度、加速度和急動度；所述肢體關(guān)節(jié)點(diǎn)的速度、加速度和急動度分別對應(yīng)肢體關(guān)節(jié)點(diǎn)位置的一階、二階和三階導(dǎo)數(shù)；所述身體中心為骨盆中心點(diǎn)；、4-2.計算特征向量均值計算每一個動作包含的所有幀對應(yīng)時刻的人體運(yùn)動的特征向量均值ym，<formula>formula see original document page 0</formula>、4-3.計算協(xié)方差計算每一個動作包含的所有幀對應(yīng)時刻的人體運(yùn)動的特征向量協(xié)方差矩陣i:m，、=^71:亂附)-/0亂附)-/or ;、4-4.構(gòu)建高斯特征S均值得到其高斯特征Sm，對于每一個動作，組合該動作的協(xié)方差和<formula>formula see original document page 0</formula>其中，Rm滿足關(guān)系式^-H、并且Rm為下三角矩陣；各個動作的高斯特征構(gòu)成一個李群空間； 、4-5.獲得特征序列將M個動作的高斯特征組合為特征序列S，S:(Si，…，Sm，…SM〉 。
5.如權(quán)利要求1所述的情感識別方法，其特征在于，所述訓(xùn)練分類器步驟中，所述訓(xùn)練子步驟包括以下過程5-1.輸入訓(xùn)練樣本集，構(gòu)造二維矩陣(S』)………(Sm，>v) ，陽(Sji/，；vi).........其中，Sm為第m個動作的高斯特征，ymt表示第m個訓(xùn)練樣本是否為第t類情感，若是則y加取l，否則取0; t=l,...,T， T為情感類別個數(shù)；5-2.初始化樣本權(quán)重Wmt 、樣本為正樣本的可能性估計A(^J、分類函數(shù)Ft(S):<formula>formula see original document page 6</formula>置迭代序號p-l ，其中，m=l,...,M; 情感序號t-l,...,T;5-3.置情感序號t-l;5-4.根據(jù)下式計算zmt和wmt :;.歸一化權(quán)重wmt ，計算特征序列S:d,...,S。.s^的帶權(quán)均值<formula>formula see original document page 6</formula>其中L為高斯特征Sm所處的李群空間，"(^，/)為Sm與/之間的距離，:l0g(&力)；/為L中的任意一個元素;5-6.將U和高斯特征Sm之間的距離映射到向量空間、=wc((iO，")，將u和高斯特征sm之間的距離矩陣d(z/，5;)的所有非o元素依次序排列得到向量Sm，"C"，&) = l0g(/T;5-7.通過帶權(quán)最小二乘法，基于權(quán)重Wmt擬合出向量Sm—Zmt的系數(shù)，并將其組合成向量g ，從而得到一個弱分類器fpt(s):<formula>formula see original document page 0</formula>其中1表示正樣本，0表示負(fù)樣本；5-8.判斷是否t〈T,是則置情感序號t^t + l，轉(zhuǎn)過程5-4;否則轉(zhuǎn)過程5-9;5-9.更新Pt(Sm)和Ft(S):<formula>formula see original document page 0</formula>5-10.判斷是者p〈P,是則置迭代序號p二p+l，轉(zhuǎn)過程5-3;否則轉(zhuǎn)過程5-ll; P = 50 200，為迭代次數(shù)；5-11.輸出各情感類別對應(yīng)的分類函數(shù)巧(S)，作為各情感類別對應(yīng)的強(qiáng)分類器。
6.如權(quán)利要求5所述的情感識別方法，其特征在于，所述訓(xùn)練分類器步驟中，通過下述迭代式計算所述訓(xùn)練子步驟過程5-5中u值<formula>formula see original document page 8</formula>/^初始值為從特征序列S中隨機(jī)選擇的一個高斯特征，若滿足llog(A/z)l"， e取l(T11 10-9，則停止迭代，最后得到的Uq就是待求的u。
全文摘要
基于高斯特征的人體運(yùn)動情感識別方法，屬于計算機(jī)模式識別領(lǐng)域，解決現(xiàn)有情感識別方法的識別率偏低、學(xué)習(xí)識別速度稍慢的問題。本發(fā)明包括訓(xùn)練分類器步驟和情感識別步驟訓(xùn)練分類器步驟順序包括訓(xùn)練數(shù)據(jù)采集子步驟、運(yùn)動分割子步驟、特征提取子步驟和訓(xùn)練子步驟；情感識別步驟順序包括待測數(shù)據(jù)采集子步驟、運(yùn)動分割子步驟、特征提取子步驟和識別子步驟。本發(fā)明采用高斯特征描述人體運(yùn)動，該特征具有描述能力強(qiáng)、特征維度低、有良好的李群結(jié)構(gòu)和能夠有效的分析其空間結(jié)構(gòu)等優(yōu)勢；采用基于李群空間的LogitBoost機(jī)器學(xué)習(xí)方法進(jìn)行多類情感識別，在機(jī)器學(xué)習(xí)過程中充分利用高斯特征的李群結(jié)構(gòu)，訓(xùn)練與識別效率高，實(shí)用性更強(qiáng)。
文檔編號G06K9/00GK101561868SQ200910062130
公開日2009年10月21日 申請日期2009年5月19日 優(yōu)先權(quán)日2009年5月19日
發(fā)明者芳 劉, 張富強(qiáng), 李新仕, 王天江, 剛 陳, 幸 陳, 龔立宇 申請人:華中科技大學(xué)