專利名稱：基于dtw曲線的運(yùn)動(dòng)數(shù)據(jù)動(dòng)作分類方法
技術(shù)領(lǐng)域：
本發(fā)明涉及運(yùn)動(dòng)數(shù)據(jù)自動(dòng)分類的一種方法，主要用于動(dòng)作分類。
背景技術(shù)：
為了有效地利用三維運(yùn)動(dòng)數(shù)據(jù)(例如作為動(dòng)作識(shí)別的訓(xùn)練數(shù)據(jù))，需將具有相同運(yùn)動(dòng)特 征的動(dòng)作片段分為一類，然后對(duì)每個(gè)類別進(jìn)行標(biāo)注，形成各種動(dòng)作集，動(dòng)作集的集合稱為運(yùn) 動(dòng)庫(kù)。例如大量"走"和"跑"的動(dòng)作片段經(jīng)過(guò)分類和標(biāo)注后形成"走"和"跑"兩個(gè)動(dòng)作 集。目前已有的分類方法主要有-
(1) 人工分類方法，即采用人工對(duì)運(yùn)動(dòng)數(shù)據(jù)進(jìn)行分類和標(biāo)注，這種方法將消耗大量的 時(shí)間和精力；
(2) Souvenir提出的流形聚類方法Manifold Clustering (Souvenir R., Pless R. Manifold Clustering[A]. Proceedings of the Tenth IEEE International Conference on Computer Vision (ICCV'05)[C]. Washington: IEEE Computer Society, 2005: 648-653)， 該方法根據(jù)人工指定的聚類個(gè)數(shù)，只能對(duì)簡(jiǎn)單行為的運(yùn)動(dòng)數(shù)據(jù)進(jìn)行分類；
(3) Jenkins (Jenkins 0. C., Matari M. J. A spatio-temporal extension to Isomap nonlinear dimension reduction [A]. New York: ACM Press, 2004: 56)等人首先手工將 運(yùn)動(dòng)分為簡(jiǎn)單的片段，然后采用非線性降維(ST-Isomap)法對(duì)這些片段進(jìn)行兩次聚類，第 一次聚類結(jié)果稱為基本動(dòng)作單元，第二次聚類得到行為單元；
(4) Barbie (Barbie J., Safonova A. ， Pan P. ， et al. Segmenting motion capture data into distinct behaviors [A]. Proceedings of the 2004 conference on Graphics interface GI ， 04 [C]. School of Computer Science, University力f'Waterloo, Waterloo, Ontario, .Canada: Canadian Human-Computer Communications Society, 2004: 185-194) 為運(yùn)動(dòng)數(shù)據(jù)建立混合高斯模型GMM，采用EM算法(期望最大化算法)來(lái)估計(jì)高斯分布的參數(shù)，
假設(shè)不同的動(dòng)作屬于不同的高斯分布，根據(jù)該假設(shè)將運(yùn)動(dòng)序列分割為各個(gè)動(dòng)作片段；
(5) DTW方法，Berndt (Berndt D. J., Clifford J. Using Dy薩ic Time Warping to Find Patterns in Time Series [A]. Proceedings of AAAI Workshop on Knowledge Discovery in Databases[C]. 1994: 229-248)等人將語(yǔ)音識(shí)別中廣泛使用的DTW(Dynaroic time warping 動(dòng)態(tài)時(shí)間彎曲)用作運(yùn)動(dòng)分類，該方法先計(jì)算DTW距離，然后根據(jù)計(jì)算結(jié)果進(jìn)行動(dòng)作分類。
DTW基本原理是將兩個(gè)序列局部時(shí)間彎曲，尋找這兩個(gè)序列的最優(yōu)對(duì)齊，從而判斷這兩個(gè)序列之間的相似程度。由于DTW在局部上對(duì)數(shù)據(jù)進(jìn)行時(shí)間彎曲，因此相比于歐式距離,DTW 距離(最優(yōu)化路徑的平均值)可以更好反映兩個(gè)序列的邏輯相似性，如圖l。但在動(dòng)作分類 中，直接使用DTW來(lái)評(píng)價(jià)兩個(gè)序列的相似性還有如下局限性
(1) 條件嚴(yán)格DTW有嚴(yán)格的最優(yōu)路徑搜索范圍，這個(gè)范圍有利于提高DTW運(yùn)行速度， 可以防止非連續(xù)(nonmonotonic),非單調(diào)(discontinuous)禾口退化(degenerated)等問(wèn) 題的出現(xiàn)。但對(duì)于動(dòng)作分類來(lái)說(shuō)，這些條件過(guò)于嚴(yán)格，在邏輯判斷方面表現(xiàn)不佳。
(2) 魯棒性差兩個(gè)序列的DTW距離為一個(gè)具體的數(shù)值，僅僅通過(guò)一個(gè)數(shù)值判斷兩個(gè)序 列的相似性，魯棒性較差，容易受噪聲干擾。

發(fā)明內(nèi)容
本發(fā)明的技術(shù)解決問(wèn)題是克服現(xiàn)有技術(shù)的不足，提供一種基于DTW曲線的運(yùn)動(dòng)數(shù)據(jù)動(dòng) 作分類方法，該方法放寬了DTW的限制，使分類魯棒性增強(qiáng)，從而提高了運(yùn)動(dòng)數(shù)據(jù)動(dòng)作的分 類效果。
本發(fā)明的技術(shù)解決方案基于DTW曲線的運(yùn)動(dòng)數(shù)據(jù)動(dòng)作分類方法，步驟如下
(1) 生成用于運(yùn)動(dòng)序列之間相似性度量的雙向DTW距離和分段DTW距離，所述的生成 雙向DTW距離的方法為對(duì)于給定的兩個(gè)運(yùn)動(dòng)序列P和Q，這兩個(gè)序列的DTW距離為 A^(尸,0 ，令序列尸的翻轉(zhuǎn)序列為2',且P和2'之間的DTW距離為D^(戶，g)，則序列P和 Q之間的雙向DTW距離定義為ZV^(尸，0:^mhHD^CP，2)，D^(尸,2')h生成分段DTW距
離的方法為給定兩個(gè)運(yùn)動(dòng)序列P和Q，將這兩個(gè)運(yùn)動(dòng)序列進(jìn)行分段，并選擇部分運(yùn)動(dòng)片段， 片段之間采用雙向DTW距離，則兩個(gè)運(yùn)動(dòng)序列P和Q之間的分段DTW距離定義為覆蓋所有運(yùn) 動(dòng)片段的雙向DTW距離之和平均值的最小值；
(2) 根據(jù)步驟(1)中的雙向DTW距離和分段DTW距離生成DTW曲線，并基于DTW曲線
生成有效性加權(quán)距離ZVdtw(P,0 = A^(;i,尸，0"，其中W^為邏輯分類有效性
曲線，D^為分段DTW距離，義為用于分段的閾值，P和Q為兩個(gè)運(yùn)動(dòng)序列。 本發(fā)明與現(xiàn)有技術(shù)相比的優(yōu)點(diǎn)在于 (1)在傳統(tǒng)動(dòng)態(tài)時(shí)間彎曲算法(Dynamic time wa卬ing， DTW)距離度量的基礎(chǔ)上，本 發(fā)明給出了雙向DTW和分段DTW兩種距離度量方法，提高了運(yùn)動(dòng)序列動(dòng)作自動(dòng)分類的魯棒性， 更加接近人工分類的結(jié)果。
(3) DTW有嚴(yán)格的最優(yōu)路徑搜索范圍，這對(duì)于動(dòng)作分類來(lái)說(shuō)，這些條件過(guò)于嚴(yán)格，在邏 輯判斷方面表現(xiàn)不佳。本發(fā)明提出的雙向DTW和分段DTW則放寬了該條件限制，更有利于邏 輯分類，從而提高了運(yùn)動(dòng)數(shù)據(jù)動(dòng)作的分類效果。(3)本發(fā)明提出了的用于動(dòng)作分類的，伴曲線表示方法，給出了有效性加權(quán)鉅離的定 義，并采用層次聚類算法(hierarchical clustering procedure)對(duì)運(yùn)動(dòng)數(shù)據(jù)進(jìn)行分類。
實(shí)驗(yàn)結(jié)果表明，本發(fā)明的基于DTW曲線的動(dòng)作分類方法可以得到較好的分類結(jié)果。


圖1為歐氏距離和DTW距離點(diǎn)的對(duì)應(yīng)關(guān)系； 圖2為邏輯相似性(Kovar)描述； 圖3為邏輯相似性較好、DTW距離較大的動(dòng)作示例； 圖4為本發(fā)明的流程圖； 圖5為本發(fā)明的雙向DTW示意圖6為本發(fā)明的分段DTW示意圖；圖6a和圖6b為運(yùn)動(dòng)片段的兩種組合。
圖7為本發(fā)明的DTW曲線生成流程圖8為本發(fā)明的8-連通域的生成示意圖9為由極小相似域計(jì)算分段DTW距離；
圖10為分類有效性與閾值參數(shù)關(guān)系的定性分析；
圖11為DTW曲線示例；
圖12為不同運(yùn)動(dòng)風(fēng)格的boxing;
圖13為不同聚類數(shù)下生成的Rand Index值(MoCap數(shù)據(jù)集)； 圖14為不同聚類數(shù)下生成的Rand Index值(IXMAS數(shù)據(jù)集)。
具體實(shí)施例方式
如圖4所示，本發(fā)明的實(shí)現(xiàn)方法具體如下-
1.生成用于運(yùn)動(dòng)序列之間相似性度量的雙向DTW距離和分段DTW距離。 運(yùn)動(dòng)序列之間相似性度量(如圖2中的前踢腿和向側(cè)踢腿這兩個(gè)運(yùn)動(dòng))可以有多種方法， 但這些方法所具有的邏輯相似性判斷能力并不相同，用于動(dòng)作分類后，與人們主觀判斷的差 別也并不相同。為了方便描述，本發(fā)明引入了邏輯分類有效性的概念。
定義1邏輯分類有效性(Effectivity of Logic Classification, EoLC)邏輯分類有 效性是距離或者相似性度量用于動(dòng)作分類后，與人們主觀判斷(手工分類)的差別。邏輯分 類有效性越大，則根據(jù)該度量對(duì)運(yùn)動(dòng)序列進(jìn)行動(dòng)作分類后越接近手工分類，也越符合人對(duì)動(dòng) 作的直觀理解。
DTW是一種全局動(dòng)態(tài)時(shí)間對(duì)齊方法，由于DTW在路徑搜索的過(guò)程中需要遵循一定的約束 條件，這些約束條件導(dǎo)致DTW邏輯分類有效性并不高。例如有些運(yùn)動(dòng)序列具有反向相似性， 如圖3(a)所示的"順時(shí)針揮手"序列與"逆時(shí)針揮手"序列，這兩個(gè)運(yùn)動(dòng)序列屬于同一類運(yùn)動(dòng)，具有^的邏輯相似性。還有些運(yùn)動(dòng)序列具有分段枏似性，樹(shù)如圖3(b)所示， 一個(gè)拳擊 序列("左拳"-"右拳"-"左拳")和另一個(gè)拳擊序列("右拳"_ "左拳"-"右拳")，它 們具有較好邏輯相似性，但兩者的DTW距離卻較大。
對(duì)于反向相似或者分段相似的運(yùn)動(dòng)序列，如果直接采用DTW度量并用于動(dòng)作分類，將會(huì) 產(chǎn)生較低的邏輯分類有效性。因此針對(duì)這個(gè)問(wèn)題，本發(fā)明提出兩種DTW的改進(jìn)策略，提高邏 輯分類有效性。
(1)雙向DTW
從動(dòng)作分類角度來(lái)看，運(yùn)動(dòng)序列的時(shí)間翻轉(zhuǎn)不會(huì)影響其所屬類別，例如一個(gè)運(yùn)動(dòng)序列 P-0 ,，;72,…,Pw),其翻轉(zhuǎn)序列尸'-(j^，^—!,…,a)，則這個(gè)運(yùn)動(dòng)序列P與尸'應(yīng)該屬于同一
個(gè)運(yùn)動(dòng)分類，他們應(yīng)具有較大的邏輯相似性，邏輯距離較小，采用傳統(tǒng)DTW，卻可能得到一 個(gè)較大的距離值。
本發(fā)明提出雙向DTW (Bidirectional Dynamic Time Warping)距離來(lái)解決這個(gè)問(wèn)題， 雙向DTW定義如下
定義2 雙向DTW (Bidirectional Dynamic Time Warping) 給定兩個(gè)運(yùn)動(dòng)序列 /^(A,;^...,/^;^^^—^^...,^),這兩個(gè)序列的DTW距離為Z)^(尸,g)，令序列尸的翻
轉(zhuǎn)序列為2'-(^，^-"…,仏)，且戶和g'之間的DTW距離為Z)如(尸,")，則序列尸和^之間
的雙向DTW距離家義為
U (尸,0 = mind (尸,e)， t (尸,2')}
雙向DTW的實(shí)質(zhì)是將對(duì)比的兩個(gè)序列其中一個(gè)翻轉(zhuǎn)，分別求翻轉(zhuǎn)前和翻轉(zhuǎn)后的DTW距離， 最小值就是雙向DTW距離，如圖5所示，對(duì)角線兩條曲線分別為正向DTW和反向DTW路徑， 兩條路徑上點(diǎn)的距離之和最小值為雙向DTW距離。由于雙向DTW允許從兩個(gè)方向進(jìn)行比較， 因此相比于傳統(tǒng)DTW，反向相似的兩個(gè)序列具有較小的距離值，更加符合人們對(duì)動(dòng)作的判斷， 可以提高邏輯分類有效性。 (2)分段DTW
有些邏輯相似的運(yùn)動(dòng)序列，由于時(shí)間次序的不同，在整體上并不具有較好數(shù)值相似性， 導(dǎo)致DTW距離較大，例如兩個(gè)拳擊運(yùn)動(dòng)序列A (左拳擊-右拳擊-左拳擊)和B (右拳擊-左拳 擊-右拳擊)，它們都屬于拳擊這一類別，由于A和B動(dòng)作次序不同，因此即使經(jīng)過(guò)時(shí)間對(duì)齊， 這兩個(gè)運(yùn)動(dòng)序列仍然具有較大的DTW距離，其原因是DTW算法具有較強(qiáng)的約束條件，導(dǎo)致DTW 只能從單調(diào)方向?qū)ふ易钚≈怠榱诉M(jìn)一步放寬約束條件，解決序列分段相似性問(wèn)題，在雙向 DTW距離的基礎(chǔ)上，提出了分段DTW方法，具體定義如下
6定義3分段DTW(SegmerrtDynamic Time Warping) 給定兩個(gè)運(yùn)動(dòng)序列戶=(/^,/ 2,...,pv)
w2 = (91，92,...，^J，將這兩個(gè)運(yùn)動(dòng)序列按一定規(guī)則進(jìn)行分段，并選擇部分運(yùn)動(dòng)片段，片段 之間采用雙向DTW距離，則運(yùn)動(dòng)序列尸和2之間的分段DTW距離D^^(尸,0定義為覆蓋所
有運(yùn)動(dòng)片段的雙向DTW距離之和平均值的最小值。
例如兩個(gè)運(yùn)動(dòng)序列尸和g，如圖6所示，尸選擇三段A、尸2禾Q尸3， g選^f四段^、"、
g和。4。假設(shè)運(yùn)動(dòng)片段之間的雙向DTW距離分別為zv^(^，込)、zv^CP2,g)、
^(戶2,込)、"S-如(尸3，込)和A—^(尸3必)，并且假設(shè)"S—^(尸2必)〉A(chǔ)-^(戶3必)，則可
以覆蓋所有運(yùn)動(dòng)片段的距離之和有兩種方案
(a) (尸,e)=(zv如(《,込)+a—rf (a , q )+a—如(尸3 ，込)+a-如(尸3, a)) /4
(b) "u尸,e"(iv如(尸!,込)+A-^(戶2,2,)+A—如(尸3，a)+A-^(A，a))/4
由于^V^(戶2，込)〉A(chǔ)-^(尸3必)，因此序列戶和2的分段DTW距離為iV^(尸,2)。 根據(jù)定義可知，分段DTW的核心問(wèn)題是序列的分段和選擇，在使用時(shí)可以任意設(shè)置分段
和選擇規(guī)則，本發(fā)明通過(guò)距離矩陣的極小相似域來(lái)選擇序列中的片段。此外在算法實(shí)現(xiàn)時(shí)，
由于需要進(jìn)行距離最小的比較，算法往往包含大量的循環(huán)，假設(shè)序列尸和g之間存在有n個(gè) 雙向DTW距離(也即圖5中n條連線)，如果進(jìn)行枚舉比較，則需循環(huán)n!次，時(shí)間復(fù)雜度為 0(nn)，為了提高運(yùn)算效率，可以根據(jù)分段DTW距離定義中"覆蓋所有運(yùn)動(dòng)片段"這一條件，
僅循環(huán)具有多條連線的片段，可以極大減少循環(huán)次數(shù)。
2.根據(jù)雙向DTW距離和分段DTW距離生成DTW曲線(DTW-Curve)
采用雙向DTW和分段DTW，可以較好的反映運(yùn)動(dòng)序列之間的邏輯相似性(例如反向相似 和分段相似)，但在分段DTW算法中需要對(duì)運(yùn)動(dòng)序列進(jìn)行分段，不同的分段方法會(huì)產(chǎn)生不同 的DTW值。本發(fā)明給出一種分段方法，給定一個(gè)閾值，生成一組極小相似域，根據(jù)極小相似 域?qū)π蛄羞M(jìn)行分段，然后計(jì)算相應(yīng)的分段DTW距離。隨著閾值的變化，計(jì)算不同的分段DTW 距離值，由這些分段DTW值構(gòu)成的曲線稱為DTW曲線(DTW-Curve)。 DTW-Curve不但融合了 雙向DTW和分段DTW的特點(diǎn)，可提高序列邏輯分類有效性，而且通過(guò)一條曲線來(lái)刻畫序列的 相似性，抗干擾能力強(qiáng)，因此具有更好的魯棒性，可以更加客觀評(píng)價(jià)運(yùn)動(dòng)序列的關(guān)系。
生成DTW-Curve的完整流程如圖7所示，兩個(gè)運(yùn)動(dòng)序列P和Q，先經(jīng)過(guò)數(shù)據(jù)對(duì)齊后，去 除對(duì)動(dòng)作分類無(wú)貢獻(xiàn)的全局平移和垂直旋轉(zhuǎn)；然后聚類局部幀，過(guò)濾和壓縮低頻運(yùn)動(dòng)片段和 過(guò)渡運(yùn)動(dòng)片段，降低這些片段對(duì)動(dòng)作分類的干擾；最后在不同的閾值下，計(jì)算分段DTW距離， 從而構(gòu)成評(píng)價(jià)這兩個(gè)序列相似性的DTW曲線。 (1)數(shù)據(jù)對(duì)齊本發(fā)明假設(shè)運(yùn)動(dòng)序列的動(dòng)作類別與其整體平移'以及繞垂直于水平面的.Z.軸旋轉(zhuǎn)無(wú)關(guān)，例 如"直線走"與"旋轉(zhuǎn)走"類別相同。因此在計(jì)算兩個(gè)運(yùn)動(dòng)序列DTW-Curve之前，需要對(duì)運(yùn) 動(dòng)序列進(jìn)行預(yù)處理，從而降低平移和垂直旋轉(zhuǎn)對(duì)運(yùn)動(dòng)分類產(chǎn)生的影響。
(2) 局部幀聚類
動(dòng)作序列中常包含一些低頻過(guò)渡運(yùn)動(dòng)片段，人們根據(jù)動(dòng)作序列中具有高頻成分的運(yùn)動(dòng)片 段進(jìn)行動(dòng)作分類，而忽略這些低頻運(yùn)動(dòng)片段，例如一個(gè)10s的動(dòng)作序列，前3s為"站立" 狀態(tài)，中間4s為"拳擊"，后3s恢復(fù)到"站立"狀態(tài)，即使"站立"片段持續(xù)的時(shí)間長(zhǎng)于 "拳擊"片段，該運(yùn)動(dòng)序列常被認(rèn)為"拳擊"序列而非"站立"序列。
這些過(guò)渡運(yùn)動(dòng)片段不僅對(duì)運(yùn)動(dòng)分類沒(méi)有貢獻(xiàn)，甚至?xí)绊懛诸惤Y(jié)果，例如兩個(gè)運(yùn)動(dòng)序列 A (站立-拳擊)與另一個(gè)運(yùn)動(dòng)序列B (站立-踢腿)，這兩個(gè)運(yùn)動(dòng)序列的"站立"持續(xù)的時(shí)間 越長(zhǎng)，A與B的DTW距離越小。為了減少這種干擾，本發(fā)明采用局部聚類的方法，對(duì)經(jīng)過(guò)數(shù) 據(jù)對(duì)齊后的運(yùn)動(dòng)數(shù)據(jù)進(jìn)行重采樣處理，過(guò)濾低頻運(yùn)動(dòng)片段，保留對(duì)動(dòng)作分類有潛在貢獻(xiàn)的幀。
(3) DTW-Curve生成
兩個(gè)運(yùn)動(dòng)序列經(jīng)過(guò)數(shù)據(jù)對(duì)齊和局部幀聚類后形成的新序列表示為P和。，構(gòu)成距離矩陣 D(尸,0，元素""_/) = ||/7,-力l表示序列P的第/幀與序列。的第J幀的歐式距離。給定一
個(gè)閾值參數(shù)/le
,確定對(duì)應(yīng)的閾值5: 5 = (max(D(/， _/)) 一 min(Z)(/， _/))) x ;i + min(D(/,
距離矩陣"中所有大于該閾值3的元素設(shè)置為0，其余元素設(shè)置為1。則由元素1可以 形成多個(gè)8-連通域。圖8給出一個(gè)8-連通域生成的示例，設(shè)置的閾值如8(a)所示，所有小 于該閾值的元素形成的8-連通域如8(b)所示。
每個(gè)8-連通域內(nèi)的距離值都小于等于閾值，這意味著連通域所覆蓋的兩個(gè)運(yùn)動(dòng)序列片 段較為相似，這些連通域涵蓋了運(yùn)動(dòng)序列P和Q在閾值3下所有相似性較高的運(yùn)動(dòng)片段。
定義4極小相似域連通域的最小包圍矩形定義為極小相似域，數(shù)學(xué)上，極小相似域是 序列P和Q中的部分片段構(gòu)成的距離矩陣，且距離的平均值小于周圍所有同維度矩陣的距離 平均值，因此極小相似域?qū)?yīng)的兩個(gè)片段具有較高的相似性。
圖8(b)對(duì)應(yīng)的極小相似域如圖9(a)陰影矩形所示，這些極小相似域?qū)?yīng)的序列片段即 為分段DTW中序列片段。
片段之間可能相互覆蓋和遮擋，根據(jù)分段DTW的定義，需要從所有序列片段中選擇可以 覆蓋所有運(yùn)動(dòng)片段，而且雙向DTW距離之和平均值最小的部分片段。為了達(dá)到這個(gè)目的，根 據(jù)極小相似域引入定義"覆蓋率"。定義5覆蓋率給定兩個(gè)序列I 和Q，在某個(gè)閾值參數(shù).丄下可得到若千極小相似域，這 些極小相似域向兩個(gè)軸投影，投影長(zhǎng)度分別為^和、，則在閾值參數(shù)/l下的覆蓋率為
丄&
l尸l |2|
其中|p|和|2|表示兩個(gè)序列的長(zhǎng)度。
在保證覆蓋率最大的情況下，選擇雙向DTW距離之和平均值最小的極小相似域，如圖9(b) 虛線圓所示，這些極小相似域的雙向DTW距離之和的平均值即為運(yùn)動(dòng)序列P和Q在閾值參數(shù) 義下的分段DTW距離，表示為D^^(;L，尸，Q)，其中P和Q為兩個(gè)經(jīng)過(guò)數(shù)據(jù)對(duì)齊和局部幀聚 類的運(yùn)動(dòng)序列，義為閾值參數(shù)。
義有明確的取值范圍[O，l]，且具有與序列長(zhǎng)度、距離范圍無(wú)關(guān)等特點(diǎn)。 一般情況下，
閾值參數(shù)A決定極小相似域總面積的大小，參數(shù);i越小，面積越小。較為特殊的是，當(dāng)閾值 參數(shù);1=1時(shí)，只存在一個(gè)極小相似域距離，該極小相似域就是距離矩陣D(p，^),而且
當(dāng)閾值參數(shù);1=0，不管運(yùn)動(dòng)序列尸和p的關(guān)系如何，r^^(o,尸,G戶o，此時(shí)，該值對(duì)動(dòng) 作分類沒(méi)有任何意義，邏輯分類有效性為o。隨著A從O開(kāi)始增加，極小相似域的數(shù)量相應(yīng)
增加，邏輯有效性逐漸增大；但當(dāng)/l逐漸接近l時(shí)，極小相似域的數(shù)量和分段DTW的片段數(shù) 開(kāi)始減少，邏輯分類有效性也隨之下降。如圖IO所示，當(dāng)義=1時(shí)，Z),一^(l,尸，2)為序列尸和 C的雙向DTW距離，最接近傳統(tǒng)DTW距離。
由于動(dòng)作的邏輯分類涉及到人的理解，因此很難找到一條完全理想的EoLC曲線，本發(fā) 明根據(jù)圖9的推理和多次數(shù)據(jù)對(duì)比的觀察，假設(shè)EoLC曲線方程為
0 xS0.3 1
r6
一("一 0.3<xSl
其中標(biāo)準(zhǔn)偏差=0.3。
根據(jù)上述討論，DTW曲線(DTW-Curve)的定義如下
定義6 DTW曲線(DTW-Curve) 每一個(gè)閾值參數(shù)/l都對(duì)應(yīng)一個(gè)分段DTW距離，隨著閾 值參數(shù)/l的變化，可得到一條由i^—^(A,尸，2)構(gòu)成的曲線，該曲線定義為DTW曲線。
為了進(jìn)一步描述DTW曲線的作用和特點(diǎn)，選擇兩組動(dòng)作序列(每組兩個(gè)序列)，第一組 的兩個(gè)動(dòng)作序列具有相同的動(dòng)作類別"boxing",第二組的動(dòng)作序列具有不同的動(dòng)作類別 "walking"和"running",當(dāng)閾值參數(shù)義取值0.4、 0.5、 0.6、…、1. Q時(shí)，分別計(jì)算這兩
9組序列的分段DTW距離值，生成兩條DTW曲線，圖ll(a)為第一組序列對(duì)應(yīng)的DTW油線，圖-ll(b)為第二組序列對(duì)應(yīng)的DTW曲線。圖中的虛線為傳統(tǒng)DTW距離值，當(dāng)閾值參數(shù);1=1時(shí)， 分段DTW距離值等于雙向DTW距離值，與傳統(tǒng)DTW距離值較為接近。
由于第一組的兩個(gè)序列屬于同一動(dòng)作類別，因此它們之間的邏輯距離較小，由圖ll(a) 可知，DTW-Curve整體低于DTW距離值，因此更好地反映了兩個(gè)序列之間的相似關(guān)系；第二 組序列屬于不同的動(dòng)作類別，因此它們之間具有較小的邏輯相似性(也即較大的距離)，由 圖10(b)可知，DTW-Curve大部分取值高于DTW距離，因此具有更好的邏輯分類魯棒性。這 兩個(gè)例子說(shuō)明通過(guò)DTW-Curve來(lái)判斷序列關(guān)系，比傳統(tǒng)的DTW更加符合人們的直觀判斷，分 類魯棒性更強(qiáng)。
3.基于DTW曲線對(duì)運(yùn)動(dòng)數(shù)據(jù)進(jìn)行動(dòng)作分類
基于DTW-Curve可生成多種統(tǒng)計(jì)數(shù)據(jù)，這些數(shù)據(jù)都可用于動(dòng)作分類，本發(fā)明僅給出有效 性加權(quán)距離統(tǒng)計(jì)信息，并采用層次聚類算法(hierarchical clustering procedure)對(duì)運(yùn) 動(dòng)數(shù)據(jù)進(jìn)行動(dòng)作分類。本發(fā)明的總體流程圖如圖4所示。
定義7有效性加權(quán)距離將邏輯分類有效性曲線EoLC作為權(quán)重，統(tǒng)計(jì)累加DTW-Curve 的距離值，得到的結(jié)果稱為有效性加權(quán)距離。數(shù)學(xué)上，有效性加權(quán)距離定義為
Av—dtw (尸，=W (義).。s如(義,尸,解
邏輯分類有效性曲線，分段DTW距離，A為閾值，P和Q為兩個(gè)運(yùn)動(dòng)序列。
由于義在0附近邏輯分類有效性比較低，因此本發(fā)明在動(dòng)作分類中僅考慮閾值參數(shù);i在區(qū)間內(nèi)的DTW曲線段，而且為了提高計(jì)算速度，僅僅采用7個(gè)離散的參數(shù)值，分別 為0.4、 0.5、 0.6、 0.7、 0.8、 0. 9和L 0，因此有效性加權(quán)DTW距離簡(jiǎn)化為
10
D w.dtw (尸，2)=藝W磁(0.1 x,). "s.dtw (0.1 x /， P， 0
用于層次聚類算法的類間距離度量為
D賺(C,，C》，x(Dw-dtw(尸必)es。
當(dāng)最小的D皿x(q，C》大于某個(gè)分類距離閾值，或者分類數(shù)達(dá)到給定的聚類個(gè)數(shù)時(shí)，層 次聚類算法停止層次合并，該算法也稱為全連接算法(compelte-linkage algorithm)。
為了驗(yàn)證本發(fā)明提供的方法的有效性，在兩個(gè)公共運(yùn)動(dòng)數(shù)據(jù)集MoCap和IXMAS上進(jìn)行了 實(shí)驗(yàn)、對(duì)比和分析。并采用Rand Index對(duì)無(wú)監(jiān)督分類結(jié)果進(jìn)行評(píng)價(jià)，人工對(duì)運(yùn)動(dòng)數(shù)據(jù)進(jìn)行 分類C = {Cl,c2,..., }，采用無(wú)監(jiān)督分類算法后分類結(jié)果為0 = { ,，2，...，氣}，根據(jù)無(wú)監(jiān)督聚類評(píng)價(jià)指標(biāo)Rand Index,任意兩個(gè)運(yùn)動(dòng)數(shù)據(jù)P和?？梢苑譃樗姆N關(guān)系，統(tǒng)計(jì)這匹種關(guān)系的運(yùn) 動(dòng)數(shù)據(jù)對(duì)的個(gè)數(shù)(分別記為s、 6、 c和《，則可以計(jì)算Rand Index=((a+^/C3+^"o!))。
(1) MoCap數(shù)據(jù)集動(dòng)作分類。
從MoCap數(shù)據(jù)集的4類動(dòng)作數(shù)據(jù)中隨機(jī)選擇91個(gè)運(yùn)動(dòng)序列，每個(gè)動(dòng)作類別平均包含23 個(gè)運(yùn)動(dòng)序列，每個(gè)序列僅僅包含單一的動(dòng)作類別，這些運(yùn)動(dòng)類別分別為boxing、 walking、 running和jumping。每個(gè)動(dòng)作類別中的序列具有任意的運(yùn)動(dòng)風(fēng)格，如圖12所示的四個(gè)運(yùn)動(dòng) 序列，它們都屬于同一個(gè)動(dòng)作類別boxing，但卻具有不同的動(dòng)作風(fēng)格。
分別計(jì)算這91個(gè)運(yùn)動(dòng)序列的DTW距離矩陣Z)^和有效性加權(quán)距離矩陣Av.^ ，采用層 次聚類算法在不同的聚類數(shù)2到8下分別進(jìn)行聚類，并根據(jù)聚類結(jié)果計(jì)算Rand Index值， 如圖13所示，橫坐標(biāo)為不同的聚類個(gè)數(shù)，縱坐標(biāo)為Rand Index值。
Rand Index值越接近l，聚類算法得到分類結(jié)果與真實(shí)分類(人工分類)越吻合，因此 由圖13可知，基于有效性加權(quán)距離的層次聚類比基于傳統(tǒng)DTW距離的層次聚類分類效果更 好，這說(shuō)明DTW-Curve更加適合動(dòng)作的邏輯分類。
91個(gè)運(yùn)動(dòng)數(shù)據(jù)序列具有固定的a+b+c+d值(=4095)。當(dāng)聚類數(shù)為4時(shí)，基于傳統(tǒng)DTW 距離的聚類算法得到的Rand Index為0.8166，其中a+d =3344?；谟行约訖?quán)距離的聚 類算法得到的Rand Index為0.9639，其中a+d =3947。從以上數(shù)據(jù)可以得知，當(dāng)聚類數(shù)為4 時(shí)，基于有效性加權(quán)距離的聚類算法可以得到與人們主觀分類非常接近的結(jié)果。
(2) IXMAS數(shù)據(jù)集動(dòng)作分類。 從IXMAS數(shù)據(jù)集中選擇5個(gè)動(dòng)作類別，分別為kick、 pick up、 punch、 walk和wave,
每個(gè)動(dòng)作類別包含36個(gè)運(yùn)動(dòng)序列，由于這36個(gè)序列由12個(gè)采集者每個(gè)動(dòng)作重復(fù)3次得到 的，因此同一類別的序列也具有不同的運(yùn)動(dòng)風(fēng)格。
同前一實(shí)驗(yàn)類似，分別計(jì)算這180個(gè)運(yùn)動(dòng)序列的DTW距離矩陣^^和有效性加權(quán)距離矩
陣Av.^，采用層次聚類算法在不同的聚類數(shù)2到10下分別進(jìn)行聚類，并根據(jù)聚類結(jié)果計(jì) 算Rand Index值，如圖14所示，橫坐標(biāo)為不同的聚類個(gè)數(shù)，縱坐標(biāo)為Rand Index值。
由圖14可知，基于有效性加權(quán)距離的層次聚類比基于傳統(tǒng)DTW距離的層次聚類具有更 好的分類效果，而且當(dāng)聚類數(shù)等于5時(shí)，取得較大的Rand Index值0. 8873，其中a+d =14295， a+b+c+d=16110。由于IXMAS庫(kù)的點(diǎn)云數(shù)據(jù)由4個(gè)攝像機(jī)同步拍攝，相比于運(yùn)動(dòng)捕獲數(shù)據(jù)， 精度較低，因此Rand Index值整體略低。
本發(fā)明說(shuō)明書(shū)中未作詳細(xì)描述的內(nèi)容屬于本領(lǐng)域?qū)I(yè)技術(shù)人員公知的現(xiàn)有技術(shù)。 以上所述僅是本發(fā)明的優(yōu)選實(shí)施方式，應(yīng)當(dāng)指出，對(duì)于本技術(shù)領(lǐng)域的普通技術(shù)人員來(lái)說(shuō)，在不脫離本發(fā)明原理的前提下，還可以做出若干改進(jìn)和潤(rùn)飾f這些改進(jìn)和潤(rùn)飾也應(yīng)視為本、發(fā) 明的保護(hù)范圍。
權(quán)利要求
1、基于DTW曲線的運(yùn)動(dòng)數(shù)據(jù)動(dòng)作分類方法，其特征在于步驟如下(1)生成用于運(yùn)動(dòng)序列之間相似性度量的雙向DTW距離和分段DTW距離，所述的生成雙向DTW距離的方法為對(duì)于給定的兩個(gè)運(yùn)動(dòng)序列P和Q，這兩個(gè)序列的DTW距離為Ddtw(P，Q)，令序列P的翻轉(zhuǎn)序列為Q′，且P和Q′之間的DTW距離為Ddtw(P，Q′)，則序列P和Q之間的雙向DTW距離定義為DB-dtw(P，Q)＝min{Ddtw(P，Q)，Ddtw(P，Q′)}；所述的生成分段DTW距離的方法為給定兩個(gè)運(yùn)動(dòng)序列P和Q，將這兩個(gè)運(yùn)動(dòng)序列進(jìn)行分段，并選擇部分運(yùn)動(dòng)片段，片段之間采用雙向DTW距離，則兩個(gè)運(yùn)動(dòng)序列P和Q之間的分段DTW距離定義為覆蓋所有運(yùn)動(dòng)片段的雙向DTW距離之和平均值的最小值；(2)根據(jù)步驟(1)中的雙向DTW距離和分段DTW距離生成DTW曲線，并基于DTW曲線生成有效性加權(quán)距離其中WEoLC為邏輯分類有效性曲線，Ds-dtw為分段DTW距離，λ為用于分段的閾值，P和Q為兩個(gè)運(yùn)動(dòng)序列；(3)根據(jù)步驟(2)得到有效性加權(quán)距離，采用層次聚類算法對(duì)運(yùn)動(dòng)序列進(jìn)行動(dòng)作分類。
2、根據(jù)權(quán)利要求1中所述的基于DTW曲線的運(yùn)動(dòng)數(shù)據(jù)動(dòng)作分類方法，其特征在于所述步驟(2)中生成DTW曲線的方法為首先對(duì)運(yùn)動(dòng)序列進(jìn)行預(yù)處理，包括數(shù)據(jù)對(duì)齊和局部 幀聚類；然后在不同閾值;t下，計(jì)算分段DTW距離，構(gòu)成評(píng)價(jià)這兩個(gè)運(yùn)動(dòng)序列相似性的DTW 曲線。
全文摘要
基于DTW曲線的運(yùn)動(dòng)數(shù)據(jù)動(dòng)作分類方法(1)生成用于運(yùn)動(dòng)序列之間相似性度量的雙向DTW距離和分段DTW距離；(2)根據(jù)雙向DTW距離和分段DTW距離生成DTW曲線，并基于DTW曲線生成有效性加權(quán)距離D_W-dtw(P，Q)＝∫¹₀W_EoLC(λ)·D_S-dtw(λ，P，Q)dλ，其中W_EoLC為邏輯分類有效性曲線，D_s-dtw為分段DTW距離，λ為用于分段的閾值，P和Q為兩個(gè)運(yùn)動(dòng)序列；(3)根據(jù)步驟(2)得到有效性加權(quán)距離，采用層次聚類算法對(duì)運(yùn)動(dòng)序列進(jìn)行動(dòng)作分類。本發(fā)明該方法放寬了DTW的限制，使分類魯棒性增強(qiáng)，實(shí)驗(yàn)結(jié)果表明，本發(fā)明的方法可以得到較好的分類結(jié)果。
文檔編號(hào)G06K9/00GK101477619SQ20081024117
公開(kāi)日2009年7月8日 申請(qǐng)日期2008年12月26日 優(yōu)先權(quán)日2008年12月26日
發(fā)明者峰 宋, 王莉莉, 趙沁平, 郝愛(ài)民 申請(qǐng)人:北京航空航天大學(xué)