一種運(yùn)動(dòng)人體姿態(tài)相似性度量方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于計(jì)算機(jī)視覺(jué)和模式識(shí)別的技術(shù)領(lǐng)域，具體地涉及一種運(yùn)動(dòng)人體姿態(tài)相 似性度量方法。
【背景技術(shù)】
[0002] 近年來(lái)人體姿態(tài)相似性度量已成為多個(gè)領(lǐng)域的研究熱點(diǎn)，它在智能視頻監(jiān)控、人 機(jī)交互、虛擬現(xiàn)實(shí)等方面有著廣泛的應(yīng)用前景，特別是在動(dòng)作捕獲技術(shù)中的廣泛使用。人體 姿態(tài)是運(yùn)動(dòng)數(shù)據(jù)中重要的組成部分，對(duì)于人體姿態(tài)度量學(xué)習(xí)也因此開(kāi)始得到廣泛的研究。 盡管現(xiàn)今對(duì)于人體行為相似性度量的方式不同，但都具有大致相同的研究步驟，并且在行 為相似性度量方法的設(shè)計(jì)上相互之間也具有可借鑒性。一般行為相似性度量研究的關(guān)鍵步 驟包括行為表示方法和行為分析算法?，F(xiàn)從這兩方面對(duì)與本發(fā)明最接近的現(xiàn)有算法進(jìn)行描 述：
[0003] 人體姿態(tài)特征的表示是一個(gè)對(duì)原始數(shù)據(jù)進(jìn)行加工處理以獲得行為描述特征量的 過(guò)程。對(duì)于人體姿態(tài)的理解也可以分為兩個(gè)方面：一方面在人體姿態(tài)研究中通常采用佩戴 式傳感器，該方法可以獲取頭部、四肢或者軀干等身體部位的運(yùn)動(dòng)信息如旋轉(zhuǎn)角、空間運(yùn) 動(dòng)軌跡等，可見(jiàn)基于佩戴式傳感器的研究方式重在恢復(fù)人體的三維運(yùn)動(dòng)信息。例如CMU運(yùn) 動(dòng)捕獲數(shù)據(jù)庫(kù)（CMU Graphics Lab Motion Capture Database)，可以利用其采集的3D數(shù)據(jù) 作為人體姿態(tài)表示的原始數(shù)據(jù)。另一方面將基于視覺(jué)的人體姿態(tài)表示方法研究歸納起來(lái)主 要包括采用人體形狀特征的姿態(tài)表示方法、采用三維信息的姿態(tài)表示方法和依據(jù)運(yùn)動(dòng)特征 的姿態(tài)表示方法等。利用人體形狀特征的姿態(tài)表示方法構(gòu)造簡(jiǎn)單且品于實(shí)現(xiàn)，常用的模型 主要包括棍棒模型、橢圓模型等。Park等人在進(jìn)行駕駛員行為分析研究中采用橢圓結(jié)構(gòu)模 型表示人體頭部、軀干和四肢，Alexei用13個(gè)特征點(diǎn)來(lái)表示人體結(jié)構(gòu)，通過(guò)分析特征點(diǎn)的 運(yùn)動(dòng)軌跡進(jìn)行人體姿態(tài)的相似性度量。人體輪廓等外觀特征也可以用于人體動(dòng)作描述，Liu 等人使用人體頭部、上肢和下肢等身體主要部位的比例關(guān)系來(lái)表示人體姿態(tài)，Chung等人 通過(guò)計(jì)算目標(biāo)像素距離投影的高斯分布來(lái)描述坐、站和躺下等基本動(dòng)作，Wang等人對(duì)人體 區(qū)域進(jìn)行R變換以研究辦公室環(huán)境下的人體異常行為。利用三維視覺(jué)技術(shù)表示人體行為雖 然具有視角不變性，但是其計(jì)算量較大且對(duì)系統(tǒng)性能要求較高，故并不常用。基于運(yùn)動(dòng)特 征的人體姿態(tài)表示是目前較為常用的方法，如Zhu等人采用光流法研究網(wǎng)球運(yùn)動(dòng)中的擊球 動(dòng)作，此外利用時(shí)空特征點(diǎn)表示行為也是一種常用的方法。
[0004] 人體姿態(tài)相似性度量算法研究屬于模式識(shí)別和人工智能的范疇。根據(jù)算法特點(diǎn) 可以分為模板匹配法和狀態(tài)空間法。模板匹配法是指將提取的行為表示特征序列與參考 模板進(jìn)行逐一匹配，依據(jù)匹配的相似度判別行為。Bobick與David使用計(jì)算運(yùn)動(dòng)能量圖 像（Motion Energylmages, MEX)和運(yùn)動(dòng)歷史圖（Motion Historylmages, MHI)分析人體姿 態(tài)，Veeraraghavan等人使用動(dòng)態(tài)時(shí)間規(guī)整算法（Dynamic Time Warping, DTW)匹配動(dòng)作序 列。模板匹配方法無(wú)需大量的樣本，計(jì)算量小，但是對(duì)行為持續(xù)時(shí)間和噪聲比較敏感。與 模板匹配法不同，狀態(tài)空間法將每種靜態(tài)姿勢(shì)都視為狀態(tài)空間中的一個(gè)節(jié)點(diǎn)，節(jié)點(diǎn)之間依 據(jù)概率關(guān)聯(lián)起來(lái)，運(yùn)動(dòng)序列則可以看作是不同節(jié)點(diǎn)間的一次遍歷過(guò)程，目前狀態(tài)空間法己 經(jīng)廣泛應(yīng)用于運(yùn)動(dòng)序列的檢測(cè)和分析中，常用的方法有隱馬爾科夫模型（Hidden Markov Model, HMM),動(dòng)態(tài)貝葉斯網(wǎng)絡(luò)（Dynamic Bayesian Network, DBN)、神經(jīng)網(wǎng)絡(luò)等。如 Zhang 等人使用兩層HMM模型研究會(huì)議過(guò)程中個(gè)體間的交互行為，Luo采用動(dòng)態(tài)貝葉斯網(wǎng)絡(luò)進(jìn)行 人體行為相似性度量研究并與HMM方法進(jìn)行了比較，Buccolieri通過(guò)祌經(jīng)網(wǎng)絡(luò)分析人體輪 廓特征來(lái)相似性度量姿態(tài)。狀態(tài)空間法雖然克服了模板匹配的不足，但是往往需要大量的 的迭代運(yùn)算，因此應(yīng)根據(jù)實(shí)際情況選擇合適的研究方法。
[0005] 上述兩個(gè)步驟的不足之處包括以下兩個(gè)方面。首先人體的姿態(tài)表示，即構(gòu)造的人 體姿態(tài)特征多是直接使用關(guān)節(jié)點(diǎn)的坐標(biāo)或關(guān)節(jié)點(diǎn)之間方向向量作為姿態(tài)數(shù)據(jù)，但是這種簡(jiǎn) 單的數(shù)據(jù)集合不能夠充分的體現(xiàn)人體的姿態(tài)，姿態(tài)相似度的度量人體姿態(tài)非常依賴(lài)人體不 同部位之間的關(guān)系；其次，一般歐氏距離是最簡(jiǎn)單的度量學(xué)習(xí)方法，但是其不能充分的體現(xiàn) 人體姿態(tài)的語(yǔ)義。
[0006] 為解決以上人體姿態(tài)度量學(xué)習(xí)方法的不足，一方面我們提出利用關(guān)節(jié)點(diǎn)之間的幾 何屬性和不同部位之間的關(guān)系構(gòu)成構(gòu)造人體姿態(tài)特征集合。另一方面，為了更加體現(xiàn)人體 相鄰部位之間的約束關(guān)系以及不同部位組合的重要性（更能表達(dá)人體的姿態(tài)部位組合）， 我們提出了一種基于稀疏表示的行為相似性度量算法。

【發(fā)明內(nèi)容】

[0007] 本發(fā)明的技術(shù)解決問(wèn)題是：克服現(xiàn)有技術(shù)的不足，提供一種運(yùn)動(dòng)人體姿態(tài)相似性 度量方法，其計(jì)算效率更高、準(zhǔn)確度更高。
[0008] 本發(fā)明的技術(shù)解決方案是：這種運(yùn)動(dòng)人體姿態(tài)相似性度量方法，包括以下步驟：
[0009] (1)根據(jù)公式（2)馬氏距離的距離度量模型：
[0011] 其中，X = (X1, . . .，xN}為給定訓(xùn)練的姿態(tài)數(shù)據(jù)集，N是姿態(tài)數(shù)目，xjp X ^分別表示 一個(gè)人體姿態(tài)的特征向量，W為最優(yōu)度量矩陣，d(Xl，Xj)M為姿態(tài)X i和姿態(tài)X j之間的距離；
[0012] (2)構(gòu)建人體特征向量，對(duì)于每一個(gè)人體姿態(tài)取相鄰關(guān)節(jié)點(diǎn)的方向向量作為組成 特征向量的數(shù)據(jù)；
[0013] (3)構(gòu)建融合主姿態(tài)特征和細(xì)節(jié)特征的稀疏表示的姿態(tài)距離度量模型；
[0014] (4)得到最終表達(dá)式（9)，再采用序列二次規(guī)劃算法進(jìn)行優(yōu)化求解
[0016] 其中，Wi為最優(yōu)度量矩陣分量，k D k2, k3為不同部分對(duì)應(yīng)的權(quán)值，E i為主姿態(tài)特征 約束項(xiàng)，E2為細(xì)節(jié)特征約束項(xiàng)，E 1^為正則約束項(xiàng)。
[0017] 本發(fā)明由于采用小維數(shù)的特征向量，所以計(jì)算效率更高；由于對(duì)不同尺度進(jìn)行稀 疏表示，在保證人體整體姿態(tài)相似的情況下，再保證人體中主要姿態(tài)更加相似，所以提高了 人體姿態(tài)相似性度量的準(zhǔn)確度。
【附圖說(shuō)明】
[0018] 圖1為本發(fā)明原理；
[0019] 圖2為本發(fā)明具體流程圖；
[0020] 圖3為定義的人體姿態(tài)，圓圈代表關(guān)節(jié)點(diǎn)，加粗的圓圈代表主姿態(tài)特征，未加粗的 圓圈細(xì)節(jié)特征。
【具體實(shí)施方式】
[0021] 這種運(yùn)動(dòng)人體姿態(tài)相似性度量方法，包括以下步驟：
[0022] (1)根據(jù)公式（2)馬氏距離的距離度量模型：
[0024] 其中，X= Ix1,...，xN}為給定訓(xùn)練的姿態(tài)數(shù)據(jù)集，N是姿態(tài)數(shù)目，XdP X]*別表示 一個(gè)人體姿態(tài)的特征向量，W為最優(yōu)度量矩陣，d(Xl，Xj)M為姿態(tài)X i和姿態(tài)X j之間的距離；
[0025] (2)構(gòu)建人體特征向量，對(duì)于每一個(gè)人體姿態(tài)取相鄰關(guān)節(jié)點(diǎn)的方向向量作為組成 特征向量的數(shù)據(jù)；
[0026] (3)構(gòu)建融合主姿態(tài)特征和細(xì)節(jié)特征的稀疏表示的姿態(tài)距離度量模型；
[0027] (4)得到最終表達(dá)式（9)，再采用序列二次規(guī)劃算法進(jìn)行優(yōu)化求解
[0029] 其中，Wi為最優(yōu)度量矩陣分量，k D k2, k3為不同部分對(duì)應(yīng)的權(quán)值，E i為主姿態(tài)特征 約束項(xiàng)，E2為細(xì)節(jié)特征約束項(xiàng)，E 1^為正則約束項(xiàng)。
[0030] 本發(fā)明由于采用小維數(shù)的特征向量，所以計(jì)算效率更高；由于對(duì)不同尺度進(jìn)行稀 疏表示，在保證人體整體姿態(tài)相似的情況下，再保證人體中主要姿態(tài)更加相似，所以提高了 人體姿態(tài)相似性度量的準(zhǔn)確度。
[0031] 優(yōu)選地，所述步驟（2)中根據(jù)表達(dá)人體姿態(tài)重要性構(gòu)造特征向量分為兩個(gè)部分：
[0032] 第一部分是取最重要的關(guān)節(jié)點(diǎn)構(gòu)造出方向向量，作為構(gòu)成特征向量的數(shù)據(jù)；
[0033] 第二部分是將所有相鄰的關(guān)節(jié)點(diǎn)相連接，構(gòu)造出方向向量，作為構(gòu)成特征向量的 細(xì)節(jié)特征數(shù)據(jù)；
[0034] 利用以上兩部分?jǐn)?shù)據(jù)構(gòu)造人體姿態(tài)特征向量，根據(jù)不同數(shù)據(jù)體現(xiàn)人體姿態(tài)意義的 不同，第一項(xiàng)保持姿態(tài)數(shù)據(jù)所有特征向量的稀疏表示，第二項(xiàng)保持姿態(tài)數(shù)據(jù)的主姿態(tài)分量 的稀疏表示，所述步驟（3)中對(duì)不同的項(xiàng)采用稀疏表示：
[0035] 第一項(xiàng)中根據(jù)公式（3)將每個(gè)樣本的特征向量由除自己以外的所有
[0036] 樣本進(jìn)行稀疏表示：
[0038] 其中，X1是第i個(gè)樣本對(duì)應(yīng)的姿態(tài)特征向量，{a dpi,...,N表示將X1由余下N-I個(gè) 樣本進(jìn)行稀疏表示的系數(shù)，r表示稀疏項(xiàng)權(quán)值；根據(jù)公式（4)計(jì)算第i個(gè)樣本由N-I個(gè)樣本 進(jìn)行稀疏表不后的殘差： CN 105184767 A ^ ^ lJ 4/8 貝
[0040] 其中j由公式（3)給出，ei為稀疏表示后的殘差，x種x j分別表示一 個(gè)人體姿態(tài)的特征向量；
[0041] 第一項(xiàng)的目標(biāo)函數(shù)E1由公式（5)得出：
[0043] 其中θι，…，eN*公式⑷給出。
[0044] 第二項(xiàng)中根據(jù)公式（5)將每個(gè)樣本的主姿態(tài)特征分量由除自己以外的所有樣本 的主姿態(tài)特征分量進(jìn)行稀疏表示：
[0045] 第二項(xiàng)中根據(jù)公式（5)將上一步得到的每個(gè)樣本稀疏表示的殘差的主姿態(tài)特征 分量由上一步稀疏表示系數(shù)為零對(duì)應(yīng)樣本的主姿態(tài)特征分量進(jìn)行第二次稀疏表示：
[0047] ejl :1?)是第i個(gè)樣本的稀疏表示的殘差向量e;對(duì)應(yīng)的主姿態(tài)特征分量，X ;(1 : Hi1)是第i個(gè)樣本特征向量Xi對(duì)應(yīng)的主姿態(tài)特征分量，表示將Xi由上一步稀疏 表示系數(shù)為零對(duì)應(yīng)樣本的主姿態(tài)特征分量進(jìn)行二次稀疏表示后的展開(kāi)系數(shù)，r'表示二次 稀疏項(xiàng)權(quán)值。
[0048] 根據(jù)公式（7)計(jì)算第i個(gè)樣本的主姿態(tài)特征向量由上一步稀疏表示系數(shù)為零對(duì)應(yīng) 樣本的主姿態(tài)特征分量進(jìn)行稀疏表示后的殘差：
[0050] 其中岫公式（6)給出；第二項(xiàng)的目標(biāo)函數(shù)E2由公式⑶得出：
[0052] 其中e' i，···，e' N由公式（7)給出，W(1 :mi，：）表示由度量矩陣評(píng)前叫行構(gòu)成 的子矩陣。
[0053] 以下對(duì)本發(fā)明進(jìn)行更詳細(xì)的說(shuō)明。
[0054] 本發(fā)明針對(duì)傳統(tǒng)姿態(tài)度量不能充分人體姿態(tài)相似性的問(wèn)題，提出了一種基于的人 體姿態(tài)度量學(xué)習(xí)方法。本發(fā)明以CMU運(yùn)動(dòng)捕獲數(shù)據(jù)庫(kù)提供的人體3D骨架點(diǎn)坐標(biāo)點(diǎn)（38點(diǎn)） 作為原始數(shù)據(jù)，選取其中的16個(gè)坐標(biāo)點(diǎn)做本發(fā)明的輸入數(shù)據(jù)，計(jì)算出能夠估測(cè)3D人體姿態(tài) 相似性的度量。本發(fā)明進(jìn)行實(shí)驗(yàn)共有如下六個(gè)步驟：
[0055] ⑴問(wèn)題定義
[0056] 本發(fā)明給定訓(xùn)練的姿態(tài)數(shù)據(jù)集為X = (X1, ...，xN}，N是姿態(tài)數(shù)目，X1表示一個(gè)姿態(tài) 的特征向量。學(xué)習(xí)一個(gè)馬氏距離的距離度量公式：
[0058] 其中，M就是要學(xué)習(xí)的矩陣，X= {Xl，...，xN}為給定訓(xùn)練的姿態(tài)數(shù)據(jù)集，N是姿態(tài) 數(shù)目，xJP X ^分別表示一個(gè)人體姿態(tài)的特征向量，d(x