基于運(yùn)動(dòng)捕捉數(shù)據(jù)的人體運(yùn)動(dòng)插值方法
【專利摘要】本發(fā)明公開了一種基于運(yùn)動(dòng)捕捉數(shù)據(jù)的人體運(yùn)動(dòng)插值方法，首先解析載入的兩段運(yùn)動(dòng)序列文件并進(jìn)行坐標(biāo)系轉(zhuǎn)換操作；然后基于世界坐標(biāo)系下的運(yùn)動(dòng)數(shù)據(jù)，提取雙腳前后位置關(guān)系特征和步距時(shí)序特征，并根據(jù)人體運(yùn)動(dòng)規(guī)律，依據(jù)以上的兩個(gè)特征，將長的運(yùn)動(dòng)序列分割為短運(yùn)動(dòng)段；最后在同一短段內(nèi)選取最相似的幀對并基于此確定關(guān)鍵幀對，然后基于關(guān)鍵幀對運(yùn)用四元數(shù)球面插值算法進(jìn)行角度旋轉(zhuǎn)插值，運(yùn)用線性插值方法進(jìn)行根節(jié)點(diǎn)的平移插值，從而連接成一段新的運(yùn)動(dòng)。本發(fā)明在確定關(guān)鍵幀對時(shí)是基于分割后的同一短段進(jìn)行的，確保了插值過渡順序符合人眼視覺邏輯順序，具有很好的視覺效果。
【專利說明】基于運(yùn)動(dòng)捕捉數(shù)據(jù)的人體運(yùn)動(dòng)插值方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于計(jì)算機(jī)視覺領(lǐng)域，具體涉及一種基于運(yùn)動(dòng)捕捉數(shù)據(jù)的人體運(yùn)動(dòng)插值方 法。

【背景技術(shù)】
[0002] 隨著計(jì)算機(jī)圖像技術(shù)及其相關(guān)衍生品的高速發(fā)展，使得運(yùn)動(dòng)捕捉技術(shù)逐漸成為虛 擬現(xiàn)實(shí)、計(jì)算機(jī)視覺、影視制作、游戲娛樂和計(jì)算機(jī)動(dòng)畫等領(lǐng)域的數(shù)據(jù)獲取手段。然而，該系 統(tǒng)的價(jià)格昂貴；采集數(shù)據(jù)時(shí)對場地環(huán)境要求嚴(yán)格；動(dòng)畫制作對演員動(dòng)作質(zhì)量的要求高，使 得運(yùn)動(dòng)數(shù)據(jù)的重用性研宄成為了一個(gè)非常有意義的研宄方向。重用性研宄即利用已有數(shù)據(jù) 庫中的運(yùn)動(dòng)數(shù)據(jù)，通過編輯、融合、拼接、合成等操作搭建運(yùn)動(dòng)網(wǎng)絡(luò)，產(chǎn)生豐富多變的新運(yùn)動(dòng) 序列，生成滿足各自需求的虛擬動(dòng)作，使得計(jì)算機(jī)動(dòng)畫制作、虛擬現(xiàn)實(shí)等各領(lǐng)域的工作效率 大大提升，并且節(jié)省了制作成本。
[0003] 關(guān)鍵幀插值是廣泛用于人體運(yùn)動(dòng)數(shù)據(jù)重用性研宄的重要插值技術(shù)。其基本原理 是首先獲取或制作動(dòng)畫序列中的若干關(guān)鍵幀，然后基于關(guān)鍵幀利用插值技術(shù)生成中間過渡 幀。關(guān)鍵幀的提取主要考慮運(yùn)動(dòng)特征和關(guān)鍵幀量化分析兩方面。由于人體運(yùn)動(dòng)包含多個(gè)自 由度，而且是高維空間的運(yùn)動(dòng)數(shù)據(jù)，傳統(tǒng)方法在原始數(shù)據(jù)上直接分析和提取特征存在計(jì)算 量過大的問題。因此，當(dāng)前方法是先將原始數(shù)據(jù)通過降維，對降維后的數(shù)據(jù)提取關(guān)鍵幀可大 大減少計(jì)算量。關(guān)鍵幀插值技術(shù)是通過給定若干關(guān)鍵幀，運(yùn)用插值算法直接生成中間幀。常 見的插值算法有：線性插值、四元數(shù)插值、三次樣條插值以及雙插值等。運(yùn)用關(guān)鍵幀插值技 術(shù)具有代表性的有：Ashraf和Wong運(yùn)用雙線性插值方法將給定的兩個(gè)以上的運(yùn)動(dòng)生成新 的運(yùn)動(dòng)。Rose等人提出結(jié)合運(yùn)動(dòng)約束的逆向運(yùn)動(dòng)學(xué)方法。通過將人體模型劃分為三種不同 部分，分別進(jìn)行插幀合成的新的人體運(yùn)動(dòng)。四元數(shù)球面插值技術(shù)將四元數(shù)的旋轉(zhuǎn)映射到單 位四維球面上，逐步減小兩四元數(shù)的夾角，在給定的兩個(gè)姿態(tài)間逐步過渡生成新的姿態(tài)，經(jīng) 常運(yùn)用在關(guān)鍵幀插值研宄中。但是在三維人體動(dòng)畫制作中，由于三維人體模型復(fù)雜、運(yùn)動(dòng)數(shù) 據(jù)高維以及人眼視覺對人體運(yùn)動(dòng)敏感特性，依靠純粹的插值算法，達(dá)到降低關(guān)鍵幀對提取 的誤差以及運(yùn)用插值算法生成高度真實(shí)的運(yùn)動(dòng)具有很大的挑戰(zhàn)性，因此經(jīng)常需要結(jié)合起運(yùn) 動(dòng)學(xué)知識或者其他知識。


【發(fā)明內(nèi)容】

[0004] 本發(fā)明的目的是提供一種基于運(yùn)動(dòng)捕捉數(shù)據(jù)的人體運(yùn)動(dòng)插值方法，是一種新的基 于特征分析、運(yùn)動(dòng)周期分割，過渡幀對匹配的關(guān)鍵幀插值方法。
[0005] 本發(fā)明所采用的技術(shù)方案是，一種基于運(yùn)動(dòng)捕捉數(shù)據(jù)的人體運(yùn)動(dòng)插值方法，首先 解析載入的兩段運(yùn)動(dòng)序列文件（BVH文件），并進(jìn)行坐標(biāo)系轉(zhuǎn)換操作；然后基于世界坐標(biāo)系 下的運(yùn)動(dòng)數(shù)據(jù)，提取雙腳前后位置關(guān)系特征和步距時(shí)序特征，并根據(jù)人體運(yùn)動(dòng)規(guī)律，依據(jù)以 上的兩個(gè)特征，將長的運(yùn)動(dòng)序列分割為短運(yùn)動(dòng)段；最后在同一短段內(nèi)選取最相似的幀對并 基于此確定關(guān)鍵幀對，然后基于關(guān)鍵幀對運(yùn)用四元數(shù)球面插值算法進(jìn)行角度旋轉(zhuǎn)插值，運(yùn) 用線性插值方法進(jìn)行根節(jié)點(diǎn)的平移插值，從而連接成一段新的運(yùn)動(dòng)。
[0006] 本發(fā)明的特點(diǎn)還在于，
[0007] 具體包括以下步驟：
[0008] 步驟1，加載解析運(yùn)動(dòng)序列文件（BVH文件），并對BVH文件的運(yùn)動(dòng)數(shù)據(jù)在局部坐標(biāo) 系下的相對位置信息轉(zhuǎn)換為在世界坐標(biāo)系下的絕對位置信息；
[0009] 步驟2,基于步驟1得到的在世界坐標(biāo)系下的絕對位置信息，提取關(guān)節(jié)點(diǎn)的空間位 置關(guān)系特征與時(shí)序關(guān)系的特征，并根據(jù)人體運(yùn)動(dòng)周期性規(guī)律，采用雙腳前后位置關(guān)系特征 和步距時(shí)序特征將長運(yùn)動(dòng)序列進(jìn)行分割為多個(gè)短的運(yùn)動(dòng)序列；
[0010] 步驟3,基于步驟2得到的分割結(jié)果，將分割后的短段進(jìn)行基于時(shí)間幀序列對齊， 并在同一短段內(nèi)，確定歐氏距離最短的幀對為最相似的姿態(tài)，從而確定關(guān)鍵幀對；
[0011] 步驟4,基于步驟3的關(guān)鍵幀對，運(yùn)用四元數(shù)球面插值算法生成中間過渡幀角度旋 轉(zhuǎn)值，運(yùn)用線性插值算法生成根節(jié)點(diǎn)中間過渡幀平移值。
[0012] 步驟1中運(yùn)動(dòng)序列文件由兩部分組成：骨架部分和運(yùn)動(dòng)數(shù)據(jù)；首先以令牌傳遞方 法解析人體骨架部分：通過逐步讀取運(yùn)動(dòng)序列文件中的每一個(gè)關(guān)鍵詞、整形字符、浮點(diǎn)型字 符、字符串解析，然后按照骨架結(jié)構(gòu)順序解析運(yùn)動(dòng)數(shù)據(jù)部分；
[0013] 采用遞歸的方式求出人體運(yùn)動(dòng)數(shù)據(jù)各關(guān)節(jié)點(diǎn)在世界坐標(biāo)系下的絕對位置信息；轉(zhuǎn) 換公式如下（1)所示：
[0014] Pi(j)= T 產(chǎn)。?！┊a(chǎn)。。t). · · Ri05). · · p。0) (1)其中，Pi(j)表示運(yùn)動(dòng)序列的第 i 時(shí)刻關(guān)節(jié)點(diǎn)％的在世界坐標(biāo)系的坐標(biāo)；T 分別表示根節(jié)點(diǎn)的平移和旋轉(zhuǎn)變換矩 陣；Ri(k)表示骨架結(jié)構(gòu)中關(guān)節(jié)Nk相對其直接父節(jié)點(diǎn)的旋轉(zhuǎn)變換矩陣；Nk為樹形人體骨架中， 從根節(jié)點(diǎn)到節(jié)點(diǎn)Nj之間的任意節(jié)點(diǎn)；p表示初始時(shí)，Nj在其父節(jié)點(diǎn)的局部坐標(biāo)系下的偏 移量。
[0015] 步驟2中，根據(jù)人體運(yùn)動(dòng)呈周期性規(guī)律的性質(zhì)，特別是對于移動(dòng)類的運(yùn)動(dòng)，無論風(fēng) 格如何，都是雙腳向前交替著向前行進(jìn)；基于此規(guī)律，運(yùn)用雙腳向前空間位置關(guān)系特征以及 步距時(shí)序特征為依據(jù)分割長運(yùn)動(dòng)序列；兩個(gè)分割函數(shù)分別表示如下所示：

【權(quán)利要求】
1. 一種基于運(yùn)動(dòng)捕捉數(shù)據(jù)的人體運(yùn)動(dòng)插值方法，其特征在于，首先解析載入的兩段運(yùn) 動(dòng)序列文件，并進(jìn)行坐標(biāo)系轉(zhuǎn)換操作；然后基于世界坐標(biāo)系下的運(yùn)動(dòng)數(shù)據(jù)，提取雙腳前后位 置關(guān)系特征和步距時(shí)序特征，并根據(jù)人體運(yùn)動(dòng)規(guī)律，依據(jù)以上的兩個(gè)特征，將長的運(yùn)動(dòng)序列 分割為短運(yùn)動(dòng)段；最后在同一短段內(nèi)選取最相似的幀對并基于此確定關(guān)鍵幀對，然后基于 關(guān)鍵幀對運(yùn)用四元數(shù)球面插值算法進(jìn)行角度旋轉(zhuǎn)插值，運(yùn)用線性插值方法進(jìn)行根節(jié)點(diǎn)的平 移插值，從而連接成一段新的運(yùn)動(dòng)。
2. 根據(jù)權(quán)利要求1所述的基于運(yùn)動(dòng)捕捉數(shù)據(jù)的人體運(yùn)動(dòng)插值方法，其特征在于，具體 包括以下步驟： 步驟1，加載解析運(yùn)動(dòng)序列文件，并對BVH文件的運(yùn)動(dòng)數(shù)據(jù)在局部坐標(biāo)系下的相對位置 信息轉(zhuǎn)換為在世界坐標(biāo)系下的絕對位置信息； 步驟2,基于步驟1得到的在世界坐標(biāo)系下的絕對位置信息，提取關(guān)節(jié)點(diǎn)的空間位置關(guān) 系特征與時(shí)序關(guān)系的特征，并根據(jù)人體運(yùn)動(dòng)周期性規(guī)律，采用雙腳前后位置關(guān)系特征和步 距時(shí)序特征將長運(yùn)動(dòng)序列進(jìn)行分割為多個(gè)短的運(yùn)動(dòng)序列； 步驟3,基于步驟2得到的分割結(jié)果，將分割后的短段進(jìn)行基于時(shí)間幀序列對齊，并在 同一短段內(nèi)，確定歐氏距離最短的幀對為最相似的姿態(tài)，從而確定關(guān)鍵幀對； 步驟4,基于步驟3的關(guān)鍵幀對，運(yùn)用四元數(shù)球面插值算法生成中間過渡幀角度旋轉(zhuǎn) 值，運(yùn)用線性插值算法生成根節(jié)點(diǎn)中間過渡幀平移值。
3. 根據(jù)權(quán)利要求2所述的根據(jù)權(quán)利要求1所述的基于運(yùn)動(dòng)捕捉數(shù)據(jù)的人體運(yùn)動(dòng)插值方 法，其特征在于，步驟1中運(yùn)動(dòng)序列文件由兩部分組成：骨架部分和運(yùn)動(dòng)數(shù)據(jù)；首先以令牌 傳遞方法解析人體骨架部分：通過逐步讀取運(yùn)動(dòng)序列文件中的每一個(gè)關(guān)鍵詞、整形字符、浮 點(diǎn)型字符、字符串解析，然后按照骨架結(jié)構(gòu)順序解析運(yùn)動(dòng)數(shù)據(jù)部分； 采用遞歸的方式求出人體運(yùn)動(dòng)數(shù)據(jù)各關(guān)節(jié)點(diǎn)在世界坐標(biāo)系下的絕對位置信息；轉(zhuǎn)換公 式如下⑴所示： Pi(j)= T I(KKrt)Ri(KKrt). ·· Riω···ρ〇(J) (1) 其中，PiG)表示運(yùn)動(dòng)序列的第i時(shí)刻關(guān)節(jié)點(diǎn)Nj的在世界坐標(biāo)系的坐標(biāo)；T產(chǎn)Ri 別表示根節(jié)點(diǎn)的平移和旋轉(zhuǎn)變換矩陣；Ri(k)表示骨架結(jié)構(gòu)中關(guān)節(jié)Nk相對其直接父節(jié)點(diǎn)的旋 轉(zhuǎn)變換矩陣；Nk為樹形人體骨架中，從根節(jié)點(diǎn)到節(jié)點(diǎn)\_之間的任意節(jié)點(diǎn)；p，表示初始時(shí)， Nj在其父節(jié)點(diǎn)的局部坐標(biāo)系下的偏移量。
4. 根據(jù)權(quán)利要求2所述的根據(jù)權(quán)利要求1所述的基于運(yùn)動(dòng)捕捉數(shù)據(jù)的人體運(yùn)動(dòng)插值方 法，其特征在于，步驟2中，根據(jù)人體運(yùn)動(dòng)呈周期性規(guī)律的性質(zhì)，特別是對于移動(dòng)類的運(yùn)動(dòng)， 無論風(fēng)格如何，都是雙腳向前交替著向前行進(jìn)；基于此規(guī)律，運(yùn)用雙腳向前空間位置關(guān)系特 征以及步距時(shí)序特征為依據(jù)分割長運(yùn)動(dòng)序列；兩個(gè)分割函數(shù)分別表示如下所示：
其中，Pace_changed函數(shù)表示某一時(shí)刻的雙腳向前步距是否由增加變換為開始減小， 或者由減小變換為開始增加，如果是，將函數(shù)值賦值為1，表示此時(shí)刻步距為該短段的最大 步距或最小步距，即將此時(shí)刻定義為該段運(yùn)動(dòng)的分割點(diǎn)；否則賦值為0,表示此時(shí)刻為某短 段的非分割點(diǎn)；Frount_foot函數(shù)表示某一時(shí)刻的右腳是否在左腳前方，當(dāng)右腳在前方時(shí)， 賦值為1，否則賦值為0。
5. 根據(jù)權(quán)利要求2所述的根據(jù)權(quán)利要求1所述的基于運(yùn)動(dòng)捕捉數(shù)據(jù)的人體運(yùn)動(dòng)插值方 法，其特征在于，步驟3中，基于步驟2得到的分割結(jié)果，運(yùn)用公式（4)進(jìn)行短段內(nèi)的時(shí)間幀 序列對齊，獲得匹配幀對：4與匕、^與fV分別表示兩段的起始與結(jié)束幀，計(jì)算得到匹配 幀對);然后基于匹配幀對計(jì)算選取最相似的幀對做為關(guān)鍵幀對；采用最常用的歐 氏距離確定最相似的幀對，假設(shè)計(jì)算得到的歐氏距離最小值為D(Pi,Pj)，則選取下一幀為關(guān) 鍵幀對即（Pi,Pj+1);其中，確定歐氏距離最小值公式如下（5)所示： K=I
其中，ρΛp/表示兩段運(yùn)動(dòng)序列第k個(gè)關(guān)節(jié)點(diǎn)分別在第i幀和第j幀的位置信息；W,表 示第k個(gè)關(guān)節(jié)點(diǎn)在人體骨架中所占的權(quán)重，一般來說，離根節(jié)點(diǎn)近的節(jié)點(diǎn)權(quán)值越大。
6. 根據(jù)權(quán)利要求2所述的根據(jù)權(quán)利要求1所述的基于運(yùn)動(dòng)捕捉數(shù)據(jù)的人體運(yùn)動(dòng)插值方 法，其特征在于，步驟4中，運(yùn)用公式（6)和公式（7)進(jìn)行歐拉角旋轉(zhuǎn)角度與四元數(shù)相互轉(zhuǎn) 換：歐拉角組(外^，妁為繞Z,Y,X的旋轉(zhuǎn)角度，轉(zhuǎn)換后對應(yīng)的四元數(shù)為q=[wabc];
運(yùn)用公式（8)進(jìn)行基于四元數(shù)球面插值算法生成過渡旋轉(zhuǎn)角度：Ρ(ι、Ρι為兩個(gè)關(guān)鍵幀的 某關(guān)節(jié)點(diǎn)的旋轉(zhuǎn)四元數(shù)，Ω為其角度差，t為插值參數(shù)，用來控制插值過程中平滑過渡的速 度；隨著t值的改變，改變插值角度，當(dāng)t接近1時(shí)，插值p的角度旋轉(zhuǎn)越接近p1 ;當(dāng)t接近 〇時(shí)，插值P的角度旋轉(zhuǎn)接近Po;
運(yùn)用公式（9)進(jìn)行基于根節(jié)點(diǎn)平移信息的線性插值：其中，起始幀與結(jié)束幀的根節(jié)點(diǎn) 坐標(biāo)分別是〇!、C1,u是插值參數(shù)，當(dāng)u接近0時(shí)靠近〇!，接近1時(shí)靠近C1; Cj(xj,Yi,Zi) -uC〇 (x〇,y〇,z〇) + (I-u)C1 (x1；y1；Z1) (9) 〇
【文檔編號】G06T7/20GK104463788SQ201410764271
【公開日】2015年3月25日 申請日期:2014年12月11日 優(yōu)先權(quán)日:2014年12月11日
【發(fā)明者】趙明華, 原永芹, 莫瑞陽, 丁曉楓, 曹慧 申請人:西安理工大學(xué)