一種面向任意姿態(tài)的三維人體姿態(tài)模型匹配方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及電子信息學(xué)科學(xué)領(lǐng)域，特別涉及一種面向任意姿態(tài)的三維人體姿態(tài)模 型匹配方法。
【背景技術(shù)】
[0002] 人體的三維姿態(tài)估計(jì)是人體運(yùn)動(dòng)分析領(lǐng)域的研宄熱點(diǎn)。人體三維姿態(tài)數(shù)據(jù)在動(dòng) 畫、游戲、體育、醫(yī)療等領(lǐng)域具有廣泛的應(yīng)用。
[0003] 當(dāng)前，獲得人體三維姿態(tài)的方法主要有基于光學(xué)、機(jī)械或電磁的動(dòng)作捕捉技術(shù)或 基于Kinect等深度攝像機(jī)的姿態(tài)跟蹤技術(shù)。前者需要購置昂貴的動(dòng)作捕捉設(shè)備，代價(jià)高且 應(yīng)用時(shí)需要人體對(duì)象穿戴特定的觸點(diǎn)設(shè)備，不夠方便；后者也需要深度攝像機(jī)，但一般只能 對(duì)有限距離的人體對(duì)象進(jìn)行較粗糙的姿態(tài)跟蹤。在計(jì)算機(jī)視覺領(lǐng)域，一種獲得人體三維姿 態(tài)的方法的是采用人體模型，使得人體模型與圖像序列中人體成像相匹配，以估計(jì)出三維 人體姿態(tài)；這種基于模型的人體姿態(tài)估計(jì)方法具有的重要意義是無需對(duì)人體對(duì)象進(jìn)行接觸 式測量，僅僅依靠無接觸的圖像數(shù)據(jù)，具備代價(jià)小、較為便捷等特點(diǎn)。
[0004] 基于模型的三維人體姿態(tài)估計(jì)一般需要解決的重要問題是，如何將人體模型與初 始的人體姿態(tài)相匹配，使得后續(xù)姿態(tài)跟蹤得以進(jìn)行。姿態(tài)初始化一般需要解決兩個(gè)問題： (1)初始姿態(tài)估計(jì)，即估計(jì)出人體對(duì)象的初始姿態(tài)，姿態(tài)參數(shù)一般包括人體各肢體關(guān)節(jié)角 度、驅(qū)干位移、旋轉(zhuǎn)角度等；（2)人體尺寸估計(jì)，即估計(jì)出人體各肢體的三維尺寸，以使得人 體模型與人體對(duì)象匹配上。初始姿態(tài)估計(jì)和尺寸估計(jì)是后續(xù)姿態(tài)跟蹤的基礎(chǔ)。一種常用的 姿態(tài)初始化方法是要求人體對(duì)象以特定姿勢（如以"T"字型站立）作為初始的姿態(tài)，以省 去姿態(tài)估計(jì)；這種方法雖然簡單，但比較笨拙，且無法應(yīng)用于對(duì)于人體對(duì)象初始圖像數(shù)據(jù)丟 失或要求人體對(duì)象以某種姿態(tài)呈現(xiàn)的場合。因此，需要一種可以對(duì)任意姿態(tài)的人體對(duì)象進(jìn) 行準(zhǔn)確的三維人體模型匹配，以達(dá)到更靈活、魯棒的姿態(tài)初始化效果。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明的目的是針對(duì)上述已有技術(shù)的不足，提出一種實(shí)用性強(qiáng)、魯棒性好的面向 任意姿態(tài)的三維人體姿態(tài)模型匹配方法。
[0006] 本發(fā)明的技術(shù)方案是：
[0007] -種面向任意姿態(tài)的三維人體姿態(tài)模型匹配方法，包括以下步驟：
[0008] SI.針對(duì)以任意姿態(tài)站立的人體對(duì)象，采取掃描或者三維重建的方法，獲得人體對(duì) 象的三維人體形體數(shù)據(jù)；
[0009] S2.按照正常人體的標(biāo)準(zhǔn)比例數(shù)據(jù)，設(shè)計(jì)一種尺寸、姿態(tài)可調(diào)的三維虛擬人體模 型，所述三維虛擬人體模型通過改變尺寸和姿態(tài)參數(shù)能夠適應(yīng)于不同身材比例并且能以各 種姿態(tài)呈現(xiàn)的人體形體；
[0010] S3.將三維虛擬人體模型準(zhǔn)確的匹配到重建出的三維人體形體數(shù)據(jù)上，使得三維 虛擬人體模型以相同的姿態(tài)和相近的形體尺寸呈現(xiàn)。
[0011] 優(yōu)選地，在步驟Si中，所述三維人體形體數(shù)據(jù)以點(diǎn)云、體塊或/和多邊形表皮的任 意組合形式存在。
[0012] 優(yōu)選地，在步驟Sl中，所述掃描的方法是指采取基于激光或光學(xué)照相等技術(shù)的三 維掃描設(shè)備，在要求人體在指定的掃描空間內(nèi)保持靜止?fàn)顟B(tài)，通過光學(xué)測量的方法獲取人 體對(duì)象表面點(diǎn)云數(shù)據(jù)。
[0013] 優(yōu)選地，在步驟Sl中，所述三維重建方法是指采取計(jì)算機(jī)視覺領(lǐng)域的立體成像或 Shape-from-SiIhouette技術(shù)，重建出人體對(duì)象點(diǎn)云或體塊數(shù)據(jù)，通過對(duì)點(diǎn)云或體塊數(shù)據(jù)， 采取表皮化處理得到多邊形表皮的三維形體形式。
[0014] 優(yōu)選地，在步驟S2中，所述三維虛擬人體模型為包括頭、上身、左右上肢、左右下 肢的基于一桶狀模型；其中桶狀模型由5個(gè)參數(shù)描述 ：（1，1>1^，〇,，〇13);其中1指模型高度， (rt，rb)指上下圓形面的半徑長，（〇t，〇b)指軸線兩端點(diǎn)離上下圓形面的距離。
[0015] 優(yōu)選地，在步驟S3中，基于模型的姿態(tài)和尺寸估計(jì)方法的具體步驟為：
[0016] S31、采用分等級(jí)優(yōu)化的方法，先后對(duì)上身、左右下肢、左右上肢、頭部進(jìn)行匹配，具 體過程如下：首先對(duì)軀干的位置和方位參數(shù)進(jìn)行估計(jì)，包括三個(gè)位置和三個(gè)旋轉(zhuǎn)參數(shù)；然 后對(duì)頭部、大腿和上臂關(guān)節(jié)參數(shù)進(jìn)行估計(jì)；最后對(duì)小腿和下臂的關(guān)節(jié)參數(shù)進(jìn)行估計(jì)；
[0017] S32、對(duì)整個(gè)人體姿態(tài)參數(shù)進(jìn)行局部修正。
[0018] 優(yōu)選地，在步驟S31中，具體的步驟為，包括對(duì)人體軀干的位置（Xtl,Ytl,Ztl)和方位 外，估計(jì)、以及對(duì)人體某部分匹配時(shí)，采用迭代優(yōu)化的方法，
[0019]其中軀干的位置（Xtl,y(l，Ztl)和方位(成,妁，估計(jì)采用如下方法：
[0020] al、對(duì)重建的人體點(diǎn)云通過切片的方法檢測得到軀干部位對(duì)應(yīng)的點(diǎn)云集合；所謂 切片方法是指以一定的采樣間隔獲取三維點(diǎn)云在垂直于軀干平面（或豎直平面）上的點(diǎn)集 合；
[0021] bl、計(jì)算所找到的點(diǎn)云集合的重心位置(叉孓F):
【主權(quán)項(xiàng)】
1. 一種面向任意姿態(tài)的三維人體姿態(tài)模型匹配方法，其特征在于，包括以下步驟：
51. 針對(duì)以任意姿態(tài)站立的人體對(duì)象，采取掃描或者三維重建的方法，獲得人體對(duì)象的 三維人體形體數(shù)據(jù)；
52. 按照正常人體的標(biāo)準(zhǔn)比例數(shù)據(jù)，設(shè)計(jì)一種尺寸、姿態(tài)可調(diào)的三維虛擬人體模型，所 述三維虛擬人體模型通過改變尺寸和姿態(tài)參數(shù)能夠適應(yīng)于不同身材比例并且能以各種姿 態(tài)呈現(xiàn)的人體形體；
53. 將三維虛擬人體模型準(zhǔn)確的匹配到重建出的三維人體形體數(shù)據(jù)上，使得三維虛擬 人體模型以相同的姿態(tài)和相近的形體尺寸呈現(xiàn)。
2. 根據(jù)權(quán)利要求1所述的面向任意姿態(tài)的三維人體姿態(tài)模型匹配方法，其特征在于， 在步驟S1中，所述三維人體形體數(shù)據(jù)以點(diǎn)云、體塊或/和多邊形表皮的組合形式存在。
3. 根據(jù)權(quán)利要求1所述的面向任意姿態(tài)的三維人體姿態(tài)模型匹配方法，其特征在于， 在步驟S1中，所述掃描的方法是指采取基于激光或光學(xué)照相技術(shù)的三維掃描設(shè)備，在要求 人體在指定的掃描空間內(nèi)保持靜止?fàn)顟B(tài)，通過光學(xué)測量的方法獲取人體對(duì)象表面點(diǎn)云數(shù) 據(jù)。
4.根據(jù)權(quán)利要求1所述的面向任意姿態(tài)的三維人體姿態(tài)模型匹配方法，其特 征在于，在步驟S1中，所述三維重建方法是指采取計(jì)算機(jī)視覺領(lǐng)域的立體成像或 Shape-from-Silhouette技術(shù)，重建出人體對(duì)象點(diǎn)云或體塊數(shù)據(jù)，通過對(duì)點(diǎn)云或體塊數(shù)據(jù)， 采取表皮化處理得到多邊形表皮的三維形體形式。
5.根據(jù)權(quán)利要求1至4中任意一項(xiàng)所述的面向任意姿態(tài)的三維人體姿態(tài)模型匹配方 法，其特征在于，在步驟S2中，所述三維虛擬人體模型為包括頭、上身、左右上肢、左右下肢 的基于一桶狀模型；其中桶狀模型由5個(gè)參數(shù)描述：（l，rt，rb，〇t，〇b);其中1指模型高度， (rt，rb)指上下圓形面的半徑長，（〇t，〇b)指軸線兩端點(diǎn)離上下圓形面的距離。
6.根據(jù)權(quán)利要求1至4中任意一項(xiàng)所述的面向任意姿態(tài)的三維人體姿態(tài)模型匹配方 法，其特征在于，在步驟S3中，基于模型的姿態(tài)和尺寸估計(jì)方法的具體步驟為： 531、 采用分等級(jí)優(yōu)化的方法，先后對(duì)上身、左右下肢、左右上肢、頭部進(jìn)行匹配，具體過 程如下：首先對(duì)軀干的位置和方位參數(shù)進(jìn)行估計(jì)，包括三個(gè)位置和三個(gè)旋轉(zhuǎn)參數(shù)；然后對(duì) 頭部、大腿和上臂關(guān)節(jié)參數(shù)進(jìn)行估計(jì)；最后對(duì)小腿和下臂的關(guān)節(jié)參數(shù)進(jìn)行估計(jì)； 532、 對(duì)整個(gè)人體姿態(tài)參數(shù)進(jìn)行局部修正。
7.根據(jù)權(quán)利要求6所述的面向任意姿態(tài)的三維人體姿態(tài)模型匹配方法，其特征在于， 在步驟S31中，具體的步驟為，包括對(duì)人體軀干的位置（Xd, zj和方位(成，懷，6*。)估計(jì)、以 及對(duì)人體某部分匹配時(shí)，采用迭代優(yōu)化的方法， 其中軀干的位置（X&y(l，zj和方位砵)估計(jì)采用如下方法： al、對(duì)重建的人體點(diǎn)云通過切片的方法檢測得到軀干部位對(duì)應(yīng)的點(diǎn)云集合； bl、計(jì)算所找到的點(diǎn)云集合的重心位置
cl、設(shè)為（Xd,yd,Zd)的初始值，進(jìn)行位置（Xd,yd,Zd)和方位(為，p。，參數(shù) 和軀干部位的尺寸估計(jì)，具體步驟為：首先保持以(T，.?，勻初始值和尺寸參 數(shù)不變，采用基于粒子群優(yōu)化方法使得殘差最小，得到（沁'《）；然后保持尤《）和 尺寸參數(shù)不變，繼續(xù)進(jìn)行殘差優(yōu)化估計(jì)得到（x'py'i，。i);之后保持和 (?py'dZ'i)不變，估計(jì)得到新的尺寸參數(shù)；如此往復(fù)，直到各參數(shù)數(shù)值穩(wěn)定； 其中對(duì)人體某部分匹配時(shí)，采用迭代優(yōu)化的方法，具體為： a) 固定模型尺寸參數(shù)，設(shè)前一級(jí)的匹配姿態(tài)結(jié)果作為初始姿態(tài)，隨機(jī)采樣一部分模型 表皮點(diǎn)作為匹配點(diǎn)；假設(shè)隨機(jī)獲得的模型點(diǎn)集合為Mn={pn;i |i=1，2,…，mn}，其中pn;i為 身體部分n的隨機(jī)模型點(diǎn)，mn為身體部分n的采樣點(diǎn)個(gè)數(shù)； b)對(duì)任意隨機(jī)模型點(diǎn)，找到對(duì)應(yīng)的最近距離的重建三維點(diǎn)，以所有點(diǎn)對(duì)應(yīng)的距離之和 作為殘差；即求解如下方程：
其中為找到的對(duì)應(yīng)于Pn;i的最近三維重建點(diǎn)； c) 采用基于粒子群優(yōu)化的全局搜索算法進(jìn)行迭代優(yōu)化，使得殘差值趨近于最小的穩(wěn)定 值；為使得優(yōu)化可收斂，引入以下權(quán)重約束：
上式中A(k)為以k(k>1)為變量的權(quán)重函數(shù)，k越大，權(quán)重值也越大，可簡單設(shè)為 線性函數(shù)，其中〇表示對(duì)應(yīng)關(guān)系，上述問題變?yōu)椋?br>d)固定上一步得到姿態(tài)參數(shù)，以尺寸參數(shù)作為變量，迭代優(yōu)化得到新的尺寸參數(shù)； e) 如此迭代直至各參數(shù)不再變化； f) 最后對(duì)整個(gè)人體姿態(tài)參數(shù)進(jìn)行局部修正，最終得到準(zhǔn)確的尺寸和姿態(tài)參數(shù)。
【專利摘要】本發(fā)明公開了一種面向任意姿態(tài)的三維人體姿態(tài)模型匹配方法，包括：人體對(duì)象以任意姿態(tài)站立，僅要求肢體不要緊貼在身體上，由三維重建方法重建出三維人體數(shù)據(jù)；設(shè)計(jì)一種可調(diào)整各肢體形狀、大小等參數(shù)的普適三維人體虛擬模型；設(shè)計(jì)和采用一種基于模型的姿態(tài)估計(jì)方法，將虛擬人體模型準(zhǔn)確的匹配到重建出的三維人體形態(tài)數(shù)據(jù)上，使得虛擬人體模型以相同的姿態(tài)和相近的形體尺寸呈現(xiàn)。本發(fā)明所公開的三維人體姿態(tài)模型匹配方法能夠針對(duì)任意的初始人體姿態(tài)，以一個(gè)普適的虛擬模型準(zhǔn)確恢復(fù)出人體的姿態(tài)和形體尺寸數(shù)據(jù)，其操作簡便、具有適應(yīng)性強(qiáng)和魯棒性好等優(yōu)點(diǎn)。
【IPC分類】G06T17-00
【公開號(hào)】CN104700452
【申請(qǐng)?zhí)枴緾N201510129258
【發(fā)明人】張政, 徐瑋, 劉煜, 張茂軍, 熊志輝
【申請(qǐng)人】中國人民解放軍國防科學(xué)技術(shù)大學(xué)
【公開日】2015年6月10日
【申請(qǐng)日】2015年3月24日