專利名稱：基于骨架的人肢體三維運動參數(shù)估計方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種基于骨架的人肢體三維運動參數(shù)估計方法，用于感知接口，運動分析等應(yīng)用領(lǐng)域，在醫(yī)學(xué)圖像、生物醫(yī)學(xué)、手勢識別、材料變形、圖像壓縮等方面都有實際應(yīng)用價值。屬于計算機視覺和圖像學(xué)領(lǐng)域。
背景技術(shù)：
運動分析領(lǐng)域的研究對象主要分為剛性物體、連接剛體和非剛性物體等。計算機視覺中的運動分析研究均主要集中在對剛體運動的研究，且學(xué)者們已取得了一系列的成果，并建立了較為完善的理論框架，但是，在現(xiàn)實世界中大多是非剛體運動。人體屬于非剛體。
在過去的十幾年中，人體三維運動參數(shù)估計已經(jīng)取得了一些成績，浙江大學(xué)CAD&CG國家重點實驗室孫雷等在文章“基于二維輪廓線的三維物體元球造型技術(shù)”中提出了下面一種近似中軸線的計算方法。該近似中軸線由一系列線段構(gòu)成，首先，對簡單多邊形進行帶約束的Delaunay三角化(CDT)，然后找到每個三角片的外心，根據(jù)三角片的連接關(guān)系將其連接起來，以獲取一個由較少外心生成的骨架。但已有的工作都是根據(jù)較多圖像數(shù)據(jù)信息進行人體運動參數(shù)估計，這些方法增加了運動參數(shù)估計的復(fù)雜性和計算量。
在發(fā)明名稱為“基于模型的人肢體三維運動參數(shù)估計方法”，申請?zhí)枮?00510026823.2的專利申請書中，針對現(xiàn)有人體三維運動參數(shù)估計的復(fù)雜性的不足，提出一種基于模型的人肢體三維運動參數(shù)估計方法，只要根據(jù)人肢體輪廓信息就能求出人肢體三維運動參數(shù)，降低運動參數(shù)估計的計算量，適合于各種彈性連接剛體的運動參數(shù)估計。這項專利是根據(jù)模型位置信息進行三維運動參數(shù)估計，而不是根據(jù)骨架位置信息進行三維運動參數(shù)估計。目前尚未有更為簡便的根據(jù)骨架位置信息進行三維運動參數(shù)估計的方法報道。

發(fā)明內(nèi)容
本發(fā)明的目的在于針對現(xiàn)有技術(shù)中需要較多圖像數(shù)據(jù)信息進行人體運動參數(shù)估計的不足，提出一種基于骨架的人肢體三維運動參數(shù)估計方法，每個人肢體上只需要貼上兩個標(biāo)記點就能求出人肢體三維運動參數(shù)，降低了運動參數(shù)估計的計算量，適合于各種彈性連接剛體的運動參數(shù)估計。
為實現(xiàn)這樣的目的，本發(fā)明的技術(shù)方案中，提取人肢體標(biāo)記點三維坐標(biāo)，根據(jù)人肢體標(biāo)記點三維坐標(biāo)和人肢體三維運動方程進行人肢體三維運動參數(shù)估計。首先分別在人的上肢體、下肢體上各設(shè)置兩個標(biāo)記點，采用雙目立體視覺系統(tǒng)拍攝得到人肢體擺姿勢的圖像序列，提取各個時刻左、右圖像中這些標(biāo)記點的圖像平面二維坐標(biāo)。然后每個標(biāo)記點采用一個圓與標(biāo)記點所在區(qū)域的肢體邊緣輪廓相切，并且使標(biāo)記點處在圓的直徑上，每個圓的圓心為標(biāo)記點對應(yīng)的骨架點，再求出各個肢體兩個骨架點連線的中點作為第三個骨架點，求出三個骨架點對應(yīng)的空間三維坐標(biāo)。最后根據(jù)各個時刻各個肢體骨架點的空間三維坐標(biāo)建立人肢體運動方程，求解得到人肢體的運動參數(shù)。
本發(fā)明的方法具體包括以下幾個步驟1.從圖像中提取、匹配標(biāo)記點，求出標(biāo)記點對應(yīng)的空間三維坐標(biāo)。
分別在人的上肢體、下肢體上各設(shè)置兩個標(biāo)記點，采用雙目立體視覺系統(tǒng)拍攝得到人肢體擺姿勢的圖像序列，提取各個時刻左、右圖像中這些標(biāo)記點的圖像平面二維坐標(biāo)，并得出左側(cè)攝像機圖像與右側(cè)攝像機圖像上標(biāo)記點之間的對應(yīng)關(guān)系。
因每個肢體只需要兩個特征點就能求出骨架的運動參數(shù)，本發(fā)明方法在人肢體皮膚上貼了四個紙標(biāo)記點，其中兩個在上肢體、兩個在下肢體。
2.提取人肢體骨架點位置信息。
針對各個時刻左、右圖像中各個肢體的兩個標(biāo)記點，每個標(biāo)記點采用一個圓與標(biāo)記點所在區(qū)域的肢體邊緣輪廓相切，并且使標(biāo)記點處在圓的直徑上，分別求得兩個圓的圓心，即為與兩個標(biāo)記點對應(yīng)的兩個骨架點，再求出兩個骨架點連線的中點作為第三個骨架點。
3.求出各個時刻左右圖像二維骨架點坐標(biāo)對應(yīng)的空間三維骨架點坐標(biāo)。
通過攝像機標(biāo)定技術(shù)求出左、右攝像機圖像上平面二維坐標(biāo)與世界坐標(biāo)系空間三維坐標(biāo)的對應(yīng)關(guān)系，由得到的各個時刻左、右圖像上各個肢體三個骨架點的二維坐標(biāo)，并根據(jù)左側(cè)攝像機圖像與右側(cè)攝像機圖像上標(biāo)記點之間的對應(yīng)關(guān)系，求出對應(yīng)的骨架點空間三維坐標(biāo)。
4.求出各個時刻骨架的運動參數(shù)。
根據(jù)各個時刻各個肢體骨架點的空間三維坐標(biāo)建立人肢體運動方程，求解得到旋轉(zhuǎn)矩陣和平移矩陣，即得到反映人肢體運動的各個骨架各個時刻的運動參數(shù)。
本發(fā)明方法簡單，實現(xiàn)容易。只需要兩個標(biāo)記點并根據(jù)人肢體運動方程就可以求出人肢體在各個時刻的運動參數(shù)，減少了運動參數(shù)估計的復(fù)雜性和計算量。本發(fā)明方法適合于各種彈性連接剛體的運動參數(shù)估計。實驗采用便宜、容易安裝的視頻攝像頭來采集數(shù)據(jù)，不需要附加設(shè)備，代表人肢體運動方程求解算法簡單，大大降低了運動分析的計算復(fù)雜性。


圖1為本發(fā)明采用的基于標(biāo)記點的骨架點的提取。
圖1中，A，B為貼在人手臂皮膚上的兩個標(biāo)記點，C，D，E為根據(jù)兩個標(biāo)記點A，B確定的三個骨架點。
圖2為人體骨架模型表達。
圖2中，a是整個人體骨架模型，b是人體右手臂骨架模型。
圖3為本發(fā)明拍攝的圖像序列和求出的三維骨架模型表達。
圖3中，第一行是左側(cè)攝像機拍攝的圖像序列，第二行是與第一行圖像對應(yīng)的三維骨架模型表達。
具體實施例方式
為了更好地理解本發(fā)明的技術(shù)方案，以下結(jié)合附圖和實施例作進一步的詳細描述。
1.從圖像中提取、匹配標(biāo)記點，求出標(biāo)記點對應(yīng)的空間三維坐標(biāo)。因每個肢體只需要兩個特征點就能求出骨架的運動參數(shù)，所以在人肢體皮膚上貼了四個紙標(biāo)記點，其中兩個在上肢體、兩個在下肢體，各個肢體上兩個標(biāo)記點設(shè)為A、B。采用雙目立體視覺系統(tǒng)拍攝得到人肢體擺姿勢的左、右圖像序列，提取各個時刻左、右圖像中這些標(biāo)記點的圖像平面二維坐標(biāo)，并得出左側(cè)攝像機圖像與右側(cè)攝像機圖像上標(biāo)記點之間的對應(yīng)關(guān)系。
2.提取人肢體骨架點位置信息。
針對各個時刻左、右圖像中各個肢體的兩個標(biāo)記點，每個標(biāo)記點采用一個圓與標(biāo)記點所在區(qū)域的肢體邊緣輪廓相切，并且使標(biāo)記點處在圓的直徑上，分別求得兩個圓的圓心，即為與兩個標(biāo)記點對應(yīng)的兩個骨架點，再求出兩個骨架點連線的中點作為第三個骨架點。
實施例具體針對第一時刻左側(cè)攝像機拍攝的圖像(如圖1所示)進行人上肢體運動參數(shù)估計過程的描述。根據(jù)這個時刻左圖像中上肢體兩個標(biāo)記點A、B的二維坐標(biāo)，每個標(biāo)記點采用一個圓與標(biāo)記點所在區(qū)域的肢體邊緣輪廓相切，并且使標(biāo)記點A、B處在圓的直徑上，分別求得兩個圓的圓心，即為與兩個標(biāo)記點A、B對應(yīng)的兩個骨架點C、D，再求出兩個骨架點C、D連線的中點E作為第三個骨架點。同樣下肢體也可得到三個骨架點及其圖像平面二維坐標(biāo)。右側(cè)攝像機圖像上各個肢體的三個骨架點，以及各個時刻左、右圖像上各個肢體的三個骨架點均采用同樣的方法得到。
3.求出各個時刻左、右圖像二維骨架點對應(yīng)的空間三維骨架點。通過攝像機標(biāo)定技術(shù)求出左、右攝像機圖像上平面二維坐標(biāo)與世界坐標(biāo)系空間三維坐標(biāo)的對應(yīng)關(guān)系，根據(jù)左側(cè)攝像機圖像與右側(cè)攝像機圖像上標(biāo)記點之間的對應(yīng)關(guān)系，可得到左圖像上各個肢體三個骨架點C、D、E與右圖像上各個肢體三個骨架點的對應(yīng)關(guān)系，并由左、右圖像上各個肢體三個骨架點的二維坐標(biāo)求出對應(yīng)的各個肢體空間骨架點Cw、Dw、Ew的三維坐標(biāo)。各個時刻各個肢體骨架點的空間三維坐標(biāo)采用同樣的方法求得，如圖3所示，圖3中，第一行是左側(cè)攝像機拍攝的圖像序列，第二行是與第一行圖像對應(yīng)的三維骨架模型表達。
4.求出各個時刻各個肢體骨架的運動參數(shù)。根據(jù)各個時刻各個肢體骨架點空間三維坐標(biāo)建立人肢體運動方程，并根據(jù)方程可求出各個肢體骨架各個時刻的運動參數(shù)，運動參數(shù)包括了旋轉(zhuǎn)矩陣和平移矩陣。人肢體運動方程為{xCw′yCw′zCw′=Ri(xCwyCwzCw-ji)+ji′xDw′yDw′zDw′=Ri(xDwyDwzDw-ji)+ji′xEw′yEw′zEw′=Ri(xEwyEwzEw-ji)+ji′]]>
方程組為九個方程求解九個未知量。其中已知量為xCw，yCw，zCw，x′Cw，y′Cw，z′Cw，xDw，yDw，zDw，x′Dw，y′Dw，z′Dw，xEw，yEw，zEw，x′Ew，y′Ew，z′Ew。xCw，yCw，zCw為空間骨架點Cw在運動前的三維坐標(biāo)值，x′Cw，y′Cw，y′Cw，z′Cw為空間骨架點Cw在運動后的三維坐標(biāo)值，xDw，yDw，zDw為空間骨架點Dw在運動前的三維坐標(biāo)值，x′Dw，y′Dw，z′Dw為空間骨架點Dw在運動后的三維坐標(biāo)值，xEw，yEw，zEw為空間骨架點Ew在運動前的三維坐標(biāo)值，x′Ew，y′Ew，z′Ew為空間骨架點Ew在運動后的三維坐標(biāo)值。未知量為ji，j′i，Ri，未知量的表達式如下所示Ri=n12+(1-n12)cosθn1·n2·(1-cosθ)-n3·(1-sinθ)n1·n3·(1-cosθ)+n2·sinθn1·n2·(1-cosθ)+n3·sinθn22+(1-n22)cos(θ)n2·n3·(1-cosθ)-n1·sinn1·n3·(1-cosθ)-n2·sinθn2·n3·(1-cosθ)+n1·sinθn32+(1-n32)cos(θ)θ]]>ji=xjiyjizji,ji′=xji′yji′zji′]]>其中未知量ji為肢體的關(guān)節(jié)點，如圖2所示，其中，a是整個人體骨架模型，b是人體右手臂骨架模型。上肢體的關(guān)節(jié)點為j1，下肢體的關(guān)節(jié)點為j2。ji為運動前的骨架關(guān)節(jié)點，它的三維坐標(biāo)為xji，yji，zji，j′i為運動后的骨架關(guān)節(jié)點，它的三維坐標(biāo)為x′ji，y′ji，z′ji，為旋轉(zhuǎn)矩陣，其中n1，n2，n3為旋轉(zhuǎn)的方向向量，θ為旋轉(zhuǎn)角。因為n1，n2，n3滿足關(guān)系式n12+n22+n32＝1，所以Ri中只有三個未知量n1，n2，θ。因此人肢體運動方程九個未知量為n1，n2，θxji，yji，zjix′ji，y′ji，z′ji。
再根據(jù)求出的xji，yji，zjix′ji，y′ji，z′ji和公式Ti＝j(luò)′i-ji求出平移矩陣Ti其中Ti=xTiyTizTi=xji′yji′zji′-xjiyjizji]]>根據(jù)上面公式求出旋轉(zhuǎn)矩陣Ri和平移矩陣Ti。此旋轉(zhuǎn)矩陣和平移矩陣就是人肢體的運動參數(shù)，它反映了人肢體的運動。
權(quán)利要求
1.一種基于骨架的人肢體三維運動參數(shù)估計方法，其特征在于包括如下具體步驟1)分別在人的上肢體、下肢體上各設(shè)置兩個標(biāo)記點，采用雙目立體視覺系統(tǒng)拍攝得到人肢體擺姿勢的圖像序列，提取各個時刻左、右圖像中這些標(biāo)記點的圖像平面二維坐標(biāo)，并得出左側(cè)攝像機圖像與右側(cè)攝像機圖像上標(biāo)記點之間的對應(yīng)關(guān)系；2)針對各個時刻左、右圖像中各個肢體的兩個標(biāo)記點，每個標(biāo)記點采用一個圓與標(biāo)記點所在區(qū)域的肢體邊緣輪廓相切，并且使標(biāo)記點處在圓的直徑上，分別求得兩個圓的圓心，即為與兩個標(biāo)記點對應(yīng)的兩個骨架點，再求出兩個骨架點連線的中點作為第三個骨架點；3)通過攝像機標(biāo)定技術(shù)求出左、右攝像機圖像上平面二維坐標(biāo)與世界坐標(biāo)系空間三維坐標(biāo)的對應(yīng)關(guān)系，由得到的各個時刻左、右圖像上各個肢體三個骨架點的二維坐標(biāo)，并根據(jù)左側(cè)攝像機圖像與右側(cè)攝像機圖像上標(biāo)記點之間的對應(yīng)關(guān)系，求出對應(yīng)的骨架點空間三維坐標(biāo)；4)根據(jù)各個時刻各個肢體骨架點的空間三維坐標(biāo)建立人肢體運動方程，求解得到旋轉(zhuǎn)矩陣和平移矩陣，即得到反映人肢體運動的各個骨架各個時刻的運動參數(shù)。
全文摘要
一種基于骨架的人肢體三維運動參數(shù)估計方法。首先分別在人的上肢體、下肢體上各設(shè)置兩個標(biāo)記點，采用雙目立體視覺系統(tǒng)拍攝得到人肢體擺姿勢的圖像序列，提取各個時刻左、右圖像中這些標(biāo)記點的圖像平面二維坐標(biāo)，然后每個標(biāo)記點采用一個圓與標(biāo)記點所在區(qū)域的肢體邊緣輪廓相切，并且使標(biāo)記點處在圓的直徑上，每個圓的圓心為標(biāo)記點對應(yīng)的骨架點，再求出各個肢體兩個骨架點的中點作為第三個骨架點，求出三個骨架點對應(yīng)的空間三維坐標(biāo)，最后根據(jù)各個時刻各個肢體骨架點的空間三維坐標(biāo)建立人肢體運動方程，求解得到人肢體的運動參數(shù)。本發(fā)明降低了運動參數(shù)估計的復(fù)雜性和計算量，適合于各種彈性連接剛體的運動參數(shù)估計。
文檔編號G06T7/20GK1753028SQ20051002966
公開日2006年3月29日 申請日期2005年9月15日 優(yōu)先權(quán)日2005年9月15日
發(fā)明者潘海朗, 劉允才 申請人:上海交通大學(xué)