專利名稱：一種三維人體運(yùn)動(dòng)的實(shí)時(shí)在線獲取方法及其系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計(jì)算機(jī)視覺和模式識別領(lǐng)域，尤其涉及一種三維人體運(yùn)動(dòng)的實(shí)時(shí)在線獲取方法及其系統(tǒng)。
背景技術(shù)：
近幾年來，運(yùn)動(dòng)捕捉技術(shù)的發(fā)展使沉浸式仿真訓(xùn)練系統(tǒng)等虛擬現(xiàn)實(shí)系統(tǒng)成為可能，沉浸式仿真訓(xùn)練系統(tǒng)是一種“人在回路”的虛擬現(xiàn)實(shí)系統(tǒng)。利用運(yùn)動(dòng)捕捉系統(tǒng)，這類系統(tǒng)能為置身于虛擬環(huán)境中的用戶創(chuàng)建其化身，用戶可以操縱化身與虛擬環(huán)境進(jìn)行無縫交互，在系統(tǒng)的引導(dǎo)下完成一系列的任務(wù)，獲得猶如身臨其境的體驗(yàn)，從而到達(dá)技能培訓(xùn)與訓(xùn)練的目的。構(gòu)建沉浸式仿真訓(xùn)練系統(tǒng)需要實(shí)時(shí)采集并重建人體運(yùn)動(dòng)數(shù)據(jù)，在各種運(yùn)動(dòng)捕獲設(shè) 備中，被動(dòng)式光學(xué)捕獲系統(tǒng)由于其高精確性和低侵入性得到了廣泛的應(yīng)用，但在捕獲數(shù)據(jù)的過程中，不同部位的三維標(biāo)志點(diǎn)很容易混淆、遮擋，產(chǎn)生錯(cuò)誤的結(jié)果，在此基礎(chǔ)上重建出的人體運(yùn)動(dòng)往往是不精確的甚至是不合理的，導(dǎo)致用戶與化身動(dòng)作的不一致甚至化身肢體的扭曲，極大的破壞系統(tǒng)的真實(shí)感與沉浸感。利用運(yùn)動(dòng)捕獲設(shè)備捕捉表演者的動(dòng)作來直接驅(qū)動(dòng)其化身的技術(shù)又叫表演動(dòng)畫技術(shù)，已經(jīng)有一些學(xué)者進(jìn)行了這方面的研究。其中大部分工作只利用少量的傳感器獲取表演者的運(yùn)動(dòng)信息，再輔以虛擬人運(yùn)動(dòng)預(yù)測算法，通過低維控制信號重建表演者的姿態(tài)。運(yùn)動(dòng)預(yù)測算法一般建立在運(yùn)動(dòng)數(shù)據(jù)庫或者一組定義好的規(guī)則之上。這類技術(shù)具有低成本和應(yīng)用方便的好處，但由于只有少量的控制信息來自于表演者，重建的人體動(dòng)趣與表演者的實(shí)際姿態(tài)可能有較大的差異，導(dǎo)致這類技術(shù)只能適用于對重建運(yùn)動(dòng)精度要求不高的應(yīng)用場合。

發(fā)明內(nèi)容
為了解決上述的技術(shù)問題，本發(fā)明提供了一種三維人體運(yùn)動(dòng)實(shí)時(shí)在線獲取方法及其系統(tǒng)，利用給定的人體鏈狀結(jié)構(gòu)模型，從捕獲到的三維標(biāo)志點(diǎn)序列中，實(shí)時(shí)在線的恢復(fù)出高精度的人體運(yùn)動(dòng)。為實(shí)現(xiàn)本發(fā)明目的而提供的一種三維人體運(yùn)動(dòng)實(shí)時(shí)在線獲取方法，包括步驟1，在人體鏈狀結(jié)構(gòu)模型上標(biāo)注三維標(biāo)志點(diǎn)，構(gòu)造線性動(dòng)態(tài)系統(tǒng)和剛體約束并設(shè)置篩選三維標(biāo)志點(diǎn)候選點(diǎn)集的閾值和點(diǎn)匹配代價(jià)權(quán)值，根據(jù)所述標(biāo)注的三維標(biāo)志點(diǎn)數(shù)據(jù)初始化并訓(xùn)練線性動(dòng)態(tài)系統(tǒng)；步驟2,篩選所述三維標(biāo)志點(diǎn)的候選點(diǎn)集,計(jì)算所述篩選的三維標(biāo)志點(diǎn)候選點(diǎn)集的匹配代價(jià)并標(biāo)注結(jié)果；步驟3，重建當(dāng)前幀的人體姿態(tài)；步驟4，計(jì)算在所述重建當(dāng)前幀的人體姿態(tài)下各三維標(biāo)志點(diǎn)的相對位置，利用所述的在重建當(dāng)前幀的人體姿態(tài)下各三維標(biāo)志點(diǎn)的相對位置和剛體約束恢復(fù)丟失的三維標(biāo)志點(diǎn)的位置；
步驟5，更新所述的線性動(dòng)態(tài)系統(tǒng)、剛體約束和篩選三維標(biāo)志點(diǎn)候選點(diǎn)集的閾值和點(diǎn)匹配代價(jià)權(quán)值。所述步驟2還包括步驟21，利用所述的線性動(dòng)態(tài)系統(tǒng)對當(dāng)前幀各三維標(biāo)志點(diǎn)的位置進(jìn)行預(yù)測；步驟22，與所述當(dāng)前幀各三維標(biāo)志點(diǎn)預(yù)測位置的距離小于所述設(shè)置篩選三維標(biāo)志點(diǎn)候選點(diǎn)集的閾值的三維標(biāo)志點(diǎn)被篩選為候選點(diǎn)；步驟23，根據(jù)運(yùn)動(dòng)平滑性約束和剛體約束計(jì)算所述篩選的三維標(biāo)志點(diǎn)候選點(diǎn)集的匹配代價(jià)；步驟24,在所述計(jì)算的三維標(biāo)志點(diǎn)候選點(diǎn)集的匹配代價(jià)最小的三維標(biāo)志點(diǎn)上標(biāo)注 結(jié)果。所述步驟3還包括所述當(dāng)前幀的人體姿態(tài)是通過優(yōu)化的方法，根據(jù)所述當(dāng)前幀各三維標(biāo)志點(diǎn)的標(biāo)注結(jié)果和人體鏈狀結(jié)構(gòu)模型重建得到的。所述步驟4還包括在與所述丟失的三維標(biāo)志點(diǎn)在同一個(gè)剛體上的其他三維標(biāo)志點(diǎn)至少有一個(gè)是沒有丟失的情況下，利用剛體約束對所述丟失的三維標(biāo)志點(diǎn)的三維位置進(jìn)行恢復(fù)；某一剛體上的所有三維標(biāo)志點(diǎn)都丟失的情況下，利用運(yùn)動(dòng)重建得到的三維標(biāo)志點(diǎn)位置作為丟失三維標(biāo)志點(diǎn)的恢復(fù)位置。所述步驟5還包括剛體約束的更新在與剛體約束相關(guān)的兩個(gè)三維標(biāo)志點(diǎn)都沒有丟失的情況下進(jìn)行；在更新所述篩選三維標(biāo)志點(diǎn)候選點(diǎn)集的閾值時(shí)，三維標(biāo)志點(diǎn)丟失，則增大所述篩選三維標(biāo)志點(diǎn)候選點(diǎn)集的閾值直到某一特定值，當(dāng)三維標(biāo)志點(diǎn)重新出現(xiàn)后，減小所述篩選三維標(biāo)志點(diǎn)候選點(diǎn)集的閾值直到初始指定值；在更新點(diǎn)匹配代價(jià)權(quán)值時(shí)，三維標(biāo)志點(diǎn)丟失，則減小該三維標(biāo)志點(diǎn)的點(diǎn)匹配代價(jià)權(quán)值直到某一特定值，當(dāng)三維標(biāo)志點(diǎn)重新出現(xiàn)后，增大該三維標(biāo)志點(diǎn)點(diǎn)匹配代價(jià)權(quán)值直到初始指定值。為實(shí)現(xiàn)該發(fā)明目的，本發(fā)明還包括一種三維人體運(yùn)動(dòng)的實(shí)時(shí)在線獲取系統(tǒng)，包括預(yù)處理模塊，用于讀取觀測對象的人體鏈狀結(jié)構(gòu)模型和標(biāo)注的三維標(biāo)志點(diǎn)數(shù)據(jù)，構(gòu)造線性動(dòng)態(tài)系統(tǒng)和剛體約束并設(shè)置篩選三維標(biāo)志點(diǎn)候選點(diǎn)集的閾值和點(diǎn)匹配代價(jià)權(quán)值，根據(jù)所述的標(biāo)注的三維標(biāo)志點(diǎn)數(shù)據(jù)初始化并訓(xùn)練線性動(dòng)態(tài)系統(tǒng)；標(biāo)注點(diǎn)標(biāo)注模塊,用于篩選三維標(biāo)志點(diǎn)的候選點(diǎn)集,計(jì)算所述篩選的三維標(biāo)志點(diǎn)候選點(diǎn)集的匹配代價(jià)并標(biāo)注結(jié)果運(yùn)動(dòng)重建模塊，用于重建當(dāng)前幀的人體姿態(tài)；丟失標(biāo)志點(diǎn)恢復(fù)模塊，通過計(jì)算在重建當(dāng)前幀的人體姿態(tài)下各三維標(biāo)志點(diǎn)的相對位置，根據(jù)所述的在重建當(dāng)前幀的人體姿態(tài)下各三維標(biāo)志點(diǎn)的相對位置和剛體約束恢復(fù)丟失三維標(biāo)志點(diǎn)的位置更新模塊，用于更新所述的線性動(dòng)態(tài)系統(tǒng)、剛體約束和篩選三維標(biāo)志點(diǎn)候選點(diǎn)集的閾值和點(diǎn)匹配代價(jià)權(quán)值所述標(biāo)志點(diǎn)標(biāo)注模塊還包括預(yù)測模塊，通過所述的線性動(dòng)態(tài)系統(tǒng)對當(dāng)前幀各三維標(biāo)志點(diǎn)的位置進(jìn)行預(yù)測；篩選模塊，篩選與所述當(dāng)前幀各三維標(biāo)志點(diǎn)預(yù)測位置的距離小于所述設(shè)置篩選三維標(biāo)志點(diǎn)候選點(diǎn)集的閾值的點(diǎn)，作為三維標(biāo)志點(diǎn)的候選點(diǎn)集；
計(jì)算模塊，根據(jù)運(yùn)動(dòng)平滑性約束和剛體約束計(jì)算所述篩選三維標(biāo)志點(diǎn)候選點(diǎn)集的匹配代價(jià)；標(biāo)注模塊,在所述計(jì)算的三維標(biāo)志點(diǎn)候選點(diǎn)集的匹配代價(jià)最小的三維標(biāo)志點(diǎn)上標(biāo)
注結(jié)果。所述運(yùn)動(dòng)重建模塊還包括當(dāng)前幀的人體姿態(tài)是通過優(yōu)化的方法，根據(jù)所述當(dāng)前幀各三維標(biāo)志點(diǎn)的標(biāo)注結(jié)果和人體鏈狀結(jié)構(gòu)模型得到的。丟失標(biāo)志點(diǎn)恢復(fù)模塊還包括在與丟失的三維標(biāo)志點(diǎn)在同一個(gè)剛體上的其他三維標(biāo)志點(diǎn)至少有一個(gè)是沒有丟失的情況下，利用剛體約束對所述丟失的三維標(biāo)志點(diǎn)的三維位置進(jìn)行恢復(fù)；某一剛體上的所有三維標(biāo)志點(diǎn)都丟失的情況下，利用運(yùn)動(dòng)重建得到的三維標(biāo)志點(diǎn)位置作為丟失三維標(biāo)志點(diǎn)的恢復(fù)位置。 更新模塊還包括剛體約束的更新在與剛體約束相關(guān)的兩個(gè)三維標(biāo)志點(diǎn)都沒有丟失的情況下進(jìn)行；在更新所述篩選三維標(biāo)志點(diǎn)候選點(diǎn)集的閾值時(shí)，三維標(biāo)志點(diǎn)丟失，則適當(dāng)?shù)脑龃笏龊Y選三維標(biāo)志點(diǎn)候選點(diǎn)集的閾值直到某一特定值，當(dāng)三維標(biāo)志點(diǎn)重新出現(xiàn)后，減小所述篩選三維標(biāo)志點(diǎn)候選點(diǎn)集的閾值直到初始指定值；在更新點(diǎn)匹配代價(jià)權(quán)值時(shí)，三維標(biāo)志點(diǎn)丟失，則減小該三維標(biāo)志點(diǎn)的點(diǎn)匹配代價(jià)權(quán)值直到某一特定值，當(dāng)三維標(biāo)志點(diǎn)重新出現(xiàn)后，增大該三維標(biāo)志點(diǎn)點(diǎn)匹配代價(jià)權(quán)值直到初始指定值。本發(fā)明所指的丟失三維標(biāo)志點(diǎn)是在運(yùn)動(dòng)采集過程中因?yàn)檎趽鹾妥哉趽跚闆r的發(fā)生，人身上粘貼的某些標(biāo)志點(diǎn)在一段時(shí)間內(nèi)不能被攝像機(jī)捕獲到而引起的。本發(fā)明提供的三維人體運(yùn)動(dòng)實(shí)時(shí)在線獲取方法及其系統(tǒng)，其優(yōu)點(diǎn)在于(a)首次引入圖匹配理論來求解運(yùn)動(dòng)捕獲三維標(biāo)志點(diǎn)的在線標(biāo)注問題，將三維標(biāo)志點(diǎn)標(biāo)注問題轉(zhuǎn)化為一個(gè)組合優(yōu)化問題，通過計(jì)算匹配代價(jià)的最小值得到標(biāo)注結(jié)果。區(qū)別于已有的圖匹配技術(shù)，利用篩選出的候選點(diǎn)，將邊匹配代價(jià)有效的融入了點(diǎn)匹配代價(jià)中，能在計(jì)算匹配代價(jià)時(shí)同時(shí)考慮點(diǎn)以及與該點(diǎn)相連的邊構(gòu)成的局部幾何結(jié)構(gòu)，克服了已有的方法只能求得近似解的缺陷。(b)在線性動(dòng)態(tài)系統(tǒng)預(yù)測結(jié)果的基礎(chǔ)上，加入人體骨骼模型以及姿態(tài)的約束，能夠在三維標(biāo)志點(diǎn)大量且長期丟失的情況下準(zhǔn)確的在線恢復(fù)出丟失三維標(biāo)志點(diǎn)的三維位置，重建出的人體運(yùn)動(dòng)數(shù)據(jù)具有良好的直觀視覺效果。(c)基于準(zhǔn)確的三維標(biāo)志點(diǎn)在線標(biāo)注技術(shù)和丟失三維標(biāo)志點(diǎn)在線恢復(fù)技術(shù)，能夠 實(shí)現(xiàn)魯棒的在線人體運(yùn)動(dòng)重建方法，解決了已有的表演動(dòng)畫技術(shù)實(shí)時(shí)重建的人體運(yùn)動(dòng)數(shù)據(jù)精度不高的問題?；谏鲜鰞?yōu)點(diǎn)，利用本發(fā)明所公開的方法，能夠根據(jù)捕獲到的三維標(biāo)記點(diǎn)序列，重建出高質(zhì)量的人體動(dòng)畫，可以應(yīng)用在如虛擬裝配操作訓(xùn)練、虛擬維修訓(xùn)練等需要實(shí)時(shí)采集并重建人體運(yùn)動(dòng)信息的很多沉浸式虛擬現(xiàn)實(shí)領(lǐng)域，以及計(jì)算機(jī)游戲和影視動(dòng)畫領(lǐng)域。


圖I是本發(fā)明的三維人體運(yùn)動(dòng)實(shí)時(shí)在線獲取方法的流程圖；圖2是一實(shí)施例中觀測對象的人體鏈狀結(jié)構(gòu)模型的下肢結(jié)構(gòu)的示例圖；圖3是一實(shí)施例中三維標(biāo)志點(diǎn)在下肢結(jié)構(gòu)中的示例圖；圖4是本發(fā)明的三維人體運(yùn)動(dòng)實(shí)時(shí)在線獲取系統(tǒng)的結(jié)構(gòu)圖。
具體實(shí)施例方式為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，以下結(jié)合附圖及實(shí)施例，對本發(fā)明的一種三維人體運(yùn)動(dòng)實(shí)時(shí)在線獲取方法及其系統(tǒng)進(jìn)行進(jìn)一步詳細(xì)說明。應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。本發(fā)明的三維人體運(yùn)動(dòng)實(shí)時(shí)在線獲取方法的流程如圖I所示步驟S100，在人體鏈狀結(jié)構(gòu)模型上標(biāo)注三維標(biāo)志點(diǎn)，構(gòu)造線性動(dòng)態(tài)系統(tǒng)和剛體約束并設(shè)置篩選三維標(biāo)志點(diǎn)候選點(diǎn)集的閾值和點(diǎn)匹配代價(jià)權(quán)值，根據(jù)所述的標(biāo)注的三維標(biāo)志點(diǎn)數(shù)據(jù)初始化并訓(xùn)練線性動(dòng)態(tài)系統(tǒng)；人體鏈狀結(jié)構(gòu)模型中包括剛體，每個(gè)剛體上具有標(biāo)志點(diǎn)；通過讀取觀測對象的人體鏈狀結(jié)構(gòu)模型，確定觀測對象的人體鏈狀結(jié)構(gòu)模型中剛體的數(shù)量和名稱，各個(gè)剛體上標(biāo)志點(diǎn)的數(shù)目和名稱，以及各剛體的拓?fù)浣Y(jié)構(gòu)。在一實(shí)施例中的觀測對象的人體鏈狀結(jié)構(gòu)模型的下肢結(jié)構(gòu)如圖2所示，下肢結(jié)構(gòu)的剛體包括腰部，左大腿，右大腿，左小腿，右小腿，左足，右足，共7個(gè)剛體；每個(gè)剛體中包括的標(biāo)志點(diǎn)如表I所述。
權(quán)利要求
1.一種三維人體運(yùn)動(dòng)實(shí)時(shí)在線獲取方法，其特征在于，包括 步驟1，在人體鏈狀結(jié)構(gòu)模型上標(biāo)注三維標(biāo)志點(diǎn)，構(gòu)造線性動(dòng)態(tài)系統(tǒng)和剛體約束并設(shè)置篩選三維標(biāo)志點(diǎn)候選點(diǎn)集的閾值和點(diǎn)匹配代價(jià)權(quán)值，根據(jù)所述標(biāo)注的三維標(biāo)志點(diǎn)數(shù)據(jù)初始化并訓(xùn)練線性動(dòng)態(tài)系統(tǒng)； 步驟2,篩選所述三維標(biāo)志點(diǎn)的候選點(diǎn)集,計(jì)算所述篩選的三維標(biāo)志點(diǎn)候選點(diǎn)集的匹配代價(jià)并標(biāo)注結(jié)果； 步驟3，重建當(dāng)前幀的人體姿態(tài)； 步驟4，計(jì)算在所述重建當(dāng)前幀的人體姿態(tài)下各三維標(biāo)志點(diǎn)的相對位置，利用所述的在重建當(dāng)前幀的人體姿態(tài)下各三維標(biāo)志點(diǎn)的相對位置和剛體約束恢復(fù)丟失的三維標(biāo)志點(diǎn)的位置； 步驟5，更新所述的線性動(dòng)態(tài)系統(tǒng)、剛體約束和篩選三維標(biāo)志點(diǎn)候選點(diǎn)集的閾值和點(diǎn)匹配代價(jià)權(quán)值。
2.如權(quán)利要求I所述的三維人體運(yùn)動(dòng)實(shí)時(shí)在線獲取方法，其特征在于，步驟2還包括 步驟21，利用所述的線性動(dòng)態(tài)系統(tǒng)對當(dāng)前幀各三維標(biāo)志點(diǎn)的位置進(jìn)行預(yù)測； 步驟22，與所述當(dāng)前幀各三維標(biāo)志點(diǎn)預(yù)測位置的距離小于所述設(shè)置篩選三維標(biāo)志點(diǎn)候選點(diǎn)集的閾值的三維標(biāo)志點(diǎn)被篩選為候選點(diǎn)； 步驟23，根據(jù)運(yùn)動(dòng)平滑性約束和剛體約束計(jì)算所述篩選的三維標(biāo)志點(diǎn)候選點(diǎn)集的匹配代價(jià)； 步驟24,在所述計(jì)算的三維標(biāo)志點(diǎn)候選點(diǎn)集的匹配代價(jià)最小的三維標(biāo)志點(diǎn)上標(biāo)注結(jié)果。
3.根據(jù)權(quán)利要求I所述的三維人體運(yùn)動(dòng)實(shí)時(shí)在線獲取方法，其特征在于，所述當(dāng)前幀的人體姿態(tài)是通過優(yōu)化的方法，根據(jù)所述當(dāng)前幀各三維標(biāo)志點(diǎn)的標(biāo)注結(jié)果和人體鏈狀結(jié)構(gòu)模型重建得到的。
4.如權(quán)利要求I所述的三維人體運(yùn)動(dòng)的實(shí)時(shí)在線獲取方法，其特征在于，在與所述丟失的三維標(biāo)志點(diǎn)在同一個(gè)剛體上的其他三維標(biāo)志點(diǎn)至少有一個(gè)是沒有丟失的情況下，利用剛體約束對所述丟失的三維標(biāo)志點(diǎn)的三維位置進(jìn)行恢復(fù)；某一剛體上的所有三維標(biāo)志點(diǎn)都丟失的情況下，利用運(yùn)動(dòng)重建得到的三維標(biāo)志點(diǎn)位置作為丟失三維標(biāo)志點(diǎn)的恢復(fù)位置。
5.如權(quán)利要求I所述的三維人體運(yùn)動(dòng)實(shí)時(shí)在線獲取方法，其特征在于，剛體約束的更新在與剛體約束相關(guān)的兩個(gè)三維標(biāo)志點(diǎn)都沒有丟失的情況下進(jìn)行；在更新所述篩選三維標(biāo)志點(diǎn)候選點(diǎn)集的閾值時(shí)，三維標(biāo)志點(diǎn)丟失，則增大所述篩選三維標(biāo)志點(diǎn)候選點(diǎn)集的閾值直到某一特定值，當(dāng)三維標(biāo)志點(diǎn)重新出現(xiàn)后，減小所述篩選三維標(biāo)志點(diǎn)候選點(diǎn)集的閾值直到初始指定值；在更新點(diǎn)匹配代價(jià)權(quán)值時(shí)，三維標(biāo)志點(diǎn)丟失，則減小所述三維標(biāo)志點(diǎn)的點(diǎn)匹配代價(jià)權(quán)值直到某一特定值，當(dāng)三維標(biāo)志點(diǎn)重新出現(xiàn)后，增大所述三維標(biāo)志點(diǎn)點(diǎn)匹配代價(jià)權(quán)值直到初始指定值。
6.一種三維人體運(yùn)動(dòng)實(shí)時(shí)在線獲取系統(tǒng)，包括 預(yù)處理模塊，用于讀取觀測對象的人體鏈狀結(jié)構(gòu)模型和標(biāo)注的三維標(biāo)志點(diǎn)數(shù)據(jù)，構(gòu)造線性動(dòng)態(tài)系統(tǒng)和剛體約束并設(shè)置篩選三維標(biāo)志點(diǎn)候選點(diǎn)集的閾值和點(diǎn)匹配代價(jià)權(quán)值，根據(jù)所述標(biāo)注的三維標(biāo)志點(diǎn)數(shù)據(jù)初始化并訓(xùn)練線性動(dòng)態(tài)系統(tǒng)； 標(biāo)注點(diǎn)標(biāo)注模塊，用于篩選三維標(biāo)志點(diǎn)的候選點(diǎn)集，計(jì)算所述篩選的三維標(biāo)志點(diǎn)的候選點(diǎn)集的匹配代價(jià)并標(biāo)注結(jié)果 運(yùn)動(dòng)重建模塊，用于重建當(dāng)前幀的人體姿態(tài)； 丟失標(biāo)志點(diǎn)恢復(fù)模塊，通過計(jì)算在重建當(dāng)前幀的人體姿態(tài)下各三維標(biāo)志點(diǎn)的相對位置，根據(jù)所述的在重建當(dāng)前幀的人體姿態(tài)下各三維標(biāo)志點(diǎn)的相對位置和剛體約束恢復(fù)丟失三維標(biāo)志點(diǎn)的位置 更新模塊，用于更新所述的線性動(dòng)態(tài)系統(tǒng)、剛體約束和篩選三維標(biāo)志點(diǎn)候選點(diǎn)集的閾值和點(diǎn)匹配代價(jià)權(quán)值。
7.根據(jù)權(quán)利要求6所述的三維人體運(yùn)動(dòng)實(shí)時(shí)在線獲取系統(tǒng)，其特征在于，標(biāo)志點(diǎn)標(biāo)注模塊還包括 預(yù)測模塊，通過所述的線性動(dòng)態(tài)系統(tǒng)對當(dāng)前幀各三維標(biāo)志點(diǎn)的位置進(jìn)行預(yù)測； 篩選模塊，篩選與所述當(dāng)前幀各三維標(biāo)志點(diǎn)預(yù)測位置的距離小于所述設(shè)置篩選三維標(biāo)志點(diǎn)候選點(diǎn)集的閾值的點(diǎn)，作為三維標(biāo)志點(diǎn)的候選點(diǎn)集； 計(jì)算模塊，根據(jù)運(yùn)動(dòng)平滑性約束和剛體約束計(jì)算所述篩選三維標(biāo)志點(diǎn)候選點(diǎn)集的匹配代價(jià)； 標(biāo)注模塊，在所述計(jì)算的三維標(biāo)志點(diǎn)候選點(diǎn)集的匹配代價(jià)最小的三維標(biāo)志點(diǎn)上標(biāo)注結(jié)果。
8.根據(jù)權(quán)利要求6所述的三維人體運(yùn)動(dòng)實(shí)時(shí)在線獲取方法，其特征在于，所述運(yùn)動(dòng)重建模塊還包括當(dāng)前幀的人體姿態(tài)是通過優(yōu)化的方法，根據(jù)所述當(dāng)前幀各三維標(biāo)志點(diǎn)的標(biāo)注結(jié)果和人體鏈狀結(jié)構(gòu)模型得到的。
9.根據(jù)權(quán)利要求6所述的三維人體運(yùn)動(dòng)實(shí)時(shí)在線獲取方法，其特征在于，所述丟失三維標(biāo)志點(diǎn)恢復(fù)模塊還包括在與丟失的三維標(biāo)志點(diǎn)在同一個(gè)剛體上的其他三維標(biāo)志點(diǎn)至少有一個(gè)是沒有丟失的情況下，利用剛體約束對所述丟失的三維標(biāo)志點(diǎn)的三維位置進(jìn)行恢復(fù)；某一剛體上的所有三維標(biāo)志點(diǎn)都丟失的情況下，利用運(yùn)動(dòng)重建得到的三維標(biāo)志點(diǎn)位置作為丟失三維標(biāo)志點(diǎn)的恢復(fù)位置。
10.根據(jù)權(quán)利要求6所述的三維人體運(yùn)動(dòng)實(shí)時(shí)在線獲取方法，其特征在于，更新模塊還包括剛體約束的更新在與剛體約束相關(guān)的兩個(gè)三維標(biāo)志點(diǎn)都沒有丟失的情況下進(jìn)行；在更新所述篩選三維標(biāo)志點(diǎn)候選點(diǎn)集的閾值時(shí)，三維標(biāo)志點(diǎn)丟失，則適當(dāng)?shù)脑龃笏龊Y選三維標(biāo)志點(diǎn)候選點(diǎn)集的閾值直到某一特定值，當(dāng)三維標(biāo)志點(diǎn)重新出現(xiàn)后，減小所述篩選三維標(biāo)志點(diǎn)候選點(diǎn)集的閾值直到初始指定值；在更新點(diǎn)匹配代價(jià)權(quán)值時(shí)，三維標(biāo)志點(diǎn)丟失，則減小所述三維標(biāo)志點(diǎn)的點(diǎn)匹配代價(jià)權(quán)值直到某一特定值，當(dāng)三維標(biāo)志點(diǎn)重新出現(xiàn)后，增大所述三維標(biāo)志點(diǎn)點(diǎn)匹配代價(jià)權(quán)值直到初始指定值。
全文摘要
本發(fā)明公開了一種三維人體運(yùn)動(dòng)實(shí)時(shí)在線獲取方法及其系統(tǒng)。該方法包括步驟1，標(biāo)注三維標(biāo)志點(diǎn)，構(gòu)造線性動(dòng)態(tài)系統(tǒng)和剛體約束并設(shè)置篩選三維標(biāo)志點(diǎn)候選點(diǎn)集的閾值和點(diǎn)匹配代價(jià)權(quán)值，根據(jù)所述標(biāo)注的三維標(biāo)志點(diǎn)數(shù)據(jù)初始化并訓(xùn)練線性動(dòng)態(tài)系統(tǒng)；步驟2，篩選候選點(diǎn)集，計(jì)算匹配代價(jià)并標(biāo)注結(jié)果；步驟3，重建當(dāng)前幀的人體姿態(tài)；步驟4，重建當(dāng)前幀人體姿態(tài)下各三維標(biāo)志點(diǎn)的相對位置，恢復(fù)丟失的三維標(biāo)志點(diǎn)的位置；步驟5，更新所述的線性動(dòng)態(tài)系統(tǒng)、剛體約束和閾值與權(quán)值。該方法解決了現(xiàn)有技術(shù)實(shí)時(shí)重建的人體運(yùn)動(dòng)數(shù)據(jù)精度不高的問題，重建出的人體運(yùn)動(dòng)數(shù)據(jù)具有良好的直觀視覺效果。
文檔編號G06T17/00GK102819863SQ20121027059
公開日2012年12月12日 申請日期2012年7月31日 優(yōu)先權(quán)日2012年7月31日
發(fā)明者夏時(shí)洪, 費(fèi)心宇, 蘇樂 申請人:中國科學(xué)院計(jì)算技術(shù)研究所