專利名稱：虛擬環(huán)境中的人為軌跡學(xué)習(xí)系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明的背景技術(shù)在當(dāng)前的動作學(xué)習(xí)系統(tǒng)中，學(xué)員由觀察和模仿教練的動作來獲取運動技巧。學(xué)員和教練的動作序列一般由攝像機(jī)進(jìn)行記錄和存貯在錄像帶上。一些系統(tǒng)將視頻數(shù)據(jù)加以數(shù)字化并將動作序列存貯進(jìn)計算機(jī)存貯器。學(xué)員在監(jiān)視器上觀察他的視頻圖象和將他的動作與教練的動作相比較。
SELSPOTTM和OptotrackTM為流行的人工動作分析系統(tǒng)，這些系統(tǒng)采用多個發(fā)光二極管標(biāo)示器固定到一主體上的組織上重要的位置。在攝像機(jī)記錄此主體的動作時計算機(jī)以予定次序驅(qū)動此標(biāo)示器。信號處理軟件編制在監(jiān)視器上被觀察主體的動作序列作為一生動的木偶形的或條棒形象。EliteTM采用反射式標(biāo)示器代替反光二極管。安裝在攝像機(jī)上的光源周期地照亮標(biāo)示器。軟件處理視頻圖象，產(chǎn)生體的動作序列。
美國專利No.3408750揭示訓(xùn)練學(xué)員打高爾夫的動作的方法。攝像機(jī)記錄學(xué)員站立在一專用平臺上揮動高爾夫球棒的視頻圖象。此平臺包括一面墻和被履蓋有矩形座標(biāo)網(wǎng)格圖形的地板。兩臺攝像機(jī)在學(xué)員揮動高爾夫球棒時記錄學(xué)員的側(cè)視圖和前視圖。第三攝像機(jī)記錄高爾夫球的結(jié)果軌道。學(xué)員在感知其身體在平臺上的相對于網(wǎng)格線的位置的情況下接受空間信息。
在常規(guī)指導(dǎo)學(xué)習(xí)期內(nèi)，學(xué)員步入平臺為擊球定位其身體。一預(yù)先記錄的教練利用同一設(shè)備的正面視頻圖象被投射在第一視頻顯示器上，并且預(yù)先記錄的教練的側(cè)面視頻圖象被投射到第二視頻顯示器上。教練的圖象被暫停在一起始位置上以便學(xué)員能將其身體作與教練的起始位置相對應(yīng)的編排。攝像機(jī)捕捉學(xué)員的側(cè)面和正面圖象將它們投射到緊靠在對應(yīng)的教練圖象旁的視頻顯示器上。當(dāng)學(xué)員就位時，他可開始一慢動作的或全速的重演教練圖象的側(cè)面和正面視圖。現(xiàn)在學(xué)員由視頻圖象轉(zhuǎn)移開他的注意集中力并在設(shè)法記住教練動作中的復(fù)雜難點的同時做擊球嘗試。這是固有的困難任務(wù)，因為在這一時刻學(xué)員的中心焦點在球上而不是在視頻顯示器上。因此，學(xué)員必須依賴他的記憶來調(diào)整它的動作以對應(yīng)于教練的動作。此后，教練可以慢動作或全速地演播記錄得的學(xué)員和教練的揮捧動作并對動作中的差異作口語的講評。未必學(xué)員能將正面和側(cè)面圖象加以組合來有效地接受三維的反饋。學(xué)員在擊球時要同時觀看視頻圖象幾乎是不可能的。學(xué)員被迫在顯示器和球之間轉(zhuǎn)移他的集中注意。這是一種為提供反饋給學(xué)員的無效和過時的方法，因為它強(qiáng)烈依靠學(xué)員的記憶、教練的說明和動作后的口語指示。
上述每一個系統(tǒng)中，均要求有多個攝像機(jī)來作三維動作分析。具有多于一個攝像機(jī)的系統(tǒng)需要復(fù)雜的同步化硬件和更健全的信號處理軟件?；跇?biāo)示器的系統(tǒng)的另外缺點是為確定三維定位一標(biāo)示器必須同時能被兩臺攝像機(jī)看到。在主體運動時，大部分標(biāo)示器均至少在少量幀中為攝像機(jī)視域所無法達(dá)到，從而降低系統(tǒng)的精確度。
先有技術(shù)的視頻協(xié)助的動作學(xué)習(xí)系統(tǒng)還帶來空間和時間上的問題?？臻g上的問題是因教練和學(xué)生多半體格大小不同而產(chǎn)生的。教練圖象和學(xué)生圖象的標(biāo)定需要復(fù)雜的信號處理技術(shù)。由于視頻訓(xùn)練是以重疊的圖象之間的差異為基礎(chǔ)的，教練學(xué)員圖象的固有的不重合導(dǎo)致重疊的圖象中的學(xué)員無法補(bǔ)償?shù)恼`差。已經(jīng)作出一種企圖以顯示教練的一系列靜態(tài)輪廓來替代教練的真實圖象來克服此空間問題的嘗試。在這一方法中，應(yīng)用了基于視頻的處理技術(shù)來計算教練的脫機(jī)動態(tài)模型。此模型不作實時計算而是脫機(jī)的，在隨記錄教練的動作之后延遲某些時間再進(jìn)行。然后將此教練動態(tài)模型隨同學(xué)員的實況視頻顯示一齊對學(xué)員顯示。
盡管這種方法可以解決空間問題，但卻無法解決時間的問題。時間的問題是難以將所顯示的學(xué)員與教練動作同步化，即就是在重放期間一個圖象可能會滯后另一個。教練/學(xué)員圖象中未加補(bǔ)償?shù)目臻g和時間上的差異會迷惑學(xué)員并帶來定時和動作困難。需要復(fù)雜的信號處理來使學(xué)員與教練圖象同步，而且即使具有經(jīng)同步的起始點，學(xué)員也不可能在監(jiān)視器上觀察其圖象與教練的圖象向的相對關(guān)系的同時將其注意力集中到要擊的球上。另外，實況視頻圖象要求在每一時間間隔內(nèi)以一定數(shù)量幀地記錄圖象。教練所作的動作多半伴有與學(xué)員不同的速度和加速度。在播放教練的和學(xué)員的動作時，學(xué)生所能獲得的數(shù)據(jù)是在該時刻學(xué)員位置時間與教練位置的比較。不可能給予學(xué)員任何有關(guān)教練相比較學(xué)員的速度或加速度的信息。
為改善視頻協(xié)助訓(xùn)練方法的就近努力是采用計算機(jī)存貯被攝像機(jī)捕捉的學(xué)員和教練動作數(shù)字圖象。計算機(jī)利用信號處理方法設(shè)法補(bǔ)償學(xué)員與教練間體型上的差異。在監(jiān)視器上顯示經(jīng)過更新的學(xué)員的視頻圖象，使得學(xué)員能以更新的形式觀察教練的與學(xué)員的動作之間的差異。分割屏幕和疊合技術(shù)被用于作棒狀外形、細(xì)節(jié)圖、或視頻圖象的形式的直觀反映。此系統(tǒng)要求學(xué)員在擊高爾夫球的實際作業(yè)與觀察視頻圖象間轉(zhuǎn)移他的注意力。如上述，這使得要依靠學(xué)員的記憶，而這是一種無效的跟蹤動作的方法。采用視頻圖象此系統(tǒng)還存在有上述的時間上的問題和因?qū)W員和教練體型差異所引起的空間問題，對此信號處理器是無法進(jìn)行補(bǔ)償?shù)摹１景l(fā)明概述本發(fā)明展示一種動作學(xué)習(xí)的設(shè)備和方法。本發(fā)明的設(shè)備包括為檢測運動的動作傳感裝置，響應(yīng)此動作傳感裝置的電子電路，計算機(jī)存貯器和顯示屏幕。電子電路在顯示器上生成對應(yīng)于所發(fā)生的學(xué)員的動作的虛擬圖象序列。同時在此顯示器上提供對應(yīng)于教練的動作的虛擬圖象序列。這樣學(xué)員即能模仿和學(xué)習(xí)教練的動作。
術(shù)語“虛擬圖象”被定義為動畫制作，以與視頻圖象相對而言。動畫制造由最小的信息量得來的圖形生成，例如由作為時間的函數(shù)的位置和/或定向而生成。視頻圖象是由視頻傳感器陣列檢測到的圖象，或是被拍攝在照相膠片上的電影。視頻圖象有時被簡化成較不復(fù)雜的圖象，例如棒形圖形或運動中身體的輪廓。這與人工生成的作為對運動中身體所收集到的數(shù)據(jù)的函數(shù)的生動的虛擬圖象相對照。
與視頻協(xié)助技術(shù)相反，本發(fā)明不依賴教練或?qū)W員的視頻圖象。而是在計算機(jī)監(jiān)視器上生成學(xué)員的運動的虛擬圖象序列，旁倚著對應(yīng)的教練運動的虛擬圖象序列。在本發(fā)明一優(yōu)選實施例中，計算機(jī)由被電子電路檢測得的位置和定向數(shù)據(jù)生成由學(xué)員使之投入運動中的要素的圖形圖象。計算機(jī)動畫制作產(chǎn)生深度感覺，由此生成運動中要素的三維重顯，它在學(xué)員運動期間作實時顯示。如果例如說要擊一個球，此球即在此虛擬環(huán)境下被看著擊出。學(xué)員能保持他專心集中于虛擬目標(biāo)，這與要求學(xué)員在顯示器與真實目標(biāo)之間轉(zhuǎn)移其注意的基于視頻的先有技術(shù)恰相反。學(xué)員的任務(wù)就是使學(xué)員的虛擬圖象序列在同一參數(shù)幀內(nèi)實時地模仿即仿真教練的虛擬圖象序列，完全在虛擬環(huán)境中。這為學(xué)員提供了現(xiàn)代的和有效的動作學(xué)習(xí)工具。
本發(fā)明中，學(xué)員最好被提供給有關(guān)他的肢臂的或由此學(xué)員使之運動的器械的所希望軌道的經(jīng)簡化的數(shù)據(jù)組，也稱之為“端點軌道”。很少或幾乎不明確地提供有關(guān)身體其他部位的姿態(tài)和動作的信息。在所述的實施例中，僅顯示一件器械或個別身體要素。在另一種辦法中，生成一相對不明確的整個身體的顯示而將此器械或個別身體要素以彩色和/或詳細(xì)地加以突出。學(xué)員可發(fā)揮他自己的技巧策略來協(xié)調(diào)其身體的其余部位以達(dá)到所希望的端點軌跡。將運動的時間和空間特點加以分離的計算機(jī)軟件使學(xué)習(xí)更為簡便。本發(fā)明中所生成的學(xué)員的和教練的動作的“虛擬”圖象是大小和形狀類似的，所以它們能克服與視頻協(xié)助學(xué)習(xí)系統(tǒng)相關(guān)連的空間上的問題。在實時進(jìn)行訓(xùn)練時圖象被在時間上自動同步，而克服先有技術(shù)系統(tǒng)時間上的限制。教練的虛擬圖象運動，而學(xué)員以教練的動作調(diào)整他的動作，從而自然能產(chǎn)生時間上的同步。
運動傳感裝置可被附著在一器械，例如網(wǎng)球拍上。此裝置提供計算機(jī)關(guān)于作為時間的函數(shù)的此器械的位置和定向信息。電子電路由檢測到的器械的位置和定向生成此器械的虛擬圖象，并在學(xué)員移動此器械時根據(jù)被改變的速度和加速度實時更新這一圖象。此電子電路可以由在計算機(jī)上運行的軟件實現(xiàn)。
本發(fā)明的目的是幫助學(xué)員實時地學(xué)習(xí)一公共座標(biāo)畫面內(nèi)的教練的動作示范。例如說，學(xué)員學(xué)習(xí)新的網(wǎng)球拍動作按如下三個步驟來實現(xiàn)。首先，運動傳感裝置被連接到教練的手或網(wǎng)球拍上，并利用一存貯器裝置記錄下教練和動作。其次，學(xué)員將此運動傳感裝置戴在他們的手上或網(wǎng)球拍上。第三，將對應(yīng)于教練的運動的圖象序列在屏幕上顯示，學(xué)員以使得其動作的虛擬圖象與教練的虛擬圖象相適應(yīng)地?fù)]動其網(wǎng)球拍這樣來模仿教練。學(xué)員的目標(biāo)是要模仿教練的軌道。教練的動作可以是按照學(xué)員的需要由被存貯的教練的動作的程序庫中選擇的，或者可以改變其速度來展示教練的動作與學(xué)員先前動作之間的不同。電子電路可逐漸增加教練的動作的圖象序列的速度，直至在學(xué)員成為熟練地跟隨教練的動作時達(dá)到全速。
為改善學(xué)員的學(xué)習(xí)可能采用各種不同的反饋方法。例如電子電路可在學(xué)員動作的虛擬圖象與教練動作的虛擬圖象之間生成線條。此線條表示動作間在位置上的相對差異。在此差異增加或減少時改變這些線條的長度。也可由電子電路生成聲音音調(diào)來對學(xué)員提供位置上的相對差異。在這種情況下，在學(xué)員與專家的動作間的偏差變化時此音調(diào)即改變頻率。由學(xué)員使之運動的器械的放大視圖提供器械的位置和定向的更精確的反饋。這在動作的目標(biāo)是要擊打一靜止的或運動中的拋射體的情況下特別有用。可將器械和拋射體的陰影投射到監(jiān)視器圖象中的一虛擬墻壁或地板上，來給學(xué)員提供一輔助的參數(shù)維量。
運動傳感裝置可以是一個在一固定單元上發(fā)射定向的電磁場并被至少一個附設(shè)在運動中的要素上的運動單元所接收的裝置。
本發(fā)明提供教練的動作與學(xué)員的動作之間的密切融合。學(xué)員被提供以實時的直觀反饋，而不必信賴他的記憶和他對教練動作的視覺推斷。另外，本發(fā)明還在大小、復(fù)雜性和成本上較早先的運動分析系統(tǒng)有所降低。
本發(fā)明中，提供給學(xué)員的反饋被簡化成一剛性對象，例如一器械或肢臂的端點軌跡的虛擬圖象。這正與通常要采集數(shù)個肢臂的數(shù)據(jù)和顯示學(xué)員或教練整個身體的視頻圖象或再現(xiàn)的視頻圖象的先有技術(shù)形成對照。先有技術(shù)的方法阻滯學(xué)習(xí)過程，因為它使得學(xué)員要承受過重的反饋數(shù)據(jù)。本發(fā)明中的消除不必要的反饋以使得學(xué)員能專心于實際目標(biāo)、亦即生動的終端操縱裝置的動作而簡化學(xué)習(xí)過程。學(xué)員能使他自己獨特的動作特點來適應(yīng)對教練的終端操縱裝置的動作的模仿，而不是設(shè)法模仿教練的全部動作。附圖的簡要說明由下面對如附圖中所表示的本發(fā)明的優(yōu)選實施例的較具體的說明將會清楚了解本發(fā)明的上述的和另外的目的、特點和優(yōu)點，附圖中同樣的參數(shù)符號在所有不同圖中均指相同部分。附圖不一定是按比例的，重點只是要說明本發(fā)明的原理。所列附圖為

圖1說明按照本發(fā)明的運動訓(xùn)練系統(tǒng)的基本組成部件；圖2為按照本發(fā)明的用于訓(xùn)練學(xué)員以一球拍擊球的動作的虛擬環(huán)境的監(jiān)視器圖象；圖3說明運動跟蹤發(fā)射器的基準(zhǔn)軸與安裝在球拍上的運動跟蹤傳感器即接收器的軸間的相互關(guān)系；圖4為按照本發(fā)明的實踐方式的圖形說明；圖5為按照本發(fā)明的訓(xùn)練方式的圖形的說明；圖6為按照本發(fā)明的反饋方式的圖形說明；圖7為本發(fā)明的運行流程圖，表明其閉環(huán)性質(zhì)；圖8A和8B為系統(tǒng)軟件的詳細(xì)流程圖；圖9為說明虛擬環(huán)境中的輔助反饋方法的監(jiān)視器圖象，包含學(xué)員與專家間的三維相對定位和作在虛擬球拍間的說明它們之間距離和定向的差異的線條；圖10為一監(jiān)視器圖象，包含學(xué)員的虛擬球拍相對于專家的球拍的揮動的圖形反饋和為提供改善的深度感覺的球拍和球的陰影線；
圖11為一反饋方式的監(jiān)視器圖象，生成球拍的放大圖象以改善精度；圖12A、12B為應(yīng)用于運動學(xué)習(xí)的本發(fā)明的實施例；圖13A、13B為應(yīng)用于休整學(xué)習(xí)的本發(fā)明的實施例；圖14為作擊乒乓球動作的虛擬訓(xùn)練的監(jiān)視器圖象；圖15表明為監(jiān)視學(xué)員在圖14的環(huán)境中的訓(xùn)練中動作的改善的試驗性實施例；圖16為此試驗的第一次測試的訓(xùn)練結(jié)果的圖示，比較對照、領(lǐng)示和訓(xùn)練組中學(xué)員的改善；圖17為此試驗的第二次測試的訓(xùn)練結(jié)果的圖示，比較對照和訓(xùn)練組中的學(xué)員所作訓(xùn)練之間的改善；和圖18A～18C分別為對利用此仿真器的試驗性訓(xùn)練組的、對實際作業(yè)上的訓(xùn)練組的和對對照組的端點軌道的三維對影圖。優(yōu)先實施例的詳細(xì)描述本發(fā)明在與學(xué)員的同一參數(shù)平面(幀)中生成教練的動作的圖象，提供較先前系統(tǒng)更有效的學(xué)習(xí)方法。它提供教練的與學(xué)員的軌道的在空間和時間上的即時的直接比較。無需任何攝像機(jī)而因此不管傳感器的地點如何連續(xù)地記錄數(shù)據(jù)。這樣，就不必象其他系統(tǒng)中那樣要將傳感器分布在為記錄數(shù)據(jù)的攝像機(jī)的“可見”范圍內(nèi)。
本發(fā)明提供先有技術(shù)系統(tǒng)中有關(guān)的空間上和時間上的問題的解決措施。為克服空間上的問題，將終端操縱器例如高爾夫球棒的虛擬圖象與教練身體尺寸無關(guān)地提供給學(xué)員。而對于時間上的問題則對學(xué)員和教練雙方計算器械的動態(tài)的基于時間的模型。采用這種方式使得教練和學(xué)員的速度和加速度特性有可能進(jìn)行比較。進(jìn)而利用這種信息生成一虛擬環(huán)境，在此，學(xué)員揮動器械來打擊一運動中的或靜止的目標(biāo)，例如一個球，并觀察所得的軌道。這就使得學(xué)員能觀看計算機(jī)監(jiān)視器而同時擊中虛擬的球和注意教練的動作。實時地，此主體觀察學(xué)員的動作、教練的動作、和球。基本上訓(xùn)練是在一虛擬環(huán)境中進(jìn)行。
本發(fā)明與先有技術(shù)的其他區(qū)別還在于，本發(fā)明能提供動作的速度和加速度成分作為訓(xùn)練學(xué)員用的反饋信號。這種特點是與力學(xué)體系中的軌道控制理論相一致的。為使一主體符合教練的軌道或其他參數(shù)軌道，最好除教練的位置信息外還對學(xué)員提供教練的速度信息。僅有位置信息常常很難使一個人的動作適應(yīng)快速移動的教練軌道。視頻的應(yīng)用阻礙準(zhǔn)確測量速度，因此現(xiàn)有技術(shù)的基于視頻的技術(shù)對教練快速動作是無效的。
本發(fā)明還能計算由教練和學(xué)員的軌道推演得的中間運動軌道。這很重要，因為精通此動作的有經(jīng)驗的教練，例如專家或職業(yè)運動員的動作常常是與學(xué)員的極其不同的。一合適的訓(xùn)練系統(tǒng)應(yīng)當(dāng)不僅顯示正確的動作，而且還應(yīng)告訴學(xué)員如何遞增地改進(jìn)學(xué)員的動作以便能最終模仿大師的動作。當(dāng)教頭與學(xué)員軌道間的差別很大時，學(xué)員多半將不能辨別他的動作哪一方面需要改正。這導(dǎo)致學(xué)員的挫敗和最終會放棄練習(xí)。本發(fā)明提供一系統(tǒng)仿造教練和學(xué)員的運動和計算作為學(xué)員和教練的軌道之間添改的中間教練的軌道。就這樣，學(xué)員所作的很小的遞增改變很可能會對二個軌道間的誤差具有顯著效果，提供對學(xué)員的建設(shè)性的反饋而激勵學(xué)習(xí)。
圖1說明按照本發(fā)明的運動學(xué)習(xí)系統(tǒng)的主要組成部件?？删幊讨饔嬎銠C(jī)12包含有鍵盤14、鼠標(biāo)器15、監(jiān)視器10、存貯器11、和包含軟驅(qū)、硬驅(qū)和CD-ROM的永久存貯器13。運動傳感裝置15與計算機(jī)15通訊而最好是市場上能購買的一包括運動處理單元16、發(fā)射器18和傳感器20的運動跟蹤系統(tǒng)。傳感器20被附著在運動中的對象上，例如乒乓球拍22。
計算機(jī)12上運行的軟件連續(xù)地監(jiān)視在運動處理單元16產(chǎn)生的傳感器20的位置和定向數(shù)據(jù)和在監(jiān)視器10上更新運動中的對象22的圖象，用戶以鍵盤14和鼠標(biāo)15控制此軟件。
訓(xùn)練的第一步是由一在進(jìn)行該特定運動方面是專家的教練獲取動作序列。傳感器20被安置在教練的肢臂的適當(dāng)部位上或運動中的器械例如高爾夫球棒上。如果教練是一網(wǎng)球指導(dǎo)，傳感器可被置于網(wǎng)球拍的手柄上。發(fā)射器18被置于教練的作用范圍內(nèi)。傳感器20接收運動序列期間由發(fā)射器18產(chǎn)生的信號。在每一采樣期間運動處理單元16確定傳感器20相對于發(fā)射器18的位置和定向，并將數(shù)據(jù)傳送給計算機(jī)12，在此加以處理和存進(jìn)存貯器11、13。手柄上一單個傳感器足夠用來產(chǎn)生網(wǎng)球拍的端點軌道。雖然一端點軌道對一入門水平的學(xué)員可能足夠了，但如產(chǎn)生輔助的反饋，則較有經(jīng)驗的學(xué)員就可能更有效地得到改進(jìn)。為提供更多的反饋，可增加額外的傳感器來監(jiān)視主體上的其他感興趣的部位。例如前臂、上臂部、頭部、軀干、腿等。
采用同樣的傳感器配置的學(xué)員努力在空間上和時間上模仿教練的動作序列。計算機(jī)12在監(jiān)視器10上緊靠早先存貯的教練的軌道顯示學(xué)生的軌道的虛擬圖象。這樣，在每一動作期間學(xué)員均實時地接收到直接的反饋。
如果學(xué)員的動作涉及到與在監(jiān)視器10上所顯示的一運動中的或靜止的對象相接觸，計算機(jī)12則提供所得的對象軌道的情況。圖2中為一示例，它表明為學(xué)習(xí)以一球拍26擊乒乓球28的動作學(xué)員會在監(jiān)視器10上觀看什么。在此例中，學(xué)員學(xué)習(xí)以虛擬球拍26擊一計算機(jī)產(chǎn)生的虛擬乒乓球28，以一所希望的速度將虛擬球28送至目標(biāo)30的中心。虛擬球28被以一初始速度由初始位置投射出顯示在監(jiān)視器10上。虛擬球28的初始運動可被用來激發(fā)教練和學(xué)員的動作。當(dāng)球拍26擊球28時，所得到的球28的軌道由簡單動力學(xué)方程推演并顯示在監(jiān)視器10上。所得的軌道可能包含被傳到球上的旋轉(zhuǎn)和平移運動。教練的虛擬球拍24被顯示在與學(xué)員們虛擬球拍26同一參數(shù)幀內(nèi)，因而學(xué)員即能利用此提供學(xué)員的進(jìn)步的直接反饋的系統(tǒng)來實時地模仿教練的動作。
軟件使得學(xué)員能在慢動作直至實時的范圍有控制教練的速度。依靠慢動作運行學(xué)員可集中注意到所學(xué)的動作的細(xì)節(jié)。軟件能降慢擊虛擬球的所得軌跡從而學(xué)員能仔細(xì)地觀察球拍與球之間的碰擊點。
對一學(xué)員有可能有數(shù)個教練從而一學(xué)員能由數(shù)種觀點來學(xué)習(xí)運動技巧。在許多運用場合，一學(xué)員能由一個技術(shù)稍許優(yōu)于該學(xué)員的教練而不是由一個具有高級技能水平的專家處得到最有效的學(xué)習(xí)。一開始，學(xué)員可選擇一具有基本技巧的教練，而隨學(xué)員的進(jìn)步來增加教練的技術(shù)水平。
當(dāng)一學(xué)員重復(fù)擊虛擬球失誤或不能擊中目標(biāo)時，計算機(jī)可進(jìn)行干預(yù)。在重復(fù)的失敗后軟件可降低教練的技巧水平，使學(xué)員能重新集中于基本訓(xùn)練，提供直接反饋給學(xué)員使之能立即校正造成失敗的不足點。
再來參考圖1，在一優(yōu)選實施例中計算機(jī)12為一帶圖形能力的PC。此計算機(jī)應(yīng)為能與運動跟蹤裝置18、20良好接口的型式。
運動跟蹤裝置最好為一市場供應(yīng)的六自由度的絕對位量和定向傳感器，具有一帶三個正交排列的天線的發(fā)射器18和一帶三個正交配量的線圈的傳感器20。發(fā)射器18周期的由各天線發(fā)射低頻電磁波脈沖。由此反射器18發(fā)射的脈沖在感應(yīng)器20的線圈中感生電流。各線圈中感生的電流的相對強(qiáng)度取決于傳感器20線圈距發(fā)射器的距離和相對發(fā)射器18傳感器20的取向。運動處理單元16根據(jù)傳感器20線圈中感應(yīng)的電流計算傳感器20相對于發(fā)射器18的位置和定向。位置和定向數(shù)據(jù)被周期地由運動處理單元16傳送到計算機(jī)12。
現(xiàn)代運動傳感裝置產(chǎn)生脈沖式的DC磁場。DC技術(shù)提供同時跟蹤多個接收器、降低在存在有金屬時的畸變、和較AC電磁跟蹤器增長范圍的運行性能的優(yōu)點。AC技術(shù)引起多重應(yīng)用問題，亦即，對每一附加的傳感器，測量速率下降。例如，一流行的市場上提供的AC跟蹤器在以單個傳感器運行時能每秒作120次測量，對二傳感器為每秒60次測量和對四傳感器為每秒30次測量。利用近代DC電磁跟蹤器，不管接收器數(shù)量多少，測量速率總維持在每秒100～144次測量。這在為學(xué)習(xí)一需要數(shù)個肢臂、關(guān)節(jié)、或部件的反饋的動作的本發(fā)明中采用多于一個傳感器時是有益的。
DC電磁技術(shù)還使得因附近的金屬而引起的磁場畸變減少。在導(dǎo)體金屬例如不銹鋼和鋁附近的電磁場連續(xù)地感生渦流，造成測量中的重大歪曲。另一方面，DC磁場不在附近的導(dǎo)體金屬中感生連續(xù)的渦流效應(yīng)。結(jié)果，DC運動跟蹤器總的說將較之AC運動跟蹤器對導(dǎo)體金屬干擾的敏感低于3～10倍。至于黑色金屬，DC技術(shù)一般較AC技術(shù)對誤差的敏感要低5倍。
DC電磁技術(shù)還提供較AC技術(shù)在范圍上的改善。在接收器距離發(fā)射器8英尺處可得到完全的準(zhǔn)確度。對于超長范圍性能，可將DC發(fā)射器作為以8英尺間距的陣列，例如一以四個發(fā)射器分隔開置于一8英尺正方形的角上的陣列將覆蓋一24英尺×24英尺的具有完全的準(zhǔn)確度的空間。作為比較，市售的AC磁技術(shù)在發(fā)射器的2.5英尺之內(nèi)為完全的準(zhǔn)確度，準(zhǔn)確度在2.5英尺至10英尺的范圍能遞減。
如圖3中所示，與一典型運動跟蹤裝置相關(guān)聯(lián)的有二個坐標(biāo)系統(tǒng)，第一個是發(fā)射器18的坐標(biāo)系統(tǒng)，它在空間上是固定的。第二個是傳感器20的坐標(biāo)系統(tǒng)，在三度空間中作自由運動。傳感器20基準(zhǔn)幀(平向)相對于發(fā)射器18基準(zhǔn)幀的位置和定向信息由運動處理單元16提供。這一信息以1×6向量的形式存貯
其中，Xsensor、Ysensor、和Zsensor沿三個主軸傳感器20相對于發(fā)射器18的位移，而ψ、θ和φ為傳感器20相對于發(fā)送器18的方位、高度和傾側(cè)定向。方位被定義作為X和Y坐標(biāo)圍繞Z軸的旋轉(zhuǎn)。高度被定義為被轉(zhuǎn)動的Z和X坐標(biāo)圍繞被轉(zhuǎn)動的Y軸的旋轉(zhuǎn)。傾側(cè)為定義為被轉(zhuǎn)動的X和Z坐標(biāo)圍繞X軸的旋轉(zhuǎn)。
在本發(fā)明一實施例中，來自運動處理單元16的數(shù)據(jù)通過RS-232串行端口以38.4K波特速度被發(fā)送到PC12。在PC12上運行的軟件利用經(jīng)緩存的中斷驅(qū)動通信協(xié)議，它保證無數(shù)據(jù)丟失。計算機(jī)為一具有IntelTM處理器、五兆字節(jié)RAM和Super-VGA監(jiān)視器的標(biāo)準(zhǔn)PC。本發(fā)明者以C語言和采用C++編譯程序的匯編語言開發(fā)軟件。
本發(fā)明人以匯編語言開發(fā)的經(jīng)優(yōu)化的圖形庫產(chǎn)生在訓(xùn)練時期為用戶掌握的三維對象模型。系統(tǒng)每秒生成約60幀，得到高質(zhì)量動畫制作效果。圖象以640×480象素的分辨率作256種彩色再現(xiàn)。一標(biāo)準(zhǔn)照明組件被用于作逼真的三維透視圖。
圖4中表示本發(fā)明被應(yīng)用于訓(xùn)練學(xué)員擊乒乓球的動作的圖形。學(xué)員50覺察到虛擬球拍52方向上射出的虛擬球28。訓(xùn)練的目的是學(xué)習(xí)以虛擬球拍52擊虛擬球28將其送入標(biāo)的30的中心的動作。
由于運動跟蹤裝置連續(xù)的監(jiān)視傳感器20的位置和定向，一剛性體例如乒乓球拍22的端點軌道可以利用安裝在球拍18的手柄上的單個傳感器20確定。虛擬球拍52在監(jiān)視器10上顯示不包括學(xué)員的手臂或軀體。僅顯示球拍，學(xué)員可集中注意于要學(xué)習(xí)的動作的最重要的部分，即就是球拍的端點軌跡，主體(學(xué)員)發(fā)展他自己的為協(xié)調(diào)其身體其余部分的有應(yīng)用定義的技巧來達(dá)到該所希望的端點軌跡。
可增加輔助傳感器20來提供學(xué)員身體的位置的動畫制作，對學(xué)員產(chǎn)生更詳細(xì)的反饋。通過更多的傳感器而得的輔助反饋通常對剛開始的學(xué)員不一定是有益的，因為這可能給初學(xué)者以超量信息的過重負(fù)擔(dān)。在學(xué)員成為熟習(xí)模仿終端操縱器的動作時，可以增加輔助傳感器來使學(xué)員能注意動作的更復(fù)雜的細(xì)節(jié)。例如，可能將傳感器附著到手、前臂、軀干、和/或腿上，以便學(xué)員能集中注意影響動作精度的肢臂的軌跡。例如說，一專業(yè)人員完成的終端操作器的動作可能只有采用輔助傳感器才能實現(xiàn)對其的改善。
此運動系統(tǒng)包含三種運動模式實踐，訓(xùn)練，和反饋。實踐模式如圖4中所示，在此學(xué)員實踐動作并逐漸熟悉此虛擬環(huán)境。在實踐模式中，在學(xué)員50揮動一其中裝有運動跟蹤傳感器20的真實的乒乓球拍22時，他觀察監(jiān)視器10上虛擬球拍52的實時反響。最初，產(chǎn)生虛擬球拍的動畫制作而沒有虛擬球，以使學(xué)員50熟悉此虛擬環(huán)境。當(dāng)學(xué)員50充分準(zhǔn)備了時，他可指示計算機(jī)在監(jiān)視器10上生成虛擬球28供學(xué)員以虛擬球拍52打擊，以將此虛擬球拍28送進(jìn)監(jiān)視器10上出現(xiàn)的標(biāo)的30的中心為目標(biāo)。
如圖5中所示，動作學(xué)習(xí)的下一階段是訓(xùn)練模式，在此在監(jiān)視器10上出現(xiàn)教練的球拍58B上和執(zhí)行將虛擬球28送進(jìn)標(biāo)的30的動作。在這一模式中學(xué)員的目的不在擊虛擬球28，而是促使學(xué)員的虛擬球拍56B的動作模仿教練的虛擬球拍58B擊虛擬球28時教練的動作。一開始，教練的動作表現(xiàn)為慢動作，由初始位置58A移動到最終位置58B以使得學(xué)員50能僅僅實踐動作的軌道。逐漸地，教練的球拍58B的速度被增加到實時速度，而已學(xué)會此軌道的學(xué)員就能致力于動作的速度。在學(xué)員模仿教練的能力改善時，計算機(jī)自動地增加教練的動作速度。
此軟件能確定學(xué)員的軌道中的那些包含與教練的軌跡偏離最大的部分。在隨后的顯示中，這些部分以慢動作圖形著重顯示，將學(xué)員50的注意集中到動作序列的尚未恰當(dāng)?shù)卣莆盏碾A段。這一特點補(bǔ)充著觀看受訓(xùn)人并提醒受訓(xùn)人的不正確動作的指導(dǎo)者的口頭說明。
在訓(xùn)練模式之后，學(xué)員回到實踐模式再次作實踐檢驗以便監(jiān)視他的進(jìn)步。再對學(xué)員提供一系列的虛擬球。在預(yù)定次數(shù)的實踐檢驗后系統(tǒng)轉(zhuǎn)換到反饋模式。
如圖6中表明的，反饋模式中被記錄的學(xué)員50的動作56A、B被重放疊合在教練的動作58A、B之上。學(xué)員56B的軌道偏離教練58B的軌道的后段被作了強(qiáng)化突出60。此軟件能在每一次實踐檢驗之后或預(yù)定的實踐檢驗次數(shù)之后顯示反饋，而該次數(shù)可加以適配來適應(yīng)于學(xué)員50的動作水平。學(xué)員50一般將達(dá)到一動作的穩(wěn)定狀態(tài)。在數(shù)次檢驗動作良好之后，學(xué)員有可能在接踵而來的數(shù)次檢驗中表現(xiàn)不佳。這些學(xué)員50重復(fù)地喪失標(biāo)的30的時間間隔是一轉(zhuǎn)換到訓(xùn)練模式或反饋模式的恰當(dāng)時機(jī)。
圖7為本發(fā)明的運行流程圖，表明其閉環(huán)性質(zhì)。在用戶70移動對象72時，運動傳感器72檢測運動并將有關(guān)此對象的位置和定向信息76送給PC80。PC以實踐、訓(xùn)練、或反饋模式運行，并按照運行模式在監(jiān)視器84上顯示所發(fā)生動作的動畫制作82。監(jiān)視器84實時地對用戶70提供直觀反饋86以使用戶能確定應(yīng)怎樣的改進(jìn)其動作。
圖8A、8B為系統(tǒng)軟件的詳細(xì)流程圖。程序以標(biāo)定傳感器相對于發(fā)射器的位置開始(100)。作出包含有球和標(biāo)的的三維運行空間(102)。讀取傳感器位置和定向(104)和按照傳感器位置和定向作出主體的球棒的三維模型(106)。接受給予球以初始速度(108)。
如果學(xué)員處于實踐模式(110)，則讀取傳感器位置和定向并記錄到文件(112)中。作出學(xué)員的球棒的三維模型和更新球的位置(114)。如果學(xué)員的球棒未擊中球(116)，則更新傳感器位置和定向并加以記錄(112)和更新學(xué)員球棒的模型及球位置(114)。當(dāng)球與球棒相接觸時(116)，計算撞擊的運動和球的加速度(118)并在屏幕上更新(120)。如果球未與標(biāo)的接觸(122)，再次更新球的位置(120)。在球撞擊到標(biāo)的后(122)，計算得分顯示給學(xué)員(124)和再次重復(fù)此過程(110)。
如果學(xué)員處于訓(xùn)練模式(110)，由文件讀取教練的軌跡(126)(見圖8B)，和作出教練的球棒的三維模型(128)。讀取學(xué)員的傳感器信息和作出學(xué)員球棒的三維模型并更新球的位置(130)。按用戶選擇的更新速度，更新教練球棒的位置(132)和直至完成教練的軌跡(134)，繼續(xù)更新學(xué)員球棒和教練球棒的位置。在完成教練的軌道之后(134)，計算學(xué)員與教練的動作的相關(guān)得分并顯示給學(xué)員(136)。由此重復(fù)此過程(110)。
形成教練的動作的一種替換途徑是記錄學(xué)員的動作而后對計算機(jī)編程來預(yù)測類似于學(xué)員的動作的方式能成功的將球送入標(biāo)的的軌道。利用由使用者推導(dǎo)得的教練軌道來替代預(yù)先記錄的教練軌道，學(xué)員能由他自己的風(fēng)格學(xué)到和完善自己的動作而不致被迫采取對此學(xué)員可能是很牽強(qiáng)的動作。
形成教練動作的另一途徑是自我訓(xùn)練。在此記錄學(xué)員的數(shù)個檢驗動作直至至少一個動作提供所希望的結(jié)果。計算機(jī)選擇具有此最好結(jié)果的動作序列，并利用該序列來訓(xùn)練學(xué)員。
在一替代實施例中，除學(xué)員的球拍外還可在教練的球拍上安裝傳感器。在監(jiān)視器上可實時的顯示教練和學(xué)員雙方的動作。這樣，學(xué)員即可在存貯器中的教練的動作之外還可由現(xiàn)場的教練處學(xué)習(xí)。
充分的論據(jù)表明，在肢臂運動過程中，“終端操作器”的運動作為學(xué)習(xí)一動作的控制變元起著突出的作用。此終端操縱器可被看作為一用來與環(huán)境交互作用的部件。例如，在以一支粉筆寫字時，不管它以手或腳握住，或者它是被附著在一被綁在上臂上的細(xì)桿的端部，此終端操縱器總是粉筆尖。眾所周知，即使臂、手或腳的不同關(guān)節(jié)用作為此終端操縱器，筆跡總保留有其特征。不管直觀反饋和環(huán)境中動態(tài)條件如何變化，簡單的到達(dá)動作總維持它們的特性。生物運動方面的實驗已證明，附著在一于黑暗中運動的人的數(shù)個關(guān)節(jié)上的LED足以產(chǎn)生某人的輪廓，甚至還包含有此人的個性特征的信息。這些研究已提出，最高級的運動規(guī)則和控制以肢臂的終端操縱器運動作為目標(biāo)，并且由視覺系統(tǒng)所提供的大部分運動信息均包含在終端操縱器運動中。
可以用于顯示關(guān)于終端操縱器的運動的反饋方式有許多具體形式。一種可能是利用作為時間的函數(shù)的不同變元的圖形?？梢允〕切┍徽J(rèn)為是不重要的動作變元，由此來簡化學(xué)員動作與教練動作之間的比較。另外，作為時間的函數(shù)的位置的圖形可被用于訓(xùn)練一維的手臂動作。以這種方式，可將教練動作的圖形疊加在學(xué)員的動作之上來比較差別。就它們本身而言，這些方法因兩種原因是不合適的。第一，當(dāng)反饋涉及數(shù)個變元時，就象幾乎任一現(xiàn)實作業(yè)中的那樣，很難同時解釋和比較數(shù)個圖形。第二，即使這種顯示是可能的，也不能有把握的說這種不一般形式的動作信息將會容易地被傳遞到學(xué)員的運動系統(tǒng)中。
被結(jié)合到本發(fā)明中的優(yōu)選反饋方法是利用足夠的指明動作在空間中的絕對位置的圖形記號的終端操縱器的動畫制作。由于正常情況下的視感運動系統(tǒng)接收一運動形式的視覺反饋，這種直接的顯示便于處理被增大的反饋。動畫制作將動作的顯示壓縮到最重要的變元。生動的特點易于由視線提取而被結(jié)合進(jìn)學(xué)員的動作。將學(xué)員的動作與教練的相比較是完全在虛擬環(huán)境中利用終端操縱器的動畫制作在作為參考的與學(xué)員的同一幀內(nèi)同時和瞬間地顯示教練的動作來實現(xiàn)。
在學(xué)員的動作期間提供的瞬時的或同時的反饋較之先有技術(shù)的延遲的基于視頻的顯示方法具有數(shù)個潛在的優(yōu)點。利用同時的反饋，學(xué)員能利用在線的實時的校正而無需依賴記憶。同時反饋的另一優(yōu)點是運動系統(tǒng)無需存貯關(guān)于剛剛完成的動作的信息，而僅在校正反饋成為可用時才進(jìn)行存貯。
圖9～12表示可替代的反饋方法。圖9中在教練的虛擬球拍320與學(xué)員的虛擬球拍322之間作圖形線即弦線314。弦線314表示虛擬球拍320、322之間的任一時刻位置上的相對差異。在學(xué)員較接近地模仿教練的動作時，弦線314即成為較短而因此對學(xué)員較少覺察到。學(xué)員認(rèn)為這是他動作正確的指示。學(xué)員的目的就是更改他的動作以使得他整個動作的范圍內(nèi)弦線314盡可能地短。
作為弦線314的替代措施，計算機(jī)可產(chǎn)生一在球拍320、322間的距離變化時改變的特定頻率的音調(diào)。例如，如學(xué)員的球拍運動接近教練的球拍運動320，則可產(chǎn)生一低調(diào)的音調(diào)。在學(xué)員的球拍與教練的球拍的運動距離增加時，可以產(chǎn)生遞增地與增高的音調(diào)，來對學(xué)員提供動作中相對差異的聲音反饋。
在圖象的頂部顯示教練球拍320C和學(xué)員球拍322C的放大的輪廓線。此輪廓線在將它們的定向軸于點P鎖定到一齊時顯示相互間的球拍的相對的三維定向。圖9中，很明顯學(xué)員的球拍322C在三維上都接近與教練的球拍320C對準(zhǔn)。
圖10為球拍在與圖9那些角度不同時的監(jiān)視器圖象?？捎^察到圖10中球拍間的弦線314較長，表明該瞬間學(xué)員球拍322的位置與教練的球拍320距離較遠(yuǎn)。另外由球拍的放大輪廓320C、322C可看到學(xué)員球拍322相對于教練的球拍320C的對準(zhǔn)在圖10中比在圖9中的差。教練的球拍320C顯示得比學(xué)員的球拍較平，表明教練的球拍320C顯示接近平行于虛擬臺308。學(xué)員球拍322C表現(xiàn)得寬得多，表明其定向接近垂直于臺308。
為改善深度感覺，作出了學(xué)員的球拍322D、教練的球拍320D、和球304D的陰影。此陰影也表明球拍相互間相對的三維定向。假定虛擬光線直接在上方，球的陰影304D較教練的球拍的陰影320D更接近圖象的后壁，表明球304較教練的球拍320要接近后壁。而陰影的寬還表明球拍相對于臺308的三維定向。學(xué)員的球拍322的瘦小陰影322D表明此球拍定向接近垂直于臺面。教練球拍320的較寬的陰影320D表明此球拍定向接近平行于臺308的平面。
教練和學(xué)員的軌道被在圖象的頂部給予展示，給學(xué)員提供輔助反饋。各圖象中，教練的軌道以虛線表示，學(xué)員的軌道以實線表示。第一圖象340A表示從側(cè)向看時的相對軌道，而第二圖象340B則表示由頂部看時的相對軌道。具有與專家的軌道最大的差異的學(xué)員軌道中的部分在所有三維中均很容易檢測。還顯示出一表示模仿專家的程度等級的全面評分340C。
圖11為單獨擊虛擬球304的虛擬教練球拍320和模仿虛擬教練球拍320的虛擬學(xué)員球拍的特寫視圖的監(jiān)視器圖象。由設(shè)置一特寫視圖，學(xué)員就能掌握在球拍320與球304接觸球拍的確實位置和其所造成的效果。這樣，學(xué)員就能學(xué)習(xí)如何以球拍的“著力點”(“SWEET-SPOT”)來擊球304，或?qū)W習(xí)對球304采用上旋、下旋、或側(cè)旋打法。
利用計算機(jī)，為訓(xùn)練一動作對反饋配置是沒有限制的。一個指導(dǎo)可以確定哪一種方法對一特定學(xué)員最有效，并能夠命定計算機(jī)來提供它。不同的反饋方法可能對某些類型的動作更適宜。此外，某些學(xué)員對不同類型的反饋會作出獨特的反應(yīng)。由于學(xué)員有選擇反饋的自由度，從而可提高學(xué)員的興趣并進(jìn)而加速學(xué)習(xí)進(jìn)程。
圖12A和12B分別說明應(yīng)用于學(xué)習(xí)揮動網(wǎng)球拍344和高爾夫棒346的本發(fā)明。在各情況下，均在投影屏幕348上顯示學(xué)員250的器械的虛擬圖象以提供器械實物大小圖象344A、346A。用于運動傳感器裝置的電磁發(fā)射器被埋置在計算機(jī)10或屏幕348中。傳感器220被附著到器械的手柄以提供位置和定向信息到計算機(jī)12，如上述那樣。一遙控開關(guān)354附著到學(xué)員250使學(xué)員能控制訓(xùn)練期間的狀態(tài)，例如，啟動專家的動作和改變訓(xùn)練模式。
本發(fā)明也適用于訓(xùn)練運動受傷病人來再學(xué)習(xí)運動技巧。研究人員當(dāng)前正在研究中樞神經(jīng)系統(tǒng)如何轉(zhuǎn)換肢臂的方向、擺幅、和速度的神經(jīng)表象，此神經(jīng)表象是一被變換成激活運動肢臂的肌肉的信號的表層的及皮層下的神經(jīng)元群體活動的函數(shù)。這一觀點證實大腦對運動的控制不是依靠直接控制肌肉，而是較抽象的，例如是依靠控制一運動肢臂或身體部分的端點軌道。這些軌道則是由運動程序執(zhí)行，此運動程序依靠激活被編碼在離散的脊髓神經(jīng)元中的本原的組合或力場來設(shè)置被用于此運動中的關(guān)節(jié)周圍的肌肉張力的均衡點。
事實是如果這種見解是真的話，則根據(jù)這樣的理論的處理技術(shù)比起當(dāng)前的基于肌動電流運動圖(EMG)生物反饋的方法將有效得多。在某些類型的病人中也有可能采用兩種辦法的組合會比單獨一種更有效。例如，如果一特定病人的傳出神經(jīng)興奮錯亂造成對將預(yù)計的軌道變換成一激活適當(dāng)本原的圖譜的神經(jīng)系統(tǒng)的部分的損傷，則這些辦法的組合可能更有效。
本發(fā)明在康復(fù)醫(yī)學(xué)中有廣闊的應(yīng)用，它可分成三類物理恢復(fù)醫(yī)學(xué)，喪失學(xué)習(xí)能力，工作場所醫(yī)學(xué)。物理恢復(fù)醫(yī)學(xué)應(yīng)用于中風(fēng)的存活者，腦外傷病人，和運動系統(tǒng)失調(diào)病人，他們的問題是要重新學(xué)習(xí)最基本的運動。這些運動可能涉及象開門或起床這樣簡單的事情，或者可能涉及到較復(fù)雜的動作如用筆墨或散步。這可包括矯形術(shù)和運動醫(yī)學(xué)。患有神經(jīng)發(fā)育失調(diào)并喪失學(xué)習(xí)能力的兒童依靠在基于計算技術(shù)的虛擬環(huán)境中模仿專家的運動過程可以催進(jìn)其直接掌握運動技能。在工作場所醫(yī)學(xué)和工人補(bǔ)償評估處置中，能實現(xiàn)病人評定過程的客觀的自動化，由此而使得為收集和分析病人資料所需的時間減少，并能產(chǎn)生一致的、準(zhǔn)確的、和能加以定量化的結(jié)果。
要學(xué)習(xí)的動作包括軀干控制、下肢控制和上肢控制。軀干控制可能涉及到在一坐的位置與一站立位置間的移動或在臥在床上、坐在床上和站立之間的移動。頭和/或肩的軌道可被用作訓(xùn)練用的反饋變元。第二個舉例是利用受傷的手臂在空間上達(dá)到各個地點。在計算機(jī)屏幕上可生成供病人要到達(dá)的虛擬標(biāo)的。
下肢控制可包括利用未受傷的肢臂前后共進(jìn)，同時努力控制受傷側(cè)的膝或臀部的運動軌道。傳感器可以在訓(xùn)練期間附著到受傷的膝或臀部和未受傷的腳上。
上肢控制包括將手臂舉起到向前的水平位置保持肘伸展開，和將手放到身體后面。其他例子包括使一受傷的臂在未受傷臂的表面作上大滑動和將手作前后運動，肘彎曲和伸直，同時保持肩20-40度的彎曲。所有這些動作都是對洗浴和著裝活動有用的部分運動技巧。
本發(fā)明還在工業(yè)上具有應(yīng)用，例如訓(xùn)練工人安全舉起重物體。訓(xùn)練工人進(jìn)行裝配勞動以及避免會出現(xiàn)如腕關(guān)節(jié)綜合癥。
本發(fā)明可應(yīng)用于各種設(shè)施中，包括康復(fù)醫(yī)院，門診病人康復(fù)單位，具有康復(fù)部門的急診醫(yī)院，家庭保健服務(wù)站，理療單位，和運動訓(xùn)練單位。恢復(fù)中的病人采用本發(fā)明可以順序地由住院病人恢復(fù)到門診病人，到最后住家附近的保健站的康復(fù)設(shè)施中連續(xù)進(jìn)行。本發(fā)明的主要受益包括行走障礙病人、腦外傷病人、運動系統(tǒng)失調(diào)病人、矯形病人、運動醫(yī)學(xué)病人、和運動員。
圖13表明本發(fā)明應(yīng)用為訓(xùn)練病人250作正常步行動作的康復(fù)。在此情況中傳感器220被附著在終端操縱器或病人250的腳350上。病人250觀看他的腳的虛擬圖象350A和試圖模仿教練的腳的虛擬圖象350B的運動。圖13B中，本發(fā)明應(yīng)用于訓(xùn)練病人250將湯匙352由桌面送到病人嘴邊的手運動的動作，病人觀看監(jiān)視器10并努力促使他的湯匙的虛擬象352A模仿專家352B的動作，如上述。
在虛擬真實環(huán)境中的訓(xùn)練被轉(zhuǎn)換到真實生活中。圖14-18說明一實驗設(shè)備和由一組在擊虛擬乒乓球的復(fù)雜的動作訓(xùn)練中的主體所得到的結(jié)果。在作虛擬真實性訓(xùn)練后，這些主體在實戰(zhàn)中地表現(xiàn)大大勝過接收常規(guī)指導(dǎo)的控制組的表現(xiàn)。
圖14說明擊乒乓球的虛擬訓(xùn)練的設(shè)備。訓(xùn)練期間，計算機(jī)在以一適當(dāng)高度置于球桌208的左側(cè)的監(jiān)視器200上顯示此實際設(shè)備的逼真的三維虛擬模擬(見圖15)。訓(xùn)練模式期間學(xué)員的目的是在空間和時間上模仿教練的虛擬動作序列。采用了照明、遮斷、和透視投影來提供深度提示。也包含有適當(dāng)?shù)穆曇魜泶嬖谔摂M球拍320與虛擬球304間撞擊時脫漏的感受信息。此模擬器中學(xué)員球拍322的位置以40hz更新，和傳感器延遲小于20毫秒.
訓(xùn)練期間，虛擬球304由虛擬斜面306下落，蹦出虛擬球桌308和被虛擬教練球拍320擊中將此虛擬球304送至虛擬標(biāo)的312。學(xué)員握住一真實的球拍但不用真實的球。學(xué)員的目的是控制他的真實球拍以使得他的虛擬球拍322能模仿教練的虛擬球拍320由起始位置322A到擊中虛擬球之后的結(jié)束位置322B的運動。在每一次動作后，如圖10頂部所示那樣，數(shù)字和圖形地同時顯示反映教練與學(xué)員軌道間相同程度的計分。也采用慢動作來使學(xué)員能集中注意揮拍的細(xì)節(jié)。
訓(xùn)練還包含有如圖10中所示的教練的虛擬球拍320與學(xué)員的虛擬球拍322間連接的圖形“弦線”314。此弦線表示學(xué)員的動作與教練的動作之間的相對位置誤差。弦線越長表示誤差越大。這使得學(xué)員能與速度成分分開地學(xué)習(xí)動作的空間成分，和使得學(xué)員還能在深度上作仔細(xì)調(diào)整。
在虛擬環(huán)境中訓(xùn)練之后，在真實環(huán)境中測試主體的乒乓能力。為此采用圖15中的實驗設(shè)備。
此實驗設(shè)備包括有一球桌208和一距最接近學(xué)員250的桌邊緣165cm裝設(shè)的標(biāo)準(zhǔn)乒乓球網(wǎng)212。網(wǎng)212上面15cm處附著黑色帶214，限定網(wǎng)212與帶214之間開口216。在網(wǎng)212的后面20cm處的桌面上置有方塊標(biāo)的218。通過一附著在球桌208的左側(cè)的斜面206上的透明管道202落下白色乒乓球204。球204以對一中等乒乓投射為典型的速度和角度射出此管道并以極為一致的和可預(yù)測的狀態(tài)蹦出球桌。學(xué)員250左手握球拍222站立在球桌208前適當(dāng)距離處。采用左手是因為所有學(xué)員自然都是用右的，因而這實際上是學(xué)習(xí)一全新的動作。
在實踐檢驗期間學(xué)員的任務(wù)是讓球204在球桌上蹦跳一次，用球拍222擊它和將其通過網(wǎng)212與帶214間的水平開口216送到標(biāo)的218。在各次檢驗后記錄一得分。檢驗間的時間間隔在5-10秒范圍內(nèi)。
一電磁傳感器跟蹤球拍的位置和定向。如上述，此傳感器包括附著到球拍222的小接收器220和置于球桌208之下的傳送器224。此傳感器以60hz對球拍的三維位置和定向進(jìn)行采樣并將數(shù)據(jù)送到計算機(jī)226。在實踐模式期間，計算機(jī)記錄實際球拍222的軌跡和得分。
第一次測試是對一13位主體的試驗組、一20位主體的對照組、和一19位主體的訓(xùn)練組進(jìn)行的。對各主體介紹設(shè)備和任務(wù)并給予圖15的真實環(huán)境中的10個實踐球，不記錄其得分。由一觀測者記錄各主體50次檢驗的基本線。各組的主體均能覺察球相對于標(biāo)的218的著地點，因而了解他們是否成功到達(dá)標(biāo)的。在此基線階段不給主體任何其他形式的反饋。此基線階段對各學(xué)員延續(xù)約10分鐘。
在收集基線數(shù)據(jù)后，對照組中的主體由一有經(jīng)驗的教練輔導(dǎo)。輔導(dǎo)包括討論約10分鐘的主體何處作得不對，輔助以示范和額外的實踐球。
與對照組相反，試驗組和訓(xùn)練組中的主體在圖14的虛擬環(huán)境中訓(xùn)練。訓(xùn)練以學(xué)員模仿教練軌道的慢動作部分開始，后跟以學(xué)員實踐動作的空間成分的被動模式。訓(xùn)練的這一階段對每一學(xué)員延續(xù)約1-2分鐘。在慢動作訓(xùn)練后，試驗組和訓(xùn)練組利用主訓(xùn)練模式，在虛擬環(huán)境中與教練同時重復(fù)所希望的動作，試驗組和訓(xùn)練組的各學(xué)員總共在訓(xùn)練模式中耗費約10分鐘，以對應(yīng)控制組中學(xué)員的10分鐘輔導(dǎo)。試驗組和訓(xùn)練組間的僅有差別在于試驗組主體不被顯示虛擬環(huán)境中的球，而訓(xùn)練組主體則能在監(jiān)視器上覺察到教練的虛擬球拍擊虛擬球。
為確定主體是否得到改進(jìn)，在圖15的真實球中記錄第二單元50次檢驗。如在基線檢驗中那樣，在第二檢驗期間不給予任何輔助反饋。試驗組和訓(xùn)練組中的主體被指示鍛煉的目的是擊中目標(biāo)，而不一定由訓(xùn)練模式模擬器模仿教練的動作。
對各個主體記錄基線期間50次檢驗和第二次的期間中的50次檢驗的標(biāo)的擊中總數(shù)，由此獲得輔導(dǎo)或訓(xùn)練前后動作的量度。改進(jìn)被定義為由第一到第二時間期間動作中的絕對提高。在第二時間期間內(nèi)動作水平很低(少于5次命中)的主體不進(jìn)行分析。
圖16匯總動作水平結(jié)果。變化的分析表明所有組在第一個50次檢驗期間均以同樣的動作水平開始。對照組經(jīng)標(biāo)準(zhǔn)輔導(dǎo)得到第一單元與第二單元間平均得分上微小的改善。但訓(xùn)練組則表明在第二檢驗單元得分顯著上升和比對照組有更大的改善。
第二測試增加了任務(wù)的難度。如圖15中所示，一透明帶210以高度30cm在距學(xué)員250的80cm處附裝到球桌208。管道202被作得較長和以較低角度傾斜，使得球以高于第一測試的速度和較小角度蹦跳到更接近球桌208端部，相當(dāng)于較困難的發(fā)球。學(xué)員的任務(wù)是與第一測試相同的，附加的規(guī)則是球必須在透明帶210下面通過。這一任務(wù)要困難得多，因為它要求球的軌道基本為水平的，而第一測試中主體能以較高的拋物線軌跡來擊球，即一較易控制的擊球。虛擬訓(xùn)練環(huán)境反映上述中表明的具體變化其余完全相同。記錄新教練動作和顯示教練的球。
第二個實驗連續(xù)進(jìn)行三天，每天二個時間期間總共六個期間。10位主體的對照組再次在實際環(huán)境中進(jìn)行輔導(dǎo)和11位主體的訓(xùn)練組如第一實驗中那樣在虛擬環(huán)境中訓(xùn)練。對照組被給予30個實踐球并輔助以口頭輔導(dǎo)。訓(xùn)練組以在虛擬環(huán)境中訓(xùn)練開始各個時期。虛擬環(huán)境中的訓(xùn)練在主體的動作與教練的動作間的類似性得分滿足一預(yù)定的可接收值之后結(jié)束。對照和訓(xùn)練組可以作相同時間的實踐。在實踐期間對照主體可較訓(xùn)練組主體多擊50％的實際球。訓(xùn)練組中的主體的其余實踐時間被用于虛擬環(huán)境。
第二測試的結(jié)果作圖于17中。測試結(jié)果分析證明二組的動作水平均增加。訓(xùn)練組400的得分在第六和最后時期大大高于對照組402的得分。訓(xùn)練組404的改進(jìn)也再次大于對照組406的改進(jìn)。改進(jìn)被定義為第1天結(jié)束(時期2)到第3天的結(jié)束(時期6)動作水平的絕對增長。
第一測試結(jié)果表明采用虛擬環(huán)境和教練的終端操縱器軌道的訓(xùn)練方法所取得的改進(jìn)比實際練習(xí)加教練輔導(dǎo)的改進(jìn)更快。試驗組第一次測試中的結(jié)果在與訓(xùn)練組比較時表明，為有效地學(xué)習(xí)擊乒乓球的動作球必須在虛擬環(huán)境中顯示。很顯見，球的引入給訓(xùn)練組提供一參數(shù)時間幀，從而使訓(xùn)練組能正常地學(xué)習(xí)用于啟動動作的適當(dāng)時間。另一方面，試驗組決不在啟動時間訓(xùn)練，因而缺乏時間上的同步。第二測試證明至少在幾天內(nèi)技巧就得到了改善，因此由訓(xùn)練方法帶來的改進(jìn)不僅僅是一短期效果。事實上，訓(xùn)練組與對照組間發(fā)生的差異在第二測試中逐個時期增加。
圖18A-18C說明第二實驗中對照組與訓(xùn)練組的動作之間的差異的數(shù)量上的尺度。各圖均包括教練軌道330和學(xué)員軌道332。軌道上的環(huán)334對應(yīng)于周期性的采樣點。學(xué)員軌道332的主軸相當(dāng)于一組學(xué)員軌道的平均軌道。每一采樣點處管道的厚度為該點的標(biāo)準(zhǔn)偏移的1/3。在各采樣點，求取與平均軌道正交的平面而將在該采樣點的各個軌道正交地投射在此平面上。將二維正態(tài)分布配合到投射在各平面上的點，確定了一沿此分布的主軸定向的橢圓。為作較好的視覺表示以1/3圖示縮小該橢圓，用來確定對應(yīng)采樣點的管道的厚度。
圖18A-18C表明對虛擬環(huán)境中的訓(xùn)練組(圖18A)、真實任務(wù)時的訓(xùn)練組(圖18B)、和真實任務(wù)的對照組(18C)匯總的第二測試中的所有各個時期的軌道。立即可看到，訓(xùn)練組332A、332B中主體的軌道較之對照組332C的軌道更接近地模擬教練軌道330。也很顯見，碰擊點336周圍的變異性降低。大部分變異在深度尺寸x中。這在虛擬環(huán)境中的深度感覺不如真實環(huán)境中的深度那樣健全的情況下是在期望之內(nèi)的。在平行于模擬器中的平面投影的二維y、z中，在虛擬環(huán)境中訓(xùn)練的主體的軌道(圖18A)與真實任務(wù)的同樣主體的軌道(圖18B)相比在訓(xùn)練期間更具有一致性。
在根據(jù)學(xué)員與教練軌道間的距離量度作的定量分析中，證明訓(xùn)練組在實踐期間較之對照組大大地接近教練。訓(xùn)練組的一致性在虛擬和真實環(huán)境中均增大。在模擬器中開始訓(xùn)練時發(fā)現(xiàn)各主體的平均得分與到教練的距離間重大的相關(guān)性。這導(dǎo)致模擬器中的初始動作水平是實際動作水平的預(yù)測這一結(jié)論。
實驗證明，利用擴(kuò)大反饋的訓(xùn)練可能取得比在實際訓(xùn)練加輔導(dǎo)方法中更為明顯的提高。在第一測試中，模擬的虛擬環(huán)境中的訓(xùn)練取得直接改善動作水平的結(jié)果，大于由類似量的輔導(dǎo)所得到的改善。對第二測試中的困難任務(wù)，接收擴(kuò)大反饋訓(xùn)練的組的動作優(yōu)于被加以實際任務(wù)上類似額外實踐量的對照組。此改善持續(xù)三天，而所需的訓(xùn)練量隨時間減少。曾作出努力由考慮許多可能的擴(kuò)大反饋的特征中選擇那些似乎最適宜的特征來設(shè)計用于特定任務(wù)的理想訓(xùn)練方法。結(jié)果實現(xiàn)了巨大的動作水平收益，證實所作選擇。
盡管已參照其優(yōu)選實施例特定地展示和說明了本發(fā)明，本技術(shù)領(lǐng)域的熟知人員將會理解，有可能對之后在形式或細(xì)節(jié)上作各種改變而不偏離由所列權(quán)利要求中所確定的本發(fā)明的精神實質(zhì)和范疇。
例如，本發(fā)明可用于學(xué)習(xí)響應(yīng)一運動對象的動作，用于學(xué)習(xí)打擊一靜止對象的動作，和用于學(xué)習(xí)不涉及學(xué)員身體之外的對象的動作。涉及打擊運動對象的動作包括利用球拍如在乒乓球、網(wǎng)球、壁球、和軟式網(wǎng)球中擊運動著的球；利用一圓頭物體如球棒在棒球和板球中擊運動中的球；以身體的一部分如在手球中擊運動中的球；如在棒球和足球中接收和抓住運動中的對象。涉及將一靜止對象置于一運動中的動作包括拍擊曲棍球的球，推動高爾夫球，投籃球，和踢足球。不涉及身體之外對象的動作包括散步，滑冰和指揮管弦樂。
本發(fā)明與很大范圍的位置和定向傳感器技術(shù)相兼容，包含無線傳感器系統(tǒng)。
本發(fā)明不僅期望用于僅需單個傳感器如上述乒乓球例中學(xué)習(xí)動作，也是期望用于可能需要多個傳感器的更復(fù)雜的動作。例如，如果一乒乓運動員被考慮為不僅有關(guān)球拍的運動，還考慮在使乒乓球拍運動中他的肘、肩、和軀干的運動，則可在這些部位增加傳感器和對他的運動進(jìn)行分析并與利用同樣的傳感器陳列記錄動作的教練進(jìn)行比較。
取決與欲學(xué)習(xí)的動作，本發(fā)明利用大屏幕電視或投影電視而不是計算機(jī)監(jiān)視器可取得更好的結(jié)果。
權(quán)利要求
1．一訓(xùn)練系統(tǒng)，其特征是包括為檢測運動的運動傳感器裝置；顯示器；和電子電路，在學(xué)員運動期間響應(yīng)于運動傳感裝置并在顯示器上產(chǎn)生對應(yīng)于學(xué)員的動作的學(xué)員的虛擬圖象，和同時在顯示器上給出對應(yīng)于教練的動作的教練的虛擬圖象序列以使得學(xué)員促使其虛擬圖象序列模仿教練的虛擬圖象序列。
2．根據(jù)權(quán)利要求1中所述系統(tǒng)，其特征是電子電路適配以由在先前的學(xué)員動作與教練的動作之間的內(nèi)推來生成中間教練動作。
3．根據(jù)權(quán)利要求1或2中所述系統(tǒng)，其特征是電子電路適配以生成表示學(xué)員動作的虛擬圖象與教練動作的虛擬圖象間位置上的相對差別的圖形線，在此差別變化時線的長度改變。
4．根據(jù)權(quán)利要求1、2、或3中所述系統(tǒng)，其特征是電子電路適配以生成表示位置相對差別的音頻音調(diào)。
5．根據(jù)前述權(quán)利要求中任一個所述系統(tǒng)，其特征是運動傳感器裝置檢測被學(xué)員投入運動中的器械的運動且電子電路被適配以生成打擊拋射體的器械的正常的和放大的視圖。
6．根據(jù)前述權(quán)利要求中任一個所述系統(tǒng)，其特征是運動傳感裝置檢測被學(xué)員投入運動中的器械的運動且電子電路被適配以生成器械的陰影。
7．根據(jù)前述權(quán)利要求中任一個所述系統(tǒng)，其特征是還包括一存貯器，并由其中提取教練的虛擬圖象序列。
8．為訓(xùn)練動作的方法，其特征是包括有步驟以運動傳感器裝置檢測學(xué)員的動作；響應(yīng)學(xué)員的動作并實時顯示學(xué)員的虛擬圖象序列；和即與學(xué)員虛擬圖象序列同一參考幀來顯示教練運動的虛擬圖象序列，以使得學(xué)員能促使學(xué)員的虛擬圖象序列跟隨教練的虛擬圖象序列。
9．根據(jù)權(quán)利要求8中所述方法，其特征是還包括以在前面的學(xué)員的動作與教練的動作間的內(nèi)推來生成中間教練動作的步驟。
10．根據(jù)權(quán)利要求8或9中所述方法，其特征是還包括生成表示學(xué)員動作的虛擬圖象與教練動作的虛擬圖象之間位置上的相對差異的圖形線的步驟，此線在差異變化時改變長度。
11．根據(jù)權(quán)利要求8、9或10中所述方法，其特征是還包括生成表示學(xué)員的動作的虛擬圖象與教練的虛擬圖象間位置上相對差異的聲音音調(diào)的步驟，在差異變化時此聲音音調(diào)改變頻率。
12．根據(jù)權(quán)利要求8～11中任一個所述方法，其特征是運動傳感裝置檢測被學(xué)員投入運動中的器械的位置，且還包括交替顯示正常的和放大的器械視圖的步驟。
13．根據(jù)權(quán)利要求8～12中任一個所述方法，其特征是運動傳感裝置檢測被學(xué)員驅(qū)動的器械的位置，且還包括另外顯示器械的陰影的步驟。
14．根據(jù)權(quán)利要求8～13中任一個所述方法，其特征是由存貯器中提取教練動作的虛擬圖象序列。
全文摘要
在一訓(xùn)練人體的動作技巧的設(shè)備和方法中,學(xué)員根據(jù)對教練的動作的模仿進(jìn)行學(xué)習(xí)。教練的動作被動作傳感器檢測,由計算機(jī)加以數(shù)字化,然后被記錄在存貯器中。計算機(jī)在計算機(jī)顯示器上產(chǎn)生教練的虛擬圖象序列和此計算機(jī)所產(chǎn)生的虛擬環(huán)境中教練的供學(xué)員觀看和模仿的動作。被用于記錄教練運動的同一動作傳感裝置跟蹤學(xué)員的運動并在顯示器上實時地生成對應(yīng)于學(xué)員的運動及其與此虛擬環(huán)境的交互作用虛擬圖象序列,同時給出教練的運動的圖象序列。學(xué)員的任務(wù)是要模仿教練的運動。重復(fù)這種過程直至教練和學(xué)員的軌道在空間和時間上良好匹配。
文檔編號G09B19/00GK1211198SQ97192233
公開日1999年3月17日 申請日期1997年2月12日 優(yōu)先權(quán)日1996年2月13日
發(fā)明者伊米利奧·比茨, 費迪南多·A·穆薩瓦爾迪, 芮扎·夏德梅爾 申請人:麻省理工學(xué)院