本發(fā)明涉及計算機輔助技術(shù)，具體來講涉及、虛擬現(xiàn)實、體感技術(shù)和機器學(xué)習(xí)，用于訓(xùn)練火災(zāi)逃生技能。

背景技術(shù)：

自從深度攝像頭實現(xiàn)民用化以來，深度攝像頭開始廣泛應(yīng)用于游戲、監(jiān)控等領(lǐng)域，有些攝像頭不但可以探測深度圖像，還能識別人體，又稱為體感攝像頭，使用機器學(xué)習(xí)中的分類算法對體感攝像頭采集的人體的不同動作數(shù)據(jù)進行學(xué)習(xí)，可以實現(xiàn)對動作的分類識別，本系統(tǒng)使用虛擬現(xiàn)實作為主要顯示設(shè)備，應(yīng)用機器學(xué)習(xí)算法對體感攝像頭采集的人體動作進行分類，通過控制虛擬現(xiàn)實場景中的主角做出與人相同的動作，從而實現(xiàn)和場景中其它人或物的互動，系統(tǒng)以訓(xùn)練體驗者在遇到火災(zāi)時能夠正確完成逃生為目的，提供了多個火災(zāi)場景，通過教學(xué)和提示一步步引導(dǎo)體驗者完成相應(yīng)的任務(wù)，并以虛擬獎勵提升其積極性，系統(tǒng)的訓(xùn)練分為多個步驟和難度，每次訓(xùn)練前可以進行選擇，系統(tǒng)也會記錄體驗者每次的訓(xùn)練情況，并自動調(diào)整下一次訓(xùn)練。

技術(shù)實現(xiàn)要素：

本發(fā)明公開了一種基于虛擬現(xiàn)實和體感技術(shù)的火災(zāi)逃生訓(xùn)練系統(tǒng)，提供了學(xué)校、家庭和超市三個不同的火災(zāi)場景，以訓(xùn)練在不同場景中的火災(zāi)逃生技能，訓(xùn)練的方式可分為教學(xué)、分步訓(xùn)練和整體訓(xùn)練，并且可進行重復(fù)訓(xùn)練，系統(tǒng)在開發(fā)階段通過體感設(shè)備對人體的動作進行采集，并為訓(xùn)練過程中需要用到的動作按類別進行人工標(biāo)識，然后通過機器學(xué)習(xí)的算法對已經(jīng)具備標(biāo)識的動作進行學(xué)習(xí)，生成一個動作分類器，在訓(xùn)練過程中，通過體感設(shè)備采集人體動作，并使用動作分類器對動作進行分類，然后控制虛擬場景中的主角做出相應(yīng)動作，再通過虛擬現(xiàn)實設(shè)備向體驗者呈現(xiàn)場景，系統(tǒng)會根據(jù)體驗者上次的訓(xùn)練記錄或手動設(shè)置的情況自動安排本次的訓(xùn)練，當(dāng)體驗者根據(jù)系統(tǒng)的引導(dǎo)完成一定任務(wù)后，系統(tǒng)自動啟動獎勵機制，反之則顯示任務(wù)失敗字樣，最后更新訓(xùn)練記錄。

為實現(xiàn)本發(fā)明之目的，采用以下技術(shù)方案予以實現(xiàn)：

一種基于虛擬現(xiàn)實和體感技術(shù)的火災(zāi)逃生訓(xùn)練系統(tǒng)，包括主控器、輸入設(shè)備、輸出設(shè)備和訓(xùn)練模塊，其中輸入設(shè)備包括鍵盤、鼠標(biāo)和體感設(shè)備；輸出設(shè)備包括虛擬現(xiàn)實顯示器、耳機和顯示屏；訓(xùn)練模塊包括模型數(shù)據(jù)庫、訓(xùn)練信息庫、觸發(fā)器和動作分類器；其中：

所述主控器用于接收輸入設(shè)備輸入的信息，并將信息保存在訓(xùn)練模塊中，控制訓(xùn)練模塊的進程以及通過輸出設(shè)備輸出信息；

所述鍵盤和鼠標(biāo)用于人工輸入訓(xùn)練信息，所述體感設(shè)備用于采集人體運動信息；

所述虛擬現(xiàn)實顯示器用于顯示虛擬現(xiàn)實場景的畫面，所述耳機用于播放聲音；

所述模型數(shù)據(jù)庫用于存儲系統(tǒng)需要的虛擬現(xiàn)實中的場景、物品、人物、軌跡、動畫、動作、聲音、獎勵動畫；所述訓(xùn)練信息庫用于記錄場景標(biāo)識、難度、訓(xùn)練方式、獎勵效果標(biāo)識和訓(xùn)練記錄；所述觸發(fā)器用于檢測虛擬現(xiàn)實場景中的主角是否碰到特定的物品或到達某個范圍；所述動作分類器用于提前對不同種類的動作進行了學(xué)習(xí)和記錄，并在訓(xùn)練過程中實時根據(jù)體感設(shè)備采集的人體動作的特征進行分類。

所述的基于虛擬現(xiàn)實和體感技術(shù)的火災(zāi)逃生訓(xùn)練系統(tǒng)，其中：

輸入設(shè)備包含鍵盤、鼠標(biāo)和體感設(shè)備，其中體感設(shè)備用于采集人體動作的圖像，并自動生成骨骼數(shù)據(jù)，傳輸給主控器，鍵盤和鼠標(biāo)用于輸入訓(xùn)練信息。

所述的基于虛擬現(xiàn)實和體感技術(shù)的火災(zāi)逃生訓(xùn)練系統(tǒng)，其中：

輸出設(shè)備包括虛擬現(xiàn)實頭戴顯示器、耳機和顯示屏，虛擬現(xiàn)實頭戴顯示器用于顯示虛擬現(xiàn)實畫面，耳機用于播放聲音，顯示屏在訓(xùn)練前用于顯示訓(xùn)練信息，進入訓(xùn)練后，用于顯示體驗者在虛擬現(xiàn)實環(huán)境中的情況，可以用于觀察體驗者的視角或體驗者對應(yīng)的主角的行為，便于教師進行監(jiān)控。

所述的基于虛擬現(xiàn)實和體感技術(shù)的火災(zāi)逃生訓(xùn)練系統(tǒng)，其中：

在開發(fā)系統(tǒng)時，為訓(xùn)練過程中需要用到的動作提前建立相應(yīng)的數(shù)據(jù)庫，主控器根據(jù)體感設(shè)備采集的人體的動作數(shù)據(jù)，通過機器學(xué)習(xí)的分類算法對每類動作進行學(xué)習(xí)，生成一個動作分類器，訓(xùn)練前主控器從訓(xùn)練信息庫中調(diào)取之前的練習(xí)記錄，并根據(jù)記錄安排當(dāng)前的訓(xùn)練，如果通過鍵盤和鼠標(biāo)人工輸入了場景、難度、訓(xùn)練方式和獎勵效果等訓(xùn)練信息，則將這些信息記錄到訓(xùn)練信息庫中，并安排相應(yīng)的訓(xùn)練，進入訓(xùn)練后主控器調(diào)用模型數(shù)據(jù)庫中的各種模型，并通過輸出設(shè)備顯示，同時開啟體感設(shè)備，實時采集人體的動作，并使用動作分類器對動作進行分類，然后主控器控制虛擬現(xiàn)實場景中的主角做出相應(yīng)動作，并通過虛擬現(xiàn)實顯示器等輸出設(shè)備顯示相應(yīng)的畫面和聲音，當(dāng)主控器根據(jù)觸發(fā)器的反饋判斷其完成了一定的訓(xùn)練任務(wù)后，會播放一個虛擬獎勵，如果沒有按規(guī)定完成，則輸出任務(wù)失敗的消息，不論是否完成任務(wù)，均會更新訓(xùn)練記錄，用于調(diào)節(jié)此后的訓(xùn)練。

所述的基于虛擬現(xiàn)實和體感技術(shù)的火災(zāi)逃生訓(xùn)練系統(tǒng)，其中：

系統(tǒng)在開發(fā)階段通過體感設(shè)備對人體的動作進行采集，獲得骨骼數(shù)據(jù)(即將人體抽象成由幾十個骨骼點組成的“火柴人”，本系統(tǒng)用到的體感設(shè)備自帶此功能)，并為訓(xùn)練過程中需要用到的動作按類別進行人工標(biāo)識，這些動作有：行走、拿起毛巾、使用水杯弄濕毛巾、使用飲水機弄濕毛巾和用濕毛巾捂住口鼻，每一種標(biāo)識的動作都包含多個樣本，樣本由多人進行采集，每人每個動作采集多次，然后通過機器學(xué)習(xí)的算法對已經(jīng)具備標(biāo)識的樣本的特征進行學(xué)習(xí)，樣本的特征包含人體骨骼與骨骼之間形成的角度、骨骼點的速度、加速度等，學(xué)習(xí)的過程由成熟的機器學(xué)習(xí)算法自動進行，并最終生成一個動作分類器，在訓(xùn)練過程中，通過體感設(shè)備采集人體動作的骨骼數(shù)據(jù)，并使用動作分類器對動作進行對動作進行標(biāo)識，系統(tǒng)通過動作的標(biāo)識判斷體驗者當(dāng)前進行的動作，動作分類器能夠識別的動作類別受限于樣本的類別，樣本類別以外的動作，分類器一律不識別。

所述的火災(zāi)逃生訓(xùn)練系統(tǒng)，其中：在訓(xùn)練過程中，通過主控器通過接收體感設(shè)備采集的人體動作的骨骼數(shù)據(jù)，使用動作分類器對動作進行標(biāo)識，并根據(jù)動作的標(biāo)識判斷體驗者當(dāng)前進行哪一種動作，然后調(diào)用數(shù)據(jù)庫中的動作模型，控制場景中的主角做出相應(yīng)動作，該動作與受訓(xùn)者做出的動作為同一種類的動作，但不一定完全一致，動作分類器能夠識別的動作類別受限于樣本的類別，樣本類別以外的動作，分類器一律不識別。

所述的基于虛擬現(xiàn)實和體感技術(shù)的火災(zāi)逃生訓(xùn)練系統(tǒng)，其中：

訓(xùn)練信息庫包括場景、難度、訓(xùn)練方式、獎勵效果和訓(xùn)練記錄，訓(xùn)練開始前，可通過鍵盤和鼠標(biāo)輸入場景、難度、訓(xùn)練方式、獎勵效果這些訓(xùn)練信息，其中場景有學(xué)校、家庭和超市三種，分別對應(yīng)學(xué)校、家庭和超市環(huán)境下的火災(zāi)逃生訓(xùn)練，這三種訓(xùn)練除了場景和物品放置的位置不同，訓(xùn)練的步驟是相同的，難度分成簡單、中等和困難，在簡單模式下，系統(tǒng)會通過動畫、語音和標(biāo)記提醒體驗者完成相應(yīng)的任務(wù)，在中等難度下，有語音和標(biāo)記提示，在困難難度下不提示，訓(xùn)練方式分為教學(xué)、整體訓(xùn)練和分步訓(xùn)練，教學(xué)主要播放一段學(xué)校環(huán)境下幾個人物從火災(zāi)中逃生的動畫，并有一些旁白告訴體驗者正確應(yīng)對火災(zāi)的方法，整體訓(xùn)練是對整個火災(zāi)逃生進行訓(xùn)練，系統(tǒng)會記錄整體逃生的時間，分步訓(xùn)練包括拿毛巾、弄濕毛巾和逃離火災(zāi)現(xiàn)場，每個步驟都可以進行單次或重復(fù)訓(xùn)練，獎勵效果包括幾十種不同的獎勵動畫，可以選擇無獎勵、單個或多個獎勵，訓(xùn)練前主控器判斷是否有訓(xùn)練任務(wù)由輸入設(shè)備輸入，如果通過鍵盤和鼠標(biāo)人工輸入了訓(xùn)練信息，則主控器將這些信息記錄到訓(xùn)練信息庫中，并安排相應(yīng)的訓(xùn)練，如果沒有人工輸入訓(xùn)練信息，則從訓(xùn)練信息庫中調(diào)取受訓(xùn)者之前的練習(xí)記錄，并根據(jù)該記錄自動安排當(dāng)前的訓(xùn)練。

所述的基于虛擬現(xiàn)實和體感技術(shù)的火災(zāi)逃生訓(xùn)練系統(tǒng)，其中：

模型數(shù)據(jù)庫包含了整個虛擬現(xiàn)實用到的場景、物品、人物、標(biāo)記、聲音、動畫、動作和軌跡，在本系統(tǒng)中，具體可體現(xiàn)為學(xué)校、家庭和超市的場景，火焰、手帕、毛衣、水杯、飲水機、流動的水等物品。幾十個不同年齡不同性別的人物，閃光、箭頭、圓圈等標(biāo)記，教授部分語音、提示語音、背景音、獎勵和失敗語音等，教授部分動畫、火焰燃燒動畫、角色拿毛巾動畫、角色弄濕毛巾動畫、角色用濕毛巾捂住口鼻動畫、角色走路動畫等，以及角色運動軌跡，在訓(xùn)練中，主控器隨時調(diào)用這些數(shù)據(jù)并通過輸出設(shè)備輸出畫面和聲音。

所述的基于虛擬現(xiàn)實和體感技術(shù)的火災(zāi)逃生訓(xùn)練系統(tǒng)，其中：

觸發(fā)器不具備硬件實體，包含在整個處理系統(tǒng)環(huán)境中，用于檢測虛擬現(xiàn)實場景中人物和物品間的碰撞、觸碰，或人物是否到達指定位置范圍內(nèi)，每個觸發(fā)器都有具體的功用，例如毛巾、水杯、飲水機放置的位置有觸發(fā)器，當(dāng)體驗者對應(yīng)的主角行走到這些東西附近，觸發(fā)器反饋信號給主控器，然后主控器才會利用動作分類器檢測是否做出相應(yīng)動作，例如走到毛巾附近是否做出拿毛巾動作，教學(xué)樓、家庭和超市外的觸發(fā)器則用于檢測是否成功逃離火災(zāi)現(xiàn)場。

所述的火災(zāi)逃生訓(xùn)練系統(tǒng)，其中：在學(xué)校場景下的教學(xué)訓(xùn)練方式下，主控器從模型數(shù)據(jù)庫中載入相應(yīng)的訓(xùn)練模型，并控制輸出設(shè)備自動開始播放教學(xué)動畫，首先耳機播放火災(zāi)報警器的聲音，火災(zāi)報警器周圍顯示箭頭，并在屏幕前方顯示字幕，耳機播放相應(yīng)的提示語音，然后畫面突出顯示燃燒的火焰，火焰周圍顯示箭頭，屏幕前方的字幕和語音給出相應(yīng)的提示，之后播放虛擬人物拿毛巾的動畫，字幕和語音給出動作提示，接著依次播放主角使用水杯弄濕毛巾和使用飲水機弄濕毛巾的動畫，字幕和語音給出相應(yīng)的提示，然后場景切換到教室外的走廊上，安全出口周圍顯示箭頭，鏡頭自動向安全出口移動，字幕和語音為給出相應(yīng)的動作提示，最后顯示畫面自動從樓梯向下移動到教學(xué)樓外，字幕和語音給出相應(yīng)的動作提示，教學(xué)部分結(jié)束后，主控器更新訓(xùn)練記錄，然后退出。

所述的火災(zāi)逃生訓(xùn)練系統(tǒng)，其中：在學(xué)校場景的無提示拿手帕訓(xùn)練中，首先主控器載入模型數(shù)據(jù)庫中相應(yīng)的模型，然后通過輸出設(shè)備播放場景和聲音，同時開啟體感設(shè)備，體感設(shè)備將采集到的受訓(xùn)者的動作傳輸給主控器，主控器通過動作分類器判斷該動作的類別，如果動作是行走，則主控器控制場景中的主角朝對應(yīng)的方向行走，當(dāng)手帕周圍的觸發(fā)器檢測到主角靠近時，動作分類器開始判斷體驗者是否做出拿手帕的動作，如果在規(guī)定時間內(nèi)做出拿手帕的動作，主控器控制場景中主角的手進行拿手帕，并播放獎勵動畫，如果未在規(guī)定時間內(nèi)做出拿手帕動作，則顯示任務(wù)失敗字樣，不論任務(wù)是否完成，均更新訓(xùn)練記錄并退出。

所述的火災(zāi)逃生訓(xùn)練系統(tǒng)，其中：在學(xué)校場景的無提示弄濕手帕訓(xùn)練中，首先主控器載入模型數(shù)據(jù)庫中相應(yīng)的模型，然后通過輸出設(shè)備播放場景和聲音，同時開啟體感設(shè)備，體感設(shè)備將采集到的受訓(xùn)者的動作傳輸給主控器，主控器通過動作分類器判斷該動作的類別，如果動作是行走，則主控器控制場景中的主角朝對應(yīng)的方向行走，如果進入的是使用水杯弄濕手帕訓(xùn)練，水杯周圍的觸發(fā)器檢測到主角靠近，則動作分類器開始判斷體驗者是否用拿著手帕以外的手拿起水杯并將水杯里的水傾倒在手帕上的動作，如果完成該動作，主控器控制場景中的主角進行相應(yīng)動作，如果進入的是使用飲水機弄濕手帕訓(xùn)練，飲水機周圍的觸發(fā)器檢測到主角靠近，則動作分類器開始判斷體驗者是否用拿著手帕以外的手打開飲水機開關(guān)并用手帕接住流出的水的動作，如果完成該動作，主控器控制場景中的主角進行相應(yīng)動作，如果在規(guī)定時間內(nèi)完成弄濕手帕的動作，主控器控制輸出設(shè)備并播放獎勵動畫，如果未在規(guī)定時間內(nèi)完成弄濕手帕的動作，則顯示任務(wù)失敗字樣，不論任務(wù)是否完成，主控器均更新訓(xùn)練記錄并退出。

所述的火災(zāi)逃生訓(xùn)練系統(tǒng)，其中：在學(xué)校場景的無提示逃離火災(zāi)現(xiàn)場訓(xùn)練中，首先主控器載入模型數(shù)據(jù)庫中相應(yīng)的模型，然后通過輸出設(shè)備播放場景和聲音，同時開啟體感設(shè)備，體感設(shè)備將采集到受訓(xùn)者的動作傳輸給主控器，主控器通過動作分類器判斷該動作的類別，如果動作是用濕手帕捂住口鼻，則主控器控制場景中的主角進行相應(yīng)動作，在做出該動作后，動作分類器才判斷動作是否為行走，如果是行走，則主控器控制場景中的主角朝對應(yīng)的方向行走，受訓(xùn)者需要根據(jù)指示出教室后順著安全出口的樓梯下樓，如果在規(guī)定時間內(nèi)，教學(xué)樓外的觸發(fā)器檢測到主角離開教學(xué)樓，則主控器控制輸出設(shè)備并播放獎勵動畫，如果未在規(guī)定時間內(nèi)離開教學(xué)樓，則顯示任務(wù)失敗字樣，不論任務(wù)是否完成，均更新訓(xùn)練記錄并退出。

本發(fā)明易于操作，易于設(shè)置多種場景及易于設(shè)置不同難度的訓(xùn)練，訓(xùn)練針對性強，適于不同年齡、不同類型的受訓(xùn)者，對受訓(xùn)者的訓(xùn)練效果良好。

附圖說明

圖1為系統(tǒng)總體結(jié)構(gòu)示意圖；

圖2為訓(xùn)練信息庫結(jié)構(gòu)示意圖；

圖3為動作分類器包含的動作種類示意圖；

圖4為學(xué)校場景下教學(xué)流程圖；

圖5為學(xué)校場景下拿毛巾無提示訓(xùn)練流程圖；

圖6為學(xué)校場景下弄濕毛巾無提示訓(xùn)練流程圖；

圖7為學(xué)校場景下逃離火災(zāi)現(xiàn)場無提示訓(xùn)練流程圖。

具體實施方式

下面結(jié)合附圖1-7對本發(fā)明具體實施方式進行說明。本發(fā)明的定制化課程生成系統(tǒng)，包括

如圖1所示，基于虛擬現(xiàn)實和體感技術(shù)的火災(zāi)逃生訓(xùn)練系統(tǒng)，包括主控器、輸入設(shè)備、輸出設(shè)備和訓(xùn)練模塊，輸入設(shè)備包括鍵盤、鼠標(biāo)和體感設(shè)備，輸出設(shè)備包括虛擬現(xiàn)實顯示器(優(yōu)選的是虛擬現(xiàn)實頭戴顯示器，用于顯示虛擬現(xiàn)實畫面)、耳機和顯示屏(一般來說，該顯示屏是一個是普通電腦用的顯示器，用于監(jiān)控和顯示設(shè)置界面)，訓(xùn)練模塊包括模型數(shù)據(jù)庫、訓(xùn)練信息庫、觸發(fā)器和動作分類器。

所述主控器用于接收輸入設(shè)備輸入的信息，并將信息保存在訓(xùn)練模塊的對應(yīng)位置、控制訓(xùn)練模塊的進程、以及通過輸出設(shè)備輸出信息。所述鍵盤和鼠標(biāo)用于人工輸入訓(xùn)練信息。所述體感設(shè)備用于采集人體運動信息。所述虛擬現(xiàn)實顯示器用于顯示虛擬現(xiàn)實場景的畫面。所述耳機用于播放聲音。所述模型數(shù)據(jù)庫用于存儲系統(tǒng)需要的虛擬現(xiàn)實中的場景、物品、人物、軌跡、動畫、動作、聲音、獎勵動畫等。所述訓(xùn)練信息庫用于記錄場景標(biāo)識、難度、訓(xùn)練方式、獎勵效果標(biāo)識和訓(xùn)練記錄。所述觸發(fā)器用于檢測虛擬現(xiàn)實場景中的主角是否碰到特定的物品或到達某個范圍。所述動作分類器提前通過機器學(xué)習(xí)的算法對體感設(shè)備采集的不同種類的動作進行了學(xué)習(xí)和記錄特征，并在訓(xùn)練過程中實時根據(jù)體感設(shè)備采集的人體動作的特征進行分類。

如圖2所示，訓(xùn)練信息庫用于記錄場景標(biāo)識、難度、訓(xùn)練方式、獎勵效果標(biāo)識和訓(xùn)練記錄等信息。其中場景標(biāo)識包括學(xué)校、家庭、超市等類型；難度信息包括簡單、中等、困難等；訓(xùn)練方式包括教學(xué)訓(xùn)練、整體訓(xùn)練、分布訓(xùn)練等；獎勵效果標(biāo)識包括多種獎勵類型；訓(xùn)練記錄包括受訓(xùn)者的受訓(xùn)情況等信息。

如圖3所示，動作分類器中包含的人體動作庫有：行走、拿起毛巾、使用水杯弄濕毛巾、使用飲水機弄濕毛巾和用濕毛巾捂住口鼻五種，由于火災(zāi)逃生的場景包含范圍較廣，受訓(xùn)練場地大小限制，因此虛擬現(xiàn)實中行走的動作在實際上用原地踏步代替。訓(xùn)練系統(tǒng)在開發(fā)階段通過體感設(shè)備對人體的動作進行采集，獲得骨骼數(shù)據(jù)(即將人體抽象成由幾十個骨骼點組成的“火柴人”，本系統(tǒng)用到的體感設(shè)備自帶此功能)，并為訓(xùn)練過程中需要用到的動作按類別進行人工標(biāo)識，這些動作有：行走、拿起毛巾、使用水杯弄濕毛巾、使用飲水機弄濕毛巾和用濕毛巾捂住口鼻，每一種標(biāo)識的動作都包含多個樣本，樣本由多人進行采集，每人每個動作采集多次，然后通過機器學(xué)習(xí)的算法對已經(jīng)具備標(biāo)識的樣本的特征進行學(xué)習(xí)，樣本的特征包含人體骨骼與骨骼之間形成的角度、骨骼點的速度、加速度等，學(xué)習(xí)的過程由機器學(xué)習(xí)算法自動進行，并最終生成一個動作分類器，在訓(xùn)練過程中，通過體感設(shè)備采集人體動作的骨骼數(shù)據(jù)，并使用動作分類器對動作進行對動作進行標(biāo)識，系統(tǒng)通過動作的標(biāo)識判斷體驗者當(dāng)前進行的動作，動作分類器能夠識別的動作類別受限于樣本的類別，樣本類別以外的動作，分類器一律不識別。

如圖4所示，在學(xué)校場景下的教學(xué)訓(xùn)練方式下(教學(xué)部分沒有提示和獎勵效果)，主控器從模型數(shù)據(jù)庫中載入需要的模型，并控制輸出設(shè)備自動開始播放教學(xué)動畫，首先耳機播放火災(zāi)報警器的聲音，虛擬現(xiàn)實顯示器在顯示的火災(zāi)報警器周圍顯示箭頭，并在屏幕前方顯示字幕，耳機播放相應(yīng)的語音“火災(zāi)時，報警器響起，你要保持鎮(zhèn)靜，感到不舒服時，用手捂住耳朵，快速觀察起火點的位置”，然后畫面突出顯示燃燒的火焰，火焰周圍顯示箭頭，屏幕前方的字幕和語音為“發(fā)生火災(zāi)時，要遠(yuǎn)離起火點，找到可浸濕物體捂住口鼻，避免煙霧進入呼吸道，快速逃離起火處”，之后播放男孩A拿毛巾的動畫，字幕和語音為“按照這個小男孩的行為所示，快速找到身邊的紡織品，如毛巾手帕等”，接著依次播放男孩A使用水杯弄濕毛巾和男孩B使用飲水機弄濕毛巾的動畫，字幕和語音為“找到毛巾或手帕后，快速找到水源，比如身邊的水杯等，將水倒在毛巾上，捂住口鼻，快速離開教室?！保缓髨鼍扒袚Q到教室外的走廊上，安全出口周圍顯示箭頭，虛擬現(xiàn)實顯示器顯示的畫面自動向安全出口移動，字幕和語音為“逃出教室后，尋找最近的安全出口，快速逃出火災(zāi)現(xiàn)場”，最后虛擬現(xiàn)實顯示器顯示的畫面自動從樓梯向下移動到教學(xué)樓外，字幕和語音為“到達緊急出口，保持鎮(zhèn)定有序，快速逃出出口，注意避免擁擠”。教學(xué)部分結(jié)束后，均更新訓(xùn)練記錄并退出，顯示屏切換到設(shè)置界面，以便設(shè)置下一次訓(xùn)練信息。

如圖5所示，在學(xué)校場景的無提示拿手帕訓(xùn)練中，首先主控器控制顯示屏切換到監(jiān)控畫面，主控器載入模型數(shù)據(jù)庫中需要的模型，然后通過輸出設(shè)備播放場景和聲音，同時開啟體感設(shè)備，并將采集到體驗者的動作傳輸給主控器，主控器通過動作分類器判斷該動作的類別，如果動作是行走，則主控器控制場景中的主角朝對應(yīng)的方向行走，當(dāng)手帕周圍的觸發(fā)器檢測到主角靠近時，動作分類器開始判斷體驗者是否做出拿手帕的動作，如果在規(guī)定時間內(nèi)做出拿手帕的動作，主控器控制主角的手進行拿手帕，并控制虛擬現(xiàn)實頭戴式顯示器播放獎勵動畫，如果未在規(guī)定時間內(nèi)做出拿手帕動作，則控制虛擬現(xiàn)實頭戴式顯示器顯示任務(wù)失敗字樣，不論任務(wù)是否完成，均更新訓(xùn)練記錄并退出，顯示屏切換到設(shè)置界面，以便設(shè)置下一次訓(xùn)練信息。

如圖6所示，在學(xué)校場景的無提示弄濕手帕訓(xùn)練中，首先主控器控制顯示屏切換到監(jiān)控畫面，主控器載入模型數(shù)據(jù)庫中需要的模型，然后通過輸出設(shè)備播放場景和聲音，同時開啟體感設(shè)備，并將采集到體驗者的動作傳輸給主控器，主控器通過動作分類器判斷該動作的類別，如果動作是行走，則主控器控制場景中的主角朝對應(yīng)的方向行走，如果進入的是使用水杯弄濕手帕訓(xùn)練，水杯周圍的觸發(fā)器檢測到主角靠近，則動作分類器開始判斷體驗者是否用拿著手帕以外的手拿起水杯并將水杯里的水傾倒在手帕上的動作，如果完成該動作，主控器控制場景中的主角進行相應(yīng)動作，如果進入的是使用飲水機弄濕手帕訓(xùn)練，飲水機周圍的觸發(fā)器檢測到主角靠近，則動作分類器開始判斷體驗者是否用拿著手帕以外的手打開飲水機開關(guān)并用手帕接住流出的水的動作，同理如果完成該動作，主控器控制主角進行相應(yīng)動作，如果在規(guī)定時間內(nèi)完成弄濕手帕的動作，主控器控制輸出設(shè)備并播放獎勵動畫，如果未在規(guī)定時間內(nèi)完成弄濕手帕的動作，則顯示任務(wù)失敗字樣，不論任務(wù)是否完成，均更新訓(xùn)練記錄并退出，顯示屏切換到設(shè)置界面，以便設(shè)置下一次訓(xùn)練信息。

如圖7所示，在學(xué)校場景的無提示逃離火災(zāi)現(xiàn)場訓(xùn)練中，首先主控器控制顯示屏切換到監(jiān)控畫面，主控器載入模型數(shù)據(jù)庫中需要的模型，然后通過輸出設(shè)備播放場景和聲音，同時開啟體感設(shè)備，并將采集到體驗者的動作傳輸給主控器，主控器通過動作分類器判斷該動作的類別，如果動作是用濕手帕捂住口鼻，則主控器控制主角進行相應(yīng)動作，在做出該動作后，動作分類器才判斷動作是否為行走，如果是行走，則主控器控制場景中的主角朝對應(yīng)的方向行走，體驗者需要根據(jù)指示出教室后順著安全出口的樓梯下樓，如果在規(guī)定時間內(nèi)，教學(xué)樓外的觸發(fā)器檢測到主角離開教學(xué)樓，則主控器控制輸出設(shè)備并播放獎勵動畫，如果未在規(guī)定時間內(nèi)離開教學(xué)樓，則顯示任務(wù)失敗字樣，不論任務(wù)是否完成，均更新訓(xùn)練記錄并退出，顯示屏切換到設(shè)置界面，以便設(shè)置下一次訓(xùn)練信息。

本發(fā)明與傳統(tǒng)人工訓(xùn)練教學(xué)系統(tǒng)和App軟件等相比，有如下優(yōu)點：第一、本發(fā)明能夠逼真再現(xiàn)了火災(zāi)發(fā)生時的場景(火、煙、著火聲音等)，克服現(xiàn)實中場景搭建困難問題，教學(xué)和訓(xùn)練環(huán)節(jié)循序漸進，場景逐步變化；第二、生活應(yīng)用與訓(xùn)練內(nèi)容一致，泛化更容易；第三、以視覺為主，尤其是學(xué)習(xí)抽象概念，視覺比聽覺或觸覺對他們來說更有效；第四、訓(xùn)練環(huán)境更安全，在VR中訓(xùn)練，即使有失敗的情況，也不會造成對現(xiàn)實世界的影響；第五、零時間切換場景、訓(xùn)練密集、更有效；第六、教師不以實際身份加入訓(xùn)練，訓(xùn)練中能去除教師身份影響；第七、自動識別用戶動作，系統(tǒng)采集了不同人的標(biāo)準(zhǔn)動作和不正確動作從而建立的動作模型，當(dāng)用戶訓(xùn)練時，要求用戶動作與標(biāo)準(zhǔn)動作近似，訓(xùn)練要求相比人工訓(xùn)練更為標(biāo)準(zhǔn)規(guī)范。