一種基于沉浸式輸入、輸出設(shè)備的礦用虛擬現(xiàn)實培訓(xùn)系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及虛擬現(xiàn)實技術(shù)，特別涉及將沉浸式輸入和輸出設(shè)備利用到礦山生產(chǎn)與安全等培訓(xùn)，屬于虛擬現(xiàn)實設(shè)備的技術(shù)開發(fā)與應(yīng)用領(lǐng)域。
【背景技術(shù)】
[0002]礦山行業(yè)是一個高危行業(yè)，因此礦山從業(yè)人員在入職前的培訓(xùn)是必不可少的，對此國家還出臺了相關(guān)法律法規(guī)進行嚴格規(guī)定，例如《中華人民共和國安全生產(chǎn)法》、《安全生產(chǎn)培訓(xùn)管理辦法》、《特種作業(yè)人員安全技術(shù)培訓(xùn)考核管理規(guī)定》中關(guān)于礦山的部分，以及《煤礦安全培訓(xùn)規(guī)定》等。目前礦山培訓(xùn)的主要方法是具有資質(zhì)的人員課堂講授，培訓(xùn)后需通過考核，另外在礦井也必須有例行培訓(xùn)。但是課堂傳授的效果并不理想，而現(xiàn)場培訓(xùn)效果雖好，但是存在成本高、嚴重影響生產(chǎn)等問題，因此執(zhí)行情況也不理想。在這種情況下，尋找一種培訓(xùn)效果好、同時對礦井生產(chǎn)沒有太大影響的方法就變得十分有必要。
[0003]虛擬現(xiàn)實技術(shù)是通過計算機圖形技術(shù)構(gòu)建(基于真實世界的)虛擬場景，利用輸入設(shè)備實現(xiàn)用戶與虛擬場景交互，再利用輸出設(shè)備讓用戶通過視覺、聽覺、觸覺，甚至味覺和嗅覺等感官，獲得接近甚至超越真實世界體驗的技術(shù)，該技術(shù)包括三個特征:沉浸、想象、交互。一套完整的虛擬現(xiàn)實系統(tǒng)包含5個組成部分:虛擬現(xiàn)實引擎、輸入/輸出設(shè)備、軟件&數(shù)據(jù)庫、用戶和任務(wù)，其中輸入/輸出設(shè)備是決定虛擬現(xiàn)實培訓(xùn)系統(tǒng)沉浸感和交互體驗最關(guān)鍵的部分。由于虛擬現(xiàn)實技術(shù)能夠讓人體驗接近真實的虛擬世界，因此有著廣泛的用途，其中最主要的應(yīng)用類型就是涉及各種危險場景的訓(xùn)練或培訓(xùn)，因為使用者不需要暴露在危險的真實場景中，大大降低了受到傷害的可能性，例如軍事領(lǐng)域、醫(yī)療領(lǐng)域、飛機或各種飛行器駕駛訓(xùn)練、危險設(shè)備遠程遙控操作等等。
[0004]礦山行業(yè)是典型的高危險性行業(yè)，需要大量的培訓(xùn)來保證從業(yè)人員的安全。在這些培訓(xùn)中，諸如災(zāi)害逃生、應(yīng)急救援等培訓(xùn)，難以在現(xiàn)實環(huán)境中進行，這時就可以利用虛擬現(xiàn)實技術(shù)來實現(xiàn)這些培訓(xùn)。目前已有的絕大多數(shù)的礦山虛擬現(xiàn)實培訓(xùn)系統(tǒng)，在決定虛擬現(xiàn)實系統(tǒng)沉浸感與交互體驗的輸入/輸出設(shè)備方面，仍十分落后:輸入設(shè)備主要是鼠標、鍵盤，視覺輸出設(shè)備主要是桌面式顯示器，能夠獲得的沉浸感非常有限，人機交互過程很不自然，因此這些現(xiàn)有的礦用虛擬現(xiàn)實培訓(xùn)系統(tǒng)的實用性很低。也有少數(shù)國外的礦山培訓(xùn)系統(tǒng)采用了具有一定沉浸感的顯示設(shè)備，例如球幕投影、環(huán)幕投影等，且輸入設(shè)備除了鍵盤鼠標之外，有些系統(tǒng)還應(yīng)用了操縱桿、觸摸屏、定制操作臺等，這都是為了增加系統(tǒng)使用過程中的沉浸感，并實現(xiàn)更加自然的交互方式，但是由于投影儀等設(shè)備僅能夠在一定區(qū)域內(nèi)使用，因此這些系統(tǒng)僅適合于設(shè)備操作培訓(xùn)等應(yīng)用，很難進行需要人員走動的培訓(xùn)類型。

【發(fā)明內(nèi)容】

[0005]為了解決上述已有系統(tǒng)的問題，提高礦山虛擬現(xiàn)實培訓(xùn)系統(tǒng)的實用性，本發(fā)明公開了一種基于沉浸式輸入、輸出設(shè)備的礦用虛擬現(xiàn)實培訓(xùn)系統(tǒng)，受訓(xùn)者可以完全沉浸在虛擬場景中，并通過手勢、走、跑等自然的方式與虛擬培訓(xùn)場景進行人機交互，進而完成預(yù)設(shè)培訓(xùn)項目。相比傳統(tǒng)培訓(xùn)方法，本發(fā)明提出的培訓(xùn)系統(tǒng)能夠使受訓(xùn)者在任何地方沉浸在接近真實的虛擬礦井環(huán)境中，獲得與現(xiàn)場相同的培訓(xùn)體驗，并最終取得媲美現(xiàn)場培訓(xùn)的效果。
[0006]該系統(tǒng)由頭戴式顯示器等輸出設(shè)備、全向跑步機、動作捕捉等輸出設(shè)備、計算機和配套培訓(xùn)軟件組成，其中:頭戴式顯示器可以提供完全的視覺沉浸體驗，全向跑步機、動作捕捉設(shè)備可以將受訓(xùn)者在現(xiàn)實中的動作映射在虛擬場景中的虛擬對象上，通過自然的交互方式對系統(tǒng)進行操作。
[0007]本發(fā)明是一種基于沉浸式輸入、輸出設(shè)備的礦用虛擬現(xiàn)實培訓(xùn)系統(tǒng)，本系統(tǒng)由頭戴式顯示器等輸出設(shè)備、全向跑步機、動作捕捉等輸出設(shè)備、計算機和配套培訓(xùn)軟件組成。其中:
[0008]頭戴式顯示器是該系統(tǒng)的視覺輸出設(shè)備，由外殼、顯示屏、凸透鏡等部分構(gòu)成，夕卜殼能夠?qū)⑹苡?xùn)者的眼睛完全遮擋，顯示屏顯示虛擬培訓(xùn)場景，凸透鏡位于顯示屏和受訓(xùn)者眼睛之間，這三者配合的結(jié)果是受訓(xùn)者能夠?qū)⒄鎸嵤澜缤耆曈X隔離，僅看到顯示屏中的虛擬場景，并獲得沉浸式視覺體驗。
[0009]全向跑步機是的一個輸入設(shè)備，其與地面是固定的，受訓(xùn)者在上面可以朝任意方向移動，全向跑步機能夠?qū)⑹苡?xùn)者的移動方向、速度等信息輸入培訓(xùn)系統(tǒng)，同時將受訓(xùn)者移到原位置。
[0010]動作捕捉設(shè)備也屬于輸入設(shè)備，能夠捕捉受訓(xùn)者身體某些部位的動作，包括但不限于手、四肢、驅(qū)趕、頭部、眼睛等，實現(xiàn)方式包括但不限于超聲波、紅外線攝像頭、RGB攝像頭、陀螺儀、加速度傳感器、磁力計、光學(xué)捕捉等方式。
[0011]可以用在本系統(tǒng)的其他輸入設(shè)備包括但不限于鍵盤、鼠標、按鈕、操縱桿等機械式輸入設(shè)備，麥克風(fēng)等聲音輸入設(shè)備；其他輸出設(shè)備包括但不限于揚聲器、耳機等聽覺輸出設(shè)備，震動馬達等觸覺輸出設(shè)備等。
[0012]虛擬現(xiàn)實培訓(xùn)軟件主要功能包括:①生成礦井培訓(xùn)的相關(guān)虛擬場景；②結(jié)合受訓(xùn)者操作信息，對虛擬場景進行實時更新；③將整個培訓(xùn)過程所有信息進行存儲，并對過程中的單個或多個變量進行分析，或?qū)τ?xùn)練效果進行分析與評估；④結(jié)合無線適配器與無線網(wǎng)絡(luò)，將兩臺或多臺混合現(xiàn)實設(shè)備連接起來，以實現(xiàn)多個受訓(xùn)者在用一個混合現(xiàn)實場景中協(xié)同培訓(xùn)。
[0013]虛擬現(xiàn)實培訓(xùn)軟件的三維模型與培訓(xùn)場景，是通過三維建模軟件開發(fā)的，包括但不限于3ds Max、Blender等，軟件各種功能的實現(xiàn)是基于Unity3D引擎結(jié)合C#語言開發(fā)的。
[0014]頭戴式顯示器、全向跑步機、動作捕捉設(shè)備和其他輸入輸出設(shè)備都需要與計算機相連，組成一整套供單人使用的系統(tǒng)，兩套或多套該系統(tǒng)還可以通過有線或無線網(wǎng)絡(luò)相連，組成多人培訓(xùn)系統(tǒng)。
[0015]本發(fā)明的優(yōu)點為:
[0016]①頭戴式顯示器的使用，能夠提高礦用虛擬現(xiàn)實培訓(xùn)系統(tǒng)的沉浸感；
[0017]②動作捕捉設(shè)備的使用，能夠讓受訓(xùn)者通過手勢、肢體動作、眼神等自然的方式與虛擬現(xiàn)實培訓(xùn)系統(tǒng)進行人機交互，大大提高了交互體驗；
[0018]③全向跑步機的使用，培訓(xùn)系統(tǒng)能夠讓培訓(xùn)者在很小的空間內(nèi)通過真實走、跑等動作實現(xiàn)在虛擬現(xiàn)實世界中的無限漫游，能夠進行需要在礦井大范圍走動的培訓(xùn)項目；
[0019]④通過有線或無線網(wǎng)絡(luò)，多套單人培訓(xùn)系統(tǒng)可以組成一個多人培訓(xùn)系統(tǒng)，以實現(xiàn)需要多人共同完成的培訓(xùn)項目。
【附圖說明】
[0020]圖1是該虛擬現(xiàn)實培訓(xùn)系統(tǒng)的組成示意圖
【具體實施方式】
[0021]本發(fā)明基于沉浸式的輸入和輸出設(shè)備，主要是頭戴式顯示器、全向跑步機和動作捕捉設(shè)備，并結(jié)合其他傳統(tǒng)輸入、輸出設(shè)備，配合專用的礦用培訓(xùn)軟件，提供了一種沉浸式的虛擬現(xiàn)實礦山安全培訓(xùn)系統(tǒng)。由于沉浸式輸入、輸出設(shè)備的使用，本發(fā)明克服了以往培訓(xùn)方法與培訓(xùn)系統(tǒng)的缺點，能夠讓受訓(xùn)者擁有媲美現(xiàn)場培訓(xùn)的體驗，從而獲得接近現(xiàn)場培訓(xùn)的效果，同時克服了現(xiàn)場培訓(xùn)成本高等缺點，是礦山行業(yè)培訓(xùn)的理想方法。
[0022]該培訓(xùn)系統(tǒng)由四部分組成，分別是:沉浸式輸出設(shè)備、自然交互式輸入設(shè)備、培訓(xùn)系統(tǒng)軟件、和計算機硬件。
[0023]沉浸式輸出設(shè)備的主要組成部分是一個頭戴式顯示器和立體聲耳機，其中頭戴式顯示器負責視覺輸出，立體聲耳機負責聽覺輸出。頭戴式顯示器能夠為受訓(xùn)者的雙眼分別提供圖像，以產(chǎn)生真正的立體