亚洲狠狠干,亚洲国产福利精品一区二区,国产八区,激情文学亚洲色图

基于Unity三維引擎和VR頭盔的多點(diǎn)交互控制系統(tǒng)和方法與流程

文檔序號(hào):11229894閱讀:1155來(lái)源:國(guó)知局
基于Unity三維引擎和VR頭盔的多點(diǎn)交互控制系統(tǒng)和方法與流程

本發(fā)明屬于工業(yè)設(shè)備虛擬拆裝技術(shù)領(lǐng)域,具體涉及一種基于unity三維引擎和vr頭盔的多點(diǎn)交互控制方法,適用于工業(yè)設(shè)備虛擬拆裝仿真系統(tǒng)的各類設(shè)備零件的交互控制操作,主要用于工業(yè)設(shè)備拆裝工作人員、設(shè)備運(yùn)行維護(hù)和檢修人員的培訓(xùn)。



背景技術(shù):

vr(virtualreality:虛擬現(xiàn)實(shí))技術(shù)是一種可以創(chuàng)建和體驗(yàn)虛擬世界的計(jì)算機(jī)仿真系統(tǒng),它利用計(jì)算機(jī)生成一種模擬環(huán)境是一種多源信息融合的交互式的三維動(dòng)態(tài)視景和實(shí)體行為的系統(tǒng)仿真,使用戶沉浸到該環(huán)境中。

虛擬現(xiàn)實(shí)技術(shù)(vr)主要包括模擬環(huán)境、感知、自然技能和傳感設(shè)備等方面,模擬環(huán)境是由計(jì)算機(jī)生成的、實(shí)時(shí)動(dòng)態(tài)的三維立體逼真圖像。感知是指理想的vr應(yīng)該具有一切人所具有的感知,除計(jì)算機(jī)圖形技術(shù)所生成的視覺(jué)感知外,還有聽(tīng)覺(jué)、觸覺(jué)、力覺(jué)、運(yùn)動(dòng)等感知,甚至還包括嗅覺(jué)和味覺(jué)等,也稱為多感知,自然技能是指人的頭部轉(zhuǎn)動(dòng),眼睛、手勢(shì)、或其他人體行為動(dòng)作,由計(jì)算機(jī)來(lái)處理與參與者的動(dòng)作相適應(yīng)的數(shù)據(jù),并對(duì)用戶的輸入作出實(shí)時(shí)響應(yīng),并分別反饋到用戶的五官,傳感設(shè)備是指三維交互設(shè)備。

vr主要是利用計(jì)算機(jī)生成的一種模擬環(huán)境,通過(guò)各種傳感設(shè)備使用戶進(jìn)入到這個(gè)環(huán)境中,實(shí)現(xiàn)了該環(huán)境直接進(jìn)行交互的技術(shù)。由于虛擬現(xiàn)實(shí)技術(shù)在很大的程度上解決很多的實(shí)際問(wèn)題,還節(jié)約了資金不受環(huán)境限制等問(wèn)題,因此成為了目前各個(gè)領(lǐng)域如工業(yè)、娛樂(lè)、游戲、軍事、旅游等倍受青睞的技術(shù)?,F(xiàn)在和將來(lái)很長(zhǎng)時(shí)間內(nèi),vr技術(shù)將會(huì)越來(lái)越成熟,給人帶來(lái)越來(lái)越多的立體感官體驗(yàn)。

vr虛擬拆裝是目前vr應(yīng)用比較廣泛的一個(gè)領(lǐng)域。在某些場(chǎng)景模式下,虛擬拆裝需要多人共同協(xié)作來(lái)拆裝操作,而目前還沒(méi)有支持這種場(chǎng)景的系統(tǒng)和方法。



技術(shù)實(shí)現(xiàn)要素:

鑒于現(xiàn)有技術(shù)缺少成熟的將vr手柄與虛擬現(xiàn)實(shí)緊密結(jié)合起來(lái)的交互控制系統(tǒng)的問(wèn)題,提出了本發(fā)明的一種虛擬現(xiàn)實(shí)環(huán)境中通過(guò)手柄與虛擬設(shè)備零件交互控制方法,以便解決上述問(wèn)題。

根據(jù)本發(fā)明的第一個(gè)方面,本發(fā)明提供一種基于unity三維引擎和vr頭盔的多點(diǎn)交互控制系統(tǒng),其包括:

第一數(shù)據(jù)采集模塊,用于采集第一客戶端對(duì)應(yīng)的第一vr手柄在其空間中的位置信息;

第二數(shù)據(jù)采集模塊,用于采集第二客戶端對(duì)應(yīng)的第二vr手柄在其空間中的位置信息;

第一數(shù)據(jù)傳輸模塊,用于將第一客戶端對(duì)應(yīng)的第一vr手柄在其空間中的位置信息傳輸?shù)椒?wù)器;

第二數(shù)據(jù)傳輸模塊,用于將第二客戶端對(duì)應(yīng)的第二vr手柄在其空間中的位置信息傳輸?shù)椒?wù)器;

數(shù)據(jù)處理模塊,對(duì)數(shù)據(jù)進(jìn)行匯總分析,識(shí)別出控制點(diǎn)的數(shù)量,得到目標(biāo)物體的移動(dòng)數(shù)據(jù);

交互控制模塊,將匯總分析后的數(shù)據(jù)返回第一客戶端和第二客戶端,并將目標(biāo)物體的移動(dòng)數(shù)據(jù)反饋在第一客戶端對(duì)應(yīng)的第一vr頭盔和第二客戶端對(duì)應(yīng)的第二vr頭盔中。

優(yōu)選地,所述對(duì)數(shù)據(jù)進(jìn)行匯總分析包括將第一vr手柄和第二vr手柄在各自空間中的位置信息匯總到同一空間內(nèi)。

優(yōu)選地,所述交互控制模塊將第二vr手柄與第一vr手柄匯總到同一空間中的空間位置反饋到第一vr頭盔中。

優(yōu)選地,所述交互控制模塊將第一vr手柄與第二vr手柄匯總到同一空間中的空間位置反饋到第二vr頭盔中。

優(yōu)選地,所述第一數(shù)據(jù)傳輸模塊和第二數(shù)據(jù)傳輸模塊通過(guò)有線或無(wú)線連接的方式實(shí)時(shí)傳輸?shù)椒?wù)器。

根據(jù)本發(fā)明的第二個(gè)方面,本發(fā)明提供一種基于unity三維引擎和vr頭盔的多點(diǎn)交互控制方法,其包括:

s110采集各客戶端對(duì)應(yīng)的vr手柄在其空間中的位置信息;

s120將各客戶端對(duì)應(yīng)的vr手柄在其空間中的位置信息傳輸?shù)椒?wù)器;

s130對(duì)數(shù)據(jù)進(jìn)行匯總分析,識(shí)別出控制點(diǎn)的數(shù)量,得到目標(biāo)物體的移動(dòng)數(shù)據(jù);

s140將匯總分析后的數(shù)據(jù)返回各客戶端,并將目標(biāo)物體的移動(dòng)數(shù)據(jù)反饋在各客戶端對(duì)應(yīng)的vr頭盔中。

優(yōu)選地,所述對(duì)數(shù)據(jù)進(jìn)行匯總分析包括將各客戶端對(duì)應(yīng)的vr手柄在其空間中的位置信息匯總到同一空間內(nèi)。

優(yōu)選地,所述vr手柄在其空間中的位置信息通過(guò)有線或無(wú)線連接的方式實(shí)時(shí)傳輸?shù)椒?wù)器。

優(yōu)選地,各客戶端對(duì)應(yīng)的vr手柄在其空間中的位置信息實(shí)時(shí)傳輸?shù)皆摽蛻舳藢?duì)應(yīng)的vr頭盔中。

附圖說(shuō)明

通過(guò)閱讀參考一下附圖所作的對(duì)非限制性實(shí)施例所作的詳細(xì)描述,本發(fā)明的其他特征、目的和優(yōu)點(diǎn)將會(huì)變得更明顯:

圖1是示意地表示本發(fā)明的一些實(shí)施方式的系統(tǒng)原理圖。

圖2是示意地表示本發(fā)明的一些實(shí)施方式的系統(tǒng)結(jié)構(gòu)圖。

圖3是本發(fā)明的一些實(shí)施方式的vr視覺(jué)效果截圖。

圖4是示意地表示本發(fā)明的一些實(shí)施方式的方法的流程圖。

具體實(shí)施方式

在下文的描述中,給出了大量具體的細(xì)節(jié)以便提供對(duì)本發(fā)明更為徹底的理解。然而,對(duì)于本領(lǐng)域技術(shù)人員來(lái)說(shuō)顯而易見(jiàn)的是,本發(fā)明可以無(wú)需一個(gè)或多個(gè)這些細(xì)節(jié)而得以實(shí)施。在其他的例子中,為了避免與本發(fā)明發(fā)生混淆,對(duì)于本領(lǐng)域公知的一些技術(shù)特征未進(jìn)行描述。

在本發(fā)明中,術(shù)語(yǔ)“unity軟件”:是指基于unity三維引擎平臺(tái)開(kāi)發(fā)的軟件。unity是由unitytechnologies開(kāi)發(fā)的一個(gè)讓玩家輕松創(chuàng)建諸如三維視頻游戲、建筑可視化、實(shí)時(shí)三維動(dòng)畫(huà)等類型互動(dòng)內(nèi)容的多平臺(tái)的綜合型游戲開(kāi)發(fā)工具,是一個(gè)全面整合的專業(yè)游戲引擎。

在本發(fā)明中,術(shù)語(yǔ)“htcvivelighthouse”是htcvr設(shè)備使用的定位系統(tǒng)“l(fā)ighthouse”,由兩個(gè)激光基站構(gòu)成:每個(gè)基站里有一個(gè)紅外led陣列,兩個(gè)轉(zhuǎn)軸互相垂直的旋轉(zhuǎn)的紅外激光發(fā)射器。轉(zhuǎn)速為10ms一圈。基站的工作狀態(tài)是這樣的:20ms為一個(gè)循環(huán),在循環(huán)開(kāi)始的時(shí)候紅外led閃光,10ms內(nèi)x軸的旋轉(zhuǎn)激光掃過(guò)玩家自由活動(dòng)區(qū)域,y軸不發(fā)光;下10ms內(nèi)y軸的旋轉(zhuǎn)激光掃過(guò)玩家自由活動(dòng)區(qū)域,x軸不發(fā)光。

在本發(fā)明中,術(shù)語(yǔ)“多點(diǎn)控制”是指在同一場(chǎng)景中,多個(gè)手柄對(duì)物體的控制。在vr中通過(guò)手柄模擬手來(lái)控制模型物體,已經(jīng)對(duì)零件實(shí)施抓住動(dòng)作的手柄被看作是一個(gè)控制點(diǎn)。識(shí)別出控制點(diǎn)數(shù)量,就是識(shí)別出當(dāng)前狀態(tài)零件模型有幾個(gè)手柄與零件發(fā)生了碰撞并將手柄(在虛擬空間中識(shí)別為例如手的形態(tài))綁定。所述控制點(diǎn)也就是手柄在虛擬空間中與零件綁定的點(diǎn),通過(guò)多個(gè)控制點(diǎn)移動(dòng)達(dá)到與虛擬物體的交互。

在本發(fā)明的一些實(shí)施方式中,通過(guò)vr設(shè)備的兩個(gè)手柄模擬控制虛擬空間的兩只手,來(lái)實(shí)現(xiàn)虛擬物體的抓取控制效果。如圖3所示,圖中兩套vr設(shè)備通過(guò)4個(gè)手柄共同控制虛擬零件,其中有4個(gè)控制點(diǎn)。

在本發(fā)明的另一些實(shí)施方式中,通過(guò)vr設(shè)備的兩個(gè)手柄模擬控制虛擬空間的兩只手握住工具(虛擬工具),來(lái)實(shí)現(xiàn)虛擬物體(例如零件)的抓取控制效果。在此情況下,控制點(diǎn)可以為虛擬物體被手柄(虛擬場(chǎng)景中的手)間接綁定的點(diǎn)(例如零件與被手柄控制的虛擬工具綁定的點(diǎn))。

在現(xiàn)實(shí)世界中存在對(duì)物體的移動(dòng)和旋轉(zhuǎn)操作,而在vr頭盔中看到的虛擬空間同樣需要對(duì)虛擬物體的移動(dòng)和旋轉(zhuǎn)操作,來(lái)達(dá)到模擬真實(shí)世界的效果,從而實(shí)現(xiàn)工業(yè)上的虛擬培訓(xùn)。

圖1示出了本發(fā)明的一些實(shí)施方式的系統(tǒng)原理圖。第一vr設(shè)備和第二vr設(shè)備通過(guò)其各自的客戶端與服務(wù)器保持?jǐn)?shù)據(jù)傳輸和數(shù)據(jù)共享。服務(wù)器對(duì)接收到的數(shù)據(jù)進(jìn)行匯總和轉(zhuǎn)換,再通過(guò)客戶端傳輸?shù)礁鱾€(gè)vr設(shè)備。這樣,在一臺(tái)vr設(shè)備中,可以“看”到另一臺(tái)vr設(shè)備的動(dòng)作,從而實(shí)現(xiàn)在同一虛擬空間中的交互。

本發(fā)明的多點(diǎn)交互控制系統(tǒng)包括:數(shù)據(jù)采集模塊、數(shù)據(jù)傳遞模塊、解析識(shí)別模塊和交互控制模塊,如圖2所示。

數(shù)據(jù)采集模塊:

s110采集設(shè)備數(shù)據(jù)信息。獲取vr設(shè)備手柄數(shù)據(jù),每個(gè)vr設(shè)備都有自己的空間定位技術(shù),通過(guò)vr設(shè)備空間定位技術(shù)獲取多個(gè)操作手柄位置信息,能夠在vr頭盔中清楚看到手的模型跟隨手柄移動(dòng)。例如htc的lighthouse室內(nèi)定位技術(shù)屬于激光掃描定位技術(shù),靠激光和光敏傳感器來(lái)確定運(yùn)動(dòng)物體的位置。兩個(gè)激光發(fā)射器被安置在對(duì)角,形成大小可調(diào)的長(zhǎng)方形區(qū)域。激光束由發(fā)射器里面的兩排固定led燈發(fā)出,每秒6次。每個(gè)激光發(fā)射器內(nèi)有兩個(gè)掃描模塊,分別在水平和垂直方向輪流對(duì)定位空間發(fā)射激光掃描定位空間。獲取到vr手柄數(shù)據(jù)包括坐標(biāo)position、旋轉(zhuǎn)rotation。

數(shù)據(jù)傳輸模塊:

s120設(shè)備數(shù)據(jù)傳輸。如圖1所示,將獲取的多個(gè)設(shè)備信息從客戶端向服務(wù)端發(fā)送,通過(guò)有線連接或無(wú)線連接的方式傳輸實(shí)時(shí)記錄的設(shè)備數(shù)據(jù),使用自定義協(xié)議的方式進(jìn)行傳輸,保證數(shù)據(jù)傳輸?shù)母咝Х€(wěn)定性,從而使頭盔中看到的畫(huà)面清晰逼真。

數(shù)據(jù)處理模塊:

s130數(shù)據(jù)分析處理。根據(jù)在服務(wù)端接收到的數(shù)據(jù),對(duì)數(shù)據(jù)進(jìn)行匯總分析,識(shí)別出控制點(diǎn)的數(shù)量,通過(guò)算法對(duì)多個(gè)控制點(diǎn)數(shù)據(jù)加權(quán)平均后,得到目標(biāo)物體的移動(dòng)數(shù)據(jù)。

交互控制模塊:

s140交互控制。將經(jīng)過(guò)分析處理后的數(shù)據(jù),通過(guò)自定義的網(wǎng)絡(luò)協(xié)議,從服務(wù)端傳回到客戶端,客戶端根據(jù)傳回的數(shù)據(jù)反饋到vr頭盔中,如圖1所示。通過(guò)這樣實(shí)時(shí)數(shù)據(jù)的傳輸更新,在vr眼鏡能清楚的看到目標(biāo)物體在隨著多個(gè)手柄的共同控制下移動(dòng)。

圖3是本發(fā)明的一些實(shí)施方式的vr視覺(jué)效果截圖,在第一vr頭盔中除顯示第一vr手柄在空間中的位置之外,還可以顯示第二vr手柄在視覺(jué)空間中的位置,甚至可以顯示第二vr頭盔在視覺(jué)空間中的位置,其原理與顯示第二vr手柄類似。

在本發(fā)明的一些實(shí)施方式中,第一數(shù)據(jù)采集模塊采集第一vr頭盔和第一vr手柄在第一客戶端對(duì)應(yīng)的空間中的位置信息,并反饋到第一vr顯示模塊中,同時(shí)將所述第一vr頭盔和第一vr手柄在第一客戶端對(duì)應(yīng)的空間中的位置信息通過(guò)第一數(shù)據(jù)傳輸模塊傳輸?shù)椒?wù)器與其他客戶端共享,第二客戶端同理,如圖2所示。交互控制模塊將解析處理模塊匯總后的各客戶端對(duì)應(yīng)的vr頭盔和vr手柄換算到同一空間中的位置信息通過(guò)各客戶端對(duì)應(yīng)的數(shù)據(jù)傳輸模塊反饋到各客戶端對(duì)應(yīng)的vr顯示模塊中,例如將第二vr手柄和第二vr頭盔的位置信息反饋到第一vr顯示模塊中,從而在第一vr頭盔中可以看到第二vr手柄和第二vr頭盔的旋轉(zhuǎn)和移動(dòng)。

本發(fā)明不限于上述實(shí)施方式,在本發(fā)明思想的范圍內(nèi)可以進(jìn)行各種變更。本發(fā)明已通過(guò)上述實(shí)施例進(jìn)行了說(shuō)明,但應(yīng)當(dāng)理解的是,上述實(shí)施例只是用于舉例和說(shuō)明的目的,而非意在將本發(fā)明限制于所描述的實(shí)施例范圍內(nèi)。此外本領(lǐng)域技術(shù)人員可以理解的是,本發(fā)明并不局限于上述實(shí)施例,根據(jù)本發(fā)明教導(dǎo)還可以做出更多種的變型和修改,這些變型和修改均落在本發(fā)明所要求保護(hù)的范圍以內(nèi)。本發(fā)明的保護(hù)范圍由附屬的權(quán)利要求書(shū)及其等效范圍所界定。

當(dāng)前第1頁(yè)1 2 
網(wǎng)友詢問(wèn)留言 已有0條留言
  • 還沒(méi)有人留言評(píng)論。精彩留言會(huì)獲得點(diǎn)贊!
1