本發(fā)明涉及虛擬現(xiàn)實(shí)/增強(qiáng)現(xiàn)實(shí)領(lǐng)域，特別是一種多vr/ar設(shè)備協(xié)同系統(tǒng)及協(xié)同方法。

背景技術(shù)：

虛擬現(xiàn)實(shí)(virtualreality，vr)技術(shù)是近年來(lái)出現(xiàn)的圖形圖像領(lǐng)域的高新技術(shù)。虛擬現(xiàn)實(shí)是利用電腦等信息處理設(shè)備模擬產(chǎn)生一個(gè)三維空間的虛擬世界，提供用戶(hù)關(guān)于視覺(jué)、聽(tīng)覺(jué)、觸覺(jué)等感官的模擬，讓用戶(hù)如同身歷其境一般，可以及時(shí)、沒(méi)有限制地觀(guān)察三維空間內(nèi)的事物。

隨著360度攝像機(jī)的興起，開(kāi)發(fā)vr在交互體驗(yàn)中的應(yīng)用的門(mén)檻越來(lái)越低。但是，vr應(yīng)用的開(kāi)發(fā)目前仍集中在高利潤(rùn)的游戲及娛樂(lè)上，且基本為單機(jī)作業(yè)。本發(fā)明人不滿(mǎn)足于這種僅僅應(yīng)用于個(gè)人的開(kāi)發(fā)方向，希望將vr/ar技術(shù)應(yīng)用于更廣泛的領(lǐng)域。

技術(shù)實(shí)現(xiàn)要素：

有鑒于此，本發(fā)明人提供一種多vr/ar設(shè)備協(xié)同系統(tǒng)，突破了單機(jī)的局限性。而且，由于實(shí)現(xiàn)了多vr/ar設(shè)備協(xié)同，增加了系統(tǒng)的社交屬性和協(xié)同工作的屬性，因而可以滿(mǎn)足更廣泛的需求。

根據(jù)本發(fā)明的第一方面，提供一種多vr/ar設(shè)備協(xié)同系統(tǒng)，其包括：服務(wù)器和多個(gè)vr/ar終端系統(tǒng)，所述vr/ar終端系統(tǒng)包括：

vr/ar顯示裝置和定位裝置，用于顯示vr或ar圖像，并且接收和/或發(fā)送信息，所述vr/ar顯示裝置和定位裝置可以集成在一起或是由多個(gè)部件配合而成；

通信接口；

處理硬件，其耦合到所述通信接口，所述處理硬件配置為：

接收所述vr定位裝置發(fā)送的位置和動(dòng)作信息，并上傳至服務(wù)器；

從服務(wù)器下載其他vr/ar終端系統(tǒng)的位置和動(dòng)作信息以及圖像內(nèi)容，并發(fā)送給所述vr/ar顯示裝置。

優(yōu)選的，其中所述vr/ar終端系統(tǒng)還包括采集裝置，所述采集裝置包括音頻采集裝置和/或視頻采集裝置。

優(yōu)選的，其中處理硬件配置為接收所述采集裝置采集信息，并上傳至服務(wù)器；

從服務(wù)器下載其他vr/ar終端系統(tǒng)的上傳的采集信息，并發(fā)送給所述vr顯示裝置。

根據(jù)本發(fā)明的第二方面，提供一種多vr/ar設(shè)備協(xié)同系統(tǒng)，其包括：服務(wù)器、至少一個(gè)vr/ar終端系統(tǒng)、和至少一種采集設(shè)備，

所述vr/ar終端系統(tǒng)包括：

vr/ar顯示裝置和定位裝置，用于顯示vr或ar圖像，并且接收和/或發(fā)送信息，所述vr/ar顯示裝置和定位裝置可以集成在一起或是由多個(gè)部件配合而成；

通信接口；

處理硬件，其耦合到所述通信接口，所述處理硬件配置為：

從服務(wù)器下載所述采集設(shè)備傳送的信息及圖像內(nèi)容，并發(fā)送給所述vr顯示裝置，

接收所述vr定位裝置發(fā)送的位置和動(dòng)作信息，并上傳至服務(wù)器。

優(yōu)選的，其中所述采集設(shè)備包括三維掃描設(shè)備、視頻采集設(shè)備、音頻采集設(shè)備、位置采集設(shè)備中的一種或多種。

優(yōu)選的，其中所述系統(tǒng)還包括操作裝置，其可以接收vr終端系統(tǒng)的指令。

優(yōu)選的，其中所述操作裝置和采集設(shè)備與vr/ar定位裝置同步。

根據(jù)本發(fā)明的第三方面，提供一種多vr/ar設(shè)備協(xié)同方法，其包括：

s110驗(yàn)證各個(gè)vr/ar終端系統(tǒng)發(fā)送的身份信息；

s120確定各個(gè)vr/ar終端系統(tǒng)的同步頻道；

s130接收同一同步頻道的各個(gè)vr/ar終端系統(tǒng)發(fā)送的定位和動(dòng)作信息；

s140向同一同步頻道的各個(gè)vr/ar終端系統(tǒng)發(fā)送該頻道內(nèi)其他vr終端系統(tǒng)的定位和動(dòng)作信息。

優(yōu)選的，其中所述方法還包括驗(yàn)證其他登錄設(shè)備的身份信息，確定各設(shè)備的同步頻道，將該設(shè)備的定位和動(dòng)作信息發(fā)送給該頻道內(nèi)其他vr終端系統(tǒng)，并將其他vr/ar終端系統(tǒng)的指令發(fā)送給該設(shè)備。

優(yōu)選的，其中所述方法還包括傳送音頻、視頻、圖片、空間結(jié)構(gòu)信息中的一種或多種。

根據(jù)本發(fā)明的第四方面，提供一種多vr/ar設(shè)備協(xié)同系統(tǒng)，其包括：服務(wù)器、第一vr/ar終端、第二vr/ar終端和至少一種采集設(shè)備，

所述第一vr/ar終端將其位置信息、動(dòng)作信息實(shí)時(shí)上傳到服務(wù)器，

所述第二vr/ar終端將其位置信息、動(dòng)作信息實(shí)時(shí)上傳到服務(wù)器，

所述服務(wù)器整合第一vr/ar終端和第二vr/ar終端的數(shù)據(jù)，并將整合后的第一vr/ar終端的數(shù)據(jù)傳輸給所述第二vr/ar終端。

在本發(fā)明的一些實(shí)施方式中，所述采集設(shè)備與第一vr/ar終端在同一空間內(nèi)，所述第二vr/ar終端在另一空間內(nèi)。

優(yōu)選地，所述第一vr/ar終端、第二vr/ar終端和至少一種采集設(shè)備通過(guò)無(wú)線(xiàn)通訊元件與服務(wù)器實(shí)現(xiàn)數(shù)據(jù)傳輸。

優(yōu)選地，所述無(wú)線(xiàn)通訊元件包括但不限于3g、4g、5g、wifi、wlan、zigbee、藍(lán)牙、紅外、wpan、uwb、等。

優(yōu)選地，所述采集設(shè)備包括但不限于圖像采集設(shè)備、音頻采集設(shè)備、溫度傳感器、濕度傳感器、壓力傳感器、紅外傳感器、氣體傳感器等。

在本發(fā)明的一些實(shí)施方式中，所述服務(wù)器還將整合后的第二vr/ar終端的數(shù)據(jù)傳輸給所述第一vr/ar終端。

在本發(fā)明的一些實(shí)施方式中，所述第二vr/ar終端可將指令上傳到服務(wù)器中，通過(guò)服務(wù)器，將指令顯示在第一vr/ar終端上。

在本發(fā)明的一些實(shí)施方式中，所述第二vr/ar終端可將指令上傳到服務(wù)器中，通過(guò)服務(wù)器，將指令傳遞到采集設(shè)備上。

優(yōu)選地，所述采集設(shè)備將采集的數(shù)據(jù)上傳至服務(wù)器，與第一vr/ar終端和/或第二vr/ar終端共享。

所述vr/ar終端選自頭戴式顯示設(shè)備、智能手機(jī)、或平板電腦中的一種或多種。

在本發(fā)明的一些實(shí)施方式中，所述系統(tǒng)還包括操作裝置，所述操作裝置與所述至少一種采集設(shè)備在同一空間，所述操作裝置的定位和動(dòng)作信息數(shù)據(jù)也上傳至服務(wù)器。

優(yōu)選地，所述服務(wù)器將所述操作裝置的數(shù)據(jù)與所述至少一種采集設(shè)備整合，并將整合后的操作裝置的數(shù)據(jù)傳輸給所述第二vr/ar終端。

所述操作裝置為可遠(yuǎn)程控制的執(zhí)行一定功能的裝置，例如無(wú)人機(jī)、機(jī)器人、機(jī)械手等。

根據(jù)本發(fā)明的第五方面，提供一種多vr/ar設(shè)備協(xié)同系統(tǒng)，其包括：服務(wù)器、vr/ar終端、至少一種采集設(shè)備，和操作裝置，其中所述至少一種采集設(shè)備和操作裝置在同一空間內(nèi)，所述vr/ar終端在另一空間內(nèi)；

所述vr/ar終端將其位置信息、動(dòng)作信息實(shí)時(shí)上傳到服務(wù)器，

所述至少一種采集設(shè)備和操作裝置將其位置信息、動(dòng)作信息實(shí)時(shí)上傳到服務(wù)器，

所述服務(wù)器整合所述vr/ar終端和所述至少一種采集設(shè)備和操作裝置的數(shù)據(jù)，并將整合后的所述至少一種采集設(shè)備和操作裝置的數(shù)據(jù)傳輸給所述vr/ar終端。

所述操作裝置為可遠(yuǎn)程控制的執(zhí)行一定功能的裝置，例如無(wú)人機(jī)、機(jī)器人、機(jī)械手等。

優(yōu)選地，所述vr/ar終端、至少一種采集設(shè)備和所述操作裝置通過(guò)無(wú)線(xiàn)通訊元件與服務(wù)器實(shí)現(xiàn)數(shù)據(jù)傳輸。

優(yōu)選地，所述無(wú)線(xiàn)通訊元件包括但不限于3g、4g、5g、wifi、wlan、zigbee、藍(lán)牙、紅外、wpan、uwb、等。

優(yōu)選地，所述采集設(shè)備包括但不限于圖像采集設(shè)備、音頻采集設(shè)備、溫度傳感器、濕度傳感器、壓力傳感器、紅外傳感器、氣體傳感器等。

在本發(fā)明的一些實(shí)施方式中，所述vr/ar終端可將指令上傳到服務(wù)器中，通過(guò)服務(wù)器，將指令傳達(dá)給所述操作裝置和/或所述至少一種采集設(shè)備。

優(yōu)選地，所述采集設(shè)備將采集的數(shù)據(jù)上傳至服務(wù)器，與所述操作裝置和/或所述操作裝置共享。

所述vr/ar終端包括頭戴式顯示設(shè)備、智能手機(jī)、或平板電腦。

優(yōu)選地，所述服務(wù)器將所述操作裝置的數(shù)據(jù)與所述至少一種采集設(shè)備整合，并將整合后的操作裝置的數(shù)據(jù)傳輸給所述vr/ar終端。

根據(jù)本發(fā)明的第六方面，本發(fā)明提供一種多vr/ar設(shè)備協(xié)同方法，其包括：

s210驗(yàn)證第一vr/ar終端和第二系統(tǒng)vr/ar終端向服務(wù)器發(fā)送的身份信息；

s220將第一vr/ar終端和第二系統(tǒng)vr/ar終端分配于同一同步頻道；

s230接收第一vr/ar終端和第二系統(tǒng)vr/ar終端發(fā)送的定位和動(dòng)作信息數(shù)據(jù)；

s240將第一vr/ar終端和第二系統(tǒng)vr/ar終端發(fā)送的定位和動(dòng)作信息數(shù)據(jù)整合，并將整合后的第一vr/ar終端的數(shù)據(jù)傳輸給所述第二vr/ar終端。

在本發(fā)明的一些實(shí)施方式中，還將整合后的第二vr/ar終端的數(shù)據(jù)傳輸給所述第一vr/ar終端。

優(yōu)選地，所述方法還包括將至少一種采集設(shè)備與第一vr/ar終端和第二系統(tǒng)vr/ar終端分配到同一同步頻道。

優(yōu)選地，所述方法還包括將操作裝置與第一vr/ar終端和第二系統(tǒng)vr/ar終端分配到同一同步頻道。

優(yōu)選的，其中所述方法還包括傳送音頻、視頻、圖片、空間結(jié)構(gòu)信息中的一種或多種。

優(yōu)選地，在本方法中，通過(guò)vr/ar控制所述至少一種采集設(shè)備和/或所述操作裝置。

所述采集設(shè)備用于圖像采集、溫度數(shù)據(jù)采集、濕度數(shù)據(jù)采集、泄漏檢測(cè)、煙霧檢測(cè)、紅外檢測(cè)中的一種或多種。

優(yōu)選地，通過(guò)vr/ar終端控制攝像頭的采集方向。

優(yōu)選地，通過(guò)檢測(cè)vr/ar終端的顯示設(shè)備的轉(zhuǎn)動(dòng)，控制攝像頭的采集方向。

在本發(fā)明的一些實(shí)施方式中，所述至少一種采集設(shè)備可搭載在可移動(dòng)載體上。

優(yōu)選地，所述可移動(dòng)的載體為無(wú)人機(jī)、滑車(chē)、可移動(dòng)機(jī)器人、遙控汽車(chē)中的一種或多種。

優(yōu)選地，通過(guò)vr/ar終端控制所述可移動(dòng)的載體，所述可移動(dòng)載體的定位和動(dòng)作信息數(shù)據(jù)經(jīng)過(guò)服務(wù)器整合，發(fā)送到vr/ar終端，vr/ar終端發(fā)出的指令通過(guò)服務(wù)器發(fā)送到可移動(dòng)載體。

在本發(fā)明的一些實(shí)施方式中，所述至少一種采集設(shè)備采集的數(shù)據(jù)實(shí)時(shí)傳送到服務(wù)器。

在本發(fā)明的一些實(shí)施方式中，所述至少一種采集設(shè)備采集的數(shù)據(jù)在設(shè)備端進(jìn)行處理。

可選地，所述服務(wù)器為云端服務(wù)器。

附圖說(shuō)明

下面將通過(guò)參照附圖詳細(xì)描述本發(fā)明的優(yōu)選實(shí)施例，使本領(lǐng)域的普通技術(shù)人員更清楚本發(fā)明的上述及其它特征和優(yōu)點(diǎn)，附圖中：

圖1是根據(jù)本發(fā)明的一些實(shí)施方式的多vr/ar設(shè)備協(xié)同系統(tǒng)示意圖。

圖2是根據(jù)本發(fā)明的另一些實(shí)施方式的多vr/ar設(shè)備協(xié)同系統(tǒng)示意圖。

圖3是根據(jù)本發(fā)明的又一些實(shí)施方式的多vr/ar設(shè)備協(xié)同系統(tǒng)示意圖。

具體實(shí)施方式

在下文的描述中，給出了大量具體的細(xì)節(jié)以便提供對(duì)本發(fā)明更為徹底的理解。然而，對(duì)于本領(lǐng)域技術(shù)人員來(lái)說(shuō)顯而易見(jiàn)的是，本發(fā)明可以無(wú)需一個(gè)或多個(gè)這些細(xì)節(jié)而得以實(shí)施。在其他的例子中，為了避免與本發(fā)明發(fā)生混淆，對(duì)于本領(lǐng)域公知的一些技術(shù)特征未進(jìn)行描述。

vr終端系統(tǒng)可以是各種類(lèi)型的可以獨(dú)立完成vr或ar或者mr功能的設(shè)備，服務(wù)器可以是用于通過(guò)網(wǎng)絡(luò)提供各種資源的服務(wù)器。

vr終端系統(tǒng)和服務(wù)器可被稱(chēng)為各種其它名稱(chēng)，諸如本地裝置、遠(yuǎn)程裝置、計(jì)算機(jī)機(jī)器、計(jì)算機(jī)系統(tǒng)等。在下文中，裝置通常被稱(chēng)為vr終端系統(tǒng)和服務(wù)器。

vr終端系統(tǒng)包括虛擬現(xiàn)實(shí)頭戴式顯示設(shè)備，簡(jiǎn)稱(chēng)vr頭顯，是一種利用頭戴式顯示設(shè)備將人的對(duì)外界的視覺(jué)、聽(tīng)覺(jué)封閉，引導(dǎo)用戶(hù)產(chǎn)生一種身在虛擬環(huán)境中的感覺(jué)。其顯示原理是左右眼屏幕分別顯示左右眼的圖像，人眼獲取這種帶有差異的信息后在腦海中產(chǎn)生立體感。目前可采購(gòu)oculus、htcvive、sony等公司提供的頭顯設(shè)備。

理論上，vr終端系統(tǒng)也可以作為ar終端系統(tǒng)使用，區(qū)別僅在于顯示的內(nèi)容是全部由人工虛擬的，還是在現(xiàn)實(shí)場(chǎng)景上疊加的。這個(gè)問(wèn)題，本領(lǐng)域技術(shù)人員很容易理解而無(wú)需糾結(jié)任何具體的概念。ar終端系統(tǒng)可以采購(gòu)microsoft出品的hololens。本文中的ar也包括mr，因?yàn)槟壳霸诩夹g(shù)上并沒(méi)有嚴(yán)格的區(qū)分。

在本發(fā)明的一些實(shí)施方式中，vr終端系統(tǒng)還可包括用戶(hù)接口、裝置管理器、連接管理器、虛擬總線(xiàn)驅(qū)動(dòng)器、虛擬裝置驅(qū)動(dòng)器、一個(gè)或更多應(yīng)用等。

虛擬裝置驅(qū)動(dòng)器可包括例如虛擬圖形驅(qū)動(dòng)器、虛擬聲音驅(qū)動(dòng)器、虛擬相機(jī)驅(qū)動(dòng)器等。前述構(gòu)成元件中的至少一個(gè)可被包括在vr終端系統(tǒng)中所包括的通信模塊和用于控制通信模塊的處理器中。

服務(wù)器可包括用戶(hù)接口、裝置管理器、連接管理器、總線(xiàn)驅(qū)動(dòng)器、裝置驅(qū)動(dòng)器、虛擬裝置驅(qū)動(dòng)器配置信息等。

裝置驅(qū)動(dòng)器可包括例如圖形驅(qū)動(dòng)器、聲音驅(qū)動(dòng)器、相機(jī)驅(qū)動(dòng)器等。前述構(gòu)成元件中的至少一個(gè)可被包括在服務(wù)器中所包括的通信模塊和用于控制通信模塊的處理器中。

裝置驅(qū)動(dòng)器可被稱(chēng)為真實(shí)裝置驅(qū)動(dòng)器以與虛擬裝置驅(qū)動(dòng)器區(qū)分開(kāi)。圖形驅(qū)動(dòng)器、聲音驅(qū)動(dòng)器和相機(jī)驅(qū)動(dòng)器可被類(lèi)似地稱(chēng)為真實(shí)圖形驅(qū)動(dòng)器、真實(shí)聲音驅(qū)動(dòng)器和真實(shí)相機(jī)驅(qū)動(dòng)器以與虛擬圖形驅(qū)動(dòng)器、虛擬聲音驅(qū)動(dòng)器和虛擬相機(jī)驅(qū)動(dòng)器區(qū)分開(kāi)。

服務(wù)器可被稱(chēng)為用于支持由通過(guò)網(wǎng)絡(luò)連接的vr終端系統(tǒng)對(duì)各種類(lèi)型的輸入/輸出(i/o)資源進(jìn)行共享的主機(jī)計(jì)算機(jī)、主機(jī)程序等。

vr終端系統(tǒng)可被稱(chēng)為能夠共享通過(guò)網(wǎng)絡(luò)連接的服務(wù)器的各種類(lèi)型的i/o資源的客戶(hù)端計(jì)算機(jī)、客戶(hù)端程序等。

可以以物理硬件或邏輯軟件將用戶(hù)接口和實(shí)現(xiàn)為被實(shí)現(xiàn)用于臨時(shí)或永久連接以允許用戶(hù)與計(jì)算機(jī)系統(tǒng)之間的通信的物理或虛擬媒介。裝置管理器和可被包括在計(jì)算機(jī)系統(tǒng)的操作系統(tǒng)(os)中，并且可以是用于裝置管理的軟件構(gòu)成元件。

連接管理器和可發(fā)揮以下作用：例如通過(guò)網(wǎng)絡(luò)連接虛擬裝置驅(qū)動(dòng)器和真實(shí)裝置驅(qū)動(dòng)器，控制通信模塊的管理和注冊(cè)、通信信道的建立和終止等，廣播vr終端系統(tǒng)的信息，以及發(fā)現(xiàn)服務(wù)器的通信信道。

連接管理器和可控制vr終端系統(tǒng)與服務(wù)器之間的數(shù)據(jù)通信，并且可通過(guò)使用服務(wù)器的真實(shí)裝置驅(qū)動(dòng)器同時(shí)將各種資源的數(shù)據(jù)傳送到多個(gè)vr終端系統(tǒng)。

真實(shí)裝置驅(qū)動(dòng)器可被包括在服務(wù)器內(nèi)，或者可以是通過(guò)有線(xiàn)/無(wú)線(xiàn)方式連接而被使用的外部裝置驅(qū)動(dòng)器。虛擬裝置驅(qū)動(dòng)器可以是模擬硬件裝置的軟件構(gòu)成元件。例如，在windowsos中，虛擬裝置驅(qū)動(dòng)器可以是用于不處理硬件中斷而是處理在os上發(fā)生的軟件中斷的虛擬裝置驅(qū)動(dòng)器。

虛擬總線(xiàn)驅(qū)動(dòng)器是用于在虛擬裝置驅(qū)動(dòng)器與裝置管理器之間傳送數(shù)據(jù)的構(gòu)成元件。虛擬裝置驅(qū)動(dòng)配置信息可以以查看表形式等被存儲(chǔ)和管理以在真實(shí)裝置驅(qū)動(dòng)器和虛擬裝置驅(qū)動(dòng)器被連接到網(wǎng)絡(luò)時(shí)確定最佳通信機(jī)制，并且可以是用于數(shù)據(jù)通信的網(wǎng)絡(luò)連接信息以及用于確定如何傳送數(shù)據(jù)的通信設(shè)置信息。

vr終端系統(tǒng)和服務(wù)器可包括例如用戶(hù)模式和內(nèi)核模式。

vr終端系統(tǒng)的用戶(hù)接口提供與用戶(hù)的交互。例如，用戶(hù)接口獲取顯示信息、用戶(hù)請(qǐng)求等，并將獲取的結(jié)果傳送給裝置管理器。裝置管理器發(fā)揮用戶(hù)接口與連接管理器之間的中介作用，并且當(dāng)從用戶(hù)接口接收到控制請(qǐng)求時(shí)，將控制請(qǐng)求傳送到連接管理器。

管理vr終端系統(tǒng)的操作可包括以下所有操作：物理或遠(yuǎn)程裝置的發(fā)現(xiàn)和注冊(cè)、裝置的即插即用等，并且還可包括以下所有操作：廣播本地裝置信息，管理不同計(jì)算機(jī)裝置之間的連接等。

可通過(guò)連接管理器來(lái)提供管理不同計(jì)算機(jī)系統(tǒng)之間的連接的功能。例如，連接管理器可通過(guò)控制計(jì)算機(jī)系統(tǒng)之間的網(wǎng)絡(luò)通信來(lái)發(fā)揮發(fā)送/接收數(shù)據(jù)的作用。

作為本公開(kāi)的實(shí)施例，連接管理器可允許計(jì)算機(jī)系統(tǒng)之間的各種類(lèi)型的連接，并且可控制各種連接功能。例如，連接管理器可控制以下功能：管理和注冊(cè)通信模塊，建立和終止通信信道，廣播vr終端系統(tǒng)信息，發(fā)現(xiàn)服務(wù)器的通信信道，以及在計(jì)算機(jī)系統(tǒng)之間發(fā)送和接收數(shù)據(jù)。

連接管理器可被設(shè)置在用戶(hù)模式中，或者內(nèi)核模式中。內(nèi)核模式可與對(duì)所有系統(tǒng)存儲(chǔ)器和中央處理器(cpu)指令的訪(fǎng)問(wèn)被允許的處理的執(zhí)行模式相應(yīng)。

連接管理器可包括諸如以下項(xiàng)的構(gòu)成元件：主機(jī)管理模塊、信道管理模塊、網(wǎng)絡(luò)抽象層(套接口(socket))、局域網(wǎng)(lan)/無(wú)線(xiàn)lan(wlan)、自組織(ad-hoc)網(wǎng)絡(luò)等。

主機(jī)管理模塊可包括主機(jī)發(fā)現(xiàn)。信道管理模塊可包括虛擬信道服務(wù)、信道實(shí)例管理器、數(shù)據(jù)傳輸、異常處理等。

虛擬信道服務(wù)可管理至少一個(gè)虛擬信道，從而看起來(lái)它好像是至少一個(gè)客戶(hù)端所連接到的主機(jī)(例如，服務(wù)器)。信道實(shí)例管理器可通過(guò)連接虛擬信道與套接口來(lái)執(zhí)行管理。數(shù)據(jù)傳輸可控制通過(guò)虛擬信道對(duì)數(shù)據(jù)的發(fā)送和接收。

虛擬信道服務(wù)可對(duì)每個(gè)虛擬信道配置唯一名稱(chēng)。例如，任意一個(gè)虛擬信道的名稱(chēng)可以是“//servername/channel/channelname”。在下文中，“servername”可以是遠(yuǎn)程計(jì)算機(jī)系統(tǒng)(例如，服務(wù)器)的名稱(chēng)，并且連接應(yīng)用程序接口(api)可通過(guò)對(duì)名稱(chēng)進(jìn)行枚舉來(lái)一起顯示與計(jì)算機(jī)系統(tǒng)關(guān)聯(lián)的虛擬信道名稱(chēng)以及名稱(chēng)。

主機(jī)管理模塊是用于發(fā)現(xiàn)和管理可在網(wǎng)絡(luò)上被使用的主機(jī)的構(gòu)成元件。連接管理器可提供中繼功能，使得服務(wù)器(例如，服務(wù)器)的資源可被一個(gè)或更多個(gè)不同vr終端系統(tǒng)的電子裝置共享。

使用虛擬裝置驅(qū)動(dòng)器的應(yīng)用將應(yīng)用標(biāo)識(shí)符(id)作為唯一標(biāo)識(shí)符。應(yīng)用id可以是基于相應(yīng)應(yīng)用的名稱(chēng)、通用唯一id(uuid)、序列號(hào)等來(lái)產(chǎn)生的。

虛擬裝置驅(qū)動(dòng)器將虛擬裝置驅(qū)動(dòng)器id作為唯一標(biāo)識(shí)符。虛擬裝置驅(qū)動(dòng)器的id可以是在vr終端系統(tǒng)的os內(nèi)核中進(jìn)行操作的虛擬裝置的id等。

在本發(fā)明的一些實(shí)施例中，本發(fā)明的多vr/ar設(shè)備協(xié)同系統(tǒng)還包括一個(gè)或多個(gè)采集設(shè)備，所述采集設(shè)備配置有運(yùn)動(dòng)傳感器或定位設(shè)備。運(yùn)動(dòng)傳感器或位置設(shè)備可以包括以下中的一個(gè)或多個(gè)：陀螺儀；加速度計(jì)；羅盤(pán)、gps或其他衛(wèi)星接收器；glonass羅盤(pán)；或者任何其他位置、定位或方向傳感器。運(yùn)動(dòng)傳感器或定位設(shè)備可以使得能夠追蹤采集設(shè)備本身的位置和/或方位以及繼而追蹤用戶(hù)頭部的位置或定位。這可以允許采集設(shè)備計(jì)及頭部運(yùn)動(dòng)并且基于關(guān)于頭部運(yùn)動(dòng)的信息來(lái)調(diào)節(jié)凝視方向數(shù)據(jù)以提供對(duì)凝視方向的更好估計(jì)?；谟脩?hù)眼睛的方位所確定的凝視方向可以是相對(duì)于用戶(hù)頭部的方位。關(guān)于基于用戶(hù)眼睛的凝視方向的信息可以因此擴(kuò)增有關(guān)于用戶(hù)頭部的方位的信息。對(duì)于短暫時(shí)刻而言，該擴(kuò)增可以使用加速度計(jì)或陀螺儀執(zhí)行。然而，這些設(shè)備的不準(zhǔn)確性可能引起漂移，如果它們用于隨時(shí)間確定方位的話(huà)。在一些實(shí)施例中，關(guān)于基于用戶(hù)眼睛的凝視方向的信息和/或關(guān)于用戶(hù)頭部的方位的信息可以使用來(lái)自羅盤(pán)的信息進(jìn)一步擴(kuò)增，所述羅盤(pán)提供相對(duì)于絕對(duì)參考點(diǎn)的方位信息。另外，當(dāng)進(jìn)行凝視數(shù)據(jù)的固定濾波時(shí)，關(guān)于設(shè)備方位的改變的信息可能是有幫助的。假定周?chē)膶?duì)象保持相對(duì)靜止，則確定佩戴設(shè)備的用戶(hù)固定在靜止對(duì)象處而同時(shí)運(yùn)動(dòng)其頭部可能容易得多，如果設(shè)備方位數(shù)據(jù)可用的話(huà)。

在其他實(shí)施例中，運(yùn)動(dòng)傳感器或定位設(shè)備可以嵌入在與采集設(shè)備或采集設(shè)備的任何部分連接的裝置中。例如，運(yùn)動(dòng)傳感器或定位設(shè)備可以與采集設(shè)備或采集設(shè)備的任何部分無(wú)線(xiàn)連接或者利用線(xiàn)纜連接。在一些實(shí)施例中，這樣的運(yùn)動(dòng)傳感器或定位設(shè)備可以攜帶在由用戶(hù)所佩戴的背包中，或者以其他方式由用戶(hù)攜帶，所述用戶(hù)包括人類(lèi)、動(dòng)物或可移動(dòng)的機(jī)械裝置。當(dāng)運(yùn)動(dòng)傳感器或定位設(shè)備嵌入在采集設(shè)備中時(shí)，其可能能夠提供關(guān)于用戶(hù)的凝視位置的更準(zhǔn)確信息。數(shù)個(gè)不同的系統(tǒng)可以提供或計(jì)及所要求的延遲和精度。特別地，陀螺儀和羅盤(pán)可以提供更準(zhǔn)確的信息，如果嵌入在采集設(shè)備本身中的話(huà)。

此外，來(lái)自運(yùn)動(dòng)傳感器或定位設(shè)備的信息可以用于穩(wěn)定來(lái)自(多個(gè))采集設(shè)備的信息，例如場(chǎng)景攝像機(jī)的圖像數(shù)據(jù)。例如，場(chǎng)景攝像機(jī)可以捕獲接近由用戶(hù)所看到的視野的圖像數(shù)據(jù)。來(lái)自運(yùn)動(dòng)傳感器或定位設(shè)備的信息可以用于穩(wěn)定該圖像數(shù)據(jù)。關(guān)于用戶(hù)的凝視的信息可以進(jìn)一步用于裁剪或以其他方式調(diào)節(jié)該圖像數(shù)據(jù)以更準(zhǔn)確地表示用戶(hù)的凝視方向。圖像穩(wěn)定或補(bǔ)償可以包括視頻數(shù)據(jù)的線(xiàn)位移(line-shifting)。存在涉及使用陀螺儀或加速度計(jì)的數(shù)個(gè)公知的圖像穩(wěn)定方法，并且本領(lǐng)域技術(shù)人員將領(lǐng)會(huì)到，這些方法可以如何與本發(fā)明的實(shí)施例組合。此外，基于時(shí)間的補(bǔ)償可以應(yīng)用于圖像數(shù)據(jù)以計(jì)及場(chǎng)景攝像機(jī)中所固有的圖像捕獲延遲。特別地，由視頻攝像機(jī)、滾動(dòng)快門(mén)攝像機(jī)以及ccd類(lèi)型攝像機(jī)所捕獲的圖像可能由于圖像捕獲延遲而未示出針對(duì)獲得凝視點(diǎn)時(shí)的正確視野。時(shí)間補(bǔ)償可以取決于場(chǎng)景攝像機(jī)的類(lèi)型和/或凝視點(diǎn)定位在圖像中何處而不同。

圖像處理和穩(wěn)定在一些實(shí)施例中可以在捕獲數(shù)據(jù)時(shí)實(shí)時(shí)地在采集設(shè)備上或外部設(shè)備上執(zhí)行。在其他實(shí)施例中，圖像數(shù)據(jù)可以?xún)H存儲(chǔ)在采集設(shè)備上或者傳輸給外部設(shè)備，并且圖像穩(wěn)定或其他處理可以基于所捕獲的數(shù)據(jù)而隨后執(zhí)行。所采取的方法可以取決于采集設(shè)備中可用的處理能力，以及從機(jī)載或以其他方式連接的(多個(gè))電源可用的能量。特別地，某些類(lèi)型的處理可能要求大量計(jì)算能力，其繼而消耗很多電池容量。在一些實(shí)施例中，采集設(shè)備可以是可配置的以?xún)?yōu)化電池容量或者針對(duì)實(shí)時(shí)處理進(jìn)行優(yōu)化。

此外，可以分析來(lái)自場(chǎng)景攝像機(jī)的所捕獲的圖像或視頻中的元素以確定用戶(hù)頭部的方位以及用戶(hù)頭部的運(yùn)動(dòng)速度。通過(guò)分析接連圖像或視頻中的元素的相對(duì)位置，可以做出對(duì)凝視方向的計(jì)算的調(diào)節(jié)以補(bǔ)償運(yùn)動(dòng)。在另外的實(shí)施例中，圖像傳感器和/或場(chǎng)景攝像機(jī)可以利用滾動(dòng)快門(mén)來(lái)進(jìn)一步改進(jìn)確定用戶(hù)頭部的方位的精度。通過(guò)與圖像傳感器和場(chǎng)景攝像機(jī)的行的讀出信息組合地確定用戶(hù)頭部的方位和運(yùn)動(dòng)，所確定的凝視方向可以以使得凝視方向可以被校正成反映在計(jì)算凝視方向時(shí)存在于用戶(hù)視場(chǎng)中的實(shí)際場(chǎng)景的這樣的方式重疊在由場(chǎng)景攝像機(jī)所捕獲的圖像上。

例如，采集設(shè)備可以利用從傳感器導(dǎo)出的凝視數(shù)據(jù)來(lái)校準(zhǔn)來(lái)自場(chǎng)景攝像機(jī)的所捕獲數(shù)據(jù)以便更正確地反映在與來(lái)自場(chǎng)景攝像機(jī)的所捕獲數(shù)據(jù)有關(guān)的特定時(shí)間用戶(hù)看向何處以及何時(shí)看向。在本發(fā)明的實(shí)施例中，該方法可以在以下情況下采用：由場(chǎng)景攝像機(jī)捕獲的圖像數(shù)據(jù)已經(jīng)由于例如滾動(dòng)快門(mén)失真或振動(dòng)而失真。另外的實(shí)施例包括考慮設(shè)備的瞬時(shí)運(yùn)動(dòng)數(shù)據(jù)并且相應(yīng)地通過(guò)利用運(yùn)動(dòng)傳感器和/或其他傳感器進(jìn)行校準(zhǔn)。

可以分析來(lái)自場(chǎng)景攝像機(jī)的視頻以標(biāo)識(shí)用戶(hù)視場(chǎng)中的對(duì)象。通過(guò)標(biāo)識(shí)對(duì)象以及對(duì)象離用戶(hù)的距離，可以確定關(guān)于凝視方向和目標(biāo)的更準(zhǔn)確信息?？梢允褂糜?jì)算機(jī)視覺(jué)算法來(lái)從圖像數(shù)據(jù)檢測(cè)對(duì)象。在一些實(shí)施例中，多個(gè)場(chǎng)景攝像機(jī)可以用于提供立體視覺(jué)以及更準(zhǔn)確的計(jì)算機(jī)視覺(jué)算法。如同圖像穩(wěn)定和其他處理那樣，對(duì)象標(biāo)識(shí)可以取決于采集設(shè)備上可用的計(jì)算能力和功率容量而實(shí)時(shí)地或者作為后處理完成。可替換地或者附加地，場(chǎng)景攝像機(jī)可以是測(cè)量到佩戴采集設(shè)備的人的視場(chǎng)內(nèi)的對(duì)象的距離的深度攝像機(jī)。深度攝像機(jī)還可以確定對(duì)象的強(qiáng)度水平，因而也提供灰度等級(jí)圖像。

此外，圖像分析可以用于基于在用戶(hù)的視場(chǎng)內(nèi)所檢測(cè)的對(duì)象的標(biāo)識(shí)來(lái)確定用戶(hù)的位置。換言之，用戶(hù)的視場(chǎng)內(nèi)的對(duì)象(例如已知為與給定地點(diǎn)或地點(diǎn)類(lèi)型相關(guān)聯(lián)的地標(biāo)或?qū)ο?可以揭示用戶(hù)的位置。例如，對(duì)象或其他標(biāo)記(諸如標(biāo)志、產(chǎn)品類(lèi)型、定價(jià)標(biāo)簽產(chǎn)品等等)可以指示用戶(hù)存在于特定零售商店或者至少某一類(lèi)型零售商店內(nèi)。作為另一示例，場(chǎng)景攝像機(jī)或連接到采集設(shè)備的另一掃描設(shè)備可以配置成掃描出現(xiàn)在用戶(hù)的視場(chǎng)內(nèi)的條形碼，其可以揭示用戶(hù)存在于零售商店或者其他已知位置或已知類(lèi)型的位置內(nèi)。這樣的位置信息可以與來(lái)自位置傳感器和運(yùn)動(dòng)傳感器的信息復(fù)合，以確定用戶(hù)到達(dá)他/她的存在位置所采取的路徑和/或在該位置周?chē)鷮?dǎo)航。在用戶(hù)處于電視或顯示器(例如顯示計(jì)算機(jī)游戲)附近的情況下，游戲可能能夠處理由采集設(shè)備提供的眼睛追蹤輸入；可以使用圖像分析來(lái)確定相對(duì)于電視或顯示器的用戶(hù)凝視的方向。

此外，來(lái)自場(chǎng)景攝像機(jī)的圖像分析可以用于同時(shí)定位和映射(slam)。slam是構(gòu)建位置地圖而同時(shí)在該地圖內(nèi)映射設(shè)備的位置的過(guò)程。slam由機(jī)器人及類(lèi)似器械頻繁使用并且可以包括用于捕獲機(jī)器人的環(huán)境的圖像以用于映射的圖像傳感器。根據(jù)本發(fā)明的實(shí)施例的設(shè)備也可以與slam一起使用。

在運(yùn)動(dòng)傳感器被用于檢測(cè)運(yùn)動(dòng)的情況下，當(dāng)在較長(zhǎng)的時(shí)間段內(nèi)依賴(lài)于它們時(shí)，可能存在數(shù)據(jù)內(nèi)的顯著漂移。來(lái)自這些運(yùn)動(dòng)傳感器的信息因此可以通過(guò)基于從(多個(gè))場(chǎng)景攝像機(jī)所檢測(cè)的對(duì)象而確定的位置信息來(lái)校正。使用(多個(gè))場(chǎng)景攝像機(jī)所檢測(cè)的對(duì)象可以包括特性結(jié)構(gòu)或?qū)ο笠约皸l形碼。在其他實(shí)施例中，經(jīng)由麥克風(fēng)所檢測(cè)的聲音信息可以用于確定位置。例如，超聲發(fā)射器可以放置在遍及特定位置(諸如零售商店)的各點(diǎn)處，并且麥克風(fēng)可以用于確定最靠近的發(fā)射器?？商鎿Q地，超聲源可以安裝在采集設(shè)備上并且麥克風(fēng)被用于確定在超聲源的方向上到最靠近的對(duì)象的距離。另外或者可替換地，麥克風(fēng)可以被用于檢測(cè)其他環(huán)境聲音，并且這樣的信息可以至少部分地用于確定其中存在用戶(hù)的位置或位置類(lèi)型。在一些實(shí)施例中，rfid標(biāo)簽讀取器可以包括在采集設(shè)備中使得rfid標(biāo)簽可以被用于確定用戶(hù)的位置。作為附加示例，wi-fi信號(hào)和/或其他通信信號(hào)可以通過(guò)適當(dāng)?shù)氖瞻l(fā)器和采集設(shè)備上所機(jī)載的邏輯來(lái)接收并進(jìn)行三角測(cè)量，以確定用戶(hù)的位置。本領(lǐng)域技術(shù)人員將領(lǐng)會(huì)到，本發(fā)明不限于上文所記載的示例并且可以使用數(shù)個(gè)位置標(biāo)識(shí)裝置來(lái)聚合或確定關(guān)于佩戴者的位置信息。

在一些實(shí)施例中，一個(gè)或多個(gè)附加的設(shè)備可以嵌入在采集設(shè)備中或者與采集設(shè)備耦合。例如，場(chǎng)景攝像機(jī)可以被用于記錄用戶(hù)可能在其中運(yùn)動(dòng)和/或觀(guān)看的區(qū)域中的圖像。陀螺儀可以被用于羅盤(pán)類(lèi)特征以標(biāo)識(shí)采集設(shè)備指向哪個(gè)方向以及因而用戶(hù)看向哪個(gè)方向。設(shè)備中的圖像傳感器然后可以基于頭部所指向的地方的方向來(lái)標(biāo)識(shí)用戶(hù)的凝視點(diǎn)的角度和距離。來(lái)自這些多個(gè)傳感器的信息組合起來(lái)可以用于計(jì)算表示佩戴者的凝視的向量。該向量可以變換和可視化在場(chǎng)景攝像機(jī)的視野中。向量可以在一些實(shí)施例中用于基于關(guān)于用戶(hù)的凝視聚焦在哪里的信息而提供熱圖。提供在采集設(shè)備上的顯示器可以允許用戶(hù)觀(guān)看由采集設(shè)備所提供的該視覺(jué)數(shù)據(jù)或其他視覺(jué)數(shù)據(jù)。僅僅作為示例，這樣的顯示器可以包括lcd屏幕、led屏幕、棱鏡投影儀和/或其他顯示技術(shù)。

在一個(gè)示例實(shí)施例中，移動(dòng)裝置在于移動(dòng)裝置的一個(gè)或多個(gè)計(jì)算裝置處接收到指示環(huán)境的激光數(shù)據(jù)的同時(shí)可進(jìn)行導(dǎo)航。例如，移動(dòng)裝置包括被配置為捕捉傳感器數(shù)據(jù)的lidar模塊，所述傳感器數(shù)據(jù)諸如是由與環(huán)境中的一個(gè)或多個(gè)物體相關(guān)聯(lián)的數(shù)據(jù)點(diǎn)組成的激光數(shù)據(jù)。類(lèi)似地，移動(dòng)裝置還可包括被配置為提供可用于物體檢測(cè)的傳感器數(shù)據(jù)的其它類(lèi)型的傳感器，諸如深度相機(jī)。例如，計(jì)算裝置可接收在結(jié)構(gòu)化三維(3d)點(diǎn)云和/或非結(jié)構(gòu)化3d點(diǎn)云中的指示環(huán)境的數(shù)據(jù)點(diǎn)。在一些情況下，計(jì)算裝置可接收在像柵格那樣的點(diǎn)云內(nèi)的數(shù)據(jù)點(diǎn)。激光數(shù)據(jù)可包括含有指示相對(duì)于移動(dòng)裝置的環(huán)境中的物體的位置的信息的數(shù)據(jù)點(diǎn)。在其它示例中，激光數(shù)據(jù)可包括關(guān)于移動(dòng)裝置的環(huán)境的其它信息。

在操作期間，計(jì)算裝置可使用激光數(shù)據(jù)點(diǎn)來(lái)生成包括指示環(huán)境中的物體的位置的像素的二維(2d)距離圖像。作為示例，計(jì)算裝置可將激光數(shù)據(jù)點(diǎn)投影到位于移動(dòng)裝置周?chē)蛟谔摂M渲染中虛擬地位于移動(dòng)裝置周?chē)母拍钚?d圓柱表面，以使得像素對(duì)應(yīng)于激光數(shù)據(jù)點(diǎn)內(nèi)的數(shù)據(jù)。作為結(jié)果的生成的2d距離圖像可包括具有指示環(huán)境中的信息的值的像素，并且還可包括可不具有來(lái)自激光數(shù)據(jù)點(diǎn)的值的一些像素。缺失值的像素可對(duì)應(yīng)于計(jì)算裝置未接收到指示性的激光數(shù)據(jù)的物體的部分。在一些示例實(shí)施例中，計(jì)算裝置可在完成接收整個(gè)點(diǎn)云之前開(kāi)始生成2d距離圖像的部分。例如，當(dāng)從lidar模塊接收到點(diǎn)時(shí)，計(jì)算裝置可形成2d距離圖像的部分。

此外，移動(dòng)裝置的計(jì)算裝置可修正2d距離圖像來(lái)填充由沒(méi)有值的像素造成的空白。例如，計(jì)算裝置可使用2d距離圖像中位于一個(gè)或多個(gè)空白附近的各個(gè)鄰近元素來(lái)確定要分配給原本沒(méi)有值的空白中的像素的平均值。計(jì)算裝置可使用經(jīng)修正的2d距離圖像來(lái)確定可與移動(dòng)裝置的環(huán)境中的一個(gè)或多個(gè)物體的相應(yīng)表面相對(duì)應(yīng)的像素組的一個(gè)或多個(gè)法向量。

在一些示例中，計(jì)算裝置可使用表面法線(xiàn)和平面分割過(guò)程來(lái)對(duì)所獲取的傳感器數(shù)據(jù)中的平面進(jìn)行分類(lèi)(例如，將像素組與環(huán)境中的表面關(guān)聯(lián))，這可幫助移動(dòng)裝置進(jìn)行物體識(shí)別和避障。當(dāng)移動(dòng)裝置導(dǎo)航時(shí)，計(jì)算裝置可形成對(duì)環(huán)境內(nèi)的物體的虛擬地圖繪制。另外，計(jì)算裝置可使用像素組的法向量以及平面分割來(lái)將關(guān)于環(huán)境的物體識(shí)別信息提供給移動(dòng)裝置系統(tǒng)，移動(dòng)裝置可在操作期間使用所述物體識(shí)別信息來(lái)確定合適的導(dǎo)航策略。

耦合到移動(dòng)裝置或包括在移動(dòng)裝置中的組件可包括推進(jìn)系統(tǒng)、傳感器系統(tǒng)、控制系統(tǒng)、外圍采集設(shè)備、電源、計(jì)算裝置以及用戶(hù)接口。計(jì)算裝置可包括處理器和存儲(chǔ)器。計(jì)算裝置可以是移動(dòng)裝控制器或控制器的一部分。存儲(chǔ)器可包括處理器可運(yùn)行的指令，并且還可存儲(chǔ)地圖數(shù)據(jù)。移動(dòng)裝置的組件可被配置為以與彼此互連和/或與耦合到各系統(tǒng)的其它組件互連的方式工作。例如，電源可向移動(dòng)裝置的所有組件提供電力。計(jì)算裝置可被配置為從推進(jìn)系統(tǒng)、傳感器系統(tǒng)、控制系統(tǒng)和外圍采集設(shè)備接收數(shù)據(jù)并對(duì)它們進(jìn)行控制。計(jì)算裝置可被配置為在用戶(hù)接口上生成圖像的顯示并從用戶(hù)接口接收輸入。

在其它示例中，移動(dòng)裝置可包括更多、更少或不同的系統(tǒng)，并且每個(gè)系統(tǒng)可包括更多、更少或不同的組件。此外，示出的系統(tǒng)和組件可以按任意種的方式進(jìn)行組合或劃分。

推進(jìn)系統(tǒng)可被配置為移動(dòng)裝置提供動(dòng)力運(yùn)動(dòng)。推進(jìn)系統(tǒng)包括引擎/發(fā)動(dòng)機(jī)、能量源、傳動(dòng)裝置和車(chē)輪/輪胎。

推進(jìn)系統(tǒng)可以額外地或可替換地包括除了所示出的那些以外的組件。

傳感器系統(tǒng)可包括被配置為感測(cè)關(guān)于移動(dòng)裝置所位于的環(huán)境的信息的若干個(gè)傳感器。如圖所示，傳感器系統(tǒng)的傳感器包括全球定位系統(tǒng)(globalpositioningsystem，gps)、慣性測(cè)量單元(inertialmeasurementunit，imu)、無(wú)線(xiàn)電檢測(cè)和測(cè)距(radar)單元、激光測(cè)距儀和/或光檢測(cè)和測(cè)距(lidar)單元、相機(jī)以及被配置為修改傳感器的位置和/或朝向的致動(dòng)器。傳感器系統(tǒng)也可包括額外的傳感器，包括例如監(jiān)視移動(dòng)裝置的內(nèi)部系統(tǒng)的傳感器(例如，o2監(jiān)視器、燃油量表、機(jī)油溫度，等等)。其它傳感器也是可能的。

gps模塊可以是被配置為估計(jì)移動(dòng)裝置的地理位置的任何傳感器。為此，gps模塊可包括被配置為基于星基定位數(shù)據(jù)估計(jì)移動(dòng)裝置相對(duì)于地球的位置的收發(fā)器。計(jì)算裝置可被配置為結(jié)合地圖數(shù)據(jù)地使用gps模塊來(lái)估計(jì)移動(dòng)裝置可在其上行駛的道路上的車(chē)道邊界的位置。gps模塊也可采取其它形式。

imu可以是被配置為基于慣性加速度來(lái)感測(cè)移動(dòng)裝置的位置和朝向變化的傳感器的任意組合。在一些示例中，傳感器的組合可包括例如加速度計(jì)和陀螺儀。傳感器的其它組合也是可能的。

radar單元可以被看作物體檢測(cè)系統(tǒng)，其可被配置為使用無(wú)線(xiàn)電波來(lái)檢測(cè)物體的特性，諸如物體的距離、高度、方向或速度。radar單元可被配置為傳送無(wú)線(xiàn)電波或微波脈沖，其可從波的路線(xiàn)中的任何物體反彈。物體可將波的一部分能量返回至接收器(例如，碟形天線(xiàn)或天線(xiàn))，該接收器也可以是radar單元的一部分。radar單元還可被配置為對(duì)接收到的信號(hào)(從物體反彈)執(zhí)行數(shù)字信號(hào)處理，并且可被配置為識(shí)別物體。

其它類(lèi)似于radar的系統(tǒng)已用在電磁波譜的其它部分上。一個(gè)示例是lidar(光檢測(cè)和測(cè)距)，其可被配置為使用來(lái)自激光的可見(jiàn)光，而非無(wú)線(xiàn)電波。

lidar單元可包括傳感器，該傳感器被配置為使用光來(lái)感測(cè)或檢測(cè)移動(dòng)裝置所位于的環(huán)境中的物體。通常，lidar是可通過(guò)利用光照射目標(biāo)來(lái)測(cè)量到目標(biāo)的距離或目標(biāo)的其它屬性的光學(xué)遙感技術(shù)。作為示例，lidar單元可包括被配置為發(fā)射激光脈沖的激光源和/或激光掃描儀，和被配置為接收激光脈沖的反射的檢測(cè)器。例如，lidar單元可包括由轉(zhuǎn)鏡反射的激光測(cè)距儀，并且以一維或二維圍繞數(shù)字化場(chǎng)景掃描激光，從而以指定角度間隔采集距離測(cè)量值。在示例中，lidar單元可包括諸如光(例如，激光)源、掃描儀和光學(xué)系統(tǒng)、光檢測(cè)器和接收器電子器件之類(lèi)的組件，以及位置和導(dǎo)航系統(tǒng)。

在示例中，lidar單元可被配置為使用紫外光(uv)、可見(jiàn)光或紅外光對(duì)物體成像，并且可用于廣泛的目標(biāo)，包括非金屬物體。在一個(gè)示例中，窄激光波束可用于以高分辨率對(duì)物體的物理特征進(jìn)行地圖繪制。

不同類(lèi)型的散射被用于不同的lidar應(yīng)用，諸如瑞利散射、米氏散射和拉曼散射以及熒光?；诓煌N類(lèi)的后向散射，作為示例，lidar可因此被稱(chēng)為瑞利激光radar、米氏lidar、拉曼lidar以及鈉/鐵/鉀熒光lidar。波長(zhǎng)的適當(dāng)組合可允許例如通過(guò)尋找反射信號(hào)的強(qiáng)度的依賴(lài)波長(zhǎng)的變化對(duì)物體進(jìn)行遠(yuǎn)程地圖繪制。

使用掃描lidar系統(tǒng)和非掃描lidar系統(tǒng)兩者可實(shí)現(xiàn)三維(3d)成像?！?d選通觀(guān)測(cè)激光radar(3dgatedviewinglaserradar)”是非掃描激光測(cè)距系統(tǒng)的示例，其應(yīng)用脈沖激光和快速選通相機(jī)。成像lidar也可使用通常使用cmos(互補(bǔ)金屬氧化物半導(dǎo)體)和混合cmos/ccd(電荷耦合器件)制造技術(shù)在單個(gè)芯片上構(gòu)建的高速檢測(cè)器陣列和調(diào)制敏感檢測(cè)器陣列來(lái)執(zhí)行。在這些裝置中，每個(gè)像素可通過(guò)以高速解調(diào)或選通來(lái)被局部地處理，以使得陣列可被處理成表示來(lái)自相機(jī)的圖像。使用此技術(shù)，可同時(shí)獲取上千個(gè)像素以創(chuàng)建表示lidar單元檢測(cè)到的物體或場(chǎng)景的3d點(diǎn)云。

點(diǎn)云可包括3d坐標(biāo)系統(tǒng)中的一組頂點(diǎn)。這些頂點(diǎn)例如可由x、y、z坐標(biāo)定義，并且可表示物體的外表面。lidar單元可被配置為通過(guò)測(cè)量物體表面上的大量點(diǎn)來(lái)創(chuàng)建點(diǎn)云，并可將點(diǎn)云作為數(shù)據(jù)文件輸出。作為通過(guò)lidar單元的對(duì)物體的3d掃描過(guò)程的結(jié)果，點(diǎn)云可用于識(shí)別并可視化物體。

在一個(gè)示例中，點(diǎn)云可被直接渲染以可視化物體。在另一示例中，點(diǎn)云可通過(guò)可被稱(chēng)為表面重建的過(guò)程被轉(zhuǎn)換為多邊形或三角形網(wǎng)格模型。用于將點(diǎn)云轉(zhuǎn)換為3d表面的示例技術(shù)可包括德洛內(nèi)三角剖分、阿爾法形狀和旋轉(zhuǎn)球。這些技術(shù)包括在點(diǎn)云的現(xiàn)有頂點(diǎn)上構(gòu)建三角形的網(wǎng)絡(luò)。其它示例技術(shù)可包括將點(diǎn)云轉(zhuǎn)換為體積距離場(chǎng)，以及通過(guò)移動(dòng)立方體算法重建這樣定義的隱式表面。

采集設(shè)備可以是被配置為捕捉移動(dòng)裝置所位于的環(huán)境的圖像的任意相機(jī)(例如，靜態(tài)相機(jī)、視頻相機(jī)等)。為此，相機(jī)可被配置為檢測(cè)可見(jiàn)光，或可被配置為檢測(cè)來(lái)自光譜的其它部分(諸如紅外光或紫外光)的光。其它類(lèi)型的相機(jī)也是可能的。相機(jī)可以是二維檢測(cè)器，或可具有三維空間范圍。在一些示例中，相機(jī)例如可以是距離檢測(cè)器，其被配置為生成指示從相機(jī)到環(huán)境中的若干點(diǎn)的距離的二維距離圖像。為此，相機(jī)可使用一種或多種距離檢測(cè)技術(shù)。例如，相機(jī)可被配置為使用結(jié)構(gòu)光技術(shù)，其中移動(dòng)裝置利用預(yù)定光圖案，諸如柵格或棋盤(pán)格圖案，對(duì)環(huán)境中的物體進(jìn)行照射，并且使用相機(jī)檢測(cè)從物體的預(yù)定光圖案的反射?；诜瓷涞墓鈭D案中的畸變，移動(dòng)裝置可被配置為檢測(cè)到物體上的點(diǎn)的距離。預(yù)定光圖案可包括紅外光或其它波長(zhǎng)的光。

致動(dòng)器例如可被配置為修改傳感器的位置和/或朝向。

傳感器系統(tǒng)可額外地或可替換地包括除了所示出的那些以外的組件。

控制系統(tǒng)可被配置為控制移動(dòng)裝置及其組件的操作。

傳感器融合算法可以包括例如計(jì)算裝置可運(yùn)行的算法(或者存儲(chǔ)算法的計(jì)算機(jī)程序產(chǎn)品)。傳感器融合算法可被配置為接受來(lái)自傳感器的數(shù)據(jù)作為輸入。所述數(shù)據(jù)可包括例如表示在傳感器系統(tǒng)的傳感器處感測(cè)到的信息的數(shù)據(jù)。傳感器融合算法可包括例如卡爾曼濾波器、貝葉斯網(wǎng)絡(luò)或者另外的算法。傳感器融合算法還可被配置為基于來(lái)自傳感器系統(tǒng)的數(shù)據(jù)來(lái)提供各種評(píng)價(jià)，包括例如對(duì)移動(dòng)裝置所位于的環(huán)境中的個(gè)體物體和/或特征的評(píng)估、對(duì)具體情形的評(píng)估和/或基于特定情形的可能影響的評(píng)估。其它評(píng)價(jià)也是可能的。

計(jì)算機(jī)視覺(jué)系統(tǒng)可以是被配置為處理和分析由相機(jī)捕捉的圖像以便識(shí)別移動(dòng)裝置所位于的環(huán)境中的物體和/或特征的任何系統(tǒng)，所述物體和/或特征包括例如隧道形狀、故障區(qū)域和障礙物。為此，計(jì)算機(jī)視覺(jué)系統(tǒng)可使用物體識(shí)別算法、從運(yùn)動(dòng)中恢復(fù)結(jié)構(gòu)(structurefrommotion，sfm)算法、視頻跟蹤或其它計(jì)算機(jī)視覺(jué)技術(shù)。在一些示例中，計(jì)算機(jī)視覺(jué)系統(tǒng)可以額外地被配置為地圖繪制環(huán)境、跟隨物體、估計(jì)物體的速度，等等。

導(dǎo)航和路線(xiàn)控制系統(tǒng)可以是被配置為確定移動(dòng)裝置的駕駛路線(xiàn)的任何系統(tǒng)。導(dǎo)航和路線(xiàn)控制系統(tǒng)可以額外地被配置為在移動(dòng)裝置處于操作中的同時(shí)動(dòng)態(tài)地更新駕駛路線(xiàn)。在一些示例中，導(dǎo)航和路線(xiàn)控制系統(tǒng)可被配置為結(jié)合來(lái)自傳感器融合算法、gps模塊和一個(gè)或多個(gè)預(yù)定地圖的數(shù)據(jù)以便為移動(dòng)裝置確定駕駛路線(xiàn)。

外圍采集設(shè)備可被配置為允許移動(dòng)裝置與外部傳感器、其它用戶(hù)交互。為此，外圍采集設(shè)備可包括例如無(wú)線(xiàn)通信系統(tǒng)、觸摸屏、麥克風(fēng)和/或揚(yáng)聲器。

無(wú)線(xiàn)通信系統(tǒng)可以是被配置為直接地或經(jīng)由通信網(wǎng)絡(luò)無(wú)線(xiàn)耦合至一個(gè)或多個(gè)其它移動(dòng)裝置、傳感器或其它實(shí)體的任何系統(tǒng)。為此，無(wú)線(xiàn)通信系統(tǒng)可包括用于直接或通過(guò)空中接口與其它移動(dòng)裝置、傳感器或其它實(shí)體通信的天線(xiàn)和芯片集。芯片集或整個(gè)無(wú)線(xiàn)通信系統(tǒng)可被布置為根據(jù)一個(gè)或多個(gè)其它類(lèi)型的無(wú)線(xiàn)通信(例如，協(xié)議)來(lái)通信，所述無(wú)線(xiàn)通信諸如藍(lán)牙、ieee802.11(包括任何ieee802.11修訂版)中描述的通信協(xié)議、蜂窩技術(shù)(諸如gsm、cdma、umts、ev-do、wimax或lte)、紫蜂、專(zhuān)用短程通信(dedicatedshortrangecommunications，dsrc)以及射頻識(shí)別(radiofrequencyidentification，rfid)通信，等等。無(wú)線(xiàn)通信系統(tǒng)也可采取其它形式。

觸摸屏可被用戶(hù)用來(lái)向移動(dòng)裝置輸入命令。為此，觸摸屏可被配置為經(jīng)由電容感測(cè)、電阻感測(cè)或者表面聲波過(guò)程等等來(lái)感測(cè)用戶(hù)的手指的位置和移動(dòng)中的至少一者。觸摸屏可能夠感測(cè)在與觸摸屏表面平行或與觸摸屏表面在同一平面內(nèi)的方向上、在與觸摸屏表面垂直的方向上或者在這兩個(gè)方向上的手指移動(dòng)，并且還可能夠感測(cè)施加到觸摸屏表面的壓力的水平。觸摸屏可由一個(gè)或多個(gè)半透明或透明絕緣層和一個(gè)或多個(gè)半透明或透明導(dǎo)電層形成。觸摸屏也可采取其它形式。

麥克風(fēng)可被配置為從移動(dòng)裝置的用戶(hù)接收音頻(例如，聲音命令或其它音頻輸入)。類(lèi)似地，揚(yáng)聲器可被配置為向移動(dòng)裝置的用戶(hù)輸出音頻。

外圍采集設(shè)備可以額外地或可替換地包括除了所示出的那些以外的組件。

電源可被配置為向移動(dòng)裝置的一些或全部組件提供電力。為此，電源可包括例如可再充電鋰離子或鉛酸電池。在一些示例中，一個(gè)或多個(gè)電池組可被配置為提供電力。其它電源材料和配置也是可能的。在一些示例中，電源和能量源可一起實(shí)現(xiàn)，如一些全電動(dòng)車(chē)中那樣。

處理硬件可包括一個(gè)或多個(gè)通用處理器和/或一個(gè)或多個(gè)專(zhuān)用處理器(例如，圖像處理器、數(shù)字信號(hào)處理器等)。就處理硬件包括多于一個(gè)處理器而言，這種處理硬件可單獨(dú)工作或組合工作。計(jì)算裝置可被配置為例如基于通過(guò)用戶(hù)接口112接收的輸入控制移動(dòng)裝置的功能。

存儲(chǔ)器進(jìn)而可包括一個(gè)或多個(gè)易失性存儲(chǔ)組件和/或一個(gè)或多個(gè)非易失性存儲(chǔ)組件，諸如光、磁和/或有機(jī)存儲(chǔ)裝置，并且存儲(chǔ)器114可全部或部分與處理器集成。存儲(chǔ)器可包含可由處理硬件運(yùn)行的指令(例如，程序邏輯)，包括本文中描述的功能或方法中的任何一個(gè)。

移動(dòng)裝置的組件可被配置為以與在其各自的系統(tǒng)內(nèi)部和/或外部的其它組件互連的方式工作。為此，移動(dòng)裝置的組件和系統(tǒng)可通過(guò)系統(tǒng)總線(xiàn)、網(wǎng)絡(luò)和/或其它連接機(jī)制通信地鏈接在一起。

另外，盡管組件和系統(tǒng)的每一個(gè)被示出為集成到移動(dòng)裝置中，但是在一些示例中，一個(gè)或多個(gè)組件或系統(tǒng)可使用有線(xiàn)或無(wú)線(xiàn)連接來(lái)被可移除地安裝在移動(dòng)裝置上或以其它方式連接(機(jī)械地或電氣地)至移動(dòng)裝置。

移動(dòng)裝置可包括除了所示出的那些或代替所示出的那些的一個(gè)或多個(gè)元件。例如，移動(dòng)裝置可包括一個(gè)或多個(gè)額外的接口和/或電源。其它額外的組件也是可能的。在這些示例中，存儲(chǔ)器還包括指令，其可被處理器113運(yùn)行來(lái)控制額外的組件和/或與額外的組件通信。

在本發(fā)明的另一些實(shí)施方式中，移動(dòng)裝置包括第一傳感器單元、第二傳感器單元、第三傳感器單元、無(wú)線(xiàn)通信系統(tǒng)和相機(jī)。

第一、第二和第三傳感器單元中的每一者可包括全球定位系統(tǒng)傳感器、慣性測(cè)量單元、radar單元、lidar單元、相機(jī)、車(chē)道檢測(cè)傳感器和聲學(xué)傳感器的任意組合。其它類(lèi)型的傳感器也是可能的。

盡管第一、第二和第三傳感器單元被示為安裝在移動(dòng)裝置上的特定位置中，但在一些示例中，傳感器單元可安裝在移動(dòng)裝置上的別處，在移動(dòng)裝置內(nèi)部或外部。另外，盡管只示出了三個(gè)傳感器單元，但在一些示例中，移動(dòng)裝置中可包括更多或更少的傳感器單元。

在一些示例中，第一、第二和第三傳感器單元中的一個(gè)或多個(gè)可包括一個(gè)或多個(gè)可移動(dòng)底座，傳感器可以可移動(dòng)地安裝在這些底座上?？梢苿?dòng)底座可包括例如旋轉(zhuǎn)平臺(tái)。安裝在旋轉(zhuǎn)平臺(tái)上的傳感器可被旋轉(zhuǎn)以使得傳感器可獲得來(lái)自移動(dòng)裝置周?chē)拿總€(gè)方向的信息?？商鎿Q地或額外地，可移動(dòng)底座可包括傾斜平臺(tái)。安裝在傾斜平臺(tái)上的傳感器可在特定的角度和/或方位范圍內(nèi)被傾斜以使得傳感器可獲得來(lái)自各種角度的信息。可移動(dòng)底座也可采取其它形式。

另外，在一些示例中，第一、第二和第三傳感器單元中的一個(gè)或多個(gè)可包括一個(gè)或多個(gè)致動(dòng)器，這些致動(dòng)器被配置為通過(guò)移動(dòng)傳感器和/或可移動(dòng)底座來(lái)調(diào)整傳感器單元中的傳感器的位置和/或朝向。示例致動(dòng)器包括馬達(dá)(motor)、氣動(dòng)致動(dòng)器、液壓活塞、繼電器、螺線(xiàn)管和壓電致動(dòng)器。其它致動(dòng)器也是可能的。

移動(dòng)裝置的控制系統(tǒng)可被配置為依據(jù)來(lái)自多個(gè)可能的控制策略中的一控制策略控制移動(dòng)裝置?？刂葡到y(tǒng)可被配置為從耦合到移動(dòng)裝置(在移動(dòng)裝置上或移動(dòng)裝置外)的傳感器接收信息，基于該信息修改控制策略(以及相關(guān)聯(lián)的駕駛行為)，并且依據(jù)經(jīng)修改的控制策略控制移動(dòng)裝置?？刂葡到y(tǒng)還可被配置為監(jiān)視從傳感器接收到的信息，并且持續(xù)評(píng)估移動(dòng)環(huán)境；并且也可被配置為基于移動(dòng)狀況的變化修改控制策略和運(yùn)行行為。

具體地，計(jì)算裝置可使用傳感器相對(duì)于環(huán)境中的物體的已知位置以及3d激光數(shù)據(jù)點(diǎn)來(lái)按合適的順序?qū)Ⅻc(diǎn)投影到概念性圓柱形2d表面上以反映移動(dòng)裝置的環(huán)境。結(jié)果，計(jì)算裝置可使用激光數(shù)據(jù)點(diǎn)形成作為360度全景存在的圖像，其中組成距離圖像的每個(gè)像素的值反映原始3d激光數(shù)據(jù)點(diǎn)內(nèi)的數(shù)據(jù)。在一些情況下，2d距離圖像可包括可由沒(méi)有分配值的像素組成的一個(gè)或多個(gè)空白。此外，計(jì)算裝置可使用激光數(shù)據(jù)形成其它圖像，諸如180度圖像或其它形式。在示例實(shí)現(xiàn)方式中，計(jì)算裝置可形成多個(gè)2d距離圖像或者確定指示從傳感器接收到的數(shù)據(jù)的3d格式結(jié)構(gòu)。

將激光數(shù)據(jù)配置到概念性圓柱形2d表面上可使得計(jì)算裝置能夠?qū)⒓す鈹?shù)據(jù)定位到可準(zhǔn)確反映移動(dòng)裝置的環(huán)境的2d距離圖像內(nèi)的像素中。不同的像素可提供關(guān)于環(huán)境的信息，包括關(guān)于物體相對(duì)于移動(dòng)裝置的位置的信息。全景中的每個(gè)像素的值可對(duì)應(yīng)于傳感器數(shù)據(jù)中接收到的原始點(diǎn)。2d距離圖像內(nèi)的一些像素沒(méi)有被分配值，這可導(dǎo)致2d距離圖像總體上的空白。在其它示例實(shí)施例中，計(jì)算裝置可將傳感器數(shù)據(jù)格式化為其它配置以供分析。

實(shí)施例1

如圖1所示，使用多個(gè)市售htcvivevr眼鏡作為vr終端系統(tǒng)，其包括頭戴顯示器、手持控制器以及基站?；咎峁?60度移動(dòng)追蹤；手持控制器內(nèi)置感應(yīng)器，實(shí)現(xiàn)移動(dòng)追蹤，同時(shí)可通過(guò)按鍵等實(shí)現(xiàn)對(duì)內(nèi)容的控制；頭戴顯示器內(nèi)置陀螺儀、加速度計(jì)及激光定位傳感器，在提供顯示功能之外，可以追蹤頭部的移動(dòng)。

將多個(gè)vr終端系統(tǒng)與服務(wù)器相連，服務(wù)器驗(yàn)證各個(gè)vr終端系統(tǒng)的身份信息。

服務(wù)器中事先設(shè)置有頻道htcaa，本實(shí)施例的多個(gè)vr終端系統(tǒng)通過(guò)身份驗(yàn)證后，進(jìn)入該頻道。

各個(gè)vr終端系統(tǒng)在各自的空間內(nèi)進(jìn)行定位校準(zhǔn)，確定頭顯和手持控制器在各自空間內(nèi)的位置，包括xyz坐標(biāo)及角度，將數(shù)據(jù)實(shí)時(shí)上傳到服務(wù)器。

服務(wù)器在頻道htcaa形成的虛擬空間內(nèi)，將各個(gè)vr終端系統(tǒng)上傳的數(shù)據(jù)轉(zhuǎn)化為該系統(tǒng)的頭顯和手持控制器在該虛擬空間內(nèi)的位置和形態(tài)；再向各個(gè)vr終端系統(tǒng)發(fā)送該虛擬空間內(nèi)其他vr終端系統(tǒng)的位置和形態(tài)的影像。

從視覺(jué)上來(lái)講，即一個(gè)vr終端系統(tǒng)的使用者可以在頭顯中看到空間內(nèi)自己的手持控制器和其他vr終端使用者的頭顯和手持控制器，從而打破了時(shí)空的限制。

實(shí)施例2

如圖2所示，使用市售htcvivevr眼鏡作為vr終端系統(tǒng)，其包括頭戴顯示器、手持控制器以及基站。使用microsoft出品的hololens作為ar終端系統(tǒng)。

使用三星projectbeyond360度3d全景相機(jī)作為采集設(shè)備，將其架設(shè)在現(xiàn)場(chǎng)采集現(xiàn)場(chǎng)實(shí)時(shí)視頻，并與前端現(xiàn)場(chǎng)的ar終端系統(tǒng)耦合以便定位。

將vr終端、ar終端以及采集設(shè)備與服務(wù)器相連，服務(wù)器驗(yàn)證各個(gè)vr終端系統(tǒng)及采集設(shè)備的身份信息。

服務(wù)器中事先設(shè)置有頻道htcbb，本實(shí)施例的多個(gè)vr終端系統(tǒng)及采集設(shè)備通過(guò)身份驗(yàn)證后，進(jìn)入該頻道。

vr終端系統(tǒng)和ar終端系統(tǒng)及采集設(shè)備在各自的空間內(nèi)進(jìn)行定位校準(zhǔn)，確定頭顯和手持控制器在各自空間內(nèi)的位置，包括xyz坐標(biāo)及角度，將數(shù)據(jù)實(shí)時(shí)上傳到服務(wù)器。采集設(shè)備置于作為前端現(xiàn)場(chǎng)的vr終端系統(tǒng)內(nèi)進(jìn)行定位。

服務(wù)器在頻道htcbb形成以采集設(shè)備傳輸回的全景視頻作為場(chǎng)景的虛擬空間，將vr終端系統(tǒng)和ar終端系統(tǒng)上傳的數(shù)據(jù)轉(zhuǎn)化為該系統(tǒng)的頭顯和手持控制器在該虛擬空間內(nèi)的位置和形態(tài)；再向各個(gè)vr/ar終端系統(tǒng)發(fā)送該虛擬空間內(nèi)其他vr/ar終端系統(tǒng)的位置和形態(tài)的影像。

在本實(shí)施例的一個(gè)變型中，采集設(shè)備可以有一套獨(dú)立的定位系統(tǒng)，則無(wú)需與前端現(xiàn)場(chǎng)ar終端系統(tǒng)耦合。

后端vr終端系統(tǒng)可以通過(guò)服務(wù)器向前端的ar終端系統(tǒng)發(fā)送指令和數(shù)據(jù)，有利于支持前端操作人員的工作。

實(shí)施例3

如圖3所示，使用至少一個(gè)市售htcvivevr眼鏡作為vr終端系統(tǒng)，其包括頭戴顯示器、手持控制器以及基站。使用三星projectbeyond360度3d全景相機(jī)和車(chē)載3d激光掃描儀作為采集設(shè)備，將其架設(shè)在現(xiàn)場(chǎng)采集現(xiàn)場(chǎng)實(shí)時(shí)視頻和現(xiàn)場(chǎng)三維信息。

將vr終端系統(tǒng)以及采集設(shè)備與服務(wù)器相連，服務(wù)器驗(yàn)證vr終端系統(tǒng)及采集設(shè)備的身份信息。

服務(wù)器中事先設(shè)置有頻道htccc，本實(shí)施例的vr終端系統(tǒng)及采集設(shè)備通過(guò)身份驗(yàn)證后，進(jìn)入該頻道。

vr終端系統(tǒng)及采集設(shè)備在各自的空間內(nèi)進(jìn)行定位校準(zhǔn)，確定頭顯和手持控制器在各自空間內(nèi)的位置，包括xyz坐標(biāo)及角度，將數(shù)據(jù)實(shí)時(shí)上傳到服務(wù)器。

服務(wù)器在頻道htccc形成以采集設(shè)備傳輸回的全景視頻和現(xiàn)場(chǎng)三維信息作為場(chǎng)景的虛擬空間，將vr終端系統(tǒng)上傳的數(shù)據(jù)轉(zhuǎn)化為該系統(tǒng)的頭顯和手持控制器在該虛擬空間內(nèi)的位置和形態(tài)。

在現(xiàn)場(chǎng)還可設(shè)置可遠(yuǎn)程控制的機(jī)械裝置，該機(jī)械裝置在現(xiàn)場(chǎng)的位置可由現(xiàn)場(chǎng)定位系統(tǒng)確定，從而vr終端系統(tǒng)可在虛擬空間內(nèi)了解機(jī)械裝置在現(xiàn)場(chǎng)的操作形態(tài)和位置，并給予指令。

從而實(shí)現(xiàn)更加逼真精準(zhǔn)的遠(yuǎn)程操作和控制。

所述三星projectbeyond360度3d全景相機(jī)和車(chē)載3d激光掃描儀作為采集設(shè)備也可以架設(shè)在可移動(dòng)的載體上，該可移動(dòng)載體同時(shí)搭載微處理器和無(wú)線(xiàn)通訊元件，可由后端vr終端系統(tǒng)控制。

額外的考慮因素

下面的額外考慮因素適用于前述討論。在整個(gè)這個(gè)說(shuō)明書(shū)中，多個(gè)實(shí)例可實(shí)現(xiàn)被描述為單個(gè)實(shí)例的部件、操作或結(jié)構(gòu)。雖然一個(gè)或多個(gè)方法的單獨(dú)操作被示出和描述為單獨(dú)的操作，但是單獨(dú)操作中的一個(gè)或多個(gè)可被同時(shí)執(zhí)行，且沒(méi)有事物要求操作以所示順序執(zhí)行。在示例配置中被呈現(xiàn)為單獨(dú)的部件的結(jié)構(gòu)和功能可被實(shí)現(xiàn)為組合的結(jié)構(gòu)或部件。類(lèi)似地，被呈現(xiàn)為單個(gè)部件的結(jié)構(gòu)和功能可被實(shí)現(xiàn)為單獨(dú)的部件。這些和其它變形、修改、添加和改進(jìn)落在本公開(kāi)的主題的范圍內(nèi)。

此外，某些實(shí)施方案在本文被描述為包括邏輯或多個(gè)部件、單元或機(jī)構(gòu)。單元可構(gòu)成軟件模塊(例如存儲(chǔ)在機(jī)器可讀介質(zhì)上的代碼)或硬件模塊。硬件模塊是能夠執(zhí)行某些操作并可以以某種方式配置或布置的有形單元。在示例實(shí)施方案中，一個(gè)或多個(gè)計(jì)算機(jī)系統(tǒng)(例如獨(dú)立計(jì)算機(jī)、客戶(hù)端或服務(wù)器計(jì)算機(jī)系統(tǒng))或計(jì)算機(jī)系統(tǒng)(例如處理器或一組處理器)的一個(gè)或多個(gè)硬件模塊可由軟件(例如應(yīng)用或應(yīng)用部分)配置為操作來(lái)執(zhí)行如在本文描述的某些操作的硬件模塊。

在各種實(shí)施方案中，可機(jī)械或電子地執(zhí)行硬件模塊。例如，硬件模塊可包括永久配置(例如作為專(zhuān)用處理器，例如現(xiàn)場(chǎng)可編程門(mén)陣列(fpga)或?qū)Ｓ眉呻娐?asic))成執(zhí)行某些操作的專(zhuān)用電路或邏輯。硬件模塊還可包括臨時(shí)由軟件配置成執(zhí)行某些操作的可編程邏輯或電路(例如，如包括在通用處理器或其它可編程處理器內(nèi)的)。將認(rèn)識(shí)到，在專(zhuān)用和永久配置的電路中或在臨時(shí)配置的電路(例如由軟件配置)中機(jī)械地實(shí)現(xiàn)硬件模塊的決定可由成本和時(shí)間考慮因素推動(dòng)。

因此，術(shù)語(yǔ)“硬件”應(yīng)被理解為包括有形實(shí)體，是被物理地構(gòu)造、永久地配置(例如硬連線(xiàn))或臨時(shí)配置(例如編程)成以某種方式操作或執(zhí)行本文描述的某些操作的實(shí)體?？紤]到硬件模塊被臨時(shí)配置(例如編程)的實(shí)施方案，每個(gè)硬件模塊不需要在任一個(gè)時(shí)刻被配置或例示。例如，在硬件模塊包括使用軟件而配置的通用處理器的場(chǎng)合，通用處理器可在不同的時(shí)間被配置為相應(yīng)的不同硬件模塊。軟件可相應(yīng)地配置處理器，例如以構(gòu)成在一個(gè)時(shí)刻的特定硬件模塊并構(gòu)成在不同的時(shí)刻的不同硬件模塊。

硬件和軟件模塊可向其它硬件和/或軟件模塊提供信息并從其它硬件和/或軟件模接收信息。因此，所描述的硬件模塊可被視為被通信地耦合。在多個(gè)這樣的硬件或軟件模塊同時(shí)存在的場(chǎng)合，可通過(guò)信號(hào)傳輸(例如在適當(dāng)?shù)碾娐泛涂偩€(xiàn)上)來(lái)實(shí)現(xiàn)通信，其連接硬件或軟件模塊。在多個(gè)硬件模塊或軟件在不同的時(shí)間被配置或例示的實(shí)施方案中，可例如通過(guò)在多個(gè)硬件或軟件模塊訪(fǎng)問(wèn)的存儲(chǔ)器結(jié)構(gòu)中的信息的存儲(chǔ)和取回來(lái)實(shí)現(xiàn)在這樣的硬件或軟件模塊之間的通信。例如，一個(gè)硬件或軟件模塊可執(zhí)行操作并將該操作的輸出存儲(chǔ)在它通信地耦合到的存儲(chǔ)器設(shè)備。另一硬件或軟件模塊可接著在稍后的時(shí)間訪(fǎng)問(wèn)存儲(chǔ)器設(shè)備以取回并處理所存儲(chǔ)的輸出。硬件和軟件模塊也可發(fā)起與輸入或輸出設(shè)備的通信，并可對(duì)資源(例如信息的集合)操作。

本文描述的示例方法的各種操作可至少部分地由臨時(shí)配置(例如通過(guò)軟件)或永久配置成執(zhí)行相關(guān)操作的一個(gè)或多個(gè)處理器執(zhí)行。不管是臨時(shí)還是永久地被配置，這樣的處理器都可構(gòu)成操作來(lái)執(zhí)行一個(gè)或多個(gè)操作或功能的處理器實(shí)現(xiàn)的模塊。在本文提到的模塊可在一些示例實(shí)施方案中包括處理器實(shí)現(xiàn)的模塊。

類(lèi)似地，本文描述的方法或例程可至少部分地是處理器實(shí)現(xiàn)的。例如，方法的至少一些操作可由一個(gè)或多個(gè)處理器或處理器實(shí)現(xiàn)的硬件模塊執(zhí)行。某些操作的執(zhí)行可分布在一個(gè)或多個(gè)處理器當(dāng)中，不僅存在于單個(gè)機(jī)器內(nèi)，而且部署在多個(gè)機(jī)器當(dāng)中。在一些示例實(shí)施方案中，一個(gè)或多個(gè)處理器可位于單個(gè)位置上(例如在家庭環(huán)境、辦公室環(huán)境內(nèi)或作為服務(wù)器農(nóng)場(chǎng))，而在其它環(huán)境中，處理器可分布在多個(gè)位置當(dāng)中。

一個(gè)或多個(gè)處理器也可操作來(lái)支持在“云計(jì)算”環(huán)境中的相關(guān)操作的執(zhí)行或作為saas。例如，如上面指示的，至少一些操作可由一組計(jì)算機(jī)(作為包括處理器的機(jī)器的例子)執(zhí)行，這些操作是經(jīng)由網(wǎng)絡(luò)(例如互聯(lián)網(wǎng))和經(jīng)由一個(gè)或多個(gè)適當(dāng)?shù)慕涌?例如api)可訪(fǎng)問(wèn)的。

某些操作的執(zhí)行可分布在一個(gè)或多個(gè)處理器當(dāng)中，不僅存在于單個(gè)機(jī)器內(nèi)，而且部署在多個(gè)機(jī)器當(dāng)中。在一些示例實(shí)施方案中，一個(gè)或多個(gè)處理器或處理器實(shí)現(xiàn)的模塊可位于單個(gè)地理位置中(例如在家庭環(huán)境、辦公室環(huán)境內(nèi)或作為服務(wù)器農(nóng)場(chǎng))。在其它示例實(shí)施方案中，一個(gè)或多個(gè)處理器或處理器實(shí)現(xiàn)的模塊可分布在多個(gè)地理位置當(dāng)中。

從算法或?qū)?shù)據(jù)的操作的符號(hào)表示方面介紹了這個(gè)說(shuō)明書(shū)的一些部分，數(shù)據(jù)被存儲(chǔ)為在機(jī)器存儲(chǔ)器(例如計(jì)算機(jī)存儲(chǔ)器)內(nèi)的位或二進(jìn)制數(shù)字信號(hào)。這些算法或符號(hào)表示是由在數(shù)據(jù)處理領(lǐng)域中的普通技術(shù)人員使用來(lái)將他們的工作的實(shí)質(zhì)傳達(dá)給本領(lǐng)域中的其他技術(shù)人員的技術(shù)的例子。如在本文使用的，“算法”或“例程”是導(dǎo)致期望結(jié)果的操作或類(lèi)似處理的前后一致的序列。在這個(gè)上下文中，算法、例程和操作涉及物理量的物理操縱。一般但不是必須，這樣的量可采取能夠由機(jī)器存儲(chǔ)、訪(fǎng)問(wèn)、傳輸、組合、比較或否則操縱的電、磁或光信號(hào)的形式。主要為了普通使用的原因，使用詞例如“數(shù)據(jù)”、“內(nèi)容”、“位”、“值”、“元件”、“符號(hào)”、“字符”、“項(xiàng)”、“號(hào)碼”、“數(shù)字”等表示這樣的信號(hào)有時(shí)是方便的。然而，這些詞僅僅是方便標(biāo)簽且應(yīng)與適當(dāng)?shù)奈锢砹肯嚓P(guān)。

除非另外特別規(guī)定，否則使用詞例如“處理”、“計(jì)算”、“確定”、“顯現(xiàn)”、“顯示”等的本文的討論可以指操縱或轉(zhuǎn)換被表示為在一個(gè)或多個(gè)存儲(chǔ)器(例如易失性存儲(chǔ)器、非易失性存儲(chǔ)器或其組合)、寄存器或接收、存儲(chǔ)、傳輸或顯示信息的其它機(jī)器部件內(nèi)的物理(例如電、磁或光)量的機(jī)器(例如計(jì)算機(jī))的行動(dòng)或過(guò)程。

本文中，流程圖示出了當(dāng)前實(shí)施例的一個(gè)可能實(shí)現(xiàn)方式的功能和操作。就這一點(diǎn)而言，每個(gè)方框可代表程序代碼的模塊、片段或部分，其包括用于實(shí)現(xiàn)過(guò)程中的特定邏輯功能或步驟的處理器可運(yùn)行的一個(gè)或多個(gè)指令。程序代碼可被存儲(chǔ)在任意類(lèi)型的計(jì)算機(jī)可讀介質(zhì)或存儲(chǔ)器中，諸如例如包括盤(pán)或硬盤(pán)驅(qū)動(dòng)器的存儲(chǔ)裝置。計(jì)算機(jī)可讀介質(zhì)可包括非暫態(tài)計(jì)算機(jī)可讀介質(zhì)，諸如例如像寄存器存儲(chǔ)器、處理器緩存和隨機(jī)訪(fǎng)問(wèn)存儲(chǔ)器(randomaccessmemory，ram)那樣短時(shí)間存儲(chǔ)數(shù)據(jù)的計(jì)算機(jī)可讀介質(zhì)。計(jì)算機(jī)可讀介質(zhì)還可包括諸如次級(jí)或永久長(zhǎng)期存儲(chǔ)裝置之類(lèi)的非暫態(tài)介質(zhì)或存儲(chǔ)器，例如像只讀存儲(chǔ)器(readonlymemory，rom)、光盤(pán)或磁盤(pán)、致密盤(pán)只讀存儲(chǔ)器(compact-discreadonlymemory，cd-rom)。計(jì)算機(jī)可讀介質(zhì)也可以是任何其它易失性或非易失性存儲(chǔ)系統(tǒng)。計(jì)算機(jī)可讀介質(zhì)可被看作例如計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)、有形存儲(chǔ)裝置或者其它制品。

非暫態(tài)計(jì)算機(jī)可讀介質(zhì)也可分布在多個(gè)數(shù)據(jù)存儲(chǔ)元件之間，這些數(shù)據(jù)存儲(chǔ)元件的位置可彼此遠(yuǎn)離。

如在本文使用的，對(duì)“一個(gè)實(shí)施方式”或“實(shí)施方式”的任何提及意指關(guān)于該實(shí)施方式描述的特定的元件、特征、結(jié)構(gòu)或特性包括在至少一個(gè)實(shí)施方式中。短語(yǔ)“在一個(gè)實(shí)施方式中”在說(shuō)明書(shū)中的不同地方的出現(xiàn)并不一定都指同一實(shí)施方式。

可使用措辭“耦合”和“連接”連同其衍生詞一起描述一些實(shí)施方案。例如，可使用術(shù)語(yǔ)“耦合”描述一些實(shí)施方案以指示兩個(gè)或多個(gè)元件處于直接物理或電接觸中。然而，術(shù)語(yǔ)“耦合”也可意指兩個(gè)或多個(gè)元件彼此不直接接觸，但然而仍然彼此協(xié)作或交互作用。實(shí)施方案并不被限制在這個(gè)上下文中。

如在本文使用的，術(shù)語(yǔ)“包括”、“具有”或其任何其它變形被預(yù)期涵蓋非排他的包括。例如，包括元件的列表的過(guò)程、方法、物件或裝置不一定只限于那些元件，而是可包括未明確列出或這樣的過(guò)程、方法、物件或裝置固有的其它元件。此外，除非相反明確地規(guī)定，否則“或”指包括端點(diǎn)的而不是排他的或。例如，條件a或b由下列項(xiàng)中的任一個(gè)滿(mǎn)足：a為真(或存在)且b為假(或不存在)、a為假(或不存在)且b為真(或存在)以及a和b都為真(或存在)。

當(dāng)閱讀本說(shuō)明書(shū)時(shí)，本領(lǐng)域中的技術(shù)人員將認(rèn)識(shí)到還有額外的可選結(jié)構(gòu)和功能設(shè)計(jì)，其用于鑒于對(duì)企業(yè)的相關(guān)訪(fǎng)問(wèn)通過(guò)本文公開(kāi)的原理有效地產(chǎn)生內(nèi)容用于顯示在便攜式設(shè)備處。因此，雖然示出和描述了特定的實(shí)施方案和應(yīng)用，但是應(yīng)理解，所公開(kāi)的實(shí)施方案不限于本文公開(kāi)的精確構(gòu)造和部件?？稍诒疚墓_(kāi)的方法和裝置的布置、操作和細(xì)節(jié)中做出對(duì)本領(lǐng)域中的技術(shù)人員明顯的各種修改、改變和變更，而不偏離在所附權(quán)利要求中規(guī)定的精神和范圍。