一種基于現(xiàn)實(shí)場景的可交互混合現(xiàn)實(shí)平臺的制作方法
【專利摘要】一種基于現(xiàn)實(shí)場景的可交互混合現(xiàn)實(shí)平臺，本申請平臺內(nèi)隨機(jī)放置帶有標(biāo)簽的現(xiàn)實(shí)物體，使用者在平臺內(nèi)移動，所述立體攝像機(jī)組的各立體攝像機(jī)均勻布置在平臺環(huán)境頂部，所述網(wǎng)絡(luò)消息處理設(shè)備和網(wǎng)關(guān)均勻布置在平臺環(huán)境頂部，所述平臺一側(cè)的墻上放置有顯示設(shè)備，使用者手上穿戴有標(biāo)簽，使用者頭戴頭戴式設(shè)備，使用者身背交互數(shù)據(jù)處理設(shè)備。本實(shí)用新型提供一種基于現(xiàn)實(shí)場景的可交互混合現(xiàn)實(shí)平臺，可通過室內(nèi)定位將使用者所處現(xiàn)實(shí)場景映射到虛擬場景中進(jìn)行同步交互，從而提高使用者的感受及體驗(yàn)程度。
【專利說明】
一種基于現(xiàn)實(shí)場景的可交互混合現(xiàn)實(shí)平臺
技術(shù)領(lǐng)域
[0001]本實(shí)用新型涉及虛擬交互平臺領(lǐng)域，特別是涉及一種基于現(xiàn)實(shí)場景的可交互混合現(xiàn)實(shí)平臺?！颈尘凹夹g(shù)】
[0002]虛擬現(xiàn)實(shí)技術(shù)是仿真技術(shù)與計(jì)算機(jī)圖形學(xué)、人機(jī)接口技術(shù)、多媒體技術(shù)、傳感技術(shù)等多種技術(shù)的結(jié)合，通過模擬產(chǎn)生一個三維空間的虛擬世界，提供使用者多維度的感官享受。
[0003]混合現(xiàn)實(shí)是虛擬現(xiàn)實(shí)技術(shù)的進(jìn)一步發(fā)展，包括增強(qiáng)現(xiàn)實(shí)和增強(qiáng)虛擬，是合并現(xiàn)實(shí)和虛擬世界而產(chǎn)生的新的可視化環(huán)境，在新的可視化環(huán)境里物理和數(shù)字對象共存，給用戶構(gòu)造高臨場感體驗(yàn)。增強(qiáng)現(xiàn)實(shí)是指將虛擬數(shù)字內(nèi)容疊加在現(xiàn)實(shí)物體上，增強(qiáng)虛擬則是在虛擬的環(huán)境中加上真實(shí)的物體共同構(gòu)成。
[0004]混合現(xiàn)實(shí)提供了一種新的信息感知方式，它將真實(shí)世界的信息與虛擬的信息有機(jī)、有序的進(jìn)行結(jié)合顯示，通過兩種信息的互補(bǔ)、疊加，極大的提高了使用者的信息接收速度。
[0005]為此可以設(shè)計(jì)一種基于現(xiàn)實(shí)場景的可交互混合現(xiàn)實(shí)平臺，來實(shí)現(xiàn)可交互式混合現(xiàn)實(shí)，從而提高使用者感受及體驗(yàn)程度?！緦?shí)用新型內(nèi)容】
[0006]為了解決上述存在的問題，本實(shí)用新型提供一種基于現(xiàn)實(shí)場景的可交互混合現(xiàn)實(shí)平臺，可將現(xiàn)實(shí)場景映射到虛擬場景中進(jìn)行同步交互，從而提高使用者的感受及體驗(yàn)程度， 為達(dá)此目的，本實(shí)用新型提供一種基于現(xiàn)實(shí)場景的可交互混合現(xiàn)實(shí)平臺，包括立體攝像機(jī)組、第一網(wǎng)絡(luò)消息處理設(shè)備、網(wǎng)關(guān)、頭戴式設(shè)備、顯示設(shè)備、標(biāo)簽和交互數(shù)據(jù)處理設(shè)備，平臺內(nèi)隨機(jī)放置帶有標(biāo)簽的現(xiàn)實(shí)物體，使用者在平臺內(nèi)移動，所述立體攝像機(jī)組的各立體攝像機(jī)均勻布置在平臺環(huán)境頂部，所述第一網(wǎng)絡(luò)消息處理設(shè)備和網(wǎng)關(guān)均勻布置在平臺環(huán)境頂部，所述平臺一側(cè)的墻上放置有顯示設(shè)備，使用者手上穿戴有標(biāo)簽，使用者頭戴頭戴式設(shè)備，使用者身背交互數(shù)據(jù)處理設(shè)備，所述立體攝像機(jī)組內(nèi)有標(biāo)簽捕捉及追蹤設(shè)備，所述標(biāo)簽捕捉及追蹤設(shè)備通過成像畫面捕捉標(biāo)簽發(fā)出信號，并對其進(jìn)行實(shí)時(shí)追蹤，所述標(biāo)簽捕捉及追蹤設(shè)備通過網(wǎng)絡(luò)與網(wǎng)絡(luò)消息處理設(shè)備相連，所述第一網(wǎng)絡(luò)消息處理設(shè)備內(nèi)有標(biāo)簽坐標(biāo)轉(zhuǎn)換設(shè)備，所述網(wǎng)關(guān)內(nèi)有第二網(wǎng)絡(luò)消息處理設(shè)備，所述網(wǎng)關(guān)通過網(wǎng)絡(luò)接收標(biāo)簽坐標(biāo)轉(zhuǎn)換設(shè)備的信號，所述網(wǎng)關(guān)通過網(wǎng)絡(luò)與交互處理設(shè)備相連，所述頭戴式設(shè)備內(nèi)有九軸傳感器，所述頭戴式設(shè)備內(nèi)九軸傳感器捕捉使用者視角，所述頭戴式設(shè)備通過網(wǎng)絡(luò)將傳感器數(shù)據(jù)傳送至交互數(shù)據(jù)處理設(shè)備，所述交互數(shù)據(jù)處理設(shè)備通過網(wǎng)絡(luò)與頭戴式設(shè)備或者顯示設(shè)備相連。
[0007]實(shí)用新型的進(jìn)一步改進(jìn)，所述立體攝像機(jī)組有至少4個立體攝像機(jī)，本實(shí)用新型可以根據(jù)需要定位環(huán)境大小增加攝像機(jī)數(shù)目。
[0008]實(shí)用新型的進(jìn)一步改進(jìn)，所述頭戴式設(shè)備為頭戴式顯示器或虛擬眼鏡或VR眼鏡，本實(shí)用新型以上類型設(shè)備的頭戴式設(shè)備均可以使用。
[0009]本實(shí)用新型的進(jìn)一步改進(jìn)，所述顯示設(shè)備為電視機(jī)或顯示屏，本實(shí)用新型以上類型設(shè)備的顯示設(shè)備均可以使用。
[0010]本實(shí)用新型一種基于現(xiàn)實(shí)場景的可交互混合現(xiàn)實(shí)平臺，其平臺主要包括立體攝像機(jī)組、網(wǎng)絡(luò)消息處理設(shè)備、網(wǎng)關(guān)、頭戴式設(shè)備、顯示設(shè)備、標(biāo)簽和交互數(shù)據(jù)處理設(shè)備，立體攝像機(jī)組通過標(biāo)簽捕捉及追蹤設(shè)備捕捉標(biāo)簽信號，并將其2D坐標(biāo)傳送至網(wǎng)絡(luò)消息處理設(shè)備進(jìn)行處理；網(wǎng)絡(luò)消息處理設(shè)備通過標(biāo)簽坐標(biāo)轉(zhuǎn)換模塊將2D坐標(biāo)轉(zhuǎn)換為3D坐標(biāo)；網(wǎng)關(guān)103調(diào)用網(wǎng)絡(luò)消息處理203模塊對發(fā)送過來的標(biāo)簽3D坐標(biāo)進(jìn)行整理，并分發(fā)至交互處理設(shè)備，頭戴式設(shè)備通過九軸傳感器捕獲用戶當(dāng)前視角，并將傳感器數(shù)據(jù)，傳送至交互數(shù)據(jù)處理設(shè)備進(jìn)行處理，標(biāo)簽則用于標(biāo)記用戶關(guān)節(jié)或者現(xiàn)實(shí)物體，交互數(shù)據(jù)處理設(shè)備處理傳感器數(shù)據(jù)和標(biāo)簽3D 坐標(biāo)，將虛擬場景與用戶視角進(jìn)行綁定，并識別用戶當(dāng)前姿態(tài)動作進(jìn)行場景交互，最后將交互結(jié)果的表現(xiàn)形式展現(xiàn)在頭戴式設(shè)備或者顯示設(shè)備中，通過以上方式將現(xiàn)實(shí)場景映射到虛擬三維場景中，并將用戶的空間坐標(biāo)與虛擬環(huán)境進(jìn)行綁定，結(jié)合穿戴設(shè)備反饋的姿態(tài)識別結(jié)果進(jìn)行實(shí)時(shí)交互?！靖綀D說明】[0〇11]圖1為本實(shí)用新型不意圖；[0〇12]圖2為本實(shí)用新型原理不意圖；[0〇13]圖示說明:
[0014]101、立體攝像機(jī)組；102、第一網(wǎng)絡(luò)消息處理設(shè)備；103、網(wǎng)關(guān)；104、頭戴式設(shè)備； 105、顯示設(shè)備；106、標(biāo)簽；107、交互數(shù)據(jù)處理設(shè)備；108、現(xiàn)實(shí)物體；201、標(biāo)簽捕捉及追蹤設(shè)備；202、標(biāo)簽坐標(biāo)轉(zhuǎn)換設(shè)備；203、第二網(wǎng)絡(luò)消息處理設(shè)備；204、交互處理結(jié)果；205、傳感器數(shù)據(jù)?！揪唧w實(shí)施方式】
[0015]下面結(jié)合附圖與【具體實(shí)施方式】對本實(shí)用新型作進(jìn)一步詳細(xì)描述:
[0016]本實(shí)用新型提供一種基于現(xiàn)實(shí)場景的可交互混合現(xiàn)實(shí)平臺，可將現(xiàn)實(shí)場景映射到虛擬場景中進(jìn)行同步交互，從而提高使用者的感受及體驗(yàn)程度。
[0017]作為本實(shí)用新型一種實(shí)施例，本實(shí)用新型提供如圖1所示的一種基于現(xiàn)實(shí)場景的可交互混合現(xiàn)實(shí)平臺，包括立體攝像機(jī)組101、第一網(wǎng)絡(luò)消息處理設(shè)備102、網(wǎng)關(guān)103、頭戴式設(shè)備104、顯示設(shè)備105、標(biāo)簽106和交互數(shù)據(jù)處理設(shè)備107,平臺內(nèi)隨機(jī)放置帶有標(biāo)簽的現(xiàn)實(shí)物體108,使用者在平臺內(nèi)移動，所述立體攝像機(jī)組101有至少4個立體攝像機(jī)，本實(shí)用新型可以根據(jù)需要定位環(huán)境大小增加攝像機(jī)數(shù)目，所述立體攝像機(jī)組101的各立體攝像機(jī)均勻布置在平臺環(huán)境頂部，所述第一網(wǎng)絡(luò)消息處理設(shè)備102和網(wǎng)關(guān)103均勻布置在平臺環(huán)境頂部，所述平臺一側(cè)的墻上放置有顯示設(shè)備105,使用者手上穿戴有標(biāo)簽106,使用者頭戴頭戴式設(shè)備104,使用者身背交互數(shù)據(jù)處理設(shè)備107,所述立體攝像機(jī)組101內(nèi)有標(biāo)簽捕捉及追蹤設(shè)備201，所述標(biāo)簽捕捉及追蹤設(shè)備201通過成像畫面捕捉標(biāo)簽106發(fā)出信號，并對其進(jìn)行實(shí)時(shí)追蹤，所述標(biāo)簽捕捉及追蹤設(shè)備201通過網(wǎng)絡(luò)與第一網(wǎng)絡(luò)消息處理設(shè)備102相連，所述第一網(wǎng)絡(luò)消息處理設(shè)備102內(nèi)有標(biāo)簽坐標(biāo)轉(zhuǎn)換設(shè)備202,所述網(wǎng)關(guān)103內(nèi)有第二網(wǎng)絡(luò)消息處理設(shè)備203,所述網(wǎng)關(guān)103通過網(wǎng)絡(luò)接收標(biāo)簽坐標(biāo)轉(zhuǎn)換設(shè)備202的信號，所述網(wǎng)關(guān)103通過網(wǎng)絡(luò)與交互處理設(shè)備107相連，所述頭戴式設(shè)備104內(nèi)有九軸傳感器，所述頭戴式設(shè)備104內(nèi)九軸傳感器捕捉使用者視角，所述頭戴式設(shè)備104通過網(wǎng)絡(luò)將傳感器數(shù)據(jù)205傳送至交互數(shù)據(jù)處理設(shè)備107,所述交互數(shù)據(jù)處理設(shè)備107通過網(wǎng)絡(luò)與頭戴式設(shè)備104或者顯示設(shè)備105相連， 所述頭戴式設(shè)備104為頭戴式顯示器或虛擬眼鏡或VR眼鏡，本實(shí)用新型以上類型設(shè)備的頭戴式設(shè)備均可以使用，所述顯示設(shè)備105為電視機(jī)或顯示屏，本實(shí)用新型以上類型設(shè)備的顯示設(shè)備均可以使用。
[0018]本實(shí)用新型基于現(xiàn)實(shí)場景的可交互混合現(xiàn)實(shí)系統(tǒng)包括立體攝像機(jī)組、網(wǎng)關(guān)、頭戴式設(shè)備、標(biāo)簽等硬件及標(biāo)簽識別及跟蹤模塊、網(wǎng)絡(luò)消息處理模塊、標(biāo)簽坐標(biāo)轉(zhuǎn)換模塊、交互數(shù)據(jù)處理模塊等軟件模塊。
[0019]立體攝像機(jī)組是前端探知設(shè)備，標(biāo)簽識別及跟蹤模塊負(fù)責(zé)將攝像機(jī)捕捉的圖像進(jìn)行分析，識別標(biāo)簽并進(jìn)行實(shí)時(shí)跟蹤，將標(biāo)簽的2D坐標(biāo)通過網(wǎng)絡(luò)消息處理模塊發(fā)送至網(wǎng)關(guān)。本專利中攝像機(jī)將紅外濾光片擋在CCD鏡頭前，保證僅接收指定波段的紅外光線，便于標(biāo)簽識別與追足示。
[0020]網(wǎng)關(guān)是網(wǎng)絡(luò)消息分發(fā)處理設(shè)備，它將接收到的標(biāo)簽2D數(shù)據(jù)通過標(biāo)簽坐標(biāo)轉(zhuǎn)換模塊轉(zhuǎn)換為3D坐標(biāo)，并通過網(wǎng)絡(luò)分發(fā)出去。[〇〇21]頭戴式設(shè)備是場景顯示裝置，也可以通過其他手段對當(dāng)前場景進(jìn)行顯示。
[0022]標(biāo)簽是現(xiàn)實(shí)物體的唯一身份標(biāo)記，采用主動紅外的方式進(jìn)行設(shè)計(jì)，便于被攝像機(jī)捕捉。
[0023]標(biāo)簽識別及追蹤模塊通過分析捕獲到的攝像機(jī)紅外圖像，通過濾波等圖像處理算法后得到標(biāo)簽2D坐標(biāo)點(diǎn)，并對標(biāo)簽進(jìn)行標(biāo)記后進(jìn)行追蹤。[〇〇24]網(wǎng)絡(luò)消息處理模塊主要處理網(wǎng)絡(luò)中流轉(zhuǎn)的標(biāo)簽坐標(biāo)消息及設(shè)備注冊、登陸等信息。保證標(biāo)簽、攝像機(jī)、網(wǎng)關(guān)之間的正常信息流轉(zhuǎn)。[〇〇25]交互數(shù)據(jù)處理模塊主要負(fù)責(zé)將采集到的標(biāo)簽3D信息進(jìn)行分析，根據(jù)標(biāo)簽分類的不同進(jìn)行不同的處理，比如收到頭戴式設(shè)備的標(biāo)簽3D信息后會根據(jù)頭戴式設(shè)備當(dāng)前傳感器數(shù)據(jù)進(jìn)行分析，將虛擬場景中的攝像頭視角轉(zhuǎn)變到當(dāng)前用戶視角，保證虛擬場景與現(xiàn)實(shí)場景的一致性。比如收到手、腳的標(biāo)簽點(diǎn)3D信息，則根據(jù)動態(tài)時(shí)間規(guī)整(DTW)算法進(jìn)行分析，判斷當(dāng)前用戶的動作姿態(tài)，并將識別出來的姿態(tài)通過事件接口發(fā)送至表現(xiàn)層根據(jù)虛擬場景需求進(jìn)行交互動作。[〇〇26] 本實(shí)用新型工作原理如下:[〇〇27] 具體步驟如圖2所示立體攝像機(jī)組101組通過其內(nèi)標(biāo)簽捕捉及追蹤設(shè)備201捕捉標(biāo)簽106信號，并將其2D坐標(biāo)傳送至第一網(wǎng)絡(luò)消息處理設(shè)備102進(jìn)行處理，所述第一網(wǎng)絡(luò)消息處理設(shè)備102通過其內(nèi)標(biāo)簽坐標(biāo)轉(zhuǎn)換設(shè)備202將2D坐標(biāo)轉(zhuǎn)換為3D坐標(biāo)，所述網(wǎng)關(guān)103調(diào)用其內(nèi)第二網(wǎng)絡(luò)消息處理設(shè)備203對發(fā)送過來的標(biāo)簽3D坐標(biāo)進(jìn)行整理，并分發(fā)至交互處理設(shè)備 107，.所述頭戴式設(shè)備104通過九軸傳感器捕獲用戶當(dāng)前視角，并將傳感器數(shù)據(jù)205傳送至交互數(shù)據(jù)處理設(shè)備107進(jìn)行處理，所述標(biāo)簽106用于標(biāo)記用戶關(guān)節(jié)或者現(xiàn)實(shí)物體108,所述交互數(shù)據(jù)處理設(shè)備107處理傳感器數(shù)據(jù)和標(biāo)簽3D坐標(biāo)，將虛擬場景與用戶視角進(jìn)行綁定，并識別用戶當(dāng)前姿態(tài)動作進(jìn)行場景交互，最后將交互結(jié)果204的表現(xiàn)形式展現(xiàn)在頭戴式設(shè)備104 或者顯示設(shè)備105中。
[0028]以上所述，僅是本實(shí)用新型的較佳實(shí)施例而已，并非是對本實(shí)用新型作任何其他形式的限制，而依據(jù)本實(shí)用新型的技術(shù)實(shí)質(zhì)所作的任何修改或等同變化，仍屬于本實(shí)用新型所要求保護(hù)的范圍。
【主權(quán)項(xiàng)】
1.一種基于現(xiàn)實(shí)場景的可交互混合現(xiàn)實(shí)平臺，包括立體攝像機(jī)組(101)、第一網(wǎng)絡(luò)消息 處理設(shè)備(102)、網(wǎng)關(guān)(103)、頭戴式設(shè)備(104)、顯示設(shè)備(105)、標(biāo)簽(106)和交互數(shù)據(jù)處理 設(shè)備(107)，平臺內(nèi)隨機(jī)放置帶有標(biāo)簽的現(xiàn)實(shí)物體(108)，使用者在平臺內(nèi)移動，其特征在 于:所述立體攝像機(jī)組(101)的各立體攝像機(jī)均勻布置在平臺環(huán)境頂部，所述第一網(wǎng)絡(luò)消息 處理設(shè)備(102)和網(wǎng)關(guān)(103)均勻布置在平臺環(huán)境頂部，所述平臺一側(cè)的墻上放置有顯示設(shè) 備(105)，使用者手上穿戴有標(biāo)簽(106)，使用者頭戴頭戴式設(shè)備(104)，使用者身背交互數(shù) 據(jù)處理設(shè)備(107)，所述立體攝像機(jī)組(101)組內(nèi)有標(biāo)簽捕捉及追蹤設(shè)備(201)，所述標(biāo)簽捕 捉及追蹤設(shè)備(201)通過成像畫面捕捉標(biāo)簽(106)發(fā)出信號，并對其進(jìn)行實(shí)時(shí)追蹤，所述標(biāo) 簽捕捉及追蹤設(shè)備(201)通過網(wǎng)絡(luò)與第一網(wǎng)絡(luò)消息處理設(shè)備(102)相連，所述第一網(wǎng)絡(luò)消息 處理設(shè)備(102)內(nèi)有標(biāo)簽坐標(biāo)轉(zhuǎn)換設(shè)備(202)，所述網(wǎng)關(guān)(103)內(nèi)有第二網(wǎng)絡(luò)消息處理設(shè)備 (203)，所述網(wǎng)關(guān)(103)通過網(wǎng)絡(luò)接收標(biāo)簽坐標(biāo)轉(zhuǎn)換設(shè)備(202)的信號，所述網(wǎng)關(guān)(103)通過 網(wǎng)絡(luò)與交互處理設(shè)備(107)相連，所述頭戴式設(shè)備(104)內(nèi)有九軸傳感器，所述頭戴式設(shè)備 (104)內(nèi)九軸傳感器捕捉使用者視角，所述頭戴式設(shè)備(104)通過網(wǎng)絡(luò)將傳感器數(shù)據(jù)(205) 傳送至交互數(shù)據(jù)處理設(shè)備(107)，所述交互數(shù)據(jù)處理設(shè)備(107)通過網(wǎng)絡(luò)與頭戴式設(shè)備 (104)或者顯示設(shè)備(105)相連。2.根據(jù)權(quán)利要求1所述的一種基于現(xiàn)實(shí)場景的可交互混合現(xiàn)實(shí)平臺，其特征在于:所述 立體攝像機(jī)組(1 〇 1)有至少4個立體攝像機(jī)。3.根據(jù)權(quán)利要求1所述的一種基于現(xiàn)實(shí)場景的可交互混合現(xiàn)實(shí)平臺，其特征在于:所述 頭戴式設(shè)備(104)為頭戴式顯示器或虛擬眼鏡或VR眼鏡。4.根據(jù)權(quán)利要求1所述的一種基于現(xiàn)實(shí)場景的可交互混合現(xiàn)實(shí)平臺，其特征在于:所述 顯示設(shè)備(105)為電視機(jī)或顯示屏。
【文檔編號】G06F3/01GK205581784SQ201620308859
【公開日】2016年9月14日
【申請日】2016年4月14日
【發(fā)明人】聶亮, 張笑
【申請人】江蘇華博創(chuàng)意產(chǎn)業(yè)有限公司