基于3d標(biāo)記的增強(qiáng)現(xiàn)實(shí)系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001]本申請(qǐng)涉及一種基于3D標(biāo)記的增強(qiáng)現(xiàn)實(shí)系統(tǒng)。
【背景技術(shù)】
[0002]增強(qiáng)現(xiàn)實(shí)(Augmented Reality，簡(jiǎn)稱AR)技術(shù)是在虛擬現(xiàn)實(shí)技術(shù)的基礎(chǔ)上發(fā)展起來(lái)的一種新興的人機(jī)交互技術(shù)，參見(jiàn)圖1，它借助于可視化技術(shù)，將虛擬現(xiàn)實(shí)信息應(yīng)用到現(xiàn)實(shí)世界，把不能直接在現(xiàn)實(shí)世界獲取的虛擬現(xiàn)實(shí)信息疊加到現(xiàn)實(shí)世界的畫(huà)面上，并使用戶可以與增強(qiáng)現(xiàn)實(shí)應(yīng)用進(jìn)行互動(dòng)，擴(kuò)大了用戶對(duì)真實(shí)世界的感知。增強(qiáng)現(xiàn)實(shí)已經(jīng)在各種應(yīng)用中使用，如娛樂(lè)、視頻游戲、體育和手機(jī)應(yīng)用。
[0003]增強(qiáng)現(xiàn)實(shí)主要有如下幾種實(shí)現(xiàn)方式:
[0004]1)通過(guò)全球定位系統(tǒng)(GPS)、地磁傳感器和加速度傳感器來(lái)確定用戶終端的地理位置、朝向以及傾斜角度等，然后根據(jù)所確定的位置信息來(lái)獲取相關(guān)信息后疊加顯示。
[0005]2)預(yù)先保存標(biāo)記(marker)圖像的信息，然后通過(guò)圖像識(shí)別技術(shù)，在當(dāng)前圖像中查找并識(shí)別標(biāo)記圖像，然后在標(biāo)記圖像上疊加相關(guān)信息。
[0006]3)對(duì)攝影圖像進(jìn)行解析，識(shí)別出風(fēng)景、物體和空間，然后疊加相關(guān)信息。
[0007]在所提及的實(shí)現(xiàn)方式之中，通過(guò)對(duì)標(biāo)記進(jìn)行識(shí)別來(lái)實(shí)現(xiàn)信息疊加的技術(shù)被越來(lái)越廣泛地使用。這種實(shí)現(xiàn)方式能夠通過(guò)使用攝像機(jī)對(duì)真實(shí)圖像中的標(biāo)記進(jìn)行識(shí)別來(lái)加入虛擬的3D物件，從而造成虛實(shí)結(jié)合的視覺(jué)效果。
[0008]然而，希望進(jìn)一步加強(qiáng)虛擬實(shí)體同真實(shí)圖像的交互。

【發(fā)明內(nèi)容】

[0009]本申請(qǐng)?zhí)峁┝艘环N基于3D標(biāo)記的增強(qiáng)現(xiàn)實(shí)系統(tǒng)，能夠更好的實(shí)現(xiàn)虛實(shí)交互。
[0010]本申請(qǐng)的基于3D標(biāo)記的增強(qiáng)現(xiàn)實(shí)系統(tǒng)，包括增強(qiáng)現(xiàn)實(shí)裝置，所述增強(qiáng)現(xiàn)實(shí)裝置包括用于獲取現(xiàn)實(shí)對(duì)象以及附著于其上的增強(qiáng)現(xiàn)實(shí)3D標(biāo)記的圖像的圖像獲取單元、分析增強(qiáng)現(xiàn)實(shí)3D標(biāo)記的標(biāo)記分析單元、根據(jù)分析結(jié)果進(jìn)行對(duì)應(yīng)增強(qiáng)現(xiàn)實(shí)處理的增強(qiáng)處理單元以及捕捉運(yùn)動(dòng)對(duì)象軌跡的運(yùn)動(dòng)捕捉引擎；所述標(biāo)記分析單元對(duì)獲取的增強(qiáng)現(xiàn)實(shí)3D標(biāo)記圖像進(jìn)行分析，根據(jù)該圖像的預(yù)定圖像參數(shù)分析得到該增強(qiáng)現(xiàn)實(shí)標(biāo)記的3D特性，所述增強(qiáng)處理單元根據(jù)不同的3D特性執(zhí)行不同的增強(qiáng)現(xiàn)實(shí)處理。
[0011]在本申請(qǐng)的一種實(shí)施例中，所述增強(qiáng)現(xiàn)實(shí)3D標(biāo)記包括繪制在街道上的3D畫(huà)。
[0012]在本申請(qǐng)的一種實(shí)施例中，所述增強(qiáng)現(xiàn)實(shí)處理包括對(duì)現(xiàn)實(shí)對(duì)象添加特定信息、對(duì)現(xiàn)實(shí)對(duì)象的相關(guān)虛擬3D模型執(zhí)行預(yù)定操作。
[0013]在本申請(qǐng)的一種實(shí)施例中，所述預(yù)定圖像參數(shù)包括增強(qiáng)現(xiàn)實(shí)3D標(biāo)記圖像的顏色、明暗、形狀、特性圖案，所述3D特性包括該增強(qiáng)現(xiàn)實(shí)3D標(biāo)記被獲取的位置、方向。
[0014]在本申請(qǐng)的一種實(shí)施例中，所述增強(qiáng)處理單元還根據(jù)運(yùn)動(dòng)捕捉引擎獲取的特定對(duì)象的運(yùn)動(dòng)軌跡數(shù)據(jù)，控制該特定對(duì)象對(duì)應(yīng)的3D虛擬模型進(jìn)行相對(duì)應(yīng)的運(yùn)動(dòng)。
[0015]在本申請(qǐng)的一種實(shí)施例中，所述3D虛擬模型基于3D軟件制作，并存儲(chǔ)于所述數(shù)據(jù)庫(kù)中，所述3D軟件包括Maya或3D Stud1 Max3D。
[0016]在本申請(qǐng)的一種實(shí)施例中，所述特定對(duì)象與3D虛擬模型的對(duì)應(yīng)關(guān)系基于用戶指定、隨機(jī)選擇、或者增強(qiáng)現(xiàn)實(shí)3D標(biāo)記的3D特性確定。
[0017]在本申請(qǐng)的一種實(shí)施例中，還包括系統(tǒng)服務(wù)器，系統(tǒng)服務(wù)器包括存儲(chǔ)增強(qiáng)現(xiàn)實(shí)數(shù)據(jù)的數(shù)據(jù)庫(kù)，以及執(zhí)行各種系統(tǒng)相關(guān)操作的中央處理設(shè)備。
[0018]在本申請(qǐng)的一種實(shí)施例中，系統(tǒng)服務(wù)器支持通過(guò)無(wú)線或有線方式接入；無(wú)線或有線接入方式包括:WIFI/2G/3G/4G移動(dòng)網(wǎng)絡(luò)接入方式，或者衛(wèi)星通信、無(wú)線廣播通信接入方式。
[0019]在本申請(qǐng)的一種實(shí)施例中，所述增強(qiáng)現(xiàn)實(shí)裝置包括:個(gè)人計(jì)算機(jī)(PC)，或者智能設(shè)備；個(gè)人計(jì)算機(jī)包括運(yùn)行windows或OS X操作系統(tǒng)的臺(tái)式電腦或筆記本電腦；智能設(shè)備包括運(yùn)行10S系統(tǒng)或Android系統(tǒng)的智能手機(jī)、平板電腦。
[0020]本申請(qǐng)的基于3D標(biāo)記的增強(qiáng)現(xiàn)實(shí)裝置，通過(guò)3D標(biāo)記的3D特性，可以提供更強(qiáng)的現(xiàn)實(shí)世界與虛擬環(huán)境的交互。
【附圖說(shuō)明】
[0021]下面將結(jié)合附圖及實(shí)施例對(duì)本申請(qǐng)作進(jìn)一步說(shuō)明，附圖中:
[0022]圖1是增強(qiáng)現(xiàn)實(shí)的示例性照片；
[0023]圖2是3D標(biāo)記的不例性照片；
[0024]圖3是運(yùn)動(dòng)捕捉及控制的示例性照片；
[0025]圖4本申請(qǐng)實(shí)施例的增強(qiáng)現(xiàn)實(shí)系統(tǒng)的示例性結(jié)構(gòu)圖。
【具體實(shí)施方式】
[0026]為了對(duì)本申請(qǐng)的技術(shù)特征、目的和效果有更加清楚的理解，現(xiàn)對(duì)照附圖詳細(xì)說(shuō)明本申請(qǐng)的【具體實(shí)施方式】。
[0027]如前所述，在增強(qiáng)現(xiàn)實(shí)技術(shù)中，可以通過(guò)對(duì)標(biāo)記進(jìn)行識(shí)別來(lái)實(shí)現(xiàn)信息疊加。在本申請(qǐng)實(shí)施例中，采用3D標(biāo)記來(lái)作為增強(qiáng)現(xiàn)實(shí)識(shí)別標(biāo)記。3D標(biāo)記的一種示例可以是3D畫(huà)(3DPainting)，例如圖 2。
[0028]3D畫(huà)基于人眼觀察世界的特性，利用光學(xué)折射和透視原理而于平面畫(huà)中制造出視覺(jué)上的虛擬立體效果，可以使眼睛感觀上看到物體的上下、左右、前后三維關(guān)系，令參觀者有一種身臨其境的感覺(jué)。3D畫(huà)與普通畫(huà)種比較起來(lái)，主要在于它的透視原理與普通繪畫(huà)不同。正常的繪畫(huà)，畫(huà)面的透視安排沒(méi)有參照欣賞者本人站位的視點(diǎn)，它的畫(huà)面構(gòu)成只是以畫(huà)面本身的透視為依據(jù)，而3D畫(huà)則是參照了欣賞者的站位視點(diǎn)，整個(gè)畫(huà)面的構(gòu)成以人的視點(diǎn)為視覺(jué)原點(diǎn)，使得3D畫(huà)不僅僅是一幅畫(huà)，還成為一個(gè)真實(shí)的視覺(jué)空間，欣賞者可以融入到畫(huà)面當(dāng)中。站在最初設(shè)計(jì)的最佳視點(diǎn)使用相機(jī)進(jìn)行觀看可以達(dá)到最佳的視覺(jué)效果。由此，可以利用3D畫(huà)作為增強(qiáng)現(xiàn)實(shí)的標(biāo)記，一方面，使得增強(qiáng)現(xiàn)實(shí)標(biāo)記更為醒目，在真實(shí)世界中具有更強(qiáng)的直觀性。另一方面，基于3D畫(huà)的標(biāo)記將可以承載更多的信息，從而在虛擬世界制造出更強(qiáng)的交互性。
[0029]本申請(qǐng)也集成有運(yùn)動(dòng)捕捉技術(shù)，藉由對(duì)運(yùn)動(dòng)對(duì)象(例如人體)的運(yùn)動(dòng)軌跡的捕捉，而將其相應(yīng)反映到虛擬世界中，從而使虛擬世界中的對(duì)應(yīng)模型與現(xiàn)實(shí)世界具有更強(qiáng)的互動(dòng)性。利用傳感器系統(tǒng)，例如動(dòng)作傳感器，可以采集動(dòng)作軌跡數(shù)據(jù)等，從而確定一個(gè)或多個(gè)運(yùn)動(dòng)對(duì)象，例如人體所表現(xiàn)的特定運(yùn)動(dòng)軌跡。一個(gè)運(yùn)動(dòng)捕捉的示例參見(jiàn)圖3的美國(guó)電影阿凡達(dá)(Avatar)的示例?，F(xiàn)實(shí)演員的動(dòng)作被捕捉，從而對(duì)應(yīng)的在電影模型人物上展現(xiàn)。
[0030]在申請(qǐng)中，將實(shí)現(xiàn)增強(qiáng)現(xiàn)實(shí)的裝置稱為增強(qiáng)現(xiàn)實(shí)(AR)裝置，該AR裝置可以為移動(dòng)終端(例如，智能手機(jī))的一部分，AR裝置可以拍攝與AR相關(guān)的標(biāo)記，例如，圖2所示的繪制與街道上的3D畫(huà)。在AR應(yīng)用中，通過(guò)例如移動(dòng)終端配置的攝像頭檢測(cè)到真實(shí)場(chǎng)景中有具有AR標(biāo)記的目標(biāo)存在時(shí)，可以基于檢測(cè)到的AR標(biāo)記，在顯示的目標(biāo)區(qū)域疊加相關(guān)的虛擬內(nèi)容。
[0031 ] 基于3D畫(huà)的AR標(biāo)記，可以利用3D畫(huà)的3D特性，而容納更多的信息，在3D畫(huà)中，角度、顏色、明暗等等參數(shù)均可以承載不同的信息，從而于AR中制造出更多的交互。
[0032]例如，考慮圖2所示的3D畫(huà)示例標(biāo)記，可以藉此形成與一虛擬游戲世界的互動(dòng)。游戲啟動(dòng)后，當(dāng)檢測(cè)到上述3D畫(huà)示例標(biāo)記，一方面，可以展示顯示世界的街道實(shí)景，另一方面，可以基于3D畫(huà)示例標(biāo)記增強(qiáng)現(xiàn)實(shí)，例如，以上述3D畫(huà)形成游戲世界當(dāng)中的街道上呈現(xiàn)的異度空間入口。此外，如該3D畫(huà)示例標(biāo)記是被從右方檢測(cè)，基于此信息，異度空間入口可以相應(yīng)出現(xiàn)右方的天使作為游戲主角的同伴，可與主角一起進(jìn)入異度空間冒險(xiǎn)。
[0033]游戲主角可以由基于3D軟件，如Maya、3D Stud1 Max等制作出的3D模型擔(dān)當(dāng)，其可以作為現(xiàn)實(shí)人物，例如增強(qiáng)現(xiàn)實(shí)裝置用戶在虛擬世界的化身，如前所述，本申請(qǐng)的增強(qiáng)現(xiàn)實(shí)系統(tǒng)集成運(yùn)動(dòng)捕捉引擎，可以捕捉該用戶的運(yùn)動(dòng)軌跡，從而在虛擬世界上令對(duì)應(yīng)的虛擬化身進(jìn)行對(duì)應(yīng)的動(dòng)作。
[0034]如圖4所示，本申請(qǐng)的AR裝置10，包括用于獲取增強(qiáng)現(xiàn)實(shí)3D標(biāo)記圖像的圖像獲取單元11、分析3D標(biāo)記意義的標(biāo)記分析單元12、根據(jù)分析結(jié)果進(jìn)行增強(qiáng)現(xiàn)實(shí)處理的增強(qiáng)處理單元13以及捕捉運(yùn)動(dòng)對(duì)象軌跡的運(yùn)動(dòng)捕捉引擎14。
[0035]圖像獲取單元11用于獲取