虛擬現(xiàn)實(shí)終端及其視覺(jué)虛擬方法和裝置的制造方法
【專利摘要】本發(fā)明實(shí)施例提供一種虛擬現(xiàn)實(shí)終端及其視覺(jué)虛擬方法和裝置，方法包括：根據(jù)在實(shí)際物理空間中所述虛擬現(xiàn)實(shí)終端的佩戴位姿數(shù)據(jù)及使用者對(duì)應(yīng)的實(shí)際體型數(shù)據(jù)和實(shí)際動(dòng)作數(shù)據(jù)，構(gòu)建在三維虛擬場(chǎng)景中的虛擬體型數(shù)據(jù)和虛擬動(dòng)作數(shù)據(jù)；根據(jù)構(gòu)建的所述虛擬體型數(shù)據(jù)和所述虛擬動(dòng)作數(shù)據(jù)生成相應(yīng)的虛擬顯示圖像。用戶在使用本發(fā)明提供的虛擬現(xiàn)實(shí)終端時(shí)，能夠借助參照物產(chǎn)生以第一人稱視角身臨其境的感覺(jué)，提升了身臨其境的感覺(jué)，能夠更加全身心地投入到虛擬世界的娛樂(lè)體驗(yàn)中，大大提升了用戶對(duì)虛擬場(chǎng)景的真實(shí)感的認(rèn)同程度。
【專利說(shuō)明】
虛擬現(xiàn)實(shí)終端及其視覺(jué)虛擬方法和裝置
技術(shù)領(lǐng)域
[0001]本發(fā)明實(shí)施例涉及虛擬現(xiàn)實(shí)技術(shù)領(lǐng)域，尤其涉及一種虛擬現(xiàn)實(shí)終端及其視覺(jué)虛擬方法和裝置。
【背景技術(shù)】
[0002]虛擬現(xiàn)實(shí)技術(shù)是一種計(jì)算機(jī)仿真系統(tǒng)，在該系統(tǒng)中可以創(chuàng)建和體驗(yàn)虛擬世界。本質(zhì)上，該系統(tǒng)利用計(jì)算機(jī)生成一種虛擬環(huán)境，該虛擬環(huán)境是一種多源信息融合的交互式的三維動(dòng)態(tài)視景和對(duì)實(shí)體行為的系統(tǒng)仿真，可以達(dá)到沉浸式體驗(yàn)。
[0003]虛擬現(xiàn)實(shí)涉及的多源信息包括實(shí)時(shí)三維計(jì)算機(jī)圖形技術(shù)、廣角(寬視野)立體顯示技術(shù)、對(duì)觀察者頭、眼和手的跟蹤技術(shù)，以及觸覺(jué)/力覺(jué)反饋、立體聲、網(wǎng)絡(luò)傳輸、語(yǔ)音輸入輸出技術(shù)等。除此之外，還涉及雙目立體視覺(jué)，雙目立體視覺(jué)起了較大的作用。在雙目立體視覺(jué)技術(shù)中，兩只眼睛看到的不同圖像是分別產(chǎn)生的，分別顯示在兩個(gè)不同的顯示器上。另夕卜，也有虛擬現(xiàn)實(shí)系統(tǒng)采用單個(gè)顯示器，但帶上特殊的眼鏡后，一只眼睛只能看到奇數(shù)幀圖像，另一只眼睛只能看到偶數(shù)幀圖像，由于奇、偶幀之間不同即存在視差，從而產(chǎn)生了立體感。
[0004]但是，目前虛擬現(xiàn)實(shí)技術(shù)更多的是通過(guò)上述多技術(shù)融合，提供沉浸式的視覺(jué)體驗(yàn)，比如目前的虛擬現(xiàn)實(shí)裝置、虛擬現(xiàn)實(shí)眼鏡，幾乎都是類似頭戴式設(shè)備。例如當(dāng)用戶帶上一個(gè)虛擬現(xiàn)實(shí)裝置處于一個(gè)三維房間中時(shí)，虛擬現(xiàn)實(shí)裝置的顯示器中虛擬出一個(gè)虛擬的三維空間模型，用戶的直觀感受是進(jìn)入了另外一個(gè)空間，但此時(shí)用戶無(wú)法借助參照物產(chǎn)生以第一人稱視角身臨其境的感覺(jué)，導(dǎo)致用戶對(duì)虛擬場(chǎng)景的真實(shí)體驗(yàn)度大大降低，例如用戶在使用虛擬現(xiàn)實(shí)終端時(shí)，需要不斷移動(dòng)視點(diǎn)，但是在視點(diǎn)移動(dòng)觀看的過(guò)程中，看不到用戶的頭部以及身體，以及用戶做出的手勢(shì)動(dòng)作等，使得用戶無(wú)法全身心地投入到虛擬世界的娛樂(lè)體驗(yàn)中。

【發(fā)明內(nèi)容】

[0005]本發(fā)明實(shí)施例的目的在于提供一種虛擬現(xiàn)實(shí)終端及其視覺(jué)虛擬方法和裝置，用以解決現(xiàn)有技術(shù)中用戶在使用虛擬現(xiàn)實(shí)終端時(shí)無(wú)法借助參照物產(chǎn)生以第一人稱視角身臨其境的感覺(jué)的技術(shù)問(wèn)題。
[0006]本發(fā)明的技術(shù)方案如下:
[0007]本發(fā)明實(shí)施例提供一種虛擬現(xiàn)實(shí)終端的視覺(jué)虛擬方法，其包括:
[0008]根據(jù)在實(shí)際物理空間中所述虛擬現(xiàn)實(shí)終端的佩戴位姿數(shù)據(jù)及使用者對(duì)應(yīng)的實(shí)際體型數(shù)據(jù)和實(shí)際動(dòng)作數(shù)據(jù)，構(gòu)建在三維虛擬場(chǎng)景中的虛擬體型數(shù)據(jù)和虛擬動(dòng)作數(shù)據(jù)；
[0009]根據(jù)構(gòu)建的所述虛擬體型數(shù)據(jù)和所述虛擬動(dòng)作數(shù)據(jù)生成相應(yīng)的虛擬顯示圖像。
[0010]優(yōu)選地，在本發(fā)明的一實(shí)施例中，所述使用者對(duì)應(yīng)的實(shí)際體型數(shù)據(jù)和實(shí)際動(dòng)作數(shù)據(jù)具體采用如下方式生成:
[0011]采集虛擬現(xiàn)實(shí)終端使用者的體型圖像數(shù)據(jù)及動(dòng)作圖像數(shù)據(jù)；
[0012]對(duì)采集到的虛擬現(xiàn)實(shí)終端使用者的體型圖像數(shù)據(jù)及動(dòng)作圖像數(shù)據(jù)進(jìn)行解析，分別生成對(duì)應(yīng)的所述實(shí)際體型數(shù)據(jù)和所述實(shí)際動(dòng)作數(shù)據(jù)。
[0013]優(yōu)選地，在本發(fā)明的一實(shí)施例中，所述虛擬現(xiàn)實(shí)終端的佩戴位姿數(shù)據(jù)具體采用如下方式生成:
[0014]采集虛擬現(xiàn)實(shí)終端使用者佩戴所述虛擬現(xiàn)實(shí)終端的佩戴位姿信息；
[0015]對(duì)所述佩戴位姿信息進(jìn)行解析生成相應(yīng)的所述佩戴位姿數(shù)據(jù)。
[0016]優(yōu)選地，在本發(fā)明的一實(shí)施例中，采集虛擬現(xiàn)實(shí)終端使用者佩戴所述虛擬現(xiàn)實(shí)終端的佩戴位姿信息包括:通過(guò)至少一個(gè)紅外攝像頭采集虛擬現(xiàn)實(shí)終端使用者佩戴所述虛擬現(xiàn)實(shí)終端的佩戴位姿信息;或者，通過(guò)陀螺儀和/或加速度傳感器采集虛擬現(xiàn)實(shí)終端使用者佩戴所述虛擬現(xiàn)實(shí)終端的佩戴位姿信息。
[0017]優(yōu)選地，在本發(fā)明的一實(shí)施例中，構(gòu)建在三維虛擬場(chǎng)景中的虛擬體型數(shù)據(jù)和虛擬動(dòng)作數(shù)據(jù):
[0018]根據(jù)三維虛擬場(chǎng)景中三維幾何模型以及法向圖，將實(shí)際物理空間中所述虛擬現(xiàn)實(shí)終端的佩戴位姿數(shù)據(jù)及使用者對(duì)應(yīng)的實(shí)際體型數(shù)據(jù)和實(shí)際動(dòng)作數(shù)據(jù)轉(zhuǎn)換為在三維虛擬場(chǎng)景中的虛擬體型數(shù)據(jù)和虛擬動(dòng)作數(shù)據(jù)。
[0019]本發(fā)明實(shí)施例提供一種虛擬現(xiàn)實(shí)終端的視覺(jué)虛擬裝置，其包括:
[0020]構(gòu)建單元，用于根據(jù)在實(shí)際物理空間中所述虛擬現(xiàn)實(shí)終端的佩戴位姿數(shù)據(jù)及使用者對(duì)應(yīng)的實(shí)際體型數(shù)據(jù)和實(shí)際動(dòng)作數(shù)據(jù)，構(gòu)建在三維虛擬場(chǎng)景中的虛擬體型數(shù)據(jù)和虛擬動(dòng)作數(shù)據(jù)；
[0021]虛擬單元，根據(jù)構(gòu)建的所述虛擬體型數(shù)據(jù)和所述虛擬動(dòng)作數(shù)據(jù)生成相應(yīng)的虛擬顯示圖像。
[0022]優(yōu)選地，在本發(fā)明的一實(shí)施例中，還包括第一采集單元，用于采集虛擬現(xiàn)實(shí)終端使用者的體型圖像數(shù)據(jù)及動(dòng)作圖像數(shù)據(jù)；以及對(duì)采集到的虛擬現(xiàn)實(shí)終端使用者的體型圖像數(shù)據(jù)及動(dòng)作圖像數(shù)據(jù)進(jìn)行解析，分別生成對(duì)應(yīng)的所述實(shí)際體型數(shù)據(jù)和所述實(shí)際動(dòng)作數(shù)據(jù)。
[0023]優(yōu)選地，在本發(fā)明的一實(shí)施例中，還包括第二采集單元，用于采集虛擬現(xiàn)實(shí)終端使用者佩戴所述虛擬現(xiàn)實(shí)終端的佩戴位姿信息；以及對(duì)所述佩戴位姿信息進(jìn)行解析生成相應(yīng)的所述佩戴位姿數(shù)據(jù)。
[0024]優(yōu)選地，在本發(fā)明的一實(shí)施例中，所述第二采集單元進(jìn)一步用于獲取通過(guò)至少一個(gè)紅外攝像頭采集的虛擬現(xiàn)實(shí)終端使用者佩戴所述虛擬現(xiàn)實(shí)終端的佩戴位姿圖像信息;或者，用于獲取通過(guò)陀螺儀和/或加速度傳感器采集的虛擬現(xiàn)實(shí)終端使用者佩戴所述虛擬現(xiàn)實(shí)終端的佩戴位姿信息。
[0025]優(yōu)選地，在本發(fā)明的一實(shí)施例中，所述構(gòu)建單元進(jìn)一步用于根據(jù)三維虛擬場(chǎng)景中三維幾何模型以及法向圖，將實(shí)際物理空間中所述虛擬現(xiàn)實(shí)終端的佩戴位姿數(shù)據(jù)及使用者對(duì)應(yīng)的實(shí)際體型數(shù)據(jù)和實(shí)際動(dòng)作數(shù)據(jù)轉(zhuǎn)換為在三維虛擬場(chǎng)景中的虛擬體型數(shù)據(jù)和虛擬動(dòng)作數(shù)據(jù)。
[0026]本發(fā)明實(shí)施例提供一種虛擬現(xiàn)實(shí)終端，其包括硬件處理器，所述硬件處理器用于根據(jù)在實(shí)際物理空間中所述虛擬現(xiàn)實(shí)終端的佩戴位姿數(shù)據(jù)及使用者對(duì)應(yīng)的實(shí)際體型數(shù)據(jù)和實(shí)際動(dòng)作數(shù)據(jù)，構(gòu)建在三維虛擬場(chǎng)景中的虛擬體型數(shù)據(jù)和虛擬動(dòng)作數(shù)據(jù)；以及根據(jù)構(gòu)建的所述虛擬體型數(shù)據(jù)和所述虛擬動(dòng)作數(shù)據(jù)生成相應(yīng)的虛擬顯示圖像。
[0027]本發(fā)明實(shí)施例的技術(shù)方案具有以下優(yōu)點(diǎn):
[0028]通過(guò)根據(jù)在實(shí)際物理空間中所述虛擬現(xiàn)實(shí)終端的佩戴位姿數(shù)據(jù)及使用者對(duì)應(yīng)的實(shí)際體型數(shù)據(jù)和實(shí)際動(dòng)作數(shù)據(jù)，構(gòu)建在三維虛擬場(chǎng)景中的虛擬體型數(shù)據(jù)和虛擬動(dòng)作數(shù)據(jù)；以及根據(jù)構(gòu)建的所述虛擬體型數(shù)據(jù)和所述虛擬動(dòng)作數(shù)據(jù)生成相應(yīng)的虛擬顯示圖像，使得用戶在使用本發(fā)明提供的虛擬現(xiàn)實(shí)終端時(shí)，能夠借助參照物產(chǎn)生以第一人稱視角身臨其境的感覺(jué)，例如用戶在使用虛擬現(xiàn)實(shí)終端時(shí)，在用戶使用虛擬現(xiàn)實(shí)終端不斷移動(dòng)視點(diǎn)進(jìn)行觀看的過(guò)程中，能夠從虛擬現(xiàn)實(shí)終端的屏幕中看到依據(jù)用戶真實(shí)肢體及動(dòng)作虛擬出的肢體圖像和動(dòng)作，使得用戶對(duì)虛擬場(chǎng)景的觀察有了意識(shí)上的真實(shí)參照物，提升了身臨其境的感覺(jué)，能夠更加全身心地投入到虛擬世界的娛樂(lè)體驗(yàn)中，大大提升了用戶對(duì)虛擬場(chǎng)景的真實(shí)感的認(rèn)同程度。
【附圖說(shuō)明】
[0029]為了更清楚地說(shuō)明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對(duì)實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作一簡(jiǎn)單地介紹，顯而易見(jiàn)地，下面描述中的附圖是本發(fā)明的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來(lái)講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)這些附圖獲得其他的附圖。
[0030]圖1為本發(fā)明實(shí)施例一虛擬現(xiàn)實(shí)終端的視覺(jué)虛擬方法流程示意圖；
[0031 ]圖2為本發(fā)明實(shí)施例二虛擬現(xiàn)實(shí)終端的視覺(jué)虛擬方法流程示意圖；
[0032]圖3為本發(fā)明實(shí)施例三虛擬現(xiàn)實(shí)終端的視覺(jué)虛擬方法流程示意圖；
[0033]圖4為本發(fā)明實(shí)施例四虛擬現(xiàn)實(shí)終端的視覺(jué)虛擬裝置結(jié)構(gòu)示意圖；
[0034]圖5為本發(fā)明實(shí)施例五虛擬現(xiàn)實(shí)終端的視覺(jué)虛擬裝置結(jié)構(gòu)示意圖；
[0035]圖6為本發(fā)明實(shí)施例六虛擬現(xiàn)實(shí)終端的視覺(jué)虛擬裝置結(jié)構(gòu)示意圖；
[0036]圖7為本發(fā)明實(shí)施例七虛擬現(xiàn)實(shí)終端結(jié)構(gòu)示意圖。
【具體實(shí)施方式】
[0037]為使本發(fā)明實(shí)施例的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例。基于本發(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒(méi)有作出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。
[0038]在本發(fā)明的下述實(shí)施例中，通過(guò)根據(jù)在實(shí)際物理空間中所述虛擬現(xiàn)實(shí)終端的佩戴位姿數(shù)據(jù)及使用者對(duì)應(yīng)的實(shí)際體型數(shù)據(jù)和實(shí)際動(dòng)作數(shù)據(jù)，構(gòu)建在三維虛擬場(chǎng)景中的虛擬體型數(shù)據(jù)和虛擬動(dòng)作數(shù)據(jù)；以及根據(jù)構(gòu)建的所述虛擬體型數(shù)據(jù)和所述虛擬動(dòng)作數(shù)據(jù)生成相應(yīng)的虛擬顯示圖像，使得用戶在使用本發(fā)明提供的虛擬現(xiàn)實(shí)終端時(shí)，能夠借助參照物產(chǎn)生以第一人稱視角身臨其境的感覺(jué)，例如用戶在使用虛擬現(xiàn)實(shí)終端時(shí)，在用戶使用虛擬現(xiàn)實(shí)終端不斷移動(dòng)視點(diǎn)進(jìn)行觀看的過(guò)程中，能夠從虛擬現(xiàn)實(shí)終端的屏幕中看到依據(jù)用戶真實(shí)肢體及動(dòng)作虛擬出的肢體圖像和動(dòng)作，使得用戶對(duì)虛擬場(chǎng)景的觀察有了意識(shí)上的真實(shí)參照物，提升了身臨其境的感覺(jué)，能夠更加全身心地投入到虛擬世界的娛樂(lè)體驗(yàn)中，大大提升了用戶對(duì)虛擬場(chǎng)景的真實(shí)感的認(rèn)同程度。
[0039]圖1為本發(fā)明實(shí)施例一虛擬現(xiàn)實(shí)終端的視覺(jué)虛擬方法流程示意圖；如圖1所示，本實(shí)施例中的技術(shù)方案包括如下步驟:
[0040]SlOl、根據(jù)在實(shí)際物理空間中所述虛擬現(xiàn)實(shí)終端的佩戴位姿數(shù)據(jù)及使用者對(duì)應(yīng)的實(shí)際體型數(shù)據(jù)和實(shí)際動(dòng)作數(shù)據(jù)，構(gòu)建在三維虛擬場(chǎng)景中的虛擬體型數(shù)據(jù)和虛擬動(dòng)作數(shù)據(jù)；
[0041]本實(shí)施例中，佩戴位姿數(shù)據(jù)、使用者對(duì)應(yīng)的實(shí)際體型數(shù)據(jù)、實(shí)際動(dòng)作數(shù)據(jù)對(duì)應(yīng)于特定使用者及其特定使用者跟隨虛擬現(xiàn)實(shí)終端的虛擬場(chǎng)景進(jìn)行手部的擊打或者腿部的奔跑動(dòng)作等等。佩戴位姿數(shù)據(jù)是指用戶在使用虛擬現(xiàn)實(shí)終端過(guò)程中虛擬現(xiàn)實(shí)終端本身的姿態(tài)數(shù)據(jù)，比如用戶在使用過(guò)程中的低頭、仰頭、左轉(zhuǎn)以及右轉(zhuǎn)過(guò)程中，虛擬現(xiàn)實(shí)終端對(duì)應(yīng)的向下運(yùn)動(dòng)、向上運(yùn)動(dòng)、向左運(yùn)動(dòng)以及向右運(yùn)動(dòng)，對(duì)應(yīng)虛擬現(xiàn)實(shí)終端這些類似狀態(tài)產(chǎn)生姿態(tài)數(shù)據(jù)。
[0042]本實(shí)施例中，在構(gòu)建在三維虛擬場(chǎng)景中的虛擬體型數(shù)據(jù)和虛擬動(dòng)作數(shù)據(jù)可以包括:根據(jù)三維虛擬場(chǎng)景中三維幾何模型以及法向圖，將實(shí)際物理空間中所述虛擬現(xiàn)實(shí)終端的佩戴位姿數(shù)據(jù)及使用者對(duì)應(yīng)的實(shí)際體型數(shù)據(jù)和實(shí)際動(dòng)作數(shù)據(jù)轉(zhuǎn)換為在三維虛擬場(chǎng)景中的虛擬體型數(shù)據(jù)和虛擬動(dòng)作數(shù)據(jù)。
[0043]S102、根據(jù)構(gòu)建的所述虛擬體型數(shù)據(jù)和所述虛擬動(dòng)作數(shù)據(jù)生成相應(yīng)的虛擬顯示圖像。
[0044]本實(shí)施例中，步驟S102中在生成相應(yīng)得虛擬顯示圖像時(shí)，可以通過(guò)在場(chǎng)景渲染時(shí)，將構(gòu)建的所述虛擬體型數(shù)據(jù)和所述虛擬動(dòng)作數(shù)據(jù)加載到場(chǎng)景的模型中，生成相應(yīng)的虛擬顯示圖像。
[0045]具體地，本實(shí)施例中，可以通過(guò)圖形處理器GPU與OpenGL進(jìn)行場(chǎng)景渲染，從而將構(gòu)建的所述虛擬體型數(shù)據(jù)和所述虛擬動(dòng)作數(shù)據(jù)加載到場(chǎng)景的模型中。
[0046]圖2為本發(fā)明實(shí)施例二虛擬現(xiàn)實(shí)終端的視覺(jué)虛擬方法流程示意圖；如圖2所示，本實(shí)施例中的技術(shù)方案包括如下步驟:
[0047]S201、采集虛擬現(xiàn)實(shí)終端使用者的體型圖像數(shù)據(jù)及動(dòng)作圖像數(shù)據(jù)；
[0048]本實(shí)施例中，步驟S201中在采集虛擬現(xiàn)實(shí)終端使用者的體型圖像數(shù)據(jù)及動(dòng)作圖像數(shù)據(jù)時(shí)可以通過(guò)至少一個(gè)攝像頭來(lái)采集虛擬現(xiàn)實(shí)終端使用者的體型圖像數(shù)據(jù)及動(dòng)作圖像數(shù)據(jù)。具體地，比如通過(guò)紅外攝像頭來(lái)采集，此時(shí)，可以在使用者的身體上布置多個(gè)紅外發(fā)光點(diǎn)，比如頭部、肩膀、胳膊、軀干、腰圍、臀部腿部等位置，通過(guò)紅外攝像頭捕捉到的這些位置的紅外發(fā)光點(diǎn)來(lái)采集虛擬現(xiàn)實(shí)終端使用者的體型圖像數(shù)據(jù)及動(dòng)作圖像數(shù)據(jù)。
[0049]本實(shí)施例中，攝像頭可以直接設(shè)置在虛擬現(xiàn)實(shí)終端上，或者設(shè)置在使用虛擬現(xiàn)實(shí)終端的環(huán)境中。攝像頭設(shè)置在虛擬現(xiàn)實(shí)終端時(shí)，可以根據(jù)圖像采集的便攜性，將攝像頭設(shè)置在虛擬現(xiàn)實(shí)終端的兩側(cè)，或者頂部，或者在虛擬現(xiàn)實(shí)終端的兩側(cè)和頂部均設(shè)置有攝像頭。所述虛擬現(xiàn)實(shí)裝置的前方放置兩個(gè)攝像頭，側(cè)面放置兩個(gè)攝像頭，當(dāng)使用者使用裝置進(jìn)行頭部動(dòng)作時(shí)，所述裝置前方的兩個(gè)攝像頭拍攝的圖像與使用者正面觀察方向一致，比如使用者通過(guò)低頭使得裝置前方的兩個(gè)攝像頭拍攝到雙手以及腿部的圖像，從而在裝置中實(shí)時(shí)虛擬出視覺(jué)效果一致的虛擬的肢體圖像及肢體動(dòng)作。
[0050]在另外一實(shí)施例中，可以通過(guò)攝像頭來(lái)采集虛擬現(xiàn)實(shí)終端使用者的體型圖像數(shù)據(jù)，而通過(guò)陀螺儀/加速度傳感器來(lái)進(jìn)行運(yùn)動(dòng)軌跡的跟蹤從而形成動(dòng)作圖像數(shù)據(jù)。
[0051]S202、對(duì)采集到的虛擬現(xiàn)實(shí)終端使用者的體型圖像數(shù)據(jù)及動(dòng)作圖像數(shù)據(jù)進(jìn)行解析，分別生成對(duì)應(yīng)的所述實(shí)際體型數(shù)據(jù)和所述實(shí)際動(dòng)作數(shù)據(jù)。
[0052]本實(shí)施例中，如果通過(guò)攝像頭來(lái)采集使用者體型數(shù)據(jù)和動(dòng)作數(shù)據(jù)，則會(huì)形成一系列紅外圖像，即紅外圖像序列，因此，通過(guò)對(duì)該紅外圖序列進(jìn)行解析，從而生成對(duì)應(yīng)的實(shí)際體型數(shù)據(jù)和實(shí)際動(dòng)作數(shù)據(jù)。在對(duì)紅外圖像序列進(jìn)行解析時(shí)可以通過(guò)在圖像上對(duì)設(shè)定的特征點(diǎn)進(jìn)行識(shí)別和跟蹤，從而分別生成對(duì)應(yīng)的實(shí)際體型數(shù)據(jù)和實(shí)際動(dòng)作數(shù)據(jù)。在對(duì)紅外圖像序列解析之前，為了去除不必要的噪聲，可以通過(guò)紅外圖像序列進(jìn)行像素值的均值運(yùn)算，然后各個(gè)像素值在于該像素均值進(jìn)行差分，從而去除了噪聲，同時(shí)也降低數(shù)據(jù)處理量，提高了數(shù)據(jù)處理的效率。
[0053]S203、根據(jù)在實(shí)際物理空間中所述虛擬現(xiàn)實(shí)終端的佩戴位姿數(shù)據(jù)及使用者對(duì)應(yīng)的實(shí)際體型數(shù)據(jù)和實(shí)際動(dòng)作數(shù)據(jù)，構(gòu)建在三維虛擬場(chǎng)景中的虛擬體型數(shù)據(jù)和虛擬動(dòng)作數(shù)據(jù)；
[0054]S204、根據(jù)構(gòu)建的所述虛擬體型數(shù)據(jù)和所述虛擬動(dòng)作數(shù)據(jù)生成相應(yīng)的虛擬顯示圖像。
[0055]本實(shí)施例中，步驟S203-S204類似上述圖1的S101-S102，詳細(xì)不再贅述。
[0056]圖3為本發(fā)明實(shí)施例三虛擬現(xiàn)實(shí)終端的視覺(jué)虛擬方法流程示意圖；如圖3所示，本實(shí)施例中的技術(shù)方案包括如下步驟:
[0057]S301、采集虛擬現(xiàn)實(shí)終端使用者佩戴所述虛擬現(xiàn)實(shí)終端的佩戴位姿信息；
[0058]本實(shí)施例中，步驟S301中采集虛擬現(xiàn)實(shí)終端使用者佩戴所述虛擬現(xiàn)實(shí)終端的佩戴位姿信息時(shí)通過(guò)至少一個(gè)攝像頭采集虛擬現(xiàn)實(shí)終端使用者佩戴所述虛擬現(xiàn)實(shí)終端的佩戴位姿圖像信息。
[0059]本實(shí)施例中，可以參照上述圖2中的攝像頭來(lái)設(shè)置和采集佩戴位姿信息，即本實(shí)施例中，比如虛擬現(xiàn)實(shí)終端上布置多個(gè)紅外發(fā)光點(diǎn)，比如頂部、左右兩側(cè)等多個(gè)位置，通過(guò)紅外攝像頭捕捉到的這些位置的紅外發(fā)光點(diǎn)來(lái)采集虛擬現(xiàn)實(shí)終端佩戴位姿信息。
[0060]S302、對(duì)所述佩戴位姿信息進(jìn)行解析生成相應(yīng)的所述佩戴位姿數(shù)據(jù)。
[0061]類似上述圖1或者圖2所示的實(shí)施例，本實(shí)施例中，如果通過(guò)攝像頭來(lái)采集佩戴位姿信息，則會(huì)形成一系列紅外圖像，即紅外圖像序列，因此，通過(guò)對(duì)該紅外圖序列進(jìn)行解析，從而生成對(duì)應(yīng)的佩戴位姿數(shù)據(jù)。在對(duì)紅外圖像序列進(jìn)行解析時(shí)可以通過(guò)在圖像上對(duì)設(shè)定的特征點(diǎn)進(jìn)行識(shí)別和跟蹤，從而生成對(duì)應(yīng)的佩戴位姿數(shù)據(jù)。在對(duì)紅外圖像序列解析之前，為了去除不必要的噪聲，可以通過(guò)紅外圖像序列進(jìn)行像素值的均值運(yùn)算，然后各個(gè)像素值在于該像素均值進(jìn)行差分，從而去除了噪聲，同時(shí)也降低數(shù)據(jù)處理量，提高了數(shù)據(jù)處理的效率。
[0062]S303、根據(jù)在實(shí)際物理空間中所述虛擬現(xiàn)實(shí)終端的佩戴位姿數(shù)據(jù)及使用者對(duì)應(yīng)的實(shí)際體型數(shù)據(jù)和實(shí)際動(dòng)作數(shù)據(jù)，構(gòu)建在三維虛擬場(chǎng)景中的虛擬體型數(shù)據(jù)和虛擬動(dòng)作數(shù)據(jù)；
[0063]S304、根據(jù)構(gòu)建的所述虛擬體型數(shù)據(jù)和所述虛擬動(dòng)作數(shù)據(jù)生成相應(yīng)的虛擬顯示圖像。
[0064]有關(guān)步驟S303-S304類似圖1中的S101、S102、圖2中的S201、S202，詳細(xì)不再贅述。
[0065]可替代地，在另外一視覺(jué)虛擬方法實(shí)施例中，步驟S301中在采集虛擬現(xiàn)實(shí)終端使用者佩戴所述虛擬現(xiàn)實(shí)終端的佩戴位姿信息時(shí)可以通過(guò)陀螺儀和/或加速度傳感器采集虛擬現(xiàn)實(shí)終端使用者佩戴所述虛擬現(xiàn)實(shí)終端的佩戴位姿信息。陀螺儀和/或加速度傳感器的數(shù)量可以一個(gè)或多個(gè)，當(dāng)陀螺儀和/或加速度傳感器的數(shù)量為多個(gè)時(shí)，可以通過(guò)對(duì)多個(gè)陀螺儀和/或加速度傳感器的數(shù)量采集到的佩戴位姿信息進(jìn)行融合處理。
[0066]圖4為本發(fā)明實(shí)施例四虛擬現(xiàn)實(shí)終端的視覺(jué)虛擬裝置結(jié)構(gòu)示意圖；如圖4所示，本實(shí)施例中的技術(shù)方案包括:
[0067]構(gòu)建單元401，用于根據(jù)在實(shí)際物理空間中所述虛擬現(xiàn)實(shí)終端的佩戴位姿數(shù)據(jù)及使用者對(duì)應(yīng)的實(shí)際體型數(shù)據(jù)和實(shí)際動(dòng)作數(shù)據(jù)，構(gòu)建在三維虛擬場(chǎng)景中的虛擬體型數(shù)據(jù)和虛擬動(dòng)作數(shù)據(jù)；
[0068]虛擬單元402，用于根據(jù)構(gòu)建的所述虛擬體型數(shù)據(jù)和所述虛擬動(dòng)作數(shù)據(jù)生成相應(yīng)的虛擬顯示圖像。
[0069]圖5為本發(fā)明實(shí)施例五虛擬現(xiàn)實(shí)終端的視覺(jué)虛擬裝置結(jié)構(gòu)示意圖；如圖5所示，本實(shí)施例中的技術(shù)方案包括:
[0070]第一采集單元500，用于采集虛擬現(xiàn)實(shí)終端使用者的體型圖像數(shù)據(jù)及動(dòng)作圖像數(shù)據(jù)；以及對(duì)采集到的虛擬現(xiàn)實(shí)終端使用者的體型圖像數(shù)據(jù)及動(dòng)作圖像數(shù)據(jù)進(jìn)行解析，分別生成對(duì)應(yīng)的所述實(shí)際體型數(shù)據(jù)和所述實(shí)際動(dòng)作數(shù)據(jù)。
[0071]構(gòu)建單元401，用于根據(jù)在實(shí)際物理空間中所述虛擬現(xiàn)實(shí)終端的佩戴位姿數(shù)據(jù)及使用者對(duì)應(yīng)的實(shí)際體型數(shù)據(jù)和實(shí)際動(dòng)作數(shù)據(jù)，構(gòu)建在三維虛擬場(chǎng)景中的虛擬體型數(shù)據(jù)和虛擬動(dòng)作數(shù)據(jù)；
[0072]虛擬單元402，用于根據(jù)構(gòu)建的所述虛擬體型數(shù)據(jù)和所述虛擬動(dòng)作數(shù)據(jù)生成相應(yīng)的虛擬顯示圖像。
[0073]優(yōu)選地，在本發(fā)明的任一實(shí)施例中，所述第一采集單元進(jìn)一步用于獲取通過(guò)至少一個(gè)攝像頭來(lái)采集虛擬現(xiàn)實(shí)終端使用者的體型圖像數(shù)據(jù)及動(dòng)作圖像數(shù)據(jù)。
[0074]圖6為本發(fā)明實(shí)施例六虛擬現(xiàn)實(shí)終端的視覺(jué)虛擬裝置結(jié)構(gòu)示意圖；如圖6所示，本實(shí)施例中的技術(shù)方案包括:
[0075]第二采集單元600，用于采集虛擬現(xiàn)實(shí)終端使用者佩戴所述虛擬現(xiàn)實(shí)終端的佩戴位姿信息；以及對(duì)所述佩戴位姿信息進(jìn)行解析生成相應(yīng)的所述佩戴位姿數(shù)據(jù)。
[0076]本實(shí)施例中所述第二采集單元進(jìn)一步用于獲取通過(guò)至少一個(gè)攝像頭采集虛擬現(xiàn)實(shí)終端使用者佩戴所述虛擬現(xiàn)實(shí)終端的佩戴位姿圖像信息。
[0077]構(gòu)建單元401，用于根據(jù)在實(shí)際物理空間中所述虛擬現(xiàn)實(shí)終端的佩戴位姿數(shù)據(jù)及使用者對(duì)應(yīng)的實(shí)際體型數(shù)據(jù)和實(shí)際動(dòng)作數(shù)據(jù)，構(gòu)建在三維虛擬場(chǎng)景中的虛擬體型數(shù)據(jù)和虛擬動(dòng)作數(shù)據(jù)；
[0078]虛擬單元402，根據(jù)構(gòu)建的所述虛擬體型數(shù)據(jù)和所述虛擬動(dòng)作數(shù)據(jù)生成相應(yīng)的虛擬顯示圖像。
[0079]可替代地，所述第二采集單元進(jìn)一步用于獲取通過(guò)陀螺儀和/或加速度傳感器采集虛擬現(xiàn)實(shí)終端使用者佩戴所述虛擬現(xiàn)實(shí)終端的佩戴位姿信息。
[0080]圖7為本發(fā)明實(shí)施例七虛擬現(xiàn)實(shí)終端結(jié)構(gòu)示意圖；如圖7所示，虛擬現(xiàn)實(shí)終端700包括硬件處理器701，所述硬件處理器701用于根據(jù)在實(shí)際物理空間中所述虛擬現(xiàn)實(shí)終端的佩戴位姿數(shù)據(jù)及使用者對(duì)應(yīng)的實(shí)際體型數(shù)據(jù)和實(shí)際動(dòng)作數(shù)據(jù)，構(gòu)建在三維虛擬場(chǎng)景中的虛擬體型數(shù)據(jù)和虛擬動(dòng)作數(shù)據(jù)；以及根據(jù)構(gòu)建的所述虛擬體型數(shù)據(jù)和所述虛擬動(dòng)作數(shù)據(jù)生成相應(yīng)的虛擬顯示圖像。
[0081]本實(shí)施例或其他任一實(shí)施例中，所述硬件處理器701進(jìn)一步獲取采集的虛擬現(xiàn)實(shí)終端使用者的體型圖像數(shù)據(jù)及動(dòng)作圖像數(shù)據(jù)；以及對(duì)采集到的虛擬現(xiàn)實(shí)終端使用者的體型圖像數(shù)據(jù)及動(dòng)作圖像數(shù)據(jù)進(jìn)行解析，分別生成對(duì)應(yīng)的所述實(shí)際體型數(shù)據(jù)和所述實(shí)際動(dòng)作數(shù)據(jù)。
[0082]本實(shí)施例或其他任一實(shí)施例中，所述硬件處理器701進(jìn)一步獲取采集的虛擬現(xiàn)實(shí)終端使用者佩戴所述虛擬現(xiàn)實(shí)終端的佩戴位姿信息；以及對(duì)所述佩戴位姿信息進(jìn)行解析生成相應(yīng)的所述佩戴位姿數(shù)據(jù)。
[0083]本實(shí)施例或其他任一實(shí)施例中，所述硬件處理器701進(jìn)一步用于獲取通過(guò)至少一個(gè)攝像頭來(lái)采集虛擬現(xiàn)實(shí)終端使用者的體型圖像數(shù)據(jù)及動(dòng)作圖像數(shù)據(jù)。
[0084]本實(shí)施例或其他任一實(shí)施例中，所述硬件處理器701進(jìn)一步用于獲取通過(guò)至少一個(gè)攝像頭采集虛擬現(xiàn)實(shí)終端使用者佩戴所述虛擬現(xiàn)實(shí)終端的佩戴位姿圖像信息。
[0085]本實(shí)施例或其他任一實(shí)施例中，所述硬件處理器701進(jìn)一步用于獲取通過(guò)陀螺儀和/或加速度傳感器采集虛擬現(xiàn)實(shí)終端使用者佩戴所述虛擬現(xiàn)實(shí)終端的佩戴位姿信息。
[0086]以上所描述的裝置實(shí)施例僅僅是示意性的，其中所述作為分離部件說(shuō)明的單元可以是或者也可以不是物理上分開(kāi)的，作為單元顯示的部件可以是或者也可以不是物理單元，即可以位于一個(gè)地方，或者也可以分布到多個(gè)網(wǎng)絡(luò)單元上。可以根據(jù)實(shí)際的需要選擇其中的部分或者全部模塊來(lái)實(shí)現(xiàn)本實(shí)施例方案的目的。本領(lǐng)域普通技術(shù)人員在不付出創(chuàng)造性的勞動(dòng)的情況下，即可以理解并實(shí)施。
[0087]通過(guò)以上的實(shí)施方式的描述，本領(lǐng)域的技術(shù)人員可以清楚地了解到各實(shí)施方式可借助軟件加必需的通用硬件平臺(tái)的方式來(lái)實(shí)現(xiàn)，當(dāng)然也可以通過(guò)硬件?；谶@樣的理解，上述技術(shù)方案本質(zhì)上或者說(shuō)對(duì)現(xiàn)有技術(shù)做出貢獻(xiàn)的部分可以以軟件產(chǎn)品的形式體現(xiàn)出來(lái)，該計(jì)算機(jī)軟件產(chǎn)品可以存儲(chǔ)在計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中，如R0M/RAM、磁碟、光盤等，包括若干指令用以使得一臺(tái)計(jì)算機(jī)設(shè)備(可以是個(gè)人計(jì)算機(jī)，服務(wù)器，或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行各個(gè)實(shí)施例或者實(shí)施例的某些部分所述的方法。
[0088]最后應(yīng)說(shuō)明的是:以上實(shí)施例僅用以說(shuō)明本發(fā)明的技術(shù)方案，而非對(duì)其限制;盡管參照前述實(shí)施例對(duì)本發(fā)明進(jìn)行了詳細(xì)的說(shuō)明，本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解:其依然可以對(duì)前述各實(shí)施例所記載的技術(shù)方案進(jìn)行修改，或者對(duì)其中部分技術(shù)特征進(jìn)行等同替換；而這些修改或者替換，并不使相應(yīng)技術(shù)方案的本質(zhì)脫離本發(fā)明各實(shí)施例技術(shù)方案的精神和范圍。
【主權(quán)項(xiàng)】
1.一種虛擬現(xiàn)實(shí)終端的視覺(jué)虛擬方法，其特征在于，包括: 根據(jù)在實(shí)際物理空間中所述虛擬現(xiàn)實(shí)終端的佩戴位姿數(shù)據(jù)及使用者對(duì)應(yīng)的實(shí)際體型數(shù)據(jù)和實(shí)際動(dòng)作數(shù)據(jù)，構(gòu)建在三維虛擬場(chǎng)景中的虛擬體型數(shù)據(jù)和虛擬動(dòng)作數(shù)據(jù)； 根據(jù)構(gòu)建的所述虛擬體型數(shù)據(jù)和所述虛擬動(dòng)作數(shù)據(jù)生成相應(yīng)的虛擬顯示圖像。2.根據(jù)權(quán)利要求1所述的虛擬現(xiàn)實(shí)終端的視覺(jué)虛擬方法，所述使用者對(duì)應(yīng)的實(shí)際體型數(shù)據(jù)和實(shí)際動(dòng)作數(shù)據(jù)具體采用如下方式生成: 采集虛擬現(xiàn)實(shí)終端使用者的體型圖像數(shù)據(jù)及動(dòng)作圖像數(shù)據(jù)； 對(duì)采集到的虛擬現(xiàn)實(shí)終端使用者的體型圖像數(shù)據(jù)及動(dòng)作圖像數(shù)據(jù)進(jìn)行解析，分別生成對(duì)應(yīng)的所述實(shí)際體型數(shù)據(jù)和所述實(shí)際動(dòng)作數(shù)據(jù)。3.根據(jù)權(quán)利要求1所述的虛擬現(xiàn)實(shí)終端的視覺(jué)虛擬方法，其特征在于，所述虛擬現(xiàn)實(shí)終端的佩戴位姿數(shù)據(jù)具體采用如下方式生成: 采集虛擬現(xiàn)實(shí)終端使用者佩戴所述虛擬現(xiàn)實(shí)終端的佩戴位姿信息； 對(duì)所述佩戴位姿信息進(jìn)行解析生成相應(yīng)的所述佩戴位姿數(shù)據(jù)。4.根據(jù)權(quán)利要求3所述的虛擬現(xiàn)實(shí)終端的視覺(jué)虛擬方法，其特征在于，采集虛擬現(xiàn)實(shí)終端使用者佩戴所述虛擬現(xiàn)實(shí)終端的佩戴位姿信息包括: 通過(guò)至少一個(gè)紅外攝像頭采集虛擬現(xiàn)實(shí)終端使用者佩戴所述虛擬現(xiàn)實(shí)終端的佩戴位姿信息;或者，通過(guò)陀螺儀和/或加速度傳感器采集虛擬現(xiàn)實(shí)終端使用者佩戴所述虛擬現(xiàn)實(shí)終端的佩戴位姿信息。5.根據(jù)權(quán)利要求1-4任一項(xiàng)所述的虛擬現(xiàn)實(shí)終端的視覺(jué)虛擬方法，構(gòu)建在三維虛擬場(chǎng)景中的虛擬體型數(shù)據(jù)和虛擬動(dòng)作數(shù)據(jù)包括: 根據(jù)三維虛擬場(chǎng)景中三維幾何模型以及法向圖，將實(shí)際物理空間中所述虛擬現(xiàn)實(shí)終端的佩戴位姿數(shù)據(jù)及使用者對(duì)應(yīng)的實(shí)際體型數(shù)據(jù)和實(shí)際動(dòng)作數(shù)據(jù)轉(zhuǎn)換為在三維虛擬場(chǎng)景中的虛擬體型數(shù)據(jù)和虛擬動(dòng)作數(shù)據(jù)。6.一種虛擬現(xiàn)實(shí)終端的視覺(jué)虛擬裝置，其特征在于，包括: 構(gòu)建單元，用于根據(jù)在實(shí)際物理空間中所述虛擬現(xiàn)實(shí)終端的佩戴位姿數(shù)據(jù)及使用者對(duì)應(yīng)的實(shí)際體型數(shù)據(jù)和實(shí)際動(dòng)作數(shù)據(jù)，構(gòu)建在三維虛擬場(chǎng)景中的虛擬體型數(shù)據(jù)和虛擬動(dòng)作數(shù)據(jù)； 虛擬單元，用于根據(jù)構(gòu)建的所述虛擬體型數(shù)據(jù)和所述虛擬動(dòng)作數(shù)據(jù)生成相應(yīng)的虛擬顯示圖像。7.根據(jù)權(quán)利要求6所述的虛擬現(xiàn)實(shí)終端的視覺(jué)虛擬裝置，還包括第一采集單元，用于采集虛擬現(xiàn)實(shí)終端使用者的體型圖像數(shù)據(jù)及動(dòng)作圖像數(shù)據(jù)；以及對(duì)采集到的虛擬現(xiàn)實(shí)終端使用者的體型圖像數(shù)據(jù)及動(dòng)作圖像數(shù)據(jù)進(jìn)行解析，分別生成對(duì)應(yīng)的所述實(shí)際體型數(shù)據(jù)和所述實(shí)際動(dòng)作數(shù)據(jù)。8.根據(jù)權(quán)利要求6所述的虛擬現(xiàn)實(shí)終端的視覺(jué)虛擬裝置，還包括第二采集單元，用于采集虛擬現(xiàn)實(shí)終端使用者佩戴所述虛擬現(xiàn)實(shí)終端的佩戴位姿信息；以及對(duì)所述佩戴位姿信息進(jìn)行解析生成相應(yīng)的所述佩戴位姿數(shù)據(jù)。9.根據(jù)權(quán)利要求8所述的虛擬現(xiàn)實(shí)終端的視覺(jué)虛擬裝置，其特征在于，所述第二采集單元進(jìn)一步用于獲取通過(guò)至少一個(gè)紅外攝像頭采集的虛擬現(xiàn)實(shí)終端使用者佩戴所述虛擬現(xiàn)實(shí)終端的佩戴位姿圖像信息;或者，用于獲取通過(guò)陀螺儀和/或加速度傳感器采集的虛擬現(xiàn)實(shí)終端使用者佩戴所述虛擬現(xiàn)實(shí)終端的佩戴位姿信息。10.根據(jù)權(quán)利要求6-9任一項(xiàng)所述的虛擬現(xiàn)實(shí)終端的視覺(jué)虛擬裝置，所述構(gòu)建單元進(jìn)一步用于根據(jù)三維虛擬場(chǎng)景中三維幾何模型以及法向圖，將實(shí)際物理空間中所述虛擬現(xiàn)實(shí)終端的佩戴位姿數(shù)據(jù)及使用者對(duì)應(yīng)的實(shí)際體型數(shù)據(jù)和實(shí)際動(dòng)作數(shù)據(jù)轉(zhuǎn)換為在三維虛擬場(chǎng)景中的虛擬體型數(shù)據(jù)和虛擬動(dòng)作數(shù)據(jù)。11.一種虛擬現(xiàn)實(shí)終端，其特征在于，包括硬件處理器，所述硬件處理器用于根據(jù)在實(shí)際物理空間中所述虛擬現(xiàn)實(shí)終端的佩戴位姿數(shù)據(jù)及使用者對(duì)應(yīng)的實(shí)際體型數(shù)據(jù)和實(shí)際動(dòng)作數(shù)據(jù)，構(gòu)建在三維虛擬場(chǎng)景中的虛擬體型數(shù)據(jù)和虛擬動(dòng)作數(shù)據(jù)；以及根據(jù)構(gòu)建的所述虛擬體型數(shù)據(jù)和所述虛擬動(dòng)作數(shù)據(jù)生成相應(yīng)的虛擬顯示圖像。
【文檔編號(hào)】G06F3/01GK105955483SQ201610295037
【公開(kāi)日】2016年9月21日
【申請(qǐng)日】2016年5月6日
【發(fā)明人】仲亮亮
【申請(qǐng)人】樂(lè)視控股（北京）有限公司, 樂(lè)視致新電子科技（天津）有限公司