計(jì)算機(jī)圖形顯示系統(tǒng)及方法
【專利說明】
[0001]【背景技術(shù)】和現(xiàn)有技術(shù)
[0002]本發(fā)明總體上涉及用于計(jì)算機(jī)模擬環(huán)境或所謂的虛擬現(xiàn)實(shí)(VR)環(huán)境的計(jì)算機(jī)圖形。更具體地，本發(fā)明涉及一種根據(jù)權(quán)利要求1的前序部分所述的計(jì)算機(jī)圖像顯示系統(tǒng)，以及一種根據(jù)權(quán)利要求9的前序部分所述的方法。本發(fā)明還涉及一種根據(jù)權(quán)利要求17所述的計(jì)算機(jī)程序產(chǎn)品以及一種根據(jù)權(quán)利要求18所述的計(jì)算機(jī)可讀介質(zhì)。
[0003]VR環(huán)境通常以高度可視的三維(3D)方式來模擬用戶處于現(xiàn)實(shí)世界或虛幻世界的實(shí)際存在。大多數(shù)當(dāng)前的VR環(huán)境主要是在計(jì)算機(jī)屏幕上或通過特定的立體顯示器進(jìn)行顯示的視覺體驗(yàn)。然而，有些模擬包括附加感覺信息，例如通過揚(yáng)聲器或麥克風(fēng)的聲音。例如用于醫(yī)療或游戲應(yīng)用的觸覺系統(tǒng)還可以包括眾所周知的為力反饋的觸覺信息。用戶可以通過標(biāo)準(zhǔn)的輸入裝置(如鍵盤和鼠標(biāo))與VR環(huán)境進(jìn)行交互。在更高級(jí)的應(yīng)用中，可以使用諸如有線手套(或數(shù)據(jù)手套)之類的多模式設(shè)備。
[0004]優(yōu)選地采用頭戴式顯示(HMD)系統(tǒng)來為用戶提供真實(shí)的視覺體驗(yàn)。在此，根據(jù)用戶如何移動(dòng)他/她的頭部，顯示器呈現(xiàn)圖形數(shù)據(jù)，該圖形數(shù)據(jù)表現(xiàn)用戶在VR環(huán)境中從特定位置以及在特定方向上所看到的視場(chǎng)。因此，HMD系統(tǒng)需要高度精確地跟蹤用戶的頭部移動(dòng)情況。如今，為了這個(gè)目的，將各種形式的加速計(jì)和陀螺儀集成到HMD系統(tǒng)。然而，該方法存在許多冋題。
[0005]首先，必須定義一個(gè)中立或原始位置，該位置與VR環(huán)境中用戶的視場(chǎng)的特定位置和方向相關(guān)聯(lián)。然后，必須對(duì)從原始位置在每個(gè)方向上的每次運(yùn)動(dòng)以及每個(gè)旋轉(zhuǎn)進(jìn)行跟蹤，以確定應(yīng)當(dāng)如何改變顯示給用戶的視場(chǎng)，以便維持VR環(huán)境連續(xù)且真實(shí)的效果。這是一個(gè)非常有挑戰(zhàn)性的任務(wù)，因?yàn)楸仨殞?duì)具有六個(gè)自由度(例如，三個(gè)空間坐標(biāo)和三個(gè)角坐標(biāo))的參數(shù)保持最新。當(dāng)然，隨著時(shí)間的推移，錯(cuò)誤會(huì)積累，最終使得:通過圖形數(shù)據(jù)顯示給用戶的視場(chǎng)與實(shí)際上本該顯示的視場(chǎng)之間存在不可接受的較大不一致。例如，如果用戶快速地向上/下、左/右、后/前和/或有角度地?fù)u動(dòng)他/她的頭部，則這些影響變得特別明顯。然而，如果由于某些原因造成移動(dòng)跟蹤的丟失，則系統(tǒng)需要重置。即，用戶必須返回到原始位置。在游戲應(yīng)用中，這可能僅僅令人煩惱，而在醫(yī)療應(yīng)用(例如，遠(yuǎn)程手術(shù))中，結(jié)果確實(shí)會(huì)非常嚴(yán)重。
[0006]如今，實(shí)際上還不存在上述加速計(jì)/陀螺儀(這需要對(duì)用戶頭部的所有位置和角度變化進(jìn)行重復(fù)更新和記錄)技術(shù)的替代技術(shù)用于將控制數(shù)據(jù)提供給計(jì)算機(jī)，使得計(jì)算機(jī)可以生成用于例如通過HMD系統(tǒng)以真實(shí)的方式將VR環(huán)境顯示給用戶。
[0007]然而，在完全不同的技術(shù)領(lǐng)域中，存在如下技術(shù)方案:依靠其他類型的信號(hào)來對(duì)物理環(huán)境中實(shí)際位置和方向進(jìn)行配準(zhǔn)，即與投射光圖案相關(guān)的光信號(hào)。
[0008]JP 2005-017203描述了一種用于配準(zhǔn)如何在一段時(shí)間間隔期間定位商店中的各個(gè)顧客的系統(tǒng)。在這里為每個(gè)顧客提供了一個(gè)照明燈，該照明燈將具有指定幾何形狀的光學(xué)標(biāo)記投影到商店的墻或天花板上。通過經(jīng)由商店中的至少一個(gè)攝像機(jī)對(duì)從墻或天花板反射的間接光的研究來計(jì)算在給定的時(shí)間每個(gè)顧客的位置。此外，通過研究來自顧客的光學(xué)標(biāo)記的形狀如何變化，可以獲得顧客的三維坐標(biāo)。
[0009]US 2005/0213081公開了一種用于控制機(jī)器人的解決方案，其中，固定光源將光圖案投影到機(jī)器人在其中進(jìn)行操作的房間的天花板上。在此，機(jī)器人通過經(jīng)由布置在該機(jī)器人上的攝像機(jī)獲取圖像數(shù)據(jù)來進(jìn)行導(dǎo)航。更準(zhǔn)確地，基于通過攝像機(jī)配準(zhǔn)的特定光圖案，機(jī)器人確定平面上的二維位置(X，y)和方向(Θ )。
[0010]與現(xiàn)有技術(shù)相關(guān)的問題
[0011]因此，公知的HMD系統(tǒng)中的基于加速計(jì)/陀螺儀的技術(shù)存在如下需求問題:定義原始位置、錯(cuò)誤積累，以及由于位置和/或方向更新過程中的任何中斷所引起的故障。
[0012]上面所提及的基于光學(xué)的解決方案能夠分別確定一個(gè)實(shí)體的完整的空間位置或者二維位置和一維方向。然而，這些參考文獻(xiàn)都沒有提供與生成計(jì)算機(jī)圖形相關(guān)的任何提不ο

【發(fā)明內(nèi)容】

[0013]本發(fā)明的目的在于減輕上述問題，并且因此提供適合于為用戶顯示VR環(huán)境的增強(qiáng)型計(jì)算機(jī)圖形顯示。
[0014]根據(jù)本發(fā)明的一個(gè)方面，通過最初描述的計(jì)算機(jī)圖像顯示系統(tǒng)解決了上述目的，其中，頭戴式結(jié)構(gòu)包括配置成將第一輪廓分明的光圖案投影到反光面的第一光源。數(shù)據(jù)處理單元與被配置成記錄表示第一輪廓分明的光圖案的圖像數(shù)據(jù)的圖像配準(zhǔn)單元相連。數(shù)據(jù)處理單元被布置成基于圖像數(shù)據(jù)計(jì)算圖形數(shù)據(jù)。這里的圖形數(shù)據(jù)表示用戶從虛擬現(xiàn)實(shí)環(huán)境中的特定位置處沿著特定方向所看到的視場(chǎng)。
[0015]該計(jì)算機(jī)圖像顯示系統(tǒng)是有利的，因?yàn)樵撓到y(tǒng)能夠以高成本效益、可靠、健壯的方式將視場(chǎng)顯示給與VR環(huán)境進(jìn)行交互的用戶。
[0016]根據(jù)本發(fā)明的這個(gè)方面的一個(gè)優(yōu)選實(shí)施例，數(shù)據(jù)處理單元被配置成基于單一時(shí)刻由圖像配準(zhǔn)單元所記錄的圖像數(shù)據(jù)實(shí)時(shí)計(jì)算圖形數(shù)據(jù)。因此，確定視場(chǎng)并不需要任何歷史位置和/或方向數(shù)據(jù)。即，基于關(guān)于用戶所在房間的某些假設(shè)，第一輪廓分明的光圖案的圖像提供了關(guān)于頭戴式結(jié)構(gòu)的位置和朝向的絕對(duì)參考。基于此，然后可以產(chǎn)生合適的視場(chǎng)。
[0017]根據(jù)本發(fā)明的該方面的另一優(yōu)選實(shí)施例，計(jì)算機(jī)圖形顯示系統(tǒng)包括至少一個(gè)輸入單元，該輸入單元被配置成由用戶操作，并且作為用戶操作的響應(yīng)產(chǎn)生用于影響數(shù)據(jù)處理單元所實(shí)現(xiàn)的虛擬現(xiàn)實(shí)環(huán)境的控制命令。例如，第一輸入單元可以是鍵盤、動(dòng)作按鈕、滾輪、鼠標(biāo)、觸摸板、操縱桿、和/或操縱球。此外，由此產(chǎn)生的控制命令指定:在虛擬現(xiàn)實(shí)環(huán)境中的至少一個(gè)維度上移動(dòng)將視場(chǎng)顯示給用戶的位置；圍繞虛擬現(xiàn)實(shí)環(huán)境中的至少一個(gè)軸旋轉(zhuǎn)將視場(chǎng)顯示給用戶的方向和/或操作虛擬現(xiàn)實(shí)環(huán)境中的至少一個(gè)對(duì)象。因此，顯示給用戶的視場(chǎng)和圖形對(duì)象可能受到除頭戴式結(jié)構(gòu)的位置與方向以外因素的影響。因此，可以通過相對(duì)簡(jiǎn)單的方式快速地(dramatically)操作VR環(huán)境，并且用戶可以通過頭戴式結(jié)構(gòu)便利地查看所有這樣的操作情況。
[0018]根據(jù)本發(fā)明的這個(gè)方面的又一優(yōu)選實(shí)施例，計(jì)算機(jī)圖形表示系統(tǒng)包括至少一個(gè)輸入單元，該輸入單元(類似于頭戴式結(jié)構(gòu))設(shè)置有被配置成將第二輪廓分明的光圖案投影到反光面上的光源。圖像配準(zhǔn)單元還可以被配置成記錄表示第二輪廓分明的光圖案的圖像數(shù)據(jù)；并且還基于表示第二輪廓分明的光圖案的圖像數(shù)據(jù)計(jì)算對(duì)虛擬現(xiàn)實(shí)環(huán)境的影響。例如，輸入單元可以包括被配置成，作為輸入單元如何定位和/或朝向的響應(yīng)產(chǎn)生控制命令的指向設(shè)備。所生成的控制命令指定了虛擬現(xiàn)實(shí)環(huán)境中的對(duì)象的各種操作方式。換句話說，輸入單元可以執(zhí)行VR環(huán)境中的槍，通過槍可以瞄準(zhǔn)目標(biāo)并且進(jìn)行射擊。所提出的與輸入裝置相關(guān)聯(lián)的第二輪廓分明的光圖案使得其可以以極低的邊際成本非常準(zhǔn)確地模擬復(fù)雜的交互形式。
[0019]根據(jù)本發(fā)明的這個(gè)方面的又一實(shí)施例，光源被配置成發(fā)射紅外光譜中的光線。因此，所投影的光圖案可以是人肉眼不可見的。
[0020]根據(jù)本發(fā)明的這個(gè)方面的又一實(shí)施例，光源可以被配置成發(fā)射連續(xù)光。這是有利的，因?yàn)橥ㄟ^這種方式圖像配準(zhǔn)單元不需要與光源同步，并且因此該設(shè)計(jì)具有成本效率和魯棒性。
[0021]根據(jù)本發(fā)明的另一方面，通過最初描述的方法實(shí)現(xiàn)了上述目的，其中，假定頭戴式結(jié)構(gòu)包括第一光源，并且數(shù)據(jù)處理單元與圖像配準(zhǔn)單元相連。該方法還涉及:通過第一光源將第一輪廓分明的光圖案投影到反光面；通過圖像配準(zhǔn)單元記錄表示第一輪廓分明的光圖案的圖像數(shù)據(jù)；以及基于該圖像數(shù)據(jù)計(jì)算圖形數(shù)據(jù)。該圖形數(shù)據(jù)表示用戶從虛擬現(xiàn)實(shí)環(huán)境中的特定位