基于用戶的光學(xué)處方的頭戴式顯示器的制造方法
【專利說明】基于用戶的光學(xué)處方的頭戴式顯示器
[0001] 背景 1.發(fā)明領(lǐng)域
[0002] 本發(fā)明涉及用于定制頭戴式顯示器中的視圖表示的方法和系統(tǒng)。
[0003] 2.相關(guān)技術(shù)的描述
[0004] 視頻游戲產(chǎn)業(yè)多年來已發(fā)生了許多變化。隨著計算能力的擴展，視頻游戲的開發(fā) 者同樣已經(jīng)創(chuàng)建了利用這些提高的計算能力的游戲軟件。為此目的，視頻游戲開發(fā)者一直 在譯碼并入有復(fù)雜操作和數(shù)學(xué)運算的游戲，以產(chǎn)生非常逼真的游戲體驗。
[0005] 許多游戲平臺已經(jīng)按照游戲控制臺的形式來被開發(fā)和出售。典型的游戲控制臺被 設(shè)計以連接到監(jiān)視器（通常是電視），且經(jīng)由手持式控制器來實現(xiàn)用戶交互。游戲控制臺被 設(shè)計有專用處理硬件和其他膠連硬件、軟件和固件，所述專用處理硬件包括中央處理單元 (CPU)、用于處理密集圖形操作的圖形合成器、用于執(zhí)行幾何變換的向量單元。游戲控制臺 被進(jìn)一步設(shè)計有用于接納游戲壓縮光盤的光盤托盤，以便通過游戲控制臺進(jìn)行本地游戲。 游戲控制臺還被設(shè)計用于在線游戲，其中用戶可以通過互聯(lián)網(wǎng)與其他用戶交互地比賽或一 起玩游戲。隨著游戲復(fù)雜性不斷地激起玩家的興趣，游戲和硬件制造商不斷進(jìn)行革新來實 現(xiàn)額外的交互性和計算機程序。
[0006] 計算機游戲產(chǎn)業(yè)的發(fā)展趨勢在于開發(fā)增加用戶與游戲系統(tǒng)之間的交互的游戲和 游戲控制器。游戲控制器包括實現(xiàn)更豐富的交互體驗的特征，所述特征通過允許游戲系統(tǒng) 跟蹤玩家的變化的移動且使用這些移動作為在所述游戲系統(tǒng)上執(zhí)行的游戲的輸入。
[0007] 正是在這種情況下，本發(fā)明的實施方案應(yīng)運而生。
[0008] 概述
[0009] 本發(fā)明的實施方案提供用于基于用戶的光學(xué)處方來定制在頭戴式顯示器的屏幕 上的光學(xué)視圖表示、對象等的系統(tǒng)和方法，如本文所描述。
[0010] 廣義來說，本發(fā)明的各種實施方案揭露用于操作頭戴式顯示器（HMD)的屏幕的系 統(tǒng)和方法。執(zhí)行程序。所述程序的執(zhí)行致使圖像呈現(xiàn)在HMD的屏幕上。所呈現(xiàn)的圖像具有 不同的大小且呈現(xiàn)在屏幕上的虛擬距離處。接收用于所呈現(xiàn)圖像的用戶輸入。用戶輸入將 所呈現(xiàn)圖像的清晰層次限定為被佩戴HMD的用戶感知。基于用戶輸入，調(diào)整光學(xué)設(shè)置用于 為用戶在HMD處呈現(xiàn)圖像。調(diào)整過的光學(xué)設(shè)置是用于為了HMD處的用戶而呈現(xiàn)交互圖像， 如關(guān)于游戲或視頻的圖像數(shù)據(jù)等。在一些實施方案中，用戶的光學(xué)設(shè)置存儲在用戶的用于 HMD的配置文件中，使得每當(dāng)用戶佩戴HMD時，將使用所存儲的光學(xué)設(shè)置而呈現(xiàn)用于用戶的 圖像。在一些實施方案中，用戶的光學(xué)設(shè)置考慮用戶的光學(xué)處方，且根據(jù)用戶的光學(xué)要求而 進(jìn)一步調(diào)整HMD屏幕的光學(xué)設(shè)置。因此，各種實施方案提供用以調(diào)整在HMD屏幕上呈現(xiàn)圖 像所在的分辨率層次的方式，使得用戶可在無需佩戴眼鏡矯正鏡片或的情況下使用HMD。
[0011] 在一個實施方案中，揭露用于操作頭戴式顯示器的屏幕的方法。所述方法包括執(zhí) 行程序。所述程序的執(zhí)行致使圖像呈現(xiàn)在HMD的屏幕上。所述屏幕使用第一光學(xué)設(shè)置來呈 現(xiàn)圖像。因此，根據(jù)第一光學(xué)設(shè)置在屏幕上呈現(xiàn)第一圖像。所述第一圖像具有第一大小且 呈現(xiàn)在一距離處。接收識別用于所述第一圖像的清晰層次的輸入。根據(jù)第一光學(xué)設(shè)置在屏 幕上呈現(xiàn)第二圖像。所述第二圖像具有第二大小和所述距離。接收識別用于所述第二圖像 的清晰層次的輸入。基于針對第一圖像和第二圖像所接收的清晰層次，屏幕的第一光學(xué)設(shè) 置改變?yōu)榈诙鈱W(xué)設(shè)置。
[0012] 在另一實施方案中，揭露用于操作頭戴式顯示器的屏幕的方法。所述方法包括執(zhí) 行程序。所述程序的執(zhí)行致使圖像呈現(xiàn)在HMD的屏幕上。所述屏幕使用光學(xué)設(shè)置來呈現(xiàn)圖 像。在屏幕上虛擬距離處呈現(xiàn)多個圖像。多個圖像中的每一者具有不同的大小。從用戶接 收針對屏幕上呈現(xiàn)的多個圖像中的每一者的清晰層次反饋?；谇逦鷮哟畏答伓詣拥卣{(diào) 整屏幕的光學(xué)設(shè)置，使得所述調(diào)整過的光學(xué)設(shè)置補償所述用戶的視覺的光學(xué)特性。
[0013] 在另一實施方案中，揭露用于操作頭戴式顯示器的屏幕的方法。所述方法包括執(zhí) 行程序。所述程序的執(zhí)行致使圖像呈現(xiàn)在HMD的屏幕上。所述屏幕使用光學(xué)設(shè)置來呈現(xiàn)圖 像。在屏幕上虛擬距離處呈現(xiàn)多個圖像，其中所述多個圖像中的每一者具有不同的大小。從 用戶接收針對HMD屏幕上呈現(xiàn)的多個圖像中的每一者的清晰層次反饋。接收針對所述用戶 的光學(xué)處方設(shè)置的選擇。根據(jù)選定的清晰層次反饋和選定的光學(xué)處方設(shè)置而自動調(diào)整HMD 屏幕的光學(xué)設(shè)置。HMD屏幕的調(diào)整過的光學(xué)設(shè)置補償用戶的視覺的光學(xué)特性缺陷。當(dāng)HMD 被用戶佩戴時，使用屏幕的調(diào)整過的光學(xué)設(shè)置來為用戶呈現(xiàn)交互圖像。
[0014] 結(jié)合附圖來閱讀以下詳細(xì)描述，本發(fā)明的其他方面將變得顯而易見，以下詳細(xì)描 述通過實例方式來說明本發(fā)明的原理。
[0015] 附圖簡述
[0016] 本發(fā)明的各種實施方案可通過參考以下結(jié)合附圖進(jìn)行的描述來最好地理解，附圖 中：
[0017] 圖1示出根據(jù)本發(fā)明的一些實施方案的游戲環(huán)境的系統(tǒng)架構(gòu)配置。
[0018] 圖2A-2D示出根據(jù)本發(fā)明的實施方案的在與游戲程序交互中使用的頭戴式顯示 器的部件。
[0019] 圖3A-3F示出在本發(fā)明的一些實施方案中的接收在頭戴式顯示器上呈現(xiàn)的圖像 的清晰層次的實現(xiàn)方式。
[0020] 圖4示出根據(jù)本發(fā)明的實施方案的用于操作頭戴式顯示器的屏幕的方法操作。
[0021] 圖5示出根據(jù)本發(fā)明的替代實施方案的用于操作頭戴式顯示器的屏幕的方法操 作。
[0022] 圖6示出在本發(fā)明的一個實施方案中的游戲模塊的整體系統(tǒng)架構(gòu)。
[0023] 圖7示出根據(jù)本發(fā)明的實施方案的游戲系統(tǒng)的框圖。
[0024] 詳述
[0025] 描述用于操作頭戴式顯示器（HMD)的屏幕的系統(tǒng)和方法。執(zhí)行在HMD的屏幕上呈 現(xiàn)圖像的程序。所述圖像通過使用光學(xué)設(shè)置來呈現(xiàn)，所述光學(xué)設(shè)置限定圖像被呈現(xiàn)的大小 和所處的距離。尋求并接收針對所呈現(xiàn)圖像的清晰層次反饋?；谒銮逦鷮哟畏答?，屏 幕的光學(xué)設(shè)置自動地進(jìn)行調(diào)整。調(diào)整過的光學(xué)設(shè)置提供用戶所尋求的清晰層次。在一些實 施方案中，光學(xué)設(shè)置調(diào)整補償用戶的視覺中的任何光學(xué)特性缺陷。所述實施方案提供調(diào)整 在屏幕上呈現(xiàn)的圖像的分辨率的方式，使得當(dāng)用戶使用HMD用于任何交互游戲或程序時， 用戶可清楚地看見所呈現(xiàn)的任何圖像。
[0026] 在一些實施方案中，用戶的光學(xué)設(shè)置存儲在用戶配置文件中，使得當(dāng)用戶在下次 使用HMD時，所述屏幕自動地調(diào)整到用戶的首選設(shè)置而無需來自用戶的任何手動調(diào)整。在 一些實施方案中，用戶的用于屏幕的首選設(shè)置可以存儲在用戶配置文件中，且在每次用戶 使用HMD時被檢索?？梢允褂蒙镒R別身份來識別用戶，并用于從用戶的用戶配置文件來 檢索用于屏幕的首選設(shè)置。當(dāng)一個以上的用戶使用HMD時，可以使用每一用戶的用戶配置 文件來提供相應(yīng)用戶的首選設(shè)置。所述實施方案還提供用于用戶在不必耗損矯正/處方眼 鏡或隱形眼鏡的情況下來享受交互游戲或交互程序的方式。
[0027] 應(yīng)注意，本公開中描述的各種實施方案可以在沒有這些具體細(xì)節(jié)中的一些或全部 的情況下實踐。在其他情況下，沒有詳細(xì)描述眾所周知的處理操作，以避免不必要地混淆本 公開中描述的各種實施方案。
[0028] 在一個實施方案中，系統(tǒng)包括計算機、手持式控制器（HHC)和頭戴式顯示器 (HMD)。在各種實施方案中，計算機可以是通用計算機、專用計算機、游戲控制臺、移動電話、 平板裝置或執(zhí)行呈現(xiàn)在顯示器上的交互程序的一個或多個部分的其他此類裝置。交互程序 可以是由多個用戶玩的多用戶游戲程序或由用戶與計算機一起玩的單用戶游戲程序。在這 些實施方案中，在游戲云端系統(tǒng)（例如，一個或多個虛擬機（VM))上執(zhí)行交互程序的任何其 余部分。在一些實施方案中，在游戲云端系統(tǒng)上執(zhí)行交互程序的所有部分。
[0029] HMD是戴在用戶頭上或作為頭戴式的部分的顯示裝置，其具有位于用戶的一只眼 睛或每只眼睛前方的小型顯示光學(xué)器件。在一些實施方案中，HMD能夠接收并呈現(xiàn)來自計 算機的音頻和視頻輸出。用戶操作手持式控制器（HHC)和/或HMD以產(chǎn)生被提供到交互程 序的一個或多個輸入。在各種實施方案中，HHC和/或HMD與計算機無線通信，因為這種無 線通信與有線連接相比而言提供了HHC和/或HMD的更大移動自由。HHC可包括用于提供 輸入到交互程序的各種特征中的任一者，例如具有按鈕的控制器、具有慣性傳感器的控制 器、具有可跟蹤LED光的控制器、具有觸摸屏的控制器、操縱桿、方向鍵、觸發(fā)器、觸摸板、觸 摸屏，或檢測手勢、語音輸入的其他類型的輸入機構(gòu)等。
[0030] 此外，HHC可以是運動控制器，其使用戶能夠與交互程序?qū)硬⑶彝ㄟ^使所述控制 器移動來向交互程序提供輸入。類似地，HMD可包括用戶輸入電路，其使用戶能夠與交互程 序?qū)硬⑶彝ㄟ^使HMD移動來向交互程序提供輸入。可使用各種技術(shù)來檢測運動控制器和 /或HMD的位置和移動。例如，運動控制器和/或HMD的用戶輸入電路可包括各種類型的 慣性傳感器電路，如加速度計、回轉(zhuǎn)儀和磁力計。在一些實施方案中，運動控制器可包括全 球定位系統(tǒng)（GPS)、指南針等。在一些實施方案中，加速度計是6軸低延時加速度計。在一 些實施方案中，運動控制器和/或用戶輸入電路可包括一個或多個固定參考對象（或者稱 為"標(biāo)記元件"），例如，發(fā)光二極管（LED)、著色點、光反射體等。固定參考對象的圖像由系 統(tǒng)的一個或多個數(shù)碼攝像機捕捉。在一些實施方案中，數(shù)碼攝像機包括視頻攝像機，所述視 頻攝像機還包括單個電荷耦合裝置（CCD)、LED指示器和基于硬件的實時數(shù)據(jù)壓縮與編碼 設(shè)備，以便可用適當(dāng)格式（如基于幀內(nèi)圖像的運動圖片專家組（MPEG)標(biāo)準(zhǔn)格式）傳輸壓縮 后的視頻數(shù)據(jù)。于是，可通過分析由一個或多個數(shù)碼攝像機捕獲的圖像來確定運動控制器 和/或HMD的位置和移動。
[0031] 圖1是系統(tǒng)100的例示性配置的實施方案。在一個實施方案中，系統(tǒng)包括程序云 端（例如游戲云端102)、HMD104和通過互聯(lián)網(wǎng)110通信的HHC106。在一個實施方案中， HMD104包括與互聯(lián)網(wǎng)110通信的路由器152。在一些實施方案中，游戲云端102在本文被 引用為游戲云端系統(tǒng)。用戶108按照用戶108戴上頭戴式的類似方式來將HMD104放在他 /她的眼睛前方。用戶108將HHC106握在他/她的手中。
[0032] 在各種實施方案中，使用用戶108的手而不是HHC106來向HMD104提供示意動 作，例如手勢、手指示意動作等。在一些實施方案中，HHC可以是具有傳感器的交互手套，以 在由用戶佩戴時響應(yīng)于交互示意動作/動作而提供觸覺反饋。所述交互手套可包括標(biāo)記元 件（如LED、光反射體等），以允許檢測各種移動。HHC并不限于交互手套，而是可包括其他 可穿戴對象（如衣服、帽子、鞋子等），所述可穿戴對象具有用于提供觸覺反饋的內(nèi)置傳感 器和用以允許檢測各種移動的標(biāo)記元件。HMD104的數(shù)碼攝像機101捕捉示意動作的圖像， 且HMD104內(nèi)的處理器分析所述示意動作以確定在HMD104內(nèi)顯示的游戲是否受到影響。 在一個實施方案中，攝像機101是位于HMD104的面板上面向前的外部數(shù)碼攝像機。在一 些實施方案中，可在HMD104的面板上提供一個以上外部數(shù)碼攝像機以捕捉不同角度的真 實世界圖像。在一些實施方案中，攝像機可以是立體攝像機、IR攝像機、單鏡頭攝像機等。 如本文所使用，處理器可以是微處理器、可編程邏輯裝置、專用集成電路或其組合。
[0033] 系統(tǒng)100包括網(wǎng)絡(luò)（如互聯(lián)網(wǎng)）110,其可以是局域網(wǎng)（LAN)、廣域網(wǎng)（WAN)或其組 合。網(wǎng)絡(luò)110的實例包括互聯(lián)網(wǎng)、內(nèi)聯(lián)網(wǎng)或其組合。在一些實施方案中，網(wǎng)絡(luò)110使用傳輸 控制協(xié)議（TCP) /互聯(lián)網(wǎng)協(xié)議（IP)在游戲云端102與HMD104或HHC106之間通過網(wǎng)絡(luò) 110傳達(dá)媒體數(shù)據(jù)。在各種實施方案中，網(wǎng)絡(luò)使用以太網(wǎng)和TCP/IP協(xié)議的組合在游戲云端 102與HMD104或HHC106之間通過網(wǎng)絡(luò)110傳達(dá)媒體數(shù)據(jù)。
[0034] 游戲云端或程序云端102包括用于使用有損壓縮或無損壓縮等來譯碼/解碼媒體 數(shù)據(jù)的譯碼器/解碼器，以及用于存儲在執(zhí)行程序117時產(chǎn)生的媒體數(shù)據(jù)流的流緩沖器。在 一些實施方案中，程序117是游戲程序。在其他實施方案中，程序117是交互應(yīng)用程序。媒 體數(shù)據(jù)包括虛擬環(huán)境數(shù)據(jù)、虛擬游戲?qū)ο髷?shù)據(jù)、其組合等。使用虛擬環(huán)境數(shù)據(jù)來產(chǎn)生游戲或 交互程序的虛擬環(huán)境，且使用虛擬游戲?qū)ο髷?shù)據(jù)來產(chǎn)生一個或多個虛擬對象或虛擬游戲?qū)?象，例如，虛擬游戲角色、用于呈現(xiàn)在虛擬游戲的游戲場景內(nèi)的虛擬游戲?qū)ο?、虛擬點、虛擬 獎金、游戲界面等。
[0035] 使用HMD104來存取由HMD104的處理器執(zhí)行的操作系統(tǒng)（0S)。類似地，可使用 HHC106來存取由HHC106的處理器執(zhí)行的0S。在一些實施方案中，0S允許HMD104經(jīng)由 路由器152直接訪問網(wǎng)絡(luò)110。路由器152使用網(wǎng)絡(luò)110來與游戲云端交互以交換游戲或 程序數(shù)據(jù)。在這些實施方案中，網(wǎng)絡(luò)110與HMD104之間的通信遵循無線通信協(xié)議。類似 地，HHC106通過使用網(wǎng)絡(luò)訪問應(yīng)用程序來選擇網(wǎng)絡(luò)而能夠訪問網(wǎng)絡(luò)110,且HHC106與網(wǎng) 絡(luò)之間的通信遵循無線通信協(xié)議。一旦網(wǎng)絡(luò)110被訪問，0S允許HMD104按照類似于選擇 網(wǎng)絡(luò)的方式來訪問游戲程序117,如選擇程序/游戲訪問應(yīng)用程序且請求訪問所述游戲程 序/程序117。在一些實施方案中，HMD104的顯示屏幕是高性能屏幕，以便在HMD104快 速移動時減少模糊。用戶108執(zhí)行一個或多個頭部和/或眼球運動，例如，頭部傾斜、眨眼、 左右轉(zhuǎn)動眼球、注視、凝視等，且每一頭部或眼球運動觸發(fā)所述用戶輸入電路以產(chǎn)生可被用 以提供對游戲程序的輸入的輸入。在這些實施方案中，游戲程序117在游戲云端102上執(zhí) 行，且游戲程序117與HMD104之間的通信是通過路由器152和網(wǎng)絡(luò)110