增強現(xiàn)實對象的身體鎖定放置的制作方法
【專利說明】増強現(xiàn)實對象的身體鎖定放置
[0001]背景
[0002]增強現(xiàn)實計算設(shè)備可以顯示被覆蓋在現(xiàn)實世界環(huán)境的視圖上的虛擬對象。增強現(xiàn)實計算設(shè)備可采用各種形式，包括但不限于可穿戴設(shè)備，諸如頭戴式顯示器。頭戴式顯示器可包括透視顯示系統(tǒng)，該系統(tǒng)允許按照虛擬對象看上去存在于現(xiàn)實世界環(huán)境中的方式來顯示虛擬對象。
[0003]概述
[0004]公開了涉及在增強現(xiàn)實環(huán)境中定位虛擬對象的實施例。例如，所公開的一個實施例提供一種方法，該方法包括接收來自位于頭戴式顯示設(shè)備上的一個或多個傳感器的傳感器數(shù)據(jù)，該傳感器數(shù)據(jù)包括運動數(shù)據(jù)、位置數(shù)據(jù)和定向數(shù)據(jù)中的一個或多個，以及基于該傳感器數(shù)據(jù)，確定身體鎖定方向向量，該身體鎖定方向向量基于所估計的用戶身體面向的方向。該方法進一步包括基于身體鎖定方向向量來定位所顯示的虛擬對象。
[0005]提供本概述以便以簡化形式介紹將在以下詳細(xì)描述中進一步描述的一些概念。本概述并不旨在標(biāo)識所要求保護主題的關(guān)鍵特征或必要特征，也不旨在用于限制所要求保護主題的范圍。而且，所要求保護的主題不限于解決該公開的任一部分中所注的任何或全部缺點的實現(xiàn)方式。
[0006]附圖簡述
[0007]圖1A和1B示意性地示出根據(jù)本公開的一實施例的增強現(xiàn)實環(huán)境中的身體鎖定虛擬對象的示例定位。
[0008]圖2A和2B示出根據(jù)本公開的一實施例的基于更新后的身體鎖定方向向量的身體鎖定虛擬對象的示例重定位。
[0009]圖3示出描繪在增強現(xiàn)實環(huán)境中定位身體鎖定虛擬對象的方法的一實施例的流程圖。
[0010]圖4示出描繪使用最后有效運動向量(last significant mot1n vector)在增強現(xiàn)實環(huán)境中定位身體鎖定虛擬對象的方法的一實施例的流程圖。
[0011]圖5示意性地示出根據(jù)圖4的方法的示例向量確定。
[0012]圖6示出描繪基于周期性運動的檢測和評估來在增強現(xiàn)實環(huán)境中定位身體鎖定虛擬對象的方法的實施例的流程圖。
[0013]圖7A-D解說可通過圖6的方法來檢測和評估的周期性運動的示例。
[0014]圖8示出了根據(jù)本公開的計算設(shè)備的實施例的框圖。
[0015]詳細(xì)描述
[0016]可使用各種方法來將虛擬對象放置在增強現(xiàn)實圖像中的現(xiàn)實世界環(huán)境中。例如，在世界鎖定方法中，虛擬對象可被鎖定到現(xiàn)實世界環(huán)境中的參考位置，以使得虛擬對象的位置相對于現(xiàn)實世界環(huán)境保持恒定，不管從哪個位置或角度來觀看它。世界鎖定可被用來使虛擬對象的放置模仿現(xiàn)實物理對象的放置。
[0017]在頭部鎖定方法中，虛擬對象可被鎖定到用戶的頭部的位置和方向，以使得用戶的視野中的虛擬對象的位置看上去固定，而不管用戶所面向的方向。頭部鎖定可被用來例如在用戶的視野中顯示持久用戶界面圖標(biāo)，諸如顯示當(dāng)前時間的全息時鐘。
[0018]然而，這些方法可能無法遞送某些用戶體驗。例如，對于諸如虛擬電視機等對象，頭戴式顯示設(shè)備的用戶可能希望保持該對象持久在視圖中，但是不必使其跟隨所有頭部移動。而且，如果用戶界面中的光標(biāo)的位置是使用這種頭部移動控制的，則光標(biāo)可能無法到達期望進行選擇的對象，因為對象可能與光標(biāo)在相同方向上移動且移動相同的量，如頭部移動被解釋的。
[0019]相應(yīng)地，本文公開了涉及增強現(xiàn)實環(huán)境中虛擬對象相對于用戶的身體的放置的實施例。簡言之，所公開的實施例可利用傳感器數(shù)據(jù)來基于例如所估計的用戶身體面向的方向來確定身體鎖定方向向量。虛擬對象隨后可基于身體鎖定方向向量而被定位。
[0020]圖1A和1B示意性地示出增強現(xiàn)實環(huán)境100的一實施例，其中虛擬對象可經(jīng)由頭戴式顯示設(shè)備(HMD) 102而被定位和觀看，該HMD被示出為被穿戴在用戶104的頭上。更具體地，圖1A和1B示出了“身體鎖定”方法，其中虛擬對象相對于所確定的身體鎖定向量是固定的。在這些示例中，虛擬對象基于所估計的用戶104身體方向而被空間定位。盡管提供了其中虛擬對象基于所估計的用戶104軀干方向被空間定位的示例，然而用戶104的身體的任何肢體或部位(例如頭部、手臂等)均可被用來定位虛擬對象。要領(lǐng)會，如本文所使用的“定位”可以指代虛擬對象的二維和三維定位。例如，虛擬對象(例如，用戶界面圖標(biāo))可以被二維定位以出現(xiàn)在用戶104視野中的平坦表面上，而三維定位的虛擬對象可看上去在視野中具有深度。
[0021]位于HMD 102上的傳感器系統(tǒng)105可輸出數(shù)據(jù)，該數(shù)據(jù)可被用來跟蹤用戶104頭部的位置和定向。傳感器系統(tǒng)105可包括例如慣性測量單元(MU)，并可包括一個或多個加速度計、陀螺儀、磁力計等。傳感器系統(tǒng)105可被配置成輸出傳感器數(shù)據(jù)，該傳感器數(shù)據(jù)包括與平移和/或旋轉(zhuǎn)用戶運動相對應(yīng)的運動數(shù)據(jù)、表示用戶的空間位置的位置數(shù)據(jù)、以及表示用戶的空間定向的定向數(shù)據(jù)。如下面參考圖8進一步描述的，HMD 102可進一步包括被配置成處理和解釋從傳感器系統(tǒng)105接收的數(shù)據(jù)以及其它數(shù)據(jù)的邏輯子系統(tǒng)。
[0022]如在圖1A和1B中看到的，HMD 102已基于從傳感器系統(tǒng)105接收的傳感器數(shù)據(jù)確定了頭部方向向量(HDV)106。在此示例中，HDV 106表示所估計的用戶104頭部所面向的方向。HDV 106被解說為從用戶104頭部中心延伸，但是也可從用戶頭部上的任何其它適當(dāng)位置延伸。
[0023]HMD 102還已基于如經(jīng)由傳感器數(shù)據(jù)確定的所估計的用戶104身體面向的方向來確定身體鎖定方向向量(BLDV)108。確定HDV 106和BLDV 108之后，HDM相應(yīng)地在用戶104視野中定位了虛擬電視機(TV) 110。在圖1A中，向量HDV 106和BLDV 108具有相同方向，但是為了清楚被顯示為彼此略微偏移。
[0024]圖1B示出TV 110的顯示器對示例頭部運動的響應(yīng)。具體而言，用戶104頭部以在順時針方向上旋轉(zhuǎn)。相應(yīng)地，HDV 106被更新以反映已改變的用戶104頭部方向。然而，基于確定關(guān)于此頭部旋轉(zhuǎn)的傳感器數(shù)據(jù)更可能對應(yīng)于頭部運動而不是身體運動，BLDV 108不被更新。如此，全息TV 110的位置與圖1A的狀態(tài)相比保持不變。
[0025]另一方面，如果確定傳感器數(shù)據(jù)對應(yīng)于身體運動而不僅是頭部運動，則BLDV 108可被更新且身體鎖定虛擬對象被重新定位。圖2A和2B解說被身體鎖定到用戶104的虛擬對象的示例重定位。首先，圖2A示出用戶104頭部在順時針方向上旋轉(zhuǎn)且HDV 106根據(jù)所確定的頭部方向被定向。全息TV 110保持根據(jù)BLDV 108來被定位，BLDV 108響應(yīng)于此頭部旋轉(zhuǎn)沒有被更新。
[0026]接著，在圖2B中，用戶104頭部已進一步旋轉(zhuǎn)并且從而滿足旋轉(zhuǎn)閾值，從而提示BLDV 108的更新。相應(yīng)地，全息TV 110基于經(jīng)更新的BLDV 108在用戶104視野中被重定位。
[0027]旋轉(zhuǎn)閾值是基于人類解剖學(xué)可被應(yīng)用于頭部運動數(shù)據(jù)的試探法的示例。例如，旋轉(zhuǎn)閾值可被選擇以對應(yīng)于用戶104頭部的旋轉(zhuǎn)定向，其不太可能僅通過頸部移動而發(fā)生。旋轉(zhuǎn)閾值可在開發(fā)/制造期間被預(yù)先選擇和設(shè)置，或可經(jīng)由用戶校準(zhǔn)或其它用戶動作來設(shè)置。其它試探法可類似被采用，如下面更詳細(xì)地描述的。
[0028]以此方式，增強現(xiàn)實顯示設(shè)備上的虛擬對象的身體鎖定定位可允許持久虛擬對象保留在用戶視野中或以其它方式相對于用戶身體在一致位置，同時還允許用戶經(jīng)由頭部姿勢與該持久對象交互。而且，身體鎖定方法可僅用運動傳感器實現(xiàn)。這可允許對象的身體鎖定定位無需其它傳感器而被實現(xiàn)，這些傳感器諸如面向內(nèi)或面向外的圖像傳感器，這可有助于減少HDM 102的成本、復(fù)雜度和功耗。
[0029]圖3示出描繪增強現(xiàn)實環(huán)境中定位身體鎖定虛擬對象的方法300的實施例的流程圖。方法300可在圖1的HMD 102上執(zhí)行，和/或在任何其它適當(dāng)增強現(xiàn)實計算設(shè)備上執(zhí)行。
[0030]在302，方法300包括接收來自位于頭戴式顯示器上的一個或多個傳感器的傳感器數(shù)據(jù)，以及在304，基于該傳感器數(shù)據(jù)來估計用戶身體正面向的方向。在初始化HMD時，所估計的用戶身體方向可初始地與所估計的用戶頭部面向的方向一致。這種狀態(tài)在例如圖1A中表示。
[0031]在306，方法300包括基于所估計的身體方向來確定BLDV。BLDV可具有與所確定身體方向相同的方向，或可與所確定身體方向具有任何其它適當(dāng)關(guān)系。
[0032]