示例中，接口程序14還可被配置成根據(jù)一個(gè)或多個(gè)虛擬現(xiàn)實(shí)變換來(lái)可視地變換用戶的右手334的圖像的一個(gè)或多個(gè)分割版本。例如且參考圖3中的手部的后續(xù)圖像的分割版本90，該版本可被變換成具有一透明度以使得該版本之下的信封圖像380的一部分是可見的。提供透明度還可幫助用戶304看見和操縱虛擬對(duì)象和/或與混合現(xiàn)實(shí)環(huán)境48中的物理對(duì)象交互。
[0056]在其他示例中，用戶的左手342也可以按上述方式成像和投影。在其他示例中，用戶的左手342也可以按上述方式單獨(dú)成像和投影。
[0057]現(xiàn)在參考圖4、5和6，現(xiàn)在將討論接口系統(tǒng)10的其他用例示例。圖4是用戶304穿戴如上所述的HMD設(shè)備46和眼鏡200形式的HMD設(shè)備408的示意圖。用戶304正與包括全息地球410以及用戶手部334的背面330的圖像的3D分割版本436的示例虛擬環(huán)境38交互。
[0058]在該示例中，HMD設(shè)備46的光學(xué)傳感器系統(tǒng)66可包括可見光相機(jī)和深度感測(cè)相機(jī)，其各自具有諸如視野412之類的在用戶的右手334在該用戶的軀干414前面伸出時(shí)捕捉該右手的背面330的視野。在其他示例中，面向下捕捉設(shè)備416可被定位在用戶手部334之上并包括可見光相機(jī)和深度感測(cè)相機(jī)，其各自具有諸如視野420之類的在用戶的右手在該用戶軀干414前面伸出時(shí)捕捉該右手的視野。
[0059]將會(huì)認(rèn)識(shí)到在一些示例中，取決于視野大小以及相對(duì)于捕捉設(shè)備的手部位置，可以在生成用戶手部的捕捉到的圖像的分割版本時(shí)對(duì)這些圖像應(yīng)用縮放、角度和/或其他成像校正。還將認(rèn)識(shí)到用戶手部334的體積可使用各種技術(shù)中的一種或多種來(lái)確定或估計(jì)。在一個(gè)示例中，手部334的體積可基于合適的成像技術(shù)來(lái)估計(jì)，諸如使用深度相機(jī)數(shù)據(jù)來(lái)確定手部的一個(gè)或多個(gè)厚度。在一些示例中，此類數(shù)據(jù)可以隨時(shí)間收集。在其他示例中，手部334的體積可至少部分地基于用戶提供的人口統(tǒng)計(jì)數(shù)據(jù)來(lái)估計(jì)。也可使用用于估計(jì)手部334的體積的其他合適的技術(shù)或技術(shù)組合。
[0060]繼續(xù)參考圖4，可將手部334的背面330的捕捉到的圖像與手部334的所估計(jì)的體積組合以生成手部的3D表示。該3D表示可被投影到虛擬環(huán)境38中的投影位置438。在一個(gè)示例中，3D表示可被投影到用于呈現(xiàn)全息地球410的虛擬環(huán)境38中的相同坐標(biāo)空間中。投影表示的分割版本436然后被提供給HMD手部408以供顯示在虛擬環(huán)境38中的投影位置 438。
[0061]將會(huì)認(rèn)識(shí)到生成手部的3D表示不影響所顯示的手部分割，因?yàn)榉指畋硎救鐝牟蹲皆O(shè)備416的視角看到的手部的3D圖像。所顯示的手部分割還準(zhǔn)確地模擬將從用戶眼睛視角看到的所投影(例如，垂直)的相似手部。有利地，這使得能夠?qū)Ψ指畹氖植砍尸F(xiàn)進(jìn)行最少的計(jì)算處理。另外，手部的3D表示可以在內(nèi)部用于對(duì)手部與其周圍的混合現(xiàn)實(shí)環(huán)境48之間的觸碰、交互和大致距離的計(jì)算。
[0062]有利地且如下文更詳細(xì)地解釋的，對(duì)手部334的3D表示以及全息地球410使用相同的坐標(biāo)空間簡(jiǎn)化了觸碰檢測(cè)以及與操縱虛擬對(duì)象和與混合現(xiàn)實(shí)環(huán)境中的物理對(duì)象交互有關(guān)的其他虛擬環(huán)境過程。在一些示例中，該配置還可使得能夠?qū)w積測(cè)量觸碰進(jìn)行逐像素檢測(cè)。例如，用戶手部334的3D邊界框或基于體素的表示可以在坐標(biāo)空間中用于檢測(cè)這一手部表示與虛擬對(duì)象之間的觸碰。這一配置還可進(jìn)一步增強(qiáng)用戶的交互體驗(yàn)的真實(shí)感以及感知到的低等待時(shí)間。
[0063]現(xiàn)在參考其中面向下捕捉設(shè)備416捕捉到用戶的右手334的圖像的示例，在一個(gè)示例中，用戶304可以在垂直方向上朝著或遠(yuǎn)離捕捉設(shè)備416移動(dòng)他的右手。如圖4所示，手部334的初始實(shí)際位置430可以與捕捉設(shè)備隔開初始實(shí)際距離D1。在該初始實(shí)際位置430，手部334的圖像的分割版本436被顯示在離虛擬環(huán)境38中的全息地球410虛擬距離D3處。
[0064]在后續(xù)實(shí)際位置440，手部334可以與捕捉設(shè)備隔開大于D1的后續(xù)實(shí)際距離D2。在該后續(xù)實(shí)際位置440，手部334的圖像的分割版本436’也被顯示在離虛擬環(huán)境38中的全息地球410基本上相同的虛擬距離D3處。換言之，用戶304將距離D3感知為基本上恒定，無(wú)論該用戶手部334處于初始實(shí)際位置430還是處于垂直地更高的后續(xù)實(shí)際位置440。
[0065]在一個(gè)示例中，這可使用戶304能夠橫向地左右移動(dòng)他的手部334(如圖5所示)，以便虛擬地遍歷虛擬環(huán)境38的橫向?qū)捰?，同時(shí)手部334的圖像的分割版本保持離虛擬環(huán)境中的垂直平面基本上恒定的距離。以此方式且在另一示例中，用戶304可以容易地沿諸如圖3的主屏308之類的虛擬環(huán)境38的2D平面移動(dòng)他的手的分割版本，同時(shí)將他的手的圖像感知為停留在離該2D平面相對(duì)恒定的距離。有利地，這可幫助最小化用戶304在持續(xù)嘗試避免無(wú)意操作或虛擬觸摸時(shí)可能經(jīng)歷的精神緊張。
[0066]如上所述，用戶對(duì)這一距離的感知可通過利用諸如陰影等一個(gè)或多個(gè)位置感官提示來(lái)增強(qiáng)。此外且如下文更詳細(xì)地解釋的，接口系統(tǒng)10還可檢測(cè)一個(gè)或多個(gè)特定移動(dòng)或姿勢(shì)(諸如用戶向下伸出他的食指382)并且可以在虛擬環(huán)境38中相應(yīng)地表示此類移動(dòng)。
[0067]在另一示例中，當(dāng)用戶將他的手334從初始實(shí)際位置430向上移至后續(xù)實(shí)際位置440時(shí)，距離D3可以相應(yīng)地增加。以此方式，用戶304可將手部334的圖像的分割版本感知為相應(yīng)地移動(dòng)遠(yuǎn)離虛擬地球410。在該示例中，手部的所顯示的分割圖像大小在移動(dòng)遠(yuǎn)離地球410時(shí)增大，因?yàn)樵撌植恳苿?dòng)靠近捕捉設(shè)備416，這有利地與真實(shí)手部操縱中的用戶預(yù)期相一致。
[0068]現(xiàn)在參考圖6，該附圖提供了根據(jù)本公開的一實(shí)施例的由接口系統(tǒng)10生成的用戶手部334的兩個(gè)分割版本的示意圖。在圖6中，虛擬環(huán)境38包括如用戶304經(jīng)由HMD設(shè)備408查看的虛擬主屏602。
[0069]在一個(gè)示例中且如上文簡(jiǎn)要討論的，接口程序14可被配置成檢測(cè)諸如邊界框或基于體素的表示之類的用戶手部334的3D表示與主屏602中所顯示的虛擬對(duì)象之間的觸碰。如圖6所示，在初始虛擬位置608提供手部334的初始圖像的初始分割版本604。在后續(xù)虛擬位置612，手部334的后續(xù)圖像的后續(xù)分割版本616表示該用戶向下伸出他的食指382以虛擬地“觸摸”三角圖標(biāo)620。
[0070]有利地，在該示例中，接口系統(tǒng)14只使用計(jì)算上簡(jiǎn)單的邊界框或基于體素的交互并且不使用在計(jì)算上將會(huì)是更昂貴的任何語(yǔ)義(例如，手部)跟蹤。在其中未發(fā)生觸碰或觸摸事件的一些示例中，甚至可以不需要基于圖塊的非語(yǔ)義跟蹤，因?yàn)槭植繄D像的分割RGB版本是“按現(xiàn)狀”呈現(xiàn)的，并且不需要對(duì)手部的更詳細(xì)的跟蹤。
[0071]在檢測(cè)到虛擬食指632的指尖624與三角圖標(biāo)620之間的觸碰之際，接口程序14可以經(jīng)由HMD設(shè)備408向用戶304提供一個(gè)或多個(gè)觸碰感官提示。如圖6所示，在一個(gè)示例中，感官觸碰提示可包括圍繞三角圖標(biāo)620的星星及相鄰信息形式的可視突出顯示636。在其他示例中，感官觸碰提示可包括但不限于其他可視突出顯示，諸如閃爍和/或變化的顏色、音頻提示和觸覺反饋。
[0072]現(xiàn)在參考圖7，提供了另一示例用例。圖7是如用戶304經(jīng)由HMD設(shè)備408查看的商店A居家百貨中的模型展廳704形式的混合現(xiàn)實(shí)環(huán)境48的示意圖。表示商店A的符號(hào)的全息地球708在模型展廳704的前景中對(duì)用戶304可見。物理桌子712、燈716和椅子720可被展示在展廳704中。
[0073]在表示用戶手部334的初始實(shí)際位置的初始虛擬位置734提供用戶手部334的背面330的圖像的分割版本730。用戶304可能想要接收關(guān)于桌子712的更多信息。在一個(gè)示例中，用戶可以經(jīng)由HMD設(shè)備46向接口程序14提供指示或以其他方式暗示該用戶對(duì)桌子712的興趣的用戶輸入88 (參見圖1)。這一輸入可被接口程序14解釋為與對(duì)應(yīng)于桌子712在虛擬展廳704的混合現(xiàn)實(shí)環(huán)境中的位置的重新映射的虛擬位置738相關(guān)。
[0074]在一個(gè)示例中，用戶304可將他的眼睛移位成注視桌子712。眼睛跟蹤系統(tǒng)62可檢測(cè)到用戶對(duì)桌子712的注視并將這一用戶輸入提供給接口程序14。在另一示例中，用戶可經(jīng)由諸如“That’ s a cool table (那是張很酷的桌子)”等說出的單詞來(lái)指示他對(duì)桌子712的興趣。話筒系統(tǒng)72可接收這一音頻用戶輸入并且語(yǔ)音識(shí)別系統(tǒng)可解釋接收到的音頻。將會(huì)認(rèn)識(shí)到經(jīng)由HMD設(shè)備46或其他用戶輸入設(shè)備的許多其他形式和類型的用戶輸入可被使用并且在本公開的范圍內(nèi)。
[0075]基于用戶輸入88，接口程序14可將用戶手部334的背面330的圖像投影到混合現(xiàn)實(shí)環(huán)境中的重新映射的虛擬位置738。所投影的圖像的分割版本740然后可被提供給HMD設(shè)備46以供顯示在物理桌子712處的重新映射的虛擬位置738處。該圖像的分割版本740然后可被顯示在重新映射的虛擬位置738。有利地，在該示例中，接口系統(tǒng)10使得能夠經(jīng)由用戶輸入來(lái)在混合現(xiàn)實(shí)環(huán)境中自然且快速地重新定位用戶手部334的圖像。在一些示例中，這一重新定位可以在用戶使他的手334保持基本固定的同時(shí)執(zhí)行。在這些示例中且如圖7所示，兩個(gè)分割版本730和740可表示手部334的相同姿勢(shì)或定位。
[0076]也如圖7的示例所示，重新映射的虛擬位置738處的圖像的分割版本740被縮放成比初始虛擬位置734處的圖像的分割版本730更小。以此方式，可增強(qiáng)對(duì)重新映射的虛擬位置738處的分割版本740比初始虛擬位置734處的分割版本730更遠(yuǎn)離用戶的感知。
[0077]在另一示例中，接口程序14可檢測(cè)用戶手部334的3D表示與物理桌子712之間的觸碰。繼續(xù)參考圖7，當(dāng)手部334的分割版本740被定位在桌子712時(shí)，用戶可通過向下伸出他的食指382以虛擬地“觸摸”物理桌子來(lái)“選擇”該桌子以接收關(guān)于該桌子的附加信息。一旦接口程序14檢測(cè)到