的視頻。
[0034]在其他示例中，結構化光深度相機可被配置成投射結構化紅外照明并對從照明被投影到其之上的場景中反射的該照明進行成像?；谒上竦膱鼍暗母鱾€區(qū)域內鄰近特征之間的間隔，可構造該場景的深度圖。在其他示例中，深度相機可以采取飛行時間深度相機的形式，其被配置成將脈沖的紅外照明投影到該場景上以及檢測從該場景反射的照明?？梢岳斫?，在本發(fā)明的范圍內可使用任意其他合適的深度相機。
[0035]面向外傳感器212還可以捕捉用戶位于其中的物理環(huán)境的圖像。在一個示例中，混合現(xiàn)實顯示程序34可包括使用此類圖像和深度信息來生成對所捕捉的物理環(huán)境進行建模的虛擬環(huán)境38的3D建模系統(tǒng)。
[0036]HMD設備46還可包括位置傳感器系統(tǒng)70，該位置傳感器系統(tǒng)70利用一個或多個運動傳感器224來實現(xiàn)對HMD設備的位置跟蹤和/或朝向感測。例如，位置傳感器系統(tǒng)70可被用來確定用戶的頭部的頭部姿態(tài)取向。在一個示例中，位置傳感器系統(tǒng)62可包括配置成六軸或六自由度的位置傳感器系統(tǒng)的慣性測量單元。這一示例位置傳感器系統(tǒng)可以例如包括用于指示或測量HMD設備46在三維空間內沿三個正交軸(例如，X、y、z)的位置變化以及該HMD設備繞三個正交軸(例如，翻滾、俯仰、偏航)的取向變化的三個加速度計和三個陀螺儀。
[0037]位置傳感器系統(tǒng)70還可以支持其他合適的定位技術，如GPS或其他全球導航系統(tǒng)。而且，盡管描述了位置傳感器系統(tǒng)的具體示例，但將明白，可以使用其他合適的位置傳感器系統(tǒng)。
[0038]在一些示例中，運動傳感器224還可以被用作用戶輸入設備，使得用戶可以經由頸部和頭部或者甚至身體的姿勢來與HMD設備46交互。HMD設備46還可包括包含一個或多個話筒220的話筒系統(tǒng)72。在其他示例中，音頻可經由HMD設備46上的一個或多個揚聲器228被呈現(xiàn)給用戶。
[0039]HMD設備46還可包括具有與HMD設備的各傳感器和系統(tǒng)通信的邏輯子系統(tǒng)和存儲子系統(tǒng)的處理器230，如在下文參考圖9更詳細地討論的。在一個示例中，存儲子系統(tǒng)可包括可由邏輯子系統(tǒng)執(zhí)行的指令，用以接收來自傳感器的信號輸入并將此類輸入轉發(fā)到計算設備22(以未經處理或經處理的形式)并且經由透明顯示器58向用戶呈現(xiàn)圖像。
[0040]將會理解，以上在圖1和2中描述并示出的HMD設備46和相關的傳感器以及其他組件是作為示例提供的。這些示例不旨在以任何方式進行限制，因為任何其他合適的傳感器、組件，和/或傳感器和組件的組合可被使用。因此，將理解，HMD設備46可以包括未偏離本公開文本范疇的附加和/或替代的傳感器、相機、話筒、輸入設備、輸出設備等。此外，HMD設備46的物理配置及其各種傳感器和子組件可以采取不偏離本公開文本范疇的各種不同形式。
[0041]現(xiàn)在參考圖3-7，現(xiàn)在將提供對接口系統(tǒng)10的示例用例和實施例的描述。圖3是用戶304與操作系統(tǒng)主屏308形式的虛擬環(huán)境交互的一個示例的示意圖。主屏308被顯示在安裝在墻上并與用戶304隔開的平板顯示設備312上。安裝在顯示設備312上的圖像捕捉設備316包括面向用戶304的RGB相機320和深度感測相機324。RGB相機320和深度感測相機324兩者都具有捕捉用戶304的視野，用戶304包括該用戶的右手334的背面330以及該用戶的左手342的背面338。
[0042]如圖3所示，用戶正站立且他的手臂舒服地?？吭谒韨取Ｒ源俗藙?，該用戶的右手334的背面330以及該用戶的左手342的背面338大致面向圖像捕捉設備316。如下文更詳細地解釋的并且也參考圖1，接口程序14接收用RGB相機320捕捉到的該用戶的右手334的背面330的初始圖像74。還接收對應于初始圖像74的初始深度信息76。初始RGB圖像74和初始深度信息76 —起表示該用戶的右手334的初始實際位置350。
[0043]使用初始深度信息76，接口程序14將初始圖像74投影到虛擬環(huán)境38中的初始虛擬位置78，該初始虛擬位置對應于該用戶的右手334的初始實際位置350。接著，接口程序14生成初始圖像74的分割版本80，并將該分割版本提供給顯示設備312以供顯示在操作系統(tǒng)主屏308中的初始虛擬位置78。
[0044]將認識到初始圖像74的分割版本80可通過將該圖像劃分成包括像素集的多個圖段來生成，由此簡化圖像的表示?？衫萌魏魏线m的分割技術來生成分割版本80。此類圖像分割技術包括但不限于基于壓縮、基于直方圖、基于模型、閾值處理和群集技術。
[0045]將認識到初始RGB圖像74的分割版本80提供了用戶的實際右手334的真實圖像。這一真實圖像與可能是較不真實和/或產生相當?shù)恼鎸嵏性谟嬎闵鲜前嘿F的對象的呈現(xiàn)和其他計算機生成的表示形成對比。有利地，如下文更詳細地描述的，與手部圖像的真正顯示的移動相結合，這一用戶的實際手部的初始RGB圖像74的分割版本80造成用戶將手部圖像感知為體現(xiàn)用戶快速學習的感官運動模式的自然人體延伸。
[0046]如圖3所示，用戶的右手334的分割版本80被提供給顯示設備312以供以其中該手部在主屏308中大致向上伸展的虛擬定向360顯示。有利地且如下文更詳細地解釋的，接口程序14被配置成向顯示設備312提供手部背面圖像的分割版本以供以其中該手部在如用戶304查看的主屏308中大致向上伸展的虛擬定向360顯示，而不管用戶的實際右手334的位置。出于本公開的目的，“大致向上”意指手部的指關節(jié)364在手腕368之上的方向，如在諸如主屏308等虛擬環(huán)境38中看到的。
[0047]用戶304可將他的右手334移至遠離用戶身體的后續(xù)實際位置(370所示)，大致保持手部的背面330面向捕捉設備316。將認識到這一移動可涉及以用戶肩膀為軸轉動用戶手臂的自然的低努力運動。接口程序14接收用RGB相機320捕捉到的用戶的右手334的背面330的后續(xù)圖像82。還接收對應于后續(xù)圖像82的后續(xù)深度信息84。后續(xù)圖像82和后續(xù)深度信息84 —起表示該用戶的右手334的后續(xù)實際位置370。
[0048]使用后續(xù)深度信息84，接口程序14將后續(xù)圖像82投影到虛擬環(huán)境38中的后續(xù)虛擬位置86，該后續(xù)虛擬位置對應于該用戶的右手334的后續(xù)實際位置370。接著，接口程序14生成后續(xù)圖像82的分割版本90，并將該分割版本提供給顯示設備312以供顯示在操作系統(tǒng)主屏308中的后續(xù)虛擬位置86。
[0049]將認識到用戶的右手334在初始實際位置350與后續(xù)實際位置370之間的移動可以在由RGB相機320在這兩個位置之間捕捉到的多個手部圖像中表示。這一移動也可以在由深度感測相機324在這兩個位置之間接收到的多個數(shù)據(jù)集中表示。使用這些圖像和數(shù)據(jù)集，接口程序14和混合現(xiàn)實顯示程序34可呈現(xiàn)在這些位置之間移動的用戶手部的真實視頻呈現(xiàn)。在一個示例中，可利用每秒30幀的刷新率。在其他示例中，也可使用其他合適的刷新率來提供真實視頻呈現(xiàn)。
[0050]有利地，這一真實呈現(xiàn)可促使用戶經歷將該虛擬手部令人信服地沉浸式地且直觀地標識為他的身體的“延伸”。在一些示例中，這一令人信服的體驗使得能夠進行相對于虛擬手部圖像的精確的感官運動身份重新映射。此外，將會認識到這一體驗通過使用用戶手部的實際圖像來有利地增強，實際圖像包括用戶手部的具體且熟悉的細節(jié)，諸如皮膚紋理、膚色、指甲形狀和外觀、佩戴的珠寶以及實際手指/手部姿勢。
[0051]另外，通過利用所顯示的虛擬環(huán)境中的對用戶手部圖像的直接呈現(xiàn)，接口系統(tǒng)10避免了諸如關節(jié)重構之類的可能在用戶的交互體驗中造成附加等待時間的計算密集且耗時的過程。有利地，通過以此方式利用對實際手部圖像的真實的直接呈現(xiàn)，可提供感知到的他的手部的用戶移動與所顯示的手部圖像的對應移動之間的低等待時間。換言之，用戶可具有其中該用戶感知到該用戶的手部的實際移動與所顯示的手部圖像的對應移動之間的自然的實時關系的交互體驗。
[0052]在一些示例中，用戶可以在交互體驗中感知到零或基本為零的等待時間，因為對交互的用戶感知并非以接口系統(tǒng)10的幀率或處理時間為下界。相反，在現(xiàn)有系統(tǒng)中，對交互的用戶感知只可通過與用戶將虛擬手部標識為該用戶的身體的直接延伸的程度有關的心理因素來限制。此外且如上文所解釋的，通過利用對實際手部圖像的直接的真實呈現(xiàn)，接口系統(tǒng)10使用戶能夠感知到極少他的手部的用戶移動與所顯示的手部圖像的對應移動之間的等待時間或感知不到等待時間。換言之，用戶對虛擬手部的代理或擁有通過接口系統(tǒng)10來改進。
[0053]在一些示例中，接口程序14也可被配置成向顯示設備312提供對應于用戶手部的分割版本在虛擬環(huán)境中的虛擬位置的一個或多個位置感官提示以供顯示。參考圖3，在一個示例中，可以在主屏308中生成虛擬陰影378以模擬用戶的右手334的分割版本80從虛擬光源投射的陰影。這一虛擬陰影378可幫助用戶304在手部在主屏308中來回移動時可視地跟蹤該手部的位置以及離觸摸交互平面的相對距離。
[0054]如圖3所示且在下文中更詳細地描述的，這一陰影378還可提供對深度的感測并輔助用戶手部的分割版本與主屏308中的虛擬對象和/或混合現(xiàn)實環(huán)境中看到的物理對象之間的交互體驗。在一個示例中，諸如陰影378等位置感官提示可以在檢測到用戶手部的虛擬位置在虛擬對象或物理對象的預定鄰近度內之際被提供給顯示設備。例如且參考圖4，手部334的圖像的分割版本436可被顯示在離虛擬環(huán)境38中的全息地球410虛擬距離D3處。預定鄰近度可被定義為小于或等于D3的虛擬距離。因此，在檢測到手部334的圖像位于離全息地球410虛擬距離D3之際，可以向顯示設備提供位置感官提示以供顯示在地球處。將認識到可利用任何合適的預定鄰近度距離，諸如5cm、10cm或其他合適距離。
[0055]在其他