人體工程學物理交互區(qū)域光標映射的制作方法
【專利說明】人體工程學物理交互區(qū)域光標映射
[0001 ] 背景
[0002]運動捕捉系統(tǒng)獲取關(guān)于物理空間中的人或其他對象的位置及運動的數(shù)據(jù)，并且可以使用該數(shù)據(jù)作為在計算系統(tǒng)上執(zhí)行的應用的輸入?？梢杂性S多應用，例如用于軍事、娛樂、體育和醫(yī)學目的。例如，所捕捉的數(shù)據(jù)可被用于對被用于應用(諸如游戲)中的經(jīng)動畫化的角色或化身的三維(“3D”)人類模型進行動畫化。盡管許多運動捕捉系統(tǒng)令人滿意地執(zhí)行，但是使得用戶能夠更加自然地與應用進行交互的附加的特征和能力是期望的。
[0003]提供本背景來介紹以下概述和詳細描述的簡要上下文。本背景不旨在幫助確定所要求保護的主題的范圍，也不旨在被看作將所要求保護的主題限于解決以上所提出的問題或缺點中的任一個或全部的實現(xiàn)。
[0004]概述
[0005]用戶在3D物理交互區(qū)域(“PHIZ”)中移動他們的手來控制被顯示在計算機耦合的2D顯示器(諸如電視機或監(jiān)視器)上的用戶界面(“UI”)中的光標。PHIZ相對用戶被調(diào)整形狀、調(diào)整大小和定位以在人體工程學上匹配用戶的運動的自然范圍，使得光標控制在UI上的支持光標交互的整個區(qū)域上是直觀且舒服的。運動捕捉系統(tǒng)跟蹤用戶的手，使得用戶在PHIZ內(nèi)的3D運動可被映射到2D UI。因此，當用戶在PHIZ中移動他或她的手時，光標在顯示器上的UI的被支持的區(qū)域的邊界內(nèi)對應地移動。在一些實現(xiàn)中，用戶的手在PHIZ的運動可被映射到延伸出顯示器的物理邊界的光標位置。用戶的手在PHIZ中在z方向(S卩，前后)上的移動允許附加的交互被執(zhí)行，諸如按壓、縮放、3D操縱或其它形式的對UI的輸入。
[0006]對PHIZ的基本3D形狀、大小或位置相對于用戶的調(diào)整可被執(zhí)行以針對用戶在所監(jiān)視的空間內(nèi)的人體工程學運動來調(diào)節(jié)PHIZ，使得對應于UI的限制。例如，這樣的調(diào)整可考慮水平和垂直居中并且對水平和垂直范圍和觸及施加限制。PHIZ的前平面和后平面也可被獨立地調(diào)節(jié)以考慮用戶運動或沿著z方向在空間中漂移。這樣的調(diào)節(jié)還使得從3D PHIZ到2DUI的映射能夠取決于上下文被動態(tài)地調(diào)節(jié)，例如，基于計算和/或捕捉系統(tǒng)設置、用戶的位置和/或由給定應用支持的用戶體驗。
[0007]在各個說明性的示例中，完整手臂人體工程學PHIZ被用于確定用戶的相對于已知點(諸如肩膀)的手部位置，其中用戶的整個手臂的運動不被限制。當用戶的手臂被限制時，例如，當肘部擱在椅子的扶手上時，前臂人體工程學PHIZ使得能夠相對于肘部來確定手部位置。當用戶的前臂的運動被限制時，例如，當躺在沙發(fā)或床上時，手人體工程學PHIZ使得能夠相對于用戶的手腕來確定手部位置或指尖位置。
[0008]各種人體工程學PHIZ的使用可被實現(xiàn)以在光標控制中實現(xiàn)不同的粒度級別。例如，完整手臂或前臂PHIZ可被用于在UI上執(zhí)行光標的粗略移動，而手PHIZ中的指尖位置可被用于提供精細控制。此外，在一些實現(xiàn)中，不同的人體工程學PHIZ可按離散或連續(xù)的方式被動態(tài)地選擇以確定在UI中的最終光標位置。
[0009]提供本概述以便以簡化形式介紹將在以下詳細描述中進一步描述的一些概念。該概述不旨在標識所要求保護的主題的關(guān)鍵特征或必要特征，也不旨在被用來幫助確定所要求保護的主題的范圍。而且，所要求保護的主題不限于解決該公開的任一部分中所注的任何或全部缺點的實現(xiàn)方式。
[0010]應當理解，上述主題可被實現(xiàn)為計算機控制的裝置、計算機進程、計算系統(tǒng)或諸如一個或多個計算機可讀存儲介質(zhì)等制品。通過閱讀下面的詳細描述并審閱相關(guān)聯(lián)的附圖，這些及各種其他特征將變得顯而易見。
[0011]附圖簡述
[0012]圖1顯示說明性計算環(huán)境，其中用戶在三維(“3D”)物理空間中的運動被映射到使用2D顯示器上的用戶界面(“UI”)來實現(xiàn)的虛擬空間；
[0013]圖2-4顯示說明性人體工程學物理交互區(qū)域(“PHIZ”)的簡化圖示表示；
[0014]圖5顯示在PHIZ的前向平面上的各點和UI之間的映射的說明性示例；
[0015]圖6顯示可被應用到人體工程學PHIZ的調(diào)節(jié)參數(shù)的說明性分類；
[0016]圖7顯示人體工程學PHIZ可如何被動態(tài)地更改來適應特定個別使用場景；
[0017]圖8是用于動態(tài)地在不同的PHIZ之間進行選擇的說明性方法的流程圖；
[0018]圖9和10顯示說明性骨架模型，這些說明性骨架模型顯示可在物理空間內(nèi)被定位且跟蹤的身體關(guān)節(jié)；
[0019]圖11-13分別顯示完整手臂PHIZ、前臂PHIZ和手PHIZ底層的關(guān)節(jié)模型；
[0020]圖14是用于校準物理空間、動態(tài)地改變光標映射以及動態(tài)地在不同大小形狀、和位置的多個PHIZ中進行選擇的說明性方法的流程圖；
[0021 ]圖15和16顯示包括多媒體控制臺和光學傳感器在內(nèi)的說明性計算環(huán)境，其中可實現(xiàn)本人體工程學PHI Z光標映射；
[0022]圖17顯示說明性光學傳感器以及多媒體控制臺的細節(jié)；
[0023]圖18示出可部分地被用于實現(xiàn)本人體工程學PHIZ光標映射的說明性的多媒體控制臺的框圖；圖19是可部分地被用于實現(xiàn)本人體工程學PHIZ光標映射的說明性計算系統(tǒng)(諸如個人計算機(“PC ))的簡化框圖；以及
[0024]圖20示出可部分地被用于實現(xiàn)本人體工程學PHIZ光標映射的說明性計算平臺的框圖。
[0025]各附圖中相同的附圖標記指示相同的元素。除非另外指明否則各元素不是按比例繪制的。
[0026]詳細描述
[0027]圖1顯示了說明性計算環(huán)境100，其中用戶105在三維(“3D”)物理空間(由附圖標記110代表性地表示)中的運動被捕獲并被映射到使用被顯示在2D顯示器120(諸如電視機或監(jiān)視器)上的用戶界面(“UI”)115來實現(xiàn)的虛擬空間。這樣的運動捕捉和映射使得用戶105能夠使用在3D物理空間110內(nèi)的身體移動來與由UI 115展示的各種元素(包括諸如光標和按鈕之類的控制元素)進行交互。在這個如顯示的說明性示例中，光標125具有類似手的形狀。在一些使用場景中，給定光標可被允許來遍歷顯示器的整個屏幕區(qū)域，而在其它場景中，在環(huán)境100中執(zhí)行的應用可僅支持在UI 115的有限區(qū)域內(nèi)的光標移動。替代地，在一些如在以下被更加詳細描述的實現(xiàn)中，用戶105可按延伸出UI 115的可視邊界的方式來與UI115進行交互。
[0028]如顯示的，UI 115使用具有X和y方向的2D坐標系來描述，而3D物理空間110使用具有x、y和z方向的3D坐標系來描述。由此，用戶的手在物理空間110中X和y方向上的運動可被用于瞄準UI 115上的按鈕130，而在Z方向上的運動可使得用戶105能夠按壓該按鈕或執(zhí)行其它3D交互。
[0029]可使用各種技術(shù)和裝置來捕捉用戶運動，通過該各種技術(shù)和裝置，在物理空間110內(nèi)的用戶105的定位以及用戶身體的各個部分的運動可被確定。如在以下伴隨附圖15-18的文本中描述的光學傳感器和計算平臺可被用在一些實現(xiàn)中。然而，需要強調(diào)，光學傳感器或相機系統(tǒng)不是被用于運動捕捉的僅有的裝置類型。
[0030]在這個特定的說明性示例中，物理空間中的用戶運動與虛擬空間中的光標運動/交互之間的映射可通過使用人體工程學物理交互區(qū)域(“PHIZ”)或在一些場景中的多個人體工程學PHIZ來實現(xiàn)。圖2-4顯示說明性人體工程學PHIZ205的圖示表示。要注意的是，人體工程學PHIZ 205的圖示表示出于闡述方面清晰的目的被簡化，并且人體工程學PHIZ相對于用戶105的實際大小、形狀或位置可按需被預期與所顯示的不同以滿足特定實現(xiàn)的需求。
[0031]人體工程學PHIZ205是物理空間中的用戶105在其中移動他的手的3D空間(3Dvolume)。在人體工程學PHIZ內(nèi)的手運動導致光標運動和交互，諸如在UI上的所支持的區(qū)域內(nèi)的按壓。PHIZ 205相對于用戶105來調(diào)整形狀、調(diào)整大小和定位以在人體工程學上匹配用戶的運動的自然范圍，使得用戶可舒服地觸及UI上的每一事物以有利地實現(xiàn)一致且直觀的交互。在一些實現(xiàn)中，可為用戶的每個手提供分開的PHIZ。
[0032]如在這個說明性示例中在圖2中顯示的，人體工程學PHIZ 205的正面區(qū)域大致從用戶的頭部跨越到軀干的中間部分。典型地，人體工程學PHIZ 205的區(qū)域?qū)⑾鄬τ谟脩粼谖锢砜臻g內(nèi)的大小和位置來調(diào)整大小。如在圖3和4中顯示的，替代于從具有與在顯示器上的屏幕相同的大小、形狀和寬高比的平坦、矩形區(qū)域中映射，人體工程學PHIZ 205使用彎曲的前平面和后平面，如分別由附圖標記310和315指示的。
[0033]人體工程學PHIZ205的前平面和后平面的彎曲度將用戶的手臂的移動和伸展的自然范圍考慮在內(nèi)。這樣的運動可例如根據(jù)圍繞用戶的手臂關(guān)節(jié)的轉(zhuǎn)動來描述。這些關(guān)節(jié)包括肩膀、肘部和手腕，這些中的兩個(肩膀和手腕)提供運動的多個自由度。用戶的手相對于肩膀的定位可使用球面坐標系來描述，在該球面坐標系中，肩膀關(guān)節(jié)用作原點。
[0034]人體工程學PHIZ的前向平面310將一般采取部分橢圓的形狀，其中橢圓的長軸沿著y方向。這種形狀是歸因于用戶的手臂在物理空間中的人體工程學運動，其中在y-z平面中移動旨在涉及圍繞肩膀和肘部關(guān)節(jié)兩者的轉(zhuǎn)動，而在χ-y平面中的移動旨在涉及僅圍繞肩膀關(guān)節(jié)的轉(zhuǎn)動。
[0035]圖5顯示人體工程學PHIZ的前向平面310(該平面的周界被顯示為虛線)上的各個點與UI 115之間用于實現(xiàn)光標移動的映射的說明性示例?？梢岳斫?，人體工程學PHIZ 205內(nèi)的其它點到UI 115的映射將類似于圖5中顯示的那樣。在這個說明性示例中，箭頭指示PHIZ中的點505p被映射到UI中的點505m，點510P被映射到點510m，點515P被映射到點515m，并且點520p被映射到點52(?。類似地，用戶的手沿著人體工程學PHIZ中的線525p的運動將對應于沿著UI中的線525m的光標運動。
[0036]如圖5中顯示的，映射實現(xiàn)在平坦UI上的X和y方向上的光標運動，即使PHIZ的前平面被彎曲來適應人體工程學運動。用戶的手在物理空間中的z方向上的運動可例如通過測量手相對于用戶的肩膀的伸展來測量以執(zhí)行按鈕按壓或UI上的其它動作。
[0037]人體工程學PHIZ205與UI 115之間的映射可典型地使得在UI的極端周界(如被圖5中的粗線指示的)處的點能被用戶訪問。然而，映射還可在一些情況下被實現(xiàn)為使得人體工程學PHIZ 205內(nèi)的位置被映射到UI的可視邊界之外的點。例如，如顯示的，點530p可被映射到延伸到UI的周界之外的點53(?。這樣的實現(xiàn)可實現(xiàn)各種UI交互，諸如