專利名稱：用戶跟蹤反饋的制作方法
用戶跟蹤反饋背景在典型的計算環(huán)境中，用戶具有諸如鍵盤、鼠標(biāo)、游戲桿等輸入設(shè)備，輸入設(shè)備可以通過電纜、電線、無線連接或某些其他連接手段來連接到計算環(huán)境。如果對計算環(huán)境的控制將從連接的控制器轉(zhuǎn)換到基于姿勢的控制，特別是在自然用戶界面(NUI)中時，則用戶不再具有以極大的一致性將用于應(yīng)用的控制指令告知計算環(huán)境的連接的設(shè)備。例如，當(dāng)計算環(huán)境具有諸如控制器或鍵盤這樣的已設(shè)定輸入時，用戶可以確定他具有連至端口的控制器、他正在按壓按鍵或按鈕、以及系統(tǒng)正在響應(yīng)。當(dāng)對計算環(huán)境的控制被轉(zhuǎn)換成用戶的姿勢時，檢測姿勢可能由于捕捉區(qū)域或用戶的身體移動的視覺或音頻特性不像用控制器那樣而被抑制或者產(chǎn)生來自應(yīng)用的非最優(yōu)響應(yīng)。無法適當(dāng)?shù)貦z測姿勢可阻礙用戶與正在執(zhí)行的應(yīng)用進(jìn)行交互。例如，可阻礙他對正由應(yīng)用執(zhí)行的游戲的參與。概述 呈現(xiàn)了用于向用戶提供關(guān)于正在執(zhí)行的應(yīng)用跟蹤用于控制計算機系統(tǒng)上的正在執(zhí)行的應(yīng)用的用戶動作的能力的反饋的技術(shù)。捕捉系統(tǒng)檢測捕捉區(qū)域內(nèi)的用戶。響應(yīng)于用戶跟蹤準(zhǔn)則未被滿足，向用戶輸出反饋。在一些示例中，反饋可以是音頻指示。在其他示例中，提供視覺指示符作為反饋以推薦供用戶采取的動作以滿足跟蹤準(zhǔn)則。在一些實施例中，該反饋在正在執(zhí)行的應(yīng)用的上下文中提供。在一個實施例中，呈現(xiàn)了一種用于幫助用戶選擇捕捉區(qū)域的技術(shù)。另外，在一些實施例中，對反饋響應(yīng)的選擇可根據(jù)準(zhǔn)則來確定。提供本概述以便以簡化形式介紹將在以下詳細(xì)描述中進(jìn)一步描述的一些概念。本概述并非旨在標(biāo)識所要求保護的主題的關(guān)鍵特征或必要特征，也不旨在用于幫助確定所要求保護的主題的范圍。附圖簡述圖IA示出了用于提供用戶反饋的各技術(shù)實施例可在其中操作的目標(biāo)識別、分析和跟蹤系統(tǒng)的示例實施例。圖IB示出了用于建議供用戶采取的動作以滿足跟蹤準(zhǔn)則的用戶跟蹤反饋響應(yīng)的
另一不例。圖IC示出了可見性因素的一些示例。圖ID示出了其中拿著一物體的用戶與目標(biāo)識別、分析和跟蹤系統(tǒng)的實施例交互的另一實施例。圖IE示出了可告知用戶他太近或在邊界外的視覺指示符的示例。圖IF和IG示出了告知用戶他們在捕捉設(shè)備的視野外的視覺指示符的附加示例。圖2是用于提供用戶跟蹤反饋的的系統(tǒng)的計算機實現(xiàn)的功能體系結(jié)構(gòu)的說明性實施例。圖3A示出了可以在類似

圖1A-1E的游戲控制臺中使用的計算環(huán)境的實施例的詳細(xì)示例，用于提供用戶跟蹤反饋的一個或多個實施例可以在該計算環(huán)境中操作。圖3B示出了諸如個人計算機等計算環(huán)境的另一示例實施例。圖4示出了用于提供用戶跟蹤反饋的一個或多個實施例可在其中操作的聯(lián)網(wǎng)計算環(huán)境的示例實施例。圖5描繪了可基于捕捉到的圖像數(shù)據(jù)來創(chuàng)建并被用來跟蹤用戶移動的人類用戶模型。圖6描繪了姿勢的一些示例。圖7是用于向用戶提供關(guān)于應(yīng)用跟蹤用戶運動的能力的反饋的方法實施例的流程圖。圖8是用于幫助用戶選擇捕捉區(qū)域的方法實施例的流程圖。詳細(xì)描述 呈現(xiàn)了用于向用戶提供關(guān)于正在執(zhí)行的應(yīng)用跟蹤用于控制計算機系統(tǒng)上的正在執(zhí)行的應(yīng)用的用戶動作的能力的反饋的技術(shù)?？捎绊懜櫽脩舻哪芰Φ目蓞^(qū)別性的一個示例是控制顯示對象的用戶的身體部位至少部分地在圖像捕捉系統(tǒng)的視野外的情況。其他因素包括諸如光照效果等環(huán)境因素、特定類型的障礙物以及諸如言語(例如，音節(jié)或單詞)的響度和可區(qū)別性等音頻因素。在一些實施例中，該技術(shù)呈現(xiàn)作為給用戶的顯式建議的反饋響應(yīng)。在其他實施例中，該反饋通過在正在執(zhí)行的應(yīng)用的上下文中提供而是細(xì)微或隱式的。例如，當(dāng)用戶太靠近捕捉系統(tǒng)的視野的邊框時，諸如場景中的可怕怪獸等對象出現(xiàn)在該邊框附近的顯示側(cè)。用戶具有朝著視野的中心移動離開視野邊框以避開怪獸的動機。被用來確定對反饋響應(yīng)的選擇的因素的示例在下文中進(jìn)一步討論。圖IA示出了用于提供用戶反饋的各技術(shù)實施例可在其中操作的目標(biāo)識別、分析和跟蹤系統(tǒng)的示例實施例，用戶18正在玩游戲。在該示例中，目標(biāo)識別、分析和跟蹤系統(tǒng)10可以在沒有特殊傳感設(shè)備附連到主體的情況下在人類的自然環(huán)境中識別人類，并在三維空間中唯一地標(biāo)識和跟蹤人類。然而，該技術(shù)可適用于諸如其中用戶穿戴傳感器的基于傳感器的系統(tǒng)等其他用戶跟蹤機制。根據(jù)該示例實施例，目標(biāo)可以是人類目標(biāo)(例如，用戶18)、人類目標(biāo)與一物體、兩個或更多人類目標(biāo)等，這些目標(biāo)可被掃描來生成諸如骨架模型、網(wǎng)格人類模型、或其任何其他合適的表示等模型?？筛櫾撃Ｐ褪沟媚繕?biāo)的物理移動或運動可用作調(diào)整和/或控制應(yīng)用的參數(shù)的實時用戶接口。此外，該模型可作為模型呈現(xiàn)給應(yīng)用并實時地傳遞給它們。例如，所跟蹤的用戶的運動可用于移動電子角色扮演游戲中的屏幕上的人物或化身。在其中模型是多點骨架模型的一個示例中，目標(biāo)識別、分析、及跟蹤系統(tǒng)10基于人類肌肉-骨架系統(tǒng)的自然力學(xué)和能力的模型來高效地跟蹤人類及其自然移動。示例系統(tǒng)10還唯一地識別個人以允許多人經(jīng)由其肢體的自然移動來與該系統(tǒng)交互。用戶的移動可被跟蹤到可以是表示通常是人類的用戶的計算機生成的圖像的化身。化身可以描繪用戶的如下圖像該圖像高度地代表該用戶的實際外貌或者其可以是與用戶具有變化的相似度或完全沒有相似度的人物(例如人類、幻想、動物、動畫對象)。具體而言，圖IA示出其中用戶18玩拳擊游戲的目標(biāo)識別、分析、及跟蹤系統(tǒng)10的配置的示例實施例。在該示例中，在計算機系統(tǒng)12上執(zhí)行的控制其他計算機系統(tǒng)(通信地耦合的相機系統(tǒng)20和視聽顯示單元16)上的軟件或與其交互的軟件基于捕捉到的圖像來跟蹤用戶18的移動，并且在用戶的運動直接實時控制他的相關(guān)聯(lián)的化身的動作時分析這些移動以產(chǎn)生指令。因此，在該示例中，用戶18可以移動他的身體來控制他在顯示屏14上的化身24，以在拳擊游戲中對抗他的對手化身22。視聽顯示系統(tǒng)16可以是諸如高分辨率電視機(HDTV)等高級顯示系統(tǒng)。在其它實施例中，顯示器可以是較低分辨率顯示器，其某些示例包括電視機、計算機監(jiān)視器或移動設(shè)備顯示器。視聽系統(tǒng)16可以通過通信接口(例如，S-視頻電纜、同軸電纜、HDMI電纜、DVI電纜、VGA電纜)從計算系統(tǒng)12接收視聽信號，并且然后可向用戶18輸出與視聽信號相關(guān)聯(lián)的游戲或應(yīng)用視頻和/或音頻。姿勢包括擔(dān)當(dāng)用于控制正在執(zhí)行的應(yīng)用的用戶輸入的運動或姿態(tài)。用戶可通過移動他的身體創(chuàng)建姿勢。例如，可在圖像數(shù)據(jù)中捕捉用戶。可以對用戶的所標(biāo)識的姿勢分析意義來用作對要執(zhí)行的應(yīng)用或動作的控制。例如，用戶18在圖IA的拳擊游戲中揮出一記刺拳。游戲應(yīng)用在拳擊比賽中表示它，確定它是否接觸了化身22，并且如果接觸則增加用戶的分?jǐn)?shù)。姿勢可以是靜態(tài)姿態(tài)，如在一個人的軀干前面交叉握住他的前臂，或者它可以是一個或多個移動。此外，姿勢可包括一個以上身體部位，如雙手鼓掌。例如，目標(biāo)識別、分析和跟蹤系統(tǒng)10可用于識別捕捉區(qū)域30中的用戶18的揮拳，以使得該揮拳可被解釋為，在該實例中作為對供他的玩家化身24在游戲空間中執(zhí)行的重?fù)舻挠螒蚩刂?。用?8的其他姿勢也可被解釋為其他控制命令或動作，諸如上下快速擺動、閃避、滑步、格擋、刺拳或揮動各種不同力度的重拳等控制。通過跟蹤用戶18的揮拳和刺拳，拳擊游戲軟件應(yīng)用確定他的化身24分?jǐn)?shù)以及哪個化身(22或24)將贏得比賽。不同的應(yīng)用將識別和跟蹤不同的姿勢。例如，用戶在棒球游戲中的投擲(pitch)被跟蹤以便確定其是好球(strike)還是壞球(ball)。根據(jù)其他示例實施例，基于姿勢的系統(tǒng)10還可用于將目標(biāo)移動解釋為游戲領(lǐng)域之外的操作系統(tǒng)和/或應(yīng)用控制。例如，事實上操作系統(tǒng)和/或應(yīng)用程序的任何可控方面都可由諸如用戶18等目標(biāo)的移動來控制?！?br> 相機系統(tǒng)20捕捉該相機系統(tǒng)20的視野內(nèi)的捕捉區(qū)域30中的用戶的圖像數(shù)據(jù)。在該示例中，相機系統(tǒng)20的視野內(nèi)的捕捉區(qū)域30是梯形30，從用戶的角度看，該梯形具有作為捕捉區(qū)域的前部的短線30f、后線30b (例如，一堵墻可形成該線)以及左側(cè)301和右側(cè)30r。該視野可具有不同的幾何結(jié)構(gòu)。例如，捕捉區(qū)域的邊界和障礙物可影響其幾何結(jié)構(gòu)。例如，如果用戶正在健身房中玩游戲，則后墻可以更后面得多，以使得視野比梯形更像錐形。在其他情況下，透鏡類型的相機也可影響視野。在圖IA中，用戶被示為在前面或前方位置18b，在那里他的身體部位在左邊界301上的捕捉區(qū)域30之外。用戶18的位置是在更靠近捕捉區(qū)域30和相機的視野的中心的當(dāng)前位置。如將在下文中更詳細(xì)地討論的，提供應(yīng)用的上下文中的反饋以建議用戶或激勵用戶移至他的右側(cè)。其他化身22的位置已移至屏幕右側(cè)，以使得用戶18需要移動以重?fù)羲?。在另一示例中，所顯示的視圖的視角已經(jīng)從對手化身22的左視角變?yōu)橛乙暯?。在右視角視圖中，如果用戶18保持在位置18b，則他的化身將阻擋他的對手化身22的視圖。該動作鼓勵用戶18移至右側(cè)以更好地看見他的對手化身22。還可使用一個或多個屏幕外顯示元素來提供用戶跟蹤反饋。在所示示例中，諸如發(fā)光二極管(LED)等顯示燈32可以滿足特定用戶。例如，可使用不同的顏色來顯示跟蹤質(zhì)量。黃色可以是警告；綠色可以是滿意；紅色可指示問題。在另一示例中，不同的光照模式可指示跟蹤質(zhì)量。例如，每一個燈都可以與視野上的邊界相關(guān)聯(lián)。如果燈元件變成特定顏色，則該顏色可包括用戶太靠近該邊界的反饋。圖IB示出了用于建議供用戶采取的動作以滿足跟蹤準(zhǔn)則的用戶跟蹤反饋響應(yīng)的另一示例。改變化身的外觀可用于告知用戶跟蹤問題?；?4在該示例中是突出顯示的。此外，箭頭22形式的顯式反饋是視覺指示符的示例。在該示例中，反饋推薦與化身24相關(guān)聯(lián)的用戶向右移動。這些視覺指示符是應(yīng)用無關(guān)用戶跟蹤反饋的示例，因為這些指示符未被綁定到應(yīng)用的上下文。應(yīng)用的上下文包括作為該應(yīng)用的目的的活動。例如，在菜單用戶界面應(yīng)用中，打開或關(guān)閉文件會在應(yīng)用的上下文中。根據(jù)游戲動作來移動的化身和場景對象是在游戲的上下文中的。在游戲應(yīng)用的上下文中的動作的一些示例是揮拳、作為障礙的新敵人或怪獸到達(dá)、扔出或接到一個球、在化身或用戶的視圖移動通過虛擬環(huán)境時的場景變化、或者游戲動作的用戶視圖的方向或視角的改變。圖IC示出了可見性因素的一些示例。透過窗戶44的陽光45可使得環(huán)境光照變 成相機系統(tǒng)20的可見性問題。圖像捕捉系統(tǒng)20的光儀表可指示在圖像數(shù)據(jù)中用戶正被洗舊。或者，可能太暗?？Х茸?5是可阻擋用戶的身體部位的障礙物的示例。拳擊游戲可能由于用戶18的腿被咖啡桌部分地遮擋而難以檢測拳擊中的“滑步”姿勢。圖ID示出了其中拿著一物體的用戶與目標(biāo)識別、分析和跟蹤系統(tǒng)10的示例實施例交互的另一實施例。在這些實施例中，電子游戲的用戶19可手持物體從而可以使用用戶19和物體21的運動來調(diào)整和/或控制游戲的參數(shù)，諸如擊打屏幕上的球68。在其他示例中，可以跟蹤并利用用戶手持球拍21的運動來控制電子運動游戲中的屏幕上球拍。在另一示例實施例中，可以跟蹤并利用用戶手持物體的運動來控制電子格斗游戲中的屏幕上武器。也可以包括任何其他物體，諸如一個或多個手套、球、球棒、球桿、吉它、話筒、桿、寵物、動物、鼓等等。圖ID示出了使用應(yīng)用的上下文中的反饋來向用戶提供移至相機系統(tǒng)20的視野內(nèi)的更好位置的建議或激勵的另一示例。在位置1%處的用戶已經(jīng)已經(jīng)相對于相機移動到太左邊以使其包括他的右臂的上半身和球拍21在視野的左邊界301之外。先前到來的球68b已被顯示在屏幕的左上角。該游戲的正在執(zhí)行的應(yīng)用將接著到來的球68置于顯示器的中間以激勵用戶19移至覆蓋捕捉區(qū)域30的視野的中心，如他19在他的當(dāng)前位置19所完成的那樣。應(yīng)當(dāng)理解，圖ID呈現(xiàn)了其中對用戶的描繪不被呈現(xiàn)在屏幕上的替換方案。在圖ID中，用戶可以按第一人稱玩網(wǎng)球，看見呈現(xiàn)在屏幕上的球，并且在一個示例中，球拍的全部或一部分擊打該球，但沒有用戶化身被呈現(xiàn)在該屏幕上或者只有該用戶的身體部位中的一部分被呈現(xiàn)。圖IE示出了可告知用戶他太近或在邊界外的視覺指示符的示例。特別對于非常年輕的兒童用戶，顯示對象281 (用于左邊界問題)和28r (用于右邊界問題)可以是用于告知用戶朝著視野中心向后移動的反饋。類似的視覺指示符也可用于前邊界和后邊界。任選地，聲音可以在每一個視覺指示符出現(xiàn)時或者在特定數(shù)量的邊界違反后與該視覺指示符相關(guān)聯(lián)。圖IF示出了視覺指示符的另一示例，其中用戶19u正在玩保齡球游戲并且該用戶的手臂19-1移出視野外。在屏幕上描繪28b中，用戶的手臂28A褪色以便向用戶顯示該手臂在相機的視野之外。用于改變用戶或用戶正在參與的元素的屏幕上外觀的其他替換方案包括改變用戶的屏幕上表示的全部或一部分的顏色、改變用戶的描繪的焦點(例如，使屏幕上表示模糊或褪色)。圖IG示出的又一示例具有在顯示器16的左上角的警告圖形29。該圖形描繪了用戶34和視野35的較小表示，并且可以在用戶移出視野外時持續(xù)或間歇閃爍。提供用戶跟蹤反饋的軟件可以在顯示器上為用戶提供訓(xùn)練，以幫助用戶獲得對捕捉區(qū)域的邊界是什么以及不同的反饋響應(yīng)意味著什么的感覺。特定聲音可以在處于視野中心或具有良好可見性的情況下標(biāo)識，而另一聲音指示用戶太靠近邊界或者存在障礙物或使跟蹤質(zhì)量下降的其他影響或物品。在一個示例中，跟蹤質(zhì)量或跟蹤準(zhǔn)則可基于在已經(jīng)建立對于目標(biāo)識別和跟蹤系統(tǒng) 的用戶在場和參與時在給定時間段中有多少姿勢無法被標(biāo)識。跟蹤質(zhì)量或跟蹤準(zhǔn)則可基于檢測到在場和參與，但無法在應(yīng)用的圖像數(shù)據(jù)中識別出關(guān)鍵身體部位，諸如棒球游戲中的手臂。除了影響跟蹤準(zhǔn)則或質(zhì)量的可見性因素之外，可區(qū)別性因素還可應(yīng)用音頻因素，因為一些應(yīng)用依靠諸如語音等身體特征，而不僅僅是作為身體部位的身體特征的移動。圖2是用于提供用戶跟蹤反饋的系統(tǒng)200的計算機實現(xiàn)的功能體系結(jié)構(gòu)的說明性實施例。這樣的體系結(jié)構(gòu)系統(tǒng)可被實現(xiàn)成可由在一個或多個處理器和/或計算機硬件上執(zhí)行的軟件來操作的一個或多個模塊、或者實現(xiàn)成硬件或固件。本技術(shù)可具體化為其他具體形式而不背離其精神或本質(zhì)特征。類似地，對于模塊、例程、特征、屬性、方法和其他方面的具體命名和劃分并非是強制性的，實現(xiàn)本技術(shù)或其特征的機制可具有不同的名稱、劃分和/或格式。此外，如本領(lǐng)域技術(shù)人員將顯而易見的，所公開的實施例的模塊、例程、特征、屬性、方法和其他方面可被實現(xiàn)為軟件、硬件、固件或三者的任意組合。當(dāng)然，在組件(其示例是模塊)被實現(xiàn)為軟件的情況下，該組件可被實現(xiàn)為獨立的程序、更大程序的一部分、多個單獨的程序、靜態(tài)或動態(tài)鏈接庫、內(nèi)核可加載模塊、設(shè)備驅(qū)動程序、和/或編程技術(shù)領(lǐng)域中的技術(shù)人員現(xiàn)在已知或?qū)碇獣缘拿恳粋€和任何其他方式。例如，在一個實施例中，以下討論的跟蹤反饋軟件213可以在應(yīng)用編程接口(API)中被部分地實現(xiàn)為處理應(yīng)用無關(guān)反饋響應(yīng)，并且在特定應(yīng)用的軟件中被部分地實現(xiàn)為處理上下文應(yīng)用反饋。顯示器視圖控制系統(tǒng)202包括運動模塊204，該模塊訪問用于傳入圖像數(shù)據(jù)205和任選的音頻數(shù)據(jù)217的數(shù)據(jù)緩沖器223。在所示示例實施例中，顯示器視圖控制系統(tǒng)202從視聽數(shù)據(jù)捕捉系統(tǒng)20本地地接收運動跟蹤數(shù)據(jù)205。另外，顯示器視圖控制系統(tǒng)202可以通過因特網(wǎng)203或其他網(wǎng)絡(luò)遠(yuǎn)程地接收運動跟蹤數(shù)據(jù)205i。對于用戶，運動跟蹤數(shù)據(jù)可包括圖像數(shù)據(jù)本身或該數(shù)據(jù)的降采樣版本。另外，深度數(shù)據(jù)和從圖像和/或深度數(shù)據(jù)中導(dǎo)出的各種形式的數(shù)據(jù)可被包括在運動跟蹤數(shù)據(jù)中，該數(shù)據(jù)的一些示例是針對用戶的身體的模型、引用該模型的數(shù)學(xué)圖元中的運動數(shù)據(jù)、或者從用戶中導(dǎo)出的用于與該模型的之前狀態(tài)相比較的位掩碼圖。顯示器視圖控制系統(tǒng)202分析該數(shù)據(jù)以識別用戶運動并且將該運動跟蹤到顯示器上的對象，例如跟蹤到用戶的屏幕上化身?；硎且环N類型的場景或顯示對象。運動模塊204通信地耦合到化身顯示控制模塊209、對象控制模塊211、跟蹤反饋軟件213、姿勢識別軟件和數(shù)據(jù)206、視聽數(shù)據(jù)捕捉系統(tǒng)20和因特網(wǎng)203。運動模塊204還可訪問存儲在存儲器中的數(shù)據(jù)存儲220，諸如用于以下各項中的至少一個的模型數(shù)據(jù)216 用戶216u、化身216a和顯示器上或用戶拿著的對象2160。模型數(shù)據(jù)被用作供運動模塊204對捕捉區(qū)域中的用戶或場景或顯示器視圖中的化身或?qū)ο筮M(jìn)行運動跟蹤的基準(zhǔn)。在用戶的身體移動被映射到化身的移動(例如基于用戶的圖像捕捉或用戶身上的傳感器)的系統(tǒng)中，可能存在表示用戶216u的模型數(shù)據(jù)以及表示化身216a的模型數(shù)據(jù)。當(dāng)化身的體格大不相同時，運動模塊204執(zhí)行兩個模型之間的映射。例如，男孩用戶18較矮并且很可能不具有他的化身拳擊者24的手臂范圍。換言之，如果曾使用了骨架模型，則它們可以對用戶和化身是不同的。然而，在一些實施例中，該應(yīng)用將相同的模型數(shù)據(jù)216用于分析用戶的身體移動以及引導(dǎo)相應(yīng)化身的運動。在一個示例中，身體模型可被實現(xiàn)成表示身體部位及其相對于參考點的在各維度的位置和/或旋轉(zhuǎn)角度的一個或多個數(shù)據(jù)結(jié)構(gòu)。模型數(shù)據(jù)216可按照絕對位置來更新或使用位置和旋轉(zhuǎn)的變化來更新。位置和旋轉(zhuǎn)的變化可被表示成向量和角度。
運動模塊204還可訪問簡檔數(shù)據(jù)214。在該示例中，存在對應(yīng)于用戶214u、化身214a和對象214ο的簡檔。運動模塊204還可訪問包括化身圖像數(shù)據(jù)219和對象圖像數(shù)據(jù)221的顯示數(shù)據(jù)218?；盹@示控制模塊209基于姿勢識別軟件206識別出的姿勢以及由運動模塊204標(biāo)識的其他可適用運動來更新化身圖像數(shù)據(jù)219。在一個示例中，表示運動或姿態(tài)的圖像數(shù)據(jù)219可以是該化身的運動跟蹤數(shù)據(jù)。在一個示例中，這樣的運動跟蹤數(shù)據(jù)可以存儲在運動捕捉文件中，該運動捕捉文件由運動模塊204隨著時間在新運動跟蹤數(shù)據(jù)205被接收到時更新。對象控制模塊211更新受到用戶的識別出的姿勢影響的對象的圖像數(shù)據(jù)221。此夕卜，化身控制模塊209和對象控制模塊211響應(yīng)于來自動作控制模塊210的指令來更新其相應(yīng)的圖像數(shù)據(jù)(219、221)。動作控制模塊210監(jiān)督正在執(zhí)行的應(yīng)用。例如，在游戲環(huán)境中，該模塊保存分?jǐn)?shù)，確定在化身移至新的游戲關(guān)卡時需要新背景，確定如何將其他非用戶控制的化身或?qū)ο蠓胖迷趫鼍爸?。在非游戲環(huán)境中，該模塊標(biāo)識用戶正在請求什么動作。例如，如果用戶姿勢是打開文件的請求，則該模塊可訪問文件本身或者向?qū)ο罂刂颇K211提供訪問文件并在顯示器16上顯示該文件的指令。顯示處理模塊207組合顯示數(shù)據(jù)218以更新顯示器。顯示數(shù)據(jù)218提供場景或視圖上下文并且定義該場景或視圖中的其他對象。例如，顯示數(shù)據(jù)218提供圖IA和IB中的拳擊比賽的上下文環(huán)境、以及包括拳擊賽臺的繩索在內(nèi)的對象的位置、以及對手拳擊者化身22的存在。該場景中的另一拳擊者22的最新的移動、特征和身體部位也可以存儲為化身簡檔數(shù)據(jù)存儲214中的另一簡檔。對顯示數(shù)據(jù)218的更新可由諸如化身顯示控制模塊209或運動模塊204等一個或多個模塊通過因特網(wǎng)203或其他網(wǎng)絡(luò)從遠(yuǎn)程模塊接收?；盹@示控制模塊209和對象控制模塊211周期性地或響應(yīng)于來自運動模塊204的消息來讀取對其相應(yīng)的簡檔214的更新，并處理表示化身或?qū)ο蟮倪\動或姿態(tài)的圖像數(shù)據(jù)219、221。圖像數(shù)據(jù)219、221可被本地地呈現(xiàn)在顯示器16上，或者該數(shù)據(jù)可通過因特網(wǎng)203或另一網(wǎng)絡(luò)來傳送?；砗啓n數(shù)據(jù)214a的示例可以是針對化身的特征的彩色圖像數(shù)據(jù)，比如毛發(fā)、面部特征、膚色、著裝、化身在場景中的位置以及與其相關(guān)聯(lián)的任何道具。用戶的簡檔214u中所存儲的信息的示例可以包括典型的使用或玩游戲模式、年齡、身高、體重信息、姓名、殘疾、高分或任何其他與用戶和系統(tǒng)使用相關(guān)聯(lián)的信息。影響對反饋響應(yīng)的選擇的因素的示例可包括用戶簡檔信息。例如，用戶的年齡或殘疾(身體或精神)可使得一種反饋響應(yīng)比另一種更合適。例如，5歲的人無法理解應(yīng)用上下文中的太細(xì)微的反饋，屏幕上的顯式文本可能更合適。玩家可能是聾的，因此音頻響應(yīng)是不合適的。如上所述，一些運動和姿態(tài)、姿勢在娛樂程序或其他應(yīng)用的上下文中具有特殊含義，并且顯示器視圖控制系統(tǒng)202執(zhí)行指令以標(biāo)識出它們。具體而言，運動模塊204可訪問姿勢識別軟件206和數(shù)據(jù)以便基于模型和運動跟蹤數(shù)據(jù)來識別或標(biāo)識姿勢。姿勢識別軟件206可包括姿勢過濾器。在一個示例中，運動模塊204可以基于相關(guān)聯(lián)的數(shù)據(jù)索引(如身體部位索引)來選擇一個或多個姿勢過濾器206。例如，在顯示器視圖控制系統(tǒng)202接收到運動跟蹤數(shù)據(jù)集更新并且特定身體部位的運動變化被指示時，運動模塊204對與這些特定身體部位相關(guān)聯(lián)的姿勢過濾器206進(jìn)行索引。姿勢過濾器206基于參數(shù)數(shù)據(jù)來執(zhí)行指令，這些參數(shù)數(shù)據(jù)定義用于基于運動跟蹤數(shù)據(jù)205確定特定姿勢是否已被執(zhí)行的準(zhǔn)則。在一個實施例中，每一姿勢過濾器206與姿勢庫中的特定姿勢的庫模塊相鏈接。與姿勢相關(guān)聯(lián)的每一庫模塊包括用于響應(yīng)于姿勢來執(zhí)行處理的可執(zhí)行指令。這一處理通常涉及更新化身的運動或圖像來以某種形式反映該姿勢。例如，圖IA中的十幾歲的男孩用戶18具有比他的化身24拳擊者小得多的體格。利用化身玩游戲的一部分樂趣在于，化身常常比現(xiàn)實生活中的用戶做事做得更好。圖IA中的男孩18在他的起居室中的揮拳翻譯成他的化身24在顯示屏14上的更有力的揮拳。拳擊游戲中的“揮拳”的庫模塊可以從用戶由他的肘伸出的拳的速度的加速度中確定這是該游戲中的該用戶18的“揮拳”，并且他的化身24的揮拳由于庫揮拳模塊的指令而在顯示上反映這一點。動作控制模塊210也被通知該姿勢并響應(yīng)該姿勢。例如，該模塊更新用戶18的分?jǐn)?shù)。一些系統(tǒng)可以提供針對某些身體部位或區(qū)域(例如手和臂)的可由化身執(zhí)行的僅僅某個數(shù)目的運動或姿勢的組合，同時允許直接跟蹤其他身體部位或區(qū)域，例如腿。對用戶運動的跟蹤以更新化身或其他顯示器視圖對象的顯示是實時執(zhí)行的，以使得用戶可實時地與正在執(zhí)行的應(yīng)用交互。實時顯示指的是響應(yīng)于姿勢的視覺表示的顯示，其中該顯示與姿勢在物理空間中的執(zhí)行同時或幾乎同時顯示。例如，系統(tǒng)可以提供對用戶進(jìn)行回應(yīng)的顯示畫面的顯示畫面更新速率可以是20Hz的速率或更高，其中無關(guān)緊要的處理延遲造成最小的顯示延遲或?qū)τ脩舳愿静豢梢?。由此，實時包括與被自動數(shù)據(jù)處理所需的時間延遲了的數(shù)據(jù)的及時性有關(guān)的任何無關(guān)緊要的延遲。跟蹤反饋軟件213從運動模塊204接收標(biāo)識跟蹤問題的消息。跟蹤問題的示例是用戶已經(jīng)移出視野或視野中沒有用戶。跟蹤問題的一些其他示例是無法確定身體部位的姿勢或者未滿足運動或姿態(tài)對應(yīng)于任何特定姿勢的閾值概率。跟蹤問題的另一示例是音量不夠以使得語音或歌聲識別軟件無法檢測到用戶的聲音。在另一示例中，來自用戶的聲音具有不可區(qū)分的音節(jié)以使得無法檢測到單詞。例如，在音樂娛樂應(yīng)用中，無法標(biāo)識或檢測用戶唱歌可以顯著地影響用戶玩家感覺到的挫敗。
運動模塊204還可基于它從視聽捕捉系統(tǒng)20接收到的數(shù)據(jù)或來自視聽捕捉系統(tǒng)20的消息來提供關(guān)于多個可區(qū)別性因素的反饋。一種可區(qū)別性因素是例如不夠的音量和特殊性的音頻因素，如上所述?？蓞^(qū)別性因素的另一示例是可見性因素?？梢娦砸蛩氐氖纠怯糜诳刂茟?yīng)用的用戶或身體部位至少部分地在視野之外。另一示例是光照問題將捕捉到的圖像中的用戶洗舊。另一示例是障礙物。可見性因素的另一示例是障礙物。障礙物的示例可以是甚至在視野本身內(nèi)的家具，例如圖IC中的咖啡桌15。視野的邊框上或視野本身內(nèi)的太多物品可創(chuàng)建可區(qū)別性或可見性因素。障礙物的另一示例是衣服或衣服與另一物品結(jié)合。斗篷可阻礙檢測手臂移動。長裙可阻礙檢測用于其中用戶可做出走動或跑步姿勢的游戲的腿部移動。黑色長椅上的黑色褲子可能由于缺少對比度而導(dǎo)致可見性問題；捕捉系統(tǒng)20無法在用戶接近黑色長椅時區(qū)分腿部移動。衣服顏色可導(dǎo)致產(chǎn)生可區(qū)別性問題的對比度問題。另外，站得太靠近用戶的人也可導(dǎo)致可區(qū)別性問題，因為他們的手臂和腿部可能重疊。深度數(shù)據(jù)可幫助區(qū)分用戶，但基于圖像捕捉系統(tǒng)20的深度分辨率，這可能是個問題。跟蹤反饋軟件213可選擇提供給用戶的指示跟蹤問題的一種反饋。在一些示例中，該反饋用于無關(guān)于應(yīng)用活動的視覺或音頻指示符來向用戶提供提高跟蹤質(zhì)量的指令。例如，圖IB中的顯式屏幕箭頭覆蓋圖33。還可附加文本或音頻消息“向右移動”，同時指向·視野30的中心。其他反饋可以稍微隱式和細(xì)微的?？筛淖兊娘@示器的視覺特性。例如，反饋可以是當(dāng)用戶在視野邊界的距離內(nèi)時顯示器視圖的銳度可以稍微降低。例如，該視圖更模糊。當(dāng)用戶移向視野中心時，場景的銳度提升。用戶甚至可能未有意識地察覺到該銳度變化。除了銳度之外，可改變以更改場景或視圖的顯示的另一視覺特性示例是顏色振動。另一示例是顏色本身。例如，當(dāng)用戶移出視野之外時，顯示器上的顏色轉(zhuǎn)為黑白。在一些示例中，跟蹤反饋軟件213確定應(yīng)用上下文中的合適反饋。這些示例中的某一些在上文中已經(jīng)提到，諸如用戶太靠近的邊框上的怪獸或者在用戶應(yīng)移動的方向上出現(xiàn)的供用戶“擊打”的球。其他示例包括在移動方向上的要射擊的敵人，或者另一化身玩家出現(xiàn)并且撞擊用戶向中心后退或者另一人物在要在視野中后退的方向上跑步。在另一示例中，聲音可以在特定方向上定向以激勵用戶跑離該方向。如果用戶離圖像捕捉系統(tǒng)20太遠(yuǎn)，如系統(tǒng)20捕捉到的深度數(shù)據(jù)所示，則可使用閃爍對象或其他吸引注意力的顯示對象來將用戶吸引到視野。如果用戶太靠近相機20，例如在視野前邊界30f和相機之間，則可使得顯示對象非常多地充滿屏幕以使得用戶后退。對于該上下文應(yīng)用反饋，跟蹤反饋模塊213向動作控制軟件模塊210發(fā)送對上下文反饋的請求。動作控制模塊210或跟蹤軟件213可跟蹤已經(jīng)使用哪一種上下文反饋技術(shù)來盡可能地避免重復(fù)。上下文反饋請求可包括要解決的可區(qū)別性因素的類型。還可包括動作建議。例如，該請求還可包括顯示器上的其中放置對象的目標(biāo)區(qū)域以激勵用戶向后移動到視野中。在其他情況下，動作控制模塊210可確定要采取的動作。跟蹤反饋軟件213可基于準(zhǔn)則來選擇反饋響應(yīng)。如上所述，這一準(zhǔn)則的一個示例是用戶年齡。對于3或4歲的用戶，將物品放置在屏幕上的目標(biāo)區(qū)域中以使得該用戶移動對于該年齡的孩子而言可能并非太重復(fù)。對于7歲的用戶，特定上下文反饋技術(shù)可能需要稍微多一點不同。應(yīng)用的競爭性等級可以是另一因素。在與另一用戶的游戲中，將要射擊的目標(biāo)放在顯示區(qū)域中以鼓勵用戶移動可能是不合適的。然而，將視野邊框附近放置爆炸可以在不增加目標(biāo)的可預(yù)測性的情況下使用戶移動。一些應(yīng)用不想讓任何東西遮擋正由該應(yīng)用顯示在顯示器上的動作。在這些情況下，顯示器16或控制臺12可包括屏幕外顯示設(shè)備。例如，控制臺12或相機20上的發(fā)光二極管(LE D)32可以與用戶相關(guān)聯(lián)，并且應(yīng)用跟蹤用戶的能力可由調(diào)色板來指示。例如，綠色是良好。黃色是跟蹤能力降低的警告，而紅色指示跟蹤能力已降至不可接受水平?？墒褂闷渌聊煌怙@示設(shè)備或視圖，諸如控制臺20、顯示器16或相機20上的指示跟蹤能力的程度的條形圖或其他燈光。作為折衷，應(yīng)用可允許小圖標(biāo)出現(xiàn)在太靠近邊界或?qū)ζ涞母櫜粷M足跟蹤準(zhǔn)則的用戶的用戶化身上。用戶可以在需要時選擇該圖標(biāo)。在另一示例中，可顯示示出用戶或他的化身的小框、畫中畫，以指示跟蹤問題或甚至解決該問題的建議。在另一示例中，如果用戶按暫停，則可顯示具有跟蹤問題消息的示出用戶或他的化身的框。在其他示例中，跟蹤反饋模塊213可以向化身顯示控制模塊209發(fā)送改變化身外觀的請求。外觀改變的示例可以是突出顯示化身。其他示例包括改變視覺特性，諸如模糊化身外觀，或使其全黑或全白或?qū)Ρ壬诎住Ｔ诹硪皇纠?，可使得化身看上去褪色。具體而言，如果在應(yīng)用啟動之前發(fā)生訓(xùn)練會話，則可指示用戶他的化身的外觀改變意味著他的姿勢存在跟蹤問題。對于視野問題，在不改變競爭動態(tài)太多的情況下，這可以是有效的。反饋可以是音頻或視聽的。例如，在啟動應(yīng)用活動之前的訓(xùn)練會話中，可指示用戶特定圖標(biāo)意味著特定可見性因素正在影響對用戶姿勢的識別。圖標(biāo)可伴隨特定聲音，以使得用戶知道是他，例如，知道向界內(nèi)移動。因為無法正確地檢測到用戶姿勢可顯著地影響應(yīng)用的執(zhí)行，所以暫停動作(或許伴隨著用戶化身的外觀變化)可以是也被選擇的反饋響應(yīng)。在另一示例中，聲音可被停止。在一些實施例中，跟蹤反饋軟件可以與特定應(yīng)用分開。例如，跟蹤反饋軟件可提供應(yīng)用可向其發(fā)送對反饋響應(yīng)的請求的API。對于希望使用默認(rèn)反饋響應(yīng)的應(yīng)用開發(fā)者而言，這可以是方便的接口。當(dāng)然，可使用除了 API之外的其他構(gòu)造。應(yīng)用軟件可提供除了 API所提供的反饋響應(yīng)之外的其他類型的用戶跟蹤反饋響應(yīng)，或者應(yīng)用開發(fā)者優(yōu)選使用以代替默認(rèn)機制的反饋響應(yīng)。在其他實施例中，反饋響應(yīng)軟件可以完全在應(yīng)用內(nèi)處理或者完全由應(yīng)用無關(guān)軟件處理。本文描述的技術(shù)不限于特定級實現(xiàn)。圖像捕捉系統(tǒng)20識別捕捉區(qū)域中的人類和非人類目標(biāo)(在具有或沒有特殊感測設(shè)備附連到主體的情況下)，在三維空間中唯一地標(biāo)識這些目標(biāo)并跟蹤它們。根據(jù)一示例實施例，圖像捕捉系統(tǒng)20可被配置成經(jīng)由任何合適的技術(shù)，包括例如飛行時間、結(jié)構(gòu)化光、立體圖像等來捕捉包括深度圖像的帶有深度信息的視頻，該深度信息可包括深度值。如圖2所示，根據(jù)一示例性實施例，圖像相機組件70可以包括可用于捕捉捕捉區(qū)域的深度圖像的IR光組件72、三維(3-D)相機74、和RGB相機76。例如，在飛行時間分析中，捕捉系統(tǒng)20的IR光組件72可以將紅外光發(fā)射到捕捉區(qū)域上，然后可以使用傳感器，用例如3-D相機74和/或RGB相機76來檢測從捕捉區(qū)域中的一個或多個目標(biāo)和物體的表面反向散射的光。在某些實施例中，可以使用脈沖式紅外光從而可以測量出射光脈沖和相應(yīng)的入射光脈沖之間的時間差并將其用于確定從捕捉系統(tǒng)20到捕捉區(qū)域中的目標(biāo)或物體上的特定位置的物理距離。另外，在其他示例實施例中，可以將出射光波的相位與入射光波的相位相比較來確定相移。然后可以使用該相移來確定從捕捉系統(tǒng)到目標(biāo)或物體上的特定位置的物理距離。根據(jù)另一示例性實施例，可以使用飛行時間分析來通過經(jīng)由包括例如快門式光脈沖成像在內(nèi)的各種技術(shù)分析反射光束隨時間的強度來間接地確定從捕捉系統(tǒng)20到目標(biāo)或物體上的特定位置的物理距離。在另一示例性實施例中，捕捉系統(tǒng)20可以使用結(jié)構(gòu)化光來捕捉深度信息。在該分析中，圖案化光(即，被顯示為諸如網(wǎng)格圖案或條紋圖案等已知圖案的光)可經(jīng)由例如IR光組件72被投影到捕捉區(qū)域上。在撞擊到捕捉區(qū)域中的一個或多個目標(biāo)或?qū)ο蟮谋砻鏁r，作為響應(yīng)，圖案可變形。圖案的這種變形可由例如3-D相機74和/或RGB相機76來捕捉，然后可被分析來確定從捕捉系統(tǒng)到目標(biāo)或物體上的特定位置的物理距離。根據(jù)另一個實施例，捕捉設(shè)備20可包括可以從不同的角度觀察捕捉區(qū)域的兩個或更多在物理上分離的相機，以獲取可以被解析以生成深度信息的視覺立體數(shù)據(jù)。 作為這些元件所提供的協(xié)作的示例，考慮IR光組件72和3-D相機74可提供捕捉區(qū)域的深度圖像，但是在某些情形中，單獨的深度圖像可能不足以辨別人類目標(biāo)的位置或移動。在這些情形中，RGB相機76可“接管”或補充來自3-D相機的信息以便能夠?qū)θ祟惸繕?biāo)的移動或位置作出更完整的識別。例如，RGB相機可用于識別與一個或多個目標(biāo)相關(guān)聯(lián)的色彩等等。如果用戶正穿著有圖案的襯衫而深度相機不能檢測該圖案，則可使用RGB相機來跟蹤該圖案并提供關(guān)于用戶正在作出的移動的信息。作為另一示例，如果用戶扭曲，則可使用RGB照相機來補充來自一個或多個其他傳感器的信息來確定用戶的運動。作為又一個示例，如果用戶在諸如墻或第二目標(biāo)等另一對象旁邊，則可使用RGB數(shù)據(jù)來在兩個對象之間進(jìn)行區(qū)分。RGB相機還能夠確定用戶的精細(xì)特征，如面部識別、發(fā)色等，這可用于提供附加信息。例如，如果用戶向后轉(zhuǎn)，則RGB相機可使用發(fā)色和/或面部特征的缺乏來確定用戶沒有面對捕捉系統(tǒng)。捕捉設(shè)備20可以交互式速率來捕捉數(shù)據(jù)，從而提高了數(shù)據(jù)的保真度，并允許所公開的技術(shù)處理原始深度數(shù)據(jù)，數(shù)字化場景中的對象，提取對象的表面和紋理，以及實時地執(zhí)行這些技術(shù)中的任一種，以使得顯示畫面(例如16)可以在其顯示屏幕(例如54)上提供該場景的實時描繪。在圖2的系統(tǒng)實施例中，圖像捕捉系統(tǒng)20通信地耦合到諸如圖3A-3B中的計算機系統(tǒng)示例等計算環(huán)境，以發(fā)送運動跟蹤數(shù)據(jù)2051和任選的音頻數(shù)據(jù)217。通信耦合可以一種或多種有線或無線連接來實現(xiàn)，例如USB連接、火線連接、以太網(wǎng)電纜連接等，或諸如無線 802. Ilb,802. Hg,802. Ila 或 802. Iln 連接等無線連接。捕捉系統(tǒng)20還包括用于存儲可由處理器80執(zhí)行的指令以及可以幀格式被捕捉圖像數(shù)據(jù)的存儲器組件82。存儲器組件82可包括隨機存取存儲器(RAM)、只讀存儲器(ROM)、高速緩存、閃存、硬盤、或任何其他合適的存儲組件。在一個實施例中，如所示，存儲器組件82可以是與圖像捕捉組件70和處理器80進(jìn)行通信90的單獨的組件。根據(jù)另一實施例，存儲器組件82可被集成到處理器80和/或圖像捕捉組件70中。捕捉系統(tǒng)20還包括通信上耦合90到圖像相機組件70的處理器80，用以控制圖像相機組件和用于存儲圖像數(shù)據(jù)的存儲器82。處理器80可包括可執(zhí)行指令的標(biāo)準(zhǔn)處理器、專用處理器、微處理器等，這些指令可包括用于存儲簡檔的指令、用于接收深度圖像數(shù)據(jù)的指令、用于以指定的格式將數(shù)據(jù)存儲在存儲器82中的指令、用于確定合適的目標(biāo)是否可被包括在深度圖像中的指令、用于將合適的目標(biāo)轉(zhuǎn)換成該目標(biāo)的骨架表示或其他類型的模型的指令、或任何其他合適的指令。此外，該處理中的某一些可由一個或多個通信地耦合的計算環(huán)境中的其他處理器來執(zhí)行。圖像捕捉系統(tǒng)20中包含處理能力使得用戶的諸如多點骨架模型之類的模型能夠被實時地遞送。在一個實施例中，對捕捉系統(tǒng)的多個組件中的每一個可以有一單獨的處理器，或者可以有單個中央處理器。作為另一示例，可以有中央處理器以及至少一個其他相關(guān)聯(lián)的處理器。如果有高成本計算任務(wù)，則兩個或更多處理器可按任何方式來共享處理任務(wù)。處理器可包括如上所述的存儲器且存儲器可存儲一個或多個用戶簡檔。這些簡檔可存儲身體掃描、典型的使用或玩游戲模式、年齡、身高、體重信息、姓名、化身、高分或任何其他與用戶和系統(tǒng)使用相關(guān)聯(lián)的信息。
捕捉系統(tǒng)20還可包括接收由用戶產(chǎn)生的音頻信號的話筒78。從而，在該實施例中，圖像捕捉系統(tǒng)20是視聽數(shù)據(jù)捕捉系統(tǒng)。捕捉系統(tǒng)中的話筒可被用于提供關(guān)于目標(biāo)的附加和補充信息以使系統(tǒng)能夠更好地辨別目標(biāo)的位置或移動的各方面。例如，話筒可包括方向性話筒或方向性話筒陣列，其可用于進(jìn)一步辨別人類目標(biāo)的位置或在兩個目標(biāo)之間進(jìn)行區(qū)分。例如，如果兩個用戶是相似形狀或大小并且在捕捉區(qū)域中，則可使用話筒來提供關(guān)于用戶的信息，使得用戶可以例如基于其單獨語音的識別來彼此區(qū)分。作為另一示例，話筒可用于向用提供關(guān)于用戶的簡檔，或在“語音一文本”型環(huán)境中，至少一個話筒可用于在計算系統(tǒng)中創(chuàng)建文本。圖像的具有深度值的像素數(shù)據(jù)被稱為深度圖像。根據(jù)一個實施例，深度圖像可包括所捕捉的場景的二維(2-D)像素區(qū)域，其中該2-D像素區(qū)域中的每一像素可具有相關(guān)聯(lián)的深度值，如按照以厘米、毫米等為單位的、所捕捉的場景中的物體距某一參考點(如相對于相機組件70的某一方面)的長度或距離。例如，像素的深度值可以在“Z層”中表示，這些層是與從深度相機70沿其視線延伸的Z軸正交的層。這些深度值可被統(tǒng)稱為深度圖?？梢詫⑸疃葓D像降采樣到較低的處理分辨率，使得該深度圖像可以更容易地用較少的計算開銷來使用和/或更快地處理。例如，所觀測到的深度圖像的各個區(qū)域可以被分離成背景區(qū)域和目標(biāo)的圖像所占據(jù)的區(qū)域。背景區(qū)域可從圖像中被移除或被標(biāo)識以使其可在一個或多個后續(xù)處理步驟期間被忽略。另外，可以從深度圖像移除和/或平滑掉一個或多個高變度和/或有噪聲的深度值。可以填充和/或重構(gòu)遺漏的和/或被移除的深度信息的某些部分。此類回填可通過對最近鄰居求平均、過濾和/或任何其他合適的方法來實現(xiàn)。其他合適的處理可以被執(zhí)行，使得可以將該深度信息用于生成諸如骨架模型之類的模型。圖3A示出了可用于類似于圖1A-1E中的游戲控制臺的計算環(huán)境的實施例的詳細(xì)示例，其中用于提供用戶跟蹤反饋的一個或多個實施例可操作。如圖3A所示，多媒體控制臺100具有包括一級高速緩存102、二級高速緩存104和閃存ROM (只讀存儲器)106的中央處理單元(CPU) 12。一級高速緩存102和二級高速緩存104臨時存儲數(shù)據(jù)，并且因此減少存儲器訪問周期的數(shù)量，由此改進(jìn)處理速度和吞吐量。CPU 101可被提供為具有一個以上的核，并且由此具有附加的一級高速緩存102和二級高速緩存104。閃存ROM 106可存儲在多媒體控制臺12通電時引導(dǎo)過程的初始階段期間加載的可執(zhí)行代碼。圖形處理單元(GPU) 108和視頻編碼器/視頻編解碼器(編碼器/解碼器)114形成用于高速和高分辨率圖形處理的視頻處理流水線。經(jīng)由總線從圖形處理單元108向視頻編碼器/視頻編解碼器114運送數(shù)據(jù)。視頻處理流水線向A/V (音頻/視頻)端口 140輸出數(shù)據(jù)，用于傳輸至電視或其他顯示器。存儲器控制器110連接到GPU 108以方便處理器訪問各種類型的存儲器112，諸如但不局限于RAM (隨機存取存儲器)。多媒體控制臺12包括在模塊110上實現(xiàn)的I/O控制器120、系統(tǒng)管理控制器122、音頻處理單元123、網(wǎng)絡(luò)接口控制器124、第一 USB主控制器126、第二 USB控制器128和前面板I/O子部件130。USB控制器126和128用作外圍控制器142 (I)-142 (2)、無線適配器148、以及外置存儲器設(shè)備146 (例如，閃存、外置⑶/DVD ROM驅(qū)動器、可移動介質(zhì)等)的主機。網(wǎng)絡(luò)接口 124和/或無線適配器148提供對網(wǎng)絡(luò)(例如，因特網(wǎng)、家庭網(wǎng)絡(luò)等)的訪問，并且可以是包括以太網(wǎng)卡、調(diào)制解調(diào)器、藍(lán)牙模塊、電纜調(diào)制解調(diào)器等的各種不同的有線或無線適配器組件中的任何一種。提供系統(tǒng)存儲器143來存儲在引導(dǎo)過程期間加載的應(yīng)用數(shù)據(jù)。提供媒體驅(qū)動器144，且其可包括DVD/⑶驅(qū)動器、硬盤驅(qū)動器、或其他可移動媒體驅(qū)動器等。媒體驅(qū)動器144 可以是對多媒體控制器100內(nèi)置的或外置的。應(yīng)用數(shù)據(jù)可經(jīng)由媒體驅(qū)動器144訪問，以供多媒體控制臺12執(zhí)行、回放等。媒體驅(qū)動器144經(jīng)由諸如串行ATA總線或其他高速連接(例如IEEE 1394)等總線連接到I/O控制器120。在一個實施例中，用于顯示器視圖控制系統(tǒng)202的軟件和數(shù)據(jù)的副本可存儲在介質(zhì)驅(qū)動器144上，并可在執(zhí)行時被加載到系統(tǒng)存儲器143中。系統(tǒng)管理控制器122提供與確保多媒體控制臺12的可用性相關(guān)的各種服務(wù)功能。音頻處理單元123和音頻編解碼器132形成具有高保真度和立體聲處理的相應(yīng)音頻處理流水線。音頻數(shù)據(jù)經(jīng)由通信鏈路在音頻處理單元123與音頻編解碼器132之間傳輸。音頻處理流水線將數(shù)據(jù)輸出到A/V端口 140，以供外置音頻播放器或具有音頻能力的設(shè)備再現(xiàn)。前面板I/O子部件130支持暴露在多媒體控制臺12的外表面上的電源按鈕150和彈出按鈕152、以及任何LED (發(fā)光二極管)或其他指示器的功能。系統(tǒng)供電模塊136向多媒體控制臺12的組件供電。風(fēng)扇138冷卻多媒體控制臺12內(nèi)的電路。多媒體控制臺101內(nèi)的CPU 100、GPU 108、存儲器控制器110、以及各種其他組件經(jīng)由一條或多條總線互連，該總線包括串行和并行總線、存儲器總線、外圍總線、以及使用各種總線體系結(jié)構(gòu)中的任一種的處理器或局部總線。作為示例，這些架構(gòu)可以包括外圍部件互連(PCI)總線、PCI-Express總線等。當(dāng)多媒體控制臺12通電時，應(yīng)用數(shù)據(jù)可從系統(tǒng)存儲器143加載到存儲器112和/或高速緩存102、104中，并且可在CPU 101上執(zhí)行。應(yīng)用可在導(dǎo)航到多媒體控制臺100上可用的不同媒體類型時呈現(xiàn)提供一致的用戶體驗的圖形用戶界面。在操作中，媒體驅(qū)動器144中所包含的應(yīng)用和/或其他媒體可從媒體驅(qū)動器144啟動或播放，以將附加功能提供給多媒體控制臺12。多媒體控制臺12可通過簡單地將該系統(tǒng)連接到電視機或其他顯示器而作為獨立系統(tǒng)來操作。在該獨立模式中，多媒體控制臺12允許一個或多個用戶與該系統(tǒng)交互、看電影、或聽音樂。然而，在通過網(wǎng)絡(luò)接口 124或無線適配器148可用的寬帶連接集成的情況下，多媒體控制臺12還可作為更大網(wǎng)絡(luò)社區(qū)中的參與者來操作。當(dāng)多媒體控制臺12通電時，可以保留設(shè)定量的硬件資源以供多媒體控制臺操作系統(tǒng)作系統(tǒng)使用。這些資源可包括存儲器的保留量(諸如，16MB)、CPU和GPU周期的保留量(諸如，5%)、網(wǎng)絡(luò)帶寬的保留量(諸如，8kbs)，等等。因為這些資源是在系統(tǒng)引導(dǎo)時間保留的，所保留的資源從應(yīng)用的視角而言是不存在的。 具體而言，存儲器保留量足夠大，以包含啟動內(nèi)核、并發(fā)系統(tǒng)應(yīng)用程序和驅(qū)動程序。CPU保留量為恒定，使得若所保留的CPU用量不被系統(tǒng)應(yīng)用使用，則空閑線程將消耗任何未使用的周期。對于GPU保留量，通過使用GPU中斷來調(diào)度代碼以將彈出窗口渲染為覆蓋圖，從而顯示由系統(tǒng)應(yīng)用生成的輕量消息(例如，彈出窗口)。覆蓋圖所需的存儲器量取決于覆蓋區(qū)域大小，并且覆蓋圖與屏幕分辨率成比例縮放。在并發(fā)系統(tǒng)應(yīng)用使用完整用戶界面的情況下，優(yōu)選使用獨立于應(yīng)用分辨率的分辨率。定標(biāo)器可用于設(shè)置該分辨率，從而無需改變頻率和引起TV重新同步。在多媒體控制臺12引導(dǎo)且系統(tǒng)資源被保留之后，執(zhí)行并發(fā)系統(tǒng)應(yīng)用來提供系統(tǒng)功能。系統(tǒng)功能被封裝在上述所保留的系統(tǒng)資源內(nèi)執(zhí)行的一組系統(tǒng)應(yīng)用中。操作系統(tǒng)內(nèi)核標(biāo)識出作為系統(tǒng)應(yīng)用線程而非游戲應(yīng)用線程的線程。系統(tǒng)應(yīng)用被調(diào)度為在預(yù)定時間并以預(yù)定時間間隔在CPU 101上運行，以便提供對應(yīng)用而言一致的系統(tǒng)資源視圖。調(diào)度是為了使在控制臺上運行的游戲應(yīng)用的高速緩存中斷最小化。當(dāng)并發(fā)系統(tǒng)應(yīng)用需要音頻時，由于時間敏感性而將音頻處理異步地調(diào)度給游戲應(yīng)用。多媒體控制臺應(yīng)用管理器(如下所描述的)在系統(tǒng)應(yīng)用活動時控制游戲應(yīng)用的音頻級別(例如，靜音、衰減)。輸入設(shè)備(例如,控制器142(1)和142(2))由游戲應(yīng)用和系統(tǒng)應(yīng)用共享。輸入設(shè)備不是保留資源，而是在系統(tǒng)應(yīng)用和游戲應(yīng)用之間切換以使其各自具有設(shè)備的焦點。應(yīng)用管理器控制輸入流的切換，而無需知曉游戲應(yīng)用的知識，并且驅(qū)動程序維護有關(guān)焦點切換的狀態(tài)信息。圖像捕捉系統(tǒng)20可為控制臺12 (例如，為其相機系統(tǒng))定義附加輸入設(shè)備。圖3B示出了諸如個人計算機之類的計算環(huán)境的另一示例實施例。參考圖3B，用于實現(xiàn)本技術(shù)的一個示例性系統(tǒng)包括計算機310形式的通用計算設(shè)備。計算機310的組件可包括，但不限于，處理單元320、系統(tǒng)存儲器330、以及將包括系統(tǒng)存儲器的各種系統(tǒng)組件耦合到處理單元320的系統(tǒng)總線321。系統(tǒng)總線321可以是若干類型的總線結(jié)構(gòu)中的任一種，包括使用各種總線體系結(jié)構(gòu)中的任一種的存儲器總線或存儲器控制器、外圍總線、以及局部總線。作為示例而非限制，這樣的架構(gòu)包括工業(yè)標(biāo)準(zhǔn)架構(gòu)(ISA)總線、微通道架構(gòu)(MCA)總線、增強型ISA (EISA)總線、視頻電子標(biāo)準(zhǔn)協(xié)會(VESA)局部總線、以及也稱為夾層(Mezzanine)總線的外圍組件互連(PCI)總線。計算機310通常包括各種計算機可讀介質(zhì)。計算機可讀介質(zhì)可以是能由計算機310訪問的任何可用介質(zhì)，而且包含易失性和非易失性介質(zhì)、可移動和不可移動介質(zhì)。作為示例而非限制，計算機可讀介質(zhì)可包括計算機存儲介質(zhì)和通信介質(zhì)。計算機存儲介質(zhì)包括以用于存儲諸如計算機可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊或其它數(shù)據(jù)等信息的任何方法或技術(shù)來實現(xiàn)的易失性和非易失性、可移動和不可移動介質(zhì)。計算機存儲介質(zhì)包括，但不限于，RAM、R0M、EEPR0M、閃存或其他存儲器技術(shù)，CD-ROM、數(shù)字多功能盤(DVD)或其他光盤存儲設(shè)備，磁帶盒、磁帶、磁盤存儲設(shè)備或其他磁存儲設(shè)備，或者能用于存儲所需信息且可以由計算機310訪問的任何其他介質(zhì)。通信介質(zhì)通常以諸如載波或其他傳輸機制等已調(diào)制數(shù)據(jù)信號來體現(xiàn)計算機可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊或其他數(shù)據(jù)，并包括任意信息傳送介質(zhì)。術(shù)語“已調(diào)制數(shù)據(jù)信號”是指使得以在信號中編碼信息的方式來設(shè)定或改變其一個或多個特征的信號。作為示例而非限制，通信介質(zhì)包括諸如有線網(wǎng)絡(luò)或直接線連接之類的有線介質(zhì)，以及諸如聲學(xué)、RF、紅外及其他無線介質(zhì)之類的無線介質(zhì)。上述中任一組合也應(yīng)包括在計算機可讀介質(zhì)的范圍之內(nèi)。系統(tǒng)存儲器330包括易失性和/或非易失性存儲器形式的計算機存儲介質(zhì)，如只讀存儲器(ROM) 331和隨機存取存儲器(RAM) 332。包含諸如在啟動期間幫助在計算機310內(nèi)的元件之間傳輸信息的基本例程的基本輸入/輸出系統(tǒng)333 (BIOS)通常存儲在ROM 331中。RAM 332通常包含處理單元320可立即訪問和/或當(dāng)前正在操作的數(shù)據(jù)和/或程序模塊。作為示例而非限制，圖3B示出操作系統(tǒng)334、應(yīng)用程序335、其它程序模塊336和程序數(shù)據(jù)337。計算機310也可以包括其他可移動/不可移動、易失性/非易失性計算機存儲介質(zhì)。僅作為示例，圖3B示出了對不可移動、非易失性磁介質(zhì)進(jìn)行讀寫的硬盤驅(qū)動器340，對可移動、非易失性磁盤352進(jìn)行讀寫的磁盤驅(qū)動器351，以及對諸如CD ROM或其它光學(xué)介質(zhì)·等可移動、非易失性光盤356進(jìn)行讀寫的光盤驅(qū)動器355?？稍谑纠圆僮鳝h(huán)境中使用的其他可移動/不可移動、易失性/非易失性計算機存儲介質(zhì)包括但不限于，磁帶盒、閃存卡、數(shù)字多功能盤、數(shù)字錄像帶、固態(tài)RAM、固態(tài)ROM等。硬盤驅(qū)動器341通常通過諸如接口 340之類的不可移動存儲器接口連接到系統(tǒng)總線321，并且磁盤驅(qū)動器351和光盤驅(qū)動器355通常通過諸如接口 350之類的可移動存儲器接口連接到系統(tǒng)總線321。上面討論并在圖3B中示出的驅(qū)動器及其相關(guān)聯(lián)的計算機存儲介質(zhì)為計算機310提供了對計算機可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊和其它數(shù)據(jù)的存儲。在圖3B中，例如，硬盤驅(qū)動器341被示為存儲操作系統(tǒng)344、應(yīng)用程序345、其他程序模塊346和程序數(shù)據(jù)347。注意，這些組件可與操作系統(tǒng)334、應(yīng)用程序335、其他程序模塊336和程序數(shù)據(jù)337相同，也可與它們不同。在此操作系統(tǒng)344、應(yīng)用程序345、其他程序模塊346以及程序數(shù)據(jù)347被給予了不同的編號，以說明至少它們是不同的副本。在一個實施例中，用于顯示器視圖控制系統(tǒng)202的軟件和數(shù)據(jù)的副本可存儲在硬盤驅(qū)動器238上所存儲的應(yīng)用程序345和程序數(shù)據(jù)347中，或可遠(yuǎn)程地存儲(如248)。副本也可在執(zhí)行時作為應(yīng)用程序226和程序數(shù)據(jù)228被加載到系統(tǒng)存儲器222中。用戶可以通過輸入設(shè)備，例如鍵盤362和定點設(shè)備361——通常是指鼠標(biāo)、跟蹤球或觸摸墊一向計算機20輸入命令和信息。其他輸入設(shè)備(未示出)可包括話筒、操縱桿、游戲手柄、圓盤式衛(wèi)星天線、掃描儀等。這些以及其他輸入設(shè)備通常通過耦合到系統(tǒng)總線的用戶輸入接口 360連接到處理單元320，但也可通過諸如并行端口、游戲端口或通用串行總線(USB)之類的其他接口和總線結(jié)構(gòu)來連接。監(jiān)視器391或其他類型的顯示設(shè)備也經(jīng)由諸如視頻接口 390之類的接口連接至系統(tǒng)總線321。除了監(jiān)視器以外，計算機還可包括諸如揚聲器397和打印機396之類的其他外圍輸出設(shè)備，它們可通過輸出外圍接口 390來連接。計算機310可使用到一個或多個遠(yuǎn)程計算機(諸如，遠(yuǎn)程計算機380)的邏輯連接而在聯(lián)網(wǎng)環(huán)境中操作。遠(yuǎn)程計算機380可以是個人計算機、服務(wù)器、路由器、網(wǎng)絡(luò)PC、對等設(shè)備或其它常見網(wǎng)絡(luò)節(jié)點，且通常包括上文相對于計算機310描述的許多或所有元件，但在圖3中只示出存儲器存儲設(shè)備381。圖3中所示的邏輯連接包括局域網(wǎng)(LAN) 371和廣域網(wǎng)(WAN)373，但也可以包括其它網(wǎng)絡(luò)。此類聯(lián)網(wǎng)環(huán)境在辦公室、企業(yè)范圍的計算機網(wǎng)絡(luò)、內(nèi)聯(lián)網(wǎng)和因特網(wǎng)中是常見的。當(dāng)在LAN聯(lián)網(wǎng)環(huán)境中使用時，計算機310通過網(wǎng)絡(luò)接口或適配器370連接到LAN371。當(dāng)在WAN聯(lián)網(wǎng)環(huán)境中使用時，計算機310通常包括調(diào)制解調(diào)器372或用于通過諸如因特網(wǎng)等WAN 373建立通信的其他手段。調(diào)制解調(diào)器372可以是內(nèi)置的或外置的，可經(jīng)由用戶輸入接口 360或其他適當(dāng)?shù)臋C制連接到系統(tǒng)總線321。在聯(lián)網(wǎng)環(huán)境中，相對于計算機310所示的程序模塊或其部分可被存儲在遠(yuǎn)程存儲器存儲設(shè)備中。作為示例而非局限，圖3B示出駐留在存儲器設(shè)備381上的遠(yuǎn)程應(yīng)用程序385。應(yīng)當(dāng)理解，所示的網(wǎng)絡(luò)連接是示例性的，并且可使用在計算機之間建立通信鏈路的其他手段。圖4示出了用于其中用于提供用戶跟蹤反饋的一個或多個實施例可操作的聯(lián)網(wǎng)計算環(huán)境的示例實施例。如圖4所示，如圖3A和3B中所示的那些等多個控制臺400A-400X 或處理設(shè)備可耦合到網(wǎng)絡(luò)402，并可經(jīng)網(wǎng)絡(luò)402與具有一個或多個服務(wù)器406的網(wǎng)絡(luò)游戲服務(wù)404通信。服務(wù)器406可包括能夠從控制臺400A-X接收信息并將信息發(fā)送給控制臺400A-X的通信組件，并且可提供運行在控制臺400A-X上的應(yīng)用可調(diào)用和利用的服務(wù)的集
八
口 ο控制臺400A-X可調(diào)用用戶登錄服務(wù)408，該用戶登錄服務(wù)用于在控制臺400A-X上認(rèn)證和標(biāo)識用戶。在登錄期間，登錄服務(wù)408獲得來自用戶的游戲玩家標(biāo)簽(與該用戶相關(guān)聯(lián)的唯一標(biāo)識符)和口令，以及唯一地標(biāo)識用戶正在使用的控制臺的控制臺標(biāo)識符和到該控制臺的網(wǎng)絡(luò)路徑。游戲玩家標(biāo)簽和口令通過將它們與全局用戶簡檔數(shù)據(jù)庫416相比較來被認(rèn)證，該全局用戶簡檔數(shù)據(jù)庫可位于與用戶登錄服務(wù)408相同的服務(wù)器上，或可以分布在不同的服務(wù)器上或不同的服務(wù)器集合上。一旦被認(rèn)證，用戶登錄服務(wù)408就將控制臺標(biāo)識符和網(wǎng)絡(luò)路徑存儲在全局用戶簡檔數(shù)據(jù)庫416中，使得可將消息和信息發(fā)送給控制臺。在一實施例中，控制臺400A-X可包括游戲服務(wù)410、共享服務(wù)412、用戶共享數(shù)據(jù)428以及替代數(shù)據(jù)庫418。游戲服務(wù)可允許用戶玩在線交互式游戲，為在控制臺之間的聯(lián)合玩游戲創(chuàng)建和共享游戲環(huán)境，以及提供諸如在線市場、跨各種游戲的集中成就跟蹤以及其他共享的體驗功能之類的其他服務(wù)。共享服務(wù)412允許用戶與其他用戶共享玩游戲元素。例如，控制臺400X上的用戶可創(chuàng)建在游戲中使用的元素，并向其他用戶共享或售賣它們。此外，用戶可記錄玩游戲體驗的元素，例如競賽的影片或游戲中的各種場景，并與其他用戶共享它們。用戶為了共享或售賣而提供的信息可被存儲在用戶共享數(shù)據(jù)428中。全局用戶簡檔數(shù)據(jù)庫416可包括關(guān)于控制臺400A-X上的全部用戶的信息，如用戶的賬戶信息以及唯一地標(biāo)識每個用戶正在使用的特定控制臺的控制臺標(biāo)識符。全局用戶簡檔數(shù)據(jù)庫416還可包括與控制臺400A-X上的所有用戶相關(guān)聯(lián)的用戶偏好信息。全局用戶簡檔數(shù)據(jù)庫416還可包括關(guān)于諸如與用戶相關(guān)聯(lián)的游戲記錄和朋友列表之類的信息。跟蹤反饋軟件414可以在游戲服務(wù)404中提供。跟蹤反饋軟件可以響應(yīng)被上傳到服務(wù)器并存儲在用戶共享數(shù)據(jù)428中的游戲元素中的姿勢和移動的跟蹤問題。根據(jù)如圖4中提供的游戲系統(tǒng)，可提供任何數(shù)量的聯(lián)網(wǎng)處理設(shè)備。如此，這里提出的技術(shù)可結(jié)合游戲服務(wù)404在一個或多個服務(wù)器406上操作，或可在聯(lián)網(wǎng)環(huán)境中的諸如設(shè)備400A-400X之類的個體處理設(shè)備中提供。圖5描繪了人類用戶500的模型，該模型可以用捕捉系統(tǒng)20和計算環(huán)境12來創(chuàng)建?？梢砸呀?jīng)從視聽數(shù)據(jù)捕捉系統(tǒng)20所捕捉的運動跟蹤數(shù)據(jù)205中生成了用戶的示例性骨架映射500。該模型可由基于姿勢的系統(tǒng)10的一個或多個方面用來確定姿勢等。該模型可由關(guān)節(jié)和骨骼組成。對這些關(guān)節(jié)和骨骼進(jìn)行跟蹤可以使基于姿勢的系統(tǒng)能確定用戶正在作出什么姿勢。這些姿勢可用于控制基于姿勢的系統(tǒng)。在該實施例中，標(biāo)識出各個關(guān)節(jié)和骨骼每個手腕502a、502b ;每個前臂504a、504b ;每個肘506a、506b ;每個二頭肌508a、508b ;每個肩510a、510b ;每個臀512a、512b ;每個大腿514a、514b ;每個膝蓋516a、516b ;每個前腿518a、518b ;每個腳520 a、520b ;頭522 ;軀干524 ;脊椎的頂部526和底部528 ；以及腰530。在跟蹤更多點的情況下，可標(biāo)識出附加的特征，比如面部的各個特征，如鼻和眼。然而，更多的數(shù)據(jù)改變被跟蹤也可能減緩化身顯示。圖6描繪了一系列姿勢，諸如揮手或舉手602、用手臂作出X 604、或者舉起單手擊掌606。盡管未以已經(jīng)描述若干姿勢的任何方式限制，這些姿勢以及任何其他姿勢可以是用于基于姿勢的系統(tǒng)10的命令。在一個實施例中，姿勢可以是通用的，意味著它們不會限于特定的軟件或硬件應(yīng)用。在另一實施例中，在計算環(huán)境12上操作的游戲或其他程序可以是程序?qū)Ｓ玫淖藙荨＠?，將對游戲的控制移交至另一玩家的通用姿勢可以是握手；然而，諸如摔跤游戲這樣的游戲可能具有程序?qū)Ｓ玫淖藙?，在其中如果用戶舉起單手擊掌524就進(jìn)行控制的移交。圖7和8的方法實施例分別是僅僅處于說明性目的而不是對其進(jìn)行限制的方式在圖2的功能性計算機實現(xiàn)的體系結(jié)構(gòu)實施例的上下文中予以討論的。圖7是用于向用戶提供關(guān)于應(yīng)用跟蹤用戶運動的能力的反饋的方法實施例700的流程圖。捕捉系統(tǒng)檢測702捕捉區(qū)域內(nèi)的用戶。運動模塊204接收運動跟蹤數(shù)據(jù)2051以及任選的音頻數(shù)據(jù)217，并基于捕捉系統(tǒng)生成的數(shù)據(jù)來跟蹤704用戶的至少一個身體特征。響應(yīng)于對于正在執(zhí)行的應(yīng)用未滿足用戶跟蹤準(zhǔn)則，跟蹤反饋軟件213確定706反饋響應(yīng)并使得將反饋輸出708給用戶。如上所述，反饋的輸出可包括顯示視覺指示符、提供音頻指示或提供應(yīng)用活動的上下文中的動作。圖8是用于幫助用戶選擇捕捉區(qū)域的方法實施例800的流程圖。跟蹤反饋軟件213顯示指示802用戶將相機的視野定向到測試捕捉區(qū)域的指令，并且捕捉系統(tǒng)20捕捉804該測試捕捉區(qū)域的圖像數(shù)據(jù)。在一個實施例中，跟蹤反饋軟件213可以在顯示器上顯示測試捕捉區(qū)域的圖像數(shù)據(jù)以使得用戶能夠看見他自己。跟蹤反饋軟件213顯示806指示用戶使用至少一個身體部位來做出用于控制正在執(zhí)行的應(yīng)用的活動的至少一個姿勢的指令。運動模塊204跟蹤808做出姿勢的至少一個身體部位的移動。軟件213確定811是否滿足跟蹤準(zhǔn)則。響應(yīng)于滿足用戶跟蹤準(zhǔn)則，跟蹤反饋軟件213確定812測試捕捉區(qū)域的跟蹤質(zhì)量分?jǐn)?shù)。運動模塊204可以向跟蹤反饋軟件213提供表示關(guān)于測試捕捉區(qū)域的特定可見性因素的質(zhì)量的分?jǐn)?shù)或權(quán)重或某一值，以供跟蹤反饋軟件213基于這些可見性因素來與跟蹤準(zhǔn)則進(jìn)行比較。在一個實施例中，然后可對這些因素應(yīng)用加權(quán)算法以確定分?jǐn)?shù)。因素的一些示例包括對應(yīng)于捕捉系統(tǒng)的視野內(nèi)的姿勢的用戶身體部位的位置、捕捉區(qū)域內(nèi)的光照以及身體部位的遮擋。對不同的捕捉區(qū)域進(jìn)行評級或評分，并且推薦818最佳捕捉區(qū)域。在另一替換實施例中，圖像捕捉系統(tǒng)20旋轉(zhuǎn)一定范圍的角度以捕捉房間中的不同視圖，并建議提供最佳跟蹤能力的視圖作為捕捉區(qū)域。具有最佳跟蹤能力的捕捉區(qū)域可經(jīng)由顯示處理模塊207顯示在顯示器16上以便為用戶標(biāo)識該捕捉區(qū)域。運動模塊204可能無法將姿勢與用戶正做出的移動進(jìn)行匹配，并且可以向跟蹤反饋軟件213發(fā)送指示該情況的消息。運動模塊204還可指示導(dǎo)致用戶跟蹤準(zhǔn)則未被滿足的可見性因素。例如，可見性因素光照的代表性質(zhì)量值可指示光照很差。響應(yīng)于用戶跟蹤準(zhǔn)則未被滿足，跟蹤反饋軟件213確定可如何改進(jìn)這些可見性因素中的一個或多個以便進(jìn)行跟蹤，并且向用戶輸出820標(biāo)識捕捉區(qū)域的至少一個改變的反饋以改進(jìn)可見性因素。該反饋可經(jīng)由視覺顯示器輸出或被輸出為音頻消息。跟蹤反饋軟件213確定812測試捕捉區(qū)域的跟蹤質(zhì)量分?jǐn)?shù)。運動模塊204可以向跟蹤反饋軟件213提供表示關(guān)于測試捕捉區(qū)域的特定可見性因素的質(zhì)量的分?jǐn)?shù)或權(quán)重或某一值，跟蹤反饋軟件213可以對這些因素應(yīng)用加權(quán)算法以確定分?jǐn)?shù)。跟蹤反饋軟件213確定814是否有另一測試捕捉區(qū)域要被測試。例如，跟蹤反饋軟件213經(jīng)由顯示器請求關(guān)于是否存在另一測試捕捉區(qū)域的用戶輸入。如果存在另一測試捕捉區(qū)域，則對該測試區(qū)域重復(fù)這些步驟。如果不存在另一測試捕捉區(qū)域，則跟蹤反饋軟件213顯示對具有最佳可見性分?jǐn)?shù)的測試捕捉區(qū)域的推薦。例如，具有最佳分?jǐn)?shù)的測試捕捉區(qū)域被顯示在顯示器上。如果存在另一捕捉區(qū)域，則軟件213顯示802將相機的視野定向到下一捕捉區(qū)域并重復(fù)上述步驟的指令。上述詳細(xì)描述只是為了說明和描述的目的而提出的。并非旨在窮舉所公開的技術(shù)或?qū)⑵湎抻谒_的精確形式。鑒于上述教導(dǎo)，許多修改和變型都是可能的。選擇上述實施例來最好地解釋本技術(shù)的原理及其實踐應(yīng)用，從而使本領(lǐng)域其他人能夠在各種實施例中并用各種適于所構(gòu)想的特定用途的修改一起最好地利用本技術(shù)。而且，應(yīng)當(dāng)注意，說明書中使用的語言原則上是出于可讀性和指示性的目的而選擇的。盡管用結(jié)構(gòu)特征和/或方法動作專用的語言描述了本主題，但可以理解，所附權(quán)利要求書中定義的主題不必限于上述具體特征或動作。更確切而言，上述具體特征和動作是作為實現(xiàn)權(quán)利要求的示例形式公開的。
權(quán)利要求
1.一種在計算機實現(xiàn)的系統(tǒng)中的用于向用戶提供關(guān)于所述系統(tǒng)跟蹤用戶動作的能力的反饋的方法，所述系統(tǒng)執(zhí)行跟蹤用戶動作以控制所顯示的對象的軟件，所述方法包括 用捕捉系統(tǒng)檢測捕捉區(qū)域內(nèi)的用戶； 基于所述捕捉系統(tǒng)生成的數(shù)據(jù)來跟蹤所述用戶的至少一個身體特征； 響應(yīng)于用戶跟蹤準(zhǔn)則未被滿足，確定反饋響應(yīng)；以及 向所述用戶輸出反饋。
2.如權(quán)利要求I所述的方法，其特征在于，還包括其中所述反饋是改變顯示器上的對象的至少一個動作的上下文反饋。
3.如權(quán)利要求2所述的方法，其特征在于，還包括 其中所述捕捉系統(tǒng)是圖像捕捉系統(tǒng)； 其中未被滿足的所述用戶跟蹤準(zhǔn)則是可控制所顯示的對象的所述用戶的身體部位至少部分地在所述圖像捕捉系統(tǒng)的視野之外；以及 其中所述顯示器上的對象的至少一個動作在正在執(zhí)行的軟件的上下文中提供使所述用戶朝著所述視野移動所述身體部位的激勵。
如權(quán)利要求I所述的方法，其特征在于，所述反饋響應(yīng)是基于包括所述用戶的年齡的所述用戶的簡檔來確定的。
4.如權(quán)利要求I所述的方法，其特征在于，所顯示的對象是化身并且向所述用戶輸出反饋響應(yīng)包括改變表示所述用戶的化身的所顯示的外觀。
5.如權(quán)利要求I所述的方法，其特征在于，向所述用戶輸出反饋響應(yīng)包括向所述用戶顯示指示用戶跟蹤準(zhǔn)則未被滿足的視覺指示符。
6.如權(quán)利要求I所述的方法，其特征在于，向所述用戶輸出反饋響應(yīng)包括向所述用戶顯示指示用戶跟蹤準(zhǔn)則未被滿足的音頻指示。
7.如權(quán)利要求I所述的方法，其特征在于，向所述用戶輸出反饋響應(yīng)還包括改變所述用戶的所顯示的視圖的視覺特性。
8.如權(quán)利要求I所述的方法，其特征在于，還包括其中所述用戶跟蹤準(zhǔn)則基于包括以下各項的組的可見性因素 可控制所顯示的對象的所述用戶的身體部位在捕捉系統(tǒng)的視野內(nèi)的位置； 光照； 對比度；以及 所述用戶的身體部位的遮擋。
9.如權(quán)利要求I所述的方法，其特征在于，還包括其中所述用戶跟蹤準(zhǔn)則基于包括以下各項中的一個的作為音頻因素的可區(qū)別性因素 音量；以及 語音的可區(qū)別性。
10.一種系統(tǒng)，所述系統(tǒng)用于向用戶提供關(guān)于所述系統(tǒng)跟蹤用戶動作的能力的反饋，所述系統(tǒng)包括 用于捕捉用戶的圖像數(shù)據(jù)的圖像捕捉系統(tǒng)； 一個或多個處理器，所述一個或多個處理器通信地耦合到所述圖像捕捉系統(tǒng)并且能夠由存儲所述圖像數(shù)據(jù)和指令的存儲器訪問；所述一個或多個處理器執(zhí)行指令，包括 檢測所述圖像數(shù)據(jù)中的用戶的至少一個身體部位， 跟蹤所述至少一個身體部位的移動， 響應(yīng)于用戶跟蹤準(zhǔn)則未被滿足，確定供顯示給用戶的反饋響應(yīng)， 顯示所述反饋；以及 顯示器，所述顯示器通信地耦合到所述一個或多個處理器以向所述用戶顯示所述反饋。
11.如權(quán)利要求11所述的系統(tǒng)，其特征在于，所述一個或多個處理器執(zhí)行指令還包括執(zhí)行用于通過以下動作來幫助所述用戶選擇捕捉區(qū)域的指令 顯示做出所述至少一個身體部位的至少一個移動的指令； 跟蹤所述至少一個身體部位的移動； 響應(yīng)于基于一個或多個可見性因素的用戶跟蹤準(zhǔn)則未被滿足，基于可見性因素來確定測試捕捉區(qū)域的跟蹤質(zhì)量分?jǐn)?shù)； 響應(yīng)基于一個或多個可見性因素的用戶跟蹤準(zhǔn)則未被滿足； 確定可如何改進(jìn)所述圖像數(shù)據(jù)的一個或多個可見性因素以滿足所述用戶跟蹤準(zhǔn)則；以及 向所述用戶顯示標(biāo)識所述捕捉區(qū)域的至少一個改變的反饋以改進(jìn)可見性因素。
12.如權(quán)利要求12所述的系統(tǒng)，其特征在于，所述一個或多個處理器執(zhí)行指令還包括執(zhí)行包括以下各項的指令 基于可見性因素的跟蹤準(zhǔn)則來確定多個測試捕捉區(qū)域中的每一個的跟蹤質(zhì)量分?jǐn)?shù)； 標(biāo)識具有最佳分?jǐn)?shù)的測試捕捉區(qū)域；以及 顯示對所述具有最佳分?jǐn)?shù)的測試捕捉區(qū)域的推薦。
13.如權(quán)利要求12所述的系統(tǒng)，其特征在于，所述一個或多個可見性因素包括以下各項中的一個或多個 所述用戶的至少一個身體部位在捕捉系統(tǒng)的視野內(nèi)的位置； 光照； 對比度；以及 所述用戶的至少一個身體部位的遮擋。
14.如權(quán)利要求11所述的系統(tǒng)，其特征在于，所述顯示器是屏幕外顯示設(shè)備。
全文摘要
呈現(xiàn)了用于向用戶提供關(guān)于正在執(zhí)行的應(yīng)用跟蹤用于控制計算機系統(tǒng)上的正在執(zhí)行的應(yīng)用的用戶動作的能力的反饋的技術(shù)。捕捉系統(tǒng)檢測捕捉區(qū)域內(nèi)的用戶。捕捉區(qū)域和用戶動作中的各種因素可能對應(yīng)用確定用戶移動是否是作為對該應(yīng)用的控制或指令的能力產(chǎn)生不利影響。這些因素的一個示例是用戶在捕捉系統(tǒng)的視野外。某一其他因素示例包括捕捉區(qū)域內(nèi)的光照條件和障礙物。響應(yīng)于用戶跟蹤準(zhǔn)則未被滿足，向用戶輸出反饋。在一些實施例中，該反饋在正在執(zhí)行的應(yīng)用的上下文中提供。
文檔編號G06F3/03GK102947777SQ201180030882
公開日2013年2月27日 申請日期2011年6月14日 優(yōu)先權(quán)日2010年6月22日
發(fā)明者D·易, K·S·佩雷斯 申請人:微軟公司