自主nui設(shè)備的自發(fā)現(xiàn)的制作方法
【專利說明】自主NUI設(shè)備的自發(fā)現(xiàn)
[0001]
[0002]在過去，諸如計(jì)算機(jī)游戲和多媒體應(yīng)用之類的計(jì)算應(yīng)用已使用控制器、遙控器、鍵盤、鼠標(biāo)等來允許用戶操縱應(yīng)用的游戲角色或其他方面。近來，計(jì)算機(jī)游戲和多媒體應(yīng)用已開始使用相機(jī)和運(yùn)動(dòng)識(shí)別來提供人機(jī)接口(“HCI”)。使用HCI，檢測(cè)、解釋用戶姿勢(shì)并使用用戶姿勢(shì)來控制應(yīng)用的游戲角色或其他方面。
[0003]存在其中用戶尋求在同一位置使用不同的處理設(shè)備來共同參與游戲的多個(gè)游戲應(yīng)用。通常，當(dāng)使用成像來提供人機(jī)接口的設(shè)備中的每一者都在其自身的處理系統(tǒng)上分開地操作時(shí)，這些設(shè)備不具有用于確保正確操作的機(jī)制。
[0004]概述
[0005]提供了使得多個(gè)捕捉設(shè)備能夠在同一物理空間中以自主方式進(jìn)行交互的技術(shù)。每一捕捉設(shè)備都包括使用具有視野和照明源的成像傳感器來捕捉用戶在第一物理環(huán)境中的設(shè)備檢測(cè)移動(dòng)的能力。在初始化或校準(zhǔn)設(shè)備之際，代碼指令控制照明源和傳感器的處理器使照明源斷電并使用深度成像傳感器掃描視野以查找在循環(huán)時(shí)間窗口中操作的任何其他照明源。如果檢測(cè)到任何其他照明源，則確定該循環(huán)窗口內(nèi)其他照明源的操作時(shí)間窗口的定時(shí)，并在這些操作窗口之外但在這些設(shè)備的循環(huán)脈寬窗口之內(nèi)建立當(dāng)前設(shè)備的非沖突操作窗口。這允許每一設(shè)備在此后通過使深度照明源重復(fù)地在任何現(xiàn)有操作窗口之外的時(shí)間處加入新循環(huán)操作窗口來在其自己的操作窗口內(nèi)操作，并在該新操作窗口內(nèi)接收從該設(shè)備照明源反射的照明。
[0006]提供本概述是為了以精簡的形式介紹將在以下詳細(xì)描述中進(jìn)一步描述的一些概念。該概述不意圖標(biāo)識(shí)所要求保護(hù)的主題的關(guān)鍵特征或基本特征，也不意圖被用來幫助確定所要求保護(hù)的主題的范圍。
[0007]附圖簡沐
[0008]圖1示出了目標(biāo)識(shí)別、分析及跟蹤系統(tǒng)的一個(gè)實(shí)施例，其中用戶正執(zhí)行姿勢(shì)以控制用戶界面。
[0009]圖2示出根據(jù)本技術(shù)的捕捉設(shè)備的一個(gè)實(shí)施例。
[0010]圖3示出本技術(shù)的相機(jī)照明和捕捉技術(shù)的一個(gè)實(shí)施例。
[0011]圖4是描述用于跟蹤用戶運(yùn)動(dòng)的過程的一個(gè)實(shí)施例的流程圖。
[0012]圖5是對(duì)物理空間中正利用兩個(gè)不同的捕捉設(shè)備和處理系統(tǒng)的兩個(gè)用戶的描繪。
[0013]圖6是描述用于在存在其他捕捉設(shè)備的情況下校準(zhǔn)或初始化一捕捉設(shè)備的一個(gè)實(shí)施例的流程圖。
[0014]圖7A和7B相對(duì)于循環(huán)窗口示出各操作窗口。
[0015]圖8示出了根據(jù)本技術(shù)的第一處理設(shè)備。
[0016]圖9示出了根據(jù)本技術(shù)的第二處理設(shè)備。
[0017]詳細(xì)描沐
[0018]提供了用于使得提供自然用戶界面的多個(gè)捕捉設(shè)備能夠在同一物理空間中進(jìn)行交互的技術(shù)。每一捕捉設(shè)備都包括捕捉檢測(cè)用戶在第一物理環(huán)境中的移動(dòng)的設(shè)備的能力。每一捕捉設(shè)備都包括具有視野的深度成像傳感器和設(shè)備照明源。在初始化或校準(zhǔn)設(shè)備之際，代碼指令控制照明源和傳感器的處理器使照明源斷電并使用深度成像傳感器來掃描視野以查找該捕捉設(shè)備附近的、在循環(huán)時(shí)間窗口中操作的任何其他照明源。如果檢測(cè)到任何其他照明源，則確定關(guān)于循環(huán)窗口內(nèi)的其他照明源的任何操作時(shí)間窗口，并在這些操作窗口之外但在這些設(shè)備的循環(huán)脈寬窗口之內(nèi)建立當(dāng)前設(shè)備的非沖突操作窗口。這允許每一設(shè)備在此后通過使深度照明源在任何現(xiàn)有操作窗口之外的時(shí)間處重復(fù)地加入新循環(huán)操作窗口來在其自己的操作窗口之內(nèi)操作，并在新操作窗口內(nèi)接收從該設(shè)備照明源反射的照明。
[0019]圖1示出了目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)10(下文中統(tǒng)稱為跟蹤系統(tǒng))的一個(gè)實(shí)施例，其中用戶18正在與用戶界面23進(jìn)行交互。目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)10可用來識(shí)別、分析和/或跟蹤諸如用戶18之類的人類目標(biāo)，并提供人類控制的界面。
[0020]如圖1所示，跟蹤系統(tǒng)10可包括計(jì)算環(huán)境12。計(jì)算環(huán)境12可以是計(jì)算機(jī)、游戲系統(tǒng)或控制臺(tái)等。根據(jù)一個(gè)實(shí)施例，計(jì)算環(huán)境12可包括硬件組件和/或軟件組件，使得計(jì)算環(huán)境12可用于執(zhí)行操作系統(tǒng)和諸如游戲應(yīng)用、非游戲應(yīng)用等的應(yīng)用。在一個(gè)實(shí)施例中，計(jì)算環(huán)境12可包括諸如標(biāo)準(zhǔn)化處理器、專用處理器、微處理器等處理器，該處理器可執(zhí)行存儲(chǔ)在處理器可讀存儲(chǔ)設(shè)備上的用于執(zhí)行本文中描述的過程的指令。
[0021]如圖1所示，跟蹤系統(tǒng)10還可包括捕捉設(shè)備20。捕捉設(shè)備20可以是例如相機(jī)，該相機(jī)可用于在視覺上監(jiān)視諸如用戶18之類的一個(gè)或多個(gè)用戶，以使得可以捕捉、分析并跟蹤一個(gè)或多個(gè)用戶所執(zhí)行的姿勢(shì)以執(zhí)行針對(duì)操作系統(tǒng)或應(yīng)用的用戶界面的一個(gè)或多個(gè)控制或動(dòng)作。
[0022]捕捉設(shè)備可被定位在三軸定位馬達(dá)上，從而允許捕捉設(shè)備相對(duì)于其上安裝該捕捉設(shè)備的底座元件移動(dòng)。定位馬達(dá)使得捕捉設(shè)備能夠掃描其中放置有捕捉設(shè)備20的物理環(huán)境100的更大范圍。
[0023]根據(jù)一個(gè)實(shí)施例，跟蹤系統(tǒng)10可連接至可向諸如用戶18等的用戶提供游戲或應(yīng)用視覺和/或音頻的視聽設(shè)備16，諸如電視機(jī)、監(jiān)視器、高清電視機(jī)(HDTV)等。例如，計(jì)算環(huán)境12可包括諸如圖形卡之類的視頻適配器和/或諸如聲卡之類的音頻適配器，這些適配器可提供與游戲應(yīng)用、非游戲應(yīng)用等相關(guān)聯(lián)的視聽信號(hào)。視聽設(shè)備16可以接收來自計(jì)算環(huán)境12的視聽信號(hào)，并可向用戶18輸出與該視聽信號(hào)相關(guān)聯(lián)的游戲或應(yīng)用視覺和/或音頻。根據(jù)一個(gè)實(shí)施例，視聽設(shè)備16可經(jīng)由例如S-視頻電纜、同軸電纜、HDMI電纜、DVI電纜、VGA電纜等連接到計(jì)算環(huán)境12。
[0024]如圖1所示，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)10可用于識(shí)別、分析和/或跟蹤諸如用戶18之類的一個(gè)或多個(gè)人類目標(biāo)。例如，可使用捕捉設(shè)備20來跟蹤用戶18，使得可將用戶18的移動(dòng)解釋為可用于影響正由計(jì)算環(huán)境12執(zhí)行的應(yīng)用或操作系統(tǒng)的控制。
[0025]考慮諸如在計(jì)算環(huán)境12上執(zhí)行的拳擊游戲之類的用戶界面應(yīng)用。計(jì)算環(huán)境12可以使用視聽設(shè)備16來向用戶18提供拳擊對(duì)手的視覺表示，并使用視聽設(shè)備16來提供用戶18可用他或她的移動(dòng)來控制的游戲化身的視覺表示。用戶18可在物理空間中作出移動(dòng)(例如，揮拳)以使得玩家化身在游戲空間中作出相應(yīng)的移動(dòng)?？稍谖锢砜臻g中識(shí)別并分析用戶的移動(dòng)，使得執(zhí)行用于對(duì)游戲空間中玩家化身的游戲控制的相應(yīng)移動(dòng)。
[0026]某些移動(dòng)可被解釋為可與除控制玩家化身或其他游戲?qū)ο笾獾膭?dòng)作相對(duì)應(yīng)的控制。例如，玩家可以使用移動(dòng)來結(jié)束、暫停或保存游戲、選擇級(jí)別、查看高分、與朋友交流等。事實(shí)上操作系統(tǒng)和/或應(yīng)用的任何可控方面可由諸如用戶18等目標(biāo)的移動(dòng)來控制。玩家可使用移動(dòng)來從主用戶界面選擇游戲或其他應(yīng)用。用戶18的全范圍運(yùn)動(dòng)可以用任何合適的方式來獲得、使用并分析以與應(yīng)用或操作系統(tǒng)進(jìn)行交互。
[0027]在圖1中，用戶18正與跟蹤系統(tǒng)10交互以控制系統(tǒng)用戶界面(UI) 23，在該具體示例中該系統(tǒng)用戶界面正在顯示菜單項(xiàng)320-330的列表310。個(gè)體項(xiàng)目可代表應(yīng)用或其他UI對(duì)象。用戶可在列表310中向左或向右滾動(dòng)(如從用戶的視點(diǎn)來看)以查看不在當(dāng)前顯示中但也與該列表相關(guān)聯(lián)的其他菜單項(xiàng)，選擇該菜單項(xiàng)以觸發(fā)諸如打開該菜單項(xiàng)所表示的應(yīng)用之類的動(dòng)作或?qū)υ擁?xiàng)的進(jìn)一步UI控制。用戶還可通過UI回退移動(dòng)到UI層次結(jié)構(gòu)中更高級(jí)的菜單項(xiàng)。
[0028]該系統(tǒng)可包括姿勢(shì)識(shí)別，以使得用戶可通過執(zhí)行一個(gè)或多個(gè)姿勢(shì)來控制正在計(jì)算環(huán)境12上執(zhí)行的應(yīng)用或操作系統(tǒng)，計(jì)算環(huán)境12如以上所討論的可以是游戲控制臺(tái)、計(jì)算機(jī)等。在一個(gè)實(shí)施例中，姿勢(shì)識(shí)別器引擎(其架構(gòu)在以下更完全描述)用于從用戶的骨架模型確定用戶何時(shí)作出了特定姿勢(shì)。
[0029]—般來說，如圖1中所指示的，用戶18在使用捕捉設(shè)備20時(shí)被限制于物理環(huán)境100。環(huán)境100 —般是捕捉設(shè)備20的最佳執(zhí)行范圍。
[0030]虛擬對(duì)象導(dǎo)航系統(tǒng)可利用身體部位跟蹤系統(tǒng)，該身體部位跟蹤系統(tǒng)使用諸如頭部、肩部、髖中心、膝蓋、踝部等一些身體部位的位置來計(jì)算一些導(dǎo)出量，并隨后使用這些量來按模擬方式而非數(shù)字方式實(shí)時(shí)地連續(xù)(即逐幀地)計(jì)算出虛擬觀察者的相機(jī)位置(即，用戶的細(xì)微移動(dòng)導(dǎo)致相機(jī)的細(xì)微移動(dòng)，以使得不是簡單的向左/向右移動(dòng)，用戶可精確地向左/向右或以任何其他方向慢速或快速地移動(dòng)相機(jī))。
[0031]例如，手或其他身體部位的各種運(yùn)動(dòng)可對(duì)應(yīng)于常見的系統(tǒng)級(jí)任務(wù)，諸如在分層菜單結(jié)構(gòu)中向上或向下導(dǎo)航、在菜單列表中滾動(dòng)各項(xiàng)、打開文件、關(guān)閉文件和保存文件。姿勢(shì)也可取決于游戲在視頻游戲?qū)Ｓ蒙舷挛闹惺褂?。例如，在駕駛游戲中，手和腳的各種運(yùn)動(dòng)可對(duì)應(yīng)于在某方向上駕駛車輛、換檔、加速和剎車。
[0032]在圖1中，用戶執(zhí)行用右手的姿勢(shì)以如從用戶的視點(diǎn)來看向左滾動(dòng)菜單項(xiàng)列表。如圖1中所示，用戶以他的右手在位置304開始，然后朝向他的身體的左側(cè)將右手移動(dòng)到位置306。當(dāng)用戶以他的手在位置304開始該姿勢(shì)時(shí)，菜單項(xiàng)320-328的列表310處于圖1中的第一位置。在圖2中，用戶已經(jīng)將其手移到位置306，通過將菜單項(xiàng)的列表310向左滾動(dòng)使得菜單項(xiàng)的列表改變。作為向左(如在用戶18的視角中定義的)滾動(dòng)的結(jié)果，已將菜單項(xiàng)320從該列表移走。項(xiàng)322-328中的每一者都已向左移動(dòng)一個(gè)位置，從而取代緊接在前的項(xiàng)的位置。作為從右到左滾動(dòng)的結(jié)果，已將項(xiàng)330添加到列表。
[0033]圖2示出了捕捉設(shè)備20和計(jì)算設(shè)備12的一個(gè)實(shí)施例，它們可以在目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)10中使用，以識(shí)別捕捉環(huán)境100中的人類或非人類目標(biāo)(而無需將特殊的感測(cè)設(shè)備附連到這些主體)，并在三維空間中唯一地標(biāo)識(shí)這些目標(biāo)并跟蹤這些目標(biāo)。根據(jù)一個(gè)實(shí)施例，捕捉設(shè)備20可被配置成經(jīng)由任何合適的技術(shù)，包括例如飛行時(shí)間、結(jié)構(gòu)化光、立體圖像等來捕捉具有深度信息的視頻，該深度信息包括可以包括深度值的深度圖像。根據(jù)一個(gè)實(shí)施例，捕捉設(shè)備20可將計(jì)算出的深度信息組織成“Z層”，即可與從深度相機(jī)沿其視線延伸的Z軸相垂直的層。
[0034]如圖2所示，捕捉設(shè)備20可包括圖像相機(jī)組件32。根據(jù)一個(gè)