在過程期間跟蹤對象的制作方法
【專利摘要】公開了涉及在利用對象的過程期間跟蹤一個或多個對象的實施例。例如，一個實施例提供用于監(jiān)控涉及一個或多個對象的過程的執(zhí)行的方法，其中該方法包括接收規(guī)定過程的一個或多個部分的一組規(guī)則以及接收關(guān)于一個或多個對象的對象識別信息。該方法還包括：對于過程的選定部分，接收物理場景的圖像信息，從圖像信息和對象識別信息識別對物理場景中的所識別的對象執(zhí)行的操作，以及基于操作是否滿足這組規(guī)則中的與過程的選定部分相關(guān)的規(guī)則來采取行動。
【專利說明】
在過程期間跟蹤對象
【背景技術(shù)】
[0001]很多過程涉及對象的操縱。例如，系統(tǒng)(例如一件家具或引擎的組裝或拆卸)可包括很多單獨的步驟，每個步驟涉及可能大量對象的運動、放置和/或修改。因此，用于在涉及操縱對象的過程期間制造錯誤的很多機會可能存在。

【發(fā)明內(nèi)容】

[0002]公開了涉及在利用對象的過程期間跟蹤一個或多個對象的實施例。例如，一個所公開的實施例提供用于監(jiān)控涉及一個或多個對象的過程的執(zhí)行的方法，其中該方法包括接收規(guī)定過程的一個或多個部分的一組規(guī)則以及接收關(guān)于一個或多個對象的對象識別信息。該方法還包括:對于過程的選定部分，接收物理場景的圖像信息，從圖像信息和對象識別信息識別對物理場景中的所識別的對象執(zhí)行的操作，以及基于操作是否滿足這組規(guī)則中的與過程的選定部分相關(guān)的規(guī)則來采取行動。
[0003]這個
【發(fā)明內(nèi)容】
被提供來以簡化的形式介紹一系列概念，其在下面在【具體實施方式】中被進一步描述。這個
【發(fā)明內(nèi)容】
并不打算識別所主張的主題的關(guān)鍵特征或必要特征，也不打算用作限制所主張的主題的范圍。此外，所主張的主題不限于解決在本公開的任何部分中提到的任何或所有缺點的實施方式。
【附圖說明】
[0004]圖1-3示出根據(jù)本公開的實施例的用戶執(zhí)行在示例環(huán)境中的過程的示意性描述。
[0005]圖4示出圖示用于在過程的執(zhí)行期間跟蹤一個或多個對象的方法的實施例的流程圖。
[0006]圖5示出用于培訓(xùn)計算系統(tǒng)以識別對一個或多個對象執(zhí)行的過程的方法的實施例。
[0007]圖6示意性示出非限制性計算系統(tǒng)。
【具體實施方式】
[0008]可提供各種形式的指令以幫助人學(xué)習(xí)或以其它方式遵循涉及操縱對象的復(fù)雜過程。例如，指令可采取演示該過程的靜態(tài)圖和/或文本或視頻的形式。然而，這樣的指令在一些情況下可能難以理解并遵循，或以其它方式令用戶困惑。此外，用戶可能難以確定他們是否正確地執(zhí)行過程。
[0009]相應(yīng)地，在本文公開了涉及自動觀察用戶執(zhí)行過程以確定用戶是否正確地執(zhí)行過程的實施例。此外，可向用戶提供反饋以幫助用戶正確地執(zhí)行過程。簡要地，圖像傳感器例如深度攝像機可收集捕獲執(zhí)行過程的用戶的圖像數(shù)據(jù)?；谒占膱D像數(shù)據(jù)，可識別并跟蹤用戶和在場景中的對象。從圖像數(shù)據(jù)檢測的對象的運動可與規(guī)定過程的每個步驟的一組規(guī)則比較。基于這些比較，用戶可被通知他或她是否正確地執(zhí)行過程，且如果否，則可指導(dǎo)他或她如何正確地執(zhí)行過程。所公開的實施例也可用于質(zhì)量控制，用于檢查工人生產(chǎn)率，并用于其它任務(wù)，其中過程如何被執(zhí)行的觀察可能是有價值的。
[0010]圖1示出非限制性例子使用環(huán)境100，其包括通信地連接到顯示設(shè)備104和傳感器系統(tǒng)106的計算設(shè)備102。雖然環(huán)境100被示為房間，使用環(huán)境可以是任何適當(dāng)?shù)奈锢砜臻g，包括戶內(nèi)和/或戶外環(huán)境。計算設(shè)備102可用于玩各種不同的游戲，播放一種或多種不同的媒體類型，和/或控制或操縱非游戲應(yīng)用和/或操作系統(tǒng)。計算設(shè)備102可從一個或多個控制設(shè)備接收輸入，一個或多個控制設(shè)備可包括任何適當(dāng)?shù)目刂圃O(shè)備例如游戲控制器、遙控器、移動計算設(shè)備等。
[0011 ]傳感器系統(tǒng)106可包括可見光攝像機(例如RGB攝像機)、立體聲或陣列攝像機系統(tǒng)和/或深度攝像機(例如飛行時間和/或結(jié)構(gòu)化光深度攝像機)。例如，傳感器系統(tǒng)106可包括配置成對環(huán)境100成像的一個或多個傳感器、透鏡元件和/或光源。由深度攝像機捕獲的深度圖像可指示由每個像素成像的表面的深度，以便提供關(guān)于環(huán)境100的一個或多個特征的信息。傳感器系統(tǒng)106可包括額外的傳感器，包括但不限于一個或多個麥克風(fēng)(例如定向麥克風(fēng)陣列)。傳感器系統(tǒng)106可經(jīng)由一個或多個接口經(jīng)由任何適當(dāng)?shù)挠芯€或無線數(shù)據(jù)連接來產(chǎn)生并發(fā)送圖像到計算設(shè)備102。雖然在圖1中示出單個傳感器系統(tǒng)106，應(yīng)理解，一個或額外的攝像機可被包括在環(huán)境中，且一個或多個攝像機可以在環(huán)境(例如集成到移動設(shè)備(例如智能電話、平板計算機或膝上型計算機)內(nèi)的攝像機)內(nèi)是可移動的。
[0012]計算設(shè)備可利用來自傳感器系統(tǒng)106的信息來通過下列操作觀察用戶110對在真實世界環(huán)境中的一個或多個對象執(zhí)行過程:當(dāng)對象在該過程的執(zhí)行期間被操縱時跟蹤用戶和在環(huán)境中的一個或多個對象的運動，以及將該運動與規(guī)定過程步驟的規(guī)則比較。在提供反饋的實施例中，如果在該過程中的操作不滿足那個操作的規(guī)則的條件，則可例如通過經(jīng)由顯示設(shè)備、揚聲器和/或以其它適當(dāng)?shù)男问捷敵鲋笇?dǎo)信息而指導(dǎo)用戶如何滿足規(guī)則。
[0013]計算設(shè)備102可得到對象識別信息以幫助識別在過程中使用的一個或多個對象。所得到的對象識別信息可連同從傳感器系統(tǒng)106實時(即當(dāng)用戶對對象執(zhí)行過程時)接收的圖像信息一起被使用以識別在物理場景中的一個或多個對象。對象識別信息可包括允許對象被識別的任何適當(dāng)?shù)男畔?。例如，對于每個對象，對象識別信息可包括三維對象數(shù)據(jù)(例如用于執(zhí)行圖案匹配)和/或識別功能(例如用于執(zhí)行分類)。
[0014]對象識別信息可由計算設(shè)備102以任何適當(dāng)?shù)姆绞降玫健Ｗ鳛橐粋€非限制性例子，對象識別信息可從遠程服務(wù)被得到一一用戶可在遠程服務(wù)處得到用于特定過程的指導(dǎo)信息(例如用于經(jīng)由過程將被組裝的產(chǎn)品的指導(dǎo)網(wǎng)站)，并可連同待執(zhí)行的過程的一組規(guī)則一起被得到。同樣，也可得到用于在過程中未特別使用的對象的識別信息。例如，可針對利用工具來幫助區(qū)分開不正確的工具與正確的工具的過程得到用于常見工具的識別信息。
[0015]對象識別信息可用于將所成像的物理場景分割成一個或多個已分割的對象，且也將已分割的對象分類以便確定每個對象的身份而不考慮對象的方位如何。例如，扳手的對象識別信息可允許扳手114從任何角度或位置被識別，且可能當(dāng)它由用戶110的手握住并因此被部分地擋住時。此外，當(dāng)對象被操縱時，對象的運動可在六個自由度中被跟蹤，且在整個步驟中對象的位置可被跟蹤并與那個步驟的規(guī)則比較。
[0016]在圖1的例子中，用戶110可修理在自行車112上的后變速器系統(tǒng)。因此，用于跟蹤過程的執(zhí)行的這組規(guī)則可規(guī)定用于修理后變速器系統(tǒng)的多個步驟。過程的每個步驟可由這樣的參數(shù)規(guī)定為開始位置、結(jié)束位置和可能在開始位置和結(jié)束位置之間的路徑。當(dāng)用戶執(zhí)行修理過程時，計算設(shè)備102使用對象識別信息來識別在操作中使用的對象(例如變速器滑輪、變速器滑輪螺栓、自行車后輪和在該過程中使用的工具)。
[0017]如在本文使用的，可根據(jù)適當(dāng)?shù)淖鴺?biāo)系來規(guī)定所識別的對象的各種位置、地點和路徑。在一個例子中，坐標(biāo)系可基于攝像機。在另一例子中，坐標(biāo)系可以是絕對世界坐標(biāo)系，其中系統(tǒng)維持在攝像機的視野和世界坐標(biāo)系之間的映射。又一例子是相對于系統(tǒng)中的其它部件的坐標(biāo)系(例如可相對于自行車的位置來規(guī)定自行車變速器過程的對象的路徑和位置)。
[0018]在這樣的修理過程中的一個可能的步驟可以是使變速器滑輪螺栓122變緊。這樣的步驟可包括規(guī)定將用于該步驟的工具、變速器滑輪螺栓的開始位置(例如未完全擰到變速器滑輪內(nèi)，如由在螺栓頭和滑輪之間的較大偏移規(guī)定的)和結(jié)束位置(例如完全擰到變速器滑輪內(nèi)，如由較小偏移規(guī)定的)的規(guī)則。當(dāng)用戶執(zhí)行該過程時，這些條件中的每個在該步驟被確定為被正確地執(zhí)行之前被滿足。此外，在未正確地執(zhí)行任何步驟的場合，可將反饋提供給用戶。
[0019]在圖1的例子中，在過程中的步驟可包括選擇擱置在桌子120上的阿倫扳手116。因此，針對在過程中的這個步驟的規(guī)則可能在該規(guī)則被滿足之前需要阿倫扳手116的選擇。如圖1所示，用戶110已選擇扳手114而不是阿倫扳手116。計算設(shè)備102可識別出用戶已選擇扳手114，以及該扳手114不滿足該規(guī)則。在這個實例中，計算設(shè)備102可警告用戶錯誤的工具被選擇，并可指導(dǎo)用戶如何滿足規(guī)則。圖2示出以房間的一部分的增強現(xiàn)實視圖130的形式的由計算設(shè)備102提供的指導(dǎo)輸出的例子，增強現(xiàn)實視圖130示出桌子121的圖像或表示、在桌子上的阿倫扳手117和螺絲起子119的圖像或表示并且高亮以向用戶110演示選擇阿倫扳手116。替代地或此外，計算設(shè)備102可輸出指示用戶110應(yīng)選擇阿倫扳手116的聽覺指令124。應(yīng)理解，這些特定的指導(dǎo)輸出為了例子的目的而被描述且并且非旨在以任何方式是限制性的。
[0020]如前面規(guī)定的，一旦計算設(shè)備102確定了由用戶執(zhí)行的操作滿足規(guī)則，過程就可前進到過程的隨后部分。例如，圖3示出用戶撿起阿倫扳手116，且因此滿足該規(guī)則。在過程中的下一步驟可包括將滑輪螺栓122移動到特定的結(jié)束位置。作為指導(dǎo)助手，計算設(shè)備102經(jīng)由顯示設(shè)備104輸出另一增強現(xiàn)實圖像140。增強現(xiàn)實視圖140顯示圍繞滑輪螺栓122的自行車113的一部分的表示。阿倫扳手117的表示被顯示在自行車113的表示之上。此外，指導(dǎo)手
111在規(guī)定的位置上握住阿倫扳手117的表示，使得阿倫扳手117的表示嚙合滑輪螺栓的表示。箭頭被顯示為順時針旋轉(zhuǎn)阿倫扳手116的指令。此外，聽覺指令126還指導(dǎo)用戶110順時針旋轉(zhuǎn)阿倫扳手116。
[0021]如上所述，用戶可被指導(dǎo)如何執(zhí)行過程的步驟，如果用戶未能正確地執(zhí)行該步驟的話。此外，在一些實施例中，用戶也可在試圖執(zhí)行該步驟之前被指導(dǎo)如何滿足規(guī)則。在這樣的情況下，當(dāng)確定以前的規(guī)則被滿足時可輸出指令。
[0022]可以用任何適當(dāng)?shù)姆绞揭?guī)定過程的步驟。例如，過程可被規(guī)定為在六個自由度的至少一個中的對象的運動。以這種方式，對象的運動可包括扭轉(zhuǎn)、旋轉(zhuǎn)、拉或其它類型的運動。此外，可以不充分規(guī)定在操作期間對象的運動。例如在一些規(guī)則中，可以不規(guī)定開始位置或結(jié)束位置。作為更特定的例子，步驟可包括從自行車移除特定的對象(例如踏板)，其中未規(guī)定結(jié)束位置。在這個方面中，一旦踏板從自行車被移除，操作就可滿足規(guī)則，而不考慮踏板在移除之后放置在哪里。同樣，可以或可以不在各種規(guī)則中規(guī)定在過程期間的對象的路徑。
[0023]圖4和5示出用于在過程期間跟蹤對象的方法的實施例。圖4示出用于在觀察和/或教導(dǎo)模式中指導(dǎo)用戶的方法400的實施例，而圖5示出用于在學(xué)習(xí)模式中指導(dǎo)用戶的方法500的實施例。在觀察模式中，可觀察到執(zhí)行過程的用戶，但可以不提供關(guān)于步驟的指令。觀察模式可用于質(zhì)量控制、審計和其它這樣的目的。類似地，指導(dǎo)模式可用于觀察執(zhí)行過程的用戶并提供教導(dǎo)用戶執(zhí)行過程的反饋。相反，學(xué)習(xí)模式可用于培訓(xùn)計算設(shè)備來識別過程并規(guī)定過程的規(guī)則?？筛鶕?jù)所存儲的指令并使用從圖像傳感器例如合并在傳感器系統(tǒng)106中的圖像傳感器接收的物理場景的圖像信息由一個或多個計算設(shè)備(例如計算設(shè)備102)執(zhí)行方法400和500。
[0024]在支持在多個模式中操作的實施例中，方法400可包括在402設(shè)置操作模式。設(shè)置操作模式可包括例如接收關(guān)于操作模式的用戶輸入。設(shè)置操作模式還可包括觀察用戶和在物理場景中的任何識別出的對象的運動以及確定用戶是否正執(zhí)行已知或未知的過程。如果用戶正執(zhí)行已知的過程(例如用戶以前執(zhí)行的和/或計算設(shè)備識別的過程)，則計算設(shè)備可在教導(dǎo)和觀察模式的一個或多個中操作。如果用戶正執(zhí)行未知的過程，則計算設(shè)備可請求用戶是否希望在學(xué)習(xí)模式中操作，并且在確認之后在學(xué)習(xí)模式中操作。在多個操作模式不被支持的場合，可省略這樣的步驟。
[0025]如果計算設(shè)備正在教導(dǎo)或觀察模式中操作，則方法400繼續(xù)進行到406以在學(xué)習(xí)模式中操作，這將關(guān)于圖5更詳細被解釋。另一方面，如果計算設(shè)備正在學(xué)習(xí)或觀察模式中操作，則方法400包括在408接收規(guī)定將由用戶使用一個或多個對象來執(zhí)行的過程的一個或多個部分的一組規(guī)則以及也接收在過程中使用的對象的對象識別信息。
[0026]每個規(guī)則可指定預(yù)期對象、預(yù)期對象的預(yù)期第一位置、預(yù)期對象的預(yù)期第二位置、在第一和第二位置之間的預(yù)期路徑以及關(guān)于對象從第一位置到第二位置的運動的時間約束中的一個或多個。預(yù)期對象的運動可包括在六個自由度中的至少一個中的運動。同樣，對象識別信息可包括用于從場景的圖像數(shù)據(jù)識別對象的任何適當(dāng)?shù)男畔?包括但不限于識別功能、三維對象模型等)。
[0027]可根據(jù)被執(zhí)行的過程來將這組規(guī)則排序。例如，第一規(guī)則可與過程的第一部分相關(guān)，而第二隨后的規(guī)則可與過程的第二隨后的部分相關(guān)。然而，根據(jù)該過程，一些規(guī)則可被排序而其它規(guī)則可以不被排序。例如，第三規(guī)則可指定在第一和第二規(guī)則被滿足之后將被執(zhí)行的行動，而不考慮由第一規(guī)則指定的行動是在由第二規(guī)則指定的行動之前還是之后被執(zhí)行。
[0028]這組規(guī)則和對象識別信息可從遠程服務(wù)被接收、從可移動存儲設(shè)備被接收、存儲在計算設(shè)備的存儲設(shè)備上或以任何其它適當(dāng)?shù)姆绞降玫?。可響?yīng)于用戶輸入或響應(yīng)于由計算設(shè)備對用戶正執(zhí)行過程的確定或當(dāng)任何其它適當(dāng)?shù)挠|發(fā)時接收這組規(guī)則和對象識別信息。
[0029]在410，方法400包括接收物理場景的圖像信息。物理場景可以是真實世界環(huán)境，在該環(huán)境中用戶正執(zhí)行過程。圖像信息可從圖像傳感器例如傳感器系統(tǒng)106被接收，并可包括深度圖像信息和彩色圖像信息(例如RGB信息)中的一個或多個。在一個例子中，可掃描物理場景，以便使用一個或多個攝像機從一個或多個視角捕獲一個或多個圖像。在掃描期間，可在運動的六個自由度的一個或多個中跟蹤攝像機運動以確定攝像機的視野的位置和方位。
[0030]在414，方法400包括識別由用戶使用所識別的對象執(zhí)行的操作。為了識別操作，可基于圖像信息和對象識別信息來識別用戶正交互于的一個或多個對象(例如存在于物理場景中的對象)，如在416指示的。例如，可執(zhí)行深度和/或彩色圖像數(shù)據(jù)與對象識別信息的比較來識別對象。
[0031]識別操作還可包括識別對象在六個自由度中的至少一個中從開始位置移動到結(jié)束位置，如在418指示的。如前面解釋的，在規(guī)則中，可規(guī)定開始和結(jié)束位置，或開始和結(jié)束位置中的一個或多個可以是開放式的。例如，回來參考上面關(guān)于圖1-3解釋的自行車修理過程，操作可包括滑輪螺栓被擰入。因此，當(dāng)滑輪螺栓頭相對于滑輪移動時，對象的開始和結(jié)束位置可每個被規(guī)定。在另一示例操作中，阿倫扳手可從與滑輪螺栓的嚙合被移除。因此，可規(guī)定阿倫扳手的開始位置(與滑輪螺栓嚙合)，但結(jié)束位置可以是開放式的(其中阿倫扳手的最終擱置位置是不相關(guān)的)。
[0032]在420，確定操作是否滿足與被執(zhí)行的過程的部分相關(guān)的規(guī)則。確定操作滿足規(guī)則可包括確定由規(guī)則規(guī)定的一個或多個條件(包括預(yù)期對象、預(yù)期對象的預(yù)期第一位置、預(yù)期對象的預(yù)期第二位置、在第一和第二位置之間的預(yù)期路徑和/或預(yù)期時間條件(例如步驟多快或多慢被執(zhí)行，例如預(yù)期對象是否在閾值時間量內(nèi)從預(yù)期第一位置移動到預(yù)期第二位置))是否由操作滿足。
[0033]如果操作滿足規(guī)則，則方法400可包括在422可選地存儲操作滿足規(guī)則的指示。當(dāng)例如計算設(shè)備正在觀察模式中操作時，存儲操作滿足規(guī)則的指示可出現(xiàn)。方法400包括在424繼續(xù)進行到過程的隨后部分。這可包括提供操作滿足規(guī)則的反饋(視覺、聽覺和/或其它)，如在426指示的。繼續(xù)進行到過程的隨后部分還可包括從圖像信息和對象識別信息識別由用戶使用在物理場景中的所識別的對象和不同的所識別的對象中的一個或多個來執(zhí)行的隨后操作，以及基于隨后的操作是否滿足與過程的隨后選定部分相關(guān)的隨后規(guī)則來采取行動。對象的識別和跟蹤以及對象運動與規(guī)則的比較可重復(fù)，直到所有規(guī)則被滿足或過程以其它方式終止為止。
[0034]返回到420，如果操作不滿足規(guī)則，則方法400繼續(xù)進行到428以可選地存儲操作不滿足規(guī)則的指示(例如，如果在觀察模式中操作)。此外，方法400可包括在430輸出指導(dǎo)用戶如何滿足規(guī)則的指令。這樣的指令可包括音頻指令和視覺指令中的一個或多個。在一些實施例中，視覺指令可被顯現(xiàn)為顯示在顯示設(shè)備上的所成像的物理場景的增強現(xiàn)實視圖。作為一個非限制性的例子，執(zhí)行步驟的虛擬手的動畫可覆蓋在物理場景的表示上以向用戶演示如何執(zhí)行那個步驟的預(yù)期操作以滿足規(guī)則。在另一例子中，代表在物理場景中的預(yù)期對象的虛擬對象可覆蓋在物理場景的表示上并移動以演示如何針對過程的那個步驟操縱對象。方法400然后循環(huán)回到414以繼續(xù)識別由用戶執(zhí)行的操作以確定操作是否滿足規(guī)則。
[0035]圖5示出描繪用于觀察用戶執(zhí)行過程同時在學(xué)習(xí)模式中操作的方法500的實施例的流程圖。可執(zhí)行方法500以學(xué)習(xí)未知的過程用于未來的觀察和/或指導(dǎo)。方法500包括在502接收關(guān)于在所成像的場景中的一個或多個對象的對象識別信息。例如，用戶可以用攝像機(例如合并到傳感器系統(tǒng)內(nèi)的深度攝像機和/或RGB攝像機)掃描每個對象。用戶也可提供每個所掃描的對象的身份。在對象是未知對象的場合，可為那些對象省略這樣的掃描過程，且可利用現(xiàn)有的對象識別信息。
[0036]在504，方法500包括接收場景的圖像信息，以及在506觀察用戶對場景中的一個或多個所識別的對象執(zhí)行過程。如上面解釋的，對象識別信息和圖像信息可用于識別在場景中的對象以及跟蹤用戶和所識別的對象的運動。
[0037]當(dāng)所識別的對象由用戶移動同時用戶執(zhí)行過程時，運動可被特征化為操作(例如分配開始位置和結(jié)束位置)。例如，用戶可在過程被執(zhí)行時例如通過使用語音命令為過程的每個步驟提供開始和結(jié)束點的指示，以及指示路徑和/或時間約束將在哪里被應(yīng)用。同樣，也可在算法上(例如通過觀察對特定對象的特定行動何時開始和停止)規(guī)定操作?；谒?guī)定的操作，可為過程規(guī)定一組規(guī)則，如在508指示的，其中這組規(guī)則指定由用戶對所識別的對象可執(zhí)行的一個或多個操作或行動。這組規(guī)則可存儲在計算設(shè)備上和/或被發(fā)送到遠程服務(wù)，其中它們可隨后可用于指導(dǎo)用戶執(zhí)行過程。
[0038]在一些實施例中，本文所述的方法和過程可被捆綁到一個或多個計算設(shè)備的計算系統(tǒng)。特別是，這樣的方法和過程可被實施為計算機應(yīng)用程序或服務(wù)、應(yīng)用編程接口(API)、庫和/或其它計算機程序廣品。
[0039]圖6示意性示出可實施上文所述的一個或多個方法和過程的計算系統(tǒng)600的非限制性實施例。例如，計算設(shè)備102是計算系統(tǒng)600的非限制性例子。在簡化形式中示出計算系統(tǒng)600。計算系統(tǒng)600可采取一個或多個個人計算機、服務(wù)器計算機、平板計算機、家庭娛樂計算機、網(wǎng)絡(luò)計算設(shè)備、游戲設(shè)備、移動計算設(shè)備、移動通信設(shè)備(例如智能電話)和/或其它計算設(shè)備的形式。
[0040]計算系統(tǒng)600包括邏輯設(shè)備602和存儲設(shè)備604。計算系統(tǒng)600可以可選地包括顯示子系統(tǒng)606、輸入子系統(tǒng)608、通信子系統(tǒng)610和/或未在圖6中示出的其它部件。
[0041]邏輯設(shè)備602包括配置成執(zhí)行指令的一個或多個物理設(shè)備。例如，邏輯設(shè)備可配置成執(zhí)行機器可讀指令，其為一個或多個應(yīng)用、服務(wù)、程序、例程、庫、對象、組件、數(shù)據(jù)結(jié)構(gòu)或其它邏輯結(jié)構(gòu)的部分。這樣的指令可被實施來執(zhí)行任務(wù)、實施數(shù)據(jù)類型、轉(zhuǎn)換一個或多個實施的狀態(tài)、實現(xiàn)技術(shù)效果或以其它方式達成期望結(jié)果。
[0042]邏輯設(shè)備可包括配置成執(zhí)行軟件指令的一個或多個處理器。此外或替代地，邏輯設(shè)備可包括配置成執(zhí)行硬件或固件指令的一個或多個硬件或固件邏輯設(shè)備。邏輯設(shè)備的處理器可以是單核或多核的，且在其上執(zhí)行的指令可配置成用于連續(xù)、并行和/或分布式處理。邏輯設(shè)備的單獨部件可選地可分布在可遠程定位和/或配置成用于協(xié)作處理的兩個或多個單獨的設(shè)備當(dāng)中。邏輯設(shè)備的方面可由在云計算配置中配置的遠程可訪問的聯(lián)網(wǎng)計算設(shè)備虛擬化和執(zhí)行。
[0043]存儲設(shè)備604包括配置成保存由邏輯設(shè)備可執(zhí)行來實施本文所述的方法和過程的指令的一個或多個物理設(shè)備。當(dāng)這樣的方法和過程被實施時，存儲設(shè)備604的狀態(tài)可被轉(zhuǎn)換，以例如保存不同的數(shù)據(jù)。
[0044]存儲設(shè)備604可包括可移除和/或內(nèi)置設(shè)備。存儲設(shè)備604可包括光學(xué)存儲器(例如CD、DVD、HD-DVD、藍光盤等)、半導(dǎo)體存儲器(例如RAM、EPR0M、EEPR0M等)和/或磁性存儲器(例如硬盤驅(qū)動器、軟盤驅(qū)動器、磁帶驅(qū)動器、MRAM等)連同其它存儲器。存儲設(shè)備604可包括易失性、非易失性、動態(tài)、靜態(tài)、讀/寫、只讀、隨機存取、順序存取、位置可尋址、文件可尋址和/或內(nèi)容可尋址設(shè)備。
[0045]將認識到，存儲設(shè)備604包括一個或多個物理設(shè)備。然而，本文所述的指令的方面替代地可由在有限的持續(xù)時間期間未由物理設(shè)備保持的通信介質(zhì)(例如電磁信號、光學(xué)信號等)傳播。
[0046]邏輯設(shè)備602和存儲設(shè)備604的方面可一起集成到一個或多個硬件邏輯部件內(nèi)。這樣的硬件邏輯部件可包括例如現(xiàn)場可編程門陣列(FPGA)、程序和應(yīng)用特定集成電路(PASIC/ASIC)、程序和應(yīng)用特定標(biāo)準(zhǔn)產(chǎn)品(PSSP/ASSP)、片上系統(tǒng)(SOC)和復(fù)雜可編程邏輯器件(CPLD)。
[0047]將認識到，如本文使用的“服務(wù)”是在多個用戶會話當(dāng)中可執(zhí)行的應(yīng)用程序。服務(wù)可以是一個或多個系統(tǒng)組件、程序和/或其它服務(wù)可采用的。在一些實施方式中，服務(wù)可在一個或多個服務(wù)器計算設(shè)備上運行。
[0048]當(dāng)被包括時，顯示子系統(tǒng)606可用于顯現(xiàn)由存儲設(shè)備604保存的數(shù)據(jù)的表示。這個視覺表示可采取圖形用戶界面(GUI)的形式。當(dāng)本文所述的方法和過程改變由存儲設(shè)備保存的數(shù)據(jù)并因此轉(zhuǎn)換存儲設(shè)備的狀態(tài)時，顯示子系統(tǒng)606的狀態(tài)可同樣被轉(zhuǎn)換以視覺地表示在基礎(chǔ)數(shù)據(jù)中的變化。顯示子系統(tǒng)606可包括實際上利用任何類型的技術(shù)的一個或多個顯示設(shè)備。這樣的顯示設(shè)備可與在共用的外殼中的邏輯設(shè)備602和/或存儲設(shè)備604組合或這樣的顯示設(shè)備可以是外圍顯示設(shè)備。
[0049]當(dāng)被包括時，輸入子系統(tǒng)608可包括一個或多個用戶輸入設(shè)備例如鍵盤、鼠標(biāo)、觸摸屏或游戲控制器或與一個或多個用戶輸入設(shè)備例如鍵盤、鼠標(biāo)、觸摸屏或游戲控制器通過接口連接。在一些實施例中，輸入子系統(tǒng)可包括選定自然用戶輸入(NUI)部件或與選定自然用戶輸入(NUI)部件通過接口連接。這樣的部件可以是集成的或外圍的，且輸入行動的轉(zhuǎn)換和/或處理可在板上或板外被處理。示例NUI部件可包括用于語音和/或話音識別的麥克風(fēng)；用于機器視覺和/或手勢識別的紅外、彩色、立體和/或深度攝像機;用于運動檢測和/或意圖識別的頭跟蹤器、眼跟蹤器、加速計和/或陀螺儀；以及用于評估大腦活動的電場感測部件。
[0050]當(dāng)被包括時，通信子系統(tǒng)610可配置成通信地耦合計算系統(tǒng)600與一個或多個其它計算設(shè)備。例如，如所示，計算系統(tǒng)600可經(jīng)由網(wǎng)絡(luò)614與遠程服務(wù)612通信，以便訪問例如對象和規(guī)則數(shù)據(jù)庫616，其例如存儲對象識別信息和/或一個或多個過程的規(guī)則組。通信子系統(tǒng)610可包括與一個或多個不同的通信協(xié)議兼容的有線和/或無線通信設(shè)備。作為非限制性的例子，通信子系統(tǒng)可配置成經(jīng)由無線電話網(wǎng)絡(luò)或有線或無線局域或廣域網(wǎng)進行通信。在一些實施例中，通信子系統(tǒng)可允許計算系統(tǒng)600經(jīng)由網(wǎng)絡(luò)例如互聯(lián)網(wǎng)將消息發(fā)送到其它設(shè)備和/或從其它設(shè)備接收消息。
[0051 ]將認識到，本文所述的配置和/或方法本質(zhì)上是示例性的，以及這些特定的實施例或例子不應(yīng)在限制性意義上被考慮，因為很多變化是可能的。本文所述的特定例程或方法可代表任何數(shù)量的處理策略中的一個或多個。因此，所示和/或所述的各種行動可以按所示和/或所述的順序、按其它順序、并行地被執(zhí)行或被省略。同樣，可改變上述過程的順序。
[0052]本公開的主題包括各種過程、系統(tǒng)和配置及本文公開的其它特征、功能、行動和/或特性以及其任何和所有等效形式的所有新穎和非顯而易見的組合和子組合。
【主權(quán)項】
1.一種在計算設(shè)備上的用于監(jiān)控利用一個或多個對象的過程的執(zhí)行的方法，所述方法包括: 接收規(guī)定所述過程的一個或多個部分的一組規(guī)則的輸入； 接收關(guān)于所述一個或多個對象的對象識別信息的輸入； 對于所述過程的選定部分， 從圖像傳感器接收物理場景的圖像信息的輸入； 從所接收的所述圖像信息和所述對象識別信息識別所識別的對象； 從所接收的所述圖像信息和對象信息識別對在所述物理場景中的所識別的對象執(zhí)行的操作； 比較在所述圖像信息中識別的所述操作與所述組規(guī)則；以及 向顯示設(shè)備輸出所述操作是否滿足所述組規(guī)則中的與所述過程的選定部分相關(guān)的規(guī)則的指示。2.如權(quán)利要求1所述的方法，其中所述圖像傳感器包括深度圖像傳感器，其中所述圖像信息包括三維圖像信息，以及其中所述對象識別信息包括可用于從所述圖像信息識別在多個不同的方位上的所述一個或多個對象的三維對象數(shù)據(jù)。3.如權(quán)利要求1所述的方法，其中所述規(guī)則指定預(yù)期對象、所述預(yù)期對象的預(yù)期第一位置、所述預(yù)期對象的預(yù)期第二位置、以及在所述第一位置和第二位置之間的預(yù)期路徑中的一個或多個，其中所述預(yù)期對象在所述第一位置與第二位置之間的運動包括在六個自由度中的至少一個中的運動。4.如權(quán)利要求3所述的方法，還包括如果所述預(yù)期對象、所述預(yù)期對象的所述預(yù)期第一位置、所述預(yù)期對象的所述預(yù)期第二位置、以及在所述第一位置和第二位置之間的所述預(yù)期路徑中的一個或多個被所述操作滿足，則確定所述操作滿足所述規(guī)則。5.如權(quán)利要求3所述的方法，還包括如果所識別的對象、所識別的對象的開始位置、在所述操作期間所識別的對象的路徑以及所識別的對象的結(jié)束位置中的一個或多個不匹配與所述規(guī)則的所述預(yù)期對象、所述預(yù)期第一位置、所述預(yù)期路徑、以及所述預(yù)期第二位置中的一個或多個有關(guān)的一個或多個條件，則確定所述操作不滿足所述規(guī)則。6.如權(quán)利要求5所述的方法，其中所述規(guī)則還指定給定時間閾值，在所述給定時間閾值內(nèi)，所述預(yù)期對象從所述第一位置移動到所述第二位置，以及還包括如果所識別的對象到所述給定時間閾值時不從所述開始位置移動到所述結(jié)束位置則確定所述操作不滿足所述規(guī)則。7.如權(quán)利要求1所述的方法，其中如果所述操作滿足所述規(guī)則，則所述方法包括對于所述過程的隨后的選定部分: 從所述圖像傳感器接收所述物理場景的額外圖像信息的輸入； 從所述額外圖像信息和所述對象識別信息識別對在所述物理場景中的所識別的對象和不同的所識別的對象中的一個或多個執(zhí)行的隨后操作；以及 向所述顯示設(shè)備輸出所述隨后操作是否滿足所述組規(guī)則中的與所述過程的所述隨后的選定部分相關(guān)的隨后規(guī)則的指示。8.如權(quán)利要求1所述的方法，還包括如果所述操作不滿足所述規(guī)則，則輸出指導(dǎo)如何滿足所述規(guī)則的指令，其中所述指令包括到顯示設(shè)備的視頻指令輸出和到揚聲器的聽覺指令輸出中的一個或多個。9.如權(quán)利要求1所述的方法，其中所述顯示設(shè)備包括增強現(xiàn)實顯示設(shè)備。10.—種保存由邏輯設(shè)備可執(zhí)行的指令的硬件存儲設(shè)備，所述指令用于: 接收規(guī)定在過程期間對一個或多個對象執(zhí)行的一個或多個行動的一組規(guī)則； 從深度圖像傳感器接收物理場景的深度圖像信息； 接收包括可用于從所述深度圖像信息識別在多個不同的方位上的所述一個或多個對象的三維對象數(shù)據(jù)的對象識別信息； 對于所述過程的選定部分: 從所述深度圖像信息和所述對象識別信息識別對在所述物理場景中的所識別的對象執(zhí)行的操作； 如果所述操作不滿足所述規(guī)則，則輸出指導(dǎo)如何執(zhí)行預(yù)期操作以滿足所述規(guī)則的指令；以及 如果所述操作滿足所述規(guī)則，則前進到所述過程的隨后的選定部分。
【文檔編號】G06F3/00GK106030457SQ201580010959
【公開日】2016年10月12日
【申請日】2015年2月25日
【發(fā)明人】C.懷特, A.曹, D.莫林諾瓦
【申請人】微軟技術(shù)許可有限責(zé)任公司