專(zhuān)利名稱(chēng)：使用增強(qiáng)型交互系統(tǒng)操縱虛擬對(duì)象的制作方法
技術(shù)領(lǐng)域：
本申請(qǐng)一般地涉及運(yùn)動(dòng)檢測(cè)，并且至少一個(gè)特定結(jié)構(gòu)涉及在用戶(hù)表示和 顯示器上的對(duì)象之間提供交互。
背景技術(shù)：
相機(jī)已被用來(lái)捕獲對(duì)象的圖像。已經(jīng)開(kāi)發(fā)了這樣的技術(shù)分析存在于一 個(gè)或更多個(gè)圖像內(nèi)的對(duì)象的一個(gè)或更多個(gè)圖像，以便檢測(cè)該對(duì)象的位置。例 如，已經(jīng)使用光流(optical flow)，通過(guò)分析在時(shí)間上連續(xù)拍攝的對(duì)象的多個(gè) 圖像來(lái)檢測(cè)所述對(duì)象的運(yùn)動(dòng)。

發(fā)明內(nèi)容
根據(jù)一個(gè)一般性實(shí)施方案，接收至少對(duì)象的第一圖像，并在所述第一圖 像中檢測(cè)對(duì)象。基于在第一圖像中檢測(cè)對(duì)象，產(chǎn)生對(duì)象數(shù)據(jù)地圖。該對(duì)象數(shù) 據(jù)地圖針對(duì)第一圖像中的每一個(gè)像素，指示在每一個(gè)像素處是否4全測(cè)到對(duì)象。 產(chǎn)生運(yùn)動(dòng)歷史。該運(yùn)動(dòng)歷史針對(duì)所述對(duì)象數(shù)據(jù)地圖中所包括的每一個(gè)像素， 指示自從在每一個(gè)像素處檢測(cè)到對(duì)象時(shí)起的時(shí)間的指示?；谒鲞\(yùn)動(dòng)歷史 控制應(yīng)用。
實(shí)施方案可以包括下列特征中的一個(gè)或更多個(gè)。例如，運(yùn)動(dòng)歷史可以針 對(duì)所述對(duì)象數(shù)據(jù)地圖中所包括的每一個(gè)像素，指示與自從在每一個(gè)像素處檢 測(cè)到對(duì)象時(shí)起的時(shí)間相對(duì)應(yīng)的不透明度(opacity )值。該運(yùn)動(dòng)歷史還可以針 對(duì)對(duì)象數(shù)據(jù)地圖中所包括的每一個(gè)像素，指示自從在每一個(gè)像素處檢測(cè)到對(duì) 象時(shí)起的幀數(shù)。該運(yùn)動(dòng)歷史還可以針對(duì)所述對(duì)象數(shù)據(jù)地圖中所包括的每一個(gè) 像素，指示自從在每一個(gè)像素處檢測(cè)到對(duì)象時(shí)起的時(shí)間的度量。
6在某些實(shí)施方案中，所述運(yùn)動(dòng)歷史可以通過(guò)訪(fǎng)問(wèn)先前的運(yùn)動(dòng)歷史并基于 對(duì)象數(shù)據(jù)地圖更新先前的運(yùn)動(dòng)歷史來(lái)產(chǎn)生?？梢曰谠谒龅谝粓D像之前接 收到的對(duì)象的圖像產(chǎn)生先前的運(yùn)動(dòng)歷史?？梢酝ㄟ^(guò)針對(duì)第一圖像中已經(jīng)檢測(cè) 到對(duì)象的每一個(gè)像素，將對(duì)自從檢測(cè)到所述對(duì)象時(shí)起的時(shí)間的指示設(shè)置為指
示在該像素處最新近^r測(cè)到對(duì)象的時(shí)間的指示，并且針對(duì)第一圖像中未檢測(cè) 到對(duì)象的每一個(gè)像素，使對(duì)自從檢測(cè)到對(duì)象時(shí)起的時(shí)間的指示老化，基于所
述對(duì)象數(shù)據(jù)地圖更新所述先前的運(yùn)動(dòng)歷史。
可以通過(guò)更新對(duì)自從^r測(cè)到對(duì)象時(shí)起的時(shí)間的指示，以指示自從檢測(cè)到 對(duì)象時(shí)起的時(shí)間已經(jīng)增加，使對(duì)自從檢測(cè)到對(duì)象時(shí)起的時(shí)間的指示老化。也 可以通過(guò)針對(duì)第一圖像中未檢測(cè)到對(duì)象的每一個(gè)像素，確定先前的運(yùn)動(dòng)歷史 中對(duì)自從檢測(cè)到對(duì)象時(shí)起的時(shí)間的指示是否大于閾值時(shí)間量，使對(duì)自從檢測(cè) 到對(duì)象時(shí)起的時(shí)間的指示老化。在確定了在先前的運(yùn)動(dòng)歷史中對(duì)自從;險(xiǎn)測(cè)到 對(duì)象時(shí)起的時(shí)間的指示不大于閾值時(shí)間量的條件下，可以更新對(duì)自從檢測(cè)到 對(duì)象時(shí)起的時(shí)間的指示，以便指示自從;險(xiǎn)測(cè)到對(duì)象時(shí)起的時(shí)間已經(jīng)增加。在 確定了在先前的運(yùn)動(dòng)歷史中對(duì)自從^r測(cè)到所述對(duì)象時(shí)起的時(shí)間的指示大于所 述閾值時(shí)間量的條件下，可以維持對(duì)自從檢測(cè)到所述對(duì)象時(shí)起的時(shí)間的指示。
在某些實(shí)施方案中，可以過(guò)濾運(yùn)動(dòng)歷史，并且基于過(guò)濾后的運(yùn)動(dòng)歷史控 制應(yīng)用?？梢酝ㄟ^(guò)針對(duì)每一個(gè)像素基于每一個(gè)像素的值和與所述每一個(gè)像素 相鄰的像素的值計(jì)算每一個(gè)像素的值來(lái)過(guò)濾運(yùn)動(dòng)歷史。
在某些例子中，可以接收至少用戶(hù)的第一圖像。可以通過(guò)在與所述應(yīng)用 相關(guān)聯(lián)的顯示圖像中顯示對(duì)象的表示來(lái)控制所述應(yīng)用。可以控制在與所述應(yīng) 用相關(guān)聯(lián)的顯示圖像中對(duì)象的表示的移動(dòng)。在與所述應(yīng)用相關(guān)聯(lián)的顯示圖像 中，可以將對(duì)象的表示顯示為粒子系統(tǒng)的一個(gè)或更多個(gè)粒子?？梢酝ㄟ^(guò)基于 所述運(yùn)動(dòng)歷史產(chǎn)生表示對(duì)象的運(yùn)動(dòng)的輪廓(outline contour),并基于所產(chǎn)生的 輪廓，確定所述顯示圖像中的對(duì)象的表示是否觸摸了由所述應(yīng)用在所述顯示 圖像中繪制的虛擬對(duì)象，來(lái)在與所述應(yīng)用相關(guān)聯(lián)的顯示圖像中顯示所述對(duì)象 的表示。
在某些實(shí)施方案中，可以在與所述應(yīng)用相關(guān)聯(lián)的顯示圖像中顯示對(duì)象的 表示，以使得與所述運(yùn)動(dòng)歷史中對(duì)時(shí)間的指示指示最新近檢測(cè)到對(duì)象的像素 相對(duì)應(yīng)的像素被以比與運(yùn)動(dòng)歷史中對(duì)時(shí)間的指示指示在較久遠(yuǎn)的過(guò)去檢測(cè)到 對(duì)象的像素相對(duì)應(yīng)的像素更強(qiáng)的不透明度顯示。例如，可以顯示所述對(duì)象的表示，以使得與所述運(yùn)動(dòng)歷史中的像素相對(duì)應(yīng)的像素被以基于與該像素相關(guān)聯(lián)的時(shí)間的指示的不透明度顯示。還可以顯示所述對(duì)象的表示，以〗吏得第一像素的不透明度顯得強(qiáng)于第二像素的不透明度，其中，所述第一像素所關(guān)聯(lián)的時(shí)間的指示指示，與所述第二像素相比，在所述第一像素在更新近的時(shí)刻檢測(cè)到對(duì)象。
在進(jìn)一步的例子中，可以通過(guò)基于運(yùn)動(dòng)歷史產(chǎn)生alpha通道，并基于alpha通道在顯示圖像中顯示對(duì)象的表示，來(lái)在與應(yīng)用相關(guān)聯(lián)的顯示圖像中顯示對(duì)象的表示。可以顯示效果圖像。所述效果圖像可以是基于動(dòng)畫(huà)或粒子系統(tǒng)的動(dòng)畫(huà)效果圖像，并且該動(dòng)畫(huà)效果圖像可以表示水波紋、血漿、火或煙其中之一。也可以顯示對(duì)象的摳像圖像；
此外，可以基于運(yùn)動(dòng)歷史確定顯示圖像中的對(duì)象的表示是否觸摸了顯示圖像中由應(yīng)用繪制的虛擬對(duì)象，并且可以基于確定結(jié)果控制應(yīng)用。虛擬對(duì)象可以是下列中的至少一個(gè)按鈕、球，或者粒子系統(tǒng)中的粒子?？梢曰谶\(yùn)動(dòng)歷史計(jì)算虛擬對(duì)象的速度，并且可以基于運(yùn)動(dòng)歷史控制應(yīng)用，并且可以基于所確定的虛擬對(duì)象的速度控制應(yīng)用?？梢酝ㄟ^(guò)基于與運(yùn)動(dòng)歷史相關(guān)聯(lián)的光流數(shù)據(jù)計(jì)算虛擬對(duì)象的運(yùn)動(dòng)速度和方向來(lái)計(jì)算速度，并且可以基于所確定的虛擬對(duì)象的運(yùn)動(dòng)的速度和方向控制應(yīng)用。虛擬對(duì)象可以是粒子系統(tǒng)的粒子。
而且，可以接收包括第一圖像的對(duì)象的多個(gè)圖像，并且基于所述多個(gè)圖像確定對(duì)象的運(yùn)動(dòng)?？梢酝ㄟ^(guò)將第一圖像與背景圖像比較，在第一圖像中檢測(cè)對(duì)象。
根據(jù)另一個(gè)一般性實(shí)施方案，接收至少用戶(hù)的第一圖像和用戶(hù)的第二圖像的圖像。所述用戶(hù)的第二圖像在所述用戶(hù)的第一圖像之后捕獲，并且所述第二圖像被與所述第 一 圖像比較?；谒龅诙D像與第 一 圖像的比較檢測(cè)圖像中的運(yùn)動(dòng)，并且基于在所述圖像中檢測(cè)到的運(yùn)動(dòng)確定所述第二圖像中的用戶(hù)的位置。響應(yīng)于確定所述第二圖像中的用戶(hù)的位置，產(chǎn)生用戶(hù)數(shù)據(jù)地圖。用戶(hù)數(shù)據(jù)地圖對(duì)應(yīng)于第二圖像中所包括的像素，并且指示第二圖像中的用戶(hù)的位置。訪(fǎng)問(wèn)所述用戶(hù)的先前運(yùn)動(dòng)歷史。所述先前的運(yùn)動(dòng)歷史針對(duì)用戶(hù)數(shù)據(jù)地圖中所包括的每一個(gè)像素，指示對(duì)自從在與該像素相對(duì)應(yīng)的位置處檢測(cè)到用戶(hù)時(shí)起的時(shí)間的指示，并且基于在第二圖像之前接收到的用戶(hù)的圖像產(chǎn)生所述先前的運(yùn)動(dòng)歷史。通過(guò)針對(duì)所述先前的運(yùn)動(dòng)歷史中所包括的每一個(gè)像素增加對(duì)自從在與該像素相對(duì)應(yīng)的位置處檢測(cè)到所述用戶(hù)時(shí)起的時(shí)間的指示，使所述先前的運(yùn)動(dòng)歷史老化。通過(guò)針對(duì)用戶(hù)數(shù)據(jù)地圖中所包括的斥企測(cè)到用戶(hù)的位置的每一個(gè)像素，將老化的運(yùn)動(dòng)歷史中的相應(yīng)像素設(shè)置為指示當(dāng)前在該像素檢測(cè)到用戶(hù)的位置的時(shí)間指示，來(lái)基于用戶(hù)數(shù)據(jù)地圖更新所述老化的運(yùn)動(dòng)歷史。基于更新的運(yùn)動(dòng)歷史在與應(yīng)用相關(guān)聯(lián)的顯示圖像中顯示用戶(hù)的表示，以使與顯示圖像中的用戶(hù)表示相關(guān)聯(lián)的像素的不透明度基于對(duì)自從在與更新
的運(yùn)動(dòng)歷史中所包括的像素相對(duì)應(yīng)的位置處^r測(cè)到用戶(hù)時(shí)起的時(shí)間的指示。
根據(jù)另一個(gè)一般性實(shí)施方案， 一種系統(tǒng)包括相機(jī)，被配置成捕獲至少對(duì)象的第一圖像，以及處理器，被配置成從所述相機(jī)接收所述對(duì)象的第一圖像。所述處理器還被配置成在所述第一圖像中檢測(cè)所述對(duì)象，并響應(yīng)于在所述第一圖像中檢測(cè)對(duì)象，產(chǎn)生對(duì)象數(shù)據(jù)地圖。所述對(duì)象數(shù)據(jù)地圖可以針對(duì)第一圖像中的每一個(gè)像素，指示在每一個(gè)像素處是否檢測(cè)到所述對(duì)象。所述處理器還被配置成產(chǎn)生運(yùn)動(dòng)歷史，并基于所述運(yùn)動(dòng)歷史控制應(yīng)用。該運(yùn)動(dòng)歷史針對(duì)所述對(duì)象數(shù)據(jù)地圖中所包括的每一個(gè)像素，指示自從在每一個(gè)像素處檢測(cè)到對(duì)象時(shí)起的時(shí)間的指示。所述系統(tǒng)還包括顯示器，被配置成繪制與所述應(yīng)用相關(guān)聯(lián)的顯示圖像。
根據(jù)另一個(gè)一般性實(shí)施方案， 一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上具體實(shí)施計(jì)算機(jī)程序。所述計(jì)算機(jī)程序包括指令用于接收至少對(duì)象的第一圖像，并在所述第一圖像中檢測(cè)所述對(duì)象。所述計(jì)算機(jī)程序還包括指令用于響應(yīng)于在所述第一圖像中檢測(cè)對(duì)象，產(chǎn)生對(duì)象數(shù)據(jù)地圖。所述對(duì)象數(shù)據(jù)地圖針對(duì)所述第一圖像中的每一個(gè)像素，指示在每一個(gè)像素處是否檢測(cè)到所述對(duì)象。所述計(jì)算機(jī)程序還包括指令用于產(chǎn)生運(yùn)動(dòng)歷史并基于所述運(yùn)動(dòng)歷史控制應(yīng)用。所述運(yùn)動(dòng)歷史針對(duì)對(duì)象數(shù)據(jù)地圖中所包括的每一個(gè)像素，指示自從在每一個(gè)像素處檢測(cè)到所述對(duì)象時(shí)起的時(shí)間的指示。
根據(jù)另 一個(gè)一般性實(shí)施方案， 一種系統(tǒng)包括用于接收至少對(duì)象的第 一 圖像的裝置和用于在所述第一圖像中檢測(cè)對(duì)象的裝置。所述系統(tǒng)還包括用于響應(yīng)于在所述第一圖像中檢測(cè)對(duì)象，產(chǎn)生對(duì)象數(shù)據(jù)地圖的裝置。所述對(duì)象數(shù)據(jù)地圖針對(duì)所述第一圖像中的每一個(gè)像素，指示在每一個(gè)像素處是否檢測(cè)到所述對(duì)象。所述系統(tǒng)還包括用于產(chǎn)生運(yùn)動(dòng)歷史的裝置和用于基于所述運(yùn)動(dòng)歷史控制應(yīng)用的裝置。所述運(yùn)動(dòng)歷史針對(duì)對(duì)象數(shù)據(jù)地圖中所包括的每一個(gè)像素，指示自從在每一個(gè)像素處檢測(cè)到所述對(duì)象時(shí)起的時(shí)間的指示。
已提供了這個(gè)簡(jiǎn)要概述以實(shí)現(xiàn)快速理解本文檔所描述的各種概念和實(shí)施
9方案。通過(guò)結(jié)合附圖參考下列的詳細(xì)描述，能夠獲得更為全面的理解。應(yīng)當(dāng)理解，可以采用其他的實(shí)施方案并且可以做出變化。


圖l是框圖，示出了被配置成基于運(yùn)動(dòng)歷史控制應(yīng)用的系統(tǒng)的例子。
圖2是流程圖，示出了基于運(yùn)動(dòng)歷史控制應(yīng)用的過(guò)程的例子。
圖3到圖5是流程圖，示出了用于在圖像中檢測(cè)對(duì)象的過(guò)程的例子。
圖6是流程圖，示出了用于產(chǎn)生動(dòng)態(tài)背景模型的過(guò)程的例子。
圖7是流程圖，示出了用于在圖像中檢測(cè)對(duì)象的過(guò)程的例子。
圖8到圖ll是流程圖，示出了用于產(chǎn)生運(yùn)動(dòng)歷史的過(guò)程的例子。
圖12到圖22示出了在應(yīng)用中操縱虛擬對(duì)泉的例子。
圖23示出了映射過(guò)程的例子。
圖24到圖28示出了被配置成基于運(yùn)動(dòng)歷史控制應(yīng)用的交互系統(tǒng)的例子。圖29是流程圖，示出了用于基于運(yùn)動(dòng)歷史控制應(yīng)用的過(guò)程的例子。圖30根據(jù)另一個(gè)一般性實(shí)施方案示出了示范性系統(tǒng)的外觀。圖31是框圖，示出了圖30中所示的設(shè)備的內(nèi)部架構(gòu)。相同的參考數(shù)字通篇表示對(duì)應(yīng)的部分。
具體實(shí)施例方式
圖1示出了被配置成基于運(yùn)動(dòng)歷史控制應(yīng)用的系統(tǒng)100的例子。系統(tǒng)100包括相機(jī)IIO、顯示設(shè)備120、照明器130和計(jì)算設(shè)備140。
相機(jī)IIO是捕獲圖像的設(shè)備。例如，相機(jī)IIO可以是數(shù)碼相機(jī)、數(shù)字?jǐn)z影機(jī)，或者任何其他類(lèi)型的捕獲圖像的設(shè)備。相機(jī)110可以包括一個(gè)或更多個(gè)相機(jī)。相機(jī)110可以捕獲與應(yīng)用交互的對(duì)象的圖像。例如，相機(jī)110可以捕獲在相機(jī)110的視場(chǎng)內(nèi)通過(guò)肢體與應(yīng)用交互的用戶(hù)或人的圖像。
顯示設(shè)備120繪制(render)視覺(jué)顯示圖像。例如，顯示設(shè)備120可以是監(jiān)視器、電視機(jī)、液晶顯示器(LCD)、等離子體顯示設(shè)備、具有投影屏幕的投影儀、自動(dòng)立體顯示器、陰極射線(xiàn)管(CRT)顯示器、數(shù)字光處理(DLP)顯示器，或者任何其他類(lèi)型的被配置成繪制視覺(jué)顯示圖像的顯示設(shè)備。顯示設(shè)備120可以包括一個(gè)或更多個(gè)顯示設(shè)備。顯示設(shè)備120可以顯示與應(yīng)用相關(guān)聯(lián)的圖〗象。例如，顯示i殳備120可以繪制應(yīng)用產(chǎn)生的顯示圖i^象。應(yīng)用產(chǎn)生的顯示圖像可以包括基于由相機(jī)110捕獲的圖像通過(guò)肢體與應(yīng)用交互的用戶(hù)或人的表示。
照明器130是提供光源的設(shè)備。例如，照明器130可以是閃光燈設(shè)備、白熾燈泡、熒光燈泡、發(fā)光二極管(LED)、卣素光源、氖光源、氙光源、紅外光源，或者任何其他類(lèi)型的被配置成向相機(jī)110成像的對(duì)象照明的設(shè)備。照明器130可以包括一個(gè)或更多個(gè)照明器。照明器130可以產(chǎn)生光，用以輔助捕獲由相機(jī)110正在捕獲的對(duì)象的高質(zhì)量圖像。在某些實(shí)施方案中，系統(tǒng)100可以不包括照明器130,或者照明器130可以^5l在特定情況下^f吏用。例如，照明器130可以?xún)H在夜間或者黑暗的房間中使用。
計(jì)算設(shè)備140通過(guò)有線(xiàn)或者無(wú)線(xiàn)途徑電連接到相機(jī)110、顯示^L備120和照明器130，并且可以控制系統(tǒng)100的操作。在某些例子中，計(jì)算設(shè)備140可以包括被配置成執(zhí)行應(yīng)用的處理器或其他控制電路。在這些例子中，計(jì)算設(shè)備140可以接收由相機(jī)110捕獲的圖像，并處理所接收的圖像以檢測(cè)圖像內(nèi)對(duì)象(例如，用戶(hù))的位置。所檢測(cè)的圖像內(nèi)對(duì)象的位置可以被追蹤，并用來(lái)控制應(yīng)用的執(zhí)行。例如，由計(jì)算設(shè)備140執(zhí)行的應(yīng)用可以基于所追蹤的圖像內(nèi)對(duì)象的位置產(chǎn)生包括對(duì)象的表示的顯示圖像，或者可以基于所追蹤的圖像內(nèi)對(duì)象的位置產(chǎn)生用戶(hù)輸入命令或者其他類(lèi)型的用戶(hù)交互。
計(jì)算設(shè)備140也可以控制相機(jī)110、顯示設(shè)備120和照明器130的操作和設(shè)置。計(jì)算設(shè)備140可以是通用計(jì)算機(jī)(例如桌上型個(gè)人計(jì)算機(jī)、工作站或者膝上型計(jì)算機(jī))、服務(wù)器、游戲設(shè)備或者控制臺(tái)，或者任何其他類(lèi)型的包括被配置成執(zhí)行指令的處理器或其他控制電路的電子設(shè)備。
圖2是流程圖，示出了基于運(yùn)動(dòng)歷史控制應(yīng)用的過(guò)程200的例子。為了方便，引用針對(duì)圖1描述的具體部件執(zhí)行過(guò)程200。但是，類(lèi)似的方法可以被用于其他的實(shí)施方案，在這些實(shí)施方案中，使用不同的部件來(lái)限定系統(tǒng)的結(jié)構(gòu)，或者，在這些實(shí)施方案中，功能以不同的方式分布在部件之間。
計(jì)算設(shè)備140接收至少對(duì)象的第一圖像(210)。例如，計(jì)算設(shè)備140接收由相機(jī)110捕獲的一個(gè)或更多個(gè)圖像。在這個(gè)例子中，由相機(jī)110捕獲的一個(gè)或更多個(gè)圖像可以是與應(yīng)用交互的對(duì)象(例如用戶(hù)或用戶(hù)操縱的對(duì)象)的圖像。應(yīng)用可以是正由計(jì)算設(shè)備140執(zhí)行的應(yīng)用，并且應(yīng)用可以產(chǎn)生供在顯示設(shè)備120上顯示的顯示圖像。對(duì)象(例如用戶(hù)或用戶(hù)操縱的對(duì)象)可以基于在顯示設(shè)備120上顯示的圖像與應(yīng)用交互。
ii計(jì)算設(shè)備140在第一圖像中檢測(cè)對(duì)象(220 )。例如，計(jì)算設(shè)備140可以 處理或者分析第一圖像以檢測(cè)第一圖像中包括的對(duì)象的位置。在這個(gè)例子中， 計(jì)算設(shè)備140可以使用任何類(lèi)型的技術(shù)來(lái)在單個(gè)圖像內(nèi)或者在對(duì)象的多個(gè)圖 像的集合內(nèi)檢測(cè)對(duì)象。計(jì)算設(shè)備140可以在在時(shí)間上連續(xù)捕獲的一系列圖像 中才企測(cè)并追蹤對(duì)象的運(yùn)動(dòng)。
計(jì)算設(shè)備140可以使用各種技術(shù)來(lái)在第一圖像中檢測(cè)對(duì)象(220 )。例如， 針對(duì)圖3到圖7描述的過(guò)程代表了計(jì)算設(shè)備140可以用來(lái)在第一圖像中檢測(cè) 對(duì)象(220)的過(guò)程。
圖3示出了用于在圖像中檢測(cè)對(duì)象的過(guò)程300的例子。用于在圖像中檢 測(cè)對(duì)象的過(guò)程300可被用于在執(zhí)行過(guò)程200時(shí)在第一圖像中檢測(cè)對(duì)象(220 )。
過(guò)程300包括訪(fǎng)問(wèn)第一圖像集合(301 )和訪(fǎng)問(wèn)第二圖像集合(302)。例 如，計(jì)算設(shè)備140訪(fǎng)問(wèn)包括由相機(jī)IIO捕獲的一個(gè)或更多個(gè)圖像的第一圖像 集合，并且訪(fǎng)問(wèn)包括由相機(jī)110捕獲的一個(gè)或更多個(gè)圖像的第二圖像集合。 第一圖像集合和第二圖像集合可以表示連續(xù)的已處理的相機(jī)圖像，或者可以 表示還未被處理的連續(xù)的相機(jī)圖像集合。
在某些實(shí)施方案中，第一圖像集合和第二圖像集合中包括的圖像可以被 多緩沖(multi-buffered )。在多緩沖的圖像中，圖像可以包括多個(gè)圖像緩沖器。 圖像緩沖器被以循環(huán)方式填充。例如，在具有兩個(gè)圖像緩沖器的多緩沖的圖 像中， 一個(gè)圖像被寫(xiě)入第一圖像緩沖器，則下一個(gè)圖像被寫(xiě)入第二圖像緩沖 器。
接下來(lái)的圖像(例如第三圖像)被寫(xiě)入第一圖像緩沖器，替換第一圖像 緩沖器的內(nèi)容。下一個(gè)圖像(例如第四圖像)被寫(xiě)入第二圖像緩沖器，替換 第二圖像緩沖器的內(nèi)容。對(duì)附加的圖像重復(fù)這個(gè)過(guò)程，以使第一和第二圖像 緩沖器包含最新近的圖像和次新近的圖像。這個(gè)過(guò)程可以改善系統(tǒng)效率，因 為圖像數(shù)據(jù)沒(méi)有被不必要地復(fù)制。在相機(jī)110包括產(chǎn)生多個(gè)圖像的多個(gè)相機(jī) 的實(shí)施方案中，第一圖像集合可以包括來(lái)自多個(gè)相機(jī)的圖像，并且第二圖像 集合可以包括來(lái)自多個(gè)相機(jī)的圖像。
計(jì)算設(shè)備140比較第一圖像集合和第二圖像集合(303 )。例如，計(jì)算設(shè) 備140可以比較第一圖像集合和第二圖像集合以產(chǎn)生用來(lái)檢測(cè)在圖像集合中 捕獲的對(duì)象的運(yùn)動(dòng)的值。在這個(gè)例子中，計(jì)算設(shè)備可以計(jì)算第一圖像集合中 所包括的一個(gè)或更多個(gè)圖像與第二圖像集合中所包括的一個(gè)或更多個(gè)圖像之間的差(例如絕對(duì)差)。所計(jì)算的差可被計(jì)算設(shè)備140用來(lái)檢測(cè)貫穿第一圖像 集合和第二圖像集合中所包括的圖像的對(duì)象的運(yùn)動(dòng)。
圖像集合可以包含多個(gè)通道(channel),如同在彩色圖像的情況中那樣。 像素值可以包括多個(gè)通道的數(shù)據(jù)值?？梢葬槍?duì)每一個(gè)通道進(jìn)行差計(jì)算(例如 絕對(duì)差)，并將結(jié)果合并。圖像集合可以包含來(lái)自多個(gè)相機(jī)的數(shù)據(jù)。像素值可 以包括來(lái)自多個(gè)相機(jī)的數(shù)據(jù)值?？梢葬槍?duì)每一個(gè)相機(jī)的像素?cái)?shù)據(jù)進(jìn)行差計(jì)算 (例如絕對(duì)差)，并將結(jié)果合并。圖像集合可以包含來(lái)自多個(gè)相機(jī)曝光水平的 數(shù)據(jù)。像素值可以包括來(lái)自多個(gè)曝光水平的數(shù)據(jù)值。可以針對(duì)每一個(gè)曝光水 平的像素?cái)?shù)據(jù)進(jìn)行差計(jì)算(例如絕對(duì)差)，并將結(jié)果合并。
合并結(jié)果的過(guò)程包括計(jì)算各個(gè)部分的和。替代的合并結(jié)果的過(guò)程包括選 擇各個(gè)部分中的最大值。另一個(gè)合并結(jié)果的過(guò)程包括選擇從圖像集合的預(yù)定 部分(例如通道、圖像或曝光)產(chǎn)生的結(jié)果。
計(jì)算設(shè)備140使用過(guò)濾操作(304 )處理差結(jié)果。過(guò)濾操作可以是平均內(nèi) 核(averaging kernel )。在過(guò)濾才喿作的一個(gè)實(shí)施方案中，對(duì)于每一個(gè)4象素，可 以計(jì)算以該像素為中心的鄰近范圍內(nèi)的所有像素的和。平均內(nèi)核可以被用于 模糊圖像。在這個(gè)實(shí)施方案中，該操作可以具有下列效果。像素的差可以被 其鄰近像素加強(qiáng)或者削弱?？梢砸种凭哂写蟮牟钪档墓铝⑾袼亍６?，可以 增強(qiáng)具有相對(duì)較小差值的像素群，并且可以平滑群的形狀。
計(jì)算設(shè)備140使用閾值操作處理過(guò)濾后的差結(jié)果(305 )。閾值操作可以 將過(guò)濾后的差結(jié)果的每一個(gè)像素與閾值進(jìn)行比較。如果像素的值大于或等于 閾值，則該像素被分類(lèi)為具有運(yùn)動(dòng)，否則該像素被分類(lèi)為不具有運(yùn)動(dòng)。
在執(zhí)行閾值操作(305 )時(shí)，計(jì)算設(shè)備140可以基于與用來(lái)捕獲第一圓像 集合和第二圖像集合中所包括的圖像的相機(jī)110相關(guān)聯(lián)的相機(jī)控制數(shù)據(jù)調(diào)整 閾值。相機(jī)控制數(shù)據(jù)可能導(dǎo)致相機(jī)以如下方式捕獲圖像(例如當(dāng)相機(jī)曝光時(shí) 間或增益水平被調(diào)整時(shí))在被捕獲的場(chǎng)景中不存在差異的情況下，連續(xù)的相 機(jī)圖像可能包含差異。閾值操作可以即時(shí)調(diào)整閾值，將其增加為在被捕獲的 場(chǎng)景中不存在差異的情況下在連續(xù)的圖像中所預(yù)期的最大差。這具有減少在 調(diào)整相機(jī)時(shí)的錯(cuò)誤運(yùn)動(dòng)檢測(cè)的效果。
計(jì)算設(shè)備140將在執(zhí)行閾值操作時(shí)獲得的像素分類(lèi)作為運(yùn)動(dòng)數(shù)據(jù)來(lái)提供 (306 )。該運(yùn)動(dòng)數(shù)據(jù)可以被用于控制應(yīng)用。例如，在運(yùn)動(dòng)數(shù)據(jù)表示對(duì)象(例 如用戶(hù))運(yùn)動(dòng)的實(shí)施方案中，可以將對(duì)象(例如用戶(hù))的表示作為應(yīng)用的一部分顯示在顯示設(shè)備120上。
除了針對(duì)圖3描述的過(guò)程以外，計(jì)算設(shè)備140還可以使用其他技術(shù)在第 一圖像中檢測(cè)對(duì)象(220)。例如，針對(duì)圖4到圖7描述的過(guò)程代表了計(jì)算設(shè) 備140可以用來(lái)在第一圖像中檢測(cè)對(duì)象(220)的其他過(guò)程。
在檢測(cè)圖像內(nèi)的對(duì)象的其他的實(shí)施方案中，計(jì)算光流。 一般來(lái)說(shuō)，光流 算法識(shí)別圖像內(nèi)的運(yùn)動(dòng)(例如圖像位置改變的對(duì)象)，并構(gòu)造矢量，該矢量代 表在圖像中識(shí)別出的運(yùn)動(dòng)的速度(例如方向/取向和幅值(magnitude ))。因此， 光流算法不僅確定在圖像內(nèi)存在運(yùn)動(dòng)，而且確定圖像內(nèi)運(yùn)動(dòng)的方向和幅值。 除了方向和幅值以外，光流實(shí)施方案還可以報(bào)告對(duì)每一個(gè)位置的置信度 (confidence)的度量。
圖4示出了用于檢測(cè)圖像中的對(duì)象的過(guò)程400的另一個(gè)例子。用于檢測(cè) 圖像中的對(duì)象的過(guò)程400可被用于在執(zhí)行過(guò)程200時(shí)在第一圖像中檢測(cè)對(duì)象 (220 )。
過(guò)程400包括訪(fǎng)問(wèn)第一圖像集合(401 )和訪(fǎng)問(wèn)第二圖像集合(402)。訪(fǎng) 問(wèn)第一圖像集合(401)和訪(fǎng)問(wèn)第二圖像集合(402)可以被以類(lèi)似于上面針 對(duì)圖3描述的訪(fǎng)問(wèn)第一圖像集合(301)和訪(fǎng)問(wèn)第二圖像集合(302)的方式 執(zhí)行。第一圖像集合和第二圖像集合可以表示連續(xù)的已處理的相機(jī)圖像，或 者可以表示還未被處理的連續(xù)的相機(jī)圖像集合。在某些實(shí)施方案中，第一圖 像集合和第二圖像集合中所包括的圖像可以如上面針對(duì)圖3描述的那樣被多 緩沖。
在光流過(guò)程的一個(gè)實(shí)施方案中，計(jì)算設(shè)備140把圖像劃分為基準(zhǔn)塊 (403 )。例如，計(jì)算設(shè)備140把圖像劃分為一個(gè)或更多個(gè)像素的塊。在某些 實(shí)施方案中，計(jì)算設(shè)備140把每一個(gè)被訪(fǎng)問(wèn)的圖像劃分為塊?；鶞?zhǔn)塊可以是 大小相等的，或者也可以具有不同的大小。例如，基準(zhǔn)塊可以基于基準(zhǔn)塊中 所包括的內(nèi)容的獨(dú)特性(uniqueness)而具有不同的大小。
對(duì)于每一個(gè)基準(zhǔn)塊，計(jì)算設(shè)備140識(shí)別在其他圖像中具有相似外觀的塊， 例如，最相似的塊(404)。塊的相似性可以被計(jì)算為塊內(nèi)像素的像素值差的 和，其中，像素值差是基準(zhǔn)塊中的像素與相似塊中的對(duì)應(yīng)像素的像素值之間
的差。所述差可以被計(jì)算為從相似像素值減去基準(zhǔn)像素值的絕對(duì)值?？梢赃x 擇具有最小的像素值差的和的塊作為最相似的塊。
在某些實(shí)施方案中，計(jì)算設(shè)備140將圖像中的基準(zhǔn)塊與另一個(gè)圖像中的
14塊進(jìn)行比較。計(jì)算設(shè)備140可以首先比較其他圖像中與基準(zhǔn)塊在所述圖像中
的位置相距預(yù)定義距離內(nèi)的位置處的塊。如果未找到唯一匹配，則計(jì)算設(shè)備
140可以動(dòng)態(tài)地改變塊的大小。
計(jì)算設(shè)備基于每一個(gè)相似塊相對(duì)于其對(duì)應(yīng)基準(zhǔn)塊的相對(duì)位置，確定描述 運(yùn)動(dòng)的方向和幅值的向量(405 )。運(yùn)動(dòng)向量可以被計(jì)算為基準(zhǔn)塊與最相似匹 配塊之間位置的差，以使該向量指示在獲取基準(zhǔn)圖像與獲取另 一圖像之間的 時(shí)間內(nèi)圖像中的對(duì)象移動(dòng)的方向和距離。計(jì)算設(shè)備還可以確定置信度度量。 置信度度量可以被計(jì)算為像素差的和，以使該置信度指示塊內(nèi)圖像的外觀的 相似性。
光流計(jì)算的其他實(shí)施方案可被用來(lái)檢測(cè)相機(jī)110所捕獲的圖像內(nèi)對(duì)象的 運(yùn)動(dòng)。圖像集合可以包含多個(gè)通道，如同在彩色圖像的情況中那樣。像素值 可以包括多個(gè)通道的數(shù)據(jù)值?？梢葬槍?duì)每一個(gè)通道進(jìn)行差計(jì)算(例如絕對(duì)差)， 并將結(jié)果合并。圖像集合可以包含來(lái)自多個(gè)相機(jī)的數(shù)據(jù)。像素值可以包括來(lái) 自多個(gè)相機(jī)的數(shù)據(jù)值?？梢葬槍?duì)每一個(gè)相機(jī)的像素?cái)?shù)據(jù)進(jìn)行差計(jì)算(例如絕 對(duì)差)，并將結(jié)果合并。圖像集合可以包含來(lái)自多個(gè)相機(jī)曝光水平的數(shù)據(jù)。像 素值可以包括來(lái)自多個(gè)曝光水平的數(shù)據(jù)值?？梢葬槍?duì)每一個(gè)曝光水平的像素 數(shù)據(jù)進(jìn)行差計(jì)算(例如絕對(duì)差)，并且將結(jié)果合并。合并結(jié)果的過(guò)程包括計(jì)算 各個(gè)部分的和。替代的合并結(jié)果的過(guò)程包括選擇各個(gè)部分中的最大值。另一 個(gè)合并結(jié)果的過(guò)程包括選擇從圖像集合的預(yù)定部分(例如通道、圖像或曝光) 產(chǎn)生的結(jié)果。
計(jì)算設(shè)備140可以基于閾值確定運(yùn)動(dòng)的存在(406)。例如，第一閾值可 以^皮應(yīng)用于運(yùn)動(dòng)的幅值，以便如果位移的幅值大于或等于第一閾.值，則將塊 分類(lèi)為運(yùn)動(dòng)。第二閾值可以被應(yīng)用于塊匹配的相似性，以便如果位移的幅值 大于或等于第一閾值，并且塊匹配的質(zhì)量比第二閾值更相似，則將塊分類(lèi)為 運(yùn)動(dòng)。
計(jì)算設(shè)備140提供像素運(yùn)動(dòng)的分類(lèi)、方向和幅值作為運(yùn)動(dòng)數(shù)據(jù)(407)。 運(yùn)動(dòng)數(shù)據(jù)可以包括用戶(hù)的運(yùn)動(dòng)，并且可以;陂用來(lái)控制應(yīng)用。
除了上面針對(duì)圖3和圖4描述的過(guò)程以外，計(jì)算設(shè)備140還可以使用其 他技術(shù)來(lái)在第一圖像中檢測(cè)對(duì)象(220)。例如，針對(duì)圖5描述的過(guò)程代表了 計(jì)算設(shè)備140可以用來(lái)在第一圖像中檢測(cè)對(duì)象(220)的另一過(guò)程。
圖5示出了用于檢測(cè)圖像中的對(duì)象的另一個(gè)過(guò)程500的例子。用于檢測(cè)圖像中的對(duì)象的過(guò)程500可被用于在執(zhí)行過(guò)程200時(shí)在第一圖像中檢測(cè)對(duì)象 (220 )。過(guò)程500使用相機(jī)110所捕獲的圖像的背景模型來(lái)檢測(cè)相機(jī)110所 捕獲的圖像內(nèi)的對(duì)象(例如用戶(hù))。
過(guò)程500包括訪(fǎng)問(wèn)圖像集合(501 )。訪(fǎng)問(wèn)圖像集合(501 )可以被以類(lèi)似 于上面針對(duì)圖3和圖4描述的訪(fǎng)問(wèn)第一圖像集合(301 )和訪(fǎng)問(wèn)第一圖像集合 (401 )的方式執(zhí)行。
計(jì)算設(shè)備140產(chǎn)生背景模型(502)。在某些實(shí)施方案中，計(jì)算設(shè)備140 可以基于在相機(jī)110的視場(chǎng)內(nèi)只存在靜態(tài)或永久性背景元素的時(shí)間內(nèi)由相機(jī) 110拍攝的圖像產(chǎn)生背景模型。在這些實(shí)施方案中，背景模型可以被配置成 使得可以基于圖像與背景模型之間的比較來(lái)檢測(cè)圖像中的對(duì)象。在某些例子 中，背景模型可以是靜態(tài)的，并且可以基于在為了基于運(yùn)動(dòng)歷史控制應(yīng)用而 拍攝的圖像之前拍攝的圖像而產(chǎn)生。在其他的例子中，背景模型可以是動(dòng)態(tài) 的，并且可以基于在為了基于運(yùn)動(dòng)歷史控制應(yīng)用而拍攝的圖像之前和/或與之 同時(shí)拍攝的圖像而產(chǎn)生。例如，以下針對(duì)圖6描述用于產(chǎn)生動(dòng)態(tài)背景模型的 過(guò)程。
計(jì)算設(shè)備140將所訪(fǎng)問(wèn)的圖像集合與背景模型進(jìn)行比較以識(shí)別圖像中的 差(503 )。差指示對(duì)象或用戶(hù)的存在。所述差操作可以針對(duì)每一個(gè)像素計(jì)算 像素值的絕對(duì)差。
在某些實(shí)施方案中，圖像集合可以包含多個(gè)通道，如同在彩色圖像的情 況中那樣。像素值可以包括多個(gè)通道的數(shù)據(jù)值。可以針對(duì)每一個(gè)通道進(jìn)行差 計(jì)算(例如絕對(duì)差)，并將結(jié)果合并。圖像集合可以包含來(lái)自多個(gè)相機(jī)的數(shù)據(jù)。 像素值可以包括來(lái)自多個(gè)相機(jī)的數(shù)據(jù)值?？梢葬槍?duì)每一個(gè)相機(jī)的像素?cái)?shù)據(jù)進(jìn) 行差計(jì)算(例如絕對(duì)差)，并將結(jié)果合并。圖像集合可以包含來(lái)自多個(gè)相機(jī)曝 光水平的數(shù)據(jù)。像素值可以包括來(lái)自多個(gè)曝光水平的數(shù)據(jù)值?？梢允轻槍?duì)每 一個(gè)曝光水平的像素?cái)?shù)據(jù)進(jìn)行差計(jì)算(例如絕對(duì)差)，并且將結(jié)果合并。
合并結(jié)果的過(guò)程包括計(jì)算各個(gè)部分的和。替代的合并結(jié)果的過(guò)程包括選 擇各個(gè)部分中的最大值。另一個(gè)合并結(jié)果的過(guò)程包括選擇從圖像集合的預(yù)定 部分(例如通道、圖像或曝光)產(chǎn)生的結(jié)果。
計(jì)算設(shè)備140可以使用過(guò)濾操作(504)處理差結(jié)果。過(guò)濾操作(504) 可以被以類(lèi)似于上面針對(duì)圖3所描述的過(guò)濾操作(304)的方式執(zhí)行。
計(jì)算設(shè)備140使用閾值操作處理過(guò)濾后的差結(jié)果(505 )。閾值操作(505 )可以被以類(lèi)似于上面針對(duì)圖3所描述的閾值操作(305 )的方式執(zhí)行。
計(jì)算設(shè)備140提供在執(zhí)行閾值操作時(shí)獲得的像素分類(lèi)作為對(duì)象數(shù)據(jù)(例 如用戶(hù)數(shù)據(jù))(506)。該對(duì)象數(shù)據(jù)可以在控制應(yīng)用時(shí)使用。例如，在對(duì)象數(shù)據(jù) 表示對(duì)象(例如用戶(hù))的實(shí)施方案中，可以將對(duì)象(例如用戶(hù))的表示作為 應(yīng)用的一部分顯示在顯示i殳備120上。
圖6示出了用于產(chǎn)生動(dòng)態(tài)背景模型的過(guò)程600的例子。用于產(chǎn)生動(dòng)態(tài)背 景模型的過(guò)程600可以用于在執(zhí)行過(guò)程500時(shí)產(chǎn)生背景模型(502)。由過(guò)程 600產(chǎn)生的背景模型可以是動(dòng)態(tài)的，以使其根據(jù)場(chǎng)景中的變化自動(dòng)更新。
計(jì)算設(shè)備140訪(fǎng)問(wèn)圖像集合(602)。被訪(fǎng)問(wèn)的圖像集合可以是上面針對(duì) 圖5所描述的步驟501中訪(fǎng)問(wèn)的圖^f象集合。
計(jì)算設(shè)備140使用采樣過(guò)程采樣被訪(fǎng)問(wèn)的圖像集合(603 )。除了背景以 外，采樣還可以包括用戶(hù)。在某些實(shí)施方案中，針對(duì)祐:訪(fǎng)問(wèn)的圖像集合中所 包含的圖像的每一個(gè)像素，采樣單個(gè)像素值。在其他的實(shí)施方案中，針對(duì)被 訪(fǎng)問(wèn)的圖像集合中所包含的圖像的每一個(gè)像素，采樣一系列值(a range of values )。所述一 系列值可以表示在較短時(shí)間段內(nèi)針對(duì)該像素觀測(cè)到值的范圍 (range)。
通過(guò)在背景模型中包括這個(gè)范圍的影響，可以對(duì)信號(hào)噪聲建模。通過(guò)將 多個(gè)幀的數(shù)據(jù)用于采樣可以觀測(cè)到這個(gè)范圍，但是，如果在幀被采樣時(shí)用戶(hù) 處于運(yùn)動(dòng)中，則將多個(gè)幀的數(shù)據(jù)用于采樣會(huì)增加可能被用戶(hù)遮擋的那部分背 景。要使用的最佳幀數(shù)取決于預(yù)期的用戶(hù)運(yùn)動(dòng)。盡管可以使用最佳幀數(shù)，但 是取決于特定配置，也可以使用不同于最佳幀數(shù)的幀數(shù)。例如，可以使用小 于最佳幀數(shù)的幀數(shù)，以便降低與檢測(cè)用戶(hù)相關(guān)聯(lián)的處理功率。在一個(gè)實(shí)施方 案中，對(duì)十幀進(jìn)行采樣，因?yàn)槭畮阋杂^測(cè)所述范圍的大部分，而又不會(huì)使 用戶(hù)的運(yùn)動(dòng)遮擋背景過(guò)多的部分。
圖像集合可以包含多個(gè)通道，如在彩色圖像的情況中那樣。采樣像素值 可以包括多個(gè)通道的數(shù)據(jù)值。圖像集合可以包含來(lái)自多個(gè)相機(jī)的數(shù)據(jù)。采樣 像素值可以包括來(lái)自多個(gè)相機(jī)的數(shù)據(jù)值。圖像集合可以包含來(lái)自多個(gè)相機(jī)曝 光水平的數(shù)據(jù)。像素值可以包括來(lái)自多個(gè)曝光水平的數(shù)據(jù)值。
計(jì)算設(shè)備140將從采樣過(guò)程(603 )獲得的采樣添加到緩沖器604，緩沖 器604具有存儲(chǔ)多個(gè)(例如n個(gè))采樣的存儲(chǔ)位置，其中，當(dāng)添加新的采樣 時(shí)，替代在歷史上最老的采樣。因此，所述歷史包含針對(duì)每一個(gè)像素的n個(gè)
17采樣值。采樣值可以包括代表圖像的多個(gè)彩色通道或者來(lái)自多個(gè)相機(jī)的數(shù)據(jù)
的多個(gè)數(shù)據(jù)值。如果采樣過(guò)程(603 )產(chǎn)生了一個(gè)范圍，則采樣值還可以包括
所述范圍的表示。如等式(l)所表示的那樣，緩沖器中所表示的時(shí)間跨度J取
決于獲取新的采樣并將其添加到所述歷史的速率r:
<formula>formula see original document page 18</formula>(1)
在這個(gè)動(dòng)態(tài)背景模型的實(shí)施方案中，計(jì)算設(shè)備140執(zhí)行選擇過(guò)程(605 ), 以便針對(duì)每一個(gè)像素選擇一個(gè)值，該值被確定為代表該像素所表示的位置處 的背景。選擇代表背景的值的一個(gè)過(guò)程是選擇每一個(gè)像素的n個(gè)采樣的中值 (median value )。對(duì)于任何像素，緩沖器中n個(gè)采樣值的數(shù)量可以表示用戶(hù)。 可以選擇持續(xù)時(shí)間(duration) d，以使在任意時(shí)間跨度d內(nèi)，用戶(hù)不可能在 累積的持續(xù)時(shí)間d/2或更長(zhǎng)時(shí)間中遮擋背景的任何一個(gè)像素。因此，對(duì)于任 何像素，大部分采樣值將代表背景，并且因此，采樣值的中值將是代表背景 的值。
緩沖器604中的多個(gè)采樣可以被初始化為第一組;故產(chǎn)生的采樣。或者， 緩沖器604中的多個(gè)采樣可以被初始化為預(yù)定義的數(shù)據(jù)。預(yù)定義的數(shù)據(jù)可以 表示在已知場(chǎng)景中不存在用戶(hù)時(shí)獲取的采樣。
計(jì)算設(shè)備140提供動(dòng)態(tài)產(chǎn)生的背景模型(606)。例如，可以在過(guò)程500 中使用動(dòng)態(tài)產(chǎn)生的背景模型來(lái)檢測(cè)圖像集合內(nèi)的對(duì)象。
除了上面針對(duì)圖3到圖6描述的過(guò)程以外，計(jì)算設(shè)備140也可以使用其 他技術(shù)來(lái)檢測(cè)第一圖像中的對(duì)象(220)。例如，針對(duì)圖7描述的過(guò)程代表了 計(jì)算設(shè)備140可以用來(lái)檢測(cè)第一圖像中的對(duì)象(220)的另一個(gè)過(guò)程。
圖7示出了用于檢測(cè)圖像中的對(duì)象的過(guò)程700的另一個(gè)例子。在執(zhí)行過(guò) 程200時(shí)，用于檢測(cè)圖像中的對(duì)象的過(guò)程700可被用于在第一圖像中檢測(cè)對(duì) 象(220 )。
計(jì)算設(shè)備140訪(fǎng)問(wèn)圖像集合(701 )。訪(fǎng)問(wèn)圖像集合(701 )可以被以類(lèi)似 于上面針對(duì)圖5描述的訪(fǎng)問(wèn)圖像集合(501)的方式4丸行。
計(jì)算設(shè)備140使用閾值操作處理被訪(fǎng)問(wèn)的圖像集合中包括的圖像(702 )。 例如，閾值操作可以將圖像的每一個(gè)像素與閾值比較。如果像素的值大于或 等于閾值，則該像素被分類(lèi)為具有運(yùn)動(dòng)，否則該像素被分類(lèi)為不具有運(yùn)動(dòng)。
計(jì)算設(shè)備140基于閾值操作產(chǎn)生對(duì)象數(shù)據(jù)(例如用戶(hù)數(shù)據(jù))(703 )。計(jì)算 設(shè)備提供像素的分類(lèi)作為對(duì)象數(shù)據(jù)。在某些實(shí)施方案中，計(jì)算設(shè)備140可以給相機(jī)110提供相機(jī)控制數(shù)據(jù)， 以便控制相機(jī)捕獲圖像所使用的參數(shù)。計(jì)算設(shè)備140可以控制相機(jī)110的參 數(shù)，以提高檢測(cè)由相機(jī)捕獲的圖像中的對(duì)象或者用戶(hù)的能力。例如，相機(jī)控 制數(shù)據(jù)影響包括曝光時(shí)間、增益和光圏的相機(jī)參數(shù)。在某些實(shí)施方案中，計(jì) 算設(shè)備140計(jì)算相機(jī)圖像集合或其一部分內(nèi)的平均像素值。如果平均像素密 度低于閾值，則計(jì)算設(shè)備140產(chǎn)生導(dǎo)致相機(jī)提高其靈敏度(例如圖像亮度) 的相機(jī)控制數(shù)據(jù)。如果平均像素密度高于閾值，則計(jì)算設(shè)備140產(chǎn)生導(dǎo)致相 機(jī)降低其靈敏度(例如圖像亮度)的相機(jī)控制數(shù)據(jù)。
可以以微細(xì)(fine)步長(zhǎng)調(diào)整相機(jī)，以便使靈敏度(例如圖像亮度)的變 化足夠小，不至于破壞在圖像集合內(nèi)檢測(cè)對(duì)象的正確操作。在采用過(guò)程300 來(lái);f企測(cè)圖像內(nèi)的對(duì)象的實(shí)施方案中，步長(zhǎng)大小應(yīng)該足夠微細(xì)，以使亮度上的 有效變化小于閾值過(guò)程(305 )的閾值。類(lèi)似地，在采用其他過(guò)程(例如過(guò)程 400、 500或700)來(lái)檢測(cè)圖像內(nèi)的對(duì)象的實(shí)施方案中，步長(zhǎng)大小可以足夠微 細(xì)，以使亮度上的有效變化小于閾值過(guò)程的閾值(例如在參考數(shù)字406、 505 或702中使用的閾值)。在替代的實(shí)施方案中，包括曝光時(shí)間、增益和光圈的 相機(jī)參數(shù)可以由內(nèi)建于相機(jī)110中的自動(dòng)曝光過(guò)程確定。在這種情況下，相 機(jī)控制數(shù)據(jù)可以由相機(jī)110產(chǎn)生。
相機(jī)控制數(shù)據(jù)可以被用于檢測(cè)圖像內(nèi)的對(duì)象的過(guò)程。例如，在采用過(guò)程 300的實(shí)施方案中，閾值過(guò)程(305 )的閾值可以被暫時(shí)提高，以使閾值大于 相機(jī)控制數(shù)據(jù)導(dǎo)致的像素值的差。類(lèi)似地，在采用其他過(guò)程(例如過(guò)程400、 500或700)的實(shí)施方案中，閾值過(guò)程的閾值(例如在參考數(shù)字406、 505或 702中使用的閾值)可以被暫時(shí)提高，以使閾值大于相機(jī)控制數(shù)據(jù)導(dǎo)致的像 素值的差。
增益水平可能影響相機(jī)圖像集合的信噪比。在采用過(guò)程300的實(shí)施方案 中，閾值過(guò)程(305 )的閾值可以被自動(dòng)調(diào)整，以使闞值大于在相機(jī)的增益水 平預(yù)期的噪聲水平。類(lèi)似地，在采用其他過(guò)程(例如過(guò)程400、 500或700) 的實(shí)施方案中，閾值過(guò)程的閾值(例如在參考數(shù)字406、 505或702中使用的 閾值)可以被自動(dòng)調(diào)整，以使閾值大于在相機(jī)的增益水平預(yù)期的噪聲水平。
相機(jī)控制數(shù)據(jù)也可以用來(lái)檢測(cè)環(huán)境光水平。在某些實(shí)施方案中，計(jì)算設(shè) 備140或者相機(jī)110將(例如由相機(jī)控制數(shù)據(jù)指示的)相機(jī)曝光時(shí)間與閾值 時(shí)間進(jìn)行比較，并將(例如由相機(jī)控制數(shù)據(jù)指示的)相機(jī)增益水平與閾值增
19益水平進(jìn)行比較。如果曝光時(shí)間比閾值時(shí)間短，或者增益低于閾值增益水平， 則可以觸發(fā)日光處理模式。如果相機(jī)控制數(shù)據(jù)指示相機(jī)正使用比閾值時(shí)間長(zhǎng) 的曝光時(shí)間，或者比閾值水平高的增益，則可以觸發(fā)使用夜間處理模式。相
機(jī)控制數(shù)據(jù)還可以包括控制照明器130的操作的照明器130控制數(shù)據(jù)。
在由陽(yáng)光照明的場(chǎng)景中，對(duì)比度可能非常高。在這些條件下，某些攝影 機(jī)可能不能在陰影區(qū)檢測(cè)到足夠的對(duì)比度來(lái)檢測(cè)圖像中的對(duì)象(例如用戶(hù))。
在某些實(shí)施方案中，相機(jī)110可以包括高動(dòng)態(tài)范圍相機(jī)。高動(dòng)態(tài)范圍相機(jī)具
有高動(dòng)態(tài)范圍，因此可以提供必要的對(duì)比度，以便同時(shí)在陰影和日照區(qū)域中 檢測(cè)圖像中的對(duì)象。高動(dòng)態(tài)范圍相機(jī)可能具有比其他相機(jī)更高的成本，并且
對(duì)于明亮的陽(yáng)光操作可能具有不足的動(dòng)態(tài)范圍。相機(jī)IIO可以使用其他技術(shù) 來(lái)擴(kuò)展任何類(lèi)型相機(jī)的動(dòng)態(tài)范圍。
在某些實(shí)施方案中，為了擴(kuò)展相機(jī)的動(dòng)態(tài)范圍，可以控制相機(jī)快速地連 續(xù)在兩個(gè)或更多個(gè)曝光時(shí)間之間交替。在這些實(shí)施方案中，第一相機(jī)圖像被 以第 一曝光持續(xù)時(shí)間捕獲，并且第二相機(jī)圖像被以第二曝光持續(xù)時(shí)間捕獲。 第一曝光持續(xù)時(shí)間較短，以使場(chǎng)景的日照部分在第一相機(jī)圖像中顯得具有高 對(duì)比度。場(chǎng)景的陰影部分在第一相機(jī)圖像中可以顯得非常暗。第二曝光持續(xù) 時(shí)間比第 一曝光持續(xù)時(shí)間長(zhǎng)，以使場(chǎng)景的陰影部分在第二相機(jī)圖像中顯得具 有高對(duì)比度。場(chǎng)景的日照部分在第二相機(jī)圖像中可能表現(xiàn)為純白色。
在這些實(shí)施方案中，相機(jī)圖像集合和處理過(guò)的相機(jī)圖像集合包括以第一 曝光持續(xù)時(shí)間捕獲的第 一相機(jī)圖像、和以第二曝光持續(xù)時(shí)間捕獲的第二相機(jī) 圖像。檢測(cè)圖像中的對(duì)象的過(guò)程(220)既可以利用圖像集合的第一圖像也可 以利用圖像集合的第二圖像。其他過(guò)程，例如應(yīng)用控制過(guò)程和摳像(keying) 過(guò)程，可以只使用第一圖像。
在其他實(shí)施方案中，為了擴(kuò)展相機(jī)的動(dòng)態(tài)范圍，相機(jī)110可以包括兩個(gè) 或更多個(gè)相機(jī)。在這些實(shí)施方案中，第一相機(jī)圖像由第一相機(jī)捕獲，并且第 二相機(jī)圖像由第二相機(jī)捕獲。第一相機(jī)使用短曝光持續(xù)時(shí)間或者其他的手段， 例如濾光透鏡，以使場(chǎng)景的日照部分在第一相機(jī)圖像中顯得具有高對(duì)比度。 場(chǎng)景的陰影部分在第一相機(jī)圖像中可以顯得非常暗。第二相機(jī)使用比第一曝 光持續(xù)時(shí)間長(zhǎng)的曝光持續(xù)時(shí)間，或者其他手段，例如更高的增益水平，以使 場(chǎng)景的陰影部分在第二相機(jī)圖像中顯得具有高對(duì)比度。場(chǎng)景的日照部分在第 二相機(jī)圖像中可以以純白色出現(xiàn)。在這些實(shí)施方案中，相機(jī)圖像集合和處理過(guò)的相機(jī)圖像集合可以包括由第 一相機(jī)捕獲的第 一相機(jī)圖像和由第二相機(jī)捕 獲的第二相機(jī)圖像。檢測(cè)圖像中的對(duì)象的過(guò)程(220)既可以利用圖像集合的 第一圖像也可以利用圖像集合的第二圖像。其他的過(guò)程，例如應(yīng)用控制過(guò)程 和摳像過(guò)程，可以只使用第一圖像。
在進(jìn)一步的實(shí)施方案中，為了擴(kuò)展相機(jī)的動(dòng)態(tài)范圍，相機(jī)110可以包括
能夠向傳感器元件集合應(yīng)用獨(dú)特的增益水平的相機(jī)。這可以包括很多彩色相 機(jī)，其中，獨(dú)特的增益水平可以被應(yīng)用到傳感器元件的紅色集合、綠色集合 和藍(lán)色集合。第一傳感器元件集合的增益水平可以被設(shè)置到低水平，并且相 機(jī)的曝光可以被設(shè)置成使得場(chǎng)景的日照部分在該集合的數(shù)據(jù)中顯得具有高對(duì) 比度。例如，在彩色相機(jī)中，第一集合可以是藍(lán)色傳感器元件集合，因?yàn)樗{(lán) 色元件可以比其他元件靈敏度低。第二傳感器元件集合的增益水平被設(shè)置到 較高水平，以使場(chǎng)景的陰影部分在第二相機(jī)圖像中顯得具有高對(duì)比度。例如
在彩色相機(jī)中，第二集合可以是綠色傳感器元件集合，因?yàn)榫G色元件可以非 常靈敏。另外的傳感器元件集合的增益水平可以被設(shè)置成獲得中間靈敏度。 在彩色相機(jī)中，可以安裝彩色濾光透鏡，其中，濾光透鏡抑制(但不完全阻 擋)綠色光，從而進(jìn)一步擴(kuò)展第一和第二傳感器元件集合之間靈敏度的差。 在這些實(shí)施方案中，相機(jī)圖像集合和處理過(guò)的相機(jī)圖像集合可以包括多個(gè)通
道的數(shù)據(jù)。檢測(cè)圖像內(nèi)的對(duì)象的過(guò)程(220)可以利用多個(gè)通道的圖像數(shù)據(jù)。 在這些實(shí)施方案中，圖像的外觀可以顯得被著色(tinted)?？梢允褂玫诙?機(jī)來(lái)獲取另一在視覺(jué)上令人滿(mǎn)意的圖像。其他的過(guò)程，例如應(yīng)用控制過(guò)程和 摳像過(guò)程，可以使用在視覺(jué)上令人滿(mǎn)意的圖像。
在微弱照明的場(chǎng)景中，例如在室內(nèi)或夜間操作期間遇到的那樣，亮度可 能非常低。在這些條件下，可以利用照明器130。照明器130可以提供可見(jiàn) 光，以使相機(jī)110所捕獲的圖像在視覺(jué)上令人滿(mǎn)意，并且可以向用戶(hù)顯示。 或者，照明器130可以提供相機(jī)能夠檢測(cè)的紅外光。紅外光的波長(zhǎng)可以是850 納米，因?yàn)楹芏嘞鄼C(jī)能夠感測(cè)這個(gè)波長(zhǎng)而用戶(hù)不能。在利用紅外照明的實(shí)施 方案中，可以使用灰階相機(jī)(grayscale camera )?？梢允褂玫诙鄼C(jī)來(lái)獲取第 二圖像，例如彩色相^^,并且其他的過(guò)程，例如應(yīng)用控制過(guò)程和摳^象過(guò)程， 可以使用第二圖像。
在某些實(shí)施方案中，照明器130可以被與相機(jī)110同步，以使照明器130 在交替的幀期間閃光。相機(jī)IIO捕獲被照明器130照明的第一圖像、以及未被照明器130照明的第二圖像。捕獲過(guò)程可以從第一圖像的像素值中減去第二圖像的對(duì)應(yīng)像素值。在處理過(guò)的相機(jī)圖像集合中可以包括作為結(jié)果的圖像。這個(gè)過(guò)程分離了被照明器130照明的圖像部分，同時(shí)有效地去除了被環(huán)境光照明的圖像部分。
照明器130可以位于顯示設(shè)備120附近。所發(fā)射的光的強(qiáng)度隨著從照明器130到被成像的對(duì)象的距離的增加而減小。在某些實(shí)施方案中，所發(fā)射的投射在背景中的人物或?qū)ο笊系墓獾牧匡@著少于所發(fā)射的投射在用戶(hù)上的光的量。例如在這些實(shí)施方案中，如圖7中所示的用于檢測(cè)圖像中的對(duì)象(例如用戶(hù))的過(guò)程700可以足夠檢測(cè)所述用戶(hù)。在閾值過(guò)程(702)中使用的閾值可以被設(shè)置為大于嘴景人物和對(duì)象的預(yù)期像素值的值。因?yàn)檎彰髌?30對(duì)用戶(hù)的照明比對(duì)背景中的人物或者對(duì)象的照明強(qiáng)，所以作為更多照明的結(jié)果，閾值可以被設(shè)置成使得任何大于閾值的像素被假設(shè)為用戶(hù)。
照明器130可以位于上方，以使所發(fā)射的光照明用戶(hù)而不照明背景中的人物或者對(duì)象。例如在這個(gè)實(shí)施方案中，如圖7中所示的用于檢測(cè)圖像中的對(duì)象(例如用戶(hù))的過(guò)程700可以足夠檢測(cè)所述用戶(hù)。在閾值過(guò)程(702)中使用的閾值可以被設(shè)置為大于未被照明的背景人物和對(duì)象的預(yù)期像素值的值。
再次參考圖2,計(jì)算設(shè)備140基于在第一圖像中檢測(cè)對(duì)象產(chǎn)生對(duì)象數(shù)據(jù)地圖(object data map ) ( 230 )。例如，計(jì)算設(shè)備140可以把圖像劃分為多個(gè)部分(例如像素)，并且對(duì)于圖像中的每一個(gè)部分，提供有關(guān)在圖像的那個(gè)部分中是否檢測(cè)到對(duì)象(例如用戶(hù))的指示。在這個(gè)例子中，對(duì)象數(shù)據(jù)地圖可以包括與圖像中所包括的每一個(gè)像素相關(guān)聯(lián)的信息。例如，對(duì)象數(shù)據(jù)地圖可以包括指示在圖像中的每一個(gè)像素處是否檢測(cè)到對(duì)象(例如用戶(hù))的信息。計(jì)算設(shè)備140可以基于上面針對(duì)圖3到圖5以及圖7描述的過(guò)程300、 400、500和/或700提供的運(yùn)動(dòng)數(shù)據(jù)和/或?qū)ο髷?shù)據(jù)(例如用戶(hù)數(shù)據(jù))產(chǎn)生對(duì)象數(shù)據(jù)地圖。
計(jì)算設(shè)備140產(chǎn)生運(yùn)動(dòng)歷史，運(yùn)動(dòng)歷史指示自從在對(duì)象數(shù)據(jù)地圖中所包括的圖像的每一個(gè)部分檢測(cè)到對(duì)象時(shí)起的時(shí)間(240)。例如，計(jì)算設(shè)備140可以分析對(duì)象數(shù)據(jù)地圖中所包括的多個(gè)部分，并且對(duì)于對(duì)象數(shù)據(jù)地圖中的每一個(gè)部分，更新自從在圖像的該部分中檢測(cè)到對(duì)象(例如用戶(hù))時(shí)起的時(shí)間的指示。在這個(gè)例子中，計(jì)算設(shè)備140可以基于在對(duì)象數(shù)據(jù)地圖的對(duì)應(yīng)部分中是否檢測(cè)到對(duì)象，來(lái)更新運(yùn)動(dòng)歷史中所包括的信息。例如，可以更新運(yùn)動(dòng) 歷史，以便對(duì)于對(duì)象數(shù)據(jù)地圖中所有檢測(cè)到對(duì)象的部分，指示在最新近的檢
測(cè)過(guò)程中檢測(cè)到對(duì)象。對(duì)于對(duì)象數(shù)據(jù)地圖中所有未^r測(cè)到對(duì)象的部分，計(jì)算
設(shè)備可以增加或維持自從在對(duì)應(yīng)部分檢測(cè)到對(duì)象時(shí)起的時(shí)間量。
在某些實(shí)施方案中，自從;險(xiǎn)測(cè)到對(duì)象時(shí)起的時(shí)間可以具有最大值，以使 超過(guò)最大值的任何時(shí)間都不會(huì)導(dǎo)致對(duì)該部分運(yùn)動(dòng)歷史的更新。運(yùn)動(dòng)歷史可以 包括與圖像中所包括的每一個(gè)像素相關(guān)聯(lián)的信息。例如，運(yùn)動(dòng)歷史可以包括 指示自從在圖像中的每一個(gè)像素處檢測(cè)到對(duì)象(例如用戶(hù))時(shí)起的時(shí)間的信 息。運(yùn)動(dòng)歷史可以被作為像素地圖來(lái)維護(hù)，所述像素地圖包括對(duì)自從在對(duì)象 數(shù)據(jù)地圖中所包括的每一個(gè)像素處檢測(cè)到對(duì)象(例如用戶(hù))時(shí)起的時(shí)間的指 示。對(duì)自從檢測(cè)到對(duì)象(例如用戶(hù))時(shí)起的時(shí)間的指示可以包括自從最后檢 測(cè)到對(duì)象時(shí)起的幀計(jì)數(shù)、指示最后檢測(cè)到用戶(hù)的時(shí)間的時(shí)間值，或者指示自 從最后片全測(cè)到用戶(hù)時(shí)起的時(shí)間的時(shí)間值。
圖8示出了用于產(chǎn)生運(yùn)動(dòng)歷史的過(guò)程800的例子。在執(zhí)行過(guò)程200時(shí)， 用于產(chǎn)生運(yùn)動(dòng)歷史的過(guò)程800可以用于產(chǎn)生運(yùn)動(dòng)歷史(240)。在某些實(shí)施方 案中，對(duì)于每一個(gè)像素，所產(chǎn)生的運(yùn)動(dòng)歷史包括自從在該位置檢測(cè)到對(duì)象(例 如用戶(hù))時(shí)起的幀凄t的表示。
計(jì)算設(shè)備140使先前計(jì)算的運(yùn)動(dòng)歷史老化(age ) ( 802 ),以產(chǎn)生被老化 的(aged)運(yùn)動(dòng)歷史(803 )。例如，計(jì)算設(shè)備140增大先前計(jì)算的運(yùn)動(dòng)歷史 中所包括的與每一個(gè)像素相關(guān)聯(lián)的幀計(jì)數(shù)，以產(chǎn)生被老化的運(yùn)動(dòng)歷史，在被 老化的運(yùn)動(dòng)歷史中，每一個(gè)像素的幀計(jì)數(shù)指示該位置被對(duì)象或者用戶(hù)占據(jù)的 最后時(shí)間在過(guò)去又遠(yuǎn)離了 一巾貞。
計(jì)算設(shè)備140把對(duì)象數(shù)據(jù)地圖(例如用戶(hù)數(shù)據(jù))中所包括的數(shù)據(jù)添加到 被老化的運(yùn)動(dòng)歷史(804)。例如，對(duì)于已被分類(lèi)為對(duì)象(例如用戶(hù))的一部 分的對(duì)象數(shù)據(jù)地圖的像素(例如用戶(hù)數(shù)據(jù))，在運(yùn)動(dòng)歷史中的對(duì)應(yīng)像素被設(shè)置 成具有指示所述像素當(dāng)前被對(duì)象(例如用戶(hù))占據(jù)的幀計(jì)數(shù)。在這個(gè)例子中， 計(jì)算設(shè)備140可以把被確定為當(dāng)前被對(duì)象(例如用戶(hù))占據(jù)的像素設(shè)置為零 值，并且對(duì)于被確定為當(dāng)前未被對(duì)象(例如用戶(hù))占據(jù)的像素維持老化的幀 計(jì)數(shù)。產(chǎn)生的結(jié)果作為當(dāng)前運(yùn)動(dòng)歷史，覆蓋先前計(jì)算的運(yùn)動(dòng)歷史。
圖9示出了用于產(chǎn)生運(yùn)動(dòng)歷史的過(guò)程900的例子。在執(zhí)行過(guò)程200時(shí)， 用于產(chǎn)生運(yùn)動(dòng)歷史的過(guò)程900可以用于產(chǎn)生運(yùn)動(dòng)歷史(240)。在某些實(shí)施方
23案中，對(duì)于每一個(gè)像素，所產(chǎn)生的運(yùn)動(dòng)歷史包括自從在該位置檢測(cè)到對(duì)象(例 如用戶(hù))時(shí)起的幀凄t的表示。
計(jì)算設(shè)備140訪(fǎng)問(wèn)先前計(jì)算的中間運(yùn)動(dòng)歷史(905 )，并使先前計(jì)算的中 間運(yùn)動(dòng)歷史老化(902)以產(chǎn)生老化的運(yùn)動(dòng)歷史(903 )。例如，計(jì)算設(shè)備140 增大先前計(jì)算的中間運(yùn)動(dòng)歷史中所包括的與每一個(gè)像素相關(guān)聯(lián)的幀計(jì)數(shù)，以 產(chǎn)生老化的運(yùn)動(dòng)歷史，其中，每一個(gè)像素的幀計(jì)數(shù)指示該位置被對(duì)象或者用 戶(hù)占據(jù)的最后時(shí)間在過(guò)去又遠(yuǎn)離了一幀。
計(jì)算設(shè)備140把對(duì)象數(shù)據(jù)地圖(例如用戶(hù)數(shù)據(jù))中所包括的數(shù)據(jù)添加到 被老化的運(yùn)動(dòng)歷史(904)。例如，對(duì)于已被分類(lèi)為對(duì)象(例如用戶(hù))的一部 分的對(duì)象數(shù)據(jù)地圖(例如用戶(hù)數(shù)據(jù))的像素，在運(yùn)動(dòng)歷史中的對(duì)應(yīng)像素被設(shè) 置成具有指示該像素當(dāng)前被對(duì)象(例如用戶(hù))占據(jù)的幀計(jì)數(shù)。在這個(gè)例子中， 計(jì)算設(shè)備140可以把被確定為當(dāng)前被對(duì)象(例如用戶(hù))占據(jù)的像素設(shè)置為零 值，并且對(duì)于被確定為未被對(duì)象(例如用戶(hù))占據(jù)的像素維持被老化的幀計(jì) 數(shù)。產(chǎn)生的結(jié)果作為當(dāng)前中間運(yùn)動(dòng)歷史，覆蓋先前計(jì)算的中間運(yùn)動(dòng)歷史。
計(jì)算設(shè)備140過(guò)濾當(dāng)前中間運(yùn)動(dòng)歷史以產(chǎn)生運(yùn)動(dòng)歷史(906)。過(guò)濾過(guò)程 (906)可以包括平均內(nèi)核。在這個(gè)例子中，對(duì)于每一個(gè)像素，對(duì)以該像素為 中心的鄰近范圍內(nèi)的所有像素進(jìn)行求和計(jì)算。平均內(nèi)核通常用于使圖像模糊。 在這個(gè)例子中，總體形狀可以更光滑，邊緣可以顯得更柔和，并且階躍可以 更不明顯。
圖IO示出了用于產(chǎn)生運(yùn)動(dòng)歷史的過(guò)程IOOO的例子。用于產(chǎn)生運(yùn)動(dòng)歷史 的過(guò)程1000可以在4丸行過(guò)程200時(shí)用于產(chǎn)生運(yùn)動(dòng)歷史(240)。在某些實(shí)施方 案中，對(duì)于每一個(gè)像素，所產(chǎn)生的運(yùn)動(dòng)歷史包括在該位置中檢測(cè)到用戶(hù)的時(shí) 間的表示。
計(jì)算設(shè)備140把對(duì)象數(shù)據(jù)地圖(例如用戶(hù)數(shù)據(jù))中所包括的數(shù)據(jù)添加到 先前的運(yùn)動(dòng)歷史(1012)。例如，對(duì)于已被分類(lèi)為對(duì)象(例如用戶(hù))的一部分 的對(duì)象數(shù)據(jù)地圖(例如用戶(hù)數(shù)據(jù))的像素，在運(yùn)動(dòng)歷史中的對(duì)應(yīng)像素被設(shè)置 成具有當(dāng)前時(shí)間的表示。對(duì)于與未被分類(lèi)為對(duì)象(例如用戶(hù))的一部分的對(duì) 象數(shù)據(jù)地圖(例如用戶(hù)數(shù)據(jù))中的像素相對(duì)應(yīng)的先前運(yùn)動(dòng)歷史的像素，時(shí)間 數(shù)據(jù)被維持，以反映在該位置檢測(cè)到對(duì)象(例如用戶(hù))的最后時(shí)間。產(chǎn)生的 結(jié)果作為當(dāng)前運(yùn)動(dòng)歷史。
圖11示出了用于產(chǎn)生運(yùn)動(dòng)歷史的過(guò)程1100的例子。在執(zhí)行過(guò)程 時(shí)，用于產(chǎn)生運(yùn)動(dòng)歷史的過(guò)程IIOO可以用于產(chǎn)生運(yùn)動(dòng)歷史(240)。在某些實(shí)施方 案中，對(duì)于每一個(gè)像素，所產(chǎn)生的運(yùn)動(dòng)歷史包括在該位置中檢測(cè)到用戶(hù)的時(shí) 間的表示。
計(jì)算設(shè)備140訪(fǎng)問(wèn)先前計(jì)算的中間運(yùn)動(dòng)歷史(1105 )，并把對(duì)象數(shù)據(jù)地圖 (例如用戶(hù)數(shù)據(jù))中所包括的數(shù)據(jù)添加到先前計(jì)算的中間運(yùn)動(dòng)歷史(1112)。 例如，對(duì)于已被分類(lèi)為對(duì)象(例如用戶(hù))的一部分的對(duì)象數(shù)據(jù)地圖的像素(例 如用戶(hù)數(shù)據(jù))，在先前計(jì)算的中間運(yùn)動(dòng)歷史中的對(duì)應(yīng)像素被設(shè)置成具有當(dāng)前時(shí) 間的表示。對(duì)于與對(duì)象數(shù)據(jù)地圖(例如用戶(hù)數(shù)據(jù))的未被分類(lèi)為對(duì)象(例如 用戶(hù))的一部分的像素相對(duì)應(yīng)的先前計(jì)算的中間運(yùn)動(dòng)歷史的像素，時(shí)間數(shù)據(jù) 被維持，以反映在該位置檢測(cè)到對(duì)象(例如用戶(hù))的最后時(shí)間。產(chǎn)生的結(jié)果 作為當(dāng)前中間運(yùn)動(dòng)歷史。
計(jì)算設(shè)備140過(guò)濾當(dāng)前中間運(yùn)動(dòng)歷史以產(chǎn)生運(yùn)動(dòng)歷史(1106 )。過(guò)濾過(guò)程 (1106)可以包括平均內(nèi)核。在這個(gè)例子中，對(duì)于每一個(gè)像素，對(duì)以該像素 為中心的鄰近范圍內(nèi)的所有像素進(jìn)行求和計(jì)算。平均內(nèi)核通常用于使圖^# 糊。在這個(gè)例子中，總體形狀可以更光滑，邊緣可以顯得更柔和，并且階躍 可以更不明顯。
再次參考圖2,計(jì)算設(shè)備140基于運(yùn)動(dòng)歷史控制應(yīng)用(250)。例如，計(jì) 算設(shè)備140可以控制應(yīng)用以便在與所述應(yīng)用相關(guān)聯(lián)的顯示圖像中繪制對(duì)象 (例如用戶(hù))的表示。在這個(gè)例子中，對(duì)象的表示可以是和應(yīng)用交互的用戶(hù) 的表示。用戶(hù)可以基于應(yīng)用在顯示設(shè)備120上繪制的顯示圖像通過(guò)肢體進(jìn)行 交互。
在某些實(shí)施方案中，繪制對(duì)象(例如用戶(hù))的表示可以包括繪制被處理 過(guò)或未被處理的相機(jī)圖像作為應(yīng)用的顯示圖像中的對(duì)象(例如用戶(hù))的表示。 繪制對(duì)象(例如用戶(hù))的表示也可以包括繪制被摳像的圖像作為應(yīng)用的顯示 圖像中的對(duì)象(例如用戶(hù))的表示。繪制對(duì)象(例如用戶(hù))的表示還可以包 括繪制效果圖像作為應(yīng)用的顯示圖像中的對(duì)象(例如用戶(hù))的表示。
對(duì)象(例如用戶(hù))的表示可以基于運(yùn)動(dòng)歷史，以使所述表示包括對(duì)應(yīng)于 對(duì)象(例如用戶(hù))的過(guò)去的運(yùn)動(dòng)的特性。例如，在對(duì)象是用戶(hù)的實(shí)施方案中， 顯示圖像中的用戶(hù)的表示可能包括用戶(hù)運(yùn)動(dòng)的拖尾效果。在這個(gè)例子中，當(dāng) 用戶(hù)移動(dòng)(例如手臂或腿)時(shí)，用戶(hù)的表示可以包括示出用戶(hù)的運(yùn)動(dòng)(例如 用戶(hù)的手臂或腿的運(yùn)動(dòng))的拖尾效果。例如，用戶(hù)的表示可以包括完全不透
25明的用戶(hù)的當(dāng)前位置的顯示，以及不透明度降低的用戶(hù)的過(guò)去位置的顯示， 以使用戶(hù)的運(yùn)動(dòng)被顯示為具有隨著時(shí)間逐漸淡出的拖尾效果。所述表示可以 是用戶(hù)的實(shí)際圖像，或者可以基于對(duì)應(yīng)于用戶(hù)的動(dòng)畫(huà)圖像(例如游戲應(yīng)用中 對(duì)應(yīng)于玩游戲的用戶(hù)的人物)。拖尾效果可以成為在視覺(jué)上令人滿(mǎn)意的對(duì)用戶(hù) 表示的顯示。
在其他實(shí)施方案中，粒子(particle)系統(tǒng)可以顯示具有用戶(hù)的過(guò)去運(yùn)動(dòng) 的特性的用戶(hù)表示。在這些實(shí)施方案中，和用戶(hù)相關(guān)聯(lián)的運(yùn)動(dòng)歷史可以被輸 入粒子系統(tǒng)，并且粒子系統(tǒng)可以基于運(yùn)動(dòng)歷史繪制顯示。例如，在流體仿真 (fluid simulation )應(yīng)用中，流體仿真應(yīng)用可以把用戶(hù)的表示顯示為水波紋。 在這個(gè)例子中，對(duì)應(yīng)于用戶(hù)的更近來(lái)的運(yùn)動(dòng)的水波紋可以大于對(duì)應(yīng)于用戶(hù)的 過(guò)去運(yùn)動(dòng)的水波紋。
在某些實(shí)施方案中，計(jì)算設(shè)備140可以把運(yùn)動(dòng)歷史信息作為alpha(阿爾 法)通道中的alpha值提供給應(yīng)用。alpha通道中的信息可以被應(yīng)用直接用來(lái) 基于用戶(hù)的運(yùn)動(dòng)歷史繪制包括用戶(hù)的表示的顯示圖像。
在某些實(shí)施方案中，基于運(yùn)動(dòng)歷史控制應(yīng)用可以包括基于運(yùn)動(dòng)歷史確定 用戶(hù)輸入命令。例如，計(jì)算設(shè)備140可以基于運(yùn)動(dòng)歷史確定用戶(hù)觸摸應(yīng)用的 顯示圖像中的虛擬對(duì)象。在這個(gè)例子中，計(jì)算設(shè)備140可以基于運(yùn)動(dòng)歷史確 定用戶(hù)觸摸了虛擬球、虛擬人物，或者輸入控制。例如，如果由運(yùn)動(dòng)歷史捕 獲的用戶(hù)的被跟蹤的運(yùn)動(dòng)與應(yīng)用所繪制的虛擬對(duì)象相交，則計(jì)算設(shè)備140可 以確定所述虛擬對(duì)象一皮觸摸。
在某些例子中，可以控制靈敏度以使觸摸虛擬對(duì)象更為困難或者較不困 難。例如，只有用戶(hù)的當(dāng)前位置和虛擬對(duì)象相交，計(jì)算設(shè)備140才會(huì)確定用 戶(hù)觸摸了所述對(duì)象。在另一個(gè)例子中，如果運(yùn)動(dòng)歷史指示用戶(hù)的位置在特定 數(shù)目的幀內(nèi)或特定時(shí)間段內(nèi)和虛擬對(duì)象相交，計(jì)算設(shè)備140就可以確定用戶(hù) 觸摸了所述對(duì)象。
圖12到圖22示出了在應(yīng)用中操縱虛擬對(duì)象的例子。在應(yīng)用中操縱虛擬 對(duì)象可以是針對(duì)圖2描述的基于運(yùn)動(dòng)歷史控制應(yīng)用(250)的例子。
例如，圖12示出了用戶(hù)1201的例子。箭頭1202指示用戶(hù)1201正在移 動(dòng)其手臂和上體的方向。相機(jī)110可以捕獲以這種方式運(yùn)動(dòng)的用戶(hù)1201的圖 像，并且計(jì)算設(shè)備可以基于所捕獲的圖像產(chǎn)生運(yùn)動(dòng)歷史。
圖13示出了對(duì)應(yīng)于用戶(hù)1201移動(dòng)的例子的對(duì)象數(shù)據(jù)地圖上的表示。例
26如，黑色部分1303表示圖像中最新近檢測(cè)到用戶(hù)的位置。對(duì)象數(shù)據(jù)地圖可以
包括針對(duì)圖像中的每一個(gè)像素的數(shù)據(jù)值，以使表示黑色部分1303的像素具有 例如1的數(shù)據(jù)值，并且使表示白色部分的像素具有例如0的數(shù)據(jù)值。
圖14示出了運(yùn)動(dòng)歷史的例子的可視化表示。黑色部分1403對(duì)應(yīng)于針對(duì) 圖13描述的黑色部分1303。黑色部分1403表示圖像中最新近檢測(cè)到用戶(hù)的 位置。圖14的灰色部分1404表示在先前的對(duì)象數(shù)據(jù)地圖(例如用戶(hù)數(shù)據(jù)) (未示出)中檢測(cè)到用戶(hù)的位置，其中，較暗的灰色是更新近的，而較淺的 灰色是較久遠(yuǎn)的。在某些實(shí)施方案中，針對(duì)圖像中的每一個(gè)像素，運(yùn)動(dòng)歷史 包括指示自從在該像素處檢測(cè)到對(duì)象(例如用戶(hù))時(shí)起的時(shí)間的值(例如幀 計(jì)數(shù)或時(shí)間)。在這些實(shí)施方案中，該值對(duì)應(yīng)于范圍從白或空(none)(例如 對(duì)于在該處從未檢測(cè)到對(duì)象的像素，或在大于閾值幀數(shù)或時(shí)間量的時(shí)間內(nèi)在 該處未檢測(cè)到對(duì)象的像素)到黑(例如，對(duì)于最新近在該處檢測(cè)到對(duì)象的像 素)的特定灰階顏色。此外，在這些實(shí)施方案中，基于運(yùn)動(dòng)歷史繪制對(duì)象的 表示可以包括，通過(guò)針對(duì)運(yùn)動(dòng)歷史中所包括的每一個(gè)像素繪制對(duì)應(yīng)的灰階顏 色來(lái)繪制用戶(hù)的顯示圖像。
在某些實(shí)施方案中，運(yùn)動(dòng)歷史中的每一個(gè)值可以對(duì)應(yīng)于不同的透明度(而 非灰階顏色)，以便在基于運(yùn)動(dòng)歷史顯示對(duì)象的表示時(shí)可以使用彩色圖像。例 如，對(duì)于最近在該處檢測(cè)到對(duì)象的像素，在應(yīng)用的顯示圖像中對(duì)應(yīng)的像素被 顯示為完全不透明。對(duì)于在該處從未檢測(cè)到對(duì)象的像素，或在大于閾值幀數(shù) 或時(shí)間量的時(shí)間內(nèi)在該處未檢測(cè)到對(duì)象的像素，在應(yīng)用的顯示圖像中對(duì)應(yīng)的 像素被顯示為完全透明。
圖15示出了過(guò)濾后的運(yùn)動(dòng)歷史的例子的可視化顯示。例如，在圖14中 顯示的數(shù)據(jù)可以?xún)羝み^(guò)濾(例如，通過(guò)使用類(lèi)似于上面針對(duì)參考數(shù)字906或1106 討論的技術(shù))以產(chǎn)生圖15中所示的可^L化顯示。如圖15中所示，和圖14相 比，總體形狀更平滑，邊緣顯得更柔和，并且階躍不那么明顯。
圖16示出了基于運(yùn)動(dòng)歷史在應(yīng)用的顯示圖像中顯示的用戶(hù)表示的例子。 如圖16中所示，過(guò)去的用戶(hù)運(yùn)動(dòng)被示為等級(jí)變化的灰階顏色或者等級(jí)變化的 不透明度，以使過(guò)去的用戶(hù)運(yùn)動(dòng)表現(xiàn)為拖尾效果。
圖17示出了通過(guò)基于運(yùn)動(dòng)歷史控制應(yīng)用產(chǎn)生的顯示圖像的例子。在這個(gè) 例子中，用戶(hù)的表示是摳像圖像1705,摳像圖像1705被與應(yīng)用圖像1706和 1707 (例如虛擬對(duì)象圖像)組合。在這個(gè)例子中，摳像圖像1705被在應(yīng)用圖像1706之上繪制，并且應(yīng)用圖像1706在alpha通道中確定為透明的摳像圖像 1705的部分中可見(jiàn)，而摳像圖像1705的不透明部分遮擋了應(yīng)用圖像1706。 此外，應(yīng)用圖像1707可以被在摳像圖像1705之上繪制，以使應(yīng)用圖像1707 可以遮擋摳像圖像1705。
圖18示出了使用輪廓過(guò)程(outliningprocess)處理的圖像的例子，在基于 運(yùn)動(dòng)歷史控制應(yīng)用時(shí)可以使用輪廓過(guò)程。輪廓過(guò)程可以產(chǎn)生表示運(yùn)動(dòng)歷史的 輪廓(contour)的輪廓數(shù)據(jù)。例如，運(yùn)動(dòng)歷史可以被作為位圖——包含每一 個(gè)像素的元素的多維數(shù)組一一產(chǎn)生。輪廓數(shù)據(jù)可以包括環(huán)繞運(yùn)動(dòng)歷史中的具 有比預(yù)定義的閾值更近來(lái)的運(yùn)動(dòng)的像素的坐標(biāo)集合。輪廓數(shù)據(jù)可以包含比位 圖表示更少的數(shù)據(jù)元素，這對(duì)于某些應(yīng)用是有益的，并且可以提高計(jì)算效率。
在某些實(shí)施方案中，輪廓過(guò)程還包括減少輪廓數(shù)據(jù)中的數(shù)據(jù)點(diǎn)的數(shù)量的 過(guò)程。減少數(shù)據(jù)點(diǎn)的數(shù)量的過(guò)程包括去除落入相對(duì)較直的線(xiàn)內(nèi)的點(diǎn)。在輪廓 過(guò)程的另一個(gè)例子中，過(guò)程可以去除其大小較小的孤立對(duì)象的輪廓。圖18中 示出了示范性輪廓數(shù)據(jù)，其繪出了對(duì)應(yīng)于圖15中所示的運(yùn)動(dòng)歷史的輪廓。如 圖所示，用戶(hù)手臂的厚度包括對(duì)應(yīng)于運(yùn)動(dòng)歷史中所包括的并且出現(xiàn)在距當(dāng)前 時(shí)間少于閾值的所有用戶(hù)運(yùn)動(dòng)的輪廓。減少的數(shù)據(jù)點(diǎn)被示為沿著輪廓的點(diǎn)。 從輪廓過(guò)程獲得的數(shù)據(jù)可以被用于控制應(yīng)用。例如，計(jì)算設(shè)備140可以把用 戶(hù)的輪廓與虛擬對(duì)象的位置進(jìn)行比較以確定兩者是否相交，由此來(lái)確定用戶(hù) 是否觸摸了虛擬對(duì)象。輪廓數(shù)據(jù)可以被提供給粒子仿真應(yīng)用，基于輪廓數(shù)據(jù) 對(duì)該粒子仿真應(yīng)用進(jìn)行控制(例如，以便可以從輪廓上的點(diǎn)發(fā)出粒子，或者 可以使粒子被輪廓上的點(diǎn)擊退。)
圖19示出了和應(yīng)用的顯示圖像中所包括的虛擬對(duì)象交互的用戶(hù)的例子。 在某些實(shí)施方案中，用戶(hù)可以通過(guò)以導(dǎo)致顯示圖像中的用戶(hù)表示"觸摸"顯 示圖像中的虛擬對(duì)象的方式移動(dòng)來(lái)交互。確定用戶(hù)觸摸虛擬對(duì)象可以包括識(shí) 別出用戶(hù)的4壬意部分與虛擬對(duì)象重疊(coincident )。應(yīng)用可以識(shí)別出表示虛擬 對(duì)象的區(qū)域1908。區(qū)域l卯8可以表示虛擬對(duì)象的邊界形狀，或者該區(qū)域可 以大于虛擬對(duì)象以便使用戶(hù)更容易觸摸虛擬對(duì)象。運(yùn)動(dòng)歷史可以被和區(qū)域 1908比較，并且運(yùn)動(dòng)歷史的部分1909可以被分類(lèi)為具有比預(yù)定的閾值更近 來(lái)的幀計(jì)數(shù)(或時(shí)間)的用戶(hù)的部分。隨著幀計(jì)數(shù)(或時(shí)間)增大，對(duì)于單 個(gè)用戶(hù)動(dòng)作的多個(gè)事件(例如從未被觸摸狀態(tài)轉(zhuǎn)換到被觸摸狀態(tài))的可能性 降低。由于這個(gè)原因，使用運(yùn)動(dòng)歷史而非對(duì)象數(shù)據(jù)地圖(例如當(dāng)前用戶(hù)數(shù)據(jù))可能是有益的，盡管也可以使用對(duì)象數(shù)據(jù)地圖。
在其他的實(shí)施方案中，替代運(yùn)動(dòng)歷史，可以使用摳像圖像的alpha通道 或者輪廓數(shù)據(jù)，因?yàn)樗鼈兲峁┝诉\(yùn)動(dòng)歷史的表示。在某些例子中，區(qū)域1908 可以是靜態(tài)的(例如"按^組")，或者可以#^居應(yīng)用移動(dòng)(例如"求")。事件
(例如從未被觸摸狀態(tài)轉(zhuǎn)換到被觸摸狀態(tài))可能觸發(fā)應(yīng)用中的動(dòng)作。動(dòng)作可 以包括顯示圖像中對(duì)象的激活、選擇或者移動(dòng)。
圖20示出了用戶(hù)和應(yīng)用的顯示圖像中所包括的虛擬對(duì)象交互的例子。表 示用戶(hù)的運(yùn)動(dòng)歷史的部分2009和區(qū)域2008更詳細(xì)地表示了運(yùn)動(dòng)歷史1909的 部分和區(qū)域1908。在運(yùn)動(dòng)歷史包括運(yùn)動(dòng)方向的表示的實(shí)施方案中，例如當(dāng)檢 測(cè)圖像中的對(duì)象的過(guò)程利用了光流時(shí)，可以計(jì)算部分2009在區(qū)域2008內(nèi)的 平均運(yùn)動(dòng)，以產(chǎn)生代表部分2009的運(yùn)動(dòng)。
圖21示出了和應(yīng)用的顯示圖像中所包括的虛擬對(duì)象交互的用戶(hù)的矩心
(centroid)處理的例子。在某些實(shí)施方案中，應(yīng)用可以計(jì)算在區(qū)域2108內(nèi) 的部分2109的矩心2110,并把該位置和區(qū)域的矩心2111進(jìn)行比較。即使在 檢測(cè)圖像內(nèi)的對(duì)象時(shí)未使用光流，應(yīng)用也可以估計(jì)區(qū)域2111內(nèi)的運(yùn)動(dòng)的方向 和幅值。
圖22示出了應(yīng)用計(jì)算多個(gè)矩心的例子。例如，可以確定在區(qū)域2211內(nèi) 并且具有比第一預(yù)定閾值更近來(lái)的幀計(jì)數(shù)(或時(shí)間)的對(duì)象(例如用戶(hù))的 運(yùn)動(dòng)的部分2212的第一矩心2213。此外，可以確定在區(qū)域2211內(nèi)并且具有 比第二預(yù)定閾值更近來(lái)的幀計(jì)數(shù)(或時(shí)間)的對(duì)象(例如用戶(hù))的運(yùn)動(dòng)的部 分2212的第二矩心2214。第一閾值包括短的時(shí)間跨度。例如，第一闊值可 以是最新近的幀。第二闊值包括較長(zhǎng)的時(shí)間跨度，以使第二矩心2214的路徑 追隨第一矩心2213的路徑。第一矩心2213相對(duì)于第二矩心2214的位置可以 被視為代表對(duì)象(例如用戶(hù))部分2212的運(yùn)動(dòng)。
第二區(qū)域2211可以大于針對(duì)圖21描述的第一區(qū)域2108。應(yīng)用可以才企測(cè) 在第一區(qū)域2108中用戶(hù)的存在，第一區(qū)域2108和顯示圖像中的對(duì)象重疊。 應(yīng)用可以計(jì)算以第一區(qū)域2108內(nèi)的用戶(hù)部分2109的矩心2110為中心的第二 區(qū)域2211。例如，第一區(qū)域2108可以和顯示圖像中顯示的"球，，重合。當(dāng) 應(yīng)用檢測(cè)到用戶(hù)觸摸球時(shí)，使用第二區(qū)域2211確定用戶(hù)擊球的用戶(hù)運(yùn)動(dòng)的方 向，而所述方向可被用來(lái)將力施加到球上。
應(yīng)用可以使用計(jì)算的用戶(hù)部分2109的表示運(yùn)動(dòng)(representative motion)
29來(lái)確定當(dāng)對(duì)象被觸摸時(shí)施加到對(duì)象的幅值和方向。例如，對(duì)象可以是"球" 或"粒子"。應(yīng)用可以包括對(duì)用戶(hù)做出響應(yīng)的很多這種"球"或"粒子"。應(yīng)用可以包括流體仿真，例如水或煙。在某些實(shí)施方案中，應(yīng)用維持表示高度(例如水波紋的)或壓強(qiáng)(例如氣態(tài)云霧(gasous cloud)的)的地圖。給與指示在該位置處近來(lái)用戶(hù)存在的運(yùn)動(dòng)地圖元素相對(duì)應(yīng)的地圖元素分配 值。 一個(gè)過(guò)程傳播該值，產(chǎn)生波紋(例如在水中)或旋渦(例如在氣態(tài)云霧 中)。應(yīng)用可以根據(jù)運(yùn)動(dòng)地圖使摳像圖像變形(例如扭曲)(以使用戶(hù)看上去 在水面以下)。應(yīng)用還可以包括速度地圖，其中，用戶(hù)的速度通過(guò)光流(或者通過(guò)上面針對(duì)區(qū)域2111描述的過(guò)程)計(jì)算，并且被分配給速度地圖中的對(duì)應(yīng) 元素。應(yīng)用可以有;f艮多變型。應(yīng)用可以是^L頻游戲或者廣告， <旦是，應(yīng)該理解 本公開(kāi)不局限于視頻游戲或者廣告。應(yīng)用可以包括數(shù)據(jù)記入過(guò)程(data logging process )。在某些數(shù)據(jù)記入過(guò) 程的實(shí)施方案中，通過(guò)比較被用戶(hù)占據(jù)并具有比閾值更近來(lái)的幀計(jì)數(shù)(或時(shí) 間)的運(yùn)動(dòng)歷史(或?qū)ο髷?shù)據(jù)地圖)的部分(例如像素計(jì)數(shù))確定用戶(hù)的存 在。用戶(hù)的存在可以被記錄。在其他的數(shù)據(jù)記入過(guò)程實(shí)施方案中，通過(guò)聚集對(duì)象數(shù)據(jù)地圖)的像素確定用戶(hù)的計(jì)數(shù)。用戶(hù)的計(jì)數(shù)可以被記錄。在數(shù)據(jù)記 入過(guò)程的進(jìn)一步的實(shí)施方案中，可以記錄事件(例如從未被觸摸轉(zhuǎn)換到被觸 摸狀態(tài))，應(yīng)用的狀態(tài)可以被記錄，和/或顯示圖像可以被記錄。在數(shù)據(jù)記入 過(guò)程的某些實(shí)施方案中，記錄包括存儲(chǔ)數(shù)據(jù)。在數(shù)據(jù)記入過(guò)程的其他實(shí)施方 案中，記錄包括通過(guò)網(wǎng)絡(luò)(例如因特網(wǎng))傳送數(shù)據(jù)。參考圖23，映射過(guò)程的例子可被用于追蹤運(yùn)動(dòng)歷史和基于運(yùn)動(dòng)歷史控制 應(yīng)用。例如，運(yùn)動(dòng)歷史中的像素值可以被重新映射，以使表示近來(lái)檢測(cè)到的 對(duì)象的幀計(jì)數(shù)(或時(shí)間)導(dǎo)致圖像顯得不透明，并且隨著幀計(jì)數(shù)增大，不透 明度減弱到透明。在這個(gè)例子中，圖23示出了自從在對(duì)應(yīng)像素處沖企測(cè)到對(duì)象 時(shí)起給予幀計(jì)數(shù)的相對(duì)權(quán)重。如圖所示，幀計(jì)數(shù)0具有100%的權(quán)重(例如 完全不透明)，幀計(jì)數(shù)5具有50%的權(quán)重(例如完全不透明的不透明度的一 半水平)，并且IO或者更大的幀計(jì)數(shù)具有0%的權(quán)重(例如完全透明)。此映 射產(chǎn)生對(duì)象的運(yùn)動(dòng)顯得留下拖尾的視覺(jué)效果。在某些實(shí)施方案中，在顯示對(duì)象的表示時(shí)可以使用重新映射的像素信息。如圖16中所示，重新映射的像素信息可以產(chǎn)生基于運(yùn)動(dòng)歷史的圖像，該圖像 包括等級(jí)變化的不透明度。在這個(gè)實(shí)施方案中，分配給當(dāng)前被用戶(hù)占據(jù)的像 素的值是100%。在使數(shù)據(jù)老化時(shí)，減去一個(gè)值，被減去的值和持續(xù)的幀數(shù)成反比。例如，在第一幀期間在像素位置檢測(cè)到用戶(hù)，所以分配100%的像素值。在這個(gè)例子中，在第二幀期間在該像素位置處未檢測(cè)到用戶(hù)，所以像素值被減少10% ,并且以此類(lèi)推直到其達(dá)到0% 。該值表示alpha水平。但是， 仍可以從該值計(jì)算自從近來(lái)在該位置檢測(cè)到用戶(hù)時(shí)起的幀數(shù)的計(jì)數(shù)。使用重 新映射過(guò)程繪制用戶(hù)表示的顯示圖像可以提供增強(qiáng)的視覺(jué)效果，以便當(dāng)在與 應(yīng)用相關(guān)聯(lián)的顯示圖像中繪制對(duì)象的表示時(shí)，所述對(duì)象的表示顯得留下拖尾。圖24到圖28示出了被配置成基于運(yùn)動(dòng)歷史控制應(yīng)用的交互系統(tǒng)的例子。 這些系統(tǒng)可以用于執(zhí)行針對(duì)圖2描述的過(guò)程200。圖24示出了系統(tǒng)2400，它包括顯示設(shè)備2403、捕獲"i殳備2401和計(jì)算設(shè) 備2402。顯示設(shè)備2403顯示顯示圖像。顯示設(shè)備2403可以是投影儀和投影 屏幕、等離子顯示器、液晶顯示器(LCD)、自動(dòng)立體顯示器，或者其他的能 夠顯示計(jì)算機(jī)產(chǎn)生的圖像的設(shè)備。顯示設(shè)備2403可以包括多個(gè)被排列成顯示 顯示圖像的設(shè)備(例如由多個(gè)投影儀組成的視頻墻)。用戶(hù)2404和顯示設(shè)備 2403上的顯示圖像交互。捕獲設(shè)備2401捕獲包括用戶(hù)2404或者用戶(hù)的一部 分的圖像。捕獲設(shè)備2401可以包括產(chǎn)生一個(gè)或更多個(gè)相機(jī)圖像序列的一個(gè)或 更多個(gè)相才幾。計(jì)算設(shè)備2402處理捕獲設(shè)備2401捕獲的圖像以控制應(yīng)用。應(yīng)用產(chǎn)生在 顯示設(shè)備2403上顯示的顯示圖像。應(yīng)用可以在計(jì)算設(shè)備上或單獨(dú)的設(shè)備上執(zhí) 行。交互系統(tǒng)2400的部件可以被以很多不同的配置排列。例如，如圖所示， 捕獲設(shè)備2401可以位于顯示i殳備2403上方。圖25示出了包括照明器2505的交互系統(tǒng)的例子。照明器2505可以用可 見(jiàn)光或者紅外光照明用戶(hù)2404。照明器2505可以〃夂人捕獲i殳備2401或者計(jì)算 設(shè)備2402接收控制信號(hào)。照明器2505可以位于捕獲設(shè)備2401和顯示設(shè)備 2403上方。照明器2505可以對(duì)用戶(hù)2404 ^是供比對(duì)背景2506中的人物或者 對(duì)象強(qiáng)的照明。圖26示出了捕獲"i殳備2401位于用戶(hù)2404頭頂上方的配置。 圖27示出了照明器2505照明用戶(hù)2404而不照明背景2506中的其他人 物和對(duì)象的配置。圖27表示可以適合用于上面針對(duì)圖7描述的過(guò)程700的配31置。圖28示出了設(shè)備被安裝在窗口 2807內(nèi)的配置。顯示設(shè)備2403可以被集 成到窗口 2807中。例如，顯示設(shè)備可以是投影儀和投影屏幕，其中投影屏幕 包括貼附于窗口 2807的薄膜。窗口 2807可以是零售商店窗口。參考圖29，過(guò)程2900可以用于確定用戶(hù)2404的運(yùn)動(dòng)并用于4吏用所確定 的用戶(hù)2908的運(yùn)動(dòng)作為對(duì)應(yīng)用2915的輸入。過(guò)程2900可以用各種系統(tǒng)實(shí)現(xiàn)， 包括針對(duì)圖1和圖24到圖28描述的系統(tǒng)。為了清楚地介紹，在系統(tǒng)2400的 上下文中描述過(guò)程2900，但也可以使用其他系統(tǒng)。在描述過(guò)程2900的實(shí)施 方案時(shí)使用系統(tǒng)2400并非打算限制過(guò)程2900。捕獲設(shè)備2401捕獲圖像集合序列(例如視頻)。圖像集合可以是圖像序 列的一部分。例如，圖像集合可以包括由一個(gè)或更多個(gè)捕獲設(shè)備或相機(jī)拍才聶 的一個(gè)或多個(gè)圖像。捕獲設(shè)備2401可以包括多個(gè)相機(jī)。圖像集合可以包括由 多個(gè)相機(jī)中的每一個(gè)產(chǎn)生的圖像。捕獲設(shè)備2401產(chǎn)生相機(jī)圖像集合2901。相機(jī)圖像集合2901中所包括的 一個(gè)或更多個(gè)圖像被捕獲處理過(guò)程2902處理，這產(chǎn)生了相機(jī)控制^t據(jù)2903 和處理過(guò)的相機(jī)圖像集合2904。在某些實(shí)施方案中，處理過(guò)的相機(jī)圖像集合 2904可以和相機(jī)圖像集合2901相同。相機(jī)控制數(shù)據(jù)2903被反饋到捕獲設(shè)備 2401中。用戶(hù)4全測(cè)過(guò)程2905分析處理過(guò)的相才幾圖像集合2904,并且也可以 使用相機(jī)控制數(shù)據(jù)2903。用戶(hù)4企測(cè)過(guò)程2905產(chǎn)生用戶(hù)數(shù)據(jù)2906。過(guò)程2卯0還可以包括運(yùn)動(dòng)歷史過(guò)程2卯7,它處理用戶(hù)數(shù)據(jù)2906以產(chǎn)生 運(yùn)動(dòng)歷史2908。在某些實(shí)施方案中，運(yùn)動(dòng)歷史過(guò)程2907和運(yùn)動(dòng)歷史2908可 以是應(yīng)用2915而非過(guò)程2900的一部分。過(guò)程2900還可以包括摳〗象過(guò)程2909, 它使用運(yùn)動(dòng)歷史2908 (或者用戶(hù)數(shù)據(jù)2906)和處理過(guò)的相機(jī)圖像2904集合 (或者相機(jī)圖像集合2901 )。摳像過(guò)程2909產(chǎn)生摳像圖像2910。在某些實(shí)施 方案中，摳像過(guò)程2909和摳像圖像2910可以是應(yīng)用2915而非過(guò)程2900的 一部分。過(guò)程2900還可以包括效果過(guò)程2911 ，它4吏用運(yùn)動(dòng)歷史2908 (或用戶(hù)凄丈 據(jù)2906)并產(chǎn)生效果圖像2912。在某些實(shí)施方案中，效果過(guò)程2911和效果 圖像2912可以是應(yīng)用2915而非過(guò)程2900的一部分。過(guò)程2900還可以包括 輪廓過(guò)程2913,它使用運(yùn)動(dòng)歷史2908 (或者用戶(hù)數(shù)據(jù)2906)并產(chǎn)生輪廓數(shù) 據(jù)2914。在某些實(shí)施方案中，輪廓過(guò)程2913和摳像數(shù)據(jù)2914可以是應(yīng)用2915而非過(guò)程2900的一部分。應(yīng)用2915可以處理用戶(hù)數(shù)據(jù)2906、運(yùn)動(dòng)歷史2908、相機(jī)圖^f象集合2卯1、 處理過(guò)的相機(jī)圖像集合2904、摳像圖像2910、效果圖像2912和輪廓數(shù)據(jù)2914 中的任何一個(gè)。應(yīng)用產(chǎn)生在顯示設(shè)備2403上顯示的顯示圖像2916。用戶(hù)檢測(cè)過(guò)程2905可以利用運(yùn)動(dòng)。在很多場(chǎng)景中，圖像內(nèi)的大部分運(yùn)動(dòng) 歸結(jié)于用戶(hù)。上面針對(duì)圖3到圖7描述的技術(shù)可以用于執(zhí)行用戶(hù)檢測(cè)過(guò)程 2905。捕獲處理2卯1可以包括產(chǎn)生用于控制捕獲設(shè)備2401的相機(jī)控制數(shù)據(jù) 2903。相機(jī)控制數(shù)據(jù)2903可以影響相機(jī)參數(shù)，包括曝光時(shí)間、增益和光圈。 在這個(gè)過(guò)程的一個(gè)例子中，可以計(jì)算相機(jī)圖像集合2901,或其一部分內(nèi)的平 均像素值。如果平均像素密度低于閾值，則產(chǎn)生導(dǎo)致相機(jī)增大其靈敏度(例 如圖像亮度)的相機(jī)控制數(shù)據(jù)2903。如果平均像素密度高于闞值，則產(chǎn)生導(dǎo) 致相機(jī)降低其靈敏度(例如圖像亮度)的相機(jī)控制數(shù)據(jù)2卯3。相機(jī)可以被以微細(xì)步長(zhǎng)調(diào)整，該調(diào)整造成的靈敏度(例如圖像亮度)變 化足夠小，以至于不干擾用戶(hù)檢測(cè)過(guò)程2905的正常操作。在替代的實(shí)施方案 中，包括曝光時(shí)間、增益和光圈的相機(jī)參數(shù)可以由內(nèi)建于相機(jī)中的自動(dòng)曝光 過(guò)程確定。在這種情況下，相機(jī)控制數(shù)據(jù)2903可以由捕獲設(shè)備2401產(chǎn)生。相機(jī)控制數(shù)據(jù)2903 (例如由捕獲處理2902或由捕獲i殳備2401產(chǎn)生)可 以被傳送到用戶(hù)檢測(cè)過(guò)程2905?？梢允褂蒙厦驷槍?duì)圖8到圖11描述的技術(shù)執(zhí)行產(chǎn)生運(yùn)動(dòng)歷史2908的運(yùn) 動(dòng)歷史處理2907。摳像過(guò)程2909可以把處理過(guò)的相機(jī)圖像集合2904 (或相機(jī)圖像集合 2901 )的圖像和運(yùn)動(dòng)歷史2908 (或者用戶(hù)數(shù)據(jù)2906)組合以產(chǎn)生摳像圖傳_ 2910。摳像圖像2910包括alpha通道，其確定當(dāng)圖像與應(yīng)用產(chǎn)生的其他圖形 組合時(shí)顯現(xiàn)的不透明度。從處理過(guò)的相機(jī)圖像集合2904 (或者相機(jī)圖像集合2901 )產(chǎn)生摳像圖像 2910的基本通道?；就ǖ揽梢允羌t、綠和藍(lán)色通道，但是，應(yīng)該理解，可 以使用其他的顏色空間，例如YUV。在某些實(shí)施方案中，相機(jī)圖像的基本通 道被復(fù)制到摳像圖像的對(duì)應(yīng)通道中。在捕獲設(shè)備2401產(chǎn)生包括多個(gè)相機(jī)圖像的相機(jī)圖像集合的實(shí)施方案中 (例如包括多個(gè)相機(jī)的捕獲設(shè)備2401的實(shí)施方案)，相才幾圖像可以被選擇并復(fù)制到摳像圖像的對(duì)應(yīng)通道中。在捕獲設(shè)備和捕獲過(guò)程的各種實(shí)施方案中描述了相機(jī)圖像的選擇。在捕獲設(shè)備2401產(chǎn)生包括多個(gè)相機(jī)圖像的相機(jī)圖像集 合的另一個(gè)實(shí)施方案中(例如包括多個(gè)相機(jī)的捕獲設(shè)備2401的實(shí)施方案)， 相機(jī)圖像可以被組合。組合相機(jī)圖像的過(guò)程可以包括扭曲(warp)相機(jī)圖4象。對(duì)象可以出現(xiàn)在 多個(gè)相機(jī)圖j象內(nèi)的不同位置。這可以作為相才幾物理對(duì)準(zhǔn)以及每一個(gè)相機(jī)具有 略微不同的^L點(diǎn)的事實(shí)(例如，通過(guò)使用光學(xué)，兩個(gè)相才幾可以在同一視點(diǎn)獲 取圖像，但是這種結(jié)構(gòu)可能很昂貴)的結(jié)果出現(xiàn)。扭曲過(guò)程重新映射像素的 位置，以使對(duì)象在集合的多個(gè)圖像中在位置上顯得重合。在從相機(jī)的不同視點(diǎn)產(chǎn)生的圖像之間可能存在視差，其中，所述視差依 賴(lài)于距相機(jī)的距離而變化。扭曲過(guò)程可以重新映射像素的位置，以使在用戶(hù) 的預(yù)期距離處的對(duì)象顯得在集合的多個(gè)圖像中在位置上重合。組合相機(jī)圖像的過(guò)程也可以包括混和(例如被扭曲的)相機(jī)圖像?；旌?過(guò)程可以平均(例如被扭曲的)相機(jī)圖像的像素值，針對(duì)圖像內(nèi)的每一個(gè)像 素位置產(chǎn)生組合像素值。可以從運(yùn)動(dòng)歷史2908 (或者用戶(hù)數(shù)據(jù)2906)產(chǎn)生摳 像圖像2910的alpha通道。運(yùn)動(dòng)歷史2908包括表示在該像素位置檢測(cè)到用戶(hù) 的幀計(jì)數(shù)(或時(shí)間)的像素值。那些像素值被重新映射成alpha值。上面針對(duì) 圖23描述的過(guò)程可以用于把像素值映射成alpha值。在某些實(shí)施方案中，運(yùn)動(dòng)歷史2908^^皮扭曲。在某些實(shí)施方案中，不同的 相機(jī)可被用于產(chǎn)生用戶(hù)數(shù)據(jù)2906和運(yùn)動(dòng)歷史2908，可以使用和提供摳像圖 像2910的基本(例如顏色)通道時(shí)。對(duì)象可以出現(xiàn)在多個(gè)相機(jī)圖像內(nèi)的不同 位置。這可能是相機(jī)物理對(duì)準(zhǔn)(例如每一個(gè)相機(jī)具有略微不同的視點(diǎn))的結(jié) 果。扭曲過(guò)程可以用來(lái)避免使用光學(xué)來(lái)光學(xué)對(duì)準(zhǔn)相機(jī)的視點(diǎn)的需要。扭曲過(guò)程重新映射像素的位置，以使對(duì)象在集合的多個(gè)圖像中的位置顯 得重合。運(yùn)動(dòng)歷史2908可以被重新映射成和提供摳像圖像2910的基本(例 如紅-綠-藍(lán))通道時(shí)使用的圖像對(duì)準(zhǔn)，以便維持最高圖像質(zhì)量。在從相機(jī) 的不同視點(diǎn)產(chǎn)生的圖像之間可能存在視差，其中，所述^見(jiàn)差依賴(lài)于距相機(jī)的 距離而變化。扭曲過(guò)程重新映射像素的位置，以使在用戶(hù)的預(yù)期距離處的對(duì) 象在集合的多個(gè)圖像的位置顯得重合。在某些實(shí)施方案中，應(yīng)用2915產(chǎn)生包括摳像圖^象2910的顯示圖像2916。 摳像圖像2910可以與應(yīng)用產(chǎn)生的圖像組合。在某些實(shí)施方案中，應(yīng)用2915使用alpha通道把摳像圖像2910和顯示圖像組合。上面針對(duì)圖17描述過(guò)包括 摳像圖像的顯示圖像的例子。
在某些實(shí)施方案中，執(zhí)行效果過(guò)程2911，效果過(guò)程2911將視覺(jué)效果圖 像與運(yùn)動(dòng)歷史2908 (或用戶(hù)數(shù)據(jù)2906)組合以產(chǎn)生效果圖像2912。效果圖 像2912包括alpha通道，alpha通道確定當(dāng)圖像與應(yīng)用產(chǎn)生的其他圖形組合時(shí) 該圖像可以顯現(xiàn)的不透明度。產(chǎn)生效果圖像2912的基本(例如紅、綠和藍(lán)色) 通道以產(chǎn)生動(dòng)畫(huà)效果。動(dòng)畫(huà)效果的例子包括"血漿"(plasma)和"水波紋"。 動(dòng)畫(huà)效果可以由預(yù)先繪制的動(dòng)畫(huà)序列或粒子系統(tǒng)產(chǎn)生。以與產(chǎn)生摳像圖像 2910的alpha通道相同的方式，從運(yùn)動(dòng)歷史2908 (或用戶(hù)數(shù)據(jù)2906)產(chǎn)生效 果圖像2912的alpha通道。
應(yīng)用2915可以產(chǎn)生包括效果圖像2912的顯示圖像2916,并把效果圖傳— 與應(yīng)用圖像組合，這與組合和顯示摳像圖像2910的方式相同。
在某些實(shí)施方案中，可以執(zhí)行輪廓過(guò)程2913。輪廓過(guò)程2913產(chǎn)生表示 運(yùn)動(dòng)歷史2908 (或用戶(hù)數(shù)據(jù)2906)的輪廓的輪廓數(shù)據(jù)2914。運(yùn)動(dòng)歷史可以 被作為位圖一一 包含針對(duì)每一個(gè)像素的元素的多維數(shù)組一 一產(chǎn)生。輪廓數(shù)據(jù) 2914包括環(huán)繞運(yùn)動(dòng)歷史2908中的具有比預(yù)定義的閾值更近來(lái)的運(yùn)動(dòng)的像素 (或用戶(hù)數(shù)據(jù)2906中被分類(lèi)為用戶(hù)的一部分的像素)的坐標(biāo)集合。輪廓數(shù)據(jù) 2914可以包含比位圖表示更少的數(shù)據(jù)元素，這對(duì)于某些應(yīng)用是有益的。
輪廓過(guò)程2913還可以包括減少輪廓數(shù)據(jù)中的數(shù)據(jù)點(diǎn)的數(shù)量的過(guò)程。減少 數(shù)據(jù)點(diǎn)的數(shù)量的過(guò)程包括去除落入相對(duì)較直的線(xiàn)內(nèi)的點(diǎn)。輪廓過(guò)程2913還可 以包括去除其尺寸較小的孤立對(duì)象的輪廓的過(guò)程。在上面描述的圖16中示出 了輪廓數(shù)據(jù)2914的例子。
在某些實(shí)施方案中，系統(tǒng)包括相機(jī)、顯示設(shè)備和處理器。處理器可以處 理相機(jī)捕獲的圖像、控制應(yīng)用(例如計(jì)算機(jī)或視頻游戲)的執(zhí)行，并在顯示 設(shè)備上繪制與應(yīng)用相關(guān)聯(lián)的顯示圖像。在某些例子中，相機(jī)捕獲與應(yīng)用(例 如計(jì)算機(jī)或視頻游戲)交互的用戶(hù)的圖像。在這些例子中，相機(jī)捕獲響應(yīng)于
在顯示設(shè)備上顯示的并與應(yīng)用相關(guān)聯(lián)的顯示圖像進(jìn)行肢體運(yùn)動(dòng)的用戶(hù)的圖 像。處理器可以處理進(jìn)行肢體運(yùn)動(dòng)的用戶(hù)的圖像，并檢測(cè)圖像內(nèi)用戶(hù)的位置。 處理器也可以追蹤在圖像中捕獲的用戶(hù)肢體運(yùn)動(dòng)的運(yùn)動(dòng)歷史。追蹤運(yùn)動(dòng)歷史 可以包括把圖像劃分為多個(gè)部分并追蹤自從在圖像中的多個(gè)部分的每一個(gè)處 ^r測(cè)到用戶(hù)時(shí)起的時(shí)間。例如，處理器可以維護(hù)像素地圖，所述^象素地圖4十
35對(duì)圖像中的每一個(gè)像素存儲(chǔ)與自從在像素地圖中的每一個(gè)像素處檢測(cè)到用戶(hù) 時(shí)起的時(shí)間相關(guān)的信息。
在某些實(shí)施方案中，運(yùn)動(dòng)歷史信息(例如像素地圖)可以被用來(lái)控制由 處理器執(zhí)行的應(yīng)用。例如，處理器可以訪(fǎng)問(wèn)運(yùn)動(dòng)歷史信息(例如像素地圖)， 并基于所述運(yùn)動(dòng)歷史信息在顯示設(shè)備上繪制和應(yīng)用(例如計(jì)算機(jī)或視頻游戲) 相關(guān)聯(lián)的、包括用戶(hù)的表示的顯示圖像。在上面討論的使用像素地圖的例子 中，在應(yīng)用中顯示的用戶(hù)的表示可以對(duì)應(yīng)于自從在每一個(gè)像素處岸企測(cè)到用戶(hù) 時(shí)起的時(shí)間。在這個(gè)例子中，用戶(hù)的表示可以包括具有針對(duì)所有檢測(cè)到用戶(hù) 的像素的特殊效果(例如煙或火)的用戶(hù)顯示，或者可以包括具有僅針對(duì)最 近未被檢測(cè)到的用戶(hù)運(yùn)動(dòng)部分的特殊效果(例如煙或火)的用戶(hù)顯示(例如， 如果用戶(hù)移動(dòng)手臂，則隨著手臂移動(dòng)，煙或火顯得追隨用戶(hù)的手臂)。在某些 例子中，在顯示圖像中顯示的像素的不透明度可以與像素地圖相對(duì)應(yīng)，并且 對(duì)于一定時(shí)間段內(nèi)未檢測(cè)到用戶(hù)的圖像部分，不透明度可以隨著時(shí)間減弱(例 如，煙或移動(dòng)其手臂的用戶(hù)的陰影可以在手臂從運(yùn)動(dòng)開(kāi)始的位置移開(kāi)時(shí)淡 出)。其他的實(shí)施方案可以使用被追蹤的運(yùn)動(dòng)歷史信息以其他方式來(lái)控制應(yīng) 用。例如，運(yùn)動(dòng)歷史信息可以被提供給粒子仿真應(yīng)用，以使粒子仿真應(yīng)用可 以使用粒子仿真技術(shù)將用戶(hù)的表示顯示為效果圖像(例如煙、火、水，等等)。 運(yùn)動(dòng)歷史信息也可以用來(lái)確定對(duì)應(yīng)用的用戶(hù)輸入命令。
圖30示出了計(jì)算設(shè)備2402或計(jì)算設(shè)備140的外觀的例子。簡(jiǎn)要地說(shuō)， 系統(tǒng)3000包括計(jì)算設(shè)備3001,計(jì)算設(shè)備3001包括基于運(yùn)動(dòng)歷史控制應(yīng)用的 處理器。設(shè)備3001可以通過(guò)網(wǎng)絡(luò)3006與包括服務(wù)器3002和服務(wù)器3004的 一個(gè)或更多個(gè)服務(wù)器交換電子通信。
更具體地，計(jì)算設(shè)備3001的硬件環(huán)境包括用于向用戶(hù)顯示文本和圖像的 顯示監(jiān)視器3008、用于向計(jì)算設(shè)備3001輸入文本數(shù)據(jù)和用戶(hù)命令的鍵盤(pán) 3009、用于指示、選擇和操縱在顯示監(jiān)視器3008上顯示的對(duì)象的鼠標(biāo)3010、 固定;茲盤(pán)驅(qū)動(dòng)器3011、可移動(dòng),茲盤(pán)驅(qū)動(dòng)器3012、 f茲帶驅(qū)動(dòng)器3014、硬拷貝 輸出設(shè)備3015、計(jì)算機(jī)網(wǎng)絡(luò)連接3016和數(shù)字輸入設(shè)備3017。
顯示監(jiān)視器3008顯示圖形、圖像和文本，包括計(jì)算設(shè)備3001所使用的 軟件應(yīng)用以及運(yùn)行計(jì)算設(shè)備3001所必需的操作系統(tǒng)程序的用戶(hù)接口。用戶(hù)使 用鍵盤(pán)3009輸入命令和數(shù)據(jù)以操作和控制計(jì)算機(jī)操作系統(tǒng)程序和應(yīng)用程序。 鼠標(biāo)3010可以是任何類(lèi)型的指示設(shè)備，并且可以是游戲桿、跟蹤球、觸摸板、或者其他的指示設(shè)備。用來(lái)提供對(duì)虛擬對(duì)象的操縱的軟件被本地存儲(chǔ)在計(jì)算 機(jī)可讀存儲(chǔ)介質(zhì)上，例如存儲(chǔ)在固定^f茲盤(pán)驅(qū)動(dòng)器3011上。
在進(jìn)一步的實(shí)施方案中，固定磁盤(pán)驅(qū)動(dòng)器3011自身可以包括許多物理驅(qū) 動(dòng)器單元，寸列^口《蟲(chóng)立,茲盤(pán)冗余卩車(chē)歹1] (redundant array of independent disks, "RAID")，或者可以是在物理上位于分離的計(jì)算單元中的》茲盤(pán)驅(qū)動(dòng)器場(chǎng)或》茲 盤(pán)陣列。這些計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)允許計(jì)算設(shè)備3001訪(fǎng)問(wèn)存儲(chǔ)在可移動(dòng)和非 可移動(dòng)存儲(chǔ)介質(zhì)上的計(jì)算機(jī)可執(zhí)行處理步驟、應(yīng)用程序等等。
計(jì)算機(jī)網(wǎng)絡(luò)連接3016可以是調(diào)制解調(diào)器連接、包括以太網(wǎng)的局域網(wǎng) ("LAN")連接，或者寬帶廣域網(wǎng)(WAN)連接，例如數(shù)字用戶(hù)線(xiàn)路("DSL"), 電纜高速互聯(lián)網(wǎng)連接、撥號(hào)連接、T-l線(xiàn)路、T-3線(xiàn)路、光纖連接，或者衛(wèi)星 連接。網(wǎng)絡(luò)3006可以是LAN網(wǎng)絡(luò)、公司或者政府WAN網(wǎng)絡(luò)、因特網(wǎng)，或 者其他網(wǎng)絡(luò)。
計(jì)算機(jī)網(wǎng)絡(luò)連接3016可以是有線(xiàn)或無(wú)線(xiàn)連接器。示范性無(wú)線(xiàn)連接器包括 例如INFRARED DATA ASSOCIATION ("IrDA "，紅外數(shù)據(jù)協(xié)會(huì))無(wú)線(xiàn)連 接器、光無(wú)線(xiàn)連接器、INSTITUTE OF ELECTRICAL AND ELECTRONICS ENGINEERS ("IEEE "，電子和電氣工程師協(xié)會(huì))標(biāo)準(zhǔn)802.11無(wú)線(xiàn)連接器、 BLUETOOTH (藍(lán)牙)無(wú)線(xiàn)連接器、正交頻分復(fù)用("OFDM")超寬帶 ("UWB")無(wú)線(xiàn)連接器、時(shí)間調(diào)制超寬帶("TM- UWB")無(wú)線(xiàn)連接器，或 者其他的無(wú)線(xiàn)連接器。示范性有線(xiàn)連接器包括例如正EE⑧-1394FIREWIRE⑧ 連接器、通用串行總線(xiàn)("USB")連接器、串行端口連接器、并行端口連接 器，或者其他的有線(xiàn)連接器。
可移動(dòng)磁盤(pán)驅(qū)動(dòng)器3012是可移動(dòng)存儲(chǔ)設(shè)備，它用來(lái)從計(jì)算設(shè)備3001下 載數(shù)據(jù)，或者把數(shù)據(jù)上載到計(jì)算設(shè)備3001上?？梢苿?dòng)磁盤(pán)驅(qū)動(dòng)器3012可以 是軟盤(pán)驅(qū)動(dòng)器、IOMEGA ZIP⑧驅(qū)動(dòng)器、致密盤(pán)只讀存儲(chǔ)器("CD-ROM") 驅(qū)動(dòng)器、可記錄CD驅(qū)動(dòng)器("CD-R")、可重寫(xiě)CD驅(qū)動(dòng)器("CD-RW")、快 閃存儲(chǔ)器、USB快閃驅(qū)動(dòng)器、拇指驅(qū)動(dòng)器(thumb drive )、筆型驅(qū)動(dòng)器(pen drive )、鑰匙驅(qū)動(dòng)器(key drive )、高密度數(shù)字多功能盤(pán)("HD-DVD")光盤(pán) 驅(qū)動(dòng)器、藍(lán)光光盤(pán)驅(qū)動(dòng)器、全息數(shù)字?jǐn)?shù)據(jù)存儲(chǔ)("HDDS")光盤(pán)驅(qū)動(dòng)器，或 者各種可記錄或可重寫(xiě)數(shù)字多功能盤(pán)("DVD")驅(qū)動(dòng)器中的任何一種，例如 可記錄DVD ( "DVD-R"或"DVD+R")、可重寫(xiě)DVD ( "DVD-RW"或 "DVD+RW")，或者DVD-RAM。沖乘作系統(tǒng)程序、應(yīng)用和各種凝:據(jù)文件^皮存儲(chǔ)在盤(pán)上，它們被存儲(chǔ)在固定磁盤(pán)驅(qū)動(dòng)器3011上或者可移動(dòng)磁盤(pán)驅(qū)動(dòng)器3012 的可移動(dòng)介質(zhì)上。
磁帶驅(qū)動(dòng)器3014是磁帶存儲(chǔ)設(shè)備，它用來(lái)從計(jì)算設(shè)備3001下載數(shù)據(jù)， 或者把數(shù)據(jù)上載到計(jì)算設(shè)備3001上。磁帶驅(qū)動(dòng)器3014可以是四分之一英寸 磁帶盒(quarter-inch cartridge, "QIC" )、 4mm數(shù)字音頻石茲帶("DAT" )、 8mm 數(shù)字線(xiàn)性磁帶(digital linear tape, "DLT")驅(qū)動(dòng)器，或者其他類(lèi)型的磁帶。
硬拷貝輸出設(shè)備3015為操作系統(tǒng)程序和應(yīng)用提供輸出功能。硬拷貝輸出 設(shè)備3015可以是打印機(jī)或產(chǎn)生有形的輸出對(duì)象，包括文本或圖像數(shù)據(jù)或者文 本或圖像數(shù)據(jù)的圖形表示的任何輸出設(shè)備 雖然硬拷貝輸出設(shè)備3015被圖示 為直接連接到計(jì)算設(shè)備3001,但是無(wú)需如此。例如，硬拷貝輸出設(shè)備可以通 過(guò)例如有線(xiàn)或無(wú)線(xiàn)網(wǎng)絡(luò)的網(wǎng)絡(luò)接口連接到計(jì)算設(shè)備3001。
此外，盡管上面將計(jì)算設(shè)備3001描述為桌面PC，但是在進(jìn)一步的實(shí)施 方案中，計(jì)算設(shè)備3001可以是膝上型計(jì)算機(jī)、工作站、中型計(jì)算機(jī)、大型機(jī)、 嵌入式系統(tǒng)、電話(huà)、手持或平版計(jì)算機(jī)、PDA，或者其他類(lèi)型的計(jì)算機(jī)。
圖31是框圖，示出了圖30中所示的計(jì)算機(jī)內(nèi)部架構(gòu)。現(xiàn)在描述計(jì)算設(shè) 備3001的示范性?xún)?nèi)部架構(gòu)。計(jì)算環(huán)境包括計(jì)算機(jī)中央處理單元("CPU") 3101，在計(jì)算機(jī)中央處理單元3101處理包括操作系統(tǒng)或應(yīng)用的計(jì)算機(jī)指令； 顯示接口 3102,它提供用于在顯示監(jiān)視器3008上繪制圖形、圖像和文本的 通信接口和處理功能；鍵盤(pán)接口 3104，它為鍵盤(pán)3009提供通信接口；指示 設(shè)備接口 3105，它為鼠標(biāo)3010或等效的指示設(shè)備提供通信接口；數(shù)字輸入 接口 3106，它為數(shù)字輸入設(shè)備3017提供通信接口；硬拷貝輸出設(shè)備接口 3108， 它為硬拷貝輸出設(shè)備3015提供通信接口；隨機(jī)訪(fǎng)問(wèn)存儲(chǔ)器("RAM") 3110， 其中，計(jì)算機(jī)指令和數(shù)據(jù)被存儲(chǔ)在易失性存儲(chǔ)器設(shè)備中，以供計(jì)算機(jī)CPU 3101處理；只讀存儲(chǔ)器("ROM") 3111，其中，用于諸如基本輸入和輸出 ("I/O")、啟動(dòng)或從鍵盤(pán)3009接收鍵擊的基本系統(tǒng)功能的不變的低層系統(tǒng)代 碼或數(shù)據(jù)被存儲(chǔ)在非易失性存儲(chǔ)器設(shè)備中；和，存儲(chǔ)裝置3120或其他適當(dāng)類(lèi) 型的存儲(chǔ)器(例如隨^f幾訪(fǎng)問(wèn)存儲(chǔ)器("RAM")、只讀存儲(chǔ)器("ROM")、可編 程只讀存儲(chǔ)器("PROM")、可擦除可編程只讀存儲(chǔ)器("EPROM")、電可擦 除可編程只讀存儲(chǔ)器("EEPROM")、磁盤(pán)、光盤(pán)、軟盤(pán)、硬盤(pán)、可移動(dòng)磁帶 盒、快閃驅(qū)動(dòng)器)，其中存儲(chǔ)包括操作系統(tǒng)3121、應(yīng)用程序3122 (包括虛擬 對(duì)象#:縱應(yīng)用3123和其他必要的應(yīng)用3124)和數(shù)據(jù)文件3125的文件；計(jì)算
38機(jī)網(wǎng)絡(luò)接口 3116,它提供通過(guò)計(jì)算才幾網(wǎng)絡(luò)連接3016到網(wǎng)絡(luò)3006的通信4妄口 。 構(gòu)成設(shè)備和計(jì)算機(jī)CPU 3101通過(guò)計(jì)算機(jī)總線(xiàn)3127相互通信。
RAM 3110和計(jì)算機(jī)總線(xiàn)3127連接，以便在執(zhí)行諸如操作系統(tǒng)應(yīng)用程序 的軟件程序期間為計(jì)算機(jī)CPU 3101和設(shè)備驅(qū)動(dòng)器提供快速RAM存儲(chǔ)。更具 體地說(shuō)，計(jì)算機(jī)CPU 3101將計(jì)算機(jī)可執(zhí)行處理步驟從固定磁盤(pán)驅(qū)動(dòng)器3011 或其他的存儲(chǔ)介質(zhì)加載到RAM 3110的區(qū)段中，以便執(zhí)行軟件程序。數(shù)據(jù)存 儲(chǔ)在RAM3110中，其中，在執(zhí)行期間計(jì)算機(jī)CPU3101訪(fǎng)問(wèn)所述數(shù)據(jù)。
計(jì)算設(shè)備3001存儲(chǔ)用于操作系統(tǒng)3121、應(yīng)用程序3122的計(jì)算機(jī)可執(zhí)行 代碼，應(yīng)用程序3122例如字處理、電子數(shù)據(jù)表、演示、游戲，或者其他應(yīng)用。 盡管有可能使用上述實(shí)施方案提供對(duì)虛擬對(duì)象的操縱，但是，也有可能將根 據(jù)本公開(kāi)的功能實(shí)現(xiàn)為動(dòng)態(tài)鏈接庫(kù)("DLL")，或者實(shí)現(xiàn)為其他應(yīng)用程序的插 件，例如互聯(lián)網(wǎng)網(wǎng)頁(yè)瀏覽器的插件，互聯(lián)網(wǎng)網(wǎng)頁(yè)瀏覽器例如MICROSOFT Internet Explorer網(wǎng)頁(yè)瀏覽器。
計(jì)算機(jī)CPU 3101是多種高性能計(jì)算機(jī)處理器其中之一，所述高性能計(jì) 算機(jī)處理器包括INTEL⑧或AMD⑧處理器、POWERPC⑧處理器、MIPS⑧精 簡(jiǎn)指令集計(jì)算機(jī)("RISC")處理器、SPARC⑧處理器、ACORN RISC Machine ("ARM ")架構(gòu)處理器、HP ALPHASERVER⑧處理器，或者用于大型才幾的 專(zhuān)用計(jì)算機(jī)處理器。在另外的結(jié)構(gòu)中，計(jì)算機(jī)CPU3101是多于一個(gè)的處理單 元，包括在高性能工作站和服務(wù)器中可見(jiàn)的多CPU配置，或者在大型才幾中可 見(jiàn)的多重可擴(kuò)展處理單元。
操作系統(tǒng)3121可以是MICROSOFT WINDOWS NT /WINDOWS 2000/WINDOWS XP 工作站；WINDOWS NT /WINDOWS 2000/WINDOWS XP服務(wù)器；各種UNIX⑧風(fēng)格的操作系統(tǒng)，包括用于IBM 工作站和服務(wù)器的ATX 、用于SUN⑧工作站和服務(wù)器的SUNOS 、用于基 于INTEL CPU的工作站和服務(wù)器的LINUX 、用于HP⑧工作站和服務(wù)器 的HP UX WORKLOAD MANAGER ,用于SGI⑥工作站和服務(wù)器的IRIX 、 用于數(shù)字設(shè)備公司計(jì)算機(jī)的VAX/VMS、用于基于HP ALPHASERVER⑧的計(jì) 算機(jī)的OPENVMS⑧、用于基于POWERPC⑧的工作站和服務(wù)器的MAC OS 、 用于移動(dòng)設(shè)備的SYMBIAN OS 、 WINDOWS MOBILE⑧或者WINDOWS CE 、 PALM 、 NOKIA OS ( "NOS" )、 OSE⑧或者EPOC ,或者用于計(jì) 算機(jī)或嵌入式系統(tǒng)的專(zhuān)用操作系統(tǒng)。用于操作系統(tǒng)3121的應(yīng)用開(kāi)發(fā)平臺(tái)或框架可以是BINARY RUNTIME ENVIRONMENT FOR WIRELESS ("BREW " ); Java Platform, Micro Edition ( "Java ME")或者Java 2 Platform, Micro Edition ( " J2ME ，， ) 、 PYTHON 、 FLASH LITE 或者 MICROSOFT .NET Compact。
雖然圖30和圖31示出了計(jì)算設(shè)備的一種可能的實(shí)施方案，所述計(jì)算設(shè) 備執(zhí)行程序代碼，或者程序或處理步驟，被配置成基于運(yùn)動(dòng)歷史完成對(duì)應(yīng)用 的控制，但是也可以使用其他類(lèi)型的計(jì)算機(jī)。
已經(jīng)描述了許多實(shí)施方案。盡管如此，將會(huì)理解，可以做出各種修改而 不偏離本公開(kāi)的精神和范圍。因此，其他的實(shí)施方案在權(quán)利要求的范圍內(nèi)。
權(quán)利要求
1.一種計(jì)算機(jī)實(shí)施的方法，包括接收至少對(duì)象的第一圖像；在所述第一圖像中檢測(cè)對(duì)象；基于在第一圖像中檢測(cè)對(duì)象，產(chǎn)生對(duì)象數(shù)據(jù)地圖，該對(duì)象數(shù)據(jù)地圖針對(duì)第一圖像中的每一個(gè)像素，指示在每一個(gè)像素處是否檢測(cè)到對(duì)象；產(chǎn)生運(yùn)動(dòng)歷史，該運(yùn)動(dòng)歷史針對(duì)所述對(duì)象數(shù)據(jù)地圖中所包括的每一個(gè)像素，指示自從在每一個(gè)像素處檢測(cè)到對(duì)象時(shí)起的時(shí)間的指示；和基于所述運(yùn)動(dòng)歷史控制應(yīng)用。
2. 如權(quán)利要求1所述的方法，其中，"產(chǎn)生運(yùn)動(dòng)歷史，該運(yùn)動(dòng)歷史針對(duì) 所述對(duì)象數(shù)據(jù)地圖中所包括的每一個(gè)像素，指示自從在每一個(gè)像素處檢測(cè)到 對(duì)象時(shí)起的時(shí)間的指示"包括產(chǎn)生運(yùn)動(dòng)歷史，該運(yùn)動(dòng)歷史針對(duì)所述對(duì)象數(shù) 據(jù)地圖中所包括的每一個(gè)像素，指示與自從在每一個(gè)像素處檢測(cè)到對(duì)象時(shí)起 的時(shí)間相對(duì)應(yīng)的不透明度值。
3. 如權(quán)利要求1所述的方法，其中，"產(chǎn)生運(yùn)動(dòng)歷史，該運(yùn)動(dòng)歷史針對(duì) 所述對(duì)象數(shù)據(jù)地圖中所包括的每一個(gè)像素，指示自從在每一個(gè)像素處檢測(cè)到 對(duì)象時(shí)起的時(shí)間的指示"包括產(chǎn)生運(yùn)動(dòng)歷史，該運(yùn)動(dòng)歷史針對(duì)所述對(duì)象數(shù) 據(jù)地圖中所包括的每一個(gè)像素，指示自從在每一個(gè)像素處檢測(cè)到對(duì)象時(shí)起的 幀數(shù)。
4. 如權(quán)利要求1所述的方法，其中，"產(chǎn)生運(yùn)動(dòng)歷史，該運(yùn)動(dòng)歷史針對(duì) 所述對(duì)象數(shù)據(jù)地圖中所包括的每一個(gè)像素，指示自從在每一個(gè)像素處檢測(cè)到 對(duì)象時(shí)起的時(shí)間的指示"包括產(chǎn)生運(yùn)動(dòng)歷史，該運(yùn)動(dòng)歷史針對(duì)所述對(duì)象數(shù) 據(jù)地圖中所包括的每一個(gè)像素，指示自從在每一個(gè)像素處檢測(cè)到對(duì)象時(shí)起的 時(shí)間的度量。
5. 如權(quán)利要求l所述的方法，其中"產(chǎn)生運(yùn)動(dòng)歷史，該運(yùn)動(dòng)歷史針對(duì)所述對(duì)象數(shù)據(jù)地圖中所包括的每一個(gè) 像素，指示自從在每一個(gè)像素處檢測(cè)到對(duì)象時(shí)起的時(shí)間的指示，，包括過(guò)濾 所述運(yùn)動(dòng)歷史；并且基于所述運(yùn)動(dòng)歷史控制應(yīng)用包括基于過(guò)濾后的運(yùn)動(dòng)歷史控制應(yīng)用。
6. 如權(quán)利要求5所述的方法，其中，過(guò)濾所述運(yùn)動(dòng)歷史包括針對(duì)每一個(gè)像素，基于所述每一個(gè)像素的值和與所述每一個(gè)像素相鄰的像素的值，計(jì) 算用于所述每一個(gè)像素的值。
7. 如權(quán)利要求l所述的方法，其中，接收至少對(duì)象的第一圖像包括接 收至少用戶(hù)的第一圖像。
8. 如權(quán)利要求l所述的方法，其中，基于所述運(yùn)動(dòng)歷史控制應(yīng)用包括 在與所述應(yīng)用相關(guān)聯(lián)的顯示圖像中顯示對(duì)象的表示。
9. 如權(quán)利要求8所述的方法，其中，基于所述運(yùn)動(dòng)歷史控制應(yīng)用包括 控制在與所述應(yīng)用相關(guān)聯(lián)的顯示圖像中對(duì)象的表示的移動(dòng)。
10. 如權(quán)利要求8所述的方法，其中，在與所述應(yīng)用相關(guān)聯(lián)的顯示圖像 中顯示所述對(duì)象的表示包括在與所述應(yīng)用相關(guān)聯(lián)的顯示圖像中，將對(duì)象的 表示顯示為粒子系統(tǒng)的 一個(gè)或更多個(gè)粒子。
11. 如權(quán)利要求8所述的方法，其中，在與所述應(yīng)用相關(guān)聯(lián)的顯示圖像 中顯示所述對(duì)象的表示包括基于所述運(yùn)動(dòng)歷史，產(chǎn)生表示所述對(duì)象的運(yùn)動(dòng)的輪廓；和 基于所產(chǎn)生的輪廓，確定所述顯示圖像中的對(duì)象的表示是否觸摸了由所 述應(yīng)用在所述顯示圖像中繪制的虛擬對(duì)象。
12. 如權(quán)利要求8所述的方法，其中，在與所述應(yīng)用相關(guān)聯(lián)的顯示圖像 中顯示對(duì)象的表示包括顯示對(duì)象的表示，以使得與所述運(yùn)動(dòng)歷史中對(duì)時(shí)間 的指示指示最新近檢測(cè)到對(duì)象的像素相對(duì)應(yīng)的像素被以比與運(yùn)動(dòng)歷史中對(duì)時(shí) 間的指示指示在較久遠(yuǎn)的過(guò)去檢測(cè)到對(duì)象的像素相對(duì)應(yīng)的像素更強(qiáng)的不透明 度顯示。
13. 如權(quán)利要求12所述的方法，其中，"顯示對(duì)象的表示，以使得與所 述運(yùn)動(dòng)歷史中對(duì)時(shí)間的指示指示最新近檢測(cè)到對(duì)象的像素相對(duì)應(yīng)的像素被以 比與運(yùn)動(dòng)歷史中對(duì)時(shí)間的指示指示在較久遠(yuǎn)的過(guò)去斥企測(cè)到對(duì)象的像素相對(duì)應(yīng) 的像素更強(qiáng)的不透明度顯示，，包括顯示所述對(duì)象的表示，以使得與所述運(yùn) 動(dòng)歷史中的像素相對(duì)應(yīng)的像素被以基于與該像素相關(guān)聯(lián)的時(shí)間的指示的不透 明度顯示。
14. 如權(quán)利要求13所述的方法，其中，"顯示所述對(duì)象的表示，以使得 與所述運(yùn)動(dòng)歷史中的像素相對(duì)應(yīng)的像素被以基于與該像素相關(guān)聯(lián)的時(shí)間的指 示的不透明度顯示，，包括顯示所述對(duì)象的表示，以使得第一像素的不透明 度顯得強(qiáng)于第二像素的不透明度，其中，所述第一像素所關(guān)聯(lián)的時(shí)間的指示指示，與所述第二像素相比，在所述第一像素在更新近的時(shí)刻檢測(cè)到對(duì)象。
15. 如權(quán)利要求8所述的方法，其中，在與所述應(yīng)用相關(guān)聯(lián)的顯示圖像 中顯示對(duì)象的表示包括基于所述運(yùn)動(dòng)歷史產(chǎn)生alpha通道；和基于所述alpha通道在所述顯示圖像中顯示所述對(duì)象的表示。
16. 如權(quán)利要求8所述的方法，其中，在與所述應(yīng)用相關(guān)聯(lián)的顯示圖像 中顯示對(duì)象的表示包括基于動(dòng)畫(huà)或粒子系統(tǒng)顯示動(dòng)畫(huà)的效果圖像。
17. 如權(quán)利要求8所述的方法，其中，在與所述應(yīng)用相關(guān)聯(lián)的顯示圖像 中顯示對(duì)象的表示包括顯示所述對(duì)象的摳像圖像。
18. 如權(quán)利要求8所述的方法，其中，在與所述應(yīng)用相關(guān)聯(lián)的顯示圖像 中顯示所述對(duì)象的表示包括基于所述運(yùn)動(dòng)歷史確定所述顯示圖像中的對(duì)象的表示是否觸摸了所述顯 示圖像中由所述應(yīng)用繪制的虛擬對(duì)象；和 基于確定結(jié)果控制所述應(yīng)用。
19. 如權(quán)利要求18所述的方法，其中，基于確定結(jié)果控制所述應(yīng)用包括 基于所述運(yùn)動(dòng)歷史計(jì)算所述虛擬對(duì)象的速度；和 基于所確定的虛擬對(duì)象的速度控制所述應(yīng)用。
20. 如權(quán)利要求19所述的方法，其中計(jì)算所述虛擬對(duì)象的速度包括基于與所述運(yùn)動(dòng)歷史相關(guān)聯(lián)的光流數(shù)據(jù)， 計(jì)算所述虛擬對(duì)象的運(yùn)動(dòng)速度和方向；和基于所確定的所述虛擬對(duì)象的速度控制所述應(yīng)用包括基于所確定的所 述虛擬對(duì)象的運(yùn)動(dòng)速度和方向控制所述應(yīng)用。'
21. 如權(quán)利要求18所述的方法，其中，所述虛擬對(duì)象包括粒子系統(tǒng)的粒子。
22. 如權(quán)利要求l所述的方法，其中，在所述第一圖像中檢測(cè)對(duì)象包括 將所述第 一 圖像與背景圖像進(jìn)行比較。
23. —種計(jì)算機(jī)實(shí)施的方法，包括基于運(yùn)動(dòng)歷史控制應(yīng)用，該運(yùn)動(dòng)歷史 針對(duì)對(duì)象數(shù)據(jù)地圖中所包括的每一個(gè)像素，指示自從在每一個(gè)像素處檢測(cè)到 對(duì)象時(shí)起的時(shí)間的指示，所述對(duì)象數(shù)據(jù)地圖針對(duì)所接收到的所述對(duì)象的第一 圖像中的每一個(gè)像素，指示在所述每一個(gè)像素處是否檢測(cè)到所述對(duì)象。
24. —種系統(tǒng)，包括相機(jī)，被配置成捕獲至少對(duì)象的第一圖像； 處理器，；陂配置成從所述相機(jī)接收所述對(duì)象的第 一 圖像，在所述第 一 圖像中檢測(cè)所述對(duì)象，響應(yīng)于在所述第一圖像中^r測(cè)對(duì)象，產(chǎn)生對(duì)象數(shù)據(jù)地圖，所述對(duì)象 數(shù)據(jù)地圖針對(duì)第一圖像中的每一個(gè)像素，指示在每一個(gè)像素處是否檢測(cè) 到所述對(duì)象，產(chǎn)生運(yùn)動(dòng)歷史，該運(yùn)動(dòng)歷史針對(duì)所述對(duì)象數(shù)據(jù)地圖中所包括的每一 個(gè)像素，指示自從在每一個(gè)像素處檢測(cè)到對(duì)象時(shí)起的時(shí)間的指示；基于所述運(yùn)動(dòng)歷史控制應(yīng)用；和 顯示器，被配置成繪制與所述應(yīng)用相關(guān)聯(lián)的顯示圖像。
25. —種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上具體實(shí)施計(jì)算機(jī)程序，所述計(jì)算機(jī) 程序包括指令用于接收至少對(duì)象的第一圖像； 在所述第一圖像中檢測(cè)所述對(duì)象；響應(yīng)于在所述第一圖像中檢測(cè)對(duì)象，產(chǎn)生對(duì)象數(shù)據(jù)地圖，所述對(duì)象數(shù)據(jù) 地圖針對(duì)所述第 一圖像中的每一個(gè)像素，指示在每一個(gè)像素處是否檢測(cè)到所 述對(duì)象；產(chǎn)生運(yùn)動(dòng)歷史，所述運(yùn)動(dòng)歷史針對(duì)對(duì)象數(shù)據(jù)地圖中所包括的每一個(gè)像素， 指示自從在每一個(gè)像素處檢測(cè)到所述對(duì)象時(shí)起的時(shí)間的指示；和 基于所述運(yùn)動(dòng)歷史控制應(yīng)用。
26. —種系統(tǒng)，包括用于接收至少對(duì)象的第 一 圖像的裝置； 用于在所述第一圖像中檢測(cè)對(duì)象的裝置；用于響應(yīng)于在所述第一圖像中檢測(cè)對(duì)象，產(chǎn)生對(duì)象數(shù)據(jù)地圖的裝置，所 述對(duì)象數(shù)據(jù)地圖針對(duì)所述第 一 圖像中的每一個(gè)像素，指示在每一個(gè)像素處是 否沐企測(cè)到所述對(duì)象；用于產(chǎn)生運(yùn)動(dòng)歷史的裝置，所述運(yùn)動(dòng)歷史針對(duì)對(duì)象凝:據(jù)地圖中所包括的 每一個(gè)像素，指示自從在每一個(gè)像素處檢測(cè)到所述對(duì)象時(shí)起的時(shí)間的指示；和用于基于所述運(yùn)動(dòng)歷史控制應(yīng)用的裝置。
全文摘要
通過(guò)相機(jī)檢測(cè)用戶(hù)的運(yùn)動(dòng)，并在顯示器上產(chǎn)生用戶(hù)的動(dòng)態(tài)虛擬表示，其中，檢測(cè)到的用戶(hù)運(yùn)動(dòng)導(dǎo)致所述動(dòng)態(tài)虛擬表示與所述顯示器上的虛擬對(duì)象交互。計(jì)算所檢測(cè)到的用戶(hù)運(yùn)動(dòng)的幅值和方向，以確定由所述動(dòng)態(tài)虛擬表示施加到所述虛擬對(duì)象的力的幅值和方向。進(jìn)一步的結(jié)構(gòu)包括水或煙流體仿真，以便增強(qiáng)用戶(hù)體驗(yàn)。
文檔編號(hào)G06K9/00GK101636745SQ200780051911
公開(kāi)日2010年1月27日 申請(qǐng)日期2007年12月27日 優(yōu)先權(quán)日2006年12月29日
發(fā)明者埃文·希爾德雷思 申請(qǐng)人:格斯圖爾泰克股份有限公司