專(zhuān)利名稱(chēng)：基于物理模型的手勢(shì)識(shí)別的制作方法
技術(shù)領(lǐng)域：
一個(gè)實(shí)施例一般地是針對(duì)移動(dòng)設(shè)備，尤其是用于移動(dòng)設(shè)備的手勢(shì)識(shí)別(gesture recognition)0
背景技術(shù)：
用于計(jì)算機(jī)系統(tǒng)和其他設(shè)備的手勢(shì)(gesture)識(shí)別，通常涉及經(jīng)由數(shù)學(xué)算法來(lái)翻譯人類(lèi)手勢(shì)。手勢(shì)(gesture)可以源于任何身體動(dòng)作或狀態(tài)，但是通常源于面部或手部。已經(jīng)探討了很多使用照相機(jī)和計(jì)算機(jī)視覺(jué)算法來(lái)翻譯符號(hào)語(yǔ)言。然而，姿勢(shì)、步態(tài)和人類(lèi)行為的辨別和識(shí)別還是手勢(shì)識(shí)別技術(shù)的主題。一種類(lèi)型的手勢(shì)識(shí)別依賴(lài)于保持或另外操縱控制器或手持/移動(dòng)設(shè)備的用戶。這些控制器充當(dāng)身體的延伸，使得做出手勢(shì)時(shí)，一些它們的動(dòng)作可以被軟件方便地捕捉。鼠標(biāo)手勢(shì)就是一個(gè)這種示例，其中鼠標(biāo)的動(dòng)作與人手所畫(huà)的符號(hào)相關(guān)。另一個(gè)示例是來(lái)自 Nintendo集團(tuán)的可以學(xué)習(xí)加速度隨時(shí)間的變化以呈現(xiàn)手勢(shì)的Wii遙控。為了識(shí)別手勢(shì)這些方法通常都進(jìn)行加速計(jì)數(shù)據(jù)的統(tǒng)計(jì)分析或信號(hào)處理。然而，一個(gè)缺點(diǎn)是統(tǒng)計(jì)分析典型地針對(duì)單一類(lèi)型的動(dòng)作，諸如當(dāng)使用控制器與視頻高爾夫游戲交互時(shí)揮動(dòng)高爾夫球桿時(shí)的動(dòng)作。

發(fā)明內(nèi)容
一個(gè)實(shí)施例是用于在移動(dòng)設(shè)備上識(shí)別手勢(shì)的手勢(shì)識(shí)別系統(tǒng)。系統(tǒng)接收傳感器數(shù)據(jù)以響應(yīng)移動(dòng)設(shè)備上感應(yīng)到的手勢(shì)。傳感器數(shù)據(jù)包括力(force)或沖量(impulse)。力或沖量被施加到仿真物理對(duì)象，然后觀察仿真物理對(duì)象的狀態(tài)?；谥辽儆^察到的仿真物理對(duì)象的狀態(tài)，輸入被提供給應(yīng)用。


圖1是根據(jù)本發(fā)明一個(gè)實(shí)施例的移動(dòng)設(shè)備的立體圖；圖2是根據(jù)本發(fā)明一個(gè)實(shí)施例的手勢(shì)識(shí)別系統(tǒng)的框圖；圖3是本發(fā)明一個(gè)實(shí)施例中仿真的示例物體的框圖；圖4根據(jù)一個(gè)實(shí)施例示出了球的仿真動(dòng)作；圖5是根據(jù)一個(gè)實(shí)施例經(jīng)由例如手部動(dòng)作/手勢(shì)在空間中運(yùn)動(dòng)的移動(dòng)設(shè)備的立體圖；圖6是根據(jù)一個(gè)實(shí)施例為了識(shí)別手勢(shì)觀察仿真物理對(duì)象的有限狀態(tài)機(jī)或“觀察者”的框圖；圖7根據(jù)一個(gè)實(shí)施例示出了包括兩個(gè)門(mén)限值的容器中的仿真對(duì)象；圖8是當(dāng)與應(yīng)用共同識(shí)別手勢(shì)時(shí)根據(jù)一個(gè)實(shí)施例的手勢(shì)識(shí)別模塊的功能的流程圖。
具體實(shí)施例方式為了增加功能并提供到應(yīng)用的用戶界面，一個(gè)實(shí)施例是加入手勢(shì)識(shí)別的移動(dòng)設(shè)備。該設(shè)備包括仿真物理系統(tǒng)(physical system)和具有由物理系統(tǒng)的觀察所驅(qū)動(dòng)的狀態(tài)遷移的狀態(tài)機(jī)。每個(gè)狀態(tài)可對(duì)應(yīng)于識(shí)別的手勢(shì)，以及基于識(shí)別的手勢(shì)可生成觸覺(jué)效果 (haptic effect)0圖1是根據(jù)本發(fā)明一個(gè)實(shí)施例的移動(dòng)設(shè)備50的立體圖。如所示，移動(dòng)設(shè)備50是移動(dòng)電話。然而，其他實(shí)施例中的設(shè)備50可以是包括便攜數(shù)字助理(“PDA”)、便攜媒體播放器、便攜游戲設(shè)備等的任何類(lèi)型的手持設(shè)備。設(shè)備50包括允許用戶與設(shè)備50上運(yùn)行的軟件應(yīng)用進(jìn)行接口(interface)的用戶界面(“UI”)60。設(shè)備50進(jìn)一步包括下面進(jìn)一步詳細(xì)公開(kāi)的手勢(shì)識(shí)別系統(tǒng)(未示出)，該系統(tǒng)允許用戶使用手部55以諸如通過(guò)操縱設(shè)備50 的有意義的方式與設(shè)備50和UI 60交互。圖2是根據(jù)本發(fā)明一個(gè)實(shí)施例的手勢(shì)識(shí)別系統(tǒng)10的框圖。系統(tǒng)10是圖1的移動(dòng)設(shè)備50的一部分，并且其提供手勢(shì)識(shí)別功能。雖然作為單一系統(tǒng)來(lái)示出，但是系統(tǒng)10的功能可以作為分布式系統(tǒng)來(lái)實(shí)現(xiàn)。系統(tǒng)10包括總線12或其他用于溝通信息的通信機(jī)制，和耦合到總線12用于處理信息的處理器22。處理器22可能是任何類(lèi)型的通用或?qū)Ｓ锰幚砥鳌?系統(tǒng)10進(jìn)一步包括用于存儲(chǔ)將由處理器22所運(yùn)行的信息和指令的存儲(chǔ)器14。存儲(chǔ)器14 可以由隨機(jī)訪問(wèn)存儲(chǔ)器(“RAM”)、只讀存儲(chǔ)器(“ROM”)、諸如磁或光盤(pán)的靜態(tài)存儲(chǔ)器或任何其他類(lèi)型的計(jì)算機(jī)可讀介質(zhì)的任何組合組成。計(jì)算機(jī)可讀介質(zhì)可能是處理器22可訪問(wèn)的任何可用介質(zhì)，包括易失性和不易失性介質(zhì)、可擦除和不可擦除介質(zhì)以及通信介質(zhì)。通信介質(zhì)可包括諸如載波或其他傳輸機(jī)制的調(diào)制數(shù)據(jù)信號(hào)中的計(jì)算機(jī)可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊或其他數(shù)據(jù)，以及包括任何信息發(fā)送介質(zhì)。在一個(gè)實(shí)施例中，存儲(chǔ)器14存儲(chǔ)當(dāng)被處理器22運(yùn)行時(shí)提供功能的軟件模塊。模塊包括在一個(gè)實(shí)施例中提供用于系統(tǒng)10的操作系統(tǒng)功能和設(shè)備50的其他功能的操作系統(tǒng) 15。模塊進(jìn)一步包括如下面更詳細(xì)公開(kāi)的識(shí)別用戶手勢(shì)的手勢(shì)識(shí)別模塊16。系統(tǒng)10將典型地包括一個(gè)或更多附加應(yīng)用模塊18以包括附加功能，諸如生成觸覺(jué)效果的應(yīng)用和與模塊16交互的應(yīng)用，使得識(shí)別的手勢(shì)可以用作那些應(yīng)用的輸入。在實(shí)施例中從遠(yuǎn)程源傳送和/或接收數(shù)據(jù)的系統(tǒng)10，進(jìn)一步包括諸如網(wǎng)絡(luò)接口卡的通信設(shè)備20，以提供諸如紅外、無(wú)線、Wi-Fi或蜂窩網(wǎng)絡(luò)通信的移動(dòng)無(wú)線網(wǎng)絡(luò)通信。在其他實(shí)施例中，通信設(shè)備20提供諸如以太網(wǎng)連接或調(diào)制解調(diào)器的有線網(wǎng)絡(luò)連接。處理器22進(jìn)一步經(jīng)由總線12耦合到用于向用戶顯示圖形表示或用戶界面的諸如液晶顯示器(“IXD”)的顯示器對(duì)。顯示器24可能是諸如觸摸屏幕、配置為從處理器22 發(fā)送和接收信號(hào)的觸摸感應(yīng)輸入設(shè)備，以及可能是多點(diǎn)觸控觸摸屏幕。系統(tǒng)10進(jìn)一步包括一個(gè)或更多致動(dòng)器26。處理器22可傳送與觸覺(jué)效果相關(guān)的觸覺(jué)信號(hào)到依次輸出觸覺(jué)效果的致動(dòng)器26。致動(dòng)器沈可能是例如電動(dòng)機(jī)、電磁致動(dòng)器、 音圖(voice coil)、線性共振致動(dòng)器、壓電致動(dòng)器、形狀記憶合金、電活性聚合物、螺線管 (solenoid)、質(zhì)量偏心旋轉(zhuǎn)電機(jī)(“ERM”)或線性共振致動(dòng)器(“LRA”)。系統(tǒng)10進(jìn)一步包括一個(gè)或更多傳感器觀。傳感器觀可包括加速計(jì) (accelerometer)、陀螺儀、全球定位系統(tǒng)(“GPS”)傳感器、觸摸感應(yīng)輸入設(shè)備(例如，觸摸屏幕、觸摸板)、紋理手寫(xiě)筆(texture stylus)、圖像傳感器或一些其他類(lèi)型傳感器。傳感器觀可配置為檢測(cè)加速度、傾角(inclination)、慣性(inertia)或地點(diǎn)(location)的變化。傳感器觀還可能包括地點(diǎn)傳感器、旋轉(zhuǎn)速度傳感器、光線傳感器、壓力傳感器、紋理傳感器、照相機(jī)、麥克風(fēng)或其他類(lèi)型傳感器。隨著圖1的移動(dòng)設(shè)備50被用戶移動(dòng)作為手勢(shì)的結(jié)果，傳感器觀將檢測(cè)到這些運(yùn)動(dòng)，并基于至少部分設(shè)備50的運(yùn)動(dòng)而生成傳感器信號(hào)。手勢(shì)可包括加速計(jì)、陀螺儀或一些其他傳感器測(cè)量到的三維手勢(shì)。三維手勢(shì)可包括旋轉(zhuǎn)、輕擊、猛擊或另外移動(dòng)整個(gè)設(shè)備50。在一個(gè)實(shí)施例中，手勢(shì)識(shí)別系統(tǒng)10仿真(simulate)移動(dòng)設(shè)備50的物理動(dòng)作所擾動(dòng)的物體，然后“觀察者”追蹤仿真物理對(duì)象的狀態(tài)以確定手勢(shì)。確定的手勢(shì)可以作為輸入提供到相關(guān)的軟件應(yīng)用，以及可以使軟件生成觸覺(jué)效果以向用戶提供反饋來(lái)響應(yīng)手勢(shì)。 物理仿真可以是將要被識(shí)別的手勢(shì)的模擬，并且取決于應(yīng)用可以與一維世界中具有質(zhì)量 (mass)的單一對(duì)象一樣簡(jiǎn)單或更復(fù)雜。圖3是本發(fā)明一個(gè)實(shí)施例中仿真的示例物體的框圖。在該示例中，手勢(shì)識(shí)別系統(tǒng) 10識(shí)別用于確定在UI 60中圖形示出的諸如墻開(kāi)關(guān)的“開(kāi)關(guān)”是否是上/開(kāi)或下/關(guān)的手勢(shì)。在圖3中所示的實(shí)施例中，仿真物理對(duì)象是管道或容器106中容納的球102。球102限于箭頭104所指示的上和下動(dòng)作，就像球102被容納在一個(gè)面上。球102任何時(shí)候都可以由其相對(duì)于χ軸的位置(“X”)和其速度(ν)或(χ, ν)表征。圖4根據(jù)一個(gè)實(shí)施例示出了球102的仿真動(dòng)作。當(dāng)未施加力時(shí)，球102留在線105 所指示的容器106的中央。恒定背景力(constant background force)施加到球102，如勢(shì) (potential)函數(shù)U(x)的空間導(dǎo)數(shù)(spatial derivative)所表示的。在圖4中所示的勢(shì)中，容器106中央有零凈(net)背景力。在仿真物理系統(tǒng)中，依照勢(shì)U (χ)的斜率(slope)， 向下方向中施加的擾動(dòng)力使球102滑向容器106的底部。同樣地，當(dāng)在向上方向中施加力時(shí)，球102滑向容器106的頂部。施加的力可以作為勢(shì)函數(shù)U(X)的導(dǎo)數(shù)d/dx表征，其是在每個(gè)χ上施加到物體102的力，其中χ是物體的空間位置。力可能是線性的，如在圖4的示例中，或可能是周期流形(periodic manifold)(例如，如果χ是角度)，任何其他函數(shù)U(x) 或函數(shù)U(x，p)的參數(shù)化家族(其中ρ是參數(shù))。算法將捕捉手勢(shì)的類(lèi)型，在確定手勢(shì)的類(lèi)型中，背景力的說(shuō)明是有幫助的。圖5是根據(jù)一個(gè)實(shí)施例經(jīng)由例如手部動(dòng)作/手勢(shì)在空間中運(yùn)動(dòng)的移動(dòng)設(shè)備50的立體圖。對(duì)于圖3和4的示例，加速計(jì)沿著y軸(軸110)測(cè)量加速度，因?yàn)檫@是與使用手勢(shì)以輕擊UI 60中所示的開(kāi)關(guān)開(kāi)或關(guān)相關(guān)的方向。加速度由‘、/’表示。圖6是根據(jù)一個(gè)實(shí)施例為了識(shí)別手勢(shì)而觀察仿真對(duì)象102的有限狀態(tài)機(jī)600或 “觀察者”的框圖。在一個(gè)實(shí)施例中，圖6的有限狀態(tài)機(jī)600的功能和下面圖8的流程圖，由存儲(chǔ)器或其他計(jì)算機(jī)可讀或有形介質(zhì)中存儲(chǔ)的軟件實(shí)現(xiàn)，并由處理器運(yùn)行。在其他實(shí)施例中，功能可以由硬件(例如，通過(guò)專(zhuān)用集成電路(“ASIC”)、可編程門(mén)陣列(“PGA”)、現(xiàn)場(chǎng)可編程門(mén)陣列(“FPGA”)等的使用)或任何硬件和軟件的組合來(lái)執(zhí)行。圖7根據(jù)一個(gè)實(shí)施例示出了包括兩個(gè)門(mén)限χ值^up和&。m的容器106中的仿真對(duì)象102。門(mén)限χ值被狀態(tài)機(jī) 600使用以確定仿真開(kāi)關(guān)是上或下。在602中，物體102被初始化，使得位置x = 0和速度ν = 0。在604中，物體102的位置χ和速度ν被觀察。在一個(gè)實(shí)施例中，下述偽碼實(shí)現(xiàn)604的觀察狀態(tài)get sensor data ()convert sensors to forces ()apply forces to object ()time step physics ()if (collision)，play haptic effectobserve physical state ()上述偽碼從傳感器28獲得傳感器數(shù)據(jù)，然后將傳感器數(shù)據(jù)映射到仿真對(duì)象102上的力或沖量，其然后使用數(shù)字積分器(numerical integrator)(物理時(shí)間步長(zhǎng)(time step physics))被仿真以計(jì)算物體的位置和速度軌跡。如果基于力，在容器106的末端物體102 碰撞，那么在一個(gè)實(shí)施例中提供沖突的指示的諸如振動(dòng)的觸覺(jué)效果將被生成。下面是上述偽碼的功能一些示例實(shí)現(xiàn)。將傳感器轉(zhuǎn)換為力()在一個(gè)實(shí)施例中，通過(guò)比較加速度值與一系列不斷增長(zhǎng)的門(mén)限來(lái)將加速度值 映射到速度沖量。上述加速度是具體門(mén)限，但是下面下一個(gè)較高門(mén)限將生成仿真對(duì)象102的沖量(速度的不連續(xù)變化)。施加力到物體()在一個(gè)實(shí)施例中，使用牛頓運(yùn)動(dòng)原理將力添加到力之和中。
權(quán)利要求
1.一種具有指令存儲(chǔ)其上的計(jì)算機(jī)可讀介質(zhì)，當(dāng)所述指令被處理器運(yùn)行時(shí)使所述處理器在移動(dòng)設(shè)備上執(zhí)行手勢(shì)識(shí)別，所述手勢(shì)識(shí)別包括生成仿真物理對(duì)象；接收傳感器數(shù)據(jù)以響應(yīng)所述移動(dòng)設(shè)備上感應(yīng)到的手勢(shì)，所述傳感器數(shù)據(jù)包括力或沖量；施加所述力或沖量到所述仿真物理對(duì)象； 觀察所述仿真物理對(duì)象的狀態(tài)以響應(yīng)所述施加的力或沖量；和基于至少觀察到的所述仿真物理對(duì)象的狀態(tài)向應(yīng)用提供輸入。
2.根據(jù)權(quán)利要求1所述的計(jì)算機(jī)可讀介質(zhì)，其中到所述應(yīng)用的輸入包括與用戶界面的交互。
3.根據(jù)權(quán)利要求2所述的計(jì)算機(jī)可讀介質(zhì)，其中所述用戶界面顯示基本類(lèi)似于所述仿真物理對(duì)象的圖形。
4.根據(jù)權(quán)利要求2所述的計(jì)算機(jī)可讀介質(zhì)，其中所述用戶界面顯示響應(yīng)交互而修改的圖形，其中所述圖形包括按鈕、滑塊或滾動(dòng)列表中至少一個(gè)。
5.根據(jù)權(quán)利要求1所述的計(jì)算機(jī)可讀介質(zhì)，其中所述應(yīng)用生成觸覺(jué)效果以響應(yīng)所述輸入。
6.根據(jù)權(quán)利要求5所述的計(jì)算機(jī)可讀介質(zhì)，其中所述觸覺(jué)效果包括觀察到的所述仿真物理對(duì)象的狀態(tài)的反饋。
7.根據(jù)權(quán)利要求5所述的計(jì)算機(jī)可讀介質(zhì)，其中所述觸覺(jué)效果包括所述仿真物理對(duì)象的物理狀態(tài)的反饋。
8.根據(jù)權(quán)利要求5所述的計(jì)算機(jī)可讀介質(zhì)，其中所述觸覺(jué)效果包括在所述移動(dòng)設(shè)備上生成振動(dòng)的致動(dòng)器。
9.根據(jù)權(quán)利要求1所述的計(jì)算機(jī)可讀介質(zhì)，其中所述仿真物理對(duì)象是容器中的球并被限定在一維動(dòng)作中。
10.根據(jù)權(quán)利要求1所述的計(jì)算機(jī)可讀介質(zhì)，其中所述力或沖量由加速計(jì)感應(yīng)。
11.根據(jù)權(quán)利要求1所述的計(jì)算機(jī)可讀介質(zhì)，其中所述應(yīng)用翻譯觀察到的狀態(tài)作為識(shí)別的手勢(shì)。
12.一種用于在移動(dòng)設(shè)備上執(zhí)行手勢(shì)識(shí)別的計(jì)算機(jī)實(shí)現(xiàn)的方法，所述方法包括 生成仿真物理對(duì)象；接收傳感器數(shù)據(jù)以響應(yīng)所述移動(dòng)設(shè)備上感應(yīng)到的手勢(shì)，所述傳感器數(shù)據(jù)包括力或沖量；施加所述力或沖量到所述仿真物理對(duì)象； 觀察所述仿真物理對(duì)象的狀態(tài)以響應(yīng)施加的力或沖量；和基于至少觀察到的所述仿真物理對(duì)象的狀態(tài)向應(yīng)用提供輸入。
13.根據(jù)權(quán)利要求12所述的計(jì)算機(jī)實(shí)現(xiàn)的方法，其中所述應(yīng)用生成觸覺(jué)效果以響應(yīng)所述輸入。
14.根據(jù)權(quán)利要求12所述的計(jì)算機(jī)實(shí)現(xiàn)的方法，其中所述仿真物理對(duì)象是容器中的球并被限定在一維動(dòng)作中。
15.一種系統(tǒng)，包括處理器；耦合到所述處理器的存儲(chǔ)器；和耦合到所述處理器用于感應(yīng)所述系統(tǒng)上手勢(shì)的傳感器；和其中所述存儲(chǔ)器存儲(chǔ)指令，當(dāng)所述指令被所述處理器運(yùn)行時(shí)， 生成仿真物理對(duì)象；從所述傳感器接收力以響應(yīng)所述系統(tǒng)上的手勢(shì)；施加所述力到所述仿真物理對(duì)象；觀察所述仿真物理對(duì)象的狀態(tài)以響應(yīng)施加的力；和基于至少觀察到的所述仿真物理對(duì)象的狀態(tài)向應(yīng)用提供輸入。
16.根據(jù)權(quán)利要求15所述的系統(tǒng)，進(jìn)一步包括 耦合到所述處理器的致動(dòng)器；其中所述應(yīng)用使所述致動(dòng)器生成觸覺(jué)效果以響應(yīng)所述輸入。
17.根據(jù)權(quán)利要求15所述的系統(tǒng)，其中所述仿真物理對(duì)象是容器中的球并被限定在一維動(dòng)作中。
全文摘要
一種用于在移動(dòng)設(shè)備上識(shí)別手勢(shì)的手勢(shì)識(shí)別系統(tǒng)，該系統(tǒng)接收傳感器數(shù)據(jù)以響應(yīng)移動(dòng)設(shè)備上被感應(yīng)的手勢(shì)。傳感器數(shù)據(jù)包括力或沖量。力或沖量被施加到仿真物理對(duì)象，然后仿真物理對(duì)象的狀態(tài)被觀察?；谥辽儆^察的仿真物理對(duì)象的狀態(tài)，向應(yīng)用提供輸入。
文檔編號(hào)G06F3/041GK102446025SQ20111030238
公開(kāi)日2012年5月9日 申請(qǐng)日期2011年10月8日 優(yōu)先權(quán)日2010年10月5日
發(fā)明者克里斯托弗·J·烏爾里奇, 羅伯特·拉克魯瓦 申請(qǐng)人:艾默生公司