基于手勢的接口系統(tǒng)和方法
【專利摘要】一種用于控制任何類型的裝置的用戶接口設(shè)備。與所述裝置相鄰的區(qū)域中的圖像傳感器所獲得的圖像被輸入到手勢識別系統(tǒng)，該手勢識別系統(tǒng)分析由所述圖像傳感器獲得的圖像，以標識一個或更多個手勢。消息決策器基于標識的手勢和所述手勢識別系統(tǒng)的識別模式來生成消息。在一個或更多個不同條件下，識別模式改變。
【專利說明】基于手勢的接口系統(tǒng)和方法
【技術(shù)領(lǐng)域】
[0001 ] 本發(fā)明涉及圖像分析和對象跟蹤。
【背景技術(shù)】
[0002]以下公報被認為與本發(fā)明的背景的理解有關(guān):
[0003]美國專利N0.6，252，598 ；
[0004]馬加爾(Magal)等人的美國專利8，166421 ；
[0005]W02005/091125 ；
[0006]W02010/086866 ；
[0007]Viola, P 等人，“Robust Real-time Object Detection”，第 二屆視覺建模、學習、計算和采樣的統(tǒng)計和計算理論國際研討會(Second International Workshop onStatistical and Computational theories of Vision-Modeling, learning, Computing, and Sampling)，加拿大溫哥華，2001年7月13日。
[0008]存在各種類型的計算機控制和接口裝置來向計算機輸入命令。例如，這些裝置可采取計算機鼠標、搖桿或軌跡球的形式，其中，用戶操縱接口裝置以執(zhí)行特定操作，例如從選項菜單選擇特定條目、執(zhí)行“點擊”或“指點”功能等。這些接口裝置需要表面積以放置裝置，并且在鼠標的情況下，適應裝置移動和操縱。另外，這些接口裝置通常通過線纜連接到計算機，所述線纜通常隨意搭在用戶的桌子上，導致妨礙用戶的工作區(qū)域。操縱這些接口裝置以執(zhí)行操作與常見交流手勢不一致，例如，與操縱鼠標直至光標停駐在期望的菜單條目上相對，使用手指指點手勢來選擇菜單條目。
[0009]已嘗試利用光學傳感器實現(xiàn)手勢識別以用于向裝置輸入命令。手勢識別需要在視頻流中的多個圖像中的每一個中標識身體部位(通常為手)。
[0010]例如，已知在視頻流中標識手勢。定義幀中的多個區(qū)域并對其進行篩選以通過定位與預定義的手位置和手勢對應的曲率極值(例如，峰和谷)來在多個區(qū)域中的一個中定位手。然后，使用峰和谷的數(shù)量來標識預定義的手勢并將其與實現(xiàn)特定計算機操作或功能的手圖像相關(guān)。
[0011]還已知有使用三維位置信息來標識由身體部位生成的手勢的系統(tǒng)。在一個或更多個間隔實例，基于身體部位的形狀及其位置和取向來識別身體部位的姿態(tài)。在一個或更多個間隔實例中的每一個期間身體部位的姿態(tài)被識別為組合手勢。對手勢進行分類以確定對相關(guān)電子裝置的輸入。
[0012]還已知有用戶接口方法,其中隨著時間過去捕獲受試者(human subject)的至少一個身體部位的一系列深度圖。處理深度圖以便檢測在身體部位穿過交互表面時身體部位的移動方向和速度。響應于所檢測到的方向和速度來控制計算機應用。

【發(fā)明內(nèi)容】

[0013]本發(fā)明提供了一種用戶接口設(shè)備，其用于控制諸如個人計算機(PC)、便攜式計算機、PDA、膝上型計算機、移動電話、收音機、數(shù)碼相機、車輛、醫(yī)療裝置、智能家用電器(例如，電視或家庭娛樂系統(tǒng))、移動游戲機或家用電器的裝置。
[0014]本發(fā)明的用戶接口設(shè)備包括圖像傳感器。圖像傳感器在與裝置相鄰的區(qū)域所獲得的圖像被輸入至手勢識別系統(tǒng)，手勢識別系統(tǒng)分析圖像傳感器所獲得的圖像，以從由預定義對象(例如，手或手指)執(zhí)行的待標識的一個或更多個手勢當中標識一個或更多個手勢。手勢的檢測被輸入至消息決策器，消息決策器基于所標識的手勢和手勢識別系統(tǒng)的當前識別模式來生成消息。例如，可將所述消息發(fā)送給裝置、第一裝置的操作系統(tǒng)、在第一裝置的處理器上運行的一個或更多個應用、在后臺運行的軟件程序以及在第一裝置上運行的一個或更多個服務或者在裝置中、在外部網(wǎng)絡(luò)上運行的進程。
[0015]手勢識別系統(tǒng)運行手勢識別模塊，該手勢識別模塊按照兩個或更多個識別模式中的每一個操作。識別模式由手勢模式?jīng)Q策器來確定，手勢模式?jīng)Q策器被配置為在一個或更多個不同條件下將識別模式從初始識別模式改變?yōu)榈诙R別模式，如下所述。
[0016]基于手勢識別的初始識別模式、由手勢識別系統(tǒng)標識的手勢和態(tài)勢感知(situational awareness)信息中的任一個或更多個來確定第二識別模式。本文使用術(shù)語“態(tài)勢感知信息”來表示與以下各項中的任一個或更多個有關(guān)的信息:第一裝置的狀態(tài)、由與接口系統(tǒng)關(guān)聯(lián)的一個或更多個傳感器獲得的信息、由與第一裝置關(guān)聯(lián)的一個或更多個第一裝置傳感器獲得的信息、與裝置上運行的一個或更多個進程有關(guān)的信息、與裝置上運行的應用有關(guān)的信息、與裝置的電力狀態(tài)有關(guān)的信息、與裝置的通知有關(guān)的信息、與裝置的移動有關(guān)的信息、與裝置的空間取向有關(guān)的信息、關(guān)于與一個或更多個用戶的交互的信息、關(guān)于用戶行為的信息以及關(guān)于一個或更多個觸發(fā)的信息。
[0017]因此，本發(fā)明提供了一種用于控制第一裝置的接口系統(tǒng)，該接口系統(tǒng)是包含指令的計算機程序產(chǎn)品，所述指令使得處理器執(zhí)行一種包括以下步驟的方法:
[0018](a)接收來自一個或更多個圖像傳感器的輸入；
[0019](b)在所述接口系統(tǒng)的手勢識別模塊中，所述手勢識別模塊具有兩個或更多個識別模式:
[0020](i)分析由所述圖像傳感器獲得的圖像，以檢測由預定義對象執(zhí)行的待檢測的一個或更多個手勢，所述預定義對象選自一只或更多只手、手的一部分、一根或更多根手指、手指的一個或更多個部分以及一個或更多個指尖；以及
[0021](ii)在任一個或更多個預定義條件下將所述手勢識別模塊的識別模式從初始識別模式改變?yōu)榈诙R別模式，其中，所述第二識別模式是基于所述手勢識別模塊的初始識別模式、檢測的手勢和所述裝置的態(tài)勢感知信息中的任一個或更多個確定的，其中，所述態(tài)勢感知信息是與所述裝置的狀態(tài)有關(guān)的信息、由與所述裝置關(guān)聯(lián)的傳感器接收到的信息、與所述裝置上運行的一個或更多個進程有關(guān)的信息、與所述裝置上運行的應用有關(guān)的信息、與所述裝置的電力狀態(tài)有關(guān)的信息、與所述裝置的通知有關(guān)的信息、與所述裝置的移動有關(guān)的信息、與所述裝置的空間取向有關(guān)的信息、關(guān)于與一個或更多個用戶的交互的信息、關(guān)于用戶行為的信息以及關(guān)于一個或更多個觸發(fā)的信息中的一個或更多個。
[0022](iii)生成第一消息，其中，所生成的第一消息是基于所述手勢識別模塊的初始識別模式和檢測的手勢確定的。
[0023]在本發(fā)明的接口系統(tǒng)中，所述手勢識別模塊還可被配置為分析由一個或更多個傳感器生成的信號，并且所述手勢將根據(jù)對傳感器信號的分析來檢測。所述手勢識別模塊的多個識別模式中的一個或更多個可由以下項來定義:
[0024](a)待檢測的一個或更多個預定義手勢、用于待檢測的一個或更多個預定義手勢中的每一個的消息以及在所述手勢識別模塊上有效的一個或更多個算法；以及
[0025](b)用于待檢測的一個或更多個預定義手勢中的每一個的第二識別模式、由所述圖像傳感器捕獲的圖像的分辨率以及由所述圖像傳感器捕獲的圖像的捕獲率中的任一個或更多個。
[0026]在本發(fā)明的接口中，所述接口系統(tǒng)可具有兩個或更多個接口模式，并且各個接口模式取決于所述手勢識別模塊的識別模式以及來自向所述手勢識別模塊提供信息感知信息的預定義傳感器集合的一個或更多個有效的傳感器。各個接口模式可確定來自一個或更多個傳感器的將由所述手勢識別模塊分析的一個或更多個信號。所述接口模式可取決于態(tài)勢感知信息和第一消息中的一者或二者。所述接口模式的改變可生成針對所述第一裝置、在所述第一裝置上運行的應用、在所述第一裝置上運行的服務以及在所述第一裝置上運行的操作系統(tǒng)中的一個或更多個的第三消息。所述第三消息可包括針對所述第一裝置、在所述第一裝置上運行的應用、在所述第一裝置上運行的服務以及在所述第一裝置上運行的操作系統(tǒng)中的任一個或更多個的命令，以提供關(guān)于接口模式、所述手勢識別模塊的模式和待檢測的手勢中的任一個或更多個的指示。
[0027]在本發(fā)明的接口系統(tǒng)中，所述第一消息可包括針對所述第一裝置、在所述第一裝置上運行的應用、在所述第一裝置上運行的服務以及在所述第一裝置上運行的操作系統(tǒng)中的任一個或更多個的命令，以提供手勢被識別和/或哪一個手勢被識別的指示。所述指示可以是視覺指示、聽覺指示、觸感指示、超聲波指示、觸覺指示。所述指示可以是按照選自顯示在顯示屏幕上的圖標、顯示屏幕上的圖標的改變、顯示屏幕上的圖標的顏色的改變、指示燈、在顯示屏幕上移動的指示符、定向振動指示、空氣觸感指示的形式的視覺指示。所述指示可通過在顯示屏幕上移動的指示符來提供，所述指示符出現(xiàn)在顯示屏幕上出現(xiàn)的所有其它圖像或視頻的上面。所述指示可取決于態(tài)勢感知信息。
[0028]在本發(fā)明的接口系統(tǒng)中，所述態(tài)勢感知信息可以是與一個或更多個觸發(fā)相關(guān)的信息，所述觸發(fā)選自應用的用戶接口的改變、應用的視覺外觀的改變、應用的模式的改變、應用的狀態(tài)的改變、在第一裝置上運行的軟件中發(fā)生的事件、應用的行為的改變、經(jīng)由網(wǎng)絡(luò)接收到的通知、在線服務通知、由裝置或應用或者由服務從觸摸屏上的觸摸生成的通知、按下虛擬或真實按鈕、通過連接到裝置的麥克風接收到的聲音、持握第一裝置的用戶的檢測、來自接近傳感器的信號、經(jīng)由蜂窩網(wǎng)絡(luò)、無線網(wǎng)絡(luò)、TCPIP或有線網(wǎng)絡(luò)的來電語音或視頻呼口q、來電3D視頻呼叫、文本消息通知、會議通知、基于社區(qū)網(wǎng)絡(luò)的通信、Skype通知、臉書(facebook)通知、推特(twitter)通知、在線服務通知、未接來電通知、電子郵件通知、語音郵件通知、裝置通知、播放器上的歌曲的開始或結(jié)束、視頻的開始或結(jié)束。
[0029]在本發(fā)明的接口系統(tǒng)中，所述態(tài)勢感知信息可以是與一個或更多個觸發(fā)有關(guān)的信息，所述觸發(fā)選自手勢、使對象在小于預定義距離的距離處越過第一裝置、注視第一裝置的用戶的檢測、由圖像傳感器獲得的圖像中的臉部的檢測、由圖像傳感器獲得的圖像中的一只或更多只眼睛的檢測、由圖像傳感器獲得的圖像中的一只或更多只手或者手的部分的檢測以及注視第一裝置的預定義的人的檢測。[0030]在本發(fā)明的接口系統(tǒng)中，待檢測的手勢中的一個或更多個可選自揮擊運動、兩根手指的擠捏運動、指點、左至右手勢、右至左手勢、向上手勢、向下手勢、推手勢、張開握緊的拳頭、張開握緊的拳頭并朝著圖像傳感器移動、輕點(tapping)手勢、揮手手勢、拍手手勢、逆拍手手勢、將手握成拳、擠捏手勢、逆擠捏手勢、張開手上的手指的手勢、張開手上的手指的逆手勢、指著可激活對象、將激活用對象保持預定義的時間量、點擊可激活對象、雙擊可激活對象、從右側(cè)點擊可激活對象、從左側(cè)點擊可激活對象、從底側(cè)點擊可激活對象、從頂側(cè)點擊可激活對象、抓握可激活對象、從右側(cè)朝著可激活對象做手勢、從左側(cè)朝著可激活對象做手勢、從左側(cè)穿過可激活對象、推對象、拍手、在可激活對象上方揮手、執(zhí)行沖擊手勢、執(zhí)行輕點手勢、在可激活對象上方執(zhí)行順時針或逆時針手勢、用兩根手指抓住可激活對象、執(zhí)行點擊-拖曳-釋放運動、滑動圖標。
[0031]在本發(fā)明的接口系統(tǒng)中，所述第一消息可被發(fā)送至第一裝置、第一裝置的操作系統(tǒng)、在裝置的處理器上運行的一個或更多個應用以及在裝置或外部網(wǎng)絡(luò)上運行的一個或更多個服務中的任一個或更多個。所述第一消息可被發(fā)送給第一裝置，并且響應于所述第一消息，第一裝置生成針對遠程裝置、在遠程裝置上運行的操作系統(tǒng)、一個或更多個遠程應用以及一個或更多個遠程服務中的任一個或更多個的第二消息。
[0032]在本發(fā)明的接口系統(tǒng)中，所述態(tài)勢感知信息可與第一裝置的狀態(tài)有關(guān)，并且所述第一消息被發(fā)送給第一裝置，在第一裝置處接收所述第一消息導致第一裝置的狀態(tài)的改變。
[0033]在本發(fā)明的接口系統(tǒng)中，所述第一消息可以是命令。
[0034]在本發(fā)明的接口系統(tǒng)中，所述第二消息可以是命令。所述第一消息可以是命令，所述命令選自在第一裝置上運行應用的命令、停止在第一裝置上運行的應用的命令、激活在第一裝置上運行的服務的命令、停止在第一裝置上運行的服務的命令。所述第一消息可以是針對所述第一裝置的命令，該命令選自按下顯示在第一裝置的顯示屏幕上的虛擬鍵；旋轉(zhuǎn)選擇轉(zhuǎn)盤；在桌面之間切換；在第一裝置上運行預定義的軟件應用；關(guān)閉第一裝置上的應用；打開或關(guān)閉揚聲器；增大或減小音量；鎖定第一裝置、解鎖第一裝置、在媒體播放器中或在IPTV頻道之間跳到另一軌道；控制導航應用；發(fā)起呼叫、結(jié)束呼叫、呈現(xiàn)通知、顯示通知；在照片或音樂專輯庫中進行導航、滾動網(wǎng)頁、呈現(xiàn)電子郵件、呈現(xiàn)一個或更多個文檔或地圖、控制游戲中的動作、控制交互視頻或動畫內(nèi)容、編輯視頻或圖像、指著地圖、放大或縮小地圖或圖像、在圖像上繪畫、朝著第一裝置上的顯示器推圖標、抓握圖標并將該圖標拉離顯示裝置、使圖標旋轉(zhuǎn)、模仿第一裝置上的觸摸命令、執(zhí)行一個或更多個多觸摸命令、觸摸手勢命令、打字、點擊顯示的視頻以暫?；虿シ?、編輯視頻或音樂命令、對幀加標簽或從視頻捕獲幀、從視頻剪切視頻子集、呈現(xiàn)來電消息；接聽來電呼叫、靜音或拒絕來電呼叫、打開來電提醒；呈現(xiàn)從網(wǎng)絡(luò)社區(qū)服務接收的通知；呈現(xiàn)由第一裝置生成的通知、打開預定義應用、將第一裝置從鎖定模式改變并打開最近呼叫應用、將第一裝置從鎖定模式改變并打開在線服務應用或瀏覽器、將第一裝置從鎖定模式改變并打開電子郵件應用、將第一裝置從鎖定模式改變并打開在線服務應用或瀏覽器、將第一裝置從鎖定模式改變并打開日歷應用、將第一裝置從鎖定模式改變并打開提醒應用、將第一裝置從鎖定模式改變并打開由用戶設(shè)置、由第一裝置的制造商設(shè)置或者由服務運營商設(shè)置的預定義應用、激活圖標、選擇菜單項、在顯示器上移動指針、操縱無觸摸鼠標、顯示器上的圖標、改變顯示器上的信息。[0035]在本發(fā)明的接口系統(tǒng)中，本發(fā)明的接口系統(tǒng)中的所述手勢識別模塊還被配置為當所述手勢識別模塊的模式從初始模式改變?yōu)榈诙Ｊ綍r生成第四消息。所述第四消息可包括針對第一裝置、在第一裝置上運行的應用、在第一裝置上運行的服務以及在第一裝置上運行的操作系統(tǒng)中的任一個或更多個的命令，以提供所述接口系統(tǒng)準備好識別手勢、所述接口系統(tǒng)準備好識別一個或更多個預定義手勢、所述接口系統(tǒng)未準備好識別手勢、環(huán)境光條件不允許手勢識別、系統(tǒng)未準備好識別手勢中的任一個或更多個的指示。所述指示可以是視覺指示、聽覺指示、觸感指示、觸覺指示。所述指示可以是視覺指示，所述視覺指示是選自顯示在顯示屏幕上的圖標、顯示屏幕上的圖標的改變、顯示屏幕上的圖標的顏色的改變、指示燈的形式。
[0036]在本發(fā)明的接口系統(tǒng)中，所述初始模式和所述第二模式可至少通過所述圖像傳感器所捕獲的圖像的捕獲率來定義，并且所述第二模式的捕獲率大于所述初始模式的捕獲率。
[0037]在本發(fā)明的接口系統(tǒng)中，所述初始模式和所述第二模式可至少通過所述圖像傳感器所捕獲的圖像的捕獲率來定義，并且所述第二模式的捕獲率小于所述初始模式的捕獲率。
[0038]在本發(fā)明的接口系統(tǒng)中，所述初始模式和所述第二模式可至少通過所述圖像傳感器所捕獲的圖像的分辨率來定義，并且所述第二模式的圖像的分辨率大于所述初始模式的圖像的分辨率。
[0039]在本發(fā)明的接口系統(tǒng)中，所述初始模式和所述第二模式可至少通過所述圖像傳感器所捕獲的圖像的分辨率來定義，并且所述第二模式的圖像的分辨率小于所述初始模式的圖像的分辨率。
[0040]在本發(fā)明的接口系統(tǒng)中，在所述初始模式下，所述手勢識別模塊可檢測手，在所述第二模式下，所述手勢識別模塊可檢測手指，并且預定義條件是在圖像中檢測到手。
[0041]在本發(fā)明的接口系統(tǒng)中，所述手勢識別模塊還可被配置為在預定義時間量過去之后或者在自檢測到手勢起經(jīng)過預定義時間量之后，將模式從所述第二模式改變回所述初始模式。
[0042]在本發(fā)明的接口系統(tǒng)中，所述態(tài)勢感知信息可以是與所述第一裝置的狀態(tài)有關(guān)的信息，所述第一裝置的狀態(tài)是通過傳感器的狀態(tài)、軟件應用的操作狀態(tài)、在裝置中運行的進程、在裝置中運行的服務、在前臺運行的軟件程序、在后臺運行的一個或更多個軟件程序、裝置的網(wǎng)絡(luò)連接狀態(tài)、裝置的功率狀態(tài)、裝置的屏幕的光強度中的任一個或更多個來確定的。
[0043]在本發(fā)明的接口系統(tǒng)中，所述第二模式和所述第一消息還可取決于來自一個或更多個傳感器的輸入。
[0044]在本發(fā)明的接口系統(tǒng)中，所述接口系統(tǒng)可首先作為程序在所述裝置的一個或更多個處理器上運行。
[0045]在本發(fā)明的接口系統(tǒng)中，所述第一裝置的一個或更多個處理器可選自專用處理器、通用處理器、DSP (數(shù)字信號處理器)處理器、GPU (圖形處理單元)處理器、專用硬件或者可在外部裝置上運行的處理器。所述傳感器中的任一個或更多個可與所述裝置集成。所述傳感器中的任一個或更多個可選自相機、CMOS圖像傳感器、光傳感器、超聲波傳感器、接近傳感器、壓力傳感器、電導傳感器、運動傳感器、溫度傳感器、加速度計、陀螺儀、取向傳感器、磁性傳感器、重力傳感器和反射傳感器、電導傳感器和電容傳感器以及圖像傳感器。
[0046]在本發(fā)明的接口系統(tǒng)中，所述圖像傳感器選自相機、光傳感器、IR傳感器、超聲波傳感器、接近傳感器和反射傳感器。
[0047]在本發(fā)明的接口系統(tǒng)中，由手勢接口系統(tǒng)生成的所述第一消息可被發(fā)送給在第一裝置上運行的應用或者遠程應用，并且所述第一消息由所述裝置上的第一運行應用按照第一方式解釋，并且第一消息由所述裝置上的第二運行應用按照第二方式解釋。
[0048]在本發(fā)明的接口系統(tǒng)中，觸發(fā)可以是在由所述圖像傳感器獲得的圖像中檢測到第一對象，并且在第二識別模式下，所述手勢識別模塊標識由所述圖像傳感器獲得并包括所述第一對象的圖像中的第二對象，所述第二對象與所述第一對象具有預定義空間關(guān)系，預定義條件是在圖像中檢測到所述第一對象。所述接口系統(tǒng)還可包括檢測由所述第二對象執(zhí)行的手勢。所述第一對象可以是第一身體部位，所述第二對象可以是第二身體部位。所述第一身體部位和所述第二身體部位中的一者或二者可選自臉部、一只或兩只眼睛、第一只手或第一只手的一部分、處于第一姿勢的第一只手。所述第二身體部位可以是第二只手或第二只手的一部分或者處于第二姿勢的第二只手。所述第一對象與第二對象之間的預定義空間布置可通過從所述第一對象的重心到所述第二對象的重心的矢量來指定，所述矢量具有預定義范圍內(nèi)的大小和預定義范圍內(nèi)的方向中的一者或兩者。
[0049]在本發(fā)明的接口系統(tǒng)中，所述第一對象可以是第一身體部位，所述第二對象是第二身體部位，并且在圖像中檢測所述第二身體部位的步驟可包括以下步驟:
[0050](a)圍繞所述第一身體部位構(gòu)建第一矩形，所述第一矩形具有中心、高度和寬度；
[0051](b)在所述圖像中構(gòu)建關(guān)注區(qū)域(R0I)，所述ROI是在所述圖像中通過所述第一矩形的預定義變換而獲得的第二矩形；
[0052](c)構(gòu)建所述第一矩形中的像素的屬性V的直方圖f(v)，其中f(v)是所述第一矩形中的屬性V的值為V的像素的頻率；
[0053](d)構(gòu)建所述ROI中的像素的屬性V的直方圖g(v)；
[0054](e)在涉及像素X處的屬性V的值V (X)以及所述直方圖f (V)和g(v)的計算中計算概率PU);以及
[0055](f)在涉及所述概率PU)的計算中在所述圖像中檢測所述第二身體部位。
[0056]所述第一身體部位可以是臉部，圍繞臉部構(gòu)建臉部矩形的步驟可通過維奧拉-瓊斯(VJ)方法來執(zhí)行。所述ROI可以是帶有中心的矩形，其中，所述ROI矩形的中心相對于所述第一矩形的中心偏移了預定義矢量。所述ROI矩形的高度可以是所述第一矩形的高度乘以第一預定義因子，寬度是所述第一矩形的寬度乘以第二預定義因子。PU)可與f (v(x))/g(v(x))成比例。概率PU)高于預定義閾值的那些像素X可被確定為是屬于所述第二身體部位的像素。
[0057]在本發(fā)明的接口系統(tǒng)中，所述手勢識別模塊還可被配置為按照以下方法執(zhí)行圖像的放大和縮小，所述方法包括以下步驟:
[0058](a)作為進入縮放模式的命令的指示，檢測包括食指與拇指的間距改變的手勢、預定義第一手勢以及在圖像或視頻上指點圖像或視頻中的將用作縮放的中心的點中的一個；[0059](b)檢測手的食指與手的拇指分開第一距離；
[0060](c)檢測食指與拇指的間距改變?yōu)榈诙嚯x，該第二距離小于所述第一距離時指示進入第一縮放模式并根據(jù)該第一縮放模式執(zhí)行縮放的命令，所述第一縮放模式是放大模式或縮小模式，所述第二距離大于所述第一距離時指示進入第二縮放模式并根據(jù)該第二縮放模式執(zhí)行縮放的命令，所述第二縮放模式是放大模式或縮小模式，并且所述第二縮放模式不同于所述第一縮放模式；
[0061](d)檢測食指與拇指的間距改變的一個或更多個實例，
[0062](e)在食指與拇指的間距改變的各個實例期間根據(jù)縮放模式執(zhí)行縮放。
[0063]所述手勢識別模塊可被配置為按照以下方法執(zhí)行放大和縮小，所述方法包括以下步驟:
[0064](a)作為進入縮放模式的命令的指示，檢測包括食指與拇指的間距改變的手勢、預定義第一手勢以及在圖像或視頻上指點圖像或視頻中的將用作縮放的中心的點中的一個；
[0065](b)在初始取向下檢測伸出的手指；
[0066](C)檢測從初始取向到第二取向的在第一方向或第二方向上的食指取向的改變，所述第一方向指示進入第一縮放模式并根據(jù)該第一縮放模式執(zhí)行縮放的命令，所述第一縮放模式是放大模式或縮小模式，并且所述第二方向指示進入第二縮放模式并根據(jù)該第二縮放模式執(zhí)行縮放的命令，所述第二縮放模式是放大模式或縮小模式，所述第二縮放模式不同于所述第一縮放模式；
[0067](d)檢測伸出的食指從第一取向改變?yōu)榈诙∠虻囊粋€或更多個實例；
[0068](e)在伸出的食指的取向從初始取向改變?yōu)榈诙∠虻母鱾€實例期間根據(jù)縮放模式執(zhí)行縮放，或者只要伸出的食指保持為第二取向就根據(jù)縮放模式執(zhí)行縮放，所述縮放具有隨著處于初始取向的手指的指尖與處于第二取向的手指的指尖之間的距離增大而增大的縮放比。
[0069]所述手勢識別模塊可被配置為按照以下方法執(zhí)行放大和縮小，所述方法包括以下步驟:
[0070](a)檢測第一手勢或第二手勢，其中，所述第一手勢包括在張開手指的狀態(tài)下將手朝著成像裝置移動，然后在閉合手指的同時將手遠離成像裝置移動，并且其中，所述第二手勢包括在閉合手指的狀態(tài)下將手朝著成像裝置移動，然后在張開手指的同時將手遠離成像裝置移動；
[0071](b)當檢測到第一手勢時進入第一縮放模式，當檢測到第二手勢時進入第二縮放模式，并且根據(jù)縮放模式執(zhí)行縮放，所述第一縮放模式是放大模式或縮小模式，所述第二縮放模式是放大模式或縮小模式，并且所述第二縮放模式不同于所述第一縮放模式；
[0072](C)只要繼續(xù)檢測到第一手勢或第二手勢，就根據(jù)縮放模式執(zhí)行縮放。
[0073]指著屏幕上的點可指示進入縮放模式的命令，并且屏幕上的所述點是縮放模式中的縮放中心。
[0074]在本發(fā)明的接口系統(tǒng)中，檢測由預定義對象執(zhí)行的手勢可包括按照以下方法在由
所述圖像傳感器獲得的圖像的視頻流I1.....1k、...1n中跟蹤預定義對象，所述方法包括
以下步驟:[0075](a)計算輸入視頻流的平均圖像A和視頻流的標準差圖像STD ；
[0076](b)計算視頻流中的最后圖像In的歸一化圖像In’ ;
[0077](c)在涉及歸一化圖像的處理中計算變換的圖像T(X)；
[0078](d)構(gòu)建圖像T(X)的值的加權(quán)直方圖；
[0079](e)將索引j的值設(shè)置為I ;
[0080](f)從圖像T(X)計算二值化圖像B，其中圖像T(X)中的值高于第j閾值的像素在二值化圖像B中被指派有值1，圖像T(X)中的值低于該閾值的像素在二值化圖像B中被指派有值O ;
[0081](g)計算二值化圖像B的兩個特征值；
[0082](h)構(gòu)建第一半軸長度和第二半軸長度分別等于第一特征值和第二特征值的橢圓；
[0083](i)確定構(gòu)建的橢圓的形狀是否與被跟蹤的對象的圖像相似；
[0084](j)如果構(gòu)建的橢圓的形狀與被跟蹤的對象的圖像相似，則斷定在圖像I (X)n中檢測到所述對象并且檢測到視頻流中的所述對象的運動，并且終止所述方法；
[0085](k)如果構(gòu)建的橢圓的形狀不與所述對象的形狀相似，則將索引j的值增加I ;
[0086](I)如果j超過預定義的jmax，則斷定在圖像In中未檢測到所述對象并且在視頻流中未檢測到所述對象的運動，并且終止所述方法；以及
[0087](m)如果j未超過jmax，貝Ij返回到步驟(e)。
[0088]在本發(fā)明的接口系統(tǒng)中，可按照以下方法在由所述圖像傳感器獲得的圖像中檢測預定義對象，所述方法包括以下步驟:
[0089](a)將所述圖像分割成整數(shù)N個初始片段，各個片段具有關(guān)聯(lián)的特征矢量；
[0090](b)生成最終片段列表以及所述最終片段列表中的各個片段的特征矢量，所述最終片段列表包括存在于初始片段列表中的片段以及通過將一個或更多個鄰近片段組合成公共片段而形成的附加片段；以及
[0091](c)將所述最終片段列表中的片段聚類成m個片段聚類。
[0092]生成最終片段列表的步驟可包括以下步驟:
[0093](a)形成當前片段列表，該當前片段列表包括所述圖像中的初始片段S1.....Sk、...、，
[0094](b)將索引i設(shè)置為N，N為所述圖像中的片段數(shù)；
[0095](C)對于所述圖像中的各對鄰近片段SkJPSk2，利用預定義的度量來計算這兩個片段的特征矢量Vkl和Vk2之間的距離；
[0096](d)在多對鄰近片段當中找到距離I IVkl-Vk2I I最小的一對鄰近片段Skl和Sk2 ；
[0097](e)通過將兩個片段Skl和Sk2組合成單個片段來重新分割所述圖像，以使片段數(shù)量減少I ;
[0098](f)將組合的片段Skl和Sk2添加到當前片段列表，以更新當前片段列表；
[0099](g)計算組合的片段的特征矢量；
[0100](h)將索引i減1，
[0101](i)如果i大于I,則返回到步驟(d),以及
[0102](j)如果i=l，則終止所述生成最終片段列表的步驟。[0103]將所述最終片段列表中的片段聚類成m個片段聚類的步驟可包括以下步驟:
[0104](a)形成包括所述最終片段列表S1’......S'k.....S'N’的當前片段列表；
[0105](b)將索引i設(shè)置為N’，N’為當前片段列表中的片段數(shù)量；
[0106](C)對于當前片段列表上的各對片段SkJPSk2，利用預定義的度量來計算這兩個片段的特征矢量Vkl和Vk2之間的距離；
[0107](d)在當前列表上的多對片段當中找到當前片段列表上的距離||Vkl-Vk2||最小的一對片段Skl和Sk2 ；
[0108](e)將組合的片段Skl和Sk2添加到片段列表，以更新片段列表；
[0109](f)計算組合的片段的特征矢量；
[0110](g)將索引i減1;
[0111](h)如果i大于m,則返回到步驟(C);以及
[0112](i)如果i=m，則終止所述將最終片段列表中的片段聚類的步驟。
[0113]所述手勢識別模塊還可被配置為對通過對象檢測算法檢測出預定義對象的視頻序列I1、 I2、...Ik、Ik+1、In執(zhí)行對象驗證處理，該處理包括以下步驟:
[0114](a)生成對象Op 02、...0k, 0k+1、...0n的兩個或更多個序列S，其中序列S中的對象Ok被對象檢測算法檢測為預定義對象；
[0115](b)對于生成的各個圖像序列，
[0116]⑴對于序列中的各對連續(xù)對象0k、0k+1，利用第一度量Cl1計算對象Ok與0k+1之間的距離 Cl1 (0k, 0k+1)；
[0117](ii)對于序列中的各個對象Ok,利用第二度量d2計算對象Ok與所述預定義對象的標準圖像O之間的距離d2 (0k, O)；
[0118](iii)計算序列S的長度L，序列的長度L(S)由下式給出
【權(quán)利要求】
1.一種用于控制第一裝置的接口系統(tǒng)，該接口系統(tǒng)是包含指令的計算機程序產(chǎn)品，所述指令用于使得處理器執(zhí)行一種方法，該方法包括以下步驟: (a)接收來自一個或更多個圖像傳感器的輸入； (b)在所述接口系統(tǒng)的手勢識別模塊中，所述手勢識別模塊具有兩個或更多個識別模式: (i)分析由所述圖像傳感器獲得的圖像，以檢測由預定義對象執(zhí)行的待檢測的一個或更多個手勢，所述預定義對象選自一只或更多只手、手的一部分、一根或更多根手指、手指的一個或更多個部分以及一個或更多個指尖； (?)在任一個或更多個預定義條件下將所述手勢識別模塊的所述識別模式從初始識別模式改變?yōu)榈诙R別模式，其中，所述第二識別模式是基于所述手勢識別模塊的所述初始識別模式、檢測的手勢以及所述裝置的態(tài)勢感知信息中的任一個或更多個確定的，其中，所述態(tài)勢感知信息是與所述裝置的狀態(tài)有關(guān)的信息、由與所述裝置關(guān)聯(lián)的傳感器接收到的信息、與所述裝置上運行的一個或更多個進程有關(guān)的信息、與所述裝置上運行的應用有關(guān)的信息、與所述裝置的電力狀態(tài)有關(guān)的信息、與所述裝置的通知有關(guān)的信息、與所述裝置的移動有關(guān)的信息、與所述裝置的空間取向有關(guān)的信息、關(guān)于與一個或更多個用戶的交互的信息、關(guān)于用戶行為的信息以及關(guān)于一個或更多個觸發(fā)的信息中的一個或更多個；以及 (iii)生成第一消息，其中，所生成的第一消息是基于所述手勢識別模塊的所述初始識別模式和檢測的手勢確定的。
2.根據(jù)權(quán)利要求1所述的接口系統(tǒng)，其中，所述手勢識別模塊還被配置為分析由一個或更多個傳感 器生成的信號，并且所述手勢將根據(jù)對所述傳感器的信號的分析來進行檢測。
3.根據(jù)權(quán)利要求2所述的接口系統(tǒng)，其中，所述手勢識別模塊的所述識別模式中的一個或更多個由以下項來定義: (a)待檢測的一個或更多個預定義手勢、用于待檢測的一個或更多個預定義手勢中的每一個的消息以及在所述手勢識別模塊上有效的一個或更多個算法；以及 (b)用于待檢測的一個或更多個預定義手勢中的每一個的所述第二識別模式、由所述圖像傳感器捕獲的圖像的分辨率以及由所述圖像傳感器捕獲的圖像的捕獲率中的任一個或更多個。
4.根據(jù)權(quán)利要求1至3中的任一項所述的接口系統(tǒng)，其中，所述接口系統(tǒng)具有兩個或更多個接口模式，并且各個接口模式取決于所述手勢識別模塊的所述識別模式以及來自向所述手勢識別模塊提供信息感知信息的預定義傳感器集合的一個或更多個有效的傳感器。
5.根據(jù)權(quán)利要求4所述的接口系統(tǒng),其中，各個接口模式確定將由所述手勢識別模塊分析的來自一個或更多個傳感器的一個或更多個信號。
6.根據(jù)權(quán)利要求4或5所述的接口系統(tǒng)，其中，所述接口模式取決于所述態(tài)勢感知信息和所述第一消息中的一者或二者。
7.根據(jù)權(quán)利要求4至6中的任一項所述的接口系統(tǒng)，其中，所述接口模式的改變生成針對所述第一裝置、在所述第一裝置上運行的應用、在所述第一裝置上運行的服務以及在所述第一裝置上運行的操作系統(tǒng)中的一個或更多個的第三消息。
8.根據(jù)權(quán)利要求7所述的接口系統(tǒng)，其中，所述第三消息包括針對所述第一裝置、在所述第一裝置上運行的應用、在所述第一裝置上運行的服務以及在所述第一裝置上運行的操作系統(tǒng)中的任一個或更多個的命令，以提供關(guān)于所述接口模式、所述手勢識別模塊的模式以及待檢測的手勢中的任一個或更多個的指示。
9.根據(jù)前述權(quán)利要求中的任一項所述的接口系統(tǒng)，其中，所述第一消息包括針對所述第一裝置、在所述第一裝置上運行的應用、在所述第一裝置上運行的服務以及在所述第一裝置上運行的操作系統(tǒng)中的任一個或更多個的命令，以提供手勢被識別和/或哪一個手勢被識別的指示。
10.根據(jù)權(quán)利要求9所述的接口系統(tǒng)，其中，所述指示是視覺指示、聽覺指示、觸感指示、超聲波指示、觸覺指示。
11.根據(jù)權(quán)利要求10所述的接口系統(tǒng)，其中，所述指示是按照選自顯示在顯示屏幕上的圖標、顯示屏幕上的圖標的改變、顯示屏幕上的圖標的顏色的改變、指示燈、在顯示屏幕上移動的指示符、定向振動指示、空氣觸感指示的形式的視覺指示。
12.根據(jù)權(quán)利要求10所述的接口系統(tǒng)，其中，所述指示是通過在顯示屏幕上移動的指示符提供的，所述指示符出現(xiàn)在所述顯示屏幕上出現(xiàn)的所有其它圖像或視頻的上面。
13.根據(jù)權(quán)利要求9至12中的任一項所述的接口系統(tǒng)，其中，所述指示取決于所述態(tài)勢感知信息。
14.根據(jù)前述權(quán)利要求中的任一項所述的接口系統(tǒng)，其中，所述態(tài)勢感知信息是與一個或更多個觸發(fā)相關(guān)的信息，所述觸發(fā)選自應用的用戶接口的改變、應用的視覺外觀的改變、應用的模式的改變、應用的狀態(tài)的改變、在所述第一裝置上運行的軟件中發(fā)生的事件、應用的行為的改變、經(jīng)由網(wǎng)絡(luò)接收到的通知、在線服務通知、由裝置或應用或者由服務從觸摸屏上的觸摸生成的通知、按下虛擬或真實按鈕、通過連接到裝置的麥克風接收到的聲音、持握所述第一裝置的用戶的檢測、來自接近傳感器的信號、經(jīng)由蜂窩網(wǎng)絡(luò)、無線網(wǎng)絡(luò)、TCPIP或有線網(wǎng)絡(luò)的來電語音或視頻呼叫、來電`3D視頻呼叫、文本消息通知、會議通知、基于社區(qū)網(wǎng)絡(luò)的通信、Skype通知、臉書通知、推特通知、在線服務通知、未接來電通知、電子郵件通知、語音郵件通知、裝置通知、播放器上的歌曲的開始或結(jié)束、視頻的開始或結(jié)束。
15.根據(jù)前述權(quán)利要求中的任一項所述的接口系統(tǒng)，其中，所述態(tài)勢感知信息是與一個或更多個觸發(fā)有關(guān)的信息，所述觸發(fā)選自手勢、使對象在小于預定義距離的距離處越過所述第一裝置、注視所述第一裝置的用戶的檢測、由所述圖像傳感器獲得的圖像中的臉部的檢測、由所述圖像傳感器獲得的圖像中的一只或更多只眼睛的檢測、由所述圖像傳感器獲得的圖像中的一只或更多只手或者手的部分的檢測以及注視所述第一裝置的預定義的人的檢測。
16.根據(jù)前述權(quán)利要求中的任一項所述的接口系統(tǒng)，其中，待檢測的手勢中的一個或更多個選自揮擊運動、兩根手指的擠捏運動、指點、左至右手勢、右至左手勢、向上手勢、向下手勢、推手勢、張開握緊的拳頭、張開握緊的拳頭并朝著所述圖像傳感器移動、輕點手勢、揮手手勢、拍手手勢、逆拍手手勢、將手握成拳、擠捏手勢、逆擠捏手勢、張開手上的手指的手勢、張開手上的手指的逆手勢、指著可激活對象、將激活用對象保持預定義的時間量、點擊可激活對象、雙擊可激活對象、從右側(cè)點擊可激活對象、從左側(cè)點擊可激活對象、從底側(cè)點擊可激活對象、從頂側(cè)點擊可激活對象、抓握可激活對象、從右側(cè)朝著可激活對象做手勢、從左側(cè)朝著可激活對象做手勢、從左側(cè)穿過可激活對象、推對象、拍手、在可激活對象上方揮手、執(zhí)行沖擊手勢、執(zhí)行輕點手勢、在可激活對象上方執(zhí)行順時針或逆時針手勢、用兩根手指抓住可激活對象、執(zhí)行點擊-拖曳-釋放運動、滑動圖標。
17.根據(jù)前述權(quán)利要求中的任一項所述的接口系統(tǒng)，其中，所述第一消息被發(fā)送給所述第一裝置、所述第一裝置的操作系統(tǒng)、在所述裝置的處理器上運行的一個或更多個應用以及在所述裝置上或外部網(wǎng)絡(luò)上運行的一個或更多個服務中的任一個或更多個。
18.根據(jù)權(quán)利要求17所述的接口系統(tǒng)，其中，所述第一消息被發(fā)送給所述第一裝置，并且響應于所述第一消息，所述第一裝置生成針對遠程裝置、在遠程裝置上運行的操作系統(tǒng)、一個或更多個遠程應用以及一個或更多個遠程服務中的任一個或更多個的第二消息。
19.根據(jù)前述權(quán)利要求中的任一項所述的接口系統(tǒng)，其中，所述態(tài)勢感知信息與所述第一裝置的狀態(tài)有關(guān)，并且所述第一消息被發(fā)送給所述第一裝置，在所述第一裝置處接收所述第一消息導致所述第一裝置的狀態(tài)的改變。
20.根據(jù)前述權(quán)利要求中的任一項所述的接口系統(tǒng)，其中，所述第一消息是命令。
21.根據(jù)權(quán)利要求18所述的接口系統(tǒng)，其中，所述第二消息是命令。
22.根據(jù)權(quán)利要求20所述的接口系統(tǒng)，其中，所述第一消息是命令，該命令選自在所述第一裝置上運行應用的命令、停止在所述第一裝置上運行的應用的命令、激活在所述第一裝置上運行的服務的命令、停止在所述第一裝置上運行的服務的命令。
23.根據(jù)權(quán)利要求20所述的接口系統(tǒng)，其中，所述第一消息是針對所述第一裝置的命令，該命令選自按下顯示在所述第一裝置的顯示屏幕上的虛擬鍵；旋轉(zhuǎn)選擇轉(zhuǎn)盤；在桌面之間切換；在所述第一裝置上運行預定義的軟件應用；關(guān)閉所述第一裝置上的應用；打開或關(guān)閉揚聲器；增大或減小音量；鎖定所述第一裝置、解鎖所述第一裝置、在媒體播放器中或者在IPTV頻道之間跳到另一軌道；控制導航應用；發(fā)起呼叫、結(jié)束呼叫、呈現(xiàn)通知、顯示通知；在照片或音樂專輯庫中進行導航、滾動網(wǎng)頁、呈現(xiàn)電子郵件、呈現(xiàn)一個或更多個文檔或地圖、控制游戲中的動作、控制交互視頻或動畫內(nèi)容、編輯視頻或圖像、指著地圖、放大或縮小地圖或圖像、在圖像上繪畫、朝著所述第一裝置上的顯示器推圖標、抓握圖標并將該圖標拉離顯示裝置、使圖標旋轉(zhuǎn)、模仿所述第一裝置上的觸摸命令、執(zhí)行一個或更多個多觸摸命令、觸摸手勢命令、打字、點擊顯示的視頻以暫停或播放、編輯視頻或音樂命令、對幀加標簽或從視頻捕獲幀、從視頻剪切視頻子集、呈現(xiàn)來電消息；接聽來電呼叫、靜音或拒絕來電呼叫、打開來電提醒；呈現(xiàn)從網(wǎng)絡(luò)社區(qū)服務接收到的通知；呈現(xiàn)由所述第一裝置生成的通知、打開預定義應用、將所述第一裝置從鎖定模式改變并打開最近呼叫應用、將所述第一裝置從鎖定模式改變并打開在線服務應用或瀏覽器、將所述第一裝置從鎖定模式改變并打開電子郵件應用、將所述第一裝置從鎖定模式改變并打開在線服務應用或瀏覽器、將所述第一裝置從鎖定模式改變并打開日歷應用、將所述第一裝置從鎖定模式改變并打開提醒應用、將所述第一裝置從鎖定模式改變并打開由用戶設(shè)置、由所述第一裝置的制造商設(shè)置或者由服務運營商設(shè)置的預定義應用、激活圖標、選擇菜單項、在顯示器上移動指針、操縱無觸摸鼠標、顯示器上的圖標、改變顯示器上的信息。
24.根據(jù)前述權(quán)利要求中的任一項所述的接口系統(tǒng)，其中，所述手勢識別模塊還被配置為當所述手勢識別模塊的模式從初始模式改變?yōu)榈诙Ｊ綍r生成第四消息。
25.根據(jù)權(quán)利要求24所述的接口系統(tǒng)，其中，所述第四消息包括針對所述第一裝置、在所述第一裝置上運行的應用、在所述第一裝置上運行的服務以及在所述第一裝置上運行的操作系統(tǒng)中的任一個或更多個的命令，以提供所述接口系統(tǒng)準備好識別手勢、所述接口系統(tǒng)準備好識別一個或更多個預定義手勢、所述接口系統(tǒng)未準備好識別手勢、環(huán)境光條件不允許手勢識別、系統(tǒng)未準備好識別手勢中的任一個或更多個的指示。
26.根據(jù)權(quán)利要求25所述的接口系統(tǒng)，其中，所述指示是視覺指示、聽覺指示、觸感指示、觸覺指示。
27.根據(jù)權(quán)利要求26所述的接口系統(tǒng)，其中，所述指示是視覺指示，該視覺指示是按照選自顯示在顯示屏幕上的圖標、顯示屏幕上的圖標的改變、顯示屏幕上的圖標的顏色的改變、指示燈的形式的。
28.根據(jù)權(quán)利要求1至27中的任一項所述的接口系統(tǒng)，其中，所述初始模式和所述第二模式是至少通過所述圖像傳感器所捕獲的圖像的捕獲率定義的，并且所述第二模式的捕獲率大于所述初始模式的捕獲率。
29.根據(jù)權(quán)利要求1至27中的任一項所述的接口系統(tǒng)，其中，所述初始模式和所述第二模式是至少通過所述圖像傳感器所捕獲的圖像的捕獲率定義的，并且所述第二模式的捕獲率小于所述初始模式的捕獲率。
30.根據(jù)前述權(quán)利要求中的任一項所述的接口系統(tǒng)，其中，所述初始模式和所述第二模式是至少通過所述圖像傳感器所捕獲的圖像的分辨率定義的，并且所述第二模式的圖像的分辨率大于所述初始模式的圖像的分辨率。
31.根據(jù)權(quán)利要求1至29中的任一項所述的接口系統(tǒng)，其中，所述初始模式和所述第二模式是至少通過所述圖像傳感器所捕獲的圖像的分辨率定義的，并且所述第二模式的圖像的分辨率小于所述初始模式的圖像的分辨率。
32.根據(jù)前述權(quán)利要求中的任一項所述的接口系統(tǒng)，其中，在所述初始模式下，所述手勢識別模塊檢測手， 在所述第二模式下，所述手勢識別模塊檢測手指，并且預定義條件是在圖像中檢測到手。
33.根據(jù)前述權(quán)利要求中的任一項所述的接口系統(tǒng)，其中，所述手勢識別模塊還被配置為在預定義時間量過去之后或者在自檢測到手勢起經(jīng)過預定義時間量之后，將模式從所述第二模式改變回所述初始模式。
34.根據(jù)前述權(quán)利要求中的任一項所述的接口系統(tǒng)，其中，所述態(tài)勢感知信息是與所述第一裝置的狀態(tài)有關(guān)的信息，所述第一裝置的狀態(tài)是通過傳感器的狀態(tài)、軟件應用的操作狀態(tài)、在裝置中運行的進程、在裝置中運行的服務、在前臺運行的軟件程序、在后臺運行的一個或更多個軟件程序、裝置的網(wǎng)絡(luò)連接狀態(tài)、裝置的功率狀態(tài)、裝置的屏幕的光強度中的任一個或更多個確定的。
35.根據(jù)前述權(quán)利要求中的任一項所述的接口系統(tǒng)，其中，所述第二模式和所述第一消息還取決于來自一個或更多個傳感器的輸入。
36.根據(jù)前述權(quán)利要求中的任一項所述的接口系統(tǒng)，其中，所述接口系統(tǒng)首先作為程序在所述裝置的一個或更多個處理器上運行。
37.根據(jù)前述權(quán)利要求中的任一項所述的接口系統(tǒng)，其中，所述第一裝置的一個或更多個處理器選自專用處理器、通用處理器、DSP (數(shù)字信號處理器)處理器、GPU (圖形處理單元)處理器、專用硬件或者能夠在外部裝置上運行的處理器。
38.根據(jù)權(quán)利要求35所述的接口系統(tǒng)，其中，所述傳感器中的任一個或更多個與所述裝置集成。
39.根據(jù)權(quán)利要求35所述的接口系統(tǒng)，其中，所述傳感器中的任一個或更多個選自相機、CMOS圖像傳感器、光傳感器、超聲波傳感器、接近傳感器、壓力傳感器、電導傳感器、運動傳感器、溫度傳感器、加速度計、陀螺儀、取向傳感器、磁性傳感器、重力傳感器和反射傳感器、電導傳感器和電容傳感器以及圖像傳感器。
40.根據(jù)前述權(quán)利要求中的任一項所述的接口系統(tǒng)，其中，所述圖像傳感器選自相機、光傳感器、IR傳感器、超聲波傳感器、接近傳感器和反射傳感器。
41.根據(jù)前述權(quán)利要求中的任一項所述的接口系統(tǒng)，其中，由所述手勢接口系統(tǒng)生成的所述第一消息被發(fā)送給在所述第一裝置上運行的應用或者遠程應用，所述第一消息由所述裝置上的第一運行應用按照第一方式解釋，并且第一消息由所述裝置上的第二運行應用按照第二方式解釋。
42.根據(jù)前述權(quán)利要求中的任一項所述的接口系統(tǒng)，其中，觸發(fā)是在由所述圖像傳感器獲得的圖像中檢測到第一對象，并且在所述第二識別模式下，所述手勢識別模塊標識由所述圖像傳感器獲得并包括所述第一對象的圖像中的第二對象，所述第二對象與所述第一對象具有預定義空間關(guān)系，預定義條件是在圖像中檢測到所述第一對象。
43.根據(jù)權(quán)利要求42所述的接口系統(tǒng)，該接口系統(tǒng)還包括檢測由所述第二對象執(zhí)行的手勢。
44.根據(jù)權(quán)利要求43所述的接口系統(tǒng)，其中，所述第一對象是第一身體部位，所述第二對象是第二身體部位。
45.根據(jù)權(quán)利要求43所述的接口系統(tǒng)，其中，所述第一身體部位和所述第二身體部位中的一者或二者選自臉部、一只或兩只眼睛、第一只手或第一只手的一部分、處于第一姿勢的第一只手。
46.根據(jù)權(quán)利要求44所述的`接口系統(tǒng)，其中，所述第二身體部位是第二只手或第二只手的一部分或者處于第二姿勢的第二只手。
47.根據(jù)權(quán)利要求42至44中的任一項所述的接口系統(tǒng)，其中，所述第一對象與所述第二對象之間的預定義空間布置是通過從所述第一對象的重心到所述第二對象的重心的矢量指定的，所述矢量具有預定義范圍內(nèi)的大小和預定義范圍內(nèi)的方向中的一者或兩者。
48.根據(jù)權(quán)利要求42至47中的任一項所述的接口系統(tǒng)，其中，所述第一對象是第一身體部位，所述第二對象是第二身體部位，并且在圖像中檢測所述第二身體部位的步驟包括以下步驟: (a)圍繞所述第一身體部位構(gòu)建第一矩形，該第一矩形具有中心、高度和寬度； (b)在所述圖像中構(gòu)建關(guān)注區(qū)域(R0I)，該ROI是在所述圖像中通過所述第一矩形的預定義變換而獲得的第二矩形； (c)構(gòu)建所述第一矩形中的像素的屬性V的直方圖f(v)，其中f(v)是所述第一矩形中的屬性V的值為V的像素的頻率； (d)構(gòu)建所述ROI中的像素的屬性V的直方圖g(v)； (e)在涉及像素X處的屬性V的值V(X)以及所述直方圖f(v)和g(v)的計算中，計算概率PU);以及 (f)在涉及所述概率PU)的計算中，在所述圖像中檢測所述第二身體部位。
49.根據(jù)權(quán)利要求48所述的接口系統(tǒng)，其中，所述第一身體部位是臉部，圍繞臉部構(gòu)建臉部矩形的步驟是通過維奧拉-瓊斯(VJ)方法執(zhí)行的。
50.根據(jù)權(quán)利要求48或49所述的接口系統(tǒng)，其中，所述ROI是帶有中心的矩形，其中，所述ROI矩形的中心相對于所述第一矩形的中心偏移了預定義矢量。
51.根據(jù)權(quán)利要求48至50中的任一項所述的接口系統(tǒng)，其中，所述ROI矩形的高度是所述第一矩形的高度乘以第一預定義因子，所述ROI矩形的寬度是所述第一矩形的寬度乘以第二預定義因子。
52.根據(jù)權(quán)利要求48至51中的任一項所述的接口系統(tǒng)，其中，P(X)與f(v(x))/g(v(x))成比例。
53.根據(jù)權(quán)利要求48至52中的任一項所述的接口系統(tǒng)，其中，概率PU)高于預定義閾值的那些像素X被確定為是屬于所述第二身體部位的像素。
54.根據(jù)前述權(quán)利要求中的任一項所述的接口系統(tǒng)，其中，所述手勢識別模塊還被配置為按照以下方法執(zhí)行圖像的放大和縮小，所述方法包括以下步驟: (a)作為進入縮放模式的命令的指示，檢測包括食指與拇指的間距的改變的手勢、預定義第一手勢以及在圖像或視頻上指點圖像或視頻中的將用作縮放的中心的點中的一個； (b)檢測手的食指與手的拇指分開第一距離； (c)檢測食指與拇指的間距改變?yōu)榈诙嚯x，所述第二距離小于所述第一距離時指示進入第一縮放模式并根據(jù)該第一縮放模式執(zhí)行縮放的命令，所述第一縮放模式是放大模式或縮小模式，所述第 二距離大于所述第一距離時指示進入第二縮放模式并根據(jù)該第二縮放模式執(zhí)行縮放的命令，所述第二縮放模式是放大模式或縮小模式，并且所述第二縮放模式不同于所述第一縮放模式； (d)檢測食指與拇指的間距的改變的一個或更多個實例， (e)在食指與拇指的間距的改變的各個實例期間根據(jù)縮放模式執(zhí)行縮放。
55.根據(jù)權(quán)利要求1至53中的任一項所述的接口系統(tǒng)，其中，所述手勢識別模塊被配置為按照以下方法執(zhí)行放大和縮小，所述方法包括以下步驟: (a)作為進入縮放模式的命令的指示，檢測包括食指與拇指的間距的改變的手勢、預定義第一手勢以及在圖像或視頻上指點圖像或視頻中的將用作縮放的中心的點中的一個； (b)在初始取向下檢測伸出的手指； (C)檢測從初始取向到第二取向的在第一方向或第二方向上的食指的取向的改變，所述第一方向指示進入第一縮放模式并根據(jù)該第一縮放模式執(zhí)行縮放的命令，所述第一縮放模式是放大模式或縮小模式，并且所述第二方向指示進入第二縮放模式并根據(jù)該第二縮放模式執(zhí)行縮放的命令，所述第二縮放模式是放大模式或縮小模式，所述第二縮放模式不同于所述第一縮放模式；檢測伸出的食指從第一取向改變?yōu)榈诙∠虻囊粋€或更多個實例； (d)在伸出的食指的取向從初始取向改變?yōu)榈诙∠虻母鱾€實例期間根據(jù)縮放模式執(zhí)行縮放，或者只要伸出的食指保持為第二取向就根據(jù)縮放模式執(zhí)行縮放，所述縮放具有隨著處于初始取向的手指的指尖與處于第二取向的手指的指尖之間的距離增大而增大的縮放比。
56.根據(jù)權(quán)利要求1至53中的任一項所述的接口系統(tǒng)，其中，所述手勢識別模塊被配置為按照以下方法執(zhí)行放大和縮小，所述方法包括以下步驟:(a)檢測第一手勢或第二手勢，其中，所述第一手勢包括在張開手指的狀態(tài)下將手朝著成像裝置移動，然后在閉合手指的同時將手遠離所述成像裝置移動，并且其中，所述第二手勢包括在閉合手指的狀態(tài)下將手朝著所述成像裝置移動，然后在張開手指的同時將手遠離所述成像裝置移動； (b)當檢測到第一手勢時進入第一縮放模式，當檢測到第二手勢時進入第二縮放模式，并且根據(jù)縮放模式執(zhí)行縮放，所述第一縮放模式是放大模式或縮小模式，所述第二縮放模式是放大模式或縮小模式，并且所述第二縮放模式不同于所述第一縮放模式； (C)只要繼續(xù)檢測到第一手勢或第二手勢，就根據(jù)縮放模式執(zhí)行縮放。
57.根據(jù)權(quán)利要求54至56中的任一項所述的接口系統(tǒng)，其中，指著屏幕上的點指示進入縮放模式的命令，并且屏幕上的所述點是縮放模式中的縮放的中心。
58.根據(jù)前述權(quán)利要求中的任一項所述的接口系統(tǒng)，其中，檢測由預定義對象執(zhí)行的手勢包括按照以下方法在由所述圖像傳感器獲得的圖像的視頻流I1.....1k、...I ?中跟蹤所述預定義對象，所述方法包括以下步驟: (a)計算輸入視頻流的平均圖像A和視頻流的標準差圖像STD； (b)計算視頻流中的最后圖像In的歸一化圖像In’； (c)在涉及歸一化圖像的處理中計算變換的圖像T(X)； (d)構(gòu)建圖像T(X)的值的加權(quán)直方圖； (e)將索引j的值設(shè)置為I; (f)從圖像T(X)計算二值化圖像B，其中圖像T(X)中的值高于第j閾值的像素在二值化圖像B中被指派有值1，圖像T(X)中的值低于該閾值的像素在二值化圖像B中被指派有值O ; (g)計算二值化圖像B的兩個特征值； (h)構(gòu)建第一半軸長度和第二半軸長度分別等于第一特征值和第二特征值的橢圓； (i)確定所構(gòu)建的橢圓的形狀是否與被跟蹤的對象的圖像相似； (j)如果所構(gòu)建的橢圓的形狀與被跟蹤的對象的圖像相似，則斷定在圖像I (X)n中檢測到所述對象并且檢測到視頻流中的所述對象的運動，并且終止所述方法； (k)如果所構(gòu)建的橢圓的形狀不與所述對象的形狀相似，則將索引j的值增加I ; (I)如果j超過預定義的jmax，則斷定在圖像In中未檢測到所述對象并且在視頻流中未檢測到所述對象的運動，并且終止所述方法；以及 (m)如果j 未超過jmax，則返回到步驟(e)。
59.根據(jù)前述權(quán)利要求中的任一項所述的接口系統(tǒng)，其中，按照以下方法在由所述圖像傳感器獲得的圖像中檢測預定義對象，所述方法包括以下步驟: (a)將所述圖像分割成整數(shù)N個初始片段，各個片段具有關(guān)聯(lián)的特征矢量； (b)生成最終片段列表以及所述最終片段列表中的各個片段的特征矢量，所述最終片段列表包括存在于初始片段列表中的片段以及通過將一個或更多個鄰近片段組合成公共片段而形成的附加片段；以及 (c)將所述最終片段列表中的片段聚類成m個片段聚類。
60.根據(jù)權(quán)利要求59所述的系統(tǒng)，其中，生成最終片段列表的步驟包括以下步驟: (a)形成當前片段列表，該當前片段列表包括所述圖像中的初始片段S1.....Sk.....SN； (b)將索引i設(shè)置為N，N為所述圖像中的片段數(shù)； (c)對于所述圖像中的各對鄰近片段Skl和Sk2，利用預定義的度量來計算這兩個片段的特征矢量Vkl和Vk2之間的距離； (d)在多對鄰近片段當中找到距離IIVkl-Vk2I I最小的一對鄰近片段Skl和Sk2 ； (e)通過將兩個片段Skl和Sk2組合成單個片段來重新分割所述圖像，以使片段數(shù)量減少I ; (f)將組合的片段Skl和Sk2添加到當前片段列表，以更新當前片段列表； (g)計算組合的片段的特征矢量； (h)將索引i減1， (i)如果i大于1，則返回到步驟(d)，以及 (j)如果i=l，則終止所述生成最終片段列表的步驟。
61.根據(jù)權(quán)利要求59或60所述的系統(tǒng)，其中，將所述最終片段列表中的片段聚類成m個片段聚類的步驟包括以下步驟: (a)形成包括所述最終片段列表S’......S，k.....S’ N’的當前片段列表； (b)將索引i設(shè)置為N’，N’為當前片段列表中的片段數(shù)量；` (c)對于當前片段列表上的各對片段Skl和Sk2，利用預定義的度量來計算這兩個片段的特征矢量Vkl和Vk2之間的距離； (d)在當前列表上的多對片段當中找到當前片段列表上的距離I|Vkl-Vk2| I最小的一對片段Skl和Sk2 ； (e)將組合的片段Skl和Sk2添加到片段列表，以更新片段列表； (f)計算組合的片段的特征矢量； (g)將索引i減I; (h)如果i大于m，則返回到步驟(c);以及 (i)如果i=m，則終止所述將最終片段列表中的片段聚類的步驟。
62.根據(jù)權(quán)利要求59至61中的任一項所述的接口系統(tǒng)，其中，所述手勢識別模塊還被配置為對通過對象檢測算法檢測出預定義對象的視頻序列I P 12、...1k、Ik+1、In執(zhí)行對象驗證處理，該處理包括以下步驟: (a)生成對象OpO2'...0k^Ok+!,...0n的兩個或更多個序列S，其中序列S中的對象Ok被對象檢測算法檢測為預定義對象； (b)對于生成的各個圖像序列， (i)對于序列中的各對連續(xù)對象0k、0k+1，利用第一度量Cl1計算對象Ok與0k+1之間的距尚 di (0k, 0k+j)； (?)對于序列中的各個對象0k，利用第二度量d2計算對象Ok與所述預定義對象的標準圖像O之間的距離d2 (0k, O)； (iii)計算序列S的長度L，序列的長度L(S)由下式給出
k=l (c)檢測滿足預定義標準的序列；以及(d)檢測不滿足所述預定義標準的序列，作為包含被對象識別算法錯誤地檢測為所述預定義對象的一個或更多個對象的序列。
63.根據(jù)權(quán)利要求62所述的接口系統(tǒng)，其中，根據(jù)所述預定義標準，長度小于預定義長度的序列被檢測為由所述預定義對象構(gòu)成，長度大于預定義閾值的序列被檢測為是包含被對象識別算法錯誤地檢測為所述預定義對象的一個或更多個對象的序列。
64.根據(jù)權(quán)利要求63所述的接口系統(tǒng)，其中，根據(jù)所述預定義標準，總序列數(shù)當中的預定義部分的最短序列被檢測為由所述預定義對象構(gòu)成。
65.根據(jù)前述權(quán)利要求中的任一項所述的接口系統(tǒng)，其中，所述手勢識別模塊還被配置為: (a)檢測由所述預定義對象執(zhí)行的一個或更多個第一手勢，各個第一手勢具有關(guān)聯(lián)的方向； (b)當檢測到第一手勢時，基于所檢測到的第一手勢生成第一消息； (C)檢測第二手勢，該第二手勢的關(guān)聯(lián)方向不同于與所檢測到的第一手勢關(guān)聯(lián)的方向； (d)生成第二消息，其中，在所述第一手勢終止之后的預定義時間間隔之后檢測到第二消息時，基于所檢測到的第二消息確定所述第二消息；并且 (e)在所述第一手勢終止之后的所述預定義時間間隔之前檢測到第二手勢時不生成第二消息。`
66.一種用于控制第一裝置的用戶接口設(shè)備，該用戶接口設(shè)備包括: (a)圖像傳感器； (b)手勢識別系統(tǒng)，其具有兩個或更多個識別模式，并且被配置為: (i)分析由所述圖像傳感器獲得的圖像，以標識由預定義對象執(zhí)行的待標識的一個或更多個手勢，所述預定義對象選自一只或更多只手、手的一部分、一根或更多根手指、手指的一個或更多個部分以及一個或更多個指尖； (?)將所述手勢識別系統(tǒng)的識別模式從初始識別模式改變?yōu)榈诙R別模式，其中，所述第二識別模式是基于所述手勢識別系統(tǒng)的所述初始識別模式、標識的手勢以及所述裝置的態(tài)勢感知信息中的任一個或更多個確定的，其中，所述態(tài)勢感知信息是與所述裝置的狀態(tài)有關(guān)的信息、通過與所述裝置關(guān)聯(lián)的傳感器接收到的信息、與所述裝置上運行的一個或更多個進程有關(guān)的信息、與所述裝置上運行的應用有關(guān)的信息、與所述裝置的電力狀態(tài)有關(guān)的信息、與所述裝置的通知有關(guān)的信息、與所述裝置的移動有關(guān)的信息、與所述裝置的空間取向有關(guān)的信息、關(guān)于與一個或更多個用戶的交互的信息、關(guān)于用戶行為的信息以及關(guān)于一個或更多個觸發(fā)的信息中的一個或更多個；并且 (iii)生成第一消息，其中，所生成的第一消息是基于所述手勢識別系統(tǒng)的所述初始識別模式和識別的手勢確定的。
67.根據(jù)前述權(quán)利要求中的任一項所述的接口系統(tǒng)，其中，所述接口系統(tǒng)與所述第一裝置集成。
【文檔編號】G06F3/01GK103890695SQ201280050071
【公開日】2014年6月25日 申請日期:2012年8月8日 優(yōu)先權(quán)日:2011年8月11日
【發(fā)明者】I·卡茨, N·伊斯拉埃爾, T·阿納維, S·格羅菲特, I·巴爾-猶瑟夫 申請人:視力移動技術(shù)有限公司