用于手勢輸入的指尖定位的制作方法
【專利說明】用于手勢輸入的指尖定位
[0001] 發(fā)明背景
[0002] 隨著計算裝置的處理能力和功能逐漸增加，用戶能夠用各種方式提供輸入。例如， 用戶通過在距計算裝置一定距離處運動或打手勢便能夠控制計算裝置，其中手勢由用戶的 手或手指來執(zhí)行。某些裝置使用能夠觀察用戶的相機來確定手勢，從而使得裝置能確定用 戶執(zhí)行的運動。然而在一些情況下，用戶的至少一部分將不在相機的視野內，這樣一來，裝 置可能無法成功確定執(zhí)行的運動或手勢。即使用戶做運動或手勢的那部分在視野之內，要 準確確定用戶嘗試提供的輸入也比較困難，因而，可檢測的手勢就被限制為簡單而寬泛的 動作，降低了有效性。
【附圖說明】
[0003] 根據(jù)本發(fā)明的各項實施例將參考附圖進行描述，其中：
[0004] 圖I (a)、圖I (b)和圖I (c)示出其中可以實施各項實施例的各方面的示例性環(huán)境， 以及在實施一些那些方面的同時可擷取的圖像；
[0005] 圖2示出一個示例性環(huán)境，其中用戶指尖的一部分在裝置相機的盲區(qū)內，但可根 據(jù)各項實施例進行處理；
[0006] 圖3示出一個示例性視圖，其中根據(jù)各項實施例，確定的指尖位置可用來確定計 算裝置上的輸入位置；
[0007] 圖4示出可根據(jù)各項實施例使用的用于確定計算裝置上的輸入位置的示例性過 程；
[0008] 圖5(a)、圖5(b)和圖5(c)示出根據(jù)各項實施例的可至少部分基于用戶手指的方 位確定的示例性輸入；
[0009] 圖6示出可根據(jù)各項實施例使用的用于確定計算裝置的輸入的示例性過程； [0010] 圖7示出可用來實施各項實施例的各方面的示例性裝置；
[0011] 圖8示出如圖7所示的客戶端裝置的示例性部件；以及
[0012] 圖9示出可實施各項實施例的環(huán)境。
【具體實施方式】
[0013] 根據(jù)本發(fā)明的各項實施例的系統(tǒng)和方法克服了確定電子裝置輸入的傳統(tǒng)方法中 的一個或多個上述及其他缺點。具體而言，各項實施例使得能夠使用指尖或其他此類物體 來提供基于動作、手勢或徘徊的輸入。在至少一些實施例中，一個或多個相機可擷取圖像信 息，所述圖像信息可被分析以確定用戶指尖的相對位置。如果指尖落在相機的視野之外， 那么裝置可嘗試使用裝置上的其他傳感器來確定指尖位置。如果傳感器無法準確檢測到 指尖，或如果此類指尖都不可得，那么裝置可替代地（或另外地）嘗試使用已知的用戶信息 (例如，用戶手的大小、用戶手指的長度以及其他此類信息）來估計指尖位置。裝置也可使 用在指尖移動到視野外之前獲取的任何信息。一旦確定指尖位置，便可確定裝置的合適輸 入。在至少一些實施例中，這種確定包括確定手指的指向方向或者手指的軌跡或"指向"矢 量，以及確定所述方向、指向矢量或軌跡與裝置的交叉之處。一旦確定，用戶便可用交叉點 處或附近的物體或其他元件來提供輸入。
[0014] 下文描述并建議了各種其他功能和優(yōu)點，如根據(jù)各項實施例可提供。
[0015] 圖1(a)示出可實施各項實施例的各方面的示例性環(huán)境100。在此實例中，用戶102 嘗試使用用戶手指106將手勢輸入提供到計算裝置104。盡管圖示了便攜式計算裝置（例 如，電子書閱讀器、智能電話或平板計算機），但應理解，根據(jù)本文中論述的各項實施例可使 用能夠接收、確定和/或處理輸入的任何電子裝置，其中所述裝置可包括（例如）臺式計算 機、筆記本計算機、個人數(shù)字助理、視頻游戲機、電視機頂盒、智能電視以及便攜式媒體播放 器等等。
[0016] 在此實例中，計算裝置104包括一對相機108、110或其他手勢傳感器，它們被配置 成擷取包括用戶手指106的視圖在內的圖像信息，所述圖像信息可被計算裝置上執(zhí)行的應 用分析，以確定手指對計算裝置104的相對位置。圖像信息可以是使用環(huán)境光或紅外光或 者其他此類選項擷取的靜止圖像或視頻信息。此外，在各項實施例的范圍內也可使用相同 或不同類型的更少或額外相機。應用可確定手指的位置，并且隨著時間的推移，可通過分析 擷取的圖像信息來跟蹤手指的位置，以允許動作和/或手勢輸入到裝置。例如，用戶可上下 移動手指來調節(jié)音量，在平面上移動手指來控制虛擬光標等等。
[0017] 圖1(b)示出可由計算裝置104的其中一個相機110擷取的示例性圖像120。在此 示例性圖像中，用戶的手清晰可見。計算裝置上執(zhí)行的應用（或至少與計算裝置通信）可 分析圖像，以定位手的一個或多個特征，例如，可用來確定用戶手指的大體方位的指尖位置 122和手指基本位置124,以及手指大體指向的方向。
[0018] 然而，依據(jù)相機信息可能會有一些缺點，因為每個相機的視野通常是有限的。即使 是魚眼鏡，視野也是有限的，或者至少在接近視野邊界的時候會提供有些失真的圖像。因 此，計算裝置周圍一般會有一個或多個盲區(qū)，其中物體可能落在任何相機的視野之外。例 如，圖1(c)的圖像140示出在手朝向裝置中心移動時同一個相機110得到的視圖。如圖所 示，指尖142已經移動到視野之外，因此，不包含在圖像內。除非指尖進入到另一相機的視 野，否則裝置無法在任意相機于該位置擷取到的圖像中查看到該指尖。
[0019] 在此實例中，計算裝置仍可看到手的一部分，而且使用圖形識別、圖像識別、物體 識別或其他此類方法仍可能確定圖像140中的用戶手的一部分，例如，手指基本位置124。 在至少一些實施例中，裝置可使用統(tǒng)計分析或其他方式嘗試使用用戶手可見的部分來估計 用戶指尖的位置。例如，如果裝置能夠在最近期的點處查看到用戶的指尖，并且能夠確定指 尖對基本點124的相對距離和方向，那么裝置可使用外推過程來估計出指尖點144可能在 類似的相對位置。裝置可跟蹤指尖與基本點之間的相對距離和方位的變化，并且在這些點 中的至少一個落在裝置的至少一個相機的可視區(qū)域之外時，可使用這些來估計位置
[0020] 在另一實施例中，計算裝置可存儲或用其他方式訪問用戶手的模型。使用源于圖 像信息的諸如手的大小、形狀和相對結構等信息，裝置可使用模型來估計指尖的位置。至少 部分基于模型和基本點124,用戶手指和手的物理限制意味著指尖位置被限于可確定的位 置范圍。使用諸如手指的可視部分和手的方位等信息，裝置可進一步限制潛在區(qū)，并且如果 可在合理的確定或變化量內確定位置，那么所述點便可用作指尖位置144。在各項實施例的 范圍內也可使用各種其他此類估計方法。
[0021] 在至少一些實施例中，根據(jù)各項實施例，計算裝置可包括可協(xié)助指尖定位的一個 或多個其他類型的傳感器或部件。例如，圖2示出示例性配置200,其中計算裝置能夠使用 裝置中與顯示屏或其他此類元件相同側上的一對相機204定位和/或跟蹤指尖位置。如上 所述，只要指尖在至少一個相機204的視野內，相機便可擷取有關指尖的立體信息并且確 定位置。在相機之間以及每個相機視野之外，存在"盲區(qū)" 208,其中指尖或任何其他物體都 無法被相機反映出來。然而，在此示例性裝置202中，裝置包括電磁場（EMF)傳感器210 (例 如，EMF計量器或EMF探針），所述傳感器被定位和配置成檢測干擾環(huán)境和/或生成的EMF 的物體是否出現(xiàn)。EMF傳感器可以是任何適當?shù)膫鞲衅?、探針、計量器或其他此類元件，可?作以使用寬帶測量、頻率選擇測量或任何其他此類基于EMF的方法來測量EMF的變化。
[0022] 在此實例中，EMF的范圍至少遍布大部分盲區(qū)208,而且在至少一些實施例中，可 部分延伸到盲區(qū)之外，以提供更準確且連續(xù)的確定。當用戶的手指指尖朝盲區(qū)移動時，EMF 傳感器可檢測到電磁場變化，從而可用來估計三維中的指尖最近點的相對位置212。所屬領 域已知基于電磁場變化來定位物體的方法，因此，本文中將不再詳細論述。
[0023] 由于用戶手的至少一部分仍為相機204可見，因此，裝置可分析圖像信息來確定 用戶食指的基本點206。通過將此信息與使用EMF確定的指尖位置212相結合，裝置也可使 用至少這兩點來確定手指的近似角度、方位和/或軌跡。在針對多手指輸入跟蹤多個指尖 位置的情況下，例如，處于盲區(qū)或另一此類位置時，可使用類似的方法來定位那些指尖。
[0024] 在各項實施例的范圍內也可使用其他技術。例如，在各項實施例的范圍內也可使 用電容式傳感器。電容式傳感器可能不具有EMF傳感器的范圍，因為電容式傳感器可能只 能檢測表面幾毫米內的物體，但在至少一些實施例中可能會更準確。電容式傳感器也可給 出指尖或其他此類物體在三維中的最近點信息。在各項實施