利用手勢增強觸摸輸入的制作方法
【技術(shù)領(lǐng)域】
[0001 ] 本發(fā)明大體涉及用戶裝置接口上的交互式輸入。
【背景技術(shù)】
[0002]當前，例如觸摸屏等具有交互式輸入能力的用戶裝置(例如，智能電話、平板計算機、膝上型計算機等)通常具有小型屏幕。此些小型屏幕可限制交互式輸入能力。舉例來說，小型屏幕可能妨礙例如平穩(wěn)滾動、平移、縮放等交互。觸摸交互可需要用戶執(zhí)行重復(fù)動作以在用戶裝置的觸摸屏上執(zhí)行例如多個夾捏、選擇或滾動運動等任務(wù)。此外，觸摸輸入可使用戶裝置的屏幕模糊從而使得難以看到受影響內(nèi)容。
[0003]因此，在此項技術(shù)中需要增強用戶裝置接口上的交互式輸入。

【發(fā)明內(nèi)容】

[0004]根據(jù)本發(fā)明的一或多個實施例的系統(tǒng)和方法提供增強型交互式輸入使得觸摸輸入數(shù)據(jù)(例如，從利用例如手、手指等的位置或運動等控制對象執(zhí)行的手勢檢測到)可與非觸摸輸入數(shù)據(jù)(其可由例如超聲波傳感器、圖像或視頻俘獲能力(例如，相機)、深度傳感器或類似者等傳感器檢測到)融合。有利地，例如顯示器或屏幕等用戶裝置的接口的視圖可保持實質(zhì)上不受阻擋。
[0005]根據(jù)一實施例，一種方法包括:并行地俘獲用戶裝置的屏幕上的觸摸輸入數(shù)據(jù)和所述用戶裝置的所述屏幕外的非觸摸手勢輸入數(shù)據(jù)；至少部分地基于所述并行地俘獲的觸摸輸入數(shù)據(jù)和所述非觸摸手勢輸入數(shù)據(jù)的組合確定輸入命令；以及基于所確定的輸入命令影響用戶裝置的操作。
[0006]根據(jù)另一實施例，一種方法包括:在用戶裝置處并行地檢測所述用戶裝置的屏幕上的觸摸以及不在觸摸所述用戶裝置的手的至少一部分的姿勢和實質(zhì)上在大體上平行于所述屏幕的平面中的部分的運動中的至少一者；至少部分地基于所檢測觸摸和所檢測姿勢或運動的組合確定命令；以及基于所確定的命令調(diào)節(jié)用戶裝置的操作。在一實施例中，所述手的所述部分包括所述手的用于觸摸所述屏幕的另一部分。在另一實施例中，所述方法進一步包括在確定所述命令之前確定所述手的所述部分包括所述手的用于觸摸所述屏幕的另一部分。在另一實施例中，檢測所述姿勢或所述運動進一步包括識別所述手的一或多個末端。在另一實施例中，所述手不同于用于觸摸所述屏幕的手。在另一實施例中，所述運動包括滑動。在另一實施例中，所述運動包括旋轉(zhuǎn)或掃掠。在另一實施例中，所述手的所述部分在包括屏幕和所述屏幕的垂直于所述屏幕的垂直延伸部的體積外部。在另一實施例中，檢測所述觸摸進一步包括檢測屏幕上的多個觸摸。在另一實施例中，屏幕上的觸摸的位置識別所述操作或待調(diào)節(jié)的對象。在另一實施例中，檢測所述觸摸進一步包括檢測所述觸摸沿著所述屏幕的移動，其中所述確定所述命令包括至少部分地基于所檢測觸摸移動和所檢測姿勢或運動的組合確定所述命令。在另一實施例中，所檢測姿勢或運動包括檢測到的姿勢。在另一實施例中，所檢測姿勢或運動包括檢測到的運動。在另一實施例中，所檢測姿勢或運動包括當所述手的所述部分處于檢測到的姿勢時所執(zhí)行的檢測到的運動。
【附圖說明】
[0007]圖1A-1C是說明根據(jù)本發(fā)明的實施例用于利用非觸摸手勢增強觸摸的流程的圖式。
[0008]圖2A-2B是說明根據(jù)本發(fā)明的另一實施例用于利用非觸摸手勢增強觸摸的流程的圖式。各圖已經(jīng)修訂。
[0009]圖3A-3C是說明根據(jù)本發(fā)明的又一實施例用于利用非觸摸手勢增強觸摸的流程的圖式。
[0010]圖4為說明根據(jù)本發(fā)明的實施例利用非觸摸手勢增強觸摸輸入的方法的流程圖。
[0011]圖5為說明根據(jù)本發(fā)明的實施例的用于實施裝置的系統(tǒng)的框圖。
【具體實施方式】
[0012]提供根據(jù)本發(fā)明的一或多個實施例的系統(tǒng)和方法用于例如經(jīng)由同時多模式傳感器融合增強例如觸摸輸入與屏幕外非觸摸輸入(例如，手勢)等交互式輸入。非觸摸輸入可包含利用例如手、手指等控制對象執(zhí)行的例如姿勢或運動等手勢，其可由例如超聲波傳感器、圖像或視頻俘獲能力(例如，相機)、深度傳感器或類似者等傳感器檢測到。在這一方面，經(jīng)配置以檢測非觸摸輸入的傳感器或技術(shù)可包含在用戶裝置或系統(tǒng)中和/或位于用戶裝置的各種表面上，(例如)在用戶裝置的頂部、底部、左側(cè)、右側(cè)和/或背后，使得例如手勢等非觸摸數(shù)據(jù)可在其在用戶裝置正前方(屏幕上)以及用戶裝置的屏幕的直接視線外(屏幕外)執(zhí)行時被俘獲到。大體來說，屏幕外非觸摸輸入在下文也可被稱作“屏幕外手勢”，其中“屏幕外手勢”可指代例如手、手指、筆等控制對象的位置或運動數(shù)據(jù)，其中所述控制對象不在觸摸用戶裝置，但接近于所述用戶裝置。這些“屏幕外”非觸摸手勢不僅可從用戶裝置的屏幕移除，而且其可包含控制對象的相對于裝置的屏幕或顯示器從裝置橫向偏移的一部分。舉例來說，可想像在大體上垂直于顯示器或屏幕的平面的方向中遠離裝置的顯示器或屏幕延伸的體積。“屏幕外”手勢可包括如下手勢:執(zhí)行所述手勢的控制對象的至少一部分在此體積外部。舉例來說，在圖1A-1C和2A-2B中，用戶的手指在“屏幕外”。
[0013]例如觸摸輸入和屏幕外非觸摸輸入(例如，手勢)等并行交互式輸入可創(chuàng)建高級命令。在一實施例中，用戶可觸摸用戶裝置的屏幕上顯示的目標項目且同時使用屏幕外手勢(例如，相同手或另一只手上的手指)來調(diào)節(jié)目標項目的一方面。
[0014]屏幕外非觸摸手勢可包含對應(yīng)于調(diào)節(jié)所述目標項目的特定方面的任何合適的預(yù)定義手勢。舉例來說，可使用特定手運動或位置來調(diào)節(jié)設(shè)定，例如向下手運動可對應(yīng)于減小屏幕的亮度設(shè)定。
[0015]觸摸輸入感測數(shù)據(jù)和非觸摸屏幕外輸入感測數(shù)據(jù)(下文稱為“手勢輸入感測數(shù)據(jù)”)可大體上并行地俘獲使得這些輸入感測數(shù)據(jù)集可組合以創(chuàng)建一個輸入命令。也就是說，新穎復(fù)合命令可經(jīng)啟用使得輸入目標與所述輸入目標的可變調(diào)節(jié)可組合。應(yīng)注意，在各種實施例中，在例如運動等手勢開始或結(jié)束時與檢測到觸摸輸入時之間可存在最小或可忽略的偏移。在本文的一些實施例中，觸摸輸入感測數(shù)據(jù)和手勢輸入感測數(shù)據(jù)可大體上并行地或同時俘獲例如以允許觸摸和手勢的定時之間的較小余地。
[0016]在各種實施例中，可通過檢測對象的位置和移動而俘獲手勢輸入感測數(shù)據(jù)。舉例來說，例如手或手指等對象的所檢測移動可與例如用戶裝置的顯示器或屏幕等表面大體上平行或處于相同平面中，且可在屏幕外而非屏幕上方執(zhí)行。由此，避免或減少對顯示器或屏幕的阻擋，因此允許屏幕可見。
[0017]存在可組合輸入目標與可變調(diào)節(jié)的復(fù)合命令的許多實例。此些實例可包含通過使用一只或兩只手調(diào)節(jié)一或多個設(shè)定，包含以下:
[0018]相機:經(jīng)由影響目標項目的觸摸和非觸摸手勢選擇所述目標項目，例如以調(diào)節(jié)焦點、孔徑、場景模式等。舉例來說，當利用相機拍攝照片時，用戶可經(jīng)由觸摸(例如，使用例如手指、筆等對象)選擇離焦照片，同時執(zhí)行可在相機的一側(cè)俘獲的非觸摸手勢以調(diào)節(jié)所述焦點。在這一方面，因為非觸摸手勢可在屏幕外(例如，在相機的一側(cè)、頂部、底部或后方)執(zhí)行，所以不會從用戶的視線阻擋所顯示照片。此實例將在下文中根據(jù)一實施例相對于圖1A-1C更詳細說明。
[0019]設(shè)定:經(jīng)由觸摸和手勢選擇所要設(shè)定區(qū)域或圖標以調(diào)節(jié)所述設(shè)定或與所述圖標相關(guān)聯(lián)的設(shè)定(例如，音量、亮度等)。類似于上文描述的相機實例，用戶可經(jīng)由觸摸選擇所要設(shè)定或表示例如亮度等設(shè)定的圖標，同時執(zhí)行可在屏幕外俘獲的非觸摸手勢。所述非觸摸手勢可對應(yīng)于調(diào)節(jié)所述亮度。在各種實施例中，可觸摸與可變控制相關(guān)聯(lián)的任何命令圖標，且隨后通過例如掃掠或旋轉(zhuǎn)手等手勢而調(diào)節(jié)所述可變性。因此，在一些實施例中，可能不需要例如具有用于調(diào)節(jié)亮度、音量等的滑條的第二菜單。因為所述手勢在屏幕外執(zhí)行和俘獲，所以不會從用戶的視線阻擋顯示器或屏幕。舉例來說，用戶裝置可檢測觸摸輸入，例如用戶的拇指觸摸表示屏幕上或用戶裝置的邊框的一側(cè)上的亮度調(diào)節(jié)的圖標。同時，用戶裝置可檢測手勢，例如用戶的相同手的手指(在觸摸亮度圖標的同時)旋轉(zhuǎn)以調(diào)節(jié)亮度；例如向右旋轉(zhuǎn)可增加亮度且向左旋轉(zhuǎn)可減小亮度。
[0020]游戲:經(jīng)由觸摸和例如手位置或運動等手勢選擇對手以設(shè)定待對所述對手執(zhí)行的動作。類似于上文描述的相機實例，在用戶裝置上玩游戲的用戶可經(jīng)由觸摸選擇對手，同時執(zhí)行可在屏幕外俘獲的非觸摸手勢。所述非觸摸手勢可對應(yīng)于設(shè)定待對所述對手執(zhí)行的動作，且因為所述非觸摸手勢是在屏幕外執(zhí)行和俘獲，所以不會從用戶的視線阻擋用戶裝置的顯示器或屏幕。舉例來說，用戶裝置可檢測觸摸輸入，例如用戶的拇指觸摸表示用戶裝置的屏幕上顯示的象棋游戲中對手的棋子的圖標。同時，用戶裝置