低注意力手勢用戶界面的制作方法
【專利摘要】一種生成允許用戶在低注意力環(huán)境中可靠得執(zhí)行任務(wù)的基于觸摸的用戶界面的系統(tǒng)和方法?；谟|摸的用戶界面依賴于滑動或者點擊手勢，其很容易由用戶輸入并且在輸入手勢時不需要集中注意力在與觸摸板相關(guān)聯(lián)的觸摸屏或者顯示器上。對于滑動手勢，只有滑動的方向在翻譯被輸入的指令時被系統(tǒng)利用。對于點擊手勢，只有在川頁序序列中點擊的數(shù)量和點擊持續(xù)的時間在翻譯被輸入的指令時被系統(tǒng)利用。通過不使輸入手勢的位置和相關(guān)顯示器屏幕上顯示的內(nèi)容相關(guān)聯(lián)，此公開的觸摸界面非常適合用戶在做手勢而不能看顯示器屏幕的環(huán)境中使用。
【專利說明】低注意力手勢用戶界面
[0001]相關(guān)申請交叉引用
[0002]本申請要求2013年3月15日提交的，標(biāo)題為“LOW-ATTENT1N GESTURAL USERINTERFACE”的美國專利申請?zhí)枮?3/833，780的優(yōu)先權(quán)，并且要求2012年4月16日提交的，名為“LOW-ATTENT1N GESTURAL USER INTERFACE” 的美國臨時專利申請?zhí)?61/625，070的權(quán)益，其每個的全部內(nèi)容通過引用方式被合并于此。

【背景技術(shù)】
[0003]傳統(tǒng)的觸摸用戶界面可分為兩類:直接觸摸，其中顯示器和觸敏表面是集成的；另外一種是間接觸摸，其中觸敏表面和相關(guān)的顯示器分離。直接觸摸的用戶界面的示例是電容式觸摸屏，可以在很多智能手機上看到，比如蘋果手機。間接觸摸的用戶界面的示例是和LCD顯示器配合工作的觸摸板，可以在很多筆記本看到。在用戶不能或者不應(yīng)該集中注意力在用戶界面的“低注意力”環(huán)境中，比如用戶正在駕駛汽車，飛機，船或者重機械，用戶不管在使用哪種傳統(tǒng)界面都會遇到問題。例如，當(dāng)用戶駕駛著汽車，但眼睛和注意力都集中在觸摸屏幕設(shè)備上，如集成的觸摸屏控制臺，導(dǎo)航顯示器，音樂播放器，或者智能手機等等，碰撞事故更可能發(fā)生。
[0004]一些傳統(tǒng)觸摸用戶界面的示例可能需要用戶把注意力放在顯示器。第一個示例，一些輸入任務(wù)可能需要用戶盯著顯示器去對準(zhǔn)觸摸屏或者其他觸敏表面上的特定的點或者局部區(qū)域。舉例而言，為了激活或者以其他方式利用窗口工具，列表，虛擬按鈕，滑塊，旋鈕，或者其他顯示項目，用戶可能需要持續(xù)將視覺注意力放在顯示器上以將他的觸摸對準(zhǔn)在觸摸屏或者觸摸板上的特定的點。第二個示例，一些用戶界面可能接受寬“滑動”手勢，其中寬滑動手勢的速度和/或距離表明用戶的預(yù)期行為。也就是說，快的滑動手勢會導(dǎo)致顯示器滾動或者移動得比慢的滑動手勢遠(yuǎn)，長的滑動手勢會導(dǎo)致顯示器滾動或者移動得比短的滑動手勢遠(yuǎn)。因此，在“低注意力”環(huán)境中，比如汽車或者飛機座艙，用戶在使用傳統(tǒng)的寬滑動手勢時，由于以下幾點原因會遇到嚴(yán)重問題。第一，在使用寬滑動手勢后，用戶通常需要看著屏幕以確定影響顯示器的手勢的速度和范圍的程度。第二，用戶可能無法精確得控制滑動手勢的速度和距離，例如他遇到急加速，崎嶇不平的地面或者湍流。第三，屏幕的某些部分可能失效或者包含不同的目標(biāo)點或者區(qū)域，所以不能接受滑動手勢，因此用戶可能需要盯著屏幕重新做一個滑動或者確認(rèn)之前做的滑動已經(jīng)取得預(yù)期效果。
[0005]一些現(xiàn)有技術(shù)或者相關(guān)的系統(tǒng)及其相關(guān)局限性的在此的示例旨在說明而非限制。在閱讀下面的具體實施例后，現(xiàn)有或先前的系統(tǒng)的其他局限性對本領(lǐng)域技術(shù)人員將顯而易見。

【專利附圖】

【附圖說明】
[0006]圖1所示是適合處于低注意力環(huán)境的用戶的基于觸摸的系統(tǒng)的典型硬件組件的方框圖。
[0007]圖2所示是圖1的基于觸摸的系統(tǒng)在汽車應(yīng)用中駕駛員使用的立體圖。
[0008]圖3A-C所示是代表性的用戶界面的屏幕截圖，其描述可在顯示器屏幕上被提供給駕駛員的示例性功能，包括:交通工具導(dǎo)航應(yīng)用，音樂播放器和新聞閱讀器。
[0009]圖3D所示是示例性水平滑動手勢的示意圖，駕駛員可在觸摸傳感器上作出該手勢以便從當(dāng)前功能導(dǎo)航到相鄰功能。
[0010]圖4A是代表性的用戶界面的屏幕截圖，其描述了可被在顯示器屏幕上向用戶提供的的示例性垂直導(dǎo)航的列表項，例如被選擇的音樂播放器中的附加功能。
[0011]圖4B是音樂播放器的示例性用戶界面的屏幕截圖。
[0012]圖4C是示例性的單擊手勢的示意圖，用戶在觸摸傳感器上作出該手勢以使上述的音樂播放器播放導(dǎo)航音樂列表。
[0013]圖5A-C是導(dǎo)航應(yīng)用的示例性用戶界面的屏幕截圖，比如可用于汽車內(nèi)以找到并導(dǎo)航到在“購物”類別中的附近的興趣點。
[0014]圖6是檢測手勢并映射該手勢到與被顯示的用戶界面相關(guān)聯(lián)的指令的方法的流程圖。
具體實施例
[0015]本發(fā)明公開的是生成允許用戶在低注意力環(huán)境中可靠得執(zhí)行任務(wù)的基于觸摸的用戶界面的系統(tǒng)和方法。基于觸摸的用戶界面依賴于滑動或者點擊手勢，其很容易由用戶輸入且不需要集中注意力在與手勢在其上被輸入的觸摸板相關(guān)聯(lián)的觸摸屏或者顯示器上。例如，用戶可以在觸摸屏或者觸摸板(下文中稱為“觸摸傳感器”)表面上的任何區(qū)域內(nèi)完執(zhí)行滑動或者點擊手勢。對于滑動手勢，只有滑動的方向在翻譯被輸入的指令時被系統(tǒng)利用。因此，在觸摸傳感器上滑動手勢開始(或者終止)的位置不被系統(tǒng)加以利用。此外，假設(shè)在滑動手勢的范圍(例如滑動手勢的整體大小或尺寸)足以使用戶界面區(qū)分出是滑動而非點擊的情況下，滑動手勢的范圍和速度不被系統(tǒng)加以利用。對于點擊手勢，只有順序序列中一個或者多個點擊的數(shù)量和一個或者多個點擊持續(xù)的時間在翻譯被輸入的指令時被系統(tǒng)利用。也就是說，被輸入的點擊的位置不被系統(tǒng)利用。通過不使輸入手勢的位置和相關(guān)顯示器屏幕上顯示的內(nèi)容相關(guān)聯(lián)，此公開的觸摸界面非常適合用戶在做手勢而不能看顯示器屏幕的環(huán)境中使用。例如，基于觸摸的用戶界面允許移動交通工具的駕駛員在駕駛時以最少的注意力來獲得娛樂或者其他信息。
[0016]由于用戶不需要對準(zhǔn)在觸摸傳感器上特定的位置，此公開的用戶界面提高了當(dāng)用戶不能看相關(guān)聯(lián)的顯示器屏幕時正確識別用戶指令的準(zhǔn)確性。通過排除對準(zhǔn)觸摸傳感器上的特定區(qū)域的需要，用戶在執(zhí)行輸入時不需要將其注意力或者視野轉(zhuǎn)移到相關(guān)的顯示器屏幕上，可以更安全得執(zhí)行其他同步行為，比如駕駛交通工具。通過簡單得掃一下顯示器屏幕，比如在請求信息后查看顯示在屏幕上的信息，用戶可以集中大部分的視野和注意力在其他同步任務(wù)上。
[0017]在一些實施例中，聽覺反饋會向用戶確認(rèn)系統(tǒng)已經(jīng)處理給定的指令以進一步減少用戶看顯示器屏幕的需要。例如，合成的語音提示或隱含的聲音效果可以用來向用戶確認(rèn)系統(tǒng)已經(jīng)處理給定的指令，而無需用戶看顯示器屏幕。
[0018]本發(fā)明的各種示例現(xiàn)在將被描述。下面的描述提供了某些特定的細(xì)節(jié)以為了對這些實施例的全面理解和可實施描述。但是，相關(guān)技術(shù)人員會理解本發(fā)明可能在沒有許多這些細(xì)節(jié)的情況下被實施。同樣地，本領(lǐng)域的相關(guān)技術(shù)人員也將理解本發(fā)明可能包括本文中未詳細(xì)描述的許多其他明顯特征。此外，一些眾所周知的結(jié)構(gòu)或功能可能沒有出現(xiàn)或者被詳細(xì)描述，以避免不必要的模糊各種示例的相關(guān)說明。
[0019]下面使用的術(shù)語將用其最寬泛的合理方式來解釋，即使它被與本發(fā)明的某些具體示例的詳細(xì)說明一起使用。事實上，某些術(shù)語可能甚至在下文中被強調(diào)，但是，任何旨在被以任何限制方式解釋的術(shù)語將在具體實施例部分中那些一樣被明顯并具體地定義。
[0020]圖1是用于執(zhí)行為在低注意力環(huán)境中使用而優(yōu)化的用戶界面的典型系統(tǒng)100的硬件組件簡化的系統(tǒng)框圖。系統(tǒng)100包括一個或者多個輸入設(shè)備120，其提供輸入給CPU(處理器)110，通知它用戶執(zhí)行的動作，通常由硬件控制器來完成，其翻譯從輸入設(shè)備接收到的原始信號并使用已知的通信協(xié)議將信息傳輸?shù)紺PU 110。CPU可能是設(shè)備或者分布式的多個設(shè)備中的一個或者多個處理單元。輸入設(shè)備120的一個示例是觸摸屏125，其當(dāng)觸摸屏被用戶觸摸時，將輸入提供給CPU 110，通知它有觸摸事件。相似地，CPU 110和硬件控制器通信用于文字和圖形被顯示在其上的顯示器130。顯示器130的一個例子是觸摸屏125的顯示器，它提供圖形和文字性的視覺反饋給用戶。可選地，揚聲器140也被耦合到處理器上，以使得任何合適的聽覺信號可以作為指導(dǎo)被傳遞給用戶，以及麥克風(fēng)141也被耦合到處理器上，以使得任何語音輸入都可以被才用戶接受(主要為系統(tǒng)執(zhí)行語音識別以作為用戶輸入的方法)。在一些實施例中，揚聲器140和麥克風(fēng)141被集成到語音輸入-輸出設(shè)備上。
[0021]處理器110可以訪問存儲器150，其可以包括臨時存儲和/或永久性存儲，只讀和可寫存儲器(隨機存儲存儲器或者RAM)，只讀存儲器，可寫非易失性存儲器，比如閃存，硬盤驅(qū)動器，軟盤等等。存儲器150包括程序存儲器160，其包括所有的程序和軟件，比如操作系統(tǒng)161，輸入動作識別軟件162，和任何其他應(yīng)用程序163。輸入動作識別軟件162包括輸入手勢識別組件，比如滑動手勢識別部分162a，點擊手勢識別部分162b。程序存儲器160可包含菜單管理軟件165，用于圖形化顯示兩個或以上的選擇給用戶，并且根據(jù)公開方法確定用戶做出的圖形化顯示選擇中的某一個。存儲器150還包括數(shù)據(jù)存儲器170，其包括數(shù)據(jù)存儲器160或者設(shè)備100任何單元可能需要的所有配置數(shù)據(jù)，設(shè)置，用戶選項和偏好。
[0022]在一個可選擇的實施例中，代替被集成到觸摸屏125上的輸入設(shè)備120和顯示器130，獨立的物理組件可能被用于輸入設(shè)備120和顯示器130。例如，觸摸板(或者觸控板)可能被用作輸入設(shè)備120，并且不同于輸入設(shè)備120的單獨的或者獨立的顯示器設(shè)備可被用作顯示器130。獨立的顯示器設(shè)備的示例有:IXD顯示屏，LED顯示屏，投影顯示器(比如平視顯示設(shè)備)等等。
[0023]圖2所示是在示例性汽車環(huán)境200中由駕駛員使用的圖1的基于觸摸的系統(tǒng)100的立體示意圖。觸摸屏125a可能被安裝在交通工具儀表盤210中或者觸摸屏125b可能被安裝在汽車中央控制臺中?？蛇x擇的實施例可能利用不同的輸入設(shè)備120和顯示設(shè)備130。例如，平視顯示器130a可能被投影到汽車擋風(fēng)玻璃上，結(jié)合觸摸板120a被集成到方向盤中。盡管顯示器被投影到擋風(fēng)玻璃上，公開的低注意力手勢用戶界面的特點仍然是可用的，因為駕駛員不可能同時持續(xù)集中注意力既在平視顯示器130a的元素上，又在汽車周圍的移動環(huán)境中。輸入設(shè)備120被集成到方向盤中，當(dāng)將滑動方向翻譯到輸入設(shè)備中時，系統(tǒng)可任選得感知和補償方向盤的旋轉(zhuǎn)，例如，以確保當(dāng)方向盤被任意旋轉(zhuǎn)時從用戶角度的向左的滑動手勢被讀取為向左(而不是其他方向)。
[0024]圖3A-C所示是代表性的用戶界面300的屏幕截圖，其描述被展示在例如，交通工具觸摸屏125a上的示例性導(dǎo)航功能。，包括:交通工具用戶界面300a ;音樂播放器用戶界面300b ;新聞閱讀器用戶界面300c。為簡潔起見，某些功能的用戶界面未加以說明。
[0025]對應(yīng)于不同的導(dǎo)航功能，水平菜單欄310會顯示在屏幕的底端，當(dāng)前活動的功能被突出顯示(例如，通過圖標(biāo)的不同的顏色或者圖形處理，通過暗化圖標(biāo)，等等)。按照從左到右的順序，菜單包括如下圖標(biāo):導(dǎo)航圖標(biāo)310a，音樂圖標(biāo)310b，新聞圖標(biāo)310c，電話圖標(biāo)310d，信息圖標(biāo)310e(比如即時信息，電子郵件或者短信)，以及選項圖標(biāo)310f。
[0026]與當(dāng)前活動功能相關(guān)的圖標(biāo)被突出顯示。例如，當(dāng)導(dǎo)航用戶界面300a被顯示時，導(dǎo)航圖標(biāo)310a被突出顯示。當(dāng)音樂用戶界面300b被顯示時，音樂圖標(biāo)310b被突出顯示。并且當(dāng)新聞用戶界面300c被顯示時，新聞圖標(biāo)310c被突出顯示。其他活動界面會導(dǎo)致其他圖標(biāo)被突出顯示。用戶在觸摸傳感器上作出向右或者向左的滑動動作來導(dǎo)航不同的用戶界面300。向右滑動手勢會導(dǎo)致系統(tǒng)顯示與在被顯示的當(dāng)前條目的右側(cè)的菜單欄310上的相鄰條目相關(guān)聯(lián)的用戶界面，并且向左滑動手勢會導(dǎo)致系統(tǒng)顯示與在被顯示的當(dāng)前條目的左側(cè)的菜單欄上的相鄰條目相關(guān)聯(lián)的用戶界面。例如，從音樂用戶界面310b的向右滑動手勢會將用戶帶到新聞用戶界面310c，并且音樂用戶界面310b的向左滑動手勢會將用戶帶到導(dǎo)航用戶界面310a。
[0027]圖3D是示例的向右滑動手勢350a_g的示意圖，用戶可以在觸摸傳感器上作出該手勢來從當(dāng)前顯示功能的用戶界面導(dǎo)航到相鄰功能的用戶界面?；瑒邮謩莸钠瘘c在圖3D上通過黑點表明，滑動手勢的終點通過圓圈表明，滑動手勢的路徑通過這兩者之間的連接線表明。每個滑動手勢350a-g都被系統(tǒng)100翻譯為相同的指令。例如，任何向右滑動手勢350可以改變功能從導(dǎo)航用戶界面200a到音樂用戶界面300b，也改變相應(yīng)的突出顯示圖標(biāo)從導(dǎo)航圖標(biāo)310a到音樂圖標(biāo)310b。再例如，任何向右滑動手勢350可以改變當(dāng)前活動功能從音樂播放器用戶界面300b到新聞用戶界面300c(也改變相應(yīng)的突出圖標(biāo)從音樂圖標(biāo)310b到新聞圖標(biāo)310c)。
[0028]為改善在低注意力環(huán)境中的操作，每個向右滑動手勢350a_g都被系統(tǒng)100翻譯成相同的用戶指令，不管屏幕上滑動手勢的開始位置和滑動手勢的范圍(其可能被定義為手勢的起點和目的地之間的距離，或者沿著滑動手勢的路徑的起點和目的地之間經(jīng)過的路徑長度)O例如，手勢350a和350d，盡管具有相比于較短手勢350b，350c，350e，350f和350g更大的范圍，其和較短手勢一樣被當(dāng)做相同的用戶指令。同樣，向右滑動手勢350f的彎曲路徑被視為與直線路徑350b相同。所以，如果駕駛員在交通車輛正在顛簸時輸入了用戶輸入，比如可能導(dǎo)致了手勢350g，向右滑動的手勢仍然可以被系統(tǒng)正確得識別。盡管系統(tǒng)不會根據(jù)它們的范圍或者長度來區(qū)分這兩個滑動手勢，系統(tǒng)可能利用最小的閥值長度來確定特定手勢是否被作為點擊手勢還是滑動手勢來處理。
[0029]無論滑動手勢350a_f在哪里開始或終止，它均由系統(tǒng)100翻譯成相同的指令。例如，在360范圍內(nèi)的350b和350f被處理為與不在范圍360內(nèi)的350a，350c和350d相同。進一步說，部分在360區(qū)域內(nèi)的滑動手勢350e和350g被處理為與其他所有向右滑動手勢350a，350b，350c，350d和350f相同。所以，觸摸屏125或者觸摸板的整個表面作為一個大的、整體輸入目標(biāo)，而不是各種預(yù)定義的活動區(qū)域的各種輸入目標(biāo)的集合。此外，系統(tǒng)可能忽略滑動手勢350的速度分布并將滑動手勢350翻譯為相同的指令，而不論用戶輸入手勢動作的速度和加速度。盡管圖3D反映了示例的向右滑動手勢，可以理解的是該圖的鏡像可代表系統(tǒng)100可用相同方法處理的示例性的向左滑動手勢。
[0030]盡管系統(tǒng)100當(dāng)映射滑動手勢350a-為指令時忽略起點，終點，長度，速度和加速度，但在一些翻譯手勢的實施例中，系統(tǒng)可利用用戶使用的手指個數(shù)以執(zhí)行手勢。觸摸板和觸摸屏通常是能夠檢測在觸摸表面上的多個同時觸摸點。系統(tǒng)可因此將一個或多個觸摸的存在觸摸翻譯成一個手指、兩個手指或者三個手指的滑動。根據(jù)檢測到的手指的個數(shù)，系統(tǒng)可將檢測到的手勢映射成不同的指令。
[0031]盡管向右滑動或者向左滑動手勢在本文中被描述為允許用戶在交通工具的控制面板上的不同的功能之間導(dǎo)航，可以這樣理解的是滑動手勢在其他環(huán)境中的用戶界面之內(nèi)可能被映射成其他指令。但是，公開的用戶界面在汽車環(huán)境中極為有利，因為它允許通過菜單結(jié)構(gòu)實現(xiàn)快速的水平導(dǎo)航。
[0032]一旦用戶選擇了水平菜單欄310上某個圖標(biāo)代表的特定功能，系統(tǒng)100允許用戶通過使用向上滑動手勢，向下滑動手勢和點擊的組合來在已選擇的功能中導(dǎo)航和選擇不同的條目。圖4A是示例性用戶界面的屏幕截圖，描述了使用音樂用戶界面時，汽車觸摸屏125a向用戶展示的示例性垂直導(dǎo)航的列表項。音樂播放器的用戶界面400說明了當(dāng)前選擇的音樂曲目410，先前的曲目420，并且下一個曲目430。如圖所示，當(dāng)前選擇的音樂曲目410沒有被播放。在中央?yún)^(qū)域412的播放符號表明系統(tǒng)將會開始播放當(dāng)前選擇的音樂曲目410以響應(yīng)接受在用戶界面上任何位置的點擊輸入。
[0033]為從當(dāng)前選擇的音樂曲目410導(dǎo)航到先前的音樂曲目420或者下一個音樂曲目430，用戶可分別輸入向下滑動手勢(即從上到下)或者相向上滑動手勢(即從下至上)。與向右滑動手勢350和向左滑動手勢相同，系統(tǒng)翻譯向上滑動手勢或者向下滑動手勢同樣不需考慮和屏幕某一區(qū)域相關(guān)的滑動手勢的位置，無需考慮滑動手勢的范圍(除非區(qū)分一個動作為滑動手勢還是點擊手勢)，并且無需考慮滑動手勢的速度或者加速度分布(例如無需考慮終端速度)。
[0034]圖4B展示了，在圖4B的當(dāng)前選擇的曲目410被改變?yōu)橄惹暗那?20，例如，以響應(yīng)系統(tǒng)從用戶接受到向下滑動的手勢之后的示例性的汽車觸摸屏的音樂播放器用戶界面125a。如暫停圖標(biāo)所示，音樂播放器已經(jīng)開始重新播放當(dāng)前選擇的曲目，例如，以響應(yīng)從用戶接收較早的點擊手勢，在下文中進一步描述。
[0035]圖4C展示了示例性的單個點擊手勢450a_d，用戶可在觸摸屏上作出該手勢以使得音樂播放器開始播放當(dāng)前選擇的音樂曲目，或者如果一個曲目已經(jīng)在播放，以暫停重放。值得注意的是，如同被系統(tǒng)識別的滑動手勢，每個單個的點擊手勢450a_d的位置不影響且不被系統(tǒng)分析或者加以利用以確定正確的響應(yīng)指令。屏幕的中上位置的點擊450a，與屏幕的左上位置的點擊450c以及屏幕125a的右下位置的點擊450d同樣處理。另外，在屏幕125a的特定區(qū)域412的點擊(例如點擊450b)與該區(qū)域外的點擊(例如450a，450c和450d)同樣翻譯。事實上，任何位置的點擊都被翻譯成相同的指令，取決于上下文，比如接受點擊的屏幕，當(dāng)前模式，或者當(dāng)前選擇的功能或者項目。
[0036]在一些實施例中，系統(tǒng)100可能翻譯點擊的數(shù)目和長度來和不同的指令相關(guān)聯(lián)。單擊可能被識別不同于雙擊，并且短的點擊可能被識別不同于長的點擊(例如超過某一時間閥值的點擊手勢)。在一些實施例中，系統(tǒng)可利用用戶作出點擊所用的手指的個數(shù)來與一個不同的指令相關(guān)聯(lián)。所以系統(tǒng)可能翻譯一個手指的點擊不同于兩個手指或者三個手指的點擊。例如，系統(tǒng)100可能將兩個手指的點擊翻譯為“后退”或者“撤消”指令。
[0037]系統(tǒng)100可提供聽覺提示來減少司機從路面轉(zhuǎn)移注意力的需要。例如，在用戶改變功能后預(yù)先錄制的或者人工合成的語音會通知當(dāng)前選擇的功能。為了說明，當(dāng)用戶將功能改變?yōu)橐魳凡シ牌骱?，系統(tǒng)可能通過揚聲器140播放短語“音樂播放器”(或者播放提示性語音，比如短音樂插曲)。在用戶改變功能后語音可額外得或者可選擇得通知可由點擊執(zhí)行的當(dāng)前可用條目。為了說明，當(dāng)用戶將功能導(dǎo)航到音樂播放器并且音樂曲目被呈現(xiàn)給用戶時，系統(tǒng)可通過揚聲器140播放短語“播放曲目”(或者播放提示性語音)。另外一個例子，當(dāng)用戶垂直滑動來導(dǎo)航到集合里的下一項目時(比如來選擇音樂曲目)，預(yù)先錄制的或者人工合成的語音會大聲播放部分或者所有條項目的名字。為了說明，當(dāng)用戶向上或者向下滑動來選擇之前的420或者下一個430曲目，揚聲器140可通知選擇得曲目名字，例如:“跟我一樣的人，比尤拉”。
[0038]由于系統(tǒng)不翻譯從用戶接受到的滑動手勢的位置和范圍，駕駛員可以可靠得將功能從交通工具導(dǎo)航器300a導(dǎo)航到音樂播放器300b，并且也可在視線不離開道路的情況下可靠得選擇期望的音樂曲目420。并且由于觸摸屏中點擊手勢450的位置不影響系統(tǒng)如何翻譯點擊手勢，汽車駕駛員也可以在視線不離開道路的情況下播放或者暫停當(dāng)前選擇的曲目。
[0039]示例性的汽車觸摸屏用戶界面125a，一般而言，當(dāng)前選擇得功能和/或列表項總在焦點中，并作為點擊輸入的潛在目標(biāo)。也就是說，系統(tǒng)100接受到的點擊輸入將執(zhí)行被在當(dāng)前觸摸屏上顯示的被選擇功能或者列表項。
[0040]系統(tǒng)為響應(yīng)雙擊或者長點擊輸入，會執(zhí)行不同于單擊、短點擊輸入的指令。例如，為響應(yīng)長點擊(即按住超過預(yù)定的時間閥值的單個點擊手勢，通常在0.5-2秒的范圍內(nèi))系統(tǒng)可能會執(zhí)行引起系統(tǒng)倒退、取消或者撤消之前指令的“后退”或者“撤消”指令。再舉一個例子，系統(tǒng)可能將雙擊(發(fā)生在預(yù)定的時間閥值內(nèi)的兩個單個的點擊手勢，通常在0-2秒的范圍內(nèi))翻譯為用戶請求提供語音指令，或者在當(dāng)前選擇得項目或者功能上基于語音的搜索查詢。使用語音搜索指令的示例如下。與單擊手勢450可以在顯示屏125a上的任何地方執(zhí)行一樣，系統(tǒng)會同樣地翻譯雙擊或者長點擊手勢，而無論其被在顯示屏125a上執(zhí)行的位置。
[0041]圖5A-C是導(dǎo)航應(yīng)用的示例性用戶界面的屏幕截圖，如可用于汽車內(nèi)以找到并導(dǎo)航到在“購物”類別中的附近的興趣點。在圖5A中，觸摸屏125a顯示了交通工具導(dǎo)航應(yīng)用的用戶界面500。用戶界面500描述了交通工具的當(dāng)前地址和地圖位置550，例如，如從集成到系統(tǒng)100的全球定位系統(tǒng)(GPS)子系統(tǒng)中確定的。數(shù)據(jù)存儲器170可能會包含用于產(chǎn)生界面500的地圖數(shù)據(jù)。
[0042]為響應(yīng)從觸摸傳感器上的任何位置接收到的用戶的雙擊手勢，系統(tǒng)100通過揚聲器140會提示用戶輸入一個語音指令。系統(tǒng)監(jiān)視麥克風(fēng)141接收到的音頻輸入，包括用戶作出的任何語音命令，并通過使用語音-文本轉(zhuǎn)換以及將所得翻譯文本與一系列可用指令進行匹配將接收到的用戶語音轉(zhuǎn)換成可操作的指令。
[0043]例如，系統(tǒng)可能在“查找購物”的語音指令之后接受到雙擊手勢。在這種示例中，作為響應(yīng)，系統(tǒng)可能在用戶周圍搜索相關(guān)結(jié)果，并提供導(dǎo)航應(yīng)用的更新界面502，如圖5B所示。更新的界面502提供了利用被顯示在地圖上和/或?qū)Ш搅斜砀袷街械膱D形圖標(biāo)560，570的搜索結(jié)果。駕駛員可以通過觸摸屏125a上任何位置的向上或者向下的滑動手勢在搜索結(jié)果列表中導(dǎo)航，以從當(dāng)前選擇的搜索結(jié)果510(對應(yīng)于地圖上的當(dāng)前選擇的搜索圖形圖標(biāo)570，其不同于其他的圖形圖標(biāo)560，比如通過大小或者突出)導(dǎo)航到不管是下一個搜索結(jié)果530還是之前的搜索結(jié)果520。用與前述的在音樂播放器中導(dǎo)航音樂曲目相類似的方法，就是通過向上或者向下滑動手勢，用戶在各種搜索結(jié)果中導(dǎo)航。系統(tǒng)通過揚聲器140也可提供搜索結(jié)果的聽覺反饋以進一步減少用戶看觸摸屏顯示器125a的需要。例如，系統(tǒng)可閱讀當(dāng)前選擇搜索結(jié)果的顯示信息(例如“高級護理藥店”)或者可指示由被顯示的結(jié)果的選擇可用的條目。
[0044]系統(tǒng)可接受界面502上的任何位置的單擊手勢，并將單擊手勢翻譯為表示用戶希望獲取當(dāng)前選擇的搜索結(jié)果510的更多信息，比如與當(dāng)前選擇的搜索結(jié)果相關(guān)聯(lián)的位置或地址的方向。為響應(yīng)接受到的點擊手勢，系統(tǒng)會提供更新用戶界面504，如圖5C所示。如圖所示，更新界面504提供了一系列指示540，其提供從交通工具的當(dāng)前地址和地圖位置550到選擇的搜索結(jié)果的位置(在該例中的“高級護理藥店”)的導(dǎo)航。
[0045]圖6是系統(tǒng)100執(zhí)行的檢測手勢并映射手勢至與被顯示的用戶界面相關(guān)的命令的方法600的流程圖。方法600開始于判定模塊605，其中系統(tǒng)100判斷有沒有檢測到手勢。如果沒有手勢被檢測到，方法重復(fù)在塊605開始。否則，如果手勢被檢測到，則方法600前進到模塊610，其中系統(tǒng)100判斷檢測到的手勢是否超過閥值距離。閥值距離是用于區(qū)別一個用戶輸入將被當(dāng)作點擊手勢還是滑動手勢的的預(yù)定的距離。閥值距離的使用確保例如由汽車移動導(dǎo)致的點擊手勢中的輕微移動不會被翻譯成滑動手勢。如果系統(tǒng)判斷手勢沒有超過閥值距離，過程600前進到模塊615，其中系統(tǒng)將被檢測到的手勢歸納為點擊手勢。否則，如果系統(tǒng)判斷手勢超過了閥值距離，過程600前進到模塊620，其中系統(tǒng)將被檢測到的手勢歸納為滑動手勢。
[0046]在模塊625中，系統(tǒng)檢索與已判斷的手勢相關(guān)的指令，其適合于當(dāng)前正在向用戶顯示的用戶界面頁面。例如，系統(tǒng)可分析滑動手勢的方向以確定其為向下滑動手勢，并確定正在向用戶顯示的用戶界面頁面，以及為特定用戶界面頁面檢索與向下滑動手勢相關(guān)的指令。在模塊625中，系統(tǒng)可判斷、分析或者以其他方式利用滑動手勢的方向、被用于創(chuàng)建手勢的手指個數(shù)、點擊手勢的性質(zhì)(例如單個或者兩個)，和/或點擊手勢的持續(xù)時間(例如長或者短)，但是通常不會分析手勢的位置(例如它的起點或者終點)，速度或者加速度分布，或者被檢測到手勢的范圍或者長度來搜索指令。過程600然后前進到模塊630，其中系統(tǒng)執(zhí)行在模塊625檢索到的指令。過程600然后重復(fù)從模塊605開始。
[0047]系統(tǒng)100被描述成檢測、翻譯并響應(yīng)四種滑動手勢:向右滑動，向左滑動，向上滑動，向下滑動。但是，系統(tǒng)可能識別并且響應(yīng)較少的方向上的滑動手勢(例如，只有向左滑動和向右滑動，但是沒有向上滑動和向下滑動)。系統(tǒng)也有可能識別并且響應(yīng)更多的方向上的滑動手勢，比如對角線滑動手勢。
[0048]如前面描述的，不同方向的滑動被匹配成不同的指令。例如項目集合里一個方向上的垂直滑動可能突出前一個項目，而項目集合里相反方向上的垂直滑動可能突出下一個項目。與特定滑動手勢相關(guān)的指令取決于接收到手勢的屏幕的內(nèi)容，以及用戶可能預(yù)先輸入的任何特定模式，比如通過點擊觸摸傳感器。盡管前面討論的每個特定滑動方向(例如向上，向下，向左，向右)在前面被描述成與特定的指令相關(guān)，但可以理解的是每個這些特定的指令可能代替地與前面描述的不同的特定方向相關(guān)聯(lián)。
[0049]在一些示例中，相對于動作的后部分系統(tǒng)可能更側(cè)重或者重視滑動手勢的初始部分(反之亦然)。例如，如果系統(tǒng)更側(cè)重滑動手勢的初始部分，然后系統(tǒng)可能將手勢350e翻譯成向下滑動而不是向右滑動，因為手勢在右轉(zhuǎn)前開始時是向下切入的。在任何情況下，對于將被翻譯成滑動的輸入手勢而言，在動作的開始和動作的結(jié)束之間必須有足夠的距離(比如大于預(yù)定閥值的距離)，否則系統(tǒng)會將用戶輸入翻譯成點擊。
[0050]在一些實施例中，系統(tǒng)100可能識別并且翻譯除了滑動和點擊之外的單個或者多個手指的手勢，并且將這些其他的手勢與其他的指令相聯(lián)系。例如，系統(tǒng)可能識別屏幕上任何位置的“畫圓圈”手勢，并且可能不同于點擊來翻譯圓圈手勢。對于圓圈手勢，系統(tǒng)可能識別并翻譯被畫圓圈的方向。因此響應(yīng)圓圈手勢，系統(tǒng)采取的行為不同，取決于旋轉(zhuǎn)方向。例如，系統(tǒng)可能不同于逆時針的圓圈來翻譯順時鐘的圓圈。為了使系統(tǒng)區(qū)分圓圈和點擊，系統(tǒng)可應(yīng)用最小閥值的半徑或者直徑并確定接收到的手勢的半徑或者直徑是否超過閥值，以確定手勢是點擊還是圓圈。再舉一個例子，系統(tǒng)可能檢測并將雙手指旋轉(zhuǎn)手勢翻譯成一種與特定指令相關(guān)的獨特手勢，例如通過固定的值提高或者降低音樂的音量，比如通過3分貝。再舉一個其他例子，系統(tǒng)可能檢測并將雙手指聚攏或分開翻譯成通過預(yù)定的百分比增加視圖的放大倍數(shù)。再舉一個例子，系統(tǒng)可提供文本輸入模式，其中用戶在觸摸傳感器表面上的任何位置提供手寫輸入，比如單個字符文本輸入。在這個示例中，系統(tǒng)可檢測并翻譯在表面事項上跟蹤到的手寫手勢形狀，但可忽略手寫手勢的大小和整體位置。
[0051]在某些情況下，組件以不同于上面的描述被布置。本文公布的單個組件可當(dāng)做多組件被實施，或者表示由系統(tǒng)的某一組件執(zhí)行的一些功能可由系統(tǒng)的另一組件執(zhí)行。在一些方面，軟件組件可能被在硬件組件上執(zhí)行。此外，不同的組件可被組合。在各種實施例中，同一臺機器上的組件可通過進程間或者進程內(nèi)的通信在不同的線程之間或者在相同的線程上通信，包括在一些情況下，比如通過編組從一個進程到另一個進程(包括從一臺機器到另一臺機器上)的通信，等等。
[0052]上述本發(fā)明示例的具體實施例不旨在窮舉或?qū)⒈景l(fā)明限制于以上公開的精確形式。為了說明，上文描述了本發(fā)明的具體示例，但相關(guān)領(lǐng)域的技術(shù)人員將會認(rèn)識到，各種等同修改在本發(fā)明范圍之內(nèi)是可存在的。例如，當(dāng)盡管進程或者模塊以一給定的順序呈現(xiàn)，可選擇的實施方式可執(zhí)行步驟路線，或者采用具有不同順序模塊的系統(tǒng)并且一些進程或者模塊可能被刪除，移動，添加，劃分，結(jié)合，和/或修改來提供備選或者子組合。這些進程或者模塊可以以不同的方式實現(xiàn)。此外，盡管進程或者模塊有時顯示串聯(lián)執(zhí)行，這些進程或者模塊也可以并聯(lián)執(zhí)行或者實現(xiàn)，或者可在不同的時間執(zhí)行。本文進一步指出任何具體數(shù)字僅僅是示例:可選擇的實施方式可采用不同的值或范圍。
[0053]根據(jù)上述具體實施例可對本發(fā)明作出這樣或者其他的變化。盡管上述說明描述了本發(fā)明的某些示例，并且描述了考慮后的最佳模式，無論上述描述在文字上多么詳細(xì)，本發(fā)明可以以多種方式實施。雖然在【具體實施方式】中系統(tǒng)細(xì)節(jié)可能存在很大不同，但仍然包含在本文公開的發(fā)明中。如上所述，在描述本發(fā)明的特征或者方面使用的特定的術(shù)語，不應(yīng)當(dāng)被認(rèn)為暗示該術(shù)語在此被重新定義，以被限制在任何特定的特性，特征，或者與本發(fā)明術(shù)語相關(guān)的方面中。一般情況下，在下面權(quán)利要求書中使用的詞語不應(yīng)當(dāng)被解釋為將本發(fā)明限制在說明書中公開的特定示例中，除非上述的具體實施例部分明確得定義了這些詞語。因此，本發(fā)明的實際范圍不僅包括公開的示例，還包括在權(quán)利要求書下實踐或?qū)嵤┍景l(fā)明的所有等同方式。
【權(quán)利要求】
1.一種翻譯觸敏輸入設(shè)備上的基于觸摸的手勢以執(zhí)行指令的方法，所述方法包括: 在顯示器上向用戶顯示圖形界面的頁面； 在觸敏輸入設(shè)備上檢測用戶手勢，所述用戶手勢包含起點和終點并反映與所述圖形界面的所述被顯示的頁面相關(guān)聯(lián)的所述用戶的期望動作； 如果所述起點和所述終點之間的距離超過了閥值距離，基于所述手勢的所述起點和所述終點確定所述用戶手勢的方向； 基于所述圖形界面的所述被顯示的頁面和所述用戶手勢的所述方向來識別指令，所述識別無需考慮所述用戶手勢的所述起點，所述用戶手勢的所述終點，所述用戶手勢的所述起點和所述終點之間的距離，所述用戶手勢的所述起點和所述終點之間的運動的速度，或者所述用戶手勢的所述起點和所述終點之間的運動的加速度；以及 執(zhí)行與所述被顯示的頁面相關(guān)聯(lián)的所述被識別的指令，以實現(xiàn)所述用戶的所述期望動作。
2.根據(jù)權(quán)利要求1所述的方法，其中所述觸敏輸入設(shè)備和顯示器被集成在觸摸屏中。
3.根據(jù)權(quán)利要求1所述的方法，其中所述方向為向上，向下，向左和向右。
4.根據(jù)權(quán)利要求1所述的方法，進一步包括當(dāng)顯示所述圖形界面的所述頁面時，向所述用戶提供可用動作的聽覺提示。
5.根據(jù)權(quán)利要求1所述的方法，進一步包括檢測所述用戶做出的所述用戶手勢所用手指的個數(shù)。
6.根據(jù)權(quán)利要求5所述的方法，其中將所述檢測到的用戶的手勢映射為指令被進一步基于在所述手勢中使用的被檢測到的手指個數(shù)。
7.根據(jù)權(quán)利要求5所述的方法，其中兩個手指的手勢被視為“撤銷”或者“后退”指令。
8.根據(jù)權(quán)利要求所述I的方法，其中所述顯示器和觸敏輸入設(shè)備被合并在汽車中。
9.根據(jù)權(quán)利要求所述8的方法，其中所述圖形界面是音樂界面，導(dǎo)航界面或者通信界面。
10.根據(jù)權(quán)利要求1所述的方法，其中所述被識別的指令是實現(xiàn)語音啟動的指令，以及其中執(zhí)行所述被識別的指令包括從所述用戶接受語音指令。
11.一種存儲指令的計算機可讀存儲介質(zhì)，當(dāng)所述指令被計算機設(shè)備執(zhí)行時，使得所述計算機設(shè)備執(zhí)行用于將觸敏輸入設(shè)備上的基于觸摸的手勢翻譯成指令的操作，所述操作包括: 在顯示器上向用戶顯示圖形界面的頁面； 在觸敏輸入設(shè)備上檢測用戶手勢，所述用戶手勢包含起點和終點并反映與所述圖形界面的所述被顯示的頁面相關(guān)聯(lián)的所述用戶的期望動作； 如果所述起點和所述終點之間的距離超過了閥值距離，基于所述手勢的所述起點和所述終點確定所述用戶手勢的方向； 基于所述圖形界面的所述被顯示的頁面和所述用戶手勢的所述方向來識別指令，所述識別無需考慮所述用戶手勢的所述起點，所述用戶手勢的所述終點，所述用戶手勢的所述起點和所述終點之間的距離，所述用戶手勢的所述起點和所述終點之間的運動的速度，或者所述用戶手勢的所述起點和所述終點之間的運動的加速度；以及執(zhí)行與所述被顯示的頁面相關(guān)聯(lián)的所述被識別的指令，以實現(xiàn)所述用戶的所述期望動作。
12.根據(jù)權(quán)利要求11所述的計算機可讀存儲介質(zhì)，其中所述觸敏輸入設(shè)備和顯示器被集成在觸摸屏中。
13.根據(jù)權(quán)利要求11所述的計算機可讀存儲介質(zhì)，所述操作還進一步包括當(dāng)顯示所述圖形界面的所述頁面時，向所述用戶提供可用動作的聽覺提示。
14.根據(jù)權(quán)利要求11所述的計算機可讀存儲介質(zhì)，所述操作還進一步包括檢測所述用戶做出的所述用戶手勢所用手指的個數(shù)。
15.根據(jù)權(quán)利要求14所述的計算機可讀存儲介質(zhì)，其中將所述檢測到的用戶的手勢映射為指令被進一步基于在所述手勢中使用的被檢測到的手指個數(shù)。
16.根據(jù)權(quán)利要求11所述的計算機可讀存儲介質(zhì)，其中所述顯示器和觸敏輸入設(shè)備被合并在汽車中，并且其中所述圖形界面是音樂界面，導(dǎo)航界面或者通信界面。
17.—種能將基于觸摸的手勢翻譯成交通工具中的觸敏輸入設(shè)備上的指令的方法，所述方法包括: 在顯示器上顯示當(dāng)前的圖形界面，其包括導(dǎo)航用戶界面、音樂用戶界面或者通信用戶界面中的一個； 在觸敏輸入設(shè)備上檢測用戶手勢，所述用戶手勢包含起點和終點； 動作如果所述起點和所述終點之間的距離超過了閥值距離，基于所述手勢的所述起點和所述終點確定所述用戶手勢的方向； 基于所述當(dāng)前的界面和所述用戶手勢的方向來識別指令，所述指令反映所述用戶的期望的動作以從所述當(dāng)前的圖形界面轉(zhuǎn)換為不同的界面，其中所述識別無需考慮所述用戶手勢的所述起點，所述用戶手勢的所述終點，所述用戶手勢的所述起點和所述終點之間的距離，所述用戶手勢的所述起點和所述終點之間的運動的速度，或所述用戶手勢的所述起點和所述終點之間的運動的加速度；以及執(zhí)行與所述被顯示的頁面相關(guān)聯(lián)的所述被識別的指令，以實現(xiàn)所述用戶的所述期望動作。
18.根據(jù)權(quán)利要求17所述的方法，其中所述顯示器被安裝在所述交通工具的儀表盤，中央控制臺中，或者是投射到擋風(fēng)玻璃上的平視顯示器。
19.根據(jù)權(quán)利要求17所述的方法，其中所述觸敏輸入設(shè)備被安裝在所述交通工具的方向盤中，并且其中所述識別指令包括感測和補償方向盤的轉(zhuǎn)動。
20.根據(jù)權(quán)利要求17所述的方法，其中所述觸敏輸入設(shè)備和顯示器被集成在觸摸屏中。
【文檔編號】G06F3/0488GK104471353SQ201380031787
【公開日】2015年3月25日 申請日期:2013年4月15日 優(yōu)先權(quán)日:2012年4月16日
【發(fā)明者】加勒特·勞斯·溫伯格, 帕特里克·拉爾斯·蘭格, 蒂莫西·林奇, 維克托·夏因·陳, 拉爾斯·康尼格, 斯拉維克·保羅·雅羅什, 安德魯·孔勒斯 申請人:紐昂斯通信有限公司