提供駕駛艙的人機工程三維手勢多模態(tài)接口的系統(tǒng)和方法
【技術(shù)領(lǐng)域】
[0001]本文所述主題的實施例一般涉及計算機航空系統(tǒng)。更具體地，本文所述主題的實施例涉及一種用于提供在駕駛艙應(yīng)用中使用的人機工程學(xué)三維的、基于手勢的、多模態(tài)接口的系統(tǒng)和方法。
【背景技術(shù)】
[0002]開發(fā)了與計算機交互的新穎和創(chuàng)新的方法，用以增大計算機的可用性。例如，已經(jīng)引入了觸摸屏接口，其允許用戶在沒有鼠標(biāo)和/或鍵盤的情況下向計算機提供命令。然而，這些新方法中的一些易于受到將無意的用戶交互解釋為命令的損害；這樣的無意的交互可以定義為在沒有用戶同意的情況下由觸摸屏接口檢測到的任何交互。無意的交互可以由用戶手或其它物理對象等的碰撞、振動、偶然掠過引起，并可以導(dǎo)致系統(tǒng)誤運轉(zhuǎn)或操作錯誤。
[0003]當(dāng)前開發(fā)的、提供了對無意用戶交互的更大抗擾度的接口是手勢識別接口。手勢一般是手移動。如本文提及的，手勢具有特定運動動態(tài)，并且由用戶手掌和手指的一個或多個靜態(tài)或動態(tài)分量(component)組成。然而，手勢識別接口的采用也具有約束，諸如需要高度的預(yù)處理和復(fù)雜算法來從周圍環(huán)境提取并分析用戶的交互。
[0004]手勢識別接口取決于跨所建立的可視感測的體積范圍上感測的三維(3D)成像信息。廣泛的可視感測范圍限制了系統(tǒng)的準(zhǔn)確性、可靠性和精度，并且呈現(xiàn)對于航空器駕駛艙應(yīng)用的顯著技術(shù)挑戰(zhàn)。
[0005]提議的避免這些問題的一個方法依靠用戶握住或以其它方式操縱控制器或手持設(shè)備。這些控制器可以充當(dāng)身體的延伸，以便在執(zhí)行手勢時，可以由系統(tǒng)識別運動。然而，除了需要用戶握住控制器或其它設(shè)備以便與處理器交互以外，系統(tǒng)僅識別有限類型的運動。
[0006]為了克服前述方法的一些缺點，已經(jīng)提出了體積計算系統(tǒng)，以供使用在例如航空器駕駛艙上，以減少無意的用戶交互。傳感器被置于貼近顯示設(shè)備，顯示設(shè)備耦合到交互控制器。這個體積計算系統(tǒng)使得用戶或開發(fā)者能夠與系統(tǒng)交互，以便在不與系統(tǒng)進行物理接觸的情況下激活控制功能。在于2013年2月26日提交的題為“SYSTEM AND METHOD FORINTERACTING WITH A TOUCH SCREEN INTERFACE UTILIZING A HOVER GESTURE CONTROLLER”并且讓與本受讓人的美國專利申請13/777，737中示出并描述了這樣的系統(tǒng)的示例，其教導(dǎo)通過引用并入在此。以上專利申請的系統(tǒng)代表了對于現(xiàn)有技術(shù)的顯著改進。
[0007]仍存在對3D手勢接口的廣泛采用的阻礙。或許對3D手勢接口的廣泛采用的最顯著阻礙在于需要用戶抬高他或她的手臂和手，以便將手勢輸入到系統(tǒng)中。這是使人疲勞的并降低了接口的吸引力。另一個缺點是進行交互的手常常在用戶的視線中。用戶通常優(yōu)選最小化對進行交互的手的任何注視，并且能夠坐著，進行交互的手的手臂在扶手上。又一個缺點是依賴于一個擴展的傳感器體積來生成用于多個用戶的多個有效3D手勢交互體積的系統(tǒng)可能易于受到無意的或非故意的手勢輸入的損害。前述的偏好和易損性可能妨礙當(dāng)前手勢識別系統(tǒng)在某些應(yīng)用中的實踐性。利用單獨的人機工程學(xué)和人體測量學(xué)測量(例如，手臂長度、座椅高度、扶手高度等)來適應(yīng)用戶偏好是合期望的，并將會解決對3D手勢接口的采用的一些阻礙。
[0008]鑒于前述，一種用于使用在駕駛艙應(yīng)用中的人機工程學(xué)三維的、基于手勢的、多模態(tài)接口是合期望的，下文中將這個接口稱為“3D手勢交互接口 ”。對于接口而言將會合期望的是當(dāng)飛行員的手臂支撐在扶手上時操作，并在進行交互的手不在飛行員的視線中時運轉(zhuǎn)；這些交互有時稱為“扶手支撐手勢交互”。對于接口而言還將會合期望的是，自動地(自動模式)或者通過允許飛行員根據(jù)人機工程學(xué)和人體測量學(xué)需要與偏好而交互和定制(飛行員驅(qū)動的模式)來構(gòu)造有效的3D手勢交互體積(下文中稱為“有效交互體積”)。除了減少控制功能的無意激活的概率以外，這些改進將會減少疲勞、改進生產(chǎn)率并增強用戶的總體體驗。

【發(fā)明內(nèi)容】

[0009]提供本概述來以簡化的形式介紹概念的選擇，所述概念以下在【具體實施方式】中進一步描述。本概述并非旨在標(biāo)識所要求保護的主題的關(guān)鍵特征或必需特征，也不是旨在用作幫助確定所要求保護的主題的范圍。
[0010]提供一種用于操作航空器的方法?；谟脩羰直酆褪窒鄬τ陲w行員支撐裝置的位置，生成基本上圍繞用戶手的有效交互體積。該方法在有效交互體積內(nèi)執(zhí)行的手勢指示有效手勢輸入時進行識別，并生成相關(guān)聯(lián)的系統(tǒng)命令。
[0011]還提供了一種航空器機載的體積計算系統(tǒng)。系統(tǒng)包括飛行員支撐裝置、傳感器、顯示設(shè)備和處理器。處理器耦合到飛行員支撐裝置、傳感器和顯示器?；谟脩羰直酆褪窒鄬τ陲w行員支撐裝置的位置，處理器被配置為生成基本上圍繞用戶手的有效交互體積。處理器還被配置為在有效交互體積內(nèi)執(zhí)行的手勢指示有效手勢輸入時進行識別，并生成相關(guān)聯(lián)的系統(tǒng)命令。
[0012]還提供了一種用于操作航空器的方法。該方法相對于至少一個傳感器而定位與座椅耦合的扶手。該方法然后基于座椅、扶手和至少一個傳感器的定位和位置而構(gòu)造預(yù)定傳感器體積。基于用戶手臂和手相對于預(yù)定傳感器體積的位置，該方法生成基本上圍繞用戶手的有效交互體積。分析用戶手掌和手指在有效交互體積內(nèi)的靜態(tài)和動態(tài)移動。當(dāng)用戶手掌和手指在有效交互體積內(nèi)的靜態(tài)和動態(tài)移動指示有效手勢輸入時，識別有效手勢輸入。
[0013]從以下的【具體實施方式】和所附權(quán)利要求，結(jié)合附圖及本背景，其它合期望的特征將變得顯而易見。
【附圖說明】
[0014]在結(jié)合以下各圖考慮時，通過參考以下【具體實施方式】和權(quán)利要求，可以得到主題的更完整的理解，其中，遍及各圖，同樣的參考標(biāo)號指代類似的元素，并且其中:
[0015]圖1是包括顯示器和體積控制器的航空器駕駛員座艙系統(tǒng)的框圖；
[0016]圖2是體積計算解決方案的等距(isometric)視圖；
[0017]圖3是航空器駕駛員座艙的圖示，示出了用于機長的有效交互體積和副駕駛員的有效交互體積的位置；
[0018]圖4是示出3D傳感器、對應(yīng)的3D傳感器體積和有效交互體積的航空器駕駛員座艙的圖示；
[0019]圖5是用于有效交互體積的構(gòu)造的自動模式的一般化框圖；
[0020]圖6是示出規(guī)格化(normalized)手臂人體測量學(xué)模型的特征的圖示；
[0021]圖7是示出座椅模型的特征的圖示；
[0022]圖8是示出由3D手勢交互接口生成的所估計的人機工程學(xué)手定位的圖示；
[0023]圖9是用于有效交互體積的構(gòu)造的飛行員發(fā)起的模式的一般化框圖；
[0024]圖10是手掌和手指在手勢交互體積內(nèi)的視覺反饋的圖示；
[0025]圖11是有效交互體積的構(gòu)造的飛行員發(fā)起的模式的流程圖；
[0026]圖12是3D手勢交互模型系統(tǒng)的詳細框圖；
[0027]圖13是與相關(guān)聯(lián)的UI元素功能可供性(affordance)重疊的用戶接口(UI)元素的圖示；及
[0028]圖14是3D手勢交互模型的圖示。
【具體實施方式】
[0029]以下的【具體實施方式】在本質(zhì)上僅僅是說明性的，并非旨在限制主題或申請的實施例以及這樣的實施例的使用。本文描述為示例性的任何實現(xiàn)方式都不一定解釋為相對于其它實現(xiàn)方式是優(yōu)選的或者有利的。此外，沒有意圖通過在前述技術(shù)領(lǐng)域、【背景技術(shù)】、
【發(fā)明內(nèi)容】
或以下【具體實施方式】中呈現(xiàn)的任何表述的或暗含的理論來進行限制。
[0030]技術(shù)與科技可以按照功能和/或邏輯塊組件并參考可以由各種計算組件或設(shè)備執(zhí)行的操作、處理任務(wù)和功能的符號表示來在本文進行描述。這樣的操作、任務(wù)和功能有時稱為計算機執(zhí)行的、計算機化的、軟件實現(xiàn)的或者計算機實現(xiàn)的。實際上，一個或多個處理器設(shè)備可以通過操縱表示系統(tǒng)存儲器中存儲器位置處的數(shù)據(jù)位的電信號以及信號的其它處理來實施所述的操作、任務(wù)和功能。其中維護數(shù)據(jù)位的存儲器位置是物理位置，其具有對應(yīng)于數(shù)據(jù)位的特定電氣、磁性、光學(xué)、或有機屬性。應(yīng)當(dāng)領(lǐng)會到，圖