與自然用戶界面的雙手交互的制作方法
【專利說明】與自然用戶界面的雙手交互
[0001 ]
[0002]已經(jīng)開發(fā)了為用戶提供控制用戶界面的直觀機制的自然用戶界面。自然用戶界面可利用一個或多個傳感器來監(jiān)視輸入，諸如被轉(zhuǎn)換成用戶界面控制的手/手臂姿勢和/或語音命令。
[0003]挺述
[0004]揭示了有關(guān)與自然用戶界面的雙手交互的各實施例。例如，一個實施例提供了一種方法，該方法包括:通過由計算設(shè)備接收的圖像數(shù)據(jù)來檢測由用戶的第一只手做出的上下文設(shè)置輸入，并向顯示器發(fā)送基于虛擬交互坐標(biāo)系統(tǒng)定位的用戶界面，該虛擬坐標(biāo)系統(tǒng)基于用戶的第一只手的位置來定位。該方法還包括通過由該計算設(shè)備接收的圖像數(shù)據(jù)來檢測由該用戶的第二只手執(zhí)行的動作輸入，該動作輸入在該用戶的第一只手正在做出上下文設(shè)置輸入時執(zhí)行，并基于該上下文設(shè)置輸入以及在該動作輸入和該虛擬交互坐標(biāo)系統(tǒng)之間的交互來向顯示器發(fā)送響應(yīng)。
[0005]提供本概述以便以簡化形式介紹將在以下詳細描述中進一步描述的一些概念。本概述并不旨在標(biāo)識所要求保護主題的關(guān)鍵特征或必要特征，也不旨在用于限制所要求保護主題的范圍。而且，所要求保護的主題不限于解決該公開的任一部分中所注的任何或全部缺點的實現(xiàn)方式。
[0006]附圖簡述
[0007]圖1示意性地示出根據(jù)本公開的一實施例的查看增強現(xiàn)實用戶界面的用戶。
[0008]圖2是說明根據(jù)本公開的一實施例的用于控制用戶界面的方法的流程圖。
[0009]圖3是說明根據(jù)本公開的一實施例的在與用戶界面交互時做出的示例手勢序列。
[0010]圖4是說明根據(jù)本公開的一實施例的在與用戶界面交互時做出的另一示例手勢序列。
[0011]圖5是說明根據(jù)本公開的另一實施例的用于控制用戶界面的方法的流程圖。
[0012]圖6是說明根據(jù)本公開的一實施例的被做出以控制用戶界面的另一示例手勢序列。
[0013 ]圖7示意性地示出計算系統(tǒng)的一示例實施例。
[0014]詳細描述
[0015]如上所述，自然用戶界面可由計算設(shè)備利用來接收用戶輸入。自然用戶界面可允許用戶在使用環(huán)境中通過經(jīng)由傳感器檢測到的諸如身體姿勢/姿態(tài)之類的動作和語音命令來與計算設(shè)備交互。這樣的傳感器的示例包括，但不限于，圖像傳感器(包括深度相機和二維圖像傳感器)、聲學(xué)傳感器、和/或運動傳感器。然而，確定檢測到的姿勢、語音段、和/或由用戶執(zhí)行的其它動作是否旨在控制界面可能成為挑戰(zhàn)，因為對應(yīng)于用戶界面命令的各動作也可能對應(yīng)于在用戶界面上下文之外執(zhí)行的各動作。
[0016]此外，某些類型的自然用戶界面可能成為附加的挑戰(zhàn)。例如，增強現(xiàn)實顯示設(shè)備(諸如透視頭戴式顯示器)的自然用戶界面可利用顯示為位于用戶的視野中的立體圖像的用戶界面元素。當(dāng)用戶試圖與這樣的用戶界面元素進行交互時，各用戶界面元素相對于用戶身體的表觀位置有時可能是用戶難以精確感知的。這對于與該用戶界面的用戶交互而言可能成為挑戰(zhàn)。
[0017]因此，在此揭示有關(guān)與自然用戶界面的交互的各實施例，其可有助于表明與用戶界面進行交互的用戶意圖，并且還可促成對相對于用戶界面元素的用戶姿勢的空間感知。簡言之，所揭示的各實施例利用雙手交互，其中一只手做出定義由另一只手做出的動態(tài)動作姿勢的上下文的上下文設(shè)置姿勢。上下文設(shè)置姿勢可發(fā)出用戶的執(zhí)行用戶界面交互的意圖以及潛在地針對交互的特定上下文的信號，并且還可提供用于定位用于顯示用戶界面并作出動態(tài)動作姿勢的坐標(biāo)系統(tǒng)的基準(zhǔn)位置。
[0018]圖1示出根據(jù)本公開的一實施例的用戶102的第一人稱視角，該用戶102在查看顯示在近眼顯示設(shè)備104上的增強現(xiàn)實用戶界面100。圖1的增強現(xiàn)實用戶界面100包括全息電視108和多個控件元素110，每個控件元素110被配置來控制在全息電視108上的媒體的回放的一個或多個方面。所描繪的控件元素110包括播放按鈕、停止按鈕、暫停按鈕、快進按鈕、和后退按鈕，但將理解這樣的用戶界面可包括任何合適的控件。進一步，當(dāng)圖1示出虛擬對象時，在某些實施例中，用戶102還可經(jīng)由透視近眼顯示設(shè)備連同虛擬對象一起查看現(xiàn)實世界對象。將理解，所描繪的全息電視108是作為向用戶102顯示的增強現(xiàn)實用戶界面100的示例來提供的，且任何其它合適的用戶界面可被顯示。各示例包括，但是不限于，其它娛樂相關(guān)的用戶界面(例如，游戲界面和音頻播放器)、瀏覽器(web、文件等)、生產(chǎn)力軟件相關(guān)的界面、通信界面、操作系統(tǒng)/固件/硬件控件界面等。
[0019]來自用戶102的姿勢輸入可被用于控制近眼顯示設(shè)備104的一個或多個方面。例如，近眼顯示設(shè)備104可接收來自(以下描述的)一個或多個傳感器的圖像信息，并在這樣的圖像和/或音頻信息中標(biāo)識用于控制近眼顯示設(shè)備104的身體姿勢(包括姿態(tài))。盡管在近眼顯示設(shè)備的上下文中進行描述，但是將理解在此描述的用戶界面交互可以與配置用于通過圖像傳感器接收輸入的任何其它計算系統(tǒng)一起使用。各實施例包括，但不限于，桌面計算機、膝上計算機、平板計算機、智能電話、和其它可穿戴計算系統(tǒng)。
[0020]用戶102做出的姿勢可通過從一個或多個圖像傳感器(諸如位于近眼顯示設(shè)備104上的深度相機)接收的圖像信息來檢測。這樣的姿勢可被用于控制一個或多個計算機程序。為指示用戶102試圖控制的一功能性(程序、程序上下文等)，用戶102可用第一只手做出上下文設(shè)置姿勢。作為一個示例，在圖1中，用戶102以伸展的張開手掌形狀舉起左手112，其中用戶的手掌朝向背離用戶且四指和大拇指分開。這個上下文設(shè)置姿勢可觸發(fā)，例如，光標(biāo)控制模式，其中用戶102用所顯示的光標(biāo)116來控制用戶界面的一個或多個方面。用戶的另一只手接著可被用來控制光標(biāo)，如以下更詳細地描述的。
[0021]一旦檢測到上下文設(shè)置輸入，近眼顯示設(shè)備104就可基于用戶的上下文設(shè)置輸入手(例如，第一只手)來定位虛擬交互坐標(biāo)系統(tǒng)。虛擬交互坐標(biāo)系統(tǒng)可包括空間區(qū)域，其中用戶的第二只手可做出動態(tài)動作姿勢來控制顯示給用戶的用戶界面的一個或多個方面。也可基于虛擬交互坐標(biāo)系統(tǒng)來顯示用戶界面元素，并且因此可基于上下文設(shè)置輸入手的位置來定位。以此方式，上下文設(shè)置輸入手可提供現(xiàn)實世界基準(zhǔn)位置來幫助用戶用另一只手作出動態(tài)動作姿勢。
[0022]將理解，其它傳感器也可以與近眼顯示設(shè)備104—起使用。例如，近眼顯示設(shè)備104可包括一個或多個運動傳感器，以在用戶正戴著顯示系統(tǒng)時檢測用戶頭的移動。運動數(shù)據(jù)可以潛在地與眼睛跟蹤數(shù)據(jù)和面向外的圖像數(shù)據(jù)一起被使用來用于注視跟蹤以及用于圖像穩(wěn)定化，以幫助校正來自面向外圖像傳感器的圖像中的模糊。近眼顯示設(shè)備104還可包括聲學(xué)傳感器，諸如話筒。將理解，各傳感器是出于示例的目的而描述的，且不旨在以任何方式進行限制，因為可以使用任何其他合適的傳感器和/或傳感器的組合。
[0023]近眼顯示設(shè)備104還包括具有與各傳感器和顯示子系統(tǒng)通信的邏輯機和數(shù)據(jù)保持機的計算設(shè)備。數(shù)據(jù)保持機包括存儲于其上的指令，所述指令可例如由邏輯機執(zhí)行，以接收和解釋來自各傳感器的輸入、確定用戶做出的姿勢、并向透視近眼顯示子系統(tǒng)發(fā)送對所檢測到的姿勢的響應(yīng)。示例硬件配置在以下更詳細地描述。
[0024]圖2示出了通過雙手交互來控制用戶界面的方法200ο方法200可以由任何合適的計算設(shè)備來執(zhí)行，包括但不限于近眼顯示設(shè)備104。在202，方法200包括從一個或多個圖像傳感器接收圖像信息。圖像傳感器包括一個或多個深度相機和/或一個或多個二維相機。
[0025]方法200還包