用于與數(shù)字設(shè)備交互的直接指向檢測(cè)的系統(tǒng)和方法
【專利說明】用于與數(shù)字設(shè)備交互的直接指向檢測(cè)的系統(tǒng)和方法
[0001]相關(guān)申請(qǐng)
本申請(qǐng)要求2013年6月27日提交的申請(qǐng)?zhí)枮?1/840,447的美國(guó)臨時(shí)申請(qǐng)的優(yōu)先權(quán)，通過引用將其全部?jī)?nèi)容包括在內(nèi)。
技術(shù)領(lǐng)域
[0002]本發(fā)明涉及非接觸式手勢(shì)檢測(cè)，尤其涉及用于采用傳感器來(lái)檢測(cè)非接觸式手勢(shì)的設(shè)備和計(jì)算機(jī)可讀介質(zhì)。
【背景技術(shù)】
[0003]允許用戶與設(shè)備或設(shè)備上運(yùn)行的應(yīng)用進(jìn)行交互，這在許多不同設(shè)置中都是有用的。例如，電子系統(tǒng)通常包含鍵盤、鼠標(biāo)和控制桿等，使得用戶能夠輸入數(shù)據(jù)、操作數(shù)據(jù)，并且使得系統(tǒng)的處理器執(zhí)行各種其它操作。然而，越來(lái)越多的觸控式輸入設(shè)備，比如鍵盤、鼠標(biāo)和控制桿等，被那些允許非接觸式用戶交互的設(shè)備所代替或補(bǔ)充。例如，系統(tǒng)可能包括的圖像傳感器，該圖像傳感器捕獲包括用戶的手和/或手指等的用戶圖像。處理器可配置為接收該圖像并基于用戶執(zhí)行的非接觸式手勢(shì)而發(fā)起操作。因此，有必要改進(jìn)用于檢測(cè)和輸入非接觸式手勢(shì)的技術(shù)。

【發(fā)明內(nèi)容】

[0004]在一個(gè)公開的實(shí)施例中，公開了一種非接觸式手勢(shì)識(shí)別系統(tǒng)。該非接觸式手勢(shì)識(shí)別系統(tǒng)可能包括至少一個(gè)處理器。該至少一個(gè)處理器可能被配置為，啟用對(duì)用戶的第一顯示信息的呈現(xiàn)，以在顯示器上的至少第一位置處提示第一非接觸式手勢(shì)，從至少一個(gè)圖像傳感器接收第一手勢(shì)信息，該第一手勢(shì)信息對(duì)應(yīng)于與所述用戶的第一非接觸式手勢(shì)相關(guān)聯(lián)的、顯示器上的第一手勢(shì)位置，其中至少部分地由于用戶的一只眼相對(duì)于該用戶的另一只眼而言占優(yōu)勢(shì)，所述第一手勢(shì)位置不同于所述第一顯示信息的位置，確定與所述第一顯示信息的位置和所述第一手勢(shì)位置相關(guān)聯(lián)的第一偏移，啟用第二信息的呈現(xiàn)，以提示用戶在所述顯示器上的至少第二位置處做出后續(xù)非接觸式手勢(shì)，從至少一個(gè)圖像傳感器接收所述用戶的后續(xù)非接觸式手勢(shì)對(duì)應(yīng)的后續(xù)手勢(shì)信息，并使用所述第一偏移確定所述顯示器上受所述后續(xù)非接觸式手勢(shì)影響的位置。
[0005]將在以下描述中的部分闡述與實(shí)施例有關(guān)的其他方面，并且從描述中可以理解本發(fā)明的其他方面，或者可以通過公開的實(shí)施例的實(shí)踐學(xué)習(xí)本發(fā)明的其他方面。
[0006]可以理解的是，以上整體概述和以下詳細(xì)描述僅是示例性和解釋性的，并非對(duì)權(quán)利要求的限制。
【附圖說明】
[0007]合并在本說明書中并構(gòu)成本說明書的一部分的附圖，舉例說明了本發(fā)明中的幾個(gè)示例性實(shí)施例，其連同描述，用來(lái)說明本發(fā)明的原理。
[0008]圖1展示了根據(jù)一些公開實(shí)施例的非接觸式用戶界面系統(tǒng)的示例性圖形表示；
圖2A展示了根據(jù)一些公開實(shí)施例的非接觸式用戶界面的示例性處理單元；
圖2B展示了根據(jù)一些公開實(shí)施例的系統(tǒng)的示例性框圖；
圖3A展示了示例性偏移確定步驟，其可依照與本發(fā)明的實(shí)施例相關(guān)聯(lián)的方法、系統(tǒng)及計(jì)算機(jī)可讀介質(zhì)而使用；
圖3B展示了手勢(shì)檢測(cè)和識(shí)別的示例性步驟，其可依照與本發(fā)明的實(shí)施例相關(guān)聯(lián)的方法、系統(tǒng)及計(jì)算機(jī)可讀介質(zhì)而使用；
圖4展示了根據(jù)一些公開實(shí)施例的非接觸式用戶界面系統(tǒng)的示例性圖形表示；
圖5展示了用于識(shí)別指向位置的示例性步驟，其可依照與本發(fā)明的實(shí)施例相關(guān)聯(lián)的方法、系統(tǒng)及計(jì)算機(jī)可讀介質(zhì)而使用；
圖6A展示了根據(jù)一些公開實(shí)施例的非接觸式用戶界面系統(tǒng)的示例性圖形表示；
圖6B展示了根據(jù)一些公開實(shí)施例的非接觸用戶界面系統(tǒng)的示例性圖形表示；
圖7展示了示例性校準(zhǔn)步驟，其可依照與本發(fā)明的實(shí)施例相關(guān)聯(lián)的方法、系統(tǒng)及計(jì)算機(jī)可讀介質(zhì)而使用；
圖8展示了根據(jù)一些公開實(shí)施例的非接觸式用戶界面系統(tǒng)的示例性圖形表示；
圖9展示了用于識(shí)別候選平面或候選區(qū)域的示例性步驟，其可依照與本發(fā)明的實(shí)施例相關(guān)聯(lián)的方法、系統(tǒng)及計(jì)算機(jī)可讀介質(zhì)而使用；
圖10展示了根據(jù)一些公開實(shí)施例的示例性候選平面的維恩圖(Venn diagram)；
圖11展示了示例性手勢(shì)追蹤步驟，其可依照與本發(fā)明的實(shí)施例相關(guān)聯(lián)的方法、系統(tǒng)及計(jì)算機(jī)可讀介質(zhì)而使用；
圖12展示了用于確定單眼優(yōu)勢(shì)的示例性步驟，其可依照與本發(fā)明的實(shí)施例相關(guān)聯(lián)的方法、系統(tǒng)及計(jì)算機(jī)可讀介質(zhì)而使用；
圖13展示了根據(jù)一些公開實(shí)施例的非接觸式用戶界面系統(tǒng)的示例性圖形表示；
圖14展示了根據(jù)一些公開實(shí)施例的用戶臉部的示例性圖形表示；
圖15展示了根據(jù)一些公開實(shí)施例的用戶手部的示例性圖形表示；
圖16A展示了根據(jù)一些公開實(shí)施例的指向視覺效果的示例性圖形表示；
圖16B展示了根據(jù)一些公開實(shí)施例的指向視覺效果的示例性圖形表示；
圖17展示了根據(jù)一些公開實(shí)施例的非接觸式用戶界面系統(tǒng)的示例性圖形表示。
具體實(shí)施例
[0009]以下將結(jié)合附圖對(duì)本發(fā)明的示例性實(shí)施例進(jìn)行詳細(xì)描述。在可能情況下，附圖所使用的相同附圖標(biāo)記表示相同或相似的部件。
[0010]圖1描繪了系統(tǒng)2的實(shí)施例，其用于具有顯示器6的設(shè)備4的非接觸操作。該設(shè)備4可能包括，例如，手機(jī)、智能眼鏡、個(gè)人計(jì)算機(jī)(PC)、娛樂設(shè)備、機(jī)頂盒、電視機(jī)、移動(dòng)游戲機(jī)、平板計(jì)算機(jī)、電子閱讀器、便攜式游戲機(jī)、筆記本電腦或超級(jí)筆記本電腦等便攜式計(jì)算機(jī)、廚房電器等家用電器、通信設(shè)備、空調(diào)、塢站、移動(dòng)視頻游戲設(shè)備等游戲機(jī)、數(shù)碼攝像頭、手表、娛樂設(shè)備、揚(yáng)聲器、智能家居設(shè)備、媒體播放器或媒體系統(tǒng)、定位設(shè)備、微型投影儀或嵌入式投影儀、醫(yī)學(xué)顯示設(shè)備等醫(yī)學(xué)設(shè)備、車輛、車載/機(jī)載資訊娛樂系統(tǒng)、導(dǎo)航系統(tǒng)、可穿戴設(shè)備、增強(qiáng)現(xiàn)實(shí)功能設(shè)備、可穿戴護(hù)目鏡、機(jī)器人、交互式數(shù)字看板、數(shù)字亭、自動(dòng)售賣機(jī)、自動(dòng)柜員機(jī)(ATM)、或可從用戶接收數(shù)據(jù)或向用戶輸出數(shù)據(jù)的任何其它設(shè)備或系統(tǒng)。
[0011]該顯示器6可能包括能夠?qū)е聢D形或其他視覺信息顯示的任何平面、表面、或其它工具。進(jìn)一步地，該顯示器6可能包括將圖像或視覺信息投影到平面或曲面上的任何類型的投影儀。例如，該顯示器6可能包括一個(gè)或多個(gè)電視機(jī)、計(jì)算機(jī)顯示器、頭戴式顯示器、廣播參考監(jiān)視器、液晶顯示器(IXD)屏幕、基于發(fā)光二極管(LED)的顯示器、LED背光LCD顯示器、陰極射線管(CRT)顯示器、電致發(fā)光(ELD)顯示器、電子紙/墨水顯示器、等離子顯示面板、有機(jī)發(fā)光二極管(OLED)顯示器、薄膜晶體管(TFT)顯示器、高性能定址(HPA)顯示器、表面?zhèn)鲗?dǎo)電子發(fā)射顯示器、量子點(diǎn)顯示器、干涉調(diào)制器顯示器、體掃描顯示器、碳納米管顯示器、變焦鏡顯示器、發(fā)射波長(zhǎng)顯示器、激光顯示器、全息顯示器、光場(chǎng)顯示器、墻壁、三維顯示器、電子墨水顯示器、以及用于輸出視覺信息的任何其它電子設(shè)備。該顯示器6可能包括觸摸屏或者是觸摸屏的一部分。圖1描繪的顯示器6是設(shè)備4的一部分。然而，在可選的實(shí)施例中，顯示器6可能在設(shè)備4的外部。
[0012]該系統(tǒng)2還可能包括圖像傳感器8(或從圖像傳感器8接收信息)，該圖像傳感器8位于設(shè)備4附近并且配置為獲取以虛線10為界的三維(3-D)觀察空間的圖像。該圖像傳感器8可能包括任何圖像采集設(shè)備，例如，攝像頭、光傳感器、紅外線(IR)傳感器、超聲傳感器、接近傳感器、CMOS圖像傳感器、短波紅外線(SWIR)圖像傳感器、或反射傳感器、CXD圖像傳感器、反射傳感器、包括三維圖像傳感器或兩個(gè)或兩個(gè)以上二維立體圖像傳感器的深度視頻系統(tǒng)、以及能夠感應(yīng)環(huán)境的視覺特性的任何其它設(shè)備中的一個(gè)或多個(gè)。舉例來(lái)說，圖1描繪了與設(shè)備4相鄰的圖像傳感器8，但在可選的實(shí)施例中，該圖像傳感器8可能成為該設(shè)備4的一部分或者遠(yuǎn)離設(shè)備4。
[0013]位于由虛線10所指示的觀察空間中的用戶16可能出現(xiàn)在圖像傳感器8所獲取的圖像中。該圖像傳感器8可能輸出二維的或三維的單色的、彩色的、或IR視頻至處理單元12，該處理單元12可能與圖像傳感器8集成在一起，或者通過有線或無(wú)線通信通道連接至該圖像傳感器8。
[0014]本發(fā)明的實(shí)施例可能包括至少一個(gè)處理器。這里使用的術(shù)語(yǔ)“處理器”可能包括對(duì)一個(gè)輸入或多個(gè)輸入執(zhí)行邏輯運(yùn)算的電路。例如，這種處理器可能包括一個(gè)或多個(gè)集成電路、微芯片、微控制器、微處理器、全部的或部分的中央處理單元(CPU)、圖形處理單元(GPU)、數(shù)字信號(hào)處理器(DSP)、現(xiàn)場(chǎng)可編程門陣列(FPGA)、專用集成電路(ASIC)、或適用于執(zhí)行指令或執(zhí)行邏輯運(yùn)算的任何其它電路。該至少一個(gè)處理器可能與處理單元一致，或者可能組成處理單元的任何部分，例如，圖2A所示的處理單元12。圖2A的處理單元12可能包括處理器15和存儲(chǔ)器13等等，存儲(chǔ)器13可能用于存儲(chǔ)由圖像傳感器8獲取的圖像。處理單元12和/或處理器15配置為執(zhí)行存在于處理器15和/或存儲(chǔ)器13中的一個(gè)或多個(gè)指令。
[0015]存儲(chǔ)器13可能包括，例如，一個(gè)或多個(gè)非暫態(tài)性存儲(chǔ)器、R0M、EEPR0M、EAR0M、閃速存儲(chǔ)器設(shè)備、磁盤、磁光盤、CD-R0M、DVD_R0M、藍(lán)光媒介，并且可能包括指令(比如軟件或固件)和/或其它數(shù)據(jù)。圖2A描繪了作為處理單元12的一部分的存儲(chǔ)器3，但在其它實(shí)施例中，存儲(chǔ)器13可能在處理單元12的外部。
[0016]處理單元12可能配置為分析由圖像傳感器8獲取的圖像，并追蹤由用戶16用來(lái)與顯示器6交互的一個(gè)或多個(gè)預(yù)定義的指向元件。指向元件可能包括，例如，位于該圖像傳感器8的觀察空間內(nèi)的用戶16的指尖14。在一些實(shí)施例中，該指向元件可能包括，例如，用戶16的一只或多只手、手的一部分、一個(gè)或多個(gè)手指、手指的一個(gè)或多個(gè)部分、以及一個(gè)或多個(gè)指尖14、或手持式定位筆。雖然圖1描繪了作為指向元件的指尖14，但是可以類似地使用其它的指向元件并且服務(wù)于同樣的目的。因此，無(wú)論在本說明書的什么地方提到指尖14，其都應(yīng)當(dāng)被看作只是一個(gè)例子，并且應(yīng)當(dāng)大致理解為也包括其他指向元件。
[0017]處理單元12配置為呈現(xiàn)顯示信息，比如在顯示器6上的圖標(biāo)20，用戶16可能將指尖14指向該圖標(biāo)20。處理單元12還可能配置為在顯示器6上指示輸出18(指針(indicator)18)，該輸出18對(duì)應(yīng)于用戶16所指的位置。例如，如圖17所示，該用戶16可能打算指向顯示器6上的顯示信息(圖標(biāo)20)。在這個(gè)例子中，處理單元12可能確定該用戶16實(shí)際上指向手勢(shì)位置19。然而，該處理單元12可能確定與顯示信息和手勢(shì)位置19之間的差別相關(guān)的偏移O。通過部分使用與該偏移O相關(guān)的信息，處理單元12可以反應(yīng)用戶意圖地向顯示器6的目的地發(fā)送輸出(例如，指針18)。在圖17所示的例子中，盡管用戶16實(shí)際上指向手勢(shì)位置19，但是指針18顯示在與圖標(biāo)20相同的位置。
[0018]手勢(shì)位置19可能是與該顯示器6上的位置有關(guān)的任何數(shù)學(xué)表達(dá)方式，其根據(jù)用戶指向的位置由系統(tǒng)2定義在某點(diǎn)。該手勢(shì)位置19可以包括在顯示器(x，y)上的特定坐標(biāo)(X，y)或(三維顯示情況下的x，y，z)。手勢(shì)位置19可能包括在該顯示器6上的區(qū)域或位置(例如，候選平面)。另外，該手勢(shì)位置19可以被定義為與顯示器上的位置有關(guān)的概率函數(shù)(比如三維高斯函數(shù))。該手勢(shì)位置19可以與一組疊加圖片相關(guān)聯(lián)，該疊加圖片反映了檢測(cè)的質(zhì)量，比如表示該手勢(shì)位置19在顯示器6上的位置的估計(jì)的精確性的概率。
[0019]在智能眼鏡的情況下，例如，有能力向用戶16呈現(xiàn)數(shù)字信息的可穿戴眼鏡，該手勢(shì)位置可能被定義為虛擬平面的位置，該虛擬平面是由智能眼鏡顯示器呈現(xiàn)的用戶認(rèn)為看到數(shù)字信息的平面。
[0020]顯示信息可能包括靜態(tài)圖像、動(dòng)態(tài)圖像、交互對(duì)象(比如圖標(biāo))、視頻、和/或任何可視化信息。顯示信息可以由上述顯示器的任何方式來(lái)顯示，并且可能包括平板顯示器、曲面顯示器、投影機(jī)、如用在可穿戴眼鏡中的透明顯示器，和/或直接地或間接地投射至用戶的眼或瞳孔的顯示器。
[0021]指向圖標(biāo)的指示或反饋可能由例如視覺指示、音頻指示、觸感指示、超聲波指示、觸覺指示中的一個(gè)或多個(gè)提供。顯示視覺指示可能包括，例如，在顯示器6上顯示圖標(biāo)、在顯示器6上更改圖標(biāo)、在顯示器6上更改圖標(biāo)的顏色、顯示指示燈、顯示亮度增強(qiáng)、陰影或其它效果、在顯示器6上移動(dòng)指針、提供方向性振動(dòng)指示、和/或提供空氣觸覺指示。視覺指針可能出現(xiàn)在顯示器6上出現(xiàn)的所有其它圖像或視頻的上面(或前面)。如用戶16在顯示器6上選擇的圖標(biāo)的視覺指針，可能與用戶的眼22和在共同觀察光線24(或視線)上的指尖14共線。由于下面將更詳細(xì)描述的原因，這里使用的術(shù)語(yǔ)“用戶的眼”為定義用戶的臉上與視線相關(guān)的位置或區(qū)域的簡(jiǎn)短術(shù)語(yǔ)。因此，這里使用的術(shù)語(yǔ)“用戶的眼”包括眼的瞳孔或其它的眼特征、眼之間的用戶臉部位置、或與至少一個(gè)用戶的眼相關(guān)的在用戶臉部上位置、或可能與視線有關(guān)的臉上的一些其它的解剖特征。這種概念有時(shí)還稱為“虛擬眼”。
[0022]圖標(biāo)作為示例性圖形元素，可能在顯示器6上顯示并被用戶16選擇。除了圖標(biāo)之夕卜，圖形元素還可能包括，例如，顯示在已顯示的圖像和/或影片中的對(duì)象、顯示在顯示器6上