近距離的自然用戶界面系統(tǒng)及其操作方法
【技術(shù)領(lǐng)域】
[0001 ]本發(fā)明一般而言涉及自然用戶界面系統(tǒng)，并且更具體而言，涉及用于近距離自然用戶界面系統(tǒng)的系統(tǒng)。
【背景技術(shù)】
[0002]在很大程度上，人類與諸如計(jì)算機(jī)、平板電腦和移動(dòng)電話之類的電子設(shè)備的交互需要物理地操縱控制件、按壓按鈕或觸摸屏幕。例如，用戶經(jīng)諸如鍵盤和鼠標(biāo)之類的輸入設(shè)備與計(jì)算機(jī)交互。雖然鍵盤和鼠標(biāo)對(duì)于諸如輸入文本和滾動(dòng)文檔的功能是有效的，但是它們對(duì)其中用戶可以與電子設(shè)備交互的許多其它方式不是有效的。用戶持有鼠標(biāo)的手被局限在只沿著平面二維(2D)的表面移動(dòng)，并且利用鼠標(biāo)導(dǎo)航通過三維虛擬空間是笨拙且非直觀的。同樣，觸摸屏的平坦界面不允許用戶傳達(dá)任何深度的概念。
[0003]利用三維(3D，或深度)相機(jī)，或者在一個(gè)設(shè)備上的兩個(gè)相機(jī)，可以實(shí)現(xiàn)電子設(shè)備基于手勢(shì)的3D控制。但是，當(dāng)前允許利用用戶的身體或手的3D控制方法依賴于大的手勢(shì)、冗長(zhǎng)的校準(zhǔn)過程或者昂貴或不容易得到的專業(yè)設(shè)備。
[0004]因此，對(duì)用于提供和操作近距離自然用戶界面的更簡(jiǎn)單的解決方案，仍然存在需求。鑒于當(dāng)前解決方案的復(fù)雜性和成本，找到這些問題的答案變得日益重要。鑒于日益增加的商業(yè)競(jìng)爭(zhēng)壓力，以及不斷增長(zhǎng)的消費(fèi)者期望和市場(chǎng)上有意義的產(chǎn)品差異機(jī)會(huì)的減少，因此，為這些問題找到答案至關(guān)重要。此外，節(jié)省成本、提高效率和性能并且滿足競(jìng)爭(zhēng)壓力的需求為找到這些問題答案的關(guān)鍵必要性添加了甚至更大的緊迫性。
[0005]—直以來都在尋找對(duì)于這些問題的解決方案，但是，此前的發(fā)展還沒有教導(dǎo)或建議長(zhǎng)期以來困擾著本領(lǐng)域的技術(shù)人員的這些問題的任何解決方案。

【發(fā)明內(nèi)容】

[0006]本發(fā)明提供了操作自然用戶界面系統(tǒng)的方法，包括:提供具有顯示屏和顯示設(shè)備相機(jī)的顯示設(shè)備;提供具有移動(dòng)設(shè)備相機(jī)的移動(dòng)設(shè)備，移動(dòng)設(shè)備相機(jī)的光軸被放置成與顯示設(shè)備相機(jī)的光軸成一角度;將移動(dòng)設(shè)備與顯示設(shè)備配對(duì);檢測(cè)用戶的手;確定用戶的手的姿勢(shì)和移動(dòng);將用戶的手的姿勢(shì)和移動(dòng)轉(zhuǎn)換為用于控制在顯示屏上的用戶界面的元素的手勢(shì)。
[0007]本發(fā)明提供了自然用戶界面系統(tǒng)，包括:具有顯示屏和顯示設(shè)備相機(jī)的顯示設(shè)備；具有移動(dòng)設(shè)備相機(jī)的移動(dòng)設(shè)備，移動(dòng)設(shè)備相機(jī)的光軸被放置成與顯不設(shè)備相機(jī)的光軸成一角度;其中:移動(dòng)設(shè)備包括第一設(shè)備配對(duì)模塊，用于將移動(dòng)設(shè)備與顯示設(shè)備配對(duì);移動(dòng)設(shè)備相機(jī)和顯示設(shè)備相機(jī)用于:檢測(cè)用戶的手，和確定用戶的手的姿勢(shì)和移動(dòng);并且顯示設(shè)備包括運(yùn)動(dòng)轉(zhuǎn)換模塊，用于將用戶的手的姿勢(shì)和移動(dòng)轉(zhuǎn)換為用于控制在顯示屏上的用戶界面的元素的手勢(shì)。
[0008]除了以上提到的那些或者作為其替代，本發(fā)明的某些實(shí)施例還具有其它的步驟或元素。通過在參考附圖時(shí)閱讀以下具體描述，這些步驟和元素對(duì)本領(lǐng)域技術(shù)人員將變得顯然。
【附圖說明】
[0009]圖1是在本發(fā)明實(shí)施例中的自然用戶界面系統(tǒng)。
[0010]圖2是來自圖1的移動(dòng)設(shè)備相機(jī)的用戶的手的示例性視圖。
[0011]圖3是在本發(fā)明的第二實(shí)施例中的自然用戶界面系統(tǒng)。
[0012]圖4是在本發(fā)明還有的實(shí)施例中的操作自然用戶界面系統(tǒng)的方法的流程圖。
【具體實(shí)施方式】
[0013]以下實(shí)施例進(jìn)行了足夠詳細(xì)的描述，以便使本領(lǐng)域技術(shù)人員能夠獲得并使用本發(fā)明。應(yīng)當(dāng)理解，基于本公開內(nèi)容，其它實(shí)施例將是顯而易見的，并且在不背離本發(fā)明范圍的情況下可以做出系統(tǒng)、過程或機(jī)械上的變化。
[0014]在以下描述中，給出了許多具體的細(xì)節(jié)，以提供對(duì)本發(fā)明的透徹理解。但是，很顯然，本發(fā)明沒有這些具體細(xì)節(jié)也可以實(shí)踐。為了避免模糊本發(fā)明，一些眾所周知的電路、系統(tǒng)配置和過程步驟沒有具體地公開。
[0015]示出系統(tǒng)實(shí)施例的附圖是半圖式的且不是按比例的，并且，特別地，一些維度是為了呈現(xiàn)清晰起見并且在附圖中被夸大地示出。同樣，盡管為了描述容易起見的附圖中的視圖一般地示出類似的朝向，但是圖中的這個(gè)描繪對(duì)大部分來說是任意的。通常，本發(fā)明可以以任何朝向進(jìn)行操作。
[0016]在所有附圖中使用了相同的標(biāo)號(hào)來與相同的元素關(guān)聯(lián)。實(shí)施例為了方便描述可以被編號(hào)為第一實(shí)施例、第二實(shí)施例等，并不是要具有任何其它的重要意義或?qū)Ρ景l(fā)明提供限制。
[0017]為了說明的目的，本文所使用的術(shù)語“水平的”被定義為平行于用戶位置的地面的平面或表面的平面。術(shù)語“垂直的”指垂直于如剛才所定義的水平的方向。術(shù)語，諸如“在……上方”、“在……下方”、“底部”、“上部”、“側(cè)”(如在“側(cè)壁”中)、“較高”、“較低”、“上面”、“在……之上”、“在……之下”，是相對(duì)于水平的平面定義的，如在圖中所示出的。術(shù)語“在…上”意味著元素之間存在直接接觸。術(shù)語“直接在……上”意味著一個(gè)元素和另一個(gè)元素之間存在直接接觸而沒有中間元素。
[0018]術(shù)語“活動(dòng)面”指模具、模塊、包裝或電子結(jié)構(gòu)的其上具有構(gòu)造的電路系統(tǒng)或具有用于連接到在模具、模塊、包裝或電子結(jié)構(gòu)內(nèi)的活動(dòng)電路系統(tǒng)的元素的一側(cè)。
[0019]如本文所使用，術(shù)語“處理”包括如在形成所述結(jié)構(gòu)中所需要的材料或光致抗蝕劑的沉積、構(gòu)圖、曝光、顯影、蝕刻、清洗和/或材料或光致抗蝕劑的去除。
[0020]現(xiàn)在參考圖1，其中示出了本發(fā)明實(shí)施例中的自然用戶界面系統(tǒng)100。自然用戶界面系統(tǒng)100包括移動(dòng)設(shè)備102和顯示設(shè)備104。所示出的指向顯示設(shè)備104的顯示屏106的是用戶的手108。用戶的面部也被示出，其中具有繪為點(diǎn)線的視線(eyeline)矢量110，示出用戶正在看屏幕上的哪里。
[0021]移動(dòng)設(shè)備102被示出在以面朝下的朝向在顯示設(shè)備104的前面，但是，應(yīng)該理解，移動(dòng)設(shè)備102也可以是面朝上的。移動(dòng)設(shè)備102的面(face)被定義為移動(dòng)設(shè)備102的主顯示屏幕，其在這個(gè)例子中是不可見的。移動(dòng)設(shè)備102具有移動(dòng)設(shè)備相機(jī)112，其當(dāng)移動(dòng)設(shè)備102處于面朝下朝向時(shí)移動(dòng)設(shè)備相機(jī)112的面朝上。移動(dòng)設(shè)備相機(jī)112的光軸被定義為移動(dòng)設(shè)備相機(jī)112面朝或“看”的方向。換而言之，移動(dòng)設(shè)備相機(jī)112的視野的中心可以是移動(dòng)設(shè)備相機(jī)112的光軸。移動(dòng)設(shè)備相機(jī)112是視頻捕獲機(jī)制。移動(dòng)設(shè)備相機(jī)112可以能夠捕捉二維(2D)或三維(3D)圖像。移動(dòng)設(shè)備102可以是任何各種電子設(shè)備，諸如智能電話、功能電話、啟用WiFi的相機(jī)、平板電腦或具有相機(jī)、處理能力和無線能力的任何設(shè)備。
[0022]移動(dòng)設(shè)備102還具有閃光燈114，用于當(dāng)環(huán)境光不足以分辨移動(dòng)設(shè)備相機(jī)112前面是什么時(shí)照亮在移動(dòng)設(shè)備相機(jī)112前面的對(duì)象。例如，當(dāng)確定了黑暗條件(例如，沒有足夠的光來獲得可用的圖像)時(shí)，閃光燈114可以被激活并用作用于照明的恒定光源或者當(dāng)用移動(dòng)設(shè)備相機(jī)112拍攝照片時(shí)用作閃光燈。從閃光燈114發(fā)射的光僅僅作為例子通過閃光燈114上方的三角形表示。閃光燈114可以利用任何發(fā)光技術(shù)操作，諸如白熾燈、發(fā)光二極管(LED)、熒光燈、鹵素?zé)艋蚱渌愋偷墓狻?br>[0023]顯示設(shè)備104通過無線連接協(xié)議諸如WiF1、藍(lán)牙、蜂窩數(shù)據(jù)協(xié)議或其它無線協(xié)議--與移動(dòng)設(shè)備102配對(duì)，并且被不出為面向移動(dòng)設(shè)備102。例如，移動(dòng)設(shè)備102的第一設(shè)備配對(duì)模塊可以連接到顯示設(shè)備104的第二設(shè)備配對(duì)模塊。第一設(shè)備配對(duì)模塊的和第二設(shè)備配對(duì)模塊可以按照需要在移動(dòng)設(shè)備102和顯示設(shè)備104之間來回發(fā)送有關(guān)數(shù)據(jù)。顯示設(shè)備104可以具有顯示屏106，作為用于自然用戶界面系統(tǒng)100的主觀看屏幕。
[0024]顯示設(shè)備104具有顯示設(shè)備相機(jī)116，其優(yōu)選地面向與顯示設(shè)備104的顯示屏106相同的方向。顯示設(shè)備相機(jī)116的光軸被定義為顯示設(shè)備相機(jī)116面向或“看”的方向。換而言之，顯示設(shè)備相機(jī)116的視野的中心可以是顯示設(shè)備相機(jī)116的光軸。顯示設(shè)備相機(jī)116可以能夠捕捉二維(2D)或三維(3D)圖像。顯示設(shè)備104可以是諸如膝上型計(jì)算機(jī)、多合一桌面計(jì)算機(jī)、連接到桌面計(jì)算機(jī)的監(jiān)視器、平板電腦、TV、智能電話或能夠進(jìn)行無線連接的其它設(shè)備之類的設(shè)備，包括與移動(dòng)設(shè)備102同樣的設(shè)備。在這個(gè)例子中，顯示設(shè)備104被示為安裝在底座上的平板計(jì)算機(jī)，但是應(yīng)當(dāng)理解，這只是作為例子。
[0025]移動(dòng)設(shè)備102和顯示設(shè)備104可以包含能夠執(zhí)行各種功能的多個(gè)模塊，諸如，耦合到第一設(shè)備配對(duì)模塊的形狀檢測(cè)模塊、耦合到形狀檢測(cè)模塊或第一設(shè)備配對(duì)模塊的運(yùn)動(dòng)跟蹤模塊，及耦合到運(yùn)動(dòng)跟蹤模塊的運(yùn)動(dòng)轉(zhuǎn)換模塊。僅僅移動(dòng)設(shè)備102、僅僅顯示設(shè)備104、或者移動(dòng)設(shè)備102和顯示設(shè)備104的組合可以同時(shí)或并行地運(yùn)行這些模塊中的一些或全部。
[0026]移動(dòng)設(shè)備相機(jī)112和顯示設(shè)備相機(jī)116被放置成具有重疊的視野并其各自的光軸彼此成一角度。例如，移動(dòng)設(shè)備相機(jī)112和顯示設(shè)備相機(jī)116的光軸可以是大致地彼此垂直，這與指向平行方向的相機(jī)與用于立體三維相機(jī)的相機(jī)系統(tǒng)截然相反。換句話說，移動(dòng)設(shè)備相機(jī)112和顯示設(shè)備相機(jī)116具有指向不同方向的光軸，以便具有重疊的視野，從而從相對(duì)于重疊視野中的對(duì)象的不同角度捕捉在重疊視野