手108的示例性視圖。用戶的手108作為例子被示為處于指向位置。由于移動(dòng)設(shè)備相機(jī)112指向朝上，因此對(duì)于用戶的手108的背景是天花板。本領(lǐng)域普通技術(shù)人員應(yīng)當(dāng)理解，天花板將或者是基本上無特征的或者將具有可以被容易地檢測(cè)到的規(guī)則重復(fù)圖案，使得隔離用戶的手108用于圖像處理比從房間的典型凌亂中挑選出用戶的手108相對(duì)容易。
[0045]已經(jīng)發(fā)現(xiàn)，將移動(dòng)設(shè)備相機(jī)112放置在具有對(duì)用戶的手108清楚和無遮擋的視圖中，對(duì)著干凈的背景，比如天花板，可以加快處理速度并簡(jiǎn)化用于解釋用戶的手108的移動(dòng)的計(jì)算。很容易從移動(dòng)設(shè)備相機(jī)112的位置確定用戶的手108的形狀(諸如指向，抓，平放等)，從而使得圖1的顯示設(shè)備104無需具有用于確定用戶的手108的形狀的三維相機(jī)或其它專用裝備；當(dāng)從前面觀看時(shí)，將用戶的手108的形狀確定到高的準(zhǔn)確度將需要比簡(jiǎn)單的邊緣或線條檢測(cè)允許的更多的信息。分割圖1的移動(dòng)設(shè)備102和顯示設(shè)備104之間的處理減少了總的處理時(shí)間，因?yàn)橛?jì)算可以在更小的數(shù)據(jù)集上執(zhí)行并且還可以并行執(zhí)行，其中移動(dòng)設(shè)備102和顯示設(shè)備104中的每一個(gè)都看見用戶的手108的有用但不同的角度。
[0046]現(xiàn)在參考圖3，其中示出了在本發(fā)明的第二實(shí)施例中的自然用戶界面系統(tǒng)300。自然用戶界面系統(tǒng)300包括移動(dòng)設(shè)備302和顯示設(shè)備304。在顯示設(shè)備304的顯示屏306的前面示出的是用戶的手308。
[0047]移動(dòng)設(shè)備302被示為以面朝下的朝向在顯示設(shè)備304的前面，但是，應(yīng)該理解，移動(dòng)設(shè)備302也可以是面朝上的。移動(dòng)設(shè)備302的面(face)被定義為移動(dòng)設(shè)備302的主顯示屏幕，其在這個(gè)例子中是不可見的。移動(dòng)設(shè)備302具有移動(dòng)設(shè)備相機(jī)312，其當(dāng)移動(dòng)設(shè)備302處于面朝下朝向時(shí)它面朝上。移動(dòng)設(shè)備相機(jī)312的光軸被定義為移動(dòng)設(shè)備相機(jī)312面向或“看”的方向。換而言之，移動(dòng)設(shè)備相機(jī)312的視野的中心可以是移動(dòng)設(shè)備相機(jī)312的光軸。移動(dòng)設(shè)備相機(jī)312是視頻捕獲機(jī)制。移動(dòng)設(shè)備相機(jī)312可以能夠捕捉二維(2D)或三維(3D)圖像。移動(dòng)設(shè)備302可以是任何各種電子設(shè)備，諸如智能電話、功能電話、啟用WiFi的相機(jī)、平板電腦或具有相機(jī)、處理能力和無線能力的任何設(shè)備。
[0048]移動(dòng)設(shè)備302還具有閃光燈314，用于照亮移動(dòng)設(shè)備相機(jī)312前面的對(duì)象。例如，閃光燈314可以用作用于照明的恒定光源或者當(dāng)用移動(dòng)設(shè)備相機(jī)312拍攝照片時(shí)用作閃光燈。閃光燈314可以利用任何發(fā)光技術(shù)操作，諸如白熾燈、發(fā)光二極管(LED)、熒光燈、鹵素?zé)艋蚱渌愋偷墓狻?br>[0049]顯示設(shè)備304通過無線連接協(xié)議諸如WiF1、藍(lán)牙、或蜂窩數(shù)據(jù)協(xié)議與移動(dòng)設(shè)備302配對(duì)，并且被示出為面向移動(dòng)設(shè)備302。顯示設(shè)備304可以具有顯示屏306作為用于自然用戶界面系統(tǒng)300的主觀看屏幕。
[0050]顯示設(shè)備304具有顯示設(shè)備相機(jī)316，其優(yōu)選地面向與顯示設(shè)備304的顯示屏306相同的方向。顯示設(shè)備相機(jī)316的光軸被定義為顯示設(shè)備相機(jī)316面向或“看”的方向。換而言之，顯示設(shè)備相機(jī)316的視野的中心可以是顯示設(shè)備相機(jī)316的光軸。顯示設(shè)備304可以是諸如膝上型計(jì)算機(jī)、多合一桌面計(jì)算機(jī)、連接到桌面計(jì)算機(jī)的監(jiān)視器、平板電腦、TV、智能電話或能夠無線連接的其它設(shè)備之類的設(shè)備。在這個(gè)例子中，顯示設(shè)備304被示為膝上型計(jì)算機(jī)，但是應(yīng)當(dāng)理解，這只是作為例子。
[0051]移動(dòng)設(shè)備302和顯示設(shè)備304可以包含能夠執(zhí)行各種功能的多個(gè)模塊，諸如，耦合到第一設(shè)備配對(duì)模塊的形狀檢測(cè)模塊、耦合到形狀檢測(cè)模塊的運(yùn)動(dòng)跟蹤模塊，及耦合到運(yùn)動(dòng)跟蹤模塊的運(yùn)動(dòng)轉(zhuǎn)換模塊。僅僅移動(dòng)設(shè)備302、僅僅顯示設(shè)備304、或者移動(dòng)設(shè)備302和顯示設(shè)備304的組合可以同時(shí)或并行地運(yùn)行這些模塊中的一些或全部。
[0052]移動(dòng)設(shè)備相機(jī)312和顯示設(shè)備相機(jī)316被放置成具有重疊的視野318，其各自的光軸彼此成一角度。例如，移動(dòng)設(shè)備相機(jī)312和顯示設(shè)備相機(jī)316的光軸可以是大致地彼此垂直，這與指向平行方向的相機(jī)與用于立體三維相機(jī)的相機(jī)系統(tǒng)截然相反。換句話說，移動(dòng)設(shè)備相機(jī)312和顯示設(shè)備相機(jī)316的指向彼此成一角度，使得其光軸創(chuàng)建了重疊的視野3118，從而從相對(duì)于重疊視野318中的對(duì)象的不同角度捕捉在重疊視野318中的任何對(duì)象的圖像。
[0053]在這個(gè)例子中，重疊的視野318通過從移動(dòng)設(shè)備相機(jī)312和顯示設(shè)備相機(jī)316中的每一個(gè)延伸出去的兩條實(shí)線表示，其繪出了各自視野的外部延伸的例子。應(yīng)該理解，所示出的重疊視野318的外部延伸只是作為例子，并且重疊視野318的外部延伸依賴于移動(dòng)設(shè)備相機(jī)312和顯示設(shè)備相機(jī)316的能力。用戶的手308被示為在移動(dòng)設(shè)備相機(jī)312和顯示設(shè)備相機(jī)316的重疊視野318內(nèi)。由于移動(dòng)設(shè)備相機(jī)312和顯示設(shè)備相機(jī)316看到非常不同的用戶的手308的視圖，因此能夠獲得關(guān)于用戶的手308的有關(guān)三維位置和運(yùn)動(dòng)的信息。
[0054]例如，移動(dòng)設(shè)備相機(jī)312可以拍攝用戶的手308的底部的圖像并且容易地檢測(cè)到前后(相對(duì)于顯示設(shè)備304的顯示屏306)和側(cè)向運(yùn)動(dòng)。移動(dòng)設(shè)備相機(jī)312還可以檢測(cè)到用戶的手308的形狀或姿勢(shì)(比如指向、抓，平放等)。顯示設(shè)備相機(jī)316可以拍攝用戶的手308的前面的圖像并且可以很容易地檢測(cè)到上下和側(cè)向方向中的運(yùn)動(dòng)。
[0055]顯示設(shè)備相機(jī)316也可以從前面檢測(cè)用戶的手308的形狀或姿勢(shì)，以與從移動(dòng)設(shè)備相機(jī)312檢測(cè)到的用戶的手308的形狀或姿勢(shì)組合和細(xì)化。通過三角測(cè)量和相關(guān)技術(shù)，諸如將來自移動(dòng)設(shè)備相機(jī)312和顯示設(shè)備相機(jī)316的側(cè)向運(yùn)動(dòng)進(jìn)行相關(guān)，在移動(dòng)設(shè)備302、顯示設(shè)備304、或移動(dòng)設(shè)備302和顯示設(shè)備304兩者上并行運(yùn)行的自然用戶界面系統(tǒng)300可以計(jì)算三維位置和運(yùn)動(dòng)信息，而無需使用深度映射或立體技術(shù)。
[0056]同樣作為例子，移動(dòng)設(shè)備302和顯示設(shè)備304可以裝備有陀螺儀、羅盤和/或加速計(jì)，以在任何時(shí)間確定移動(dòng)設(shè)備302和顯示設(shè)備304的方位。這允許移動(dòng)設(shè)備302可以被放置在相對(duì)于顯示設(shè)備304的任意角度，只要移動(dòng)設(shè)備相機(jī)312具有與顯示設(shè)備相機(jī)316重疊的視野并與其處于某個(gè)角度。
[0057]例如，如果移動(dòng)設(shè)備302和顯示設(shè)備304兩者都裝備有羅盤(電子的或模擬的)和陀螺儀，則觀看朝向可以基于羅盤讀數(shù)和陀螺儀進(jìn)行同步，使得用戶的校準(zhǔn)是不必要的。
[0058]同樣作為例子，如果顯示設(shè)備304裝備有陀螺儀或其它傳感器，則可以在確定用戶的手308的運(yùn)動(dòng)時(shí)確定顯示設(shè)備相機(jī)316的角度，并且對(duì)其進(jìn)行補(bǔ)償。作為另一個(gè)例子，在移動(dòng)設(shè)備302中的陀螺儀可以確定何時(shí)移動(dòng)設(shè)備302處于面朝下的位置并且自動(dòng)地發(fā)起到顯示設(shè)備304的無線連接并且初始化自然用戶界面系統(tǒng)300，而無需任何來自用戶的進(jìn)一步交互。
[0059]已經(jīng)發(fā)現(xiàn)，使移動(dòng)設(shè)備302和顯示設(shè)備304兩者都裝備陀螺儀、羅盤和/或加速度提供了更好的用戶體驗(yàn)。因?yàn)橐苿?dòng)設(shè)備302和顯示設(shè)備304的朝向在任何給定時(shí)間都是已知的，因此移動(dòng)設(shè)備302可以放置在相對(duì)于顯示設(shè)備304的任意朝向，從而避免需要冗長的校準(zhǔn)過程或限制移動(dòng)設(shè)備302必須被如何放置。此外，基于移動(dòng)設(shè)備302的朝向的自動(dòng)配對(duì)還可以去除用戶要打開或操作移動(dòng)設(shè)備302上的特定程序的需要，進(jìn)一步簡(jiǎn)化了用戶體驗(yàn);所有用戶需要做的是將電話以面朝下的朝向放置，以便能夠使用自然用戶界面系統(tǒng)300。
[0060]繼續(xù)該例子，如由被放置成其各自光軸彼此成一角度并且重疊的移動(dòng)設(shè)備相機(jī)312和顯示設(shè)備相機(jī)316確定的用戶的手308的姿勢(shì)和移動(dòng)可以被轉(zhuǎn)換為光標(biāo)在顯示屏306上的移動(dòng)。用戶的手308的相對(duì)移動(dòng)可以被轉(zhuǎn)換為光標(biāo)的移動(dòng)。作為具體例子，光標(biāo)可以被設(shè)置為不移動(dòng)或不出現(xiàn)，直到用戶的手處于特定的形狀，比如用一個(gè)手指指向屏幕。用戶的手上的特定點(diǎn)可以用移動(dòng)設(shè)備相機(jī)312和顯示設(shè)備相機(jī)316兩者分別進(jìn)行跟蹤，以便確定在3D空間中的移動(dòng)。運(yùn)動(dòng)跟蹤轉(zhuǎn)換為光標(biāo)在顯示屏306上的移動(dòng)也可以通過向量映射結(jié)合移動(dòng)設(shè)備302和顯示設(shè)備304之間的距離的確定來完成。
[0061]還繼續(xù)該例子，移動(dòng)設(shè)備相機(jī)312具有用戶的手308的視圖，其中天花板作為背景。這意味著，由于天花板背景通常很干凈，因此，分割、閾值法和以其它方式確定用戶的手308的形狀是個(gè)簡(jiǎn)單的過程。用戶的手308在相對(duì)于顯示屏306的前向軸上的移動(dòng)可以，例如，被轉(zhuǎn)換為按鈕的按壓。作為另一個(gè)例子，移動(dòng)設(shè)備302的閃光燈314可以被用來在光線不足的情況下照亮用戶的手308。所使用的光例如可以是在可見光的范圍內(nèi)，或者可以是在紅外(IR)范圍內(nèi)用于使用而沒有用在暗處的明亮光干擾用戶的風(fēng)險(xiǎn)。
[0062]已經(jīng)發(fā)現(xiàn)，處理來自使其各自的光軸被放置成彼此成一角度并且重疊的移動(dòng)設(shè)備相機(jī)312和顯示設(shè)備相機(jī)316的單獨(dú)的圖像集合導(dǎo)致其中用戶的手308是主要控制輸入的自然用戶界面的更快和更容易的三維控制。例如，與其中只從前面看見用戶的手308的顯示設(shè)備相機(jī)316相比，從移動(dòng)設(shè)備相機(jī)312的底部向上視圖中確定用戶的手308指向顯示屏306，在計(jì)算上