專利名稱：虛擬觸控感應(yīng)系統(tǒng)及方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用戶輸入設(shè)備，特別是一種虛擬觸控感應(yīng)的系統(tǒng)及方法。
背景技術(shù)：
現(xiàn)今移動電話大致從兩個方向發(fā)展，一個方向是以語音為主的電話，另一個方向則為智能型電話，它在話音功能外，還配備了強大的運算能力，有如微型電腦般，融合通訊、 個人數(shù)字助理、娛樂等于一身。智能電話由于需要顯視大量資訊而需要較大的屏幕，所以往往會取消按鍵鍵盤而使用觸控鍵盤。這除了可以節(jié)省空間之外，還可以配合多元化的介面。以一般以手指觸控設(shè)計的手機而言，為了減低誤觸率，屏幕上的虛擬按鍵也需要為了較大的手指觸控面積而增大。如此一來，屏幕面積也要增大，而整個手機的機身比一般手機大20-30%，甚至一半。 較大機身除了會不便于攜帶外，亦難以使用單手操作。

發(fā)明內(nèi)容
因此，本發(fā)明的實施例提供了一種可在細小的屏幕上以手指準(zhǔn)確觸控的系統(tǒng)和方法，能大幅縮減移動設(shè)備的體積并大大增加輸入介面的可用面積，令輸入介面更容易使用。相應(yīng)地，本發(fā)明的第一個實施方案是一種虛擬觸控感應(yīng)方法，它包括下列步驟使用一個以上感應(yīng)器對位于虛擬受控區(qū)內(nèi)的指示物的坐標(biāo)進行檢測、以及根據(jù)該指示物的坐標(biāo)計算在顯示屏幕中相應(yīng)的屏幕坐標(biāo)。所述虛擬受控區(qū)的操作面的面積大于所述顯示屏幕的面積。本發(fā)明的另一個實施方案是一種虛擬觸控感應(yīng)系統(tǒng)，包括處理器、顯示屏幕以及一個以上感應(yīng)器。感應(yīng)器對位于虛擬受控區(qū)內(nèi)的指示物的坐標(biāo)進行檢測。處理器根據(jù)該指示物的坐標(biāo)計算在顯示屏幕相應(yīng)的屏幕坐標(biāo)。所述虛擬受控區(qū)的操作面的面積大于所述顯示屏幕的面積。本發(fā)明針對現(xiàn)在的移動設(shè)備的觸控式屏幕面積比較細小的局限性，以立體計算機視覺及動態(tài)偵測技術(shù)為基礎(chǔ)，提供了一種預(yù)測式的操控介面，該操控介面的面積大于實體屏幕的面積。本發(fā)明以攝像鏡頭取得用戶手指指尖的三維空間的位置，并將指尖投射在屏幕的位置以鼠標(biāo)指針顯示。當(dāng)鼠標(biāo)進入屏幕的某個選項/虛擬按鍵的范圍時，便設(shè)置該選項(鍵)為預(yù)選項，并以不同顏色/形態(tài)顯示。本發(fā)明有三種操作模式，分別將操控面投射在移動設(shè)備的上方或下方的任意角度，只要在虛擬操控面或觸控屏上(配合有關(guān)操作模式)作點擊動作，而無需準(zhǔn)確點選有關(guān)選項，便可完成一個選項的輸入。該設(shè)計可以多指尖 (多點)同時操作，方便用戶可以雙手把持移動設(shè)備的機身，以兩個拇指快速按鍵。本發(fā)明的設(shè)計提供了虛擬操控面，由于它沒有被移動設(shè)備的實際的操控面大小所限制，可提供比原操控面更大的虛擬操控面，能大大提升按鍵的準(zhǔn)確性，因而可將更多的按鍵放于更細的屏幕上以供用戶輸入。


圖1展示了一種根據(jù)本發(fā)明的一個實施例，在屏幕兩個邊緣角位裝有攝像鏡頭的移動設(shè)備。圖2顯示了用戶在使用圖1中的移動設(shè)備時，用手指在虛擬觸控區(qū)內(nèi)進行操作的側(cè)視圖。圖3是根據(jù)本發(fā)明的一個實施例，顯示裝有攝像鏡頭的移動設(shè)備的系統(tǒng)框圖。圖4是根據(jù)本發(fā)明的一個實施例，顯示虛擬觸控方法工作流程的流程圖。圖5是根據(jù)本發(fā)明的一個實施例，顯示虛擬受控區(qū)的操作面與移動設(shè)備顯示屏幕之間的空間關(guān)系的示意圖。圖6是根據(jù)本發(fā)明的一個實施例，使用兩個攝像鏡頭檢測虛擬受控區(qū)內(nèi)指示物的三維坐標(biāo)的幾何關(guān)系示意圖。圖7展示了根據(jù)本發(fā)明的一個實施例，在手指上附加的方便攝像鏡頭檢測的標(biāo)記。圖8是根據(jù)本發(fā)明的一個實施例，在其機身背面裝有攝像鏡頭的移動設(shè)備。圖9展示了用戶在使用圖5中的移動設(shè)備時其顯示屏幕上顯示的半透明手指指尖影像。圖10是根據(jù)本發(fā)明的一個實施例，在其機身下端的兩個邊緣角位裝有攝像鏡頭的移動設(shè)備。圖11展示了用戶在使用圖7中的移動設(shè)備時其顯示屏幕上顯示的經(jīng)過鏡像翻轉(zhuǎn)的半透明手指指尖影像。圖12是根據(jù)本發(fā)明的一個實施例，在其屏幕上端兩個邊緣角位裝有攝像鏡頭，且該攝像鏡頭可以旋轉(zhuǎn)的移動設(shè)備。圖13a_13c是圖12中的移動設(shè)備的攝像鏡頭旋轉(zhuǎn)到不同角度時產(chǎn)生的虛擬受控區(qū)的示意圖。
具體實施例方式雖然在這里本發(fā)明是根據(jù)特定用途的示例性的實施例進行描述，但是應(yīng)明白本發(fā)明并不僅限于此。所屬領(lǐng)域的技術(shù)人員根據(jù)這里所提供的教導(dǎo)會認(rèn)識到其它的修改、應(yīng)用、 所屬范圍內(nèi)的實施例、以及本發(fā)明能具有顯著效用的其它領(lǐng)域?，F(xiàn)在參見圖1，本發(fā)明的第一個實施例是一個安裝了分別位于可以觸摸操作的顯示屏幕沈的左邊和右邊的邊緣角位上的兩個攝像鏡頭22、24的移動設(shè)備20。這兩個攝像鏡頭22J4是用來檢測指示物(例如用戶的手指指尖)的感應(yīng)器。攝像鏡頭22J4的水平可視范圍32、34大體上分別朝向屏幕沈的中心位置。在圖2中，可見攝像鏡頭22(攝像鏡頭對也是如此)具有一定的垂直可視范圍 36。然而，由于攝像鏡頭22和M的一部分可視范圍被移動設(shè)備機身所遮擋，因此只有位于屏幕沈之上的空間能夠被用作虛擬受控區(qū)觀。用戶手指的指尖30可在該虛擬受控區(qū)觀內(nèi)移動并進行虛擬觸控，而詳細流程將會如下所述。根據(jù)本發(fā)明的一個實施例的移動設(shè)備的系統(tǒng)結(jié)構(gòu)顯示在圖3中。該移動設(shè)備20 包括左攝像鏡頭22、右攝像鏡頭對、顯示屏幕26、處理器60、存儲器62、以及分別與左攝像鏡頭22和右攝像鏡頭M相連的兩個影像存儲器63。處理器60與其他各部件相連接，分別對它們進行控制，并負責(zé)移動設(shè)備20中安裝的軟件的指令運算。存儲器62中儲存了上述的軟件以便移動設(shè)備20能夠正常完成其功能。顯示屏幕沈根據(jù)處理器60的控制負責(zé)將用戶介面顯示給用戶，并且在一個優(yōu)選實施例中，顯示屏幕沈為觸摸屏幕，也即接收用戶的觸摸控制。左攝像鏡頭22和右攝像鏡頭M所拍攝到的影像分別儲存在兩個影像存儲器 63中，然后處理器60會讀取兩個影像存儲器63中儲存的左攝像鏡頭22和右攝像鏡頭M 所拍攝到的影像，以對指示物的坐標(biāo)作出檢測。在一個優(yōu)選實施例中，左攝像鏡頭22和右攝像鏡頭M每秒鐘會拍攝30幅圖像。該檢測過程會在下面作出詳細描述。圖4展示了根據(jù)本發(fā)明的一個實施例的虛擬觸控感應(yīng)方法的流程圖，其中的各項步驟將會在下面一一介紹。在這個實施例中，使用了如同圖1和圖2所示的移動設(shè)備進行虛擬觸控感應(yīng)。該方法中所用到的軟件運算都在處理器60中完成。方法由起點79開始。 第一步，是在步驟80中通過左攝像鏡頭22和右攝像鏡頭M分別獲取指示物(用戶指尖) 的左鏡頭影像和右鏡頭影像。如圖5所示，虛擬受控面觀如同上面所說的是位于屏幕沈之上的立體空間。指示物任意的在虛擬受控面觀內(nèi)作三維移動，而虛擬受控面的大小和位置與攝像鏡頭的可視角度有關(guān)。這里，虛擬受控區(qū)觀的操作面40被定義為指示物所移動的表面，該表面不一定是二維平面，而可以是三維空間中的任意表面，例如一個彎曲的表面。 指示物在該表面上的每一個位置都對應(yīng)于屏幕沈上一個相應(yīng)的二維坐標(biāo)。在圖5所示的實施例中，操作面40是虛擬受控區(qū)觀中一個與屏幕沈大體平行的二維平面。可以看出， 無論操作面40相對于屏幕沈的垂直高度有多少(也就是坐標(biāo)ζ的數(shù)值)，該操作面40的尺寸都是要大于屏幕26的面積的。這是由屏幕沈與虛擬受控區(qū)觀所組成的梯形關(guān)系所決定的。屏幕26為梯形的上底，而操作面40為梯形的下底。只要虛擬受控區(qū)在左右感應(yīng)器(鏡頭)的可拍攝范圍內(nèi)，虛擬受控區(qū)可以動態(tài)地調(diào)整，而無須改變鏡頭的朝向方位和角度，可以調(diào)節(jié)圖5中梯形的腰的傾斜程度(夾角Θ42及夾角α 41)，從而在特定的高度上， 可以動態(tài)地調(diào)節(jié)操作操作面40的尺寸大小。在分別獲取指示物的左鏡頭影像和右鏡頭影像之后，則需要分別在左鏡頭影像和右鏡頭影像之中找出指示物，如步驟82所示。指示物一般是鏡頭前最近的物體。如果左、 右鏡頭的坐標(biāo)并非平行(即圖6中的Z ZlZe Φ 0)，或者鏡頭導(dǎo)致了影像變形(如魚眼鏡的桶狀變形)，則需要先作如圖4中的步驟84進行旋轉(zhuǎn)坐標(biāo)轉(zhuǎn)換及影像校正。旋轉(zhuǎn)坐標(biāo)轉(zhuǎn)換及影像校正都是本領(lǐng)域技術(shù)人員所熟知的公知技術(shù)。圖6展示了分別位于左右兩邊的攝像鏡頭檢測位于虛擬受控區(qū)內(nèi)的指示物并計算三維坐標(biāo)的坐標(biāo)示意圖。為了簡化在左右兩個鏡頭取得的指示物影像的相同點的配對問題，左右影像優(yōu)選地會以指示物上的某個特征點做配對，而這個特征點就作為指示物的中心點。首先，在步驟86中分別在左右影像找出指示物中心點。假設(shè)用戶指示物的特征點的影像的三維坐標(biāo)為P(x，1，ζ)，而該點在左、右攝像鏡頭拍攝的影像中的相應(yīng)位置分別為處于極線上的兩點PlU1, Y1)及Pk U,，y,)，則在步驟88及90中，該特征點的世界坐標(biāo)或稱三維坐標(biāo)P(x，y, ζ)可通過下列方程式計算χ = b (Xl+Xr) / [2 (X1-Xr)]y = b(yi+yr)/[2 (Y1-Yr)](1)ζ = bf/ (x「xr)
其中f為攝像鏡頭22、24的鏡頭焦距，而b為攝像鏡頭22、M之間的直線距離。上面提到了指示物上有一個特征點可以用來對左右兩個鏡頭取得的指示物影像的相同點進行配對。在一個實施例中，指示物為用戶指尖，則可以使用指甲的邊緣搜索出的頂端作為特征點。在另一個實施例中，對于只配備了較低運算能力的移動裝置，如果要迅速計算出指尖的特征點，還可在指尖加上標(biāo)記。在一個實施例中，指尖上的標(biāo)記即為特征圖像，以簡化圖像辨識處理，從而可快速找出左右影像的配對點。該特征圖像需要在不同方向 /角度，甚至部份被遮蔽時仍能被識別。圖7所示的即為一種示例特征圖像，一條短的直線上有3個小圓點，其中的中心點51為左右影像的配對點。在一般的情況下，左右鏡頭取得的影像，最少都能拍攝到一個小圓點。然后，根據(jù)該圖像的特征值(如點距)及圖像方向， 便能算出中心點的位置。除了一條直線上三個圓點之外，其它不同類型的圖案/符號也可以被用于標(biāo)記以方便處理器將左右影像進行配對?，F(xiàn)在回到圖4，在計算了用戶指尖的特征點的三維坐標(biāo)之后，現(xiàn)在需要在步驟92 中判斷檢測到的指尖中心點是否位于虛擬受控區(qū)中。根據(jù)預(yù)設(shè)的虛擬受控區(qū)范圍的三維坐標(biāo)，可以判斷用戶指尖的特征點的三維坐標(biāo)是否屬于預(yù)設(shè)的虛擬受控區(qū)范圍內(nèi)。如果用戶指尖中心點并不在虛擬受控區(qū)內(nèi)，則會前進到步驟94，在屏幕上使鼠標(biāo)指針(如果已經(jīng)出現(xiàn)了的話)淡出或被擦去。然后，在步驟96中會將鼠標(biāo)的軌跡記錄復(fù)位，也就是令Pn = Null，而η = 1，2，...N。最后，回到系統(tǒng)最初狀態(tài)的起點79等待下一次檢測(Pn是鼠標(biāo)軌跡的過往記錄)。如果用戶指尖中心點處在虛擬受控區(qū)內(nèi)，則會前進到步驟98，移動設(shè)備中安裝的軟件系統(tǒng)會使得指尖的中心點所對應(yīng)的在屏幕中的位置上出現(xiàn)鼠標(biāo)指針。如果指尖大致在前述的操作面里移動，則屏幕中的鼠標(biāo)指針亦會隨指尖作相應(yīng)的移動(就好像指尖的影子投射在屏幕上一樣)。同時，鼠標(biāo)的軌跡記錄也會更新，即令Pn-I =Pn，而η = 1，2，... N，， 且I\ = P(X，y，ζ)。記錄鼠標(biāo)軌跡的目的之一，在于在步驟100中判斷用戶的指尖是否作出了按鍵動作，也就是大約垂直擊向移動設(shè)備屏幕的移動動作。如果根據(jù)鼠標(biāo)軌跡記錄判斷出指尖正在作按鍵動作，則會前進到步驟110以等待用戶的指尖點擊移動設(shè)備的屏幕表面。如果指尖已經(jīng)觸摸到屏幕，則會繼續(xù)前進到步驟112。在圖4所示的實施例中，移動設(shè)備的顯示屏幕中可選地可以劃分最少一個區(qū)域， 這個區(qū)域為預(yù)設(shè)鍵的可點擊元件范圍?？牲c擊元件在這里泛指屏幕上任何可以被用戶選擇而成為用戶所輸入的控制命令的元件，包括但不限于虛擬鍵盤的鍵位、下拉菜單、按鈕、文本框、滾動條、鏈接、以及其它輸入控件等。預(yù)設(shè)鍵可以是屏幕上的模擬實體鍵盤的一個虛擬按鍵，也可以是一個對話框或者菜單中的命令或者按鈕。一個預(yù)設(shè)鍵可以被設(shè)定為預(yù)選項。在步驟112中，如果指尖觸及屏幕，而這時已經(jīng)存在一個預(yù)選項，則會進入步驟114。在步驟114中指尖對屏幕的觸擊將被視為用戶對該預(yù)選項的選擇。該選項就會被傳回給系統(tǒng)作為該用戶的輸入。如果在步驟112中，當(dāng)指尖觸及屏幕時并沒有預(yù)選項，則整個流程會返回到起點79，繼續(xù)等待用戶觸摸控制。在步驟110中如果指尖并沒有觸動屏幕，則整個流程也會返回到起點79。如果在步驟100中，鼠標(biāo)軌跡記錄顯示用戶指尖并沒有作出按鍵動作時，則會進入步驟108。在步驟108中根據(jù)用戶指尖的三維坐標(biāo)繼續(xù)顯示并移動在屏幕中鼠標(biāo)指針的位置，這個位置也可以看成指尖在下一個按鍵動作作出前(指尖在朝屏幕放下前)在屏幕上的投影位置。然后在步驟102中，如果鼠標(biāo)指針此刻沒有進入任何預(yù)設(shè)鍵/選項的鍵位范圍的位置，那么會在步驟106中將系統(tǒng)的預(yù)選項設(shè)置為空，然后返回到整個流程的起點79。 但是，如果步驟102中檢測到鼠標(biāo)指針進入了一個預(yù)設(shè)鍵/選項的鍵位范圍的位置，或者說鼠標(biāo)指針位于該預(yù)設(shè)鍵位/選項上，則會在步驟104中將這個預(yù)設(shè)鍵位/選項設(shè)置為系統(tǒng)的預(yù)選項，并將其在屏幕上的顯示進行高亮，或者以不同的顏色或者形態(tài)突出顯示。如果系統(tǒng)的預(yù)選項已經(jīng)被設(shè)置，那么在下一次用戶作按鍵動作時，可以如上所述直接確定用戶觸動該預(yù)選項并將其信息傳送給系統(tǒng)。在這種情況下，用戶并不需要準(zhǔn)確地點擊屏幕上突出顯示的預(yù)選項，因為為了防止當(dāng)指尖按下時指尖的動作被誤定為鼠標(biāo)移動，系統(tǒng)會忽略用戶指尖在虛擬受控區(qū)中的預(yù)設(shè)鍵范圍內(nèi)的垂直移動。只要用戶指尖在屏幕表面進行了點擊操作，則該觸摸屏幕會感應(yīng)到用戶的觸控并作為對預(yù)選項的觸動，而無需準(zhǔn)確點選有關(guān)選項。以上介紹了本發(fā)明的第一個實施例中的虛擬觸控感應(yīng)的裝置和方法。在其它的實施例中，本發(fā)明的虛擬觸控感應(yīng)裝置和方法也可以做出適當(dāng)改變而不會偏離本發(fā)明的宗旨和精髓。例如，在圖8中，移動設(shè)備上安裝的攝像鏡頭可以裝在該移動設(shè)備的背面，例如將兩個攝像鏡頭分開一定距離安裝在移動設(shè)備機身的背面。這樣一來，類似圖2中所定義的虛擬受控區(qū)將會從移動設(shè)備的屏幕上方轉(zhuǎn)移到該移動設(shè)備背面的位置。這時，用戶依然可以用類似于上面所述的虛擬觸控感應(yīng)方法對該移動設(shè)備進行控制。在這種操作模式中，系統(tǒng)會先追蹤指尖的位置，然后算出它的空間位置，并對應(yīng)出在屏幕的相應(yīng)位置，當(dāng)用戶在相對于移動設(shè)備顯示屏幕的垂直方向上作出提起指尖的動作時，對應(yīng)的按鍵便被鎖上，在特定時間內(nèi)(如超過特定時間，則鎖上的按鍵便被取消)，提起的指尖按下時，對應(yīng)的按鍵便被觸發(fā)。為了更好的提供用戶操作體驗，在如圖9所示的一個優(yōu)選實施例中移動設(shè)備還可以將攝像鏡頭捕捉到的用戶手指的影像以半透明形式顯示在所述顯示屏幕中，并迭加在屏幕中虛擬鍵盤的圖像上，從而使用戶感覺如同真的用自己的手在點擊實體鍵盤一般。在另一個實施例中，如圖10所示，移動設(shè)備上安裝的攝像鏡頭可以裝在該移動設(shè)備底端的兩個邊緣角位上。并且，兩個攝像鏡頭的可視范圍被調(diào)整到大體上朝向與移動設(shè)備屏幕垂直的一個空間。因此，形成的虛擬受控區(qū)也大體上與移動設(shè)備的屏幕垂直。這樣一來，用戶便可以如同使用傳統(tǒng)筆記本電腦或者桌面計算機一般，抬頭看移動設(shè)備的屏幕， 而與此同時手在類似于傳統(tǒng)鍵盤或觸摸板的位置上進行虛擬觸控感應(yīng)操作。這樣可以帶給用戶非常熟悉的操作體驗，而使他們能夠以和他們所熟悉的計算機操作姿勢類似的方式操作移動設(shè)備。這時，用戶依然可以用類似于上面所述的虛擬觸控感應(yīng)方法對該移動設(shè)備進行控制。而且這里也可以將攝像鏡頭捕捉到的用戶手指的影像以半透明形式顯示在所述顯示屏幕中，并迭加在屏幕中虛擬鍵盤的圖像上。不過這里由于指尖活動垂直于顯視的屏幕，根據(jù)人的直覺理解，指尖向屏幕移動，指尖的影像應(yīng)向上移動。但是，如果直接將鏡頭取得的影像顯視在屏幕上，指尖的影像就會向下移動，給人以倒著走的感覺，因此，如圖11所示，攝像鏡頭捕捉到的原始影像120需要進行水平翻轉(zhuǎn)和垂直翻轉(zhuǎn)才能得到正確的指尖影像 122。圖12顯示了本發(fā)明的另一個實施例，而這里的移動設(shè)備與圖1中展示的移動設(shè)備基本類似，其不同點在于圖12中的移動設(shè)備上的顯示屏幕沈的左邊和右邊的邊緣角位上的兩個攝像鏡頭22J4是可以旋轉(zhuǎn)的。兩個攝像鏡頭22J4被固定在一個旋轉(zhuǎn)機構(gòu)25上，因此可以朝著箭頭23所示的方向旋轉(zhuǎn)。在這里，旋轉(zhuǎn)的角度可以是任意角度，從而使虛擬受控區(qū)的操作面與顯示屏幕平面之間的角度為任意大小。在這個實施例中，用戶可以自由調(diào)節(jié)移動設(shè)備的兩個攝像鏡頭的角度和可視范圍，如圖13a、圖1 及圖13c中所示。在圖 13a中，攝像鏡頭22J4的可視范圍大體上朝向屏幕沈正上方的位置。在圖1 中，攝像鏡頭22、24的可視范圍大體上朝向移動設(shè)備背面的位置。在圖13c中，攝像鏡頭22、24的可視范圍大體位于屏幕沈前方的位置。當(dāng)兩個攝像鏡頭的角度和可視范圍分別如圖13a、圖 1 及圖13c中所示時，所形成的虛擬受控區(qū)的位置分別與圖2、圖8及圖10中所示的虛擬受控區(qū)相類似，這里不再贅述。在介紹了以上幾個實施例之后，本領(lǐng)域的技術(shù)人員可以認(rèn)識到，不同的改動、另外的結(jié)構(gòu)、等同物，都可以被使用而不會背離本發(fā)明的本質(zhì)。相應(yīng)的，以上的描述不應(yīng)該被視為對本權(quán)利要求所確定的本發(fā)明范圍的限制。例如，移動設(shè)備上裝載的觸摸屏幕可以是各種技術(shù)的觸摸屏，例如電阻觸摸屏或者電容觸摸屏。本領(lǐng)域的技術(shù)人員應(yīng)該認(rèn)識到現(xiàn)在和將來出現(xiàn)的各種適合人手觸摸控制的屏幕都可以用于本發(fā)明的虛擬觸控感應(yīng)系統(tǒng)和方法。在圖1至圖10所介紹的移動設(shè)備和虛擬觸控方法的實施例中，使用了兩個分別位于屏幕兩個邊緣角位的攝像鏡頭進行指示物三維坐標(biāo)的檢測。但是，應(yīng)該明白攝像鏡頭的數(shù)量可以不限于兩個。為了增加辨識的準(zhǔn)確度和實現(xiàn)更精確的定位，也可以使用三個或以上等的攝像頭。在上面所描述的幾個實施例中，攝像鏡頭的安裝位置可以是在移動設(shè)備頂端的兩個邊緣角位、屏幕底部的兩個邊緣角位、或者是移動設(shè)備機身背面。并且，攝像鏡頭的朝向也是可以進行更改的。本領(lǐng)域的普通技術(shù)人員會很容易聯(lián)想到攝像鏡頭的位置還可以在其移動設(shè)備機身上的其它部位，甚至是與移動設(shè)備機身分離而單獨作為一個部件存在，而且攝像鏡頭的朝向也可以任意調(diào)整，只要攝像鏡頭的可視范圍內(nèi)有足夠大的空間作為虛擬受控區(qū)。除了將本發(fā)明的虛擬觸控感應(yīng)方法應(yīng)用在移動設(shè)備上，其它固定/大型設(shè)備也可以應(yīng)用本發(fā)明的虛擬觸控感應(yīng)方法。例如，可以在教室電子白板的兩個頂端安裝攝像鏡頭， 以實現(xiàn)虛擬觸控方式的指點?；蛘撸梢栽谕队皺C屏幕的兩個頂端安裝攝像鏡頭以實現(xiàn)大型屏幕上的虛擬觸控感應(yīng)。本文描述的幾個實施例中都是使用攝像鏡頭進行指示物三維坐標(biāo)的檢測。本領(lǐng)域普通技術(shù)人員應(yīng)該認(rèn)識到其它類型的感應(yīng)器也可以用于進行三維坐標(biāo)的檢測，例如電磁波傳感器，紅外線傳感器或超聲波傳感器等。這類傳感器或須要另類計算方法(如 triangulation)去計算該指示物在空間中的三維坐標(biāo)(x，y，ζ)，及轉(zhuǎn)換成屏幕上的二維坐標(biāo)。但其運作原理都含蓋在本發(fā)明之內(nèi)。上面的描述提到了虛擬觸控感應(yīng)方法主要可以作為鼠標(biāo)或者虛擬鍵盤進行操作。 其它的各種輸入方式，包括鼠標(biāo)軌跡、畫圖、手寫輸入、多點觸摸等等，也都可以用本發(fā)明中的虛擬觸控感應(yīng)方法而不會偏離其宗旨。
權(quán)利要求
1.一種虛擬觸控感應(yīng)方法，包括下列步驟使用一個以上感應(yīng)器對位于虛擬受控區(qū)內(nèi)的指示物的坐標(biāo)進行檢測；以及根據(jù)該指示物的坐標(biāo)計算在顯示屏幕中相應(yīng)的屏幕坐標(biāo)；其特征在于，所述虛擬受控區(qū)的操作面的面積大于所述顯示屏幕的面積。
2.如權(quán)利要求1所述的方法，其特征在于，該方法還包括以下步驟根據(jù)所述指示物的屏幕坐標(biāo)，在所述顯示屏幕上顯示鼠標(biāo)指針；當(dāng)所述指示物大致在所述虛擬受控區(qū)內(nèi)的操作面移動時，鼠標(biāo)指針根據(jù)所述指示物的移動在所述顯示屏幕中移動。
3.如權(quán)利要求2所述的方法，其特征在于，該方法還包括以下步驟在所述顯示屏幕中劃分最少一個區(qū)域，所述區(qū)域為預(yù)設(shè)鍵的可點擊元件范圍， 根據(jù)所述鼠標(biāo)指針在所述顯示屏幕中的位置，判定該鼠標(biāo)指針是否進入其中一個預(yù)設(shè)鍵的可點擊元件范圍；以及當(dāng)鼠標(biāo)指針進入所述預(yù)設(shè)鍵的可點擊元件范圍時，所述指示物在所述虛擬受控區(qū)中的所述預(yù)設(shè)鍵范圍內(nèi)的點擊動作不作為移動指針的命令，而指示物在所述顯示屏幕表面的點擊操作被所述顯示屏幕感應(yīng)并作為對所述預(yù)設(shè)鍵的輸入操作。
4.如權(quán)利要求2所述的方法，其特征在于，該方法還包括以下步驟在所述顯示屏幕中劃分最少一個區(qū)域，所述區(qū)域為預(yù)設(shè)鍵的可點擊元件范圍， 根據(jù)所述鼠標(biāo)指針在所述顯示屏幕中的位置，判定該鼠標(biāo)指針是否進入其中一個預(yù)設(shè)鍵的可點擊元件范圍；以及當(dāng)鼠標(biāo)指針進入所述預(yù)設(shè)鍵的可點擊元件范圍時，所述指示物在所述虛擬受控區(qū)中的某個特定方向上的移動導(dǎo)致所述預(yù)設(shè)鍵被鎖定；如果在某個特定時間內(nèi)，所述指示物大體朝上述特定方向的相反方向移動，則所述預(yù)設(shè)鍵被觸發(fā)；如果超過上述特定時間內(nèi)，所述指示物未能大體朝上述特定方向的相反方向移動，則所述預(yù)設(shè)鍵被解除鎖定。
5.如權(quán)利要求1所述的方法，其特征在于，所述感應(yīng)器包括第一攝像鏡頭和第二攝像鏡頭，第一攝像鏡頭大體上位于所述顯示屏幕的第一邊緣角位，而第二攝像鏡頭大體上位于所述顯示屏幕的第二邊緣角位；所述指示物在第一攝像鏡頭的二維圖像中的位置為 Pl(X1, yi)，而所述指示物在第二攝像鏡頭中的二維圖像中的位置為PK(Xr，yr)；所述指示物 P(χ, y, ζ)在所述虛擬受控區(qū)內(nèi)的三維坐標(biāo)格式用如下的方程式計算χ = b(x!+xr)/[2 (X1-Xr)] χ = b(x!+xr)/[2 (X1-Xr)] χ = b(x!+xr)/[2 (X1-Xr)]其中b為第一攝像鏡頭和第二攝像鏡頭之間的直線距離，f為第一攝像鏡頭和第二攝像鏡頭的鏡頭焦距。
6.如權(quán)利要求1所述的方法，其特征在于，所述感應(yīng)器位于所述顯示屏幕的背面。
7.如權(quán)利要求6所述的方法，其特征在于，所述感應(yīng)器為攝像鏡頭并捕捉所述指示物的影像；所述指示物的影像以半透明形式顯示在所述顯示屏幕中。
8.如權(quán)利要求1所述的方法，其特征在于，所述虛擬受控區(qū)的操作面與所述顯示屏幕表面之間的角度為任意大小。
9.如權(quán)利要求1所述的方法，其特征在于，所述虛擬受控區(qū)的操作面的面積可根據(jù)用戶的喜好進行動態(tài)調(diào)整。
10.如權(quán)利要求1所述的方法，其特征在于，所述感應(yīng)器包括第一攝像鏡頭和第二攝像鏡頭，所述指示物表面具有特征點以供所述感應(yīng)器感應(yīng)；所述特征點作為第一攝像鏡頭的圖像和第二攝像鏡頭的圖像的配對點。
11.如權(quán)利要求10所述的方法，其特征在于，所述特征點是由一直線連接的三點，所述三點的中間一點作為第一攝像鏡頭的圖像和第二攝像鏡頭的圖像的配對點。
12.—種虛擬觸控感應(yīng)系統(tǒng)，包括處理器、顯示屏幕以及一個以上感應(yīng)器，感應(yīng)器對位于虛擬受控區(qū)內(nèi)的指示物的坐標(biāo)進行檢測；處理器根據(jù)該指示物的坐標(biāo)計算在顯示屏幕相應(yīng)的屏幕坐標(biāo)，其特征在于，所述虛擬受控區(qū)的操作面的面積大于所述顯示屏幕的面積。
13.如權(quán)利要求12所述的系統(tǒng)，其特征在于，所述顯示屏幕顯示鼠標(biāo)指針，當(dāng)所述指示物大致在所述虛擬受控區(qū)內(nèi)的操作面移動時，鼠標(biāo)指針根據(jù)所述指示物的移動在所述顯示屏幕中移動。
14.如權(quán)利要求13所述的系統(tǒng)，其特征在于，所述顯示屏幕中劃分了最少一個區(qū)域， 該區(qū)域為預(yù)設(shè)鍵的可點擊元件范圍；所述處理器根據(jù)所述鼠標(biāo)指針在所述顯示屏幕中的位置，判定該鼠標(biāo)指針是否進入其中一個預(yù)設(shè)鍵的可點擊元件范圍；當(dāng)所述鼠標(biāo)指針進入所述預(yù)設(shè)鍵的可點擊元件范圍時，所述指示物在所述虛擬受控區(qū)中的所述預(yù)設(shè)鍵范圍內(nèi)的點擊動作不作為移動指針的指示，而指示物在所述顯示屏幕表面的點擊操作被所述顯示屏幕感應(yīng)并作為對所述預(yù)設(shè)鍵的輸入操作。
15.如權(quán)利要求13所述的系統(tǒng)，其特征在于，所述顯示屏幕中劃分了最少一個區(qū)域， 該區(qū)域為預(yù)設(shè)鍵的可點擊元件范圍；所述處理器根據(jù)所述鼠標(biāo)指針在所述顯示屏幕中的位置，判定該鼠標(biāo)指針是否進入其中一個預(yù)設(shè)鍵的可點擊元件范圍；當(dāng)鼠標(biāo)指針進入所述預(yù)設(shè)鍵的可點擊元件范圍時，所述指示物在所述虛擬受控區(qū)中的某個特定方向上的移動導(dǎo)致所述預(yù)設(shè)鍵被鎖定；如果在某個特定時間內(nèi)，所述指示物大體朝上述特定方向的相反方向移動，則所述預(yù)設(shè)鍵被觸發(fā)；如果超過上述特定時間內(nèi)，所述指示物未能大體朝上述特定方向的相反方向移動，則所述預(yù)設(shè)鍵被解除鎖定。
16.如權(quán)利要求12所述的系統(tǒng)，其特征在于，所述感應(yīng)器包括第一攝像鏡頭和第二攝像鏡頭，第一攝像鏡頭大體上位于所述顯示屏幕的第一邊緣角位置，而第二攝像鏡頭大體上位于所述顯示屏幕的第二邊緣角位置；所述指示物在第一攝像鏡頭的圖像中的位置為 Pl(X1, yi)，而所述指示物在第二攝像鏡頭中的圖像中的位置為&(\，yr)；所述指示物Ρ(χ， y，ζ)在所述虛擬受控區(qū)內(nèi)的三維坐標(biāo)格式用如下的方程式計算χ = b(x!+xr)/[2 (X1-Xr)]χ = b(x!+xr)/[2 (X1-Xr)]χ = b(x!+xr)/[2 (X1-Xr)]其中b為第一攝像鏡頭和第二攝像鏡頭之間的直線距離，f為所述第一攝像鏡頭和第二攝像鏡頭的鏡頭焦距。
17.如權(quán)利要求12所述的系統(tǒng)，其特征在于，所述虛擬受控區(qū)的操作面的面積可根據(jù)用戶的喜好進行動態(tài)調(diào)整。
18.如權(quán)利要求12所述的系統(tǒng)，其特征在于，所述感應(yīng)器包括第一攝像鏡頭和第二攝像鏡頭，所述指示物表面具有特征點以供所述感應(yīng)器感應(yīng)；所述特征點作為第一攝像鏡頭的圖像和第二攝像鏡頭的圖像的配對點。
19.如權(quán)利要求18所述的系統(tǒng)，其特征在于，所述特征點是由一直線連接的三點，所述三點的中間一點作為第一攝像鏡頭的圖像和第二攝像鏡頭的圖像的配對點。
20.如權(quán)利要求12所述的系統(tǒng)，其特征在于，所述系統(tǒng)包括移動裝置，該移動裝置中安裝了所述處理器、顯示屏幕以及一個以上感應(yīng)器。
全文摘要
本發(fā)明針對現(xiàn)在的移動設(shè)備的觸控式屏幕面積比較細小的局限性，以立體計算機視覺技術(shù)為基礎(chǔ)，描述了一種虛擬觸控感應(yīng)方法，其步驟包括使用一個以上感應(yīng)器對位于虛擬受控區(qū)內(nèi)的指示物的坐標(biāo)進行檢測，以及根據(jù)該指示物的坐標(biāo)計算在顯示屏幕中相應(yīng)的屏幕坐標(biāo)，而所述虛擬受控區(qū)的操作面的面積大于所述顯示屏幕的面積。本發(fā)明還公開了一種相應(yīng)的虛擬觸控感應(yīng)系統(tǒng)，提供了一種預(yù)測式的操控介面，該操控介面的面積大于實體屏幕的面積。
文檔編號G06F3/048GK102314301SQ20101025902
公開日2012年1月11日 申請日期2010年8月18日 優(yōu)先權(quán)日2010年6月30日
發(fā)明者李子青 申請人:李子青