專利名稱：產(chǎn)生多點(diǎn)觸碰指令的系統(tǒng)與方法
技術(shù)領(lǐng)域：
本發(fā)明關(guān)于一種產(chǎn)生多點(diǎn)觸碰指令的系統(tǒng)與方法，尤其是指一種通過單點(diǎn)觸控感應(yīng)板與影像感測器產(chǎn)生多點(diǎn)觸碰指令的系統(tǒng)與方法。
背景技術(shù)：
近來，應(yīng)用于個(gè)人電腦的多指觸控輸入領(lǐng)域的發(fā)展，改善了電腦應(yīng)用程序的輸入能力。隨著觸控?zé)赡坏母母飫?chuàng)新，當(dāng)多點(diǎn)與以手勢(shì)為基礎(chǔ)的觸碰板成為超越標(biāo)準(zhǔn)輸入裝置 (例如現(xiàn)有鼠標(biāo))的輸入裝置時(shí)，它們提供各方面優(yōu)化的生產(chǎn)力。直至目前，設(shè)置于鍵盤和遙控器上的標(biāo)準(zhǔn)觸碰板為單點(diǎn)觸控感應(yīng)板。盡管是標(biāo)準(zhǔn)的用法，然而欲使單點(diǎn)觸控感應(yīng)板產(chǎn)生多點(diǎn)觸碰輸入或直覺式的多維輸入指令卻具有天生的障礙。因此，讓單點(diǎn)觸控感應(yīng)板具有多點(diǎn)觸碰輸入的能力，而成為如同多點(diǎn)觸碰板或是其他多維輸入裝置的需求確實(shí)存在。

發(fā)明內(nèi)容
本發(fā)明的發(fā)展為了回應(yīng)現(xiàn)今可用的觸碰板系統(tǒng)與方法尚未能完全解決的技術(shù)問題與需求。因此，此系統(tǒng)與方法通過利用一單點(diǎn)觸控感應(yīng)板與一影像感測器的結(jié)合，進(jìn)而提供一多指觸控使用者接口。此系統(tǒng)與方法可被用以控制現(xiàn)有的二維和三維軟件應(yīng)用程序。 此系統(tǒng)與方法也允許通過使用者位于單點(diǎn)觸碰板上的雙手或手指產(chǎn)生多維輸入指令觸碰板。此系統(tǒng)與方法也提供一種簡單地通過將使用者的手指盤懸于觸碰板的表面所產(chǎn)生的輸入指令觸碰板。實(shí)施本系統(tǒng)與方法具有數(shù)個(gè)有益特征與優(yōu)點(diǎn)。舉例來說，本系統(tǒng)與方法提供一雙輸入模式。于一第一模式中，手部手勢(shì)位于一單點(diǎn)觸控感應(yīng)板則產(chǎn)生一多點(diǎn)觸碰指令。在一第二模式中，手部手勢(shì)位于開放空間則產(chǎn)生一多點(diǎn)觸碰輸入。在實(shí)施上，當(dāng)單點(diǎn)觸控感應(yīng)板感應(yīng)到其表面存在使用者手指的一觸碰點(diǎn)，則本系統(tǒng)與方法進(jìn)入一第一輸入模式。當(dāng)單點(diǎn)觸控感應(yīng)板感應(yīng)到其表面不存在使用者手指的一觸碰點(diǎn)，則本系統(tǒng)切換至一第二輸入模式。于其他實(shí)施例中，本系統(tǒng)與方法通過數(shù)據(jù)融合，明顯減少觸碰板的多點(diǎn)觸碰偵測與追蹤的運(yùn)算負(fù)荷。同時(shí)，廠商可利用低成本的單點(diǎn)觸控感應(yīng)板生產(chǎn)本系統(tǒng)，且于不使用成本較高的多點(diǎn)觸碰感應(yīng)板的情況下，依舊具有多點(diǎn)觸碰板的功能。上述系統(tǒng)具有直覺式的輸入指令，且可被應(yīng)用于例如多維應(yīng)用程序的控制。于一實(shí)施例中，本發(fā)明包含由單點(diǎn)觸控感應(yīng)板和影像感測器產(chǎn)生多點(diǎn)觸碰指令的一系統(tǒng)。影像感測器設(shè)置在相鄰于單點(diǎn)觸控感應(yīng)板之處，用以獲取單點(diǎn)觸控感應(yīng)板表面或上方的使用者手指的一或多個(gè)影像。本系統(tǒng)包括固件，固件用以獲取來自單點(diǎn)觸控感應(yīng)板的數(shù)據(jù)，并利用數(shù)據(jù)與來自影像感測器的一或多個(gè)影像，進(jìn)而產(chǎn)生一多點(diǎn)觸碰指令。于另一實(shí)施例中，本發(fā)明包括由單點(diǎn)觸控感應(yīng)板產(chǎn)生一多點(diǎn)觸碰指令的方法。本方法與獲取來自一單點(diǎn)觸控感應(yīng)板的數(shù)據(jù)有關(guān)，其中數(shù)據(jù)用以表示使用者是否接觸感應(yīng)板以及接觸位置。本方法也與獲取自影像感測器的使用者手指的影像有關(guān)。接著，本系統(tǒng)的固件利用獲取的數(shù)據(jù)和影像，識(shí)別使用者的手部手勢(shì)，并根據(jù)手部手勢(shì)產(chǎn)生一多點(diǎn)觸碰指令。本發(fā)明的以上與其他特征與優(yōu)點(diǎn)將被具體表現(xiàn)于本發(fā)明的主要實(shí)施例中，且于以下說明與申請(qǐng)專利范圍中進(jìn)一步展現(xiàn)，或通過下文中的發(fā)明實(shí)施例獲悉。本發(fā)明無須合并下文中所有有益特征與優(yōu)點(diǎn)至每一個(gè)發(fā)明實(shí)施例。


圖1為本發(fā)明具有單點(diǎn)觸碰感應(yīng)板與影像感測器的鍵盤立體圖。圖2為本發(fā)明通過單點(diǎn)觸碰感應(yīng)板與影像感測器產(chǎn)生多點(diǎn)觸碰輸入的示意圖。圖3為本發(fā)明的影像感測器作為獨(dú)立輸入裝置的示意圖。圖4A與4B為本發(fā)明影像感測器與其上方的手部手勢(shì)(X-Y移動(dòng))以及獲取畫面示意圖。圖5A與5B為本發(fā)明影像感測器與其上方的手部手勢(shì)(Z移動(dòng))以及獲取畫面的示意圖。圖6A與6B為本發(fā)明影像感測器與其上方的手部手勢(shì)(Z軸旋轉(zhuǎn))以及獲取畫面的示意圖。圖7為本發(fā)明的硬件元件的方塊圖。圖8為本發(fā)明的固件的功能方塊圖。圖9A與9B為本發(fā)明的二手指與其位于單點(diǎn)觸碰板表面座標(biāo)的示意圖。圖IOA與IOB為本發(fā)明的二色影像以及影像中的目標(biāo)物(手指-手)座標(biāo)的示意圖。圖11為本發(fā)明通過一或二只手輸入手勢(shì)產(chǎn)生多維指令的示意圖。圖12為本發(fā)明通過單點(diǎn)觸控感應(yīng)板與單一手指產(chǎn)生二維指令控制三維地圖應(yīng)用程序的示意圖。圖13為本發(fā)明通過旋轉(zhuǎn)/縮放手勢(shì)控制三維地圖應(yīng)用程序的示意圖。圖14A為本發(fā)明的設(shè)置于鍵盤的影像感測器以及未執(zhí)行懸空指令動(dòng)作前的使用者手指的側(cè)視圖。圖14B為本發(fā)明于執(zhí)行懸空指令動(dòng)作前所獲取的手指影像的示意圖。圖15A為本發(fā)明設(shè)置于鍵盤的影像感測器以及于執(zhí)行懸空指令后的使用者手指的側(cè)視圖。圖15B為本發(fā)明的于執(zhí)行懸空指令后的手指的獲取影像。圖16A為本發(fā)明的前一獲取影像的影像框示意圖，用以計(jì)算懸空指尖在χ軸的位
移改變量。圖16B為本發(fā)明的當(dāng)前獲取影像的影像框示意圖，用以計(jì)算懸空指尖在χ軸的位
移改變量。其中，附圖標(biāo)記說明如下20:觸碰板22 影像感測器
5
24:鍵盤
26:光源
28:感測相機(jī)
30:手部
30':手部
30'':第二手部
32:手指
34:手指
40:虛擬平面
50:影像
60:輸入系統(tǒng)
62:鍵盤部
64:微處理器
66:USB或PS/2連接接口
70:固件
72:第一邏輯裝置
74:第二邏輯裝置
76:第三邏輯裝置
80:影像
90:顯示器
IOCI :外框區(qū)域
102丨:影像
IlCI:回反射器
112:線條
P 丄av:平均觸碰點(diǎn)
(X，Y):平均觸碰點(diǎn)
(X1,Y1):第一觸碰點(diǎn)
(X2，Y2):第二觸碰點(diǎn)
Dx 距離
Dv 距離
具體實(shí)施例方式本發(fā)明的較佳實(shí)施例通過圖式參考進(jìn)行了解，圖中相同標(biāo)號(hào)即表示為相同或功能相似的元件?？梢岳斫獾氖?，一般說明或圖式中的本發(fā)明組成要素可采其他不同形式設(shè)置或設(shè)計(jì)。因此，下文的詳細(xì)說明或圖式僅為表現(xiàn)本發(fā)明的較佳實(shí)施例，不應(yīng)用以限制本發(fā)明的申請(qǐng)專利范圍。本發(fā)明的內(nèi)容將以數(shù)個(gè)副標(biāo)題進(jìn)行揭露，而設(shè)立副標(biāo)題僅為方便閱讀，不應(yīng)被解釋為任何的限制。以下敘述以透視法進(jìn)行描寫，例如上/下、前/后、左/右和頂/底。這些說明僅用以協(xié)助討論，而非企圖限制本發(fā)明的應(yīng)用或?qū)嵤├?。于下文說明中，「A/B」表示A或B，「A及/或B」表示「(A)、⑶或(A和B)」，而「至少一 A 和 B 禾口 CJ 表示「(A)、(B)、(C)、(A 和 B)、(A 和 C)、(B 和 C)或(A 和 B 和 C)」。各種操作被依序描述為多種不連續(xù)的操作，某種程度上將有助于理解本發(fā)明的實(shí)施例。然而，描述的順序不應(yīng)被視為需要依賴順序才能進(jìn)行操作的暗示。如詞匯「于一實(shí)施例中」或「于其他實(shí)施例中」中所使用的描述，同樣對(duì)應(yīng)至一或多個(gè)相同或不同的實(shí)施例。甚者，本發(fā)明的實(shí)施例中常用「包含」、「包括」、「具有」和其他類似字詞，其含意皆與「包括」的定義相同。本輸入系統(tǒng)與方法偵測單點(diǎn)觸控感應(yīng)板上(簡稱為「觸碰板」)以及影像感測器的影像數(shù)據(jù)中(簡稱為「影像」)多個(gè)指尖的二維座標(biāo)。當(dāng)使用者將二個(gè)或二個(gè)以上指尖放置于單點(diǎn)觸控感應(yīng)板的表面時(shí)，本系統(tǒng)與方法使用一種單點(diǎn)觸控感應(yīng)板，于使用者將二個(gè)或多個(gè)指尖放置于該單點(diǎn)觸控感應(yīng)板上時(shí)，該單點(diǎn)觸控感應(yīng)板可回報(bào)該多個(gè)觸碰點(diǎn)的一平均觸碰點(diǎn)的二維座標(biāo)Pav，其中Pav= (xav，Yav)。為了計(jì)算每個(gè)指尖正確的二維座標(biāo)，本系統(tǒng)與方法將平均觸碰點(diǎn)的二維座標(biāo)Pav與獲取自影像感測器的影像數(shù)據(jù)進(jìn)行結(jié)合或融合。數(shù)據(jù)融合一般是指結(jié)合多個(gè)來源的數(shù)據(jù)以進(jìn)行判斷推論，而于本系統(tǒng)與方法中，數(shù)據(jù)融合是關(guān)于來自觸碰板20與影像感測器22的數(shù)據(jù)的結(jié)合。假若每個(gè)手指被分別識(shí)別，數(shù)據(jù)融合將更有效率且縮限識(shí)別手指的位置。而通過數(shù)據(jù)融合，本系統(tǒng)與方法可以判斷觸碰板20表面上的每個(gè)指尖(或觸碰點(diǎn))的二維位置。硬件結(jié)構(gòu)與其應(yīng)用請(qǐng)參閱圖1，圖1為應(yīng)用本輸入系統(tǒng)的硬件的實(shí)施例。如圖所示，輸入系統(tǒng)包括一鍵盤對(duì)，其中包括一觸碰板20與一影像感測器22，且設(shè)置于鍵盤M本體之上。為了進(jìn)行數(shù)據(jù)融合，影像感測器22選用低解析度且黑白影像感測器22 (例如具有 CGA且解析度為320x200黑白像素的CMOS感測器)。影像感測器22固設(shè)于鍵盤M且相鄰于觸碰板20，在某種程度上允許影像感測器22的感測相機(jī)28獲取觸碰板20表面或觸碰板20及/或影像感測器22上方的開放空間中的使用者手指。于某些實(shí)施例中，影像感測器22的感測相機(jī)觀的角度可被移動(dòng)，用以改變感測相機(jī)觀的相機(jī)角度(包括垂直角度與水平角度的方向)。感測相機(jī)觀可被自動(dòng)或手動(dòng)移動(dòng)。舉例來說，感測相機(jī)觀感測使用者手部30的位置，并自動(dòng)調(diào)整其方向以面對(duì)使用者手部30。感測相機(jī)觀的移動(dòng)如圖1與2 所示，其中圖1中感測相機(jī)觀的方向朝上，圖2中感測相機(jī)觀的方向則朝向觸碰板20。作為可選擇的設(shè)計(jì)特征的光源沈，例如小型LED燈，被設(shè)置于鍵盤M上，且相鄰于觸碰板20，用以提供光線至觸碰板20區(qū)域以及觸碰板及/或影像感22測器的上方區(qū)域。 因此，于某些實(shí)施例中，當(dāng)使用者手指接觸觸碰板20時(shí)，光源沈至少照亮觸碰板20以及一部分的使用者手指。有些實(shí)施例將因可移動(dòng)光源而受益，其中移動(dòng)式光源可自動(dòng)或手動(dòng)移動(dòng)，以便改變沿著二個(gè)或多個(gè)平面的照明角度。請(qǐng)參閱圖2，圖2為本系統(tǒng)結(jié)合觸碰板20與影像感測器22以產(chǎn)生多點(diǎn)觸碰輸入的示意圖。如圖所示，影像感測器22的感測相機(jī)觀的角度朝向觸碰板20，因此感測相機(jī)觀得以獲取觸碰板20完整的表面和手指32、34及/或使用者的手部30。于此方位中，感測相機(jī)觀得以獲取觸碰板20上的使用者手部手勢(shì)(于此是指手部和手指手勢(shì))。通過融合觸碰板20與影像感測器22的數(shù)據(jù)以產(chǎn)生一多指輸入，且此輸入類型成為一雙輸入系統(tǒng)的一第一類型多指輸入。關(guān)于數(shù)據(jù)融合的過程將于下文中詳細(xì)描述。請(qǐng)參閱圖3，圖3顯示影像感測器22被作為一獨(dú)立輸入裝置使用的情況。如圖所示，影像感測器22得以獲取使用者在開放空間(例如虛擬平面40)所產(chǎn)生的手部手勢(shì)，而開放空間是指觸碰板20表面及/或影像感測器22的上方。這些被獲取的影像將通過固件的一即時(shí)樣板(real-time template)(目標(biāo)物影像)追蹤演算法而被處理，該演算法將使用者的手部手勢(shì)編譯為多點(diǎn)觸碰輸入指令。在某些例子中，開放空間中產(chǎn)生的手部手勢(shì)可作為一雙輸入系統(tǒng)的一第二類型多指輸入。而在其他例子中，上述二種輸入類型可以被分開使用。圖4A至6B為影像感測器22獲取手部手勢(shì)影像的示意圖。舉例來說，圖4A顯示手部位于影像感測器22上方X-Y軸的開放空間中(在三維且具有X-Y-Z座標(biāo)系統(tǒng)中)。圖 4B顯示由影像感測器22獲取手部位置的二維影像50 (在X-Y座標(biāo)系統(tǒng)中)。同樣地，圖5A 顯示產(chǎn)生于影像感測器22上方Z軸的手部手勢(shì)，圖5B則顯示由影像感測器22所獲取手部手勢(shì)的影像50。最后，圖6A顯示產(chǎn)生于影像感測器22上方的旋轉(zhuǎn)手部手勢(shì)，而圖6B顯示產(chǎn)生的影像系列50 (重疊于單一影像上)。請(qǐng)參閱圖7,圖7為輸入系統(tǒng)60的硬件兀件的方塊圖。如圖所不,一微處理器64 連接并接收鍵盤部62、影像感測器22、觸碰板20和光源26 (可選)的數(shù)據(jù)。微處理器64獲取來自上述每一個(gè)元件的數(shù)據(jù)封包。微處理器64通過有線/無線USB連接接口或PS/2連接接口 66與主機(jī)連接，因此微處理器64可將獲取自上述元件的數(shù)據(jù)封包傳送至主機(jī)。固件結(jié)構(gòu)與功能請(qǐng)參閱圖8，圖8為本系統(tǒng)與方法的固件70的功能方塊圖。如圖所示，固件70包括三個(gè)邏輯裝置(即使實(shí)際上每個(gè)邏輯裝置的硬件被分別實(shí)施為單一裝置)，其中第一邏輯裝置72處理來自現(xiàn)有鍵盤的鍵盤信號(hào)，第二邏輯裝置74融合來自觸碰板20與第三邏輯裝置76的數(shù)據(jù)，而第三邏輯裝置76則處理來自影像感測器22的影像數(shù)據(jù)。在第二邏輯裝置74的數(shù)據(jù)處理中，固件70獲取觸碰板20的數(shù)據(jù)以識(shí)別觸碰板上是否存在一觸碰點(diǎn)，若觸碰點(diǎn)存在，則識(shí)別觸碰點(diǎn)的位置或座標(biāo)。固件70也獲取來自影像感測器22的影像，而被獲取的影像為點(diǎn)陣影像數(shù)據(jù)。通過數(shù)據(jù)的獲取，固件70得以識(shí)別使用者的一或多指所產(chǎn)生的手部手勢(shì)，并根據(jù)被辨識(shí)的手部手勢(shì)產(chǎn)生一多點(diǎn)觸碰指令。最后， 第二邏輯裝置74輸出與多點(diǎn)觸碰感應(yīng)板相同的格式，而固件70的第三邏輯裝置76執(zhí)行實(shí)時(shí)樣板追蹤計(jì)算式，辨別開放空間中符合使用者手指-手部的物件的三維位置與方向。當(dāng)使用者的手部未接觸觸碰板20時(shí)，第三邏輯裝置76可獨(dú)立于第二邏輯裝置74進(jìn)行運(yùn)作。 關(guān)于固件的額外功能將于下文中說明。數(shù)據(jù)融合演算法下文將說明利用固件70的數(shù)據(jù)融合演算法識(shí)別多點(diǎn)觸碰位置的過程。圖9A至9B 顯示自觸碰板20上二個(gè)或二個(gè)以上觸碰點(diǎn)獲取單一平均觸碰點(diǎn)(X，Y)。做為背景說明之用，圖9A與圖9B顯示接觸于接觸板20的二手指32、34，以及觸碰板20上的二實(shí)際觸碰點(diǎn) (XijY1)^(X2jY2)的一平均觸碰點(diǎn)(X，Y)。由于觸碰板20為單點(diǎn)觸控感應(yīng)板，因此僅能感應(yīng)并輸出單一平均觸碰點(diǎn)(X，Y)。以下將說明利用數(shù)據(jù)融合演算法計(jì)算每一個(gè)位于觸控20上觸碰點(diǎn)的實(shí)際位置。 首先，如圖9A與圖9B所示，固件70自觸碰板20上一或多個(gè)觸碰點(diǎn)獲取一平均觸碰點(diǎn)(X，Y)。同時(shí)，固件70也獲取來自影像感測器22的影像80。固件70將影像80轉(zhuǎn)換及/或處理為僅有黑白像素的二色影像，如圖IOA所示，以利于進(jìn)行手指32、34識(shí)別。截至目前，分開的觸碰點(diǎn)的各自位置仍為未知。接下來，固件70反復(fù)執(zhí)行以下步驟。當(dāng)獲取平均觸碰點(diǎn)(X，Y)后，平均觸碰點(diǎn)(X， Y)被對(duì)映至一像素座標(biāo)系統(tǒng)上，如圖IOB所示。接著，固件70融合數(shù)據(jù)、影像感測器22的影像以及對(duì)映位于相同座標(biāo)的全部或一部分影像80，也如圖IOB所示。需要了解的是，固件70將影像80的相對(duì)座標(biāo)對(duì)映至觸碰板20的座標(biāo)，以調(diào)整影像感測器22的相機(jī)角度以及影像感測器22與觸碰板20表面的相對(duì)位置。接著，固件70利用全部或部分影像80識(shí)別手指32、34邊緣的位置，方法是通過掃描平均觸碰點(diǎn)附近的X軸與Y軸像素線，達(dá)到識(shí)別手指邊緣的目的。在某些例子中，固件70識(shí)別特定掃描線的列索引數(shù)據(jù)與行索引數(shù)據(jù)以物體體邊緣。接下來，當(dāng)手指邊緣的識(shí)別完成后，固件70即可偵測影像80中的手指數(shù)量以推算觸碰板20上的指尖數(shù)量。固件70也可通過座標(biāo)系統(tǒng)量測影像80中指尖之間的距離，而進(jìn)一步推算觸碰點(diǎn)之間的距離。以二個(gè)觸碰點(diǎn)為例，如圖IOB所示，偵測二個(gè)觸碰點(diǎn)座標(biāo)之間
的距離為Dx與Dy。接下來，固件70識(shí)別二個(gè)或二個(gè)以上實(shí)際觸碰點(diǎn)的座標(biāo)。舉例來說，偵測二個(gè)觸碰點(diǎn)后，固件70通過已知數(shù)值(X，Y)、Dx與Dy推算第一觸碰點(diǎn)的座標(biāo)(X1, Y1)與第二觸碰點(diǎn)的座標(biāo)( ，Y2)。計(jì)算公式如下所示X1 = X-Dx/2 -J1 = Y-Dy/2X2 = X+Dx/2 ；Y2 = Y+Dy/2最后，如果后來觸碰點(diǎn)座標(biāo)的數(shù)據(jù)序列中具有一或多個(gè)不平穩(wěn)的移動(dòng)，則此組觸碰點(diǎn)座標(biāo)將通過濾波器進(jìn)行平整化，其中濾波器為數(shù)位低通濾波器或其他合適的濾波器。承上所述，固件70的第二邏輯裝置74并未采用現(xiàn)有影像處理方法追蹤觸碰點(diǎn)，例如即時(shí)樣板(目標(biāo)物影像)追蹤演算法，因現(xiàn)有方法需要依賴具有強(qiáng)大運(yùn)算能力的微處理器64。本方法通過掃描平均觸碰點(diǎn)附近的一維像素線以估算指尖之間的距離，以降低微控制器64的運(yùn)算負(fù)荷。因此，數(shù)據(jù)融合利用觸碰板20的平均觸碰點(diǎn)與影像感測器22的部分像素?cái)?shù)據(jù)，提供一種明顯降低微控制器64的運(yùn)算負(fù)荷的方法。多維輸入指令如上所述，觸碰板20與影像感測器22的數(shù)據(jù)融合被用以產(chǎn)生多點(diǎn)觸碰指令。通過數(shù)據(jù)融合產(chǎn)生多點(diǎn)觸碰指令時(shí)，觸碰板20與影像感測器22被視為主要輸入以及用以產(chǎn)生輸入指令的獨(dú)立利用。即時(shí)樣板追蹤演算法也可以被固件70利用。圖11顯示通過觸碰板20與影像感測器22的數(shù)據(jù)產(chǎn)生多點(diǎn)觸碰指令，其中多點(diǎn)觸碰指令的產(chǎn)生可由分開或同時(shí)使用一只或兩只手完成。于此例中，影像感測器22的影像并非用以偵測觸碰板20上的多個(gè)指尖位置，而是用以識(shí)別開放空間中的手指或手部位置，進(jìn)而辨識(shí)手部手勢(shì)。圖11顯示使用者利用觸碰板20上的右手手指32產(chǎn)生單點(diǎn)觸控輸入指令。而使用者也可利用其左手產(chǎn)生獨(dú)立的輸入指令，例如一多點(diǎn)觸碰指令。舉例來說，圖12顯示在觸碰板20上移動(dòng)手部30，以產(chǎn)生二維平移指令。如圖所示，使用者在觸碰板20表面拖曳單一手指32，產(chǎn)生二維攝像取景指令對(duì)應(yīng)于三維軟件應(yīng)用程序，例如google earth。手指32在觸碰板20上的左右方向移動(dòng)為攝像取景的水平平移指令，而前后方向移動(dòng)則為攝像取景的前后平移指令。承上所述，圖13顯示在影像感測器22的開放空間中移動(dòng)第二手部30”以產(chǎn)生轉(zhuǎn)向和縮放指令。如圖所示，使用者沿著影像感測器22的相機(jī)的垂直軸旋轉(zhuǎn)其第二手部30”。 舉例來說，影像處理演算法(例如即時(shí)樣板追蹤演算法)識(shí)別樣板的旋轉(zhuǎn)角度，并依此產(chǎn)生攝像取景的轉(zhuǎn)向指令(Z軸旋轉(zhuǎn))。手部平移手勢(shì)沿著軸靠近影像感測器22的相機(jī)，可被影像處理演算法識(shí)別，并在軟件應(yīng)用程序中產(chǎn)生如一放大或縮小指令。上述的移動(dòng)用以控制軟件程序在顯示器90中的顯示內(nèi)容。通過觸碰板附近的手指懸空手勢(shì)產(chǎn)生指令于某些實(shí)施例中，本發(fā)明的系統(tǒng)與方法提供一多點(diǎn)觸碰輸入手勢(shì)，其中多點(diǎn)觸碰輸入手勢(shì)通過觸碰板20表面附近的手指懸空手勢(shì)產(chǎn)生。如圖14A與15A所示，仔細(xì)調(diào)整影像感測器22的取景角度后，影像感測器22得以獲取觸碰板20表面、一使用者手指32、34 與觸碰板20的一外框區(qū)域100,其中外框區(qū)域100為一環(huán)繞于觸碰板20的一側(cè)壁,且側(cè)壁凹陷或低于鍵盤或其他本體的表面。此外，外框區(qū)域100包括一墻面，且墻面自鍵盤的表面延伸至觸碰板20的表面。如此設(shè)計(jì)，影像感測器22不僅可以偵測位于觸碰板20的區(qū)域X-Y座標(biāo)上手指32、 34的二維手指位置，更可以偵測使用者指尖與觸碰板20表面的間的垂直距離(沿著Z軸)。 關(guān)于觸碰板20附近的指尖位置數(shù)據(jù)可被應(yīng)用于Z軸相關(guān)指令，例如Z軸平移或創(chuàng)造其他多點(diǎn)手勢(shì)輸入指令的控制。圖14A顯示使用者手指32、34接觸于觸碰板20表面。圖14B顯示影像感測器22 的影像102以對(duì)應(yīng)圖14A的使用者手指32、34。圖15A顯示手指32、34自圖14A的接觸位置移至觸碰板20表面上方的懸空位置。圖15B顯示影像感測器22的影像102以對(duì)應(yīng)圖 15A的使用者手指32、34。在某些實(shí)施例中，影像感測器22被用以識(shí)別觸碰板20表面與上方的手指32、34 的區(qū)域X-Y位置，以及位于觸碰板20上方手指32、34的懸空距離。此識(shí)別通過比較連續(xù)影像框(也即目前與先前影像框)，例如圖14B與圖15B的影像框而達(dá)成。接著，影像感測器 22識(shí)別手指32、34的X、Y與Z的約略的位置變化。當(dāng)使用者手指32、34接觸至觸碰板20表面，如前文所述，將通過數(shù)據(jù)融合識(shí)別觸碰點(diǎn)的絕對(duì)位置。然而，當(dāng)使用者抬起手指32、34且懸空于觸碰板20表面，數(shù)據(jù)融合可能無法識(shí)別手指32、34的精確二維位置。于此例中，影像感測器22通過比對(duì)先前獲取影像框與現(xiàn)在獲取影像框估算X軸的位置變化量。舉例來說，圖16A和圖16B顯示通過比對(duì)二個(gè)連續(xù)影像框之間的差異以偵測X軸的位置改變量。于圖16A與16B的例中，固件70使用回反射器110 (retroreflector)的一或多個(gè)的視覺特征進(jìn)行識(shí)別并比較影像，以便估算手指32、34在X軸的位置變化量。圖16A與圖 16B顯示現(xiàn)有回反射器110設(shè)置于觸碰板20的外邊緣區(qū)域(外框100)以協(xié)助識(shí)別影像。如圖所示，回反射器110包括一或多個(gè)視覺特征，例如線條112、格紋或是其他視覺背景影像， 上述視覺特征用以量測及/或估算手指32、34在X軸的相對(duì)移動(dòng)與位置變化量。在某些實(shí)施例中，回反射器110包括一薄膜材質(zhì)的表面，用以反射光線至其發(fā)射源以減少光線散逸。 當(dāng)手指32、34阻斷回反射器110的反射光時(shí)，固件70依據(jù)回反射器110的線條112偵測手指32、34的位置改變量，且位置改變量可被設(shè)定為手指32、34在X軸上的預(yù)設(shè)位置變化量。
于某些實(shí)施例中，固件70也可偵測懸空于觸碰板20上方的手指Y軸移動(dòng)(前進(jìn)/后退)。于此實(shí)施例中，固件70及/或影像感測器22的用法與圖4說明中所述方法相同， 通過比對(duì)后來影像框中的手指影像尺寸(比例改變)，進(jìn)而估算手指32、34在Y軸上的位置
改變量。需要理解的是，本系統(tǒng)與方法通過觸碰板20表面以及懸空于觸碰板20表面的手部手勢(shì)產(chǎn)生多點(diǎn)觸碰指令。當(dāng)觸碰板20被接觸時(shí)，觸碰板20產(chǎn)生多指觸控指令，例如包括卷軸卷動(dòng)、網(wǎng)頁翻頁、文字影像縮放、圖片旋轉(zhuǎn)等等。同樣地，懸空于觸碰板上方的手指也可產(chǎn)生多點(diǎn)觸碰指令。舉例來說，左/右移動(dòng)懸空手指產(chǎn)生X軸平移的信號(hào)，前/后移動(dòng)懸空手指產(chǎn)生Y軸平移的信號(hào)，左/右方向移動(dòng)二懸空手指產(chǎn)生一轉(zhuǎn)向指令(Y軸旋轉(zhuǎn))，而前/ 后移動(dòng)二只懸空手指產(chǎn)生一翻轉(zhuǎn)指令(X軸旋轉(zhuǎn))。在特別例子中，懸空手指產(chǎn)生令三維地圖(如google earth)的攝像取景改變的指令。在某些實(shí)施例中，觸碰板20表面的手部手勢(shì)啟動(dòng)一第一指令模式，而懸空手指在觸碰板20上方產(chǎn)生的手部手勢(shì)啟動(dòng)一第二指令模式。在某些例子中，此二模式接收觸碰板表面與其上方空間的手勢(shì)輸入，而成為雙模式系統(tǒng)。因此，使用者可以通過接觸觸碰板20、 將手指盤懸于觸碰板20的上及/或?qū)⑹种副P懸于影像感應(yīng)器22之上，進(jìn)行軟件程序的輸入與控制。以上所述僅為本發(fā)明的較佳實(shí)施例，并非用以限定本發(fā)明的申請(qǐng)專利范圍，因此凡其他未脫離本發(fā)明所揭示的精神下所完成的等效改變或修飾，均應(yīng)包含于本案的申請(qǐng)專利范圍內(nèi)。
權(quán)利要求
1.一種產(chǎn)生多點(diǎn)觸碰指令的系統(tǒng),包括一單點(diǎn)觸控感應(yīng)板；一影像感測器，設(shè)置于該單點(diǎn)觸控感應(yīng)板附近，其中該影像感測器用以獲取該單點(diǎn)觸控感應(yīng)板表面或上方的一使用者手指的一或多個(gè)影像；以及一固件，用以接收該單點(diǎn)觸控感應(yīng)板的一數(shù)據(jù)，并依據(jù)該數(shù)據(jù)與該影像感測器的一或多個(gè)該影像產(chǎn)生一多點(diǎn)觸碰指令。
2.如權(quán)利要求I所述的系統(tǒng)，其中該固件還用以通過比較該影像感測器所獲取的該一或多個(gè)影像的連續(xù)影像而識(shí)別該使用者手指的一位置與移動(dòng)。
3.如權(quán)利要求I所述的系統(tǒng)，其中該影像感測器包括一感測相機(jī)。
4.如權(quán)利要求3所述的系統(tǒng)，其中該感測相機(jī)能移動(dòng)以改變?cè)摳袦y相機(jī)的一相機(jī)角度。
5.如權(quán)利要求I所述的系統(tǒng)，還包括一外框區(qū)域，設(shè)置于該單點(diǎn)觸碰感應(yīng)板的一外邊緣。
6.如權(quán)利要求5所述的系統(tǒng)，還包括一回反射器，設(shè)置于該斜面的至少一部分上，于該回反射器上具有多個(gè)線條或一格紋。
7.如權(quán)利要求6所述的系統(tǒng)，其中該固件還包括通過比較該影像感測器所獲取的該一或多個(gè)影像的連續(xù)影像，以及通過辨識(shí)該連續(xù)影像中該使用者手指的位置與該回反射器的該多個(gè)線條或該格紋的位置的關(guān)系，而識(shí)別該使用者手指的位置與移動(dòng)。
8.如權(quán)利要求I所述的系統(tǒng)，還包括一光源，設(shè)置于該單點(diǎn)觸碰感應(yīng)板附近，用以于該使用者手指接觸該單點(diǎn)觸碰感應(yīng)板時(shí)，照明至少該單點(diǎn)觸控感應(yīng)板與該使用者手指的一部分。
9.一種使用一單點(diǎn)觸碰感應(yīng)板產(chǎn)生一多點(diǎn)觸碰指令的方法,該方法包括從一單點(diǎn)觸控感應(yīng)板獲取數(shù)據(jù)，該數(shù)據(jù)用以識(shí)別該單點(diǎn)觸碰感應(yīng)板上是否存在一觸碰點(diǎn)，若是，則依據(jù)該數(shù)據(jù)識(shí)別該觸碰點(diǎn)位置，其中該觸碰點(diǎn)自一使用者的一或多個(gè)手指接觸于該單點(diǎn)觸控感應(yīng)板所產(chǎn)生；獲取來自一影像感測器的該使用者的該一或多個(gè)手指的一或多個(gè)影像；使用固件及來自該單點(diǎn)觸控感應(yīng)板的該數(shù)據(jù)以及該一或多個(gè)影像來識(shí)別該使用者的該一或多個(gè)手指所產(chǎn)生的一手部手勢(shì)；以及基于該被識(shí)別的手勢(shì)，使用固件產(chǎn)生一多點(diǎn)觸碰指令。
10.如權(quán)利要求9所述的方法，其中該觸碰點(diǎn)位置為一平均觸碰點(diǎn)的位置；且該方法還包括使用固件、該平均觸碰點(diǎn)的該位置以及該一或多個(gè)影像來識(shí)別該單點(diǎn)觸控感應(yīng)板的二個(gè)或二個(gè)以上觸碰點(diǎn)。
11.如權(quán)利要求10所述的方法，還包括對(duì)映該平均觸碰點(diǎn)的該位置至一座標(biāo)系統(tǒng)；對(duì)映該一或多個(gè)影像的至少一部分至該座標(biāo)系統(tǒng)；識(shí)別至少一部分的該一或多個(gè)影像中的手指邊緣于該座標(biāo)系統(tǒng)的位置；決定該二個(gè)或二個(gè)以上實(shí)際觸碰點(diǎn)的數(shù)量，以及該二個(gè)或二個(gè)以上實(shí)際觸碰點(diǎn)之間的距離；以及識(shí)別該二個(gè)或二個(gè)以上實(shí)際觸碰點(diǎn)的座標(biāo)。
12.如權(quán)利要求11所述的方法，其中該一或多個(gè)影像的至少一部分接近該平均觸碰點(diǎn)的位置。
13.如權(quán)利要求11所述的方法，還包括過濾該二個(gè)或二個(gè)以上實(shí)際觸碰點(diǎn)的一組識(shí)別座標(biāo)，以濾除不平穩(wěn)的移動(dòng)。
14.如權(quán)利要求9所述的方法，其中識(shí)別一手部手勢(shì)包括，當(dāng)該數(shù)據(jù)顯示該單點(diǎn)觸碰感應(yīng)板上不存在一觸碰點(diǎn)時(shí)，僅使用該一或多個(gè)影像識(shí)別該使用者的一或多個(gè)手指所做的手勢(shì)。
15.如權(quán)利要求14所述的方法，還包括比較該一或多個(gè)影像中的二個(gè)或二個(gè)以上連續(xù)影像，以偵測一使用者手部手勢(shì)。
16.如權(quán)利要求15所述的方法，還包括識(shí)別該二個(gè)或二個(gè)以上連續(xù)影像中的一回反射器的一或多個(gè)視覺特征；以及基于該使用者的一或多個(gè)手指相對(duì)于該二個(gè)或二個(gè)以上連續(xù)影像中該回反射器的該一或多個(gè)視覺特征的位置，識(shí)別該二個(gè)或二個(gè)以上連續(xù)影像中該使用者的一或多個(gè)手指的一移動(dòng)。
17.如權(quán)利要求15所述的方法，其中識(shí)別一手部手勢(shì)包括使用一即時(shí)樣板追蹤演算法進(jìn)行識(shí)別。
18.如權(quán)利要求9所述的方法，其中當(dāng)該數(shù)據(jù)顯示該單點(diǎn)觸碰感應(yīng)板上不存在一觸碰點(diǎn)時(shí)，識(shí)別一手部手勢(shì)包括識(shí)別于開放空間中產(chǎn)生的一手部手勢(shì)。
19.如權(quán)利要求9所述的方法，其中當(dāng)該數(shù)據(jù)識(shí)別該單點(diǎn)觸碰感應(yīng)板上存在一觸碰點(diǎn)時(shí)，識(shí)別一手部手勢(shì)包括識(shí)別于至少部分的該觸碰板上所產(chǎn)生的一手部手勢(shì)。
20.一種使用一單點(diǎn)觸碰感應(yīng)板產(chǎn)生一多點(diǎn)觸碰指令的方法，該方法包括獲取一單點(diǎn)觸控感應(yīng)板的數(shù)據(jù)，該數(shù)據(jù)用以識(shí)別該單點(diǎn)觸碰感應(yīng)板上是否存在一觸碰點(diǎn)，當(dāng)該數(shù)據(jù)識(shí)別該觸碰點(diǎn)的位置存在時(shí)，該數(shù)據(jù)還識(shí)別該觸碰點(diǎn)的位置，其中該觸碰點(diǎn)由一使用者的一或多個(gè)手指接觸于該單點(diǎn)觸碰感應(yīng)板所產(chǎn)生；獲取來自一影像感測器的該使用者的該一或多個(gè)手指的一或多個(gè)影像； 當(dāng)該數(shù)據(jù)顯示該單點(diǎn)觸控感應(yīng)板上存在一觸碰點(diǎn)時(shí)，使用固件及來自該單點(diǎn)觸碰感應(yīng)板的數(shù)據(jù)以及該一或多個(gè)影像識(shí)別該使用者的該一或多個(gè)手指所產(chǎn)生的一手部手勢(shì)，而于該數(shù)據(jù)顯示該單點(diǎn)觸控感應(yīng)板上不存在一觸碰點(diǎn)時(shí)，僅使用該一或多個(gè)影像識(shí)別一手部手勢(shì)；以及使用固件并基于該被識(shí)別的手部手勢(shì)產(chǎn)生一多點(diǎn)觸碰指令。
全文摘要
本發(fā)明公開了一種產(chǎn)生多點(diǎn)觸碰指令的系統(tǒng)與方法。影像感測器設(shè)置于單點(diǎn)觸控感應(yīng)板附近，用以獲取位于單點(diǎn)觸控感應(yīng)板表面或上方的一使用者手指的影像。本系統(tǒng)包括固件，其中固件用以獲取單點(diǎn)觸控感應(yīng)板的數(shù)據(jù)，并利用數(shù)據(jù)以及影像感測器的一或多個(gè)影像產(chǎn)生一多點(diǎn)觸碰指令。
文檔編號(hào)G06F3/042GK102541365SQ201110461270
公開日2012年7月4日 申請(qǐng)日期2011年12月26日 優(yōu)先權(quán)日2011年1月3日
發(fā)明者泰山安武 申請(qǐng)人:致伸科技股份有限公司