多模態(tài)觸摸屏交互裝置、方法和系統(tǒng)的制作方法
【專利摘要】多模態(tài)觸摸屏交互裝置、方法和系統(tǒng)(“MTI”)經(jīng)由MTI組件將多用戶多模態(tài)觸摸屏輸入手勢(shì)轉(zhuǎn)變?yōu)橛脩舳ㄖ频挠?jì)算結(jié)果顯示。在一個(gè)實(shí)施方式中，MTI從觸摸屏傳感器獲得包括關(guān)于觸摸屏上的用戶觸摸事件的信息的傳感器信號(hào)。MTI根據(jù)所述傳感器信號(hào)確定所述用戶觸摸事件的位置坐標(biāo)。MTI根據(jù)所述傳感器信號(hào)識(shí)別所述用戶觸摸事件的觸摸類型，以及使用所述用戶觸摸事件的所述觸摸類型來確定用戶觸摸屏手勢(shì)。MTI針對(duì)與所述用戶觸摸屏手勢(shì)關(guān)聯(lián)的用戶命令而查詢存儲(chǔ)器，以及經(jīng)由處理器執(zhí)行所述用戶命令。
【專利說明】多模態(tài)觸摸屏交互裝置、方法和系統(tǒng)
[0001]旨在專利證書公開文獻(xiàn)的此專利描述了包括各種新穎創(chuàng)意的發(fā)明方面(下文稱為“公開”)，包含受到著作權(quán)、商標(biāo)和/或其它知識(shí)產(chǎn)權(quán)保護(hù)的材料。這些知識(shí)產(chǎn)權(quán)的各個(gè)所有者不反對(duì)任何人如同出現(xiàn)在出版的專利局文件/記錄中一樣拓制本公開，但對(duì)于其它情況將保留所有權(quán)利。
[0002]優(yōu)先權(quán)聲明
[0003]本申請(qǐng)根據(jù)35USC §119要求2011年2月8日提交的名稱為“APPARATUSES，METHODS AND SYSTEMS FOR MULTIMODAL INTERACTIONS WITH LASER LIGHT PLANE TOUCHSCREENS”、代理人案號(hào)21445-002PV的美國(guó)臨時(shí)專利申請(qǐng)序列號(hào)61/440，591的優(yōu)先權(quán)。在此通過引用明確并入前述申請(qǐng)的全部?jī)?nèi)容。
【技術(shù)領(lǐng)域】
[0004]本發(fā)明總體涉及用于人機(jī)交互的裝置、方法和系統(tǒng)，并且更具體地，包括多模態(tài)觸摸屏交互裝置、方法和系統(tǒng)(“MTI”)。
【背景技術(shù)】
[0005]電子顯示器為用戶提供視覺信息。一些計(jì)算機(jī)系統(tǒng)包括用于由用戶響應(yīng)于電子顯示器提供的視覺信息而提供輸入的機(jī)制。例如，計(jì)算機(jī)系統(tǒng)可包括觸摸屏。用戶可在觸摸屏的一部分上施加壓力，作為向計(jì)算機(jī)系統(tǒng)中提供輸入的機(jī)制。
【專利附圖】

【附圖說明】
[0006]附錄和/或附圖圖示根據(jù)本公開的各種非限制性示例發(fā)明方面:
[0007]圖1A-B示出圖示MTI的一些實(shí)施方式中的多模態(tài)觸摸屏交互的各個(gè)示例方面的框圖；
[0008]圖2A-D示出圖示MTI的一些實(shí)施方式中的多模態(tài)觸摸感測(cè)的各個(gè)示例方面的框圖；
[0009]圖3不出圖不MTI的一些實(shí)施方式中的基于光的觸摸輸入識(shí)別的各個(gè)不例方面的框圖；
[0010]圖4A-B示出圖示MTI的一些實(shí)施方式中的多模態(tài)觸摸處理(例如多模態(tài)觸摸處理(“MTP”)組件400)的各個(gè)示例方面的邏輯流程圖；
[0011]圖5示出圖示MTI的一些實(shí)施方式中的觸摸坐標(biāo)確定(例如觸摸坐標(biāo)確定(“TCD”)組件500)的各個(gè)示例方面的邏輯流程圖；
[0012]圖6示出圖示MTI的一些實(shí)施方式中的觸摸類型識(shí)別(例如觸摸類型識(shí)別(“TTP”)組件600)的各個(gè)示例方面的邏輯流程圖；
[0013]圖7A-B示出圖示MTI的一些實(shí)施方式中的觸摸組分辨率(例如觸摸組分辨率(“TGR”)組件700)的各個(gè)示例方面的邏輯流程圖；
[0014]圖8示出圖示MTI控制器的實(shí)施方式的框圖。[0015]圖中各附圖標(biāo)記的第一個(gè)數(shù)字表示引入和/或詳述該附圖標(biāo)記的圖。如此，將在圖1中找到和/或引入附圖標(biāo)記101的詳細(xì)討論。在圖2中引入附圖標(biāo)記201等。
【具體實(shí)施方式】
[0016]多模態(tài)觸摸屏交互(MTI)
[0017]多模態(tài)觸摸屏交互裝置、方法和系統(tǒng)(下文稱為“MTI”)經(jīng)由MTI組件將多用戶多模觸摸屏輸入手勢(shì)轉(zhuǎn)換為用戶定制的計(jì)算結(jié)果顯示。圖1A-B示出圖示MTI的一些實(shí)施方式中的多模態(tài)觸摸屏交互的各個(gè)示例方面的框圖。參照?qǐng)D1A，在一些實(shí)施方式中，MTI可提供觸摸屏100。例如，用戶可用手指或手、或者諸如觸控筆的物體觸摸MTI提供的顯示器。觸摸屏可以是電子視覺顯示器，其能檢測(cè)顯示區(qū)域內(nèi)的觸摸的存在和位置，并且將檢測(cè)的觸摸解釋為與正在顯示的內(nèi)容的處理交互。MTI可提供一機(jī)制，從而虛擬覆蓋物或表面可接收與包括或容納顯示器的給定表面交互、或者觸摸包括或容納顯示器的給定表面的用戶輸入。在一些實(shí)施方式中，觸摸屏可包括用設(shè)計(jì)為檢測(cè)觸摸屏或其附近的微小物理環(huán)境中變化的傳感器構(gòu)造輪廓或支撐的框。傳感器可在空間和時(shí)間上檢測(cè)并跟蹤各種物體在限定表面上的接觸。在一些實(shí)施方式中，觸摸屏表面可包括但不限于數(shù)字顯示器(例如，液晶顯示器(LCD)、等離子體顯示器、背投、發(fā)光二極管(LED)、有機(jī)發(fā)光二極管(OLED)等)上的覆蓋物。其它非數(shù)字顯示器(例如，不規(guī)則或彎曲的壁面)也可包含觸摸屏表面。在一些實(shí)施方式中，MTI可提供設(shè)計(jì)為同時(shí)檢測(cè)并解釋單個(gè)顯示器上的兩個(gè)或更多個(gè)不同的觸摸事件的多個(gè)觸摸屏，包括能解釋由兩個(gè)或更多個(gè)手指作出的各種“手勢(shì)”的那些觸摸屏。MTI可使用這里討論的各種觸摸檢測(cè)和跟蹤實(shí)現(xiàn)中的任意一種實(shí)現(xiàn)多點(diǎn)觸摸觸摸屏。因此，MTI可實(shí)現(xiàn)手勢(shì)解釋能力，因此提供一系列豐富復(fù)雜的與顯示內(nèi)容的用戶交互。在一些實(shí)施方式中，MTI可便于單個(gè)用戶提供單個(gè)類型的輸入(例如，觸控筆輸入101a、手指輸入IOlb等)。在一些實(shí)施方式中，MTI可便于單個(gè)用戶提供多個(gè)同時(shí)輸入觸摸(例如，多觸控筆輸入101c、混合觸控筆_手指輸入IOlcU多手指輸入101e、多手多手指輸入IOlf、多手指混合觸控筆-手指輸入IOlg和/或類似組合)。
[0018]參照?qǐng)D1B，在一些實(shí)施方式中，MTI可便于多個(gè)用戶(例如，用戶1110a，用戶2110b，用戶3110c)同時(shí)向觸摸屏100提供諸如以上參照?qǐng)D1A描述的那些輸入的輸入。在一些實(shí)施方式中，每個(gè)用戶可與MTI提供的觸摸屏上顯示的單獨(dú)的可執(zhí)行應(yīng)用程序(例如，應(yīng)用程序Illla,應(yīng)用程序2111b,應(yīng)用程序3111c)交互。在這些實(shí)施方式中,MTI可接收、區(qū)分并且唯一地標(biāo)識(shí)來自(可能同時(shí)作用的)各個(gè)用戶中的每個(gè)用戶的(可能同時(shí)的)各個(gè)輸入中的每個(gè)輸入，并且將該各個(gè)用戶中的每個(gè)用戶的輸入關(guān)聯(lián)到它們正與之交互的MTI上的各個(gè)應(yīng)用。在一些優(yōu)選實(shí)施方式中，MTI可識(shí)別用戶的手指和觸控筆輸入并且在二者之間進(jìn)行區(qū)分，使得手指和觸控筆輸入二者均可被感測(cè)為接觸觸摸屏，作為不同類型的觸摸。在這些實(shí)施方式中，MTI可使觸摸屏上正在顯示的應(yīng)用程序的用戶界面適于在手指與之交互時(shí)相對(duì)于觸控筆與之交互時(shí)不同地表現(xiàn)。在一些實(shí)施方式中，應(yīng)用程序?yàn)橛脩籼峁┑墓δ芸筛鶕?jù)用戶是利用手指還是觸控筆與應(yīng)用程序交互而變化(例如，即使MTI的觸摸屏上的用戶手勢(shì)的形狀對(duì)于手指和觸控筆相同時(shí)也是如此)。作為這種情況的示例，基于手指觸摸的手勢(shì)可在繪制應(yīng)用程序中向用戶提供橡皮工具，而使用觸控筆的相同手勢(shì)可在繪制應(yīng)用程序中提供繪制工具。在一些實(shí)施方式中，一些用戶控制可通過觸控筆觸摸(并且例如不通過手指觸摸)而激活，實(shí)現(xiàn)了通過在手勢(shì)中如何同時(shí)使用觸控筆和手指定義的新的混合觸摸手勢(shì)。在一些實(shí)施方式中，觸摸屏應(yīng)用程序軟件(或“apps”)可提出和/或劃分要針對(duì)手指或觸控筆或二者執(zhí)行的特定跟蹤處理。作為示例性非限制示例，在應(yīng)用程序中，當(dāng)手指用于繪制時(shí)，相比于當(dāng)觸控筆用于繪制時(shí)，MTI上執(zhí)行的觸摸屏應(yīng)用程序可施加附加的平滑。
[0019]圖2A-D示出圖示MTI的一些實(shí)施方式中的多模態(tài)觸摸感測(cè)的各個(gè)示例方面的框圖。參照?qǐng)D2A，在各種實(shí)施方式中，MTI可包括利用各種各樣的技術(shù)用于觸摸感測(cè)的觸摸屏，這些技術(shù)包括但不限于電阻/電容膜，包括安裝在顯示器表面上的框的“覆蓋物”，從后面觀察表面的相機(jī)，基于物體在顯示器表面周圍移動(dòng)時(shí)產(chǎn)生的聲振動(dòng)對(duì)物體位置進(jìn)行三角測(cè)量的音頻傳感器。在利用電阻/電容觸摸屏的一些實(shí)施方式中，傳感器可由提供預(yù)校準(zhǔn)的、最優(yōu)的彈性和柔性的塑料聚合物制成，并且產(chǎn)生對(duì)由諸如手指的帶靜電物體的接近或接觸導(dǎo)致的變形敏感的靜電場(chǎng)。MTI可提供電阻/電容觸摸屏，可包括可擴(kuò)展敏感度范圍和接近感測(cè)能力。在一些實(shí)施方式中，覆蓋物表面可對(duì)正在施加到表面的力的量進(jìn)行壓力敏感測(cè)量。在一些實(shí)現(xiàn)中，觸摸屏可包括使用具有快速刷新率(例如，120Hz以上)、無霧透明度的高對(duì)比度的高分辨率像素傳感器。觸摸屏傳感器可根據(jù)用戶/組喜好、執(zhí)行的應(yīng)用程序、觸摸屏附近的環(huán)境狀況等自動(dòng)校準(zhǔn)或定制。上述各種實(shí)現(xiàn)可以在使用多種模式檢測(cè)、跟蹤或解釋觸摸交互的觸摸屏中組合。
[0020]在一些實(shí)現(xiàn)中，激光平面(LLP)、紅外線(IR)或其它光波可投射在顯示表面上，當(dāng)物體干擾該投射的光波時(shí)，通過傳感器檢測(cè)到觸摸。例如，在一些實(shí)施方式中，觸摸屏210包括顯示表面，安裝有紅外光源215以平行于表面發(fā)光，并且安裝有傳感器以觀察該光和針對(duì)其的任何干擾。在一些實(shí)施方式中，觸摸屏顯示表面可以是平的，但是在其它實(shí)施方式中可以操作性地彎曲特定類型的曲率，例如圓柱截面。非限制性地，實(shí)施方式可針對(duì)電磁輻射(例如，可見光)的變化波長(zhǎng)而操作。
[0021]一些實(shí)施方式可利用表面的一部分周圍的矩形框211，其中紅外光源和傳感器嵌入在框中。在一些實(shí)施方式中，紅外光源可以(例如，從預(yù)定參考點(diǎn)看去，連續(xù)地、具有周期性間隔、以相等角間距等)包含在框內(nèi)部周圍，并且傳感器可定位在矩形框的兩個(gè)或更多個(gè)角落(參見214)。在其它實(shí)施方式中，光發(fā)射器和傳感器可彼此成對(duì)匹配地嵌入在框中，例如，框一側(cè)可包括發(fā)射器，并且另一側(cè)可包括對(duì)應(yīng)于這些發(fā)射器的傳感器。在一些實(shí)施方式中，觸摸屏周圍的框可包括不同敏感度水平、分辨率和/或時(shí)間屬性的一組混合的傳感器。在一些實(shí)施方式中，照明傳感器可位于感測(cè)平面(例如，一維IR-LED)上。框還可包括戰(zhàn)略定位于給定交互區(qū)域上的多個(gè)傳感器。在一些實(shí)施方式中，觸摸屏可包括表面平面外部的(例如，經(jīng)由互補(bǔ)金屬氧化物半導(dǎo)體(CMOS)和IR激光二極管的二維的)傳感器。傳感器位于平坦表面外部，與觸摸屏的交互可不需要觸摸物體和/或觸控筆物理接觸表面，并且允許觸摸屏例如從移動(dòng)或遠(yuǎn)程設(shè)備接收遠(yuǎn)程交互輸入。在各種實(shí)施方式中，與觸摸屏交互的物體可采取許多形式。在一個(gè)實(shí)施方式中，正被檢測(cè)的物體可以是手指、觸控筆、或遠(yuǎn)端具有預(yù)定模式(例如規(guī)則或不規(guī)則形狀)的構(gòu)件。
[0022]在一個(gè)實(shí)施方式中，觸摸屏可對(duì)多個(gè)傳感器讀數(shù)進(jìn)行三角測(cè)量，以確定物體位置。在一些實(shí)施方式中，具有紅外光發(fā)射器的觸控筆可用于與觸摸屏交互。觸摸屏可經(jīng)由光傳感器(從屏幕后面觀察或在屏幕平面中觀察)將紅外光觸控筆檢測(cè)為亮點(diǎn)。在一些實(shí)施方式中，觸摸屏可發(fā)射紅外光，以通過反射或散射檢測(cè)手指觸摸動(dòng)作。一些屏幕也可使發(fā)光的紅外光源嵌入在觸摸屏平面中，使得觸摸屏幕的手指被IR光照亮，并且可檢測(cè)為光傳感器中的亮點(diǎn)。
[0023]在一些實(shí)施方式中，觸摸屏周圍的覆蓋框可包括平行于表面發(fā)光的嵌入紅外光，以及當(dāng)物體打破限定的平面以將光反射回傳感器時(shí)感測(cè)增加的亮度的光傳感器。如圖2A中圖示的，在一些實(shí)施方式中，觸摸屏面板可在獨(dú)立地跟蹤手指212和觸控筆213時(shí)同時(shí)從手指212和觸控筆213接收輸入。在一些實(shí)施方式中，例如，傳感器214可調(diào)諧為檢測(cè)從觸控筆發(fā)射的光或者因?yàn)槭种赣|摸反射的光。在這些實(shí)施方式中，觸控筆213發(fā)射的光的強(qiáng)度可亮于手指觸摸反射的光或者在不存在用戶觸摸的情況下在屏幕平面上方發(fā)射的光的正常強(qiáng)度。
[0024]在一些實(shí)施方式中，覆蓋框可包括平行于表面發(fā)光的嵌入紅外光源，以及當(dāng)光被在光源與傳感器之間的表面上進(jìn)行接觸的物體(諸如手指)阻擋時(shí)檢測(cè)的傳感器。參照?qǐng)D2B，一些實(shí)施方式可利用通過阻擋或散射的光而檢測(cè)觸摸的觸摸屏。在這些實(shí)施方式中，可經(jīng)由調(diào)諧為識(shí)別發(fā)射或透射的光225的中斷或降低強(qiáng)度的傳感器220而檢測(cè)觸摸事件222的例子，然后可基于通過若干傳感器獲得的散射模式對(duì)檢測(cè)的觸摸事件的位置進(jìn)行三角測(cè)量(例如，經(jīng)由觸摸處理器221)和跟蹤。在一些實(shí)施方式中，區(qū)分算法可指示傳感器檢測(cè)比正常顯著亮的位置(例如，當(dāng)觸控筆223的光/RF發(fā)射器開啟時(shí))，以及比正常顯著暗的位置(例如，當(dāng)手指222阻擋或減少屏幕表面上的光平面時(shí))。在這些實(shí)施方式中，比正常屏幕交互亮可解釋為觸控筆觸摸223，比正常暗可解釋為手指觸摸222。在一些實(shí)施方式中，觸控筆223可包括RF發(fā)射器，并且可使用嵌入在觸摸屏的覆蓋框中的兩個(gè)或更多個(gè)傳感器223對(duì)觸控筆的位置進(jìn)行三角測(cè)量。
[0025]參照?qǐng)D2C，在一些實(shí)施方式中，觸摸屏面板230可在通過網(wǎng)絡(luò)與其它觸摸屏232-233通信時(shí)從手指234和觸控筆(參見235)接收輸入。可對(duì)在輸入觸摸屏面板230處檢測(cè)到的觸摸交互進(jìn)行跟蹤，并由觸摸處理器231處理為可在聯(lián)網(wǎng)的所有屏幕230、232-233處顯示的輸出。在一些實(shí)施方式中，聯(lián)網(wǎng)的屏幕232-233自身可以是具有與觸摸屏230類似的特征的觸摸屏。在一些實(shí)施方式中，聯(lián)網(wǎng)的屏幕可包括許多附加輸入類型，包括基于相機(jī)的觸摸/接近輸入屏幕(例如，表面支持相機(jī)、前安裝相機(jī)、后定位相機(jī))、基于電阻/電容觸摸屏的輸入屏幕等。
[0026]在一些實(shí)施方式中，利用的觸控筆(參見235)可包括頂端的IRLED或RF發(fā)射器，其可通過向觸摸屏表面應(yīng)用壓力或接近該觸摸屏表面而可選地被激活。觸控筆還可包括附加在外部的或嵌入的開關(guān)，用于關(guān)閉當(dāng)觸控筆動(dòng)作或壓向物體時(shí)可激活LED或RF發(fā)射器的電路。在一些實(shí)施方式中，傳感器可在多個(gè)觸控筆235之間進(jìn)行區(qū)分。例如，頂端具有LED的給定觸控筆可在與觸摸屏表面接觸時(shí)連續(xù)發(fā)射IR光，在觸摸屏表面，通過排列在顯示表面(在平面中，從后面或前面)上的傳感器檢測(cè)和跟蹤該IR光。利用發(fā)射相同光的多個(gè)觸控筆，傳感器可讀取一系列類似亮點(diǎn)而不在它們之間進(jìn)行區(qū)分。在一些實(shí)施方式中，特定觸控筆的IR LED可閃爍，其中不同觸控筆可使用不同閃爍模式或頻率，使得傳感器能夠在它們之間進(jìn)行區(qū)分。盡管頻率模式允許區(qū)分，但一些觸摸屏也可受益于精確跟蹤。
[0027]在一些實(shí)施方式中，每個(gè)觸控筆可在接觸/接近觸摸屏表面時(shí)創(chuàng)建不同空間模式的光。利用適當(dāng)?shù)囟x的觸控筆大小和傳感器范圍，當(dāng)觸控筆相對(duì)于IR傳感器處于各種位置時(shí)，可以將模式可識(shí)別。在一些實(shí)施方式中，觸控筆可包括彩色LED以增強(qiáng)傳感器的對(duì)比度。實(shí)現(xiàn)可包括兩個(gè)LED，其中它們的亮度隨時(shí)間變化。這樣，觸控筆可對(duì)傳感器連續(xù)可見(不變暗)，但是“亮與更亮”之間的調(diào)制可按不同時(shí)間模式或頻率執(zhí)行，使得可區(qū)分不同觸控筆。因此，可保持高清位置跟蹤，同時(shí)允許彼此區(qū)分多個(gè)觸控筆跟蹤。在觸摸屏在多個(gè)觸控筆之間進(jìn)行區(qū)分的一些實(shí)施方式中，觸摸屏可將不同繪制模式(例如，顏色、畫筆風(fēng)格等)與每個(gè)觸控筆關(guān)聯(lián)；繪制和擦除模式，用戶/觸控筆關(guān)聯(lián)，回合制控制，針對(duì)觸摸屏部分的讀/寫/執(zhí)行許可。此外，與每個(gè)用戶關(guān)聯(lián)的不同觸控筆可保持跟蹤哪個(gè)用戶繪制什么。
[0028]圖2D圖示輸入觸控筆的示例。例如，輸入構(gòu)件243是在給定遠(yuǎn)端具有IR LED的觸控筆。在一個(gè)實(shí)施方式中，輸入構(gòu)件可包括位于近端的IR LED對(duì)。觸控筆輸入構(gòu)件可包括用于開啟/關(guān)閉觸控筆和/或控制附加觸控筆功能242的撥動(dòng)開關(guān)。線性觸摸敏感度滑動(dòng)可提供進(jìn)一步控制，例如輸出到觸摸屏的線寬的精度。在一個(gè)實(shí)施方式中，觸控筆241可包括無線通信硬件、音頻麥克風(fēng)和/或嵌入式生物識(shí)別軟件。圖2D的觸控筆還可包括用于傳感器三角測(cè)量和標(biāo)識(shí)目的的RF發(fā)射器/接收器。在一個(gè)實(shí)施方式中，觸控筆標(biāo)識(shí)符(觸控筆ID)可與不同時(shí)間調(diào)制模式關(guān)聯(lián)。每個(gè)ID可與在零亮度之上很好地偏移的正弦或階梯模式的不同時(shí)間頻率關(guān)聯(lián)。在另外的實(shí)施方式中，觸控筆ID可包括類似莫爾斯電碼的時(shí)間模式。實(shí)現(xiàn)還可包括觸控筆兩端的LED對(duì)，每端使用不同的時(shí)間調(diào)制模式。在一個(gè)實(shí)施方式中，觸控筆側(cè)部的開關(guān)可用于改變時(shí)間調(diào)制模式，并且因此切換觸控筆的“ID”。時(shí)間調(diào)制模式識(shí)別可能在觸摸屏表面上的觸控筆的第一次觀察起的一些延遲后發(fā)生。然而，對(duì)于高頻率模式以及以高幀率操作的傳感器，該延遲能非常小。此外，當(dāng)初始地觀察到觸控筆接觸時(shí)，其可關(guān)聯(lián)于在該區(qū)域中最近觀察到的觸控筆相同的ID。因此，可以使用該初始估計(jì)，直到一些幀之后觀察可用于驗(yàn)證或校正觸控筆ID，該初始估計(jì)很可能被校正正常觸摸屏使用次數(shù)的超高百分比。
[0029]在一個(gè)實(shí)施方式中，觸控筆可包括與觸摸屏建立通信的射頻(RF)發(fā)射器天線和/或接收器。觸控筆和觸摸屏利用RF傳輸?shù)膶?shí)現(xiàn)可使用無線電波以在發(fā)射器和接收器之間傳輸信號(hào)。觸控筆天線可附加到嵌入在觸控筆中的觸控筆發(fā)射器單元或者以可操作通信方式耦合的其他。根據(jù)實(shí)現(xiàn)，觸控筆發(fā)射器以允許觸摸屏接收器從觸控筆接收信號(hào)的方式定位。在一個(gè)實(shí)施方式中，觸控筆之間的RF通信可在單信道和/或多信道系統(tǒng)發(fā)生。多信道系統(tǒng)的一個(gè)實(shí)施方式還可包括RF觸控筆和/或觸摸屏發(fā)射器/接收器上的信道選擇器。
[0030]圖3不出圖不MTI的一些實(shí)施方式中的基于光的觸摸輸入識(shí)別的各個(gè)不例方面的框圖。子圖3(a)_(b)圖示對(duì)觸控筆和手指輸入觸摸的IR光敏感度的示例輸出圖，其中通過測(cè)量由手指觸摸引起的反射來檢測(cè)手指觸摸。在一個(gè)實(shí)施方式中，當(dāng)IR光源開啟時(shí)可如傳感器看到的一樣測(cè)量正常光水平，并且設(shè)置兩個(gè)閾值，一個(gè)與手指觸摸有關(guān)并且一個(gè)與觸控筆觸摸有關(guān)。在諸如在子圖3 (a)-(b)中描述的一些實(shí)施方式中，兩個(gè)閾值均可在正常光水平之上，觸控筆閾值可保持較高的一個(gè)。
[0031]子圖3(c)_(d)圖示對(duì)觸控筆和手指輸入觸摸的IR光敏感度的示例輸出圖,其中通過測(cè)量手指觸摸引起的散射來檢測(cè)手指觸摸。在一個(gè)實(shí)施方式中，這些圖可示出在表面平面中許多角度中的每個(gè)角度ID相機(jī)在看什么。因此，橫軸“theta”例如可指IR圖像器正在看的角度。在一個(gè)實(shí)施方式中，閾值線可如箭頭所表示的動(dòng)態(tài)變化而不是恒定水平。例如，MTI可假設(shè)嘈雜的非均勻基線光水平，并且將閾值設(shè)置為具有相同形狀，但是在之上或之下偏移?；蛘進(jìn)TI可將需要的閾值計(jì)算為圖中每個(gè)位置的正常光水平的百分比(例如120%或80% )，其中正常光水平可在觸摸屏空間上以及在時(shí)間中變化。
[0032]例如，在一些實(shí)施方式中，當(dāng)IR光源開啟時(shí)，傳感器可測(cè)量并定義每個(gè)傳感器觀察到的正常光水平。觸摸屏軟件可將“閾值I”設(shè)置在該正常光水平之上，并且檢測(cè)亮度超過該閾值的觸控筆觸摸。在一個(gè)實(shí)施方式中，可將“閾值2”設(shè)置在該正常光水平之下，并且檢測(cè)亮度在該第二閾值之下的手指觸摸。非限制性地，可針對(duì)每個(gè)傳感器不同地設(shè)置閾值，并且如果傳感器可操作為看到沿屏幕平面的空間位置范圍，則閾值可在空間上變化。這可包括之上和之下的非均勻“正?！绷炼人胶头蔷鶆蜷撝怠？稍O(shè)置觸摸覆蓋校準(zhǔn)軟件，使得中性(不與手指或觸控筆接觸)表示中間值。在一個(gè)實(shí)施方式中，觸摸屏可檢測(cè)、解釋和區(qū)分來自多個(gè)對(duì)象類型(例如，手指和觸控筆)的觸摸交互，以及不論來自單個(gè)或多個(gè)用戶多于一個(gè)相同對(duì)象類型(例如，不同觸控筆)的觸摸交互。如下面更詳細(xì)討論的，可以用使用在此描述的物理檢測(cè)模式的任一個(gè)或組合的觸摸屏實(shí)現(xiàn)一個(gè)實(shí)施方式。在優(yōu)選實(shí)施方式中，可以用使用至少光觸摸檢測(cè)或光檢測(cè)與射頻信號(hào)檢測(cè)組合的觸摸屏實(shí)現(xiàn)一個(gè)實(shí)施方式。
[0033]圖4A-B示出圖示MTI的一些實(shí)施方式中的多模態(tài)觸摸處理(例如多模態(tài)觸摸處理(“MTP”)組件400)的各個(gè)示例方面的邏輯流程圖。參照?qǐng)D4A，在一些實(shí)施方式中，用戶可向MTI的觸摸屏提供觸摸輸入401。例如，用戶可利用一個(gè)或多個(gè)手指觸摸、一個(gè)或多個(gè)光/RF發(fā)射觸控筆、或其任意組合。在觸摸屏利用基于光的技術(shù)用于檢測(cè)用戶觸摸的實(shí)施方式中，觸摸屏傳感器可檢測(cè)由于用戶觸摸引起的光水平波動(dòng)(增加或減小)(402)。使用檢測(cè)到的波動(dòng)，觸摸屏傳感器可生成光強(qiáng)度信號(hào)403，并且向一個(gè)或多個(gè)觸摸處理器(“觸摸處理器”)提供光強(qiáng)度信號(hào)。例如，傳感器可在諸如銅線的模擬通信信道上通信光強(qiáng)度信號(hào)，隨后通過數(shù)據(jù)采集板對(duì)數(shù)字采樣。作為另一示例，傳感器可例如使用(安全)超文本傳輸協(xié)議(HTTP(S))在網(wǎng)絡(luò)上通信數(shù)據(jù)包。觸摸處理器可獲得光強(qiáng)度信號(hào)，并且可基于光強(qiáng)度波動(dòng)確定用戶觸摸的坐標(biāo)404。例如，觸摸處理器可執(zhí)行觸摸坐標(biāo)確定組件，例如下面參照?qǐng)D5的討論中描述的示例TCD500組件?；诖擞?jì)算，觸摸處理器可產(chǎn)生諸如參照?qǐng)D7的插圖中提供的各個(gè)示例坐標(biāo)的數(shù)據(jù)(701)。觸摸處理器將各個(gè)坐標(biāo)集(例如，{x，y，z})中的每個(gè)坐標(biāo)集設(shè)置為觸摸輸入405。在一些實(shí)施方式中，觸摸處理器可識(shí)別用戶提供的每個(gè)觸摸輸入的類型(例如，手指、觸控筆等)(406)。例如，觸摸處理器可執(zhí)行觸摸類型識(shí)別組件，諸如下面參照?qǐng)D6的討論中描述的示例TTI600組件?；诖擞?jì)算，觸摸處理器可產(chǎn)生諸如參照?qǐng)D7的插圖中提供的各個(gè)示例觸摸類型的數(shù)據(jù)(701)。在一些實(shí)施方式中，觸摸處理器可確定(407)用戶提供的哪些觸摸應(yīng)該分組到一起作為單個(gè)手勢(shì)的一部分(例如，“兩個(gè)手指觸摸和一個(gè)觸控筆觸摸應(yīng)該被視為代表一個(gè)用戶的單個(gè)手勢(shì)的一部分？ ”)。例如，觸摸處理器可執(zhí)行觸摸組分辨率組件，例如下面參照?qǐng)D7A-B的討論中進(jìn)一步描述的示例TGR700組件?；诖擞?jì)算，觸摸處理器可產(chǎn)生諸如參照?qǐng)D7的插圖中提供的各個(gè)示例觸摸組的數(shù)據(jù)(705)。在識(shí)別出用戶手勢(shì)之后，觸摸處理器可生成數(shù)據(jù)庫(kù)查詢(408)，用于預(yù)定時(shí)間窗口內(nèi)要組合為手勢(shì)序列的一部分的在前觸摸輸入組(408)。例如，四手指重?fù)艨刹灰暈樗查g手勢(shì)；相反，可通過跟蹤用戶的四個(gè)手指在有限時(shí)間窗口上的移動(dòng)來識(shí)別手勢(shì)。作為另一示例，手勢(shì)可能需要兩個(gè)不同的用戶觸摸集(例如，兩個(gè)手指輕敲，一個(gè)觸控筆輕敲)?；诓樵?，查詢的數(shù)據(jù)庫(kù)/存儲(chǔ)器可提供在前觸摸輸入集(409)，用于識(shí)別手勢(shì)序列。例如，對(duì)于在前觸摸輸入集，觸摸處理器可利用包括結(jié)構(gòu)查詢語(yǔ)言(SQL)命令的超文本預(yù)處理器(PHP)腳本來查詢關(guān)系數(shù)據(jù)庫(kù)。使用在前觸摸輸入集，觸摸處理器可根據(jù)觸摸輸入組生成手勢(shì)模式/序列(410)。在一些實(shí)施方式中，基于觸摸輸入組的位置坐標(biāo)，觸摸處理器可以使用用戶ID(在適當(dāng)?shù)目臻g位置用戶將已知的ID(例如，使用基于相機(jī)的面部識(shí)別，在觸摸屏位置的用戶登錄等)，或者是可分配給在適當(dāng)?shù)奈恢脠?zhí)行的任何其它手勢(shì)序列的隨機(jī)生成的ID)對(duì)每個(gè)手勢(shì)模式/序列加標(biāo)簽。對(duì)于每個(gè)手勢(shì)模式/序列，觸摸處理可在數(shù)據(jù)庫(kù)/存儲(chǔ)器中查詢與手勢(shì)模式/序列關(guān)聯(lián)的用戶命令(412)。在響應(yīng)中，數(shù)據(jù)庫(kù)/存儲(chǔ)器可提供請(qǐng)求的用戶命令，用戶命令可存儲(chǔ)在用于執(zhí)行的處理隊(duì)列中。
[0034]參照?qǐng)D4B，在一些實(shí)施方式中，觸摸處理器可從(例如，根據(jù)以上參照?qǐng)D4A的討論中描述的過程可選地生成的)處理隊(duì)列選擇用戶命令(414)?？蛇x地，觸摸處理器可生成與用戶命令關(guān)聯(lián)的手勢(shì)模式的查詢(415)。在響應(yīng)中，數(shù)據(jù)庫(kù)/存儲(chǔ)器可提供形成手勢(shì)模式一部分的在前觸摸輸入集(416)。觸摸處理器可提取形成手勢(shì)模式一部分的觸摸輸入(417)。例如，觸摸處理可使用解析器(例如，在以下參照?qǐng)D8的討論中描述的示例解析器)來解析數(shù)據(jù)。觸摸處理器可確定混合觸控筆-手指用戶輸入中是否包括任一觸摸輸入集(418)。如果混合觸控筆-手指用戶輸入中包括任一觸摸輸入集(418)，則選項(xiàng)“是”，觸摸處理可生成對(duì)與手勢(shì)正常關(guān)聯(lián)的用戶命令的任何修改的查詢(419)。在獲得對(duì)來自數(shù)據(jù)庫(kù)/存儲(chǔ)器的用戶命令的任何修改之后(420)，觸摸處理器可執(zhí)行(修改的)用戶命令，例如包括生成任何視覺/聽覺顯示輸出，用于經(jīng)由觸摸屏(或其它聯(lián)網(wǎng)的觸摸屏)呈現(xiàn)(421)。觸摸處理器可針對(duì)存儲(chǔ)在處理隊(duì)列中的每個(gè)用戶命令執(zhí)行這種過程(參見422)。
[0035]圖5示出圖示MTI的一些實(shí)施方式中的觸摸坐標(biāo)確定(例如觸摸坐標(biāo)確定(“T⑶”)組件500)的各個(gè)示例方面的邏輯流程圖。在一些實(shí)施方式中，MTI的觸摸處理器可從觸摸屏傳感器獲得光強(qiáng)度信號(hào)，用于確定可編碼為光強(qiáng)度信號(hào)的任何用戶觸摸的坐標(biāo)(501)。觸摸處理器可以使用光強(qiáng)度信號(hào)可選地生成數(shù)字觸摸圖(502)。例如，觸摸處理器可向光強(qiáng)度信號(hào)應(yīng)用閾值過程，使得閾值之下的所有像素設(shè)置為0，閾值之上的所有像素設(shè)置為I。備選地，可以應(yīng)用兩個(gè)單獨(dú)的閾值，使得對(duì)應(yīng)于發(fā)光觸控筆輸入和光阻隔手指輸入二者的閾值設(shè)置為1，所有其它像素設(shè)置為O。使用數(shù)字觸摸圖，觸摸處理器可識(shí)別每個(gè)觸摸(或其輪廓)。例如，觸摸處理器可使用圖像分割算法以識(shí)別每個(gè)觸摸或其輪廓(503)。在識(shí)別出每個(gè)(分割的)觸摸圖像對(duì)象時(shí)，觸摸處理器可基于分割的觸摸圖像對(duì)象輪廓內(nèi)的像素的強(qiáng)度加權(quán)平均位置而計(jì)算質(zhì)心(504)。觸摸處理器可將質(zhì)心{x，y，z}存儲(chǔ)為識(shí)別的觸摸的位置坐標(biāo)，并可將這些返回作為確定的觸摸位置坐標(biāo)(506)。
[0036]圖6示出圖示MTI的一些實(shí)施方式中的觸摸類型識(shí)別(例如觸摸類型識(shí)別(“TTP”)組件600)的各個(gè)示例方面的邏輯流程圖。在一些實(shí)施方式中，MTI的觸摸處理器可獲得觸摸ID以及每個(gè)觸摸的位置坐標(biāo)(參見例如圖5的506)，用于識(shí)別每個(gè)觸摸ID的觸摸類型(601)。觸摸處理器也可獲得原始光強(qiáng)度信號(hào)(參見例如圖4A的403) (602)。觸摸處理可選擇觸摸ID (603)，并且查找選擇的觸摸ID的位置坐標(biāo)(604)。使用位置坐標(biāo)，觸摸處理器可使用光強(qiáng)度信號(hào)查找對(duì)應(yīng)于位置坐標(biāo)的像素的原始強(qiáng)度水平(或者其附近的像素的窗口的平均值)(605)。觸摸處理器可將光強(qiáng)度水平樣本與要檢測(cè)的觸控筆輸入和/或要檢測(cè)的手指輸入的閾值進(jìn)行比較?；诒容^，觸摸處理器可將觸摸類型識(shí)別為觸控筆輸入或手指輸入(606)。觸摸處理器可針對(duì)獲得的每個(gè)觸摸ID執(zhí)行這種過程(參見607)。觸摸處理可返回觸摸ID和觸摸類型用于進(jìn)一步處理(608)。圖7A-B示出圖示MTI的一些實(shí)施方式中的觸摸組分辨率(例如觸摸組分辨率(“TGR”)組件700)的各個(gè)示例方面的邏輯流程圖。參照?qǐng)D7A，在一些實(shí)現(xiàn)中，MTI的觸摸處理器可獲得觸摸ID以及每個(gè)觸摸的位置坐標(biāo)(701)(參見插圖)，以決定一個(gè)或多個(gè)用戶的哪些觸摸應(yīng)該分組到一起作為單個(gè)手勢(shì)或手勢(shì)模式/序列的一部分。觸摸處理器可使用位置坐標(biāo)而計(jì)算每對(duì)觸摸輸入之間的距離(702)(參見插圖，距離矩陣)。觸摸處理器向距離矩陣應(yīng)用閾值過程，使得閾值之上的所有像素元素設(shè)置為O,閾值之下的所有像素元素設(shè)置為I。因此,在一些實(shí)施方式中,僅有那些充分靠近另一觸摸的那些觸摸(通過它們是否在作為單個(gè)手勢(shì)、模式或序列的部分必須的閾值距離之下作為標(biāo)準(zhǔn))設(shè)置為I。因?yàn)槊總€(gè)觸摸在其本身附近，所以接近矩陣(參見插圖703)中的診斷元素總是I。因此，如果一個(gè)觸摸都靠其本身，則對(duì)應(yīng)于其ID的診斷元素將是I，其對(duì)應(yīng)列中的所有其它元素將是O (參見例如插圖703第4列)。參照?qǐng)D7B，在一些實(shí)現(xiàn)中，觸摸處理器可利用703的接近矩陣來識(shí)別作為接近對(duì)的那些觸摸(704)(參見插圖，對(duì)矩陣)。觸摸處理器可將具有至少一個(gè)公共觸摸ID的接近對(duì)合并在一起(705)，以生成觸摸組(參見插圖705)，觸摸處理可返回該觸摸組(706)用于進(jìn)一步處理。
[0037]MTI控制器
[0038]圖8示出圖示MTI控制器801的實(shí)施方式的框圖。在此實(shí)施方式中，MTI控制器801可用于聚集、處理、存儲(chǔ)、搜索、服務(wù)、識(shí)別、指示、生成、匹配和/或促進(jìn)通過各種技術(shù)與計(jì)算機(jī)的交互，和/或其它相關(guān)數(shù)據(jù)。
[0039]典型地，用戶(例如833a，可以是人和/或其它系統(tǒng))可以從事信息技術(shù)系統(tǒng)(例如，計(jì)算機(jī))以促進(jìn)信息處理。進(jìn)而，計(jì)算機(jī)采用處理器處理信息；這些處理器803可稱為中央處理單元(CPU)。處理器的一種形式稱為微處理器。CPU使用通信電路來通過用作指令的二進(jìn)制編碼信號(hào)以使能各種操作。這些指令可以是操作性的，和/或包含和/或參照存儲(chǔ)器829(例如，寄存器、高速緩存存儲(chǔ)器、隨機(jī)存取存儲(chǔ)器等)的可訪問和可操作區(qū)域的各種處理器中的其它指令和數(shù)據(jù)的數(shù)據(jù)指令。這些通信指令可成批存儲(chǔ)和/或發(fā)送(例如，批指令)，作為用于促進(jìn)期望的操作的程序和/或數(shù)據(jù)組件。這些存儲(chǔ)的指令代碼(例如，程序)可涉及用于執(zhí)行期望的操作的CPU電路組件和其它主板和/或系統(tǒng)組件。一種類型的程序是可由CPU在計(jì)算機(jī)上執(zhí)行的計(jì)算機(jī)操作系統(tǒng)，該操作系統(tǒng)使能并促進(jìn)用戶訪問和操作計(jì)算機(jī)信息技術(shù)和資源。信息技術(shù)系統(tǒng)中可采用的一些資源包括:通過其可將數(shù)據(jù)傳入到計(jì)算機(jī)和從計(jì)算機(jī)傳出的輸入和輸出機(jī)制；可保存數(shù)據(jù)的存儲(chǔ)器和可處理信息的處理器。這些信息技術(shù)系統(tǒng)可用于收集數(shù)據(jù)用于稍后獲取、分析和操縱，這些可通過數(shù)據(jù)庫(kù)程序促進(jìn)。這些信息技術(shù)系統(tǒng)提供允許用戶訪問和操作各種系統(tǒng)組件的接口。
[0040]在一個(gè)實(shí)施方式中，MTI控制器801可連接到實(shí)體和/或與實(shí)體通信，該實(shí)體例如但不限于為來自用戶輸入設(shè)備811的一個(gè)或多個(gè)用戶；外圍設(shè)備812;可選密碼處理器設(shè)備828和/或通信網(wǎng)絡(luò)813。例如，MTI控制器801可連接到用戶(例如，833a)、操作客戶端設(shè)備(例如，833b)和/或與用戶(例如，833a)、操作客戶端設(shè)備(例如，833b)通信，該客戶端設(shè)備(例如，833b)包括但不限于個(gè)人計(jì)算機(jī)、服務(wù)器和/或各種移動(dòng)設(shè)備，該移動(dòng)設(shè)備包括但不限于蜂窩電話、智能手機(jī)(例如，iPhone?、Blackberry?、基于Android操作系統(tǒng)的電話等)、平板計(jì)算機(jī)(例如，Apple iPad?>HP Slate?、Motorola Xoom?等)、電子書閱讀器(例如，Amazon Kindle?、Barnes and Noble' s Nook? eReader 等)、膝上型計(jì)算機(jī)、筆記本、上網(wǎng)本、游戲臺(tái)(例如，XBOX Live?、Nintendo? ds、Sony PlayStation?.便攜式等)、便攜式掃描儀等。
[0041]通常認(rèn)為網(wǎng)絡(luò)包括客戶端、服務(wù)器和圖拓?fù)渲械闹虚g節(jié)點(diǎn)的互連和互操作性。應(yīng)該注意，本申請(qǐng)通篇使用的術(shù)語(yǔ)“服務(wù)器”通常是指在通信網(wǎng)絡(luò)上處理和回應(yīng)遠(yuǎn)程用戶請(qǐng)求的計(jì)算機(jī)、其它設(shè)備、程序或其組合。服務(wù)器服務(wù)它們的信息以請(qǐng)求“客戶端”。這里使用的術(shù)語(yǔ)“客戶端”通常是指能夠在通信網(wǎng)絡(luò)上處理和請(qǐng)求以及獲得和處理來自服務(wù)器的任何響應(yīng)的計(jì)算機(jī)、程序、其它設(shè)備、用戶和/或其組合。促進(jìn)、處理信息和請(qǐng)求、和/或進(jìn)一步將來自源用戶的信息傳送到目標(biāo)用戶的計(jì)算機(jī)、其它設(shè)備、程序或其組合通常稱為“節(jié)點(diǎn)”。通常認(rèn)為網(wǎng)絡(luò)促進(jìn)從原點(diǎn)向目標(biāo)的信息的傳輸。具體任務(wù)為進(jìn)一步從源向目標(biāo)傳送信息的節(jié)點(diǎn)通常稱為“路由器”。存在許多形式的網(wǎng)絡(luò)，諸如局域網(wǎng)(LAN)、微微網(wǎng)、廣域網(wǎng)(WAN)、無線網(wǎng)(WLAN)等。例如，因特網(wǎng)通常接受為是多個(gè)網(wǎng)絡(luò)的互連，其中遠(yuǎn)程客戶端和服務(wù)器可彼此訪問和互操作。
[0042]MTI控制器801可基于計(jì)算機(jī)系統(tǒng)，可包括但不限于組件:諸如連接到存儲(chǔ)器829的計(jì)算機(jī)系統(tǒng)802。
[0043]計(jì)算機(jī)系統(tǒng)
[0044]計(jì)算機(jī)系統(tǒng)802可包括時(shí)鐘830、中央處理單元(“CPU”)和/或“處理器”(在本公開通篇互換地使用這些術(shù)語(yǔ)，除非相反指示)803、存儲(chǔ)器829 (例如，只讀存儲(chǔ)器(ROM) 806、隨機(jī)存取存儲(chǔ)器(RAM) 805等)、和/或接口總線807，通常(盡管不一定)全部通過具有導(dǎo)電的和/或傳輸電路通路的一個(gè)或多個(gè)(主)板802上的系統(tǒng)總線804互連和/或通信，指令(例如，二進(jìn)制編碼信號(hào))可通過該導(dǎo)電和/或傳輸電路通路行進(jìn)，以實(shí)現(xiàn)通信、操作、存儲(chǔ)等。計(jì)算機(jī)系統(tǒng)可連接到電源886 ;例如，可選地，電源可以是內(nèi)部的?？蛇x地，密碼處理器826和/或收發(fā)器(例如10874可連接到系統(tǒng)總線。在另一實(shí)施方式中，密碼和/或收發(fā)器可經(jīng)由接口總線I/O連接為內(nèi)部和/或外部外圍設(shè)備812。進(jìn)而，收發(fā)器可連接到天線875，從而實(shí)現(xiàn)各種通信和/或傳感器協(xié)議的無線發(fā)送和接收；例如，天線可以連接到:Texas Instruments WiLink WL1283 收發(fā)器芯片(例如，提供 802.lln、藍(lán)牙 3.0、FM、全球定位系統(tǒng)(GPS)(從而允許MTI控制器確定其位置))；Broadcom BCM4329FKUBG收發(fā)器芯片(例如，提供802.1 In、藍(lán)牙2.1+EDR、FM等)；Broadcom BCM4750IUB8收發(fā)器芯片(例如，GPS) ；Infineon Technologies X-Gold618_PMB9800 (例如，提供 2G/3G HSDPA/HSUPA 通信)；等等。系統(tǒng)時(shí)鐘一般具有晶體振蕩器，通過計(jì)算機(jī)系統(tǒng)的電路通路生成基準(zhǔn)信號(hào)。時(shí)鐘一般連接到將增加或減少基準(zhǔn)操作頻率用于計(jì)算機(jī)系統(tǒng)中互連的其它組件的系統(tǒng)總線和各種時(shí)鐘乘法器。計(jì)算機(jī)系統(tǒng)中的時(shí)鐘和各種組件驅(qū)動(dòng)整個(gè)系統(tǒng)中具體實(shí)施信息的信號(hào)。整個(gè)計(jì)算機(jī)系統(tǒng)中具體實(shí)施信息的指令的這種發(fā)送和接收通?？煞Q為通信。這些通信指令還可發(fā)送、接收，引起超出即時(shí)計(jì)算機(jī)系統(tǒng)的通信返回和/或回復(fù)至通信網(wǎng)絡(luò)、輸入設(shè)備、其它計(jì)算機(jī)系統(tǒng)、外圍設(shè)備等。應(yīng)該理解，在備選實(shí)施方式中，任何以上組件可彼此直接連接、連接到CPU、和/或如各種計(jì)算機(jī)系統(tǒng)說明的利用的各種變型中組織。
[0045]CPU包括足以執(zhí)行用于執(zhí)行用戶和/或系統(tǒng)生成的請(qǐng)求的程序組件的至少一個(gè)高速數(shù)據(jù)處理器。處理器本身經(jīng)常將包含各種專用處理單元，例如但不限于:集成系統(tǒng)(總線)控制器、存儲(chǔ)器管理控制單元、浮點(diǎn)單元，甚至類似圖形處理單元、數(shù)字信號(hào)處理單元等的專用處理子單元。附加地，處理器可包括內(nèi)部快速訪問可尋址存儲(chǔ)器，并且能夠?qū)υ撎幚砥鞅旧碇獾拇鎯?chǔ)器829進(jìn)行映射和尋址；內(nèi)部存儲(chǔ)器可包括但不限于:快速寄存器，各級(jí)高速緩沖存儲(chǔ)器(例如第1、第2、第3級(jí)等)、RAM等。處理器可通過使用經(jīng)由指令地址可訪問的存儲(chǔ)器地址空間來訪問這一存儲(chǔ)器，處理器能構(gòu)造并解碼該指令地址，允許它訪問具有存儲(chǔ)器狀態(tài)的特定存儲(chǔ)器地址空間的電路路徑。CPU可以是微處理器，例如AMD的AthloruDuron和/或Opteron ;ARM的應(yīng)用，嵌入式和安全處理器；IBM和/或Motorola的 DragonBall 和 PowerPC ；IBM 和 Sony 的 Cell 處理器；Intel 的 Celeron, Core (2)Duo,Itanium, Pentium, Xeon和/或Xscale ;和/或類似的(一個(gè)或多個(gè))處理器。CPU通過經(jīng)導(dǎo)電的和/或傳輸電路(例如，(印刷)電子和/或光電路)傳遞的指令與存儲(chǔ)器交互，以根據(jù)常規(guī)數(shù)據(jù)處理技術(shù)執(zhí)行存儲(chǔ)的指令(即程序代碼)。這種指令傳遞促進(jìn)MTI控制器內(nèi)和MTI控制器外通過各種接口的通信。假若處理需求指示更大量速度和/或性能，則可類似地利用分布式處理器(例如，分布式MTI)、大型機(jī)、多核、并行和/或超級(jí)計(jì)算機(jī)架構(gòu)。備選地，假若部署需求指示更大的便攜性，則可利用更小的個(gè)人數(shù)字助理(PDA)。
[0046]根據(jù)特定實(shí)現(xiàn)，可通過實(shí)現(xiàn)諸如CAST的R8051XC2微控制器、Intel的MCS51 (即，8051微控制器)等的微控制器實(shí)現(xiàn)MTI的特征。而且，為了實(shí)現(xiàn)MTI的某些特征、一些特征實(shí)現(xiàn)可依賴于嵌入式組件，例如:專用集成電路(“ASIC”)，數(shù)字信號(hào)處理(“DSP”)，現(xiàn)場(chǎng)可編程門陣列(“FPGA”)和/或類似嵌入式技術(shù)。例如，MTI組件集合(分布式或者其它)和/或特征中的任一個(gè)可經(jīng)由微處理器和/或經(jīng)由嵌入式組件、例如經(jīng)由ASIC、協(xié)處理器、DSP、FPGA等來實(shí)現(xiàn)。備選地，可利用配置成并且被用于實(shí)現(xiàn)各種特征或信號(hào)處理的嵌入式組件來實(shí)現(xiàn)MTI的一些實(shí)現(xiàn)。
[0047]根據(jù)特定實(shí)現(xiàn)，嵌入式組件可包括軟件解決方案、硬件解決方案和/或軟件/硬件解決方案二者的一些組合。例如，這里討論的MTI特征可通過實(shí)現(xiàn)FPGA來得到，所述FPGA包含稱為“邏輯塊”的可編程邏輯組件和可編程互連的半導(dǎo)體器件，例如Xilinx制造的高性能FPGA Virtex系列和/或低成本Spartan系列。在制造FPGA之后,可由客戶或設(shè)計(jì)者對(duì)邏輯塊和互連編程，以實(shí)現(xiàn)任意MTI特征?？删幊袒ミB的等級(jí)允許邏輯塊在MTI系統(tǒng)設(shè)計(jì)者/管理者需要時(shí)互連，某種程度上類似于單芯片可編程試驗(yàn)電路板。FPGA的邏輯塊可以編程為執(zhí)行諸如與、異或的基本邏輯門運(yùn)算，或者例如解碼器的更復(fù)雜的組合操作器或簡(jiǎn)單的數(shù)學(xué)運(yùn)算。在大多數(shù)FPGA中，邏輯塊還包括存儲(chǔ)器元件，可以是電路觸發(fā)器或更完整的存儲(chǔ)器塊。在一些情況下，可在常規(guī)FPGA上開發(fā)MTI，然后移植到與ASIC實(shí)現(xiàn)更類似的固定版本。代替FPGA或者除了 FPGA以外，備選或協(xié)同的實(shí)現(xiàn)可使MTI控制器特征移植到最終ASIC。根據(jù)所有前述嵌入式組件的實(shí)現(xiàn)，微處理器可視為MTI的“CPU”和/或“處理器”。
[0048]電源
[0049]電源886可以是用于對(duì)小型電子電路板設(shè)備供電的任意標(biāo)準(zhǔn)形式，例如以下電源單元:堿性電池、氫化鋰電池、鋰離子電池、鋰聚合物電池、鎳鎘電池、太陽(yáng)能電池等。也可使用其它類型的AC或DC電源。在太陽(yáng)能電池的情況下，在一個(gè)實(shí)施方式中，殼體提供開口，通過該孔隙，太陽(yáng)能電池可通過該孔隙捕獲光子能量。電源單元886連接到MTI的互連后續(xù)組件中的至少一個(gè)，從而向所有后續(xù)組件提供電流。在一個(gè)示例中，電源886連接到系統(tǒng)總線組件804。在備選實(shí)施方式中，通過跨1/0808接口的連接提供外部電源886。例如，USB和/或IEEE1394跨連接攜帶數(shù)據(jù)和電力，并且因此是適當(dāng)?shù)碾娫础?br> [0050]接口適配器[0051](一個(gè)或多個(gè))接口總線807可接受多個(gè)接口適配器、與多個(gè)接口適配器連接和/或通信，常規(guī)地(盡管不一定)為適配卡形式，例如但不限于:輸入輸出接口(1/0)808、存儲(chǔ)接口 809、網(wǎng)絡(luò)接口 810等?？蛇x地，密碼處理器接口 827類似地可連接到接口總線。接口總線為接口適配器彼此之間的通信以及與計(jì)算機(jī)系統(tǒng)的其它組件的通信做準(zhǔn)備。接口適配器適于兼容接口總線。接口適配器常規(guī)地經(jīng)由卡槽架構(gòu)連接到接口總線。常規(guī)卡槽架構(gòu)可例如但不限于利用:加速圖形端口(AGP)、卡總線、(擴(kuò)展)工業(yè)標(biāo)準(zhǔn)架構(gòu)((E) ISA)、微通道架構(gòu)(MCA)、NuBus、外圍組件互連(擴(kuò)展)(PCI (X))、PCI Express、個(gè)人計(jì)算機(jī)存儲(chǔ)器卡國(guó)際協(xié)會(huì)(PCMCIA)等。
[0052]存儲(chǔ)接口 809可接受許多存儲(chǔ)設(shè)備、與許多存儲(chǔ)設(shè)備通信和/或連接，例如但不限于:存儲(chǔ)設(shè)備814，可移除磁盤設(shè)備等。存儲(chǔ)接口可利用連接協(xié)議，例如但不限于:(Ultra)(Serial)高級(jí)技術(shù)附件(分組接口 ) ((Ultra) (Serial)ATA(PI)),(增強(qiáng)型)集成驅(qū)動(dòng)電子((E) IDE)，電氣電子工程師協(xié)會(huì)(IEEE) 1394，光纖通道，小型計(jì)算機(jī)系統(tǒng)接口(SCSI)，通用串行總線(USB)等。
[0053]網(wǎng)絡(luò)接口 810可接受通信網(wǎng)絡(luò)813、與通信網(wǎng)絡(luò)813通信和/或連接。通過通信網(wǎng)絡(luò)813，用戶833a可通過遠(yuǎn)程客戶端833b(例如，具有網(wǎng)頁(yè)瀏覽器的計(jì)算機(jī))訪問MTI控制器。網(wǎng)絡(luò)接口可利用連接協(xié)議，例如但不限于:直接連接，以太網(wǎng)(粗、細(xì)、雙絞線10/100/1000Base T等)，令牌環(huán)，諸如IEEE802.lla-χ的無線連接等。假若處理需求指示更大量速度和/或性能，則可類似地利用分布式網(wǎng)絡(luò)控制器(分布式MTI)、架構(gòu)，以匯集、負(fù)載均衡和/或增加MTI控制器所需的通信帶寬。通信網(wǎng)絡(luò)可以是下列各項(xiàng)中的任一個(gè)和/或組合:直接互連、因特網(wǎng)、局域網(wǎng)(LAN)、城域網(wǎng)(MAN)、因特網(wǎng)上的節(jié)點(diǎn)的操作任務(wù)(0ΜΝΙ)、安全自定義連接、廣域網(wǎng)(WAN)、無線網(wǎng)(例如，利用例如但不限于無線應(yīng)用協(xié)議(WAP)、1-mode等的協(xié)議)等。網(wǎng)絡(luò)接口可視為專門形式的輸入輸出接口。另外，多個(gè)網(wǎng)絡(luò)接口 810可用于與各種通信網(wǎng)絡(luò)類型813銜接。例如，可利用多個(gè)網(wǎng)絡(luò)接口以允許通過廣播、多播和/或單播網(wǎng)絡(luò)通信。
[0054]輸入輸出接口(1/0)可接受用戶輸入設(shè)備811、外圍設(shè)備812、密碼處理器設(shè)備828等、與用戶輸入設(shè)備811、外圍設(shè)備812、密碼處理器設(shè)備828等通信和/或連接。1/0可利用連接協(xié)議，該連接協(xié)議例如但不限于:音頻:模擬、數(shù)字、單聲道、RCA、立體聲等；數(shù)據(jù)=Apple桌面總線(ADB)、IEEE1394a-b、串行接口、通用串行總線(USB);紅外線；操作桿；鍵盤；音樂設(shè)備數(shù)字接口(midi);光纖；PCAT ；PS/2 ;并行；無線電；視頻接口 =Apple桌面連接器(ADC)、BNC、同軸、分量、復(fù)合、數(shù)字、數(shù)字可視接口(DVI)、高清多媒體接口(HDMI)、RCA、RF天線接口、S-視頻、VGA等；無線收發(fā)器:802.lla/b/g/n/x ;藍(lán)牙；蜂窩(例如，碼分多址(CDMA)、高速分組接入(HSPA(+))、高速下行分組接入(HSDPA)、全球移動(dòng)通信系統(tǒng)(GSM)、長(zhǎng)期演進(jìn)(LTE)、WiMax等)；等等。一個(gè)典型輸出設(shè)備可包括視頻顯示器，該視頻顯示器一般包括基于陰極射線管(CRT)或者液晶顯示器(LCD)，該液晶顯示器(LCD)的監(jiān)視器，該監(jiān)視器具有接受來自視頻接口的信號(hào)的接口(例如，DVI電路和線纜)，可以被使用。視頻接口復(fù)合計(jì)算機(jī)系統(tǒng)生成的信息，基于視頻存儲(chǔ)幀中的復(fù)合信息生成視頻信號(hào)。另一輸出設(shè)備是接受來自接口的信號(hào)的電視機(jī)。通常，視頻接口通過接受視頻顯示器接口的視頻連接接口(例如，接受RCA復(fù)合視頻線纜的RCA復(fù)合視頻連接器；接受DVI顯示器線纜的DVI連接器等)來提供復(fù)合視頻信息。[0055]用戶輸入設(shè)備811經(jīng)常是外圍設(shè)備812類型(參見下面)，可包括:卡讀取器、軟件保護(hù)器(dongle)、指紋讀取器、手套、圖形平板、操作桿、鍵盤、麥克風(fēng)、鼠標(biāo)、遙控器、視網(wǎng)膜讀取器、觸摸屏(例如，電容式、電阻式等)，軌跡球，軌跡板、傳感器(例如，加速儀、環(huán)境光、GPS、陀螺儀、接近等)，觸控筆等。
[0056]夕卜圍設(shè)備812可與I/0和/或例如網(wǎng)絡(luò)接口、存儲(chǔ)器接口，直接連接和/或通信至接口總線、系統(tǒng)總線、CPU等的其它類似設(shè)施連接和/或通信。外圍設(shè)備可以是外部、內(nèi)部和/或MTI控制器的部分。外圍設(shè)備可包括:天線，音頻設(shè)備(例如，音頻輸入、音頻輸出、麥克風(fēng)輸入、揚(yáng)聲器等)，相機(jī)(例如，靜態(tài)、視頻、網(wǎng)絡(luò)攝像頭等)，軟件狗(例如，用于復(fù)制保護(hù)、利用數(shù)字簽名確保安全交易等)，外部處理器(用于增加的性能；例如，密碼設(shè)備828)，力反饋設(shè)備(例如，振動(dòng)電機(jī))，網(wǎng)絡(luò)接口，打印機(jī)，掃描儀，存儲(chǔ)設(shè)備，收發(fā)器(例如，蜂窩、GPS等)，視頻設(shè)備(例如，護(hù)目鏡、監(jiān)視器等)，視頻源，面罩(visor)等。外圍設(shè)備經(jīng)常包括各種類型的輸入設(shè)備(例如相機(jī))。
[0057]應(yīng)該注意，盡管可利用用戶輸入設(shè)備和外圍設(shè)備，但MTI控制器可實(shí)施為嵌入式、專用和/或無監(jiān)視器(即，手持)設(shè)備，其中將通過網(wǎng)絡(luò)接口連接提供訪問。
[0058]例如但不限于微控制器、處理器826、接口 827和/或設(shè)備828的密碼單元可與MTI控制器附加和/或通信。Motorola公司制造的MC68HC16微控制器可用于密碼單元和/或位于密碼單元內(nèi)。在16MHz構(gòu)造中，MC68HC16微控制器利用16-位乘法累積指令，并且需要少于一秒來執(zhí)行512-位RSA私有密鑰運(yùn)算。密碼單元支持從交互代理的通信的認(rèn)證以及允許匿名交易。密碼單元也可以配置為CPU的一部分。也可以使用等同的微控制器和/或處理器。其它商業(yè)可用專用密碼處理器包括=Broadcom的CryptoNetX和其它安全處理器；nCipher 的 nShield、SafeNet 的 Luna PCI (例如 7100)系列；SemaphoreCommunications 的 40MHz Roadrunnerl84 ;Sun 的密碼加速器(例如，Accelerator6000PCIeBoard、Accelerator500Daughtercard);能夠執(zhí)行 500+MB/s 的密碼指令的 Via Nano 處理器(例如，L2100、L2200、U2400)線；VLSI Technology 的 33MHz6868 ;等。
[0059]存儲(chǔ)器
[0060]通常，允許處理器影響信息存儲(chǔ)和/或獲取的任何機(jī)制和/或?qū)嵤┓绞骄灰暈榇鎯?chǔ)器829。然而，存儲(chǔ)器是可替代技術(shù)和資源，因此，任意數(shù)量的存儲(chǔ)器實(shí)施方式可彼此代替或合作地被采用。應(yīng)該理解，MTI控制器和/或計(jì)算機(jī)系統(tǒng)可利用各種形式的存儲(chǔ)器829。例如，計(jì)算機(jī)系統(tǒng)可配置為其中通過紙張穿孔帶或紙張穿孔卡機(jī)制提供芯片上CPU存儲(chǔ)器(例如，寄存器)、RAM、ROM以及任何其它存儲(chǔ)設(shè)備的操作；然而，這種實(shí)施方式將導(dǎo)致極慢的操作速率。在典型構(gòu)造中，存儲(chǔ)器829將包括R0M806、RAM805、存儲(chǔ)設(shè)備814。存儲(chǔ)設(shè)備814可以是任何常規(guī)計(jì)算機(jī)系統(tǒng)存儲(chǔ)器。存儲(chǔ)設(shè)備可包括磁鼓；(固定和/或可移除)磁盤驅(qū)動(dòng)；磁光驅(qū)動(dòng)；光學(xué)驅(qū)動(dòng)(即，藍(lán)光、CD R0M/RAM/可記錄(R)/可重寫(RW)、DVD R/RW> HD DVDR/RW等)；器件陣列(例如，獨(dú)立冗余磁盤陣列(RAID));固態(tài)存儲(chǔ)器器件(USB存儲(chǔ)器、固態(tài)驅(qū)動(dòng)器(SSD)等)；其它處理器可讀存儲(chǔ)介質(zhì)；和/或其它類似設(shè)備。因此，計(jì)算機(jī)系統(tǒng)通常需要并且利用存儲(chǔ)器。
[0061]組件集合
[0062]存儲(chǔ)器829可包含程序和/或數(shù)據(jù)庫(kù)組件和/或數(shù)據(jù)的集合，例如但不限于:(一個(gè)或多個(gè))操作系統(tǒng)組件815 (操作系統(tǒng))；(一個(gè)或多個(gè))信息服務(wù)器組件816 (信息服務(wù)器)；(一個(gè)或多個(gè))用戶接口組件817(用戶接口)；(一個(gè)或多個(gè))網(wǎng)頁(yè)瀏覽器組件818 (網(wǎng)頁(yè)瀏覽器)；(一個(gè)或多個(gè))數(shù)據(jù)庫(kù)819 ;( —個(gè)或多個(gè))郵件服務(wù)器組件821 ;( —個(gè)或多個(gè))郵件客戶端組件822 ；( 一個(gè)或多個(gè))密碼服務(wù)器組件820 (密碼服務(wù)器)；(一個(gè)或多個(gè))MTI組件835;等等(即，統(tǒng)稱為組件集合)。這些組件可被存儲(chǔ)并且從存儲(chǔ)裝置和/或從通過接口總線可訪問的存儲(chǔ)裝置被訪問。盡管非常規(guī)程序組件(例如組件集合中的那些)一般存儲(chǔ)在本地存儲(chǔ)設(shè)備814中，但它們也可以加載和/或存儲(chǔ)在存儲(chǔ)器中，例如:外圍設(shè)備、RAM，通過通信網(wǎng)絡(luò)的遠(yuǎn)程存儲(chǔ)設(shè)施、ROM、各種形式的存儲(chǔ)器等。
[0063]操作系統(tǒng)
[0064]操作系統(tǒng)組件8 15是促進(jìn)MTI控制器操作的可執(zhí)行程序組件。一般，操作系統(tǒng)促進(jìn)I/o、網(wǎng)絡(luò)接口、外圍設(shè)備、存儲(chǔ)設(shè)備等的訪問。操作系統(tǒng)可以是高度容錯(cuò)、可擴(kuò)展安全系統(tǒng),例如:AppIe Macintosh OS X(服務(wù)器)；AT&T Plan9 ；Be OS ;Unix 和類似 Unix 的系統(tǒng)發(fā)布(例如AT&T的UNIX ;伯克利軟件發(fā)布(BSD)變型，例如FreeBSD、NetBSD、OpenBSD等；Linux發(fā)布,例如Red Hat、Ubuntu等)；和/或類似操作系統(tǒng)。然而，也可利用更多有限和/ 或更少安全操作系統(tǒng)，例如 Apple Macintosh OS、IBM OS/2、Microsoft DOS、MicrosoftWindows2000/2003/3.1/95/98/CE/Millenium/NT/Vista/XP(服務(wù)器)、Palm OS 等。操作系統(tǒng)可與包括它本身的組件集合中的其它組件通信等。最經(jīng)常地，操作系統(tǒng)與其它程序組件、用戶接口等通信。例如，操作系統(tǒng)可包含、通信、生成、獲得和/或提供程序組件、系統(tǒng)、用戶和/或數(shù)據(jù)通信、請(qǐng)求和/或響應(yīng)。操作系統(tǒng)一旦由CPU執(zhí)行就可實(shí)現(xiàn)與通信網(wǎng)絡(luò)、數(shù)據(jù)、1/0、外圍設(shè)備、程序組件、存儲(chǔ)器、用戶輸入設(shè)備等的交互。操作系統(tǒng)可提供允許MTI控制器通過通信網(wǎng)絡(luò)813與其它實(shí)體通信的通信協(xié)議。各種通信協(xié)議可被MTI控制器用作用于交互的子載波傳輸機(jī)制，所述通信協(xié)議例如但不限于:多播、TCP/IP、UDP、單播等。
[0065]信息服務(wù)器
[0066]信息服務(wù)器組件816是由CPU執(zhí)行的存儲(chǔ)程序組件。信息服務(wù)器可以是常規(guī)因特網(wǎng)信息服務(wù)器，例如但不限于Apache Software Foundation的Apache、Microsoft的因特網(wǎng)信息服務(wù)器等。信息服務(wù)器可允許通過諸如動(dòng)態(tài)服務(wù)器頁(yè)面(ASP)、ActiveX、(ANSI)(0biective-)C(++)、C#和/或.NET、公共網(wǎng)關(guān)接口(CGI)腳本、動(dòng)態(tài)(D)超文本標(biāo)記語(yǔ)言(HTML)、FLASH、Java、JavaScript、買際抽取報(bào)告語(yǔ)言(PERL)、超文本預(yù)處理器(PHP)、管道、Python、無線應(yīng)用協(xié)議(WAP)、WebObjects等的工具對(duì)程序組件的執(zhí)行。信息服務(wù)器可支持安全通信協(xié)議，例如但不限于:文件傳輸協(xié)議(FTP);超文本傳輸協(xié)議(HTTP);安全超文本傳輸協(xié)議(HTTPS)、安全套接層(SSL)、消息傳遞協(xié)議(例如，美國(guó)在線(AOL)即時(shí)消息器(AIM)、應(yīng)用交換(APEX)、ICQ、因特網(wǎng)中繼聊天(IRC)、微軟網(wǎng)絡(luò)(MSN)消息器服務(wù)、現(xiàn)場(chǎng)和即時(shí)消息傳遞協(xié)議(PRM)、因特網(wǎng)工程任務(wù)組的(IETF)的會(huì)話發(fā)起協(xié)議(SIP)、基于SIP的即時(shí)消息傳遞和現(xiàn)場(chǎng)平衡擴(kuò)展(SIMPLE)、基于開放XML的可擴(kuò)展消息傳遞和現(xiàn)場(chǎng)協(xié)議(XMPP)(即，Jabber或開放移動(dòng)聯(lián)盟的(OMA)的即時(shí)消息傳遞和現(xiàn)場(chǎng)服務(wù)(MPS))、Yahoo !即時(shí)消息器服務(wù)等。信息服務(wù)器以網(wǎng)頁(yè)形式向網(wǎng)頁(yè)瀏覽器提供結(jié)果，并且允許通過與其它程序組件交互對(duì)網(wǎng)頁(yè)的操縱生成。在將HTTP請(qǐng)求的域名系統(tǒng)(DNS)解析部分解析到特定消息服務(wù)器之后，信息服務(wù)器基于HTTP請(qǐng)求的其它部分來解析請(qǐng)求，尋找MTI控制器上的特定位置的信息。例如，諸如
[0067]http://123.124.125.126/myInformation.html 的請(qǐng)求可具有請(qǐng)求的 IP 部分“123.124.125.126，其由DNS服務(wù)器解析到處于該IP地址的信息服務(wù)器；該信息服務(wù)器進(jìn)而可進(jìn)一步解析請(qǐng)求的“/mylnformation.html”部分的http請(qǐng)求,并且將其解析到存儲(chǔ)器中包含信息“mylnformation.html”的位置。另外,可在各種端口(例如，F(xiàn)TP通信跨端口21等)上利用其它信息服務(wù)協(xié)議。信息服務(wù)器可與包括它本身的組件集合中的其它組件和/或設(shè)施等通信。最常見地，信息服務(wù)器與MTI數(shù)據(jù)庫(kù)819、操作系統(tǒng)、其它程序組件、用戶接口、網(wǎng)頁(yè)瀏覽器等通信。
[0068]對(duì)MTI數(shù)據(jù)庫(kù)的訪問可通過多種數(shù)據(jù)庫(kù)橋接機(jī)制實(shí)現(xiàn)，例如通過下面列舉的腳本語(yǔ)言(例如CGI)和通過下面列舉的應(yīng)用程序間通信通道(例如，CORBA、WebObjects等)。通過網(wǎng)頁(yè)瀏覽器的任何數(shù)據(jù)請(qǐng)求通過橋接機(jī)制解析為MTI需要的適當(dāng)?shù)恼Z(yǔ)法。在一個(gè)實(shí)施方式中，信息服務(wù)器將提供網(wǎng)頁(yè)瀏覽器可訪問的網(wǎng)頁(yè)表單。制作成在網(wǎng)頁(yè)表單中所提供的字段的條目被標(biāo)記為已輸入到特定字段中并且這樣被解析。輸入項(xiàng)然后與字段標(biāo)簽一起傳遞，它們被用于指示解析器生成針對(duì)適當(dāng)?shù)谋砗?或字段的查詢。在一個(gè)實(shí)施方式中，解析器可通過基于所標(biāo)記的的文本條目來實(shí)例化(instantiate)帶有恰當(dāng)?shù)募尤?選擇命令的搜索字符串而以標(biāo)準(zhǔn)SQL來生成查詢，其中得到的命令通過橋接機(jī)制提供給MTI作為查詢。根據(jù)查詢生成查詢結(jié)果時(shí)，該結(jié)果通過橋接機(jī)制被傳遞，并且可被解析以由橋接機(jī)制格式化并且生成新結(jié)果網(wǎng)頁(yè)。這種新結(jié)果網(wǎng)頁(yè)然后提供給信息服務(wù)器，信息服務(wù)器可將其提供給請(qǐng)求的網(wǎng)頁(yè)瀏覽器。
[0069]而且，信息服務(wù)器可包含、通信、生成、獲得和/或提供程序組件、系統(tǒng)、用戶和/或數(shù)據(jù)通信、請(qǐng)求和/或響應(yīng)。
[0070]用戶接口
[0071]計(jì)算機(jī)接口在某種程度上類似于汽車操作接口。汽車操作接口元件(例如方向盤和速度計(jì))促進(jìn)汽車資源和狀態(tài)的訪問、操作、顯示。計(jì)算機(jī)交互接口元件(例如復(fù)選框、光標(biāo)、菜單、滾輪、窗口(統(tǒng)稱為微件))類似地促進(jìn)數(shù)據(jù)、計(jì)算機(jī)硬件和操作系統(tǒng)資源、狀態(tài)的訪問、性能、操作、顯示。操作接口通常稱為用戶接口。諸如Apple Macintosh操作系統(tǒng)的 Aqua、IBM 的 OS/2、Microsoft 的 WindoWs2000/2003/3.1/95/98/CE/MiIlenium/NT/XP/Vista/7 (即，Aero) > Unix的X_WindoWs(例如,可包括附加Unix圖形接口庫(kù)和諸如K桌面環(huán)境(KDE)、mythTV和GNU網(wǎng)絡(luò)對(duì)象模型環(huán)境(GNOME)的層)、網(wǎng)絡(luò)接口庫(kù)(例如，可使用以下中的任一項(xiàng):ActiveX、AJAX、(D)HTML、FLASH、Java、JavaScript 等接口庫(kù)，例如但不限于 Dojo> jQuery (UI)、MooTools、Prototype、script, acul0.us、SWFObiect、Yahoo !用戶接口)的圖形用戶接口(GUI)提供訪問并向用戶圖形顯示信息的基線和手段。
[0072] 用戶接口組件817是由CPU執(zhí)行的存儲(chǔ)程序組件。用戶接口可以是諸如已經(jīng)討論的操作系統(tǒng)和/或操作系統(tǒng)環(huán)境提供的常規(guī)圖形用戶接口、利用諸如已經(jīng)討論的操作系統(tǒng)和/或操作系統(tǒng)環(huán)境的常規(guī)圖形用戶接口、和/或在諸如已經(jīng)討論的操作系統(tǒng)和/或操作系統(tǒng)環(huán)境上的常規(guī)圖形用戶接口。用戶接口可允許通過文本和/或圖形設(shè)施顯示、執(zhí)行、交互、操縱和/或操作程序組件和/或系統(tǒng)設(shè)施。用戶接口提供用戶可影響、交互和/或操作計(jì)算機(jī)系統(tǒng)的設(shè)施。用戶接口可與包括它本身的組件集合中的其它組件和/或類似設(shè)施通信。最常見地，用戶接口與操作系統(tǒng)、其它程序組件等通信。用戶接口可包含、通信、生成、獲得和/或提供程序組件、系統(tǒng)、用戶和/或數(shù)據(jù)通信、請(qǐng)求和/或響應(yīng)。
[0073]網(wǎng)頁(yè)瀏覽器[0074]網(wǎng)頁(yè)瀏覽器組件818是由CPU執(zhí)行的存儲(chǔ)程序組件。網(wǎng)頁(yè)瀏覽器可以是常規(guī)超文本瀏覽應(yīng)用程序，例如微軟因特網(wǎng)瀏覽器或網(wǎng)景領(lǐng)航員?？衫肏TTPS、SSL等利用128位(或更多)加密提供安全網(wǎng)頁(yè)瀏覽。網(wǎng)頁(yè)瀏覽器允許通過諸如Activex、AJAX、(D)HTML、FLASH、Java、JavaScript、網(wǎng)頁(yè)瀏覽器插件API (例如，F(xiàn)ireFox、Safari插件和/或類似API)等工具執(zhí)行程序組件。網(wǎng)頁(yè)瀏覽器和類似信息訪問工具可集成到PDA、蜂窩電話和/或其它移動(dòng)設(shè)備。網(wǎng)頁(yè)瀏覽器可與包括它本身的組件集合中的其它組件和/或類似設(shè)施通信。最常見地，網(wǎng)頁(yè)瀏覽器與信息服務(wù)器、操作系統(tǒng)、集成程序組件(例如插件)等通信；例如，它可包含、通信、生成、獲得和/或提供程序組件、系統(tǒng)、用戶和/或數(shù)據(jù)通信、請(qǐng)求和/或響應(yīng)。而且，為了替代網(wǎng)頁(yè)瀏覽器和信息服務(wù)器，可開發(fā)組合應(yīng)用程序來執(zhí)行這二者的類似操作。組合應(yīng)用程序?qū)㈩愃频赜绊憦腗TI使能節(jié)點(diǎn)向用戶、用戶代理等獲得并提供詳細(xì)。組合應(yīng)用程序在利用標(biāo)準(zhǔn)網(wǎng)頁(yè)瀏覽器的系統(tǒng)上可能無效。
[0075]郵件服務(wù)器
[0076]郵件服務(wù)器組件821是由CPU803執(zhí)行的存儲(chǔ)程序組件。郵件服務(wù)器可以是常規(guī)因特網(wǎng)郵件服務(wù)器，例如但不限于sendmail、Microsoft Exchange等。郵件服務(wù)器可允許通過諸如 ASP、ActiveX、(ANSI) (Objective-) C (++)、C# 和 / 或.NET、CGI scripts、Java、JavaScript、PERL、PHP、管道、Python、WebObj ects等工具執(zhí)行程序組件。郵件服務(wù)器可支持通信協(xié)議，例如但不限于:因特網(wǎng)消息訪問協(xié)議(IMAP)、消息應(yīng)用程序編程接口(MAPI)/Microsoft Exchange、郵局協(xié)議(POP3)、簡(jiǎn)單郵件傳輸協(xié)議(SMTP)等。郵件服務(wù)器能路由、轉(zhuǎn)發(fā)、處理已發(fā)送、中繼和/或通過和/或去往MTI的到來和發(fā)出的郵件消息。
[0077]訪問MTI郵件可通過各個(gè)網(wǎng)頁(yè)服務(wù)器組件和/或操作系統(tǒng)提供的多個(gè)APl實(shí)現(xiàn)。
[0078]而且，郵件 服務(wù)器可包含、通信、生成、獲得和/或提供程序組件、系統(tǒng)、用戶和/或數(shù)據(jù)通信、請(qǐng)求、信息和/或響應(yīng)。
[0079]郵件客戶端
[0080]郵件客戶端組件822是由CPU803執(zhí)行的存儲(chǔ)程序組件。郵件客戶端可以是常規(guī)郵件查看應(yīng)用程序，例如 Apple Mail、Microsoft Entourage ^Microsoft 0utlook>MicrosofnOutlook Express、Mozilla、Thunderbird等。郵件客戶端可支持多種傳輸協(xié)議,例如:IMAP、Microsoft Exchange、POP3、SMTP等。郵件客戶端可與包括它本身的組件集合中的其它組件和/或類似設(shè)施通信。最常見地，郵件客戶端與郵件服務(wù)器、操作系統(tǒng)、其它郵件客戶端等通信；例如，它可包含、通信、生成、獲得和/或提供程序組件、系統(tǒng)、用戶和/或數(shù)據(jù)通信、請(qǐng)求、信息和/或響應(yīng)。通常，郵件客戶端提供撰寫并發(fā)送電子郵件消息的工具。
[0081]密碼服務(wù)器
[0082]密碼服務(wù)器組件820是由CPU803、密碼處理器826、密碼處理器接口 827、密碼處理器設(shè)備828等執(zhí)行的存儲(chǔ)程序組件。密碼處理器接口將允許處理由密碼組件請(qǐng)求的加密和/或解密；然而，備選地，密碼組件可在常規(guī)CPU上運(yùn)行。密碼組件允許加密和/或解密提供的數(shù)據(jù)。密碼組件允許對(duì)稱和非對(duì)稱(例如，極好保護(hù)(PGP))加密和/或解密。密碼組件可利用加密技術(shù)，例如但不限于:數(shù)字證書(例如，X.509認(rèn)證框架)、數(shù)字簽名、雙簽名、封包、密碼訪問保護(hù)、公鑰管理等。密碼組件將促進(jìn)數(shù)字(加密和/或解密)安全性協(xié)議，例如但不限于:校驗(yàn)和、數(shù)據(jù)加密標(biāo)準(zhǔn)(DES)、橢圓曲線加密(ECC)、國(guó)際數(shù)據(jù)加密算法(IDEA)、消息摘要5 (MD5，一種散列運(yùn)算)、密碼、Rivest Cipher (RC5)、Riindael, RSA(因特網(wǎng)加密和認(rèn)證系統(tǒng)，使用Ron Rivest、Adi Shamir、Leonard Adleman于1977年開發(fā)的算法)、安全散列算法(SHA)、安全套接字層(SSL)、安全超文本傳輸協(xié)議(HTTPS)等。利用這些加密安全協(xié)議，MTI可加密所有到來和/或發(fā)出的通信，并且可用作利用更廣通信網(wǎng)絡(luò)的虛擬專用網(wǎng)(VPN)內(nèi)的節(jié)點(diǎn)。密碼組件促進(jìn)“安全授權(quán)”處理，從而通過安全協(xié)議禁止對(duì)資源的訪問，其中密碼組件實(shí)現(xiàn)對(duì)安全資源的經(jīng)授權(quán)的訪問。此外，密碼組件可提供內(nèi)容的唯一標(biāo)識(shí)符，例如利用MD5散列以獲得用于數(shù)字音頻文件的唯一簽名。密碼組件可與包括它本身的組件集合中的其它組件和/或類似設(shè)施通信。密碼組件支持允許在通信網(wǎng)絡(luò)上安全發(fā)送信息以使得MTI組件能夠在希望時(shí)參與安全交易的加密方案。密碼組件促進(jìn)MTI上的資源的安全訪問，并且促進(jìn)遠(yuǎn)程系統(tǒng)上的安全資源的訪問；即它可用作安全資源的客戶端和/或服務(wù)器。最常見地，密碼組件與信息服務(wù)器、操作系統(tǒng)、其它程序組件等通信。密碼組件包含、通信、生成、獲得和/或提供程序組件、系統(tǒng)、用戶和/或數(shù)據(jù)通信、請(qǐng)求和/或響應(yīng)。
[0083]MTI數(shù)據(jù)庫(kù)
[0084]MTI數(shù)據(jù)庫(kù)組件819可嵌入在數(shù)據(jù)庫(kù)及其存儲(chǔ)的數(shù)據(jù)中。數(shù)據(jù)庫(kù)是由CPU執(zhí)行的存儲(chǔ)程序組件；存儲(chǔ)程序組件部分將CPU配置成處理所存儲(chǔ)的數(shù)據(jù)。數(shù)據(jù)庫(kù)可以是常規(guī)、容錯(cuò)、關(guān)系、可擴(kuò)展、安全數(shù)據(jù)庫(kù)，例如Oracle或Sybase。關(guān)系數(shù)據(jù)庫(kù)是平面文件的擴(kuò)展。關(guān)系數(shù)據(jù)庫(kù)包括一系列相關(guān)表組成。這些表經(jīng)由關(guān)鍵字段互連。關(guān)鍵字段的使用通過相對(duì)關(guān)鍵字段進(jìn)行索引來允許表的組合；即，關(guān)鍵字段用作用于組合來自各種表的信息的三維支點(diǎn)。關(guān)系通常標(biāo)識(shí)通過匹配主關(guān)鍵字來識(shí)別表之間所保持的鏈接。主關(guān)鍵字表示唯一地標(biāo)識(shí)關(guān)系數(shù)據(jù)庫(kù)中的表的行的字段。更精確地，它們?cè)谝粚?duì)多關(guān)系的“一”側(cè)唯一地標(biāo)識(shí)表的行。
[0085]備選地，MTI數(shù)據(jù)庫(kù)可利用各種標(biāo)準(zhǔn)數(shù)據(jù)結(jié)構(gòu)實(shí)現(xiàn)，例如陣列、散列、(鏈接)列表、結(jié)構(gòu)體、結(jié)構(gòu)化文本文件(例如XML)、表等。這些數(shù)據(jù)結(jié)構(gòu)可存儲(chǔ)在存儲(chǔ)器中和/或(結(jié)構(gòu)化)文件中。在另一備選中，可使用面向?qū)ο蟮臄?shù)據(jù)庫(kù)，例如Frontier、jectStore、Poet、Zope等。對(duì)象數(shù)據(jù)庫(kù)能包括通過公共屬性分組和/或鏈接在一起的多種對(duì)象集合；它們可通過一些公共屬性與其它對(duì)象集合相關(guān)。面向?qū)ο蟮臄?shù)據(jù)庫(kù)與關(guān)系數(shù)據(jù)庫(kù)類似地運(yùn)作，不同之處是對(duì)象不僅僅是數(shù)據(jù)塊，而是可以具有封裝在給定對(duì)象內(nèi)的其它類型的功能。如果MTI數(shù)據(jù)庫(kù)實(shí)現(xiàn)為數(shù)據(jù)結(jié)構(gòu)，則MTI數(shù)據(jù)庫(kù)819的使用可集成到另一組件，例如MTI組件835。而且，數(shù)據(jù)庫(kù)可以實(shí)現(xiàn)為數(shù)據(jù)結(jié)構(gòu)、對(duì)象和關(guān)系結(jié)構(gòu)的混合。數(shù)據(jù)庫(kù)可通過標(biāo)準(zhǔn)數(shù)據(jù)處理技術(shù)按照無數(shù)變型合并和/或分布。數(shù)據(jù)庫(kù)的部分(例如表)可導(dǎo)出和/或?qū)?，因此是分散的?或集成的。
[0086]在一個(gè)實(shí)施方式中，數(shù)據(jù)庫(kù)組件819包括若干表819a_j。用戶表819a可包括字段，例如但不限于:user—id、ssn、dob、first—name、last—name、age、state、address_firstline、address_secondline、zipcode、deVices_list、contact_info、contact_type、alt—contact—infb、alt—contact—type等。用戶表可支持和/或跟蹤MTI上的多個(gè)實(shí)體帳戶。設(shè)備表 819b 可包括字段，例如但不限于:device—ID、device—name、device—IP、deVice—MAC、 deVice_type、 deVice—model、 deVice_version、 device_0S、 device_apps_list、device—securekey等。應(yīng)用程序表819c可包括字段，例如但不限于:app—ID、app—name、app—type、app—dependencies等。手勢(shì)表819d可包括字段，例如但不限于！gesture—id、gesture_name、 gesture_touch_group_dehnition、 gesture_timing—sequence、 gesture_enabled—flag、gesture_settings_list、gesture_settings_values 等。輸入設(shè)備表 819e可包括字段，例如但不限于:deVice—ID、deVice—name、deVice—IP、deVice—MAC、deVice—type、device—model、deVice_version、device_0S、deVice_apps_list、device_securekey等。命令表819f可包括字段，例如但不限于:command—id、command_ name、command_syntax、command_compiler、 command_inputs、 command_exceptions_list、 command_gesture_trigger等。傳感器表819g可包括字段，例如但不限于:sensor_id、sensor_name、sensor_type、last_calibrated、sensor_data_rate> sensor_data_format> sensor_data_error_estimate、 sensor_trigger_type> sensor_trigger_condition、 sensor_burst_enable_nag、sensor_continuous_enable_flag等。校準(zhǔn)數(shù)據(jù)表819h可包括字段，例如但不限于:calibration_id、 calibration_type> calibration_deVice_applicable> calibration—variables_list>calibration_variables_values 等。閾值表 819i 可包括字段，例如但不限于:threshold_id、threshold_name、threshold_type> threshoId_dynamic_parameter>threshold_value> threshold_delta、 threshold_last_update、 threshold_calibrated_flag等。觸摸歷史表819j可包括字段,例如但不限于:timestamp、user_id、user_app_id、user_device_id> user_gesture_id、user_command_id 等。
[0087]在一個(gè)實(shí)施方式中，MTI數(shù)據(jù)庫(kù)可與其它數(shù)據(jù)庫(kù)系統(tǒng)交互。例如，在利用分布式數(shù)據(jù)庫(kù)系統(tǒng)的情況下，通過搜索MTI組件進(jìn)行的查詢和數(shù)據(jù)訪問可將MTI數(shù)據(jù)庫(kù)、集成數(shù)據(jù)安全層數(shù)據(jù)庫(kù)的組合視為單個(gè)數(shù)據(jù)庫(kù)實(shí)體。
[0088]在一個(gè)實(shí)施方式中，用于程序可包含可用于更新MIT的各種用戶接口原語(yǔ)。而且，根據(jù)MTI可能需要提供服務(wù)的環(huán)境和客戶端類型，各種帳戶可要求自定義數(shù)據(jù)庫(kù)表。應(yīng)該注意，通篇中任何唯一字段可被指定為密鑰字段。在備選實(shí)施方式中，這些表已分散到它們本身的數(shù)據(jù)庫(kù)及其相應(yīng)的數(shù)據(jù)庫(kù)控制器(即，針對(duì)以上表中的每個(gè)的單獨(dú)的數(shù)據(jù)庫(kù)控制器)中。在利用標(biāo)準(zhǔn)數(shù)據(jù)處理技術(shù)的情況下，還可在若干計(jì)算機(jī)系統(tǒng)和/或存儲(chǔ)設(shè)備上分布數(shù)據(jù)庫(kù)。類似地，分散數(shù)據(jù)庫(kù)控制器的構(gòu)造可由于合并和/或分布各自數(shù)據(jù)庫(kù)組件819a-j而變化。MTI可配置為經(jīng)由數(shù)據(jù)庫(kù)控制器保持跟蹤各種設(shè)置、輸入和參數(shù)。
[0089]MTI數(shù)據(jù)庫(kù)可與包括它本身的組件集合中的其它組件和/或類似設(shè)施通信。最常見地，MTI數(shù)據(jù)庫(kù)與MTI組件、其它程序組件等通信。數(shù)據(jù)庫(kù)可包含、保留并提供與其它節(jié)點(diǎn)和數(shù)據(jù)有關(guān)的信息。
[0090]MTI
[0091]MTI組件835是由CPU執(zhí)行的存儲(chǔ)程序組件。在一個(gè)實(shí)施方式中，MTI組件并入以前的圖中討論的MTI的各個(gè)方面的任意和/或所有組合。因此，MTI影響在各種通信網(wǎng)絡(luò)上對(duì)信息、服務(wù)、交易等的訪問、獲得、提供。
[0092]MTI組件可經(jīng)由MTI組件將多用戶多模態(tài)觸摸屏輸入手勢(shì)轉(zhuǎn)變?yōu)橛脩舳ㄖ频挠?jì)算結(jié)果顯示等，并使用MTI。在一個(gè)實(shí)施方式中，MTI組件835取得輸入(例如，觸摸輸入401 ；在前觸摸輸入集409 ;用戶命令413、416 ;修改的用戶命令420 ;光強(qiáng)度信號(hào)501 ;觸摸ID、位置坐標(biāo)601,701 ;等等)，并且經(jīng)由MTI組件(例如，MTP841 ；TCD842 ；TTI843 ；TGR844 ;等等)將它們轉(zhuǎn)變?yōu)檩敵?例如，執(zhí)行的用戶命令421 ;質(zhì)心坐標(biāo)505 ;觸摸ID、位置坐標(biāo)506 ；觸摸ID、關(guān)聯(lián)類型608 ;觸摸組706 ;等等)。
[0093]實(shí)現(xiàn)在節(jié)點(diǎn)之間的信息訪問的MTI組件可通過利用標(biāo)準(zhǔn)開發(fā)工具和語(yǔ)言來開發(fā)，該標(biāo)準(zhǔn)開發(fā)工具和語(yǔ)言例如但不限于:Apache組件、Assembly、ActiveX、二進(jìn)制可執(zhí)行、(ANSI) (Objective-)C(++)、C# 和 / 或.NET、數(shù)據(jù)庫(kù)適配器、CGI 腳本、Java、JavaScript、映射工具、面向過程和對(duì)象的開發(fā)工具、PERL、PHP、Pyth0n、Shell腳本、SQL命令、網(wǎng)頁(yè)應(yīng)用服務(wù)器擴(kuò)展、網(wǎng)絡(luò)開發(fā)環(huán)境和庫(kù)(例如，Microsoft的ActiveX ；Adobe AIR、FLEX & FLASH ；AJAX ; (D)HTML ;Dojo、Java ；JavaScript ； jQuery(UI) ；MooTools !Prototype ；script.acul0.uS ;簡(jiǎn)單對(duì)象訪問協(xié)議(SOAP) ；SffFObject ;Yahoo !用戶界面等)、WebObjects 等。在一個(gè)實(shí)施方式中，MTI服務(wù)器利用密碼服務(wù)器來對(duì)通信進(jìn)行加密和解密。MTI組件可與包括它本身的組件集合中的其它組件和/或類似設(shè)施通信。最常見地，MTI組件與MTI數(shù)據(jù)庫(kù)、操作系統(tǒng)、其它程序組件等通信。MTI可包含、通信、生成、獲得和/或提供程序組件、系統(tǒng)、用戶和/或數(shù)據(jù)通信、請(qǐng)求和/或響應(yīng)。
[0094]分布式MTI[0095]任意MTI節(jié)點(diǎn)控制器組件的結(jié)構(gòu)和/或操作可按任何數(shù)量的方式組合、合并和/或分布，以促進(jìn)開發(fā)和/或部署。類似地，組件集合可按任何數(shù)量的方式組合，以促進(jìn)部署和/或開發(fā)。為了實(shí)現(xiàn)這點(diǎn)，可將組件集成到公共代碼庫(kù)或者集成到能夠根據(jù)需求以集成方式動(dòng)態(tài)加載組件的設(shè)施中。
[0096]組件集合可通過標(biāo)準(zhǔn)數(shù)據(jù)處理和/或開發(fā)技術(shù)按無數(shù)變型合并和/或分布。程序組件集合中任一程序組件的多個(gè)實(shí)例可在單個(gè)節(jié)點(diǎn)上和/或跨節(jié)點(diǎn)實(shí)例化，以通過負(fù)載均衡和/或數(shù)據(jù)處理技術(shù)提高性能。另外，單個(gè)實(shí)例也可跨多個(gè)控制器和/或存儲(chǔ)設(shè)備(例如數(shù)據(jù)庫(kù))分布。協(xié)同工作的所有程序組件實(shí)例和控制器可通過標(biāo)準(zhǔn)數(shù)據(jù)處理通信技術(shù)來這樣做。
[0097]MTI控制器的構(gòu)造將取決于系統(tǒng)部署上下文。諸如(但不限于)下層硬件資源的預(yù)算、容量、位置和/或用途的因素可影響部署需求和構(gòu)造。無論構(gòu)造導(dǎo)致更合并和/或集成的程序組件、導(dǎo)致更分布序列的程序組件和/或?qū)е潞喜⒑头植紭?gòu)造之間的某組合，都可通信、獲得和/或提供數(shù)據(jù)。從程序組件集合合并到公共代碼庫(kù)的組件的實(shí)例可通信、獲得和/或提供數(shù)據(jù)。這可通過應(yīng)用程序內(nèi)數(shù)據(jù)處理通信技術(shù)來實(shí)現(xiàn)，例如但不限于:數(shù)據(jù)引用(例如，指針)、內(nèi)部消息傳遞、對(duì)象實(shí)例變量通信、共享存儲(chǔ)器空間、變量傳遞等。
[0098]如果組件集合中的多個(gè)組件彼此分立、分離和/或在彼此外部，則與其它組件通信、從其它組件獲得和/或向其它組件提供數(shù)據(jù)可通過應(yīng)用程序間數(shù)據(jù)處理通信技術(shù)來實(shí)現(xiàn)，例如但不限于:應(yīng)用程序接口(API)信息通道；(分布式)組件對(duì)象模型((D) COM)、(分布式)對(duì)象鏈接和嵌入((D)OLE)等，公共對(duì)象請(qǐng)求代管者架構(gòu)(CORBA)、本地和遠(yuǎn)程應(yīng)用程序接口 Jin1、JavaScript對(duì)象記號(hào)(JSON)、遠(yuǎn)程方法調(diào)用(RMI)、S0AP、處理管道、共享文件等?？赏ㄟ^創(chuàng)建和解析語(yǔ)法來促進(jìn)在分立的組件分量之間發(fā)送的用于應(yīng)用程序間通信的消息或者在單個(gè)組件的存儲(chǔ)器空間內(nèi)發(fā)送的用于應(yīng)用程序內(nèi)通信的消息。語(yǔ)法可利用諸如lex、yacc、XML等的開發(fā)工具開發(fā)，這些開發(fā)工具允許語(yǔ)法生成和解析能力，進(jìn)而可形成組件內(nèi)和之間通信消息的基礎(chǔ)。
[0099]例如，語(yǔ)法可配置為識(shí)別HTTP post命令的令牌，該命令例如為:
[0100]w3c-post http://...Valuel
[0101]其中Valuel識(shí)別為參數(shù)，因?yàn)椤癶ttp://”是語(yǔ)法句法的一部分，跟在后面的被視為post值的一部分。類似地，利用這種語(yǔ)法，變量“Valuel”可插入到“http://”p0st命令中并且然后被發(fā)送。語(yǔ)法句法本身可呈現(xiàn)為被解釋和/或否則用于生成解析機(jī)制的結(jié)構(gòu)數(shù)據(jù)(例如，通過lex、yacc等處理的句法描述文本文件)。而且，一旦生成和/或示例化解析機(jī)制，則它本身可處理和/或解析結(jié)構(gòu)數(shù)據(jù)，例如但不限于:字符(例如tab)界限的文本、HTML、結(jié)構(gòu)化文本流、XML和/或類似結(jié)構(gòu)數(shù)據(jù)。在另一實(shí)施方式中，應(yīng)用程序間數(shù)據(jù)處理協(xié)議本身可具有集成和/或容易獲得的解析器(例如JSON、SOAP和/或類似解析器)，可利用其來解析(例如，通信)數(shù)據(jù)。另外，解析語(yǔ)法可在消息解析之外應(yīng)用，而是也可用于解析:數(shù)據(jù)庫(kù)、數(shù)據(jù)集合、數(shù)據(jù)存儲(chǔ)、結(jié)構(gòu)化數(shù)據(jù)等。在此，期望的構(gòu)造將取決于系統(tǒng)部署上下文、環(huán)境和需求。
[0102] 例如，在一些實(shí)現(xiàn)中，MTI控制器可經(jīng)由信息服務(wù)器執(zhí)行實(shí)現(xiàn)安全套接字層(“SSL”)套接字服務(wù)器的PHP腳本，其監(jiān)聽客戶端可能發(fā)送數(shù)據(jù)的服務(wù)器端口上到來的通信，例如，以JSON格式編碼的數(shù)據(jù)。在識(shí)別出到來的通信時(shí)，PHP腳本可讀取來自客戶端設(shè)備的到來的消息，解析接收的JSON編碼的文本數(shù)據(jù)，以從JSON編碼的文本數(shù)據(jù)提取信息到PHP腳本變量，并且將數(shù)據(jù)(例如，客戶端標(biāo)識(shí)信息等)和/或提取的信息存儲(chǔ)在可利用結(jié)構(gòu)查詢語(yǔ)言(“SQL”)訪問的關(guān)系數(shù)據(jù)庫(kù)中。以下提供示例性基本上以PHP/SQL命令形式編寫的經(jīng)由SSL連接從客戶端設(shè)備接受JSON編碼的輸入數(shù)據(jù)、解析數(shù)據(jù)以提取變量、并且將數(shù)據(jù)存儲(chǔ)到數(shù)據(jù)庫(kù)的示例性列表:
[0103]
<?PHP
header (' Content-Type: text/plain');
//設(shè)置ip地址和端口以監(jiān)聽到來的數(shù)據(jù)Saddress = '192.168.0.100';
$port = 255;
//創(chuàng)建服務(wù)器側(cè)SSL套接字，監(jiān)聽/接受到來的通信$sock = socket create (AF INET, SOCK STREAM, O);socket bind ($sock, $address, $port) or die ('Could not bind toaddress');
socket listen ($sock);
$client = socket—accept ($sock);
[0104]//以1024字節(jié)塊從客戶端設(shè)備讀取輸入數(shù)據(jù)，直到消息結(jié)束do {
S input =
Sinput = socket_read ( $client, 1024);
$data.= $input;
} while ($ input !="");
//解析數(shù)據(jù)以提取變量
$obj = json_decode ( $data, true);
//將輸入數(shù)據(jù)存儲(chǔ)在數(shù)據(jù)庫(kù)中
mysql_connect ( "201.408.185.132 " , $DBserver , $password) ; Il 訪問
數(shù)據(jù)庫(kù)服務(wù)器
mysql—select ( "CLIENT DB.SQL" ) ; Il 選擇要附加的數(shù)據(jù)庫(kù)mysql query ("INSERT INTO UserTable (transmission)
VALUES (Sdata)"); Il將數(shù)據(jù)添加到客戶端數(shù)據(jù)庫(kù)中的用戶表mysql_close ( "CLIENT DB.SQL" ) ; // 關(guān)閉到數(shù)據(jù)庫(kù)的連接
?>
[0105]而且，可以使用以下資源來提供關(guān)于SOAP解析器實(shí)現(xiàn)的示例實(shí)施方式:
[0106]http://WWW.xav.com/perl/site/lib/SOAP/Parser.html
[0107]http://publib.boulder, ibm.com/infocenter/tiVihelp/v2rl/index, jsp ?topic = /com.1bm.1BMD1.doc/referenceguide295.htm
[0108]以及關(guān)于其它解析器實(shí)現(xiàn)的示例實(shí)施方式:
[0109]http://publib.boulder, ibm.com/infocenter/tiVihelp/v2rl/index, jsp ?topic = /com.1bm.1BMD1.doc/referenceguide259.htm
[011 o] 在此通過引用從表達(dá)上并入全部。
[0111] 為了解決各種問題并且推進(jìn)現(xiàn)有技術(shù)，多模態(tài)觸摸屏交互裝置、方法和系統(tǒng)的整個(gè)本申請(qǐng)(包括首頁(yè)、名稱、標(biāo)題、【技術(shù)領(lǐng)域】、【背景技術(shù)】、
【發(fā)明內(nèi)容】
、【專利附圖】

【附圖說明】、【具體實(shí)施方式】、權(quán)利要求書、摘要、附圖、附錄和/或其它)通過圖示示出了各種實(shí)施方式，其中可實(shí)現(xiàn)要求保護(hù)的發(fā)明。本申請(qǐng)的優(yōu)點(diǎn)和特征僅是實(shí)施方式的代表性樣例，并且不是窮舉和/或排他的。呈現(xiàn)它們僅為了輔助理解，并且講述要求保護(hù)的原理。應(yīng)該理解，它們不代表所有要求保護(hù)的發(fā)明。如此，在此沒有討論本公開的特定方面?？赡芪瘁槍?duì)本發(fā)明的特定部分呈現(xiàn)那些備選實(shí)施方式或者針對(duì)一部分可用的進(jìn)一步未描述的備選實(shí)施方式不視為放棄這些備選實(shí)施方式。將理解，這些未描述的實(shí)施方式中的許多包括相同的發(fā)明原理，其它的是等同的。因此，應(yīng)該理解，在不脫離本公開的范圍和/或精神的情況下，可以利用其它實(shí)施方式，并且可以作出功能、邏輯、操作、結(jié)構(gòu)和/或拓?fù)湫薷?。因此，所有示例?或?qū)嵤┓绞皆诒竟_通篇視為非限制。而且，關(guān)于這里討論的這些實(shí)施方式，為了減少空間和重復(fù)，除此之外不應(yīng)該推論相對(duì)于這里沒有討論的實(shí)施方式。例如，應(yīng)該理解，在附圖中和/或通篇描述的任何程序組件(組件集合)、其它組件和/或任何存在特征集合的任何組合的邏輯和/或拓?fù)浣Y(jié)構(gòu)不限于固定操作順序和/或排列，而相反地，任何公開的順序是示例性的，通過本公開設(shè)想了所有等同物(無順序無關(guān))。此外，應(yīng)該理解，這些特征不限于順序執(zhí)行，而是相反，通過本公開設(shè)想了可以異步、同時(shí)、并發(fā)、并行、同步等執(zhí)行的任何數(shù)量的線程、處理、服務(wù)、服務(wù)器等。因此，這些特征中的一些可能相互矛盾，因?yàn)樗鼈儾荒芡瑫r(shí)存在于單個(gè)實(shí)施方式中。類似地，一些特征適用于本發(fā)明的一個(gè)方面而不適用于其它方面。此外，本公開包括權(quán)利要求中未呈現(xiàn)的其它發(fā)明。 申請(qǐng)人:對(duì)那些未呈現(xiàn)的未要求保護(hù)的發(fā)明保留所有權(quán)利，包括要求保護(hù)這些發(fā)明、文件附加申請(qǐng)、延續(xù)、部分延續(xù)、分案等的權(quán)利。因此，應(yīng)該理解，本公開的優(yōu)點(diǎn)、實(shí)施方式、示例、功能、特征、邏輯、操作、組織、結(jié)構(gòu)、拓?fù)浜?或其它方面不視為對(duì)如權(quán)利要求限定的本公開的限制，或者對(duì)權(quán)利要求等同物的限制。應(yīng)該理解，根據(jù)MTI個(gè)體和/或企業(yè)用戶的特定需求和/或特性、數(shù)據(jù)庫(kù)構(gòu)造和/或關(guān)系模型、數(shù)據(jù)類型、數(shù)據(jù)發(fā)送和/或網(wǎng)絡(luò)框架、句法結(jié)構(gòu)等，可實(shí)現(xiàn)MTI的各種實(shí)施方式，這些實(shí)施方式實(shí)現(xiàn)大量靈活性和定制。例如，MTI的各個(gè)方面可適于3D浸入系統(tǒng)、虛擬現(xiàn)實(shí)體驗(yàn)、辦公生產(chǎn)力套件等。盡管MTI的各種實(shí)施方式和討論致力于人機(jī)交互，然而，應(yīng)該理解，可以針對(duì)廣泛的各種其它應(yīng)用和/或?qū)崿F(xiàn)容易地構(gòu)造和/或定制這里描述的實(shí)施方式。
【權(quán)利要求】
1.一種多模態(tài)觸摸屏交互處理器實(shí)現(xiàn)的方法，包括: 從觸摸屏傳感器獲得包括關(guān)于觸摸屏上的用戶觸摸事件的信息的傳感器信號(hào)； 經(jīng)由處理器根據(jù)所述傳感器信號(hào)確定所述用戶觸摸事件的位置坐標(biāo)； 根據(jù)所述傳感器信號(hào)識(shí)別所述用戶觸摸事件的觸摸類型；以及 經(jīng)由所述處理器使用所述用戶觸摸事件的所述觸摸類型來確定用戶觸摸屏手勢(shì)。
2.根據(jù)權(quán)利要求1所述的方法，還包括: 針對(duì)與所述用戶觸摸屏手勢(shì)關(guān)聯(lián)的用戶命令而查詢存儲(chǔ)器；以及 經(jīng)由所述處理器執(zhí)行所述用戶命令。
3.根據(jù)權(quán)利要求2所述的方法，還包括: 針對(duì)預(yù)定時(shí)間窗口內(nèi)的在前用戶觸摸事件而查詢存儲(chǔ)器；以及 使用所述在前用戶觸摸事件和所述用戶觸摸屏手勢(shì)來識(shí)別手勢(shì)模式。
4. 根據(jù)權(quán)利要求3所述的方法，其中針對(duì)與所述用戶觸摸屏手勢(shì)關(guān)聯(lián)的所述用戶命令的查詢基于所識(shí)別的手勢(shì)模式。
5.根據(jù)權(quán)利要求2所述的方法，還包括: 基于所識(shí)別的所述用戶觸摸事件的觸摸類型，識(shí)別對(duì)與所述用戶觸摸屏手勢(shì)關(guān)聯(lián)的所述用戶命令的修改；以及 其中經(jīng)由所述處理器執(zhí)行所述用戶命令是基于根據(jù)所識(shí)別的觸摸類型對(duì)所述用戶命令的所述修改。
6.根據(jù)權(quán)利要求1所述的方法，其中所述用戶觸摸事件包括手指觸摸和觸控筆觸摸。
7.根據(jù)權(quán)利要求6所述的方法，其中所述用戶觸摸事件包括多手指觸摸和觸控筆觸摸。
8.—種多模態(tài)觸摸屏交互系統(tǒng),包括: 處理器；以及 存儲(chǔ)器，布置為與所述處理器通信，并且存儲(chǔ)處理器可發(fā)出的指令以: 從觸摸屏傳感器獲得包括關(guān)于觸摸屏上的用戶觸摸事件的信息的傳感器信號(hào)； 經(jīng)由所述處理器根據(jù)所述傳感器信號(hào)確定所述用戶觸摸事件的位置坐標(biāo)； 根據(jù)所述傳感器信號(hào)識(shí)別所述用戶觸摸事件的觸摸類型；以及 經(jīng)由所述處理器使用所述用戶觸摸事件的所述觸摸類型來確定用戶觸摸屏手勢(shì)。
9.根據(jù)權(quán)利要求8所述的系統(tǒng)，所述存儲(chǔ)器還存儲(chǔ)指令以: 針對(duì)與所述用戶觸摸屏手勢(shì)關(guān)聯(lián)的用戶命令而查詢存儲(chǔ)器；以及 經(jīng)由所述處理器執(zhí)行所述用戶命令。
10.根據(jù)權(quán)利要求9所述的系統(tǒng)，所述存儲(chǔ)器還存儲(chǔ)指令以: 針對(duì)預(yù)定時(shí)間窗口內(nèi)的在前用戶觸摸事件而查詢存儲(chǔ)器；以及 使用所述在前用戶觸摸事件和所述用戶觸摸屏手勢(shì)來識(shí)別手勢(shì)模式。
11.根據(jù)權(quán)利要求10所述的系統(tǒng)，其中針對(duì)與所述用戶觸摸屏手勢(shì)關(guān)聯(lián)的所述用戶命令的查詢基于所識(shí)別的手勢(shì)模式。
12.根據(jù)權(quán)利要求9所述的系統(tǒng)，所述存儲(chǔ)器還存儲(chǔ)指令以: 基于所識(shí)別的所述用戶觸摸事件的觸摸類型，識(shí)別對(duì)與所述用戶觸摸屏手勢(shì)關(guān)聯(lián)的所述用戶命令的修改；以及其中經(jīng)由所述處理器執(zhí)行所述用戶命令是基于根據(jù)所識(shí)別的觸摸類型對(duì)所述用戶命令的所述修改。
13.根據(jù)權(quán)利要求8所述的系統(tǒng)，其中所述用戶觸摸事件包括手指觸摸和觸控筆觸摸。
14.根據(jù)權(quán)利要求13所述的系統(tǒng)，其中所述用戶觸摸事件包括多手指觸摸和觸控筆觸摸。
15.一種處理器可讀有形介質(zhì)，存儲(chǔ)處理器可發(fā)出的多模態(tài)觸摸屏交互指令以: 從觸摸屏傳感器獲得包括關(guān)于觸摸屏上的用戶觸摸事件的信息的傳感器信號(hào)； 經(jīng)由所述處理器根據(jù)所述傳感器信號(hào)確定所述用戶觸摸事件的位置坐標(biāo)； 根據(jù)所述傳感器信號(hào)識(shí)別所述用戶觸摸事件的觸摸類型；以及 經(jīng)由所述處理器使用所述用戶觸摸事件的所述觸摸類型來確定用戶觸摸屏手勢(shì)。
16.根據(jù)權(quán)利要求15所述的介質(zhì)，還存儲(chǔ)指令以: 針對(duì)與所述用戶觸摸屏手勢(shì)關(guān)聯(lián)的用戶命令而查詢存儲(chǔ)器；以及 經(jīng)由所述處理器執(zhí)行所述用戶命令。
17.根據(jù)權(quán)利要求16所述的介質(zhì)，還存儲(chǔ)指令以: 針對(duì)預(yù)定時(shí)間窗口內(nèi)的在前用戶觸摸事件而查詢存儲(chǔ)器；以及 使用所述在前用戶觸摸事件和所述用戶觸摸屏手勢(shì)來識(shí)別手勢(shì)模式。`
18.根據(jù)權(quán)利要求17所述的介質(zhì)，其中針對(duì)與所述用戶觸摸屏手勢(shì)關(guān)聯(lián)的所述用戶命令的查詢基于所識(shí)別的手勢(shì)模式。
19.根據(jù)權(quán)利要求16所述的介質(zhì)，還存儲(chǔ)指令以: 基于所識(shí)別的所述用戶觸摸事件的觸摸類型，識(shí)別對(duì)與所述用戶觸摸屏手勢(shì)關(guān)聯(lián)的所述用戶命令的修改；以及 其中經(jīng)由所述處理器執(zhí)行所述用戶命令是基于根據(jù)所識(shí)別的觸摸類型對(duì)所述用戶命令的所述修改。
20.根據(jù)權(quán)利要求15所述的介質(zhì)，其中所述用戶觸摸事件包括手指觸摸和觸控筆觸摸。
21.根據(jù)權(quán)利要求20所述的介質(zhì)，其中所述用戶觸摸事件包括多手指觸摸和觸控筆觸摸。
【文檔編號(hào)】G06F3/045GK103534674SQ201280008070
【公開日】2014年1月22日 申請(qǐng)日期:2012年2月8日 優(yōu)先權(quán)日:2011年2月8日
【發(fā)明者】A·哈格蒂 申請(qǐng)人:海沃氏公司