用于多點(diǎn)觸摸系統(tǒng)的輸入分類的制作方法
【技術(shù)領(lǐng)域】
[0001]本公開(kāi)涉及對(duì)多點(diǎn)觸摸顯示設(shè)備上的輸入進(jìn)行分類。
[0002]背景
[0003]多點(diǎn)觸摸顯示設(shè)備通常采用觸摸屏顯示設(shè)備的諸多特性，但它們一般比傳統(tǒng)觸摸屏顯示設(shè)備更加復(fù)雜，因?yàn)樗鼈兡軌驒z測(cè)同一時(shí)刻在顯示區(qū)域的表面上、表面內(nèi)或表面附近內(nèi)的多個(gè)觸摸的存在和位置。具體來(lái)說(shuō)，多點(diǎn)輸入計(jì)算系統(tǒng)接收、識(shí)別同一時(shí)刻的多個(gè)輸入并根據(jù)該多個(gè)輸入采取行動(dòng)。由于多點(diǎn)輸入計(jì)算系統(tǒng)能夠接收、識(shí)別同一時(shí)刻的多個(gè)輸入并根據(jù)該多個(gè)輸入采取行動(dòng)，因此多點(diǎn)輸入計(jì)算系統(tǒng)可允許多個(gè)用戶在同一時(shí)刻與單個(gè)系統(tǒng)交互，從而允許多個(gè)用戶之間的協(xié)作。
[0004]像傳統(tǒng)的觸摸屏顯示設(shè)備一樣，一些多點(diǎn)觸摸顯示設(shè)備要求用戶用一根或多根手指、指示筆、和/或其它機(jī)構(gòu)物理地觸摸顯示區(qū)域的表面以便與多點(diǎn)觸摸顯示設(shè)備的表面接合，而另一些多點(diǎn)觸摸顯示設(shè)備能夠通過(guò)根據(jù)懸停在顯示區(qū)域的表面周圍或以其它方式處于顯示區(qū)域的表面附近來(lái)檢測(cè)該一根或多根手指、指示筆、和/或其它機(jī)構(gòu)已與多點(diǎn)觸摸顯示設(shè)備的表面接合來(lái)接收輸入，而無(wú)需輸入機(jī)構(gòu)實(shí)際地與觸摸屏顯示設(shè)備的表面進(jìn)行物理接觸。
[0005]概述
[0006]根據(jù)本說(shuō)明書中描述的主題的一個(gè)創(chuàng)新方面可以方法實(shí)施，方法包括以下動(dòng)作:接收描述與觸敏顯示器的第一系列接觸的第一接觸數(shù)據(jù)；接收描述與所述觸敏顯示器的第二系列接觸的第二接觸數(shù)據(jù)，所述第二系列接觸發(fā)生在所述第一系列接觸發(fā)生在其間的時(shí)間范圍上；將所述第一系列接觸分類為由用戶身體部位提供的一系列觸摸輸入；將所述第二系列接觸分類為由指示筆提供的一系列指示筆輸入；將所述一系列觸摸輸入所表示的運(yùn)動(dòng)和所述一系列指示筆輸入所表示的運(yùn)動(dòng)作比較；基于所述一系列觸摸輸入所表示的運(yùn)動(dòng)與所述一系列指示筆輸入所表示的運(yùn)動(dòng)的比較，確定所述一系列觸摸輸入所表示的運(yùn)動(dòng)與所述一系列指示筆輸入所表示的運(yùn)動(dòng)相關(guān)；以及基于確定所述一系列觸摸輸入所表示的運(yùn)動(dòng)與所述一系列指示筆輸入所表示的運(yùn)動(dòng)相關(guān)，將所述一系列觸摸輸入分類為所述一系列指示筆輸入附帶的指引輸入。
[0007]這些和其他實(shí)施例每個(gè)可選地包括以下特征中的一個(gè)或多個(gè)。動(dòng)作還包括基于將所述一系列觸摸輸入分類為所述一系列指示筆輸入附帶的指引輸入而忽略所述一系列觸摸輸入?；趯⑺鲆幌盗杏|摸輸入分類為所述一系列指示筆輸入附帶的指引輸入而忽略所述一系列觸摸輸入的動(dòng)作還包括維持所述觸摸顯示器上被所述一系列觸摸輸入中的至少一個(gè)所接觸的對(duì)象的狀態(tài)，而不考慮所述一系列觸摸輸入。方法還包括確定所述一系列觸摸輸入和所述一系列指示筆輸入接觸所述觸敏顯示器上的對(duì)象；基于確定所述一系列觸摸輸入和所述一系列指示筆輸入接觸所述觸敏顯示器上的對(duì)象，基于所述一系列指示筆輸入來(lái)改變所述對(duì)象，對(duì)所述對(duì)象的改變與所述對(duì)象的移動(dòng)不同；以及基于將所述一系列觸摸輸入分類為所述一系列指示筆輸入附帶的指引輸入:無(wú)視確定所述一系列觸摸輸入接觸所述觸敏顯示器上的對(duì)象；以及基于無(wú)視確定所述一系列觸摸輸入接觸所述觸敏顯示器上的對(duì)象，將所述對(duì)象維持在靜止位置而不移動(dòng)。
[0008]將所述一系列觸摸輸入所表示的運(yùn)動(dòng)和所述一系列指示筆輸入所表示的運(yùn)動(dòng)作比較的動(dòng)作進(jìn)一步包括確定在所述時(shí)間范圍上所述一系列觸摸輸入的第一路徑；確定在所述時(shí)間范圍上所述一系列指示筆輸入的第二路徑；以及將所述一系列觸摸輸入的所述第一路徑與所述一系列指示筆輸入的所述第二路徑作比較；確定所述一系列觸摸輸入所表示的運(yùn)動(dòng)與所述一系列指示筆輸入所表示的運(yùn)動(dòng)相關(guān)包括確定所述一系列觸摸輸入的所述第一路徑與所述一系列指示筆輸入的所述第二路徑相關(guān)。確定所述一系列觸摸輸入所表示的運(yùn)動(dòng)與所述一系列指示筆輸入所表示的運(yùn)動(dòng)相關(guān)的動(dòng)作進(jìn)一步包括確定所述一系列觸摸輸入的所述第一路徑與所述一系列指示筆輸入的所述第二路徑相關(guān)。
[0009]將所述一系列觸摸輸入的所述第一路徑與所述一系列指示筆輸入的所述第二路徑作比較的動(dòng)作進(jìn)一步包括比較在所述時(shí)間范圍上所述一系列觸摸輸入的所述第一路徑與所述一系列指示筆輸入的所述第二路徑之間的距離。確定所述一系列觸摸輸入的所述第一路徑與所述一系列指示筆輸入的所述第二路徑相關(guān)的動(dòng)作進(jìn)一步包括確定在所述時(shí)間范圍上所述一系列觸摸輸入的所述第一路徑與所述一系列指示筆輸入的所述第二路徑之間的所述距離保持基本相似。確定所述時(shí)間范圍上的所述一系列觸摸輸入的所述第一路徑的動(dòng)作進(jìn)一步包括對(duì)適應(yīng)所述一系列觸摸輸入的所述第一路徑進(jìn)行內(nèi)插。
[0010]動(dòng)作還包括確定所述一系列觸摸輸入與所述一系列指示筆輸入間隔小于閾值距離。將所述一系列觸摸輸入所表示的運(yùn)動(dòng)和所述一系列指示筆輸入所表示的運(yùn)動(dòng)作比較、確定所述一系列觸摸輸入所表示的運(yùn)動(dòng)是否與所述一系列指示筆輸入所表示的運(yùn)動(dòng)相關(guān)、以及將所述一系列觸摸輸入分類為所述一系列指示筆輸入附帶的指引輸入的動(dòng)作以確定所述一系列觸摸輸入與所述一系列指示筆輸入間隔小于閾值距離作為條件。
[0011]動(dòng)作還包括接收描述與所述觸敏顯示器的第三接觸的第三接觸數(shù)據(jù)，所述第三接觸發(fā)生在所述時(shí)間范圍之后比且與所述一系列指示筆輸入和所述一系列觸摸輸入不同；將所述第三接觸分類為由用戶身體部位提供的觸摸點(diǎn)；將所述第三接觸的位置與所述一系列觸摸輸入所表示的運(yùn)動(dòng)作比較；基于所述第三接觸的位置與所述一系列觸摸輸入所表示的運(yùn)動(dòng)的比較，確定所述第三接觸追隨所述一系列觸摸輸入所表示的運(yùn)動(dòng)；以及基于確定所述第三接觸追隨所述一系列觸摸輸入所表示的運(yùn)動(dòng)，將所述第三接觸分類為所述一系列指示筆輸入附帶的指引輸入。
[0012]動(dòng)作還包括接收描述與所述觸敏顯示器的第三接觸的第三接觸數(shù)據(jù)，所述第三接觸發(fā)生在所述時(shí)間范圍期間；將所述第三接觸分類為由用戶身體部位提供的觸摸點(diǎn)；確定所述第三接觸的位置與所述一系列觸摸輸入所表示的運(yùn)動(dòng)或所述一系列指示筆輸入所表示的運(yùn)動(dòng)不相關(guān)；基于確定所述第三接觸的位置與所述一系列觸摸輸入所表示的運(yùn)動(dòng)或所述一系列指示筆輸入所表示的運(yùn)動(dòng)不相關(guān)，將所述第三接觸的分類維持為用戶的身體部位提供的觸摸點(diǎn)；以及基于將所述一系列觸摸輸入分類為所述一系列指示筆輸入附帶的指引輸入，將所述第三接觸作為用戶輸入來(lái)響應(yīng)，同時(shí)忽略所述一系列觸摸輸入。
[0013]此方面的其他實(shí)施例包括被配置成執(zhí)行各方法的操作的相應(yīng)的系統(tǒng)、裝置和記錄在計(jì)算機(jī)存儲(chǔ)設(shè)備上的計(jì)算機(jī)程序。
[0014]附圖和下面的描述闡述了本說(shuō)明書中所描述的主題的一個(gè)或多個(gè)實(shí)施例的細(xì)節(jié)。從描述、附圖和權(quán)利要求書中，本主題的其他特征、方面和優(yōu)點(diǎn)將變得顯而易見(jiàn)。
【附圖說(shuō)明】
[0015]圖1是多點(diǎn)觸摸顯示設(shè)備上的輸入分類系統(tǒng)的總的系統(tǒng)示意圖。
[0016]圖2示出了通過(guò)多點(diǎn)觸摸顯示設(shè)備接收的示例輸入。
[0017]圖3是擱置手掌和手臂標(biāo)識(shí)器模塊的操作的示例的流程圖。
[0018]圖4是擱置手掌和手臂標(biāo)識(shí)器模塊的操作的示例的流程圖。
[0019]圖5是非故意接觸拒絕模塊的示例系統(tǒng)示意圖。
[0020]圖6是筆遮擋模塊的操作的示例的流程圖。
[0021]圖7示出示例被遮擋區(qū)域，其中相應(yīng)的接觸被標(biāo)記為非故意。
[0022]圖8是擱置身體部位接觸拒絕模塊的操作的示例的流程圖。
[0023]圖9示出示例擱置身體部位接觸，其中相應(yīng)的接觸被標(biāo)記為非故意。
[0024]圖10是手掌相鄰拒絕模塊的操作的示例的流程圖。
[0025]圖11示出示例手掌相鄰區(qū)域，其中相應(yīng)的接觸被標(biāo)記為非故意。
[0026]圖12是指引手指拒絕模塊的操作的示例的流程圖。
[0027]圖13A是狀態(tài)倒回過(guò)程的操作的概覽的示例的流程圖。
[0028]圖13B是狀態(tài)倒回過(guò)程的操作的概覽的示例的流程圖，其中接觸被重新分類為非故意接觸。
[0029]圖13C示出了被重新分類為非故意接觸的示例接觸以及所導(dǎo)致的系統(tǒng)狀態(tài)更新。
[0030]圖13D是狀態(tài)倒回過(guò)程的操作的概覽的示例的流程圖，其中接觸被重新分類為故意接觸。
[0031]圖13E示出了被重新分類為故意接觸的示例接觸以及所導(dǎo)致的系統(tǒng)狀態(tài)更新。
[0032]各附圖中的相同的附圖標(biāo)記和指定指示相同的元素。
[0033]詳細(xì)描述
[0034]多點(diǎn)觸摸顯示系統(tǒng)區(qū)分兩種類型的用戶輸入:(I)用戶有意的用來(lái)控制多點(diǎn)觸摸顯示系統(tǒng)的應(yīng)用的操作的用戶輸入或觸摸，其被成為“故意觸摸”;以及(2)用戶無(wú)意用來(lái)控制應(yīng)用的操作的用戶輸入或觸摸，其被成為“非故意觸摸”。例如，當(dāng)與指示筆書寫/繪畫應(yīng)用交互時(shí)，用戶在使用指示筆在多點(diǎn)觸摸顯示系統(tǒng)的觸敏表面上書寫或繪畫并且同時(shí)使用他的手指在表面上移動(dòng)和重新放置元素時(shí)，可將其手掌和前臂擱置在觸敏表面上。手指觸摸以及指示筆筆尖提供的輸入是故意觸摸，因?yàn)橛脩粝胍撌种钢匦露ㄎ豁?yè)面、該指示筆筆尖輸入控制指示筆書寫/繪畫應(yīng)用的操作以致使可見(jiàn)的線響應(yīng)于用戶以指示筆在觸敏表面上書寫或繪畫出現(xiàn)在多點(diǎn)觸摸顯示設(shè)備的顯示器上。相反，用戶的手掌和前臂提供的觸摸或輸入是故意指示筆筆尖輸入和手指尖附帶的，并且因此不是用戶想要移動(dòng)或重新定位頁(yè)面、或控制指示筆書寫/繪畫應(yīng)用的操作以致使可見(jiàn)的線隨用戶在觸敏表面上移動(dòng)手掌和前臂而出現(xiàn)。
[0035]以下描述的技術(shù)確定或推斷輸入或觸摸背后的用戶意圖，并由此允許應(yīng)用由多點(diǎn)顯示設(shè)備執(zhí)行以例如對(duì)故意觸摸或輸入作出響應(yīng)而忽略非故意觸摸或輸入。推斷輸入或觸摸背后的用戶意圖可包括區(qū)分?jǐn)R置的身體部位輸入和指點(diǎn)輸入。擱置的身體部位輸入是對(duì)應(yīng)于觸摸表面上的大的且不規(guī)則的、連續(xù)的接觸區(qū)域的輸入，這些輸入通常由擱置在觸敏表面上的相對(duì)較大的身體部位所導(dǎo)致(例如，擱置在觸敏表面上的肘、前臂或手掌)。相反，指點(diǎn)輸入是對(duì)應(yīng)于較小的并且更圓的或橢圓的、連續(xù)的接觸區(qū)域的輸入，這些輸入通常由接合觸敏表面的指點(diǎn)輸入機(jī)構(gòu)所導(dǎo)致，諸如指點(diǎn)手指尖或指示筆筆尖。擱置身體部位輸入可能是非故意觸摸，因?yàn)樗ǔ２皇怯脩粝胍|發(fā)或執(zhí)行對(duì)多點(diǎn)觸摸顯示設(shè)備上的應(yīng)用的控制。相反，指點(diǎn)輸入可以是非故意觸摸，或者可替代地是故意觸摸，取決于其特性和與其它輸入的關(guān)系。確定特定指點(diǎn)輸入是否是故意觸摸還是非故意觸摸可涉及由系統(tǒng)執(zhí)行的進(jìn)一步處理。
[0036]進(jìn)一步處理可包括例如執(zhí)行指示筆或筆遮擋分析、手掌鄰近分析、以及指引手指標(biāo)識(shí)分析中的一個(gè)或多個(gè)。指示筆或筆遮擋分析確定指點(diǎn)輸入是否可能是用戶在用指示筆書寫時(shí)與觸敏表面接合的用戶的書寫手的落下的手指的結(jié)果。被確定為可能是落下的手指的結(jié)果的指點(diǎn)輸入可能是非故意觸摸。
[0037]手指鄰近點(diǎn)分析確定指點(diǎn)輸入是否位于大的擱置身體部位輸入(例如，手掌輸入)的短距離(例如，四分之一英寸)內(nèi)。如果指點(diǎn)輸入位于該短距離內(nèi)，則指點(diǎn)輸入可能是非故意觸摸。
[0038]指引手指標(biāo)識(shí)分析確定指點(diǎn)輸入是否可能是指引手指觸摸觸敏表面的結(jié)果，用戶在使用例如指示筆來(lái)在觸敏表面上書寫或繪畫時(shí)被用指引手指來(lái)指引他或她的手。被確定為可能是指引手指觸摸觸摸表面的結(jié)果的指點(diǎn)輸入可能是非故意觸摸。
[0039]圖1是用于多點(diǎn)觸摸顯示系統(tǒng)的對(duì)故意接觸和非故意接觸進(jìn)行區(qū)分的示例觸摸分類系統(tǒng)100的框圖。觸摸分類系統(tǒng)100包括傳感器105，傳感器105包括由一組檢測(cè)點(diǎn)構(gòu)成的檢測(cè)網(wǎng)格110。傳感器105被配置成當(dāng)用戶使用一個(gè)或多個(gè)輸入機(jī)構(gòu)接合或接觸檢測(cè)網(wǎng)格110時(shí)檢測(cè)用戶輸入，并且隨后提供相應(yīng)的接合數(shù)據(jù)，該接合數(shù)據(jù)使得能夠標(biāo)識(shí)檢測(cè)網(wǎng)格110上的用戶輸入的位置。在一些實(shí)現(xiàn)中，檢測(cè)網(wǎng)格110被放置在多點(diǎn)觸摸顯示設(shè)備的顯示器上以便由此形成觸摸屏系統(tǒng)。在其它實(shí)現(xiàn)中，檢測(cè)網(wǎng)格110與顯示器分開(kāi)以便由此形成觸摸板系統(tǒng)。觸摸分類系統(tǒng)100還包括指示筆檢測(cè)器115，指示筆檢測(cè)器115被配置成獨(dú)自或與檢測(cè)網(wǎng)格110或一不同的獨(dú)立第二檢測(cè)網(wǎng)格一同來(lái)檢測(cè)用戶指示筆輸入并且產(chǎn)生相應(yīng)的指示筆接合數(shù)據(jù)，該指示筆接合數(shù)據(jù)使得能夠標(biāo)識(shí)指示筆筆尖在檢測(cè)網(wǎng)格110上的位置。系統(tǒng)100還包括用于處理由傳感器105和/或指示筆檢測(cè)器115生成的接合數(shù)據(jù)的各種模塊，這些模塊可由例如一個(gè)或多個(gè)處理器或集成在其中或與其分開(kāi)但與傳感器105和/或指示筆檢測(cè)器115通信的電路來(lái)實(shí)現(xiàn)。
[0040]具體地并且如以下更詳細(xì)描述的，系統(tǒng)100包括團(tuán)塊標(biāo)識(shí)器120，其被配置成基于由傳感器105產(chǎn)生的接合數(shù)據(jù)來(lái)標(biāo)識(shí)團(tuán)塊。團(tuán)塊是檢測(cè)網(wǎng)格110上的連續(xù)用戶接觸(或接合)區(qū)域。在一些實(shí)現(xiàn)中，團(tuán)塊可由標(biāo)識(shí)檢測(cè)網(wǎng)格110的檢測(cè)點(diǎn)的子集的數(shù)據(jù)來(lái)表示，其中子集中的每個(gè)檢測(cè)點(diǎn)是與用戶輸入機(jī)構(gòu)相接觸(或接合)(即用戶接觸)并且位于網(wǎng)格110中鄰近子集中的另一這類被接觸的點(diǎn)(即連續(xù))的點(diǎn)。系統(tǒng)100包括擱置手掌和手臂標(biāo)識(shí)器125以及接觸檢測(cè)模塊130，擱置手掌和手臂標(biāo)識(shí)器125被配置成確定團(tuán)塊標(biāo)識(shí)器120所標(biāo)識(shí)的團(tuán)塊中的哪些可能對(duì)應(yīng)于擱置的身體部位輸入，接觸檢測(cè)模塊130被配置成標(biāo)識(shí)團(tuán)塊標(biāo)識(shí)器120所標(biāo)識(shí)的團(tuán)塊中的哪些可能對(duì)應(yīng)于指點(diǎn)輸入。非故意接觸拒絕模塊135被配置成接收來(lái)自指示筆檢測(cè)器115、擱置手掌和手臂標(biāo)識(shí)器125和觸摸檢測(cè)模塊130的輸入，并且處理該輸入以基于各種不同分析來(lái)提供指示團(tuán)塊對(duì)應(yīng)于故意觸摸(相對(duì)于非故意觸摸)的可能性的估計(jì)。
[0041]觸摸點(diǎn)過(guò)濾器140被配置成從非故意接觸拒絕模塊135接收估計(jì)數(shù)據(jù)并且可處理該估計(jì)數(shù)據(jù)來(lái)確定特定團(tuán)塊對(duì)應(yīng)于非故意觸摸或者相反地對(duì)應(yīng)于故意觸摸的綜合可能性。在一些實(shí)現(xiàn)中，觸摸過(guò)濾器140可處理估計(jì)數(shù)據(jù)來(lái)作出關(guān)于給定團(tuán)塊是否對(duì)應(yīng)于故意觸摸的二元決策(例如，通過(guò)將從模塊135接收的團(tuán)塊的一個(gè)或多個(gè)置信度估計(jì)或分?jǐn)?shù)與預(yù)定閾值進(jìn)行比較并且如果該一個(gè)或多個(gè)置信度分?jǐn)?shù)超過(guò)該閾值則得出該團(tuán)塊對(duì)應(yīng)于故意觸摸的結(jié)論)。觸摸過(guò)濾器140可隨后僅發(fā)送與被確定為對(duì)應(yīng)于故意觸摸的那些團(tuán)塊相關(guān)聯(lián)的數(shù)據(jù)給多點(diǎn)觸摸顯示系統(tǒng)的應(yīng)用供進(jìn)一步處理。
[0042]在一些實(shí)現(xiàn)中，觸摸過(guò)濾器140可提供針對(duì)所有被檢測(cè)的團(tuán)塊的數(shù)據(jù)給應(yīng)用并且可為這一數(shù)據(jù)補(bǔ)充附加數(shù)據(jù)，該附加數(shù)據(jù)標(biāo)識(shí)哪些團(tuán)塊已被觸摸過(guò)濾器140確定為對(duì)應(yīng)于故意觸摸而哪些團(tuán)塊已被觸摸過(guò)濾器140確定為對(duì)應(yīng)于非故意觸摸。附加地或替代地，觸摸過(guò)濾器140可提供針對(duì)所有被檢測(cè)的團(tuán)塊的數(shù)據(jù)給應(yīng)用并且提供與每個(gè)團(tuán)塊相關(guān)聯(lián)的一個(gè)或多個(gè)附加概率值，該概率值指示團(tuán)塊對(duì)應(yīng)于故意觸摸的可能性(例如，O到I之間的值，其中值為I指示團(tuán)塊肯定對(duì)應(yīng)于故意觸摸而值為O指示團(tuán)塊肯定對(duì)應(yīng)于非故意觸摸)。應(yīng)用可隨后處理這一附加數(shù)據(jù)以針對(duì)哪些團(tuán)塊對(duì)應(yīng)于故意或者非故意觸摸并且如何響應(yīng)于這些觸摸作出其自己的判斷。
[0043]系統(tǒng)100的每一個(gè)組件都將在下文中更詳細(xì)地描述。如之前提到的，傳感器105可通過(guò)用戶接觸、觸摸、或更具體地接合檢測(cè)網(wǎng)格110來(lái)接收來(lái)自用戶的輸入。
[0044]檢測(cè)網(wǎng)格110可由分布在二維感測(cè)區(qū)域上的檢測(cè)點(diǎn)陣列構(gòu)成。在一些實(shí)現(xiàn)中，檢測(cè)點(diǎn)均勻地二維分布在感測(cè)區(qū)域上。在這種情況下，檢測(cè)網(wǎng)格110可被成形為正方形或長(zhǎng)方形，取決于水平檢測(cè)