專利名稱：一種多點(diǎn)觸摸跟蹤識(shí)別方法及其系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及觸摸控制技術(shù)領(lǐng)域，尤其涉及一種多點(diǎn)觸摸跟蹤識(shí)別方法及其系統(tǒng)。
背景技術(shù)：
隨著觸摸控制產(chǎn)品的廣泛應(yīng)用，觸摸控制技術(shù)已成為當(dāng)今人機(jī)交互中的熱點(diǎn)技術(shù)。許多產(chǎn)品的控制都逐步被觸摸控制技術(shù)所代替，同時(shí)觸摸控制技術(shù)也在不斷挑戰(zhàn)新的應(yīng)用環(huán)境和領(lǐng)域。在基于光學(xué)圖像的觸摸控制應(yīng)用環(huán)境中，通常用戶希望機(jī)器能支持更多觸摸點(diǎn)操作以滿足不同應(yīng)用需求，同時(shí)也希望機(jī)器能更加智能地理解用戶意圖，進(jìn)而為用戶提供更加自然、智能的服務(wù)。在目前的觸摸控制系統(tǒng)中，機(jī)器通過分析用戶在觸摸屏上移動(dòng)的軌跡來判斷用戶欲執(zhí)行的操作，所以機(jī)器正確地?fù)渥?、跟蹤到觸控的軌跡就非常重要。通常，只有單點(diǎn)在觸摸屏上移動(dòng)時(shí)，機(jī)器通過關(guān)聯(lián)光學(xué)圖像前后幀之間的亮點(diǎn)就能得到正確觸摸點(diǎn)移動(dòng)的軌跡，但隨著觸摸點(diǎn)數(shù)增加，該方法就不能識(shí)別前后幀的多個(gè)觸摸點(diǎn)之間的關(guān)系，無法分別得到各觸摸點(diǎn)的正確軌跡，所以需要開發(fā)更加魯棒、準(zhǔn)確的多點(diǎn)跟蹤識(shí)別方法，為機(jī)器智能決策提供正確的軌跡。在目前的多點(diǎn)跟蹤識(shí)別方法中，主要采用兩種方法一是針對(duì)光學(xué)圖像前一幀中所有觸摸點(diǎn)，在后一幀中搜索歐式距離最為接近的觸摸點(diǎn)進(jìn)行關(guān)聯(lián)。該方法簡(jiǎn)單、實(shí)時(shí)性非常好，且目前該算法有多種改進(jìn)版本，但是該方法仍無法避免歐式距離最近即為最優(yōu)關(guān)聯(lián)這一錯(cuò)誤認(rèn)識(shí)的本質(zhì)缺陷；另一方法是采用K近鄰算法，該方法為前一幀中每個(gè)觸摸點(diǎn)在后一幀中搜索K個(gè)歐式距離最小的觸摸點(diǎn)，并依距離值進(jìn)行排序，然后對(duì)前一幀中每一個(gè)觸摸點(diǎn)關(guān)聯(lián)距離最小的觸摸點(diǎn)，若后一幀中某觸摸點(diǎn)處于前一幀中多個(gè)觸摸點(diǎn)的K近鄰中，則采用“最小距離通吃”的思想優(yōu)先匹配，該算法實(shí)時(shí)性很好，跟蹤精度較前者好，但仍是一種局部最優(yōu)方法，沒有從整體上考慮最優(yōu)關(guān)聯(lián)，即仍沒有從全局角度給出評(píng)判當(dāng)前關(guān)聯(lián)方式是否為最優(yōu)。

發(fā)明內(nèi)容
針對(duì)以上現(xiàn)有技術(shù)多點(diǎn)觸摸跟蹤的缺點(diǎn)，本發(fā)明要解決的技術(shù)問題在于提供一種從全局角度分析的多點(diǎn)觸摸跟蹤識(shí)別方法。給出了全局評(píng)判方式，可判斷當(dāng)前關(guān)聯(lián)是否為最優(yōu)關(guān)聯(lián)。一種多點(diǎn)觸摸跟蹤識(shí)別方法，包括獲取相鄰兩幀圖像中的觸摸點(diǎn)位置；根據(jù)所述觸摸點(diǎn)位置，計(jì)算前后兩幀圖像的各個(gè)所述觸摸點(diǎn)之間的距離；按照所述觸摸點(diǎn)距離從小到大的順序，逐次搜索前后兩幀圖像的觸摸點(diǎn)的關(guān)聯(lián)方式；分別計(jì)算每次搜索到的關(guān)聯(lián)方式的觸摸點(diǎn)離散度，直到后一關(guān)聯(lián)方式的觸摸點(diǎn)離散度首次大于前一關(guān)聯(lián)方式的觸摸點(diǎn)離散度，則判斷所述前一關(guān)聯(lián)方式為最優(yōu)關(guān)聯(lián)方式。
本發(fā)明要解決的技術(shù)問題還在于提供一種從全局角度分析的多點(diǎn)觸摸跟蹤識(shí)別系統(tǒng)。一種多點(diǎn)觸摸跟蹤識(shí)別系統(tǒng)，包括用于獲取相鄰兩幀圖像中的觸摸點(diǎn)位置的觸摸點(diǎn)檢測(cè)模塊；用于根據(jù)所述觸摸點(diǎn)位置，計(jì)算前后兩幀圖像的各個(gè)所述觸摸點(diǎn)之間距離的距離計(jì)算模塊；用于按照所述觸摸點(diǎn)距離從小到大的順序，逐次搜索前后兩幀圖像的觸摸點(diǎn)的關(guān)聯(lián)方式的搜索模塊；用于分別計(jì)算每次搜索到的關(guān)聯(lián)方式的觸摸點(diǎn)離散度，直到后一關(guān)聯(lián)方式的觸摸點(diǎn)離散度首次大于前一關(guān)聯(lián)方式的觸摸點(diǎn)離散度時(shí)，判斷所述前一關(guān)聯(lián)方式為最優(yōu)關(guān)聯(lián)方式的離散度計(jì)算模塊。與現(xiàn)有技術(shù)相比較，本發(fā)明的多點(diǎn)觸摸跟蹤識(shí)別方法及其系統(tǒng)，通過計(jì)算每個(gè)所述關(guān)聯(lián)方式中所有互相關(guān)聯(lián)的觸摸點(diǎn)的最小觸摸點(diǎn)距離，以及每個(gè)所述關(guān)聯(lián)方式下的觸摸點(diǎn)離散度，保證了前后幀中觸摸點(diǎn)關(guān)聯(lián)的準(zhǔn)確性和魯棒性。本發(fā)明采用觸摸點(diǎn)距離最小的思想保證相鄰兩幀中觸摸點(diǎn)關(guān)聯(lián)的魯棒性，采用關(guān)聯(lián)離散度的測(cè)度準(zhǔn)則保證相鄰兩幀間觸摸點(diǎn)關(guān)聯(lián)的準(zhǔn)確性，該準(zhǔn)則進(jìn)一步從數(shù)學(xué)上驗(yàn)證了觸摸點(diǎn)距離最小這一關(guān)聯(lián)思想的正確性。本發(fā)明的多點(diǎn)觸摸跟蹤識(shí)別方法及其系統(tǒng)能實(shí)時(shí)、準(zhǔn)確和穩(wěn)定地運(yùn)行在目前的各種觸摸交互設(shè)備中。


圖1是本發(fā)明多點(diǎn)觸摸跟蹤識(shí)別方法的流程圖2是連續(xù)兩幀圖像的觸摸點(diǎn)的示意圖3是連續(xù)兩幀圖像的觸摸點(diǎn)表示在同一平面內(nèi)的示意圖4、圖5是本發(fā)明中建立的搜索樹的結(jié)構(gòu)示意圖6是經(jīng)過篩選后的搜索樹的結(jié)構(gòu)示意圖7是現(xiàn)有技術(shù)一種觸摸屏的結(jié)構(gòu)示意圖8是實(shí)施例中連續(xù)兩幀中的觸摸點(diǎn)示意圖9是實(shí)施例中連續(xù)兩幀圖像的觸摸點(diǎn)表示在同一平面內(nèi)的示意圖10是實(shí)施例中建立的搜索樹的結(jié)構(gòu)示意圖11是實(shí)施例中經(jīng)過篩選后的搜索樹的結(jié)構(gòu)示意圖12是實(shí)施例中第一次搜索結(jié)果的關(guān)聯(lián)方式的示意圖13是實(shí)施例中第二次搜索結(jié)果的關(guān)聯(lián)方式的示意圖14是實(shí)施例中的最優(yōu)關(guān)聯(lián)方式的示意圖15是本發(fā)明多點(diǎn)觸摸跟蹤識(shí)別系統(tǒng)的結(jié)構(gòu)示意圖16是本發(fā)明多點(diǎn)觸摸跟蹤識(shí)別系統(tǒng)一種優(yōu)選實(shí)施方式的結(jié)構(gòu)示意圖17是本發(fā)明多點(diǎn)觸摸跟蹤識(shí)別系統(tǒng)另一種優(yōu)選實(shí)施方式的結(jié)構(gòu)示意圖
具體實(shí)施例方式
請(qǐng)參閱圖1，圖1是本發(fā)明多點(diǎn)觸摸跟蹤識(shí)別方法的流程圖。
所述多點(diǎn)觸摸跟蹤識(shí)別方法包括以下步驟步驟S101，分別獲取相鄰兩幀圖像中的觸摸點(diǎn)位置；首先可檢測(cè)連續(xù)相鄰的兩幀中觸摸點(diǎn)個(gè)數(shù)，例如利用圖像檢測(cè)技術(shù)檢測(cè)，以及其位置，每一觸摸點(diǎn)稱為一節(jié)點(diǎn)，設(shè)連續(xù)兩幀表示為Ft與Ft+1，設(shè)Ft中有N1個(gè)節(jié)點(diǎn)，F(xiàn)t+1幀中有N2個(gè)節(jié)點(diǎn)，且N1 >隊(duì)，如圖2所示。圖3則是連續(xù)兩幀的觸摸點(diǎn)表示在同一平面內(nèi)的示意圖。步驟S102，根據(jù)所述觸摸點(diǎn)位置，計(jì)算前后兩幀圖像的各個(gè)所述觸摸點(diǎn)之間的距 1 ；在本步驟中，分別計(jì)算第一幀圖像的各個(gè)觸摸點(diǎn)和第二幀圖像的各個(gè)觸摸點(diǎn)之間的距離。如圖3所示，分別計(jì)算觸摸點(diǎn)1、2、3、4到觸摸點(diǎn)5、6和7的距離。在一個(gè)優(yōu)選實(shí)施方式中，為方便分析搜索和跟蹤識(shí)別，在本步驟中，進(jìn)一步執(zhí)行以下步驟分別以兩幀圖像中的各個(gè)觸摸點(diǎn)為基礎(chǔ)構(gòu)造兩層的搜索樹，將所述搜索樹第一層的各個(gè)觸摸點(diǎn)與第二層的各個(gè)觸摸點(diǎn)之間設(shè)為實(shí)關(guān)聯(lián)。則計(jì)算前后兩幀圖像的各個(gè)所述觸摸點(diǎn)之間的距離亦即計(jì)算所述搜索樹中的各個(gè)實(shí)關(guān)聯(lián)的距離。所述關(guān)聯(lián)即為兩幀圖像之間的觸摸點(diǎn)跟蹤識(shí)別的對(duì)應(yīng)關(guān)系，例如，在圖1中，第一幀中的觸摸點(diǎn)1可能在第二幀中移動(dòng)到觸摸點(diǎn)5、6或者7的位置，而觸摸點(diǎn)2，3和4也有可能移動(dòng)到觸摸點(diǎn)5、6或者7的位置。因此，分別將所述第一幀中的觸摸點(diǎn)與第二幀中的各個(gè)觸摸點(diǎn)進(jìn)行實(shí)關(guān)聯(lián)，標(biāo)記其可能存在對(duì)應(yīng)關(guān)系。作為一種優(yōu)選實(shí)施方式，因?yàn)閮蓭瑘D像中的觸摸點(diǎn)數(shù)不一定相同，因此，為了讓所有的關(guān)聯(lián)采用相同的數(shù)據(jù)結(jié)構(gòu)，方便計(jì)算，在構(gòu)造所述搜索樹時(shí)，進(jìn)一步在所述搜索樹的第二層中設(shè)置與第一層的觸摸點(diǎn)一一對(duì)應(yīng)的虛節(jié)點(diǎn)，并設(shè)所述虛節(jié)點(diǎn)與第一層的觸摸點(diǎn)的距離為0，將各個(gè)所述虛節(jié)點(diǎn)與所述第一層的各個(gè)觸摸點(diǎn)之間設(shè)為虛關(guān)聯(lián)；此時(shí)，如果判斷所述搜索樹的兩層之間只有虛關(guān)聯(lián)，則代表所述搜索樹的其中一層沒有觸摸點(diǎn)，因此可以提前結(jié)束多點(diǎn)觸摸跟蹤識(shí)別的操作。通過設(shè)置虛節(jié)點(diǎn)可以讓所有的關(guān)聯(lián)采用相同的數(shù)據(jù)結(jié)構(gòu)。如圖4、圖5所示。假設(shè)第一層中的某節(jié)點(diǎn)(即觸摸點(diǎn))a在其作用范圍中存在可實(shí)關(guān)聯(lián)的第二層節(jié)點(diǎn)b，但節(jié)點(diǎn)b優(yōu)先被第一層中其它節(jié)點(diǎn)c關(guān)聯(lián)，在此情況下，節(jié)點(diǎn)a不能與節(jié)點(diǎn)b進(jìn)行關(guān)聯(lián)，若此時(shí)節(jié)點(diǎn)a的作用范圍中不存在其它可實(shí)關(guān)聯(lián)的第二層節(jié)點(diǎn)，則節(jié)點(diǎn)a應(yīng)不與任何第二層節(jié)點(diǎn)實(shí)關(guān)聯(lián)。所以，在這里通過虛節(jié)點(diǎn)設(shè)置一虛關(guān)聯(lián)，且虛關(guān)聯(lián)的關(guān)聯(lián)距離設(shè)為0。再進(jìn)一步地，因?yàn)樾枰谒阉鳂涞牡诙又性O(shè)置所述虛節(jié)點(diǎn)，為減少運(yùn)算的數(shù)據(jù)量，在構(gòu)造所述搜索樹時(shí)，首先選取相鄰兩幀圖像中觸摸點(diǎn)數(shù)較多的為第一層，如圖4所示；然后，以另一幀(即觸摸點(diǎn)數(shù)較少的一幀)為第二層進(jìn)一步構(gòu)造所述搜索樹，如圖5所示。這樣在增加虛節(jié)點(diǎn)時(shí)，只在觸摸點(diǎn)數(shù)較少的一層中增加，所述搜索樹兩層之間的總的關(guān)聯(lián)數(shù)量較少，因此可以減少運(yùn)算的數(shù)據(jù)量。作為另一種優(yōu)選實(shí)施方式，為進(jìn)一步減少運(yùn)算的數(shù)據(jù)量，在對(duì)所述搜索樹第一層的各個(gè)觸摸點(diǎn)與第二層的各個(gè)觸摸點(diǎn)之間進(jìn)行實(shí)關(guān)聯(lián)之后，可進(jìn)一步執(zhí)行以下步驟分別將所述搜索樹第一層與第二層的之間的各個(gè)實(shí)關(guān)聯(lián)的距離與預(yù)設(shè)的距離閾值比較，根據(jù)比較結(jié)果對(duì)各個(gè)所述實(shí)關(guān)聯(lián)進(jìn)行篩選。
具體地，所述距離閾值可以包括最大距離閾值；則，根據(jù)比較結(jié)果對(duì)各個(gè)所述實(shí)關(guān)聯(lián)進(jìn)行篩選的步驟包括如果判斷所述實(shí)關(guān)聯(lián)的距離值小于所述最大距離閾值，則判斷對(duì)應(yīng)的兩個(gè)觸摸點(diǎn)之間的實(shí)關(guān)聯(lián)合法；如果判斷所述實(shí)關(guān)聯(lián)的距離值大于所述最大距離閾值，則判斷對(duì)應(yīng)的兩個(gè)觸摸點(diǎn)之間的實(shí)關(guān)聯(lián)不合法；經(jīng)過篩選后的搜索樹的結(jié)構(gòu)如圖6所示。一旦某個(gè)關(guān)聯(lián)方式中包括有上述被判斷為不合法的實(shí)關(guān)聯(lián)，則所述關(guān)聯(lián)方式也被排除，不需要再考慮，這樣就能夠進(jìn)一步減少分析的關(guān)聯(lián)方式的數(shù)量，無需分析所有的關(guān)聯(lián)方式，加快了跟蹤定位的速度。進(jìn)一步地，所述距離閾值還可以包括最小距離閾值；則，根據(jù)比較結(jié)果對(duì)各個(gè)所述實(shí)關(guān)聯(lián)進(jìn)行篩選的步驟還包括如果判斷所述實(shí)關(guān)聯(lián)的距離值小于所述最小距離閾值，則進(jìn)一步將對(duì)應(yīng)的兩個(gè)觸摸點(diǎn)之間的實(shí)關(guān)聯(lián)劃分為最優(yōu)實(shí)關(guān)聯(lián)?？梢哉J(rèn)為，當(dāng)分屬兩層的兩個(gè)觸摸點(diǎn)之間的距離很小(小于所述最小距離閾值) 時(shí)，可以直接將兩個(gè)觸摸點(diǎn)判斷為同一個(gè)觸摸物在前后兩幀圖像中的觸摸點(diǎn)，因此判斷其為最優(yōu)實(shí)關(guān)聯(lián)，所述最優(yōu)實(shí)關(guān)聯(lián)即為肯定會(huì)出現(xiàn)在最優(yōu)關(guān)聯(lián)方式中的實(shí)關(guān)聯(lián)。步驟S103，按照所述觸摸點(diǎn)距離從小到大的順序，逐次搜索前后兩幀圖像的觸摸點(diǎn)的關(guān)聯(lián)方式；前后兩幀圖像的各個(gè)所述觸摸點(diǎn)之間的距離即是上述步驟中建立的所述搜索樹的兩層之間的實(shí)關(guān)聯(lián)的距離。各種所述關(guān)聯(lián)方式由各個(gè)所述實(shí)關(guān)聯(lián)按照各種可能的方式互相匹配組合而成。因?yàn)椋瑑蓭瑘D像中的觸摸點(diǎn)數(shù)不一定相同，例如第一幀中有四個(gè)觸摸點(diǎn)，而在第二幀中可能只有三個(gè)觸摸點(diǎn)，因此，搜索前后兩幀圖像的觸摸點(diǎn)的關(guān)聯(lián)方式時(shí)，應(yīng)該按照前后兩幀圖像的觸摸點(diǎn)數(shù)進(jìn)行適當(dāng)搜索。為此，在本實(shí)施方式中，首先可按照各個(gè)所述實(shí)關(guān)聯(lián)的距離從小到大的順序，設(shè)定各個(gè)關(guān)聯(lián)方式的第一個(gè)實(shí)關(guān)聯(lián)。然后按照以下搜索條件，搜索各個(gè)所述關(guān)聯(lián)方式包含的其他實(shí)關(guān)聯(lián)1.在每一關(guān)聯(lián)方式下搜索的后一實(shí)關(guān)聯(lián)的距離大于前一實(shí)關(guān)聯(lián)的距離；2.在每一關(guān)聯(lián)方式中，一個(gè)觸摸點(diǎn)只對(duì)應(yīng)一個(gè)實(shí)關(guān)聯(lián)；3.每一所述關(guān)聯(lián)方式所包含的實(shí)關(guān)聯(lián)個(gè)數(shù)都不超過前后兩幀的觸摸點(diǎn)個(gè)數(shù)中最小的一個(gè)。根據(jù)每一關(guān)聯(lián)方式的第一個(gè)實(shí)關(guān)聯(lián)，以及上述搜索條件，搜索各個(gè)所述關(guān)聯(lián)方式包含的其他實(shí)關(guān)聯(lián)，將所述第一個(gè)實(shí)關(guān)聯(lián)和其他實(shí)關(guān)聯(lián)組合成所述觸摸點(diǎn)的一種關(guān)聯(lián)方式。分別將各個(gè)所述實(shí)關(guān)聯(lián)以不同的方式組合，因此， 以這種方式可以搜索出所有匹配的關(guān)聯(lián)方式。搜索每一關(guān)聯(lián)方式的具體方法為首先按照各個(gè)所述實(shí)關(guān)聯(lián)的距離從小到大的順序依次設(shè)定各個(gè)關(guān)聯(lián)方式的第一個(gè)實(shí)關(guān)聯(lián)；然后再按照各個(gè)所述實(shí)關(guān)聯(lián)的距離由小到大的順序，依次搜索每一所述關(guān)聯(lián)方式的下一個(gè)實(shí)關(guān)聯(lián)；并判斷搜索到的所述實(shí)關(guān)聯(lián)的觸摸點(diǎn)是否已經(jīng)與其他觸摸點(diǎn)關(guān)聯(lián)，如果是，則放棄搜索到的實(shí)關(guān)聯(lián)；否則，保存對(duì)應(yīng)的實(shí)關(guān)聯(lián)；
從搜索每一所述關(guān)聯(lián)方式的第一個(gè)實(shí)關(guān)聯(lián)開始，判斷搜索到的實(shí)關(guān)聯(lián)個(gè)數(shù)是否等于前后兩幀的觸摸點(diǎn)個(gè)數(shù)中最小的一個(gè)，是則停止搜索，保存對(duì)應(yīng)的關(guān)聯(lián)方式；否則，繼續(xù)搜索所述關(guān)聯(lián)方式的下一實(shí)關(guān)聯(lián)。在本發(fā)明中，每搜索出一個(gè)關(guān)聯(lián)方式，就執(zhí)行一次步驟S104，計(jì)算所述關(guān)聯(lián)方式對(duì)應(yīng)的觸摸點(diǎn)離散度，根據(jù)所述觸摸點(diǎn)離散度判斷是否得到最優(yōu)關(guān)聯(lián)方式。如果判斷獲得最優(yōu)關(guān)聯(lián)方式，則無需繼續(xù)計(jì)算所有匹配的關(guān)聯(lián)方式。由于兩幀圖像中的觸摸點(diǎn)數(shù)不一定相同，在每種匹配的關(guān)聯(lián)方式中，當(dāng)確定所述關(guān)聯(lián)方式中的所有實(shí)關(guān)聯(lián)之后，將不涉及實(shí)關(guān)聯(lián)的其余觸摸點(diǎn)都與虛節(jié)點(diǎn)設(shè)為虛關(guān)聯(lián)。對(duì)應(yīng)虛關(guān)聯(lián)的觸摸點(diǎn)為后一幀圖像新增或者減少的觸摸點(diǎn)。作為一種優(yōu)選實(shí)施方式，如果在步驟S102中設(shè)定所述最小距離閾值對(duì)各個(gè)實(shí)關(guān)聯(lián)進(jìn)行篩選，則在本步驟中，可采用以下方式將篩選結(jié)果中包含的實(shí)關(guān)聯(lián)組合成所有匹配的關(guān)聯(lián)方式如果沒有搜索到所述最優(yōu)實(shí)關(guān)聯(lián)，則將各個(gè)合法的實(shí)關(guān)聯(lián)互相匹配，搜索出前后兩幀圖像的觸摸點(diǎn)的各種關(guān)聯(lián)方式；如果搜索到所述最優(yōu)實(shí)關(guān)聯(lián)，則將所述最優(yōu)實(shí)關(guān)聯(lián)與其余合法的實(shí)關(guān)聯(lián)互相匹配，搜索出前后兩幀圖像的觸摸點(diǎn)的各種關(guān)聯(lián)方式。上述步驟可以進(jìn)一步對(duì)兩幀圖像中的觸摸點(diǎn)的關(guān)聯(lián)方式組合進(jìn)行篩選。通過篩選可以減少分析的匹配的關(guān)聯(lián)方式的數(shù)量，縮小跟蹤搜索范圍，加快處理速度。步驟S104，分別計(jì)算每次搜索到的關(guān)聯(lián)方式的觸摸點(diǎn)離散度，直到后一關(guān)聯(lián)方式的觸摸點(diǎn)離散度首次大于前一關(guān)聯(lián)方式的觸摸點(diǎn)離散度，則判斷所述前一關(guān)聯(lián)方式為最優(yōu)關(guān)聯(lián)方式。所述最優(yōu)關(guān)聯(lián)方式即為本發(fā)明多點(diǎn)觸摸跟蹤識(shí)別系統(tǒng)的跟蹤識(shí)別結(jié)果，亦即為兩幀圖像之間的觸摸點(diǎn)跟蹤識(shí)別確認(rèn)的最終的對(duì)應(yīng)關(guān)系，可根據(jù)所述最優(yōu)關(guān)聯(lián)方式得到觸摸點(diǎn)的移動(dòng)方式，增加或者減少觸摸點(diǎn)，從而判斷用戶的觸摸操作，例如觸摸點(diǎn)滑動(dòng)，在新的觸摸位置進(jìn)行觸摸操作等，從而可以執(zhí)行各種相關(guān)的觸摸控制操作。所述觸摸點(diǎn)離散度用于表征每種關(guān)聯(lián)方式下，各個(gè)觸摸點(diǎn)之間的位置是否集中， 或者是平均距離的大小。在本實(shí)施方式中，將每個(gè)所述關(guān)聯(lián)方式的觸摸點(diǎn)離散度按照以下公式定義為
1 NP^-Yidl-Ciave kf
7 V i=\
1 N其中，d·. =—Σ<·
7V i=\dave_k為Cli平均值，N為所述關(guān)聯(lián)方式中實(shí)關(guān)聯(lián)的個(gè)數(shù)，Cli為所述關(guān)聯(lián)方式的中前后兩幀的互相關(guān)聯(lián)的觸摸點(diǎn)的距離。由于每次搜索均按照所述觸摸點(diǎn)距離從小到大的順序設(shè)定對(duì)應(yīng)關(guān)聯(lián)方式的第一個(gè)實(shí)關(guān)聯(lián)，亦即，后一次搜索的關(guān)聯(lián)方式的第一個(gè)實(shí)關(guān)聯(lián)的距離大于前一次搜索的關(guān)聯(lián)方式的第一個(gè)實(shí)關(guān)聯(lián)的距離；而在單獨(dú)一個(gè)關(guān)聯(lián)方式中，在確定所述第一個(gè)實(shí)關(guān)聯(lián)之后，之后搜索的每個(gè)實(shí)關(guān)聯(lián)都大于前一個(gè)實(shí)關(guān)聯(lián)。因此，如果本次關(guān)聯(lián)方式的觸摸點(diǎn)離散度小于前一關(guān)聯(lián)方式的觸摸點(diǎn)離散度，則表明還未找到最優(yōu)關(guān)聯(lián)方式，需繼續(xù)搜索，亦即繼續(xù)根據(jù)觸摸點(diǎn)的距離從小到大的順序，繼續(xù)搜索并計(jì)算下一關(guān)聯(lián)方式的觸摸點(diǎn)離散度，并與其前一關(guān)聯(lián)方式的觸摸點(diǎn)離散度比較； 如果后一關(guān)聯(lián)方式的觸摸點(diǎn)離散度首次大于前一關(guān)聯(lián)方式的觸摸點(diǎn)離散度，則判斷所述前一關(guān)聯(lián)方式為最優(yōu)關(guān)聯(lián)方式，搜索結(jié)束。 下面結(jié)合具體的實(shí)施例對(duì)本發(fā)明的多點(diǎn)觸摸跟蹤識(shí)別方法加以詳細(xì)說明，應(yīng)指出的是，所描述的實(shí)施例旨在便于對(duì)本發(fā)明的理解，對(duì)本發(fā)明不起限定作用。圖7為一觸摸屏，圖8給出了連續(xù)兩幀中的觸摸點(diǎn)示意圖，圖9是實(shí)施例中連續(xù)兩幀圖像的觸摸點(diǎn)表示在同一平面內(nèi)的示意圖。假設(shè)在t幀中有2個(gè)觸摸點(diǎn)，在t+Ι幀中有 4個(gè)觸摸點(diǎn)，則根據(jù)步驟S102，計(jì)算前后兩幀圖像的各個(gè)所述觸摸點(diǎn)之間的距離之后，根據(jù)算法構(gòu)建搜索樹如圖10所示，t+Ι幀為第一層，t幀為第二層。圖10中實(shí)線表示兩節(jié)點(diǎn)進(jìn)行實(shí)關(guān)聯(lián)；虛線連接表示第一層的該節(jié)點(diǎn)(亦即觸摸點(diǎn))與虛節(jié)點(diǎn)關(guān)聯(lián)，并設(shè)置該虛關(guān)聯(lián)距離為0。如果不設(shè)置距離閾值對(duì)所述搜索樹包含的各個(gè)實(shí)關(guān)聯(lián)進(jìn)行篩選，則直接在所述搜索樹中搜索各種可能的關(guān)聯(lián)方式。如果設(shè)置大、小距離閾值，則先對(duì)搜索樹進(jìn)行剪枝，以減小搜索空間，提高搜索速率，剪枝后的搜索樹如圖11。其中最大距離閾值設(shè)為dmax = 110，最小距離閾值設(shè)為dmin = 30(本實(shí)施例中的距離只以數(shù)值表示，具體的單位根據(jù)用戶設(shè)定而定)。根據(jù)步驟S103進(jìn)行最優(yōu)搜索，搜索前首先判斷是否只存在虛關(guān)聯(lián)，以判斷是否需要繼續(xù)搜索。很明顯，在本實(shí)施例中前后兩層之間存在實(shí)關(guān)聯(lián)。則首先搜索到最小實(shí)關(guān)聯(lián)距離，本實(shí)施例中為節(jié)點(diǎn)5與節(jié)點(diǎn)2的距離最小d52 = 76，在搜索程序運(yùn)行時(shí)可初始化一計(jì)數(shù)器C = 0，若第一層中有節(jié)點(diǎn)關(guān)聯(lián)到實(shí)節(jié)點(diǎn)，則該計(jì)數(shù)器加1。因?yàn)楸緦?shí)施例中第一層有4 個(gè)節(jié)點(diǎn)，因此需要循環(huán)對(duì)第一層搜索，直至該層所有節(jié)點(diǎn)都關(guān)聯(lián)為止，又因本實(shí)施例中t幀中只有2個(gè)節(jié)點(diǎn)，所以根據(jù)搜索條件3，在所有關(guān)聯(lián)方式中，至多只能有兩個(gè)實(shí)關(guān)聯(lián)距離，也就是說，第一層中至少有兩個(gè)節(jié)點(diǎn)與虛節(jié)點(diǎn)進(jìn)行關(guān)聯(lián)。繼續(xù)進(jìn)行搜索，可搜索到節(jié)點(diǎn)4與節(jié)點(diǎn)1的關(guān)聯(lián)距離d41 = 82為第一次搜索的關(guān)聯(lián)方式的次小實(shí)關(guān)聯(lián)距離，此時(shí)計(jì)數(shù)器C = 2，與t幀中節(jié)點(diǎn)個(gè)數(shù)相等，表明在接下來的搜索中，第一層中還未關(guān)聯(lián)的節(jié)點(diǎn)，都必須與虛節(jié)點(diǎn)進(jìn)行關(guān)聯(lián)。本次搜索結(jié)果的關(guān)聯(lián)方式示意圖示于圖12。根據(jù)步驟S104計(jì)算觸摸點(diǎn)離散度
權(quán)利要求
1.一種多點(diǎn)觸摸跟蹤識(shí)別方法，其特征在于，包括以下步驟獲取相鄰兩幀圖像中的觸摸點(diǎn)位置；根據(jù)所述觸摸點(diǎn)位置，計(jì)算前后兩幀圖像的各個(gè)所述觸摸點(diǎn)之間的距離；按照所述觸摸點(diǎn)距離從小到大的順序，逐次搜索前后兩幀圖像的觸摸點(diǎn)的關(guān)聯(lián)方式；分別計(jì)算每次搜索到的關(guān)聯(lián)方式的觸摸點(diǎn)離散度，直到后一關(guān)聯(lián)方式的觸摸點(diǎn)離散度首次大于前一關(guān)聯(lián)方式的觸摸點(diǎn)離散度時(shí)，判斷所述前一關(guān)聯(lián)方式為最優(yōu)關(guān)聯(lián)方式。
2.如權(quán)利要求1所述的多點(diǎn)觸摸跟蹤識(shí)別方法，其特征在于，所述計(jì)算前后兩幀圖像的各個(gè)所述觸摸點(diǎn)之間的距離的步驟包括分別以兩幀圖像中的各個(gè)觸摸點(diǎn)為基礎(chǔ)構(gòu)造兩層的搜索樹，將所述搜索樹第一層的各個(gè)觸摸點(diǎn)與第二層的各個(gè)觸摸點(diǎn)之間設(shè)為實(shí)關(guān)聯(lián)；根據(jù)所述觸摸點(diǎn)位置，計(jì)算所述搜索樹中的各個(gè)實(shí)關(guān)聯(lián)的距離。
3.如權(quán)利要求2所述的多點(diǎn)觸摸跟蹤識(shí)別方法，其特征在于，所述構(gòu)造兩層的搜索樹的步驟包括進(jìn)一步在所述搜索樹的第二層中設(shè)置與第一層的觸摸點(diǎn)一一對(duì)應(yīng)的虛節(jié)點(diǎn)，并設(shè)所述虛節(jié)點(diǎn)與第一層的觸摸點(diǎn)的距離為0，將各個(gè)所述虛節(jié)點(diǎn)與所述第一層的各個(gè)觸摸點(diǎn)之間設(shè)為虛關(guān)聯(lián)；判斷所述搜索樹的兩層之間是否只有虛關(guān)聯(lián)，是則結(jié)束跟蹤識(shí)別操作。
4.如權(quán)利要求3所述的多點(diǎn)觸摸跟蹤識(shí)別方法，其特征在于，以兩幀圖像中觸摸點(diǎn)數(shù)目較多的為第一層，另一幀為第二層構(gòu)造所述搜索樹。
5.如權(quán)利要求1至4中任意一項(xiàng)所述的多點(diǎn)觸摸跟蹤識(shí)別方法，其特征在于，所述逐次搜索前后兩幀圖像的觸摸點(diǎn)的關(guān)聯(lián)方式的步驟包括按照各個(gè)所述實(shí)關(guān)聯(lián)的距離從小到大的順序依次設(shè)定各個(gè)關(guān)聯(lián)方式的第一個(gè)實(shí)關(guān)聯(lián)；再按照各個(gè)所述實(shí)關(guān)聯(lián)的距離由小到大的順序，依次搜索每一所述關(guān)聯(lián)方式的下一個(gè)實(shí)關(guān)聯(lián)；判斷搜索到的所述實(shí)關(guān)聯(lián)的觸摸點(diǎn)是否已經(jīng)與其他觸摸點(diǎn)關(guān)聯(lián)，如果是，則放棄搜索到的實(shí)關(guān)聯(lián)；否則，保存對(duì)應(yīng)的實(shí)關(guān)聯(lián)；從搜索每一所述關(guān)聯(lián)方式的第一個(gè)實(shí)關(guān)聯(lián)開始，判斷搜索到的實(shí)關(guān)聯(lián)個(gè)數(shù)是否等于前后兩幀的觸摸點(diǎn)個(gè)數(shù)中最小的一個(gè)，是則停止搜索，保存對(duì)應(yīng)的關(guān)聯(lián)方式；否則，繼續(xù)搜索所述關(guān)聯(lián)方式的下一實(shí)關(guān)聯(lián)。
6.一種多點(diǎn)觸摸跟蹤識(shí)別系統(tǒng)，其特征在于，包括用于獲取相鄰兩幀圖像中的觸摸點(diǎn)位置的觸摸點(diǎn)檢測(cè)模塊；用于根據(jù)所述觸摸點(diǎn)位置，計(jì)算前后兩幀圖像的各個(gè)所述觸摸點(diǎn)之間距離的距離計(jì)算模塊；用于按照所述觸摸點(diǎn)距離從小到大的順序，逐次搜索前后兩幀圖像的觸摸點(diǎn)的關(guān)聯(lián)方式的搜索模塊；用于分別計(jì)算每次搜索到的關(guān)聯(lián)方式的觸摸點(diǎn)離散度，直到后一關(guān)聯(lián)方式的觸摸點(diǎn)離散度首次大于前一關(guān)聯(lián)方式的觸摸點(diǎn)離散度時(shí)，判斷所述前一關(guān)聯(lián)方式為最優(yōu)關(guān)聯(lián)方式的離散度計(jì)算模塊。
7.如權(quán)利要求6所述的多點(diǎn)觸摸跟蹤識(shí)別系統(tǒng)，其特征在于，所述多點(diǎn)觸摸跟蹤識(shí)別系統(tǒng)進(jìn)一步包括用于分別以兩幀圖像中的各個(gè)觸摸點(diǎn)為基礎(chǔ)構(gòu)造兩層搜索樹的搜索樹模塊，其中，所述搜索樹第一層的各個(gè)觸摸點(diǎn)與第二層的各個(gè)觸摸點(diǎn)之間設(shè)為實(shí)關(guān)聯(lián)；所述搜索模塊在所述搜索樹模塊建立的搜索樹中搜索各個(gè)所述實(shí)關(guān)聯(lián)，并根據(jù)搜索的所述實(shí)關(guān)聯(lián)組合成各個(gè)關(guān)聯(lián)方式。
8.如權(quán)利要求7所述的多點(diǎn)觸摸跟蹤識(shí)別系統(tǒng)，其特征在于，所述搜索樹模塊進(jìn)一步在所述搜索樹的第二層中設(shè)置與第一層的觸摸點(diǎn)一一對(duì)應(yīng)的虛節(jié)點(diǎn)，并設(shè)所述虛節(jié)點(diǎn)與第一層的觸摸點(diǎn)的距離為0，將各個(gè)所述虛節(jié)點(diǎn)與所述第一層的各個(gè)觸摸點(diǎn)之間設(shè)為虛關(guān)聯(lián)； 并且，所述搜索樹模塊在判斷所述搜索樹的兩層之間只有虛關(guān)聯(lián)時(shí)，結(jié)束跟蹤識(shí)別操作。
9.如權(quán)利要求8所述的多點(diǎn)觸摸跟蹤識(shí)別系統(tǒng)，其特征在于，所述搜索樹模塊以兩幀圖像中觸摸點(diǎn)數(shù)目較多的為第一層，另一幀為第二層構(gòu)造所述搜索樹。
10.如權(quán)利要求6至9中任意一項(xiàng)所述的多點(diǎn)觸摸跟蹤識(shí)別系統(tǒng)，其特征在于，所述搜索模塊在搜索前后兩幀圖像的觸摸點(diǎn)的關(guān)聯(lián)方式時(shí)，首先按照各個(gè)所述實(shí)關(guān)聯(lián)的距離從小到大的順序依次設(shè)定各個(gè)關(guān)聯(lián)方式的第一個(gè)實(shí)關(guān)聯(lián)；然后再按照各個(gè)所述實(shí)關(guān)聯(lián)的距離由小到大的順序，依次搜索每一所述關(guān)聯(lián)方式的下一個(gè)實(shí)關(guān)聯(lián)；并且，判斷搜索到的所述實(shí)關(guān)聯(lián)的觸摸點(diǎn)是否已經(jīng)與其他觸摸點(diǎn)關(guān)聯(lián)，如果是，則放棄搜索到的實(shí)關(guān)聯(lián)；否則，保存對(duì)應(yīng)的實(shí)關(guān)聯(lián)；所述搜索模塊從搜索每一所述關(guān)聯(lián)方式的第一個(gè)實(shí)關(guān)聯(lián)開始，判斷搜索到的實(shí)關(guān)聯(lián)個(gè)數(shù)是否等于前后兩幀的觸摸點(diǎn)個(gè)數(shù)中最小的一個(gè)，是則停止搜索，保存對(duì)應(yīng)的關(guān)聯(lián)方式；否則，繼續(xù)搜索所述關(guān)聯(lián)方式的下一實(shí)關(guān)聯(lián)。
全文摘要
本發(fā)明提供一種多點(diǎn)觸摸跟蹤識(shí)別方法及其系統(tǒng)，所述方法包括分別獲取相鄰兩幀圖像中的觸摸點(diǎn)位置；根據(jù)所述觸摸點(diǎn)位置，計(jì)算前后兩幀圖像的各個(gè)所述觸摸點(diǎn)之間的距離；按照所述觸摸點(diǎn)距離從小到大的順序，逐次搜索前后兩幀圖像的觸摸點(diǎn)的關(guān)聯(lián)方式；分別計(jì)算每次搜索到的關(guān)聯(lián)方式的觸摸點(diǎn)離散度，直到后一關(guān)聯(lián)方式的觸摸點(diǎn)離散度首次大于前一關(guān)聯(lián)方式的觸摸點(diǎn)離散度，則判斷所述前一關(guān)聯(lián)方式為最優(yōu)關(guān)聯(lián)方式。本發(fā)明提供的多點(diǎn)觸摸跟蹤識(shí)別方法。從全局出發(fā)分析，通過計(jì)算每個(gè)所述關(guān)聯(lián)方式中所有互相關(guān)聯(lián)的觸摸點(diǎn)的最小觸摸點(diǎn)距離，以及每個(gè)所述關(guān)聯(lián)方式下的觸摸點(diǎn)離散度，保證了前后幀中觸摸點(diǎn)關(guān)聯(lián)的準(zhǔn)確性和魯棒性。
文檔編號(hào)G06F3/042GK102193689SQ20111012981
公開日2011年9月21日 申請(qǐng)日期2011年5月18日 優(yōu)先權(quán)日2011年5月18日
發(fā)明者孫敬飛, 廖微, 肖平, 韋金汝, 駱威 申請(qǐng)人:廣東威創(chuàng)視訊科技股份有限公司