基于用戶任務(wù)的手勢(shì)識(shí)別方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及人機(jī)交互技術(shù)領(lǐng)域，特別是涉及一種基于用戶任務(wù)的手勢(shì)識(shí)別方法。
【背景技術(shù)】
[0002] 手勢(shì)是人類表達(dá)非語(yǔ)言類的意圖感知的主要載體，隨著科技的發(fā)展，對(duì)于手勢(shì)識(shí) 別的研宄越來(lái)越熱門。
[0003] 目前對(duì)手勢(shì)識(shí)別的研宄主要以手勢(shì)檢測(cè)、捕捉、跟蹤等為主，研宄者們總是力求準(zhǔn) 確的識(shí)別出用戶的每一個(gè)手勢(shì)，盡量真實(shí)的還原與展現(xiàn)在智能設(shè)備上，想以此提高人機(jī)交 互的真實(shí)性。
[0004] 然而，用戶在與智能設(shè)備的交互中，有些手勢(shì)是無(wú)意圖、無(wú)目的，按照當(dāng)前對(duì)手勢(shì) 的研宄并不能區(qū)分出這些無(wú)意圖的手勢(shì)，這無(wú)疑會(huì)給手勢(shì)識(shí)別系統(tǒng)增加過(guò)多的處理數(shù)據(jù)， 使原本已經(jīng)很復(fù)雜的算法及處理過(guò)程更加冗雜，勢(shì)必會(huì)造成處理效率低下；更為嚴(yán)重的是， 這些無(wú)意圖手勢(shì)還可能造成交互設(shè)備的誤反饋、誤操作，導(dǎo)致手勢(shì)識(shí)別的準(zhǔn)確性大大降低， 用戶體驗(yàn)降低。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明的目的在于提出一種基于用戶任務(wù)的手勢(shì)識(shí)別方法，以根據(jù)產(chǎn)品功能劃分 用戶與產(chǎn)品交互手勢(shì)的意圖和目的，由此把用戶無(wú)意識(shí)的手勢(shì)操作區(qū)分出來(lái)，減少手勢(shì)識(shí) 別中需要檢測(cè)和處理的數(shù)據(jù)，從而提高手勢(shì)識(shí)別的效率和準(zhǔn)確率。
[0006] 為了解決上述技術(shù)問(wèn)題，本發(fā)明的技術(shù)方案如下：
[0007] 基于用戶任務(wù)的手勢(shì)識(shí)別方法，包括：
[0008] 步驟A、獲取交互對(duì)象；
[0009] 步驟B、窮舉所述交互對(duì)象的所有操作，并提取每個(gè)操作的手勢(shì)特征向量，形成手 勢(shì)集知識(shí)庫(kù)；
[0010] 步驟C、把用戶執(zhí)行所述交互對(duì)象的功能時(shí)從初始狀態(tài)到結(jié)束狀態(tài)的操作按順序 連接起來(lái)，形成用戶任務(wù)，并將全部用戶任務(wù)集成為用戶任務(wù)表；
[0011] 步驟D、檢測(cè)并跟蹤用戶手勢(shì)與所述交互對(duì)象的交互行為，跟所述手勢(shì)集知識(shí)庫(kù)中 的手勢(shì)特征向量對(duì)比：
[0012] 子步驟D1，當(dāng)?shù)贜個(gè)用戶手勢(shì)與所述手勢(shì)集知識(shí)庫(kù)中的手勢(shì)特征向量匹配時(shí)，則 執(zhí)行第N個(gè)用戶手勢(shì)命令，其中N為自然數(shù)；
[0013] 子步驟D2,當(dāng)?shù)贜+1個(gè)用戶手勢(shì)也與所述手勢(shì)集知識(shí)庫(kù)中的手勢(shì)特征向量匹配 時(shí)，則判斷第N+1個(gè)用戶手勢(shì)和第N個(gè)用戶手勢(shì)是否屬于同一個(gè)用戶任務(wù)里面按照順序且 連接的兩個(gè)用戶手勢(shì)，如果是，則執(zhí)行第N+1個(gè)用戶手勢(shì)命令。
[0014] 在子步驟D2中，如果第N+1個(gè)用戶手勢(shì)和第N個(gè)用戶手勢(shì)不屬于同一個(gè)用戶任務(wù) 里面按照順序且連接的兩個(gè)用戶手勢(shì)，則根據(jù)第N+1個(gè)用戶手勢(shì)改進(jìn)所述交互對(duì)象的執(zhí)行 方式，獲得改良設(shè)計(jì)的交互對(duì)象。
[0015] 本發(fā)明的優(yōu)點(diǎn)是：
[0016] 第一，預(yù)先設(shè)定產(chǎn)品各項(xiàng)功能對(duì)應(yīng)的用戶任務(wù)，得到用戶任務(wù)表。由于基于用戶任 務(wù)的手勢(shì)識(shí)別方法能夠在具有主觀性，隨意性，模糊性的手勢(shì)中分離出有意義的手勢(shì)，過(guò)濾 掉大量的無(wú)意義手勢(shì)，從而大為減少了需要檢測(cè)和處理的手勢(shì)數(shù)據(jù)，提高手勢(shì)識(shí)別的效率 和準(zhǔn)確率；
[0017] 第二，能夠根據(jù)用戶用目的明確但操作方式與產(chǎn)品設(shè)計(jì)不符的手勢(shì)，獲知用戶表 達(dá)出來(lái)的對(duì)產(chǎn)品的預(yù)期，由此改進(jìn)產(chǎn)品設(shè)計(jì)，使產(chǎn)品更貼近用戶需求和預(yù)期，提升產(chǎn)品的用 戶接收度以及用戶體驗(yàn)；
[0018] 第三，一定程度上預(yù)測(cè)用戶行為，通過(guò)設(shè)定好的用戶任務(wù)，當(dāng)用戶執(zhí)行某個(gè)操作 時(shí)，判斷這個(gè)操作存在哪個(gè)用戶任務(wù)中，從而知道用戶下一步可能的操作，能提高交互對(duì)象 對(duì)手勢(shì)作出反饋的速度。
【附圖說(shuō)明】
[0019] 圖1是本發(fā)明的步驟流程圖；
[0020] 圖2是本發(fā)明實(shí)施例中執(zhí)行煮食的用戶任務(wù)的用戶手勢(shì)指令序列圖；
[0021] 圖3(a)是本發(fā)明實(shí)施例中抓取物體的手勢(shì)示例圖；
[0022] 圖3(b)是本發(fā)明實(shí)施例中旋轉(zhuǎn)物體的手勢(shì)示例圖。
【具體實(shí)施方式】
[0023] 為使本發(fā)明的上述目的、特征和優(yōu)點(diǎn)能夠更加明顯易懂，下面結(jié)合附圖和具體實(shí) 施方式對(duì)本發(fā)明作進(jìn)一步詳細(xì)的說(shuō)明。
[0024] 實(shí)施例
[0025] 如圖1，基于用戶任務(wù)的手勢(shì)識(shí)別方法，包括
[0026] 步驟A、獲取交互對(duì)象；
[0027] 步驟B、窮舉所述交互對(duì)象的所有操作，并提取每個(gè)操作的手勢(shì)特征向量，形成手 勢(shì)集知識(shí)庫(kù)；
[0028] 步驟C、把用戶執(zhí)行所述交互對(duì)象的功能時(shí)從初始狀態(tài)到結(jié)束狀態(tài)的操作按順序 連接起來(lái)，形成用戶任務(wù)，并將全部用戶任務(wù)集成為用戶任務(wù)表；
[0029] 步驟D、檢測(cè)并跟蹤用戶手勢(shì)與所述交互對(duì)象的交互行為，跟所述手勢(shì)集知識(shí)庫(kù)中 的手勢(shì)特征向量對(duì)比：
[0030] 子步驟D1，當(dāng)?shù)贜個(gè)用戶手勢(shì)與所述手勢(shì)集知識(shí)庫(kù)中的手勢(shì)特征向量匹配時(shí)，則 執(zhí)行第N個(gè)用戶手勢(shì)命令，其中N為自然數(shù)；
[0031] 子步驟D2,當(dāng)?shù)贜+1個(gè)用戶手勢(shì)也與所述手勢(shì)集知識(shí)庫(kù)中的手勢(shì)特征向量匹配 時(shí)，則判斷第N+1個(gè)用戶手勢(shì)和第N個(gè)用戶手勢(shì)是否屬于同一個(gè)用戶任務(wù)里面按照順序且 連接的兩個(gè)用戶手勢(shì)，如果是，則執(zhí)行第N+1個(gè)用戶手勢(shì)命令。
[0032] 其中，本發(fā)明所指的交互對(duì)象，是能夠與用戶進(jìn)行交互的客體，例如虛擬產(chǎn)品或產(chǎn) 品3D模型，具有一定的感知用戶行為并作出反饋的能力。在這樣的一交互對(duì)象中，執(zhí)行某 一個(gè)產(chǎn)品功能的初始狀態(tài)到目標(biāo)狀態(tài)需要經(jīng)歷的所有行為操作構(gòu)成了一種用戶任務(wù)，一個(gè) 產(chǎn)品有多個(gè)功能，于是一個(gè)產(chǎn)品對(duì)應(yīng)于多個(gè)用戶任務(wù)，多個(gè)用戶任務(wù)組合在一起，形成了用 戶任務(wù)表。每個(gè)用戶任務(wù)并不一定是唯一的，從初始狀態(tài)到目標(biāo)狀態(tài)往往存在多種行為操 作的組合，以打電話為例：
[0033] 用戶任務(wù)一："打開(kāi)通訊錄"、"選擇某人"、"撥打電話"
[0034] 用戶任務(wù)二："打開(kāi)撥號(hào)盤"、"輸入號(hào)碼"、"撥打電話"
[0035] 提出用戶任務(wù)主要是因?yàn)橛脩魧?duì)一個(gè)產(chǎn)品的意象往往是模糊的，這讓產(chǎn)品設(shè)計(jì)師 難以捕捉用戶意圖，特別是通過(guò)非語(yǔ)言類的姿勢(shì)表達(dá)，如果要將用戶模糊的信息轉(zhuǎn)化為適 當(dāng)?shù)漠a(chǎn)品設(shè)計(jì)元素，使設(shè)計(jì)出來(lái)的產(chǎn)品盡可能與用戶的意象模型相一致，甚至超出其期望， 這無(wú)論是對(duì)設(shè)計(jì)師還是感知系統(tǒng)來(lái)說(shuō)，都難以承受，需要處理過(guò)多的未知變量和運(yùn)算量。
[0036] 用戶任務(wù)概念的提出能夠很好的處理這個(gè)問(wèn)題。主要是用戶任務(wù)有很清晰的用戶 目標(biāo)?；谟脩羧蝿?wù)對(duì)用戶手勢(shì)所表達(dá)的意圖感知進(jìn)行識(shí)別時(shí)，可以把用戶意圖分為三種 類型：第一種是系統(tǒng)預(yù)期的意圖II，也就是系統(tǒng)期望用戶會(huì)執(zhí)行的操作；第二種是用戶可 能選擇執(zhí)行但不是系統(tǒng)預(yù)期的意圖12,這一類型往往是用戶按照自己的理解去執(zhí)行某個(gè)操 作，但是這個(gè)操作是錯(cuò)誤的；第三種類型就是無(wú)意義的用戶行為13,這一類型的操作是最 多的，系統(tǒng)可以完全忽略的，把這一類型歸類為無(wú)意義行為可以大大減少未知變量和運(yùn)算 量，從而讓系統(tǒng)準(zhǔn)確而高效的感知用戶意圖。
[0037] 如圖2所示，現(xiàn)以阿迪鍋產(chǎn)品設(shè)計(jì)為例講述如何通過(guò)用戶任務(wù)的方法獲取用戶意 圖。阿迪鍋與人的手勢(shì)交互任務(wù)如表一所示，包含四個(gè)用戶任務(wù)：移動(dòng)，煮食，獲取食物，清 洗對(duì)象。為了更好的描述計(jì)算機(jī)視覺(jué)手勢(shì)，將每一個(gè)任務(wù)分解成一個(gè)或者多個(gè)子任務(wù)，并賦 給每個(gè)子任務(wù)一個(gè)用戶手勢(shì)指令Gi(i= {1，2……n，n為正整數(shù)})。
[0038] 表一：阿迪鍋的用戶任務(wù)
【主權(quán)項(xiàng)】
1. 基于用戶任務(wù)的手勢(shì)識(shí)別方法，其特征在于，包括： 步驟A、獲取交互對(duì)象； 步驟B、窮舉所述交互對(duì)象的所有操作，并提取每個(gè)操作的手勢(shì)特征向量，形成手勢(shì)集 知識(shí)庫(kù)； 步驟C、把用戶執(zhí)行所述交互對(duì)象的功能時(shí)從初始狀態(tài)到結(jié)束狀態(tài)的操作按順序連接 起來(lái)，形成用戶任務(wù)，并將全部用戶任務(wù)集成為用戶任務(wù)表； 步驟D、檢測(cè)并跟蹤用戶手勢(shì)與所述交互對(duì)象的交互行為，跟所述手勢(shì)集知識(shí)庫(kù)中的手 勢(shì)特征向量對(duì)比： 子步驟D1，當(dāng)?shù)贜個(gè)用戶手勢(shì)與所述手勢(shì)集知識(shí)庫(kù)中的手勢(shì)特征向量匹配時(shí)，則執(zhí)行 第N個(gè)用戶手勢(shì)命令，其中N為自然數(shù)； 子步驟D2,當(dāng)?shù)贜+1個(gè)用戶手勢(shì)也與所述手勢(shì)集知識(shí)庫(kù)中的手勢(shì)特征向量匹配時(shí)，則 判斷第N+1個(gè)用戶手勢(shì)和第N個(gè)用戶手勢(shì)是否屬于同一個(gè)用戶任務(wù)里面按照順序且連接的 兩個(gè)用戶手勢(shì)，如果是，則執(zhí)行第N+1個(gè)用戶手勢(shì)命令。
2. 根據(jù)權(quán)利要求1所述的基于用戶任務(wù)的手勢(shì)識(shí)別方法，其特征在于，在子步驟D2中， 如果第N+1個(gè)用戶手勢(shì)和第N個(gè)用戶手勢(shì)不屬于同一個(gè)用戶任務(wù)里面按照順序且連接的兩 個(gè)用戶手勢(shì)，則根據(jù)第N+1個(gè)用戶手勢(shì)改進(jìn)所述交互對(duì)象的執(zhí)行方式，獲得改良設(shè)計(jì)的交 互對(duì)象。
【專利摘要】本發(fā)明提供了一種基于用戶任務(wù)的手勢(shì)識(shí)別方法，包括：獲取交互對(duì)象；窮舉所述交互對(duì)象的所有操作，并提取每個(gè)操作的手勢(shì)特征向量，形成手勢(shì)集知識(shí)庫(kù)；把用戶執(zhí)行所述交互對(duì)象的功能時(shí)從初始狀態(tài)到結(jié)束狀態(tài)的操作按順序連接起來(lái)，形成用戶任務(wù)，并將全部用戶任務(wù)集成為用戶任務(wù)表；檢測(cè)并跟蹤用戶手勢(shì)與所述交互對(duì)象的交互行為，跟所述手勢(shì)集知識(shí)庫(kù)中的手勢(shì)特征向量對(duì)比，基于產(chǎn)品功能來(lái)區(qū)分用戶與產(chǎn)品之間有意義的交互手勢(shì)，把用戶無(wú)意識(shí)的手勢(shì)操作分離出來(lái)，最后僅執(zhí)行并反饋有意義的用戶手勢(shì)的結(jié)果。本發(fā)明能夠減少手勢(shì)識(shí)別中需要檢測(cè)和處理的數(shù)據(jù)，提高手勢(shì)識(shí)別的效率和準(zhǔn)確率。
【IPC分類】G06K9-00, G06K9-62
【公開(kāi)號(hào)】CN104615984
【申請(qǐng)?zhí)枴緾N201510045000
【發(fā)明人】何漢武, 楊賢, 吳悅明, 陳和恩, 梁劍斌
【申請(qǐng)人】廣東工業(yè)大學(xué)
【公開(kāi)日】2015年5月13日
【申請(qǐng)日】2015年1月28日