一種基于移動終端的非接觸式交互方法
【專利說明】
[0001]技術(shù)領(lǐng)域:
本發(fā)明涉及人機(jī)交互技術(shù)領(lǐng)域，具體涉及一種基于移動終端的非接觸式交互方法。
[0002]【背景技術(shù)】:
現(xiàn)行的移動終端的人機(jī)交互方式，主要是通過鍵盤與觸摸屏。移動終端的面積與體積有限，無論是鍵盤還是觸摸屏交互，都有所不便，容易出現(xiàn)誤操作。
[0003]新型的人機(jī)交互方式有基于傳感器的體感交互、基于動作圖像識別的交互、基于肌肉計(jì)算的交互等。以上的各種交互方式能夠彌補(bǔ)以前存在的不足，但在應(yīng)用于移動終端上時(shí)，也有其各自的新問題與缺點(diǎn)。
[0004]基于傳感器的體感人機(jī)交互方式，利用加速度傳感器、重力傳感器、陀螺儀等裝置，感知其運(yùn)動進(jìn)行交互。重力傳感器目前已經(jīng)用于手機(jī)等終端內(nèi)，但只能感知到手機(jī)本身的運(yùn)動，而不是使用者的運(yùn)動，應(yīng)用范圍很有限；如要感知使用者的運(yùn)動，需要額外配置容納傳感器的遙控器，這在移動終端交互中是很不自然的，一定程度上破壞了移動終端的便攜性。
[0005]基于動作圖像識別的交互方式，利用特殊的可以采集景深信息的攝像頭，拍攝使用者的動作，通過對圖像的處理，重構(gòu)出使用者的運(yùn)動信息進(jìn)行交互。該交互方式的缺點(diǎn)是景深攝像頭比較昂貴，而且景深攝像頭不能采集太近的距離，用于移動終端的交互不方便。
[0006]基于肌肉計(jì)算的交互方式，通過采集人體肌肉的肌電信號來判斷人體的動作，從而進(jìn)行交互。這種交互方式目前還不太成熟，設(shè)備不便攜帶。
[0007]因此，基于移動終端，需要一種新型的交互方法。
[0008]專利申請CN201110043418.7公開了一種移動終端的人機(jī)交互方法，使用移動終端內(nèi)部的傳感器與電動機(jī)，利用終端的主動旋轉(zhuǎn)發(fā)出信號，被動旋轉(zhuǎn)接受信號。該發(fā)明的主要局限是所能表達(dá)的信息種類十分有限。
[0009]專利申請CN201210056083.7公開了一種移動終端的非接觸式控制裝置與方法。該方法采集終端前方的視頻圖像并提取人手輪廓，但只能根據(jù)人手的運(yùn)動方向發(fā)出命令，精細(xì)度不高。
[0010]專利申請CN201210520849.2公開了一種移動電子設(shè)備手勢控制交互方法，該發(fā)明的創(chuàng)新在于動態(tài)調(diào)整感知動作的頻率，節(jié)約移動終端的功耗。該發(fā)明使用的是加速度傳感器，感應(yīng)終端的運(yùn)動。
[0011]
【發(fā)明內(nèi)容】
:
本發(fā)明的目的是提供一種基于移動終端的非接觸式交互方法，它通過對人手的圖像采集實(shí)現(xiàn)交互功能，并且實(shí)現(xiàn)對手勢運(yùn)動的跟蹤，具有不局限于移動終端屏幕、靈活性強(qiáng)、支持多種手勢的特點(diǎn)。
[0012]為了解決【背景技術(shù)】所存在的問題，本發(fā)明是采用如下技術(shù)方案:它的交互方法包括以下步驟:
(一)、利用移動終端自帶的第一圖像采集設(shè)備，采集包含人手的圖像；
(二 )、對采集的圖像進(jìn)行分析，劃分人手所在的感興趣區(qū)域； (三)、對人手所在區(qū)域進(jìn)行進(jìn)一步分類，劃分出人手關(guān)鍵部位；
(四)、利用人手生理約束，對劃分的部位進(jìn)行補(bǔ)充與修正；
(五)、建立人手各個(gè)部分的運(yùn)動軌跡，將運(yùn)動軌跡與應(yīng)用領(lǐng)域所設(shè)置的手勢進(jìn)行對比，進(jìn)行交互模式判別，并發(fā)出對應(yīng)控制命令。
[0013]所述的一種基于移動終端的非接觸式交互方法還可包括:第二圖像采集設(shè)備與第一圖像采集設(shè)備參數(shù)相同，并列放置，同步采集包含人手的圖像；對采集的圖像進(jìn)行匹配與深度恢復(fù)，得到參考深度圖像。
[0014]所述的劃分人手所在的感興趣區(qū)域包括:
(i )、將采集的圖像轉(zhuǎn)換到HSV彩色空間；
(? )、利用人膚色特征，初步劃分人手區(qū)域；
(iii)、對劃分結(jié)果進(jìn)行去噪，去除小區(qū)域噪聲影響。
[0015]所述的劃分人體部位包括以下步驟:
(I )、預(yù)先收集人工標(biāo)注的人手彩色圖像，并進(jìn)行位置預(yù)校正；
(II )、對人手各個(gè)部位的每個(gè)像素，提取8個(gè)方向的梯度值以及不同步長下的差分值，作為候選特征；
(III)、使用隨機(jī)決策樹分類器模型、交叉驗(yàn)證法以及ID4.5訓(xùn)練算法，離線訓(xùn)練人手關(guān)鍵部位的分類器；
(IV )、在移動終端應(yīng)用該分類器，對人手關(guān)鍵部位進(jìn)行分類。
[0016]所述的對劃分部位進(jìn)行補(bǔ)充與修正包括以下步驟:
①、在分類步驟的結(jié)果中，標(biāo)出像素過少以及缺失的部位；
②、在前面一定時(shí)間內(nèi)的圖像中，查找對應(yīng)部位位置；
③、如果查找到足夠的位置信息，使用軌跡擬合，得到本幀初步預(yù)測的缺失部位信息；
④、根據(jù)人手指指節(jié)剛體約束，除拇指外四指的共面約束，手指關(guān)節(jié)的彎曲角度約束，優(yōu)先級從高到低，對上一步預(yù)測的部位信息做修正；如沒有足夠的預(yù)測信息，根據(jù)這些約束推斷缺失部位的位置。
[0017]所述的劃分人體部位包括以下步驟:
(1)、預(yù)先收集人工標(biāo)注的人手的彩色圖像與深度圖像組合，并進(jìn)行位置預(yù)校正；
(2)、對人手各個(gè)部位的每個(gè)像素，在圖像組中分別提取8個(gè)方向的梯度值以及不同步長下的差分值，作為候選特征；
(3)、使用隨機(jī)決策樹分類器模型、交叉驗(yàn)證法以及ID4.5訓(xùn)練算法，離線訓(xùn)練人手關(guān)鍵部位的分類器。
[0018](4)、在移動終端應(yīng)用該分類器，對人手關(guān)鍵部位進(jìn)行分類。
[0019]本發(fā)明具有如下有益效果:通過對人手的圖像采集實(shí)現(xiàn)交互功能，并且實(shí)現(xiàn)對手勢運(yùn)動的跟蹤，具有不局限于移動終端屏幕、靈活性強(qiáng)、支持多種手勢的特點(diǎn)。
[0020]【附圖說明】:
圖1為本【具體實(shí)施方式】中的互交方法的流程圖；
圖2為本【具體實(shí)施方式】中的另一種互交方法的流程圖。
[0021]【具體實(shí)施方式】:
參看圖1-圖2，本【具體實(shí)施方式】采用如下技術(shù)方案:它的交互方法包括以下步驟: (一)、利用移動終端自帶的第一圖像采集設(shè)備，采集包含人手的圖像；
(二)、對采集的圖像進(jìn)行分析，劃分人手所在的感興趣區(qū)域；
(三)、對人手所在區(qū)域進(jìn)行進(jìn)一步分類，劃分出人手關(guān)鍵部位；
(四)、利用人手生理約束，對劃分的部位進(jìn)行補(bǔ)充與修正；
(五)、建立人手各個(gè)部分的運(yùn)動軌跡，將運(yùn)動軌跡與應(yīng)用領(lǐng)域所設(shè)置的手勢進(jìn)行對比，進(jìn)行交互模式判別，并發(fā)出對應(yīng)控制命令。
[0022]所述的一種基于移動終端的非接觸式交互方法還可包括:第二圖像采集設(shè)備與第一圖像采集設(shè)備參數(shù)相同，并列放置，同步采集包含人手的圖像