基于距離向量的空中手勢(shì)漫游控制方法
【專(zhuān)利摘要】本發(fā)明公開(kāi)了一種基于距離向量的空中手勢(shì)漫游控制方法，包括以下步驟：步驟一：獲取和分析處理視頻圖像序列；步驟二：檢測(cè)五指張開(kāi)手勢(shì)和握拳手勢(shì)，以初始化控制區(qū)域；步驟三：獲取感興趣區(qū)域內(nèi)的膚色信息；步驟四：得到感興趣區(qū)域內(nèi)人手的運(yùn)動(dòng)信息；步驟五：由步驟三和步驟四得到的人手膚色信息和運(yùn)動(dòng)信息計(jì)算得到每一幀圖像中人手的位置坐標(biāo)信息；步驟六：確定界面中的手勢(shì)運(yùn)動(dòng)方向和運(yùn)動(dòng)速率；步驟七：界面中的手勢(shì)按照步驟六中確定的方向和速率做出相應(yīng)的響應(yīng)，實(shí)現(xiàn)手勢(shì)漫游。具有實(shí)現(xiàn)了小范圍且全界面可達(dá)的操作并實(shí)現(xiàn)了當(dāng)前手勢(shì)和初始位置的距離遠(yuǎn)的快速手勢(shì)漫游和當(dāng)前手勢(shì)和初始位置的距離近的精確手勢(shì)漫游等優(yōu)點(diǎn)。
【專(zhuān)利說(shuō)明】基于距離向量的空中手勢(shì)漫游控制方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種人機(jī)交互技術(shù)，特別涉及一種基于距離向量的空中手勢(shì)漫游控制方法。
【背景技術(shù)】
[0002]在日常生活中，手勢(shì)是一種常用的表達(dá)意愿的行為方式，具有較強(qiáng)的表意功能，也是現(xiàn)有人機(jī)交互系統(tǒng)的主要交互方式，如鼠標(biāo)、鍵盤(pán)、遙控器、觸摸屏等都是常見(jiàn)的接觸式人機(jī)交互系統(tǒng)的組成部分。而一些新興的人機(jī)交互系統(tǒng)則通過(guò)普通攝像頭或者深度攝像頭等傳感器捕捉用戶(hù)在傳感器捕捉范圍中的行為，通過(guò)圖像處理、機(jī)器學(xué)習(xí)、模式識(shí)別等技術(shù)，識(shí)別、跟蹤用戶(hù)的手勢(shì)等動(dòng)作，分析捕捉到的圖像序列中用戶(hù)的行為意圖，通過(guò)與界面的交互，實(shí)現(xiàn)基于手勢(shì)的非接觸式人機(jī)交互。
[0003]手勢(shì)漫游是將手勢(shì)運(yùn)動(dòng)映射到界面中，用現(xiàn)實(shí)中的手的運(yùn)動(dòng)控制界面中的手的運(yùn)動(dòng)，實(shí)現(xiàn)對(duì)界面信息的選擇、瀏覽等操作，是基于手勢(shì)的人機(jī)交互系統(tǒng)的一個(gè)重要功能?，F(xiàn)有常見(jiàn)的映射方式是手勢(shì)坐標(biāo)的直接映射，即，將傳感器捕捉到的圖像序列中的手勢(shì)的坐標(biāo)，或者是通過(guò)一些先驗(yàn)知識(shí)得到傳感器捕捉到的圖像序列中的“舒適運(yùn)動(dòng)區(qū)域”中的手勢(shì)的坐標(biāo)直接映射為界面中的手勢(shì)坐標(biāo)。例如傳感器捕捉到的圖像序列中每一幀的圖像大小為長(zhǎng)*寬=640像素*480像素,手勢(shì)所在的位置為(200，100)像素，界面的大小為長(zhǎng)*寬=1280像素*720像素，那么通過(guò)坐標(biāo)的直接映射，界面中的手勢(shì)坐標(biāo)為(1280/640*200=400，720/480*100=150)像素。
[0004]種手勢(shì)坐標(biāo)的直接映射方法只用到了坐標(biāo)信息，且在手勢(shì)漫游過(guò)程中當(dāng)用戶(hù)希望選擇一些距離當(dāng)前手勢(shì)所在坐標(biāo)較遠(yuǎn)的項(xiàng)目時(shí)，手勢(shì)就需要運(yùn)動(dòng)較遠(yuǎn)的距離，增加了用戶(hù)的勞累感，在選擇一些坐標(biāo)相近的項(xiàng)目時(shí)，往往又因?yàn)楫?dāng)前的技術(shù)水平制約而達(dá)不到足夠的精度導(dǎo)致難以選中或誤選，因此，降低了基于手勢(shì)的人機(jī)交互系統(tǒng)的易用性，缺乏人性化。
[0005]除了坐標(biāo)映射，一些發(fā)明中提到了速度映射的方法。速度映射是一種相對(duì)的映射方式，其計(jì)算傳感器捕捉到的圖像序列中手勢(shì)的運(yùn)動(dòng)速度和方向，不關(guān)心其具體的位置坐標(biāo)，根據(jù)特定的比例關(guān)系，操作界面中的手勢(shì)按照相應(yīng)的方向運(yùn)動(dòng)一定的距離，距離長(zhǎng)短和速度有關(guān)。
[0006]這種手勢(shì)速度映射方法僅用到了手勢(shì)運(yùn)動(dòng)的相對(duì)坐標(biāo)信息，即傳感器捕捉到圖像中前后兩幀手勢(shì)絕對(duì)坐標(biāo)的差值。這樣在實(shí)際操作過(guò)程中，尤其是一個(gè)剛接觸這種系統(tǒng)的新用戶(hù)無(wú)法直觀(guān)的把握手勢(shì)的速度和位置，會(huì)出現(xiàn)界面中想要漫游到的目的地超過(guò)了當(dāng)前用戶(hù)手勢(shì)能夠達(dá)到的范圍。例如，用戶(hù)使用右手操作，此時(shí)其右手已經(jīng)向右伸展到其能及的最遠(yuǎn)處，而因?yàn)槭遣捎玫乃俣扔成?，界面中的手?shì)可能在界面的最左邊，此時(shí)用戶(hù)必須將手收回來(lái)，重新進(jìn)行操作。這樣降低了人機(jī)交互系統(tǒng)的易用性，增加了用戶(hù)熟悉、學(xué)習(xí)及適應(yīng)的時(shí)間。
[0007]因此，應(yīng)該結(jié)合這兩種映射方式的優(yōu)點(diǎn)，制定一種新的空中手勢(shì)漫游的控制方法。
【發(fā)明內(nèi)容】

[0008]本發(fā)明的目的在于克服現(xiàn)有技術(shù)的缺點(diǎn)與不足，提供一種基于距離向量的空中手勢(shì)漫游控制方法。該控制方法解決了手勢(shì)坐標(biāo)的直接映射中，選擇距離當(dāng)前手勢(shì)坐標(biāo)較遠(yuǎn)的項(xiàng)目時(shí)用戶(hù)需要運(yùn)動(dòng)手勢(shì)到較遠(yuǎn)的距離和選擇坐標(biāo)相近的項(xiàng)目時(shí)不夠精確的問(wèn)題；該控制方法還解決了手勢(shì)的速度映射中，想要選擇的項(xiàng)目所在的位置已經(jīng)超出了當(dāng)前現(xiàn)實(shí)中用戶(hù)的手勢(shì)能夠到達(dá)的位置。
[0009]本發(fā)明的目的通過(guò)下述技術(shù)方案實(shí)現(xiàn):一種基于距離向量的空中手勢(shì)漫游控制方法，包括以下步驟:
[0010]步驟一、獲取和分析處理視頻圖像序列；
[0011]步驟二、檢測(cè)五指張開(kāi)手勢(shì)和握拳手勢(shì)，框定檢測(cè)到的人手區(qū)域?yàn)楦信d趣區(qū)域，并記錄下用戶(hù)開(kāi)始控制的初始位置，以初始化控制區(qū)域；
[0012]步驟三、在感興趣區(qū)域內(nèi)對(duì)圖像進(jìn)行膚色分割算法操作，獲取感興趣區(qū)域內(nèi)的膚色信息；
[0013]步驟四、在感興趣區(qū)域內(nèi)對(duì)相鄰兩幀的圖像進(jìn)行差分操作，得到感興趣區(qū)域內(nèi)人手的運(yùn)動(dòng)信息；
[0014]步驟五、由所述步驟三和步驟四得到的人手膚色信息和運(yùn)動(dòng)信息計(jì)算得到每一幀圖像中人手的位置坐標(biāo)信息；
[0015]步驟六、確定界面中的手勢(shì)運(yùn)動(dòng)方向和運(yùn)動(dòng)速率；
[0016]步驟七、界面中的手勢(shì)按照步驟六中確定的方向和速率做出相應(yīng)的響應(yīng)，使手勢(shì)漫游。
[0017]所述步驟二包括以下步驟:
[0018]步驟A、利用Adaboost算法訓(xùn)練得到的固定手勢(shì)檢測(cè)分類(lèi)器檢測(cè)五指張開(kāi)手勢(shì)和握拳手勢(shì)；五指張開(kāi)手勢(shì)和握拳手勢(shì)的分類(lèi)器分別由正樣本集和負(fù)樣本集訓(xùn)練得到，所述樣本集中包含了在不同背景、不同光照條件、不同人的手勢(shì)樣本圖片，所述負(fù)樣本集同樣包含了在不同背景、不同光照條件下的圖像，但其中不包含手勢(shì)；
[0019]步驟B、使用Haar-1ike特征和積分圖像對(duì)樣本圖像的特征進(jìn)行提取計(jì)算，每一輪訓(xùn)練得到的弱分類(lèi)器具有不同的權(quán)值，識(shí)別率高的弱分類(lèi)器具有更大的權(quán)重，識(shí)別率低的弱分類(lèi)器權(quán)重則低，多輪訓(xùn)練后把得到的若干個(gè)弱分類(lèi)器聯(lián)合起來(lái)得到一個(gè)識(shí)別成功率較高的強(qiáng)分類(lèi)器，將訓(xùn)練得到的多個(gè)強(qiáng)分類(lèi)器組成一個(gè)級(jí)聯(lián)結(jié)構(gòu)的分類(lèi)器，具有很高的檢測(cè)成功率；
[0020]步驟C、使用訓(xùn)練得到的分類(lèi)器對(duì)圖像中五指張開(kāi)和握拳兩種手勢(shì)進(jìn)行檢測(cè)，在成功找到人手區(qū)域后，記錄下人手區(qū)域所在的矩形位置信息，其左上角為(? %)，寬為w，高為h;設(shè)定該矩形區(qū)域?yàn)楦信d趣區(qū)域，同時(shí)得到人手的中心位置點(diǎn)(Xc;，y。)，其中Xc=Xo+0.5*W, yc=y0+0.5*h,記錄人手的中心位置點(diǎn)，作為用戶(hù)開(kāi)始控制的初始位置，以確定初始位置點(diǎn)，并初 始化圓環(huán)控制區(qū)域。
[0021]所述步驟三包括以下步驟:
[0022]步驟1、根據(jù)膚色樣本分析，人手膚色在YCrCb顏色空間具有很好的聚類(lèi)性，除去亮度Y的影響，膚色的Cr和Cb通道都集中在一小塊橢圓區(qū)域內(nèi)，YCrCb顏色空間與RGB顏色空間的轉(zhuǎn)換關(guān)系如下:
[0023]Y=0.257R+0.504G+0.098B+16,
[0024]Cb=-0.148R-0.219G+0.439B+128,
[0025]Cr=0.439R-0.368G-0.071B+128,
[0026]根據(jù)人手膚色樣本集分析，人手膚色Cr、Cb通道的閾值:
[0027]Thres(Cb, Cr) = {Cb, Cr | 95〈Cb〈139, 122<Cr<167}，
[0028]其中，Thres(Cb, Cr)表示閾值；
[0029]步驟I1、把視頻序列中得到的RGB圖像先轉(zhuǎn)換為YCrCb顏色空間上的圖像，再利用閾值Thres (Cb，Cr)對(duì)圖像進(jìn)行膚色分割，得到膚色的二值圖像，即:
[0030]
【權(quán)利要求】
1.一種基于距離向量的空中手勢(shì)漫游控制方法，其特征在于，包括以下步驟: 步驟一、獲取和分析處理視頻圖像序列； 步驟二、檢測(cè)五指張開(kāi)手勢(shì)和握拳手勢(shì)，框定檢測(cè)到的人手區(qū)域?yàn)楦信d趣區(qū)域，并記錄下用戶(hù)開(kāi)始控制的初始位置，以初始化控制區(qū)域； 步驟三、在感興趣區(qū)域內(nèi)對(duì)圖像進(jìn)行膚色分割算法操作，獲取感興趣區(qū)域內(nèi)的膚色信息； 步驟四、在感興趣區(qū)域內(nèi)對(duì)相鄰兩幀的圖像進(jìn)行差分操作，得到感興趣區(qū)域內(nèi)人手的運(yùn)動(dòng)信息； 步驟五、由所述步驟三和步驟四得到的人手膚色信息和運(yùn)動(dòng)信息計(jì)算得到每一幀圖像中人手的位置坐標(biāo)信息； 步驟六、確定界面中的手勢(shì)運(yùn)動(dòng)方向和運(yùn)動(dòng)速率； 步驟七、界面中的手勢(shì)按照步驟六中確定的方向和速率做出相應(yīng)的響應(yīng)，使手勢(shì)漫游。
2.根據(jù)權(quán)利要求1所述的基于距離向量的空中手勢(shì)漫游控制方法，其特征在于，所述步驟二包括以下步驟: 步驟A、利用Adaboost算 法訓(xùn)練得到的固定手勢(shì)檢測(cè)分類(lèi)器檢測(cè)五指張開(kāi)手勢(shì)和握拳手勢(shì)；五指張開(kāi)手勢(shì)和握拳手勢(shì)的分類(lèi)器分別由正樣本集和負(fù)樣本集訓(xùn)練得到，所述樣本集中包含了在不同背景、不同光照條件、不同人的手勢(shì)樣本圖片，所述負(fù)樣本集同樣包含了在不同背景、不同光照條件下的圖像，但其中不包含手勢(shì)； 步驟B、使用Haar-1ike特征和積分圖像對(duì)樣本圖像的特征進(jìn)行提取計(jì)算，每一輪訓(xùn)練得到的弱分類(lèi)器具有不同的權(quán)值，識(shí)別率高的弱分類(lèi)器具有更大的權(quán)重，識(shí)別率低的弱分類(lèi)器權(quán)重則低，多輪訓(xùn)練后把得到的若干個(gè)弱分類(lèi)器聯(lián)合起來(lái)得到一個(gè)識(shí)別成功率較高的強(qiáng)分類(lèi)器，將訓(xùn)練得到的多個(gè)強(qiáng)分類(lèi)器組成一個(gè)級(jí)聯(lián)結(jié)構(gòu)的分類(lèi)器，具有很高的檢測(cè)成功率； 步驟C、使用訓(xùn)練得到的分類(lèi)器對(duì)圖像中五指張開(kāi)和握拳兩種手勢(shì)進(jìn)行檢測(cè)，在成功找到人手區(qū)域后，記錄下人手區(qū)域所在的矩形位置信息，其左上角為(X(i, y0),寬為w,高為h ;設(shè)定該矩形區(qū)域?yàn)楦信d趣區(qū)域，同時(shí)得到人手的中心位置點(diǎn)U。，y。)，其中Xc=X(l+0.5*w,yd+0.5 *h,記錄人手的中心位置點(diǎn)，作為用戶(hù)開(kāi)始控制的初始位置，以確定初始位置點(diǎn)，并初始化圓環(huán)控制區(qū)域。
3.根據(jù)權(quán)利要求1所述的基于距離向量的空中手勢(shì)漫游控制方法，其特征在于，所述步驟三包括以下步驟: 步驟1、根據(jù)膚色樣本分析，人手膚色在YCrCb顏色空間具有很好的聚類(lèi)性，除去亮度Y的影響，膚色的Cr和Cb通道都集中在一小塊橢圓區(qū)域內(nèi)，YCrCb顏色空間與RGB顏色空間的轉(zhuǎn)換關(guān)系如下:
Y=0.257R+0.504G+0.098B+16,
Cb=-0.148R-0.219G+0.439B+128,
Cr=0.439R-0.368G-0.071B+128, 根據(jù)人手膚色樣本集分析，人手膚色Cr、Cb通道的閾值:
Thres (Cb, Cr) = {Cb, Cr | 95〈Cb〈139, 122〈Cr〈167}， 其中，Thres (Cb, Cr)表示閾值；步驟I1、把視頻序列中得到的RGB圖像先轉(zhuǎn)換為YCrCb顏色空間上的圖像，再利用閾值Thres(Cb1Cr)對(duì)圖像進(jìn)行膚色分割，得到膚色的二值圖像，即:

4.根據(jù)權(quán)利要求1所述的基于距離向量的空中手勢(shì)漫游控制方法，其特征在于，所述步驟四中，對(duì)在感興趣區(qū)域內(nèi)對(duì)相鄰兩幀的圖像進(jìn)行差分操作的操作方法為:設(shè)It為當(dāng)前幀圖像，It^1為前一幀圖像，計(jì)算得到兩幀圖像的差分結(jié)果，并對(duì)差分結(jié)果作二值化處理，即:
5.根據(jù)權(quán)利要求1所述的基于距離向量的空中手勢(shì)漫游控制方法，其特征在于，所述步驟五中，把由步驟三和步驟四中得到的人手膚色信息和運(yùn)動(dòng)信息相結(jié)合，即取兩者并集，在感興趣區(qū)域內(nèi)得到一個(gè)去除背景噪聲干擾，描述人手信息的二值圖像I，由零階矩和二一階矩計(jì)算圖像I中的目標(biāo)的質(zhì)心;零階矩即為圖像像素值的總和:
6.根據(jù)權(quán)利要求1所述的基于距離向量的空中手勢(shì)漫游控制方法，其特征在于，所述步驟六中，確定界面中的手勢(shì)運(yùn)動(dòng)方向和運(yùn)動(dòng)速率的方法為:對(duì)人手跟蹤所得位置結(jié)果進(jìn)行映射，并由所述步驟五得到的當(dāng)前幀手勢(shì)的坐標(biāo)信息(x，y)和所述步驟二得到的初始中心位置點(diǎn)m的距離大小，根據(jù)距離和速率的比例關(guān)系，確定界面中手勢(shì)的移動(dòng)速率；同時(shí)，根據(jù)初始位置和當(dāng)前手勢(shì)所在位置的向量方向確定界面中手勢(shì)的移動(dòng)方向。
【文檔編號(hào)】G06K9/46GK103793056SQ201410038474
【公開(kāi)日】2014年5月14日 申請(qǐng)日期:2014年1月26日 優(yōu)先權(quán)日:2014年1月26日
【發(fā)明者】徐向民, 邱福浩 申請(qǐng)人:華南理工大學(xué)