專(zhuān)利名稱：一種手勢(shì)識(shí)別的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計(jì)算機(jī)視覺(jué)技術(shù)領(lǐng)域，尤其涉及一種手勢(shì)識(shí)別的方法。
背景技術(shù)：
計(jì)算機(jī)視覺(jué)是使用計(jì)算機(jī)及相關(guān)設(shè)備對(duì)生物視覺(jué)的一種模擬。它的主要任務(wù)就是 通過(guò)對(duì)采集的圖片或視頻進(jìn)行處理以獲得相應(yīng)場(chǎng)景的三維信息，就像人類(lèi)和許多其他類(lèi)生 物每天所做的那樣。計(jì)算機(jī)視覺(jué)識(shí)別從狹義來(lái)說(shuō)是對(duì)一個(gè)或多個(gè)經(jīng)過(guò)預(yù)先定義或?qū)W習(xí)的物 體或物類(lèi)進(jìn)行辨識(shí)，通常在辨識(shí)過(guò)程中還要提供他們的二維位置或三維姿態(tài)。計(jì)算機(jī)視覺(jué)在日常生活中應(yīng)用越來(lái)越廣，而手勢(shì)識(shí)別是其中很重要的一個(gè)環(huán)節(jié)， 很多應(yīng)用都是基于手勢(shì)識(shí)別而開(kāi)發(fā)的。在計(jì)算機(jī)視覺(jué)中，物體追蹤大多基于直方圖，通過(guò)對(duì) 被追蹤物體計(jì)算直方圖，然后實(shí)現(xiàn)追蹤。但是這種追蹤方法的一個(gè)最大弊端就是智能化不 足，必須通過(guò)手動(dòng)先選擇被追蹤物體，因而在應(yīng)用上也大打折扣，不能很好進(jìn)行應(yīng)用推廣。

發(fā)明內(nèi)容
本發(fā)明的目的在于提出一種手勢(shì)識(shí)別的方法，改善了運(yùn)算量和復(fù)雜度，提高了運(yùn) 行的效率。為達(dá)此目的，本發(fā)明采用以下技術(shù)方案一種手勢(shì)識(shí)別的方法，包括以下步驟A、獲取手部圖像，轉(zhuǎn)成YCrCb空間；B、根據(jù)手部圖像每個(gè)像素點(diǎn)Y值、Cr值和Cb值，確認(rèn)膚色點(diǎn)；C、去除圖像噪聲，獲得手部目標(biāo)區(qū)域；D、根據(jù)手部目標(biāo)區(qū)域，識(shí)別手指?jìng)€(gè)數(shù)，獲取手勢(shì)；E、根據(jù)手勢(shì)的變化，確認(rèn)手勢(shì)信息。步驟B中，像素點(diǎn)Y值、Cr值和Cb值滿足以下公式，則確認(rèn)是膚色點(diǎn)0 彡 Y 彡 255，133 ^ Cr ^ 173,77 ^ Cb ^ 127。如果像素點(diǎn)是膚色點(diǎn)，則將所述像素點(diǎn)的值設(shè)為OxfT，否則設(shè)為0x00。步驟C進(jìn)一步包括以下步驟對(duì)圖像進(jìn)行圖像金字塔處理和形態(tài)學(xué)操作；對(duì)圖像進(jìn)行平滑處理和閾值化處理，獲得手部目標(biāo)區(qū)域。步驟D進(jìn)一步包括以下步驟D1、通過(guò)手部輪廓，計(jì)算凸包與凸缺陷，得到指尖與手指根部的像素坐標(biāo)；D2、設(shè)定指尖坐標(biāo)為(Xl，yi)，手指根部坐標(biāo)為(X2，y2)，求得兩點(diǎn)距離為L(zhǎng)， L= ^(X2-X1)2 +(y2 -Y1)2 ；D3、整個(gè)手部的高度為H，手指與手部水平方向的軸線夾角為θ ；D4、根據(jù)指尖與手指根部連點(diǎn)距離L、整個(gè)手部的高度H和夾角θ，判斷所述輪廓 是否為手指部分；
D5、重復(fù)上述步驟，計(jì)算整個(gè)手部輪廓中的手指?jìng)€(gè)數(shù)。步驟D4進(jìn)一步包括以下步驟D41、從手部輪廓的指尖與手指根部之間取一組坐標(biāo)點(diǎn)；D42、判斷指尖與手指根部連點(diǎn)距離L是否小于整個(gè)手部的高度H和0. 33的乘積， 如果是，則轉(zhuǎn)至步驟D43，如果否，則返回步驟D41 ；D43、判斷手指與手部水平方向的軸線夾角θ是否大于30度，如果是，則確認(rèn)是手 指部分，如果否，則轉(zhuǎn)至步驟D41。步驟E中，手指數(shù)量的不同代表不同的手勢(shì)，不同手勢(shì)代表不同的手勢(shì)信息。采用了本發(fā)明的技術(shù)方案，可以通過(guò)膚色的識(shí)別從而直接找到追蹤目標(biāo)，擴(kuò)展了 易用性和應(yīng)用范圍，改善了運(yùn)算量和復(fù)雜度，提高了運(yùn)行的效率。


圖1是本發(fā)明具體實(shí)施方式
中手勢(shì)識(shí)別的流程圖。圖2是本發(fā)明具體實(shí)施方式
中判斷手指的示意圖。
具體實(shí)施例方式下面結(jié)合附圖并通過(guò)具體實(shí)施方式
來(lái)進(jìn)一步說(shuō)明本發(fā)明的技術(shù)方案。圖1是本發(fā)明具體實(shí)施方式
中手勢(shì)識(shí)別的流程圖。如圖1所示，該手勢(shì)識(shí)別的流 程包括以下步驟步驟101、獲取手部圖像，轉(zhuǎn)成YCrCb空間。在計(jì)算機(jī)視覺(jué)中膚色的查找有很多種方法，其中基于HSV與YCrCb顏色空間的查 找效果比較好。因?yàn)檫@兩種顏色空間受環(huán)境亮度的影響是最小的，所以可以比較穩(wěn)定地在 室內(nèi)室外環(huán)境中查找到膚色區(qū)域。經(jīng)過(guò)試驗(yàn)，YCrCb顏色空間比HSV顏色空間更能清晰地 分辨膚色區(qū)域。故本具體實(shí)施方式
采取YCrCb顏色空間來(lái)進(jìn)行皮膚的檢測(cè)。YCrCb即YUV，主要用于優(yōu)化彩色視頻信號(hào)的傳輸，使其向后相容老式黑白電視。 與RGB視頻信號(hào)傳輸相比，它最大的優(yōu)點(diǎn)在于只需占用極少的頻寬(RGB要求三個(gè)獨(dú)立的視 頻信號(hào)同時(shí)傳輸)。其中“Y”表示亮度(Luminance或Luma)，也就是灰階值；而“U”和“V” 表示的則是色度(Chrominance或Chroma)，作用是描述影像色彩及飽和度，用于指定像素 的顏色?！傲炼取笔峭高^(guò)RGB輸入信號(hào)來(lái)建立的，方法是將RGB信號(hào)的特定部分疊加到一起。 “色度”則定義了顏色的兩個(gè)方面-色調(diào)與飽和度，分別用Cr和Cb來(lái)表示。其中，Cr反映 了 RGB輸入信號(hào)紅色部分與RGB信號(hào)亮度值之間的差異。而Cb反映的是RGB輸入信號(hào)藍(lán) 色部分與RGB信號(hào)亮度值之同的差異。采用YUV色彩空間的重要性是它的亮度信號(hào)Y和色 度信號(hào)U、V是分離的。如果只有Y信號(hào)分量而沒(méi)有U、V分量，那么這樣表示的圖像就是黑 白灰度圖像。彩色電視采用YUV空間正是為了用亮度信號(hào)Y解決彩色電視機(jī)與黑白電視機(jī) 的兼容問(wèn)題，使黑白電視機(jī)也能接收彩色電視信號(hào)。YUV與RGB相互轉(zhuǎn)換的公式如下(RGB取值范圍均為0_255)Y = O. 299R+0. 587G+0. 114BU = -0. 147R-0. 289G+0. 436BV = O. 615R-0. 515G-0. 100B
或者R = Y+1. 14VG = Y-0. 39U-0. 58VB = Y+2. 03U在膚色檢測(cè)中常常用到Y(jié)CrCb顏色空間，是因?yàn)橐话愕膱D像都是基于RGB空間的， 在RGB空間里膚色受亮度影響相當(dāng)大，所以膚色點(diǎn)很難從非膚色點(diǎn)中分離出來(lái)，也就是說(shuō) 在RGB空間經(jīng)過(guò)處理后，膚色點(diǎn)是離散的點(diǎn)，中間嵌有很多非膚色，這為膚色區(qū)域標(biāo)定(人 臉、人手等)帶來(lái)了難題。如果把RGB轉(zhuǎn)為YCrCb空間的話，可以忽略Y值(亮度)的影響，因?yàn)樵摽臻g受亮 度影響很小，膚色會(huì)產(chǎn)生很好的類(lèi)聚。這樣就把三維的空間將為二維的CrCb，膚色點(diǎn)會(huì)形成 一定的形狀，如人臉的話會(huì)看到一個(gè)人臉的區(qū)域，手臂的話會(huì)看到一條手臂的形態(tài)，對(duì)處 理模式識(shí)別很有好處。步驟102、根據(jù)手部圖像每個(gè)像素點(diǎn)Y值、Cr值和Cb值，確認(rèn)膚色點(diǎn)。YCrCb顏色分量中各分量根據(jù)不同膚色取值也有所差別，經(jīng)過(guò)試驗(yàn)?zāi)骋粋€(gè)像素點(diǎn) 的Cr值Cb值滿足范圍133 ^Cr ^ 173,77 ^ Cb ^ 127，那么該像素點(diǎn)被認(rèn)為是膚色點(diǎn)， 其他的就為非膚色點(diǎn)。設(shè)定CrCb的取值范圍后，通過(guò)檢查圖像中像素的灰度是否屬于設(shè)定 的范圍，如果像素點(diǎn)的值在設(shè)置值范圍內(nèi)(0<Y< 255，133<Cr<173，77<Cb<127)， 則將此像素點(diǎn)的值設(shè)為Oxff，否則設(shè)為0x00。步驟103、去除圖像噪聲，獲得手部目標(biāo)區(qū)域。對(duì)圖像進(jìn)行圖像金字塔處理和形態(tài) 學(xué)操作；對(duì)圖像進(jìn)行平滑處理和閾值化處理，獲得手部目標(biāo)區(qū)域。通過(guò)YCrCb顏色空間找到目標(biāo)區(qū)域后。下一步進(jìn)行的操作就是將目標(biāo)更明顯的顯 示出來(lái)。經(jīng)過(guò)膚色分辨處理后的圖片是一幅8位單通道的圖像，此時(shí)的圖像除了需要的目 標(biāo)區(qū)域外，還有很多經(jīng)過(guò)顏色分量處理后留下來(lái)的點(diǎn)，稱之為圖像噪聲。處理圖像噪聲一般的方法是先進(jìn)行平滑處理，閾值化，再進(jìn)行一些形態(tài)學(xué)的操作。 本具體實(shí)施方式
中，對(duì)圖像進(jìn)行圖像金字塔處理和形態(tài)學(xué)操作后，再進(jìn)行平滑處理和閾值 化處理。步驟104、根據(jù)手部目標(biāo)區(qū)域，識(shí)別手指?jìng)€(gè)數(shù)，獲取手勢(shì)。經(jīng)過(guò)以上步驟操作后，可以得到一個(gè)輪廓比較分明的手部圖像，接下來(lái)需要進(jìn)行 的操作是對(duì)手的各種手勢(shì)進(jìn)行判斷。手部的識(shí)別有很多種方法，比較常用的是通過(guò)機(jī)器學(xué) 習(xí)，分析記錄大量的手部特征，然后再進(jìn)行識(shí)別。這種方法的優(yōu)點(diǎn)是對(duì)手勢(shì)的判斷比較準(zhǔn) 確。但這種方法也有一個(gè)弊端，就是必須采集足夠多的手部姿態(tài)樣品，而且由于不同人的手 部由于大小或者其他一些原因也不盡相同，所以在通用性和運(yùn)行效率上都有一定的限制。 本具體實(shí)施方式
通過(guò)另外一個(gè)方法，即通過(guò)對(duì)手指?jìng)€(gè)數(shù)進(jìn)行識(shí)別，最終達(dá)到手勢(shì)識(shí)別的效 果。這種創(chuàng)新的識(shí)別手勢(shì)的方法，相比一般的通過(guò)機(jī)器學(xué)習(xí)方法進(jìn)行的手勢(shì)識(shí)別在運(yùn)算量 和復(fù)雜度都有了很大改善。手指的特點(diǎn)是各個(gè)手指高低不一，而且一個(gè)手指到另外一個(gè)手指必須經(jīng)過(guò)從手指 頂部即指尖到手指根部這樣類(lèi)似從山峰到山谷的過(guò)程。所以查找手指的關(guān)鍵點(diǎn)就是找出 “山峰”和“山谷”，即手指尖與手指根部。
通過(guò)前面說(shuō)到的一些預(yù)處理已經(jīng)確定了手部區(qū)域，接著對(duì)該區(qū)域進(jìn)行輪廓檢測(cè)， 由于手部在圖像區(qū)域中占據(jù)比較大的面積，所以即使在查找輪廓過(guò)程中發(fā)現(xiàn)其他一些干擾 的輪廓，也可以比較容易的排除掉。下面介紹如何計(jì)算手指的方法。通過(guò)手部輪廓，計(jì)算其凸包與凸缺陷?？梢缘玫?指尖與手指根部的像素坐標(biāo)。設(shè)定指尖坐標(biāo)為(XI，yl)，手指根部坐標(biāo)為(x2，y2)，求得兩
點(diǎn)距離為Ul=^X2-X1J2+(Y2-Y1)2。整個(gè)手部的高度為H。手指與手部水平方向的軸線夾 角為θ。對(duì)L與H，以及夾角θ的判斷，可以判斷該輪廓為手指部分。圖2是本發(fā)明具體實(shí) 施方式中判斷手指的示意圖。如圖2所示，首先從手部輪廓的指尖與手指根部之間取一組 坐標(biāo)點(diǎn)，通過(guò)遍歷這條輪廓線上所有的點(diǎn)，判斷相鄰幾個(gè)點(diǎn)組成的直線的斜率變化的幅度 可以確定出輪廓中的凸點(diǎn)和凹點(diǎn)，取點(diǎn)的原理是，輪廓線上相鄰點(diǎn)各自組成直線，每條直線 都有自己的斜率，當(dāng)斜率發(fā)生突變時(shí)，即表示一個(gè)凸點(diǎn)或凹點(diǎn)出現(xiàn)。判斷指尖與手指根部連點(diǎn)距離L是否小于整個(gè)手部的高度H和0. 33的乘積，如果 不小于，則再取一組坐標(biāo)點(diǎn)判斷。如果小于，再判斷手指與手部水平方向的軸線夾角θ是否大于30度，如果大于30 度，則確認(rèn)是手指部分，如果不大于30度，則再取一組坐標(biāo)點(diǎn)判斷。 以此類(lèi)推則可以計(jì)算整個(gè)輪廓中的手指?jìng)€(gè)數(shù)。步驟105、根據(jù)手勢(shì)的變化，確認(rèn)手勢(shì)信息。手指數(shù)量的不同代表不同的手勢(shì)，不同 手勢(shì)代表不同的手勢(shì)信息。通過(guò)手指?jìng)€(gè)數(shù)的識(shí)別可以做出多種不同的判斷。握緊拳頭的時(shí)候，手指?jìng)€(gè)數(shù)為零； 當(dāng)張開(kāi)手掌同時(shí)五指張開(kāi)的時(shí)候，手指?jìng)€(gè)數(shù)為五。手指?jìng)€(gè)數(shù)可以從零到五，可以發(fā)出至少五 種不同指令。對(duì)于一些比較簡(jiǎn)單的交換應(yīng)用是已經(jīng)足夠了的。例如根據(jù)本具體實(shí)施方式
提 到的手勢(shì)識(shí)別與跟蹤方法開(kāi)發(fā)的一個(gè)手勢(shì)瀏覽圖片的人機(jī)交互程序，手部的運(yùn)動(dòng)控制圖片 移動(dòng)的方向(從左到右或從右到左)。當(dāng)判斷手指?jìng)€(gè)數(shù)從零變?yōu)槲鍟r(shí)，即從握緊拳頭到張開(kāi) 五指的過(guò)程，發(fā)出“確定”指令，從圖片列表瀏覽模式進(jìn)入到單圖瀏覽模式；當(dāng)判斷手指?jìng)€(gè)數(shù) 從五變?yōu)榱銜r(shí)，即從張開(kāi)五指到握緊拳頭的過(guò)程，發(fā)出“退出”指令，此時(shí)從單圖瀏覽模式退 出到圖片列表瀏覽模式。以上所述，僅為本發(fā)明較佳的具體實(shí)施方式
，但本發(fā)明的保護(hù)范圍并不局限于此， 任何熟悉該技術(shù)的人在本發(fā)明所揭露的技術(shù)范圍內(nèi)，可輕易想到的變化或替換，都應(yīng)涵蓋 在本發(fā)明的保護(hù)范圍之內(nèi)。因此，本發(fā)明的保護(hù)范圍應(yīng)該以權(quán)利要求的保護(hù)范圍為準(zhǔn)。
權(quán)利要求
1.一種手勢(shì)識(shí)別的方法，其特征在于，包括以下步驟A、獲取手部圖像，轉(zhuǎn)成YCrCb空間；B、根據(jù)手部圖像每個(gè)像素點(diǎn)Y值、Cr值和Cb值，確認(rèn)膚色點(diǎn)；C、去除圖像噪聲，獲得手部目標(biāo)區(qū)域；D、根據(jù)手部目標(biāo)區(qū)域，識(shí)別手指?jìng)€(gè)數(shù)，獲取手勢(shì)；E、根據(jù)手勢(shì)的變化，確認(rèn)手勢(shì)信息。
2.根據(jù)權(quán)利要求1所述的一種手勢(shì)識(shí)別的方法，其特征在于，步驟B中，像素點(diǎn)Y值、 Cr值和Cb值滿足以下公式，則確認(rèn)是膚色點(diǎn)0 彡 Y 彡 255，133 ^ Cr ^ 173，77 ^ Cb ^ 127。
3.根據(jù)權(quán)利要求2所述的一種手勢(shì)識(shí)別的方法，其特征在于，如果像素點(diǎn)是膚色點(diǎn)，則 將所述像素點(diǎn)的值設(shè)為Oxff，否則設(shè)為0x00。
4.根據(jù)權(quán)利要求1所述的一種手勢(shì)識(shí)別的方法，其特征在于，步驟C進(jìn)一步包括以下步驟對(duì)圖像進(jìn)行圖像金字塔處理和形態(tài)學(xué)操作； 對(duì)圖像進(jìn)行平滑處理和閾值化處理，獲得手部目標(biāo)區(qū)域。
5.根據(jù)權(quán)利要求1所述的一種手勢(shì)識(shí)別的方法，其特征在于，步驟D進(jìn)一步包括以下步驟D1、通過(guò)手部輪廓，計(jì)算凸包與凸缺陷，得到指尖與手指根部的像素坐標(biāo)； D2、設(shè)定指尖坐標(biāo)為(Xl，yi)，手指根部坐標(biāo)為U2，y2)，求得兩點(diǎn)距離為L(zhǎng)， L= ^(X2-X1)2 +(y2 -Y1)2 ；D3、獲取整個(gè)手部的高度為H，手指與手部水平方向的軸線夾角為θ ； D4、根據(jù)指尖與手指根部連點(diǎn)距離L、整個(gè)手部的高度H和夾角θ，判斷所述輪廓是否 為手指部分；D5、重復(fù)上述步驟，計(jì)算整個(gè)手部輪廓中的手指?jìng)€(gè)數(shù)。
6.根據(jù)權(quán)利要求5所述的一種手勢(shì)識(shí)別的方法，其特征在于，步驟D4進(jìn)一步包括以下 步驟D41、從手部輪廓的指尖與手指根部之間取一組坐標(biāo)點(diǎn)；D42、判斷指尖與手指根部連點(diǎn)距離L是否小于整個(gè)手部的高度H和0. 33的乘積，如果 是，則轉(zhuǎn)至步驟D43，如果否，則返回步驟D41 ；D43、判斷手指與手部水平方向的軸線夾角θ是否大于30度，如果是，則確認(rèn)是手指部 分，如果否，則轉(zhuǎn)至步驟D41。
7.根據(jù)權(quán)利要求6所述的一種手勢(shì)識(shí)別的方法，其特征在于，步驟E中，手指數(shù)量的不 同代表不同的手勢(shì)，不同手勢(shì)代表不同的手勢(shì)信息。
全文摘要
本發(fā)明公開(kāi)了一種手勢(shì)識(shí)別的方法，獲取手部圖像，轉(zhuǎn)成YCrCb空間，根據(jù)手部圖像每個(gè)像素點(diǎn)Y值、Cr值和Cb值，確認(rèn)膚色點(diǎn)，去除圖像噪聲，獲得手部目標(biāo)區(qū)域，根據(jù)手部目標(biāo)區(qū)域，識(shí)別手指?jìng)€(gè)數(shù)，獲取手勢(shì)，根據(jù)手勢(shì)的變化，確認(rèn)手勢(shì)信息。采用了本發(fā)明的技術(shù)方案，可以通過(guò)膚色的識(shí)別從而直接找到追蹤目標(biāo)，擴(kuò)展了易用性和應(yīng)用范圍，改善了運(yùn)算量和復(fù)雜度，提高了運(yùn)行的效率。
文檔編號(hào)G06K9/00GK102142084SQ20111011719
公開(kāi)日2011年8月3日 申請(qǐng)日期2011年5月6日 優(yōu)先權(quán)日2011年5月6日
發(fā)明者黎鋒 申請(qǐng)人:北京網(wǎng)尚數(shù)字電影院線有限公司