專利名稱：一種基于分類特征的手部動(dòng)作識(shí)別信息處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種計(jì)算機(jī)的動(dòng)作識(shí)別信息處理方法，尤其是涉及一種基于分類特征的手部動(dòng)作識(shí)別信息處理方法。
背景技術(shù)：
人體手部動(dòng)作識(shí)別很有前景的潛在應(yīng)用之一是高級(jí)人機(jī)交互。在智能化的環(huán)境中，用戶不需要鍵盤和鼠標(biāo)，就可以進(jìn)行用戶和機(jī)器人之間的交互，這就要求機(jī)器人能夠理解人的意圖，達(dá)到擬人交流的效果。手勢(shì)識(shí)別目前有很多方式，大部分方法是基于對(duì)手勢(shì)的建模，主要的建模方式有基于人手表示的三維人手跟蹤建模和基于先驗(yàn)?zāi)Ｐ偷娜S人手跟蹤建模。基于表示的方法要求預(yù)先定義一組手勢(shì)集，從每個(gè)手勢(shì)中提取唯一的手勢(shì)描述子，通過從圖像特征空間到手勢(shì)空間的映射直接得到手勢(shì)的估計(jì)。而基于模型的方法則根據(jù)靜止的三維手模型來識(shí)別手勢(shì)，把被投影的3D模型與被觀察到的圖像特征進(jìn)行匹配而恢復(fù)手的狀態(tài)，最后得到手的 3D形狀。

發(fā)明內(nèi)容
本發(fā)明的目的就是為了克服上述現(xiàn)有技術(shù)存在的缺陷而提供一種簡(jiǎn)單、實(shí)用，對(duì)于動(dòng)作過程非相似的動(dòng)作識(shí)別率較高的基于分類特征的手部動(dòng)作識(shí)別信息處理方法。本發(fā)明的目的可以通過以下技術(shù)方案來實(shí)現(xiàn)一種基于分類特征的手部動(dòng)作識(shí)別信息處理方法，其特征在于，包括以下步驟1)對(duì)手部區(qū)域進(jìn)行檢測(cè)及分割處理；2)根據(jù)步驟1)處理后的數(shù)據(jù)建立人體上肢關(guān)節(jié)模型；3)根據(jù)步驟2、的人體上肢關(guān)節(jié)模型，對(duì)手部的角度參數(shù)和直線參數(shù)進(jìn)行特征提取，組成特征向量并利用HMM模型對(duì)其進(jìn)行訓(xùn)練，利用訓(xùn)練好的HMM模型對(duì)新的特征向量進(jìn)行識(shí)別；4)判斷識(shí)別結(jié)果是否正確，若為是，將識(shí)別結(jié)果輸出，若為否，返回步驟1)。所述的步驟1)對(duì)手部區(qū)域進(jìn)行檢測(cè)及分割處理的步驟如下1)攝像頭開啟，獲取圖像；2)判斷是否獲取成功，若為是，執(zhí)行步驟3)，若為否，返回步驟1)；3)對(duì)獲取的圖像進(jìn)行預(yù)處理；4)采用基于自適應(yīng)混合高斯模型來建立背景，并采用背景減除法獲得人體手部運(yùn)動(dòng)目標(biāo)，同時(shí)對(duì)當(dāng)前幀圖像進(jìn)行膚色分割，提取出手部膚色區(qū)域以及人臉區(qū)域并對(duì)這些區(qū)域進(jìn)行標(biāo)記；5)將手部運(yùn)動(dòng)目標(biāo)和手部膚色區(qū)域融合后，并通過背景減除法分割出手部運(yùn)動(dòng)目標(biāo)與膚色區(qū)的圖像。所述的步驟2~)中的建立人體上肢關(guān)節(jié)模型步驟如下
對(duì)獲得的手部運(yùn)動(dòng)目標(biāo)與膚色區(qū)的圖像進(jìn)行二值化，然后利用人體膚色模型得到人體的手掌、手臂、臉部區(qū)域；獲得的手掌、手臂、臉部區(qū)域以后，由于頭部區(qū)域僅僅是起到輔助的作用，不需要得到非常精確的頭部邊緣，假設(shè)人體的臉部為圓形，計(jì)算其質(zhì)心所在位置，利用人體頭部質(zhì)心位置近似估計(jì)人體肩部位置，如果用戶臉部朝向攝像頭，操作者的肩部位置離頭部質(zhì)心
處是一個(gè)固定值，假設(shè)人體頭部半徑為R，則R的值近似為λ/^，如果頭部的質(zhì)心位置為
V π
(x，y)，則左肩部位置為(x-r · Φ，y+r)，其中0 = (l + VJ)/2，左肩部的χ坐標(biāo)即為x+r · Φ ； 同理根據(jù)對(duì)稱性可知右肩部坐標(biāo)位置；使用曲率的峰值來決定手指的位置，而肘部位置則源自于指尖和肩部最大距離的連線，由于人類的骨骼的長(zhǎng)度有比較一致的比例關(guān)系，所以前臂與后臂的長(zhǎng)度的比例關(guān)系是恒定的，肘關(guān)節(jié)在以肩為圓心，以后臂的長(zhǎng)度為半徑在一定的區(qū)域內(nèi)運(yùn)動(dòng)，對(duì)應(yīng)關(guān)系如下x2+y2+z2 = r2(1)ζ2 = r2-(x2+y2)(2)在二維平面坐標(biāo)系中x2+y2長(zhǎng)度即為前臂的長(zhǎng)度L，則上式可寫成z2 = r2_L2，假定用戶正面面向攝像頭，在實(shí)際的空間坐標(biāo)系中，空間上的一個(gè)點(diǎn)(X，1, ζ)在圖像平面坐標(biāo)為(x’，y’)，其中x’ = (f/z)x,y' = (f/z)y，而f的長(zhǎng)度是固定的，利用以上獲得的參數(shù)以及端點(diǎn)固定的關(guān)節(jié)模型及其對(duì)應(yīng)的方程組，以估計(jì)各個(gè)關(guān)節(jié)點(diǎn)的3D坐標(biāo)，建立人體上肢關(guān)節(jié)模型。所述的步驟3)中的對(duì)獲取的圖像進(jìn)行預(yù)處理過程如下首先將RGB空間的圖像變換到Y(jié)CbCr空間，利用YCbCr色彩空間亮度和色度分離的性質(zhì)在一定程度上克服光照干擾， 再使用中值濾波和線性平滑濾波對(duì)手區(qū)域二值圖進(jìn)行去噪，其中YCbCr是DVD、攝像機(jī)、數(shù)字電視等消費(fèi)類視頻產(chǎn)品中，常用的色彩編碼方案，YCbCr其中Y是指亮度分量，Cb指藍(lán)色色度分量，而Cr指紅色色度分量。所述的3)中的利用HMM模型對(duì)其進(jìn)行訓(xùn)練過程如下每個(gè)手部動(dòng)作采集N組樣本，而每組樣本包括M張圖像使用HMM模型進(jìn)行訓(xùn)練，訓(xùn)練過程如下首先要對(duì)左右結(jié)構(gòu)的離散HMM模型λ = (Α, B, π )初始化，并設(shè)定狀態(tài)i只能返回到本身或轉(zhuǎn)移到i+Ι狀態(tài)，狀態(tài)轉(zhuǎn)移矩陣初始化為
權(quán)利要求
1.一種基于分類特征的手部動(dòng)作識(shí)別信息處理方法，其特征在于，包括以下步驟1)對(duì)手部區(qū)域進(jìn)行檢測(cè)及分割處理；2)根據(jù)步驟1)處理后的數(shù)據(jù)建立人體上肢關(guān)節(jié)模型；3)根據(jù)步驟幻的人體上肢關(guān)節(jié)模型，對(duì)手部的角度參數(shù)和直線參數(shù)進(jìn)行特征提取，組成特征向量并利用HMM模型對(duì)其進(jìn)行訓(xùn)練，利用訓(xùn)練好的HMM模型對(duì)新的特征向量進(jìn)行識(shí)別；4)判斷識(shí)別結(jié)果是否正確，若為是，將識(shí)別結(jié)果輸出，若為否，返回步驟1)。
2.根據(jù)權(quán)利要求1所述的一種基于分類特征的手部動(dòng)作識(shí)別信息處理方法，其特征在于，所述的步驟1)對(duì)手部區(qū)域進(jìn)行檢測(cè)及分割處理的步驟如下1)攝像頭開啟，獲取圖像；2)判斷是否獲取成功，若為是，執(zhí)行步驟3)，若為否，返回步驟1)；3)對(duì)獲取的圖像進(jìn)行預(yù)處理；4)采用基于自適應(yīng)混合高斯模型來建立背景，并采用背景減除法獲得人體手部運(yùn)動(dòng)目標(biāo)，同時(shí)對(duì)當(dāng)前幀圖像進(jìn)行膚色分割，提取出手部膚色區(qū)域以及人臉區(qū)域并對(duì)這些區(qū)域進(jìn)行標(biāo)記；5)將手部運(yùn)動(dòng)目標(biāo)和手部膚色區(qū)域融合后，并通過背景減除法分割出手部運(yùn)動(dòng)目標(biāo)與膚色區(qū)的圖像。
3.根據(jù)權(quán)利要求1所述的一種基于分類特征的手部動(dòng)作識(shí)別信息處理方法，其特征在于，所述的步驟幻中的建立人體上肢關(guān)節(jié)模型步驟如下對(duì)獲得的手部運(yùn)動(dòng)目標(biāo)與膚色區(qū)的圖像進(jìn)行二值化，然后利用人體膚色模型得到人體的手掌、手臂、臉部區(qū)域；獲得的手掌、手臂、臉部區(qū)域以后，由于頭部區(qū)域僅僅是起到輔助的作用，不需要得到非常精確的頭部邊緣，假設(shè)人體的臉部為圓形，計(jì)算其質(zhì)心所在位置，利用人體頭部質(zhì)心位置近似估計(jì)人體肩部位置，如果用戶臉部朝向攝像頭，操作者的肩部位置離頭部質(zhì)心處是一個(gè)固定值，假設(shè)人體頭部半徑為R，則R的值近似為如果頭部的質(zhì)心位置為(χ，y)，則左肩部位置為(x_r · (Ky+r)，其由0 = (l + VJ)/2，左肩部的χ坐標(biāo)即為x+r· Φ ；同理根據(jù)對(duì)稱性可知右肩部坐標(biāo)位置；使用曲率的峰值來決定手指的位置，而肘部位置則源自于指尖和肩部最大距離的連線，由于人類的骨骼的長(zhǎng)度有比較一致的比例關(guān)系，所以前臂與后臂的長(zhǎng)度的比例關(guān)系是恒定的，肘關(guān)節(jié)在以肩為圓心，以后臂的長(zhǎng)度為半徑在一定的區(qū)域內(nèi)運(yùn)動(dòng)，對(duì)應(yīng)關(guān)系如下 x2+y2+z2 = r2(1)ζ2 = r2-(x2+y2)(2)在二維平面坐標(biāo)系中x2+y2長(zhǎng)度即為前臂的長(zhǎng)度L，則上式可寫成ζ2 = r2-L2，假定用戶正面面向攝像頭，在實(shí)際的空間坐標(biāo)系中，空間上的一個(gè)點(diǎn)(X，1, ζ)在圖像平面坐標(biāo)為 0^’，7’)，其中3’ = (f/z)x，y’ = (f/z)y，而f的長(zhǎng)度是固定的，利用以上獲得的參數(shù)以及端點(diǎn)固定的關(guān)節(jié)模型及其對(duì)應(yīng)的方程組，以估計(jì)各個(gè)關(guān)節(jié)點(diǎn)的3D坐標(biāo)，建立人體上肢關(guān)節(jié)模型。
4.根據(jù)權(quán)利要求2所述的一種基于分類特征的手部動(dòng)作識(shí)別信息處理方法，其特征在于，所述的步驟3)中的對(duì)獲取的圖像進(jìn)行預(yù)處理過程如下首先將RGB空間的圖像變換到 YCbCr空間，利用YCbCr色彩空間亮度和色度分離的性質(zhì)在一定程度上克服光照干擾，再使用中值濾波和線性平滑濾波對(duì)手區(qū)域二值圖進(jìn)行去噪。
5.根據(jù)權(quán)利要求1所述的一種基于分類特征的手部動(dòng)作識(shí)別信息處理方法，其特征在于，所述的3)中的利用HMM模型對(duì)其進(jìn)行訓(xùn)練過程如下每個(gè)手部動(dòng)作采集N組樣本，而每組樣本包括M張圖像使用HMM模型進(jìn)行訓(xùn)練，訓(xùn)練過程如下首先要對(duì)左右結(jié)構(gòu)的離散HMM模型λ = (Α，Β，π)初始化，并設(shè)定狀態(tài)i只能返回到本身或轉(zhuǎn)移到i+Ι狀態(tài)，狀態(tài)轉(zhuǎn)移矩陣初始化為
6.根據(jù)權(quán)利要求1所述的一種基于分類特征的手部動(dòng)作識(shí)別信息處理方法，其特征在于，所述的角度參數(shù)包括關(guān)節(jié)角度。
7.根據(jù)權(quán)利要求1所述的一種基于分類特征的手部動(dòng)作識(shí)別信息處理方法，其特征在于，所述的直線參數(shù)包括骨長(zhǎng)度、手掌尺度、臂長(zhǎng)。
全文摘要
本發(fā)明涉及一種基于分類特征的手部動(dòng)作識(shí)別信息處理方法，包括以下步驟1)對(duì)手部區(qū)域進(jìn)行檢測(cè)及分割處理；2)根據(jù)步驟1)處理后的數(shù)據(jù)建立人體上肢關(guān)節(jié)模型；3)根據(jù)步驟2)的人體上肢關(guān)節(jié)模型，對(duì)手部的角度參數(shù)和直線參數(shù)進(jìn)行特征提取，組成特征向量并利用HMM模型對(duì)其進(jìn)行訓(xùn)練，利用訓(xùn)練好的HMM模型對(duì)新的特征向量進(jìn)行識(shí)別；4)判斷識(shí)別結(jié)果是否正確，若為是，將識(shí)別結(jié)果輸出，若為否，返回步驟1)。與現(xiàn)有技術(shù)相比，本發(fā)明具有簡(jiǎn)單、實(shí)用，對(duì)于動(dòng)作過程非相似的動(dòng)作識(shí)別率較高等優(yōu)點(diǎn)。
文檔編號(hào)G06K9/66GK102567703SQ201010583370
公開日2012年7月11日 申請(qǐng)日期2010年12月10日 優(yōu)先權(quán)日2010年12月10日
發(fā)明者曾龍海, 許以君, 許華虎, 陽誠(chéng)海, 陳開 申請(qǐng)人:上海上大海潤(rùn)信息系統(tǒng)有限公司