一種基于手勢識別的手勢運動基元模型結(jié)構(gòu)化方法
【專利摘要】一種基于手勢識別的手勢運動基元模型結(jié)構(gòu)化方法，包括利用視頻或圖像采集裝置獲取手勢圖像，進行預(yù)處理，將人物圖像按照輪廓、顏色、紋理分割為輪廓圖像、顏色圖像和紋理圖像；將經(jīng)過處理的輪廓圖像、顏色圖像和紋理圖像進行再合成，建立手勢圖像數(shù)據(jù)庫；基于手勢圖像數(shù)據(jù)庫中的手勢圖像，建立與手勢圖像匹配的手勢運動基元模型?；谑謩葑R別的手勢運動基元模型結(jié)構(gòu)化方法基于真人圖像建立，畫面生動真實，并且虛擬人模型靈活多變，能夠直觀、生動的方式表現(xiàn)手勢動作。
【專利說明】一種基于手勢識別的手勢運動基元模型結(jié)構(gòu)化方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及手勢動畫研究領(lǐng)域，更具體地說涉及到手勢動畫基本動作單元及其結(jié) 構(gòu)化描述研究。

【背景技術(shù)】
[0002] 語言伴隨性手勢合成是以自然語言理解為基礎(chǔ)，使用手勢作為虛擬人語言信息表 達的輔助輸出方式。已有手勢合成研究主要集中在以自然文本漢語詞與手語詞映射為基礎(chǔ) 的手語動畫合成，并未考慮語言伴隨手勢，使得虛擬人類似于機器人一樣機械運動，無法滿 足人機交互的智能性和交互性要求，在交互性和真實感方面還有可待提升。在人機交互過 程中，通過語言伴隨性手勢合成研究能夠為人機交互中手勢和語音協(xié)同表達表達提供解決 方案，提高手勢動畫的真實感，實現(xiàn)虛擬人生動、形象、直觀的視覺運動效果。
[0003] 手勢識別主要是通過分析手勢具有的各種特征實現(xiàn)對手勢的判斷，這些特征主要 包括顏色特征、文理特征、形狀特征、輪廓特征及動態(tài)手勢具有的運動特征等。目前，手勢識 別系統(tǒng)主要分為基于數(shù)據(jù)手套的識別系統(tǒng)和基于視覺的識別系統(tǒng)?；跀?shù)據(jù)手套的識別系 統(tǒng)主要通過傳感器獲取人手運動的信號，這種方式更有利于獲取手勢運動信息；然而，這些 設(shè)備價格非常昂貴而且在使用這些設(shè)備的同時往往給用戶帶來諸多不便。但是，基于視覺 的識別系統(tǒng)由于不需要價格昂貴的硬件設(shè)備，因此越來越適合人機交互技術(shù)。早期的基于 視覺的手勢識別系統(tǒng)往往需要對手勢進行標(biāo)記然后再進行圖像處理；然而，目前基于視覺 的手勢識別系統(tǒng)主要是利用手勢特征如手勢顏色、手勢形狀、手勢輪廓或其他深度信息進 行識別。基于視覺的手勢識別系統(tǒng)可以識別輸入視頻中的不同手勢，并且用這些手勢作為 計算機的人工輸入命令，并且可以建立包括有完整人物及其手勢的圖庫、并且這種手勢識 別系統(tǒng)由于設(shè)備簡單，因而使用方便有效?；谝曈X的手勢識別系統(tǒng)為人機交互提供了一 種直觀的交流方式。
[0004] 語言伴隨性手勢作為一種動作語言，是手和手臂運動的統(tǒng)一，需要計算機動畫來 實現(xiàn)具體動作。人體的外形主要有皮膚和所附著骨骼肌肉運動決定的，因此，在描述手勢動 作之前必須先建立一個靜態(tài)幾何模型，通過激活具有大量關(guān)節(jié)的復(fù)雜模型，根據(jù)決定運動 的幾個主關(guān)節(jié)的最終角度可以確定手臂運動，從而創(chuàng)建精確靈活的基本手勢動作單元一 手勢運動基元。根據(jù)伴隨語言學(xué)和統(tǒng)計學(xué)分析，基于語言連貫表達的手勢運動基元連接能 夠?qū)崿F(xiàn)的手勢和有聲語言的協(xié)同表達，提高運動合成效果和真實感。然而，目前虛擬人并非 基于真人圖像建立，不夠生動真實，并且虛擬人模型固定，無法根據(jù)環(huán)境和需要進行變換。


【發(fā)明內(nèi)容】

[0005] 本發(fā)明的目的在于克服現(xiàn)有技術(shù)的不足，提供了一種基于真人圖像建立，畫面生 動真實，并且虛擬人模型靈活多變，能夠直觀、生動的方式表現(xiàn)手勢動作的基于手勢識別的 手勢運動基元模型結(jié)構(gòu)化方法，并且云數(shù)據(jù)庫單元的使用，使得數(shù)據(jù)備份份數(shù)更多，更有保 障，利用了云計算端大的存儲容量，優(yōu)越的運算能力和更廣的數(shù)據(jù)網(wǎng)絡(luò)，功能更加強大，結(jié) 合遠(yuǎn)程客戶端，可以對數(shù)據(jù)進行自定義編輯后更新，操作和查詢更加方便，可控性更強，更 加靈活多變，適應(yīng)性更強。
[0006] 基于手勢識別的手勢運動基元模型結(jié)構(gòu)化方法，依次包括以下步驟：
[0007] (1)利用視頻或圖像采集裝置獲取一個或多個分辨率為NXM的手勢圖像，對一個 或多個手勢圖像進行預(yù)處理，將一個或多個手勢圖像中的人物圖像提取出來，刪除除了人 物圖像部分之外的背景圖像；
[0008] (2)對提取后的人物圖像進行去噪處理，消除傳輸和采集過程中的噪聲干擾，之后 將去噪后的人物圖像按照輪廓、顏色、紋理分割為輪廓圖像、顏色圖像和紋理圖像；
[0009] (3)對輪廓圖像進行修正，進行平滑處理；
[0010] (4)將顏色圖像按照RGB圖像的R、G、B三個分量通道進行分解，分別將三個分量 通道中的每一個像素與其鄰近的8個像素構(gòu)成3 X 3的像素塊，按照如下公式分別得到處理 后的每一個像素分別對應(yīng)的R、G、B三個分量的值：

【權(quán)利要求】
1. 一種基于手勢識別的手勢運動基元模型結(jié)構(gòu)化方法，其特征在于，依次包括以下步 驟： (1) 利用視頻或圖像采集裝置獲取一個或多個分辨率為NXM的手勢圖像，對一個或多 個手勢圖像進行預(yù)處理，將一個或多個手勢圖像中的人物圖像提取出來，刪除除了人物圖 像部分之外的背景圖像； (2) 對提取后的人物圖像進行去噪處理，消除傳輸和采集過程中的噪聲干擾，之后將去 噪后的人物圖像按照輪廓、顏色、紋理分割為輪廓圖像、顏色圖像和紋理圖像； (3) 對輪廓圖像進行修正，進行平滑處理； (4) 將顏色圖像按照RGB圖像的R、G、B三個分量通道進行分解，分別將三個分量通道 中的每一個像素與其鄰近的8個像素構(gòu)成3 X 3的像素塊，按照如下公式分別得到處理后的 每一個像素分別對應(yīng)的R、G、B三個分量的值： - 4
J Pij (R)、Pij (G)、Pij⑶分別為經(jīng)過處理后的R、G、B三個分量通道中的像素值，Pij為R、 G、B三個分量通道中對應(yīng)第i行、第j列的像素值，其中i = 1，2, ...，N，j = 1，2, (5) 將經(jīng)過處理后的R、G、B三個分量通道中的像素值進行分配，合成經(jīng)過處理后的顏 色圖像； (6) 對紋理圖像進行修正，進行平滑處理； (7) 將經(jīng)過處理的輪廓圖像、顏色圖像和紋理圖像進行再合成，建立手勢圖像數(shù)據(jù)庫； (8) 基于手勢圖像數(shù)據(jù)庫中的手勢圖像，按照身體的生理結(jié)構(gòu)以及各個關(guān)節(jié)運動時的 約束關(guān)系，以關(guān)鍵幀的方式建立手勢動作的基本單位，并且描述所述基本單位的時序變化 信息，建立與手勢圖像匹配的手勢運動基元模型； (9) 將手勢運動基元模型和圖像數(shù)據(jù)庫中的手勢圖像對應(yīng)合成，建立虛擬人數(shù)據(jù)庫； (10) 將虛擬人數(shù)據(jù)庫中的數(shù)據(jù)上傳至云數(shù)據(jù)庫單元，所述云數(shù)據(jù)庫單元將接收到的數(shù) 據(jù)存儲后作為備份數(shù)據(jù)，供遠(yuǎn)程客戶端下載；遠(yuǎn)程客戶端下載云數(shù)據(jù)庫單元中存儲的數(shù)據(jù)， 進行自定義編輯，將自定義編輯后的數(shù)據(jù)回傳至虛擬人數(shù)據(jù)庫，對虛擬人數(shù)據(jù)庫中的數(shù)據(jù) 進行更新。
2. 如權(quán)利要求1所述的基于手勢識別的手勢運動基元模型結(jié)構(gòu)化方法，其特征在于： 所述步驟（9)中還包括將虛擬人手勢動作劃分為三類：指向性手勢動作、節(jié)拍性手勢動作、 描述性手勢動作。
3. 如權(quán)利要求1所述的基于手勢識別的手勢運動基元模型結(jié)構(gòu)化方法，其特征在于： 所述約束關(guān)系包括采用四元數(shù)表示關(guān)節(jié)旋轉(zhuǎn)。
4. 如權(quán)利要求1所述的基于手勢識別的手勢運動基元模型結(jié)構(gòu)化方法，其特征在于： 所述步驟（8)中以關(guān)鍵幀的方式建立手勢動作的基本單位，并且描述所述基本單位的時 序變化信息，建立與手勢圖像匹配的手勢運動基元模型步驟中，還包括為手勢運動基元 模型中的關(guān)鍵幀添加 flag標(biāo)記位，將手勢運動基元按具有時間次序關(guān)鍵幀標(biāo)注"start"， "prepare"，"achieve_goal "，"release_goal "，"end"，并且將每個手勢運動基兀分解為四 個運動時段：準(zhǔn)備階段、伸出階段、后伸出階段、恢復(fù)階段。
【文檔編號】G06K9/00GK104376309SQ201410706278
【公開日】2015年2月25日 申請日期:2014年11月27日 優(yōu)先權(quán)日:2014年11月27日
【發(fā)明者】韓慧健, 劉崢, 梁秀霞, 賈可亮, 張銳, 其他發(fā)明人請求不公開姓名 申請人:韓慧健