專利名稱：基于玩家拳頭的游戲場景和角色控制方法
技術領域：
本發(fā)明涉及圖像分析與識別技術領域，特別是基于玩家拳頭的游戲 場景和角色控制方法。
背景技術：
近年來，隨著計算機技術的革新，以計算機游戲為代表的數(shù)字娛樂 產(chǎn)業(yè)飛速發(fā)展。作為一類特殊的應用軟件，計算機游戲通過向游戲用戶 提供一系列的菜單選項和操作指令，實現(xiàn)用戶與游戲之間的交互操作。 用于游戲的傳統(tǒng)人機交互方式有鼠標鍵盤、游戲桿及專用游戲設備等， 以手動和有線連接為主。伴隨計算機游戲種類與內(nèi)容的不斷擴展豐富， 其操作復雜性劇增，仍然僅采用傳統(tǒng)交互方式，越來越難于控制。
鼠標和鍵盤是最常用的設備，它們將用戶手的敲擊、移動轉(zhuǎn)化成電 信號并最終成為一種供系統(tǒng)響應的事件。專用游戲設備是鼠標和鍵盤在 功能上的擴展，但其原理大致相同。前者相比于后者的優(yōu)越性體現(xiàn)在操 作性上，如可玩性和方便性。
傳統(tǒng)的交互方式基本上是以事件來驅(qū)動的，這是一種低層次的交互， 因為它并不能理解游戲的內(nèi)容，所以用戶要實現(xiàn)一種有語義的控制往往 需要一系列的低層次操作。

發(fā)明內(nèi)容
為了解決傳統(tǒng)交互方式，越來越難于控制的問題，本發(fā)明的目的是 要用玩家的拳頭的姿態(tài)來取代傳統(tǒng)的鍵盤鼠標，為此，本發(fā)明提供一種 基于玩家拳頭的游戲場景和角色控制方法。
為了實現(xiàn)上述目的，本發(fā)明提出的技術方案是一種基于玩家拳頭 的游戲場景和角色控制方法，設定玩家拳頭游戲場景和玩家拳頭角色控 制命令與目標參數(shù)之間的對應關系；對特定游戲場景和角色控制命令與
目標參數(shù)之間的對應關系進行明確定義，以便實現(xiàn)后續(xù)的命令映射。其 方法步驟如下
通過統(tǒng)計的方法待檢測拳頭目標樣本進行學習，得到待檢測玩家 拳頭目標的模式；
通過圖像輸入設備進行指明該圖像是否為特定游戲場景的圖像采
集；實時捕獲圖像并進行光線校正，去噪等預處理； 對前述采集的圖像進行預處理；
在前述處理后的圖像上，利用學習到的目標模式進行拳頭檢測與跟 蹤，同時提取拳頭的空間參數(shù)信息，將提取到的參數(shù)映射成游戲控制命
根據(jù)本發(fā)明的實施例，所述的統(tǒng)計學習方法的步驟包括
(1) 獲取拳頭樣本；
(2) 統(tǒng)計學習拳頭樣本模式。
根據(jù)本發(fā)明的實施例，所述的圖像預處理步驟包括采用像素的均
值和方差來進行光線矯正。
根據(jù)本發(fā)明的實施例，所述檢測與跟蹤的步驟包括
(1) 通過學習到的拳頭模式，在經(jīng)過預處理的圖像上搜索拳頭目標;
(2) 通過對檢測到的目標進行特征分析，提取具有旋轉(zhuǎn)縮放不變性 的特征，并通過上一時刻的結果進行跟蹤校驗及預測。
根據(jù)本發(fā)明的實施例，所述的參數(shù)提取步驟包括通過對跟蹤的結
果進行分析，得到拳頭的所在位置、大小、運動方向和速度，以及雙拳 之間的相對位置關系。
根據(jù)本發(fā)明的實施例，所述游戲控制命令映射步驟包括將提取的 參數(shù)映射到預先定義好的命令集，得到游戲的控制信息。
本發(fā)明的有益效果采用玩家拳頭的游戲場景控制，就是用玩家的 拳頭的姿態(tài)來取代傳統(tǒng)的鍵盤鼠標，僅通過攝像頭拍攝玩家姿態(tài)及其運 動狀態(tài)，在計算機中進行分析和識別，并將結果轉(zhuǎn)化為游戲的控制指令， 實現(xiàn)對游戲中場景和人物的直接控制，以代替或輔助傳統(tǒng)的游戲交互方 式。由于游戲?qū)崟r性要求高，因此視頻檢測方法必需實時、魯棒。為
便于用戶使用，這種控制方法還必需易于實現(xiàn)和操作。本發(fā)明能使游戲 用戶期望能以更自然、更智能的新方式進行交互操作，如采用自身姿體 動作等，由此可使游戲更具交互性和沉浸感。隨著計算機視覺技術的發(fā) 展，應用視覺進行自然的人機交互已經(jīng)成為可能，由于攝像頭已經(jīng)成為 計算機常用的配置，這種技術的應用也就具有廣闊的前景。


圖1為本發(fā)明的基于玩家拳頭的游戲場景和角色控制方法流程圖。
圖2為采用本發(fā)明方法的游戲控制示意圖。
圖3為本發(fā)明實施例Haar特征結構。
圖4為本發(fā)明實施例拳頭上一個顯著的Haar特征。
具體實施例方式
下面將結合附圖對本發(fā)明加以詳細說明，應指出的是，所描述的實 施例僅旨在便于對本發(fā)明的理解，而對其不起任何限定作用。
根據(jù)本發(fā)明的圖1所示，為本發(fā)明的基于玩家拳頭的游戲場景和角 色控制方法流程圖，圖2基于玩家拳頭的游戲場景和角色控制方法的游 戲控制示意圖，圖1中所示具體實施步驟如下-
(1) 獲取幀圖像通過高速圖像捕獲模塊從圖象輸入設備獲取實時
圖像；
(2) 基于統(tǒng)計的目標檢測考慮到算法的簡便性與魯棒性的要求，
設計了基于統(tǒng)計學習的檢測方法，另外通過對亮度的分析補償，從而盡
可能的消除光照變化的影響；
(3) 目標跟蹤通過對檢測到的目標進行特征分析，提取出具有旋 轉(zhuǎn)縮放不變性的特征，并通過上一時刻的結果進行跟蹤校驗及預測；
(4) 參數(shù)提取與轉(zhuǎn)換通過對拳頭的跟蹤，提取拳頭的空間參數(shù)信 息，并利用預先定義好的命令集進行映射轉(zhuǎn)換，得到游戲的控制信息；
本發(fā)明實現(xiàn)方法需要的硬件為計算機及圖像釆集設備。 所述的角色即游戲中主要對象，如玩家控制的人物，車輛等；游戲
場景即隨著游戲角色的行為而做出相應變化的對象，如背景，非玩家控
制人物等；拳頭角色即玩家用拳頭來控制其行為的角色；拳頭角色的控 制命令即控制角色行為的指令，這個行為的性質(zhì)、方向、程度等特征由
目標參數(shù)來描述。
首先要設置一個控制命令集合，并且每個命令對應于一個或幾個目 標參數(shù)。因為控制命令的不同，這個目標參數(shù)可能是離散的狀態(tài)量，也 可是連續(xù)的數(shù)值。
設置好上述映射關系后，由圖像采集設備采集包括玩家拳頭的圖像 到計算機，然后進行圖像預處理，再用檢測與跟蹤拳頭，描述提取目標 參數(shù)，最好將這些目標參數(shù)映射到控制命令上用于控制拳頭角色及游戲 場景。
所述的統(tǒng)計學習方法的步驟包括(1)獲取拳頭樣本；(2)統(tǒng)計學
習拳頭模式。其描述方法的是用統(tǒng)計學習方法學習拳頭模式。
拳頭樣本庫的制作。拳頭樣本庫包含正樣本庫和負樣本庫。用圖像 采集設備釆集多個人分別在不同的光線，不同的背景下的多個姿態(tài)的拳 頭圖片若干，然后手工剪裁出只包含一個拳頭(不區(qū)分左右手拳頭)的 區(qū)域，放縮到同一個尺寸下，再用進行預處理。這樣就獲得了可直接用 于統(tǒng)計學習的拳頭正樣本庫。負樣本庫的單個樣本不包含拳頭或包括拳 頭但不只一個。正樣本庫是事先制作好的，是固定的，而負樣本是的統(tǒng) 計學習過程中生成的，是變化的。
用于學習拳頭模式的統(tǒng)計學習方法是Adaboost算法。 Adaboost意為Adaptive Boost,是AT&T實驗室提出的一種自提升 Boosting算法。它通過調(diào)用弱學習器不斷學習訓練樣本中的難學習的樣 本，從而達到較高的泛化精度。
基于Adaboost的拳頭檢測算法是一種統(tǒng)計學習算法，它通過對Haar 特征的統(tǒng)計來判別是不是拳頭。如圖3為本發(fā)明實施例Haar特征結構所 示Haar特征是Haar小波變化而來。它們通過相鄰區(qū)域的灰度差，也 就是亮度關系，描述目標。拳頭可以通過若干這樣的Haar特征來描述。 其物理意義是十分明確的，如圖4為本發(fā)明實施例拳頭上一個顯著的 Haar特征所示中間區(qū)域的應該比兩側(cè)區(qū)域暗，只要能找到足夠多這樣的特征，就能將拳頭和非拳頭分開。
AdaBoost算法的主要過程是首先給樣本集合，然后對該樣本集合 進行循環(huán)操作，每次循環(huán)首先得到一個弱分類(即weak learning),然后 計算該假設的錯誤率，根據(jù)該錯誤率改變每個例子的權重進入下一個循 環(huán)，若干個弱分類組成強分器。其具體過程如下 Adaboost算法流程
給定樣本(^力)，…，(Xn,凡)，對附個負樣本，X=0;對/個正樣本>;,=1， w = m + / 。
分別對負樣本正樣本初始化權w,,. = 一,+ 。
i .歸一化權。
2. 對于每一特征j，訓練出一個弱分類器、.，計算出與之對應的錯 誤率。
=ZX'i~w-力i
3. 選擇錯誤率f,最小的、。
4. 更新權，
其中，A=7^，若分類正確，e,=l，否則e,O。 卜G
最終T個弱分類器組成一個強分類器。
<formula>formula see original document page 7</formula>。
所述的圖像預處理步驟包括釆用像素的均值和方差來進行光線矯 正。具體描述拳頭圖像的預處理方法
對一幅拳頭圖像，求取整幅圖像灰度值的均值和方差。然后對于圖
像中每一個像素，將其灰度值減去均值然后除以方差得到的值作為新的 灰度值，這樣處理后的圖像就是進行光線矯正好的圖像。 所述檢測與跟蹤的步驟包括
(1) 通過學習到的拳頭模式，在經(jīng)過預處理的圖像上搜索拳頭目標；
(2) 通過對檢測到的目標進行特征分析，提取具有旋轉(zhuǎn)縮放不變性 的特征，并通過上一時刻的結果進行跟蹤校驗及預測。具體方法是
步驟(1)由拳頭模式檢測拳頭，過程如下
在拳頭可能出現(xiàn)的區(qū)域(由上一次檢測的結果預測到)內(nèi)，在不同
尺度下取候選拳頭圖片的一系列有用Haar特征(由Adaboost算法得取) 送入學習到的分類器，分類器輸出其是否為拳頭的判斷結果。
步驟(2)用步驟(1)得到的結果，預測拳頭運動范圍并修正先前對 其運動趨勢的估計。拳頭運動的方向和速度可由兩次拳頭的相對位置和 相隔時間得到。假定拳頭運動的趨勢和速度不變的情況，就可以大致估 計下次拳頭出現(xiàn)的位置。
所述的參數(shù)提取步驟包括通過對跟蹤的結果進行分析，得到拳頭 的所在位置、大小、運動方向和速度，以及雙拳的相對位置關系。是描 述提取目標參數(shù)，這些目標參數(shù)可能來源與拳頭的位置，大小是拳頭檢 測的結果，運動方向和速度是拳頭跟蹤的結果，其它參數(shù)均可以從這四 個參數(shù)中得到。
所述游戲控制命令映射步驟包括將提取的參數(shù)映射到預先定義好 的命令集，得到游戲的控制信息。具體實現(xiàn)方法是提取到的目標參數(shù) 在經(jīng)過適當?shù)奶幚砗缶涂梢杂成涞矫罴?。這里提到的適當處理是指 從游戲穩(wěn)定性的角度考慮，應該對目標參數(shù)值進行平滑處理，主要是為 了抗噪聲?？捎玫姆椒ㄓ衅骄?，卡爾曼濾波法等。
上面的描述是用于實現(xiàn)本發(fā)明及其實施例，因此，本發(fā)明的范圍不 應由該描述來限定。本領域的技術人員應該理解，在不脫離本發(fā)明的范 圍的任何修改或局部替換，均屬于本發(fā)明權利要求來限定的范圍。
權利要求
1.基于玩家拳頭的游戲場景和角色控制方法，包括如下步驟將游戲場景中玩家拳頭角色的控制命令與目標參數(shù)之間的對應關系進行映射；通過統(tǒng)計的方法對拳頭目標樣本進行學習，得到待檢測玩家拳頭目標的模式；通過圖像輸入設備采集待檢測圖像；對前述采集的圖像進行預處理；在前述處理后的圖像上，利用學習到的目標模式進行拳頭檢測與跟蹤，從而獲得拳頭的空間參數(shù)信息，將提取到的參數(shù)映射到游戲控制命令上。
2. 根據(jù)權利要求1所述的基于玩家拳頭的游戲場景和角色控制方法， 其特征在于所述的統(tǒng)計學習方法的步驟包括-(1)獲取拳頭樣本；(2)統(tǒng)計學習拳頭樣本模式。
3. 根據(jù)權利要求1所述的基于玩家拳頭的游戲場景和角色控制方法， 其特征在于所述的圖像預處理步驟包括采用像素的均值和方差來進 行光線矯正。
4. 根據(jù)權利要求1所述的基于玩家拳頭的游戲場景和角色控制方法， 其特征在于所述檢測與跟蹤的步驟包括(1) 通過學習到的拳頭模式，在經(jīng)過預處理的圖像上搜索拳頭目標;(2) 通過對檢測到的目標進行特征分析，提取具有旋轉(zhuǎn)縮放不變性 的特征，并通過上一時刻的結果進行跟蹤校驗及預測。
5. 根據(jù)權利要求1所述的基于玩家拳頭的游戲場景和角色控制方法， 其特征在于所述的參數(shù)提取步驟包括通過對跟蹤的結果進行分析， 得到拳頭的所在位置、大小、運動方向和速度，以及雙拳之間的相對位 置關系。
6. 根據(jù)權利要求1所述的基于玩家拳頭的游戲場景和角色控制方法， 其特征在于所述游戲控制命令映射步驟包括將提取的參數(shù)映射到預 先定義好的命令集，得到游戲的控制信息。
全文摘要
本發(fā)明公開一種基于玩家拳頭的游戲場景和角色控制方法，包括對從圖像輸入設備獲得的圖像進行簡單有效的預處理；通過統(tǒng)計學習方法進行拳頭的檢測、跟蹤，通過對跟蹤的結果進行分析，得到拳頭的空間參數(shù)信息，并將這些信息映射成對應的游戲控制指令，實現(xiàn)游戲場景和角色的實時控制功能。用玩家的拳頭的姿態(tài)來取代傳統(tǒng)的鍵盤鼠標，僅通過攝像頭拍攝玩家姿態(tài)及其運動狀態(tài)，計算機分析和識別，并將結果轉(zhuǎn)化為游戲的控制指令，代替或輔助傳統(tǒng)的游戲交互方式。本發(fā)明視頻檢測方法實時、魯棒、易于實現(xiàn)和操作。本發(fā)明能使游戲用戶期望能以更自然、更智能的新方式進行交互操作，如采用自身姿體動作等，由此可使游戲更具交互性和沉浸感。
文檔編號G06F19/00GK101110102SQ20061010325
公開日2008年1月23日 申請日期2006年7月20日 優(yōu)先權日2006年7月20日
發(fā)明者曾祥永, 王書昌, 王陽生, 陳宇峰, 鵬 魯 申請人:中國科學院自動化研究所