基于手臂肌肉電流檢測和運動傳感器的手勢識別設(shè)備的制作方法
【專利摘要】基于手臂肌肉電流信號檢測和運動傳感器的手勢識別設(shè)備，作為一種機器命令輸入設(shè)備可用于任何需要人機交互的電子系統(tǒng)。本發(fā)明包括外形為可佩戴在手腕處的手環(huán)或前臂處的臂環(huán)；通過緊貼皮膚位置的一路或者多路肌肉表皮電流傳感器，提取手臂肌肉運動時產(chǎn)生的生物電流，并經(jīng)放大器電路，濾波電路，模擬數(shù)字轉(zhuǎn)換電路，實時數(shù)字信號算法處理進行手勢的特征參數(shù)提取，實現(xiàn)手勢識別。識別的手勢被映射成各種可配置的控制命令，通過藍牙或者其他方式的無線或有線傳輸方式傳遞給受控主機。本發(fā)明通過手臂肌肉電流和運動傳感器判斷手勢，實現(xiàn)一種全新的人機交互命令輸入方式。
【專利說明】基于手臂肌肉電流檢測和運動傳感器的手勢識別設(shè)備
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種新型的人機交互接口(HCI)控制輸入設(shè)備。傳統(tǒng)的人機控制輸入方法采用:手指直接操作鼠標，鍵盤，按鈕，觸摸屏等；語音識別；二維或者三維機器視覺實現(xiàn)手勢或者身體姿勢識別。很多情況下傳統(tǒng)的人機交互方法占用了太多雙手時間，且非自然和不易于操作；語音識別和機器視覺識別在一定程度上解放了雙手，但是它們受環(huán)境因素影響大，比如在嘈雜環(huán)境下，光線暗淡環(huán)境下，其檢測結(jié)果可能會非常不可靠，并且在使用過程中用戶會干擾到其他人；語音識別還有實時性差的缺點。隨著用于傳遞資訊的電子產(chǎn)品的日益豐富，人機交互的需求成指數(shù)上升，本發(fā)明提出了一種更自然和直接，且不受環(huán)境影響的人機交互方式。
[0002]佩戴在手腕或者手臂上的可穿戴設(shè)備，例如手環(huán)、臂環(huán)或者智能手表，如果具有實時檢測和識別用戶手勢的能力，通過將手勢映射成相應(yīng)的機器命令，可以很好的滿足這樣的需求。這樣的設(shè)備小巧，使用自然，不受環(huán)境影響，可為用戶提供更好的用戶體驗。
[0003]在技術(shù)上，當我們做某種手勢時，相應(yīng)的肌肉會產(chǎn)生微弱的生物電流。通過檢測肌肉電流的變化，配合運動傳感器檢測的加速度數(shù)據(jù)和角度數(shù)據(jù)，經(jīng)過實時數(shù)字信號算法處理，可以檢測出手臂、手指、手掌、手腕的運動。一種可行的方案是在手環(huán)和臂環(huán)緊貼用戶皮膚的位置上安置一路或者多路電極，通過采集、放大特定肌肉上方皮膚的表皮肌肉電流，經(jīng)過實時運算和分析，提取特征參數(shù)，實現(xiàn)相應(yīng)手勢的甄別；配合運動傳感器檢測到的在三維空間上的運動，實現(xiàn)相應(yīng)的手勢動作識別；識別后的手勢信息將被映射成各種控制命令，以實現(xiàn)類似鼠標、鍵盤、觸摸屏等傳統(tǒng)輸入設(shè)備的信息輸入功能。
【背景技術(shù)】
[0004]人類的肌肉是由大量的神經(jīng)元和肌肉纖維組成。骨骼肌由肌肉通過肌腱附著在骨骼上，運動是骨骼配合骨骼肌的收縮產(chǎn)生的?，F(xiàn)代醫(yī)學(xué)揭示運動的產(chǎn)生過程:當我們想運動或者做某個動作時，大腦通過神經(jīng)系統(tǒng)向相應(yīng)的運動神經(jīng)元發(fā)送電信號，神經(jīng)元接收到電信號后會向它周邊的肌肉纖維傳遞電信號，而肌肉纖維在接收到電信號后會收縮并將維持一定的時間。我們的神經(jīng)系統(tǒng)可以很快的調(diào)整和精確的定位電信號發(fā)射的目標，使得肌肉纖維可以被交替觸發(fā)并收縮。當我們做不同動作時，不同的肌肉或者肌肉群會被觸發(fā)。在肌肉收縮的過程中，這些交替或者疊加的電信號被稱之為肌肉生物電流(EMG，Electromyography)。通過監(jiān)測多塊肌肉的同步EMG信號，并根據(jù)通道間信號的頻率、幅度、相位、能量等信息，可以在一定程度上提取各個動作的特征參數(shù)，并通過特征參數(shù)進行甄另O。在醫(yī)學(xué)上，EMG信號可以用侵入式的探針插入到肌肉內(nèi)實現(xiàn)高精度的提取，但本發(fā)明采用非侵入性的、緊貼或吸附在肌肉上方皮膚表面的電極來提取肌肉電流信號(EMG)。在皮膚表面提取EMG信號的優(yōu)點是對用戶沒有創(chuàng)傷性，容易使用，用戶體驗好；缺點是由于肌肉內(nèi)部的電流信號需要穿越人體組織到達皮膚表面，所以最終提取到的EMG信號比較微弱，同時會混有多種干擾，對于后續(xù)的信號處理有更高的算法要求。
【發(fā)明內(nèi)容】

[0005]本發(fā)明的目的是針對傳統(tǒng)人機交互接口中信息輸入非自然和非直接的缺點，結(jié)合生物電子科技提出的一種更自然、直接和高效的新型方案。本發(fā)明的核心原理是解析手臂肌肉生物電流和手勢間的對應(yīng)關(guān)系。在實施中，采集并放大一路或者多路手臂肌肉生物電流，加上三維運動傳感器數(shù)據(jù)，經(jīng)過實時數(shù)據(jù)處理提取手勢特征參數(shù)，實現(xiàn)手勢識別，并將識別后的手勢映射成各種機器命令，以實現(xiàn)用手勢作為信息輸入的方法。此發(fā)明可落實為佩戴和緊貼在手臂前臂處的彈性臂環(huán)，或者佩戴和緊貼在手腕處的彈性手環(huán)，也可直接集成到例如智能手表等佩戴在手臂上的設(shè)備中，通過緊貼皮膚處安置的傳感器監(jiān)測環(huán)下皮膚處的一路或者多路表皮肌肉電流，經(jīng)過實時數(shù)據(jù)運算和處理，模式匹配等算法，提取各個手勢的特征參數(shù)，到達手勢識別的目的。手勢信息或者經(jīng)過映射后的控制命令，通過有線或者無線方式傳遞到需要控制的上位機，以實現(xiàn)類似鼠標、鍵盤、觸摸屏等傳統(tǒng)輸入設(shè)備的功能，但本發(fā)明具有更優(yōu)良的用戶體驗。
【專利附圖】

【附圖說明】
[0006]基于手臂肌肉收縮和手勢，肌肉收縮和肌肉電流信號(EMG)間的關(guān)系，我們可以通過觀察并解析EMG信號獲得手勢動作的相應(yīng)特征參數(shù)信息，并且進一步應(yīng)用到手勢識別技術(shù)上。下面通過附圖和實施例，對本發(fā)明的技術(shù)方案做進一步的詳細描述。
[0007]圖1:EMG手勢識別臂環(huán)佩戴在前臂處的一種方式。
[0008]圖2 =EMG手勢識別手環(huán)佩戴在手腕處的一種方式。
[0009]圖3 =EMG手勢識別臂環(huán)或者手環(huán)主要的構(gòu)成部件。
[0010]圖4:EMG手勢識別基本算法流程。
[0011]圖5:EMG手勢識別訓(xùn)練流程。
[0012]圖6 =EMG手勢識別手環(huán)或者臂環(huán)用于控制電子游戲的實例。
【具體實施方式】
[0013]本發(fā)明在實現(xiàn)中的核心技術(shù)是如何從手臂微弱的表皮肌肉生物電流信號中找出各個手勢動作的特征參數(shù)信息，以及特征參數(shù)信息間的差異，以達到手勢識別的目的。
[0014]圖1是設(shè)備臂環(huán)(100)佩戴在前臂處的一種方式。此位置集中了大部分的手臂肌肉(102)，可以檢測到比較強的表皮肌肉電流信號，最終區(qū)別手掌、手指(103)所構(gòu)成的手勢。通過在臂環(huán)合適位置放置電極，同時在一定范圍內(nèi)限定臂環(huán)佩戴的位置和角度(101)，可以相對穩(wěn)定的檢測到算法感興趣的肌肉的電流，以簡化算法。但是按照不同的應(yīng)用和成本，選擇不同復(fù)雜度的算法，本設(shè)備可以被設(shè)計成包含限定或不限定佩戴位置。示意圖中，臂環(huán)可以在一定的位置放置一路或者多路電極(300)，運動傳感器(304)，數(shù)字信號處理器(DSP)或者中央處理器(CPU)或者專用集成芯片(305)。
[0015]圖2是設(shè)備手環(huán)(100)佩戴在手腕處的一種方式。此位置主要集中的是肌腱，對于肌肉電流信號的提取難度高，但是擁有更好的用戶體驗，在實踐中將是更佳的選擇。通過實現(xiàn)復(fù)雜度更高的算法，或者跟蹤某種類EMG的生物信號，手勢手環(huán)同樣可行。
[0016]圖3示意EMG手勢識別臂環(huán)或者手環(huán)的主要構(gòu)成部分:設(shè)備包括一路或者多路表皮EMG差分電極(300)，用于從手臂皮膚檢測出皮下肌肉的EMG信號。原則上，EMG通道越多，則后續(xù)手勢識別精度越高，但是會帶來系統(tǒng)成本、功耗、運算復(fù)雜度的上升。表皮EMG信號經(jīng)差分電極(300)后進入模擬信號放大電路(301)。從表皮采集的EMG原始信號，其振幅通常只在+/-1Omv以內(nèi)，放大電路的作用是將信號擴展到后續(xù)模擬數(shù)字轉(zhuǎn)換器(303)的有效量程，到達更細分的分辨率。經(jīng)過放大后的模擬信號，經(jīng)濾波電路(302)來濾除干擾信號和限制的頻率范圍。例如環(huán)境中50/60HZ的交流電源干擾可通過設(shè)置陷波濾波器濾除。濾波電路也可以在數(shù)字化后由數(shù)字信號處理器(DSP)或者中央處理器(CPU)或?qū)Ｓ眉尚酒?305)在數(shù)字域通過數(shù)字方式實現(xiàn)。放大器電路(301)和濾波電路(302)的次序在實現(xiàn)中可能可以調(diào)換。經(jīng)過放大和濾波后的模擬信號，需要經(jīng)由模擬數(shù)字轉(zhuǎn)換器電路(303)轉(zhuǎn)換到數(shù)字領(lǐng)域，然后經(jīng)數(shù)字信號處理器(DSP)或者中央處理器(CPU)或者專用集成芯片
(305)進行分析處理，解析提取特征參數(shù)，以實現(xiàn)手勢識別。設(shè)備中可能包含運動傳感器電路(304)，用于檢測手臂的運動。設(shè)備還需要包含用于傳輸原始或者甄別后的手勢數(shù)據(jù)的有線或者無線通訊電路(306)，存放DSP或CPU程序和設(shè)置、存放手勢庫特征參數(shù)的存儲單元(307)，顯示單元(308)，喇叭(309)，振動馬達(310)，按鍵(311)，充電電池(312)，有線或者無線充電電路(313)，外殼(314)。
[0017]圖4示意的是本發(fā)明采用和設(shè)想的手勢識別基本的算法流程。安置在設(shè)備(100)上的電極將檢測到的表皮肌肉電流信號(401)通過模擬預(yù)處理電路(402)進行放大、濾波、經(jīng)過模擬數(shù)字轉(zhuǎn)換器電路轉(zhuǎn)換到數(shù)字域。數(shù)字化后的信號可通過數(shù)字預(yù)處理模塊(403 )進行更精準的數(shù)字濾波、整流等處理。其后對信號進行包含了加窗和閾值判斷電路等的分段算法(404)。分段后的信號經(jīng)過自相關(guān)參數(shù)提取算法(405)進行特征參數(shù)提取。提取出的特征參數(shù)信息通過線性判斷分析(406)，例如手勢庫模糊查詢算法，進行手勢甄別，并最終得到最高概率的手勢結(jié)果。
[0018]圖5示意的是本發(fā)明采用的手勢識別訓(xùn)練流程基本設(shè)想。訓(xùn)練流程和圖4示意的手勢識別算法流程基本一致，區(qū)別在于自相關(guān)參數(shù)提取(405)步驟后，參數(shù)被存放入手勢庫(501)。手勢訓(xùn)練需要在訓(xùn)練引導(dǎo)程序的指引下進行，并且對于同一個手勢需要做多次訓(xùn)練，以達到較優(yōu)化的提取和限定某個手勢的特征參數(shù)范圍。對于一些常用手勢，可以在出廠前預(yù)置進手勢庫。
[0019]圖6示意的是手勢識別手環(huán)或者臂環(huán)(100)應(yīng)用于實現(xiàn)電子游戲控制器的實例。它可以替代鼠標、鍵盤或游戲搖桿等控制設(shè)備控制游戲機(601)。在此示意圖中，游戲控制器只是作為一種可能應(yīng)用被描述出來，游戲機(601)作為上位機，帶有自己的電路、運算、顯示等單元。手勢識別手環(huán)或者臂環(huán)在應(yīng)用上沒有限制，它可以被應(yīng)用到任何需要輸入控制的場合，例如遙控玩具的遙控器，智能電視的遙控器等等。
[0020]最后應(yīng)說明的是，以上實施例僅用以說明本發(fā)明可能的技術(shù)方案而非限制。根據(jù)實際應(yīng)用的不同，如EMG采集通道數(shù)目的可以變化，數(shù)據(jù)可在設(shè)備內(nèi)實時處理，或原始數(shù)據(jù)上傳到上位機進行處理等等多種不同的實現(xiàn)。盡管參照較佳實施例對本發(fā)明進行了詳細說明，本領(lǐng)域的技術(shù)人員應(yīng)當理解，可以對本發(fā)明的技術(shù)方案進行修改或等同替換，而不脫離本發(fā)明技術(shù)方案的精神和范圍。
【權(quán)利要求】
1.一種用于檢測手勢的可佩戴在手臂前臂部位的臂環(huán)、或佩戴在手腕部位的手環(huán)設(shè)備，通過有線或者無線數(shù)據(jù)傳輸連接到上位機，例如個人電腦、智能手機、個人數(shù)字助理、平板電腦、智能電視、智能手表、遙控玩具等設(shè)備；在上位機中，此設(shè)備被映射成一種人機交互設(shè)備(HCI);此設(shè)備通過手臂肌肉電流信號(EMG)的變化實現(xiàn)手勢檢測并可映射成各種計算機命令，以實現(xiàn)多種控制命令輸入。
2.如權(quán)利要求1所示的臂環(huán)或手環(huán)設(shè)備，在緊貼皮膚的部位配備有一路或多路非侵入式且緊貼皮膚的表皮肌肉電流(EMG)檢測電極；設(shè)備內(nèi)部帶有模擬信號放大器電路，可以拾取和放大表皮肌肉電流，設(shè)備內(nèi)部可帶有運動傳感器電路，可以跟蹤手臂的移動；設(shè)備可具有但不限于檢測其他生命體征信息，例如脈搏(ECG)的能力。
3.如權(quán)利要求2，放大后的一路或多路肌肉電流信號在設(shè)備內(nèi)部經(jīng)過濾波電路后，由分時復(fù)用或者單個信號通道獨用的模擬數(shù)字轉(zhuǎn)換器電路轉(zhuǎn)換成數(shù)字信號，轉(zhuǎn)換后的數(shù)字信息，以及手臂在三維空間的加速度和角度信息，可經(jīng)過有線或者無線數(shù)據(jù)傳輸方式，上傳到權(quán)利要求1中列出的上位機，在上位機進行實時數(shù)據(jù)運算處理，得到相應(yīng)的手勢信息；數(shù)字信息也可直接由設(shè)備內(nèi)嵌的數(shù)字信號處理器或者中央處理器或?qū)Ｓ眉尚酒?，進行實時數(shù)據(jù)運算和處理，甄別得到相應(yīng)的手勢信息；手勢信息或手勢信息被映射成的控制命令，通過有線或者無線數(shù)據(jù)傳輸方式，上傳到權(quán)利要求1中的上位機，達到控制命令輸入的目的。
4.如權(quán)利要求3，手勢信息包含經(jīng)由肌肉電流(EMG)檢測出和識別到的手指、手掌、手腕的運動，以及由運動傳感器檢測到的手臂的移動和轉(zhuǎn)動；手指動作包含單指和多指。
5.如權(quán)利要求3，4，手勢識別方法可能需要處理的信息包括但不限于肌肉電流(EMG)信號的振幅，信號的包絡(luò)，信號的頻率譜，信號的能量分布，各個信號通道間的相位差和一致性等；手勢識別可能需要但不限于運動傳感器檢測到的加速度和角度信息，以進行更精確的手勢動作甄別。
6.如權(quán)利要求3，4 ，5，手勢識別流程中可能采用但不限于手勢訓(xùn)練的方法；方法包括使用預(yù)設(shè)手勢特征信息庫和用戶自定義手勢特征信息庫；自定義手勢信息庫可由訓(xùn)練指引程序指導(dǎo)用戶，在正確穿戴上設(shè)備后通過做某些手勢來建立和擴展。
7.如權(quán)利要求4，5，6，手勢識別方法可能但不限于信號的自動分段檢測，小波運算，迭代運算，快速傅立葉變換，自適應(yīng)等多種方法，以實現(xiàn)手勢特征參數(shù)提取，并通過和手勢特征信息庫比對，來定位一個手勢的開始和結(jié)束，以及甄別具體的手勢。
8.如權(quán)利要求1，2，3，本手勢檢測設(shè)備硬件電路可能需要但不限于以下部件:表皮肌肉電流(EMG)檢測電極，運動傳感器，濾波電路，模擬數(shù)字轉(zhuǎn)換器電路，數(shù)字信號處理器或中央處理器或?qū)Ｓ眉尚酒?，用于存放處理程序、配置信息、手勢特征信息庫的存儲單元，有線或者無線通訊模塊，按鈕，顯示單元，喇叭，振動馬達等；設(shè)備可采用分立元件或者集成電路實現(xiàn)。
9.如權(quán)利要求8，本手勢檢測設(shè)備可配備充電電池，以及有線、或滿足某種無線充電標準的充電電路。
10.如權(quán)利要求1，2，3，8，9，設(shè)備的外殼可設(shè)計為由多個獨立的單元通過某種具有彈性的連接件連接在一起，或某種柔性材料一體成型制成；設(shè)備作為一個佩戴和緊貼在手臂或者手腕處的環(huán)，在一定范圍內(nèi)可以收張，以適應(yīng)不同粗細的手臂；設(shè)備的內(nèi)部電路可能需由多塊電路板通過電線連接，或者采用但不限于柔性電路板制成；設(shè)備外殼上可有但不限于明 顯的佩戴位置指示信息。
【文檔編號】G06F3/01GK103777752SQ201310531766
【公開日】2014年5月7日 申請日期:2013年11月2日 優(yōu)先權(quán)日:2013年11月2日
【發(fā)明者】不公告發(fā)明人 申請人:上海威璞電子科技有限公司