手掌開合手勢(shì)識(shí)別方法和裝置、人機(jī)交互方法和設(shè)備的制作方法
【專利摘要】提供了一種手掌開合手勢(shì)識(shí)別方法和裝置，用于通過圖像處理識(shí)別手掌從開到合或從合到開的手勢(shì)。該方法包括如下步驟：獲得按照時(shí)間順序的多個(gè)圖像；從多個(gè)圖像中分割出手掌形狀圖像；特征抽取步驟，從多個(gè)手掌形狀圖像中的每個(gè)抽取出描述手掌姿態(tài)的多個(gè)特征，其中每個(gè)特征從手掌開合手勢(shì)過程中的取值變化過程看具有取值遞增或遞減的單調(diào)特性；計(jì)算最大差異特征向量；以及基于該最大差異特征向量來判斷該多個(gè)圖像中是存在手掌開手勢(shì)、手掌合手勢(shì)還是不存在手掌開合手勢(shì)。還提供了包括上述手掌開合手勢(shì)識(shí)別方法（裝置）的人機(jī)交互方法（裝置）。該手掌開合手勢(shì)識(shí)別技術(shù)具有較高的手勢(shì)識(shí)別速度，而且能夠在滑動(dòng)窗口長(zhǎng)度固定情況下自適應(yīng)于手勢(shì)動(dòng)作幀數(shù)的變化。
【專利說明】手掌開合手勢(shì)識(shí)別方法和裝置、人機(jī)交互方法和設(shè)備
【技術(shù)領(lǐng)域】
[0001]本發(fā)明總體地涉及圖像處理和機(jī)器視覺人機(jī)交互，更具體地涉及手掌開合手勢(shì)識(shí)別方法和裝置、人機(jī)交互方法和設(shè)備。
【背景技術(shù)】
[0002]手勢(shì)作為一種自然直觀的交流方式，它并不需要額外的設(shè)備的輔助，就能被廣泛的用于與電子設(shè)備的交互?；谟?jì)算機(jī)視覺的手勢(shì)識(shí)別技術(shù)已經(jīng)廣泛用于人機(jī)交互?；谟?jì)算機(jī)視覺的手勢(shì)識(shí)別技術(shù)接受可視化圖像輸入，向外輸出手勢(shì)姿態(tài)或手勢(shì)動(dòng)作的類型，由此那些受計(jì)算機(jī)控制的設(shè)備就能將不同的手勢(shì)姿態(tài)或手勢(shì)動(dòng)作解釋為不同的命令來完成交互的操作，比如開/關(guān)，點(diǎn)擊，觸摸與否或電視頻道的切換等。
[0003]專利文獻(xiàn)1，美國(guó)專利US7821541B2公開了一種對(duì)手的2個(gè)狀態(tài)進(jìn)行識(shí)別的方法。這個(gè)2個(gè)手的狀態(tài)分別是握住的拳頭狀態(tài)(a closed fist)和打開的手掌狀態(tài)。這里的識(shí)別是對(duì)于手指狀態(tài)的識(shí)別，分別對(duì)應(yīng)于靜態(tài)的開合手掌姿態(tài)。其中，只有單一的靜態(tài)特征被用到，比如它是通過檢測(cè)是否有3個(gè)連續(xù)的手指臨近到另外一個(gè)手指的直觀規(guī)則來判斷是否為“開”狀態(tài)。由于在實(shí)際的系統(tǒng)里，獲得清晰的手的外形圖像并不是件容易的事情(通常受距離，設(shè)備精度和光照條件影響)，因此該方法并不魯棒。此外該方法只是基于單幀圖像來是識(shí)別姿態(tài)。
[0004]在非專利文獻(xiàn)1，作者為Zhou Ren的文章“Robust Hand GestureRecognition Based on Finger-Earth Mover’ s Distance with a CommodityDepth Camera”，Proceedings of the 19th ACM international conference onMult1-media, MM/ 11, ACM, New York, NY, USA, 2011, pp.1093 - 1096 中，采用了時(shí)間序列曲線(time-series curve)來表述手的形狀信息,該時(shí)間序列曲線記錄了手掌輪廓上每個(gè)點(diǎn)到手掌中心點(diǎn)的相對(duì)距離。另外，該文章還定義了 FEMD(Finger-Earth Mover’s Distance)距離度量算子來計(jì)算2個(gè)手形狀的相似性。本質(zhì)上，該方法是用模板匹配技術(shù)來實(shí)現(xiàn)手掌姿態(tài)的識(shí)別。
[0005]在手掌姿態(tài)等的識(shí)別中，除了模板匹配和直觀的規(guī)則外，另一種常用的方法是基于機(jī)器學(xué)習(xí)的分類器技術(shù)，基于機(jī)器學(xué)習(xí)的分類器技術(shù)能提供魯棒的識(shí)別效果，這是因?yàn)樗C合的考慮了各種特征對(duì)分類的影響，因此，分類器技術(shù)已經(jīng)被廣泛用于靜態(tài)姿態(tài)和動(dòng)態(tài)手勢(shì)識(shí)別。
[0006]在專利文獻(xiàn)2，發(fā)明人為章鵬的申請(qǐng)?zhí)枮镃N201200147172的專利申請(qǐng)中，公開了一種基于分類器的手勢(shì)識(shí)別方法，該方法采用所謂的深度差分布算子來從幾幀相鄰的圖像里抽取出CDDD特征來表述動(dòng)作發(fā)生時(shí)前后深度差的分布規(guī)律。該CDDD是一組高維的特征向量，其維數(shù)隨手勢(shì)識(shí)別單元里所采用的圖像的幀數(shù)而增加。比如3幀圖像作為一個(gè)手勢(shì)識(shí)別單元的話將對(duì)應(yīng)于128維的特征向量，如果是4幀圖像則為192維。對(duì)于該技術(shù)，一方面高維的特征向量必然要求大量的樣本用于分類器的學(xué)習(xí)，另一方面，象這樣用固定圖像幀數(shù)作為識(shí)別單元來描述深度差分布的方法，通常不能很好解決幀數(shù)變化的手勢(shì)的識(shí)別問題。此外該方法只適用于深度圖像，這限制了該方法在傳統(tǒng)彩色圖像上的應(yīng)用。

【發(fā)明內(nèi)容】

[0007]本發(fā)明關(guān)注手掌開合手勢(shì)動(dòng)作。和靜態(tài)手掌姿態(tài)不同，手掌開合手勢(shì)動(dòng)作是指手掌從姿態(tài)“開”到姿態(tài)“合”或從“合”到“開”的狀態(tài)變化序列，包括在這兩者最終狀態(tài)間變化的中間狀態(tài)。本發(fā)明中的姿態(tài)“合”既指五指回縮成拳頭狀，也指五指彎曲匯聚一點(diǎn)成“爪”狀。
[0008]根據(jù)本發(fā)明的實(shí)施例，提供了一種手掌開合手勢(shì)識(shí)別方法，用于通過圖像處理識(shí)別手掌從開到合或從合到開的手勢(shì)，包括如下步驟:多個(gè)圖像獲得步驟，獲得按照時(shí)間順序的多個(gè)圖像；手掌形狀分割步驟，從多個(gè)圖像中分割出手掌形狀圖像；特征抽取步驟，從多個(gè)手掌形狀圖像中的每個(gè)抽取出描述手掌姿態(tài)的多個(gè)特征，其中每個(gè)特征從手掌開合手勢(shì)過程中的取值變化過程看具有取值遞增或遞減的單調(diào)特性；最大差異特征向量計(jì)算步驟，對(duì)于該多個(gè)特征中的每個(gè)特征，計(jì)算該多個(gè)手掌形狀圖像在該特征上的最大差異量，該最大差異量由該多個(gè)手掌形狀圖像中的兩個(gè)手掌形狀圖像按照預(yù)定順序做差得到，具有符號(hào)和幅度兩屬性，且該最大差異量的絕對(duì)值是該多個(gè)手掌形狀圖像中的任意兩個(gè)手掌形狀圖像在該特征上的差的絕對(duì)值中取值最大的，以及由上述多個(gè)特征的各個(gè)特征的最大差異量組成最大差異特征向量；以及手掌開合手勢(shì)判定步驟，基于該最大差異特征向量來判斷該多個(gè)圖像中是存在手掌開手勢(shì)、手掌合手勢(shì)還是不存在手掌開合手勢(shì)。
[0009]根據(jù)本發(fā)明的另一實(shí)施例，提供了一種手掌開合手勢(shì)識(shí)別裝置，用于通過圖像處理識(shí)別手掌從開到合或從合到開的手勢(shì)，包括如下部件:多個(gè)圖像獲得部件，獲得按照時(shí)間順序的多個(gè)圖像；手掌形狀分割部件，從多個(gè)圖像中分割出手掌形狀圖像；特征抽取部件，從多個(gè)手掌形狀圖像中的每個(gè)抽取出描述手掌姿態(tài)的多個(gè)特征，其中每個(gè)特征從手掌開合手勢(shì)過程中的取值變化過程看具有取值遞增或遞減的單調(diào)特性；最大差異特征向量計(jì)算部件，對(duì)于該多個(gè)特征中的每個(gè)特征，計(jì)算該多個(gè)手掌形狀圖像在該特征上的最大差異量，該最大差異量由該多個(gè)手掌形狀圖像中的兩個(gè)手掌形狀圖像按照預(yù)定順序做差得到，具有符號(hào)和幅度兩屬性，且該最大差異量的絕對(duì)值是該多個(gè)手掌形狀圖像中的任意兩個(gè)手掌形狀圖像在該特征上的差的絕對(duì)值中取值最大的，以及由上述多個(gè)特征的各個(gè)特征的最大差異量組成最大差異特征向量；以及手掌開合手勢(shì)判定部件，基于該最大差異特征向量來判斷該多個(gè)圖像中是存在手掌開手勢(shì)、手掌合手勢(shì)還是不存在手掌開合手勢(shì)。
[0010]根據(jù)上述實(shí)施例的手掌開合手勢(shì)識(shí)別方法和裝置，采用取值隨手勢(shì)動(dòng)作過程具有遞增或遞減單調(diào)特性的特征，確定基于各個(gè)特征的最大差異特征向量，并基于最大差異特征向量進(jìn)行手掌開合判定，能夠獲得至少下述好處:直觀地描述了手勢(shì)動(dòng)作的單調(diào)變化特征，不僅因其維數(shù)低能加速分類器學(xué)習(xí)和識(shí)別的速度，而且更主要地能夠在滑動(dòng)窗口長(zhǎng)度固定情況下自適應(yīng)于手勢(shì)動(dòng)作幀數(shù)的變化。(此處手勢(shì)動(dòng)作幀數(shù)是指手勢(shì)從開始到結(jié)束時(shí)所在的時(shí)間段里圖像采集設(shè)備所采集到的圖像個(gè)數(shù)，由于不同操作者動(dòng)作習(xí)慣快慢不同以及圖像采集設(shè)備采集速率不同，使得手勢(shì)動(dòng)作幀數(shù)并不固定長(zhǎng)度。在30幀/秒的速率下，實(shí)驗(yàn)統(tǒng)計(jì)結(jié)果表明“開” “合”手勢(shì)幀長(zhǎng)大致集中在2到6幀間)。
[0011]另外根據(jù)本發(fā)明實(shí)施例的手掌開合手勢(shì)識(shí)別方法和裝置，還可以在判斷存在手掌開或手掌合手勢(shì)的情況下，確定手勢(shì)的起始幀和終止幀；其中確定和每個(gè)特征的最大差異量相關(guān)聯(lián)的兩個(gè)圖像，并將該兩個(gè)圖像作為從該每個(gè)特征視角看的手勢(shì)的候選起始幀和候選終止幀；以及基于各個(gè)特征的權(quán)重以及從各個(gè)特征視角得到的手勢(shì)候選起始幀和候選終止幀，確定手勢(shì)起始幀和終止幀。根據(jù)上述實(shí)施例來確定手掌開合手勢(shì)的起始幀和終止幀，可以得到手勢(shì)動(dòng)作的起始幀和終止幀的時(shí)間，這為手勢(shì)應(yīng)用到諸如“handMouse”這樣的系統(tǒng)精確地回溯光標(biāo)位置提供了精確的信息。
[0012]另外根據(jù)本發(fā)明實(shí)施例的手掌開合手勢(shì)識(shí)別方法和裝置，沿圖像序列移動(dòng)滑動(dòng)窗口的位置；對(duì)移動(dòng)后的滑動(dòng)窗口內(nèi)的多個(gè)圖像執(zhí)行所述手掌形狀分割步驟、特征抽取步驟、最大差異特征向量計(jì)算步驟和手掌開合手勢(shì)判定步驟；以及如果移動(dòng)前后的滑動(dòng)窗口內(nèi)的多個(gè)圖像的手勢(shì)識(shí)別結(jié)果得到相同的手掌開合手勢(shì)，則合并該手掌開合手勢(shì)識(shí)別結(jié)果為一個(gè)手掌開合手勢(shì)，并相應(yīng)地修正起始幀和終止幀。根據(jù)上述實(shí)施例的方法，可以合并相鄰識(shí)別單元的手勢(shì)分類結(jié)果，更準(zhǔn)確地給出手掌開合手勢(shì)動(dòng)作的起始幀和結(jié)束幀，從而更恰當(dāng)?shù)剡M(jìn)行人機(jī)交互。
[0013]根據(jù)本發(fā)明的再一實(shí)施例，提供了一種人機(jī)交互方法，包括下述步驟:根據(jù)手的運(yùn)動(dòng)和前一手勢(shì)的狀態(tài)控制何時(shí)開啟手掌開合手勢(shì)識(shí)別；當(dāng)控制開啟手掌開合手勢(shì)識(shí)別時(shí)，通過前述方法進(jìn)行手掌開合手勢(shì)識(shí)別；以及當(dāng)識(shí)別到手掌開合手勢(shì)時(shí)，將手掌開合手勢(shì)對(duì)應(yīng)到控制命令，并執(zhí)行對(duì)應(yīng)的控制命令，以控制顯示設(shè)備上對(duì)象的操作和顯示。
[0014]根據(jù)本發(fā)明的又一實(shí)施例，提供了一種人機(jī)交互設(shè)備，所述人機(jī)交互設(shè)備包括:前述手掌開合手勢(shì)識(shí)別裝置；手勢(shì)識(shí)別控制裝置，用于根據(jù)手的運(yùn)動(dòng)和前一手勢(shì)的狀態(tài)來控制何時(shí)開啟手掌開合手勢(shì)識(shí)別裝置進(jìn)行手勢(shì)識(shí)別；手勢(shì)-命令對(duì)應(yīng)裝置，用于將手掌開合手勢(shì)對(duì)應(yīng)到控制命令，并且當(dāng)識(shí)別到手掌開合手勢(shì)時(shí)，執(zhí)行對(duì)應(yīng)的控制命令。
[0015]根據(jù)本發(fā)明實(shí)施例的人機(jī)交互方法和人機(jī)交互設(shè)備，能夠減少由于手在快速運(yùn)動(dòng)過程中運(yùn)動(dòng)模糊對(duì)手勢(shì)識(shí)別產(chǎn)生的虛警錯(cuò)誤，同時(shí)也確保了不遺漏任何一感興趣手勢(shì)的識(shí)別。
【專利附圖】

【附圖說明】
[0016]圖1示出了本發(fā)明實(shí)施例的一個(gè)典型應(yīng)用場(chǎng)景示例的示意圖。
[0017]圖2示出了根據(jù)本發(fā)明實(shí)施例的手掌開合手勢(shì)動(dòng)作的示意說明圖。
[0018]圖3示出了根據(jù)本發(fā)明第一實(shí)施例的手掌開合手勢(shì)識(shí)別方法的總體流程圖。
[0019]圖4(a)示意了在采樣率為30幀/秒下一個(gè)手掌開合手勢(shì)周期內(nèi)圖像幀數(shù)的分布直方圖；圖4(b)不意性不出了是對(duì)應(yīng)于圖4(a)的概率分布圖。
[0020]圖5(a)示意性示出了沿手掌主方向覆蓋手掌的最小矩形；圖5(b)示意性示出了手掌輪廓線所在凸包多邊形；圖5(c)示意性示出了手掌輪廓線。
[0021]圖6示意了在K幀圖像序列里如何從K個(gè)m維特征向量中計(jì)算最大差異特征向量。
[0022]圖7給出了根據(jù)本發(fā)明一個(gè)實(shí)施例的包括合并相鄰識(shí)別單元的手勢(shì)分類結(jié)果的手掌開合手勢(shì)動(dòng)作識(shí)別過程的示意圖。
[0023]圖8示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的手勢(shì)動(dòng)作合并判別方法的流程圖。
[0024]圖9示出了根據(jù)本發(fā)明實(shí)施例的手掌開合手勢(shì)識(shí)別裝置的配置的功能框圖。
[0025]圖10示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的人機(jī)交互設(shè)備的配置框圖。
[0026]圖11示出手勢(shì)識(shí)別控制裝置基于手掌位置不動(dòng)狀態(tài)檢測(cè)器的檢測(cè)結(jié)果來控制何時(shí)開啟手掌開合手勢(shì)識(shí)別裝置進(jìn)行手勢(shì)識(shí)別的手勢(shì)識(shí)別控制方法的流程圖。
[0027]圖12示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的人機(jī)交互方法的流程圖。
[0028]圖13是示出按照本發(fā)明實(shí)施例的手掌開合手勢(shì)識(shí)別(人機(jī)交互)系統(tǒng)的總體硬件框圖。
【具體實(shí)施方式】
[0029]為了使本領(lǐng)域技術(shù)人員更好地理解本發(fā)明，下面結(jié)合附圖和【具體實(shí)施方式】對(duì)本發(fā)明作進(jìn)一步詳細(xì)說明。
[0030]將按下列順序進(jìn)行描述:
[0031]1、應(yīng)用場(chǎng)景示意
[0032]2、手掌開合手勢(shì)識(shí)別方法示例
[0033]2.1、手掌開合手勢(shì)識(shí)別示例性方法的總體流程
[0034]2.2、手掌開合手勢(shì)的起始幀和終止幀的確定方法示例
[0035]2.3、相鄰手勢(shì)識(shí)別單元的手掌開合手勢(shì)動(dòng)作合并方法示例
[0036]3、手掌開合手勢(shì)識(shí)別裝置
[0037]4、人機(jī)交互設(shè)備配置示例
[0038]5、人機(jī)交互方法示例
[0039]6、系統(tǒng)硬件配置
[0040]7、總結(jié)
[0041]1、應(yīng)用場(chǎng)景示意
[0042]為便于理解，圖1示出了本發(fā)明實(shí)施例的一個(gè)典型應(yīng)用場(chǎng)景示例的示意圖。在操作者的正前方正對(duì)操作者位置放置一相機(jī)(深度相機(jī)或傳統(tǒng)相機(jī))，操作者面對(duì)顯示設(shè)備，運(yùn)用他的手進(jìn)行各種非接觸式遠(yuǎn)程操作，如本發(fā)明所關(guān)注的手掌開合手勢(shì)動(dòng)作。在這個(gè)交互過程中，無需任何諸如鼠標(biāo)紅外筆等特定的外部輔助設(shè)備，只是使用手勢(shì)并結(jié)合當(dāng)前操作上下文信息即可。
[0043]顯然，該場(chǎng)景僅為一個(gè)應(yīng)用示例，這里顯示屏可以為例如液晶顯示屏、投影屏、手機(jī)屏幕、平板電腦屏幕乃至電視屏幕等。而且，顯示屏也非必需的，操作者甚至可以對(duì)冰箱(可以具有顯示屏也可以不具有顯示屏)進(jìn)行手掌開合手勢(shì)動(dòng)作來進(jìn)行對(duì)冰箱的操作控制。
[0044]圖2示出了根據(jù)本發(fā)明實(shí)施例的手掌開合手勢(shì)動(dòng)作的示意說明圖。此處的手掌開合手勢(shì)動(dòng)作是一個(gè)手掌從姿態(tài)“開”到姿態(tài)“合”或從“合”到“開”的狀態(tài)變化序列，包括在這兩者最終狀態(tài)間逐步變化的半開半合中間狀態(tài)。本發(fā)明中的姿態(tài)“合”既指五指回縮成拳頭狀，也指五指彎曲匯聚一點(diǎn)成“爪”狀。在一個(gè)手勢(shì)周期內(nèi)通常經(jīng)歷的圖像幀數(shù)不等，這主要依賴于操作者動(dòng)作快慢的習(xí)慣和相機(jī)的采樣速率。以正常的操作速度和30幀/秒采樣率計(jì)算，一個(gè)手勢(shì)周期所經(jīng)歷的圖像幀數(shù)一般從2幀到6幀不等。
[0045]2、手掌開合手勢(shì)識(shí)別方法示例
[0046]下面將參考附圖描述根據(jù)本發(fā)明實(shí)施例的手掌開合手勢(shì)識(shí)別方法示例。
[0047]2.1、手掌開合手勢(shì)識(shí)別示例性方法的總體流程
[0048]圖3示出了根據(jù)本發(fā)明第一實(shí)施例的手掌開合手勢(shì)識(shí)別方法100的總體流程圖。
[0049]下面結(jié)合圖3描述根據(jù)本發(fā)明第一實(shí)施例的手掌開合手勢(shì)識(shí)別方法100的總體流程。
[0050]如圖3所示，在步驟SllO中，輸入圖像序列，即獲得按照時(shí)間順序的多個(gè)圖像。[0051 ] 這里輸入的圖像序列，可以是直接從拍攝圖像或拍攝視頻的本地?cái)z像機(jī)按時(shí)間順序輸入的，也可以是遠(yuǎn)程通過有線或無線網(wǎng)絡(luò)輸入的等等。另外，這里的圖像可以是深度圖像也可以是普通彩色圖像。
[0052]這里進(jìn)行手掌開合手勢(shì)動(dòng)作識(shí)別所需的圖像幀數(shù)，或者一般所謂的滑動(dòng)窗口的大小(由于手勢(shì)動(dòng)作一般是發(fā)生在輸入圖像序列上的一個(gè)連續(xù)過程，常規(guī)處理方法是取一固定長(zhǎng)度的滑動(dòng)窗口在輸入的圖像序列上滑動(dòng)，用以選擇相鄰的幾幀圖像來作為一個(gè)動(dòng)作識(shí)別單元)可以根據(jù)經(jīng)驗(yàn)確定，也可以基于統(tǒng)計(jì)手段等確定。
[0053]根據(jù)一個(gè)實(shí)施例，所述多個(gè)圖像的數(shù)目可以通過開合手勢(shì)圖像幀數(shù)頻率直方圖及所指定的置信水平共同決定。
[0054]下面參考圖4(a)和4(b)描述如何通過開合手勢(shì)圖像幀數(shù)頻率直方圖及所指定的置信水平確定用作手勢(shì)識(shí)別單元的圖像幀的數(shù)目，或者說確定滑動(dòng)窗口的大小。
[0055]圖4(a)示意了在采樣率為30幀/秒下一個(gè)手掌“開”或“合”手勢(shì)周期內(nèi)圖像幀數(shù)的分布直方圖，其中每個(gè)豎直柱下面的數(shù)字表示圖像幀數(shù)，豎直柱的高度表示一個(gè)手掌開合手勢(shì)動(dòng)作需要該圖像幀數(shù)的統(tǒng)計(jì)數(shù)值，按從左到右的圖面順序，各個(gè)豎直柱分別表示一個(gè)手掌“開”“合”手勢(shì)恰好在一幀圖像內(nèi)完成的情況的統(tǒng)計(jì)數(shù)值、一個(gè)手掌開合手勢(shì)恰好在2幀圖像內(nèi)完成的情況的統(tǒng)計(jì)數(shù)值、一個(gè)手掌開合手勢(shì)恰好在3幀圖像內(nèi)完成的情況的統(tǒng)計(jì)數(shù)值、一個(gè)手掌開合手勢(shì)恰好在4幀圖像內(nèi)完成的情況的統(tǒng)計(jì)數(shù)值、一個(gè)手掌開合手勢(shì)恰好在5幀圖像內(nèi)完成的情況的統(tǒng)計(jì)數(shù)值、一個(gè)手掌開合手勢(shì)恰好在6幀圖像內(nèi)完成的情況的統(tǒng)計(jì)數(shù)值。從圖4(a)可見，大部分情況下，一個(gè)手掌開合手勢(shì)動(dòng)作會(huì)在3到4幀間完成。
[0056]圖4(b)示意性示出了是對(duì)應(yīng)于圖4(a)的概率分布圖。從圖4(b)中可見，在縱軸上指定一個(gè)置信水平，沿水平方向與概率分布圖交點(diǎn)所對(duì)應(yīng)的幀數(shù)K，可作為滑動(dòng)窗口的長(zhǎng)度來選擇K幀圖像進(jìn)行手勢(shì)識(shí)別。比如對(duì)置信水平0.9其對(duì)應(yīng)著5幀/手勢(shì)。此處的置信水平代表了多大程度上一個(gè)開/合手勢(shì)能在K幀圖像中完成，例如0.9置信水平意味著90%的情況下能覆蓋住真實(shí)的手勢(shì)開合情況。
[0057]根據(jù)上述示例的基于指定置信水平和開合手勢(shì)圖像幀數(shù)頻率直方圖來確定一個(gè)手勢(shì)動(dòng)作識(shí)別單元的幀數(shù)，能夠提高手勢(shì)識(shí)別的效率和準(zhǔn)確度。
[0058]在步驟SllO中獲得多個(gè)圖像之后，前進(jìn)到步驟S120。
[0059]在步驟S120中，進(jìn)行手掌形狀分割，即從多個(gè)圖像中分割出手掌形狀圖像。
[0060]在提取特征前須先完成對(duì)手掌圖像的前景分割。諸如膚色檢測(cè)、基于深度閾值的方法，或連通域分析的方法等諸多技術(shù)能用來實(shí)現(xiàn)手掌圖像的分割。無論采用何種分割技術(shù)或使用何種類型的圖像，經(jīng)過分割后，背景或非手掌部分的影響能從輸入的圖上去除掉，最終得到比較干凈的手掌圖像(手腕之上的部分)，以便于從中抽取表征手掌姿態(tài)的特征量。
[0061]在完成手掌形狀分割后，前進(jìn)到步驟S130。
[0062]在步驟S130中，進(jìn)行特征抽取，即從多個(gè)手掌形狀圖像中的每個(gè)抽取出描述手掌姿態(tài)的多個(gè)特征，其中每個(gè)特征從手掌開合手勢(shì)過程中取值變化過程看具有取值遞增或遞減的單調(diào)特性。
[0063]由于相機(jī)精度的不足和被攝物體離距鏡頭有一定距離的影響(操作者通常保持離相機(jī)I米之外)，所得到的手掌圖像一般在采集到的圖像中所占面積比例較小同時(shí)也包含了較多噪音。為得到魯棒的識(shí)別結(jié)果，本發(fā)明人提出了抽取在手掌開合過程中取值具有遞增或遞減單調(diào)性的特征的想法，以便增大手掌開合姿態(tài)之間的各自特征差異。
[0064]這里特征的取值的單調(diào)特性是指，對(duì)于手掌從姿態(tài)“開”到姿態(tài)“合”的狀態(tài)變化序列(即手掌合手勢(shì)動(dòng)作)，與該狀態(tài)變化序列相關(guān)聯(lián)的特征取值序列滿足單調(diào)遞增或者單調(diào)遞減，反之對(duì)于手掌從姿態(tài)“合”到姿態(tài)“開”的狀態(tài)變化序列(即手掌開手勢(shì)動(dòng)作)，與該狀態(tài)變化序列相關(guān)聯(lián)的特征取值序列滿足單調(diào)遞減或者單調(diào)遞增。
[0065]作為示例，發(fā)明人創(chuàng)造性地采用了與手掌前景圖像相關(guān)的幾何形狀來計(jì)算不同姿態(tài)的特征，由此能更好的區(qū)分這兩種姿態(tài)的不同。本發(fā)明人所用到的2類幾何形狀是(i)沿手掌主方向覆蓋手掌的最小矩形，如圖5(a)所示；(ii)手掌輪廓線所在凸包多邊形，如圖5(b)所示。
[0066]沿手掌主方向覆蓋手掌的最小矩形是有兩條邊與手掌主方向平行且能覆蓋住手掌圖像的面積最小的矩形。其中手掌主方向(圖5(a)中標(biāo)號(hào)501指示的手掌內(nèi)的直線指示的方向)可通過主成分析PCA方法計(jì)算得到。圖5(a)中左側(cè)示出了手掌合狀態(tài)下的沿手掌主方向覆蓋手掌的最小矩形，圖5(a)中右側(cè)示出了手掌開狀態(tài)的沿手掌主方向覆蓋手掌的最小矩形。
[0067]此處凸包多邊形定義為組成手掌輪廓線的點(diǎn)集Q的最小凸多邊形P，點(diǎn)集Q中的任一點(diǎn)要么在凸多邊形P的邊上，要么在P的內(nèi)部。手掌輪廓線可以作為上述步驟S120中分割手掌形狀的操作的結(jié)果得到，圖5 (c)中左側(cè)示意性示出了手掌合狀態(tài)下的手掌輪廓線，圖5(c)中右側(cè)示意性示出了手掌開狀態(tài)下的手掌輪廓線。圖5(b)中左側(cè)示出了手掌合狀態(tài)下的手掌輪廓線的最小凸包多邊形，圖5(b)中右側(cè)示出了手掌開狀態(tài)下的手掌輪廓線的最小凸包多邊形，
[0068]基于沿手掌主方向覆蓋手掌的最小矩形和手掌輪廓線所在凸包多邊形，在一個(gè)示例中，遵循人類從粗到細(xì)的認(rèn)知習(xí)慣，可以從單幀圖像不同的抽象層提取出如下幾何特征來描述手掌姿態(tài)的不同:
[0069]在最粗層上，得到沿手掌主方向覆蓋手掌的最小矩形(如圖5(a)所示)，計(jì)算出它的寬H、高f2和面積f3作為特征；
[0070]在中間層，得到手掌輪廓線的最小凸包多邊形(如圖5(b)所示)，計(jì)算出它的周長(zhǎng)f4、面積f5和缺陷值f6作為特征；
[0071]在精細(xì)層上，得到手掌輪廓線((如圖5(c)所示))，計(jì)算出它的長(zhǎng)度f7，輪廓線所圍成的手掌面積f8作為特征；
[0072]上述在中間層從手掌輪廓線的最小凸包多邊形計(jì)算的凸包缺陷值f6是指凸包所有缺陷線長(zhǎng)度的總和，其中缺陷線見圖5(b)中手掌開姿態(tài)圖片中從凸包線上兩手指相連線段的中點(diǎn)引向手指相連處低凹處所在示意線，如標(biāo)號(hào)502指示的。計(jì)算上述特征量所需的全部函數(shù)實(shí)現(xiàn)均可在開源項(xiàng)目OpenCV中找到。
[0073]從上述三個(gè)層面抽取出的八個(gè)特征fl-f8，從手掌開合手勢(shì)姿態(tài)變化序列的角度看都滿足取值的單調(diào)特性。[0074]根據(jù)本發(fā)明優(yōu)選實(shí)施例的與手掌前景圖像相關(guān)的兩種幾何形狀(手掌輪廓線凸包多邊形和沿手掌主方向最小覆蓋的四邊形)來計(jì)算不同姿態(tài)的特征，拉大了這開合兩姿態(tài)之間的特征差異，以便能更好的區(qū)分這兩種開合姿態(tài)的不同，由此能夠更好解決識(shí)別中噪音影響的問題。
[0075]不過上述特征fl-f8僅為可抽取的優(yōu)選單調(diào)性特征示例，并非排他性或者限制性的，可以根據(jù)需要設(shè)計(jì)和選用任何從手掌開合手勢(shì)姿態(tài)變化序列的角度看都滿足取值的單調(diào)特性的、描述手掌姿態(tài)的特征。
[0076]在步驟S130中抽取特征完成之后，前進(jìn)到步驟S140中。
[0077]在步驟S140中，計(jì)算最大差異特征向量計(jì)算，即對(duì)于該多個(gè)特征中的每個(gè)特征，計(jì)算該多個(gè)手掌形狀圖像在該特征上的最大差異量，該最大差異量由該多個(gè)手掌形狀圖像中的兩個(gè)手掌形狀圖像按照預(yù)定順序做差得到，具有符號(hào)和幅度兩屬性，且該最大差異量的絕對(duì)值是該多個(gè)手掌形狀圖像中的任意兩個(gè)手掌形狀圖像在該特征上的差的絕對(duì)值中取值最大的，以及由上述多個(gè)特征的各個(gè)特征的最大差異量組成最大差異特征向量。
[0078]滑動(dòng)窗口選出K幀圖像作為手勢(shì)識(shí)別單元，每一幀圖像上，例如抽出上述8個(gè)特征fl到f8作為一組特征來表述手掌姿態(tài)。將從這K組特征量中計(jì)算出最大差異特征向量來進(jìn)一步描述在一個(gè)手勢(shì)識(shí)別單元里手掌姿態(tài)的變化，該最大差異特征向量的每一維分量表征來在該維度上一個(gè)手勢(shì)識(shí)別單元中的最大差異。
[0079]圖6示意了在K幀圖像序列里如何從K個(gè)m維特征向量(步驟S130中提取的每個(gè)特征作為特征向量的一維)中計(jì)算最大差異特征向量。
[0080]此處的最大差異特征描述了一個(gè)特征的取值在K幀序列里的變化，更具體地，它描述了每個(gè)用于姿態(tài)描述的特征的取值在一個(gè)手勢(shì)識(shí)別單元里的單向最大變化。因此最大差異特征向量的維數(shù)只依賴于單幀上所提取出的特征的個(gè)數(shù)，而與識(shí)別單元里圖像幀的個(gè)數(shù)是無關(guān)的。
[0081]對(duì)一個(gè)具體的實(shí)施例，以特征fl為例來示意說明如何在K幀圖像(K組特征向量)中去計(jì)算其對(duì)應(yīng)的最大差異。此處fl是沿手掌方向最小四邊形覆蓋的寬度，直觀地，fl的取值在手掌合的過程中會(huì)逐步減小，在手掌開的過程中則會(huì)逐步增大。事實(shí)上，上述的8個(gè)特征量(Π，…，f8)從手掌開合手勢(shì)姿態(tài)變化序列的角度看去都滿足取值的單調(diào)特性。
[0082]對(duì)應(yīng)于特征fl的在K幀圖像(K組特征向量)中的最大差異dl計(jì)算定義為如下:
[0083]dl=fl(s) - fl(e)，其中 Ifl(S) - fl(e) |=Max(|fl(i) - fl(j) I) (I)
[0084]其中，i, j是圖像幀的下標(biāo)，滿足0〈i, j〈=K和i〈j[0085]公式(I)表明最大差異的計(jì)算是基于K幀圖像組內(nèi)單向特征差異計(jì)算的所有可能組合的結(jié)果。因?yàn)橛腥≈祮握{(diào)性的保障，故而最大差異特征dl直觀的表達(dá)了手掌開到合或從合到開的變化規(guī)律(變化的方向和變化的幅度)。
[0086]同樣地能夠遵循和dl類似的計(jì)算定義來計(jì)算出別的特征所對(duì)應(yīng)的最大差異特征值dm(m=l，..，8)，組合這些特征的最大差異量dl，d2,…，dm就得到了用于手勢(shì)動(dòng)作識(shí)別的最大差異特征向量{dl，d2，*“，dm}
[0087]這里，需要說明的是，由上述公式⑴可見，各個(gè)特征fl，f2，一，fm的最大差異量是具有符號(hào)的一維向量。例如對(duì)于上述示例中的特征Π-fS的每個(gè)在從手掌開到合的過程中取值滿足單調(diào)遞減，因此理想情況下，在其中做出了手掌合手勢(shì)的圖像序列中，最大差異特征向量的每一維應(yīng)該為帶有負(fù)號(hào)的向量；相反上述示例中的特征Π-fS的每個(gè)在從手掌合到開的過程中取值滿足單調(diào)遞減，因此理想情況下，在其中做出了手掌開手勢(shì)的圖像序列中，最大差異特征向量的每一維應(yīng)該為帶有正號(hào)的向量。
[0088] 另外，需要說明的是，在公式(I)中，對(duì)于一維特征，是通過用下標(biāo)小的圖像幀減去下標(biāo)大的圖像幀來計(jì)算最大差異量，不過反過來用下標(biāo)大的圖像幀減去下標(biāo)小的圖像幀來計(jì)算最大差異量也是可行的。
[0089]此外，關(guān)于上述最大差異特征向量的計(jì)算，在滑動(dòng)窗口長(zhǎng)度固定情況下無論手勢(shì)動(dòng)作是在K幀完成還是K中一部分完成的，均能得到接近等量的最大差異特征量，由此在特征描述和提取上獲得了自適應(yīng)于手勢(shì)動(dòng)作幀數(shù)變化的良好效果。
[0090]在步驟S140中計(jì)算得到最大差異向量后，前進(jìn)到步驟S150。
[0091]在步驟S150中，進(jìn)行手掌開合手勢(shì)判定，即基于該最大差異特征向量來判斷該多個(gè)圖像中是存在手掌開手勢(shì)、手掌合手勢(shì)還是不存在手掌開合手勢(shì)。
[0092]在一個(gè)示例中，通過機(jī)器學(xué)習(xí)技術(shù)，更具體地，分類器來對(duì)最大差異特征向量{dl,d2,-,dm}進(jìn)行分類來得到該手勢(shì)識(shí)別單元的手勢(shì)分類結(jié)果?？梢杂脭?shù)字標(biāo)簽來表示手勢(shì)的分類結(jié)果，例如，O為無姿態(tài)變化，I為手掌閉合，2為手掌張開。許多種類的分類器可以用于這里的分類，諸如決策樹分類器、隨機(jī)森林分類器、AdaBoost、支撐向量機(jī)SVM和BP神經(jīng)網(wǎng)絡(luò)等。分類器一般分為訓(xùn)練過程和識(shí)別過程，其中在訓(xùn)練過程中，利用訓(xùn)練樣本集合來訓(xùn)練分類器，或者說來確定分類器的有關(guān)參數(shù)或形式，例如，訓(xùn)練樣本具有如下的形式【L，dl, d2, -,dm]，L是分類標(biāo)簽；而在識(shí)別過程中，則對(duì)類別未知的待識(shí)別的樣本進(jìn)行分類，并且輸出分類結(jié)果，即手勢(shì)動(dòng)作識(shí)別結(jié)果。這里，分類結(jié)果的形式根據(jù)所采用的分類器的樣式或者需要而可以不同，可以為簡(jiǎn)單的類別歸類，如該樣本即最大特征差異向量分類為0，即無姿態(tài)變化，也就是不是手掌開合手勢(shì)；或者為1，即表示為手掌閉合手勢(shì)；或者為2，即為手掌張開；分類結(jié)果也可以為屬于各個(gè)類別的概率等等。
[0093]上面以利用分類器為例說明了基于該最大差異特征向量來判定多個(gè)圖像中的手掌開合手勢(shì)情況，不過這僅為示例，并非用于限制本發(fā)明。作為替代方式，也可以例如基于規(guī)則來進(jìn)行手掌開合手勢(shì)判定，例如，可以制定如下規(guī)則，當(dāng)該最大差異特征向量的8個(gè)特征分量中取值大于預(yù)定取值閾值例如0.5的特征分量的個(gè)數(shù)大于預(yù)定個(gè)數(shù)閾值例如5時(shí)，確定存在手掌開手勢(shì)，當(dāng)該最大差異特征向量的8個(gè)特征分量中取值小于預(yù)定取值閾值例如-0.5的特征分量的個(gè)數(shù)大于預(yù)定個(gè)數(shù)閾值例如5時(shí)，確定存在手掌合手勢(shì)，反之則認(rèn)為不存在手掌開合手勢(shì)。當(dāng)然這僅為出于說明方便給出的簡(jiǎn)單示例，而且實(shí)際上，廣義上說來，上述基于規(guī)則的方法也可以歸于基于分類器的方法，例如基于規(guī)則的方法可以轉(zhuǎn)化為決策樹分類器等。另外，也可以利用模板匹配的方法來基于最大差異特征向量來判定多個(gè)圖像中的手掌開合手勢(shì)情況。不過，同樣從廣義上來說，基于模板匹配的方法也可以轉(zhuǎn)化為分類器實(shí)現(xiàn)，例如最近鄰分類器。除非特別區(qū)分，否則本發(fā)明的分類器含義是廣義的，包括基于規(guī)則和基于模板匹配的判別方法。
[0094]根據(jù)上述實(shí)施例的手掌開合手勢(shì)識(shí)別方法，提出了采用取值隨手勢(shì)動(dòng)作過程具有單調(diào)性的特征，從而確定了基于各個(gè)特征的最大差異特征向量，并基于最大差異特征向量進(jìn)行手掌開合判定，能夠獲得至少下述好處:直觀地描述了手勢(shì)動(dòng)作的單調(diào)變化特征，不僅因其維數(shù)低能加速分類器學(xué)習(xí)和識(shí)別的速度，而且更主要地能夠在滑動(dòng)窗口長(zhǎng)度固定情況下從特征提取的角度自適應(yīng)于手勢(shì)動(dòng)作幀數(shù)的變化。
[0095]2.2、手掌開合手勢(shì)的起始幀和終止幀的確定方法示例
[0096]上述結(jié)合圖1描述的手掌開合手勢(shì)識(shí)別方法，給出了是存在手掌開手勢(shì)、手掌合手勢(shì)還是不存在手掌開合手勢(shì)的識(shí)別結(jié)果。不過，在一些手勢(shì)控制系統(tǒng)中，比如“HandMouse”采用手的移動(dòng)即手的跟蹤點(diǎn)來控制光標(biāo)移動(dòng)并結(jié)合手掌開合動(dòng)作來模擬鼠標(biāo)按鍵的這樣的系統(tǒng)，需明確地檢測(cè)到一個(gè)手勢(shì)動(dòng)作的起始點(diǎn)和終止點(diǎn)時(shí)間。這是因?yàn)榘殡S手掌開合手勢(shì)變化相應(yīng)的手跟蹤點(diǎn)也會(huì)發(fā)生變化從而導(dǎo)致在開合手勢(shì)間光標(biāo)也會(huì)隨之漂移，因而需在手勢(shì)結(jié)束的時(shí)刻回溯光標(biāo)到手勢(shì)開始的時(shí)刻來執(zhí)行對(duì)應(yīng)的手勢(shì)命令。這樣的問題在以前的技術(shù)中未給出合理的解決方案或未提及。
[0097]下面描述根據(jù)本發(fā)明一個(gè)實(shí)施例的手 掌開合手勢(shì)的起始幀和終止幀的確定方法示例。
[0098]根據(jù)一個(gè)實(shí)施例，例如在判定存在手掌開或手掌合手勢(shì)的情況下，如下確定手勢(shì)的起始幀和終止幀:
[0099]首先，確定和每個(gè)特征的最大差異量相關(guān)聯(lián)的兩個(gè)圖像，并將該兩個(gè)圖像作為從該每個(gè)特征視角看的手勢(shì)的候選起始幀和候選終止幀。
[0100]然后，基于各個(gè)特征的權(quán)重以及從各個(gè)特征視角得到的手勢(shì)候選起始幀和候選終止幀，確定手勢(shì)起始幀和終止幀。
[0101]例如，參見上述計(jì)算最大差異量dl的公式(I)，可以得到相對(duì)于dl而言最可能的手勢(shì)起始幀序號(hào)(S)和結(jié)束幀序號(hào)&)，記為“8(1)”和~(1)”。同樣地也能得到相對(duì)于d2而言最可能的手勢(shì)起始幀序號(hào)和結(jié)束幀序號(hào)s (2)、e (2)，以及直至相對(duì)于dm而言最可能的手勢(shì)起始幀序號(hào)和結(jié)束幀序號(hào)s (m)、e (m)。假設(shè)將第i個(gè)最大差異特征對(duì)手勢(shì)識(shí)別的重要度表示為權(quán)重W1.那么通過對(duì)各個(gè)特征相關(guān)聯(lián)的手勢(shì)起始幀序號(hào)和結(jié)束幀序號(hào)s (i)、e (i)加權(quán)和投票后，能夠得到對(duì)最大差異特征向量{dl，d2，...，-}而言最可能的手勢(shì)起始幀序號(hào)s和結(jié)束幀序號(hào)e，從而為手掌開合手勢(shì)應(yīng)用到諸如“handMouse”這樣的系統(tǒng)來精確地回溯光標(biāo)位置提供了精確的信息。在一個(gè)示例實(shí)施例中，最大差異特征向量的每一維特征分量和相關(guān)聯(lián)的起始幀和結(jié)束幀相關(guān)聯(lián)地存儲(chǔ)。
[0102]表格I示例性示出了如何從最大差異特征向量的計(jì)算中確定最可能的手勢(shì)起始中貞。在該示例中，滑動(dòng)窗口大小為3，即用于一次手掌開合手勢(shì)識(shí)別的圖像的數(shù)目為3，各幀圖像用第一列中的第I幀、第I幀、第3幀指示，即要基于最大差異特征向量{dl，d2,…，dm}的各維特征分量dl、d2…dm所指示的最可能的手勢(shì)起始幀序號(hào)和結(jié)束幀序號(hào)以及基于各維特征的權(quán)重，來確定最可能的手勢(shì)起始幀和結(jié)束幀。表1中的dl所在的列指示了特征分量dl指示的手勢(shì)起始幀為1(即對(duì)于dl，公式I中的fI (s)中的s為1，即對(duì)于第I維特征，由第I幀與另一幀相減得到該特征相關(guān)的最大差異量dl)，以及特征分量dl相關(guān)聯(lián)的特征的權(quán)重為wl，因此，基于特征分量dl，可以得到第I幀作為手勢(shì)起始幀的評(píng)估分?jǐn)?shù)l*wl，而對(duì)第2幀、第3幀可以得到作為手勢(shì)起始幀的評(píng)估分?jǐn)?shù)均為0*wl。類似地，可以看出，基于特征分量d2，可以得到第I幀作為手勢(shì)起始幀的評(píng)估分?jǐn)?shù)l*w2，而得到第2幀、第3幀作為手勢(shì)起始幀的評(píng)估分?jǐn)?shù)均為0*w2 ;而特征分量d3相關(guān)聯(lián)的手勢(shì)起始幀為第2幀，因此，基于特征分量d3，可以得到第2幀作為手勢(shì)起始幀的評(píng)估分?jǐn)?shù)l*w3，而得到第I幀、第3幀作為手勢(shì)起始幀的評(píng)估分?jǐn)?shù)均為0*w3。將第I幀所在行的所有各維特征分量給出的作為手勢(shì)起始幀的評(píng)估分?jǐn)?shù)相
[0103]加，即得到了總計(jì)的第I幀作為手勢(shì)起始幀的評(píng)估分?jǐn)?shù)1*w1+1*w2+0*w3+1*w4+0*w5+l*w6+0*w7+l*w8，在所有特征對(duì)于手勢(shì)識(shí)別的權(quán)重相等均為I的情況下，該總計(jì)值為5。類似地，在所有特征對(duì)于手勢(shì)識(shí)別的權(quán)重相等均為I的情況下，可以得到第2幀作為手勢(shì)起始幀的評(píng)估分?jǐn)?shù)總計(jì)值為3，以及第3幀作為手勢(shì)起始幀的評(píng)估分?jǐn)?shù)總計(jì)值為O。從而可以選擇作為手勢(shì)起始幀的評(píng)估分?jǐn)?shù)總計(jì)值最高的幀即第I幀作為手掌開合手勢(shì)的起始幀。
[0104]可以采用類似的方法來確定手掌開合手勢(shì)的終止幀。
【權(quán)利要求】
1.一種手掌開合手勢(shì)識(shí)別方法，用于通過圖像處理識(shí)別手掌從開到合的合手勢(shì)或從合到開的開手勢(shì)，包括如下步驟: 多個(gè)圖像獲得步驟，獲得按照時(shí)間順序的多個(gè)圖像； 手掌形狀分割步驟，從多個(gè)圖像中分割出手掌形狀圖像； 特征抽取步驟，從多個(gè)手掌形狀圖像中的每個(gè)抽取出描述手掌姿態(tài)的多個(gè)特征，其中每個(gè)特征從手掌開合手勢(shì)過程中的取值變化過程看具有取值的單調(diào)特性； 最大差異特征向量計(jì)算步驟，對(duì)于該多個(gè)特征中的每個(gè)特征，計(jì)算該多個(gè)手掌形狀圖像在該特征上的最大差異量，該最大差異量由該多個(gè)手掌形狀圖像中的兩個(gè)手掌形狀圖像按照預(yù)定順序做差得到，具有符號(hào)和幅度兩屬性，且該最大差異量的絕對(duì)值是該多個(gè)手掌形狀圖像中的任意兩個(gè)手掌形狀圖像在該特征上的差的絕對(duì)值中取值最大的，以及由上述多個(gè)特征的各個(gè)特征的最大差異量組成最大差異特征向量；以及 手掌開合手勢(shì)判定步驟，基于該最大差異特征向量來判斷該多個(gè)圖像中是存在手掌開手勢(shì)、手掌合手勢(shì)還是不存在手掌開合手勢(shì)。
2.根據(jù)權(quán)利要求1的手掌開合手勢(shì)識(shí)別方法，還包括: 在判斷存在手掌開或手掌合手勢(shì)的情況下，確定手勢(shì)的起始幀和終止幀； 其中確定和每個(gè)特征所在的最大差異量相關(guān)聯(lián)的兩個(gè)圖像，并將該兩個(gè)圖像作為從該每個(gè)特征視角看去的手勢(shì)的候選起始幀和候選終止幀；以及 基于各個(gè)特征的權(quán)重以及從各個(gè)特征視角得到的手勢(shì)候選起始幀和候選終止幀，確定手勢(shì)起始幀和終止幀。
3.根據(jù)權(quán)利要求1的手掌開合手勢(shì)識(shí)別方法，其中所述多個(gè)圖像的數(shù)目通過開合手勢(shì)圖像幀數(shù)頻率直方圖及所指定的置信水平共同決定。
4.根據(jù)權(quán)利要求1的手掌開合手勢(shì)識(shí)別方法，其中所述多個(gè)圖像是通過滑動(dòng)窗口從輸入的圖像序列中依次選擇的， 所述手掌開合手勢(shì)識(shí)別方法還包括: 沿圖像序列依次移動(dòng)滑動(dòng)窗口的位置； 對(duì)移動(dòng)后的滑動(dòng)窗口內(nèi)的多個(gè)圖像執(zhí)行所述手掌形狀分割步驟、特征抽取步驟、最大差異特征向量計(jì)算步驟和手掌開合手勢(shì)判定步驟；以及 如果移動(dòng)前后的滑動(dòng)窗口內(nèi)的多個(gè)圖像的手勢(shì)識(shí)別結(jié)果得到相同的手掌開合手勢(shì)，則合并該手掌開合手勢(shì)識(shí)別結(jié)果為一個(gè)手掌開合手勢(shì)，并相應(yīng)地修正起始幀和終止幀。
5.根據(jù)權(quán)利要求1的手掌開合手勢(shì)識(shí)別方法，其中，所述特征抽取步驟中抽取的多個(gè)特征選自下列各項(xiàng):包括沿手掌主方向覆蓋手掌的最小矩形的長(zhǎng)度，寬度和面積；手掌輪廓線所在凸包的凸包線長(zhǎng)度，凸包面積和凸包缺陷；以及手掌輪廓線的長(zhǎng)度和輪廓線所圍成手掌形狀的面積
6.一種手掌開合手勢(shì)識(shí)別裝置，用于通過圖像處理識(shí)別手掌從開到合的合手勢(shì)或從合到開的開手勢(shì)，包括 如下部件: 多個(gè)圖像獲得部件，獲得按照時(shí)間順序的多個(gè)圖像； 手掌形狀分割部件，從多個(gè)圖像中分割出手掌形狀圖像； 特征抽取部件，從多個(gè)手掌形狀圖像中的每個(gè)抽取出描述手掌姿態(tài)的多個(gè)特征，其中每個(gè)特征從手掌開合手勢(shì)過程中的取值變化過程看具有取值遞增或遞減的單調(diào)特性；最大差異特征向量計(jì)算部件，對(duì)于該多個(gè)特征中的每個(gè)特征，計(jì)算該多個(gè)手掌形狀圖像在該特征上的最大差異量，該最大差異量由該多個(gè)手掌形狀圖像中的兩個(gè)手掌形狀圖像按照預(yù)定順序做差得到，具有符號(hào)和幅度兩屬性，且該最大差異量的絕對(duì)值是該多個(gè)手掌形狀圖像中的任意兩個(gè)手掌形狀圖像在該特征上的差的絕對(duì)值中取值最大的，以及由上述多個(gè)特征的各個(gè)特征的最大差異量組成最大差異特征向量；以及 手掌開合手勢(shì)判定部件，基于該最大差異特征向量來判斷該多個(gè)圖像中是存在手掌開手勢(shì)、手掌合手勢(shì)還是不存在手掌開合手勢(shì)。
7.—種人機(jī)交互設(shè)備，所述人機(jī)交互設(shè)備包括: 權(quán)利要求6所述的手掌開合手勢(shì)識(shí)別裝置； 手勢(shì)識(shí)別控制裝置，用于根據(jù)手的運(yùn)動(dòng)和前一手勢(shì)的狀態(tài)來控制何時(shí)開啟手掌開合手勢(shì)識(shí)別裝置進(jìn)行手勢(shì)識(shí)別； 手勢(shì)-命令對(duì)應(yīng)裝置，用于將手掌開合手勢(shì)對(duì)應(yīng)到控制命令，并且當(dāng)識(shí)別到手掌開合手勢(shì)時(shí)，執(zhí)行對(duì)應(yīng)的控制命令。
8.根據(jù)權(quán)利要求7的人機(jī)交互設(shè)備，還包括，手掌位置不動(dòng)狀態(tài)檢測(cè)器，用于檢測(cè)手掌位置是否不動(dòng)，其中所述手勢(shì)識(shí)別控制裝置基于手掌位置不動(dòng)狀態(tài)檢測(cè)器的檢測(cè)結(jié)果來控制何時(shí)開啟手掌開合手勢(shì)識(shí)別裝置進(jìn)行手勢(shì)識(shí)
別。
9.根據(jù)權(quán)利要求8的人機(jī)交互設(shè)備，其中所述手勢(shì)識(shí)別控制裝置基于手掌位置不動(dòng)狀態(tài)檢測(cè)器的檢測(cè)結(jié)果來控制何時(shí)開啟手掌開合手勢(shì)識(shí)別裝置進(jìn)行手勢(shì)識(shí)別包括: (a)初始化一標(biāo)志“bFlag” 為 “false” ； (b)判斷標(biāo)志bFlag是TURE還是FALSE，如果FALSE，則調(diào)用手靜止?fàn)顟B(tài)檢測(cè)器檢測(cè)當(dāng)前手掌位置是處于不動(dòng)還是運(yùn)動(dòng)狀態(tài)； (c)如果標(biāo)志bFlag是TRUE或者當(dāng)前手掌位置被判斷為靜止?fàn)顟B(tài)，則調(diào)用手勢(shì)識(shí)別控制裝置進(jìn)行動(dòng)作識(shí)別； (d)如果識(shí)別出的手勢(shì)為“合”，則對(duì)標(biāo)志變量“bFlag”賦值為TRUE，否則如果手勢(shì)被識(shí)別為“開”，則對(duì)“bFlag”賦值“FALSE” ； (e)隨著下一組圖像序列的輸入，依次重復(fù)上述步驟(b)-(d)。
10.一種人機(jī)交互方法，包括下述步驟: 根據(jù)手的運(yùn)動(dòng)和前一手勢(shì)的狀態(tài)控制何時(shí)開啟手掌開合手勢(shì)識(shí)別； 當(dāng)控制開啟手掌開合手勢(shì)識(shí)別時(shí)，通過權(quán)利要求1到6任一項(xiàng)所述的方法進(jìn)行手掌開合手勢(shì)識(shí)別；以及 當(dāng)識(shí)別到手掌開合手勢(shì)時(shí)，將手掌開合手勢(shì)對(duì)應(yīng)到控制命令，并執(zhí)行對(duì)應(yīng)的控制命令，以控制顯示設(shè)備上對(duì)象的操作和顯示。
【文檔編號(hào)】G06F3/01GK103926999SQ201310016169
【公開日】2014年7月16日 申請(qǐng)日期:2013年1月16日 優(yōu)先權(quán)日:2013年1月16日
【發(fā)明者】熊懷欣 申請(qǐng)人:株式會(huì)社理光