一種融合人臉和手勢(shì)的智能終端人機(jī)交互方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種融合人臉和手勢(shì)的智能終端人機(jī)交互方法，屬于圖像處理技術(shù)領(lǐng)域。
【背景技術(shù)】
[0002]隨著智能手機(jī)、智能電視、平板電腦、車載智能系統(tǒng)的迅速普及，人與智能終端的交互活動(dòng)成為人們?nèi)粘Ｉ钪械闹匾M成部分。在這種情況下，基于語音、人臉、手勢(shì)等更加自然、更加方便的人機(jī)交互技術(shù)得到迅猛發(fā)展。
[0003]人臉識(shí)別技術(shù)提供了一種自然的人機(jī)交互方法。人臉是人類視覺中最為普遍的模式，最容易被人類接受。人的面部所表現(xiàn)的視覺信息在社會(huì)交流中有著很重要的作用和意義。人臉識(shí)別技術(shù)依托模式識(shí)別、圖像理解、計(jì)算機(jī)視覺和人工智能等多種學(xué)科，同時(shí)和認(rèn)知學(xué)、神經(jīng)科學(xué)、生理心理學(xué)等學(xué)科有著千絲萬縷的聯(lián)系。盡管人類在嬰兒期就可以毫不費(fèi)力地快速、準(zhǔn)確的識(shí)別人臉，然而利用計(jì)算機(jī)進(jìn)行人臉識(shí)別仍然是一個(gè)挑戰(zhàn)。目前，雖然基于人臉識(shí)別的應(yīng)用開始出現(xiàn)在智能手機(jī)、智能電視等終端產(chǎn)品上，但是受光線、角度、表情、遮擋物、眼鏡、年齡等因素影響，人臉識(shí)別的效果尚不夠理想。
[0004]手勢(shì)是另外一種自然、直觀、易于學(xué)習(xí)的人機(jī)交互手段。手勢(shì)可以分為靜態(tài)手勢(shì)和動(dòng)態(tài)手勢(shì)兩種:靜態(tài)手勢(shì)指在單個(gè)時(shí)間點(diǎn)上手的空間姿態(tài)，如手的形狀、方向和身體的相對(duì)位置等；動(dòng)態(tài)手勢(shì)則是由一段時(shí)間內(nèi)的手的一系列姿態(tài)組成，相比靜態(tài)手勢(shì)增加了時(shí)間信息和動(dòng)作特征，如手的姿態(tài)變化和運(yùn)動(dòng)軌跡。基于視覺的手勢(shì)識(shí)別技術(shù)突出優(yōu)點(diǎn)是輸入設(shè)備便捷，例如攝像頭已經(jīng)成為智能手機(jī)等終端產(chǎn)品的標(biāo)準(zhǔn)配置，并且它對(duì)人手不做其他附加設(shè)備要求(如手套等)，使計(jì)算機(jī)與人的交互更加趨于自然化。另外，基于視覺的手勢(shì)識(shí)別技術(shù)采用視頻輸入的方式，可適用于遠(yuǎn)距離、非接觸、自由度更大的人機(jī)交互或控制系統(tǒng)。目前國際上研究手勢(shì)識(shí)別的大學(xué)和機(jī)構(gòu)比較多，例如美國的卡內(nèi)基?梅隆大學(xué)、麻省理工學(xué)院、伊利諾伊斯大學(xué)(UIUC)等，微軟、IBM、東芝、日立等公司也在手勢(shì)識(shí)別研究中做了很多努力。國內(nèi)的對(duì)該領(lǐng)域進(jìn)行研究單位主要集中在高校和中科院自動(dòng)化研究所，現(xiàn)在對(duì)手勢(shì)識(shí)別的研究都還處于算法研究方面，大部分的實(shí)現(xiàn)都是基于PC機(jī)平臺(tái)的，只有少數(shù)研究為提高速度而采用了硬件加速的方法。
[0005]綜上所述，無論是人臉還是手勢(shì)，其識(shí)別效果目前尚不理想。研究發(fā)現(xiàn)單一生物特征(例如人臉、手形、指紋等)所含信息有限，是無法滿足人們多樣化需求(自然、方便、安全等)的主要原因之一。文獻(xiàn)[5]揭示了通常使用的手形和人臉?biāo)男畔?nèi)容分別只有15和13數(shù)量級(jí)，所以基于單一人臉或手形識(shí)別技術(shù)的系統(tǒng)不可能滿足人們?nèi)粘Ｉ畹亩鄻踊枨蟆Ａ硗?，盡管指紋和虹膜擁有大量的信息內(nèi)容，但是已有的指紋認(rèn)證系統(tǒng)對(duì)于低質(zhì)量的指紋圖像的識(shí)別率也不樂觀。因此，對(duì)于某些關(guān)鍵應(yīng)用，單一生物特征識(shí)別系統(tǒng)都很難滿足人們需求。
[0006]因此，隨著智能終端及系統(tǒng)的迅速普及，為滿足人們?cè)絹碓蕉嗟男枨?，研究多模態(tài)生物識(shí)別融合技術(shù)(例如人臉+手勢(shì)、人臉+聲音、人臉+指紋等)，并將其應(yīng)用到智能終端及系統(tǒng)的人機(jī)交互中成為當(dāng)前研究的熱點(diǎn)。

【發(fā)明內(nèi)容】

[0007]本發(fā)明針對(duì)以上問題的提出，而研制一種融合人臉和手勢(shì)的智能終端人機(jī)交互方法。
[0008]本發(fā)明采取的技術(shù)方案如下:
[0009]第一步:根據(jù)智能終端攝像頭采集到的人臉圖像，采用灰度投影方法快速定位人眼瞳孔位置，并利用瞳孔距離對(duì)人臉圖像進(jìn)行歸一化處理；
[0010]第二步:對(duì)歸一化處理得到的人臉圖像，利用灰度投影法計(jì)算面部主要特征的中心坐標(biāo)，并根據(jù)中心坐標(biāo)劃分13個(gè)人臉面部感興趣區(qū)域(R0I)，所述面部主要特征包括眼睛、鼻子、嘴、耳朵的特征；
[0011]第三步:根據(jù)智能終端攝像頭采集到的手勢(shì)圖像進(jìn)行手部膚色和背景建模，利用膚色分割和背景減除方法進(jìn)行手勢(shì)檢測(cè)；
[0012]第四步:對(duì)第三步檢測(cè)到的手勢(shì)圖像，利用梯度方向直方圖方法描述其特征，同時(shí)結(jié)合主元分析方法(PCA)構(gòu)建其特征子空間，然后采用在線機(jī)器學(xué)習(xí)方法將第三步檢測(cè)到的手勢(shì)圖像分成M類，在本發(fā)明中，我們將M設(shè)定為10*2類，這樣為了區(qū)分左右手；
[0013]第五步:根據(jù)第二步定義的13個(gè)人臉面部感興趣區(qū)域(R0I)，結(jié)合第四步手勢(shì)識(shí)別分類結(jié)果共M類，可定義13*M類人臉-手勢(shì)基本模式；結(jié)合用戶眼睛連續(xù)閉合次數(shù)，可定義13*M*N類人臉-手勢(shì)擴(kuò)展模式，N為眼睛連續(xù)閉合次數(shù)；
[0014]第六步:根據(jù)第五步定義的人臉-手勢(shì)基本模式或擴(kuò)展模式，可由用戶自定義不同的人機(jī)交互操作。
[0015]所述第五步所述定義13*M類人臉-手勢(shì)基本模式，結(jié)合用戶眼睛連續(xù)閉合次數(shù)，可定義13*M*N類人臉-手勢(shì)擴(kuò)展模式，N為用戶眼睛連續(xù)閉合次數(shù)。
[0016]所述第六步所述的可由用戶自定義不同的人機(jī)交互操作包括打開、關(guān)閉、保存、刪除、退出、最小化、最大化、返回上級(jí)菜單、返回桌面、鎖屏。
[0017]所述13個(gè)人臉面部感興趣區(qū)域(ROI)的實(shí)現(xiàn)方法如下:首先利用灰度投影法快速定位人眼瞳孔位置，根據(jù)瞳孔距離縮放和切割所有的人臉圖像，使所有圖像之間的瞳孔位置和面部輪廓大小基本一致；接著再次利用灰度投影法定位面部特征器官的中心坐標(biāo)，面部特征器官包括眼睛、鼻子、嘴、耳；然后根據(jù)中心坐標(biāo)劃分對(duì)應(yīng)的感興趣區(qū)域。
[0018]同現(xiàn)有技術(shù)相比本發(fā)明的優(yōu)點(diǎn)是顯而易見的，具體為:
[0019]1.本發(fā)明提出了一種融合人臉和手勢(shì)的智能終端人機(jī)交互方法。該方法綜合采用人臉、手勢(shì)等視覺識(shí)別先進(jìn)技術(shù)，充分利用智能終端本身外設(shè)接口，不需要附加其他數(shù)據(jù)采集及數(shù)據(jù)處理裝置。
[0020]2.本發(fā)明定義了應(yīng)用于人機(jī)交互的人臉面部感興趣區(qū)域(ROI)。
[0021]3.本發(fā)明根據(jù)定義的人臉面部感興趣區(qū)域(R0I)，結(jié)合手勢(shì)識(shí)別分類結(jié)果(共M類)，定義了 13*M類人臉-手勢(shì)基本模式。結(jié)合用戶眼睛連續(xù)閉合次數(shù)(例如N次)，可定義13*M*N類人臉-手勢(shì)擴(kuò)展模式。
[0022]4.本發(fā)明根據(jù)定義的人臉-手勢(shì)基本模式或擴(kuò)展模式，由用戶自定義不同的人機(jī)交互操作，例如打開、關(guān)閉、保存、刪除、退出、最小化、最大化、返回上級(jí)菜單、返回桌面、鎖屏等操作。
【附圖說明】
[0023]圖1為本發(fā)明所述方法的流程圖。
[0024]圖2為本發(fā)明定乂的人臉面部感興趣區(qū)域。
[0025]圖3為本發(fā)明采用的部分手勢(shì)類型。
[0026]圖4為本發(fā)明定義的部分人臉-手勢(shì)基本模式。
【具體實(shí)施方式】
[0027]下面結(jié)合附圖對(duì)本發(fā)明做進(jìn)一步說明: