專利名稱：一種基于人臉姿態(tài)估計(jì)的人機(jī)交互方法
技術(shù)領(lǐng)域：
本發(fā)明涉及包含以下步驟 a)經(jīng)光學(xué)鏡頭及CMOS圖像傳感器組件得到的人臉數(shù)字圖像序列，通過DSP的數(shù)字視頻高速通道實(shí)現(xiàn)數(shù)據(jù)采集。
b)對(duì)人臉數(shù)字圖像進(jìn)行預(yù)處理。
①圖像消噪。由于圖像噪聲點(diǎn)與它們的近鄰像素在灰度值、統(tǒng)計(jì)特征或分布規(guī)律上有顯著的區(qū)別，由此可以進(jìn)行圖像濾波實(shí)現(xiàn)噪聲抑制，使有用信息更容易檢測(cè)與識(shí)別。非線性擴(kuò)散是一種良好的圖像消噪方法，具有很好的保邊特性，但要經(jīng)過多次迭代，計(jì)算復(fù)雜度高。本發(fā)明中采用目標(biāo)點(diǎn)四個(gè)方向帶狀區(qū)域的方差構(gòu)造邊緣映射，應(yīng)用于非線性擴(kuò)散圖像消噪算法中，減少迭代次數(shù)，并采用積分圖實(shí)現(xiàn)快速計(jì)算。
②人臉檢測(cè)與區(qū)域劃分。手工標(biāo)注多張人臉，將這些人臉變換到相同尺寸，再求平均得到人臉模板，用模板匹配方法得到人臉的大概位置，然后根據(jù)人臉結(jié)構(gòu)特征先驗(yàn)知識(shí)將人臉劃分成左右眼、鼻和嘴四個(gè)區(qū)域。
③邊緣檢測(cè)。由于5個(gè)特征點(diǎn)都位于人臉器官的角點(diǎn)上，需要提取輪廓或角點(diǎn)信息以提高定位精度。傳統(tǒng)的邊緣檢測(cè)方法有Canny算子、Sobel算子、形態(tài)學(xué)方法以及小波變換方法等。此外，SUSAN角點(diǎn)檢測(cè)算法能夠很好反映邊緣及角點(diǎn)信息，但效果受到閾值影響。本發(fā)明中采用方向?yàn)V波方法獲取邊緣圖像。
c)定位人臉的5個(gè)特征點(diǎn)(2個(gè)眼角、2個(gè)嘴角和鼻尖)。
①定位眼角。首先，在前面確定的人眼區(qū)域內(nèi)，對(duì)消噪后圖像進(jìn)行水平和垂直兩個(gè)方向的灰度投影，分別取谷點(diǎn)位置作為眼球中心的二維坐標(biāo)，并以此劃定矩形區(qū)域作為眼睛的確切位置；然后，考察這一區(qū)域，對(duì)邊緣圖像進(jìn)行二值化處理，并檢測(cè)任意連通區(qū)域的點(diǎn)數(shù)，去掉連通點(diǎn)數(shù)太少的區(qū)域。最后，對(duì)選中的人眼連通區(qū)域提取最左(右)點(diǎn)作為眼角點(diǎn)。
②定位嘴角。嘴角定位也是角點(diǎn)檢測(cè)，方法與眼角定位類似，但由于嘴的灰度變化不象眼睛一樣存在高對(duì)比度的瞳孔，造成其輪廓不分明。先采用唇色樣本訓(xùn)練建立高斯混合概率模型，將嘴區(qū)域所有點(diǎn)代入模型計(jì)算其概率，并規(guī)格化后作為新的灰度信息，再應(yīng)用眼角定位相同的方法提取嘴角位置。
③定位鼻尖。鼻尖不在輪廓上，定位鼻尖要依靠其與眼角與嘴角的幾何位置關(guān)系確定。由于鼻尖離鼻孔較近，而且位于兩個(gè)鼻孔連線上方，先采用灰度投影法在鼻子區(qū)域內(nèi)搜索兩個(gè)鼻孔位置，然后在鼻孔上方查找高光點(diǎn)作為鼻尖位置。在人臉偏轉(zhuǎn)角度較大時(shí)，鼻尖定位容易造成誤差，但在本發(fā)明中，鼻尖位置只影響偏轉(zhuǎn)角度的符號(hào)，即確定轉(zhuǎn)動(dòng)方向，并不影響角度大小計(jì)算，因而對(duì)誤差并不敏感。
d)估計(jì)人臉的3個(gè)偏轉(zhuǎn)角度 3個(gè)偏轉(zhuǎn)角度是生成人機(jī)交互信息的基礎(chǔ)。在偏轉(zhuǎn)角度不太大，人臉大小相對(duì)固定并處于畫面中心，有良好光照的條件下，可以準(zhǔn)確得到5個(gè)特征點(diǎn)，用下面步驟求取3個(gè)偏轉(zhuǎn)角。
①坐標(biāo)變換。先計(jì)算左右眼角點(diǎn)的中心，并作為圖像原點(diǎn)，其余所有坐標(biāo)點(diǎn)根據(jù)其與原點(diǎn)的相對(duì)位置進(jìn)行坐標(biāo)變換，得到新的坐標(biāo)值。然后計(jì)算兩個(gè)嘴角點(diǎn)的中心位置并記錄，得到兩個(gè)眼角、眼角中心、鼻尖、嘴角中心共5個(gè)特征點(diǎn)，這5個(gè)特征點(diǎn)是進(jìn)行人臉三個(gè)三維偏轉(zhuǎn)角度估計(jì)的基礎(chǔ)。
②確定一幅正面圖像，以兩個(gè)眼角連線為水平線，該連線與嘴角中心點(diǎn)確定的平面與攝像鏡頭法線垂直時(shí)為正面，設(shè)此時(shí)三個(gè)偏轉(zhuǎn)角0。定位正面圖像的5個(gè)特征點(diǎn)，根據(jù)d)①方法完成坐標(biāo)變換，計(jì)算5個(gè)特征點(diǎn)坐標(biāo)并記錄，在后續(xù)的姿態(tài)估計(jì)中作為參考信息。
③對(duì)任意時(shí)刻采集的人臉圖像，需要估計(jì)其姿態(tài)以生成人機(jī)交互信息。首先定位5個(gè)特征點(diǎn)，再按照d)②相同的方法得到5個(gè)點(diǎn)的坐標(biāo)。參照d)②得到的正面圖像的特征點(diǎn)，對(duì)這些坐標(biāo)按照幾何約束關(guān)系進(jìn)行驗(yàn)證，對(duì)明顯不符合條件的定位結(jié)果作放棄處理，不生成交互信息。
④利用d)②、d)③兩步所確定的兩幅圖像對(duì)應(yīng)5點(diǎn)的坐標(biāo)，利用針孔攝像機(jī)模型，根據(jù)算法特點(diǎn)作出一些合乎情理及不影響結(jié)果的簡(jiǎn)化假設(shè)，最后利用對(duì)極幾何原理進(jìn)行推導(dǎo)，計(jì)算出任意圖像中人臉的姿態(tài)，得到三個(gè)偏轉(zhuǎn)角度。
e)生成人機(jī)交互信息 由前面獲得的三個(gè)偏轉(zhuǎn)角度定義鼠標(biāo)位置和操作方式。計(jì)算機(jī)-鼠標(biāo)交互方法包括指針在二位平面內(nèi)任意移動(dòng)，鼠標(biāo)左、右鍵的單雙擊等操作。本發(fā)明根據(jù)其中兩個(gè)角度值定位鼠標(biāo)指針位置，用另一角度的幀間突變量定義鼠標(biāo)的操作，從而生成人機(jī)交互信息。
f)連接計(jì)算機(jī)實(shí)現(xiàn)通信 裝置中開發(fā)USB接口，按照標(biāo)準(zhǔn)USB鼠標(biāo)的通信協(xié)議編寫驅(qū)動(dòng)程序，將前面獲取的人機(jī)交互信息傳送到計(jì)算機(jī)。計(jì)算機(jī)不需要任何專門的程序支持，降低了目標(biāo)計(jì)算機(jī)的負(fù)擔(dān)，不影響操作者應(yīng)用計(jì)算機(jī)運(yùn)行復(fù)雜的軟件。
本發(fā)明作為傳統(tǒng)人機(jī)交互方法的補(bǔ)充，適用于一些特殊的交互人群(如肢殘人士)和交互環(huán)境(如多媒體游戲)，具有顯著的應(yīng)用價(jià)值。



圖1是本發(fā)明的人機(jī)交互信息處理流程圖 圖2是人臉初定位采用的人臉模板圖 圖3是正面人臉器官模板及本方法中5個(gè)特征點(diǎn)位置圖 圖4是本發(fā)明中人臉3個(gè)偏轉(zhuǎn)角度的定義方法示意圖
具體實(shí)施例方式 下面結(jié)合一個(gè)非限定性實(shí)例對(duì)本發(fā)明作進(jìn)一步的說明 參見圖1、圖2、圖3、圖4。
本發(fā)明圖像采集、時(shí)序生成及控制采用CPLD器件實(shí)現(xiàn)，圖像預(yù)處理、特征點(diǎn)定位和姿態(tài)估計(jì)相關(guān)算法采TI公司的達(dá)芬奇處理器TMS32C6446完成，USB接口用Cypress控制芯片實(shí)現(xiàn)。依據(jù)信息處理流程完成所有算法及硬件模塊設(shè)計(jì)，模擬鼠標(biāo)操作實(shí)現(xiàn)人機(jī)交互。
主要模塊內(nèi)容介紹如下 (1)人臉圖像預(yù)處理 I.圖像消噪。由于光學(xué)系統(tǒng)或電子器件影響，圖像不可避免會(huì)受到噪聲干擾，需要進(jìn)行消噪處理以提高特征點(diǎn)的定位精度。應(yīng)用非線性擴(kuò)散消噪算法原理，并利用目標(biāo)點(diǎn)鄰域四個(gè)方向帶狀區(qū)域灰度的方差值作為圖像的邊緣映射，每個(gè)像素點(diǎn)的擴(kuò)散量由鄰域八像素與該點(diǎn)的差值以及相應(yīng)的方向權(quán)系數(shù)決定，從而增強(qiáng)適應(yīng)能力，減少迭代次數(shù)少，加快運(yùn)算速度。其迭代公式為 為了在迭帶過程中不產(chǎn)生新的極值點(diǎn)，λ取0.125，σp，q根據(jù)p、q值不同代表四個(gè)方向帶狀區(qū)域方差。

為叉分方法計(jì)算的梯度。擴(kuò)散函數(shù)g(σ)定義為 II.人臉定位與區(qū)域劃分。由于本發(fā)明應(yīng)用于特殊的人機(jī)交互環(huán)境，可以保證一系列客觀條件良好的光照，人臉大小比較統(tǒng)一并處于圖像中心，背景影響較小，減少了人臉定位負(fù)擔(dān)。先采用手工標(biāo)注100張人臉，在尺寸歸一化后求平均得到人臉模板，用模板匹配方法提取人臉的位置。設(shè)ai，j為待檢測(cè)像素灰度，ti，j為模板像素灰度，Ea、Et分別為二者均值，則匹配系數(shù)定義為 m＞0.55為侯選人臉區(qū)域。在檢測(cè)范圍內(nèi)若出現(xiàn)多個(gè)符合條件的區(qū)域，則對(duì)連續(xù)出現(xiàn)的人臉區(qū)域求平均得到人臉位置。然后根據(jù)人臉結(jié)構(gòu)特征先驗(yàn)知識(shí)將人臉劃分成左右眼、鼻和嘴四個(gè)區(qū)域。
III.邊緣檢測(cè)。人臉的眼、鼻、嘴等器官包含了顯著的輪廓信息，可以通過邊緣檢測(cè)算法提取輪廓信息，為特征點(diǎn)檢測(cè)打下基礎(chǔ)。本發(fā)明中采用方向?yàn)V波方法先用差分法計(jì)算每個(gè)點(diǎn)的梯度大小和方向，再對(duì)目標(biāo)點(diǎn)及其相鄰8點(diǎn)的梯度進(jìn)行矢量疊加，用其模值作為該點(diǎn)新的灰度值，從而得到邊緣圖像。
(2)定位人臉的5個(gè)特征點(diǎn)(2個(gè)眼角、2個(gè)嘴角和鼻尖)。
I.定位眼角。首先，針對(duì)(1)I得到的預(yù)處理圖像和(1)II確定的人眼大致區(qū)域，進(jìn)行水平和垂直灰度投影，先對(duì)投影波形進(jìn)行平滑，再分別取谷點(diǎn)位置為眼球中心點(diǎn)的縱向和橫向坐標(biāo)，并以此劃定矩形區(qū)域作為眼睛的位置；其次，對(duì)該區(qū)域的(1)III邊緣圖像采用最大類間方差法確定閾值進(jìn)行二值化處理；再次，對(duì)二值圖像進(jìn)行連通區(qū)域檢測(cè)，對(duì)連通點(diǎn)少于20的區(qū)域作為干擾排除，并對(duì)候選連通區(qū)進(jìn)行形狀驗(yàn)證；最后，對(duì)選中的人眼連通區(qū)域提取最左(右)點(diǎn)，若存在多點(diǎn)則最下面的點(diǎn)作為眼角點(diǎn)。
II.定位嘴角。采用與眼角定位相似的方法，只是由于嘴的灰度變化不如眼睛明顯，所以在對(duì)嘴唇區(qū)域進(jìn)行邊沿檢測(cè)之前，先通過高斯混合模型(GMMs)進(jìn)行膚色變換手工收集大量嘴唇樣本，根據(jù)其顏色先計(jì)算所有樣本點(diǎn)的Cr、Cb色差信息，并以此為二維坐標(biāo)，建立由兩個(gè)高斯模型組成的高斯混合概率模型，代入所有樣本點(diǎn)進(jìn)行膚色訓(xùn)練，獲得模型參數(shù)。將(1)II步確定的嘴巴區(qū)域所有點(diǎn)的顏色信息代入模型，計(jì)算屬于嘴唇的概率，將概率變換到0-255區(qū)間，作為新的灰度圖，然后用(1)III方法進(jìn)行邊緣檢測(cè)。后續(xù)的嘴角定位步驟與眼角提取相同。
III.定位鼻尖。首先定位兩個(gè)鼻孔位置，以找到的兩個(gè)眼角位置為基礎(chǔ)，定義其距離為h，根據(jù)眼角、嘴角和鼻孔的位置關(guān)系，在眼角連線以下的1.2h到1.6h，寬度為h的矩形區(qū)域內(nèi)分別進(jìn)行水平和垂直灰度投影，由水平投影的谷點(diǎn)位置作為鼻孔位置的縱坐標(biāo)，以垂直投影的兩個(gè)谷點(diǎn)分別作為兩個(gè)鼻孔的橫坐標(biāo)。然后在鼻孔上方0.3h內(nèi)查找高光點(diǎn)，作為鼻尖位置。
(3)估計(jì)人臉的3個(gè)偏轉(zhuǎn)角度 在偏轉(zhuǎn)角度不太大(在20°以內(nèi))，并且有良好光照的條件下，前面步驟能夠準(zhǔn)確定位5個(gè)特征點(diǎn)A～E，用下面步驟求取3個(gè)偏轉(zhuǎn)角。
I.坐標(biāo)預(yù)處理。對(duì)A、B兩點(diǎn)坐標(biāo)求平均，得到中心點(diǎn)F。指定F為坐標(biāo)原點(diǎn)，水平向右為橫軸u，豎直向上為縱軸v，對(duì)后面所有圖像點(diǎn)的二維坐標(biāo)均以此為參考進(jìn)行變換。對(duì)兩個(gè)嘴角點(diǎn)D、E坐標(biāo)求平均得到中心點(diǎn)G，連同兩個(gè)眼角、眼角中心點(diǎn)和鼻尖共5個(gè)特征點(diǎn)A、B、C、F、G，用下面步驟求取3個(gè)偏轉(zhuǎn)角。
II.首先確定一幅正面圖像，設(shè)定其三個(gè)偏轉(zhuǎn)角α、β、γ為0，定位5個(gè)特征點(diǎn)A～E，按照上面(3)I方法計(jì)算A、B、C、F、G點(diǎn)的坐標(biāo)并記錄。作為參考圖像，在下面表述中，以下標(biāo)1作為標(biāo)記。于是這些坐標(biāo)點(diǎn)描述為A點(diǎn)(uA1，vA1)，B點(diǎn)(uB1，vB1)，C點(diǎn)(uC1，vC1)，F(xiàn)點(diǎn)(uF1，vF1)，G點(diǎn)(uG1，vG1)。
III.對(duì)任意時(shí)刻采集的人臉圖像，首先定位5個(gè)特征點(diǎn)，再按照(3)II相同的方法得到5個(gè)點(diǎn)的坐標(biāo)，以下標(biāo)2為標(biāo)記A點(diǎn)(uA2，vA2)，B點(diǎn)(uB2，vB2)，C點(diǎn)(uC2，vC2)，F(xiàn)點(diǎn)(uF2，vF2)，G點(diǎn)(uG2，vG2)。
IV.利用(3)II、(3)III兩步所確定的兩幅圖像對(duì)應(yīng)5點(diǎn)的坐標(biāo)，利用針孔攝像機(jī)模型和對(duì)極幾何原理進(jìn)行數(shù)學(xué)推導(dǎo)，計(jì)算出圖像2中人臉的姿態(tài)，得到三個(gè)偏轉(zhuǎn)角度α、β、γ。針孔攝像機(jī)模型 其中s為尺度因子，圖像點(diǎn)的齊次坐標(biāo)，K為像機(jī)的內(nèi)部參數(shù)矩陣，可以定義成diag(f，f，1)。T＝[tx，ty，tz]T是平移矩陣，是空間人臉三維點(diǎn)的齊次坐標(biāo)。R是以α，β和γ為基礎(chǔ)的旋轉(zhuǎn)矩陣。本步驟的任務(wù)是根據(jù)兩幅已知圖像的5個(gè)特征點(diǎn)的

信息，通過一些合理的假設(shè)，在不知道

的情況下估算R中的三個(gè)角度值。
由于只涉及角度估計(jì)，算法中的運(yùn)算式全部以差-商方式出現(xiàn)，可以對(duì)針孔像機(jī)模型的參數(shù)作如下假設(shè)s＝1，K＝diag(1，1，1)，T＝
T。設(shè) c＝cosγ d＝sinγ h＝sinβ 可以推導(dǎo)出 γ＝arc tan(M) 由于在計(jì)算過程中，β存在一個(gè)正負(fù)符號(hào)問題，不能由A、B、F、G四點(diǎn)唯一確定，所以需要引入C點(diǎn)，根據(jù)C與F、G連線的相對(duì)位置決定其符號(hào)。
(4)生成人機(jī)交互信息 由α、β、γ三個(gè)角度信息定義鼠標(biāo)位置和操作方式。α、β為0定義為屏幕中心，α變化時(shí)鼠標(biāo)上下移動(dòng)，β變化時(shí)鼠標(biāo)左右移動(dòng)，角度大于或等于20°時(shí)鼠標(biāo)定位到屏幕邊沿。γ角度的突變定義鼠標(biāo)操作方式，γ為正且連續(xù)兩幀之間角度變化介于3°～8°為單擊左鍵，超過8°為雙擊左鍵，γ為負(fù)且連續(xù)兩幀之間角度變化介于-3°～-8°為單擊右鍵，超過-8°為雙擊右鍵。
(5)通過USB連接到PC機(jī)上形成鼠標(biāo)裝置 裝置上應(yīng)用Cypress芯片開發(fā)USB接口，以標(biāo)準(zhǔn)USB鼠標(biāo)方式實(shí)現(xiàn)與PC機(jī)的通信。用上面方法產(chǎn)生的鼠標(biāo)位置和操作方式取代傳統(tǒng)鼠標(biāo)的操作信息傳送到PC機(jī)，形成一種基于人臉姿態(tài)估計(jì)的視覺鼠標(biāo)裝置。
權(quán)利要求
1、一種基于人臉姿態(tài)估計(jì)的人機(jī)交互方法，方法包括以下步驟
a)將經(jīng)光學(xué)鏡頭及CMOS圖像傳感器組件得到的人臉數(shù)字圖像序列，通過DSP的數(shù)字視頻高速通道實(shí)現(xiàn)數(shù)據(jù)采集，并由DSP完成視頻處理算法；
b)對(duì)人臉數(shù)字圖像進(jìn)行預(yù)處理
首先進(jìn)行圖像降噪采用非線性擴(kuò)散方法實(shí)現(xiàn)噪聲抑制，其中邊緣映射采用目標(biāo)點(diǎn)鄰域四個(gè)方向帶狀區(qū)域的方差計(jì)算法；方差計(jì)算過程中的區(qū)域求和采用積分圖實(shí)現(xiàn)，以減少計(jì)算量；其次，對(duì)圖像中的人臉進(jìn)行定位，并進(jìn)行區(qū)域劃分，用模板匹配方法得到人臉的大概位置，然后根據(jù)人臉結(jié)構(gòu)特征先驗(yàn)知識(shí)將人臉劃分成左右眼、鼻和嘴四個(gè)區(qū)域；最后進(jìn)行邊緣檢測(cè)，考查任意圖像點(diǎn)梯度的大小和方向，根據(jù)圖像點(diǎn)與鄰域8點(diǎn)的梯度方向的一致性，將所有9點(diǎn)的梯度求矢量和，用其模值作為該圖像點(diǎn)新的灰度值，得到邊緣圖像；
c)定位人臉的2個(gè)兩個(gè)眼睛的內(nèi)眼角、2個(gè)嘴角和鼻尖共5個(gè)特征點(diǎn)
①定位眼角首先，在人眼的初步區(qū)域內(nèi)采用灰度投影法確定眼球中心位置，并以此劃出矩形區(qū)域作為眼睛的確切位置；然后，在該區(qū)域內(nèi)采用最大類間方差法確定閾值，對(duì)邊緣圖像進(jìn)行二值化處理，并限制連通點(diǎn)數(shù)；最后，對(duì)人眼連通區(qū)域提取最左(右)點(diǎn)作為眼角點(diǎn)；
②定位嘴角先采用唇色樣本訓(xùn)練含兩個(gè)高斯函數(shù)的混合高斯模型，計(jì)算嘴巴區(qū)域內(nèi)任意點(diǎn)屬于嘴唇的概率，并規(guī)格化后作為該點(diǎn)新的灰度信息，再應(yīng)用眼角定位相同的方法提取嘴角位置；
③定位鼻尖先在鼻子區(qū)域內(nèi)采用灰度投影法搜索兩個(gè)鼻孔位置，然后在鼻孔上方查找高光點(diǎn)作為鼻尖位置；
d)估計(jì)人臉的3個(gè)偏轉(zhuǎn)角度
①坐標(biāo)變換首先，計(jì)算兩個(gè)眼角的中心位置，作為圖像原點(diǎn)將所有特征點(diǎn)進(jìn)行坐標(biāo)變換；其次，計(jì)算兩個(gè)嘴角點(diǎn)的中心位置并記錄，得到兩個(gè)眼角、眼角中心、鼻尖、嘴角中心共5個(gè)新的特征點(diǎn)；
②對(duì)一幅正面圖像以及有偏轉(zhuǎn)角度的實(shí)時(shí)圖像分別獲得5個(gè)特征點(diǎn)的坐標(biāo)，完成坐標(biāo)變換并建立對(duì)應(yīng)關(guān)系；
③利用兩幅圖像對(duì)應(yīng)5點(diǎn)的坐標(biāo)，由針孔攝像機(jī)模型，根據(jù)算法特點(diǎn)作出一些合乎情理且不影響結(jié)果的簡(jiǎn)化假設(shè)，最后利用對(duì)極幾何原理進(jìn)行推導(dǎo)，估計(jì)任意圖像中人臉的姿態(tài)，得到三個(gè)偏轉(zhuǎn)角度；
e)生成人機(jī)交互信息
由三個(gè)偏轉(zhuǎn)角度定義鼠標(biāo)位置和操作方式，根據(jù)其中兩個(gè)角度值定位鼠標(biāo)指針位置，用另一角度的幀間變化量定義鼠標(biāo)的操作，生成人機(jī)交互信息；
f)連接計(jì)算機(jī)實(shí)現(xiàn)通信
按照標(biāo)準(zhǔn)USB鼠標(biāo)的通信協(xié)議開發(fā)USB接口并編寫驅(qū)動(dòng)程序，將前面獲取的人機(jī)交互信息傳送到計(jì)算機(jī)，形成一種新的視覺鼠標(biāo)裝置。
2、根據(jù)權(quán)利要求1所述的基于人臉姿態(tài)估計(jì)的人機(jī)交互方法，其特征是對(duì)一幅正面參考圖像和有偏轉(zhuǎn)角度的實(shí)時(shí)圖像分別定位5個(gè)特征點(diǎn)，其中確定兩個(gè)嘴角點(diǎn)是為了得到其中點(diǎn)參與姿態(tài)估計(jì)；由人臉的偏轉(zhuǎn)角度定義人機(jī)交互信息并以USB鼠標(biāo)方式與計(jì)算機(jī)通信；該視覺鼠標(biāo)裝置適合于多媒體應(yīng)用及肢殘人士使用計(jì)算機(jī)。
全文摘要
本發(fā)明涉及一種基于人臉姿態(tài)估計(jì)的人機(jī)交互裝置及方法，實(shí)現(xiàn)的步驟是經(jīng)攝像頭得到人臉圖像序列，在進(jìn)行預(yù)處理后自動(dòng)提取兩個(gè)眼角、兩個(gè)嘴角和鼻尖5個(gè)特征點(diǎn)；以一幅正面圖像為參考，根據(jù)5個(gè)特征點(diǎn)的位置及對(duì)應(yīng)關(guān)系估計(jì)任意圖像中人臉的3個(gè)偏轉(zhuǎn)角度；由這些姿態(tài)信息定義鼠標(biāo)指針位置和操作方式，生成人機(jī)交互信息；通過USB接口連接到計(jì)算機(jī)，形成一種新的視覺鼠標(biāo)裝置。該裝置作為傳統(tǒng)人機(jī)交互方法的補(bǔ)充，適用于一些特殊的交互人群(如肢殘人士)和交互環(huán)境(如多媒體游戲)，具有顯著的應(yīng)用價(jià)值。
文檔編號(hào)G06F3/01GK101561710SQ20091010388
公開日2009年10月21日 申請(qǐng)日期2009年5月19日 優(yōu)先權(quán)日2009年5月19日
發(fā)明者毛玉星, 張占龍, 為 何, 成華安, 饒 傅 申請(qǐng)人:重慶大學(xué)