專(zhuān)利名稱(chēng)：仿人面部表情機(jī)器人交互系統(tǒng)和方法以及人臉檢測(cè)和跟蹤方法
技術(shù)領(lǐng)域：
本發(fā)明涉及仿人機(jī)器人領(lǐng)域，具體地說(shuō)是一種仿人面部表情機(jī)器人交互系統(tǒng)。
背景技術(shù)：
一般的仿人機(jī)器人它的形狀與人類(lèi)似，具有移動(dòng)功能、操作功能、感知功能、記憶和自治能力，能夠?qū)崿F(xiàn)人機(jī)交互。隨著對(duì)于仿人機(jī)器人的研究不斷深入，機(jī)器人研究對(duì)生物學(xué)、心理學(xué)、社會(huì)學(xué)、行為學(xué)、語(yǔ)言學(xué)等領(lǐng)域的知識(shí)與技術(shù)的需求會(huì)不斷增加，各學(xué)科之間的交叉性越來(lái)越強(qiáng)。可以預(yù)見(jiàn)未來(lái)機(jī)器人技術(shù)是朝著網(wǎng)絡(luò)化、高度智能化的方向發(fā)展，所以必然導(dǎo)致仿人機(jī)器人與人類(lèi)相互交流、共存。因此這就要求仿人機(jī)器人不僅要具有雙腿、雙臂、頭、眼、頸、腰等與人類(lèi)相似的物理特征，還能模仿人類(lèi)的視覺(jué)、觸覺(jué)、語(yǔ)言，甚至情感等抽象特征。美國(guó)著名心理學(xué)家AlbertMehrabian經(jīng)過(guò)研究發(fā)現(xiàn)，人在進(jìn)行情感表達(dá)時(shí)，語(yǔ)言只表達(dá)7%的內(nèi)容，聲調(diào)也只能表達(dá)38%的內(nèi)容，而55%的內(nèi)容全由人的表情與動(dòng)作來(lái)表達(dá)，可見(jiàn)表情交流的必要性。由此可見(jiàn)，研究人類(lèi)與機(jī)器人的面部表情交流是很有必要的。

發(fā)明內(nèi)容
本發(fā)明的目的在于針對(duì)已有技術(shù)存在的，提供一種仿人面部表情機(jī)器人交互系統(tǒng)和方法以及人臉檢測(cè)和跟蹤方法，可以實(shí)現(xiàn)六種基本面部表情(高興、憤怒、恐懼、驚訝、厭惡、悲傷)的再現(xiàn)以及基礎(chǔ)面部表情(眼睛的睜閉、嘴巴的張合)的識(shí)別與再現(xiàn)。本發(fā)明的仿人面部表情機(jī)器人交互系統(tǒng)，包括圖像采集裝置(I)、上位機(jī)(II)、控制單元(III)和機(jī)器人本體(IV)，其特征在于所述圖像采集裝置(I)的輸出連接到上位機(jī)(II)，上位機(jī)(II)的輸出經(jīng)控制單元(III)連接到機(jī)器人本體(IV)；控制機(jī)器人的面部表情輸出，一方面可以通過(guò)上位機(jī)(II)的控制界面進(jìn)行選擇，上位機(jī)(II)將表情模式通過(guò)串口通信發(fā)送到控制單元(III)來(lái)控制機(jī)器人輸出六種基本面部表情一高興、憤怒、恐懼、驚訝、厭惡和悲傷；另一方面，圖像采集裝置(I)采集到人臉面部表情，輸入到上位機(jī)(II)進(jìn)行特征提取和基礎(chǔ)面部表情一眼睛的睜閉、和嘴巴的張合的識(shí)別，上位機(jī)(II)將表情識(shí)別結(jié)果通過(guò)串口通信發(fā)送到控制單元(III)，控制單元(III)根據(jù)接收到的表情指令控制機(jī)器人再現(xiàn)表情。上述仿人面部表情機(jī)器人交互系統(tǒng)，其特征在于所述的機(jī)器人本體(IV)的結(jié)構(gòu)在一個(gè)架構(gòu)(0)上仿人體面部安裝有兩個(gè)眉毛轉(zhuǎn)動(dòng)部件(1)、兩個(gè)眼瞼轉(zhuǎn)動(dòng)部件(2)、兩個(gè)眼球轉(zhuǎn)動(dòng)部件(3)以及一個(gè)下頌運(yùn)動(dòng)部件(4);所述兩個(gè)眼瞼轉(zhuǎn)動(dòng)部件(2)分別固定于左右兩個(gè)對(duì)稱(chēng)的支座(13)上，再由所述支座(13)固定在本體構(gòu)架(0)上；所述兩個(gè)眼球轉(zhuǎn)動(dòng)部件(3)通過(guò)一個(gè)舵機(jī)架(20)連接在本體構(gòu)架(0)上；所述下頌運(yùn)動(dòng)部件(4)由另一個(gè)舵機(jī)架(35)固定于所述本體構(gòu)架(0)上；
上述每個(gè)所述的眉毛轉(zhuǎn)動(dòng)部件(1)的結(jié)構(gòu)眉毛(7)與眉毛舵機(jī)臂(6)通過(guò)螺栓聯(lián)接，眉毛舵機(jī)臂(6)安裝在舵機(jī)(5)的輸出軸上，所述眉毛舵機(jī)(5)與所述連桿(8)連接；
上述每個(gè)所訴眼瞼轉(zhuǎn)動(dòng)部件(2)的結(jié)構(gòu)眼瞼(11)由螺栓緊固在所述眼瞼舵機(jī)臂(10)上，眼瞼舵機(jī)臂(10)安裝在眼瞼舵機(jī)(9)輸出軸上，眼瞼舵機(jī)(9)由一根連桿(12)固定在所述支座(13)上；
上述每個(gè)所述眼球轉(zhuǎn)動(dòng)部件(3)由兩部分組成眼球左右轉(zhuǎn)動(dòng)部件(14)和眼球上下轉(zhuǎn)動(dòng)部件(15)；所述眼球左右轉(zhuǎn)動(dòng)部件的結(jié)構(gòu)眼球左右轉(zhuǎn)動(dòng)舵機(jī)(16)通過(guò)螺釘與舵機(jī)架(20)相聯(lián)，左右轉(zhuǎn)動(dòng)關(guān)節(jié)軸承(18)分別連接眼球左右轉(zhuǎn)動(dòng)舵機(jī)臂(17)與眼球部件(19)，眼球部件(19)通過(guò)一個(gè)軸承座(21)固定在底板(22)上，底板(22)與本體構(gòu)架(0)固定連接。所述眼球上下運(yùn)動(dòng)部件的結(jié)構(gòu)眼球上下轉(zhuǎn)動(dòng)舵機(jī)(23)通過(guò)螺釘與一個(gè)舵機(jī)架(26)相聯(lián)，舵機(jī)架(26)固定在本體構(gòu)架(0)上，上下轉(zhuǎn)動(dòng)關(guān)節(jié)軸承(25)分別連接眼球上下轉(zhuǎn)動(dòng)舵機(jī)臂(24 )與眼球部件(19 )，眼球部件(19 )通過(guò)一個(gè)軸承座(21)固定在底板(22 )上；
上述每個(gè)所述眼球部件(19)的結(jié)構(gòu)眼球(29)連接在轉(zhuǎn)軸(26)上，轉(zhuǎn)軸(26)安裝在軸承座(21)上，通過(guò)固定于滑塊(28 )上的一個(gè)叉型連接桿(30 )與轉(zhuǎn)軸(26 )相配合；
上述下頌運(yùn)動(dòng)部件(4)的結(jié)構(gòu)頌舵機(jī)(31)通過(guò)螺釘與一個(gè)下頌舵機(jī)架(35)相聯(lián)，下頌舵機(jī)架(35)固連在一個(gè)下頌支架(36)上，關(guān)節(jié)軸承(34)分別連接下頌舵機(jī)臂(32)和所述下頌(33 )，下頌(33 )上端固定在一個(gè)軸承座(37 )上，軸承座(37 )和下頌支架(36 )用螺栓固定在一個(gè)上板(38)上，上板(38)與本體構(gòu)架(0)固定連接。上述控制單元括以DSP2812處理器、JTAG接口、復(fù)位電路、電源電路、晶振電路、舵機(jī)驅(qū)動(dòng)與隔離電路以及串口通信接口電路；
上述JTAG接口采用14芯的接口，計(jì)算機(jī)通過(guò)USB2. 0接口與仿真器盒相連，再通過(guò)JTAG接口線連接到DSP控制板，用于系統(tǒng)調(diào)試和裝入程序；
上述復(fù)位電路采用LDO的復(fù)位輸出作為處理器的復(fù)位控制信號(hào)，與控制芯片的復(fù)位端相連接；
上述電源電路中SPX1117-3.3電源轉(zhuǎn)換芯片作為5V轉(zhuǎn)3. 3V的高性能穩(wěn)壓芯片，為舵機(jī)驅(qū)動(dòng)與隔離電路提供電源；SPX1117-1.8電源轉(zhuǎn)換芯片提供1.8V給DSP內(nèi)核使用；上述晶振電路選用外部有源晶振30MHZ來(lái)提供芯片的時(shí)鐘信號(hào)，與處理器的Xl/XCLKlN和X2引腳連接；
上述舵機(jī)驅(qū)動(dòng)與隔離電路采用DSP^12的事件管理器模塊，產(chǎn)生7路PWM脈沖控制信號(hào)，同時(shí)控制 7 路舵機(jī)，引腳為GPI0A0、GPI0A2、GPI0A4、GPI0A6、GPI0B0、GPI0B2 和 GPI0B4 ；同時(shí)采用了高速光耦合器6W37對(duì)來(lái)自控制器的脈沖信號(hào)和驅(qū)動(dòng)信號(hào)進(jìn)行隔離電路，提高系統(tǒng)的抗干擾能力；
上述串口通信接口電路采用RS-232接口，與處理器的GPI0F4和GPI0F5引腳連接。一種仿人面部表情機(jī)器人交互方法，采用上述仿人面部表情機(jī)器人交互系統(tǒng)進(jìn)行人機(jī)交互，其特征在于包括三種交互模式一運(yùn)動(dòng)部件選擇模式、面部表情選擇模式和表情識(shí)別模式，操作步驟如下
(1)進(jìn)入上位機(jī)控制界面，打開(kāi)串口，選擇一種交互模式進(jìn)行交互，上位機(jī)(II)將控制指令通過(guò)串口發(fā)送給控制單元；
(2)控制單元(III)接收到上位機(jī)(II)發(fā)出的指令后，控制面部表情機(jī)器人實(shí)現(xiàn)相應(yīng)的面部器官運(yùn)動(dòng)；(3)控制單元(III)將接收到的表情控制指令發(fā)回給上位機(jī)(II);
(4)上位機(jī)(II)接收到控制單元(III)的指令后，顯示此時(shí)面部表情機(jī)器人的表情狀態(tài)。上述運(yùn)動(dòng)部件選擇交互模式，操作步驟如下
(1)打開(kāi)串口，選擇運(yùn)動(dòng)部件控制按鈕，將面部器官運(yùn)動(dòng)控制指令通過(guò)串口發(fā)送給控制單元(III)；
(2)控制單元(III)接收到上位機(jī)(II)發(fā)出的指令后，控制面部表情機(jī)器人實(shí)現(xiàn)相應(yīng)的面部器官運(yùn)動(dòng)；
(3)控制單元(III)將接收到的表情控制指令發(fā)回給上位機(jī)(II);
(4)上位機(jī)接收到控制單元(III)的指令后，顯示此時(shí)面部表情機(jī)器人的表情狀態(tài)。上述面部表情選擇交互模式，操作步驟如下
(1)打開(kāi)串口，選擇面部表情控制按鈕，將面部表情控制指令發(fā)通過(guò)串口送給控制單元(III)；
(2)控制單元(III)接收到上位機(jī)(II)發(fā)出的指令后，控制面部表情機(jī)器人實(shí)現(xiàn)相應(yīng)的面部器官運(yùn)動(dòng)；
(3)控制單元(III)將接收到的表情控制指令發(fā)回給上位機(jī)(II);
(4)上位機(jī)(II)接收到控制單元(III)的指令后，顯示此時(shí)面部表情機(jī)器人的表情狀態(tài)。上述表情識(shí)別交互模式，操作步驟如下
(1)打開(kāi)串口，打開(kāi)攝像頭，選擇表情識(shí)別控制按鈕，進(jìn)行基礎(chǔ)面部表情識(shí)別；
(2)在識(shí)別到基礎(chǔ)面部表情后，將表情識(shí)別結(jié)果以表情控制指令的形式發(fā)送給控制單元(III)；
(3)控制單元(III)接收到上位機(jī)(II)發(fā)出的指令后，控制面部表情機(jī)器人實(shí)現(xiàn)相應(yīng)的面部器官運(yùn)動(dòng)；
(4)控制單元(III)將接收到的表情控制指令發(fā)回給上位機(jī)(II);
(5)上位機(jī)(II)接收到控制單元(III)的指令后，顯示此時(shí)面部表情機(jī)器人的表情狀態(tài)。一種人臉檢測(cè)與跟蹤方法，采用上述仿人面部表情機(jī)器人交互系統(tǒng)進(jìn)行人臉檢測(cè)和跟蹤，操作步驟如下
(1)加載分類(lèi)器、打開(kāi)攝像頭獲取人臉圖像；
(2)采用Adaboost人臉檢測(cè)算法從視頻流中檢測(cè)人臉，若檢測(cè)到一個(gè)人臉，則將該人臉區(qū)域作為跟蹤的初始窗口，計(jì)算顏色直方圖并得到各種顏色的概率分布，并記錄這時(shí)人臉區(qū)域的面積為S ；
(3)從視頻流中捕獲下一幀圖像，用Camshift算法進(jìn)行跟蹤，在每次跟蹤時(shí)，判斷跟蹤目標(biāo)區(qū)域面積是否大于S/3并且小于5S/3，如果在這個(gè)范圍內(nèi)，則繼續(xù)跟蹤；如果不在，則重新采用Adaboost檢測(cè)人臉，再作為人臉跟蹤的初始窗口，依次迭代，從而實(shí)現(xiàn)人臉的自
足艮S宗。與現(xiàn)有的技術(shù)相比，本發(fā)明具有以下顯著優(yōu)點(diǎn)所述的表情機(jī)器人交互系統(tǒng)機(jī)器人本體內(nèi)部結(jié)構(gòu)簡(jiǎn)單、空間利用率大、易控制并且成本較低，具有視覺(jué)、面部表情識(shí)別與再現(xiàn)的功能，能夠?qū)崿F(xiàn)機(jī)器人與人類(lèi)的面部表情交互。


圖1是仿人面部表情機(jī)器人交互系統(tǒng)組成。圖2是機(jī)器人本體的整體結(jié)構(gòu)示意圖。圖3是圖2的左視圖。圖4是圖2示例的眉毛轉(zhuǎn)動(dòng)部件結(jié)構(gòu)示意圖。圖5是圖2的左視圖。圖6是圖2示例的眼瞼轉(zhuǎn)動(dòng)部件結(jié)構(gòu)示意圖。圖7是圖6的左視圖。圖8是圖2示例的眼球左右轉(zhuǎn)動(dòng)部件結(jié)構(gòu)示意圖。圖9是圖2示例的眼球上下轉(zhuǎn)動(dòng)部件結(jié)構(gòu)示意圖。圖10是圖2示例的眼球部件結(jié)構(gòu)示意圖。圖11是圖2示例的下頌運(yùn)動(dòng)部件結(jié)構(gòu)示意圖。圖12是仿人面部表情機(jī)器人交互系統(tǒng)的圖像采集裝置。圖13是控制單元的結(jié)構(gòu)圖。圖14是仿人面部表情機(jī)器人交互系統(tǒng)的DSP^12控制單元。圖15是控制單元的電源電路。圖16是控制單元的舵機(jī)驅(qū)動(dòng)與隔離電路。圖17是控制單元的串口通信電路。圖18是控制單元主程序流程圖。圖19是控制單元串口通信子程序流程圖。圖20是舵機(jī)驅(qū)動(dòng)程序流程圖。圖22是上位機(jī)控制系統(tǒng)控制界面。圖22是上位機(jī)控制系統(tǒng)主程序流程圖。圖23是上位機(jī)串口通信子程序流程圖。圖M是運(yùn)動(dòng)部件選擇子程序流程圖。圖25是面部表情選擇子程序流程圖。圖沈是面部表情識(shí)別子程序流程圖。圖27是人臉檢測(cè)與跟蹤程序算法流程圖。
圖28是基礎(chǔ)面部表情識(shí)別程序流程圖。
具體實(shí)施例方式
本發(fā)明的優(yōu)選實(shí)施實(shí)例結(jié)合

如下實(shí)施實(shí)例一
參見(jiàn)圖1，本仿人面部表情機(jī)器人交互系統(tǒng)，包括包括圖像采集裝置I、上位機(jī)(II)、控制單元(III)和機(jī)器人本體(IV)。圖像采集裝置(I)的輸出連接到上位機(jī)(II)，上位機(jī)(II)的輸出經(jīng)控制單元(III)連接到機(jī)器人本體(IV);控制機(jī)器人的面部表情輸出，一方面可以通過(guò)上位機(jī)(II)的控制界面進(jìn)行選擇，上位機(jī)(II)將表情模式通過(guò)串口通信發(fā)送到控制單元(III)來(lái)控制機(jī)器人輸出六種基本面部表情一高興、憤怒、恐懼、驚訝、厭惡和悲傷；另一方面，圖像采集裝置(I)采集到人臉面部表情，輸入到上位機(jī)(II)進(jìn)行特征提取和基礎(chǔ)面部表情一眼睛的睜閉、和嘴巴的張合的識(shí)別，上位機(jī)(II)將表情識(shí)別結(jié)果通過(guò)串口通信發(fā)送到控制單元(III)，控制單元(III)根據(jù)接收到的表情指令控制機(jī)器人再現(xiàn)表情。實(shí)施實(shí)例二
參見(jiàn)圖2-圖17，本實(shí)施實(shí)例與實(shí)施實(shí)例一基本相同，特別之處如下圖2和圖3是所述的機(jī)器人本體(IV)的結(jié)構(gòu)在一個(gè)架構(gòu)(0)上仿人體面部安裝有兩個(gè)眉毛轉(zhuǎn)動(dòng)部件(1)、兩個(gè)眼瞼轉(zhuǎn)動(dòng)部件(2)、兩個(gè)眼球轉(zhuǎn)動(dòng)部件(3)以及一個(gè)下頌運(yùn)動(dòng)部件(4)；所述兩個(gè)眉毛轉(zhuǎn)動(dòng)部件(1)分別由連接桿(8)對(duì)稱(chēng)的固定于本體構(gòu)架(0)的上部；所述兩個(gè)眼瞼轉(zhuǎn)動(dòng)部件(2)分別固定于左右兩個(gè)對(duì)稱(chēng)的支座(13)上，再由所述支座(13)固定在本體構(gòu)架(0)上；所述兩個(gè)眼球轉(zhuǎn)動(dòng)部件(3)通過(guò)一個(gè)舵機(jī)架(20)連接在本體構(gòu)架(0)上；所述下頌運(yùn)動(dòng)部件(4)由另一個(gè)舵機(jī)架(35)固定于所述本體構(gòu)架(0)上；
圖4和圖5是上述每個(gè)所述眉毛轉(zhuǎn)動(dòng)部件(1)的結(jié)構(gòu)眉毛(7 )與眉毛舵機(jī)臂(6 )通過(guò)螺栓聯(lián)接，眉毛舵機(jī)臂(6)安裝在舵機(jī)(5)的輸出軸上，眉毛舵機(jī)(5)與連桿(8)連接，眉毛對(duì)表情主要作用在4個(gè)自由度上，眉毛兩端的4個(gè)自由度可近視為2個(gè)1組，繞某個(gè)中心做旋轉(zhuǎn)運(yùn)動(dòng)。因此，將眉毛4個(gè)自由度簡(jiǎn)化到1個(gè)旋轉(zhuǎn)自由度，眉毛長(zhǎng)54mm，轉(zhuǎn)動(dòng)中心位于三分點(diǎn)的位置。由舵機(jī)直接驅(qū)動(dòng)，轉(zhuǎn)動(dòng)范圍為士20°。圖6和圖7是上述每個(gè)眼瞼轉(zhuǎn)動(dòng)部件(2)的結(jié)構(gòu)眼瞼(11)由螺栓緊固在所述眼瞼舵機(jī)臂(10)上，眼瞼舵機(jī)臂(10)安裝在眼瞼舵機(jī)(9)輸出軸上，眼瞼舵機(jī)(9)由一根連桿(12)固定在支座(13)上。眼瞼睜開(kāi)的幅度對(duì)表情有很大影響，眼瞼分為上、下眼瞼，但下眼瞼運(yùn)動(dòng)太小，因此將眼瞼運(yùn)動(dòng)簡(jiǎn)化為可近視包圍眼睛并與眼睛水平同軸轉(zhuǎn)動(dòng)的一個(gè)自由度，亦是由舵機(jī)直接驅(qū)動(dòng)，轉(zhuǎn)動(dòng)范圍為60°。上述眼球轉(zhuǎn)動(dòng)部件3有兩部分組成眼球左右轉(zhuǎn)動(dòng)部件(14)和眼球上下轉(zhuǎn)動(dòng)部件(15)。眼球轉(zhuǎn)動(dòng)部件雙眼具有上下轉(zhuǎn)動(dòng)和左右轉(zhuǎn)動(dòng)4個(gè)自由度。將雙眼左右、上下轉(zhuǎn)動(dòng)考慮為同步同方向運(yùn)動(dòng)，整個(gè)眼睛結(jié)構(gòu)只有2個(gè)自由度。饒水平方向的轉(zhuǎn)動(dòng)采用雙搖桿機(jī)構(gòu)如，眼睛上下轉(zhuǎn)動(dòng)范圍為士 15°。由于在垂直方向上機(jī)構(gòu)零件的重力將成為負(fù)載加于電機(jī)驅(qū)動(dòng)上，將眼睛饒垂直方向的轉(zhuǎn)動(dòng)由1個(gè)曲柄滑塊機(jī)構(gòu)和1個(gè)導(dǎo)桿機(jī)構(gòu)組合實(shí)現(xiàn)。舵機(jī)通過(guò)曲柄滑塊機(jī)構(gòu)驅(qū)動(dòng)滑塊水平直線移動(dòng)，眼睛的左右轉(zhuǎn)動(dòng)由滑塊的直線移動(dòng)帶動(dòng)導(dǎo)桿的左右轉(zhuǎn)動(dòng)，直線滑軌承受了大部分零件的重力。眼睛左右轉(zhuǎn)動(dòng)范圍為士30°。圖8是上述眼球左右轉(zhuǎn)動(dòng)部件(16)的結(jié)構(gòu)眼球左右轉(zhuǎn)動(dòng)舵機(jī)(16)通過(guò)螺釘與所述舵機(jī)架(20)相聯(lián)，左右轉(zhuǎn)動(dòng)關(guān)節(jié)軸承(18)分別連接眼球左右轉(zhuǎn)動(dòng)舵機(jī)臂(17)與眼球部件(19)，眼球部件(19)通過(guò)一個(gè)軸承座(21)固定在底板(22)上，底板(22)與本體構(gòu)架(0)固定連接。圖9是上述眼球上下轉(zhuǎn)動(dòng)部件(15)的結(jié)構(gòu)眼球上下轉(zhuǎn)動(dòng)舵機(jī)(23)通過(guò)螺釘與一個(gè)舵機(jī)架(26)相聯(lián)，所述舵機(jī)架(26)固定在本體構(gòu)架(0)上，上下轉(zhuǎn)動(dòng)關(guān)節(jié)軸承(25)分別連接眼球上下轉(zhuǎn)動(dòng)舵機(jī)臂(24)與眼球部件(19)，眼球部件(19)通過(guò)一個(gè)軸承座(21)固定在底板(22)上。圖10是上述眼球部件(19)的結(jié)構(gòu)眼球(29)連接在轉(zhuǎn)軸(26)上，轉(zhuǎn)軸(26)安裝在軸承座(21)上，通過(guò)固定于滑塊(28)上的一個(gè)叉型連接桿(30)與轉(zhuǎn)軸(26)相配合。
圖11是上述下頌運(yùn)動(dòng)部件(4)的結(jié)構(gòu)下頌舵機(jī)(31)通過(guò)螺釘與一個(gè)下頌舵機(jī)架(35)相聯(lián)，下頌舵機(jī)架(35)固連在一個(gè)下頌支架(36)上，關(guān)節(jié)軸承(34)分別連接下頌舵機(jī)臂(32 )和下頌(33 )，下頌(33 )上端固定在一個(gè)軸承座(37 )上，軸承座(37 )和下頌支架(36)用螺栓固定在一個(gè)上板(38)上，上板(38)與本體構(gòu)架(0)固定連接。下頌運(yùn)動(dòng)部件(4)的作用下頌的運(yùn)動(dòng)可以帶動(dòng)嘴唇的張合，因此將下頌饒水平方向的轉(zhuǎn)動(dòng)簡(jiǎn)化嘴巴的4個(gè)自由度。在后來(lái)的實(shí)驗(yàn)中驗(yàn)證基本能輔助實(shí)現(xiàn)幾中基本表情。該自由度由雙搖桿機(jī)構(gòu)實(shí)現(xiàn)，舵機(jī)半周轉(zhuǎn)帶動(dòng)下頌上下轉(zhuǎn)動(dòng)30°。下頌水平向上10°表示閉合，向下20°表示張開(kāi)，張開(kāi)幅度為20mm。圖12是上述圖像采集裝置，采用普通CCD攝像機(jī)WATEC WAT-902H以及USB Minevcap2860圖像采集卡來(lái)獲取良好的原始圖像。圖13是上述控制單元框圖，選用TI公司的TMS320F2812芯片作為主控處理器，主要由控制單元、JTAG接口、電源電路(圖15)、晶振電路(圖16)、舵機(jī)驅(qū)動(dòng)與隔離電路(圖16)和串口通信電路(圖17)組成。圖12是上述TMS320F2812主控處理器，它不但具有傳統(tǒng)微處理器可編程、靈活性強(qiáng)、集成度高等良好性能，而且其內(nèi)核頻率高達(dá)150MHZ，采用改進(jìn)的哈佛結(jié)構(gòu)使得運(yùn)算的速度、精度和處理能力大幅度提高，是目前控制應(yīng)用領(lǐng)域最先進(jìn)數(shù)字處理器之一，能夠?qū)崟r(shí)在線地處理許多復(fù)雜的控制算法。同時(shí)，DSP^12控制器的事件管理單元有非常適合電機(jī)控制信號(hào)的PWM輸入和輸出通道，通過(guò)對(duì)PWM的控制就可以實(shí)現(xiàn)電機(jī)的換相和位置的檢測(cè)。圖15是上述電源電路，電源由外部電源引入，電源插孔JACK2標(biāo)識(shí)為內(nèi)正外負(fù)，+ 5V穩(wěn)壓直流電源輸入，SPXl 117-3. 3電源轉(zhuǎn)換芯片(Ul)作為5V轉(zhuǎn)3. 3V的高性能穩(wěn)壓芯片，SPX1117-1.8電源轉(zhuǎn)換芯片(U3)提供1.8V給DSP內(nèi)核使用。圖16是上述舵機(jī)驅(qū)動(dòng)與隔離電路，本系統(tǒng)采用DSP^12的事件管理器模塊，產(chǎn)生7路PWM脈沖控制信號(hào)，同時(shí)控制7路舵機(jī)。EVA模塊中有3個(gè)比較單元(比較單元1、2和3)，每個(gè)比較單元輸出一對(duì)互補(bǔ)的PWM波形，同時(shí)，EVB模塊中也有3個(gè)比較單元(比較單元4、5和6)，每個(gè)比較單元輸出一對(duì)互補(bǔ)的PWM波形，再加通用定時(shí)器Tl產(chǎn)生的一路T1PWM_T1CMP，一共引出7路獨(dú)立的PWM波，用于分別控制7路舵機(jī)，PWM與舵機(jī)的對(duì)應(yīng)關(guān)系如表3-1所示。比較單元的時(shí)鐘基準(zhǔn)由通用定時(shí)器1和通用定時(shí)器3提供。同時(shí)，為了避免其對(duì)DSP2812運(yùn)行的影響，在DSP2812與7路舵機(jī)之間增加了信號(hào)隔離電路，實(shí)現(xiàn)不同電源之間的信號(hào)傳輸，減少了電路中的干擾信號(hào)，從而有效地提高系統(tǒng)的抗干擾能力。這里采用了高速光耦合器6W37對(duì)來(lái)自控制器的脈沖信號(hào)和驅(qū)動(dòng)信號(hào)進(jìn)行隔離電路。圖17是上述控制單元的串口通信電路，控制單元與主控計(jì)算機(jī)的通信采用SCI方式，是異步串行通信接口，通過(guò)RS-232接口與主控計(jì)算機(jī)連接。RS-232接口的電平轉(zhuǎn)換芯片采用的是MAX232，它是TI公司推出的一款兼容RS-232標(biāo)準(zhǔn)的芯片。實(shí)施實(shí)例三
參見(jiàn)圖18-圖23，本仿人面部表情機(jī)器人交互方法，包括三種交互模式一運(yùn)動(dòng)部件選擇模式、面部表情選擇模式和表情識(shí)別模式，操作步驟如下
(1)進(jìn)入上位機(jī)(II)控制界面，打開(kāi)串口，選擇一種交互模式進(jìn)行交互，上位機(jī)(I I)將控制指令通過(guò)串口發(fā)送給控制單元(III)；
(2)控制單元(III)接收到上位機(jī)(II)發(fā)出的指令后，控制面部表情機(jī)器人實(shí)現(xiàn)相應(yīng)
1的面部器官運(yùn)動(dòng)；
(3)控制單元(III)將接收到的表情控制指令發(fā)回給上位機(jī)；
(4)上位機(jī)(II)接收到給控制單元(III)的指令后，顯示此時(shí)面部表情機(jī)器人的表情狀態(tài)。圖18是控制單元主程序流程圖。在控制單元控制程序中，包含主程序、SCI串口通信程序、舵機(jī)驅(qū)動(dòng)程序、延時(shí)子程序、中斷子程序等程序塊。當(dāng)系統(tǒng)上電之后，對(duì)DSP系統(tǒng)初始化，并給7路舵機(jī)賦初值，使它們處于零位置。接著進(jìn)入循環(huán)等待，等待上位機(jī)是否發(fā)送表情運(yùn)動(dòng)指令，如果接收到表情運(yùn)動(dòng)指令，則啟動(dòng)定時(shí)器，進(jìn)入舵機(jī)驅(qū)動(dòng)子程序，輸出7路PWM信號(hào)，驅(qū)動(dòng)7路舵機(jī)的運(yùn)動(dòng)，使機(jī)器人實(shí)現(xiàn)面部表情。然后接著查詢上位機(jī)是否發(fā)送停止指令。圖19是控制單元串口通信子程序。串口通信子程序的設(shè)計(jì)是為實(shí)現(xiàn)接收上位機(jī)控制系統(tǒng)的控制指令信號(hào)，并將接收的信號(hào)發(fā)送回上位機(jī)控制系統(tǒng)。本系統(tǒng)采用DSP^12的SCI通信接口實(shí)現(xiàn)控制單元與上位機(jī)控制系統(tǒng)的數(shù)據(jù)傳輸。圖20是控制單元舵機(jī)驅(qū)動(dòng)子程序。由于機(jī)器人本體表情的輸出是由安裝在面部器官機(jī)構(gòu)上的7路舵機(jī)驅(qū)動(dòng)實(shí)現(xiàn)的，所以舵機(jī)驅(qū)動(dòng)子程序設(shè)計(jì)是為實(shí)現(xiàn)對(duì)7路舵機(jī)的單獨(dú)控制，從而控制機(jī)器人面部表情的輸出。7路舵機(jī)的運(yùn)動(dòng)由輸入的7路脈沖信號(hào)控制，即通過(guò)改變比較寄存器 EvaRegs. CMPRl、EvaRegs. CMPR2、EvaRegs. CMPR3、EvaRegs. T1CMPR、EvbRegs. CMPR4、EvbRegs. CMPR5和EvbRegs. CMPR6的值來(lái)控制7路脈沖信號(hào)的占空比。當(dāng)控制單元控制系統(tǒng)接收到上位機(jī)控制系統(tǒng)的表情指令時(shí)，根據(jù)接收到的表情指令不同，為比較寄存器設(shè)置不同的值。如果是單步表情模式，只需設(shè)置相應(yīng)的一個(gè)比較寄存器的值，此時(shí)只控制1路舵機(jī)的運(yùn)動(dòng)，實(shí)現(xiàn)單個(gè)面部器官的運(yùn)動(dòng)。如果是四種面部表情模式，需要對(duì)3個(gè)比較寄存器設(shè)置相應(yīng)的值，此時(shí)需要控制3路舵機(jī)(左眼、右眼、嘴巴)的運(yùn)動(dòng)，實(shí)現(xiàn)四種表情模式。如果是基本面部表情模式，需要對(duì)7個(gè)比較寄存器設(shè)置相應(yīng)的值，此時(shí)需要控制7路舵機(jī)的運(yùn)動(dòng)，實(shí)現(xiàn)6種基本面部表情。在面部表情機(jī)器人完成相應(yīng)的面部表情后，控制單元控制系統(tǒng)向上位機(jī)控制系統(tǒng)發(fā)送表情完成指令；如果發(fā)送數(shù)據(jù)結(jié)束，可以接收上位機(jī)發(fā)送的表情控制指令，進(jìn)入下一個(gè)循環(huán)，控制面部表情機(jī)器人實(shí)現(xiàn)其它面部表情。如果發(fā)送數(shù)據(jù)未結(jié)束，返回SCI發(fā)送數(shù)據(jù)，等待發(fā)送數(shù)據(jù)結(jié)束。圖21是上位機(jī)的控制界面。上位機(jī)主要功能包括實(shí)現(xiàn)人臉的檢測(cè)與跟蹤，并對(duì)臉部特征進(jìn)行提取，定位眼睛和嘴巴的位置，進(jìn)一步判斷眼睛和嘴巴的狀態(tài)。同時(shí)，上位機(jī)控制系統(tǒng)也可以通過(guò)運(yùn)動(dòng)部件選擇模塊或者面部表情選擇模塊來(lái)控制機(jī)器人的面部表情輸出。該系統(tǒng)由串口通信模塊、運(yùn)動(dòng)部件選擇模塊、面部表情選擇模塊、人臉圖像采集模塊、基礎(chǔ)面部表情識(shí)別模塊、表情狀態(tài)顯示模塊組成。圖22是上位機(jī)主程序流程圖。在運(yùn)行程序時(shí)，首先選擇與上位機(jī)匹配的串口號(hào)，打開(kāi)串口 ；串口打開(kāi)后，可以根據(jù)控制要求進(jìn)行表情模式選擇，包括運(yùn)動(dòng)部件選擇模式、面部表情選擇模式和表情識(shí)別模式。運(yùn)動(dòng)部件選擇模式和面部表情選擇模式可以直接選擇表情控制指令并發(fā)送給控制單元；表情識(shí)別模式是實(shí)現(xiàn)自動(dòng)識(shí)別面部表情，在表情識(shí)別前，需要將圖像采集裝置打開(kāi)；在識(shí)別到表情后，將識(shí)別結(jié)果發(fā)送給控制單元系統(tǒng)。在控制單元接收到上位機(jī)表情控制指令并使機(jī)器人SHFR-II實(shí)現(xiàn)相應(yīng)的面部表情后，控制單元將接收到的表情控制指令發(fā)送回上位機(jī)；上位機(jī)接收到控制單元的指令后，顯示此時(shí)面部表情機(jī)器人的表情狀態(tài)。接著可以選擇下一個(gè)表情控制指令，循環(huán)對(duì)面部表情機(jī)器人進(jìn)行控制。如果沒(méi)有接收到控制單元發(fā)回的指令，返回到表情模式選擇。圖23是上位機(jī)串口通信子程序。串口通信模塊是為了實(shí)現(xiàn)機(jī)器人的上位機(jī)控制系統(tǒng)與控制單元控制系統(tǒng)之間的通信，在VC++環(huán)境下采用了多線程串口編程工具CSerialPort類(lèi)來(lái)實(shí)現(xiàn)串口通信。實(shí)施實(shí)例四
參見(jiàn)28，本實(shí)例與實(shí)施實(shí)例三基本相同，特別之處如下所述運(yùn)動(dòng)部件選擇交互模式的操作步驟如下
(1)進(jìn)入上位機(jī)(II)控制界面，打開(kāi)串口，選擇運(yùn)動(dòng)部件控制按鈕，將面部器官運(yùn)動(dòng)控制指令通過(guò)串口發(fā)送給控制單元(III)；
(2)控制單元(III)接收到上位機(jī)(II)發(fā)出的指令后，控制面部表情機(jī)器人實(shí)現(xiàn)相應(yīng)的面部器官運(yùn)動(dòng)；
(3)控制單元(III)將接收到的表情控制指令發(fā)回給上位機(jī)(II);
(4)上位機(jī)(II)接收到控制單元(III)的指令后，顯示此時(shí)面部表情機(jī)器人的表情狀態(tài)。所述面部表情選擇交互模式操作步驟如下
(1)進(jìn)入上位機(jī)(II)控制界面，打開(kāi)串口，選擇面部表情控制按鈕，將面部表情控制指令發(fā)通過(guò)串口發(fā)送給控制單元(III);
(2)控制單元(III)接收到上位機(jī)(II)發(fā)出的指令后，控制面部表情機(jī)器人實(shí)現(xiàn)相應(yīng)的面部器官運(yùn)動(dòng)；
(3)控制單元(III)將接收到的表情控制指令發(fā)回給上位機(jī)(II);
(4)上位機(jī)(II)接收到控制單元(III)的指令后，顯示此時(shí)面部表情機(jī)器人的表情狀態(tài)。所述表情識(shí)別交互模式操作步驟如下
(1)打開(kāi)串口，打開(kāi)攝像頭，選擇表情識(shí)別控制按鈕，進(jìn)行基礎(chǔ)面部表情識(shí)別；
(2)在識(shí)別到基礎(chǔ)面部表情后，上位機(jī)(II)將表情識(shí)別結(jié)果以表情控制指令的形式發(fā)送給控制單元(III)；
(3)控制單元(III)接收到上位機(jī)(II)發(fā)出的指令后，控制面部表情機(jī)器人實(shí)現(xiàn)相應(yīng)的面部器官運(yùn)動(dòng)；
(4)控制單元(III)將接收到的表情控制指令發(fā)回給上位機(jī)(II);
(5)上位機(jī)(II)接收到控制單元(III)的指令后，顯示此時(shí)面部表情機(jī)器人的表情狀態(tài)。圖M是運(yùn)動(dòng)部件選擇交互模式。運(yùn)動(dòng)部件選擇模塊能實(shí)現(xiàn)對(duì)機(jī)器人的左眉毛運(yùn)動(dòng)、右眉毛運(yùn)動(dòng)、左眼瞼運(yùn)動(dòng)、右眼瞼運(yùn)動(dòng)、眼球左右運(yùn)動(dòng)、眼球上下運(yùn)動(dòng)以及下頌運(yùn)動(dòng)進(jìn)行獨(dú)立控制，即每次只有一個(gè)面部器官運(yùn)動(dòng)。操作步驟如下在運(yùn)行程序時(shí)，首先檢查串口是否打開(kāi)；如果沒(méi)有檢查到串口，彈出“串口沒(méi)有打開(kāi)或被占用”對(duì)話框，提示用戶重新選擇串口號(hào)，并打開(kāi)串口。串口打開(kāi)后，選擇運(yùn)動(dòng)部件控制按鈕，將面部器官運(yùn)動(dòng)控制指令發(fā)送給控制單元系統(tǒng)。在控制單元接收到上位機(jī)的控制指令并控制面部表情機(jī)器人實(shí)現(xiàn)相應(yīng)的面部器官運(yùn)動(dòng)后，控制單元將接收到的表情控制指令發(fā)送回上位機(jī)；上位機(jī)接收到控制單元的指令后，顯示此時(shí)面部表情機(jī)器人的表情狀態(tài)。接著可以選擇下一個(gè)表情控制指令，循環(huán)對(duì)面部表情機(jī)器人進(jìn)行控制。如果沒(méi)有接收到控制單元發(fā)回的指令，返回到運(yùn)動(dòng)部件選擇。圖25是面部表情選擇交互模式。面部表情選擇模塊的功能是直接向控制單元控制系統(tǒng)發(fā)送面部表情控制指令，控制機(jī)器人實(shí)現(xiàn)相應(yīng)的6種基本面部表情。操作步驟如下串口打開(kāi)后，選擇面部表情控制按鈕，將面部表情控制指令發(fā)送給控制單元。在控制單元接收到上位機(jī)的面部表情控制指令并控制面部表情機(jī)器人實(shí)現(xiàn)相應(yīng)的面部表情后，控制單元將接收到的表情控制指令發(fā)送回上位機(jī)；上位機(jī)接收到控制單元的指令后，顯示此時(shí)面部表情機(jī)器人的面部表情狀態(tài)。圖沈是面部表情識(shí)別交互模式。表情識(shí)別模塊的功能是實(shí)現(xiàn)對(duì)基礎(chǔ)面部表情(眼睛的睜閉、嘴部的張合等)的識(shí)別，將表情識(shí)別結(jié)果以表情控制指令的形式發(fā)送給控制單元控制系統(tǒng)，控制機(jī)器人實(shí)現(xiàn)相應(yīng)的面部表情。操作步驟如下串口打開(kāi)后，打開(kāi)圖像采集裝置，選擇表情識(shí)別控制按鈕，進(jìn)入表情識(shí)別子程序。在識(shí)別到基礎(chǔ)面部表情后，將表情識(shí)別結(jié)果以表情控制指令的形式發(fā)送給控制單元控制系統(tǒng)。在控制單元接收到上位機(jī)的表情控制指令并控制面部表情機(jī)器人實(shí)現(xiàn)相應(yīng)的面部表情后，控制單元將接收到的表情控制指令發(fā)送回上位機(jī)；上位機(jī)接收到控制單元的指令后，顯示此時(shí)面部表情機(jī)器人的面部表情狀態(tài)。圖27是一種人臉檢測(cè)與跟蹤方法，采用具有高魯棒性和高識(shí)別率的Harr-Iike特征的AdaBoost算法完成人臉檢測(cè)與定位，并在檢測(cè)到人臉之后采用camshift跟蹤算法對(duì)人臉進(jìn)行跟蹤，操作步驟如下首先，加載分類(lèi)器、打開(kāi)攝像頭獲取人臉圖像；然后，采用Adaboost人臉檢測(cè)算法從視頻流中檢測(cè)人臉，若檢測(cè)到一個(gè)人臉，則將該人臉區(qū)域作為跟蹤的初始窗口，計(jì)算顏色直方圖并得到各種顏色的概率分布，并記錄這時(shí)人臉區(qū)域的面積為S。接著從視頻流中捕獲下一幀圖像，用Camshift算法進(jìn)行跟蹤，在每次跟蹤時(shí)，判斷跟蹤目標(biāo)區(qū)域面積是否大于S/3并且小于5S/3，如果在這個(gè)范圍內(nèi)，則繼續(xù)跟蹤；如果不在，則重新采用Adaboost檢測(cè)人臉，再作為人臉跟蹤的初始窗口，依次迭代，從而實(shí)現(xiàn)人臉的自動(dòng)跟蹤。圖28是一種基礎(chǔ)面部表情識(shí)別方法。基礎(chǔ)面部表情識(shí)別包括三方面的內(nèi)容人臉檢測(cè)和定位，眼睛和嘴巴特征提取和眼睛和嘴巴狀態(tài)識(shí)別。操作步驟如下當(dāng)獲取到人臉參數(shù)后，分別對(duì)分別進(jìn)行左眼、右眼和嘴巴檢測(cè)，并獲取它們?cè)谝曨l圖像中的位置和大小。在獲取到眼睛和嘴巴參數(shù)后，采用Hough變換圓檢測(cè)對(duì)眼睛狀態(tài)和嘴巴狀態(tài)進(jìn)行判定，輸出眼睛和嘴巴的狀態(tài)(眼睛的睜閉、嘴部的張合)，完成一次基礎(chǔ)面部表情識(shí)別過(guò)程。
權(quán)利要求
1.一種仿人面部表情機(jī)器人交互系統(tǒng)，包括圖像采集裝置(I)、上位機(jī)(II)、控制單元 (III)和機(jī)器人本體(IV)，其特征在于所述圖像采集裝置(I)的輸出連接到上位機(jī)(II)，上位機(jī)(II)的輸出經(jīng)控制單元(III)連接到機(jī)器人本體(IV)；控制機(jī)器人的面部表情輸出， 一方面可以通過(guò)上位機(jī)(II)的控制界面進(jìn)行選擇，上位機(jī)(II)將表情模式通過(guò)串口通信發(fā)送到控制單元(III)來(lái)控制機(jī)器人輸出六種基本面部表情一高興、憤怒、恐懼、驚訝、厭惡和悲傷；另一方面，圖像采集裝置(I)采集到人臉面部表情，輸入到上位機(jī)(II)進(jìn)行特征提取和基礎(chǔ)面部表情一眼睛的睜閉、和嘴巴的張合的識(shí)別，上位機(jī)(II)將表情識(shí)別結(jié)果通過(guò)串口通信發(fā)送到控制單元(III)，控制單元(III)根據(jù)接收到的表情指令控制機(jī)器人再現(xiàn)表情。
2.根據(jù)權(quán)利要求1所述的仿人面部表情機(jī)器人交互系統(tǒng)，其特征在于所述的機(jī)器人本體(IV)的結(jié)構(gòu)在一個(gè)架構(gòu)(0)上仿人體面部安裝有兩個(gè)眉毛轉(zhuǎn)動(dòng)部件(1)、兩個(gè)眼瞼轉(zhuǎn)動(dòng)部件(2)、兩個(gè)眼球轉(zhuǎn)動(dòng)部件(3)以及一個(gè)下頌運(yùn)動(dòng)部件(4);所述兩個(gè)眉毛轉(zhuǎn)動(dòng)部件(1)分別由連接桿(8)對(duì)稱(chēng)的固定于本體構(gòu)架(0)的上部；所述兩個(gè)眼瞼轉(zhuǎn)動(dòng)部件(2)分別固定于左右兩個(gè)對(duì)稱(chēng)的支座(13)上，再由所述支座(13)固定在本體構(gòu)架(0)上；所述兩個(gè)眼球轉(zhuǎn)動(dòng)部件(3 )通過(guò)一個(gè)舵機(jī)架(20 )連接在本體構(gòu)架(0 )上；所述下頌運(yùn)動(dòng)部件(4 )由另一個(gè)舵機(jī)架(35)固定于所述本體構(gòu)架(0)上；每個(gè)所述的眉毛轉(zhuǎn)動(dòng)部件(1)的結(jié)構(gòu)眉毛(7)與眉毛舵機(jī)臂(6)通過(guò)螺栓聯(lián)接，眉毛舵機(jī)臂(6)安裝在舵機(jī)(5)的輸出軸上，所述眉毛舵機(jī)(5)與所述連桿(8)連接；每個(gè)所訴眼瞼轉(zhuǎn)動(dòng)部件(2)的結(jié)構(gòu)眼瞼(11)由螺栓緊固在所述眼瞼舵機(jī)臂(10)上， 眼瞼舵機(jī)臂(10)安裝在眼瞼舵機(jī)(9)輸出軸上，眼瞼舵機(jī)(9)由一根連桿(12)固定在所述支座(13)上；每個(gè)所述眼球轉(zhuǎn)動(dòng)部件(3)由兩部分組成眼球左右轉(zhuǎn)動(dòng)部件(14)和眼球上下轉(zhuǎn)動(dòng)部件(15);所述眼球左右轉(zhuǎn)動(dòng)部件的結(jié)構(gòu)眼球左右轉(zhuǎn)動(dòng)舵機(jī)(16)通過(guò)螺釘與舵機(jī)架(20)相聯(lián)，左右轉(zhuǎn)動(dòng)關(guān)節(jié)軸承(18)分別連接眼球左右轉(zhuǎn)動(dòng)舵機(jī)臂(17)與眼球部件(19)，眼球部件 (19)通過(guò)一個(gè)軸承座(21)固定在底板(22)上，底板(22)與本體構(gòu)架(0)固定連接；所述眼球上下運(yùn)動(dòng)部件的結(jié)構(gòu)眼球上下轉(zhuǎn)動(dòng)舵機(jī)(23)通過(guò)螺釘與一個(gè)舵機(jī)架(26) 相聯(lián)，舵機(jī)架(26)固定在本體構(gòu)架(0)上，上下轉(zhuǎn)動(dòng)關(guān)節(jié)軸承(25)分別連接眼球上下轉(zhuǎn)動(dòng)舵機(jī)臂(24 )與眼球部件(19 )，眼球部件(19 )通過(guò)一個(gè)軸承座(21)固定在底板(22 )上；每個(gè)所述眼球部件(19)的結(jié)構(gòu)眼球(29)連接在轉(zhuǎn)軸(26)上，轉(zhuǎn)軸(26)安裝在軸承座(21)上，通過(guò)固定于滑塊(28 )上的一個(gè)叉型連接桿(30 )與轉(zhuǎn)軸(26 )相配合；所述的下頌運(yùn)動(dòng)部件(4)的結(jié)構(gòu)頌舵機(jī)(31)通過(guò)螺釘與一個(gè)下頌舵機(jī)架(35)相聯(lián)， 下頌舵機(jī)架(35 )固連在一個(gè)下頌支架(36 )上，關(guān)節(jié)軸承(34 )分別連接下頌舵機(jī)臂(32 )和所述下頌(33 )，下頌(33 )上端固定在一個(gè)軸承座(37 )上，軸承座(37 )和下頌支架(36 )用螺栓固定在一個(gè)上板(38 )上，上板(38 )與本體構(gòu)架(0 )固定連接。
3.根據(jù)權(quán)利要求1所述的仿人面部表情機(jī)器人交互系統(tǒng)，其特征在于所述的控制單元 (III)括以DSP2812處理器、JTAG接口、復(fù)位電路、電源電路、晶振電路、舵機(jī)驅(qū)動(dòng)與隔離電路以及串口通信接口電路；所述JTAG接口采用14芯的接口，計(jì)算機(jī)通過(guò)USB2. 0接口與仿真器盒相連，再通過(guò) JTAG接口線連接到DSP控制板，用于系統(tǒng)調(diào)試和裝入程序；所述復(fù)位電路采用LDO的復(fù)位輸出作為處理器的復(fù)位控制信號(hào)，與控制芯片的復(fù)位端相連接；所述電源電路中SPX1117-3.3電源轉(zhuǎn)換芯片作為5V轉(zhuǎn)3. 3V的高性能穩(wěn)壓芯片，為舵機(jī)驅(qū)動(dòng)與隔離電路提供電源；SPX1117-1.8電源轉(zhuǎn)換芯片提供1.8V給DSP內(nèi)核使用； 所述晶振電路選用外部有源晶振30MHZ來(lái)提供芯片的時(shí)鐘信號(hào)，與處理器的Xl/ XCLKlN和X2引腳連接；所述舵機(jī)驅(qū)動(dòng)與隔離電路采用DSP^12的事件管理器模塊，產(chǎn)生7路PWM脈沖控制信號(hào)，同時(shí)控制 7 路舵機(jī)，引腳為GPI0A0、GPI0A2、GPI0A4、GPI0A6、GPI0B0、GPI0B2 和 GPI0B4 ； 同時(shí)采用了高速光耦合器6W37對(duì)來(lái)自控制器的脈沖信號(hào)和驅(qū)動(dòng)信號(hào)進(jìn)行隔離電路，提高系統(tǒng)的抗干擾能力；所述串口通信接口電路采用RS-232接口，與處理器的GPI0F4和GPI0F5引腳連接。
4.一種仿人面部表情機(jī)器人交互方法，采用根據(jù)權(quán)利要求1所述的仿人面部表情機(jī)器人交互系統(tǒng)進(jìn)行人機(jī)交互，其特征在于包括三種交互模式一運(yùn)動(dòng)部件選擇模式、面部表情選擇模式和表情識(shí)別模式，操作步驟如下(1)進(jìn)入上位機(jī)(II)控制界面，打開(kāi)串口，選擇一種交互模式進(jìn)行交互，上位機(jī)(I I)將控制指令通過(guò)串口發(fā)送給控制單元(III)；(2)控制單元(III)接收到上位機(jī)(II)發(fā)出的指令后，控制面部表情機(jī)器人實(shí)現(xiàn)相應(yīng)的面部器官運(yùn)動(dòng)；(3)控制單元(III)將接收到的表情控制指令發(fā)回給上位機(jī)(II);(4)上位機(jī)(II)接收到控制單元(III)的指令后，顯示此時(shí)面部表情機(jī)器人的表情狀態(tài)。
5.根據(jù)權(quán)利要求4所述的仿人面部表情機(jī)器人交互方法，其特征在于所述運(yùn)動(dòng)部件選擇交互模式的操作步驟如下(1)進(jìn)入上位機(jī)(II)控制界面，打開(kāi)串口，選擇運(yùn)動(dòng)部件控制按鈕，將面部器官運(yùn)動(dòng)控制指令通過(guò)串口發(fā)送給控制單元(III)；(2)控制單元(III)接收到上位機(jī)(II)發(fā)出的指令后，控制面部表情機(jī)器人實(shí)現(xiàn)相應(yīng)的面部器官運(yùn)動(dòng)；(3)控制單元(III)將接收到的表情控制指令發(fā)回給上位機(jī)(II);(4)上位機(jī)(II)接收到控制單元(III)的指令后，顯示此時(shí)面部表情機(jī)器人的表情狀態(tài)。
6.根據(jù)權(quán)利要求4所述的仿人面部表情機(jī)器人交互方法，其特征在于所述面部表情選擇交互模式操作步驟如下(1)進(jìn)入上位機(jī)(II)控制界面，打開(kāi)串口，選擇面部表情控制按鈕，將面部表情控制指令發(fā)通過(guò)串口發(fā)送給控制單元(III);(2)控制單元(III)接收到上位機(jī)(II)發(fā)出的指令后，控制面部表情機(jī)器人實(shí)現(xiàn)相應(yīng)的面部器官運(yùn)動(dòng)；(3)控制單元(III)將接收到的表情控制指令發(fā)回給上位機(jī)(II);(4)上位機(jī)(II)接收到控制單元(III)的指令后，顯示此時(shí)面部表情機(jī)器人的表情狀態(tài)。
7.根據(jù)權(quán)利要求4所述的仿人面部表情機(jī)器人交互方法，其特征在于所述表情識(shí)別交互模式操作步驟如下(1)打開(kāi)串口，打開(kāi)攝像頭，選擇表情識(shí)別控制按鈕，進(jìn)行基礎(chǔ)面部表情識(shí)別；(2)在識(shí)別到基礎(chǔ)面部表情后，上位機(jī)(II)將表情識(shí)別結(jié)果以表情控制指令的形式發(fā)送給控制單元(III)；(3)控制單元(III)接收到上位機(jī)(II)發(fā)出的指令后，控制面部表情機(jī)器人實(shí)現(xiàn)相應(yīng)的面部器官運(yùn)動(dòng)；(4)控制單元(III)將接收到的表情控制指令發(fā)回給上位機(jī)(II);(5)上位機(jī)(II)接收到控制單元(III)的指令后，顯示此時(shí)面部表情機(jī)器人的表情狀態(tài)。
8.—種人臉檢測(cè)與跟蹤方法，采用根據(jù)權(quán)利要求1所述的仿人面部表情機(jī)器人交互系統(tǒng)進(jìn)行人臉檢測(cè)和跟蹤，其特征在于采用基于Haar-Iike特征的AdaBoost算法完成人臉檢測(cè)與定位，并在檢測(cè)到人臉之后，采用camshift跟蹤算法對(duì)人臉進(jìn)行跟蹤，操作步驟如下(1)加載分類(lèi)器、打開(kāi)攝像頭獲取人臉圖像；(2)采用Adaboost人臉檢測(cè)算法從視頻流中檢測(cè)人臉，若檢測(cè)到一個(gè)人臉，則將該人臉區(qū)域作為跟蹤的初始窗口，計(jì)算顏色直方圖并得到各種顏色的概率分布，并記錄這時(shí)人臉區(qū)域的面積為S ；(3)從視頻流中捕獲下一幀圖像，用Camshift算法進(jìn)行跟蹤，在每次跟蹤時(shí)，判斷跟蹤目標(biāo)區(qū)域面積是否大于S/3并且小于5S/3，如果在這個(gè)范圍內(nèi)，則繼續(xù)跟蹤；如果不在，則重新采用Adaboost檢測(cè)人臉，再作為人臉跟蹤的初始窗口，依次迭代，從而實(shí)現(xiàn)人臉的自動(dòng)跟蹤。
9.一種基礎(chǔ)面部表情識(shí)別方法，采用上述仿人面部表情機(jī)器人交互系統(tǒng)進(jìn)行基礎(chǔ)面部表情識(shí)別，其特征在于操作步驟如下(1)打開(kāi)攝像頭，通過(guò)權(quán)利要求8的方法獲取人臉在視頻中的位置以及人臉的長(zhǎng)度和寬度；(2)進(jìn)行左眼、右眼和嘴巴的檢測(cè)，并獲取它們?cè)谝曨l中的位置和大??；(3)采用Hough變換圓檢測(cè)對(duì)眼睛和嘴巴的狀態(tài)進(jìn)行判定，輸出眼睛和嘴巴的狀態(tài)。
全文摘要
本發(fā)明公開(kāi)了一種仿人面部表情機(jī)器人交互系統(tǒng)和方法及人臉檢測(cè)和跟蹤方法，它包括圖像采集裝置(I)、上位機(jī)(II)、控制單元(III)和機(jī)器人本體(IV)?？刂茩C(jī)器人的面部表情輸出，一方面可以通過(guò)上位機(jī)控制系統(tǒng)的控制界面進(jìn)行選擇，上位機(jī)將表情模式通過(guò)串口通信發(fā)送到控制單元來(lái)控制機(jī)器人輸出六種基本面部表情(高興、憤怒、恐懼、驚訝、厭惡、悲傷)；另一方面，圖像采集裝置采集到人臉面部表情，輸入到上位機(jī)進(jìn)行特征提取和基礎(chǔ)面部表情(眼睛的睜閉、嘴巴的張合)的識(shí)別，上位機(jī)將表情識(shí)別結(jié)果通過(guò)串口通信發(fā)送到控制單元，控制單元根據(jù)接收到的表情指令控制機(jī)器人再現(xiàn)表情。該面部表情機(jī)器人交互系統(tǒng)能夠?qū)崿F(xiàn)六種基本面部表情，并具有基礎(chǔ)面部表情實(shí)時(shí)再現(xiàn)的能力。
文檔編號(hào)G05B19/042GK102566474SQ20121006282
公開(kāi)日2012年7月11日 申請(qǐng)日期2012年3月12日 優(yōu)先權(quán)日2012年3月12日
發(fā)明者冒小萍, 劉楊, 楊曉晨, 柏垠, 柯顯信, 陳玉亮 申請(qǐng)人:上海大學(xué)