專利名稱：語(yǔ)音通信系統(tǒng)和方法、及機(jī)器人裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種語(yǔ)音通信系統(tǒng)和方法、以及機(jī)器人裝置，尤其是，例如適合應(yīng)用于娛樂(lè)型機(jī)器人。
背景技術(shù)：
最近，用于一般用戶的各種娛樂(lè)型機(jī)器人已經(jīng)生產(chǎn)。一些娛樂(lè)型機(jī)器人設(shè)置了各種外部傳感器，例如電荷耦合器件(CCD)照相機(jī)和麥克風(fēng)，以便根據(jù)所述外部傳感器的輸出來(lái)識(shí)別環(huán)境條件直至根據(jù)識(shí)別結(jié)果自主行為。
另外，建議一些娛樂(lè)型機(jī)器人提供臉部識(shí)別功能以便跟蹤臉部并在捕捉的圖像中提取人臉并識(shí)別特定的人、或語(yǔ)音通信功能以便與用戶進(jìn)行會(huì)話，像人們通常做的那樣(例如，參考日本專利申請(qǐng)公開2003-062777(第二至第三部分，圖1))。
順便說(shuō)一下，這樣的娛樂(lè)型機(jī)器人必須一直確認(rèn)在通話時(shí)會(huì)話伙伴在那里并且確定機(jī)器人現(xiàn)在是否與他/她進(jìn)行通話。
在黑暗的地方，機(jī)器人不能清楚的識(shí)別會(huì)話伙伴的臉部顏色和輪廓，而導(dǎo)致臉部識(shí)別功能的不充分識(shí)別。在這種情況下，機(jī)器人可能會(huì)確定對(duì)象不在這里并停止會(huì)話，盡管會(huì)話伙伴在機(jī)器人的面前。
此外，在會(huì)話期間電視或收音機(jī)被打開的情況下，因?yàn)檎Z(yǔ)音通信功能不能在電視或收音機(jī)與會(huì)話伙伴的聲音之間進(jìn)行辨別，所以機(jī)器人可能繼續(xù)說(shuō)話，即使伙伴沒(méi)有對(duì)機(jī)器人說(shuō)話。
因此，如果機(jī)器人能在任何環(huán)境下確切地識(shí)別會(huì)話伙伴的存在，那么機(jī)器人可以像人那樣舉止自然，以使作為娛樂(lè)型機(jī)器人的機(jī)器人能大大提高其娛樂(lè)性。這是非常強(qiáng)烈地愿望。

發(fā)明內(nèi)容
鑒于前面所述，本發(fā)明的目的是提供一種能大大提高娛樂(lè)性的語(yǔ)音通信系統(tǒng)和方法、以及機(jī)器人設(shè)備。
本發(fā)明的前述目的和其他目的通過(guò)提供具有與會(huì)話伙伴進(jìn)行會(huì)話功能的語(yǔ)音通信系統(tǒng)來(lái)實(shí)現(xiàn)。此系統(tǒng)包括用于識(shí)別會(huì)話伙伴語(yǔ)音的語(yǔ)音識(shí)別裝置；根據(jù)語(yǔ)音識(shí)別裝置的識(shí)別結(jié)果控制與會(huì)話伙伴會(huì)話的會(huì)話控制裝置；用于識(shí)別會(huì)話伙伴臉部的圖像識(shí)別裝置；基于圖像識(shí)別裝置的識(shí)別結(jié)果和語(yǔ)音識(shí)別裝置的識(shí)別結(jié)果中的一個(gè)或兩個(gè)來(lái)跟蹤會(huì)話伙伴的存在的跟蹤控制裝置。該會(huì)話控制裝置繼續(xù)會(huì)話的同時(shí)保持跟蹤控制裝置的跟蹤。
結(jié)果，根據(jù)該語(yǔ)音通信系統(tǒng)，通過(guò)在跟蹤會(huì)話伙伴的存在的同時(shí)與會(huì)話伙伴會(huì)話，基于各種識(shí)別過(guò)程的識(shí)別結(jié)果綜合確定會(huì)話伙伴的存在。因此，會(huì)話伙伴的存在能在不受當(dāng)前環(huán)境的影響下被完全識(shí)別，致使像人一樣自然的會(huì)話。因此能夠?qū)崿F(xiàn)能大大提高娛樂(lè)性的語(yǔ)音通信系統(tǒng)。
而且，本發(fā)明提出具有與會(huì)話伙伴會(huì)話功能的語(yǔ)音通信方法。該語(yǔ)音通信方法包括第一步驟，基于識(shí)別會(huì)話伙伴的語(yǔ)音而獲得的語(yǔ)音識(shí)別結(jié)果和識(shí)別會(huì)話伙伴的臉部而獲得的圖像識(shí)別結(jié)果中的一個(gè)或兩個(gè)來(lái)跟蹤會(huì)話伙伴的存在；以及第二步驟，繼續(xù)與基于語(yǔ)音識(shí)別結(jié)果確定的會(huì)話伙伴會(huì)話，同時(shí)保持跟蹤。
結(jié)果，根據(jù)該語(yǔ)音通信方法，通過(guò)在跟蹤會(huì)話伙伴的存在時(shí)與會(huì)話伙伴會(huì)話，基于各種識(shí)別過(guò)程的識(shí)別結(jié)果綜合確定會(huì)話伙伴的存在。因此，會(huì)話伙伴的存在能在不受當(dāng)前環(huán)境的影響下被完全識(shí)別，致使像人一樣自然的會(huì)話。因此能夠?qū)崿F(xiàn)能大大提高娛樂(lè)性的語(yǔ)音通信方法。
此外，本發(fā)明提出一種包含語(yǔ)音通信系統(tǒng)的機(jī)器人裝置，該語(yǔ)音通信系統(tǒng)具有與會(huì)話伙伴會(huì)話的功能。該機(jī)器人裝置包括用于識(shí)別會(huì)話伙伴語(yǔ)音的語(yǔ)音識(shí)別裝置；基于語(yǔ)音識(shí)別裝置的識(shí)別結(jié)果控制與會(huì)話伙伴會(huì)話的會(huì)話控制裝置；用于識(shí)別會(huì)話伙伴臉部的圖像識(shí)別裝置；基于圖像識(shí)別裝置的識(shí)別結(jié)果和語(yǔ)音識(shí)別裝置的識(shí)別結(jié)果中的一個(gè)或兩個(gè)來(lái)跟蹤會(huì)話伙伴的存在的跟蹤控制裝置。該會(huì)話控制裝置繼續(xù)該會(huì)話的同時(shí)保持跟蹤控制裝置的跟蹤。
結(jié)果，該機(jī)器人裝置通過(guò)在跟蹤會(huì)話伙伴的存在的同時(shí)與會(huì)話伙伴會(huì)話，基于各種識(shí)別過(guò)程的識(shí)別結(jié)果綜合確定會(huì)話伙伴的存在。因此，機(jī)器人裝置能在不受當(dāng)前環(huán)境的影響下完全識(shí)別會(huì)話伙伴的存在，致使像人一樣自然的會(huì)話。因此能夠?qū)崿F(xiàn)可大大提高娛樂(lè)性的機(jī)器人裝置。


在附圖中圖1是根據(jù)本發(fā)明的實(shí)施例顯示機(jī)器人功能結(jié)構(gòu)的示意性框圖；圖2是顯示控制單元構(gòu)造的框圖；圖3是顯示機(jī)器人軟件結(jié)構(gòu)的框圖；圖4是解釋所獲信息的記錄格式的概念圖；圖5是關(guān)于會(huì)話控制功能和跟蹤功能的主要部件的概念圖；圖6是解釋會(huì)話創(chuàng)建過(guò)程的概念圖；圖7是解釋聲音方向識(shí)別過(guò)程的概念圖；圖8是解釋會(huì)話伙伴確認(rèn)過(guò)程的流程圖。
具體實(shí)施例方式
本發(fā)明的優(yōu)選實(shí)施例將參考附圖進(jìn)行描述。
(1)根據(jù)本發(fā)明的實(shí)施例的機(jī)器人1的構(gòu)造(1-1)機(jī)器人1的硬件結(jié)構(gòu)圖1原理性的示出了根據(jù)該實(shí)施例的機(jī)器人1的功能結(jié)構(gòu)。如圖1所示，機(jī)器人1包括用于控制全部操作和其它數(shù)據(jù)處理的控制單元2、輸入/輸出組3、驅(qū)動(dòng)組4和電源5。
所述輸入/輸出組3包括，對(duì)應(yīng)于機(jī)器人1眼部的電荷耦合器件(CCD)照相機(jī)10、對(duì)應(yīng)于其耳朵的麥克風(fēng)11、設(shè)置在諸如頭部和背部部件上用于感測(cè)用戶接觸的接觸傳感器13、和用于五管感覺(jué)的其它各種傳感器作為輸入組。另外，作為輸出組，包括對(duì)應(yīng)于其嘴的揚(yáng)聲器12、以及通過(guò)閃爍的組合和時(shí)間安排來(lái)表達(dá)感覺(jué)的LED指示器(眼光)14。除了用腿的機(jī)械運(yùn)動(dòng)輸出組能夠通過(guò)例如聲音和光的閃爍的方式向用戶表達(dá)來(lái)自機(jī)器人1的反饋。
驅(qū)動(dòng)組4是根據(jù)由控制單元2指示的規(guī)定運(yùn)動(dòng)模式來(lái)實(shí)現(xiàn)機(jī)器人1的身體運(yùn)動(dòng)的功能塊，并通過(guò)動(dòng)作控制被控制。驅(qū)動(dòng)組4是用于實(shí)現(xiàn)機(jī)器人1的每個(gè)關(guān)節(jié)的自由度的功能模塊，并包括排列在關(guān)節(jié)中的滾軸、俯仰軸、和偏航軸上的多個(gè)驅(qū)動(dòng)單元151到15n。每個(gè)驅(qū)動(dòng)單元151到15n包括圍繞指定軸旋轉(zhuǎn)的電動(dòng)機(jī)161到16n、用于檢測(cè)電動(dòng)機(jī)161到16n旋轉(zhuǎn)位置的編碼器171到17n、和基于所述編碼器171到17n的輸出自適應(yīng)控制電動(dòng)機(jī)161到16n的旋轉(zhuǎn)位置和旋轉(zhuǎn)速度的驅(qū)動(dòng)器181到18n。
根據(jù)驅(qū)動(dòng)單元的組合，機(jī)器人1能被構(gòu)造成諸如雙腿行走型或四腿行走型的腿型移動(dòng)機(jī)器人，舉例來(lái)說(shuō)。
電源5是用于向機(jī)器人1中的每個(gè)電路輸送電源的功能模塊。根據(jù)本實(shí)施例的機(jī)器人1是一種利用電池的自主驅(qū)動(dòng)機(jī)器人。電源5包括充電電池19、和用于控制所述充電電池19的充電和放電的充電/放電控制單元20。
所述充電電池19包含于例如稱為“電池組”的套筒中，該電池組包含多個(gè)鋰離子二次電池單元。
另外，充電/放電控制單元20通過(guò)測(cè)量終端電壓和電池19的充電/放電量以及電池19周圍的溫度來(lái)確定電池19的剩余電平，以便確定充電的開始時(shí)間和結(jié)束時(shí)間。充電/放電控制單元20通知控制單元2所確定的充電開始/結(jié)束時(shí)間，所述控制單元2是機(jī)器人1的充電操作開始和結(jié)束的觸發(fā)器。
所述控制單元2相當(dāng)于“大腦”并安裝在機(jī)器人1的頭或身體中，舉例來(lái)說(shuō)。
所述控制單元2如下設(shè)置，作為主控制器的中央處理器(CPU)21通過(guò)總線與存儲(chǔ)器、其他電路元件、和相關(guān)設(shè)備相連，如圖2所示?？偩€27是包括數(shù)據(jù)總線、地址總線、和控制總線的公共信號(hào)傳送路徑。在總線27上的每個(gè)設(shè)備被指派一個(gè)唯一的地址(存儲(chǔ)器地址或I/O地址)。通過(guò)指示其地址，CPU 21能與總線27上的一個(gè)特定設(shè)備進(jìn)行通信。
讀取存儲(chǔ)器(RAM)22是可寫存儲(chǔ)器，包括非易失性存儲(chǔ)器例如動(dòng)態(tài)RAM(DRAM)，并被用于裝載由CPU 21執(zhí)行的程序代碼及用于臨時(shí)存儲(chǔ)被執(zhí)行的程序的操作數(shù)據(jù)。
只讀存儲(chǔ)器(ROM)23是用于永久存儲(chǔ)程序和數(shù)據(jù)的只讀存儲(chǔ)器，存儲(chǔ)在ROM 23中的程序代碼包括在機(jī)器人1加電時(shí)執(zhí)行的自我診斷測(cè)試程序和規(guī)定機(jī)器人1的操作的控制程序。
機(jī)器人1的控制程序包括“傳感器輸入/識(shí)別處理程序”，用于處理來(lái)自諸如CCD照相機(jī)10和麥克風(fēng)11的傳感器的輸入并識(shí)別它們?yōu)榉?hào)；“動(dòng)作控制程序”，用于在控制存儲(chǔ)操作例如短期存儲(chǔ)和長(zhǎng)期存儲(chǔ)時(shí)，根據(jù)傳感器的輸入和規(guī)定動(dòng)作控制模型控制機(jī)器人1的動(dòng)作；以及“驅(qū)動(dòng)控制程序”，用于根據(jù)動(dòng)作控制模型控制關(guān)節(jié)電動(dòng)機(jī)的驅(qū)動(dòng)和揚(yáng)聲器12的聲音輸出。
非易失性存儲(chǔ)器24包括電可擦和電可寫的存儲(chǔ)元件，如電可擦及可編程ROM(EEPROM)，并被用于以非易失方式存儲(chǔ)偶爾更新的數(shù)據(jù)。所述偶爾更新的數(shù)據(jù)包括代碼鍵、其他安全信息、以及在出廠后應(yīng)被安裝的設(shè)備的控制程序。
除了控制單元2接口25連接到其他設(shè)備以便進(jìn)行數(shù)據(jù)通信。所述接口25與輸入/輸出組3的相機(jī)10、麥克風(fēng)11和揚(yáng)聲器12進(jìn)行數(shù)據(jù)通信。另外，接口25向/從驅(qū)動(dòng)組4的驅(qū)動(dòng)器181到18n輸入/輸出數(shù)據(jù)和命令。
另外，接口25提供使計(jì)算機(jī)連接到周圍設(shè)備的通用接口，例如推薦標(biāo)準(zhǔn)(RS)-232C的串行接口、例如電氣電子工程師協(xié)會(huì)(IEEE)1284并行接口、通用串行總線(USB)接口、i-Link(IEEE1394)接口、小型計(jì)算面系統(tǒng)接口(SCSI)、和用于包含PC卡或記憶棒的存儲(chǔ)卡接口(插卡槽)，以便與本地相連的外部設(shè)備進(jìn)行程序和數(shù)據(jù)的傳送。
另外，作為其他接口25，可以安裝紅外線通信(IrDA)接口以便通過(guò)無(wú)線電通信與外部設(shè)備進(jìn)行數(shù)據(jù)通信。
另外，控制單元2包括無(wú)線電通信接口26和網(wǎng)絡(luò)接口卡(NIC)28，以便執(zhí)行短距離無(wú)線電數(shù)據(jù)通信例如藍(lán)牙、和經(jīng)由無(wú)線網(wǎng)絡(luò)例如IEEE802.11b、或廣域網(wǎng)例如互聯(lián)網(wǎng)、與不同的外部主機(jī)的數(shù)據(jù)通信。
利用機(jī)器人1和主機(jī)之間的數(shù)據(jù)通信，可以計(jì)算機(jī)器人1的復(fù)雜操作控制并通過(guò)遠(yuǎn)程計(jì)算機(jī)資源來(lái)執(zhí)行遠(yuǎn)程控制。
(1-2)機(jī)器人1的軟件結(jié)構(gòu)圖3示意示出由存儲(chǔ)在ROM 23中的控制程序組構(gòu)成的機(jī)器人1的動(dòng)作控制系統(tǒng)30的功能結(jié)構(gòu)。機(jī)器人1根據(jù)外部刺激的識(shí)別結(jié)果和內(nèi)部狀態(tài)的變化控制動(dòng)作。另外，機(jī)器人1具有長(zhǎng)期存儲(chǔ)功能以結(jié)合并存儲(chǔ)內(nèi)部狀態(tài)和外部狀態(tài)，以便根據(jù)外部刺激的識(shí)別結(jié)果和內(nèi)部狀態(tài)的變化控制動(dòng)作。
動(dòng)作控制系統(tǒng)30安裝了面向?qū)ο蟪绦?。在這種情況下，在稱為“對(duì)象”的模塊的基礎(chǔ)上處理每個(gè)軟件，在對(duì)象中數(shù)據(jù)和數(shù)據(jù)處理彼此關(guān)聯(lián)。另外，每個(gè)對(duì)象可用于數(shù)據(jù)通信并利用消息通信和共享存儲(chǔ)器調(diào)用交互對(duì)象通信方法。
該動(dòng)作控制系統(tǒng)30具有視覺(jué)識(shí)別功能單元31、語(yǔ)音識(shí)別功能單元32、以及接觸識(shí)別功能單元33，用于依據(jù)輸入/輸出組3的CCD照相機(jī)10，麥克風(fēng)11和接觸傳感器13的傳感器輸出來(lái)識(shí)別外部環(huán)境。
依據(jù)包括CCD照相機(jī)10的傳感器輸出的視頻信號(hào)，視覺(jué)識(shí)別功能單元31執(zhí)行操作例如臉部識(shí)別和顏色識(shí)別的圖像識(shí)別以及特征提取。視覺(jué)識(shí)別功能單元31輸出作為臉部識(shí)別結(jié)果的包括對(duì)每個(gè)人唯一的臉部標(biāo)識(shí)(ID)和臉部區(qū)域的位置及大小的信息、以及作為顏色識(shí)別結(jié)果的包括顏色區(qū)域的位置、大小和特征量的信息。
依據(jù)包括麥克風(fēng)11的傳感器輸出的音頻信號(hào)，語(yǔ)音識(shí)別功能單元32執(zhí)行各種關(guān)于聲音的識(shí)別操作，例如語(yǔ)音識(shí)別和發(fā)聲者識(shí)別。語(yǔ)音識(shí)別功能單元32基于聲學(xué)特性輸出作為語(yǔ)音識(shí)別結(jié)果的已識(shí)別語(yǔ)句的字符串信息、對(duì)人來(lái)說(shuō)是唯一的發(fā)聲者ID信息。
接觸識(shí)別功能單元33基于包括接觸傳感器13的傳感器輸出的壓力檢測(cè)信號(hào)識(shí)別外部刺激例如“敲擊”或“輕拍”，并輸出識(shí)別結(jié)果。
基于由視覺(jué)識(shí)別功能單元31、語(yǔ)音識(shí)別功能單元32和接觸識(shí)別功能單元33識(shí)別的外部刺激，內(nèi)部狀態(tài)管理單元34管理包括本能和感覺(jué)的數(shù)值模型形式的各種情緒，并管理例如本能和機(jī)器人1的情感的內(nèi)部狀態(tài)。
另一方面，動(dòng)作控制系統(tǒng)30具有隨時(shí)間消失的短期存儲(chǔ)的短期存儲(chǔ)單元35和用于信息的相對(duì)長(zhǎng)期存儲(chǔ)的長(zhǎng)期存儲(chǔ)單元36，以便根據(jù)外部刺激的識(shí)別結(jié)果和內(nèi)部狀態(tài)的改變控制動(dòng)作。存儲(chǔ)機(jī)制的分類即短期存儲(chǔ)和長(zhǎng)期存儲(chǔ)基于神經(jīng)心理被確定。
短期存儲(chǔ)單元35是用于短時(shí)間存儲(chǔ)由視覺(jué)識(shí)別功能單元31，語(yǔ)音識(shí)別功能單元32，和接觸識(shí)別功能單元33識(shí)別的對(duì)象和事件的功能模塊。例如，來(lái)自CCD照相機(jī)10的輸入圖像被短時(shí)間存儲(chǔ)約15秒。
長(zhǎng)期存儲(chǔ)單元36用于長(zhǎng)時(shí)間存儲(chǔ)例如通過(guò)學(xué)習(xí)獲得的對(duì)象名稱的信息，并且控制單元2的RAM 22和非易失性存儲(chǔ)器24(圖2)用于該目的。
另外，通過(guò)動(dòng)作控制系統(tǒng)30產(chǎn)生的機(jī)器人1的動(dòng)作被分為由反射動(dòng)作單元39實(shí)現(xiàn)的“反射動(dòng)作”，由狀態(tài)依賴動(dòng)作層38實(shí)現(xiàn)的“狀態(tài)依賴動(dòng)作”、和由預(yù)期動(dòng)作層37實(shí)現(xiàn)的“預(yù)期動(dòng)作”。
反射動(dòng)作單元39是響應(yīng)由視覺(jué)識(shí)別功能單元31、語(yǔ)音識(shí)別功能單元32和接觸識(shí)別功能單元33識(shí)別的外部刺激，來(lái)實(shí)現(xiàn)反射身體運(yùn)動(dòng)的功能模塊。
基本上，反射動(dòng)作是通過(guò)直接接收從傳感器輸入的外部信息的識(shí)別結(jié)果來(lái)直接確定輸出動(dòng)作的動(dòng)作。例如，希望追蹤人的臉部和點(diǎn)頭都設(shè)為反射動(dòng)作。
狀態(tài)依賴動(dòng)作層38基于短期存儲(chǔ)單元35和長(zhǎng)期存儲(chǔ)單元36存儲(chǔ)的內(nèi)容、以及內(nèi)部狀態(tài)管理單元34管理的內(nèi)部狀態(tài)控制適合機(jī)器人1的當(dāng)前狀態(tài)的動(dòng)作。
狀態(tài)依賴動(dòng)作層38依據(jù)先前動(dòng)作和狀態(tài)為每個(gè)動(dòng)作準(zhǔn)備狀態(tài)機(jī)，對(duì)從傳感器輸入的外部信息的識(shí)別結(jié)果進(jìn)行分類，并表達(dá)身體的動(dòng)作。另外，狀態(tài)依賴動(dòng)作層38實(shí)現(xiàn)一個(gè)動(dòng)作(自動(dòng)動(dòng)態(tài)平衡動(dòng)作)以在一定范圍內(nèi)保持內(nèi)部狀態(tài)。在內(nèi)部狀態(tài)超出指定范圍的情況下，該層38激活返回到所述范圍內(nèi)的內(nèi)部狀態(tài)的動(dòng)作，以便動(dòng)作容易表達(dá)(實(shí)際上，既可考慮內(nèi)部狀態(tài)也可考慮外部環(huán)境來(lái)選擇動(dòng)作)。與反射動(dòng)作相比，狀態(tài)依賴動(dòng)作需要一個(gè)長(zhǎng)響應(yīng)時(shí)間。
預(yù)期動(dòng)作層37基于短期存儲(chǔ)單元35和長(zhǎng)期存儲(chǔ)單元36的存儲(chǔ)內(nèi)容產(chǎn)生機(jī)器人1的相關(guān)長(zhǎng)期動(dòng)作計(jì)劃。
預(yù)期動(dòng)作是通過(guò)假設(shè)、并依據(jù)指定狀態(tài)或人的命令產(chǎn)生實(shí)現(xiàn)該假設(shè)的計(jì)劃而產(chǎn)生的動(dòng)作。例如，從機(jī)器人位置到目標(biāo)位置的路徑搜索是一個(gè)預(yù)期動(dòng)作。與機(jī)器人1的響應(yīng)時(shí)間相比，該假設(shè)和計(jì)劃可以要求處理時(shí)間和運(yùn)算負(fù)載(即，它占用處理時(shí)間)來(lái)保持交互作用。因此，盡管實(shí)時(shí)采用反射動(dòng)作和狀態(tài)依賴動(dòng)作，但對(duì)于預(yù)期動(dòng)作，采用假設(shè)和計(jì)劃。
預(yù)期動(dòng)作層37，狀態(tài)依賴動(dòng)作層38，和反射動(dòng)作單元39被描述為獨(dú)立于機(jī)器人1的硬件結(jié)構(gòu)的上層應(yīng)用程序。另一方面，根據(jù)來(lái)自上層應(yīng)用程序的指令，硬件依靠分級(jí)控制單元40從輸入/輸出組3的揚(yáng)聲器12輸出聲音，以規(guī)定方式使LED14閃爍，并且驅(qū)動(dòng)在驅(qū)動(dòng)組4中的相關(guān)驅(qū)動(dòng)單元151到15n。
(1-3)內(nèi)部狀態(tài)管理單元34的結(jié)構(gòu)與動(dòng)作控制系統(tǒng)30的結(jié)構(gòu)元件不同，下面將描述直接涉及后面描述的會(huì)話控制功能的內(nèi)部狀態(tài)管理單元34的結(jié)構(gòu)。
內(nèi)部狀態(tài)管理單元34管理如上所描述以數(shù)值模型形成的本能和感覺(jué)，并且根據(jù)由視覺(jué)識(shí)別功能單元31、語(yǔ)音識(shí)別功能單元32和接觸識(shí)別功能單元33識(shí)別的外部刺激改變本能和感覺(jué)。
在這種情況下，作為構(gòu)成本能的本能要素存在九種本能要素疲勞、體溫、疼痛、饑餓、口渴、影響、好奇心、排泄、性欲。作為構(gòu)成感覺(jué)的感情要素存在18種感情要素高興、悲傷、生氣、吃驚、厭惡、害怕、受挫、厭倦、夢(mèng)幻、社交、忍耐、緊張、放松、警戒、內(nèi)疚、敵視、忠誠(chéng)、謙恭、和嫉妒。
內(nèi)部狀態(tài)管理單元34將這些本能要素和感情要素保存為顯示要素強(qiáng)度的參數(shù)，并根據(jù)視覺(jué)識(shí)別功能單元31、語(yǔ)音識(shí)別功能單元32和接觸識(shí)別功能單元33的識(shí)別結(jié)果和消逝時(shí)間定時(shí)更新要素的參數(shù)值，以此改變機(jī)器人1的本能和感覺(jué)。
具體地說(shuō)，對(duì)于每個(gè)本能要素，利用基于視覺(jué)識(shí)別功能單元31、語(yǔ)音識(shí)別功能單元32和接觸識(shí)別功能單元33的識(shí)別結(jié)果和消逝時(shí)間用預(yù)定算法計(jì)算的本能要素的變化量ΔI[k]、本能要素的當(dāng)前參數(shù)值I[k]，以及代表本能要素的敏感度的系數(shù)ki，內(nèi)部狀態(tài)管理單元34根據(jù)下面的表達(dá)式(1)以指定的間隔計(jì)算下個(gè)循環(huán)中的本能要素的參數(shù)值I[k+1]。
I[k+1]＝I[k]+ki×ΔI[k] ............(1)該計(jì)算結(jié)果代替本能要素的當(dāng)前參數(shù)值I[k]以更新本能要素的參數(shù)值。
另外，對(duì)于每個(gè)感情要素，利用基于視覺(jué)識(shí)別功能單元31、語(yǔ)音識(shí)別功能單元32和接觸識(shí)別功能單元33的識(shí)別結(jié)果、以及此時(shí)機(jī)器人的動(dòng)作和從上次更新起經(jīng)過(guò)的時(shí)間用預(yù)定算法計(jì)算的感情要素的變量ΔE[t]、感情要素的當(dāng)前參數(shù)值E[t]，以及代表感情要素敏感度的系數(shù)ke，該內(nèi)部狀態(tài)管理單元34根據(jù)下面的表達(dá)式(2)計(jì)算下個(gè)循環(huán)中感情要素的參數(shù)值E[t+1]。
E[t+1]＝E[t]+k0×ΔE[t] ............(2)該計(jì)算的值替換感情要素的當(dāng)前參數(shù)值，以便更新感情要素的參數(shù)值。
注意，視覺(jué)識(shí)別功能單元31、語(yǔ)音識(shí)別功能單元32和接觸識(shí)別功能單元33的識(shí)別結(jié)果的作用類型對(duì)每個(gè)本能要素和感情要素是預(yù)先確定的。例如，由接觸識(shí)別功能單元33得到的“敲擊”的識(shí)別結(jié)果對(duì)本能要素“愛(ài)情”的參數(shù)值的變化量ΔI[k]和感情要素“高興”的參數(shù)值的變化量ΔE[t]有很大影響。
(2)在機(jī)器人1中通過(guò)跟蹤的會(huì)話控制功能機(jī)器人1具有與用戶會(huì)話的會(huì)話控制功能和跟蹤作為會(huì)話伙伴的用戶的跟蹤功能，以便在不受當(dāng)前環(huán)境的影響下準(zhǔn)確地識(shí)別會(huì)話伙伴的存在。
(2-1)機(jī)器人1的會(huì)話控制功能首先描述在機(jī)器人1中安裝的會(huì)話控制功能。
機(jī)器人1具有會(huì)話控制功能，通過(guò)與用戶會(huì)話獲得諸如名字、生日、和用戶和其他對(duì)象(下文統(tǒng)稱為用戶)的愛(ài)好等預(yù)定項(xiàng)目的信息(在下文中，稱為項(xiàng)目值)，以如圖4所示的一預(yù)定格式存儲(chǔ)所述信息，舉例來(lái)說(shuō)，并且使用存儲(chǔ)的項(xiàng)目值與用戶進(jìn)行會(huì)話。
參考圖4，存儲(chǔ)對(duì)應(yīng)于各種預(yù)定項(xiàng)目(“名字”、“種類”、“臉部ID”、“發(fā)聲者ID”、“生日”、“愛(ài)好”、和“朋友”)的項(xiàng)目值(““Yukiko”，“人”，“0”，“1”，“73/5/2”，“茶”，“Kazumi”)。在每一行中的第一數(shù)值表示一個(gè)對(duì)象的ID(對(duì)象ID)，該對(duì)象ID在該對(duì)象首次注冊(cè)時(shí)指派。
圖4示出了對(duì)象的所有項(xiàng)目值被獲得之后的狀態(tài)。通過(guò)與用戶對(duì)話，語(yǔ)音識(shí)別功能單元32的通過(guò)各種語(yǔ)音識(shí)別過(guò)程獲得上述所有項(xiàng)目中的“名字”，“發(fā)音者ID”，“生日”，“愛(ài)好”，和“朋友”項(xiàng)目并儲(chǔ)存。在與用戶會(huì)話期間，視覺(jué)識(shí)別功能單元31通過(guò)各種圖像識(shí)別過(guò)程得到“臉部ID”和“種類”項(xiàng)目并儲(chǔ)存。
另外，在圖4中寫于項(xiàng)目值右側(cè)的數(shù)值是項(xiàng)目值的印象級(jí)別。這些印象值是用于確定機(jī)器人1是否能用一個(gè)項(xiàng)目值作為以后談話主題的索引。例如，在圖4的例子中，印象級(jí)別越高，印象越好(該項(xiàng)目值則應(yīng)作為下次談話的主題)。相反，印象級(jí)別越低，印象越差(該項(xiàng)目值不被使用)。
在本實(shí)施例中，根據(jù)在項(xiàng)目值剛獲得之前內(nèi)部狀態(tài)管理單元34的“喜愛(ài)”參數(shù)值和獲得項(xiàng)目值之后的“喜愛(ài)”參數(shù)值之間的差別，為項(xiàng)目值提供一個(gè)印象級(jí)別。
參考圖3如上所述，該會(huì)話控制功能主要是通過(guò)動(dòng)作控制系統(tǒng)30中依靠狀態(tài)動(dòng)作層38的處理來(lái)執(zhí)行。并且如圖5所示，該會(huì)話控制功能由狀態(tài)動(dòng)作層38的會(huì)話控制單元38A來(lái)執(zhí)行。
會(huì)話控制單元38A的處理內(nèi)容按功能分為存儲(chǔ)采集會(huì)話產(chǎn)生單元50，用于產(chǎn)生會(huì)話(在下文中，稱為采集會(huì)話)，用于獲得用戶上每個(gè)項(xiàng)目的值；存儲(chǔ)使用會(huì)話產(chǎn)生單元51，通過(guò)使用獲得的用戶上每個(gè)項(xiàng)目的值來(lái)產(chǎn)生會(huì)話(在下文中，稱為使用會(huì)話)；和狀態(tài)確定單元52，用于控制這些存儲(chǔ)采集會(huì)話產(chǎn)生單元50和存儲(chǔ)使用會(huì)話產(chǎn)生單元51，如圖5所示。
在這種情況下，當(dāng)狀態(tài)確定單元52識(shí)別可能是會(huì)話伙伴的用戶的存在性時(shí)，根據(jù)經(jīng)由短期存儲(chǔ)單元35獲得的視覺(jué)識(shí)別功能單元31的識(shí)別結(jié)果和語(yǔ)音識(shí)別功能單元32的識(shí)別結(jié)果(圖3)，該單元52發(fā)送用戶臉部ID和發(fā)聲者ID到存儲(chǔ)采集會(huì)話產(chǎn)生單元50和存儲(chǔ)使用會(huì)話產(chǎn)生單元51，這些ID是視覺(jué)識(shí)別功能單元31和語(yǔ)音識(shí)別功能單元32獲得的識(shí)別結(jié)果，單元52并詢問(wèn)存儲(chǔ)采集會(huì)話產(chǎn)生單元50和存儲(chǔ)使用會(huì)話產(chǎn)生單元51是否它們能創(chuàng)建采集會(huì)話或使用會(huì)話(步驟SP1A，步驟SP1B)。
這時(shí)，根據(jù)指定的主題產(chǎn)生標(biāo)準(zhǔn)和主題使用確定標(biāo)準(zhǔn)，存儲(chǔ)采集會(huì)話產(chǎn)生單元50和存儲(chǔ)使用會(huì)話產(chǎn)生單元51為主題的產(chǎn)生和主題的使用執(zhí)行會(huì)話創(chuàng)建過(guò)程，該過(guò)程指明怎樣使用創(chuàng)建的主題來(lái)產(chǎn)生采集會(huì)話或使用會(huì)話(步驟SP2A，步驟SP2B)。
在本實(shí)施例的情況中，有七個(gè)標(biāo)準(zhǔn)作為主題產(chǎn)生標(biāo)準(zhǔn)。
第一主題產(chǎn)生標(biāo)準(zhǔn)是選擇相同目標(biāo)的不同項(xiàng)目作為下個(gè)主題，該相同目標(biāo)作為在以前會(huì)話中使用的主題。在這個(gè)實(shí)施例中，較高印象級(jí)別的項(xiàng)目被順序的選擇。例如，在先前會(huì)話的主題是圖4中的“目標(biāo)ID1”的“生日”的情況下，不同于相同“目標(biāo)ID1”的其它項(xiàng)目的最高印象級(jí)的項(xiàng)目被選作下次會(huì)話的主題。
第二主題產(chǎn)生標(biāo)準(zhǔn)是選擇相同目標(biāo)的相關(guān)項(xiàng)目作為下個(gè)主題，該相同目標(biāo)作為在先前會(huì)話中使用的主題。例如，在先前會(huì)話的主題是圖4中的“目標(biāo)ID1”的“愛(ài)好”，“目標(biāo)ID1”的“嫌惡”被選作下次會(huì)話的主題。
第三主題產(chǎn)生標(biāo)準(zhǔn)是根據(jù)之前會(huì)話中使用的主題項(xiàng)目值選擇可被指定的目標(biāo)的項(xiàng)目作為下個(gè)主題。在這個(gè)實(shí)施例中，具有較高印象級(jí)別的目標(biāo)被順序選擇作為下個(gè)目標(biāo)。例如，在之前會(huì)話的主題是圖4中的“目標(biāo)ID1”的“朋友”的情況下，“目標(biāo)ID2”的任何項(xiàng)目，“朋友”，被作為下次會(huì)話的主題。
第四主題產(chǎn)生標(biāo)準(zhǔn)是選擇作為之前會(huì)話使用的主題的相同目標(biāo)的相同項(xiàng)目作為下個(gè)主題。例如，在之前會(huì)話的主題是圖4中的“目標(biāo)ID1”的“生日”的情況下，相同“目標(biāo)ID1”的相同“生日”被選作下次會(huì)話的主題。
第五主題產(chǎn)生標(biāo)準(zhǔn)是選擇具有作為之前會(huì)話使用的主題的相同項(xiàng)目值的不同目標(biāo)的相同項(xiàng)目。例如，在之前會(huì)話的主題是圖4中的“目標(biāo)ID1”的“愛(ài)好”的情況下，具有相同“愛(ài)好”值“茶”的“目標(biāo)ID3”的“愛(ài)好”被選作下次會(huì)話的主題。
第六主題產(chǎn)生標(biāo)準(zhǔn)是選擇不同目標(biāo)的項(xiàng)目作為下個(gè)主題，該不同目標(biāo)具有與之前會(huì)話使用的主題項(xiàng)目值有關(guān)的項(xiàng)目值。例如，在之前會(huì)話的主題是圖4中的“目標(biāo)ID2”的“愛(ài)好”的情況下，基于“馬”的“愛(ài)好”，選擇“愛(ài)好”是“賽馬”的“目標(biāo)ID6”，并且該“目標(biāo)ID6”的“愛(ài)好”被選作下次會(huì)話的主題。
第七主題產(chǎn)生標(biāo)準(zhǔn)是從之前會(huì)話使用的主題的目標(biāo)中選擇不同目標(biāo)的相同項(xiàng)目。例如，在之前會(huì)話的主題是圖4中的“目標(biāo)ID1”的“愛(ài)好”的情況下，“目標(biāo)ID2”的“愛(ài)好”被選作為下次會(huì)話的主題。
應(yīng)該注意，第一到第七主題產(chǎn)生標(biāo)準(zhǔn)中的第一到第三主題產(chǎn)生標(biāo)準(zhǔn)既能被用作采集會(huì)話的產(chǎn)生也能用作使用會(huì)話的產(chǎn)生。然而，第四到第七主題產(chǎn)生標(biāo)準(zhǔn)不能用于采集會(huì)話的產(chǎn)生，而對(duì)采集會(huì)話的產(chǎn)生是有效的。
因此，存儲(chǔ)采集會(huì)話產(chǎn)生單元50在第一到第三主題產(chǎn)生標(biāo)準(zhǔn)中隨機(jī)地選擇一個(gè)標(biāo)準(zhǔn)，并且存儲(chǔ)使用會(huì)話產(chǎn)生單元51在第一到第七主題產(chǎn)生標(biāo)準(zhǔn)中隨機(jī)地選擇一個(gè)標(biāo)準(zhǔn)。根據(jù)選擇的主題產(chǎn)生標(biāo)準(zhǔn)，例如，在之前會(huì)話的主題是“目標(biāo)ID1的愛(ài)好”的情況下，“目標(biāo)ID1的朋友”，“目標(biāo)ID1的嫌惡”，“目標(biāo)ID2的生日”，“目標(biāo)ID1的生日”，“目標(biāo)ID3的愛(ài)好”，或“目標(biāo)ID6的愛(ài)好”被選作下次會(huì)話的主題。
另一方面，在該實(shí)施例中，存在三種標(biāo)準(zhǔn)作為主題使用確定標(biāo)準(zhǔn)。
第一個(gè)主題使用確定標(biāo)準(zhǔn)是通過(guò)利用存儲(chǔ)在長(zhǎng)期存儲(chǔ)單元36中的相應(yīng)項(xiàng)目值產(chǎn)生會(huì)話。例如，當(dāng)“目標(biāo)ID1的愛(ài)好”被確定為主題時(shí)，如“Yukiko的愛(ài)好是喝茶，不是嗎?！被颉澳愕膼?ài)好是什么”的會(huì)話被產(chǎn)生。
第二個(gè)主題使用確定標(biāo)準(zhǔn)是對(duì)于有關(guān)內(nèi)容，基于存儲(chǔ)在長(zhǎng)期存儲(chǔ)單元36中的相應(yīng)項(xiàng)目值搜索數(shù)據(jù)庫(kù)，并利用該內(nèi)容產(chǎn)生會(huì)話。例如，當(dāng)“目標(biāo)ID1的生日”被確定為主題時(shí)，根據(jù)搜索周年紀(jì)念數(shù)據(jù)庫(kù)，該“73/5/2”是“生日”的項(xiàng)目值，作為關(guān)鍵字，并通過(guò)利用獲得的內(nèi)容“通訊通告”(TRAFFIC NOTIFICATION)，會(huì)話如“你知道5月2日是通信通告的日子嗎?！北划a(chǎn)生。
第三個(gè)主題使用確定標(biāo)準(zhǔn)是對(duì)于相關(guān)內(nèi)容，基于通過(guò)從存儲(chǔ)在長(zhǎng)期存儲(chǔ)單元36中的相應(yīng)項(xiàng)目值計(jì)算和假設(shè)獲得的相關(guān)項(xiàng)目值搜索數(shù)據(jù)庫(kù)，并利用該內(nèi)容產(chǎn)生會(huì)話。例如，當(dāng)“目標(biāo)ID1的生日”被確定為主題時(shí)，根據(jù)從“73/5/2”得到的“金牛座”搜索占星學(xué)數(shù)據(jù)庫(kù)，“73/5/2”是“生日”的項(xiàng)目值，作為關(guān)鍵字，并通過(guò)利用得到的內(nèi)容“忍耐”，會(huì)話如“你知道金牛座的人都很有耐心嗎?！北划a(chǎn)生。
除了第一到第三主題使用確定標(biāo)準(zhǔn)，第一主題使用確定標(biāo)準(zhǔn)用于采集會(huì)話的產(chǎn)生和使用會(huì)話的產(chǎn)生。第二和第三主題使用確定標(biāo)準(zhǔn)不能用于采集會(huì)話的產(chǎn)生但對(duì)使用會(huì)話的產(chǎn)生是有效的。
因此，存儲(chǔ)采集會(huì)話產(chǎn)生單元50選擇第一主題使用確定標(biāo)準(zhǔn)，而存儲(chǔ)使用會(huì)話產(chǎn)生單元51隨機(jī)地選擇第一到第三主題使用確定標(biāo)準(zhǔn)中的一個(gè)。根據(jù)所選的主題使用確定標(biāo)準(zhǔn)，獲得信息的會(huì)話或利用獲得的信息的會(huì)話被產(chǎn)生。
當(dāng)存儲(chǔ)采集會(huì)話產(chǎn)生單元50和存儲(chǔ)使用會(huì)話產(chǎn)生單元51產(chǎn)生一主題并確定使用主題產(chǎn)生程序，它們向狀態(tài)決定單元52通報(bào)該內(nèi)容、主題和它的使用。即使不能產(chǎn)生主題，狀態(tài)決定單元52也被通報(bào)該內(nèi)容(步驟SP3A，步驟SP3B)。
當(dāng)存儲(chǔ)采集會(huì)話產(chǎn)生單元50和存儲(chǔ)使用會(huì)話產(chǎn)生單元51向狀態(tài)確定單元52通報(bào)主題已經(jīng)產(chǎn)生并已確定對(duì)其使用，根據(jù)一第一比率和一第二比率選擇存儲(chǔ)采集會(huì)話產(chǎn)生單元50和存儲(chǔ)使用會(huì)話產(chǎn)生單元51中的一個(gè)，第一比率是指尚沒(méi)有獲得值的項(xiàng)目數(shù)量與會(huì)話伙伴所有的項(xiàng)目數(shù)量的比率，第二比率是指已經(jīng)獲得值的項(xiàng)目數(shù)量與會(huì)話伙伴所有的項(xiàng)目數(shù)量的比率(步驟SP4)。
更具體地，當(dāng)?shù)谝槐嚷实扔诘诙嚷驶蚋髸r(shí)，狀態(tài)確定單元52選擇存儲(chǔ)采集會(huì)話產(chǎn)生單元50，當(dāng)?shù)谝槐嚷市∮诘诙嚷蕰r(shí)，狀態(tài)確定單元52選擇存儲(chǔ)使用會(huì)話產(chǎn)生單元51。
當(dāng)狀態(tài)決定單元52以如此方式選擇它們中任何一個(gè)時(shí)，根據(jù)主題及對(duì)主題的使用，它給所選擇的存儲(chǔ)采集會(huì)話產(chǎn)生單元50或存儲(chǔ)使用會(huì)話產(chǎn)生單元51一個(gè)指令來(lái)啟動(dòng)該過(guò)程(在下文中，稱為會(huì)話產(chǎn)生過(guò)程)以便產(chǎn)生采集會(huì)話或使用會(huì)話。
另一方面，當(dāng)存儲(chǔ)采集會(huì)話產(chǎn)生單元50和存儲(chǔ)使用會(huì)話產(chǎn)生單元51中的一個(gè)對(duì)狀態(tài)確定單元52通報(bào)了主題及對(duì)主題的使用時(shí)，根據(jù)主題及對(duì)主題的使用，該狀態(tài)確定單元給所選擇的存儲(chǔ)采集會(huì)話產(chǎn)生單元50或存儲(chǔ)使用會(huì)話產(chǎn)生單元51一個(gè)指令來(lái)開始會(huì)話產(chǎn)生過(guò)程(步驟SP5)。
所以，響應(yīng)該指令，存儲(chǔ)采集會(huì)話產(chǎn)生單元50或存儲(chǔ)使用會(huì)話產(chǎn)生單元51開始會(huì)話產(chǎn)生過(guò)程，訪問(wèn)內(nèi)部狀態(tài)管理單元34以獲得不同于本能要素的參數(shù)值“影響”，從而根據(jù)上述的主題及對(duì)主題的使用，順序的發(fā)送字符串?dāng)?shù)據(jù)D1到依靠硬件動(dòng)作控制單元40的音頻合成單元40A中，用于實(shí)現(xiàn)采集會(huì)話或使用會(huì)話，該會(huì)話包括用于獲取信息的會(huì)話(在下文中，稱為采集會(huì)話)或利用獲取的信息的會(huì)話(在下文中，稱為使用會(huì)話)，其中字符串?dāng)?shù)據(jù)D1包括一系列會(huì)話的內(nèi)容結(jié)果，根據(jù)字符串?dāng)?shù)據(jù)D1，在音頻合成單元40A中產(chǎn)生音頻信號(hào)S1并指定給揚(yáng)聲器12(圖1)，從而輸出形成采集會(huì)話的會(huì)話內(nèi)容的聲音，該采集會(huì)話包含一系列包括采集會(huì)話“Yukiko的愛(ài)好是什么？”的會(huì)話，或輸出形成使用會(huì)話的會(huì)話內(nèi)容的聲音，該使用會(huì)話包含一系列包括使用會(huì)話“Yukiko的愛(ài)好是喝茶，不是嗎！”的會(huì)話(步驟SP6)。
直到這時(shí)，通過(guò)麥克風(fēng)11收集用戶對(duì)這個(gè)主題的回復(fù)并指定給動(dòng)作控制系統(tǒng)30(圖3)的語(yǔ)音識(shí)別功能單元32，并被該單元32識(shí)別。
因此在步驟SP4中，在選擇存儲(chǔ)采集會(huì)話產(chǎn)生單元50的情況下，該存儲(chǔ)采集會(huì)話產(chǎn)生單元50基于采集會(huì)話，并基于語(yǔ)音識(shí)別功能單元32的語(yǔ)音識(shí)別結(jié)果提取對(duì)問(wèn)題(即，期待獲得的項(xiàng)目值)的答復(fù)，該答復(fù)來(lái)自用戶對(duì)采集會(huì)話的響應(yīng)，并以參考圖4所述的格式將它存儲(chǔ)在長(zhǎng)期存儲(chǔ)單元36中(步驟SP6)。
而且，同時(shí)，該存儲(chǔ)采集會(huì)話產(chǎn)生單元50訪問(wèn)內(nèi)部狀態(tài)管理單元34以獲得“影響”的當(dāng)前參數(shù)值，計(jì)算獲得的參數(shù)值與會(huì)話前剛獲得的相同“影響”的參數(shù)值之間的差值，并且在長(zhǎng)期存儲(chǔ)器34中存儲(chǔ)計(jì)算結(jié)果，通過(guò)將該值與項(xiàng)目值相關(guān)，該結(jié)果作為如上所述為用戶獲得的項(xiàng)目值的印象等級(jí)。
當(dāng)存儲(chǔ)采集會(huì)話產(chǎn)生單元50或存儲(chǔ)使用會(huì)話產(chǎn)生單元51完成采集會(huì)話或使用會(huì)話，它將該事情通知給狀態(tài)確定單元52(步驟SP7)。響應(yīng)該通知，該狀態(tài)確定單元52通知該存儲(chǔ)采集會(huì)話產(chǎn)生單元50和存儲(chǔ)使用會(huì)話產(chǎn)生單元51該主題和它的用途，該用途在步驟SP3A或步驟SP3B由步驟SP4中選擇的存儲(chǔ)采集會(huì)話產(chǎn)生單元50或存儲(chǔ)使用會(huì)話產(chǎn)生單元51指定(步驟SP8A，步驟SP8B)。
因此，該存儲(chǔ)采集會(huì)話產(chǎn)生單元50和存儲(chǔ)使用會(huì)話產(chǎn)生單元51存儲(chǔ)該指定話題和它的用途作為會(huì)話歷史(步驟SP9A，步驟SP9B)，并以上述方式產(chǎn)生采集會(huì)話或使用會(huì)話，以便在具有相同會(huì)話伙伴的一對(duì)一會(huì)話中不產(chǎn)生相同的會(huì)話，直到會(huì)話結(jié)束(步驟SP10A-步驟SP1A到步驟SP10A，步驟SP10B-步驟SP1B到步驟SP10B)。
如上所述，機(jī)器人1自然地通過(guò)獲得和使用用戶的各種信息能夠與用戶具有唯一會(huì)話，并自然和順序的改變?cè)掝}。
(2-2)機(jī)器人1的跟蹤功能下面，將描述提供給機(jī)器人1的跟蹤功能。
機(jī)器人1具有跟蹤功能，能安全的跟蹤存在的會(huì)話伙伴。該跟蹤功能主要通過(guò)參考圖3所描述的行動(dòng)控制系統(tǒng)30的狀態(tài)-依賴動(dòng)作等級(jí)38的處理來(lái)實(shí)現(xiàn)。該跟蹤功能通過(guò)狀態(tài)-依賴動(dòng)作等級(jí)38的跟蹤控制單元38B來(lái)實(shí)現(xiàn)，如參考圖5所述。
跟蹤控制單元38B的處理內(nèi)容在功能上分類為用于整合視覺(jué)識(shí)別功能單元31、語(yǔ)音識(shí)別功能單元32和接觸識(shí)別功能單元33的識(shí)別結(jié)果的識(shí)別整合單元55和基于識(shí)別整合單元55的綜合結(jié)果來(lái)預(yù)測(cè)會(huì)話伙伴的位置的預(yù)測(cè)單元56。
在該情況下，識(shí)別整合單元55根據(jù)視覺(jué)識(shí)別功能單元31、語(yǔ)音識(shí)別功能單元32和接觸識(shí)別功能單元33的識(shí)別結(jié)果，考慮會(huì)話伙伴的臉部圖像、語(yǔ)音聲音和接觸狀態(tài)來(lái)識(shí)別存在的會(huì)話伙伴。
就是說(shuō)，在圖像識(shí)別過(guò)程之外，該過(guò)程基于包括CCD照相機(jī)10的傳感器輸出的視頻信號(hào)來(lái)執(zhí)行，視覺(jué)識(shí)別功能單元31逐步按照皮膚色彩識(shí)別過(guò)程，臉部識(shí)別過(guò)程和身體識(shí)別過(guò)程的順序，執(zhí)行三種識(shí)別過(guò)程，即皮膚色彩識(shí)別、臉部識(shí)別和身體識(shí)別，并將識(shí)別過(guò)程的結(jié)果發(fā)送給識(shí)別整合單元55。
諸如皮膚色彩識(shí)別、臉部識(shí)別和身體識(shí)別的這些識(shí)別過(guò)程具有不同的識(shí)別等級(jí)以識(shí)別個(gè)人臉部。該身體識(shí)別過(guò)程指定誰(shuí)是具有最高識(shí)別等級(jí)的目標(biāo)人物。該臉部識(shí)別過(guò)程識(shí)別圖像是否是個(gè)人臉部或具有中等識(shí)別等級(jí)的類似體。該皮膚具有最低識(shí)別等級(jí)的色彩識(shí)別過(guò)程是最容易的識(shí)別。
特別地，該視覺(jué)識(shí)別功能單元31從基于視頻信號(hào)的圖像中檢測(cè)膚色區(qū)域，并根據(jù)檢測(cè)結(jié)果確定圖像中的目標(biāo)對(duì)象是否是人臉。當(dāng)視覺(jué)識(shí)別功能單元31確定該人臉時(shí)，基于臉部區(qū)域的圖像指定誰(shuí)是會(huì)話伙伴，并發(fā)送該識(shí)別結(jié)果給識(shí)別整合單元55。
該語(yǔ)音識(shí)別功能單元32執(zhí)行聲音方向識(shí)別過(guò)程，以識(shí)別聲音來(lái)自哪個(gè)方向，此外基于包括麥克風(fēng)11的傳感器輸出的音頻信號(hào)來(lái)執(zhí)行的各種有關(guān)聲音的識(shí)別過(guò)程，并且將該識(shí)別結(jié)果發(fā)送給識(shí)別整合單元55。
例如，在輸入/輸出組3(圖1)中提供多個(gè)麥克風(fēng)11的情況下，多個(gè)麥克風(fēng)11被用來(lái)設(shè)定輸入聲音事件的聲源的方向。尤其是，例如在“acoustic systemdigital processing”O(jiān)ga，Yamazaki，Kaneda(電子信息通信協(xié)會(huì))p197”中公開的，通過(guò)使用聲源與多個(gè)麥克風(fēng)接收信號(hào)的時(shí)間差之間的一對(duì)一關(guān)系來(lái)預(yù)測(cè)聲源的方向。
就是說(shuō)，如圖7所示，在排列在距離d處的兩個(gè)麥克風(fēng)M1和M2接收來(lái)自θs方向的平面波的情況下，在麥克風(fēng)M1和M2接收的信號(hào)x1(t)和x2(t)間存在如下關(guān)系。
X2(t)＝x1(t-Ts) ...(3)Ts＝(dsinθs)/c ...(4)在表達(dá)式(1)、(2)中c是聲音的速率，并且τs是兩個(gè)麥克風(fēng)M1和M2接收的信號(hào)的時(shí)間差。
因此，如果可以獲得接收信號(hào)x1(t)和x2(t)間的時(shí)間差τs，則下面的表達(dá)式(5)θs＝sin-1(cTs/d) ...(5)可用來(lái)獲得聲音來(lái)自的方向，這就是聲源方向。
現(xiàn)在，根據(jù)下面的表達(dá)式(6)12(T)＝E[x1(t)·x2(t+T)] ...(6)從接收的信號(hào)x1(t)和x2(t)間的互相關(guān)函數(shù)12(τ)中獲得時(shí)間差τs，在表達(dá)式(4)中的E[·]是期望值。
根據(jù)上述表達(dá)式(1)和表達(dá)式(4)，該互相關(guān)函數(shù)12(τ)表示如下(7)12(T)＝E[x1(t+T-Ts)]＝11(T-Ts)...(7)在此，表達(dá)式(5)中的11(τ)是接收的信號(hào)x1(t)的自相關(guān)函數(shù)。
基于表達(dá)式(5)，當(dāng)知道τ＝0時(shí)，可知該自相關(guān)函數(shù)11(τ)具有最大值，當(dāng)τ＝τs時(shí)，該互相關(guān)函數(shù)具有最大值。因此，當(dāng)計(jì)算互相關(guān)函數(shù)112(τ)獲得產(chǎn)生最大值的τ時(shí)，可獲得τs。然后通過(guò)在表達(dá)式(3)中取代它，可獲得該聲波來(lái)自的方向，即聲源方向。
該語(yǔ)音識(shí)別功能單元22(圖5)能確定由麥克風(fēng)11收集的聲音事件是否是話音。尤其是，根據(jù)Hidden Markov Model(HMM)方法通過(guò)統(tǒng)計(jì)模擬話音和非話音并比較它們的似然值，可以確定音頻事件是否為話音。另外，該語(yǔ)音識(shí)別功能單元根據(jù)由“F.Asano，H.Asoh and T.Matsui，”Sound Source Localization andSeparation in Near Field”.IEICE Trans.Fundamental，Vol.E83-A，No.11，2000”公開的技術(shù)，通過(guò)計(jì)算到聲源的預(yù)測(cè)距離能粗略的確定該聲源是不是接近了。
而且，該接觸識(shí)別功能單元33執(zhí)行接觸識(shí)別程序以識(shí)別是否用戶被接觸，此外根據(jù)接觸傳感器13的傳感器輸出的壓力檢測(cè)信號(hào)來(lái)執(zhí)行有關(guān)外部刺激的識(shí)別程序。然后該接觸識(shí)別功能單元將識(shí)別結(jié)果發(fā)送給識(shí)別整合單元55。
該識(shí)別整合單元55整合視覺(jué)識(shí)別功能單元31、語(yǔ)音識(shí)別功能單元和接觸識(shí)別功能單元的識(shí)別結(jié)果。該整合在此意味著對(duì)于某一圖像相同區(qū)域的信息的整合，例如，盡管不能識(shí)別人，但它導(dǎo)致臉部和膚色被確認(rèn)。即，在視覺(jué)識(shí)別功能單元31、語(yǔ)音識(shí)別功能單元32和接觸識(shí)別功能單元33的每個(gè)識(shí)別上接收信息是成功的，并且由于該識(shí)別是成功的，該識(shí)別信息作為識(shí)別結(jié)果被發(fā)送的情況下，該識(shí)別整合單元55從規(guī)定的識(shí)別結(jié)果或該識(shí)別結(jié)果之外的一個(gè)或多個(gè)識(shí)別結(jié)果中假設(shè)會(huì)話伙伴的方向。
因此，根據(jù)識(shí)別結(jié)果，該識(shí)別整合單元55隨后向依靠硬件的動(dòng)作控制單元40的動(dòng)作產(chǎn)生單元40B發(fā)送跟蹤動(dòng)作數(shù)據(jù)D2，該跟蹤動(dòng)作數(shù)據(jù)D2表示用于跟蹤會(huì)話伙伴存在的動(dòng)作內(nèi)容。
因此，基于跟蹤動(dòng)作數(shù)據(jù)D2，在動(dòng)作產(chǎn)生單元40B中產(chǎn)生動(dòng)作確定信號(hào)S2，并指定驅(qū)動(dòng)組4(圖1)的相關(guān)驅(qū)動(dòng)單元151至15n，由此移動(dòng)機(jī)器人1的脖頸關(guān)節(jié)，以使會(huì)話伙伴臉部重心的中心定位在輸入圖像的中心，例如。
當(dāng)個(gè)人識(shí)別過(guò)程失敗時(shí)，該識(shí)別整合單元55使用其他臉部識(shí)別過(guò)程、膚色識(shí)別過(guò)程、聲音方向識(shí)別過(guò)程和接觸識(shí)別過(guò)程中的任何識(shí)別結(jié)果來(lái)繼續(xù)跟蹤。例如，通過(guò)使用臉部識(shí)別過(guò)程來(lái)預(yù)測(cè)會(huì)話伙伴臉的方向(位置)。即，盡管不能指定人，該臉部識(shí)別過(guò)程是成功的，并且在已經(jīng)確認(rèn)臉部的情況下，假設(shè)已經(jīng)被跟蹤的人具有同一個(gè)人的臉部，并且控制該驅(qū)動(dòng)組4使得該臉部區(qū)域放置在輸入圖像的中央。例如，當(dāng)臉部識(shí)別結(jié)果失敗時(shí)，使用該膚色識(shí)別過(guò)程的識(shí)別結(jié)果。當(dāng)膚色識(shí)別結(jié)果也失敗時(shí)，使用聲音方向識(shí)別過(guò)程的識(shí)別結(jié)果，并且控制驅(qū)動(dòng)組以便該機(jī)器人1面向聲音方向。
一種確定方法，那一種識(shí)別結(jié)果能利用優(yōu)先級(jí)預(yù)置在識(shí)別整合單元55中，或者由該機(jī)器人1能夠進(jìn)行的適當(dāng)選擇。例如，剛剛在個(gè)人識(shí)別過(guò)程失敗前，最接近會(huì)話伙伴位置(方向)的識(shí)別過(guò)程的識(shí)別結(jié)果被使用。
當(dāng)預(yù)測(cè)單元56從識(shí)別整合單元55接收識(shí)別整合結(jié)果并且由于識(shí)別過(guò)程的不可靠識(shí)別結(jié)果(在識(shí)別失敗的情況下)不能暫時(shí)識(shí)別目標(biāo)時(shí)，該預(yù)測(cè)單元56預(yù)測(cè)目標(biāo)的位置。例如，如果所有識(shí)別過(guò)程的識(shí)別結(jié)果失敗時(shí)，該預(yù)測(cè)單元56根據(jù)獲得的識(shí)別結(jié)果預(yù)測(cè)目標(biāo)的當(dāng)前位置(方向)，直到失敗。
當(dāng)預(yù)測(cè)單元56一直從識(shí)別整合單元55接收識(shí)別整合結(jié)果并且上述跟蹤控制單元不能識(shí)別該目標(biāo)時(shí)，該預(yù)測(cè)單元56被控制，以便開始目標(biāo)位置的預(yù)測(cè)，或在規(guī)定期間內(nèi)等候各種識(shí)別過(guò)程恢復(fù)。作為替換方式，當(dāng)不能識(shí)別目標(biāo)時(shí)，該識(shí)別整合單元55可以發(fā)送識(shí)別結(jié)果給預(yù)測(cè)單元56，指示預(yù)測(cè)單元56預(yù)測(cè)目標(biāo)位置，直到失敗。
然后，該預(yù)測(cè)單元56剛剛在不能識(shí)別目標(biāo)之前根據(jù)識(shí)別結(jié)果預(yù)測(cè)目標(biāo)方向，并且將預(yù)測(cè)的方向發(fā)送給驅(qū)動(dòng)組4(圖1)。即，需要機(jī)器人跟蹤圖像的環(huán)境識(shí)別經(jīng)常不穩(wěn)定，并且該環(huán)境識(shí)別對(duì)光亮和人的臉部角度敏感。當(dāng)光亮和臉部角度變化很小時(shí)，該視覺(jué)識(shí)別功能單元31對(duì)各種識(shí)別過(guò)程無(wú)效。另外，當(dāng)目標(biāo)諸如移動(dòng)很快的球，該球在不均勻光亮的情況下移動(dòng)，因此識(shí)別變得困難。而且，自主型機(jī)器人1根據(jù)外部狀態(tài)和內(nèi)部刺激一直選擇動(dòng)作。例如，在具有比跟蹤操作更高的優(yōu)先級(jí)的其他操作發(fā)生的情況下，可能停止該跟蹤操作，并可以開始其他操作。例如，考慮這樣一種情形，由于機(jī)器人1在與個(gè)人A會(huì)話期間被其他個(gè)人B呼叫，該機(jī)器人1與個(gè)人B進(jìn)行簡(jiǎn)短會(huì)話，然后恢復(fù)與個(gè)人A會(huì)話。在這種情況中，跟蹤被停止之后，應(yīng)當(dāng)恢復(fù)跟蹤。盡管原則上可以存儲(chǔ)個(gè)人A的位置，但由于個(gè)人A移動(dòng)很小造成不可靠識(shí)別，可能不恢復(fù)該跟蹤。
甚至在該情況中，當(dāng)目標(biāo)是移動(dòng)物體時(shí)，通過(guò)根據(jù)以前的移動(dòng)量預(yù)測(cè)該當(dāng)前位置(方向)來(lái)獲得預(yù)測(cè)的方向。另外，剛剛在識(shí)別失敗之前的規(guī)定期間內(nèi)識(shí)別目標(biāo)物體是穩(wěn)定的情況下，該目標(biāo)的方向僅在此之前被確定為預(yù)測(cè)的位置。
然后，依靠硬件的動(dòng)作控制單元40的動(dòng)作產(chǎn)生單元40B根據(jù)來(lái)自識(shí)別整合單元55或預(yù)測(cè)單元56的控制信息產(chǎn)生跟蹤動(dòng)作數(shù)據(jù)D2，并經(jīng)由驅(qū)動(dòng)組4輸出。即，關(guān)于在機(jī)器人1關(guān)節(jié)處的驅(qū)動(dòng)單元151至15n，計(jì)算該旋轉(zhuǎn)角度和旋轉(zhuǎn)位置通過(guò)每個(gè)滾筒、螺距，或作為中心的偏航軸來(lái)旋轉(zhuǎn)每個(gè)關(guān)節(jié)，并且被控制的相關(guān)馬達(dá)161至16n被驅(qū)動(dòng)，因此使得機(jī)器人1通過(guò)，例如旋轉(zhuǎn)機(jī)器人1的脖子，來(lái)跟蹤目標(biāo)的移動(dòng)。
注意，盡管當(dāng)所有識(shí)別過(guò)程都失敗時(shí)預(yù)測(cè)單元56預(yù)測(cè)目標(biāo)方向，但識(shí)別整合單元55的上面描述的部分過(guò)程可由預(yù)測(cè)單元56執(zhí)行。就是說(shuō)，當(dāng)具有最高級(jí)的個(gè)人識(shí)別過(guò)程失敗時(shí)，由預(yù)測(cè)單元56執(zhí)行一個(gè)通過(guò)使用具有較低等級(jí)的臉部識(shí)別過(guò)程的識(shí)別結(jié)果和聲音方向識(shí)別結(jié)果的繼續(xù)跟蹤過(guò)程。
(3)會(huì)話伙伴確認(rèn)過(guò)程當(dāng)機(jī)器人1通過(guò)麥克風(fēng)獲得用戶語(yǔ)音時(shí)，該控制單元2啟動(dòng)圖8所示的從步驟SP20開始的會(huì)話伙伴確認(rèn)過(guò)程RT1。在下一步SP21，該控制單元2復(fù)位一計(jì)數(shù)器(未示出)并進(jìn)行到步驟SP22來(lái)確定根據(jù)上述跟蹤功能是否能跟蹤會(huì)話伙伴的存在性。
當(dāng)在步驟SP22中得到肯定結(jié)果時(shí)，這意味著會(huì)話伙伴在機(jī)器人1的前方。在這種情況下，該控制單元2進(jìn)行到步驟SP23并返回到步驟SP21以重復(fù)上述過(guò)程，此時(shí)與會(huì)話伙伴繼續(xù)會(huì)話。
當(dāng)在步驟SP22中得到否定結(jié)果時(shí)，相反，意味著不能識(shí)別會(huì)話伙伴的存在性。在該情況下，該控制單元2進(jìn)行到步驟SP24來(lái)確定接觸傳感器13是否已經(jīng)接觸若干秒(兩到三秒)。
當(dāng)在步驟SP24中獲得肯定結(jié)果時(shí)，意味著會(huì)話伙伴剛好在機(jī)器人1的前方。在該情況下，該控制單元2進(jìn)行到步驟SP23并返回到步驟SP21以重復(fù)上述過(guò)程，此時(shí)繼續(xù)與會(huì)話伙伴的會(huì)話。
當(dāng)在步驟SP24中得到否定結(jié)果時(shí)，相反，意味著不能識(shí)別會(huì)話伙伴的存在性。在該情況下，該控制單元2進(jìn)行到步驟SP25來(lái)啟動(dòng)一計(jì)時(shí)器計(jì)數(shù)(未示出)，并確定用戶是否響應(yīng)。
當(dāng)在步驟SP25中得到肯定結(jié)果時(shí)，意味著通過(guò)麥克風(fēng)11收集到一些語(yǔ)音。在該情況下，該控制單元2進(jìn)行到步驟SP26來(lái)確定收集的語(yǔ)音內(nèi)容是否與預(yù)測(cè)的響應(yīng)內(nèi)容相同。
當(dāng)在步驟SP25中得到否定結(jié)果，相反，意味著通過(guò)麥克風(fēng)11沒(méi)有收集到任何語(yǔ)音。在該情況下，該控制單元2進(jìn)行到步驟SP27來(lái)確定自計(jì)時(shí)器啟動(dòng)時(shí)是否規(guī)定時(shí)間已經(jīng)過(guò)去(例如，5至7秒)。
當(dāng)在步驟SP27中得到肯定結(jié)果，該控制單元2確定該時(shí)間結(jié)束，并進(jìn)行到步驟SP28。相反，當(dāng)?shù)玫椒穸ńY(jié)果時(shí)，它確定該時(shí)間沒(méi)有結(jié)束，并返回步驟SP25重復(fù)上述過(guò)程。
當(dāng)在步驟26中得到肯定結(jié)果時(shí)，意味著通過(guò)麥克風(fēng)11收集的語(yǔ)音內(nèi)容與預(yù)測(cè)的響應(yīng)內(nèi)容相同。在該情況下，控制單元2確定會(huì)話伙伴剛好在機(jī)器人1的前面，并進(jìn)行到步驟SP23并返回到步驟SP21，以重復(fù)上述過(guò)程，此時(shí)繼續(xù)與會(huì)話伙伴會(huì)話。
當(dāng)在步驟26中的到否定結(jié)果時(shí)，相反，意味著通過(guò)麥克風(fēng)11收集的語(yǔ)音內(nèi)容與預(yù)測(cè)的響應(yīng)內(nèi)容不同。在該情況下，該控制單元2確定沒(méi)有識(shí)別會(huì)話伙伴的存在性，并進(jìn)行到步驟SP28。
在步驟SP28，該控制單元2檢查在步驟SP21復(fù)位的計(jì)數(shù)器的數(shù)值。當(dāng)該值小于N(N是某個(gè)整數(shù))，該控制單元2進(jìn)行到步驟SP29，并進(jìn)行到步驟SP30，此時(shí)同用戶講相同意圖的內(nèi)容，催促他/她響應(yīng)，計(jì)數(shù)器增加1，然后返回到步驟SP22重復(fù)上述過(guò)程。
當(dāng)控制單元2在步驟SP28確定計(jì)數(shù)器的數(shù)值是N倍或較大，該控制單元2進(jìn)行到步驟SP31要求用戶觸摸該接觸式傳感器13并啟動(dòng)計(jì)時(shí)器計(jì)數(shù)，然后進(jìn)行到步驟SP32。
在步驟SP32，該控制單元2確定在開始同用戶講話之后，是否已經(jīng)在規(guī)定期間內(nèi)(例如，在5秒內(nèi))觸摸該接觸式傳感器13。當(dāng)?shù)玫娇隙ńY(jié)果時(shí)，意味著會(huì)話伙伴正好在機(jī)器人1的前面。該控制單元進(jìn)行到步驟SP23，返回到步驟SP21繼續(xù)與會(huì)話伙伴會(huì)話，并重復(fù)上述過(guò)程。
當(dāng)在步驟SP23得到否定結(jié)果時(shí)，意味著在規(guī)定期間內(nèi)沒(méi)有確認(rèn)會(huì)話伙伴的存在性。在該情況下，控制單元2進(jìn)行到步驟SP33產(chǎn)生結(jié)束該會(huì)話的語(yǔ)音，并進(jìn)行到步驟SP34終止會(huì)話伙伴確認(rèn)程序RT1。
如上所述，該機(jī)器人1能確認(rèn)會(huì)話伙伴的存在性，而且在與用戶會(huì)話期間能執(zhí)行跟蹤。因此，如果用戶的會(huì)話內(nèi)容與預(yù)測(cè)的響應(yīng)內(nèi)容不相同時(shí)，該機(jī)器人1催促用戶響應(yīng)機(jī)器人1并繼續(xù)會(huì)話，因此繼續(xù)與用戶的會(huì)話。
例如，當(dāng)機(jī)器人1接收用戶響應(yīng)“嗯...”以響應(yīng)機(jī)器人1的問(wèn)題“YUKIKO最喜歡什么？”，該機(jī)器人1產(chǎn)生語(yǔ)音“告訴我YUKIKO最喜歡的東西”。如果機(jī)器人1從用戶接收到“什么？”，它產(chǎn)生語(yǔ)音“請(qǐng)回答它是....”，以接收用戶響應(yīng)諸如“蘋果”。
即使機(jī)器人1在與用戶會(huì)話期間不能完成跟蹤，但用戶對(duì)機(jī)器人1的問(wèn)題的響應(yīng)適合該問(wèn)題時(shí)，該機(jī)器人1也可以確定作為會(huì)話伙伴的用戶在機(jī)器人1的前面，并繼續(xù)與用戶會(huì)話。
例如，在機(jī)器人1產(chǎn)生語(yǔ)音“YUKIKO最喜歡的食物是什么？”后，盡管它不能跟蹤用戶的存在性，但它能從用戶接收預(yù)期的響應(yīng)諸如“蘋果”時(shí)，該機(jī)器人1確定用戶在機(jī)器人1的前面，并繼續(xù)該會(huì)話。
而且，在與用戶會(huì)話期間機(jī)器人1不能執(zhí)行跟蹤，并且不能接收預(yù)期的響應(yīng)或不能識(shí)別聲音的情況下，該機(jī)器人重復(fù)詢問(wèn)語(yǔ)音規(guī)定次數(shù)。當(dāng)機(jī)器人1不能接收預(yù)期響應(yīng)時(shí)，它確定會(huì)話伙伴已經(jīng)離開并能完成不自然的會(huì)話。
例如，在機(jī)器人1產(chǎn)生語(yǔ)音“YUKIKO最喜歡的食物是什么？”后，機(jī)器人1在規(guī)定期間內(nèi)從用戶沒(méi)有接收到任何響應(yīng)的情況下，而且在產(chǎn)生具有相同內(nèi)容的語(yǔ)音“告訴我YUKIKO最喜歡的食物是什么”后機(jī)器人1在規(guī)定期間內(nèi)從用戶沒(méi)有接收到任何響應(yīng)的情況下，該機(jī)器人1通過(guò)例如自言自語(yǔ)產(chǎn)生語(yǔ)音“嗯...他已經(jīng)離開了？”來(lái)完成不自然的會(huì)話，結(jié)束該會(huì)話。
(4)本實(shí)施例的工作及作用在上述配置中，基于各種識(shí)別過(guò)程的識(shí)別結(jié)果，該機(jī)器人1執(zhí)行與用戶具有唯一會(huì)話的會(huì)話控制功能，而且執(zhí)行跟蹤功能來(lái)跟蹤是會(huì)話伙伴的用戶的存在性。
在該情況下，盡管機(jī)器人1能在與用戶會(huì)話期間跟蹤用戶的存在性，當(dāng)繼續(xù)會(huì)話時(shí)它確定它能證實(shí)會(huì)話伙伴的存在性并催促用戶響應(yīng)機(jī)器人1，因此繼續(xù)與用戶的自然會(huì)話，像人類那樣做。
當(dāng)由于黑暗的環(huán)境，機(jī)器人1不能跟蹤作為會(huì)話伙伴的用戶的存在性時(shí)，只有當(dāng)用戶的會(huì)話內(nèi)容與機(jī)器人1所預(yù)期的響應(yīng)內(nèi)容相同時(shí)，該機(jī)器人1確定會(huì)話伙伴在機(jī)器人1的前面并繼續(xù)與用戶會(huì)話，因此有可能有效的防止機(jī)器人1錯(cuò)誤確定用戶不存在并停止會(huì)話，而毫不在意用戶是否在機(jī)器人1的前面。
而且，在與用戶會(huì)話期間機(jī)器人1不能執(zhí)行跟蹤并且不能接收機(jī)器人1預(yù)測(cè)的響應(yīng)內(nèi)容的情況下，該機(jī)器人1在規(guī)定次數(shù)內(nèi)重復(fù)催促用戶響應(yīng)相同會(huì)話內(nèi)容。當(dāng)機(jī)器人1不能接收預(yù)期響應(yīng)內(nèi)容時(shí)，它確定用戶已經(jīng)離開，并停止與用戶會(huì)話。這防止繼續(xù)像自言自語(yǔ)這樣不自然的會(huì)話。另外，可以預(yù)先避免響應(yīng)諸如電視或無(wú)線電等噪音。
根據(jù)上述配置，基于各種識(shí)別過(guò)程的識(shí)別結(jié)果，機(jī)器人1執(zhí)行會(huì)話控制功能使得會(huì)話的主題對(duì)用戶專用，而且執(zhí)行跟蹤功能來(lái)跟蹤是會(huì)話伙伴的用戶的存在性，因此全面證實(shí)會(huì)話伙伴的存在性而不受當(dāng)前環(huán)境的影響。因而，機(jī)器人1能像人一樣自然的進(jìn)行會(huì)話，并可大大的改善娛樂(lè)特性。
(5)其他實(shí)施例上述實(shí)施例已經(jīng)描述了本發(fā)明應(yīng)用于娛樂(lè)機(jī)器人構(gòu)造的情況，如圖1至3所示。然而，本發(fā)明不限于此，并且能廣泛的應(yīng)用于具有其他結(jié)構(gòu)的娛樂(lè)機(jī)器人，以及除這些以外的機(jī)器人，除機(jī)器人以外的各種設(shè)備，以及其他能控制與用戶會(huì)話的各種會(huì)話控制裝置中。另外，本發(fā)明能廣泛的用于各種軟件，諸如用于TV游戲的軟件。
而且，上述實(shí)施例已經(jīng)參考圖4描述了在每次獲得這些項(xiàng)目的項(xiàng)目值時(shí)確定項(xiàng)目的印象等級(jí)，并且以后不再更新。本發(fā)明不限于此，并且可以更新印象等級(jí)。通過(guò)這樣，主題的出現(xiàn)頻率可以改變，并可以產(chǎn)生取決情形的會(huì)話，這可以重大的改善機(jī)器人1的娛樂(lè)特性。
而且，上述實(shí)施例已經(jīng)參考圖4描述了在項(xiàng)目的項(xiàng)目值獲得前后，基于存儲(chǔ)在內(nèi)部狀態(tài)管理單元34中的“影響”的參數(shù)值之間的差別計(jì)算每個(gè)項(xiàng)目的印象等級(jí)的情況。然而，本發(fā)明不限于此，并且根據(jù)存儲(chǔ)在內(nèi)部狀態(tài)管理單元34中的其他本能要素或感情要素的參數(shù)值可計(jì)算該等級(jí)，或通過(guò)其他技術(shù)計(jì)算。
而且，根據(jù)上述實(shí)施例，在語(yǔ)音通信系統(tǒng)中具有與會(huì)話伙伴通信的功能，該語(yǔ)音識(shí)別功能單元32被用作語(yǔ)音識(shí)別裝置以識(shí)別會(huì)話伙伴的語(yǔ)音，該視覺(jué)識(shí)別功能單元31用作圖像識(shí)別裝置以識(shí)別會(huì)話伙伴的臉部，并且接觸識(shí)別功能單元33用作接觸識(shí)別裝置以識(shí)別來(lái)自會(huì)話伙伴的接觸。然而，本發(fā)明不限于此，并且可以廣泛的應(yīng)用具有其他各種結(jié)構(gòu)的各種識(shí)別裝置，使得該會(huì)話伙伴的聲音，臉部和接觸可被識(shí)別。
而且，上述實(shí)施例已經(jīng)描述了狀態(tài)-依賴動(dòng)作等級(jí)38的會(huì)話控制單元38A在控制單元2控制下被用作會(huì)話控制裝置，根據(jù)語(yǔ)音識(shí)別功能單元(語(yǔ)音識(shí)別裝置)32的識(shí)別結(jié)果，來(lái)控制與會(huì)話伙伴的會(huì)話的情況。然而，本發(fā)明不限于此，并且可以應(yīng)用其他各種結(jié)構(gòu)，根據(jù)通過(guò)識(shí)別會(huì)話伙伴語(yǔ)音獲得的語(yǔ)音識(shí)別結(jié)果來(lái)控制與會(huì)話伙伴的會(huì)話。
而且，上述實(shí)施例已經(jīng)描述了在控制單元狀態(tài)-依賴動(dòng)作等級(jí)38的跟蹤控制單元38B在控制單元2的控制下用作跟蹤控制裝置，基于視覺(jué)識(shí)別功能單元(圖像識(shí)別裝置)31的識(shí)別結(jié)果和語(yǔ)音識(shí)別功能單元(語(yǔ)音識(shí)別裝置)32的識(shí)別結(jié)果的一個(gè)或兩個(gè)來(lái)跟蹤會(huì)話用戶的存在性。然而，本發(fā)明不限于此，并且可以應(yīng)用其他各種結(jié)構(gòu)，根據(jù)一個(gè)或兩個(gè)通過(guò)識(shí)別會(huì)話伙伴的臉獲得的圖像識(shí)別結(jié)果和通過(guò)識(shí)別會(huì)話伙伴的語(yǔ)音獲得的語(yǔ)音識(shí)別結(jié)果，來(lái)跟蹤會(huì)話伙伴。
在該情況下，該跟蹤控制單元(跟蹤控制裝置)38B能基于語(yǔ)音識(shí)別功能單元(語(yǔ)音識(shí)別裝置)32的識(shí)別結(jié)果，視覺(jué)識(shí)別功能單元(圖像識(shí)別裝置)31的識(shí)別結(jié)果，和接觸識(shí)別功能單元(接觸識(shí)別功能單元)33的識(shí)別結(jié)果的預(yù)計(jì)組合來(lái)跟蹤會(huì)話伙伴的存在性。
而且，上述實(shí)施例已經(jīng)描述了甚至當(dāng)跟蹤控制單元(跟蹤控制裝置)38B不能成功跟蹤時(shí)，當(dāng)作為語(yǔ)音識(shí)別功能單元(語(yǔ)音識(shí)別裝置)32的識(shí)別結(jié)果的所得到的會(huì)話伙伴的語(yǔ)音內(nèi)容與預(yù)期的響應(yīng)內(nèi)容相同時(shí)，該會(huì)話控制單元(會(huì)話控制裝置)38A繼續(xù)會(huì)話的情況。然而，本發(fā)明不限于此，可以采用各種控制方法，例如即使在非常黑暗的環(huán)境中，此時(shí)機(jī)器人1確定會(huì)話伙伴不在機(jī)器人1的前面而毫不在意該伙伴是否就在機(jī)器人1的前面時(shí)，該方法可有效的防止該會(huì)話被停止。
在該情況下，甚至當(dāng)跟蹤控制單元(跟蹤控制裝置)38B不能執(zhí)行跟蹤時(shí)，該會(huì)話控制單元(會(huì)話控制裝置)38A繼續(xù)會(huì)話，在該情況下，該會(huì)話伙伴的接觸被確認(rèn)為接觸識(shí)別功能單元(接觸識(shí)別裝置)33的識(shí)別結(jié)果，因此獲得與上面描述的相同效果。
而且，上述實(shí)施例已經(jīng)描述了甚至當(dāng)跟蹤控制單元(跟蹤控制裝置)38B不能執(zhí)行跟蹤時(shí)，并且會(huì)話伙伴的語(yǔ)音內(nèi)容與預(yù)期的響應(yīng)內(nèi)容不相同時(shí)，并且在催促會(huì)話伙伴進(jìn)行響應(yīng)的語(yǔ)音進(jìn)行規(guī)定次數(shù)后從會(huì)話伙伴中不能獲得該響應(yīng)內(nèi)容時(shí)，該會(huì)話控制單元(會(huì)話控制裝置)38A完成該會(huì)話的情況。然而，本發(fā)明不限于此，可以采用各種方法，例如即使機(jī)器人重復(fù)催促會(huì)話伙伴進(jìn)行響應(yīng)也不能獲得預(yù)期響應(yīng)的情況下，此時(shí)會(huì)話伙伴已經(jīng)離開時(shí)，該方法可以防止繼續(xù)像自言自語(yǔ)的非自然會(huì)話。
在該情況下，在跟蹤控制單元(跟蹤控制裝置)38B不能執(zhí)行跟蹤，并且會(huì)話伙伴的語(yǔ)音內(nèi)容與預(yù)期內(nèi)容不相同，并且如果在催促會(huì)話伙伴進(jìn)行響應(yīng)的語(yǔ)音進(jìn)行規(guī)定次數(shù)后從會(huì)話伙伴中不能獲得該響應(yīng)內(nèi)容的情況下，該會(huì)話控制單元(會(huì)話控制裝置)38A剛剛在會(huì)話結(jié)束之前要求會(huì)話伙伴觸摸該接觸識(shí)別功能單元(接觸識(shí)別裝置)33，并且在接觸識(shí)別功能單元(接觸識(shí)別裝置)33識(shí)別該會(huì)話伙伴的接觸作為識(shí)別結(jié)果的情況下，該會(huì)話控制單元(會(huì)話控制裝置)38A繼續(xù)該會(huì)話，因此也導(dǎo)致獲得與上述相同的效果。
而且，上述實(shí)施例已經(jīng)描述了當(dāng)會(huì)話伙伴的語(yǔ)音在規(guī)定時(shí)間內(nèi)容不能獲得時(shí)，會(huì)話控制單元(會(huì)話控制裝置)38A設(shè)置超時(shí)以及催促會(huì)話伙伴進(jìn)行響應(yīng)的情況。如所希望的那樣，可以將超時(shí)設(shè)置為希望的時(shí)間，作為等候預(yù)期響應(yīng)內(nèi)容的時(shí)間。
一種語(yǔ)音通信系統(tǒng)和方法，以及機(jī)器人裝置可用于娛樂(lè)機(jī)器人、照顧機(jī)器人，等等。
盡管已經(jīng)結(jié)合本發(fā)明的優(yōu)選實(shí)施例進(jìn)行了描述，很顯然本領(lǐng)域技術(shù)人員可以進(jìn)行變化和修改，因而，覆蓋附加權(quán)利要求的所有變化和修改將落入本發(fā)明的真實(shí)精神和范圍內(nèi)。
權(quán)利要求
1.一種具有與會(huì)話伙伴會(huì)話功能的語(yǔ)音通信系統(tǒng)，包括用于識(shí)別會(huì)話伙伴的語(yǔ)音的語(yǔ)音識(shí)別裝置；根據(jù)語(yǔ)音識(shí)別裝置的識(shí)別結(jié)果控制與會(huì)話伙伴會(huì)話的會(huì)話控制裝置；用于識(shí)別會(huì)話伙伴的臉部的圖像識(shí)別裝置；根據(jù)圖像識(shí)別裝置的識(shí)別結(jié)果和語(yǔ)音識(shí)別裝置的識(shí)別結(jié)果中的一個(gè)或兩個(gè)來(lái)跟蹤會(huì)話伙伴的存在的跟蹤控制裝置；其中，所述會(huì)話控制裝置根據(jù)跟蹤控制裝置的跟蹤繼續(xù)該會(huì)話。
2.根據(jù)權(quán)利要求1的語(yǔ)音通信系統(tǒng)，其中當(dāng)作為語(yǔ)音識(shí)別裝置的識(shí)別結(jié)果獲得的會(huì)話伙伴的語(yǔ)音內(nèi)容與預(yù)測(cè)的響應(yīng)內(nèi)容相同時(shí)，即使跟蹤控制裝置跟蹤失敗，該會(huì)話控制裝置也繼續(xù)該會(huì)話。
3.根據(jù)權(quán)利要求2的語(yǔ)音通信系統(tǒng)，其中在跟蹤控制裝置跟蹤失敗并且會(huì)話伙伴的語(yǔ)音內(nèi)容與預(yù)測(cè)的響應(yīng)內(nèi)容不相同的情況下，即使重復(fù)通知規(guī)定次數(shù)來(lái)催促會(huì)話伙伴產(chǎn)生響應(yīng)內(nèi)容，也不能從會(huì)話伙伴獲得響應(yīng)內(nèi)容時(shí)，該會(huì)話控制裝置完成該會(huì)話。
4.根據(jù)權(quán)利要求3的語(yǔ)音通信系統(tǒng)，其中當(dāng)在規(guī)定期間內(nèi)沒(méi)有獲得會(huì)話伙伴的語(yǔ)音時(shí)，該會(huì)話控制裝置進(jìn)行通知催促會(huì)話伙伴產(chǎn)生響應(yīng)內(nèi)容。
5.根據(jù)權(quán)要求1的語(yǔ)音通信系統(tǒng)，還包括用于識(shí)別會(huì)話伙伴的觸摸的接觸識(shí)別裝置，其中，根據(jù)語(yǔ)音識(shí)別裝置的識(shí)別結(jié)果、圖像識(shí)別裝置的識(shí)別結(jié)果和接觸識(shí)別裝置的識(shí)別結(jié)果的特定組合，該所述跟蹤控制裝置跟蹤會(huì)話伙伴的存在。
6.根據(jù)權(quán)利要求5的語(yǔ)音通信系統(tǒng)，其中當(dāng)接觸識(shí)別裝置的識(shí)別結(jié)果表示會(huì)話伙伴的觸摸存在時(shí)，即使跟蹤控制裝置跟蹤失敗，該會(huì)話控制裝置繼續(xù)該會(huì)話。
7.根據(jù)權(quán)利要求5的語(yǔ)音通信系統(tǒng)，其中在跟蹤控制裝置跟蹤失敗并且會(huì)話伙伴的語(yǔ)音內(nèi)容與預(yù)測(cè)的響應(yīng)內(nèi)容不同時(shí)，在通知規(guī)定次數(shù)來(lái)催促會(huì)話伙伴做出響應(yīng)內(nèi)容之后仍不能獲得響應(yīng)內(nèi)容的情況下，就在會(huì)話受到控制以便結(jié)束之前、發(fā)出通知要求會(huì)話伙伴觸摸該接觸識(shí)別裝置之后，如果作為所述接觸識(shí)別裝置的識(shí)別結(jié)果會(huì)話伙伴的觸摸被證實(shí)，則所述會(huì)話控制裝置繼續(xù)該會(huì)話。
8.一種具有與會(huì)話伙伴會(huì)話功能的語(yǔ)音通信方法，包括第一步驟，根據(jù)通過(guò)識(shí)別會(huì)話伙伴的語(yǔ)音獲得的話音識(shí)別結(jié)果和通過(guò)識(shí)別會(huì)話伙伴的臉部獲得的圖像識(shí)別結(jié)果中的一個(gè)或兩個(gè)來(lái)跟蹤會(huì)話伙伴的存在；第二步驟，根據(jù)獲得的語(yǔ)音識(shí)別結(jié)果繼續(xù)與會(huì)話伙伴會(huì)話，同時(shí)保持跟蹤。
9.根據(jù)權(quán)利要求8的語(yǔ)音通方法，其中在第二步驟中，當(dāng)作為語(yǔ)音識(shí)別結(jié)果獲得的會(huì)話伙伴的語(yǔ)音內(nèi)容與預(yù)測(cè)的響應(yīng)內(nèi)容相同時(shí)，即使在第一步驟中不執(zhí)行跟蹤，該會(huì)話也繼續(xù)。
10.根據(jù)權(quán)利要求9的語(yǔ)音通方法，其中在第二步驟中，在第一步驟中不執(zhí)行跟蹤、并且會(huì)話伙伴的語(yǔ)音內(nèi)容與預(yù)測(cè)的響應(yīng)內(nèi)容不相同的情況下，即使通知規(guī)定次數(shù)來(lái)催促會(huì)話伙伴做出響應(yīng)內(nèi)容，還不能從會(huì)話伙伴獲得響應(yīng)內(nèi)容時(shí)，完成該會(huì)話。
11.根據(jù)權(quán)利要求10的語(yǔ)音通方法，其中在第二步驟中，當(dāng)在規(guī)定期間內(nèi)沒(méi)有獲得會(huì)話伙伴的語(yǔ)音時(shí)，進(jìn)行通知以催促會(huì)話伙伴產(chǎn)生響應(yīng)內(nèi)容。
12.根據(jù)權(quán)利要求8的語(yǔ)音通方法，其中在第一步驟中，根據(jù)語(yǔ)音識(shí)別結(jié)果、圖像識(shí)別結(jié)果和通過(guò)識(shí)別會(huì)話伙伴的接觸獲得的接觸識(shí)別結(jié)果的特定組合，跟蹤會(huì)話伙伴的存在。
13.根據(jù)權(quán)利要求12的語(yǔ)音通方法，其中在第二步驟中，當(dāng)會(huì)話伙伴的接觸被證實(shí)為接觸識(shí)別結(jié)果時(shí)，即使在第一步驟中不能執(zhí)行跟蹤，也繼續(xù)該會(huì)話。
14.根據(jù)權(quán)利要求12的語(yǔ)音通方法，其中在第二步驟中，在第一步驟中不能執(zhí)行跟蹤并且會(huì)話伙伴的語(yǔ)音內(nèi)容與預(yù)測(cè)的響應(yīng)內(nèi)容不相同的情況下，甚至在通知規(guī)定次數(shù)以催促會(huì)話伙伴產(chǎn)生響應(yīng)內(nèi)容后也不能從會(huì)話伙伴中獲得響應(yīng)內(nèi)容，則在會(huì)話受到控制以便完成之前，在要求會(huì)話伙伴觸摸以獲得接觸識(shí)別結(jié)果的通知產(chǎn)生之后，當(dāng)作為接觸識(shí)別結(jié)果會(huì)話伙伴的接觸被征實(shí)時(shí)，繼續(xù)該會(huì)話。
15.一種具有語(yǔ)音通信系統(tǒng)的機(jī)器人裝置，該語(yǔ)音通信系統(tǒng)具有與會(huì)話伙伴會(huì)話的功能，該機(jī)器人裝置包括用于識(shí)別會(huì)話伙伴的語(yǔ)音的語(yǔ)音識(shí)別裝置；根據(jù)語(yǔ)音識(shí)別裝置的識(shí)別結(jié)果控制與會(huì)話伙伴會(huì)話的會(huì)話控制裝置；用于識(shí)別會(huì)話伙伴的臉部的圖像識(shí)別裝置；根據(jù)圖像識(shí)別裝置的識(shí)別結(jié)果和語(yǔ)音識(shí)別裝置的識(shí)別結(jié)果中的一個(gè)或兩個(gè)來(lái)跟蹤會(huì)話伙伴的存在的跟蹤控制裝置；其中，所述會(huì)話控制裝置根據(jù)跟蹤控制裝置的跟蹤繼續(xù)該會(huì)話。
全文摘要
本發(fā)明實(shí)現(xiàn)語(yǔ)音通信系統(tǒng)和方法，以及能夠大大改善娛樂(lè)特性的機(jī)器人裝置。一種具有與會(huì)話伙伴進(jìn)行會(huì)話功能的語(yǔ)音通信系統(tǒng)具有用于識(shí)別會(huì)話伙伴語(yǔ)音的語(yǔ)音識(shí)別裝置，根據(jù)語(yǔ)音識(shí)別裝置的識(shí)別結(jié)果控制與會(huì)話伙伴會(huì)話的會(huì)話控制裝置，用于識(shí)別會(huì)話伙伴的臉部的圖像識(shí)別裝置，和基于圖像識(shí)別裝置的識(shí)別結(jié)果和語(yǔ)音識(shí)別裝置的識(shí)別結(jié)果中的一個(gè)或兩個(gè)來(lái)跟蹤會(huì)話伙伴的存在的跟蹤控制裝置。該會(huì)話控制裝置依靠跟蹤控制裝置的跟蹤控制會(huì)話繼續(xù)。
文檔編號(hào)G10L15/24GK1591569SQ200410085508
公開日2005年3月9日 申請(qǐng)日期2004年7月2日 優(yōu)先權(quán)日2003年7月3日
發(fā)明者青山一美, 下村秀樹 申請(qǐng)人:索尼株式會(huì)社