專利名稱：裝備自然對(duì)話接口的類人機(jī)器人、用于控制機(jī)器人的方法和對(duì)應(yīng)程序的制作方法
裝備自然對(duì)話接ロ的類人機(jī)器人、用于控制機(jī)器人的方法和對(duì)應(yīng)程序本發(fā)明屬于類人機(jī)器人領(lǐng)域。更確切地說(shuō)，本發(fā)明適用于編程和使用與這種類型機(jī)器人對(duì)話的接ロ的方法，以允許所述機(jī)器人在用戶命令下執(zhí)行動(dòng)作，由所述機(jī)器人提供適當(dāng)?shù)拇鸢?，以更一般方式建立所述機(jī)器人及其對(duì)話人或?qū)υ捳咧g的“類人關(guān)系”。只要機(jī)器人擁有人類的外觀和功能的某些屬性:頭、軀干、兩個(gè)手臂，任選地兩只手、兩條腿、兩只腳等，就可以將其描述為類人的。除了外觀之外，類人機(jī)器人能夠完成的功能將取決于其進(jìn)行運(yùn)動(dòng)、講話和“推理”的能力。類人機(jī)器人能夠走路、利用四肢或頭部做出姿態(tài)。它們能夠執(zhí)行的姿態(tài)復(fù)雜性持續(xù)増大。某些機(jī)器人能夠響應(yīng)于來(lái)自環(huán)境的激勵(lì)而講話。語(yǔ)音識(shí)別和合成工具的發(fā)展還使得能夠開發(fā)用于某些機(jī)器人和人之間對(duì)話的功能，這顯著豐富了交互的可能性。尤其由US7711569以及在序號(hào)US2009/287678下公開的申請(qǐng)公開了使用語(yǔ)音的這種人-機(jī)器人接□。在這些現(xiàn)有技術(shù)文獻(xiàn)中，通過(guò)語(yǔ)義和/或語(yǔ)境輔助減輕了語(yǔ)音識(shí)別中固有的缺陷，語(yǔ)境輔助需要訪問(wèn)數(shù)據(jù)庫(kù)，學(xué)習(xí)和使用大量計(jì)算資源以能夠分辨所識(shí)別的不確定——低識(shí)別置信區(qū)間、假陽(yáng)性、假陰性等。在多功能類人機(jī)器人在其計(jì)算資源方面必須要經(jīng)濟(jì)以管理其諸如運(yùn)動(dòng)的關(guān)鍵過(guò)程的情況下，使用這些手段是不適當(dāng)?shù)?。將有利的是能夠具有一種類人機(jī)器人，其能夠利用機(jī)器人的板上嵌入的計(jì)算資源，以簡(jiǎn)單而有效的方式解決由傳感器和軟件所識(shí)別出的不確定，但是目前還沒(méi)有完善的解決上述問(wèn)題的方式。本發(fā)明通過(guò)提供ー種用于和類人機(jī)器人對(duì)話的接ロ解決了這個(gè)問(wèn)題，該接ロ使用了自然模式的回答確認(rèn)。為此目的，本發(fā)明公開了ー種類人機(jī)器人，包括至少兩個(gè)通道和控制模塊，所述通道用于根據(jù)不同的模態(tài)與至少ー個(gè)對(duì)話人自然傳送消息，所述至少兩個(gè)通道均是從包括接收通道、發(fā)送通道的ー組通道選擇的，控制模塊用于所述通道的輸入/輸出，其中所述控制模塊被配置成基于執(zhí)行從ー組功能選擇的至少ー個(gè)功能改善對(duì)所述機(jī)器人接收的消息的理解，所述ー組功能包括組合第一通道和第二通道上接收/發(fā)送的消息的功能以及發(fā)送基于在通道上接收的第一消息產(chǎn)生的第二消息的功能。有利地，所述通信通道是從ー組用于發(fā)送和/或接收聽覺(jué)、視覺(jué)、觸覺(jué)消息、關(guān)于所述機(jī)器人至少ー個(gè)部分位移和/或位置的消息以及數(shù)字消息的通信通道選擇的。有利地，第一通信通道是聲音發(fā)送通道，第二通信通道是由所述至少一個(gè)對(duì)話人用于從機(jī)器人的至少一部分接收位移和/或位置的通道，所述位移和/或位置代表所述對(duì)話人向機(jī)器人傳送的輸入，所述輸入的規(guī)格由所述機(jī)器人通過(guò)在所述第一通道上發(fā)送的消息向?qū)υ捜硕x。有利地，本發(fā)明的機(jī)器人還包括第三觸覺(jué)通信通道，對(duì)話人通過(guò)其驗(yàn)證進(jìn)行第二通道的輸入。有利地，第一通信通道是用于接收聲音消息的通道，第二通信通道是用于發(fā)送聲音消息的通道，并且所述控制模塊能夠評(píng)估所述機(jī)器人對(duì)在所述第一通道上接收的第一消息理解的置信水平，并在所述第二通道上產(chǎn)生其內(nèi)容取決于所述置信水平的至少一個(gè)第二消息。有利地，所述第一通道包括過(guò)濾器，用于對(duì)表達(dá)列表接收的消息進(jìn)行語(yǔ)音識(shí)別，預(yù)期的識(shí)別率與其每個(gè)相關(guān)聯(lián)，并且所述第二消息是通過(guò)從一組請(qǐng)求啟發(fā)而選擇的，所述一組請(qǐng)求包括用于重復(fù)在所述第一通道上的所述第一消息的請(qǐng)求，由對(duì)話人在過(guò)濾器表達(dá)子集的第一通道上發(fā)送的第三消息進(jìn)行確認(rèn)的請(qǐng)求，以及由對(duì)話人在至少第三通道上發(fā)送至少另一個(gè)消息的請(qǐng)求。有利地，本發(fā)明的機(jī)器人被配置成在所述第二通道上發(fā)送在所述第一通道上開始聆聽的信號(hào)，以便確保在半雙工模式中對(duì)第一和第二通道上的消息進(jìn)行排序。有利地，所述選擇啟發(fā)是實(shí)際識(shí)別率相對(duì)于基于預(yù)期識(shí)別率確定的閾值的位置的函數(shù)。有利地，所述第三通道是用于觸覺(jué)接收的通道或用于從機(jī)器人一部分接收位移的通道。有利地，本發(fā)明的機(jī)器人還包括用于與電子郵件系統(tǒng)連接的模塊，所述連接模塊允許所述電子系統(tǒng)上的賬戶的持有者使用所述機(jī)器人作為代理，以在所述第二通道上接收/閱讀電子消息，在第一通道上書寫/發(fā)送并利用所述第一和第二通道管理所述賬戶。有利地，所述第三通道是用于對(duì)與所述第一通道的過(guò)濾器表達(dá)列表對(duì)應(yīng)的對(duì)象圖像進(jìn)行視覺(jué)接收，所述圖像與先前記錄的具有所述表達(dá)的所述對(duì)象的圖像數(shù)據(jù)庫(kù)比較，所述數(shù)據(jù)庫(kù)可以由所述控制模塊訪問(wèn)，用于所述通信通道的輸入/輸出。有利地，第一通信通道是用于接收視覺(jué)消息的通道，第二通信通道是用于發(fā)送聲音消息的通道，并且所述控制模塊能夠評(píng)估所述機(jī)器人對(duì)在所述第一通道上接收的第一消息理解的置信水平，并在所述第二通道上產(chǎn)生其內(nèi)容取決于所述置信水平的至少一個(gè)第二消息。有利地，所述第一通道包括過(guò)濾器，用于識(shí)別表達(dá)列表接收的消息的圖像，預(yù)期的識(shí)別率與其每個(gè)相關(guān)聯(lián)，并且所述第二消息是通過(guò)從一組請(qǐng)求啟發(fā)而選擇的，所述一組請(qǐng)求包括用于重復(fù)在所述第一通道上的所述第一消息的請(qǐng)求，由對(duì)話人在第三通道上發(fā)送的第三消息進(jìn)行確認(rèn)的請(qǐng)求，所述第三通道用于接收過(guò)濾器表達(dá)子集的聲音消息，以及由對(duì)話人在至少第四通道上發(fā)送至少另一個(gè)消息的請(qǐng)求。有利地，所述通道中的至少一個(gè)是混合通道，其接收由用于輸入和輸出的所述控制模塊合并的兩個(gè)通道的輸出作為輸入。本發(fā)明還公開了一種控制類人機(jī)器人與至少一個(gè)對(duì)話人通信的方法，包括至少兩個(gè)步驟:由通信通道使用不同模態(tài)發(fā)送消息，所述兩個(gè)步驟均是從包括接收通道、發(fā)送通道的一組通道選擇的，以及控制所述通道輸入/輸出的步驟，其中所述控制步驟被配置成基于執(zhí)行從一組功能選擇的至少一個(gè)功能改善對(duì)所述機(jī)器人接收的消息的理解，所述一組功能包括組合第一通道和第二通道上接收/發(fā)送的消息的功能以及發(fā)送基于在通道上接收的第一消息產(chǎn)生的第二消息的功能。本發(fā)明還公開了一種包括程序代碼指令的計(jì)算機(jī)程序，在計(jì)算機(jī)上執(zhí)行所述程序時(shí)允許執(zhí)行本發(fā)明的方法，所述程序被配置成允許類人機(jī)器人根據(jù)不同的模態(tài)與至少一個(gè)對(duì)話人自然傳送消息，所述類人機(jī)器人包括至少兩個(gè)通道和子例程，所述至少兩個(gè)通道均是從包括接收通道、發(fā)送通道的ー組通道選擇的，所述子例程用于所述通道的輸入/輸出，其中所述控制子例程被配置成基于執(zhí)行從ー組功能選擇的至少ー個(gè)功能改善對(duì)所述機(jī)器人接收的消息的理解，所述ー組功能包括組合第一通道和第二通道上接收/發(fā)送的消息的功能以及發(fā)送基于在通道上接收的第一消息產(chǎn)生的第二消息的功能。本發(fā)明還公開了ー種編輯和控制至少ー個(gè)類人機(jī)器人和至少ー個(gè)對(duì)話人之間通信接ロ的方法，所述至少一個(gè)類人機(jī)器人包括至少兩個(gè)通道和控制模塊，所述通道用于根據(jù)不同的模態(tài)與至少ー個(gè)對(duì)話人自然傳送消息，所述至少兩個(gè)通道均是從包括接收、發(fā)送通道的ー組通道選擇的，控制模塊用于所述通道的輸入/輸出，其中所述控制模塊被配置成基于執(zhí)行從ー組功能選擇的至少ー個(gè)功能改善對(duì)所述機(jī)器人接收的消息的理解，所述ー組功能包括組合第一通道和第二通道上接收/發(fā)送的消息的功能以及發(fā)送基于在通道上接收的第一消息產(chǎn)生的第二消息的功能，還包括編程所述所選功能的步驟。有利地，編程所述所選功能的所述步驟包括如下至少ー個(gè)子步驟:利用聲音發(fā)送通道定義第一通信通道，利用用于接收所述至少一個(gè)對(duì)話人在機(jī)器人肢體上施加的至少ー個(gè)位移的通道定義第二通信通道，定義所述至少一個(gè)位移和所述對(duì)話人向機(jī)器人傳送的輸入之間對(duì)應(yīng)關(guān)系的子步驟，以及通過(guò)產(chǎn)生至少ー個(gè)要由機(jī)器人在所述第一通道上發(fā)送到對(duì)話人的消息定義所述輸入規(guī)格的子步驟。有利地，本發(fā)明的編輯和控制方法還包括定義第三觸覺(jué)通信通道的子步驟，由此所述對(duì)話人驗(yàn)證在所述第二通道上執(zhí)行的輸入。有利地，本發(fā)明的開發(fā)的方法的步驟包括，通過(guò)至少一個(gè)控制框執(zhí)行其步驟，其中要由所述機(jī)器人執(zhí)行的主動(dòng)作幀鏈接到從在先事件和要編程的動(dòng)作之后的后繼事件的組中選擇的至少ー個(gè)事件，并且其被編程為根據(jù)時(shí)間線預(yù)定義的臨時(shí)約束進(jìn)行。有利地，編程所述所選功能的所述步驟包括如下至少ー個(gè)子步驟:利用用于接收聲音消息的通道定義第一通信通道，利用用于發(fā)送聲音消息的通道定義第二通信通道，定義用于評(píng)估所述機(jī)器人對(duì)在所述第一通道上接收的第一消息理解的置信水平的功能的子步驟，以及定義在所述第二通道上產(chǎn)生其內(nèi)容取決于所述置信水平的至少ー個(gè)第二消息的子步驟。有利地，本發(fā)明的開發(fā)方法還包括，定義用于語(yǔ)音識(shí)別由表達(dá)列表在第一通道上接收的消息的過(guò)濾器的子步驟，其中每個(gè)表達(dá)與期望識(shí)別率相關(guān)聯(lián)，以及通過(guò)從包括重復(fù)第一信道上的第一消息的請(qǐng)求、要由對(duì)話人在過(guò)濾器的表達(dá)的子集的第一通道上發(fā)送的第三消息確認(rèn)的請(qǐng)求、由對(duì)話人在至少ー個(gè)第三信道上發(fā)送至少ー個(gè)其它消息的請(qǐng)求的ー組請(qǐng)求選擇的啟發(fā)而定義第二消息的內(nèi)容的子步驟。有利地，本發(fā)明的開發(fā)方法的步驟包括，通過(guò)至少一個(gè)控制框執(zhí)行其步驟，其中要由所述機(jī)器人執(zhí)行的主動(dòng)作幀鏈接到從在先事件和要編程的動(dòng)作之后的后繼事件的組中選擇的至少ー個(gè)事件，并且其被編程為根據(jù)時(shí)間線預(yù)定義的臨時(shí)約束進(jìn)行，所述控制框是選擇類型的框。本發(fā)明還公開了ー種包括程序代碼指令的計(jì)算機(jī)程序，在計(jì)算機(jī)上執(zhí)行所述程序時(shí)，用于執(zhí)行本發(fā)明的方法，所述程序被配置成允許用戶編程類人機(jī)器人，所述類人機(jī)器人包括至少兩個(gè)通道和子例程，所述通道用于根據(jù)不同的模態(tài)與至少ー個(gè)對(duì)話人自然傳送消息，所述至少兩個(gè)通道均是從包括接收、發(fā)送通道的一組通道選擇的，所述子例程用于所述通道的輸入/輸出，其中所述子例程中用于編程的模塊用于控制要由機(jī)器人執(zhí)行并從一組功能選擇的至少一個(gè)功能，所述一組功能包括組合第一通道和第二通道上接收/發(fā)送的消息的功能以及發(fā)送基于在通道上接收的第一消息產(chǎn)生的第二消息的功能。有利地，本發(fā)明的計(jì)算機(jī)程序還包括用于編程向控制框傳送至少一個(gè)參數(shù)的模塊。有利地，本發(fā)明的計(jì)算機(jī)程序還包括用于以所述程序的接口編程機(jī)器人的視覺(jué)通信通道的輸入的返回的模塊。有利地，本發(fā)明的計(jì)算機(jī)程序還包括用于編程并行進(jìn)行的機(jī)器人行為的模塊。本發(fā)明的接口還提供了提供多模確認(rèn)模式的優(yōu)點(diǎn)，可以針對(duì)進(jìn)行對(duì)話的環(huán)境容易地調(diào)節(jié)該模式，例如，如果環(huán)境噪聲過(guò)高，語(yǔ)音識(shí)別不會(huì)有任何效果。用戶因此能夠被邀請(qǐng)通過(guò)觸摸、手勢(shì)或顯示特定顏色或形狀的數(shù)字符號(hào)來(lái)替換/確認(rèn)模糊的答案。于是，可以允許用戶按照其自己的方式，以直觀方式替換或模仿在他面對(duì)其計(jì)算機(jī)時(shí)或在他使用智能電話或觸摸板時(shí)習(xí)慣的傳統(tǒng)接口。此外，機(jī)器人自身的表達(dá)模式可以是多模的，特別是通過(guò)組合語(yǔ)調(diào)、凝視、姿態(tài)，從而保持其對(duì)話人的注意并向他傳送情緒或關(guān)于要提供的答案的線索。此外，通過(guò)接近人和人之間通信的自然狀態(tài)，本發(fā)明的接口有助于改善識(shí)別系統(tǒng)的結(jié)果，增強(qiáng)在“虛擬現(xiàn)實(shí)”中的用戶體驗(yàn)的質(zhì)量，亦即，與物理上似人的物體進(jìn)行對(duì)話的體驗(yàn)。本發(fā)明還提供了一種人機(jī)工程和多用途環(huán)境，用于開發(fā)這些接口，使得能夠非常容易地在極少時(shí)間內(nèi)創(chuàng)建專門適于使用其設(shè)計(jì)者未想到的機(jī)器人的新交互情形。從接下來(lái)對(duì)示范性實(shí)施例及其附圖的描述，本發(fā)明將得到更好理解，其各種特性和優(yōu)點(diǎn)將顯而易見，在附圖中:-

圖1是本發(fā)明幾個(gè)實(shí)施例中類人機(jī)器人物理架構(gòu)的圖示；-圖2示出了在其幾個(gè)實(shí)施例中對(duì)于實(shí)施本發(fā)明有用的包括傳感器的類人機(jī)器人頭部;-圖3是高層次軟件架構(gòu)圖，這些軟件允許控制本發(fā)明幾個(gè)實(shí)施例中的機(jī)器人的功能；-圖4是用于編輯和編程本發(fā)明幾個(gè)實(shí)施例中的機(jī)器人行為/交互的功能架構(gòu)圖；-圖5是以一般方式應(yīng)用的處理操作的功能流程圖，這些操作用于改善由類人機(jī)器人對(duì)其在本發(fā)明的若干實(shí)施例中接收的響應(yīng)/激勵(lì)給出的解釋；-圖6是針對(duì)本發(fā)明幾個(gè)實(shí)施例中機(jī)器人的行為/交互的程序設(shè)計(jì)邏輯圖；-圖7a，7b和7c示出了時(shí)間圖，示出了本發(fā)明的幾個(gè)實(shí)施例中多模接口交互的邏輯和時(shí)域組合；-圖8a，8b，8c，8d和8e示出了屏幕序列，使得能夠利用二元選擇和選項(xiàng)編程與類人機(jī)器人的對(duì)話，用于改變本發(fā)明實(shí)施例中的交互語(yǔ)言；-圖9a,9b, 9c, 9d和9e示出了屏幕序列，使得能夠利用來(lái)自列表的選擇和選項(xiàng)編程與類人機(jī)器人的對(duì)話，用于改變本發(fā)明實(shí)施例中的交互語(yǔ)言；-圖10a，10b，IOc和IOd示出了屏幕序列，使得能夠在本發(fā)明的實(shí)施例中在選擇列表中的幾個(gè)選項(xiàng)之間進(jìn)行語(yǔ)音識(shí)別測(cè)試比較；-圖1la和IOb示出了屏幕序列，使得能夠替換或補(bǔ)充選擇列表的選項(xiàng)并在本發(fā)明的實(shí)施例中在幾個(gè)選項(xiàng)之間執(zhí)行新的語(yǔ)音識(shí)別測(cè)試比較；-圖12a，12b，12c和12d示出了屏幕序列，使得能夠在本發(fā)明的實(shí)施例中，在與問(wèn)題不同的語(yǔ)言中，在選擇列表中的幾個(gè)選項(xiàng)之間進(jìn)行語(yǔ)音識(shí)別測(cè)試比較；以及-圖13a，13b，13c和13d示出了屏幕序列，使得能夠在本發(fā)明的實(shí)施例中在選擇列表的幾個(gè)選項(xiàng)之間驗(yàn)證/修改語(yǔ)音識(shí)別測(cè)試比較的閾值。圖1示出了本發(fā)明實(shí)施例中的類人機(jī)器人的物理架構(gòu)。尤其在2009年10月15日公開的專利申請(qǐng)W02009/124951中公開了這樣的機(jī)器人。這種平臺(tái)充當(dāng)了導(dǎo)致本發(fā)明的改善的依據(jù)。在后續(xù)描述中，可以由這種通用術(shù)語(yǔ)或由其商標(biāo)NA0 稱呼這種類人機(jī)器人，但這不會(huì)改變?cè)囊话阈?。這種機(jī)器人包括大約二十四個(gè)類型110的電子卡片，用于控制驅(qū)動(dòng)關(guān)節(jié)的傳感器和致動(dòng)器。圖中所示的卡片110是控制左腳的卡片。該架構(gòu)的優(yōu)點(diǎn)之ー是控制關(guān)節(jié)的卡片大部分是可互換的。關(guān)節(jié)通常具有至少兩個(gè)自由度，因此具有兩個(gè)電動(dòng)機(jī)。每個(gè)電動(dòng)機(jī)都是在角度上被驅(qū)動(dòng)的。關(guān)節(jié)還包括幾個(gè)位置傳感器，尤其是MRE (磁性旋轉(zhuǎn)編碼器)。電子控制卡包括現(xiàn)有的微控制器。例如，這可以是來(lái)自Microchip公司的DSPIC 。它是ー種耦合到DSP的16-位MCU。這種MCU具有Ims的循環(huán)周期。機(jī)器人還可以包括其他類型的致動(dòng)器，尤其是其顔色和強(qiáng)度能夠傳送機(jī)器人情緒的LED (發(fā)光二極管)。后者還可以包括其他類型的位置傳感器，尤其是慣性單元、FSR (地壓傳感器)等。頭部160包括機(jī)器人的智能，尤其是執(zhí)行高層次功能的卡片130，允許機(jī)器人完成分配給它的任務(wù)，尤其在本發(fā)明的框架之內(nèi)，其參與游戲。不過(guò)，卡片130可以位于機(jī)器人中的別處，例如在軀干中。不過(guò)，將可以看出，在可以取下頭部時(shí)，這個(gè)位置使得能夠更換這些高層次功能，因此尤其會(huì)完全改變機(jī)器人的智能，因此非常迅速地改變其任務(wù)?；蛘呦喾矗昧愆`個(gè)身體改變ー個(gè)身體(例如利用無(wú)缺陷身體改變有缺陷的身體)，同時(shí)保持相同的人工智能。頭部還可以包括專用卡片，尤其是用于處理語(yǔ)音或視覺(jué)，或還用于處理服務(wù)輸入/輸出，例如打開端ロ建立WAN(廣域網(wǎng))上遠(yuǎn)距離通信所需的編碼?？ㄆ?30的處理器可以是現(xiàn)有的x86處理器。將以有利的方式選擇低耗電處理器，例如來(lái)自AMD公司的Geode (32位，500MHz)。該卡片還包括ー組RAM和閃速存儲(chǔ)器。這種卡片還管理機(jī)器人與外部(行為服務(wù)器、其他機(jī)器人等)的通信，通信通常在WiFi上、WiMax傳輸層上，任選地在利用任選地封裝在VPN中的標(biāo)準(zhǔn)協(xié)議進(jìn)行數(shù)據(jù)移動(dòng)通信的公共網(wǎng)上。處理器通常由標(biāo)準(zhǔn)OS驅(qū)動(dòng)，由此使其能夠使用通常的高層次語(yǔ)言(C，C++，Python等)或用于人工智能的專用語(yǔ)言，例如用于編程高層次功能的URBI (用于機(jī)器人的專用程序設(shè)計(jì)語(yǔ)言)?？ㄆ?20容納在機(jī)器人的軀干中。這是計(jì)算器所處的地方，計(jì)算器確保將卡片130計(jì)算的命令傳輸?shù)娇ㄆ?10。這個(gè)卡片可以容納在機(jī)器人中的別處。不過(guò)定位在軀干中是有利的，因?yàn)樗咏^部，在四肢的交叉點(diǎn)，由此使得能夠使將這個(gè)卡片130鏈接到卡片120和卡片110的鏈接布置最小化。這個(gè)卡片120的計(jì)算器也是現(xiàn)有的處理器。有利地，這能夠是時(shí)鐘頻率在IOOMHz的ARM9 型32-位處理器。處理器的類型、其中心位置接近開/關(guān)按鈕、其鏈接到電源的控制器使其成為ー種工具，適于管理機(jī)器人的電源(待機(jī)模式、緊急停機(jī)等)。該卡片還包括ー組RAM和閃速存儲(chǔ)器。
這種具有三個(gè)層次的架構(gòu)對(duì)于本發(fā)明的如下實(shí)施方式尤其有利:機(jī)器人必須能夠執(zhí)行協(xié)調(diào)運(yùn)動(dòng)和其他動(dòng)作，例如傳感器讀數(shù)，并同時(shí)解釋其環(huán)境中發(fā)出的語(yǔ)音或標(biāo)志，且對(duì)其做出反應(yīng)或響應(yīng)。圖2a和2b分別示出了類人機(jī)器人頭部的正視圖和剖面圖，頭部包括對(duì)在其幾個(gè)實(shí)施例中實(shí)施本發(fā)明有用的傳感器。圖1的頭部160被改進(jìn)為頭部200a、200b，以便為機(jī)器人裝備傳感器能力和用于表達(dá)的能力，這對(duì)實(shí)施本發(fā)明是有用的。NAO 裝備有 4 個(gè)全向微音器 211a、212a、213a、214a，例如由 KingstateElectronics Corp供應(yīng)的參考KEEG1540PBL-A，一個(gè)211a在前面，一個(gè)214a在后面，一個(gè)212a和213a在其頭部的每個(gè)側(cè)面(還參見圖2b)，其中在圖中僅看到通往外部的孔，因?yàn)樗鼈兎植荚陬^的內(nèi)部。基于微音器進(jìn)行的聲音捕獲，語(yǔ)音分析和識(shí)別系統(tǒng)，例如由Acapela 公司供應(yīng)的BabEAR 系統(tǒng)，識(shí)別預(yù)定義單詞的文集，具有適當(dāng)接口的用戶(本說(shuō)明書中進(jìn)一步給出)能夠用其自己的術(shù)語(yǔ)對(duì)其進(jìn)行豐富。這些單詞使得能夠觸發(fā)其選擇行為，尤其是對(duì)機(jī)器人解釋的問(wèn)題的答案。軟件環(huán)境支持幾種語(yǔ)言，如說(shuō)明書中進(jìn)一步所述。NAO還能夠檢測(cè)到聲音的來(lái)源，由此允許其分辨幾個(gè)對(duì)話者之間的模糊處。NAO通過(guò)兩個(gè)CMOS 640 X 480攝像頭220a觀看，能夠拍攝每秒高達(dá)30幅圖像，例如，OmnivisionTM牌攝像頭，型號(hào)為0V760 (CMOS 1/6英寸傳感器:3.6 y m像素)。放在前額高度的第一攝像頭指向其水平線，而放在嘴高度的第二攝像頭觀察其直接環(huán)境。該軟件使得能夠檢索NAO看到的照片以及視頻流。為了察覺(jué)和解釋其環(huán)境，NAO在板上承載了一組面部和形狀檢測(cè)和識(shí)別算法，允許其識(shí)別其對(duì)話人，定位球體以及更復(fù)雜的物體。

放在其頭顱頂部，NAO裝備有電容傳感器230a，例如分成三個(gè)部分，由本申請(qǐng)的申請(qǐng)人特別開發(fā)。對(duì)于特定應(yīng)用可以提供超過(guò)三個(gè)部分。于是能夠通過(guò)觸摸，例如通過(guò)按下一系列按鈕來(lái)給出NAO信息，按下按鈕能夠觸發(fā)由應(yīng)用定義的動(dòng)作，在本發(fā)明的范圍之內(nèi)，該動(dòng)作可以是與每個(gè)按鈕相關(guān)聯(lián)的不同答案，通過(guò)一系列提出的選擇卷動(dòng)，訪問(wèn)幫助菜單等。該系統(tǒng)帶有LED，指示是否有接觸。NAO能夠通過(guò)朗讀任何本地駐留在其存儲(chǔ)空間中的任何文本文件來(lái)表達(dá)自己的意思，例如根據(jù)說(shuō)明書中進(jìn)一步解釋的模式編程或從網(wǎng)址或RSS流檢索。裝備了 2個(gè)設(shè)置于其頭部每側(cè)上的揚(yáng)聲器210b,其語(yǔ)音合成系統(tǒng),例如來(lái)自Acapela的Acapela Mobility,是可以參數(shù)化的，由此尤其允許修改語(yǔ)音的速度和/或音調(diào)。能夠向NAO分派音樂(lè)文件并使其播放它。NAO接受例如wav和mp3格式，由此在本發(fā)明的范圍之內(nèi)能夠提供音樂(lè)答案或定制的聲音，作為伴奏或取代語(yǔ)音回答。也可以接受其他格式的音樂(lè)文件。圖3是高層次軟件架構(gòu)圖，這些軟件允許控制本發(fā)明實(shí)施例中的機(jī)器人功能。----------------------------------------------------------尤其在2009年10月15日公開的專利申請(qǐng)W02009/124955中公開了這種類型的軟件架構(gòu)。它包括用于管理機(jī)器人和PC或遠(yuǎn)程地點(diǎn)之間通信和交換提供實(shí)施本發(fā)明所需的軟件基礎(chǔ)設(shè)施的軟件的基本功能。在下文中通過(guò)一般方式描述了這種架構(gòu)，未特定提到特定應(yīng)用中使用的軟件功能，要理解的是這些功能被作為用于管理本發(fā)明機(jī)器人行為的任何其他軟件功能而被處理。
在圖3中，非常示意性地示出了例如通過(guò)無(wú)線鏈路與第一遠(yuǎn)程終端TDl通信的第一類人機(jī)器人RH1，以實(shí)現(xiàn)移動(dòng)。遠(yuǎn)程終端的表達(dá)是為了表示遠(yuǎn)離服務(wù)器平臺(tái)PFS的終端，其通過(guò)通信網(wǎng)絡(luò)提供對(duì)網(wǎng)絡(luò)服務(wù)SW的訪問(wèn)，專用于這種類型的類人機(jī)器人RH1。A-------------------------------------------------------當(dāng)然，系統(tǒng)元件之間的通信鏈路可以基于導(dǎo)線，作為變化，移動(dòng)終端可以是便攜式電話或便攜式計(jì)算機(jī)。第二類人機(jī)器人RH2例如也通過(guò)無(wú)線鏈路與第二遠(yuǎn)程終端TD2通信，以免妨礙類人機(jī)器人RH2的移動(dòng)。遠(yuǎn)程終端TDl和TD2以及服務(wù)器平臺(tái)PFS通過(guò)通信網(wǎng)絡(luò)RC在網(wǎng)絡(luò)中鏈接。對(duì)于服務(wù)器平臺(tái)PFS的網(wǎng)絡(luò)服務(wù)以及遠(yuǎn)程終端TDl和TD2而言，還對(duì)于類人機(jī)器人RHl和RH2而言，專用于至少ー個(gè)模塊的單個(gè)相應(yīng)鏈接模塊B5，B2，B4，BI和B3包括至少一系列指令，通過(guò)由處理器執(zhí)行來(lái)實(shí)施軟件功能。在本范例中將鏈接模塊B5，B2，B4，BI和B3的相應(yīng)模塊M51，M52, M21, M22, M41, M2, Mil, M12, M31, M32表示為每個(gè)鏈接模塊數(shù)量為兩個(gè)，但這個(gè)數(shù)字可以不同，對(duì)于每個(gè)鏈接模塊可以是任意值?，F(xiàn)在將例示由擁有第一類人機(jī)器人RHl的第一遠(yuǎn)程終端TDl的用戶看到的系統(tǒng)操作的總體非限制性范例。例如，他能夠通過(guò)其機(jī)器人利用第一遠(yuǎn)程終端TDl板上的軟件應(yīng)用，或能夠從第一遠(yuǎn)程終端TDl在服務(wù)器平臺(tái)PFS上訪問(wèn)的軟件應(yīng)用，執(zhí)行特定數(shù)量的功能。例如，他利用軟件應(yīng)用的圖形工具簡(jiǎn)單地執(zhí)行用于其機(jī)器人的應(yīng)用，其中機(jī)器人將行走10秒，然后說(shuō)“大家好”。例如，將這種應(yīng)用下載到模塊形式，例如模塊Mll形式的第一類人機(jī)器人RH1，然后由用戶利用第一遠(yuǎn)程終端TDl觸發(fā)。第一類人機(jī)器人RHl觸發(fā)模塊M11，這必須使用“行走”功能。模塊Mll然后使用連接接口和功能調(diào)用模塊或代理P1，向模塊Mll鏈接到的鏈接模塊BI做出請(qǐng)求。鏈接模塊BI做出指向其自己模塊和用于鏈接到其直接鏈接的網(wǎng)絡(luò)的模塊(子鏈接模塊)的請(qǐng)求，以迭代的方式重復(fù)這個(gè)操作，直到網(wǎng)絡(luò)鏈接模塊利用其在模塊中具有的函數(shù)調(diào)用位置對(duì)請(qǐng)求做出響應(yīng)。還由父鏈接模塊(沿相反方向)以迭代的方式傳輸對(duì)請(qǐng)求的響應(yīng)，直到鏈接模塊BI直接鏈接到需要連接的代理Pl并調(diào)用這項(xiàng)功能為止。例如，針對(duì)行走請(qǐng)求的功能位于第二遠(yuǎn)程終端TD2的模塊M41中。作為回報(bào)，鏈接模塊B4返回“行走”功能的調(diào)用參數(shù)，例如，其包含表示機(jī)器人將行走的時(shí)間的以秒為単位的整型Duration參數(shù)，以及布爾型的Exclusive參數(shù)，其表示機(jī)器人的排他或非排他行走，即是否授權(quán)機(jī)器人在行走時(shí)做另ー種動(dòng)作。在本范例中，利用等于10的Duration參數(shù),等于I的Exclusive參數(shù)調(diào)用行走功能，因?yàn)樵诒痉独邢Ｍ湓谛凶?0秒之后講話。連接接口和調(diào)用模塊Pl因此能夠利用期望參數(shù)遠(yuǎn)程進(jìn)行連接和對(duì)“行走”功能的調(diào)用，如同其位于本地一祥。連接接口和功能調(diào)用模塊使用能夠調(diào)用位于不同終端或服務(wù)器上的模塊功能的內(nèi)部通信軟件，能夠通過(guò)來(lái)自調(diào)用模塊的不同計(jì)算機(jī)語(yǔ)言中的系列指令編寫該功能。代理使用例如“SOAP內(nèi)部通信軟件。因此這樣產(chǎn)生了平臺(tái)間和語(yǔ)言間的通信架構(gòu)。一旦執(zhí)行了這種不局限某處的“行走”功能，模塊Mll必須要調(diào)用“講話”功能。另一個(gè)連接接口和功能調(diào)用模塊或代理P2向模塊Mll鏈接到的鏈接模塊BI提出請(qǐng)求。鏈接模塊BI —開始通過(guò)以一系列存儲(chǔ)指令的形式執(zhí)行的功能做出指向其自己模塊Mll和M12的請(qǐng)求，例如，這將返回模塊M12中這種“講話”功能的存在。鏈接模塊BI通知連接接口和功能調(diào)用模塊P2，然后其能夠通過(guò)本地調(diào)用類型的調(diào)用直接調(diào)用模塊M12的“講話”功能，作為參數(shù)，例如，具有要講的文本“你好”，這個(gè)參數(shù)已被鏈接模塊BI發(fā)送到代理P2。此外，該系統(tǒng)包括用于表示移動(dòng)終端狀態(tài)的參數(shù)的存儲(chǔ)和管理模塊STM (“短期存儲(chǔ)器”的簡(jiǎn)稱)，在類人機(jī)器人RHl的這種情況下，其適于在接收到外部事件時(shí)更新所述參數(shù)的值，并在預(yù)先請(qǐng)求時(shí)通知模塊所述存儲(chǔ)的參數(shù)之一被更新。因此，預(yù)先警告的模塊將能夠根據(jù)已經(jīng)被通知的參數(shù)修改采取動(dòng)作。結(jié)合前面描述的范例，例如，存儲(chǔ)和管理模塊STM能夠存儲(chǔ)表示機(jī)器人RHl的運(yùn)動(dòng)檢測(cè)器檢測(cè)的任何人的出現(xiàn)的參數(shù)狀態(tài)。在這個(gè)參數(shù)從表示機(jī)器人直接環(huán)境中沒(méi)有人的狀態(tài)過(guò)渡到表示機(jī)器人直接環(huán)境中有某人的狀態(tài)時(shí)，根據(jù)模塊Mll事先進(jìn)行的請(qǐng)求，存儲(chǔ)和管理模塊STM通過(guò)事件或信號(hào)預(yù)先警告這種值的變化。模塊Mll因此能夠例如自動(dòng)觸發(fā)前述相繼觸發(fā)(“行走”和“講話”功能)。在圖3的范例中，存儲(chǔ)和管理模塊STM形成遠(yuǎn)程終端TDl的一部分，但作為變化，它能夠形成服務(wù)器平臺(tái)PFS或類人機(jī)器人RHl或RH2的另一遠(yuǎn)程終端TD2的一部分。存儲(chǔ)和管理模塊STM還能夠在存儲(chǔ)器中存儲(chǔ)特定參數(shù)在相應(yīng)基準(zhǔn)時(shí)間段上的時(shí)域演化。于是，系統(tǒng)的模塊還能夠訪問(wèn)這些參數(shù)的值從特定持續(xù)時(shí)間的演化，并在要采取的動(dòng)作中考慮這些演化。作為變化，所調(diào)用功能的模塊可以位于服務(wù)器平臺(tái)PGS上、類人機(jī)器人RH1、RH2或通信網(wǎng)絡(luò)RC的遠(yuǎn)程終端TD1、TD2上。于是，本發(fā)明使得能夠具有分布于網(wǎng)絡(luò)上的程序，并能夠具有移動(dòng)終端的相同操作，無(wú)論其對(duì)功能做出本地或遠(yuǎn)程調(diào)用。此外，本架構(gòu)還使得能夠具有一組代表移動(dòng)終端狀態(tài)的存儲(chǔ)參數(shù)，并能夠考慮這種狀態(tài)的演化，以自動(dòng)觸發(fā)特定動(dòng)作。此外，存儲(chǔ)和管理模塊還能夠記錄預(yù)定時(shí)間段期間參數(shù)值的演化，由此允許模塊訪問(wèn)這些參數(shù)演化的記錄。這些通信和存儲(chǔ)功能構(gòu)成用于管理機(jī)器人接口的操作系統(tǒng)，對(duì)于實(shí)施本發(fā)明而言尤其有用。圖4是用于編輯和編程本發(fā)明實(shí)施例中的機(jī)器人行為的功能架構(gòu)圖。2010年5月25日提交的專利申請(qǐng)PCT/EP2010/057111已經(jīng)描述了這樣的架構(gòu)。用于編輯和編程類人機(jī)器人行為的軟件使得能夠?qū)嵤┑募軜?gòu)，商業(yè)名稱為Choregraphe ，也可以用其屬名或其商標(biāo)名稱呼，這不會(huì)對(duì)援引的一般性產(chǎn)生不利影響。這種架構(gòu)控制的機(jī)器人可以是具有頭、軀干和四肢的類人機(jī)器人，每個(gè)部分都有關(guān)節(jié)，每個(gè)關(guān)節(jié)都受一個(gè)或多個(gè)電動(dòng)機(jī)的控制。這種架構(gòu)允許系統(tǒng)用戶通過(guò)在虛擬機(jī)器人上創(chuàng)建模擬行為并在通過(guò)基于有線或無(wú)線鏈路鏈接到系統(tǒng)的實(shí)際機(jī)器人上執(zhí)行來(lái)控制這樣的機(jī)器人。這需要在編程為這樣做的計(jì)算機(jī)的屏幕上觀看、模擬和執(zhí)行行為(例如向正前方、右方或左方行走n步；手臂之一在頭上方的“你好”運(yùn)動(dòng)；語(yǔ)音等)和(頭、四肢部分、給定角度的)運(yùn)動(dòng)。
圖4是處理操作的流程圖，示出了由事件觸發(fā)的關(guān)節(jié)控制，具有其時(shí)間維度。在本發(fā)明的語(yǔ)義中由“方框”或“控制框”410表示事件觸發(fā)的控制?？蚴菢錉畛绦蛟O(shè)計(jì)結(jié)構(gòu)，能夠包括下文定義的以下元件中的ー個(gè)或多個(gè):-幀420的時(shí)間軸的“時(shí)間線”；-“圖”或流程圖470-腳本490。控制框通常通過(guò)連接而鏈接在一起，連接通常從ー個(gè)框向另一個(gè)發(fā)送事件信息項(xiàng)，如說(shuō)明書中進(jìn)ー步詳述的那樣。任何框都直接或間接鏈接到“根框”或根，其對(duì)機(jī)器人的行為/運(yùn)動(dòng)方案進(jìn)行初始化。幀420的時(shí)間軸表示機(jī)器人的行為和運(yùn)動(dòng)受到的時(shí)域約束，所述行為和運(yùn)動(dòng)定義于插入幀的所述時(shí)間軸的框中。在后續(xù)描述和權(quán)利要求中，將使用術(shù)語(yǔ)時(shí)間線，通常接受具有程序設(shè)計(jì)界中同樣含義的該術(shù)語(yǔ)。于是，時(shí)間線進(jìn)行框行為和運(yùn)動(dòng)的同歩。它被切割成幀，其與按照每秒幀數(shù)(FPS)定義的進(jìn)展速度相關(guān)聯(lián)。每條時(shí)間線的FPS可以由用戶進(jìn)行參數(shù)化。作為默認(rèn)，可以將FPS固定在給定值，例如15FPS。時(shí)間線可以包括:-ー個(gè)或多個(gè)行為層430，每層包括一個(gè)或多個(gè)行為關(guān)鍵幀或“主要行為幀”450，它們自己可以包括ー個(gè)或多個(gè)圖或“流程圖”470，實(shí)際上它們是也可以直接而無(wú)需通過(guò)行為層或時(shí)間線附著到更高層框的框的組；-ー個(gè)或多個(gè)運(yùn)動(dòng)層440，每層包括一個(gè)或多個(gè)運(yùn)動(dòng)關(guān)鍵幀或“主要運(yùn)動(dòng)幀”460，其能夠包括ー個(gè)或多個(gè)運(yùn)動(dòng)屏480。行為層定義機(jī)器人的一組行為或主要行為幀?？梢栽谕粋€(gè)框之內(nèi)定義幾個(gè)行為層。那么將把它們編程為由框的時(shí)間線以同步方式前迸。行為層將能夠包括ー個(gè)或多個(gè)主要行為幀。主要行為幀定義機(jī)器人的行為，例如行走(“行走”)、講話(“說(shuō)話”)、奏樂(lè)(“音樂(lè)”)等。在本發(fā)明的系統(tǒng)中預(yù)先編程特定數(shù)量的行為，以便用戶在簡(jiǎn)單的“拖放”操作中直接從庫(kù)中插入，如說(shuō)明書中進(jìn)ー步詳述的那樣。每個(gè)主要行為幀都由觸發(fā)事件定義，觸發(fā)事件是幀插入時(shí)間線的幀起點(diǎn)。主要行為幀的結(jié)尾僅在說(shuō)明書范圍內(nèi)定義為在其后插入另一主要行為幀，或如果定義了結(jié)束事件。運(yùn)動(dòng)層定義機(jī)器人的一組運(yùn)動(dòng)，是由一個(gè)或多個(gè)相繼的主要運(yùn)動(dòng)幀編程的，將機(jī)器人關(guān)節(jié)電動(dòng)機(jī)的運(yùn)動(dòng)集合在一起。要執(zhí)行的這些運(yùn)動(dòng)由所述電動(dòng)機(jī)到達(dá)的角位置定義，可以由運(yùn)動(dòng)屏幕上的動(dòng)作編程它們，在說(shuō)明書中進(jìn)ー步詳述所述動(dòng)作。同一個(gè)框的所有主要運(yùn)動(dòng)幀由框的時(shí)間線同歩。主要運(yùn)動(dòng)幀由到達(dá)幀定義。開始幀是前ー主要運(yùn)動(dòng)幀的結(jié)尾或框的開始幀。由主要?jiǎng)幼鲙钠胀Q指稱主要行為幀和主要運(yùn)動(dòng)幀。有可能并行執(zhí)行幾個(gè)(行為或運(yùn)動(dòng)的)主要?jiǎng)幼鲙?，條件是它們附屬于同一時(shí)間線。如進(jìn)ー步詳述的，流程圖是ー組連接在一起的框。每個(gè)框在其順序中能夠包括其他時(shí)間線，新的行為或運(yùn)動(dòng)層附屬于其他時(shí)間線。腳本是可由機(jī)器人直接執(zhí)行的程序。在本發(fā)明的框架之內(nèi)，以有利的方式在C++語(yǔ)言中編寫腳本。包括腳本的框不包括任何其他元件。
可以在使用Windows 、Mac 或Linux 操作系統(tǒng)的PC或個(gè)人計(jì)算機(jī)類型的另一平臺(tái)上嵌入軟件。本發(fā)明的類人機(jī)器人將一般被編程為能夠利用Choregraphe 軟件與人交互。這種開發(fā)架構(gòu)可能提供的時(shí)域和行為邏輯的組合對(duì)于實(shí)施本發(fā)明尤其有利。已經(jīng)專門開發(fā)了說(shuō)明書中接下來(lái)還提到的特定數(shù)量的工具，用于實(shí)現(xiàn)本發(fā)明范圍之內(nèi)具有用于自然對(duì)話的接口的類人機(jī)器人。圖5是以一般方式應(yīng)用的處理操作的功能流程圖，這些操作用于改善由類人機(jī)器人對(duì)其在本發(fā)明的若干實(shí)施例中接收的響應(yīng)/激勵(lì)給出的解釋。隨著時(shí)間推移，人類已經(jīng)開發(fā)了用于和機(jī)器交互的很多手段。這些手段追隨技術(shù)的進(jìn)步，因此它們?cè)絹?lái)越有效。就一切情況而論，為了有效，無(wú)論交互是什么內(nèi)容，都必須適應(yīng)平臺(tái)和用戶需求。圖形界面和窗口環(huán)境這樣使用戶能夠支配若干界面元件，也稱為圖形界面部件(Gn元件或圖形用戶界面元件)，例如:文本區(qū)域(文本框)、0K/取消按鈕、要勾選的框(復(fù)選框)、單選按鈕或框的組合(組合框)。這些元件適應(yīng)于圖形界面，不能在類人機(jī)器人上這樣使用，在原則上講，類人機(jī)器人不提供傳統(tǒng)屏幕類型的任何視覺(jué)反饋?，F(xiàn)在，與機(jī)器人的交換應(yīng)當(dāng)至少與與計(jì)算機(jī)的圖形界面的那些一樣豐富。因此希望能夠與勾選框、在鍵盤上輸入文本、雙擊圖標(biāo)或在應(yīng)用窗口中點(diǎn)擊叉號(hào)以相同方式選擇選項(xiàng)、拼寫單詞、運(yùn)行或離開應(yīng)用。也不希望簡(jiǎn)單拷貝這些現(xiàn)有元件，正是因?yàn)橄Ｍ脩粲蓄惾饲易匀坏慕缑?。因此需要找到適于自主類人機(jī)器人的用戶接口單元。這些元件還必須容易由類人機(jī)器人行為的創(chuàng)造者進(jìn)行參數(shù)化，并允許容易針對(duì)用戶的語(yǔ)言進(jìn)行調(diào)整。現(xiàn)有的自主機(jī)器人能夠提供簡(jiǎn)單的人-機(jī)器人接口，例如語(yǔ)音識(shí)別，但在現(xiàn)有技術(shù)中，用戶或開發(fā)者都不擁有任何地區(qū)化(允許多種語(yǔ)言)和管理故障的多模用戶接口元件。實(shí)際上，當(dāng)前，能夠嵌入尺寸和價(jià)格合理，裝備多傳感器采集和處理能力，具有移動(dòng)能力和其四肢大量自由度的類人機(jī)器人中的語(yǔ)音識(shí)別的類型必然受到能夠在機(jī)器人板上承載的計(jì)算機(jī)資源和電能資源的限制。實(shí)際上，必須要根據(jù)優(yōu)先級(jí)向處理操作分配這些資源，使得能夠確保信號(hào)俘獲的安全和可靠性以及執(zhí)行運(yùn)動(dòng)必需的控制。因此必須要提供人-機(jī)器人接口元件，在當(dāng)前語(yǔ)境中，允許語(yǔ)音識(shí)別不可避免的缺陷的可能最好校正，并特別利用如下一種機(jī)制為用戶提供成功的交互:這種機(jī)制用于解決機(jī)器人針對(duì)其從用戶接收的消息和機(jī)器人返回的問(wèn)題給出的解釋的疑惑，這些消息和問(wèn)題落在其收斂的對(duì)話序列的框架之內(nèi)。還要指出的是，人不以自然方式向機(jī)器人講話，因?yàn)樗粫?huì)取回其人的基準(zhǔn)，亦即，人在同樣狀況下會(huì)具有的姿態(tài)和行為。如果機(jī)器人不朝人的方向觀看，這是人和人交互的慣常交互，交互將尤其不自然。此外，與人際交往相比，這種與多功能類人機(jī)器人在板上的計(jì)算機(jī)資源兼容的語(yǔ)音識(shí)別自身不允許有效管理與幾個(gè)用戶的交互。此外，大部分機(jī)器人幾乎不使用或不使用自然語(yǔ)言，語(yǔ)音合成通常是利用人事先編寫的短語(yǔ)編程的，例如它們是為機(jī)器人虛構(gòu)的故事或由人書寫且機(jī)器人將閱讀的電子郵件。因此它缺少使得人-機(jī)器人交互盡可能接近人-人交互的元素。現(xiàn)有技術(shù)的人-機(jī)器人接口沒(méi)有足夠的多?；蚪换ゴa，使其能夠模擬人-人自然交互并有助于交互的成功。此外，如果該接口調(diào)用用戶已經(jīng)獲取的甚至其日常使用的知識(shí)，經(jīng)驗(yàn)將容易得多，用戶一方將僅需要很少的學(xué)習(xí)。于是，通過(guò)移動(dòng)頭部，利用虛擬現(xiàn)實(shí)頭盔，將比按下計(jì)算機(jī)鍵盤上的箭頭越發(fā)直觀地進(jìn)行在虛擬世界的房間內(nèi)對(duì)人眼的掃描。本發(fā)明的方案提出用戶接口元件，組合軟件和硬件，適于自主類人機(jī)器人。通過(guò)將上文使用的術(shù)語(yǔ)GUI元件置換到機(jī)器人的行為，然后定義Bn元件(行為用戶接ロ元件)，這里可以將其更一般地簡(jiǎn)稱為EI元件。例如可以定義這樣的UI元件，以便通過(guò)簡(jiǎn)單方式定義動(dòng)作，例如:-通過(guò)同時(shí)輕敲機(jī)器人頭部三個(gè)觸覺(jué)傳感器在任意時(shí)刻退出應(yīng)用；-利用語(yǔ)音識(shí)別詢問(wèn)機(jī)器人；-通過(guò)輕敲機(jī)器人觸覺(jué)傳感器之ー轉(zhuǎn)移到應(yīng)用的下一歩。于是這些簡(jiǎn)單的元件是真實(shí)的交互代碼，其可以嵌入一般的庫(kù)中，以便在機(jī)器人的所有行為和應(yīng)用中可用，或者利用給定項(xiàng)目的具體資源而被創(chuàng)建。本發(fā)明的n元件是能夠由行為開發(fā)者容易使用和參數(shù)化的元件。它主要是Choregraphe框，其變?yōu)橛糜诔绦蛟O(shè)計(jì)行為的基本⑶I元件。需要指出，這些框中的ー些包括在C++中利用Qt 環(huán)境產(chǎn)生的用于開發(fā)圖形界面部件的Widget庫(kù)編碼的Choregraphe插件。在圖5中示出了允許實(shí)施本發(fā)明的功能架構(gòu)的簡(jiǎn)化視圖。在圖1的中央單元120之內(nèi)或結(jié)合中央單元120裝配了用于通信通道的輸入/輸出的控制模塊510，機(jī)器人通過(guò)該模塊與對(duì)話者交換消息。在物理或邏輯上講，這個(gè)模塊包括機(jī)器人裝備的專用通信通道的發(fā)送/接收預(yù)處理的模塊。這并非限制，圖中示出了三種消息通信通道，每種類型都具有接收通道和發(fā)送通道。類型I的接收機(jī)通道521對(duì)應(yīng)于人的聽覺(jué)，允許機(jī)器人獲取聲音信號(hào)，優(yōu)選是具有語(yǔ)義內(nèi)容的語(yǔ)音消息。因此，機(jī)器人可以裝備有圖2a中所示的微音器210a。這個(gè)通道的輸出通常由執(zhí)行語(yǔ)音識(shí)別算法的專用信號(hào)處理處理器進(jìn)行預(yù)處理。根據(jù)使用它們的環(huán)境(環(huán)境噪聲、多個(gè)談話者等)以及或多或少完整的特定學(xué)習(xí)的實(shí)施，這些算法可能或多或少?gòu)?fù)雜且有效性不一。不過(guò)，在所有配置中，識(shí)別誤差都是不可避免的。類型I的發(fā)送器通道531對(duì)應(yīng)于人的語(yǔ)音，允許機(jī)器人講話，亦即，發(fā)出具有語(yǔ)義內(nèi)容的語(yǔ)音信息，例如通過(guò)圖2b中所示的揚(yáng)聲器210b。語(yǔ)音的語(yǔ)言、音色、節(jié)奏和音調(diào)可以根據(jù)語(yǔ)境改變并表達(dá)感覺(jué)。不過(guò)這些聲音也可以是嘟嘟響、事先錄制的音樂(lè)，要理解的是，在莫爾斯電碼序列中，嘟嘟響，以及根據(jù)預(yù)先確定的代碼、音樂(lè)，也能夠具有語(yǔ)音內(nèi)容。類型2的接收機(jī)通道522對(duì)應(yīng)于人類視覺(jué)，允許機(jī)器人映射其環(huán)境并獲取圖像，如果它們存儲(chǔ)在它能夠訪問(wèn)的存儲(chǔ)器中，然后可以識(shí)別圖像。因此，機(jī)器人可以裝備例如圖2a中所示的CMOS攝像頭220a。攝像頭之一優(yōu)選專用于遠(yuǎn)處的視覺(jué)，另ー個(gè)用于近處視覺(jué)。有利地，圖像識(shí)別算法適于允許檢測(cè)，甚至識(shí)別機(jī)器人的對(duì)話者的面部。在此，無(wú)論識(shí)別性能如何，同樣不可避免有不確定性或誤差。圖像識(shí)別也可以適用于簡(jiǎn)單形狀，例如在VDU上呈現(xiàn)給機(jī)器人的數(shù)字，可以通過(guò)編碼定義其含義。類型2的發(fā)送器通道532是沒(méi)有直接的人等價(jià)物的人為通道。這個(gè)通道允許嵌入機(jī)器人身體中的LED產(chǎn)生的光信號(hào)發(fā)射?？梢蕴峁┐罅康腖ED，尤其是在眼睛、耳朵、軀干、腳上。它們可以具有不同顔色并具備可變頻率的閃爍能力。這個(gè)通道為機(jī)器人裝備了用于發(fā)送消息的簡(jiǎn)單而強(qiáng)大的手段。尤其是可以由用戶定義和編程特定代碼。類型3的接收機(jī)通道523是相當(dāng)于人的觸覺(jué)的通道。不過(guò)，這個(gè)通道局限于觸覺(jué)領(lǐng)域。例如，后者可能集中于觸覺(jué)傳感器，例如圖2a中所示的傳感器230a。機(jī)器人的對(duì)話人將致動(dòng)觸覺(jué)傳感器以向機(jī)器人傳送二元(動(dòng)作的批準(zhǔn))或更復(fù)雜類型的消息。這個(gè)通道接收的信息甚至能夠?qū)?yīng)于用戶定義的代碼，或者單一的(分別具有懲罰和獎(jiǎng)勵(lì)含義的一道、一劃)或連續(xù)的莫爾斯電碼類型。特定的觸覺(jué)傳感器不是定義這種類型通信通道絕對(duì)必要的。在其接收對(duì)話人接觸動(dòng)作的范圍內(nèi)而言，可以定義同一類型的通道，其中消息傳感器是由機(jī)器人手臂和/或前臂位置表示的連續(xù)模擬傳感器，所述位置由對(duì)話人向機(jī)器人傳送的數(shù)值表示，如說(shuō)明書中接下來(lái)要進(jìn)一步解釋的那樣。實(shí)際上，在任何時(shí)刻，機(jī)器人都知道其關(guān)節(jié)的角位置，因此，如果事先已經(jīng)定義了所述位移的含義，機(jī)器人知道如何將對(duì)話人作用下的位移導(dǎo)致后者的變化解釋為消息。肢體(例如前臂)的簡(jiǎn)單觸摸也可以由機(jī)器人關(guān)節(jié)的角位置傳感器辨別。更加突兀的運(yùn)動(dòng)，例如顛簸或提升，可以分別被機(jī)器人的慣性單元及其腳底傳感器(FSR)檢測(cè)到。類型3的發(fā)送器通道相當(dāng)于人的姿態(tài)。頭可以擁有兩個(gè)自由度:由偏航角度量的在方位角上的位移，以及由俯仰角度量的高度位移。這兩個(gè)運(yùn)動(dòng)在傳統(tǒng)上定義同意(俯仰)或拒絕(偏航)的消息。它們還允許機(jī)器人朝向它正在談話的對(duì)話人凝視。肩、肘、腕的關(guān)節(jié)可以分別具有以下自由度:俯仰和翻滾(翻滾或右/左扭轉(zhuǎn))；偏航；偏航。手可以具有打開和閉合能力。這些關(guān)節(jié)運(yùn)動(dòng)的組合使得能夠定義要通過(guò)這個(gè)通道向機(jī)器人的對(duì)話人發(fā)送的消息內(nèi)容。存在或者還可以定義圖中未示出的其他消息通信通道。具體而言，機(jī)器人能夠通過(guò)紅外線、藍(lán)牙或Wifi鏈路接收和發(fā)送信號(hào)。因此對(duì)話人能夠通過(guò)這個(gè)通道向機(jī)器人發(fā)送消息，尤其是利用為此目的編程的遙控器，例如來(lái)自Apple 的iPhone 或具有運(yùn)動(dòng)俘獲和/或定位功能的另一種電話。同樣地，機(jī)器人能夠經(jīng)由這些通信端口向另一個(gè)機(jī)器人發(fā)送消息。根據(jù)本發(fā)明，可以通過(guò)將不同類型的通道合并到混合型通道來(lái)定義消息通信通道。于是，可以組合裝備有語(yǔ)音識(shí)別的伴音通道和裝備有圖像識(shí)別的視覺(jué)通道的輸出以生成新通道，其輸出將被數(shù)據(jù)合并過(guò)程改善，來(lái)自這個(gè)通道的輸出比獨(dú)立獲得的兩個(gè)輸出置f目水平更聞。圖5中還示出了機(jī)器人的兩個(gè)對(duì)話人541和542。自然地，在本發(fā)明的實(shí)施情形中，僅有一個(gè)或超過(guò)兩個(gè)對(duì)話人也是可能的。此外，對(duì)話人可以距機(jī)器人一定距離，條件是通過(guò)數(shù)據(jù)鏈路鏈接到機(jī)器人所在的房間，使其能夠發(fā)送交換消息所需的音頻和/或視頻信號(hào)。自然，在這種情況下，將不可能使用需要物理接觸的類型3的通信通道。機(jī)器人相對(duì)于其對(duì)話人及相對(duì)于其環(huán)境的相對(duì)位置也可以由特定傳感器測(cè)量(與對(duì)話人位置相關(guān)聯(lián)的語(yǔ)音識(shí)別；圖像識(shí)別；超聲波傳感器等)并被解釋，例如利用音量、音調(diào)或表達(dá)分析進(jìn)行交叉引用，以便表征人/機(jī)器人對(duì)話的性質(zhì)并任選地修改其進(jìn)度。于是，機(jī)器人可以將接近并大聲講話的對(duì)話人視為威脅并觸發(fā)各種防御行為，具有關(guān)聯(lián)的身體語(yǔ)言，甚至修改或中斷交互。由模塊510執(zhí)行這些各種通信通道的輸入/輸出的邏輯控制。后者使得能夠如說(shuō)明書中進(jìn)一步解釋的那樣在同一時(shí)間通過(guò)在同樣第一類型的發(fā)送器通道上發(fā)送的消息解決第一類型接收機(jī)通道(例如伴音通道)的輸入的疑惑，可以由同樣第一類型的通道或第二類型接收機(jī)通道(例如觸覺(jué)通道)上的對(duì)話人在響應(yīng)中執(zhí)行所述疑惑解決動(dòng)作。也可以在第二類型的通道(例如視覺(jué)通道，通過(guò)LED發(fā)送)上發(fā)送請(qǐng)求解決第一類型通道(例如伴音通道)上接收的消息疑惑的消息，對(duì)話人的疑惑解決動(dòng)作必須要在第三類型的接收機(jī)通道(例如觸覺(jué)通道)上執(zhí)行。這些組合純粹是作為非限制性例示給出的，多種多樣的組合都是可能的。也可以更簡(jiǎn)單地使用用于通信通道510的輸入/輸出的控制模塊，以組合消息的輸入，這種組合使得能夠?qū)嶋H消除機(jī)器人“頭腦”中疑惑的任何可能性?？梢岳肂n元件以簡(jiǎn)單方式編程用于組合接收機(jī)通道接收的輸入和接收機(jī)通道發(fā)送的輸出的功能。將進(jìn)一歩描述由選擇型控制框或選擇框構(gòu)成的ー種Bn元件。后者表示從封閉列表做出選擇的方式。它尤其適于在對(duì)話范圍之內(nèi)識(shí)別有限數(shù)量的單詞和短語(yǔ)，機(jī)器人能夠在聆聽用戶選擇之前提出問(wèn)題。在下文中描述了來(lái)自不同類型選擇框的不同類型Bn元件。利用選擇整數(shù)的范例例示了這種模態(tài)。對(duì)于這個(gè)元件來(lái)說(shuō)，機(jī)器人例如在其類型I的發(fā)送器通道531上指明用戶可用的最小數(shù)量和最大數(shù)量，并將其手臂之一伸向其對(duì)話人，前者受到微弱的伺服控制。這個(gè)手臂將構(gòu)成圖5的類型3的接收機(jī)通道523。手臂的低位與最小數(shù)字相關(guān)聯(lián)，高位與最大數(shù)字相關(guān)聯(lián)。于是，用戶使用機(jī)器人的手臂作為選擇其數(shù)字的指針。機(jī)器人利用肩俯仰關(guān)節(jié)(ShoulderPitch)上可用的觸角而知道其手臂位置。為了增強(qiáng)這種交互，在用戶移動(dòng)其手臂時(shí)，機(jī)器人看著他的手。對(duì)于每次位置改變，機(jī)器人能夠指明選擇的數(shù)字。用戶能夠通過(guò)觸摸機(jī)器人頭部中央的觸覺(jué)傳感器并利用類型3的另ー接收機(jī)通道523來(lái)驗(yàn)證他的選擇。也可以做出規(guī)定，尤其是在相對(duì)于傳感器的精確度而言數(shù)字的數(shù)量過(guò)大的情況下，使一個(gè)手臂允許做出粗調(diào)，第二個(gè)手臂更精確地選擇?？梢杂蓴?shù)字表示表達(dá)的有序列表。以上流程然后變成從機(jī)器人宣布的下拉菜單選擇的模態(tài)。能夠選擇數(shù)字的變化由単獨(dú)利用觸覺(jué)傳感器構(gòu)成。例如:-輕敲前部傳感器使得能夠下降數(shù)字列表中的ー個(gè)凹ロ；-輕敲后部傳感器使得能夠在數(shù)字列表中前進(jìn)；-按下前部或后部傳感器使得能夠加快卷動(dòng)數(shù)字列表；-通過(guò)觸摸中央傳感器做出選擇。可以看出，能夠根據(jù)使用本發(fā)明的情形顯著改變可能的組合。圖6是針對(duì)本發(fā)明幾個(gè)實(shí)施例中機(jī)器人的行為/交互的程序設(shè)計(jì)邏輯圖。附圖例示的范例是這樣的情形:機(jī)器人與對(duì)話人對(duì)話，對(duì)話人為其提供從單詞列表做出的選擇，例如，對(duì)于字謎游戲而言。在這種情形中，使用類型I的接收機(jī)通道、類型3的接收機(jī)通道和類型I的發(fā)送器通道。圖中代碼610表示的動(dòng)作是機(jī)器人對(duì)話人的動(dòng)作:用戶從例如機(jī)器人事先指出的列表指明選擇；超時(shí)(或沒(méi)有選擇);對(duì)請(qǐng)求確認(rèn)對(duì)這個(gè)列表中一個(gè)或多個(gè)單詞理解做出“是
/否，，回答。圖中代碼620表示的動(dòng)作是機(jī)器人動(dòng)作，將根據(jù)代碼630表示的內(nèi)變量狀態(tài)激活該動(dòng)作。這些內(nèi)變量的含義如下:
-r:機(jī)器人識(shí)別用戶從選擇列表中那些指出的單詞的概率的比率；-f:識(shí)別失敗的總數(shù)；-t:超時(shí)次數(shù)(或預(yù)定義時(shí)間之后對(duì)話人沒(méi)有選擇)；-S1:識(shí)別概率比率的閾值I ; -S2:識(shí)別概率比率的閾值2 ；-tmax:可能超時(shí)的最大次數(shù)；-fmax:可能失敗的最大次數(shù)。處理超時(shí)的一般方式對(duì)應(yīng)于向提出的問(wèn)題應(yīng)用人類日常生活中的簡(jiǎn)單原則:“無(wú)論誰(shuí)一言不發(fā)都表示同意……”在下文中描述這幅圖中表示的處理操作的一般邏輯。NAO聆聽用戶/對(duì)話人，將變量f和t初始化為零。如果對(duì)話人允許過(guò)去預(yù)定超時(shí)時(shí)間，將超時(shí)計(jì)數(shù)器加一，如果達(dá)到最大超時(shí)次數(shù)，中斷交互循環(huán)?？梢栽谟脩暨M(jìn)行的特定動(dòng)作(例如向機(jī)器人詢問(wèn))時(shí)的判定性語(yǔ)境中觸發(fā)應(yīng)用，在開始時(shí)確定游戲的玩家數(shù)量或通過(guò)按下頭上觸覺(jué)傳感器之一，或在人工智能的語(yǔ)境中(這將根據(jù)參數(shù)觸發(fā)參數(shù)例如是檢測(cè)到人的存在、一天中的時(shí)間、或更一般地一天事件的日志，這是由機(jī)器人存儲(chǔ)的)，或是在行為中，對(duì)這種應(yīng)用進(jìn)行初始化。例如，如果檢測(cè)到用戶在呼喚它，它會(huì)觸發(fā)應(yīng)用，允許其知道什么用戶希望找它以及他為什么喊它。在另一種語(yǔ)境中，如果在其檢測(cè)到有人是提出其很希望玩且很久未玩的游戲時(shí)，它自己將能夠觸發(fā)應(yīng)用。如果對(duì)話人在超時(shí)期滿之前指明選擇，將實(shí)測(cè)的識(shí)別概率比率r與預(yù)期識(shí)別概率比率的閾值SI和S2 (SKS2)比較，接下來(lái)將描述確定這些值的方式。如果SI，將單詞的這種識(shí)別視為失敗。將失敗計(jì)數(shù)器加一。如果達(dá)到fmax，明確宣布該單詞未識(shí)別，中斷交互。如果未達(dá)到fmax，可以針對(duì)三種情況做出規(guī)定，如圖中所示:-在第一次失敗時(shí)(f=l)，機(jī)器人向其對(duì)話人指出“我不理解”，并激活由重復(fù)選擇列表構(gòu)成的“activateHelpWhenFailure”功能的那一個(gè)；-在第二次失敗時(shí)(f=2)，機(jī)器人還指出“我不理解”，并激活^activateHelpffhenFaiIure^功能的另一個(gè)，由如下操作構(gòu)成:為其對(duì)話人提供選擇列表，并要求其對(duì)話人使用其觸覺(jué)傳感器，向他展示如何使用它；-超過(guò)(3( f〈fmax)，機(jī)器人可以宣讀短語(yǔ)，向其對(duì)話人指出不滿足有效談話的條件，例如“噪音太大”，這將通常提示所述對(duì)話人結(jié)束談話。如果Sl〈r < S2，機(jī)器人會(huì)疑惑它實(shí)際聽到了什么；根據(jù)圖中所示的流程，它然后能夠采取動(dòng)作以解決疑惑，方式是讀出其認(rèn)為識(shí)別的單詞或表達(dá)，并讓問(wèn)其對(duì)話人“對(duì)嗎？ ”;如果對(duì)話人回答“對(duì)”或在超時(shí)結(jié)束時(shí)不回答，機(jī)器人認(rèn)為答案是正確的。如果對(duì)話人回答“不”，將失敗計(jì)數(shù)器加一；如果達(dá)到fmax，機(jī)器人肯定地指出它不理解，停止交互；如果未達(dá)到fmax:-在第一次失敗時(shí)(f=l)，機(jī)器人能夠激活由重復(fù)選擇列表構(gòu)成的^activateHeIpffhenFai lure功能的那一個(gè)；-在第二次失敗時(shí)(f=2),激活“activateHelpWhenFailure”功能的另一個(gè)，由如下操作構(gòu)成:為其對(duì)話人提供選擇列表，并要求其對(duì)話人使用其觸覺(jué)傳感器，向他展示如何使用它；-繼續(xù)到第三次失敗，直到fmax，對(duì)話人必須重復(fù)選擇，直到識(shí)別概率比率改善。通過(guò)這種方式，于是能夠大大減輕語(yǔ)音識(shí)別的缺陷并在機(jī)器人及其對(duì)話人之間的會(huì)話中實(shí)現(xiàn)更高的流暢性。圖7a，7b和7c示出了時(shí)間圖，示出了本發(fā)明的幾個(gè)實(shí)施例中多模接ロ交互的邏輯和時(shí)域組合。這些圖是選擇框的視圖，使其能夠編程圖6的圖表中所示類型的交互。選擇框是圖4中在紅字標(biāo)題410下例示的那些框，但它們的類型特別，允許對(duì)用于自然對(duì)話的專用行為進(jìn)行特別有效的程序設(shè)計(jì)。這些圖中的符號(hào)含義如下:-在圖7a 中，-710a表示機(jī)器人或其對(duì)話人的動(dòng)作/語(yǔ)音；-720a表示觸覺(jué)傳感器；-740a表不識(shí)別蜂鳴聲；-750a表示處于旋轉(zhuǎn)激勵(lì)位置中的機(jī)器人面部的LED ；-751a表不處于固定位置中的機(jī)器人面部的LED ；-760a表示機(jī)器人面部LED的閃爍(根據(jù)機(jī)器人對(duì)所接收消息的理解情況，可以是各種顏色);-770a表示超時(shí)功能；-780a表不選擇框的輸出；-790a表示功能“轉(zhuǎn)到觸覺(jué)傳感器菜単”(圖7b)；-7A0表示功能“轉(zhuǎn)到選擇分類”(圖7c)；-7B0表示功能“轉(zhuǎn)到語(yǔ)音識(shí)別菜単”；-Rl, R2和R3分別表示機(jī)器人毫無(wú)歧義地理解的情況、機(jī)器人理解但有ー些疑惑的情況以及機(jī)器人根本不理解的情況；-在圖7c中，710c表示功能“返回上級(jí)菜単”。選擇框中編程的處理操作的一般邏輯與已經(jīng)描述的那些相同。這里描述的額外元件是:-使用機(jī)器人面部的LED750a，任選地使用LED閃爍來(lái)強(qiáng)調(diào)問(wèn)答的交換:LED處在固定位置751a以表示機(jī)器人正在檢測(cè)語(yǔ)音且分析它；-使用機(jī)器人發(fā)出的音頻“嘟嘟聲”表示其準(zhǔn)備好識(shí)別的時(shí)刻；實(shí)際上，因?yàn)樘幚砟芰碗娫吹南拗疲覟榱吮苊庾R(shí)別中的噪聲，后者在語(yǔ)音合成的同時(shí)不工作；因此后者不必過(guò)早回答機(jī)器人向?qū)υ捜颂岢龅膯?wèn)題；“嘟嘟聲”給出報(bào)時(shí)以開始回答；-能夠使用幾個(gè)層次的幫助，這取決于機(jī)器人的歷史記錄及其在這次交換和先前交換過(guò)程中對(duì)這位用戶的體驗(yàn)；-在幾個(gè)菜單之間導(dǎo)航以便于程序設(shè)計(jì)的可能性。現(xiàn)在描述的附圖是屏幕快照，在其上使用被描述為上文圖4注釋的Choregraphe軟件的選擇框部件，通過(guò)在類型I (語(yǔ)音交換)的范例所示接收和發(fā)送通道中使用，編程N(yùn)AO機(jī)器人和對(duì)話人之間的簡(jiǎn)單或復(fù)雜交互。
圖8a, 8b, 8c, 8d和8e示出了屏幕序列，使得能夠利用ニ元選擇和選項(xiàng)編程與類人機(jī)器人的對(duì)話，用于改變本發(fā)明實(shí)施例中的交互語(yǔ)言；圖9a, 9b, 9c, 9d和9e示出了屏幕序列，使得能夠利用來(lái)自列表的選擇和選項(xiàng)編程與類人機(jī)器人的對(duì)話，用于改變本發(fā)明實(shí)施例中的交互語(yǔ)言；圖10a，10b，IOc和IOd示出了屏幕序列，使得能夠在本發(fā)明的實(shí)施例中在選擇列表中的幾個(gè)選項(xiàng)之間進(jìn)行語(yǔ)音識(shí)別測(cè)試比較；圖1la和IOb示出了屏幕序列，使得能夠替換或補(bǔ)充選擇列表的選項(xiàng)并在本發(fā)明的實(shí)施例中在幾個(gè)選項(xiàng)之間執(zhí)行新的語(yǔ)音識(shí)別測(cè)試比較；圖12a，12b，12c和12d示出了屏幕序列，使得能夠在本發(fā)明的實(shí)施例中，在與問(wèn)題不同的語(yǔ)言中，在選擇列表中的幾個(gè)選項(xiàng)之間進(jìn)行語(yǔ)音識(shí)別測(cè)試比較；圖13a，13b，13c和13d示出了屏幕序列，使得能夠在本發(fā)明的實(shí)施例中在選擇列表的幾個(gè)選項(xiàng)之間驗(yàn)證/修改語(yǔ)音識(shí)別測(cè)試比較的閾值。通常，選擇框允許用戶從預(yù)定義的ー組選擇中選擇答案。它調(diào)用表格類型的部件，其允許開發(fā)者以直觀而可讀的方式編寫其ー組可能選擇。如果開發(fā)者事先不知道，也可以輸入選擇列表作為框的輸入。于是，例如，在應(yīng)用管理用戶的郵件的情況下，機(jī)器人將能夠讓其從獨(dú)立文件中存儲(chǔ)的其地址薄選擇聯(lián)系人。這些n元件是可高度參數(shù)化的工具。于是，使用語(yǔ)音識(shí)別和/或合成的Ui元件被地區(qū)化。例如，可以在法語(yǔ)和英語(yǔ)中編輯選擇框。在用于其程序設(shè)計(jì)的圖形接ロ層次上，用于改變編輯框的語(yǔ)言的Widget Qt 可以是
しomboBox。Choregraphe框的輸入(和輸出)可以是幾種類型:1.“bang”:發(fā)送了信號(hào)2.數(shù)字:輸入檢索數(shù)字、整數(shù)或浮點(diǎn)3.字符串:輸入檢索字符串4.動(dòng)態(tài)。動(dòng)態(tài)類型的輸入(相應(yīng)的輸出)檢索(相應(yīng)地輸出)ALValue。ALValue是NAOQI庫(kù)中描述的常見類型的聯(lián)合，尤其是:整數(shù)、浮點(diǎn)、數(shù)組、布爾型、串以及“bang”，這是ー種未初始化的ALValue。動(dòng)態(tài)型的輸入使得能夠以非常靈活的方式管理應(yīng)用的演化。具體而言，向機(jī)器人的對(duì)話人提供對(duì)模態(tài)間和/或模態(tài)內(nèi)確認(rèn)模式的選擇以及輔助的表達(dá)，以根據(jù)可能選擇的數(shù)量激活他們。于是，在輸入是動(dòng)態(tài)型的條件下，能夠輸入python表格(數(shù)組類型)作為Choregraphe框的輸入。用于實(shí)施本發(fā)明的Choregraphe軟件包括布爾型的框參數(shù)(復(fù)選框)、字符串型(文本框)、可或不可由最終用戶編輯的字符串型的多種選擇(組合框)、整數(shù)或浮點(diǎn)型(滑動(dòng)器)或其他類型。例如，在其行為或應(yīng)用中使用選擇框的程序員能夠點(diǎn)擊或不點(diǎn)擊布爾型參數(shù)“Repeat validated choice” (法語(yǔ)為 “R6p6ter Ie choix valid6”)。這將在交互期間對(duì)NAO的行為有影響，因?yàn)樗x了 NAO是否系統(tǒng)地重復(fù)用戶確認(rèn)的選擇。為了緩解語(yǔ)音識(shí)別的不足，診斷工具使得能夠使語(yǔ)音交互的成功率最大化。于是，在選擇框中，在開發(fā)者在表格中完成其單詞列表時(shí)，他能夠運(yùn)行這種工具，其將指出這些單詞的識(shí)別百分比，100%對(duì)應(yīng)于機(jī)器人將肯定地識(shí)別單詞，0%對(duì)應(yīng)于機(jī)器人將不認(rèn)識(shí)的單詞。通過(guò)比較語(yǔ)音合成所說(shuō)的單詞(假設(shè)其接近用戶將說(shuō)的內(nèi)容)和語(yǔ)音識(shí)別預(yù)期的單詞，進(jìn)行這種診斷。此外，為了使交互的機(jī)會(huì)和自然性最大化，對(duì)于每種選擇，可以定義幾種表達(dá)。于是，為了讓機(jī)器人發(fā)送郵件，開發(fā)者將能夠設(shè)置幾個(gè)短語(yǔ)，例如“發(fā)送郵件”、“發(fā)送消息”或“發(fā)送電子郵件”供用戶自由支配。之后，用戶將在這些各種表達(dá)之間進(jìn)行選擇，以便最終說(shuō)出相同的東西。本發(fā)明的方案還使得能夠解決語(yǔ)音識(shí)別的問(wèn)題，這不會(huì)管理幾個(gè)用戶的存在。人們都知道，在向幾個(gè)人講話時(shí)，交流是困難的，因此他們通過(guò)逐個(gè)講話而調(diào)整。由于存在清晰的單用戶交互代碼而促成這種狀況，例如機(jī)器人使用熟悉的法語(yǔ)“tu”形式。有缺陷的語(yǔ)音識(shí)別要求人-機(jī)器人接口應(yīng)當(dāng)最好地管理尤其是失敗狀況，使用戶在正確時(shí)刻講話(這將涉及到交互代碼)，提供作為對(duì)話替代并更有效的方案。在本發(fā)明的框架之內(nèi)，音頻診斷功能使得能夠解決這種類型的問(wèn)題。讓要測(cè)試的單詞由語(yǔ)音合成軟件發(fā)音，即文本到語(yǔ)音，從而執(zhí)行該功能。然后通過(guò)語(yǔ)音識(shí)別分析這個(gè)單詞。更確切地說(shuō)，將同一單詞發(fā)音例如三次，每次都改變語(yǔ)音速度及其間距，從而具有單詞發(fā)音方式的代表性樣本。然后對(duì)語(yǔ)音識(shí)別返回的三個(gè)識(shí)別率進(jìn)行平均，這個(gè)值就是單詞的估計(jì)識(shí)別百分比。音頻診斷有兩種可能模式:“共同”模式如下工作:由語(yǔ)音識(shí)別聆聽選擇框中記錄的所有單詞，然后NAO如別處所述那樣計(jì)算估計(jì)的識(shí)別率?！爸饌€(gè)”模式如下工作:對(duì)于給定線路，由語(yǔ)音識(shí)別聆聽要分析的單詞，以及其他線路上的其他可能選擇，但不是位于與其相同的線路上的其替代。這種診斷的好處是:如果兩個(gè)“同義詞”彼此類似，例如，“ coucou ! ”和“coucou toi ! ”，估計(jì)的識(shí)別率將不會(huì)像“共同”模式中那樣低(識(shí)別率將非常差，因?yàn)樗鼈兂３１徽Z(yǔ)音識(shí)別搞混亂)。實(shí)際上，如果機(jī)器人將兩個(gè)同義詞搞混了，那不是嚴(yán)重的情況。一旦在每條線路上執(zhí)行了診斷，就按照估計(jì)識(shí)別率的遞減順序布置同義詞，在線路的末尾記錄最好同義詞的識(shí)別率。于是，編程選擇框以在機(jī)器人不確信正確識(shí)別或解釋它時(shí)讓用戶確認(rèn)其答案。這種機(jī)制與聽力有缺陷的人或陷入難以提出其理解的環(huán)境的人使用的相同。根據(jù)對(duì)用戶答案的理解水平，機(jī)器人將具有不同的反應(yīng)。然后可以根據(jù)識(shí)別軟件計(jì)算的識(shí)別置信度固定幾個(gè)閾值(例如，定義為對(duì)圖5注釋的閾值SI和S2):例如，在未達(dá)到第一識(shí)別閾值SI時(shí)，機(jī)器人要求玩家重復(fù)其答案；在達(dá)到第一閾值SI但未達(dá)到更高的第二閾值S2時(shí)，機(jī)器人將提出問(wèn)題，回答該問(wèn)題將能夠解決該疑惑。機(jī)器人也可以提供幫助，使得用戶正確回答機(jī)器人:它能夠給出可能選擇的列表，指出與其交互的含義，重復(fù)提出的問(wèn)題(如果有的話)。交互代碼對(duì)于減輕語(yǔ)音識(shí)別的缺陷也是非常有用的。實(shí)際上，語(yǔ)音識(shí)別不能在機(jī)器人講話時(shí)向它講話，運(yùn)行語(yǔ)音識(shí)別和其實(shí)際工作相當(dāng)長(zhǎng)時(shí)間的時(shí)刻之間有滯后。于是在運(yùn)行語(yǔ)音識(shí)別時(shí)播放音頻代碼，向用戶表示他可以講話了。之后，相當(dāng)直觀的視覺(jué)代碼，即旋轉(zhuǎn)的耳朵LED,讓用戶知道機(jī)器人在聆聽。使用語(yǔ)音識(shí)別的UI元件還向這種語(yǔ)音識(shí)別提供了替代手段，以允許用戶甚至在重復(fù)理解問(wèn)題的情況下(這可能是由于例如極端噪聲環(huán)境)也成功傳送。這些替代手段可以是觸覺(jué)、聽覺(jué)、 視覺(jué)等。例如，選擇框允許用戶利用觸覺(jué)傳感器選擇答案:按下前部傳感器使其能夠在選擇列表中前進(jìn)(機(jī)器人然后指出每個(gè)選擇)，按下后部傳感器使其能夠在這個(gè)列表中后退，按下中央傳感器使其能夠確認(rèn)其選擇。還可以想到機(jī)器人指出各種選擇，用戶在聽到他希望確認(rèn)的選擇時(shí)說(shuō)“OK”。否則，為了確認(rèn)，并不是說(shuō)“是”或“否”，用戶能夠按下機(jī)器人手臂之一。用于被定義為對(duì)圖5的注釋的各種類型1、2、3的通信通道輸入/輸出的控制模塊使得能夠以簡(jiǎn)單而用戶友好的方式產(chǎn)生用于通過(guò)選擇框的各種輸入/輸出之間的鏈路管理這些組合的功能。通常，本發(fā)明的方案提出接ロ的人性化，模擬人-人接ロ。我們知道，在兩個(gè)人之間直接通信期間有三個(gè)主要因素開始起作用:語(yǔ)音，當(dāng)然是指所說(shuō)的單詞，而且還有語(yǔ)音的音調(diào)和視覺(jué)要素。作為證據(jù)，通過(guò)在其整個(gè)演化內(nèi)觀察間接通信的手段，例如書寫或即時(shí)消息，能夠非常清楚地看清楚如何能夠作為一般方式通過(guò)增加對(duì)直接通信的替代，諸如標(biāo)點(diǎn)或新近的笑臉?lè)麃?lái)緩解對(duì)話中信息的缺乏。在所有情況下，盡管當(dāng)前有很大的技術(shù)進(jìn)步，但在人-機(jī)器人通信中這些基本元素仍然難以替代。不過(guò)，能夠找到人為的替代改善對(duì)話的再現(xiàn)。機(jī)器人的語(yǔ)音合成和語(yǔ)音識(shí)別允許等效語(yǔ)音。因此它們是其與人通信的基礎(chǔ)。類人機(jī)器人的另ー個(gè)優(yōu)點(diǎn)是，能夠表現(xiàn)出大部分對(duì)話的視覺(jué)要素，即姿態(tài)和面部表情。實(shí)際上，盡管它是擬人主體，其位移不如帶輪機(jī)器人容易，但其姿態(tài)基于人類行為可以更容易，因此與人類運(yùn)動(dòng)一祥容易解釋。因此能夠更容易地進(jìn)行通信。盡管如此，具有固定面部和音調(diào)的機(jī)器人仍然缺少語(yǔ)音的音調(diào)和面部表情。不過(guò)，這兩個(gè)要素由其他功能、傳送這些要素的代碼來(lái)補(bǔ)償。它們需要用戶或多或少冗長(zhǎng)的學(xué)習(xí)。然后，目標(biāo)是使得這種學(xué)習(xí)盡可能短，因此，使得代碼盡可能與用戶已經(jīng)知道的一致且接近。通過(guò)調(diào)整Ben Shneiderman 在其著作 Designing the User Interface:Strategies for Effective Human-Computer Interaction(1997 年出版:http://www.cs.umd.edu/hcil/pubs/books/dtu1.shtml)中指出并通常應(yīng)用于圖形界面的人機(jī)工程學(xué)基本法則，實(shí)現(xiàn)簡(jiǎn)單的一致代碼并因此實(shí)現(xiàn)自然和流暢的交互作用。這些法則指出以下原理:代碼和接口元件的相關(guān)性，高級(jí)用戶的快捷方式的存在，所執(zhí)行動(dòng)作上存在的即時(shí)返回，對(duì)話的明確結(jié)束，誤差的簡(jiǎn)單管理，反饋的可能性，用戶必須感到他自己在交互期間是主人，最后，用戶短期存儲(chǔ)器的較小激勵(lì)。語(yǔ)音識(shí)別和合成是有局限的，尤其是通過(guò)沒(méi)有自然語(yǔ)言和僅僅單個(gè)用戶識(shí)別使得能夠僅識(shí)別有限數(shù)量的單詞。本發(fā)明的方案解決了機(jī)器人不使用自然語(yǔ)言的問(wèn)題，以便提供充分自然的人-機(jī)器人交互。已經(jīng)指出，最好的使用是由機(jī)器人的語(yǔ)音合成實(shí)現(xiàn)的。需要指出，使用語(yǔ)音合成和/或識(shí)別的機(jī)器人的大部分UI元件是分成地區(qū)的。于是，講法語(yǔ)的(對(duì)應(yīng)于講英語(yǔ)的)用戶將能夠用法語(yǔ)與其機(jī)器人對(duì)話(相應(yīng)地用英語(yǔ))，從而使得交互的成功最大化。之后，由定時(shí)和交互代碼做出最好的使用，以便改善機(jī)器人的反應(yīng)性并促成人-機(jī)器人通信的成功。于是，選擇框提出幾個(gè)參數(shù)，例如來(lái)自用戶的答案的等待時(shí)間。于是確保了機(jī)器人在考慮用戶根本未回答之前無(wú)需等待太長(zhǎng)時(shí)間，而且其等待足夠久以便能夠在適當(dāng)?shù)臅r(shí)候激活語(yǔ)音識(shí)別。交互代碼可以是姿態(tài)、聲音和/或視覺(jué)。于是，用于語(yǔ)音識(shí)別的聲音嘟嘟聲讓用戶知道機(jī)器人不再聆聽他。此外，在本發(fā)明的方案中，利用不同模態(tài)的幾種通信通道，尤其是機(jī)器人一方的行為，更自然地實(shí)現(xiàn)了通信。于是，使用聲測(cè)定位和面部檢測(cè)(尤其是其位置)允許機(jī)器人向人類對(duì)話者轉(zhuǎn)頭，在尋找另ー個(gè)人時(shí)這似乎是既成事實(shí)。機(jī)器人還能夠進(jìn)行對(duì)話人身份識(shí)別(面部識(shí)別、語(yǔ)音的音色、聲紋等)，以便尋找某人，尤其是利用其姓名、其特有的特性，例如，機(jī)器人進(jìn)行過(guò)的會(huì)話和行為的歷史記錄。機(jī)器人還能夠根據(jù)用戶是否碰到其觸覺(jué)傳感器(像人一樣的行為)知道用戶對(duì)其行為想到了什么，然后在例如語(yǔ)言通信期間播放它。機(jī)器人將試圖以適于狀況的方式動(dòng)作。于是，它能夠播放動(dòng)畫，使用其LED并廣播聲音，由此允許它模擬在人講話時(shí)(利用人的手勢(shì)講話等)做出的本能姿態(tài)。機(jī)器人還可以點(diǎn)頭。幾項(xiàng)研究，尤其是由Justine Cassell在其文章Social Dialogue With EmbodiedConversational Agents (2005年發(fā)表)中做出的研究:http: //citeseerx.1st.psu.edu/viewdoc/download doi=10.1.1.124.9853&rep=repl&type=pdf)，能夠證明，在機(jī)器或化身做出點(diǎn)頭動(dòng)作時(shí)，即使是在隨機(jī)做出時(shí)，人會(huì)認(rèn)為這個(gè)機(jī)器或化身似乎對(duì)談話更加感興趣。所有這些姿態(tài)信號(hào)(例如用頭部、手臂或手表示贊成或不同意)、聲音信號(hào)、交互的時(shí)序、對(duì)話人的位置或檢測(cè)到用戶的意圖(他正在前進(jìn)或后退)使得能夠通過(guò)使其更接近慣常的人類代碼而使得人-機(jī)器人交互更加自然和有效。它們因此還解決了與限制性語(yǔ)音識(shí)別相關(guān)的一些問(wèn)題。它們是本發(fā)明的優(yōu)點(diǎn)之一。圖8到13的屏幕快照描述了可以編程N(yùn)AO機(jī)器人和對(duì)話人之間對(duì)話的幾種情況的方式。為了在行為中使用選擇框，必須要將其從Choregraphe的默認(rèn)庫(kù)拖放到圖表中(圖8a)。增加了 LocalizedText框,這將允許在法語(yǔ)和英語(yǔ)中編輯問(wèn)題。在LocalizedText框的文本插件中用英語(yǔ)書寫問(wèn)題“你最喜歡什么動(dòng)物？”(圖Sb)。還希望用法語(yǔ)編輯該問(wèn)題。因此，使用框的插件的組合框，并選擇法語(yǔ)。(圖Sc)。然后在文本插件中，在其未被編輯時(shí)是空的，用法語(yǔ)寫入該問(wèn)題的文本:“Quel est ton animal prefere (圖8d)。必須要將該問(wèn)題輸入到選擇框中，以便由機(jī)器人適當(dāng)管理。將LocalizedText框的輸出鏈接到選擇框的onStart輸入(圖Se)?，F(xiàn)在將用英語(yǔ)編輯選擇，如選擇框的組合框所示。從框中取消默認(rèn)選擇。在表格的第一 行中寫入第一選擇“穿山甲”(圖9a)。在第二行中，提出另一種動(dòng)物:“蜘蛛”，但添加同義詞“狼蛛”，與蜘蛛由斜線“/”隔開。這表示機(jī)器人認(rèn)為蜘蛛和狼蛛是同義的(圖％)。通過(guò)增加例如“兔子”和“小型馬”結(jié)束選擇的編輯。要指出的是，在增加選擇時(shí)行數(shù)自動(dòng)調(diào)整(圖9c)。組合框用于將用于編輯選擇框的語(yǔ)言切換到法語(yǔ)(圖9d)。就像對(duì)英語(yǔ)那樣，書寫選擇的列表，于是獲得:“穿山甲”、“araigr^e/tarentule”、“兔子”和“小型馬”(圖9d)。不過(guò)我們不知道機(jī)器人是否將確實(shí)識(shí)別這些選擇。然后我們希望運(yùn)行音頻診斷功能。點(diǎn)擊“加”(圖10a)。然后點(diǎn)擊評(píng)估圖標(biāo)(圖10b)。對(duì)于每行，評(píng)估單詞(圖10c)。對(duì)于同義詞而言，將最好的放在開始，那么所示的百分比是最好同義詞的結(jié)果。完成音頻診斷，然后看出“poney”有識(shí)別很差的風(fēng)險(xiǎn)(圖10d)。然后決定改變單詞并以“cheval”取代(圖11a)。重新運(yùn)行診斷?！癈heval”獲得82%的優(yōu)異分?jǐn)?shù)，保持它(圖lib)。切換回英語(yǔ)，并在英語(yǔ)單詞上運(yùn)行診斷(圖12a，12b)。然后向“pony”添加同義詞“horse”，作為“cheval”的翻譯(圖12c)。重新運(yùn)行診斷，要指出的是，已經(jīng)將分?jǐn)?shù)比“pony”更好的“horse”自動(dòng)放在了第一位置(圖12d)?，F(xiàn)在將編輯可以調(diào)節(jié)的參數(shù)。點(diǎn)擊位于選擇框左下方的拇指輪按鍵(圖13a)。參數(shù)化窗口打開(圖13b);在布爾型參數(shù)“激活手臂”上打鉤(圖13c)。于是，機(jī)器人將在其講話時(shí)移動(dòng)其手臂。點(diǎn)擊OK以確認(rèn)這個(gè)新的參數(shù)化。
將行為的一般輸入鏈接到LocalizedText框的輸入，將選擇框的輸出鏈接到行為的輸出(圖13d)?，F(xiàn)在將描述像上文所述范例中那樣編程的軟件程序的示范性操作。利用Choregraphe圖標(biāo)“enslave all motors on/off ”操控機(jī)器人,然后利用姿態(tài)庫(kù)的“init pose”位置使其直立。利用其網(wǎng)頁(yè)上提供的參數(shù)將機(jī)器人的語(yǔ)言設(shè)置為法語(yǔ)。利用Choregraphe的Play圖標(biāo)在機(jī)器人上啟動(dòng)該行為。移動(dòng)其手臂，機(jī)器人詢問(wèn)“你最喜歡什么動(dòng)物？ ”，然后啟動(dòng)聆聽聲音信號(hào)。在機(jī)器人聆聽時(shí)，它的眼睛變?yōu)樗{(lán)色，它耳朵也是如此，其頭部的觸覺(jué)傳感器閃爍藍(lán)色。用戶然后回答“dolphin”。在NAO分析剛才說(shuō)了什么時(shí)，它的眼睛變?yōu)辄S色。它不理解答案:其眼睛閃爍紅色兩次，其耳朵為藍(lán)色。它說(shuō)“我不理解。你能夠回答:穿山甲、蜘蛛、兔子或馬。你最喜歡什么動(dòng)物？ ”，同時(shí)移動(dòng)其手臂并返回到聆聽狀態(tài)。用戶然后回答“rabbit”。機(jī)器人不能確信，但相信其理解為穿山甲。其眼睛閃爍綠光兩次。然后在活潑移動(dòng)其手臂的同時(shí)說(shuō)“我理解為穿山甲，對(duì)嗎？ ”。用戶回答“不對(duì)”。機(jī)器人將其眼睛閃爍紅光一次并啟動(dòng)幫助輔助，同時(shí)移動(dòng)其手臂:“pangolin，spider，rabbit，或horse 你也可以在我的觸覺(jué)傳感器幫助下選擇答案。你最喜歡什么動(dòng)物？”，然后它返回到聆聽模式。用戶然后按在前部觸覺(jué)傳感器上，機(jī)器人使其眼睛閃爍藍(lán)光一次并說(shuō)“pangolin”。接下來(lái)，用戶再次按下，機(jī)器人回答“spider”，同時(shí)使其眼睛閃爍藍(lán)光一次。機(jī)器人第三次說(shuō)“rabbit”，其眼睛閃爍藍(lán)光。用戶然后按下中央的觸覺(jué)傳感器以確認(rèn)其選擇。機(jī)器人使其眼睛閃爍綠光一次，然后重復(fù)“rabbit”并退出框和行為。機(jī)器人通信通道之間的其他交互是可能的，例如下文中所述那些。選擇框以有利地方式使用語(yǔ)音識(shí)別，結(jié)合觸覺(jué)傳感器，以便識(shí)別用戶的選擇。另ー種可能性是使用機(jī)器人的視覺(jué)，尤其`是圖像識(shí)別。這是目標(biāo)識(shí)別而不是概念識(shí)別:如果它被示為瓶子，它將識(shí)別這同一牌子而不是另ー個(gè)牌子的。開發(fā)軟件在其版本中使其能夠?qū)嵤┍景l(fā)明的可能性之一是在這個(gè)軟件中具有機(jī)器人的攝像頭返回。用戶能夠顯示機(jī)器人對(duì)象，看到在Choregraphe中獲得的圖像，并在手邊識(shí)別圖像中感興趣的對(duì)象。用戶為其命名。機(jī)器人然后分析對(duì)象并在其圖像的數(shù)據(jù)庫(kù)中存儲(chǔ)它。用戶然后能夠使用這些圖像作為選擇框的可能選擇。例如，如果用戶希望利用對(duì)象名稱填寫選擇框，例如“瓶子”、“杯子”、“雜志”。它利用這些單詞填寫選擇框，然后拿瓶子、他最喜歡的杯子和雜志的封面，井向機(jī)器人展示它們，使其如前所述分析它們。選擇框然后在整個(gè)機(jī)器人的圖像數(shù)據(jù)庫(kù)中捜索:如果存在表示為“杯子”的對(duì)象，NAO然后在用戶聽到的同時(shí)搜索它，對(duì)另一個(gè)單詞這樣做等等。于是，用戶啟動(dòng)其在NAO上的這個(gè)框，聆聽其選擇。用戶說(shuō)“瓶子”，但機(jī)器人不理解。在兩次之后，機(jī)器人解釋其能夠?yàn)樗@示“瓶子”、“杯子”和“雜志”，因?yàn)樗鼈冊(cè)谒臄?shù)據(jù)庫(kù)中。用戶能夠在聆聽的同時(shí)顯示用于記錄(或同一牌子)的瓶子。機(jī)器人然后如同已識(shí)別單詞“瓶子”那樣行動(dòng)。在本發(fā)明的框架之內(nèi)，還能夠?qū)C(jī)器人編程使其充當(dāng)用于接收/閱讀、書寫/發(fā)送以及管理機(jī)器人用戶的消息帳戶的代理。在下文中描述了本申請(qǐng)。利用郵件應(yīng)用程序，NAO尤其能夠閱讀電子郵件，答復(fù)電子郵件或向聯(lián)系人發(fā)送電子郵件，而且添加向聯(lián)系人接收的郵件的作者，刪除消息，將其標(biāo)記為未讀，重讀它，閱讀下ー個(gè)或前ー個(gè)消息。
在本申請(qǐng)中使用了三個(gè)選擇框，于是使其成為不可缺少的元件。已經(jīng)利用音頻診斷選擇了單詞。在應(yīng)用運(yùn)行時(shí)，機(jī)器人通過(guò)查看用戶是否接收到新消息而開始。如果是這樣的話，它閱讀第一個(gè)新消息，然后運(yùn)行沒(méi)有問(wèn)題的選擇框。如果不是，它運(yùn)行這同一選擇框，但具有問(wèn)題:“你希望我做什么？ ”。因此在郵件應(yīng)用程序中利用了能夠運(yùn)行有或者沒(méi)有問(wèn)題的選擇框的事實(shí)。這個(gè)選擇框允許用戶從NAO的可能動(dòng)作中做出選擇。這些動(dòng)作是在框的插件表格中編寫的。“超時(shí)”選擇框輸出是有用的，因?yàn)閷?duì)于超時(shí)而言，NAO閱讀下一個(gè)消息。然后將參數(shù)“無(wú)答復(fù)時(shí)的最大重復(fù)次數(shù)”設(shè)置為1:機(jī)器人在第一次超時(shí)時(shí)退出這個(gè)選擇框。此外，使參數(shù)“重復(fù)確認(rèn)的選擇”無(wú)效，因?yàn)樵谟脩暨x擇之后，機(jī)器人運(yùn)行特定的動(dòng)畫或動(dòng)作，清楚地示出了它理解了什么。利用布爾型參數(shù)“激活頭部”、“激活手臂”和“激活腿”，將利用針對(duì)其宣告調(diào)節(jié)的動(dòng)畫激勵(lì)機(jī)器人。例如，這個(gè)框的可能選擇是:-記錄答復(fù)/對(duì)這個(gè)郵件的答復(fù)/對(duì)郵件的答復(fù)/答復(fù)；-再次閱讀/重讀這個(gè)郵件/重讀郵件/重讀；-下一個(gè)/閱讀下一個(gè)/閱讀下一個(gè)郵件；-前一個(gè)/閱讀前一個(gè)郵件/閱讀前一個(gè)消息；-標(biāo)記為未讀/保持/稍后重讀；-刪除/刪除郵件/刪除消息；-寫郵件/發(fā)送郵件/發(fā)送；-添加到聯(lián)系人；-退出/離開/通過(guò)/停止/停止/取消/安靜:“退出”是選擇框的默認(rèn)選擇之一，使得這里能夠退出郵件應(yīng)用程序。如果用戶選擇“寫郵件”選項(xiàng)，他必須首先從其地址薄選擇聯(lián)系人。為了執(zhí)行這個(gè)選擇功能，使用具有問(wèn)題“你希望給誰(shuí)寫信？ ”的選擇框。選擇的列表是可變的。因此，未填充選擇框的表格，從保存它的文件檢索聯(lián)系人列表并發(fā)送到動(dòng)態(tài)型選擇框的“choicesList”輸入。此時(shí)，激活參數(shù)“重復(fù)確認(rèn)的選擇”，以向用戶指出NAO確實(shí)理解了向誰(shuí)發(fā)送消息。例如，將參數(shù)“無(wú)答復(fù)時(shí)最大重復(fù)次數(shù)”設(shè)置為3，即其默認(rèn)值，以便在超時(shí)的情況下不向任何人發(fā)送郵件，但確實(shí)能夠取消郵件的發(fā)送并返回主菜單。同樣地，說(shuō)“退出”，即應(yīng)用的默認(rèn)選擇，使得能夠返回到主菜單。幫助功能用于用戶不再記得其聯(lián)系人的情況下。在這種情況下，利用觸覺(jué)傳感器，例如，NAO指出聯(lián)系人的列表。假設(shè)在這種直接發(fā)送郵件的情況下，或者在答復(fù)所接收的消息的情況下，機(jī)器人將記錄用戶的消息。一旦完成了消息，機(jī)器人重讀記錄的消息，然后啟動(dòng)選擇框，其例如提出以下各種交互作用:-重放它/重放消息/重放我的消息:NA0重讀消息。-重新記錄消息/重新記錄我的消息/重新記錄它:如果第一個(gè)不適合，可以重新記錄消息；-不要發(fā)送它/不要發(fā)送/不要發(fā)送消息:NA0將不會(huì)發(fā)送消息，然后將返回到應(yīng)用的先前層次；-發(fā)送它/發(fā)送消息/發(fā)送我的消息:NA0將發(fā)送消息；-在超時(shí)的情況下，發(fā)送消息；-在從不超時(shí)的框“其他”退出的情況下，例如利用重復(fù)請(qǐng)求退出或失敗，應(yīng)用返回到先前的水平。參數(shù)與主菜單的選擇框基本相同，將參數(shù)“無(wú)答復(fù)時(shí)的最大重復(fù)次數(shù)”設(shè)置為I。例如，可以將表示機(jī)器人將多少次無(wú)答復(fù)之后視為超時(shí)的參數(shù)“語(yǔ)音識(shí)別超吋”和“確認(rèn)時(shí)語(yǔ)音識(shí)別超吋”設(shè)置為4秒而非默認(rèn)的6秒，使得用戶能夠容易什么都不說(shuō)而讓消息發(fā)送。也可以在靜態(tài)方式中利用在使用框期間為常數(shù)的配置選擇框。但在使用系統(tǒng)自動(dòng)產(chǎn)生問(wèn)題的范圍內(nèi)，可以自動(dòng)調(diào)節(jié)參數(shù)。例如，在使用諸如Angel公司開發(fā)的對(duì)話代理的范圍之內(nèi)，所述代理能夠根據(jù)其將自動(dòng)產(chǎn)生的問(wèn)題-答案配置選擇框。已經(jīng)為Choregraphe的行為開發(fā)軟件做出了其他改善，尤其是便于實(shí)施本發(fā)明。在下文中給出了其描述。利用支持的程序設(shè)計(jì)語(yǔ)言之一的腳本來(lái)實(shí)施Choregraphe框。如果這個(gè)框具有特定的可參數(shù)化方面，例如重復(fù)次數(shù)，直接將機(jī)器人使用的語(yǔ)言、機(jī)器人必須要講的文本、這些條信息集成到框的腳本中。在希望修改框的參數(shù)時(shí)，例如在復(fù)制它以便以不同方式使用其之后，必須要修改框中的腳本以便改變其行為。由于這是普通的操作，對(duì)所用腳本語(yǔ)言沒(méi)有透徹了解的用戶希望執(zhí)行該操作，還改善Choregraphe用戶的生產(chǎn)率，已經(jīng)開發(fā)了專用接ロ以便能夠配置框的腳本。這個(gè)功能有兩個(gè)方面。在Choregraphe接口中，用戶具有在窗口中與其能夠?yàn)榭騽?chuàng)建輸入和輸出以相同方式創(chuàng)建“框參數(shù)”的可能性，用于編輯框的屬性。每個(gè)“框參數(shù)”具有名稱、描述、類型(布爾型、整型、浮點(diǎn)和字符串)并作為類型的函數(shù)，具有額外屬性，例如默認(rèn)值。最后，可以將“框參數(shù)”定義為從父框繼承，這將影響將確定值的方式。一旦已經(jīng)定義了 “框參數(shù)”，就在其圖表中顯示該框，在其左下角具有額外的視覺(jué)指示器。當(dāng)用戶在這個(gè)圖標(biāo)上點(diǎn)擊時(shí)，“框參數(shù)”編輯會(huì)話打開，用戶能夠在“框參數(shù)”屬性中定義的任選約束的范圍之內(nèi)，定義與每個(gè)“框參數(shù)”相關(guān)聯(lián)的值。在框的腳本中，框的作者今后能夠借助于幾種功能，以“框參數(shù)”的名稱作為變量，訪問(wèn)“框參數(shù)”。它能夠參考“框參數(shù)”的當(dāng)前值并改變它。它還能夠創(chuàng)建動(dòng)態(tài)的“框參數(shù)”，這將不出現(xiàn)在Choregraphe中，但其將能夠充當(dāng)框腳本中的暫時(shí)存儲(chǔ)器。參數(shù)的當(dāng)前值取決于將其標(biāo)記為從父框繼承與否的事實(shí)。如果不是這樣(默認(rèn)情況)，“框參數(shù)”對(duì)于框是特有的，在框的腳本咨詢它時(shí)，簡(jiǎn)單地返回其當(dāng)前值。如果其被標(biāo)記為繼承，在閱讀其值期間，在框圖表的分級(jí)結(jié)構(gòu)內(nèi)返回，直到找到包含同名“框參數(shù)”的父框?yàn)橹?。如果未發(fā)現(xiàn)任何結(jié)果，使用當(dāng)前框的當(dāng)前值。此外，機(jī)器人可以使用軟件模塊，允許其識(shí)別進(jìn)入其攝像頭視場(chǎng)的對(duì)象。不過(guò)，必須首先在學(xué)習(xí)階段中學(xué)習(xí)要識(shí)別的對(duì)象。這種學(xué)習(xí)是在Choregraphe中專用接ロ的幫助下進(jìn)行的。這個(gè)接ロ實(shí)時(shí)顯示由機(jī)器人的攝像頭發(fā)送的視頻。僅在Choregraphe連接到具有攝像頭和正確配置的視頻拍攝模塊時(shí)才有圖像。在激活視頻顯示器時(shí)，用戶能夠觸發(fā)學(xué)習(xí)。圖像上然后出現(xiàn)遞減計(jì)數(shù)，用戶然后具有例如4秒以在攝像頭前呈現(xiàn)對(duì)象。在遞減計(jì)數(shù)結(jié)束時(shí)，拍攝并記錄圖像。用戶然后必須通過(guò)在固定圖像上繪制多邊形來(lái)勾勒出圖像中的研究對(duì)象。一旦多邊形閉合，會(huì)話打開，要求用戶輸入定義對(duì)象的關(guān)鍵字。每次學(xué)習(xí)都在數(shù)據(jù)庫(kù)中產(chǎn)生條目，由Choregraphe保存在用戶的計(jì)算機(jī)上。一旦完成學(xué)習(xí)，按鈕使得能夠向機(jī)器人發(fā)送數(shù)據(jù)庫(kù)的削減版本。對(duì)象識(shí)別模塊然后將使用這個(gè)數(shù)據(jù)庫(kù)，然后識(shí)別對(duì)象，將在機(jī)器人上觸發(fā)包含關(guān)聯(lián)關(guān)鍵字的事件。Choregraphe還是機(jī)器人行為的編輯器。如上文作為圖4的注釋所述，行為是類似于計(jì)算機(jī)程序的對(duì)象，可以由機(jī)器人執(zhí)行。為了在機(jī)器人上安裝并執(zhí)行這些行為，已經(jīng)開發(fā)了一種接口用于管理機(jī)器人上的行為。在Choregraphe連接到機(jī)器人時(shí)，應(yīng)用菜單的條目使得能夠顯示行為管理器。這是一種模式窗口，顯示機(jī)器人上安裝的行為列表以及一組用于操縱它們的按鈕。對(duì)于每個(gè)安裝的行為，顯示其名稱、其狀態(tài)(正在執(zhí)行否)以及定義啟動(dòng)機(jī)器人時(shí)是否必須執(zhí)行行為的屬性。為了啟動(dòng)/停止行為，點(diǎn)擊顯示其當(dāng)前狀態(tài)的圖標(biāo)就足夠了，其效果是來(lái)回切換狀態(tài)。一旦完成了行為，狀態(tài)就自動(dòng)切換到“已停止”。屬性“啟動(dòng)時(shí)開始”是要勾選的框。它表示屬性的當(dāng)前值，用戶能夠簡(jiǎn)單地在其上點(diǎn)擊以改變這個(gè)值。行為列表旁邊并排顯示的按鈕使得能夠增加一些、刪除一些以及向用戶的計(jì)算機(jī)轉(zhuǎn)移一些。用戶然后能夠非常容易地操作機(jī)器人上安裝的行為，如同它們是其計(jì)算機(jī)上的文件那樣。具體而言，用戶能夠下載行為，修改它并在機(jī)器人上安裝它，無(wú)需在其計(jì)算機(jī)上記錄它。然后能夠在時(shí)間相干性的約束下，在各種行為框、行為幀和時(shí)間線定義的行為之間，并行地執(zhí)行用戶安裝的行為。通過(guò)例示本發(fā)明的實(shí)施例給出了上文描述的范例。它們不以任何方式限制本發(fā)明的范圍，其范圍是由隨后的權(quán)利要求界定的。
權(quán)利要求
1.一種類人機(jī)器人，包括至少兩個(gè)通道和控制模塊，所述至少兩個(gè)通道用于根據(jù)不同的模態(tài)與至少ー個(gè)對(duì)話人(541, 542)自然傳送消息(521，522，523，531，532，533)，所述至少兩個(gè)通道均是從包括接收通道、發(fā)送通道的ー組通道選擇的，所述控制模塊(510)用于所述通道的輸入/輸出，其中所述控制模塊被配置成基于執(zhí)行從ー組功能選擇的至少ー個(gè)功能改善對(duì)所述機(jī)器人接收的消息的理解，所述ー組功能包括組合第一通道和第二通道上接收/發(fā)送的消息的功能以及發(fā)送基于在通道上接收的第一消息產(chǎn)生的第二消息的功能。
2.根據(jù)權(quán)利要求1所述的類人機(jī)器人，其中所述通信通道是從ー組用于發(fā)送和/或接收聽覺(jué)、視覺(jué)、觸覺(jué)、姿態(tài)、位置或符號(hào)消息的通信通道選擇的。
3.根據(jù)權(quán)利要求2所述的類人機(jī)器人，其中第一通信通道是聲音發(fā)送通道，第二通信通道是用于由所述至少一個(gè)對(duì)話人從所述機(jī)器人的至少ー個(gè)部分接收姿態(tài)和/或位置的通道，所述姿態(tài)和/或位置代表所述對(duì)話人向所述機(jī)器人傳送的輸入，所述輸入的規(guī)格由所述機(jī)器人通過(guò)在所述第一通道上發(fā)送的消息向所述對(duì)話人定義。
4.根據(jù)權(quán)利要求3所述的類人機(jī)器人，還包括第三觸覺(jué)通信通道，其中所述對(duì)話人通過(guò)所述第三觸覺(jué)通信通道驗(yàn)證進(jìn)入所述第二通道的輸入。
5.根據(jù)權(quán)利要求2所述的類人機(jī)器人，其中第一通信通道是用于接收聲音消息的通道，第二通信通道是用于發(fā)送聲音消息的通道，并且所述控制模塊能夠評(píng)估所述機(jī)器人對(duì)所述第一通道上接收的第一消息理解的置信水平，并在所述第二通道上產(chǎn)生其內(nèi)容取決于所述置信水平的至少ー個(gè)第二消息。
6.根據(jù)權(quán)利要求5所述的類人機(jī)器人，其中所述第一通道包括過(guò)濾器，用于對(duì)表達(dá)列表接收的消息進(jìn)行語(yǔ)音識(shí)別，每個(gè)表達(dá)與預(yù)期識(shí)別率相關(guān)聯(lián)，并且所述第二消息的內(nèi)容是通過(guò)從ー組請(qǐng)求啟發(fā)而選擇的，所述ー組請(qǐng)求包括重復(fù)所述第一通道上的所述第一消息的請(qǐng)求、由所述對(duì)話人要在所述第一通道上發(fā)送的第三消息來(lái)確認(rèn)所述過(guò)濾器的所述表達(dá)的子集的請(qǐng)求、以及由所述對(duì)話人至少在第三通道上發(fā)送至少另ー個(gè)消息的請(qǐng)求。
7.根據(jù)權(quán)利要求6所述的類人機(jī)器人，還被配置成在所述第二通道上發(fā)送在所述第一通道上開始聆聽的信號(hào)，以便確保在半雙エ模式中對(duì)所述第一通道和所述第二通道上的消息進(jìn)行排序。
8.根據(jù)權(quán)利要求6所述的類人機(jī)器人，其中所述選擇啟發(fā)是實(shí)際識(shí)別率相對(duì)于基于預(yù)期識(shí)別率確定的閾值的位置的函數(shù)。
9.根據(jù)權(quán)利要求6所述的類人機(jī)器人，其中所述第三通道是用于觸覺(jué)接收的通道或用于從所述機(jī)器人的一部分接收姿態(tài)的通道。
10.根據(jù)權(quán)利要求5-9所述的類人機(jī)器人，還包括用干與電子郵件系統(tǒng)連接的模塊，所述連接模塊允許所述電子系統(tǒng)上的賬戶的持有者使用所述機(jī)器人作為代理，以在所述第二通道上接收/閱讀電子消息，在所述第一通道上書寫/發(fā)送并利用所述第一通道和所述第二通道通過(guò)對(duì)話管理所述賬戶。
11.根據(jù)權(quán)利要求6所述的類人機(jī)器人，其中所述第三通道是用于對(duì)與所述第一通道的過(guò)濾器的表達(dá)列表對(duì)應(yīng)的對(duì)象的圖像進(jìn)行視覺(jué)接收，所述圖像與利用所述表達(dá)先前記錄的所述對(duì)象的圖像的數(shù)據(jù)庫(kù)進(jìn)行比較，所述數(shù)據(jù)庫(kù)能夠由所述控制模塊訪問(wèn)，用于所述通信通道的輸入/輸出。
12.根據(jù)權(quán)利要求2所述的類人機(jī)器人，其中第一通信通道是用于接收視覺(jué)消息的通道，第二通信通道是用于發(fā)送聲音消息的通道，并且所述控制模塊能夠評(píng)估所述機(jī)器人對(duì)所述第一通道上接收的第一消息理解的置信水平，并在所述第二通道上產(chǎn)生其內(nèi)容取決于所述置信水平的至少一個(gè)第二消息。
13.根據(jù)權(quán)利要求12所述的類人機(jī)器人，其中所述第一通道包括過(guò)濾器，用于識(shí)別表達(dá)列表接收的消息的圖像，每個(gè)表達(dá)與預(yù)期識(shí)別率相關(guān)聯(lián)，并且所述第二消息的內(nèi)容是通過(guò)從一組請(qǐng)求啟發(fā)而選擇的，所述一組請(qǐng)求包括重復(fù)所述第一通道上的所述第一消息的請(qǐng)求、由所述對(duì)話人在用于接收所述過(guò)濾器的所述表達(dá)的子集的聲音消息的第三通道上發(fā)送的第三消息進(jìn)行確認(rèn)的請(qǐng)求、以及由所述對(duì)話人至少在第四通道上發(fā)送至少另一個(gè)消息的請(qǐng)求。
14.根據(jù)權(quán)利要求1-13之一所述的類人機(jī)器人，其中所述通道中的至少一個(gè)是混合通道，所述混合通道接收由所述控制模塊合并的兩個(gè)通道的輸出作為輸入，以用于輸入和輸出。
15.一種控制類人機(jī)器人與至少一個(gè)對(duì)話人通信的方法，包括通信通道使用不同的模態(tài)進(jìn)行消息傳送的至少兩個(gè)步驟，所述兩個(gè)步 驟均是從包括從接收通道、發(fā)送通道的一組通道中選擇的，及控制所述通道的輸入/輸出的步驟，其中所述控制步驟被配置成基于執(zhí)行從一組功能選擇的至少一個(gè)功能改善對(duì)所述機(jī)器人接收的消息的理解，所述一組功能包括組合第一通道和第二通道上接收/發(fā)送的消息的功能以及發(fā)送基于在通道上接收的第一消息產(chǎn)生的第二消息的功能。
16.一種包括程序代碼指令的計(jì)算機(jī)程序，在計(jì)算機(jī)上執(zhí)行所述程序時(shí)允許執(zhí)行根據(jù)權(quán)利要求15所述的方法，所述程序被配置成允許類人機(jī)器人根據(jù)不同的模態(tài)與至少一個(gè)對(duì)話人自然傳送消息，所述類人機(jī)器人包括至少兩個(gè)通道和子例程，所述至少兩個(gè)通道均是從包括從接收通道、發(fā)送通道的一組通道選擇的，所述子例程用于所述通道的輸入/輸出，其中控制子例程被配置成基于執(zhí)行從一組功能選擇的至少一個(gè)功能改善對(duì)所述機(jī)器人接收的消息的理解，所述一組功能包括組合第一通道和第二通道上接收/發(fā)送的消息的功能以及發(fā)送基于在通道上接收的第一消息產(chǎn)生的第二消息的功能。
17.一種編輯和控制至少一個(gè)類人機(jī)器人和至少一個(gè)對(duì)話人之間通信接口的方法，所述至少一個(gè)類人機(jī)器人包括至少兩個(gè)通道和控制模塊，所述通道用于根據(jù)不同的模態(tài)與至少一個(gè)對(duì)話人自然傳送消息，所述至少兩個(gè)通道均是從包括接收通道、發(fā)送通道的一組通道選擇的，所述控制模塊用于所述通道的輸入/輸出，其中所述控制模塊被配置成基于執(zhí)行從一組功能選擇的至少一個(gè) 功能改善對(duì)所述機(jī)器人接收的消息的理解，所述一組功能包括組合第一通道和第二通道上接收/發(fā)送的消息的功能以及發(fā)送基于在通道上接收的第一消息產(chǎn)生的第二消息的功能，還包括編程所選功能的步驟。
18.根據(jù)權(quán)利要求17所述的編輯和控制方法，其中編程所述所選功能的步驟包括如下至少一個(gè)子步驟:利用聲音發(fā)送通道定義第一通信通道，利用用于接收所述至少一個(gè)對(duì)話人在機(jī)器人肢體上施加的至少一個(gè)姿態(tài)的通道定義第二通信通道，定義所述至少一個(gè)姿態(tài)和所述對(duì)話人向機(jī)器人傳送的輸入之間對(duì)應(yīng)關(guān)系的子步驟，以及通過(guò)產(chǎn)生要由機(jī)器人在所述第一通道上發(fā)送到所述對(duì)話人的至少一個(gè)消息來(lái)定義所述輸入的規(guī)格的子步驟。
19.根據(jù)權(quán)利要求18所述的編輯和控制方法，還包括定義第三觸覺(jué)通信通道由此所述對(duì)話人驗(yàn)證在所述第二通道上執(zhí)行的輸入的子步驟。
20.根據(jù)權(quán)利要求18-19之一所述的編輯和控制方法，其中，通過(guò)至少一個(gè)控制框執(zhí)行其步驟，其中要由所述機(jī)器人執(zhí)行的主動(dòng)作幀鏈接到從在先事件和要編程的動(dòng)作之后的后繼事件的組中選擇的至少一個(gè)事件，并且其被編程為根據(jù)時(shí)間線預(yù)定義的臨時(shí)約束進(jìn)行。
21.根據(jù)權(quán)利要求17所述的編輯和控制方法，其中編程所述所選功能的步驟包括如下至少一個(gè)子步驟:利用用于接收聲音消息的通道定義第一通信通道，利用用于發(fā)送聲音消息的通道定義第二通信通道，定義用于評(píng)估所述機(jī)器人對(duì)在所述第一通道上接收的第一消息理解的置信水平的功能的子步驟，以及定義在所述第二通道上產(chǎn)生其內(nèi)容取決于所述置信水平的至少一個(gè)第二消息的子步驟。
22.根據(jù)權(quán)利要求21所述的編輯和控制方法，其中，所述方法還包括定義用于語(yǔ)音識(shí)別由表達(dá)列表在第一通道上接收的消息的過(guò)濾器的子步驟，其中每個(gè)表達(dá)與期望識(shí)別率相關(guān)聯(lián)，以及通過(guò)從包括重復(fù)第一信道上的第一消息的請(qǐng)求、要由對(duì)話人在過(guò)濾器的表達(dá)的子集的第一通道上發(fā)送的第三消息確認(rèn)的請(qǐng)求、由對(duì)話人在至少一個(gè)第三信道上發(fā)送至少一個(gè)其它消息的請(qǐng)求的一組請(qǐng)求選擇的啟發(fā)而定義第二消息的內(nèi)容的子步驟。
23.根據(jù)權(quán)利要求21至22之一所述的開發(fā)的方法，其中，通過(guò)至少一個(gè)控制框執(zhí)行其步驟，其中要由所述機(jī)器人執(zhí)行的主動(dòng)作幀鏈接到從在先事件和要編程的動(dòng)作之后的后繼事件的組中選擇的至少一個(gè)事件，并且其被編程為根據(jù)時(shí)間線預(yù)定義的臨時(shí)約束進(jìn)行，所述控制框是選擇類型的框。
24.一種包括程序代碼指令的計(jì)算機(jī)程序，在計(jì)算機(jī)上執(zhí)行所述程序時(shí)，用于執(zhí)行根據(jù)權(quán)利要求17所述的方法，所述程序被配置成允許用戶編程類人機(jī)器人，所述類人機(jī)器人包括至少兩個(gè)通道和子例程，所述至少兩個(gè)通道用于根據(jù)不同的模態(tài)與至少一個(gè)對(duì)話人自然傳送消息，所述至少兩個(gè)通道均是從包括接收通道、發(fā)送通道的一組通道選擇的，所述子例程用于所述通道的輸入/輸出，其中所述子例程中用于編程的模塊用于控制要由機(jī)器人執(zhí)行并從一組功能選擇的至少一個(gè)功能，所述一組功能包括組合第一通道和第二通道上接收/發(fā)送的消息的功能以及發(fā)送基于在通道上接收的第一消息產(chǎn)生的第二消息的功能。
25.根據(jù)權(quán)利要求24所述的計(jì)算機(jī)程序，還包括用于編程將至少一個(gè)參數(shù)傳送到控制框的模塊。
26.根據(jù)權(quán)利要求24所述的計(jì)算機(jī)程序，其中，所述計(jì)算機(jī)程序還包括用于以所述程序的接口編程機(jī)器人的視覺(jué)通信通道的輸入的返回的模塊。
27.根據(jù)權(quán)利要求24所述的計(jì)算機(jī)程序，其中，所述計(jì)算機(jī)程序還包括用于編程并行進(jìn)行的機(jī)器人行為的模塊。
全文摘要
本發(fā)明涉及一種類人機(jī)器人，其裝備有用于與對(duì)話人自然對(duì)話的接口。在現(xiàn)有技術(shù)中，還裝備有演進(jìn)的位移功能的類人機(jī)器人和人類之間的對(duì)話模態(tài)特別受到能夠在板嵌入所述機(jī)器人中的語(yǔ)音和視覺(jué)識(shí)別處理能力的限制。本發(fā)明為所述機(jī)器人裝備了如下能力解決它們接收的消息通信的幾種模態(tài)的疑惑，組合這些模態(tài)，從而能夠大大改善與機(jī)器人的對(duì)話人對(duì)話的質(zhì)量和自然特性。本發(fā)明還提供了簡(jiǎn)單而用戶友好的手段，用于執(zhí)行功能的編程，使其能夠確保這些多模對(duì)話的流暢性。
文檔編號(hào)G10L15/22GK103119644SQ201180045189
公開日2013年5月22日 申請(qǐng)日期2011年7月11日 優(yōu)先權(quán)日2010年7月23日
發(fā)明者B·邁索尼耶, J·蒙索 申請(qǐng)人:奧爾德巴倫機(jī)器人公司