一種智能機器人的多模態(tài)輸出方法和智能機器人系統(tǒng)的制作方法
【專利摘要】本發(fā)明公開了一種智能機器人的多模態(tài)輸出方法及一種智能機器人系統(tǒng)。方法包括：解析當前的多模態(tài)交互輸入以獲取機器人當前需要輸出的多模態(tài)交互行為；獲取機器人當前需要輸出的多模態(tài)交互指令；基于該多模態(tài)交互指令判定存在機器人模擬執(zhí)行動作時；根據模擬執(zhí)行動作生成匹配的模擬聲音并輸出。本發(fā)明的方法和系統(tǒng)可以提升機器人多模態(tài)交互輸出的執(zhí)行效果，降低機器人硬件結構以及其他輸出限定對機器人的多模態(tài)輸出產生的影響，拓展機器人的應用范圍，提高機器人的用戶體驗。
【專利說明】
一種智能機器人的多模態(tài)輸出方法和智能機器人系統(tǒng)
技術領域
[0001]本發(fā)明涉及機器人領域，具體說涉及一種智能機器人的多模態(tài)輸出方法和智能機器人系統(tǒng)。
【背景技術】
[0002]隨著計算機技術的不斷發(fā)展以及人工智能技術的不斷進步，在家用領域小型智能機器人的應用也越來越廣泛，面向家用的小型智能機器人正在迅猛發(fā)展，機器人的智能水平以及擬人化程度也不斷提高。
[0003]隨著機器人的智能水平的不斷提高，在機器人與用戶的交互過程中，機器人需要輸出的交互輸出也越來越復雜。在機器人模擬人體動作的過程中，雖然機器人捕捉到了人體的全部動作行為，但是由于人體的某些動作機器人的軀體硬件無法完成，機器人只能輸出可以完成的簡化動作，這就大大降低了機器人的擬人化程度。
[0004]因此，為了提高機器人的用戶體驗，拓展機器人的應用范圍，需要一種智能機器人的多模態(tài)輸出方法。

【發(fā)明內容】

[0005]為了提高機器人的用戶體驗，拓展機器人的應用范圍，本發(fā)明提供了一種智能機器人的多模態(tài)輸出方法，所述方法包括:
[0006]獲取機器人當前需要輸出的多模態(tài)交互指令；
[0007]基于該多模態(tài)交互指令判定存在機器人模擬執(zhí)行動作時；
[0008]根據模擬執(zhí)行動作生成匹配的模擬聲音并輸出。
[0009]在一實施例中:
[0010]基于所述機器人當前的硬件配置檢測機器人硬件支持輸出的多模態(tài)交互行為；
[0011]當所述多模態(tài)交互指令對應的多模態(tài)交互行為超出機器人硬件的支持范圍時，判定所述多模態(tài)交互行為為模擬執(zhí)行動作。
[0012]在一實施例中，基于所述機器人當前的硬件配置檢測機器人的動作執(zhí)行安全條件；
[0013]當所述多模態(tài)交互指令對應的動作輸出不符合所述動作執(zhí)行安全條件時，判定所述動作輸出為模擬執(zhí)行動作。
[0014]在一實施例中:
[0015]當所述動作輸出包含機器人肢體相互接觸或機器人肢體與外界物體接觸的動作時，判定所述動作輸出超出所述動作執(zhí)行安全條件；
[0016]根據所述模擬執(zhí)行動作生成匹配的模擬聲音包括:生成模擬機器人肢體相互接觸或機器人肢體與外界物體接觸而產生的振動所發(fā)出的聲音。
[0017]在一實施例中，還包括:
[0018]預先錄制模擬執(zhí)行動作對應的模擬聲音，構建模擬聲音庫；
[0019]當存在所述模擬執(zhí)行動作時從所述聲音庫中調用匹配的模擬聲音。
[0020]本發(fā)明還提出了一種智能機器人系統(tǒng)，所述系統(tǒng)包括:
[0021]交互行為獲取器，其配置為獲取機器人當前需要輸出的多模態(tài)交互指令；
[0022]交互行為檢測器，其配置為基于所述多模態(tài)交互指令判定是否存在機器人模擬執(zhí)行動作；
[0023]模擬聲音生成器，其配置為根據所述模擬執(zhí)行動作生成匹配的模擬聲音并輸出。
[0024]在一實施例中，所述交互行為檢測器還配置為:
[0025]基于所述機器人當前的硬件配置檢測機器人硬件支持輸出的多模態(tài)交互行為；
[0026]當所述多模態(tài)交互指令對應的多模態(tài)交互行為超出機器人硬件的支持范圍時，判定所述多模態(tài)交互行為為模擬執(zhí)行動作。
[0027]在一實施例中，所述交互行為檢測器還配置為:
[0028]基于所述機器人當前的硬件配置檢測機器人的動作執(zhí)行安全條件；
[0029]當所述多模態(tài)交互指令對應的動作輸出不符合所述動作執(zhí)行安全條件時，判定所述動作輸出為模擬執(zhí)行動作。
[0030]在一實施例中:
[0031]所述交互行為檢測器還配置為:當所述動作輸出包含機器人肢體相互接觸或機器人肢體與外界物體接觸的動作時，判定所述動作輸出超出所述動作執(zhí)行安全條件；
[0032]模擬聲音生成器配置為:當所述動作輸出超出所述動作執(zhí)行安全條件時生成模擬機器人肢體相互接觸或機器人肢體與外界物體接觸而產生的振動所發(fā)出的聲音。
[0033]在一實施例中，所述模擬聲音生成器包括模擬聲音存儲器，其中:
[0034]所述模擬聲音存儲器配置為存儲預先錄制的模擬執(zhí)行動作對應的模擬聲音；
[0035]所述模擬聲音生成器配置為當存在所述模擬執(zhí)行動作時從所述模擬聲音存儲器中調用匹配的模擬聲音。
[0036]本發(fā)明的方法和系統(tǒng)可以提升機器人多模態(tài)交互輸出的執(zhí)行效果，降低機器人硬件結構以及其他輸出限定對機器人的多模態(tài)輸出產生的影響，拓展機器人的應用范圍，提高機器人的用戶體驗。
[0037]本發(fā)明的其它特征或優(yōu)點將在隨后的說明書中闡述。并且，本發(fā)明的部分特征或優(yōu)點將通過說明書而變得顯而易見，或者通過實施本發(fā)明而被了解。本發(fā)明的目的和部分優(yōu)點可通過在說明書、權利要求書以及附圖中所特別指出的步驟來實現(xiàn)或獲得。
【附圖說明】
[0038]附圖用來提供對本發(fā)明的進一步理解，并且構成說明書的一部分，與本發(fā)明的實施例共同用于解釋本發(fā)明，并不構成對本發(fā)明的限制。在附圖中:
[0039]圖1是根據本發(fā)明一實施例的方法流程圖；
[0040]圖2-圖4分別是根據本發(fā)明不同實施例的部分方法流程圖；
[0041]圖5是根據本發(fā)明一實施例的系統(tǒng)結構簡圖。
【具體實施方式】
[0042]以下將結合附圖及實施例來詳細說明本發(fā)明的實施方式，借此本發(fā)明的實施人員可以充分理解本發(fā)明如何應用技術手段來解決技術問題，并達成技術效果的實現(xiàn)過程并依據上述實現(xiàn)過程具體實施本發(fā)明。需要說明的是，只要不構成沖突，本發(fā)明中的各個實施例以及各實施例中的各個特征可以相互結合，所形成的技術方案均在本發(fā)明的保護范圍之內。
[0043]隨著機器人的智能水平的不斷提高，在機器人與用戶的交互過程中，機器人需要輸出的交互輸出也越來越復雜。但是，機器人自身的軀體硬件結構限制了機器人的交互輸出模式。在很多情況下，機器人基于智能計算獲取到了與當前交互情景匹配度很高的交互回應內容，但是受限于自身的軀體硬件結構卻無法將交互回應內容完美有效的輸出。這不僅大大降低了機器人的用戶體驗，而且限制了機器人的應用范圍。
[0044]例如在機器人模擬人體動作的過程中，雖然機器人捕捉到了人體的全部動作行為，但是由于人體的某些動作機器人的軀體硬件無法完成，機器人只能輸出可以完成的簡化動作，這就大大降低了機器人的擬人化程度。
[0045]為了提高機器人的用戶體驗，拓展機器人的應用范圍，本發(fā)明提出了一種智能機器人的多模態(tài)輸出方法。本發(fā)明的方法的基本思想是當機器人無法輸出預期的多模態(tài)交互行為時，利用其他交互行為模擬無法輸出的多模態(tài)交互行為，從而最大限度的提高機器人交互行為的完成度。
[0046]接下來基于流程圖詳細描述根據本發(fā)明的多個實施例的具體實施過程。附圖的流程圖中示出的步驟可以在包含諸如一組計算機可執(zhí)行指令的智能機器人處理系統(tǒng)中執(zhí)行。雖然在流程圖中示出了各步驟的邏輯順序，但是在某些情況下，可以以不同于此處的順序執(zhí)行所示出或描述的步驟。
[0047]如圖1所示，獲取機器人當前需要輸出的多模態(tài)交互指令(步驟S110)。具體的，解析當前的多模態(tài)交互輸入以獲取機器人當前需要輸出的多模態(tài)交互行為所對應的多模態(tài)交互指令。具體的，機器人當前需要輸出的多模態(tài)交互行為與當前的多模態(tài)交互輸入匹配，多模態(tài)交互指令與多模態(tài)交互行相互對應。通常，機器人執(zhí)行多模態(tài)交互指令即為實現(xiàn)多模態(tài)交互行為的輸出。在這里，機器人當前需要輸出的多模態(tài)交互行為(下一步的交互行為)可以是用戶直接下達給機器人的；也可以是機器人在與用戶進行交互的過程中，基于用戶的交互輸入或外部環(huán)境輸入進行分析判斷后得出的所要輸出的交互回應。
[0048]例如在一具體應用實例中，用戶直接下達給機器人:原地轉圈并鼓掌;或者用戶講了一個笑話，機器人聽到后分析判斷應該做出原地轉圈并鼓掌的交互回應以表現(xiàn)高興的情緒O
[0049]接下來基于多模態(tài)交互指令判斷是否存在模擬執(zhí)行動作(步驟S120)，也就是判斷機器人是否執(zhí)行當前需要輸出的多模態(tài)交互指令。具體的，在本實施例中，將當前需要輸出的多模態(tài)交互行為劃分為執(zhí)行動作和模擬執(zhí)行動作兩部分。其中，執(zhí)行動作是機器人在自身硬件限制以及行為模式限制下可以實現(xiàn)輸出的多模態(tài)交互行為;模擬執(zhí)行動作是機器人由于自身硬件限制以及行為模式限制而無法實現(xiàn)輸出的多模態(tài)交互行為。模擬執(zhí)行動作即是機器人所要模擬執(zhí)行的模擬執(zhí)行動作。
[0050]劃分結果分三種情況，一是機器人執(zhí)行全部的需要輸出的多模態(tài)交互行為(全部的需要輸出的多模態(tài)交互行為均為執(zhí)行動作)；二是全部的需要輸出的多模態(tài)交互行為均無法被機器人輸出(全部的需要輸出的多模態(tài)交互行為均為模擬執(zhí)行動作)；三是機器人執(zhí)行需要輸出的多模態(tài)交互行為中的一部分(另一部分不執(zhí)行)(一部分多模態(tài)交互行為為模擬執(zhí)行動作，另一部分為執(zhí)行動作)。
[0051]當機器人執(zhí)行全部的需要輸出的多模態(tài)交互行為時(機器人當前需要輸出的多模態(tài)交互行為中不存在模擬執(zhí)行動作)時，執(zhí)行步驟S150，輸出全部的多模態(tài)交互行為。
[0052]當全部的需要輸出的多模態(tài)交互行為均無法被機器人輸出或機器人僅可輸出需要輸出的多模態(tài)交互行為中的一部分(當前需要輸出的多模態(tài)交互行為中存在模擬執(zhí)行動作)時，執(zhí)行步驟S140，進行聲音模擬。針對模擬執(zhí)行動作生成匹配的模擬聲音。最后執(zhí)行步驟SI 60，輸出多模態(tài)交互行為中執(zhí)行的部分并輸出模擬聲音。
[0053]步驟S120、S140、S150以及S160概括來說，S卩:將多模態(tài)交互行為劃分為執(zhí)行動作和模擬執(zhí)行動作；當存在執(zhí)行動作時輸出執(zhí)行動作；當存在模擬執(zhí)行動作時根據模擬執(zhí)行動作生成匹配的模擬聲音并輸出。
[0054]以一具體應用實例為例，例如機器人需要輸出的交互行為是原地轉圈并鼓掌。機器人輸出鼓掌這一交互行為(機器人的硬件結構中不具備手掌)但是可以原地轉圈，將機器人需要輸出的交互行為劃分為原地轉圈(執(zhí)行)以及故障(模擬執(zhí)行)兩部分。針對鼓掌這一交互行為生成模擬聲音(掌聲)，然后機器人原地轉圈并播放掌聲。
[0055]在圖1所示的方法流程中，關鍵點之一在于步驟S120，判斷機器人是否執(zhí)行交互行為。經過對機器人實際應用情況的模擬分析，機器人模擬執(zhí)行動作行為的主要原因之一在于機器人的硬件結構并不支持實現(xiàn)該交互行為(硬件限制)(從硬件結構上來說就不具備相應功能)。
[0056]例如在一具體應用環(huán)境中，機器人的手臂前端被構造成夾持裝置，其并不具備類似手掌的結構，因此其硬件結構并不支持鼓掌這一交互行為。在另一具體應用環(huán)境中，機器人只具備一條手臂，也不支持鼓掌這一交互行為。
[0057]進一步的，機器人輸出多模態(tài)交互行為的目地是實現(xiàn)特定的交互效果，該效果是由用戶的交互命令或者是回應用戶的交互輸入(基于交互輸入分析判斷匹配的交互回應)決定的。因此，機器人所要輸出的多模態(tài)交互行為并不僅僅包含機器人動作。在細化機器人是否可以實現(xiàn)多模態(tài)交互行為時不僅要考慮具體的動作的實現(xiàn)情況，而是需要考慮多模態(tài)交互行為中每一部分交互行為的實現(xiàn)情況。
[0058]例如在一具體應用實例中，用戶命令機器人模仿實現(xiàn)肚子餓的狀態(tài)，或機器人基于當前交互輸入(環(huán)境輸入)判斷需要做出表現(xiàn)肚子餓的交互行為(例如機器人需要充電)。機器人分析判斷最匹配的交互回應應該是輸出“我餓了”并同時用手拍肚子令肚子發(fā)出咕咕叫的聲音(模擬人類肚子餓的咕咕叫)。機器人可以實現(xiàn)輸出“我餓了”的同時用手拍肚子，但是由于機器人肚子結構與人類不同，其肚子無法發(fā)出咕咕叫的聲音。在這種情況下，令肚子發(fā)出咕咕叫的聲音就屬于機器人的硬件結構所不具備的功能。
[0059]進一步的，由于機器人輸出多模態(tài)交互行為的目地是實現(xiàn)特定的交互效果，因此在某些場合，為了達成特定的交互效果機器人所要輸出的多模態(tài)交互行為具有特定的效果限定。
[0060]例如在一具體應用實例中，機器人模擬人類打拳行為。通常的模擬情況是模擬人類動作出拳并喊出“嘿！哈!”等類似口號。機器人可以模擬人類動作出拳并輸出“嘿！哈!”等類似口號。但是如果要完美的模擬，則需要機器人迅速出拳(需要模擬的對象出拳速度很快)。由于機器人本身驅動單元的限制，其出拳速度被限定在一個相對較低的范圍。因此在這種情況下，“出拳”屬于機器人的硬件結構具備的功能，但“迅速出拳”就屬于機器人的硬件結構所不支持的交互行為。
[0061]進一步的，機器人模擬執(zhí)行動作行為的另一主要原因的行為模式限定(機器人本身對自己的交互行為輸出的輸出限定，軟件限制)ο簡單來說，就是機器人被設定為不準執(zhí)行某些特定的交互行為。
[0062]具體的，在本發(fā)明一實施例中，為了保護機器人的硬件，為機器人的動作增添了動作執(zhí)行安全條件。動作執(zhí)行安全條件限定了機器人肢體的動作范圍，在動作執(zhí)行安全條件的限定下，即使機器人的硬件結構支持機器人輸出多模態(tài)交互行為，但是多模態(tài)交互行為中超出動作執(zhí)行安全條件的動作是無法輸出的。
[0063]基于上述分析，在本發(fā)明一實施例中，判定多模態(tài)交互行為中是否存在機器人模擬執(zhí)行動作的過程包括:基于機器人當前的硬件配置檢測機器人硬件支持輸出的多模態(tài)交互行為；當多模態(tài)交互行為超出機器人硬件的支持范圍時，判定多模態(tài)交互行為為模擬執(zhí)行動作。
[0064]進一步的，在本發(fā)明另一實施例中，判定多模態(tài)交互行為中是否存在機器人模擬執(zhí)行動作的過程包括:基于機器人當前的硬件配置檢測機器人的動作執(zhí)行安全條件；當多模態(tài)交互行為中的動作輸出不符合動作執(zhí)行安全條件時，判定動作輸出為模擬執(zhí)行動作。
[0065]具體的，在本發(fā)明一實施例中，判定多模態(tài)交互行為中是否存在機器人模擬執(zhí)行動作的過程如圖2所示。首先獲取機器人需要輸出的多模態(tài)交互行為(S200)，然后判斷機器人是否具備輸出交互行為的硬件結構(S210)。
[0066]如果機器人不具備輸出交互行為的硬件結構(或者只具備輸出一部分交互行為的硬件結構)則執(zhí)行步驟S211，對交互行為進行分類，將機器人硬件支持的交互行為與不支持的交互行為分開，并執(zhí)行步驟S212，針對機器人硬件不支持的交互行為生成模擬聲音。
[0067]接下來，判斷機器人硬件支持的交互行為中是否存在不符合動作執(zhí)行安全條件的動作(S220)，如果不存在，則執(zhí)行步驟S241，輸出執(zhí)行的交互行為(機器人硬件支持的交互行為)以及模擬聲音(機器人硬件不支持的交互行為所對應的模擬聲音)。
[0068]如果在步驟S220中判斷存在不符合動作執(zhí)行安全條件的動作，則執(zhí)行步驟S222，生成模擬聲音。具體的，在步驟S222中首先將交互行為中的動作劃分為不符合動作執(zhí)行安全條件的動作與沒有不符合動作執(zhí)行安全條件的動作兩類，然后針對不符合動作執(zhí)行安全條件的動作生成模擬聲音。
[0069]最后執(zhí)行步驟S241，輸出執(zhí)行的交互行為/動作(機器人硬件支持的交互行為中不符合動作執(zhí)行安全條件的交互行為/動作)以及模擬聲音(機器人硬件不支持的交互行為以及不符合動作執(zhí)行安全條件的動作所對應的模擬聲音)。
[0070]在步驟S210中，如果具備輸出交互行為的硬件結構，那么仍然需要對機器人需要輸出的交互行為進行基于動作執(zhí)行安全限定的判定，即執(zhí)行步驟S230，判斷機器人需要輸出的交互行為中是否存在不符合動作執(zhí)行安全條件的動作，如果不存在，則執(zhí)行步驟S242，輸出需要輸出的交互行為(所有多模態(tài)交互行為，沒有模擬聲音)。
[0071 ]如果在步驟S230中判斷存在不符合動作執(zhí)行安全條件的動作，則執(zhí)行步驟S232，生成模擬聲音。具體的，在步驟S232中首先將交互行為中的動作劃分為不符合動作執(zhí)行安全條件的動作與沒有不符合動作執(zhí)行安全條件的動作兩類，然后針對不符合動作執(zhí)行安全條件的動作生成模擬聲音。最后執(zhí)行步驟S241，輸出執(zhí)行的交互行為/動作(交互行為中不符合動作執(zhí)行安全條件的交互行為/動作)以及模擬聲音(不符合動作執(zhí)行安全條件的動作所對應的模擬聲音)。
[0072]在本發(fā)明一實施例中，動作執(zhí)行安全條件的設定主要是為了保護機器人的硬件結構。例如，設定動作執(zhí)行安全條件限定機器人盡量避免肢體接觸(自身肢體相互間的接觸以及肢體與外部環(huán)境物體的接觸)。在此前提下，雖然機器人的硬件結構支持“鼓掌”這一交互行為，但是由于“鼓掌”包含雙掌用力接觸這一動作，因此機器人不能輸出“鼓掌”這一交互行為(或者說，只能輸出一部分)。
[0073]再例如，在上面的動作執(zhí)行安全條件限定下，機器人模擬人類擊打木板。由于“擊打木板”包含手與木板的用力接觸這一交互行為，因此機器人不能輸出“擊打木板”這一交互行為。
[0074]這里需要說明的是，上述關于交互行為輸出的輸出限定的舉例(動作執(zhí)行安全條件的舉例)只是簡單舉例，并不完全代表實際情況。在實際應用過程中，交互行為輸出的輸出限定，尤其是動作執(zhí)行安全條件是與具體的機器人交互需求匹配的。例如，動作執(zhí)行安全條件限定機器人盡量避免肢體接觸，此限定的前提條件是不影響交互行為的最基本的執(zhí)行效果。如果機器人所要輸出的交互行為是推箱子，其最基本的執(zhí)行效果為推動箱子實現(xiàn)位移，那么在這種情況下是不需要執(zhí)行動作執(zhí)行安全條件中避免肢體接觸這一限定條件的(避免肢體和箱子接觸無法實現(xiàn)推動箱子位移)。
[0075]基于上述分析，在本發(fā)明一實施例中設定為:在不影響多模態(tài)交互行為的基本執(zhí)行效果的前提下，當動作輸出包含機器人肢體相互接觸或機器人肢體與外界物體接觸的動作時，判定動作輸出超出動作執(zhí)行安全條件。
[0076]具體的，在本發(fā)明一實施例中，判斷是否存在不符合動作執(zhí)行安全條件的動作的過程如圖3所示。首先獲取待輸出動作(步驟S300);然后分析機器人肢體實現(xiàn)待輸出動作所經歷的動作軌跡(步驟S311);根據動作軌跡判斷機器人肢體是否會相互接觸(步驟S321);如果機器人肢體會相互接觸則生成相應的模擬聲音(步驟S322);如果機器人肢體不會相互接觸則跳過步驟S322。
[0077]接下來判斷機器人肢體是否會接觸外界物體(步驟S331)，具體的，在本實施例中，主要分析機器人肢體的動作軌跡上是否存在外界物體(在本發(fā)明其他實施例中，也可以基于機器人的動作所要達到的預期效果反推)；如果機器人肢體與外界物體會接觸則生成相應的模擬聲音(步驟S332);如果機器人肢體與外界物體不會接觸則跳過步驟S322。
[0078]這里需要注意的是，機器人的一個完整的動作可以劃分為多個小動作的組合，肢體接觸往往是一個完整動作的一小部分。例如，“鼓掌”這一動作可以分為雙掌相對移動接近以及雙掌用力接觸兩部分的動作。
[0079]在本實施例中，由于動作執(zhí)行安全條件可指機器人肢體的相互接觸以及機器人肢體與外界物體的接觸:
[0080]具體的，如圖3所示，在模擬聲音生成后，機器人執(zhí)行步驟S341，執(zhí)行動作并進行動作監(jiān)控;在動作執(zhí)行的過程中即時判斷機器人肢體是否到達預期接觸安全位置(是否即將發(fā)生接觸行為)；如果到達預期接觸安全位置(即將發(fā)生接觸行為)則停止動作并輸出模擬聲音(步驟S350);如果未到達預期接觸安全位置(暫時不會發(fā)生接觸行為)則繼續(xù)執(zhí)行動作并監(jiān)控(步驟S341)。
[0081 ]進一步的，在本實施例中，設定最小距離，在步驟S341中監(jiān)控肢體間以及肢體與外界物體間的距離，當上述距離達到最小距離時則停止動作并輸出模擬聲音。
[0082]例如，在進行“鼓掌”時，機器人雙掌相對，由最大間距開始相互靠近，當雙掌間距達到最小距離時雙掌停止移動并輸出掌聲(此時雙掌并未接觸)，從而完成“鼓掌”這一多模態(tài)交互行為的輸出。
[0083]圖3所示實施例提前預判接觸動作并預先生成相應的模擬聲音。在本發(fā)明另一實施例中，在動作的執(zhí)行過程中進行接觸判斷。如圖4所示，首先機器人開始執(zhí)行動作(S400);判斷動作是否完成(S410);在動作未完成(動作執(zhí)行過程中)即時判斷機器人肢體是否到達預期接觸安全位置(是否即將發(fā)生接觸行為)；如果未到達預期接觸安全位置(暫時不會發(fā)生接觸行為)則繼續(xù)執(zhí)行動作并判斷動作是否完成，在此循環(huán)中如果動作完成則進入步驟S450，動作執(zhí)行完畢(不需要進行聲音模擬)。
[0084]在步驟S421中，如果到達預期接觸安全位置(即將發(fā)生接觸行為)則停止動作(步驟S430)，生成并輸出模擬聲音(步驟S440)，最后進入步驟S450，動作執(zhí)行完畢。
[0085]進一步的，在圖1所示的方法流程中，關鍵點還在于步驟S140，生成模擬聲音。在這里，模擬聲音對應的是機器人所不能輸出的那部分交互行為。
[0086]因此，模擬聲音可以是機器人所不能輸出的那部分交互行為在實際執(zhí)行時產生的效果音。例如:在機器人模仿實現(xiàn)肚子餓的狀態(tài)時，肚子發(fā)出咕咕叫這一行為的效果音是咕咕叫的聲音;在機器人模擬人類打拳行為時，快速出拳的效果音是拳頭快速移動的破空聲以及衣服被甩動時的破空聲。
[0087]進一步的，模擬聲音還可以是模擬機器人肢體相互接觸或機器人肢體與外界物體接觸的模擬聲音。例如:在機器人鼓掌時，模擬聲音是掌聲;在機器人擊打木板時，模擬聲音是拳頭擊打木板產生的聲音。
[0088]在本發(fā)明的方法中，基于機器人所不能輸出的那部分交互行為的實際執(zhí)行時的效果生成相應的模擬聲音。進一步的，在本發(fā)明一實施例中，預先錄制模擬執(zhí)行動作對應的模擬聲音，構建模擬聲音庫；當存在模擬執(zhí)行動作時從聲音庫中調用匹配的模擬聲音。
[0089]具體的，在聲音庫中分類保存模擬聲音。例如，聲音庫包含不可以模仿動作效果音，不可以模仿動作效果音包含肚子咕咕叫聲;聲音庫還包含接觸效果音，接觸效果音包含肢體與肢體接觸聲音以及肢體與外界接觸聲音，肢體與肢體接觸聲音包含掌聲。當需要生成模擬聲音時，根據當前機器人所不能完成的交互行為的具體描述在聲音庫中挑選最匹配的模擬聲音。
[0090]這里需要注意的是，在圖1所示的方法流程中，關鍵點還在于步驟S160。為了達成最優(yōu)的輸出效果，輸出模擬聲音的時機要與多模態(tài)交互行為中模擬執(zhí)行的那部分交互行為的預期輸出時機對應。
[0091 ] 例如當機器人硬件不支持鼓掌時，如果機器人需要一邊轉圈一邊鼓掌，則機器人在原地轉圈的同時播放掌聲;如果機器人被要求原地轉一圈后鼓掌，則機器人先轉圈，轉圈一周后播放掌聲。再例如當機器人硬件支持鼓掌但動作執(zhí)行安全條件限定不能肢體相互接觸時，則機器人先做出鼓掌的動作，只在雙掌快要接觸并停止移動時才輸出掌聲。
[0092]基于上述方法，本發(fā)明還提出了一種智能機器人系統(tǒng)。在本發(fā)明一實施例中，系統(tǒng)結構如圖5所示。系統(tǒng)包含交互行為獲取器500、交互行為檢測器510以及模擬聲音生成器520。其中:
[0093]交互行為獲取器500配置為解析當前的多模態(tài)交互輸入以獲取機器人當前需要輸出的多模態(tài)交互行為，機器人當前需要輸出的多模態(tài)交互行為與當前的多模態(tài)交互輸入匹配；
[0094]交互行為檢測器510配置為將多模態(tài)交互行為劃分為執(zhí)行動作和模擬執(zhí)行動作，其中，模擬執(zhí)行動作是機器人由于自身硬件限制以及行為模式限制而無法實現(xiàn)輸出的多模態(tài)交互行為；
[0095]交互行為輸出器530配置為當存在執(zhí)行動作時輸出執(zhí)行動作；
[0096]模擬聲音生成器520配置為當存在模擬執(zhí)行動作時根據模擬執(zhí)行動作生成匹配的模擬聲音并輸出。
[0097]具體的，基于圖2所示實施例的方法，在本發(fā)明一實施例中，交互行為檢測器510配置為:
[0098]基于機器人當前的硬件配置檢測機器人硬件支持輸出的多模態(tài)交互行為；
[0099]當多模態(tài)交互行為超出機器人硬件的支持范圍時，判定多模態(tài)交互行為為模擬執(zhí)行動作。
[0100]在本發(fā)明另一實施例中，交互行為檢測器510配置為:
[0101]基于機器人當前的硬件配置檢測機器人的動作執(zhí)行安全條件；
[0102]當多模態(tài)交互行為的動作輸出不符合動作執(zhí)行安全條件時，判定動作輸出為模擬執(zhí)行動作。
[0103]具體的，在本發(fā)明另一實施例中，交互行為檢測器510配置為:在不影響多模態(tài)交互行為的基本執(zhí)行效果的前提下，當動作輸出包含機器人肢體相互接觸或機器人肢體與外界物體接觸的動作時，判定動作輸出超出動作執(zhí)行安全條件；
[0104]對應的，模擬聲音生成器520配置為:當動作輸出超出動作執(zhí)行安全條件時生成模擬機器人肢體相互接觸或機器人肢體與外界物體接觸而產生的振動所發(fā)出的聲音。
[0105]進一步的，在本發(fā)明一實施例中，模擬聲音生成器520包括模擬聲音存儲器521，其中:
[0106]模擬聲音存儲器521配置為存儲預先錄制的模擬執(zhí)行動作對應的模擬聲音；
[0107]模擬聲音生成器520配置為當存在所述模擬執(zhí)行動作時從模擬聲音存儲器521中調用匹配的模擬聲音。
[0108]綜上，本發(fā)明的方法和系統(tǒng)可以提升機器人多模態(tài)交互輸出的執(zhí)行效果，降低機器人硬件結構以及其他輸出限定對機器人的多模態(tài)輸出產生的影響，拓展機器人的應用范圍，提高機器人的用戶體驗。
[0109]雖然本發(fā)明所公開的實施方式如上，但所述的內容只是為了便于理解本發(fā)明而采用的實施方式，并非用以限定本發(fā)明。本發(fā)明所述的系統(tǒng)還可有其他多種實施例。在不背離本發(fā)明實質的情況下，熟悉本領域的技術人員當可根據本發(fā)明作出各種相應的改變或變形，但這些相應的改變或變形都應屬于本發(fā)明的權利要求的保護范圍。
【主權項】
1.一種智能機器人的多模態(tài)輸出方法，其特征在于，所述方法包括: 獲取機器人當前需要輸出的多模態(tài)交互指令； 基于該多模態(tài)交互指令判定存在機器人模擬執(zhí)行動作時； 根據模擬執(zhí)行動作生成匹配的模擬聲音并輸出。2.根據權利要求1所述的方法，其特征在于:還包括: 基于所述機器人當前的硬件配置檢測機器人硬件支持輸出的多模態(tài)交互行為； 當所述多模態(tài)交互指令對應的多模態(tài)交互行為超出機器人硬件的支持范圍時，判定所述多模態(tài)交互行為為模擬執(zhí)行動作。3.根據權利要求1所述的方法，其特征在于，還包括: 基于所述機器人當前的硬件配置檢測機器人的動作執(zhí)行安全條件； 當所述多模態(tài)交互指令對應的動作輸出不符合所述動作執(zhí)行安全條件時，判定所述動作輸出為模擬執(zhí)行動作。4.根據權利要求3所述的方法，其特征在于: 當所述動作輸出包含機器人肢體相互接觸或機器人肢體與外界物體接觸的動作時，判定所述動作輸出超出所述動作執(zhí)行安全條件； 根據所述模擬執(zhí)行動作生成匹配的模擬聲音包括:生成模擬機器人肢體相互接觸或機器人肢體與外界物體接觸而產生的振動所發(fā)出的聲音。5.根據權利要求1-4中任一項所述的方法，其特征在于，還包括: 預先錄制模擬執(zhí)行動作對應的模擬聲音，構建模擬聲音庫； 當存在所述模擬執(zhí)行動作時從所述聲音庫中調用匹配的模擬聲音。6.一種智能機器人系統(tǒng)，其特征在于，所述系統(tǒng)包括: 交互行為獲取器，其配置為獲取機器人當前需要輸出的多模態(tài)交互指令； 交互行為檢測器，其配置為基于所述多模態(tài)交互指令判定是否存在機器人模擬執(zhí)行動作； 模擬聲音生成器，其配置為根據所述模擬執(zhí)行動作生成匹配的模擬聲音并輸出。7.根據權利要求6所述的系統(tǒng)，其特征在于，所述交互行為檢測器還配置為: 基于所述機器人當前的硬件配置檢測機器人硬件支持輸出的多模態(tài)交互行為； 當所述多模態(tài)交互指令對應的多模態(tài)交互行為超出機器人硬件的支持范圍時，判定所述多模態(tài)交互行為為模擬執(zhí)行動作。8.根據權利要求6所述的系統(tǒng)，其特征在于，所述交互行為檢測器還配置為: 基于所述機器人當前的硬件配置檢測機器人的動作執(zhí)行安全條件； 當所述多模態(tài)交互指令對應的動作輸出不符合所述動作執(zhí)行安全條件時，判定所述動作輸出為模擬執(zhí)行動作。9.根據權利要求8所述的系統(tǒng)，其特征在于: 所述交互行為檢測器還配置為:當所述動作輸出包含機器人肢體相互接觸或機器人肢體與外界物體接觸的動作時，判定所述動作輸出超出所述動作執(zhí)行安全條件； 模擬聲音生成器配置為:當所述動作輸出超出所述動作執(zhí)行安全條件時生成模擬機器人肢體相互接觸或機器人肢體與外界物體接觸而產生的振動所發(fā)出的聲音。10.根據權利要求6-9中任一項所述的系統(tǒng)，其特征在于，所述模擬聲音生成器包括模擬聲音存儲器，其中: 所述模擬聲音存儲器配置為存儲預先錄制的模擬執(zhí)行動作對應的模擬聲音； 所述模擬聲音生成器配置為當存在所述模擬執(zhí)行動作時從所述模擬聲音存儲器中調用匹配的模擬聲音。
【文檔編號】B25J11/00GK105835064SQ201610285996
【公開日】2016年8月10日
【申請日】2016年5月3日
【發(fā)明人】郭家
【申請人】北京光年無限科技有限公司