本發(fā)明涉及機(jī)器人交互技術(shù)領(lǐng)域，尤其涉及一種虛擬機(jī)器人的交互方法、系統(tǒng)及機(jī)器人。

背景技術(shù)：

機(jī)器人作為與人類的交互工具，使用的場合越來越多，例如一些老人、小孩較孤獨(dú)時，就可以與機(jī)器人交互，包括對話、娛樂等。為了讓用戶使用機(jī)器人的體驗(yàn)感更好，就需要將機(jī)器人設(shè)計的更加智能，而不僅僅是對話這種簡單的功能，為了增加機(jī)器人的智能交互體驗(yàn)，需要加入到更多的功能，例如作畫、作詩、作曲等，讓機(jī)器人可以根據(jù)用戶的意思進(jìn)行對應(yīng)的交互，增加機(jī)器人的功能。然而，如何實(shí)現(xiàn)這些功能成為本技術(shù)領(lǐng)域亟需解決的技術(shù)問題。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的是提供一種虛擬機(jī)器人的交互方法、系統(tǒng)及機(jī)器人，使機(jī)器人能夠提供更多、更擬人化的交互，提升用戶的使用體驗(yàn)。

本發(fā)明的目的是通過以下技術(shù)方案來實(shí)現(xiàn)的：

一種虛擬機(jī)器人的交互方法，包括：

獲取用戶的多模態(tài)信息；

對所述多模態(tài)信息進(jìn)行預(yù)處理，識別用戶意圖；

根據(jù)所述多模態(tài)信息和用戶意圖生成內(nèi)容信息和選擇生成模板；

將所述內(nèi)容信息與生成模板通過預(yù)設(shè)規(guī)則進(jìn)行組合后生成交互內(nèi)容；

將交互內(nèi)容發(fā)送到成像系統(tǒng)，成像系統(tǒng)根據(jù)交互內(nèi)容生成虛擬3D影像；

機(jī)器人根據(jù)所述交互內(nèi)容生成評價信息。

本發(fā)明公開一種虛擬機(jī)器人的交互系統(tǒng)，包括：

獲取模塊，用于獲取用戶的多模態(tài)信息；

意圖識別模塊，用于對所述多模態(tài)信息進(jìn)行預(yù)處理，識別用戶意圖；

處理模塊，用于根據(jù)所述多模態(tài)信息和用戶意圖生成內(nèi)容信息和選擇生成模板；

生成模塊，用于將所述內(nèi)容信息與生成模板通過預(yù)設(shè)規(guī)則進(jìn)行組合后生成交互內(nèi)容；

發(fā)送模塊，用于將交互內(nèi)容發(fā)送到成像系統(tǒng)，成像系統(tǒng)根據(jù)交互內(nèi)容生成虛擬3D影像；

評價模塊，機(jī)器人根據(jù)所述交互內(nèi)容生成評價信息。

本發(fā)明公開一種機(jī)器人，其特征在于，包括如上述任一所述的一種虛擬機(jī)器人的交互系統(tǒng)。

相比現(xiàn)有技術(shù)，本發(fā)明具有以下優(yōu)點(diǎn)：本發(fā)明的虛擬機(jī)器人的交互方法包括：獲取用戶的多模態(tài)信息；對所述多模態(tài)信息進(jìn)行預(yù)處理，識別用戶意圖；根據(jù)所述多模態(tài)信息和用戶意圖生成內(nèi)容信息和選擇生成模板；將所述內(nèi)容信息與生成模板通過預(yù)設(shè)規(guī)則進(jìn)行組合后生成交互內(nèi)容；將交互內(nèi)容發(fā)送到成像系統(tǒng)，成像系統(tǒng)根據(jù)交互內(nèi)容生成虛擬3D影像；機(jī)器人根據(jù)所述交互內(nèi)容生成評價信息。這樣就可以根據(jù)用戶的多模態(tài)信息確定用戶的意圖，用戶想要得到什么樣的回復(fù)，然后根據(jù)多模態(tài)信息和用戶的意圖查詢回復(fù)內(nèi)容的中的細(xì)節(jié)，包括內(nèi)容信息和生成模板，在收集完畢后，將內(nèi)容信息和生成模板組合生成交互內(nèi)容，然后發(fā)送到成像系統(tǒng)，成像系統(tǒng)根據(jù)交互內(nèi)容生成虛擬3D影像，從而進(jìn)行展示，向用戶回應(yīng)，這樣就可以使機(jī)器人與人交互時更加擬人化，該方法能夠提升機(jī)器人交互內(nèi)容生成的擬人性，提升人機(jī)交互體驗(yàn)，提高智能性，并且機(jī)器人還可以對生成的交互內(nèi)容進(jìn)行評價，例如評分等，以增加娛樂性和用戶體驗(yàn)感。

附圖說明

圖1是本發(fā)明實(shí)施例一的一種虛擬機(jī)器人的交互方法的流程圖；

圖2是本發(fā)明實(shí)施例二的一種虛擬機(jī)器人的交互系統(tǒng)的示意圖。

具體實(shí)施方式

雖然流程圖將各項(xiàng)操作描述成順序的處理，但是其中的許多操作可以被并行地、并發(fā)地或者同時實(shí)施。各項(xiàng)操作的順序可以被重新安排。當(dāng)其操作完成時處理可以被終止，但是還可以具有未包括在附圖中的附加步驟。處理可以對應(yīng)于方法、函數(shù)、規(guī)程、子例程、子程序等等。

計算機(jī)設(shè)備包括用戶設(shè)備與網(wǎng)絡(luò)設(shè)備。其中，用戶設(shè)備或客戶端包括但不限于電腦、智能手機(jī)、PDA等；網(wǎng)絡(luò)設(shè)備包括但不限于單個網(wǎng)絡(luò)服務(wù)器、多個網(wǎng)絡(luò)服務(wù)器組成的服務(wù)器組或基于云計算的由大量計算機(jī)或網(wǎng)絡(luò)服務(wù)器構(gòu)成的云。計算機(jī)設(shè)備可單獨(dú)運(yùn)行來實(shí)現(xiàn)本發(fā)明，也可接入網(wǎng)絡(luò)并通過與網(wǎng)絡(luò)中的其他計算機(jī)設(shè)備的交互操作來實(shí)現(xiàn)本發(fā)明。計算機(jī)設(shè)備所處的網(wǎng)絡(luò)包括但不限于互聯(lián)網(wǎng)、廣域網(wǎng)、城域網(wǎng)、局域網(wǎng)、VPN網(wǎng)絡(luò)等。

在這里可能使用了術(shù)語“第一”、“第二”等等來描述各個單元，但是這些單元不應(yīng)當(dāng)受這些術(shù)語限制，使用這些術(shù)語僅僅是為了將一個單元與另一個單元進(jìn)行區(qū)分。這里所使用的術(shù)語“和/或”包括其中一個或更多所列出的相關(guān)聯(lián)項(xiàng)目的任意和所有組合。當(dāng)一個單元被稱為“連接”或“耦合”到另一單元時，其可以直接連接或耦合到所述另一單元，或者可以存在中間單元。

這里所使用的術(shù)語僅僅是為了描述具體實(shí)施例而不意圖限制示例性實(shí)施例。除非上下文明確地另有所指，否則這里所使用的單數(shù)形式“一個”、“一項(xiàng)”還意圖包括復(fù)數(shù)。還應(yīng)當(dāng)理解的是，這里所使用的術(shù)語“包括”和/或“包含”規(guī)定所陳述的特征、整數(shù)、步驟、操作、單元和/或組件的存在，而不排除存在或添加一個或更多其他特征、整數(shù)、步驟、操作、單元、組件和/或其組合。

下面結(jié)合附圖和較佳的實(shí)施例對本發(fā)明作進(jìn)一步說明。

實(shí)施例一

如圖1所示，本實(shí)施例中公開一種虛擬機(jī)器人的交互方法，包括：

S101、獲取用戶的多模態(tài)信息；

S102、對所述多模態(tài)信息進(jìn)行預(yù)處理，識別用戶意圖；

S103、根據(jù)所述多模態(tài)信息和用戶意圖生成內(nèi)容信息和選擇生成模板；

S104、將所述內(nèi)容信息與生成模板通過預(yù)設(shè)規(guī)則進(jìn)行組合后生成交互內(nèi)容；

S105、將交互內(nèi)容發(fā)送到成像系統(tǒng)，成像系統(tǒng)根據(jù)交互內(nèi)容生成虛擬3D影像；

S106、機(jī)器人根據(jù)所述交互內(nèi)容生成評價信息。

這樣就可以根據(jù)用戶的多模態(tài)信息(例如圖像、語音、文字、手機(jī)端等)確定用戶的意圖，用戶想要得到什么樣的回復(fù)，然后根據(jù)多模態(tài)信息和用戶的意圖查詢回復(fù)內(nèi)容的中的細(xì)節(jié)，包括內(nèi)容信息和生成模板，在收集完畢后，將內(nèi)容信息和生成模板組合生成交互內(nèi)容，然后發(fā)送到成像系統(tǒng)，成像系統(tǒng)根據(jù)交互內(nèi)容生成虛擬3D影像，從而進(jìn)行展示，向用戶回應(yīng)，這樣就可以使機(jī)器人與人交互時更加擬人化，該方法能夠提升機(jī)器人交互內(nèi)容生成的擬人性，提升人機(jī)交互體驗(yàn)，提高智能性，并且機(jī)器人還可以對生成的交互內(nèi)容進(jìn)行評價，例如評分等，以增加娛樂性和用戶體驗(yàn)感。

本實(shí)施例中的多模態(tài)信息可以是用戶表情、語音信息、手勢信息、場景信息、圖像信息、視頻信息、人臉信息、瞳孔虹膜信息、光感信息和指紋信息等其中的其中一種或幾種。

本實(shí)施例中方法可以應(yīng)用在不同的功能上，例如作畫，作曲，作詩，朗讀故事，朗讀小說等等。

根據(jù)其中一個示例，在生成交互內(nèi)容的步驟之后還包括：將交互內(nèi)容發(fā)送到移動終端，所述移動終端根據(jù)交互內(nèi)容生成圖像、聲音、文字中的一種或幾種，并顯示。

這樣就讓用戶在移動終端上也可以查看到交互內(nèi)容，讓用戶可以以更多方式接收到機(jī)器人的反饋和回復(fù)。

根據(jù)其中一個示例，在將交互內(nèi)容發(fā)送到成像系統(tǒng)和移動終端的步驟之后還包括：獲取用戶對交互內(nèi)容的評價，并將用戶的評價存儲在相應(yīng)的交互內(nèi)容的目錄中。

這樣就可以方便用戶查看對該功能的評價例如使用感受，評分等，從而方便用戶去選取適合自己的功能進(jìn)行使用。

本實(shí)施例中，為了更加詳細(xì)的說明機(jī)器人的交互，對所述多模態(tài)信息進(jìn)行預(yù)處理，識別用戶意圖的步驟具體包括：對多模態(tài)信息進(jìn)行預(yù)處理，識別用戶控制機(jī)器人作畫的意圖；

所述根據(jù)所述多模態(tài)信息和用戶意圖生成內(nèi)容信息和選擇生成模板的步驟包括：根據(jù)多模態(tài)信息和用戶意圖生成圖像信息和選擇圖像風(fēng)格模板；

所述將所述內(nèi)容信息與生成模板通過預(yù)設(shè)規(guī)則進(jìn)行組合后生成交互內(nèi)容的步驟包括：根據(jù)選擇的圖像風(fēng)格模板與圖像信息進(jìn)行組合后生成交互內(nèi)容；

所述成像系統(tǒng)根據(jù)交互內(nèi)容生成虛擬3D影像的步驟包括：成像系統(tǒng)根據(jù)交互內(nèi)容生成作畫動作的3D影像，并配上對應(yīng)的語音。

這樣就可以機(jī)器人進(jìn)行作畫，并展示出來動作和圖像，增加用戶的使用體驗(yàn)。

其中，所述圖像信息通過機(jī)器人數(shù)據(jù)庫或用戶圖庫獲取。這樣用戶就可以將自己拍照的圖片或者自拍的圖片發(fā)送給機(jī)器人，讓機(jī)器人按照圖片進(jìn)行作圖。

本實(shí)施例中，進(jìn)一步詳細(xì)的說明機(jī)器人的交互方式中，對所述多模態(tài)信息進(jìn)行預(yù)處理，識別用戶意圖的步驟包括：對多模態(tài)信息進(jìn)行預(yù)處理，識別用戶控制機(jī)器人作曲的意圖；

所述根據(jù)所述多模態(tài)信息和用戶意圖生成內(nèi)容信息和選擇生成模板的步驟包括：根據(jù)多模態(tài)信息和用戶意圖選擇作曲風(fēng)格模板和作曲內(nèi)容；

所述將所述內(nèi)容信息與生成模板通過預(yù)設(shè)規(guī)則進(jìn)行組合后生成交互內(nèi)容的步驟包括：根據(jù)作曲風(fēng)格模板和作曲內(nèi)容生成交互內(nèi)容；

所述成像系統(tǒng)根據(jù)交互內(nèi)容生成虛擬3D影像的步驟包括：成像系統(tǒng)根據(jù)交互內(nèi)容生成作曲動作的3D影像，并配上對應(yīng)的語音。

這樣就可以讓機(jī)器人進(jìn)行作曲，例如，用戶哼了一段小曲，然后機(jī)器人就可以根據(jù)這段小曲和作曲風(fēng)格的模板，進(jìn)行組合匹配等，從而生成一段新的小曲，來接上用戶哼的一段小曲。

本實(shí)施例中，進(jìn)一步詳細(xì)的說明機(jī)器人的交互方式中，對所述多模態(tài)信息進(jìn)行預(yù)處理，識別用戶意圖的步驟包括：對多模態(tài)信息進(jìn)行預(yù)處理，識別用戶控制機(jī)器人作詩的意圖；

所述根據(jù)所述多模態(tài)信息和用戶意圖生成內(nèi)容信息和選擇生成模板的步驟包括：根據(jù)多模態(tài)信息和用戶意圖選擇作詩風(fēng)格模板和作詩內(nèi)容；

所述將所述內(nèi)容信息與生成模板通過預(yù)設(shè)規(guī)則進(jìn)行組合后生成交互內(nèi)容的步驟包括：根據(jù)作詩風(fēng)格模板和作詩內(nèi)容生成交互內(nèi)容；

所述成像系統(tǒng)根據(jù)交互內(nèi)容生成虛擬3D影像的步驟包括：成像系統(tǒng)根據(jù)交互內(nèi)容生成作詩語音，并配上作詩動作的3D影像。

這樣就可以讓機(jī)器人作詩，例如用戶讀出一句詩，機(jī)器人就可以根據(jù)這句詩，結(jié)合作詩的模板，對出另一句詩，回復(fù)用戶，而且還可以配上讀出詩句時的動作，更加擬人化和形象。

本實(shí)施例中，進(jìn)一步詳細(xì)的說明機(jī)器人的交互方式中，所述對所述多模態(tài)信息進(jìn)行預(yù)處理，識別用戶意圖的步驟包括：對多模態(tài)信息進(jìn)行預(yù)處理，識別用戶控制機(jī)器人朗讀的意圖；

所述根據(jù)所述多模態(tài)信息和用戶意圖生成內(nèi)容信息和選擇生成模板的步驟包括：根據(jù)多模態(tài)信息和用戶意圖選擇朗讀內(nèi)容和朗讀背景；

所述將所述內(nèi)容信息與生成模板通過預(yù)設(shè)規(guī)則進(jìn)行組合后生成交互內(nèi)容的步驟包括：根據(jù)朗讀內(nèi)容和朗讀背景生成交互內(nèi)容；

所述成像系統(tǒng)根據(jù)交互內(nèi)容生成虛擬3D影像的步驟包括：成像系統(tǒng)根據(jù)交互內(nèi)容生成朗讀語音，并配上朗讀動作的3D影像。

這樣就可以讓機(jī)器人根據(jù)用戶的意圖選擇一本小說或故事或雜志進(jìn)行朗讀，從而讓機(jī)器人與用戶交互時更加智能化，提高用戶使用的體驗(yàn)度。

實(shí)施例二

如圖2所示，本實(shí)施中公開一種虛擬機(jī)器人的交互系統(tǒng)，包括：

獲取模塊201，用于獲取用戶的多模態(tài)信息；

意圖識別模塊202，用于對所述多模態(tài)信息進(jìn)行預(yù)處理，識別用戶意圖；

處理模塊203，用于根據(jù)所述多模態(tài)信息和用戶意圖生成內(nèi)容信息和選擇生成模板；

生成模塊204，用于將所述內(nèi)容信息與生成模板通過預(yù)設(shè)規(guī)則進(jìn)行組合后生成交互內(nèi)容；

發(fā)送模塊205，用于將交互內(nèi)容發(fā)送到成像系統(tǒng)，成像系統(tǒng)根據(jù)交互內(nèi)容生成虛擬3D影像；

評價模塊206，機(jī)器人根據(jù)所述交互內(nèi)容生成評價信息。

這樣就可以根據(jù)用戶的多模態(tài)信息確定用戶的意圖，用戶想要得到什么樣的回復(fù)，然后根據(jù)多模態(tài)信息和用戶的意圖查詢回復(fù)內(nèi)容的中的細(xì)節(jié)，包括內(nèi)容信息和生成模板，在收集完畢后，將內(nèi)容信息和生成模板組合生成交互內(nèi)容，然后發(fā)送到成像系統(tǒng)，成像系統(tǒng)根據(jù)交互內(nèi)容生成虛擬3D影像，從而進(jìn)行展示，向用戶回應(yīng)，這樣就可以使機(jī)器人與人交互時更加擬人化，該方法能夠提升機(jī)器人交互內(nèi)容生成的擬人性，提升人機(jī)交互體驗(yàn)，提高智能性，并且機(jī)器人還可以對生成的交互內(nèi)容進(jìn)行評價，例如評分等，以增加娛樂性和用戶體驗(yàn)感。

本實(shí)施例中的多模態(tài)信息可以是用戶表情、語音信息、手勢信息、場景信息、圖像信息、視頻信息、人臉信息、瞳孔虹膜信息、光感信息和指紋信息等其中的其中一種或幾種。

本實(shí)施例中方法可以應(yīng)用在不同的功能上，例如作畫，作曲，作詩，朗讀故事，朗讀小說等等。

根據(jù)其中一個示例，所述發(fā)送模塊還用于：將交互內(nèi)容發(fā)送到移動終端，所述移動終端根據(jù)交互內(nèi)容生成圖像、聲音、文字中的一種或幾種，并顯示。

這樣就讓用戶在移動終端上也可以查看到交互內(nèi)容，讓用戶可以以更多方式接收到機(jī)器人的反饋和回復(fù)。

根據(jù)其中一個示例，所述評價模塊還用于：獲取用戶對交互內(nèi)容的評價，并將用戶的評價存儲在相應(yīng)的交互內(nèi)容的目錄中。

這樣就可以方便用戶查看對該功能的評價例如使用感受，評分等，從而方便用戶去選取適合自己的功能進(jìn)行使用。

本實(shí)施例中，為了更加詳細(xì)的說明機(jī)器人的交互，意圖識別模塊用于：對多模態(tài)信息進(jìn)行預(yù)處理，識別用戶控制機(jī)器人作畫的意圖；

所述處理模塊用于：根據(jù)多模態(tài)信息和用戶意圖生成圖像信息和選擇圖像風(fēng)格模板；

所述生成模塊用于：根據(jù)選擇的圖像風(fēng)格模板與圖像信息進(jìn)行組合后生成交互內(nèi)容；

所述發(fā)送模塊用于：成像系統(tǒng)根據(jù)交互內(nèi)容生成作畫動作的3D影像，并配上對應(yīng)的語音。

這樣就可以機(jī)器人進(jìn)行作畫，并展示出來動作和圖像，增加用戶的使用體驗(yàn)。

其中，所述圖像信息通過機(jī)器人數(shù)據(jù)庫或用戶圖庫獲取。這樣用戶就可以將自己拍照的圖片或者自拍的圖片發(fā)送給機(jī)器人，讓機(jī)器人按照圖片進(jìn)行作圖。

本實(shí)施例中，進(jìn)一步詳細(xì)的說明機(jī)器人的交互方式中，意圖識別模塊用于：對多模態(tài)信息進(jìn)行預(yù)處理，識別用戶控制機(jī)器人作曲的意圖；

所述處理模塊用于：根據(jù)多模態(tài)信息和用戶意圖選擇作曲風(fēng)格模板和作曲內(nèi)容；

所述生成模塊用于：根據(jù)作曲風(fēng)格模板和作曲內(nèi)容生成交互內(nèi)容；

所述發(fā)送模塊用于：成像系統(tǒng)根據(jù)交互內(nèi)容生成作曲動作的3D影像，并配上對應(yīng)的語音。

這樣就可以讓機(jī)器人進(jìn)行作曲，例如，用戶哼了一段小曲，然后機(jī)器人就可以根據(jù)這段小曲和作曲風(fēng)格的模板，進(jìn)行組合匹配等，從而生成一段新的小曲，來接上用戶哼的一段小曲。

本實(shí)施例中，進(jìn)一步詳細(xì)的說明機(jī)器人的交互方式中，意圖識別模塊用于：對多模態(tài)信息進(jìn)行預(yù)處理，識別用戶控制機(jī)器人作詩的意圖；

所述處理模塊用于：根據(jù)多模態(tài)信息和用戶意圖選擇作詩風(fēng)格模板和作詩內(nèi)容；

所述生成模塊用于：根據(jù)作詩風(fēng)格模板和作詩內(nèi)容生成交互內(nèi)容；

所述發(fā)送模塊用于：成像系統(tǒng)根據(jù)交互內(nèi)容生成作詩語音，并配上作詩動作的3D影像。

這樣就可以讓機(jī)器人作詩，例如用戶讀出一句詩，機(jī)器人就可以根據(jù)這句詩，結(jié)合作詩的模板，對出另一句詩，回復(fù)用戶，而且還可以配上讀出詩句時的動作，更加擬人化和形象。

本實(shí)施例中，進(jìn)一步詳細(xì)的說明機(jī)器人的交互方式中，所述意圖識別模塊用于：對多模態(tài)信息進(jìn)行預(yù)處理，識別用戶控制機(jī)器人朗讀的意圖；

所述處理模塊用于：根據(jù)多模態(tài)信息和用戶意圖選擇朗讀內(nèi)容和朗讀背景；

所述生成模塊用于：根據(jù)朗讀內(nèi)容和朗讀背景生成交互內(nèi)容；

所述發(fā)送模塊用于：成像系統(tǒng)根據(jù)交互內(nèi)容生成朗讀語音，并配上朗讀動作的3D影像。

這樣就可以讓機(jī)器人根據(jù)用戶的意圖選擇一本小說或故事或雜志進(jìn)行朗讀，從而讓機(jī)器人與用戶交互時更加智能化，提高用戶使用的體驗(yàn)度。

本實(shí)施例中公開一種機(jī)器人，包括如上述任一所述的一種虛擬機(jī)器人的交互系統(tǒng)。

以上內(nèi)容是結(jié)合具體的優(yōu)選實(shí)施方式對本發(fā)明所作的進(jìn)一步詳細(xì)說明，不能認(rèn)定本發(fā)明的具體實(shí)施只局限于這些說明。對于本發(fā)明所屬技術(shù)領(lǐng)域的普通技術(shù)人員來說，在不脫離本發(fā)明構(gòu)思的前提下，還可以做出若干簡單推演或替換，都應(yīng)當(dāng)視為屬于本發(fā)明的保護(hù)范圍。