基于人工智能的智能交互設(shè)備控制方法及系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及智能終端技術(shù)領(lǐng)域，特別涉及一種基于人工智能(ArtificialIntelligence,簡稱:AI)的智能交互設(shè)備控制方法、控制系統(tǒng)及智能交互設(shè)備。
【背景技術(shù)】
[0002]現(xiàn)在的智能交互設(shè)備，如電視機、生活電器等，通常是采用遙控或者提前設(shè)定好的程序來執(zhí)行相關(guān)的動作。這種通過遙控或者提前設(shè)定好的程序來執(zhí)行相關(guān)動作的智能交互設(shè)備存在以下缺點:
[0003]與人類之間的交互方式單一且互動性差，這是由于遙控操作功能有限，智能交互設(shè)備無法完成遙控操作功能以外的動作，同樣，智能交互設(shè)備按照提前設(shè)定好的程序進行動作，也是存在無法完成設(shè)定程序以外的其它動作，不能針對不同用戶需求進行不同的運動。另外，這些交互方式均是在用戶遙控或者觸發(fā)某個功能按鍵后進行的，因此，完全是被動的交互方式。
[0004]雖然有一些如視頻會議跟蹤系統(tǒng)可以根據(jù)說話人的聲音將攝像頭等轉(zhuǎn)向說話人，但是并不能夠準確判斷說話人是否存在交互意愿，也不能夠根據(jù)交互意愿做成適當(dāng)?shù)姆磻?yīng)。

【發(fā)明內(nèi)容】

[0005]本發(fā)明的目的旨在至少解決所述技術(shù)缺陷之一。
[0006]為此，本發(fā)明的一個目的在于提出一種基于人工智能的智能交互設(shè)備控制方法。該方法能夠提升用戶與智能交互設(shè)備的交互體驗，提升智能交互設(shè)備的智能性。
[0007]本發(fā)明的另一個目的在于提出一種基于人工智能的智能交互設(shè)備控制方法。
[0008]本發(fā)明的再一個目的在于提出一種智能交互設(shè)備。
[0009]為達到上述目的，本發(fā)明的第一方面的實施例公開了一種基于人工智能的智能交互設(shè)備控制方法，包括以下步驟:接收多模態(tài)的輸入信號，所述多模態(tài)的輸入信號包括用戶輸入的圖像信號、聲音信號和/或距離信號；根據(jù)所述圖像信號進行人臉檢測，并在檢測到有人臉時，獲取所述人臉圖像和人臉信息；根據(jù)所述人臉圖像進行唇區(qū)檢測以確定唇區(qū)運動情況；根據(jù)所述聲音信號進行聲源定位以得到聲源信息；根據(jù)所述人臉信息、所述唇區(qū)運動情況、所述聲源信息和/或所述距離信號判斷所述用戶的交互意愿以及交互意愿強烈程度；以及根據(jù)所述用戶的交互意愿以及交互意愿強烈程度控制所述智能交互設(shè)備進行相應(yīng)的交互響應(yīng)。
[0010]根據(jù)本發(fā)明實施例的基于人工智能的智能交互設(shè)備控制方法，能夠?qū)崟r的采集用戶的聲音信號、圖像信號和/或距離信號，經(jīng)過人工智能的分析后確定出用戶是否存在交互意愿，并可以確定出交互意愿的強烈程度，然后自主地控制智能交互設(shè)備進行相應(yīng)的動作，主動地與用戶進行交互且交互手段豐富，進而提升用戶的使用體驗。
[0011]本發(fā)明第二方面的實施例公開了一種基于人工智能的智能交互設(shè)備控制系統(tǒng)，包括:接收模塊，用于接收多模態(tài)的輸入信號，所述多模態(tài)的輸入信號包括用戶輸入的圖像信號、聲音信號和/或距離信號；人臉檢測模塊，用于根據(jù)所述圖像信號進行人臉檢測，并在檢測到有人臉時，獲取所述人臉圖像和人臉信息；唇區(qū)檢測模塊，用于根據(jù)所述人臉圖像進行唇區(qū)檢測以確定唇區(qū)運動情況；聲源定位模塊，用于根據(jù)所述聲音信號進行聲源定位以得到聲源信息；決策模塊，所述決策模塊用于根據(jù)所述人臉信息、所述唇區(qū)運動情況、所述聲源信息和/或所述距離信號判斷所述用戶的交互意愿以及交互意愿強烈程度；以及復(fù)合輸出控制模塊，用于根據(jù)所述用戶的交互意愿以及交互意愿強烈程度控制所述智能交互設(shè)備進行相應(yīng)的交互響應(yīng)。
[0012]根據(jù)本發(fā)明實施例的基于人工智能的智能交互設(shè)備控制系統(tǒng)，能夠?qū)崟r的采集用戶的聲音信號、圖像信號和/或距離信號，經(jīng)過人工智能的分析后確定出用戶是否存在交互意愿，并可以確定出交互意愿的強烈程度，然后自主地控制智能交互設(shè)備進行相應(yīng)的動作，主動地與用戶進行交互且交互手段豐富，進而提升用戶的使用體驗。
[0013]本發(fā)明第三方面的實施例公開了一種智能交互設(shè)備，包括:根據(jù)上述的第二方面實施例所述的基于人工智能的智能交互設(shè)備控制系統(tǒng)。該智能的智能交互設(shè)備能夠?qū)崟r的采集用戶的聲音信號、圖像信號和/或距離信號，經(jīng)過人工智能的分析后確定出用戶是否存在交互意愿，并可以確定出交互意愿的強烈程度，然后自主地控制智能交互設(shè)備進行相應(yīng)的動作，主動地與用戶進行交互且交互手段豐富，進而提升用戶的使用體驗。
[0014]本發(fā)明附加的方面和優(yōu)點將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本發(fā)明的實踐了解到。
【附圖說明】
[0015]本發(fā)明所述的和/或附加的方面和優(yōu)點從下面結(jié)合附圖對實施例的描述中將變得明顯和容易理解，其中:
[0016]圖1是根據(jù)本發(fā)明一個實施例的基于人工智能的智能交互設(shè)備控制方法的流程圖；以及
[0017]圖2是根據(jù)本發(fā)明一個實施例的基于人工智能的智能交互設(shè)備控制系統(tǒng)的結(jié)構(gòu)框圖；以及
[0018]圖3是根據(jù)本發(fā)明一個實施例的基于人工智能的智能交互設(shè)備控制系統(tǒng)的原理圖。
【具體實施方式】
[0019]下面詳細描述本發(fā)明的實施例，所述實施例的示例在附圖中示出，其中自始至終相同或類似的標(biāo)號表示相同或類似的元件或具有相同或類似功能的元件。下面通過參考附圖描述的實施例是示例性的，僅用于解釋本發(fā)明，而不能解釋為對本發(fā)明的限制。
[0020]在本發(fā)明的描述中，需要說明的是，除非另有規(guī)定和限定，術(shù)語“安裝”、“相連”、“連接”應(yīng)做廣義理解，例如，可以是機械連接或電連接，也可以是兩個元件內(nèi)部的連通，可以是直接相連，也可以通過中間媒介間接相連，對于本領(lǐng)域的普通技術(shù)人員而言，可以根據(jù)具體情況理解所述術(shù)語的具體含義。
[0021]為了解決相關(guān)技術(shù)中存在的智能交互設(shè)備智能性差且不能很好與人類進行交互的問題，本發(fā)明基于人工智能實現(xiàn)了智能性高且與人類交互體驗好的智能交互設(shè)備控制方法、控制系統(tǒng)及智能交互設(shè)備，其中，人工智能(Artificial Intelligence，簡稱:AI)，是研究、開發(fā)用于模擬、延伸和擴展人的智能的理論、方法、技術(shù)及應(yīng)用系統(tǒng)的一門新的技術(shù)科學(xué)。人工智能是計算機科學(xué)的一個分支，企圖了解智能的實質(zhì)，并生產(chǎn)出一種新的能以人類智能相似的方式做出反應(yīng)的智能機器，該領(lǐng)域的研究包括機器人、語言識別、圖像識別、自然語言處理和專家系統(tǒng)等。
[0022]人工智能是對人的意識、思維的信息過程的模擬。人工智能不是人的智能，但能像人那樣思考，也可能超過人的智能。人工智能是包括十分廣泛的科學(xué)，由不同的領(lǐng)域組成，如機器學(xué)習(xí)，計算機視覺等等，總的說來，人工智能研究的一個主要目標(biāo)是使機器能夠勝任一些通常需要人類智能才能完成的復(fù)雜工作。
[0023]以下結(jié)合附圖描述根據(jù)本發(fā)明實施例的基于人工智能的智能交互設(shè)備控制方法、控制系統(tǒng)及智能交互設(shè)備。
[0024]圖1是根據(jù)本發(fā)明一個實施例的基于人工智能的智能交互設(shè)備控制方法的流程圖。如圖1所示，該方法包括如下步驟:
[0025]SlOl:接收多模態(tài)的輸入信號，所述多模態(tài)的輸入信號包括用戶輸入的圖像信號、
聲音信號和/或距離信號。
[0026]具體地，用戶輸入的聲音信號可以是用戶通過麥克風(fēng)輸入的；上述的圖像信號可以是通過攝像頭采集得到的；上述的距離信號可以通過紅外距離傳感器采集得到。
[0027]S102:根據(jù)圖像信號進行人臉檢測，并在檢測到有人臉時，獲取人臉圖像和人臉信息。其中，人臉信息包括但不限于人臉面積信息和人臉正面面對程度。
[0028]具體地，對于如攝像頭采集到的圖像，可以通過人臉檢測手段檢測圖像中是否存在人臉、人臉在圖像中占據(jù)的面積、人臉是否正對智能交互設(shè)備等。
[0029]當(dāng)檢測到圖像中存在人臉之后，可以從圖像中截取人臉圖像，并保存人臉信息。
[0030]S103:根據(jù)人臉圖像進行唇區(qū)檢測以確定唇區(qū)運動情況。
[0031]具體地，當(dāng)步驟S102中檢測到圖像中存在人臉后，可以通過唇區(qū)檢測手段從截取的人臉圖像中進行唇區(qū)運動情況的檢測。例如:檢測結(jié)果為唇區(qū)發(fā)送動作或者唇區(qū)未發(fā)生動作。
[0032]在本發(fā)明的一個實施例中，可以根據(jù)多幀人臉圖像之間的唇區(qū)形狀差異確定唇區(qū)運動情況。例如:前一幀人臉圖像中唇區(qū)部分顯示上下嘴唇閉合，而后一幀人臉圖像中唇區(qū)部分顯示上下嘴唇張開，此時，可以判定出用戶唇區(qū)產(chǎn)生動作，可能是用戶在開口說話等。
[0033]需要說明的是，正常情況下即使用戶沒有說話等，上下嘴唇也可能在某個時刻產(chǎn)生動作，例如打哈欠。這種情況下，不應(yīng)該認為用戶的唇區(qū)產(chǎn)生了了與說話等相關(guān)的動作，因此