專利名稱：公共對(duì)話管理系統(tǒng)驅(qū)動(dòng)多個(gè)應(yīng)用的方法
技術(shù)領(lǐng)域：
本發(fā)明總體涉及一種用于通過公共的至少部分基于語(yǔ)音的對(duì)話管理系統(tǒng)來驅(qū)動(dòng)多個(gè)應(yīng)用的方法以及用于驅(qū)動(dòng)多個(gè)應(yīng)用的對(duì)話管理系統(tǒng)。
人機(jī)接口領(lǐng)域的近來發(fā)展已經(jīng)導(dǎo)致借助于應(yīng)用和應(yīng)用用戶之間的對(duì)話來管理或驅(qū)動(dòng)的技術(shù)設(shè)備或應(yīng)用的廣泛使用。大多數(shù)對(duì)話管理系統(tǒng)是基于可視信息的顯示和在用戶部分上的手動(dòng)交互。例如，用戶利用個(gè)人數(shù)字助理而能夠進(jìn)入對(duì)話或?qū)υ捔饕员阌?jì)劃約會(huì)或讀取輸入的郵件。通過對(duì)話管理系統(tǒng)發(fā)布提示來執(zhí)行該對(duì)話，其中用戶借助于筆或鍵盤輸入來響應(yīng)所述提示。用戶能夠請(qǐng)求所述應(yīng)用以報(bào)告正在出現(xiàn)的或者在不久的將來將出現(xiàn)的事件。例如，個(gè)人數(shù)字助理能夠向用戶提示即將到來的約會(huì)或重要日子?？梢栽陲@示器上圖形表示所述提示，并且該提示伴有諸如嘟嘟聲、咻咻聲或相似的人工聲響那樣聽得見的提示，以便引起用戶的注意并且提示他看顯示器以便看見應(yīng)用所傳遞的消息或提示?？梢詫⑼活愋偷泥洁铰暬蜻葸萋曈米鳛橐话阋鹱⒁獾脑O(shè)備，或者可以使用幾種不同類型的聲音以指示不同類型的事件。在播放術(shù)語(yǔ)中，所述的嘟嘟聲通常被稱為“耳標(biāo)(earcon)”，即圖標(biāo)的可聽到的等價(jià)物。
只要在用戶和唯一一個(gè)應(yīng)用之間執(zhí)行所述對(duì)話，記住哪一個(gè)耳標(biāo)或嘟嘟聲與哪一個(gè)事件有關(guān)并不是特別困難。然而，如果對(duì)話管理系統(tǒng)管理用戶和多個(gè)應(yīng)用之間的對(duì)話，那么由于用于指示不同類型事件的聲音通常被限于嘟嘟聲和其他人工發(fā)生電子噪聲，所以會(huì)變得相當(dāng)混亂。用戶會(huì)被混淆并且將一種類型的聲音誤認(rèn)為是另一種，從而曲解該對(duì)話流。
然而，至少部分的基于語(yǔ)音的對(duì)話管理系統(tǒng)允許用戶進(jìn)入一種與應(yīng)用的單向或雙向的口頭對(duì)話。用戶能夠發(fā)布口頭命令并且從對(duì)話系統(tǒng)接收可視或聽得見的反饋。一種所述的實(shí)例是家用電子管理系統(tǒng)，其中用戶發(fā)布口頭命令以激活例如視頻記錄器那樣的設(shè)備。另一實(shí)例可以是車輛中導(dǎo)航設(shè)備或另一設(shè)備的操作，其中用戶詢問設(shè)備的問題或者向設(shè)備發(fā)出命令，其給出響應(yīng)或反過來提出問題。更先進(jìn)的對(duì)話管理系統(tǒng)能夠發(fā)布口頭提示并且解釋口頭用戶輸入。例如如果用戶希望檢查他的電子郵箱的狀態(tài)，他可以說“檢查我的郵箱”，對(duì)話管理系統(tǒng)在轉(zhuǎn)發(fā)必要的命令給應(yīng)用和解釋報(bào)告回的結(jié)果之后會(huì)適當(dāng)?shù)鼗卮稹澳阌朽]件”或者“郵箱是空的”。然而，這種口頭反饋會(huì)使人憤怒，即使其被限制成簡(jiǎn)潔的短語(yǔ)時(shí)也能夠激怒人，特別是如果對(duì)話管理系統(tǒng)同時(shí)驅(qū)動(dòng)多個(gè)應(yīng)用。例如，如果對(duì)話管理系統(tǒng)控制個(gè)人數(shù)字助理、個(gè)人計(jì)算機(jī)、電話、家庭娛樂系統(tǒng)和新聞及天氣服務(wù)之間的對(duì)話，那么以類似于“來自于某某先生的呼叫”、“天氣持續(xù)晴好”、“拜仁慕尼黑和皇家馬德里之間的比賽5分鐘后在頻道XYZ上開始-我應(yīng)當(dāng)記錄它嗎？”、“在接下來的兩周中檢查與牙科醫(yī)生的約會(huì)-你想預(yù)約嗎？”以及“5分鐘后與互聯(lián)網(wǎng)連接超時(shí)”等等的語(yǔ)音反饋持續(xù)質(zhì)問用戶。用戶最終會(huì)被正在輸出的音量分心，即使該消息是相關(guān)的、該信息已經(jīng)被專門請(qǐng)求的。
在Nitin Sawnhey于1998年在Massachusetts Institute ofTechnology所作的理學(xué)碩士論文“Contextual Awareness，Messaging andCommunication in Nomadic Audio Environments”中進(jìn)行了一種嘗試，試圖提供一種經(jīng)由作為語(yǔ)音反饋的伴隨物的聽覺圖標(biāo)而向用戶告知應(yīng)用的狀態(tài)的對(duì)話管理系統(tǒng)。該草案描述了一種能夠與遠(yuǎn)程服務(wù)器對(duì)接的便攜設(shè)備。通過通常戴在用戶翻領(lǐng)上的便攜音頻設(shè)備而能夠報(bào)告服務(wù)器上激活的一個(gè)或多個(gè)程序的狀態(tài)。該設(shè)備限于僅從在所述遠(yuǎn)程服務(wù)器上運(yùn)行的不同程序中接收消息并且監(jiān)控這些程序的活動(dòng)(所有相似的屬性)，從而能夠?qū)嶋H上將它們認(rèn)為是單個(gè)應(yīng)用。但是在該草案中并沒有預(yù)見通過其中用戶既能監(jiān)控又能控制這些不同應(yīng)用的公共對(duì)話系統(tǒng)進(jìn)行的多個(gè)獨(dú)立應(yīng)用的實(shí)際驅(qū)動(dòng)，甚至是不同屬性的應(yīng)用的實(shí)際驅(qū)動(dòng)。
所以，本發(fā)明的一個(gè)目標(biāo)是提供一種容易、廉價(jià)的方法，確保用戶進(jìn)行不同應(yīng)用之間舒適和簡(jiǎn)單的區(qū)別，其中用戶使用公共對(duì)話管理系統(tǒng)和不同的應(yīng)用程序進(jìn)行交互，該方法尤其確保了用戶將不會(huì)把預(yù)定用于一個(gè)應(yīng)用的命令錯(cuò)誤地發(fā)布到另一個(gè)應(yīng)用。
為此目的，本發(fā)明提供一種通過公共對(duì)話管理系統(tǒng)來驅(qū)動(dòng)多個(gè)應(yīng)用的方法，其中向每一應(yīng)用分配唯一的聽覺圖標(biāo)集，并且其中公共對(duì)話管理系統(tǒng)通過在對(duì)話流的特定點(diǎn)上聽得見的重放從應(yīng)用唯一的聽覺圖標(biāo)集中選擇的相關(guān)聽覺圖標(biāo)而向用戶告知該應(yīng)用的狀態(tài)?！奥犛X圖標(biāo)”可以是任意類型的聲音或用于描述來自應(yīng)用的特定類型的反饋的專用聲音塊，諸如人工短音塊(耳標(biāo))或者類似于現(xiàn)實(shí)聲音的聲音塊，諸如相關(guān)聲音的錄音。
根據(jù)本發(fā)明的對(duì)話管理系統(tǒng)包括輸入檢測(cè)裝置，用于檢測(cè)用戶對(duì)系統(tǒng)的輸入；聲音輸出裝置，用于輸出聽得見的提示；核心對(duì)話引擎，用于通過解釋用戶輸入和產(chǎn)生輸出提示來協(xié)調(diào)對(duì)話流；應(yīng)用接口，用于對(duì)話管理系統(tǒng)和應(yīng)用之間的通信；被分配給應(yīng)用的唯一的聽覺圖標(biāo)集的源；以及聽覺圖標(biāo)管理單元，用于從與應(yīng)用相對(duì)應(yīng)的唯一的聽覺圖標(biāo)集中選擇在對(duì)話流中的特定點(diǎn)處用于重放的相關(guān)聽覺圖標(biāo)。
使用根據(jù)本發(fā)明的對(duì)話管理系統(tǒng)來驅(qū)動(dòng)多個(gè)應(yīng)用，用戶能夠很容易地區(qū)分來自于不同應(yīng)用的不同類型的反饋。由于應(yīng)用所報(bào)告回的每一類型的反饋伴有唯一意義的聽覺聲音，用戶很容易將其與相應(yīng)的應(yīng)用相關(guān)聯(lián)，所以用戶沒有被混淆的危險(xiǎn)，并且將不會(huì)把一種類型的反饋與另一種類型的反饋弄錯(cuò)。唯一的聽覺圖標(biāo)使用戶總是知曉有關(guān)他當(dāng)前正在交互的應(yīng)用的信息。這確保了用戶不會(huì)把預(yù)定用于一個(gè)應(yīng)用的命令錯(cuò)誤地發(fā)布到另一個(gè)應(yīng)用。因此，本發(fā)明特別有利于專門的語(yǔ)音控制的對(duì)話管理系統(tǒng)；或者特別有利于這樣一種應(yīng)用，其中對(duì)于用戶而言，必須看屏幕以跟蹤對(duì)話是行不通的或者危險(xiǎn)的，所述系統(tǒng)諸如是用戶不能轉(zhuǎn)移對(duì)交通的注意力的自動(dòng)導(dǎo)航系統(tǒng)，或外科醫(yī)生在總是知曉該手術(shù)過程狀態(tài)的同時(shí)必須保持集中精力于正在進(jìn)行的手術(shù)過程的計(jì)算機(jī)輔助外科手術(shù)過程。因此，本發(fā)明允許通過公共對(duì)話系統(tǒng)來驅(qū)動(dòng)甚至不同屬性的多個(gè)獨(dú)立的應(yīng)用以及允許用戶監(jiān)控和控制該應(yīng)用。
從屬權(quán)利要求特別公開了本發(fā)明的優(yōu)選實(shí)施例和特征，借助于此，根據(jù)方法權(quán)利要求的特征而能夠進(jìn)一步開發(fā)該系統(tǒng)。
可以將根據(jù)本發(fā)明的對(duì)話管理系統(tǒng)結(jié)合到已存在的設(shè)備中，諸如PC、電視、錄像機(jī)等等，并且將家庭和/或辦公室環(huán)境中運(yùn)行的各種應(yīng)用的狀態(tài)告知用戶。在優(yōu)選的實(shí)施例中，將對(duì)話管理系統(tǒng)實(shí)施為具有諸如機(jī)器人或優(yōu)選為人的物理形態(tài)的獨(dú)立設(shè)備?？梢詫?duì)話系統(tǒng)實(shí)現(xiàn)為例如DE10249060A1所述的以如下方式構(gòu)造的專用設(shè)備具有示意性面部特征的可移動(dòng)部分能夠面向用戶，給出該設(shè)備正傾聽用戶的印象。甚至可以以如下方式構(gòu)建對(duì)話管理系統(tǒng)當(dāng)用戶從一個(gè)房間到另一房間時(shí)，其能夠伴隨著用戶?？梢越柚陔娎|來實(shí)現(xiàn)對(duì)話管理系統(tǒng)和個(gè)別應(yīng)用之間的接口。優(yōu)選的是，以無線方式來實(shí)現(xiàn)該接口，諸如紅外線、藍(lán)牙等等，這樣對(duì)話管理系統(tǒng)基本上保持可移動(dòng)，并且并非限制于定位在其用于驅(qū)動(dòng)的應(yīng)用附近。如果無線接口足夠的可達(dá)到范圍(reach)，那么能夠很容易地使用對(duì)話管理系統(tǒng)來為位于建筑物中不同房間的設(shè)備控制多個(gè)應(yīng)用，所述建筑諸如辦公大樓或私人住宅。優(yōu)選地在專用應(yīng)用接口單元中管理對(duì)話管理系統(tǒng)和個(gè)別應(yīng)用之間的接口。在此，通過將根據(jù)口頭用戶輸入而解釋的任何命令或指令轉(zhuǎn)發(fā)到每一應(yīng)用并且通過從應(yīng)用接收預(yù)定用于用戶的反饋來管理應(yīng)用和對(duì)話管理系統(tǒng)之間的通信。應(yīng)用接口單元能夠以并行的方式處理幾個(gè)應(yīng)用。
由對(duì)話管理系統(tǒng)所驅(qū)動(dòng)的應(yīng)用可以是作為軟件而在個(gè)人計(jì)算機(jī)、網(wǎng)絡(luò)，或任何由處理器或簡(jiǎn)單電路控制的電子設(shè)備(諸如家用的加熱系統(tǒng)、微波爐等等)上運(yùn)行的程序。同樣，可以理解應(yīng)用能夠控制通常不受控于處理器的機(jī)械的或物理的設(shè)備或?qū)ο?。所述設(shè)備或?qū)ο罂梢约兇鉃橐环N機(jī)械設(shè)備或?qū)ο?，例如信箱。所述?duì)象可以具備適當(dāng)?shù)膫鞲衅骱偷綄?duì)話管理系統(tǒng)的接口，這樣例如當(dāng)信投入到信箱時(shí)通知對(duì)話管理系統(tǒng)。然后通過適當(dāng)?shù)穆犛X圖標(biāo)而將該事件通知給用戶，諸如驛車?yán)嚷?。所以?duì)話管理系統(tǒng)的用戶在沒有實(shí)際前往或看到的情況下能夠知道是否接收到郵政投遞。根據(jù)本發(fā)明的對(duì)話管理系統(tǒng)的所述應(yīng)用對(duì)于生活在高層公寓樓中的用戶或者對(duì)于身體殘疾的用戶來說是特別有利的。根據(jù)季節(jié)而能夠由用戶再編程的諸如家用類型加熱系統(tǒng)之類的加熱系統(tǒng)可以由根據(jù)本發(fā)明的對(duì)話管理系統(tǒng)控制。用戶在外出休假之前借助于口頭命令利用對(duì)話管理系統(tǒng)能夠容易地再編程加熱系統(tǒng)，從而省略了花費(fèi)時(shí)間手動(dòng)再編程的必要性。對(duì)話管理系統(tǒng)能夠向用戶報(bào)告加熱系統(tǒng)的狀態(tài)，從而相關(guān)的提示可以伴有適當(dāng)?shù)穆犛X圖標(biāo)。也能夠?qū)?yīng)用理解為基本的電子設(shè)備，諸如對(duì)講機(jī)或電話。在此，對(duì)話管理系統(tǒng)可以通過適當(dāng)?shù)慕涌谶B接到對(duì)講機(jī)或電話，并且在用戶實(shí)際上起初沒有開門或拿起電話接聽器的情況下通過發(fā)送適當(dāng)?shù)穆犛X圖標(biāo)(例如來訪者在門口敲擊門的木頭的聲音)以將事件告知用戶，從而能夠幫助用戶應(yīng)付來訪者或打進(jìn)來的電話。
用戶對(duì)對(duì)話管理系統(tǒng)的輸入可以是有聲的，這樣通過輸入檢測(cè)裝置(例如麥克風(fēng))記錄用戶的口頭命令或注釋。如果對(duì)話管理系統(tǒng)并非只能語(yǔ)音控制，那么輸入檢測(cè)裝置或許還包括鍵盤、鼠標(biāo)、或多個(gè)按鈕，借助于它們，用戶能夠向系統(tǒng)輸入命令。一種先進(jìn)的輸入檢測(cè)裝置甚至特征在于用于感測(cè)用戶移動(dòng)的照相機(jī)，這樣用戶通過手勢(shì)(例如通過揮動(dòng)他的手或搖動(dòng)他的頭)而與對(duì)話管理系統(tǒng)進(jìn)行通信。對(duì)話管理系統(tǒng)解釋用戶輸入，確定預(yù)定要使用該用戶輸入的應(yīng)用，并且將用戶輸入轉(zhuǎn)換成該應(yīng)用能夠理解的恰當(dāng)形式。
分析口頭用戶輸入的內(nèi)容，借助于核心對(duì)話引擎將來自應(yīng)用的反饋轉(zhuǎn)換成輸出提示。對(duì)話管理系統(tǒng)通過聲音輸出裝置(優(yōu)選為一個(gè)或多個(gè)揚(yáng)聲器)與用戶進(jìn)行通信，以輸出聽得見的提示，該聽得見的提示是響應(yīng)于來自應(yīng)用的反饋而由核心對(duì)話引擎產(chǎn)生的。
核心對(duì)話引擎包括用于執(zhí)行語(yǔ)音識(shí)別和語(yǔ)音合成的普通步驟的一些單元或模塊，諸如語(yǔ)言理解單元，語(yǔ)音合成單元等等。對(duì)話控制單元解釋由語(yǔ)言理解單元所識(shí)別的文本，識(shí)別預(yù)定使用它的應(yīng)用，并且將其轉(zhuǎn)換為適于由該應(yīng)用處理的形式。此外，對(duì)話控制單元對(duì)從應(yīng)用到來的反饋進(jìn)行分析并且將從與該應(yīng)用相關(guān)聯(lián)的唯一的聽覺圖標(biāo)集中選擇的適當(dāng)?shù)穆犛X圖標(biāo)轉(zhuǎn)發(fā)到輸出聲音裝置。聽得見的提示包括聽覺圖標(biāo)，其被理解為用于描述來自應(yīng)用的特定類型反饋的專用聲音塊。
應(yīng)用使用聽覺圖標(biāo)以指示對(duì)話流期間的任何事件，或者指示發(fā)生用戶可能感興趣的特定事件，諸如電子郵件的到達(dá)。此外例如如果用戶無意中聽到提示，可以使用聽覺圖標(biāo)來指示該應(yīng)用正等待用戶響應(yīng)。優(yōu)選的是，使用聽覺圖標(biāo)以指示應(yīng)當(dāng)告知用戶的應(yīng)用操作狀態(tài)的任何改變。
應(yīng)用特征在于在應(yīng)用能夠向用戶提供關(guān)于其狀態(tài)或活動(dòng)的反饋的任何情況下使用的完整聽覺圖標(biāo)集。在本發(fā)明的優(yōu)選實(shí)施例中，應(yīng)用向?qū)υ捁芾硐到y(tǒng)提供其聽覺圖標(biāo)集的副本，以及任何相關(guān)的指令或有關(guān)恰當(dāng)使用或重放每一個(gè)聽覺圖標(biāo)的附帶信息。通過對(duì)話管理系統(tǒng)在聽覺圖標(biāo)管理單元中管理這些圖標(biāo)，該單元了解哪一個(gè)聽覺圖標(biāo)被分配給哪一個(gè)應(yīng)用，以及使用每一聽覺圖標(biāo)的反饋類型。對(duì)話管理系統(tǒng)在用戶和應(yīng)用之間對(duì)話流的開始階段獲得整個(gè)聽覺圖標(biāo)集，或者一旦首次激活或安裝該應(yīng)用就獲得整個(gè)聽覺圖標(biāo)集，并且聽覺圖標(biāo)管理單元將有關(guān)聽覺圖標(biāo)及其相關(guān)指令的所有信息存儲(chǔ)在本地存儲(chǔ)器中以在隨后的時(shí)間點(diǎn)上使用。以這種方式，對(duì)話管理系統(tǒng)確保其具有不管在對(duì)話流期間會(huì)出現(xiàn)什么情況可以需要向用戶提供適當(dāng)反饋的任何聽覺圖標(biāo)。
可替換地，對(duì)話管理系統(tǒng)首先請(qǐng)求應(yīng)用為其集合中的每一聽覺圖標(biāo)僅提供相關(guān)的識(shí)別信息，諸如唯一描述性的名稱或號(hào)碼，以及與不同聽覺圖標(biāo)相關(guān)聯(lián)的一些使用指令。然后，僅當(dāng)必要時(shí)，對(duì)話管理系統(tǒng)請(qǐng)求每一聽覺圖標(biāo)，以便減少存儲(chǔ)器成本。對(duì)話管理系統(tǒng)基于先前的對(duì)話流同樣確定在不久的將來為特定應(yīng)用請(qǐng)求哪一種類型的聽覺圖標(biāo)，并且其預(yù)先從應(yīng)用中請(qǐng)求該聽覺圖標(biāo)。
對(duì)于一種不利用預(yù)定義的聽覺圖標(biāo)集的應(yīng)用來說，對(duì)話管理系統(tǒng)能夠提供適當(dāng)?shù)募?。為此目的，?duì)話管理系統(tǒng)能夠確定應(yīng)用的屬性并判定適當(dāng)?shù)穆犛X圖標(biāo)集，或者用戶會(huì)選擇自己定義聽覺圖標(biāo)。他通過定位數(shù)字形式的聲音塊來實(shí)現(xiàn)此，例如通過從互聯(lián)網(wǎng)上下載或者從音帶或歌曲中提取適當(dāng)?shù)穆曇魤K，或者他使用記錄裝置來記錄聲音塊并且將該記錄傳遞給對(duì)話管理系統(tǒng)。例如，他記錄或獲得快速驅(qū)動(dòng)的一級(jí)方程式賽車的記錄，將該記錄傳遞該對(duì)話管理系統(tǒng)，在該對(duì)話管理系統(tǒng)中通過聽覺圖標(biāo)管理單元而將所述記錄存儲(chǔ)到本地存儲(chǔ)器，并且指定無論何時(shí)用于提供運(yùn)動(dòng)新聞的應(yīng)用報(bào)告一級(jí)方程式賽車的最新消息，就播放該聲音塊。用戶也可以有利地使用對(duì)話管理系統(tǒng)的麥克風(fēng)以記錄適當(dāng)?shù)穆曇魤K。在本發(fā)明優(yōu)選的實(shí)施例中，對(duì)話管理系統(tǒng)具有連接到諸如USB棒、存儲(chǔ)卡之類的便攜存儲(chǔ)器或者連接到諸如互聯(lián)網(wǎng)之類的外部網(wǎng)絡(luò)以便定位和下載作為聽覺圖標(biāo)使用的聲音塊的適當(dāng)接口。
在本發(fā)明特別優(yōu)選的實(shí)施例中，對(duì)話管理系統(tǒng)能夠向應(yīng)用提供具有其所需要的一些聽覺圖標(biāo)。例如，可以是應(yīng)用僅處理一或兩個(gè)聽覺圖標(biāo)，例如來指示處理的開始，或者指示發(fā)生差錯(cuò)，需要引起用戶的注意。然而，對(duì)于用戶和應(yīng)用之間直觀和簡(jiǎn)單理解的對(duì)話流而言，這種少的選擇不是足夠的。在該情況下，對(duì)話管理系統(tǒng)從可用的選擇中選擇適當(dāng)?shù)穆犛X圖標(biāo)集，并且將它們分配給應(yīng)用。而且，可以是兩個(gè)或多個(gè)應(yīng)用在它們的清單中具有相似或相同的聽覺圖標(biāo)。為了避免如果同時(shí)激活兩個(gè)應(yīng)用可能出現(xiàn)的用戶部分上的任何混淆，對(duì)話管理系統(tǒng)以某種方式修改這些聽覺圖標(biāo)，或者通過不同的、同樣適當(dāng)?shù)穆犛X圖標(biāo)來替換這些聽覺圖標(biāo)。例如，在載入新的應(yīng)用的時(shí)候，對(duì)話管理系統(tǒng)檢查與新的應(yīng)用相關(guān)的聽覺圖標(biāo)，并且將它們與已經(jīng)分配給另一個(gè)應(yīng)用的聽覺圖標(biāo)相比較。如果任何一個(gè)新的聽覺圖標(biāo)與任何一個(gè)現(xiàn)有的聽覺圖標(biāo)相同或者非常相似，那么對(duì)話管理系統(tǒng)優(yōu)選地告知用戶，并且如果其有可用的，就建議適當(dāng)?shù)奶鎿Q。如果沒有適當(dāng)可替換的聽覺圖標(biāo)可使用，那么對(duì)話管理系統(tǒng)會(huì)提示用戶輸入適當(dāng)?shù)奶鎿Q。
應(yīng)用使用以便向用戶提供聽得到的反饋的聽覺圖標(biāo)實(shí)例是開始聽覺圖標(biāo)，當(dāng)激活或者從備用狀態(tài)重新激活用戶和應(yīng)用之間的對(duì)話流時(shí)就開始播放；和結(jié)束聽覺圖標(biāo)，當(dāng)結(jié)束、去激活或者使用戶和應(yīng)用之間的對(duì)話流處于備用模式的時(shí)候播放。開始聽覺圖標(biāo)本身應(yīng)該反映應(yīng)用的屬性，而結(jié)束聽覺圖標(biāo)可以僅僅是以逆順序播放的開始圖標(biāo)的聲音。應(yīng)用也可以使用信息性聽覺圖標(biāo)，其聲音包含一些有關(guān)應(yīng)用屬性或者與該聽覺圖標(biāo)相關(guān)聯(lián)的實(shí)際反饋類型的線索。例如，用于提供天氣預(yù)報(bào)更新的應(yīng)用可以播放具有與天氣相關(guān)的聲音的聽覺圖標(biāo)，諸如暴風(fēng)雨天氣的風(fēng)、下雨天氣的雨點(diǎn)和晴朗天氣的鳥聲。聽覺圖標(biāo)的其他實(shí)例是那些在應(yīng)用激活的時(shí)間期間提供狀態(tài)或信息更新的聽覺圖標(biāo)。例如，運(yùn)行個(gè)人數(shù)字助理的應(yīng)用具有一些聽覺圖標(biāo)，其用于向用戶提供涉及約會(huì)、到來的郵件、報(bào)告的到期日等等不同類型的狀態(tài)反饋。例如，個(gè)人數(shù)字助理使用適當(dāng)?shù)穆犛X圖標(biāo)向用戶重復(fù)提醒即將到來的約會(huì)，隨著約會(huì)的臨近，提醒變得越來月持久。
在本發(fā)明優(yōu)選的實(shí)施例中，用戶可以通過向用戶簡(jiǎn)檔輸入適當(dāng)?shù)男畔碇付ㄔ趯?duì)話流期間他喜歡聽哪個(gè)應(yīng)用的哪個(gè)聽覺圖標(biāo)。他也可以指定聽覺圖標(biāo)的音量，以及在對(duì)話流期間聽覺圖標(biāo)被播放的次數(shù)。另外，他能夠向不同的應(yīng)用分配優(yōu)先級(jí)，以便來自于對(duì)講機(jī)的反饋獲取的優(yōu)先級(jí)高于諸如個(gè)人數(shù)字助理那樣的應(yīng)用。通過這種方法，如果在對(duì)話流中較高和較低優(yōu)先級(jí)應(yīng)用同時(shí)報(bào)告反饋，用戶確保他將始終被告知較高優(yōu)先級(jí)的應(yīng)用。規(guī)律地或在聽覺圖標(biāo)管理單元進(jìn)行的每一次修改之后，能夠咨詢用戶簡(jiǎn)檔以確定是否應(yīng)該重放聽覺圖標(biāo)、期望的音量、以及在該對(duì)話流期間能夠重放該聽覺圖標(biāo)的次數(shù)。
在進(jìn)一步優(yōu)選的實(shí)施例中，對(duì)話管理系統(tǒng)通過解釋對(duì)話流而能夠推出用戶偏愛。例如，如果應(yīng)用借助于適當(dāng)?shù)穆犛X圖標(biāo)報(bào)告即將到來的約會(huì)的提醒，并且用戶回復(fù)“我知道，我知道”，那么對(duì)話管理系統(tǒng)能夠?qū)⑵浣忉尀檫@表明用戶不需要再次的提醒，并且抑制下次由應(yīng)用所啟動(dòng)的該反饋的聽覺圖標(biāo)。在用戶簡(jiǎn)檔中也可以通過用戶來指定對(duì)話管理系統(tǒng)部分上“智能”解釋的水平。例如對(duì)一個(gè)以上用戶所使用的對(duì)話管理系統(tǒng)而言，優(yōu)選地配置多個(gè)用戶簡(jiǎn)檔，這樣每一用戶具有自身的私有用戶簡(jiǎn)檔，在該簡(jiǎn)檔中，用戶能夠指定他自己的個(gè)人偏愛。
根據(jù)本發(fā)明的對(duì)話管理系統(tǒng)通過實(shí)現(xiàn)軟件模塊或計(jì)算機(jī)程序產(chǎn)品而能夠執(zhí)行上述的一些處理步驟。所述計(jì)算機(jī)程序產(chǎn)品可以直接載入到可編程的對(duì)話管理系統(tǒng)的存儲(chǔ)器。諸如核心對(duì)話引擎、應(yīng)用接口單元和聽覺圖標(biāo)管理單元之類的一些單元或模決因此能夠以計(jì)算機(jī)程序模塊的形式來實(shí)現(xiàn)。由于可以在硬件設(shè)備的處理器上編碼任一所需的軟件或算法，所以現(xiàn)有的電子設(shè)備能夠很容易地受益于本發(fā)明的特征。作為替換，以上述方式來處理用戶輸入和輸出提示的單元或塊同樣能夠使用硬件模塊來實(shí)現(xiàn)。
結(jié)合附圖以進(jìn)行隨后的詳細(xì)描述，這些詳細(xì)描述將使得本發(fā)明其他目的和特征變得顯而易見。然而，應(yīng)該理解，附圖僅僅是說明性的，而非對(duì)本發(fā)明的限制，對(duì)于本發(fā)明的限制應(yīng)當(dāng)參考后附的權(quán)利要求書。
單個(gè)圖，

圖1是根據(jù)本發(fā)明實(shí)施例的對(duì)話管理系統(tǒng)的示意性方框圖。
在附圖的描述中，不排除實(shí)現(xiàn)本發(fā)明的其他可能性，系統(tǒng)被示為用戶設(shè)備(例如家庭對(duì)話系統(tǒng))的一部分。為清楚起見，圖形中不包括用戶和本發(fā)明之間的接口。
圖1示出了具有用于與多個(gè)外部應(yīng)用A1、A2、A3…、An進(jìn)行通信的多個(gè)接口的對(duì)話管理系統(tǒng)1。以簡(jiǎn)化方式而被示為塊的應(yīng)用A1、A2、A3…、An事實(shí)上能夠是任一種類的用戶愿意被告知或者用戶愿意以某種方式控制的“應(yīng)用”或“功能”。在該實(shí)施例中，除了別的以外，應(yīng)用A1、A2、A3…、An可以包括個(gè)人數(shù)字助理A1、新聞和天氣服務(wù)A2和電話A3。
對(duì)話管理系統(tǒng)1的特征在于應(yīng)用接口10，用于處理對(duì)話管理系統(tǒng)1和應(yīng)用A1、A2、A3…、An之間傳遞的輸入和輸出信息。此外，其特征在于，當(dāng)將播放一些聽覺圖標(biāo)時(shí)，對(duì)話管理系統(tǒng)1能夠獲得來自于每一應(yīng)用A1、A2、A3…、An的有關(guān)任何聽覺圖標(biāo)的信息。該信息被存儲(chǔ)在聽覺圖標(biāo)管理單元11中。在該實(shí)例中，例如當(dāng)啟動(dòng)或引導(dǎo)其中一個(gè)應(yīng)用A1時(shí)，該應(yīng)用A1可以向?qū)υ捁芾硐到y(tǒng)1自動(dòng)提供與它的聽覺圖標(biāo)集相關(guān)的所有相關(guān)信息。另一應(yīng)用A3可以預(yù)先僅提交有關(guān)其聽覺圖標(biāo)的描述性信息，并且一旦在對(duì)話流實(shí)際需要聽覺圖標(biāo)的情況下請(qǐng)求，就提交單個(gè)聽覺圖標(biāo)。當(dāng)需要時(shí)，或者當(dāng)啟動(dòng)應(yīng)用A1、A2、A3…、An時(shí)，對(duì)話管理系統(tǒng)1能夠請(qǐng)求應(yīng)用A1、A2、A3…、An提供與一個(gè)或多個(gè)聽覺圖標(biāo)相關(guān)的信息。
并非所有的應(yīng)用在其處理中具有完整的適當(dāng)?shù)穆犛X圖標(biāo)集。一些應(yīng)用根本就沒有任何聽覺圖標(biāo)，并且一些應(yīng)用甚至具有相同的聽覺圖標(biāo)。為處理所述情況，聽覺圖標(biāo)管理單元11通過從預(yù)定義的聽覺圖標(biāo)13的集合中選擇適當(dāng)?shù)囊恍┒軌驅(qū)⒙犛X圖標(biāo)分配給應(yīng)用A2。對(duì)于所述應(yīng)用而言，用戶更希望讓聽覺圖標(biāo)管理單元11向應(yīng)用A2分配特定的聲音記錄。例如，當(dāng)天氣服務(wù)A2報(bào)告晴朗天氣時(shí)，用戶喜歡聽鳥鳴的聲音。如果預(yù)報(bào)暴風(fēng)雨的天氣，那么用戶喜歡聽打雷的聲音。用戶可以經(jīng)由用戶接口15以適當(dāng)?shù)母袷捷斎脒@些記錄作為音頻數(shù)據(jù)，并且讓聽覺圖標(biāo)管理單元11將它們分配到天氣服務(wù)應(yīng)用A2。向聽覺圖標(biāo)管理單元11提供所述記錄的另一種方式是經(jīng)由適當(dāng)?shù)慕涌?4從外部計(jì)算機(jī)或諸如互聯(lián)網(wǎng)那樣的網(wǎng)絡(luò)12下載它們。
這些獲得聽覺圖標(biāo)信息的不同方式允許對(duì)話管理系統(tǒng)1收集其所需的所有信息，以便在對(duì)話流中重放所需的相關(guān)聽覺圖標(biāo)。
在該實(shí)例中，對(duì)話流由附圖中未示出的用戶與對(duì)話管理系統(tǒng)1所驅(qū)動(dòng)的各種應(yīng)用A1、A2、A3…、An之間的通信組成。用戶通過麥克風(fēng)5向?qū)υ捁芾硐到y(tǒng)1發(fā)布口頭命令或請(qǐng)求。該口頭命令或請(qǐng)求在輸入檢測(cè)裝置4中記錄和數(shù)字化，所述輸入檢測(cè)裝置4將已記錄的語(yǔ)音輸入傳遞到核心對(duì)話引擎8。該引擎8包括用于執(zhí)行語(yǔ)音識(shí)別所包括的普通步驟的一些塊-音頻接口塊20在將輸入語(yǔ)音信號(hào)轉(zhuǎn)發(fā)到自動(dòng)語(yǔ)音識(shí)別器21之前對(duì)其執(zhí)行一些必要的數(shù)字信號(hào)處理。其從輸入音頻信號(hào)中提取任何可識(shí)別的語(yǔ)音分量并且將這些語(yǔ)音分量轉(zhuǎn)發(fā)到語(yǔ)言理解塊22。在語(yǔ)言理解塊22中，用戶的口頭命令或請(qǐng)求被分析相關(guān)性并且以適當(dāng)?shù)姆绞絺鬟f到對(duì)話控制器23，該對(duì)話控制器23將用戶輸入轉(zhuǎn)換為能夠被適當(dāng)?shù)膽?yīng)用A1、A2、A3…、An執(zhí)行的命令或請(qǐng)求。
如果需要從用戶獲得一些進(jìn)一步的信息，例如，如果自動(dòng)語(yǔ)音識(shí)別器21和語(yǔ)言理解塊22不能夠分析或理解口頭命令，或者如果不能夠?qū)⒖陬^命令應(yīng)用到激活應(yīng)用A1、A2、A3…、An中的任何一個(gè)，那么對(duì)話控制器23產(chǎn)生適當(dāng)?shù)恼?qǐng)求并且將這些請(qǐng)求轉(zhuǎn)發(fā)到語(yǔ)音產(chǎn)生器24，這些請(qǐng)求在語(yǔ)音產(chǎn)生器中被合成為語(yǔ)音。音頻接口塊20對(duì)輸出語(yǔ)音信號(hào)執(zhí)行必要的數(shù)字信號(hào)處理，然后在諸如揚(yáng)聲器之類的聲音輸出裝置6中轉(zhuǎn)換以給出聽得見的聲音7。
在圖1的對(duì)話管理系統(tǒng)所控制的對(duì)話流的典型實(shí)例中，用戶希望向他的個(gè)人數(shù)字助理A1的日記中輸入一約會(huì)。他需要做的僅僅是說“輸入在下周一上午11點(diǎn)預(yù)約稅金顧問”。核心對(duì)話引擎8將所述命令轉(zhuǎn)換成適當(dāng)?shù)男问讲⑶覍⑵涮峤坏絺€(gè)人數(shù)字助理應(yīng)用A1。如果可以在沒有任何問題的情況下將約會(huì)輸入到個(gè)人數(shù)字助理A1，那么向?qū)υ捁芾硐到y(tǒng)1報(bào)告適當(dāng)?shù)姆答仯鰧?duì)話管理系統(tǒng)1選擇適當(dāng)?shù)淖C實(shí)反饋輸出，諸如輸出口頭的“OK”或者“Roger”。
如果在那天的同一時(shí)間已經(jīng)排定了約會(huì)，那么個(gè)人數(shù)字助理A1向?qū)υ捁芾硐到y(tǒng)1(在該系統(tǒng)中應(yīng)用接口10和/或?qū)υ捒刂破?3解釋該應(yīng)用的響應(yīng))返回報(bào)告，并且選擇適當(dāng)?shù)穆犛X圖標(biāo)(例如撞擊鈸的聲音)以向用戶指示新的約會(huì)與已經(jīng)輸入的約會(huì)沖突。另外，對(duì)話控制器23觸發(fā)產(chǎn)生適當(dāng)?shù)奶崾?，例如“你已?jīng)與某某先生在上午11點(diǎn)有約會(huì)”?？蛇x的是，如果用戶不希望詳細(xì)的反饋，那么用戶可以撤消提示輸出。
在該實(shí)例中，用戶在用戶簡(jiǎn)檔中指定他的有關(guān)重放聽覺圖標(biāo)的偏愛以制定或配置到以下程度，即他希望被告知有關(guān)他所使用的應(yīng)用中出現(xiàn)的事件以及哪些應(yīng)用被給予了對(duì)話流中較高的優(yōu)先級(jí)。這些偏愛持續(xù)直到在隨后的某時(shí)間上由用戶改變，或者它們或許是暫時(shí)的屬性。例如，用戶會(huì)告訴對(duì)話管理系統(tǒng)在一定的時(shí)間段內(nèi)如何反應(yīng)。例如，當(dāng)用戶說“除非確實(shí)重要，在接下來的兩個(gè)小時(shí)中不要打斷我”的時(shí)候，對(duì)話管理系統(tǒng)抑制在隨后的兩個(gè)小時(shí)期間出現(xiàn)的次要事件的報(bào)告，諸如自動(dòng)天氣更新，并且將所有相對(duì)不重要的事件推遲兩個(gè)小時(shí)，諸如即將到來的已排定約會(huì)的24小時(shí)提醒-“明天下午3點(diǎn)約會(huì)牙科醫(yī)生”。在指定時(shí)間期間僅僅相對(duì)重要的事件諸如已經(jīng)排定的約會(huì)“在15分鐘內(nèi)與指導(dǎo)者約見”或者由電話應(yīng)用A3中所標(biāo)記的來自客戶的重要電話呼叫會(huì)打斷用戶。對(duì)話管理系統(tǒng)通過檢查用戶簡(jiǎn)檔3中所指定的信息來判定什么是重要的以及什么是相對(duì)不重要的。
如果兩個(gè)或多個(gè)應(yīng)用指示在同一時(shí)間播放聽覺圖標(biāo)，那么其他的偏愛可以指定給予應(yīng)用的優(yōu)先級(jí)。在該情況中，用戶在用戶簡(jiǎn)檔13中指定電話A3將被分配比新聞和天氣服務(wù)A2高的優(yōu)先級(jí)。如果新聞和天氣服務(wù)A2正打算給出其自動(dòng)的新聞更新，并且呼入呼叫在同一時(shí)間到達(dá)，那么應(yīng)用接口10確認(rèn)電話應(yīng)用A3具有較高的優(yōu)先級(jí)，并且抑制新聞和天氣服務(wù)A2的聽覺圖標(biāo)，其可以被延遲到在隨后的時(shí)間點(diǎn)上輸出。
盡管以優(yōu)選實(shí)施例和其變形的形式描述了本發(fā)明，但是應(yīng)該理解在不脫離發(fā)明范圍的情況下能夠進(jìn)行另外的修改和變化，例如可以將聽覺圖標(biāo)管理單元實(shí)現(xiàn)為核心對(duì)話引擎的一部分，或者結(jié)合到諸如對(duì)話控制器那樣的另一模塊中。在本發(fā)明的一個(gè)實(shí)施例中，對(duì)話系統(tǒng)在處理一些發(fā)聲之后能夠確定當(dāng)前用戶的聲音質(zhì)量，或者用戶通過輸入識(shí)別代碼而可以使得自己被所述系統(tǒng)認(rèn)出，然后可以使用識(shí)別代碼以訪問所存儲(chǔ)的用戶簡(jiǎn)檔信息，進(jìn)而又可以使用所述用戶簡(jiǎn)檔信息以產(chǎn)生用于音頻接口的適當(dāng)?shù)目刂茀?shù)。
為簡(jiǎn)單起見，整個(gè)申請(qǐng)中，應(yīng)該理解的是，所使用的“一”或“一個(gè)”不排除多個(gè)，并且“包括”不排除其他的步驟或元件。所使用的“單元”或“模塊”不限制以單個(gè)單元或模塊來實(shí)現(xiàn)。
權(quán)利要求
1.一種通過公共對(duì)話管理系統(tǒng)(1)來驅(qū)動(dòng)多個(gè)應(yīng)用(A1、A2、A3…、An)的方法，其中將唯一的聽覺圖標(biāo)集(S1、S2、S3…、Sn)分配給每一應(yīng)用(A1、A2、A3…、An)，并且其中公共對(duì)話管理系統(tǒng)(1)通過在對(duì)話流的特定點(diǎn)上重放從相應(yīng)應(yīng)用(A1、A2、A3…、An)的唯一的聽覺圖標(biāo)集(S1、S2、S3…、Sn)中選擇的相關(guān)聽覺圖標(biāo)(I1、I2、I3…、In)而向用戶告知應(yīng)用(A1、A2、A3…、An)的狀態(tài)。
2.根據(jù)權(quán)利要求1的方法，其中，重放應(yīng)用(A1、A2、A3…、An)的聽覺圖標(biāo)(I1、I2、I3…、In)以向用戶指示應(yīng)用(A1、A2、A3…、An)的操作狀態(tài)的改變。
3.根據(jù)權(quán)利要求1或2的方法，其中，應(yīng)用(A1、A2、A3…、An)將聽覺圖標(biāo)集(S1、S2、S3…、Sn)以及涉及其使用的相關(guān)指令提交到對(duì)話管理系統(tǒng)(1)。
4.根據(jù)權(quán)利要求3的方法，其中，對(duì)話管理系統(tǒng)(1)獲得應(yīng)用(A1、A2、A3…、An)的個(gè)別聽覺圖標(biāo)(I1、I2、I3…、In)的識(shí)別信息和相關(guān)指令，并且一旦請(qǐng)求，對(duì)話管理系統(tǒng)(1)從應(yīng)用(A1、A2、A3…、An)中檢索該聽覺圖標(biāo)(I1、I2、I3…、In)。
5.根據(jù)權(quán)利要求3的方法，其中，在用戶和應(yīng)用(A1、A2、A3…、An)之間的對(duì)話流一開始或者一旦激活或安裝應(yīng)用(A1、A2、A3…、An)，對(duì)話管理系統(tǒng)(1)就獲取應(yīng)用(A1、A2、A3…、An)的完整的聽覺圖標(biāo)集(S1、S2、S3…、Sn)。
6.根據(jù)先前任一權(quán)利要求的方法，其中，對(duì)話管理系統(tǒng)(1)通過修改應(yīng)用(A1、A2、A3…、An)的聽覺圖標(biāo)集(S1、S2、S3…、Sn)中非唯一的聽覺圖標(biāo)(I1、I2、I3…、In)和/或從聽覺圖標(biāo)的集合(13)中選擇用于應(yīng)用(A1、A2、A3…、An)的唯一聽覺圖標(biāo)(I1、I2、I3…、In)而向應(yīng)用(A1、A2、A3…、An)提供唯一的聽覺圖標(biāo)集(S1、S2、S3…、Sn)。
7.根據(jù)先前任一權(quán)利要求的方法，其中，用戶和應(yīng)用(A1、A2、A3…、An)之間對(duì)話流中用于重放的聽覺圖標(biāo)集(S1、S2、S3…、Sn)包括用于在對(duì)話流開始處重放的至少一個(gè)唯一開始聽覺圖標(biāo)和/或用于在對(duì)話流結(jié)束處重放的至少一個(gè)唯一的結(jié)束聽覺圖標(biāo)。
8.根據(jù)先前任一權(quán)利要求的方法，其中，用于在用戶和應(yīng)用(A1、A2、A3…、An)之間的對(duì)話流中重放的聽覺圖標(biāo)集(S1、S2、S3…、Sn)包括用于在對(duì)話流期間在特定點(diǎn)上重放的多個(gè)唯一的提供信息的聽覺圖標(biāo)(I1、I2、I3…、In)，其中每一聽覺圖標(biāo)(I1、I2、I3…、In)描述來自應(yīng)用(A1、A2、A3…、An)的一種特定類型的反饋。
9.根據(jù)先前任一權(quán)利要求的方法，其中，在用戶簡(jiǎn)檔(3)中為用戶指定聽覺圖標(biāo)(I1、I2、I3…、In)和/或聽覺圖標(biāo)(I1、I2、I3…、In)的重放特性。
10.一種用于驅(qū)動(dòng)多個(gè)應(yīng)用(A1、A2、A3…、An)的對(duì)話管理系統(tǒng)(1)，包括輸入檢測(cè)裝置(4)，用于檢測(cè)對(duì)系統(tǒng)的用戶輸入(5)；聲音輸出裝置(6)，用于輸出可聽到的提示(7)；核心對(duì)話引擎(8)，用于通過解釋用戶輸入(5)和產(chǎn)生輸出提示(7)來協(xié)調(diào)對(duì)話流；應(yīng)用接口(10)，用于對(duì)話管理系統(tǒng)(1)和應(yīng)用(A1、A2、A3…、An)之間的通信；被分配給應(yīng)用(A1、A2、A3…、An)的唯一的聽覺圖標(biāo)集(S1、S2、S3…、Sn)的源；以及聽覺圖標(biāo)管理單元(11)，用于從與應(yīng)用(A1、A2、A3…、An)相對(duì)應(yīng)的唯一的聽覺圖標(biāo)集(S1、S2、S3…、Sn)中選擇在對(duì)話流中的特定點(diǎn)處用于重放的相關(guān)聽覺圖標(biāo)(I1、I2、I3…、In)。
11.根據(jù)權(quán)利要求11的對(duì)話管理系統(tǒng)(1)，包括允許用戶輸入聽覺圖標(biāo)(I1、I2、I3…、In)的裝置(15)。
12.根據(jù)權(quán)利要求11或12的對(duì)話管理系統(tǒng)(1)，包括接口(14)，其用于從外部源(12)中獲得聽覺圖標(biāo)集(S1、S2、S3…、Sn)或個(gè)別的聽覺圖標(biāo)(I1、I2、I3…、In)。
13.一種可直接載入到可編程的對(duì)話管理系統(tǒng)(1)的存儲(chǔ)器中的計(jì)算機(jī)程序產(chǎn)品，包括當(dāng)所述產(chǎn)品在對(duì)話管理系統(tǒng)(1)中運(yùn)行時(shí)，用于執(zhí)行根據(jù)權(quán)利要求1至10所述方法的步驟的軟件代碼部分。
全文摘要
本發(fā)明描述一種通過公共對(duì)話管理系統(tǒng)(1)來驅(qū)動(dòng)多個(gè)應(yīng)用(A
文檔編號(hào)G10L15/26GK1938757SQ200580010093
公開日2007年3月28日 申請(qǐng)日期2005年3月21日 優(yōu)先權(quán)日2004年3月29日
發(fā)明者T·波爾特勒, B·施特里夫克爾克, J·特弗魯格特 申請(qǐng)人:皇家飛利浦電子股份有限公司