用于輔助患者的方法和系統(tǒng)的制作方法
【專利摘要】提供了一種用于幫助用戶與他人進(jìn)行社交互動的系統(tǒng)，所述系統(tǒng)被配置為確定用戶是否辨識該人，如果確定用戶沒有辨識該人，則向用戶提供關(guān)于該人的信息。還提供了對應(yīng)的方法和用于執(zhí)行所述方法的計(jì)算機(jī)程序產(chǎn)品。
【專利說明】用于輔助患者的方法和系統(tǒng)
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種用于輔助患有(諸如由阿爾茨海默癥導(dǎo)致的)記憶障礙的人進(jìn)行社交互動的方法和系統(tǒng)。
【背景技術(shù)】
[0002]患有早期和中期阿爾茨海默癥(AD)的患者表現(xiàn)出智力障礙，諸如，記憶力喪失、執(zhí)行功能和注意力退化，通常在來自家庭成員、朋友或護(hù)理提供者的幫助下，他們一般仍然能夠相當(dāng)好地執(zhí)行其日常任務(wù)。
[0003]但是，患有AD (或者一般而言的記憶和認(rèn)知障礙)的人會發(fā)現(xiàn)很難進(jìn)行社交互動，諸如，與他人(可以是護(hù)理人員、醫(yī)生、朋友)談話，由于他們通常不記得這個(gè)人是誰或者關(guān)于他們的相關(guān)信息，而且不能完全跟隨談話。這些互動中的記憶喪失對患有AD的人產(chǎn)生壓力，并且這通常反映在這個(gè)人的不希望出現(xiàn)的行為中，因此使他們難以維持正常的社交生活。
[0004]盡管存在用于幫助老年人執(zhí)行其基本任務(wù)和活動的系統(tǒng)，但是這些系統(tǒng)不是特別針對在頭腦方面患有顯著的記憶障礙(諸如，阿爾茨海默癥)的人而設(shè)計(jì)的，并且因此并不是特別適合這一用途。
[0005]因此，需要一種用于輔助患有記憶障礙的人進(jìn)行社交互動的方法和系統(tǒng)。

【發(fā)明內(nèi)容】

[0006]將在下列敘述中陳述本發(fā)明的各個(gè)方面。
[0007]1、一種用于輔助用戶`與另一人進(jìn)行社交互動的系統(tǒng)，所述系統(tǒng)被配置為確定所述用戶是否辨識該人，以及如果確定所述用戶沒有辨識該人，則向所述用戶提供關(guān)于該人的信息。
[0008]2、根據(jù)表述I所述的系統(tǒng)，其中，所述系統(tǒng)被配置為通過確定所述用戶的情緒狀態(tài)來確定所述用戶是否辨識該人。
[0009]3、根據(jù)表述2所述的系統(tǒng)，其中，所述系統(tǒng)包括一個(gè)或多個(gè)傳感器，用于測量所述用戶的生理特征，并且其中，所述系統(tǒng)被配置為基于測量出的生理特征來確定所述用戶的情緒狀態(tài)。
[0010]4、根據(jù)表述2或3中的任一項(xiàng)所述的系統(tǒng)，其中，所述系統(tǒng)被配置為通過分析所述用戶在互動期間的語音來確定所述用戶的情緒狀態(tài)。
[0011]5、根據(jù)表述I到4中的任一項(xiàng)所述的系統(tǒng)，其中，所述系統(tǒng)被配置為通過播放音頻和/或視頻消息并且通過監(jiān)測所述用戶對消息的反應(yīng)來確定所述用戶是否辨識該人。
[0012]6、根據(jù)表述I到4中的任一項(xiàng)所述的系統(tǒng)，其中，所述系統(tǒng)被配置為通過使用語音辨識算法以分析所述用戶和/或該人在互動期間的語音，來確定所述用戶是否辨識該人。
[0013]7、根據(jù)表述I到6中的任一項(xiàng)所述的系統(tǒng)，其中，所述系統(tǒng)包括:
[0014]圖像捕獲模塊，用于捕獲該人的圖像或者一系列圖像；[0015]處理器，用于向捕獲到的圖像應(yīng)用面部辨識算法，以識別該人，并且用于獲得關(guān)于識別出的人的信息；以及
[0016]用戶接口，如果確定所述用戶沒有辨識該人，則所述用戶接口用于向所述用戶呈現(xiàn)獲得的關(guān)于所述識別出的人的所述信息。
[0017]8、根據(jù)表述I到7中的任一項(xiàng)所述的系統(tǒng)，其中，所述系統(tǒng)包括:
[0018]麥克風(fēng)，用于記錄該人在所述互動期間的語音；
[0019]處理器，用于使用聲音辨識算法對記錄的語音進(jìn)行處理，以識別該人，并且用于獲得關(guān)于識別出的人的信息；以及
[0020]用戶接口，如果確定所述用戶沒有辨識該人，則所述用戶接口用于向所述用戶呈現(xiàn)獲得的關(guān)于所述識別出的人的所述信息。
[0021]9、根據(jù)前述表述中的任一項(xiàng)所述的系統(tǒng)，其中，所述系統(tǒng)還被配置為如果確定所述用戶沒有辨識該人，則向該人提供信息，所述信息向該人指示所述用戶沒有辨識他們。
[0022]10、根據(jù)前述表述中的任一項(xiàng)所述的系統(tǒng)，所述系統(tǒng)包括用于記錄所述用戶與該人之間的互動期間的語音的麥克風(fēng)，并且其中，所述系統(tǒng)還被配置為在確定互動完成時(shí)為所述用戶生成所述互動的摘要，并且向用戶接口提供所述摘要，以便呈現(xiàn)給用戶。
[0023]11、根據(jù)表述10所述的系統(tǒng)，其中，所述系統(tǒng)還被配置為確定所述用戶在互動期間的情緒狀態(tài)，并且所述系統(tǒng)還被配置為基于記錄的語音和確定的情緒狀態(tài)為所述用戶生成所述互動的所述摘要。
[0024]12、根據(jù)前述表述中的任一項(xiàng)所述的系統(tǒng)，其中，所述系統(tǒng)還被配置為確定所述用戶是否記得或者理解與該人進(jìn)行`互動的目的，并且，如果確定所述用戶不記得或者不理解所述互動的所述目的，則所述系統(tǒng)還被配置為向所述用戶提供關(guān)于所述互動的所述目的的信息。
[0025]13、根據(jù)前述表述中的任一項(xiàng)所述的系統(tǒng)，其中，還將所述系統(tǒng)配置為監(jiān)測所述互動，以確定用戶是否能夠隨著所述互動的進(jìn)行而跟隨或理解所述互動，并且，如果確定所述用戶無法跟隨或理解所述互動，則所述系統(tǒng)還被配置為向所述用戶提供關(guān)于所述互動的信
肩、O
[0026]14、根據(jù)表述13所述的系統(tǒng)，其中，所述系統(tǒng)還被配置為確定所述互動的語境，從而如果確定所述用戶無法跟隨或理解所述互動，所述系統(tǒng)能夠在向所述用戶提供關(guān)于所述互動的具體語境的信息。
[0027]15、根據(jù)表述12、13或14所述的系統(tǒng)，其中，將所述系統(tǒng)配置為(i)監(jiān)測所述用戶的語音，以確定所述用戶是否能夠開始并跟隨所述互動；(ii)監(jiān)測所述用戶的語音，以確定所述用戶的情緒狀態(tài)；(iii)監(jiān)測所述用戶和該人的語音，以確定所述互動和當(dāng)前對話的語境；和/或(iv)監(jiān)測所述用戶在互動期間的生理反應(yīng)，以確定所述用戶是否記得或理解與該人進(jìn)行所述互動的目的和/或確定所述用戶是否隨著所述互動的進(jìn)行而跟隨并理解所述互動。
[0028]16、一種用于輔助用戶與另一人進(jìn)行社交互動的方法，所述方法包括:
[0029]確定所述用戶是否辨識該人；以及
[0030]如果確定所述用戶沒有辨識該人，則向所述用戶提供關(guān)于該人的信息。
[0031]17、根據(jù)表述16所述的方法，其中，確定所述用戶是否辨識該人的步驟包括確定所述用戶的情緒狀態(tài)。
[0032]18、根據(jù)表述17所述的方法，其中，所述方法還包括測量所述用戶的生理特征的步驟；并且其中，所述確定所述用戶的所述情緒狀態(tài)的步驟使用測量出的生理特征。
[0033]19、根據(jù)表述17或18所述的方法，其中，所述確定所述用戶的情緒狀態(tài)的步驟還包括分析所述用戶在所述互動期間的語音。
[0034]20、根據(jù)表述16到19中的任一項(xiàng)所述的方法，其中，所述確定所述用戶是否辨識該人的步驟包括播放音頻和/或視頻消息，以及監(jiān)測所述用戶對所述消息的反應(yīng)。
[0035]21、根據(jù)表述16到19中的任一項(xiàng)所述的方法，其中，所述確定所述用戶是否辨識該人的步驟包括分析用戶和/或該人在所述互動期間的語音。
[0036]22、根據(jù)表述16到21中的任一項(xiàng)所述的方法，其中，所述方法還包括以下步驟:
[0037]捕獲該人的一幅圖像或一系列圖像；
[0038]向捕獲到的圖像應(yīng)用面部辨識算法，以識別該人；
[0039]獲得關(guān)于識別出的人的信息；以及
[0040]如果確定所述用戶沒有辨識該人，則向所述用戶呈現(xiàn)獲得的關(guān)于識別出的人的信
肩、O
[0041]23、根據(jù)表述16到22中的任一項(xiàng)所述的方法，其中，所述方法還包括:
[0042]記錄該人在所述互動期間的語音；
[0043]使用語音辨識算法對`記錄的語音進(jìn)行處理，以識別該人；
[0044]獲得關(guān)于識別出的人的信息；以及
[0045]如果確定用戶沒有辨識該人，則向所述用戶呈現(xiàn)獲得的關(guān)于識別出的人的信息。
[0046]24、根據(jù)表述16到23中的任一項(xiàng)所述的方法，其中，所述方法還包括如果確定所述用戶沒有辨識該人則向該人提供信息的步驟，所述信息向該人指示所述用戶沒有辨識他們。
[0047]25、根據(jù)表述16到24中的任一項(xiàng)所述的方法，所述方法還包括以下步驟:
[0048]在所述用戶和該人之間的互動期間記錄語音；
[0049]在確定互動完成時(shí)，為所述用戶生成所述互動的摘要；以及
[0050]向用戶接口提供所述摘要，便于向所述用戶呈現(xiàn)。
[0051]26、根據(jù)表述25所述的方法，其中，所述方法還包括的步驟有:
[0052]確定所述用戶在所述互動期間的情緒狀態(tài)，以及
[0053]基于記錄的語音和確定的情緒狀態(tài)，為所述用戶生成所述互動的所述摘要。
[0054]27、根據(jù)表述16到26中的任一項(xiàng)所述的方法，其中，所述方法還包括以下步驟:
[0055]確定所述用戶是否記得或者理解與該人進(jìn)行所述互動的目的；以及
[0056]如果確定所述用戶不記得或不理解所述互動的所述目的，則向所述用戶提供關(guān)于所述互動的所述目的的信息。
[0057]28、根據(jù)表述16到27中的任一項(xiàng)所述的方法，其中，所述方法還包括以下步驟:
[0058]監(jiān)測所述互動，以確定所述用戶是否隨著所述互動的進(jìn)行跟隨并理解所述互動；以及
[0059]如果確定所述用戶無法跟隨或無法理解所述互動，則向所述用戶提供關(guān)于所述互動的信息。[0060] 29.根據(jù)表述28所述的方法，其中，所述方法包括確定所述互動的語境，由此，如果確定所述用戶無法跟隨或者理解所述互動，則能夠向所述用戶提供關(guān)于所述互動的具體語境的息。
[0061]30、根據(jù)表述27、28或29所述的方法，其中，所述方法還包括:
[0062](i)監(jiān)測所述用戶的所述語音，以確定所述用戶是否能夠開始并跟隨所述互動；(ii)監(jiān)測所述用戶的所述語音，以確定所述用戶的所述情緒狀態(tài)；(iii)監(jiān)測所述用戶和該人的語音，以確定所述互動和當(dāng)前對話的語境；和/或(iv)監(jiān)測所述用戶在所述互動期間的生理反應(yīng)，以確定所述用戶是否記得或者理解與該人進(jìn)行所述互動的目的和/或確定所述用戶是否隨著所述互動的進(jìn)行而跟隨并理解所述互動。
[0063]31、一種包括計(jì)算機(jī)可讀代碼的計(jì)算機(jī)程序產(chǎn)品，所述代碼被配置為在由適當(dāng)?shù)挠?jì)算機(jī)或處理器執(zhí)行所述代碼時(shí)，所述計(jì)算機(jī)或處理器執(zhí)行根據(jù)表述16到30中的任一項(xiàng)所述的方法。
【專利附圖】

【附圖說明】
[0064]現(xiàn)在將參考下列附圖，僅通過示例的方式描述本發(fā)明的示例性實(shí)施例，其中:
[0065]圖1是根據(jù)本發(fā)明的系統(tǒng)的方框圖；
[0066]圖2是圖示了根據(jù)第一實(shí)施例的方法的流程圖；
[0067]圖3是圖示了可能的用戶的情緒狀態(tài)的圖示；
[0068]圖4是圖示了根據(jù)第二實(shí)施例的方法的流程圖；
[0069]圖5圖示了用于監(jiān)測本發(fā)明的實(shí)施例中的互動的模塊；以及
[0070]圖6是示出了根據(jù)本發(fā)明的實(shí)施例的系統(tǒng)的操作的流程圖。
【具體實(shí)施方式】
[0071]盡管下文將參考用于患有阿爾茨海默癥(AD)的人的系統(tǒng)和方法描述本發(fā)明，但是應(yīng)當(dāng)認(rèn)識到，本發(fā)明適于患有影響其社交互動能力的記憶障礙的任何人來使用。
[0072]在圖1中示出了根據(jù)本發(fā)明的系統(tǒng)2的示例性實(shí)施例。系統(tǒng)2包括由系統(tǒng)2的用戶(即，患有記憶障礙的人)佩戴或攜帶的便攜式或移動裝置4。移動裝置4能夠采取任何適當(dāng)?shù)男问?，但是在?yōu)選實(shí)施例中，移動裝置4是佩戴在用戶的脖子上的掛件，盡管在備選實(shí)施例中，移動裝置4能夠是移動電話(諸如，智能電話或PDA)。
[0073]移動裝置4包括用于與基站單元10通信的收發(fā)器電路6和關(guān)聯(lián)的天線8。收發(fā)器電路10能夠被配置為使用與基站單元10通信的任何適當(dāng)?shù)耐ㄐ艆f(xié)議，包括，例如藍(lán)牙或W1-Fi，或諸如GSM的移動通信協(xié)議等。
[0074]移動裝置4還包括視覺顯示器14、揚(yáng)聲器16、麥克風(fēng)18、照相機(jī)20、移動或取向傳感器21 (諸如，加速度計(jì)和/或磁強(qiáng)計(jì))以及用戶可操作輸入端22，它們當(dāng)中的每個(gè)均連接至處理器12。這些部件形成了允許用戶與移動裝置4交互的用戶接口，并且反之亦然。移動裝置4還能夠包括存儲器23，其用于在通過收發(fā)器電路6進(jìn)行傳輸之前存儲由麥克風(fēng)18和照相機(jī)20收集的數(shù)據(jù)。在本發(fā)明的一些實(shí)施例中，移動裝置4也包括一個(gè)或多個(gè)傳感器24，其用于感測用戶的生理特征(例如，心率、呼吸速率和/或排汗)，盡管應(yīng)當(dāng)認(rèn)識到，能夠從移動裝置4外部或獨(dú)立于移動裝置4提供這些傳感器24(例如，由此這些傳感器24能夠直接附著于用戶的皮膚)，并且這些傳感器24能夠與移動裝置4連接，用于向處理器12傳送測量結(jié)果。
[0075]在處于移動裝置4外部時(shí)，傳感器24能夠形成人體區(qū)域網(wǎng)(BAN)或個(gè)人區(qū)域網(wǎng)(PAN)0由傳感器24收集到的數(shù)據(jù)能夠被直接傳輸至基站單元10，以便對其進(jìn)行評估，或者如果在系統(tǒng)內(nèi)存在任何時(shí)間嚴(yán)格性要求，能夠首先將所述數(shù)據(jù)發(fā)送至移動裝置4，以便對其進(jìn)行處理。
[0076]應(yīng)當(dāng)認(rèn)識到，移動裝置4能夠包括圖1中所圖示的那些部件以外的其他部件。例如，裝置4能夠包括取向傳感器和光傳感器。
[0077]提供顯示器14，用于向用戶示出文本或圖形消息和/或視頻剪輯。提供揚(yáng)聲器16，用于輸出音頻(通常為語音，盡管也能夠提供其他音頻內(nèi)容)，其可以與由顯示器14提供的視覺信息相關(guān)聯(lián)。
[0078]使用麥克風(fēng)18來檢測并記錄裝置4附近的聲音，主要是用戶和人的語音或與用戶進(jìn)行互動的人的語音。
[0079]使用照相機(jī)20來捕獲圖像，尤其是人的圖像或與用戶進(jìn)行互動的人的圖像。所述圖像能夠是靜止圖像或者視頻序列。
[0080]用戶可操作輸入端22允許用戶與移動裝置4互動，并且可以包括單個(gè)輸入端(諸如，按鈕或按鍵)、多個(gè)輸入端(諸如，鍵盤)或用戶可操作輸入端的其他形式(諸如，與顯示器14相關(guān)聯(lián)的觸摸屏)。
[0081]在所圖示的實(shí)施例中，基站單元10包括用于與移動裝置4通信的收發(fā)器電路25和關(guān)聯(lián)的天線26。與在移動裝置4中一樣，基站單元10中的收發(fā)器電路25能夠被配置為使用任何適當(dāng)?shù)耐ㄐ艆f(xié)議，包括，例如藍(lán)牙或W1-Fi，或諸如GSM的移動電信協(xié)議等。在該實(shí)施例中，基站單元10是位于用戶`家里的計(jì)算機(jī)或服務(wù)器或者是在遠(yuǎn)程位置處與移動裝置4進(jìn)行無線通信的服務(wù)器。
[0082]在備選實(shí)施例中，應(yīng)當(dāng)認(rèn)識到，在基站單元10處于遠(yuǎn)程位置的情況下，移動裝置4可以與中間裝置進(jìn)行無線通信，諸如，經(jīng)由因特網(wǎng)與基站單元10進(jìn)行通信的路由器和/或家用計(jì)算機(jī)，并且因此，基站單元10中的收發(fā)器電路25和天線26可以由用于將基站單元10連接至因特網(wǎng)的適當(dāng)部件構(gòu)成。
[0083]基站單元10包括處理器28、存儲器30、數(shù)據(jù)庫31和用戶可操作輸入端32。數(shù)據(jù)庫31用于存儲關(guān)于與用戶互動過或者可能與用戶互動的人的信息、以往的互動、針對用戶的患者數(shù)據(jù)、用戶可能具有的不同的溝通問題、在出現(xiàn)這些問題時(shí)應(yīng)當(dāng)提供給用戶的支持、談話的主題以及其他相關(guān)信息。用戶可操作輸入端32允許用戶或者護(hù)理提供者與基站單元10互動，并且可以包括鍵盤、觸摸屏等。
[0084]如以上所描述的，患有AD (以及其他記憶障礙)的人能夠發(fā)現(xiàn)難以進(jìn)行社交互動，諸如，與另一人(可以是護(hù)理人員、醫(yī)生、朋友)進(jìn)行談話，因?yàn)榛加蠥D的人無法辨識和他說話的人，或者他們可能忘記談話的線索。然而，根據(jù)本發(fā)明的實(shí)施例的系統(tǒng)2提供輔助用戶(患有AD或者其他記憶障礙)辨識與其進(jìn)行交流的人的信息，為用戶減少初始的混淆，并且有助于避免用戶將記憶的缺失轉(zhuǎn)化成壓力。
[0085]在互動期間，系統(tǒng)2能夠監(jiān)測用戶，以確定他們是否辨識與其進(jìn)行交流的人以及互動的語境，并且確定用戶的情緒反應(yīng)，或者用戶是否正在因互動而感到有壓力，并且根據(jù)需要還能夠由系統(tǒng)2提供其他的支持。
[0086]根據(jù)本發(fā)明的實(shí)施例，系統(tǒng)2能夠識別談話的語境和主題，以便提供語境相關(guān)的支持，用于在互動期間更好地輔助用戶。
[0087]本發(fā)明的實(shí)施例還能夠向正在與用戶互動的人提供反饋，所述反饋指示用戶是否辨識他們或者在互動中或在互動期間是否需要輔助，并且這能夠使該人調(diào)整與用戶互動的方式。
[0088]此外，一旦用戶已經(jīng)完成其與該人的互動，系統(tǒng)2能夠?yàn)橛脩籼峁╆P(guān)于互動的信息，以改善用戶對所述交談的回憶。
[0089]系統(tǒng)2能夠處理多模式數(shù)據(jù)，諸如，音頻、視頻、文本、光和觸覺，從而在幫助患有AD或者記憶障礙的人進(jìn)行社會互動，同時(shí)對其記憶障礙及其情緒狀態(tài)做出解釋。具有如本文中所描述這樣的輔助系統(tǒng)2能夠有助于改善患有AD的人的生活質(zhì)量，尤其是社會生活的質(zhì)量。
[0090]現(xiàn)在將參考圖2中的流程圖描述第一實(shí)施例。在圖示的實(shí)施例中，如果用戶沒有辨識正在與其互動的人，則系統(tǒng)2將采用面部辨識技術(shù)識別出該人，并向用戶提供關(guān)于該人的信息，以便幫助用戶辨識該人以及互動的目的。系統(tǒng)2還在互動過程中監(jiān)測用戶的情緒狀態(tài)/壓力水平，并根據(jù)需要提供額外的支持。
[0091]能夠在(例如，通過分析由照相機(jī)20獲得的圖像或由另一光傳感器檢測到的光)檢測到用戶前方的人的時(shí)候，或者在(例如，通過分析由麥克風(fēng)18記錄的聲音)檢測到用戶的語音或在按計(jì)劃發(fā)生互動之前的預(yù)定時(shí)間(可以將其記錄到電子日歷中，以供所述用戶存儲到移動裝置4中)的時(shí)候激活所述方法。
[0092]所述方法開始于步驟101，在所述步驟101中，系統(tǒng)2確定用戶是否辨識即將與其互動(或者已經(jīng)開始與其互動)的`人。這一步驟能夠包括移動裝置4直接廣播詢問用戶是否辨識該人的音頻消息。在這種情況下，用戶會做出是/否的應(yīng)答，通過對來自移動裝置4中的麥克風(fēng)18的輸出進(jìn)行處理來識別出所述應(yīng)答。
[0093]該步驟還可以包括使用麥克風(fēng)記錄談話的初始部分，并使用語音辨識算法分析用戶和該人的語音。該階段的談話內(nèi)容能夠指示用戶是否已經(jīng)辨識該人。
[0094]備選地，或額外地，該步驟能夠包括監(jiān)測用戶的情緒狀態(tài)，以得到用戶是否已經(jīng)辨識該人的跡象。例如，該步驟可以涉及測量用戶的一個(gè)或多個(gè)生理特征，諸如，心率、心率變化、皮膚導(dǎo)電性、呼吸速率、排汗或作為用戶的壓力水平或情緒狀態(tài)的指標(biāo)的任何其他特征。例如，能夠通過移動裝置4中的專用傳感器24來測量所述特征。備選地，能夠通過對麥克風(fēng)18的輸出進(jìn)行處理以識別與用戶的呼吸相關(guān)聯(lián)的聲音，來測量呼吸速率，并且能夠通過用戶皮膚的視頻數(shù)據(jù)來測量心率。
[0095]也可以通過經(jīng)由麥克風(fēng)18獲得的用戶的音量水平或者音調(diào)的測量結(jié)果來確定用戶的情緒狀態(tài)。
[0096]在將要確定情緒狀態(tài)或壓力水平的情況下，將特征測量結(jié)果(或者來自傳感器24、麥克風(fēng)18和/或照相機(jī)20的原始數(shù)據(jù))傳輸至基站單元10，并且處理器28對所述測量結(jié)果或數(shù)據(jù)進(jìn)行處理，以確定用戶的壓力水平或情緒狀態(tài)。處理結(jié)果(即，情緒或壓力水平)將具有相關(guān)聯(lián)的概率值，其指示所述確定的可靠程度。之后，能夠使用所述處理結(jié)果作為用戶是否辨識正在與其互動的人的指示。[0097]所述處理的第一部分涉及對測量出的生理特征進(jìn)行分類和量化，并將其映射至情緒狀態(tài)。優(yōu)選地，根據(jù)(例如)如在圖3中所示的簡單的方案完成所述映射，在該方案中，由兩個(gè)維度內(nèi)的離散值表征用戶的情緒狀態(tài)。
[0098]情緒反應(yīng)的這兩個(gè)基本維度幾乎能夠有效地表征任何體驗(yàn)。效價(jià)表示被編碼成正面(例如，高興)、中性或負(fù)面(例如，傷心、生氣)的總體高興度，喚起表示情緒的強(qiáng)度水平，其被編碼成興奮、中性或冷靜。多種常見的情緒(尤其是對應(yīng)于對環(huán)境的身體反應(yīng)的那些情緒)能夠被容易地放置到所述效價(jià)一喚起圖內(nèi)。本領(lǐng)域技術(shù)人員將意識到用于將測量出的生理特征(諸如心率、心率變化、皮膚導(dǎo)電性、呼吸速率、排汗和皮膚電反應(yīng))映射至所述效價(jià)一喚起圖的技術(shù)，并且在本文中將不對這些技術(shù)進(jìn)行詳細(xì)描述。
[0099]本領(lǐng)域技術(shù)人員將認(rèn)識到，系統(tǒng)2可以按照與上文描述的不同的方式處理傳感器數(shù)據(jù)，以便表征對于用戶的更大數(shù)量的情緒狀態(tài)。例如，可以向示意圖增加第三維度，指示用戶的壓力或壓力。
[0100]如果用戶沒有辨識該人(步驟103中確定的)，則所述方法移至步驟105-113，在所述步驟中，系統(tǒng)2使用面部辨識技術(shù)識別該人，并且為用戶提供關(guān)于該人的信息，以便幫助用戶辨識該人以及互動的目的。
[0101]在步驟105中，檢測與用戶互動的人的面部。優(yōu)選地，這一操作通過移動裝置4中的照相機(jī)20來執(zhí)行，其連續(xù)地或者周期性地(例如，每5秒鐘)收集用戶周圍區(qū)域的圖像(例如，如果移動裝置4具有掛件的形式，則所述區(qū)域是用戶前方的區(qū)域)，并且檢測在所述圖像中是否存在面部。這樣的技術(shù)在本領(lǐng)域中是眾所周知的(尤其是在數(shù)字照相機(jī)領(lǐng)域)，并且不需要在本位中對其進(jìn)行詳細(xì)描述。這一處理能夠通過移動裝置4中的處理器12來執(zhí)行，然而備選地，也能夠通過基站單元10中的處理器28來執(zhí)行。在一些實(shí)施方式中，為了僅檢測實(shí)際與用戶互動的人的面部，而不是在周圍環(huán)境中檢測到的任何面部，所述算法可以要求檢測到的面部至少具有特定尺寸(以確保檢測到的人靠近用戶)。
`[0102]一旦在圖像中檢測到面部，則能夠捕獲所述圖像(步驟107)并且經(jīng)由收發(fā)器電路
6和天線8將其發(fā)送至基站單元10，以便處理器28進(jìn)行處理。備選地，無論是否檢測到面部，都能夠捕獲圖像，并將其存儲，以供后續(xù)用作針對用戶的回顧記憶輔助工具。
[0103]之后，處理器28執(zhí)行面部辨識算法，以嘗試并且識別捕獲到的圖像中的面部(步驟109)。該處理能夠利用存儲在存儲器30中涉及用戶認(rèn)識的或先前互動過的人的信息。該信息能夠包括人的面部的一幅或多幅圖像。處理器28能夠使用任何已知類型的面部辨識算法識別出圖像中的人。例如，處理器28可以使用基于本征面部算法來提供盡可能快的輸出，然而本領(lǐng)域技術(shù)人員將意識到可以使用其他面部辨識算法。
[0104]在執(zhí)行面部辨識算法之前，可以執(zhí)行預(yù)處理，在所述預(yù)處理中，相對于幾何特性(諸如，尺寸和姿勢)將輸入的面部圖像進(jìn)行規(guī)格化，并且之后相對于光學(xué)計(jì)量特性(諸如，照度和灰度)將其進(jìn)一步規(guī)格化，從而使向面部辨識算法提供的圖像標(biāo)準(zhǔn)化。此外，由于圖像中的面部周圍的未使用的像素(例如，圖像背景)比面部的變化大，因此能夠移除所述像素。
[0105]如以上所提到的，能夠使用基于本征面部的面部辨識算法。在該算法中，第一步驟是將彩色圖像轉(zhuǎn)化為灰度，之后應(yīng)用直方圖均衡化作為自動使每個(gè)面部圖像的亮度和對比度標(biāo)準(zhǔn)化的方法。有效的應(yīng)用低通濾波器，以便減去在初始的預(yù)處理之后仍然存在于圖像中的噪聲。本征面部使用主分量分析，以降低圖像的“維數(shù)”(圖像中的像素的數(shù)量)。將面部圖像投射到“面部空間”(特征空間)中，所述“面部空間”最佳地定義了已知的測試圖像的差異。通過“本征面部”定義所述面部空間，所述“本征面部”為面部集合的本征向量。這些本征面部不必對應(yīng)于感知到的截然不同的特征，如，耳朵、眼睛和鼻子。之后，將新的圖像在該特征空間內(nèi)的投影與訓(xùn)練集的可用投影進(jìn)行比較，以識別該人。與諸如3D成像的其他算法相比，所述方案穩(wěn)定、簡單，并且實(shí)現(xiàn)起來容易且迅速。其為需要近乎實(shí)時(shí)的計(jì)算時(shí)間的自動化系統(tǒng)中的辨識問題提供了一種可行的解決方案。
[0106]一旦已經(jīng)識別捕獲到的圖像中的人，則處理器28從存儲器30檢索與該人相關(guān)聯(lián)的信息(步驟111)。所述信息能夠包括(例如)關(guān)于其身份、其與用戶的關(guān)系以及先前與用戶交談的主題的信息。所述信息還能夠涉及與該人互動的目的，能夠通過進(jìn)入用戶的日程安排或日歷來得到所述目的。例如，能夠以視頻、音頻或文本數(shù)據(jù)文件的形式存儲關(guān)于該人和/或互動的信息。
[0107]之后，基站單元10將檢索到的信息經(jīng)由收發(fā)器電路24和天線26發(fā)送至移動裝置4，并且移動裝置4向用戶呈現(xiàn)所述信息(步驟113)。根據(jù)從存儲器30檢索到的信息的格式(即，音頻、視頻、文本等)，能夠通過顯示器14和揚(yáng)聲器16中的其中之一或二者皆有，向用戶呈現(xiàn)所述信息。已經(jīng)發(fā)現(xiàn)，在觸發(fā)患有記憶障礙或AD的用戶的記憶時(shí)，信息的視覺呈現(xiàn)更為有效，因此，至少信息的視覺顯示是優(yōu)選的。
[0108]因而，系統(tǒng)2提供關(guān)于用戶正在互動的或者即將與之互動的人的信息并且任選地，還提供關(guān)于互動目的的信息，并以簡單的形式將其呈現(xiàn)給系統(tǒng)2的用戶，其減少了用戶的欠佳的記憶對與該人的互動造成的影響。
[0109]應(yīng)當(dāng)認(rèn)識到，可以在對于所指示的系統(tǒng)2的部件的備選部件中執(zhí)行以上所描述的處理步驟。例如，可以通過移動裝置4中的處理器12來執(zhí)行所述面部辨識算法，并且可以僅將對識別出的人的相關(guān)信息的請求傳輸至基站單元6。備選地，由照相機(jī)20收集的所有圖像可以被傳輸至基站單元10，以便檢測出所述圖像中的面部。
[0110]除了對與用戶進(jìn)行互`動的人的圖像執(zhí)行面部辨識處理之外，還可能對使用移動裝置4中的麥克風(fēng)18捕獲到的該人的音頻使用語音識別處理。能夠?qū)煞N處理類型的輸出(其能夠包括暫時(shí)身份以及所述辨識是準(zhǔn)確辨識的似然/置信度值)進(jìn)行組合，并做出最終的識別確定。兩種處理類型的使用提高了對該人的識別的可靠性。
[0111]在備選的優(yōu)選度較低的實(shí)施方式中，可能使用語音辨識處理來識別正在與用戶互動的人，取代以上所描述的面部辨識處理。然而，與面部辨識的實(shí)施方式不同的是，該實(shí)施方式要求在能夠執(zhí)行任何識別之前，該人先開始對用戶說話，因而稍微延遲向用戶提供關(guān)于該人的信息。
[0112]返回到步驟103，作為與面部辨識處理并列的任選步驟，如果用戶沒有辨識該人，則能夠由移動裝置4向該人提供反饋(步驟115)。以這種方式，能夠使該人意識到用戶沒有辨識他，并且其能夠相應(yīng)地調(diào)整其在互動期間的行為。向該人的反饋可以包括來自移動裝置4的視覺(例如，文本或基于光的)和/或音頻消息。適當(dāng)?shù)囊曈X提示可以是指示用戶沒有辨識該人的紅燈或者是基于文本的消息，由于用戶沒有做出充分的應(yīng)答，所述消息可以建議該人如何做來幫助用戶。
[0113]在步驟113和/或115之后，所述方法移至步驟117，在該步驟中，系統(tǒng)2對所述互動進(jìn)行分析，以確定語境。如果在步驟103中確定用戶沒有辨識該人，則所述方法也進(jìn)行至步驟117。如果需要，通過在步驟117中確定互動的語境，系統(tǒng)2將能夠在互動期間向用戶提供相關(guān)的支持。
[0114]在步驟117中，如果所述互動是針對用戶的電子日歷中排定的一個(gè)互動，則系統(tǒng)2能夠檢查存儲在日歷中的信息，以確定所述互動的語境。例如，所述日歷可以指示所述互動是醫(yī)療護(hù)理專家的預(yù)約，用于討論用戶當(dāng)前的藥物治療狀況，并且系統(tǒng)2能夠使用該日歷信息，以確定互動的語境。額外地或備選地，能夠使用語音處理引擎將系統(tǒng)2中的麥克風(fēng)18記錄的用戶和/或該人的語音轉(zhuǎn)換為文本，并且自然語言處理引擎能夠?qū)υ撐谋具M(jìn)行操作，以確定互動的語境。
[0115]在步驟117后，所述方法移至步驟118，在該步驟中，系統(tǒng)2監(jiān)測互動期間的用戶情緒狀態(tài)和/或壓力水平。能夠參考步驟101如以上所描述的監(jiān)測用戶的情緒狀態(tài)和/或壓力水平。
[0116]在步驟119中，確定用戶是否感到壓力。如圖3中所示，能夠通過將生理特征測量結(jié)果與一個(gè)或多個(gè)閾值進(jìn)行比較，或者通過將測量結(jié)果映射至預(yù)定的情緒狀態(tài)，做出所述確定。
[0117]如果確定在互動中的該點(diǎn)上用戶沒有感到壓力，則所述方法返回步驟118，并且繼續(xù)監(jiān)測下一部分互動期間的用戶的情緒狀態(tài)。
[0118]如果確定在互動中的該點(diǎn)上用戶感到壓力，則所述方法移至步驟121，在該步驟中，向用戶提供支持。能夠根據(jù)用戶的特定情緒狀態(tài)或壓力水平調(diào)整向用戶提供的具體支持。所述支持能夠包括視覺和/或音頻提示，其涉及與正在與用戶互動的人的身份以及通過在步驟117中導(dǎo)出的語境信息而確定的互動的目的。
[0119]此外，與為用戶提供的所述支持并列，系統(tǒng)2可以向正在與用戶互動的人提供關(guān)于用戶的情緒狀態(tài)的反饋(步`驟123)。例如，在所述反饋是通過移動裝置4顯示的視覺提示的情況下，能夠使用紅色顯示來指示用戶感到壓力。這與以上所描述的步驟115類似，并且允許該人相應(yīng)地調(diào)整其在互動期間的行為。在步驟121和123之后，所述方法返回步驟118，在該步驟中，系統(tǒng)2繼續(xù)監(jiān)測用戶的情緒狀態(tài)。
[0120]步驟118、119、121和123能夠通過下列方案來實(shí)現(xiàn):使用移動裝置4中的麥克風(fēng)18記錄用戶和該人之間的談話；將其劃分成具有預(yù)定長度(例如，5秒鐘)的部分；并且對各個(gè)部分進(jìn)行分析，以確定用戶的情緒狀態(tài)是否隨時(shí)間而下降(即，用戶逐漸感到壓力)。談話的分析能夠包括提取包括能量、無聲一有聲比率、間距范圍和中間間距的參數(shù)，并且計(jì)算它們?nèi)绾卧跁r(shí)間期間變化以及是否超過試探閾值，所述閾值能夠以在試驗(yàn)期間收集的用戶數(shù)據(jù)為基礎(chǔ)。例如，如果能量、無聲一有聲比率和間距范圍增大得太多，則很可能用戶正在感到壓力，并且系統(tǒng)2應(yīng)當(dāng)向用戶提供輔助。此外，由于長時(shí)間的停頓能夠指示因用戶無法處理問題或者不記得事件或動作而導(dǎo)致的互動中的中斷，因此所述分析能夠檢測談話中的停頓。
[0121]因而，提供了一種輔助用戶(患有AD或者其他記憶障礙)辨識與其進(jìn)行交流的人的方法，為用戶減少初始的混淆，并且有助于避免用戶在互動期間將記憶的缺失轉(zhuǎn)化成壓力。所述方法還在互動期間提供對用戶的監(jiān)測，以便確定是否需要進(jìn)一步的支持。此外，所述方法能夠向與用戶進(jìn)行互動的人提供反饋，所述反饋允許該人調(diào)整與用戶進(jìn)行互動的方式。[0122]作為對上述方法的修改，也能夠在用戶辨識與其進(jìn)行互動的人并且未確定用戶感到壓力時(shí)(即，在步驟103和119之后)向所述人提供反饋。在通過顯示特定顏色提供在步驟115和123中向用戶提供的反饋的情況下，能夠使用不同的顏色來指示用戶的不同情緒狀態(tài)。例如，如果紅色顯示指示用戶沒有辨識該人或者用戶感到壓力，則能夠使用綠色顯示來指示用戶已經(jīng)辨識該人或者用戶不感到壓力。
[0123]對上述方法的另一修改能夠隨著在步驟113中向用戶呈現(xiàn)信息之后，確定用戶是否辨識該人。在這種情況下，所述方法可以在步驟113中呈現(xiàn)信息之后返回步驟101。
[0124]對上述方法的又一修改能夠在步驟103中已經(jīng)辨識該人之后或者在步驟117中由系統(tǒng)2自動地確定所述互動的語境之后，確定用戶是否記得或者理解與該人互動的目的(語境)(例如，討論其當(dāng)前的醫(yī)療狀態(tài)、所需的一般輔助等)。在一個(gè)實(shí)施例中，能夠通過與步驟101中確定用戶是否辨識與其進(jìn)行互動的人相類似的方式完成該確定(例如，通過直接詢問用戶、在互動開始時(shí)監(jiān)測生理特征和/或?qū)φZ音進(jìn)行分析)。如果確定用戶不記得或不理解與該人進(jìn)行互動的目的，則系統(tǒng)2能夠向用戶提供適當(dāng)?shù)男畔?例如，如步驟121中的)和/或向該人提供信息(例如，如步驟123中的)。系統(tǒng)2能夠以類似的方式確定隨著互動的進(jìn)行用戶是否跟隨并理解談話，并根據(jù)需要提供相關(guān)的支持。在下文中將參考圖5詳細(xì)討論這一修改。
[0125]對上述方法的另一項(xiàng)修改可以是監(jiān)測與用戶互動的人的情緒狀態(tài)(例如，通過分析移動裝置4中的麥克風(fēng)18記錄的該人的語音)，并采用這一監(jiān)測調(diào)整提供給用戶的信息和/或提供給該人的反饋。
[0126]如果發(fā)現(xiàn)用戶對該人沒有反應(yīng)(例如，由于沒有辨識他們或者出于互動的原因)，則系統(tǒng)2能夠就所述情況向護(hù)理提供者發(fā)出通知或提示。
[0127]此外，系統(tǒng)2有可能對生理傳感器24的輸出進(jìn)行處理，以確定用戶的生命體征(例如，心率、心率變化、血壓等)是否處于正常范圍內(nèi)，如果不處于正常范圍內(nèi)，則能夠通知或提醒護(hù)理提供者。
`[0128]在本發(fā)明的另一實(shí)施例中，為了更新用戶關(guān)于先前的互動或剛剛完成的互動的短時(shí)記憶，系統(tǒng)2向用戶提供關(guān)于該互動的信息。醫(yī)療護(hù)理提供者或者護(hù)理工作者也能夠有利地使用所述信息，以幫助訓(xùn)練和改善用戶的記憶，由此延緩AD的進(jìn)展。
[0129]在圖4中示出了根據(jù)本發(fā)明的該實(shí)施例的方法的流程圖。在步驟131中，移動裝置4在用戶和該人之間的互動期間收集音頻和/或視頻數(shù)據(jù)。
[0130]移動裝置4隨著該數(shù)據(jù)的收集將其發(fā)送至基站單元10，以便進(jìn)行處理，或者備選地，在互動已經(jīng)結(jié)束(例如，能夠通過檢測到該人不再面對用戶或者接近用戶，和/或麥克風(fēng)18在超過預(yù)定時(shí)間段內(nèi)檢測不到用戶語音的而確定)之后將其發(fā)送至基站單元10，以便進(jìn)行處理。
[0131]任選地，在步驟133中，系統(tǒng)2還能夠在互動期間收集關(guān)于用戶的情緒狀態(tài)的信息(例如，使用(一個(gè)或多個(gè))生理傳感器24或者分析用戶的語音，如以上所描述的)。
[0132]基站單元10中的處理器28接收來自移動裝置4的音頻和/或視頻數(shù)據(jù)，以及任選的關(guān)于用戶在互動期間的情緒狀態(tài)的信息，并且利用所述數(shù)據(jù)執(zhí)行算法，以生成用戶和該人之間的互動的摘要(步驟135)。該算法能夠包括用于將數(shù)據(jù)中的語音轉(zhuǎn)化為文本的語音辨識算法、用于確定口頭詞語的含義的內(nèi)容辨識算法(例如，自然語言處理算法)以及用于提取和概括互動的要點(diǎn)的算法。所述摘要將包括關(guān)于所述互動的信息，諸如，所涉及的人、所覆蓋的主題、所給出的任何指令(例如，通過護(hù)理工作人員)、互動的日期和時(shí)間等。能夠使用關(guān)于用戶的情緒狀態(tài)的信息來調(diào)整將要包括到摘要中的信息。例如，在處理器識別用戶記住特定事件或反應(yīng)存在困難的情況下(如情緒狀態(tài)信息與音頻和/或視頻數(shù)據(jù)的比較所指示的)，關(guān)于所述事件或所需的反應(yīng)的信息能夠包括在摘要中。
[0133]在步驟136中，可以將關(guān)于用戶的情緒狀態(tài)的信息以及任選的涉及所述互動的其他信息(例如，所涉及的人、談話主題等)存儲到基站單元10中的存儲器30內(nèi)，以供后續(xù)的回顧以及護(hù)理工作人員的使用。
[0134]之后，將所述摘要(其可以具有文本、音頻和/或視頻格式)傳輸至移動裝置4，移動裝置4視情況使用視覺顯示器14和/或揚(yáng)聲器16向用戶呈現(xiàn)所述摘要(步驟137)。移動裝置4可以在完成互動之后或在完成互動之后的預(yù)定時(shí)間或在一天中的預(yù)定時(shí)間直接向用戶呈現(xiàn)所述摘要。移動裝置4還可以包括用于在向用戶呈現(xiàn)摘要之前在適當(dāng)?shù)臅r(shí)間吸引用戶的注意力的一些手段。該手段可以包括振動移動裝置4 (以及改變振動的頻率和/或強(qiáng)度)，生成音頻指示和/或可視指示。
[0135]這一方法允許用戶在互動完成后回顧和回想所述互動，其有助于改善其記憶。這還允許由護(hù)理提供者回顧用戶的互動，以評估用戶的進(jìn)展以及用戶難以記住的特定事或人。此外，能夠使用由先前的互動的摘要導(dǎo)出的信息來影響關(guān)于是否要在接下來的互動期間向用戶提供支持的決策。
[0136]由于系統(tǒng)2致力于輔助具有記憶障礙的人，因而所生成的摘要應(yīng)當(dāng)簡單，以便于理解和跟隨。摘要中的語音應(yīng)當(dāng)由相對較短的句子構(gòu)成，在語法上要將所述句子形成為使其易于跟隨(例如，患有AD的人一般無法處理代詞，因此所述句子應(yīng)當(dāng)被構(gòu)造為避免代詞的使用或者將其使用降至最低)。此外，語音的速度應(yīng)當(dāng)相對較慢，而且語音本身應(yīng)當(dāng)響亮且易懂。除了語音/音頻之外，所述摘要還能夠包括在談話期間記錄的其他多媒體內(nèi)容(例如，圖片、視頻)。由于護(hù)理提供者知道用戶的需要，因此護(hù)理提供者能夠選擇在生成摘要中所使用的語音特征(速度、響度、類型、音調(diào)、譜色等)和多媒體內(nèi)容(類型、持續(xù)時(shí)間、大小
等 ) 。
[0137]在一些實(shí)施例中，向用戶和護(hù)理提供者或醫(yī)生提供的摘要能夠是不同的。例如，針對護(hù)理提供者或醫(yī)生的摘要旨在捕獲盡可能多的關(guān)于互動的數(shù)據(jù)，從而使護(hù)理提供者了解用戶(例如，關(guān)于用戶交流和互動的能力、關(guān)于用戶的健康和情緒、關(guān)于用戶的日程安排和日常生活)。除了互動(語音、圖像或視頻)之外，這些摘要還能夠包括來自生理傳感器的數(shù)據(jù)以及示出用戶情緒狀態(tài)的信息。
[0138]在一些實(shí)施例中，護(hù)理工作人員能夠調(diào)整移動裝置4的操作(有可能經(jīng)由基站單元10或其他遠(yuǎn)程站)。護(hù)理提供者可以能夠調(diào)整由移動裝置4提供的可視化選項(xiàng)(B卩，視覺輸出的類型和/或內(nèi)容)、音頻水平設(shè)置、能夠由移動裝置4激活的針對用戶和與用戶進(jìn)行互動的人的提示、用戶的日程安排或日歷(例如，護(hù)理工作人員能夠?yàn)橛脩籼砑有碌念A(yù)約、關(guān)于現(xiàn)有預(yù)約的額外信息、所涉及的人、預(yù)約的目的或目標(biāo)等)，并激活或禁用系統(tǒng)2內(nèi)的某些功能(諸如，用戶和/或人的情緒反應(yīng)的測量、互動的摘要的生成等)。
[0139]圖5圖示了根據(jù)本發(fā)明的實(shí)施例的用于在互動期間進(jìn)行監(jiān)測并向用戶提供支持的多個(gè)模塊。這些模塊的操作通常對應(yīng)于圖2中的步驟117-步驟123，并且它們通過觀察用戶是否能夠理解并對與其進(jìn)行互動的人做出反應(yīng)，而試圖對互動進(jìn)行監(jiān)測。如以下所描述的，通過同時(shí)分析用戶語音和生理信號的不同方面來完成所述監(jiān)測。將從每個(gè)所述模塊中提取的信息進(jìn)行組合，以確定是否有必要向用戶提供支持。
[0140]如由麥克風(fēng)18記錄的用戶的語音被輸入到語音參數(shù)分析模塊42、情緒分析模塊44和語音辨識模塊46中。與用戶進(jìn)行互動的人的語音也被輸入到語音辨識模塊46中。
[0141]語音參數(shù)模塊42檢查用戶的語音，以確定在互動期間是否出現(xiàn)長時(shí)沉默、猶豫、呼吸變化、語音質(zhì)量變化和談話中斷。這些特征可以指示用戶無法跟隨談話。在圖5中，BI指代該模塊42的輸出。
[0142]情緒分析模塊44檢查用戶的語音，以確定其情緒。如果語音參數(shù)(諸如，音調(diào)、速率、能量、譜特性、沉默、句子持續(xù)時(shí)間、呼吸和/或響度)指示偏離用戶的正常(通常)狀態(tài)，這可以指示支持是有用的。能夠使用該模塊44來建立用戶正常狀態(tài)的概率模型，并且之后周期性地檢查后續(xù)互動期間的語音參數(shù)是否符合所述模型。在圖5中，B2指代該模塊44的輸出。
[0143]語音辨識模塊46對用戶和該人的語音進(jìn)行處理，并將所辨識的語音轉(zhuǎn)化為文本。后續(xù)由自然語言處理引擎48對該文本進(jìn)行分析，以確定互動期間的談話(對話)是否有意義以及是否健康，并確定是否存在指示需要支持的詞或短語。在圖5中，B3指代該模塊48的輸出。
[0144]此外，通過語境和主題提取模塊50對所述文本進(jìn)行處理，以識別有意義的詞，以便重現(xiàn)談話的主題和語境。之后所述信息用于調(diào)整向用戶提供的支持，使用戶能夠意識到語境，因而更加有效。在圖5中，Cl指代該模塊50的輸出。
[0145]除了語音的分析之外，還提供生理數(shù)據(jù)分析模塊52，其接收來自移動裝置4中的或與移動裝置4相關(guān)聯(lián)的(一個(gè)或多個(gè))生理特征傳感器24的信號，并確定用戶對互動的生理反應(yīng)或互動期間的生理反應(yīng)。還使用所述反應(yīng)來監(jiān)測互動并確定是否需要支持。例如，使用可佩戴的生理特征傳感器24 `(向移動裝置4傳送信息)，能夠測量用戶的心率、心率變化、皮膚導(dǎo)電性、皮膚溫度和呼吸模式。能夠從所述生理傳感器數(shù)據(jù)確定用戶的放松和壓力狀態(tài)。在圖5中，B4指代該模塊50的輸出。
[0146]向加權(quán)和概率決策模塊54和問題識別模塊56提供模塊42、44、48和52的輸出。向搜索與檢索模塊58提供來自語境和主題提取模塊50的輸出。搜索與檢索模塊58與兩個(gè)數(shù)據(jù)庫60、62連接，所述數(shù)據(jù)庫60、62存儲關(guān)于用戶可能具有的交流問題的信息(數(shù)據(jù)庫60)以及關(guān)于如何向每一問題提供支持的信息(數(shù)據(jù)庫62)。
[0147]加權(quán)和概率決策模塊54對來自模塊42、44、48和52的信息進(jìn)行處理，并確定用戶在互動期間是否需要支持。如果確定不需要支持，則系統(tǒng)2允許互動繼續(xù)進(jìn)行，而不會介入以向用戶提供支持。然而，如果確定需要支持，則問題識別模塊56得到激活，并且經(jīng)由搜索與檢索模塊58從數(shù)據(jù)庫60獲得關(guān)于用戶具有的問題的信息。
[0148]在識別了問題之后，使用支持識別模塊64來確定向用戶提供的具體支持。支持識別模塊64使用識別出的問題、來自語境和主題提取模塊50的輸出Cl以及存儲在數(shù)據(jù)庫62中的信息來確定所需的支持。數(shù)據(jù)庫62可以以查找表的形式存儲關(guān)于涉及用戶在互動期間可能具有的問題而提供的支持的信息。一旦識別出所需的支持，則向用戶提供所述支持。
[0149]例如，如果通過監(jiān)測互動確定用戶不能辨識該人，則播放示出用戶先前遇到該人的視頻；如果用戶沒有辨識所述探訪的目的，則再次在視覺上提供所述目的；如果檢測到用戶生氣，則能夠?qū)⑦@一點(diǎn)通知該人；如果檢測到用戶感到疲勞，則能夠?qū)⑦@一點(diǎn)通知該人，并且他們能夠相應(yīng)地結(jié)束談話。簡而言之，對于來自監(jiān)測階段的每個(gè)結(jié)果和問題，都有將被遵循的支持路線。
[0150]在優(yōu)選實(shí)施例中，由基站單元10中的處理器28提供圖5中所示的每個(gè)模塊的功倉泛。
[0151]通過圖6中的流程圖，示出了根據(jù)本發(fā)明的互動監(jiān)測和支持的具體實(shí)施例。該流程圖旨在圖示可能的社交互動的模型，在所述模型中，兩個(gè)人靠近，他們互相問候，用戶記得他們決定碰面的原因，繼而他們開始互動。所有那些步驟對于健康人來講是微不足道的，但是患有記憶和認(rèn)知障礙的人可能在執(zhí)行那些步驟中存在嚴(yán)重問題，積聚壓力并使其自身孤立。倘若用戶記得所要執(zhí)行的任務(wù)但是不能辨識前方的人，則移動裝置4提示該人應(yīng)當(dāng)做什么來提供幫助。之后，裝置4以視頻的形式示出關(guān)于該人(如果能得到)或者關(guān)于用戶連同該人的用戶信息，以喚起用戶的記憶。在用戶既不記得該人也不記得探訪的原因的情況下，移動裝置4切換至完全支持模式。在該模式下，將該情況告知該人，并向用戶呈現(xiàn)關(guān)于該人以及所要執(zhí)行的任務(wù)的信息。
[0152]因而，在人物辨識階段，針對將要與用戶互動或者剛剛開始與用戶互動的人執(zhí)行面部和語音辨識(分別由150和152指代)。人物辨識階段還利用存儲在數(shù)據(jù)庫(例如，基站單元10中的數(shù)據(jù)庫31)中的針對所述用戶的預(yù)約列表，所述預(yù)約列表指示預(yù)期要與用戶互動的人。
[0153]如果通過面部和聲音辨識而識別出的人與預(yù)期的人不匹配(154)(根據(jù)預(yù)約列表中的信息)，則裝置4與該人通信(156)，以了解所述辨識的結(jié)果是對還是錯(cuò)。在156中，能夠要求該人確認(rèn)其姓名，將通過麥克風(fēng)18對其記錄，并進(jìn)行語音分析，以提取所說的姓名。如果辨識的結(jié)果錯(cuò)誤，并且該人就是預(yù)期的那個(gè)人，則系統(tǒng)2移至任務(wù)/互動辨識階段(168向前)。
`[0154]如果辨識的結(jié)果正確，并且該人不是預(yù)先安排在該時(shí)間與用戶互動的人，則系統(tǒng)2確定(160)所述探訪的原因與預(yù)期的原因是否相同(例如，與預(yù)定安排被派來遞送藥物的護(hù)士不同的護(hù)士)，或者該人是否出于不同原因而出現(xiàn)在那里。在160中，移動裝置4能夠詢問該人其探訪的目的，并且能夠使用語音辨識算法來理解其回復(fù)。如果探訪的原因不同于預(yù)先安排的原因，則移動裝置4將所述新的互動告知用戶(164)，并在預(yù)約列表中創(chuàng)建新的事件(166)。
[0155]如果探訪的原因與預(yù)先安排的原因的相同(但是是另一不同的已知的人)或者如果該人就是預(yù)期進(jìn)行所述互動的人(來自158)，則移動裝置4告知用戶預(yù)先安排的互動(168)。如果用戶不記得和/或不理解互動的原因(170)(由于該人不是預(yù)先安排要與用戶進(jìn)行互動的人，因此也不記得該人)，則認(rèn)為用戶無反應(yīng)(172)，并且移動裝置4向用戶提供關(guān)于所述互動的目的以及該人的身份的信息(174)。也可以提示針對用戶的護(hù)理提供者患者無反應(yīng)。
[0156]如果用戶記得探訪/互動的目的(170)，則認(rèn)為用戶具有部分反應(yīng)(176)，并且由移動裝置4向用戶提供關(guān)于該人的身份的信息(178)。
[0157]如果在154中，面部和聲音辨識與預(yù)期的人匹配，則確定用戶是否辨識所述人(180)。這能夠通過向用戶播放音頻消息詢問其是否辨識該人來完成。能夠使用語音處理算法來解釋由用戶所說的回復(fù)。如果用戶辨識該人，則能夠假定用戶有反應(yīng)(184)，并且此時(shí)不需要支持。之后，系統(tǒng)2能夠允許交談開始(186)，而不必向用戶提供任何支持或者向該人提供任何反饋。
[0158]之后，裝置4進(jìn)入談話支持模式，在該模式中，其記錄談話，并提供用戶的記憶障礙是否阻礙了談話進(jìn)行的反饋。
[0159]如果用戶沒有辨識該人(182)，則即使用戶沒有辨識該人，仍然確定用戶是否辨識探訪原因(168)。之后，系統(tǒng)2如上文所描述的繼續(xù)運(yùn)行(170-178)。
[0160]因此，提供了一種用于輔助患有記憶障礙的人進(jìn)行社交互動的方法和系統(tǒng)。
[0161]盡管已經(jīng)在附圖和前面的描述中已經(jīng)詳細(xì)說明和描述本發(fā)明，但這樣的說明和描述被認(rèn)為是說明性或示例性的而非限制性的；本發(fā)明不限于所公開的實(shí)施例。
[0162]通過研究附圖、公開和所附的權(quán)利要求，本領(lǐng)域技術(shù)人員在實(shí)施請求保護(hù)的本發(fā)明時(shí)能夠理解和實(shí)現(xiàn)所公開實(shí)施例的其他變化。在權(quán)利要求中，“包括”一詞不排除其他元件或步驟，并且不定冠詞“一”或“一個(gè)”不排除多個(gè)。單個(gè)處理器或其他單元可以完成在權(quán)利要求中記載的若干項(xiàng)的功能。有些手段記載在相互不同的從屬權(quán)利要求中，這一事實(shí)并不表示不能用這些手段的組合來獲益。可以在適當(dāng)?shù)慕橘|(zhì)上存儲和/或分布計(jì)算機(jī)程序，諸如連同其他硬件供應(yīng)或作為其他硬件一部分供應(yīng)的光存儲介質(zhì)或固態(tài)介質(zhì)，但也可以在其他形式中分布，諸如經(jīng)由因特網(wǎng)或其他有線或無線電信系統(tǒng)。權(quán)利要求中的任何附圖標(biāo)記不應(yīng)被解釋為限制范圍。`
【權(quán)利要求】
1.一種用于輔助用戶與另一人進(jìn)行社交互動的系統(tǒng)，所述系統(tǒng)被配置為確定所述用戶是否辨識該人，以及如果確定所述用戶沒有辨識該人，則向所述用戶提供關(guān)于該人的信息。
2.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，所述系統(tǒng)被配置為通過確定所述用戶的情緒狀態(tài)來確定所述用戶是否辨識該人。
3.根據(jù)權(quán)利要求2所述的系統(tǒng)，其中，所述系統(tǒng)包括一個(gè)或多個(gè)傳感器，用于測量所述用戶的生理特征，并且其中，所述系統(tǒng)被配置為基于測量出的生理特征來確定所述用戶的情緒狀態(tài)。
4.根據(jù)權(quán)利要求2或3所述的系統(tǒng)，其中，所述系統(tǒng)被配置為通過分析所述用戶在互動期間的語音來確定所述用戶的情緒狀態(tài)。
5.根據(jù)權(quán)利要求1到4中的任一項(xiàng)所述的系統(tǒng)，其中，所述系統(tǒng)被配置為通過以下方式來確定所述用戶是否辨識該人: 播放音頻和/或視頻消息，并且監(jiān)測所述用戶對消息的反應(yīng)；或者 使用語音辨識算法，以分析所述用戶和/或該人在互動期間的語音。
6.根據(jù)權(quán)利要求1到5中的任一項(xiàng)所述的系統(tǒng)，其中，所述系統(tǒng)包括: 圖像捕獲模塊，用于捕獲該人的圖像或者一系列圖像； 處理器，用于向捕獲到的圖像應(yīng)用面部辨識算法，以識別該人，并且用于獲得關(guān)于識別出的人的信息；以及 用戶接口，如果確定所述用戶沒有辨識該人，則所述用戶接口用于向所述用戶呈現(xiàn)獲得的關(guān)于所述識別出的人的所述信息。
7.根據(jù)前述權(quán)利要求中的任一項(xiàng)所述的系統(tǒng)，其中，所述系統(tǒng)還被配置為如果確定所述用戶沒有辨識該人，則向該人提供信息，所述信息向該人指示所述用戶沒有辨識他們。
8.一種用于輔助用戶與另一人進(jìn)行社交互動的方法，所述方法包括: 確定所述用戶是否辨識該人；以及 如果確定所述用戶沒有辨識該人，則向所述用戶提供關(guān)于該人的信息。
9.根據(jù)權(quán)利要求8所述的方法，所述方法還包括以下步驟: 在所述用戶和該人之間的互動期間記錄語音； 在確定所述互動完成時(shí)，為所述用戶生成所述互動的摘要；以及 向用戶接口提供所述摘要，便于向所述用戶呈現(xiàn)。
10.根據(jù)權(quán)利要求9所述的方法，所述方法還包括以下步驟: 確定所述用戶在所述互動期間的情緒狀態(tài)，以及 基于記錄的語音和確定的情緒狀態(tài)，為所述用戶生成所述互動的所述摘要。
11.根據(jù)權(quán)利要求9到10中的任一項(xiàng)所述的方法，其中，所述方法還包括以下步驟: 確定所述用戶是否記得或者理解與該人進(jìn)行所述互動的目的；以及 如果確定所述用戶不記得或不理解所述互動的所述目的，則向所述用戶提供關(guān)于所述互動的所述目的的信息。
12.根據(jù)權(quán)利要求8到11中的任一項(xiàng)所述的方法，其中，所述方法還包括以下步驟: 監(jiān)測所述互動，以確定所述用戶是否隨著所述互動的進(jìn)行跟隨并理解所述互動；以及 如果確定所述用戶無法跟隨或無法理解所述互動，則向所述用戶提供關(guān)于所述互動的信息。
13.根據(jù)表述12所述的方法，其中，所述方法包括確定所述互動的語境，由此，如果確定所述用戶無法跟隨或者理解所述互動，則能夠向所述用戶提供關(guān)于所述互動的具體語境的信息。
14.根據(jù)權(quán)利要求11、12或13中的任一項(xiàng)所述的方法，其中，所述方法還包括: (i)監(jiān)測所述用戶的所述語音，以確定所述用戶是否能夠開始并跟隨所述互動；(ii)監(jiān)測所述用戶的所述語音，以確定所述用戶的所述情緒狀態(tài)；(iii)監(jiān)測所述用戶和該人的語音，以確定所述互動和當(dāng)前對話的語境；和/或(iv)監(jiān)測所述用戶在所述互動期間的生理反應(yīng)，以確定所述用戶是否記得或者理解與該人進(jìn)行所述互動的所述目的和/或確定所述用戶是否隨著所述互動的進(jìn)行而跟隨并理解所述互動。
15.一種包括計(jì)算機(jī)可讀代碼的計(jì)算機(jī)程序產(chǎn)品，所述代碼被配置為在由適當(dāng)?shù)挠?jì)算機(jī)或處理器執(zhí)行所述代碼時(shí)，所述計(jì)算機(jī)或處理器執(zhí)行根據(jù)權(quán)利要求8到14中的任一項(xiàng)所述的方法。`
【文檔編號】G06K9/00GK103561652SQ201280026694
【公開日】2014年2月5日 申請日期:2012年6月1日 優(yōu)先權(quán)日:2011年6月1日
【發(fā)明者】R·S·雅辛斯基, M·布盧特, L·貝洛迪 申請人:皇家飛利浦有限公司