本公開的實施例涉及語音界面，更具體地涉及使用多模式界面生成和呈現(xiàn)口頭命令建議。

背景技術：

1、對于基于語音界面的用戶而言，適當?shù)目陬^命令的可發(fā)現(xiàn)性(意識和理解)代表了長期挑戰(zhàn)。事實上，就可發(fā)現(xiàn)性而言，指的是用戶不知道哪些口頭命令可用(意識)和/或如何用措辭表達命令以便這些命令將被支持界面的系統(tǒng)理解(理解)，當其成為基于語音界面的用戶所面臨的障礙時，是僅次于語音識別準確性的問題。用戶通常最終猜測他們認為支持系統(tǒng)可能會識別和/或使用他們習慣于使用的、但系統(tǒng)可能無法理解的慣用語或白話的口頭命令，兩者通常都會導致執(zhí)行錯誤和挫折。

2、解決這些可發(fā)現(xiàn)性挑戰(zhàn)的一種方法是，系統(tǒng)為用戶提供示例性命令的列表作為入門(onboarding)體驗的一部分，因為這是讓用戶接觸由基于語音的系統(tǒng)支持的操作和命令的自然時機。然而，當用戶未參與任何特定任務或動作時在入門期間呈現(xiàn)的此類列表通常在被透徹地、完全地回顧之前已被用戶關閉。即使用戶透徹的回顧了示例性命令列表，所呈現(xiàn)的命令通常在用戶參與動作或任務時嘗試采用命令時也被忘記。

3、為了使用戶意識到新支持的和/或不經常使用的命令，一些解決方案向用戶發(fā)送通知，以提醒他們可用命令或新命令何時可用。類似地，一些解決方案向用戶每周發(fā)送電子郵件，其包括可用命令提醒和更新。然而，僅周期性地呈現(xiàn)示例性命令建議是不夠的，因為用戶傾向于在他們參與利用基于語音系統(tǒng)執(zhí)行動作和/或任務時忘記這些命令。

技術實現(xiàn)思路

1、本公開的實施例尤其涉及用于生成和呈現(xiàn)口頭命令的示例以利于由支持多模式界面的系統(tǒng)理解的相關口頭命令的可發(fā)現(xiàn)性的框架。本文所述的框架還允許用戶逐步探索可用口頭命令。當非口頭(例如直接操縱)輸入被使用時，所描述的框架通過提供示例性口頭命令建議來實現(xiàn)命令可發(fā)現(xiàn)性。與經由多模式用戶界面從用戶接收的直接操縱輸入(例如，觸摸輸入、鍵盤輸入或鼠標輸入)相關聯(lián)的目標被確定，并且與目標相關的一個或多個示例性口頭命令建議被生成。所生成的口頭命令建議的至少一部分被提供，以用于利用三個界面變體之一與多模式用戶界面相關聯(lián)的呈現(xiàn)。這些變體包括使用基于列表的方法呈現(xiàn)口頭命令建議的界面、使用上下文覆蓋層窗口呈現(xiàn)口頭命令建議的界面以及呈現(xiàn)嵌入在gui內的口頭命令建議的界面(“圖形用戶界面”)。所提出的每個界面變體利于用戶意識到支持多模式界面的系統(tǒng)能夠執(zhí)行的口頭命令，并且同時教導用戶可用口頭命令可以如何被調用(例如，適當?shù)拇朕o變體和多模式交互)。

2、提供本
技術實現(xiàn)要素：
以簡化形式介紹一些概念，這些概念將在下面的詳細描述中進一步描述。本發(fā)明內容既不旨在標識所要求保護的主題的關鍵特征或必要特征，也不旨在用于幫助確定所要求保護的主題的范圍。

技術特征：

1.一種計算系統(tǒng)，包括：

2.根據權利要求1所述的計算系統(tǒng)，其中所述計算機可用指令在由所述一個或多個處理器使用時使所述一個或多個處理器通過以下操作來選擇與所確定的所述目標相關的所述操作：

3.根據權利要求2所述的計算系統(tǒng)，其中所述計算機可用指令在由所述一個或多個處理器使用時使所述一個或多個處理器：基于以下中的至少一項來對包括所述多個操作的所述操作相對于彼此進行排名，以生成所述建議排名：與所確定的所述目標相關聯(lián)的類型、與用戶所參與的工作流程的相關性、操作已發(fā)出計數(shù)、以及操作顯示計數(shù)。

4.根據權利要求1所述的計算系統(tǒng)，其中所述計算機可用指令在由所述一個或多個處理器使用時還使所述一個或多個處理器：利用參數(shù)值來填充所述措辭模板的至少一個可修改參數(shù)，以生成所述口頭命令建議。

5.根據權利要求4所述的計算系統(tǒng)，其中所述計算機可用指令在由所述一個或多個處理器使用時使所述一個或多個處理器：基于所述目標的活動狀態(tài)和與用戶所參與的工作流程的相關性中的至少一項，利用所述參數(shù)值來填充所述至少一個可修改參數(shù)。

6.根據權利要求1所述的計算系統(tǒng)，其中所接收的所述直接操縱輸入是觸摸輸入、鍵盤輸入、眼睛跟蹤輸入、姿勢輸入、或鼠標輸入中的一項。

7.根據權利要求1所述的計算系統(tǒng)，其中所述口頭命令建議是自然語言命令建議。

8.根據權利要求1所述的計算系統(tǒng)，其中選擇所述措辭模板基于所接收的所述直接操縱輸入的類型和所述措辭模板的復雜性中的至少一者。

9.一種計算機實現(xiàn)的方法，包括：

10.根據權利要求9所述的計算機實現(xiàn)的方法，其中與所述操作子集和所確定的所述目標相關的所述口頭命令建議通過以下步驟被生成：

11.根據權利要求10所述的計算機實現(xiàn)的方法，其中與所述操作子集相關的所述措辭模板集合基于以下中的至少一項而被選擇：所接收的所述直接操縱輸入的類型、被包括在所述措辭模板集合中的每個措辭模板的復雜性、模板已發(fā)出計數(shù)、以及模板所示出計數(shù)。

12.根據權利要求10所述的計算機實現(xiàn)的方法，其中所述措辭模板集合中的至少一個措辭模板包括可修改參數(shù)，并且其中所述方法還包括：利用參數(shù)值來填充所述可修改參數(shù)，以生成所述口頭命令建議。

13.根據權利要求12所述的計算機實現(xiàn)的方法，其中所述可修改參數(shù)基于所述目標的活動狀態(tài)利用所述參數(shù)值而被填充。

14.根據權利要求9所述的計算機實現(xiàn)的方法，其中所接收的所述直接操縱輸入是觸摸輸入、鍵盤輸入、眼睛跟蹤輸入、姿勢輸入、或鼠標輸入中的一項。

15.根據權利要求9所述的計算機實現(xiàn)的方法，其中所述口頭命令建議是自然語言命令建議。

16.一種計算系統(tǒng)，包括：

17.根據權利要求16所述的計算系統(tǒng)，還包括：用于選擇與所述直接操縱輸入的所述目標相關的操作集合的裝置，其中用于生成所述一個或多個口頭命令建議的所述裝置包括：用于生成與所述操作集合和所述直接操縱輸入的所述目標相關的所述一個或多個口頭命令建議的裝置。

18.根據權利要求17所述的計算系統(tǒng)，還包括：用于基于以下中的至少一項來對所述操作集合中的操作進行排序的裝置：與所述直接操縱輸入的所述目標相關聯(lián)的類型、與所述用戶所參與的工作流的相關性、操作已發(fā)出計數(shù)、以及操作所示出計數(shù)。

19.根據權利要求16所述的計算系統(tǒng)，其中用于生成所述一個或多個口頭命令建議的所述裝置包括：用于利用所述措辭模板來生成所述一個或多個口頭命令建議的裝置。

20.根據權利要求16所述的計算系統(tǒng)，其中生成所述一個或多個口頭命令建議包括：利用參數(shù)值來填充所述措辭模板中的所述可修改參數(shù)。

技術總結
本公開的實施例涉及使用多模式界面以利于口頭命令的發(fā)現(xiàn)。一種用于生成和呈現(xiàn)口頭命令建議以利于能夠被理解的命令的可發(fā)現(xiàn)性并支持用戶探索可用命令的框架。與直接操縱輸入相關聯(lián)的目標經由多模式用戶界面從用戶處被接收。與目標相關的操作集合被選擇，并且與所選的操作集合和所確定目標相關的口頭命令建議被生成。已生成的口頭命令建議的至少一部分被提供，以便在三種界面變體之一中與多模式用戶界面相關聯(lián)的呈現(xiàn)：一個變體將命令建議呈現(xiàn)為列表；一個變體使用上下文覆蓋窗口來呈現(xiàn)命令建議；以及一個變體呈現(xiàn)嵌入在界面內的命令建議。所提出的每個界面變體利于用戶意識到能夠被執(zhí)行的口頭命令，并教導用戶可用口頭命令可以如何被調用。

技術研發(fā)人員：L·唐特徹瓦,A·斯里尼瓦桑,S·J·沃克,E·亞達
受保護的技術使用者：奧多比公司
技術研發(fā)日：
技術公布日：2024/9/26