利用相同的音頻輸入的設(shè)備喚醒和說(shuō)話者驗(yàn)證的制作方法
【專利說(shuō)明】
【背景技術(shù)】
[0001]大多數(shù)現(xiàn)代計(jì)算設(shè)備響應(yīng)于各種事件(例如用戶在一段時(shí)間內(nèi)沒(méi)有和設(shè)備進(jìn)行交互)而進(jìn)入低功率狀態(tài)以保存電量。為了“喚醒”處于低功率狀態(tài)中的設(shè)備，用戶通常需要以某種方式與設(shè)備進(jìn)行物理交互。例如，用戶可能需要在鍵盤(pán)上點(diǎn)擊Ctrl+Alt+Delete、按遙控器或智能電話上的按鈕、或者解鎖觸摸屏。此外，用戶通常需要例如在用戶被允許操作設(shè)備之前，通過(guò)在觸摸屏上輸入密碼而與設(shè)備進(jìn)行第二次交互以作為授權(quán)或者驗(yàn)證過(guò)程的一部分。
【附圖說(shuō)明】
[0002]圖1是利用相同的音頻輸入來(lái)識(shí)別喚醒短語(yǔ)并執(zhí)行說(shuō)話者驗(yàn)證的第一計(jì)算設(shè)備的方框圖。
[0003]圖2是利用相同的音頻輸入來(lái)識(shí)別喚醒短語(yǔ)并執(zhí)行說(shuō)話者驗(yàn)證的第二計(jì)算設(shè)備的方框圖。
[0004]圖3是利用相同的音頻輸入來(lái)喚醒計(jì)算設(shè)備并執(zhí)行說(shuō)話者驗(yàn)證的第一示例性方法的流程圖。
[0005]圖4是利用相同的音頻輸入來(lái)喚醒計(jì)算設(shè)備并執(zhí)行說(shuō)話者驗(yàn)證的第二示例性方法的流程圖。
[0006]圖5是利用相同的音頻輸入來(lái)喚醒計(jì)算設(shè)備并執(zhí)行說(shuō)話者驗(yàn)證的第三示例性方法的流程圖。
[0007]圖6是其中可以實(shí)現(xiàn)本文所描述的技術(shù)的示例性計(jì)算設(shè)備的方框圖。
[0008]圖7是可以執(zhí)行計(jì)算機(jī)可執(zhí)行指令以作為實(shí)現(xiàn)本文中所描述的技術(shù)的一部分的示例性處理器核心的方框圖。
【具體實(shí)施方式】
[0009]在本文中公開(kāi)的技術(shù)允許計(jì)算設(shè)備響應(yīng)于用戶說(shuō)出單個(gè)喚醒短語(yǔ)而從低功率狀態(tài)中喚醒，并且驗(yàn)證用戶。因此，通過(guò)允許用戶以更加免提和免視的方式與設(shè)備進(jìn)行交互，可以使設(shè)備的用戶界面更加自然。當(dāng)設(shè)備處于低功率狀態(tài)時(shí)，低功率引擎確定在設(shè)備處接收的音頻輸入是否包括人說(shuō)出喚醒短語(yǔ)。如果檢測(cè)到喚醒短語(yǔ)，則設(shè)備利用包含喚醒短語(yǔ)的音頻的一部分來(lái)輸入驗(yàn)證說(shuō)話者。說(shuō)話者驗(yàn)證可以由低功率引擎或由在檢測(cè)到喚醒短語(yǔ)之后被喚醒的另一組件來(lái)執(zhí)行。
[0010]如在本文中使用的，術(shù)語(yǔ)“喚醒”或“叫醒”是指計(jì)算設(shè)備或計(jì)算設(shè)備的組件從低功率狀態(tài)到活動(dòng)狀態(tài)的轉(zhuǎn)換。低功率狀態(tài)(例如，半睡半醒、睡眠或休眠狀態(tài))是計(jì)算設(shè)備比在活動(dòng)狀態(tài)中運(yùn)行時(shí)消耗更少的電量的狀態(tài)。例如，低功率狀態(tài)可以是設(shè)備組件被禁用、或是以降低的時(shí)鐘頻率或供給電壓運(yùn)行的狀態(tài)。例如，在低功率狀態(tài)中運(yùn)行的設(shè)備可以使其輸出顯示器關(guān)閉或變暗，或者使其處理器中的一個(gè)或多個(gè)以按比例縮小的頻率運(yùn)行。相應(yīng)地，活動(dòng)狀態(tài)是計(jì)算設(shè)備比當(dāng)在低功率狀態(tài)中運(yùn)行時(shí)消耗更多的電量的狀態(tài)。因此，喚醒設(shè)備可以包括啟用已經(jīng)關(guān)閉了的輸出顯示器或按比例增大處理器的運(yùn)行頻率。
[0011]現(xiàn)在參考附圖，其中通篇使用的相同的標(biāo)號(hào)是指相同的元件。在以下的描述中，為了說(shuō)明的目的闡述了許多具體細(xì)節(jié)以便提供對(duì)本文的透徹的理解。然而，可以顯而易見(jiàn)的是，可以在沒(méi)有這些具體細(xì)節(jié)的情況下實(shí)踐新穎的實(shí)施例。在其他實(shí)例中，以方框圖形式示出了公知的結(jié)構(gòu)和設(shè)備，以便于對(duì)這些結(jié)構(gòu)和設(shè)備的描述。目的是為了覆蓋權(quán)利要求的范圍內(nèi)的所有修改、等同物、以及替代物。
[0012]圖1是利用相同的音頻輸入來(lái)識(shí)別喚醒短語(yǔ)并執(zhí)行說(shuō)話者驗(yàn)證的第一計(jì)算設(shè)備100的方框圖。計(jì)算設(shè)備(設(shè)備)100包括麥克風(fēng)104、音頻編碼解碼器108、低功率引擎(LPE) 112、LPE驅(qū)動(dòng)器116、說(shuō)話者驗(yàn)證代理120、操作系統(tǒng)122和一個(gè)或多個(gè)應(yīng)用程序124。計(jì)算設(shè)備100在麥克風(fēng)104處接收音頻輸入，這生成被傳遞至音頻編碼解碼器108的音頻信號(hào)。音頻編碼解碼器108進(jìn)而將音頻信號(hào)轉(zhuǎn)換成被提供給LPE 112的數(shù)字信號(hào)。
[0013]低功率引擎112管理設(shè)備100中的捕獲音頻管線的方面。當(dāng)設(shè)備處于低功率狀態(tài)時(shí)，LPE 112運(yùn)行。在一些實(shí)施例中，當(dāng)設(shè)備處于活動(dòng)狀態(tài)時(shí)，LPE 112的組件也可以運(yùn)行。除了當(dāng)設(shè)備處于低功率狀態(tài)時(shí)被啟用之外，LPE 112還可以以相對(duì)于當(dāng)設(shè)備處于活動(dòng)狀態(tài)時(shí)提供給其他組件的頻率或供給電壓而言降低的頻率或供給電壓而運(yùn)行。在一些實(shí)施例中，LPE 112是低功率DSP (數(shù)字信號(hào)處理器)。
[0014]LPE 112包對(duì)由音頻編碼解碼器108生成的數(shù)字音頻信號(hào)進(jìn)行編碼的編碼器128，以及對(duì)接收到的音頻執(zhí)行喚醒短語(yǔ)識(shí)別和說(shuō)話者驗(yàn)證的話音(voice)觸發(fā)器和說(shuō)話者驗(yàn)證(VTSV)模塊134。編碼器128將音頻編碼成可以由VTSV模塊134使用的格式，例如PCM(脈沖編碼調(diào)制)。VTSV模塊134包括話音活動(dòng)檢測(cè)模塊138、喚醒短語(yǔ)識(shí)別模塊142、說(shuō)話者驗(yàn)證模塊148以及可選地喚醒短語(yǔ)存儲(chǔ)設(shè)備154。通常，當(dāng)設(shè)備100進(jìn)入低功率狀態(tài)時(shí)，將VTSV模塊134插入到音頻捕獲管線中，并且當(dāng)設(shè)備100喚醒時(shí)，將VTSV模塊134從音頻捕獲管線中移除。在一些實(shí)施例中，在設(shè)備100轉(zhuǎn)換到低功率狀態(tài)時(shí)是否將VTSV模塊插入到音頻捕獲管線中是基于用戶設(shè)定確定的。
[0015]VTSV模塊134確定被編碼的音頻輸入是否包括喚醒短語(yǔ)并且對(duì)包括喚醒短語(yǔ)的音頻輸入的部分執(zhí)行說(shuō)話者驗(yàn)證?？梢詫⒃邴溈孙L(fēng)104處接收到的音頻輸入126的全部或部分傳送至VTSV模塊134。例如，只有在來(lái)自先前階段的輸入滿足某些特性時(shí)，例如音頻信號(hào)的幅度高于閾值水平，才可以將麥克風(fēng)104、音頻編碼解碼器108和/或編碼器128配置為以將輸出提供給音頻捕獲管線中的下一階段。在其他實(shí)施例中，當(dāng)設(shè)備100處于低功率狀態(tài)中時(shí)，VTSV模塊134處理在麥克風(fēng)104處接收到的所有音頻輸入。
[0016]話音活動(dòng)檢測(cè)模塊138確定被編碼的音頻是否包括人類語(yǔ)音。如果包括，則將包括所述語(yǔ)音的音頻輸入的部分傳送至喚醒短語(yǔ)識(shí)別模塊142。喚醒短語(yǔ)識(shí)別模塊142采用已知的語(yǔ)音識(shí)別技術(shù)以確定音頻輸入是否包括包含喚醒短語(yǔ)的語(yǔ)音。
[0017]喚醒短語(yǔ)是可以使得在低功率狀態(tài)中運(yùn)行的計(jì)算設(shè)備喚醒的單詞或短語(yǔ)(例如，“嘿，電話”、“起來(lái)”、“你好”)。在圖1中，在計(jì)算設(shè)備100喚醒之前，還驗(yàn)證說(shuō)話者。在其他實(shí)施例中，如在下文中關(guān)于圖2所描述的，在檢測(cè)到喚醒短語(yǔ)之后設(shè)備醒來(lái)，并且接著執(zhí)行說(shuō)話者驗(yàn)證。
[0018]計(jì)算設(shè)備可以采用各種喚醒短語(yǔ)策略。例如，在一些實(shí)施例中，不同的用戶可以使用相同的喚醒短語(yǔ)以喚醒計(jì)算設(shè)備。在其他實(shí)施例中，用戶可以說(shuō)出多個(gè)喚醒短語(yǔ)中的一個(gè)以喚醒設(shè)備。在其他實(shí)施例中，各種的喚醒短語(yǔ)可以和不同的用戶關(guān)聯(lián)。例如，一個(gè)或多個(gè)喚醒短語(yǔ)可以和第一用戶關(guān)聯(lián)，并且一個(gè)或多個(gè)第二喚醒短語(yǔ)可以和第二用戶關(guān)聯(lián)。而且，不同的喚醒短語(yǔ)可以使得計(jì)算設(shè)備從低功率狀態(tài)轉(zhuǎn)換到不同的活動(dòng)狀態(tài)，例如高性能、標(biāo)準(zhǔn)和低性能活動(dòng)狀態(tài)。例如，這些活動(dòng)狀態(tài)之間的不同可以是啟用的設(shè)備組件或配件的數(shù)量，設(shè)備的組件運(yùn)行的時(shí)鐘頻率、應(yīng)用至設(shè)備的組件的供給電壓等。在一些實(shí)施例中，喚醒短語(yǔ)可以是用戶可編程的或被計(jì)算設(shè)備制造商配置的。
[0019]喚醒短語(yǔ)識(shí)別模塊142將音頻輸入和可以被設(shè)備存取的喚醒短語(yǔ)進(jìn)行比較，所述喚醒短語(yǔ)例如存儲(chǔ)在喚醒短語(yǔ)存儲(chǔ)設(shè)備154中的喚醒短語(yǔ)。喚醒短語(yǔ)存儲(chǔ)設(shè)備154還可以包括與被存儲(chǔ)的喚醒短語(yǔ)相關(guān)聯(lián)的一個(gè)或多個(gè)用戶的指示。如果喚醒短語(yǔ)識(shí)別模塊142確定音頻輸入包括喚醒短語(yǔ)，則說(shuō)話者驗(yàn)證模塊148驗(yàn)證說(shuō)出喚醒短語(yǔ)的用戶是有權(quán)操作設(shè)備的用戶。在一些實(shí)施例中，利用已知的生物計(jì)量分析技術(shù)執(zhí)行說(shuō)話者驗(yàn)證。例如，可以將對(duì)音頻輸入執(zhí)行的生物計(jì)量分析的結(jié)果與生物計(jì)量標(biāo)識(shí)符或與被授權(quán)以操作計(jì)算設(shè)備的用戶相關(guān)聯(lián)的其他生物計(jì)量相關(guān)的信息進(jìn)行比較。
[0020]對(duì)包括喚醒短語(yǔ)的音頻輸入的部分執(zhí)行說(shuō)話者驗(yàn)證。因此，對(duì)相同的音頻輸入執(zhí)行說(shuō)話者驗(yàn)證和喚醒短語(yǔ)識(shí)別。例如，如果喚醒短語(yǔ)識(shí)別模塊142確定音頻輸入包括喚醒短語(yǔ)“嘿，電話”，則對(duì)包含“嘿，電話”喚醒短語(yǔ)的音頻輸入的部分執(zhí)行說(shuō)話者驗(yàn)證。
[0021]在說(shuō)話者已經(jīng)被驗(yàn)證為是被允許訪問(wèn)設(shè)備100的用戶之后，設(shè)備100要被喚醒的通知將被傳送至LPE驅(qū)動(dòng)器116o LPE驅(qū)動(dòng)器116將該通知傳送至說(shuō)話者驗(yàn)證代理服務(wù)120。代理服務(wù)120提供向設(shè)備100的操作系統(tǒng)122事件以解鎖設(shè)備100。代理服務(wù)120可以向操作系統(tǒng)122提供事件以獲得額外的任務(wù)，例如指示操作系統(tǒng)122從而針對(duì)待由一個(gè)或多個(gè)應(yīng)用程序124執(zhí)行或利用的命令或輸入而開(kāi)始監(jiān)測(cè)音頻輸入126。在一些實(shí)施例中，在設(shè)備已經(jīng)被喚醒之后，VTSV模塊134在音頻捕獲管線中被跳過(guò)。
[0022]在已經(jīng)驗(yàn)證了說(shuō)話者之后喚醒設(shè)備100可以降低設(shè)備100的功率消耗。例如，如果設(shè)備100響應(yīng)于用戶說(shuō)出喚醒短語(yǔ)而被喚醒，但是用戶沒(méi)有被驗(yàn)證，則電量可能被浪費(fèi)。
[0023]圖2是利用相同的音頻輸入識(shí)別來(lái)喚醒短語(yǔ)并執(zhí)行說(shuō)話者驗(yàn)證的第二計(jì)算設(shè)備200的方框圖。設(shè)備200具有和圖1中的設(shè)備100共同的組件，但是不同的是，說(shuō)話者驗(yàn)證功能是由在低功率引擎112外部的說(shuō)話者驗(yàn)證模塊220執(zhí)行的。在設(shè)備200中，當(dāng)喚醒短語(yǔ)識(shí)別模塊142在音頻輸入中檢測(cè)出喚醒短語(yǔ)時(shí)，將設(shè)備200喚醒并且將包含喚醒短語(yǔ)的音頻采樣復(fù)制到由LPE驅(qū)動(dòng)器116分配的短語(yǔ)緩沖器210。LPE驅(qū)動(dòng)器116從LPE 112中接收已經(jīng)檢測(cè)到喚醒短語(yǔ)的通知，并且將該通知傳送至說(shuō)話者驗(yàn)證模塊220中。說(shuō)話者驗(yàn)證模塊220對(duì)存儲(chǔ)在短語(yǔ)緩沖器210中的音頻采樣執(zhí)行驗(yàn)證。如果驗(yàn)證成功，則驗(yàn)證模塊220向操作系統(tǒng)122提供事件以解鎖設(shè)備200。驗(yàn)證模塊220可以向操作系統(tǒng)提供額外的事件以針對(duì)提供給應(yīng)用程序124的用戶命令或輸入而開(kāi)始監(jiān)測(cè)音頻輸入126。在計(jì)算設(shè)備200的替代的實(shí)施例中，說(shuō)話者驗(yàn)證