用于移動裝置的智能音頻記錄的系統(tǒng)和方法
【專利說明】用于移動裝置的智能音頻記錄的系統(tǒng)和方法
[0001]分案串請的相關(guān)信息
[0002]本申請是國際申請?zhí)枮镻CT/US2011/031859、申請日為2011年4月8日、發(fā)明名稱為“用于移動裝置的智能音頻記錄的系統(tǒng)和方法”的PCT申請進入中國國家階段后申請?zhí)枮?01180025888.9的中國發(fā)明專利申請的分案申請。
[0003]相關(guān)串請案
[0004]本發(fā)明主張2010年4月8日申請的題目為“智能音頻記錄(SMART AUD1LOGGING) ”的第61/322，176號美國臨時申請案的優(yōu)先權(quán)，所述臨時申請案轉(zhuǎn)讓給本受讓人且特此明確地以引用的方式并入本文中。
技術(shù)領(lǐng)域
[0005]本發(fā)明大體上涉及音頻和語音信號俘獲。更具體地說，本發(fā)明涉及能夠基于音頻上下文信息的分析來起始且/或終止音頻和語音信號俘獲操作或(可互換地說)記錄操作的移動裝置。
【背景技術(shù)】
[0006]由于專用集成電路(ASIC)的功率控制技術(shù)進步以及例如數(shù)字信號處理器(DSP)等移動處理器或微處理器的計算能力增加，越來越多的移動裝置現(xiàn)在能夠?qū)崿F(xiàn)復雜得多的特征，所述特征歸因于缺少所需要的計算能力或硬件(HW)支持而直到現(xiàn)在才被視為切實可行的。舉例來說，最初開發(fā)移動臺(MS)或移動電話以使得能夠經(jīng)由傳統(tǒng)的基于電路的無線蜂窩式網(wǎng)絡進行話音或語音通信。因此，原先設計MS以解決基本的話音應用，如話音壓縮、聲學回聲消除(AEC)、噪聲抑制(NS)和話音錄入。
[0007]實施話音壓縮算法的過程被稱為聲碼，且實施設備被稱為聲碼器或“語音譯碼器”。存在若干種標準化聲碼算法以支持需要語音通信的不同數(shù)字通信系統(tǒng)。第三代合作伙伴計劃2(3GPP2)是實例標準化組織，其指定碼分多址(CDMA)技術(shù)，例如IS_95、CDMA20001x無線電發(fā)射技術(shù)(lxRTT)和CDMA2000演進數(shù)據(jù)優(yōu)化(EV-D0)通信系統(tǒng)。第三代合作伙伴計劃(3GPP)是另一實例標準化組織，其指定全球移動通信系統(tǒng)(GSM)、通用移動電信系統(tǒng)(UMTS)、高速下行鏈路包接入(HSDPA)、高速上行鏈路包接入(HSUPA)、高速包接入演進(HSPA+)和長期演進(LTE)。因特網(wǎng)協(xié)議話音(V0IP)是在3GPP和3GPP2中所定義的通信系統(tǒng)以及其它系統(tǒng)中使用的實例協(xié)議。此類通信系統(tǒng)和協(xié)議中所采用的聲碼器的實例包括國際電信聯(lián)盟(ITU)-T G.729、自適應性多速率(AMR)編解碼器和增強型可變速率編解碼器(EVRC)語音服務選項3、68和70。
[0008]話音錄入是用以錄入人類話音的應用。話音錄入常常被可互換地稱為話音記錄或話音存儲。話音錄入允許用戶將由一個或一個以上麥克風拾取的語音信號的某部分保存到存儲器空間中。所保存的話音錄入可稍后在同一裝置中播放，或其可通過話音通信系統(tǒng)發(fā)射到不同裝置。雖然話音錄入器可錄入一些音樂信號，但所錄入的音樂的質(zhì)量通常并不是極好的，因為話音錄入器是針對人類聲道所發(fā)出的語音特性來優(yōu)化的。
[0009]音頻錄入或音頻記錄有時可與話音錄入互換地使用，但其有時被理解成用以錄入包括人類話音、樂器和音樂在內(nèi)的任何可聽聲音的不同應用，因為其能夠俘獲頻率比人類聲道所產(chǎn)生的信號高的信號。在本申請案的上下文中，“音頻記錄”或“音頻錄入”術(shù)語將廣泛地用以指代話音錄入或音頻錄入。
[0010]音頻記錄使得能夠錄入通常由一個或一個以上移動裝置中的一個或一個以上麥克風拾取的所關(guān)注的音頻信號的全部或一些部分。音頻記錄有時被可互換地稱為音頻錄入或音頻備忘錄。

【發(fā)明內(nèi)容】

[0011]本文獻描述一種針對移動裝置處理數(shù)字音頻信號的方法。所述方法包括:通過至少一個麥克風接收聲學信號；將所述所接收的聲學信號轉(zhuǎn)換為所述數(shù)字音頻信號；從所述數(shù)字音頻信號提取至少一個聽覺上下文信息；響應于自動檢測到開始事件指示符，針對所述數(shù)字音頻信號執(zhí)行音頻記錄；以及響應于自動檢測到結(jié)束事件指示符，結(jié)束所述音頻記錄。此至少一個聽覺上下文信息可與音頻分類、關(guān)鍵詞識別或說話者識別相關(guān)。此至少一個聽覺上下文信息可至少部分基于信號能量、信噪比、頻譜傾斜或過零率。此至少一個聽覺上下文信息可至少部分基于非聽覺信息，例如日程安排信息或日歷信息。本文獻還描述與此方法相關(guān)的設備、裝置組合和計算機可讀媒體。
[0012]本文獻還描述一種針對移動裝置處理數(shù)字音頻信號的方法。所述方法包括:通過至少一個麥克風接收聲學信號；將所述所接收的聲學信號變換為電信號；基于用于每一經(jīng)取樣數(shù)據(jù)的取樣頻率和數(shù)據(jù)寬度來取樣所述電信號以獲得所述數(shù)字音頻信號；將所述數(shù)字音頻信號存儲到緩沖器中；從所述數(shù)字音頻信號提取至少一個聽覺上下文信息；響應于自動檢測到開始事件指示符，針對所述數(shù)字音頻信號執(zhí)行音頻記錄；以及響應于自動檢測到結(jié)束事件指示符，結(jié)束所述音頻記錄。此檢測所述開始或結(jié)束事件指示符可至少部分基于非聽覺信息，例如日程安排信息或日歷信息。本文獻還描述與此方法相關(guān)的設備、裝置組合和計算機可讀媒體。
[0013]本文獻還描述一種檢測開始事件指示符的方法。此方法包括從所述至少一個聽覺上下文信息選擇至少一個上下文信息；將所述選定上下文信息與至少一個預定閾值進行比較；以及基于所述將所述選定上下文信息與至少一個預定閾值進行比較來確定是否已檢測到所述開始事件指示符。本文獻還描述與此方法相關(guān)的設備、裝置組合和計算機可讀媒體。
[0014]本文獻還描述一種檢測結(jié)束事件指示符的方法。此方法包括:從所述至少一個聽覺上下文信息選擇至少一個上下文信息；將所述選定上下文信息與至少一個預定閾值進行比較；以及基于所述將所述選定上下文信息與至少一個預定閾值進行比較來確定是否已檢測到所述結(jié)束事件指示符。此檢測結(jié)束事件指示符可至少部分基于在預定時間周期期間不出現(xiàn)聽覺事件。本文獻還描述與此方法相關(guān)的設備、裝置組合和計算機可讀媒體。
[0015]本文獻還描述一種執(zhí)行音頻記錄的方法。此方法包括:至少部分基于所述至少一個聽覺上下文信息來更新與所述轉(zhuǎn)換相關(guān)的至少一個參數(shù)；響應于至少部分基于所述至少一個聽覺上下文信息來確定是否需要額外處理，將所述額外處理應用于所述數(shù)字音頻信號以獲得經(jīng)處理的音頻信號；以及將所述經(jīng)處理的音頻信號存儲到存儲器存儲裝置中。所述額外處理可為信號增強處理，例如聲學回聲消除(AEC)、接收話音增強(RVE)、主動噪聲消除(ANC)、噪聲抑制(NS)、聲學增益控制(AGC)、聲學音量控制(AVC)或聲學動態(tài)范圍控制(ADRC) ο所述噪聲抑制可基于基于單個麥克風或多個麥克風的解決方案。所述額外處理可為信號壓縮處理，例如語音壓縮或音頻壓縮。可基于聽覺上下文信息來確定例如壓縮模式、位率或通道數(shù)目等壓縮參數(shù)。所述存儲器存儲裝置包括在所述移動裝置內(nèi)部的本地存儲器或通過無線信道連接到所述移動裝置的遠程存儲器。本地存儲器與遠程存儲器之間的選擇可至少部分基于所述聽覺上下文信息。本文獻還描述與此方法相關(guān)的設備、裝置組合和計算機可讀媒體。
[0016]本文獻還描述一種用于移動裝置的方法，其包括:自動檢測開始事件指示符；響應于檢測到開始事件指示符而處理音頻輸入信號的第一部分以獲得第一信息；基于所述第一信息來確定至少一個錄入?yún)?shù)；以及基于所述所確定的至少一個錄入?yún)?shù)來重新配置所述移動裝置的音頻俘獲單元。此重新配置可出現(xiàn)在所述音頻輸入信號的不活動部分期間。此至少一個錄入?yún)?shù)包括指示用于所述移動裝置的A/D轉(zhuǎn)換器的取樣頻率或數(shù)據(jù)寬度的信息。此至少一個錄入?yún)?shù)包括指示所述移動裝置的活動麥克風的數(shù)目的信息或指示至少一個麥克風的喚醒時間間隔或活動持續(xù)時間的定時信息。此第一信息可為描述其中所述移動裝置正在進行錄入的環(huán)境或所述音頻輸入信號的特性的上下文信息。此開始事件指示符可基于經(jīng)由無線信道發(fā)射的信號。本文獻還描述與此方法相關(guān)的設備、裝置組合和計算機可讀媒體。
[0017]本文獻還描述一種用于移動裝置的方法，其包括:自動檢測開始事件指示符；響應于檢測到開始事件指示符而處理音頻輸入信號的第一部分以獲得第一信息；基于所述第一信息來確定至少一個錄入?yún)?shù)；基于所述所確定的至少一個錄入?yún)?shù)來重新配置所述移動裝置的音頻俘獲單元；處理所述音頻輸入信號的第二部分以獲得第二信息；通過抑制背景噪聲來增強所述音頻輸入信號以獲得經(jīng)增強的信號；編碼所述經(jīng)增強的信號以獲得經(jīng)編碼的信號；以及將所述經(jīng)編碼的信號存儲在所述移動裝置內(nèi)的本地存儲裝置處。此編碼所述經(jīng)增強的信號包括:基于所述第二信息來確定編碼類型；確定用于所述所確定的編碼的至少一個編碼參數(shù)；以及基于所述所確定的編碼類型和所述所確定的至少一個編碼參數(shù)來處理所述經(jīng)增強的信號以獲得所述經(jīng)編碼的信號。此處，此至少一個編碼參數(shù)包括位率或編碼模式。另外，此方法可包括基于所述第二信息來確定所述增強所述音頻輸入信號的程度。本文獻還描述與此方法相關(guān)的設備、裝置組合和計算機可讀媒體。
[0018]本文獻還描述一種用于移動裝置的方法，其包括:自動檢測開始事件指示符；響應于檢測到開始事件指示符而處理音頻輸入信號的第一部分以獲得第一信息；基于所述第一信息來確定至少一個錄入?yún)?shù)；基于所述所確定的至少一個錄入?yún)?shù)來重新配置所述移動裝置的音頻俘獲單元；處理所述音頻輸入信號的第二部分以獲得第二信息；通過抑制背景噪聲來增強所述音頻輸入信號以獲得經(jīng)增強的信號；編碼所述經(jīng)增強的信號以獲得經(jīng)編碼的信號；以及將所述經(jīng)編碼的信號存儲在所述移動裝置內(nèi)的本地存儲裝置處。另外，此方法可包括:自動檢測結(jié)束事件指示符；以及響應于檢測到結(jié)束事件指示符，在所述移動裝置內(nèi)的所述本地存儲裝置與通過無線信道連接到所述移動裝置的網(wǎng)絡存儲裝置之間確定用于所述經(jīng)編碼的信號的長期存儲位置。此確定所述長期存儲位置可基于所述經(jīng)編碼的信號的優(yōu)先級。本文獻還描述與此方法相關(guān)的設備、裝置組合和計算機可讀媒體。
【附圖說明】
[0019]通過結(jié)合附圖參看以下詳細描述將更容易明白本文中所描述的實施例的方面和伴隨優(yōu)點，其中:
[0020]圖1A為說明智能音頻記錄系統(tǒng)的概念的圖。
[0021]圖1B為說明智能音頻記錄系統(tǒng)的概念的另一圖。
[0022]圖1C為說明常規(guī)音頻記錄系統(tǒng)的概念的圖。
[0023]圖2為智能音頻記錄系統(tǒng)的示范性實施例的圖。
[0024]圖3為輸出處理單元240的實施例的圖。
[0025]圖4為輸入處理單元250的實施例的圖。
[0026]圖5為音頻記錄處理器230的實施例的圖。
[0027]圖6為說明上下文信息S600的實例的圖。
[0028]圖7為上下文識別器560的實施例的圖。
[0029]圖8為上下文識別器560和上下文信息S600的示范性實施例的圖。
[0030]圖9A為單等級開始事件指示符的產(chǎn)生機制的實施例。
[0031]圖9B為單等級開始事件指示符的產(chǎn)生機制的另一實施例。
[0032]圖10為結(jié)束事件指示符的產(chǎn)生機制的實施例。
[0033]圖11為說明音頻記錄處理器230狀態(tài)及其轉(zhuǎn)變的第一示范性實施例的圖。
[0034]圖12為說明音頻記錄處理器230狀態(tài)及其轉(zhuǎn)變的第二示范性實施例的圖。
[0035]圖13為在被動音頻監(jiān)視狀態(tài)S1或音頻監(jiān)視狀態(tài)S4期間的音頻俘獲單元215的實施例的流程圖。
[0036]圖14為用于在被動音頻監(jiān)視狀態(tài)S1或音頻監(jiān)視狀態(tài)S4期間將數(shù)字音頻輸入存儲到音頻俘獲單元215處的緩沖器220的實例的圖。
[0037]圖15為在被動音頻監(jiān)視狀態(tài)S1期間的音頻記錄處理器230的實施例的流程圖。
[0038]圖16為在主動音頻監(jiān)視狀態(tài)S2期間的音頻俘獲單元215的實施例的流程圖。
[0039]圖17為用于在主動音頻監(jiān)視狀態(tài)S2期間將數(shù)字音頻輸入存儲到音頻俘獲單元215處的緩沖器220的實例的圖。
[0040]圖18為在主動音頻監(jiān)視狀態(tài)S2期間的音頻記錄處理器230的實施例的流程圖。
[0041]圖19為在主動音頻監(jiān)視狀態(tài)S2期間的在音頻記錄處理器230處的上下文識別實施例的實例的圖。
[0042]圖20為在活動音頻記錄狀態(tài)S3或S5期間的音頻俘獲單元215的實施例的流程圖。
[0043]圖21為在活動音頻記錄狀態(tài)S3期間的音頻記錄處理器230的實施例的流程圖。
[0044]圖22為在音頻監(jiān)視狀態(tài)S4期間的音頻記錄處理器230的實施例的流程圖。
[0045]圖23為在活動音頻記錄狀態(tài)S5期間的音頻記錄處理器230的實施例的流程圖。
[0046]圖24為在活動音頻記錄狀態(tài)S3或S5期間的核心音頻記錄模塊的實施例的流程圖。
[0047]圖25為單個麥克風開啟和關(guān)閉控制的實施例的圖。
[0048]圖26為單個麥克風開啟和關(guān)閉控制的第一實施例的圖。
[0049]圖27為單個麥克風開啟和關(guān)閉控制的第二實施例的圖。
[0050]圖28為多個麥克風開啟和關(guān)閉控制的第一實施例的圖。
[0051]圖29為