多通道回聲消除與噪聲抑制的制作方法
【專(zhuān)利說(shuō)明】
[0001] 巧關(guān)申請(qǐng)案
[0002] 本申請(qǐng)案設(shè)及2013年5月03日申請(qǐng)的第61/819, 423號(hào)美國(guó)臨時(shí)專(zhuān)利申請(qǐng)案"多 通道回聲消除與噪聲抑制（MULTI-CHANNELECHOCANCELLATIONANDNOISESUPPRESSION)" 且主張其優(yōu)先權(quán)。
技術(shù)領(lǐng)域
[0003] 本發(fā)明大體上設(shè)及電子裝置。更具體來(lái)說(shuō)，本發(fā)明設(shè)及多通道回聲消除與噪聲抑 制。
【背景技術(shù)】
[0004] 電子裝置（蜂窩式電話(huà)、無(wú)線(xiàn)調(diào)制解調(diào)器、計(jì)算機(jī)、數(shù)字音樂(lè)播放器、全球定位系 統(tǒng)單元、個(gè)人數(shù)字助理、游戲裝置等）已變?yōu)槿粘Ｉ畹囊徊糠?。小?jì)算裝置現(xiàn)在置于從汽 車(chē)到房鎖的所有事物中。電子裝置的復(fù)雜度在過(guò)去數(shù)年來(lái)已急劇增加。例如，許多電子裝 置具有幫助控制裝置的一或多個(gè)處理器，W及用W支持處理器及裝置的其它部分的一定數(shù) 目的數(shù)字電路。 陽(yáng)〇化]無(wú)線(xiàn)通信系統(tǒng)經(jīng)廣泛部署W提供各種類(lèi)型的通信內(nèi)容，例如，話(huà)音、視頻、數(shù)據(jù)等 等。運(yùn)些系統(tǒng)可為能夠支持多個(gè)通信裝置與一或多個(gè)基站的同時(shí)通信的多址系統(tǒng)。
[0006] 為了提高無(wú)線(xiàn)通信系統(tǒng)中的通話(huà)質(zhì)量，通信裝置可使用各種信號(hào)處理技術(shù)。運(yùn)些 技術(shù)可嘗試在消除不想要的聲音的同時(shí)重建/保存說(shuō)話(huà)者的話(huà)音。因此，可通過(guò)用于多通 道回聲消除與噪聲抑制的系統(tǒng)和方法實(shí)現(xiàn)益處。

【發(fā)明內(nèi)容】

[0007] 描述一種用于多通道回聲消除與噪聲抑制的方法。選擇用于非線(xiàn)性回聲消除的多 個(gè)回聲估計(jì)中的一者?；诨芈暤竭_(dá)方向值OA)而對(duì)噪聲受抑制的信號(hào)執(zhí)行回聲陷波掩蔽 W產(chǎn)生回聲受抑制的信號(hào)。至少部分基于所述選定的回聲估計(jì)而對(duì)回聲受抑制的信號(hào)執(zhí)行 非線(xiàn)性回聲消除。
[0008] 多個(gè)回聲估計(jì)中的一者可為經(jīng)空間處理的回聲估計(jì)、主要麥克風(fēng)回聲估計(jì)及輔助 麥克風(fēng)回聲估計(jì)中的一者。選擇多個(gè)回聲估計(jì)中的一者可包含選擇多個(gè)回聲估計(jì)的最大 值。所述選擇多個(gè)回聲估計(jì)中的一者可包含組合多個(gè)回聲估計(jì)W產(chǎn)生所述選定的回聲估 計(jì)。
[0009] 回聲陷波掩蔽可包含基于語(yǔ)音可能性及回聲DOA而確定掩蔽增益?；芈曄莶ㄑ诒?還可包含將掩蔽增益應(yīng)用到噪聲受抑制的信號(hào)W產(chǎn)生回聲受抑制的信號(hào)。
[0010] 執(zhí)行非線(xiàn)性回聲消除可包含基于所述選定的回聲估計(jì)及回聲受抑制的信號(hào)而使 用回聲的非線(xiàn)性模型。
[0011] 還描述用于多通道回聲消除與噪聲抑制的計(jì)算機(jī)程序產(chǎn)品。所述計(jì)算機(jī)程序產(chǎn)品 包含具有在其上的指令的非暫時(shí)性計(jì)算機(jī)可讀媒體。所述指令包含致使通信裝置選擇多個(gè) 回聲估計(jì)中的一者W用于非線(xiàn)性回聲消除的代碼。所述指令還包含用于致使所述通信裝置 基于回聲DOA對(duì)噪聲受抑制的信號(hào)執(zhí)行回聲陷波掩蔽W產(chǎn)生回聲受抑制的信號(hào)的代碼。所 述指令進(jìn)一步包含用于致使所述通信裝置至少部分基于所述選定的回聲估計(jì)對(duì)所述回聲 受抑制的信號(hào)執(zhí)行非線(xiàn)性回聲消除的代碼。
[0012] 可通過(guò)致使所述通信裝置抑制至少兩個(gè)麥克風(fēng)通道的線(xiàn)性回聲消除的輸出中的 噪聲而產(chǎn)生所述噪聲受抑制的信號(hào)。所述線(xiàn)性回聲消除可包含從主要麥克風(fēng)通道減去主要 麥克風(fēng)回聲估計(jì)。所述線(xiàn)性回聲消除還可包含從輔助麥克風(fēng)通道減去輔助麥克風(fēng)回聲估 計(jì)。
[0013] 所述計(jì)算機(jī)程序產(chǎn)品可進(jìn)一步包含用于致使所述通信裝置對(duì)主要麥克風(fēng)回聲估 計(jì)及輔助麥克風(fēng)回聲估計(jì)進(jìn)行空間處理W產(chǎn)生經(jīng)空間處理的回聲估計(jì)的代碼。所述空間 處理可復(fù)制通過(guò)致使所述通信裝置抑制所述線(xiàn)性回聲消除的輸出中的噪聲而執(zhí)行的空間 處理?？稍谒鼍€(xiàn)性回聲消除期間確定所述主要麥克風(fēng)回聲估計(jì)及所述輔助麥克風(fēng)回聲估 計(jì)。
[0014] 所述用于致使所述通信裝置確定所述主要麥克風(fēng)回聲估計(jì)及所述輔助麥克風(fēng)回 聲估計(jì)的代碼可包含用于致使所述通信裝置對(duì)用于主要麥克風(fēng)及輔助麥克風(fēng)的聲學(xué)回聲 消除器（AEC)過(guò)濾器中的房間響應(yīng)模型化的代碼。可基于用于主要麥克風(fēng)的房間響應(yīng)而確 定所述主要麥克風(fēng)回聲估計(jì)?？苫谟糜谒鲚o助麥克風(fēng)的所述房間響應(yīng)而確定所述第二 麥克風(fēng)回聲估計(jì)。
[0015] 還描述用于多通道回聲消除與噪聲抑制的通信裝置。所述通信裝置包含處理器、 與處理器進(jìn)行電子通信的存儲(chǔ)器W及存儲(chǔ)在存儲(chǔ)器中的指令。所述指令可執(zhí)行W選擇用于 非線(xiàn)性回聲消除的多個(gè)回聲估計(jì)中的一者。所述指令還可執(zhí)行W基于回聲到達(dá)方向值OA) 而對(duì)噪聲受抑制的信號(hào)執(zhí)行回聲陷波掩蔽W產(chǎn)生回聲受抑制的信號(hào)。所述指令進(jìn)一步可執(zhí) 行W至少部分基于所述選定的回聲估計(jì)對(duì)所述回聲受抑制的信號(hào)執(zhí)行非線(xiàn)性回聲消除。
[0016] 所述可執(zhí)行W執(zhí)行回聲陷波掩蔽的指令可進(jìn)一步基于遠(yuǎn)端語(yǔ)音的指示。可基于一 或多個(gè)麥克風(fēng)及一或多個(gè)擴(kuò)音器的位置而確定回聲D0A。可在校準(zhǔn)階段期間確定回聲D0A。 當(dāng)檢測(cè)遠(yuǎn)端活動(dòng)性時(shí)可實(shí)時(shí)地確定回聲D0A。
[0017] 所述可執(zhí)行W執(zhí)行回聲陷波掩蔽的指令可包含可執(zhí)行W基于語(yǔ)音可能性及回聲 DOA而確定掩蔽增益的指令。所述可執(zhí)行W執(zhí)行回聲陷波掩蔽的指令還可包含可執(zhí)行W將 所述掩蔽增益應(yīng)用到所述噪聲受抑制的信號(hào)W產(chǎn)生所述回聲受抑制的信號(hào)的指令。
[0018] 所述可執(zhí)行W確定所述掩蔽增益的指令可包含可執(zhí)行W應(yīng)用基于所述回聲DOA 而定位的掩蔽窗口的指令。所述可執(zhí)行W確定所述掩蔽增益的指令還可包含可執(zhí)行W確定 抑制所述掩蔽窗口內(nèi)的所述噪聲受抑制的信號(hào)的量的指令。
[0019] 還描述用于多通道回聲消除與噪聲抑制的通信裝置。所述通信裝置可包含用于為 了非線(xiàn)性回聲消除選擇多個(gè)回聲估計(jì)中的一者的裝置。所述通信裝置還可包含用于基于回 聲DOA對(duì)噪聲受抑制的信號(hào)執(zhí)行回聲陷波掩蔽W產(chǎn)生回聲受抑制的信號(hào)的裝置。所述通信 裝置可進(jìn)一步包含用于至少部分基于所述選定的回聲估計(jì)對(duì)所述回聲受抑制的信號(hào)執(zhí)行 非線(xiàn)性回聲消除的裝置。
【附圖說(shuō)明】
[0020] 圖I是說(shuō)明具有多通道回聲消除與噪聲抑制模塊的通信裝置的框圖；
[0021] 圖IA圖示由處理器實(shí)施的圖1的系統(tǒng)內(nèi)的一些組件；
[0022] 圖2是說(shuō)明多通道回聲消除與噪聲抑制模塊的一個(gè)配置的框圖；
[0023] 圖3為說(shuō)明用于多通道回聲消除與噪聲抑制的方法的流程圖；
[0024] 圖4是經(jīng)配置W用于多通道回聲消除與噪聲抑制的全頻帶回聲后處理器的框圖；
[0025] 圖5是回聲陷波掩蔽模塊的一個(gè)配置的框圖；
[0026] 圖6是回聲陷波掩蔽模塊的另一配置的框圖；
[0027] 圖7是描繪回聲陷波掩蔽的一個(gè)配置的圖表；及
[0028] 圖8說(shuō)明可包含在電子裝置/無(wú)線(xiàn)裝置內(nèi)的某些組件。
【具體實(shí)施方式】
[0029] 信號(hào)增強(qiáng)、回聲消除巧C)及噪聲抑制（N巧可W用于惡劣的聲音環(huán)境中。由于移動(dòng) 電話(huà)及藍(lán)牙耳機(jī)在家庭或辦公室環(huán)境外部廣泛使用，所W背景噪聲可相當(dāng)大。由于當(dāng)耳機(jī)/ 手持機(jī)越來(lái)越小時(shí)麥克風(fēng)與擴(kuò)音器之間的距離縮小，所W聲學(xué)回聲拾取變得更加苛刻。此 夕F，歸因于耳機(jī)/手持機(jī)裝置中的小尺寸的擴(kuò)音器，聲學(xué)回聲可為非線(xiàn)性的。因此，可使用 非線(xiàn)性回聲處理器來(lái)抑制殘余回聲且給予用戶(hù)令人愉快的全雙工體驗(yàn)。除EC之外的回聲 抑制方法可削弱全雙工通信，且因此可僅作為補(bǔ)充性量度為可接受的。
[0030] 在其中聲音回聲是來(lái)自不合意的空間方向的情況下，噪聲抑制模塊可提供某一回 聲抑制。例如，噪聲抑制模塊可基于空間方向性而提供0到15分貝（地）的回聲抑制。在 電話(huà)會(huì)議或汽車(chē)電話(huà)環(huán)境中，可使用單人講話(huà)期間的至少40地的回聲衰減及雙端通話(huà)期 間的30地的回聲衰減。可使用顯式回聲消除器實(shí)現(xiàn)此衰減。此外，可能需要麥克風(fēng)陣列W 良好的信噪比拾取所要的講話(huà)者且提供信號(hào)增強(qiáng)，甚至當(dāng)所要的講話(huà)者與回聲源相比相對(duì) 遠(yuǎn)地定位時(shí)也如此。因此，為了此電話(huà)會(huì)議裝置實(shí)現(xiàn)高效及令人愉快的全雙工交談，可W提 高多麥克風(fēng)回聲消除噪聲抑制系統(tǒng)的整體性能的方式使用及組合聲學(xué)回波抵消及麥克風(fēng) 陣列?；芈曄霸肼曇种乒δ苄缘目苫ゲ僮餍约凹煽蓭椭鷮?shí)現(xiàn)優(yōu)異性能。
[0031] 圖1是說(shuō)明具有多通道回聲消除與噪聲抑制模塊106的通信裝置102的框圖。通 信裝置102可包含從一或多個(gè)源（例如，擴(kuò)音器108、背景噪聲、來(lái)自一個(gè)揚(yáng)聲器/多個(gè)揚(yáng)聲 器的一個(gè)回聲/多個(gè)回聲（立體聲/環(huán)繞聲音）等）接收聲音輸入的主要麥克風(fēng)104a及一 或多個(gè)輔助麥克風(fēng)104b。麥克風(fēng)104中的每一者可產(chǎn)生可彼此略微不同的音頻的信號(hào)或通 道。在一個(gè)配置中，可存在產(chǎn)生音頻的兩個(gè)通道的兩個(gè)麥克風(fēng)1〇4(例如，主要麥克風(fēng)104a 及輔助麥克風(fēng)104b)，但可使用任何數(shù)目的麥克風(fēng)104。麥克風(fēng)104及擴(kuò)音器108可使用額 外的模塊（未圖示）來(lái)將聲學(xué)信號(hào)處理為數(shù)字音頻且反之亦然。例如，通信裝置102可包 含模/數(shù)轉(zhuǎn)換器、數(shù)/模轉(zhuǎn)換器、音頻緩沖器、自動(dòng)音量控制模塊等。通信裝置102還可包 含一個(gè)W上擴(kuò)音器108。
[0032] 如本文所使用，術(shù)語(yǔ)"通信裝置"是指可用于接收、在外部播放及/或優(yōu)化去往及 來(lái)自用戶(hù)的音頻的電子裝置。通信裝置102的實(shí)例包含電話(huà)、揚(yáng)聲器電話(huà)、蜂窩式電話(huà)、個(gè) 人數(shù)字助理（PDA)、手持式裝置、無(wú)線(xiàn)調(diào)制解調(diào)器、膝上型計(jì)算機(jī)、個(gè)人計(jì)算機(jī)等。通信裝置 102可替代地被稱(chēng)作接入終端、移動(dòng)終端、移動(dòng)臺(tái)、遠(yuǎn)程站、用戶(hù)終端、終端、訂戶(hù)單元、訂戶(hù) 臺(tái)、移動(dòng)裝置、無(wú)線(xiàn)裝置、無(wú)線(xiàn)通信裝置、用戶(hù)設(shè)備扣巧或某一其它類(lèi)似術(shù)語(yǔ)。
[0033] 通信裝置102還可包含分析模塊110及合成模塊112W分別解構(gòu)及重構(gòu)音頻信 號(hào)。此可允許本文中論述的其它模塊處理音頻（例如，執(zhí)行回聲消除及噪聲抑制）。分析模 塊110及合成模塊112可指分別將寬帶信號(hào)分解為子頻帶且將子頻帶重構(gòu)為單一頻帶的有 限脈沖響應(yīng)濾波器（FIR)組。
[0034] 回聲消除巧C)及多麥克風(fēng)噪聲抑制（N巧（例如波束成形或掩蔽）可為兩個(gè)相異 的信號(hào)處理概念，然而，它們的目標(biāo)可聚集在聲學(xué)回聲方面。具體來(lái)說(shuō)，線(xiàn)性回聲消除可基 于參考信息從所要的信號(hào)減去回聲估計(jì)，而噪聲抑制可使用空間濾波盲目地移除麥克風(fēng)信 號(hào)內(nèi)的非所要的干擾（例如，回聲）。因此，通信裝置102可包含多通道回聲消除與噪聲抑 制模塊106,其具有線(xiàn)性回聲消除器（LEC) 114、噪聲抑制器（N巧116及回聲后處理器118。
[0035] 線(xiàn)性回聲消除器114可針對(duì)從麥克風(fēng)104接收的信號(hào)的選定頻率執(zhí)行線(xiàn)性回聲消 除。在一個(gè)配置中，消除從主要麥克風(fēng)104a接收的全頻帶頻率的線(xiàn)性回聲，同時(shí)僅針對(duì)輔 助（非主要）麥克風(fēng)104b的一組低頻帶頻率執(zhí)行LEC。為輔助通道上的LEC選擇的頻率可 對(duì)應(yīng)于噪聲抑制器中的空間處理對(duì)其有效的頻率范圍。如本文中所使用，"主要麥克風(fēng)"可 指最靠近用戶(hù)的嘴的麥克風(fēng)104a。所有非主要麥克風(fēng)可被視為輔助麥克風(fēng)104b。
[0036] 噪聲抑制器116可基于來(lái)自空間處理器的噪聲參考而執(zhí)行空間處理及噪聲抑制 后處理。換句話(huà)說(shuō)，噪聲抑制器116可基于空間濾波將回聲衰減為非所要的干擾。
[0037] 回聲后處理器118可通過(guò)衰減非線(xiàn)性回聲而執(zhí)行非線(xiàn)性回聲后處理?；芈暫筇幚?器118還可執(zhí)行非線(xiàn)性回聲修剪及舒適噪聲注入?；芈暫筇幚砥?18可包含回聲陷波掩蔽 模塊120?；芈曄莶ㄑ诒文K120可減小來(lái)自噪聲抑制器116的噪聲受抑制的信號(hào)中的回 聲?；芈曄莶ㄑ诒文K120可基于回聲到達(dá)方向值OA)及語(yǔ)音可能性信息而執(zhí)行振幅抑制。 通過(guò)使用語(yǔ)音可能性信息，可抑制具有回聲到達(dá)方向值OA)的高可能性的頻段。
[0038] 偶爾，由噪聲抑制器116使用的自適應(yīng)空域處理將來(lái)自輔助麥克風(fēng)104b的回聲添 加到主要麥克風(fēng)104a且回聲后處理器118可無(wú)視于此。由于回聲后處理器118無(wú)視于此 回聲，所W回聲后處理器118可不能夠消除此添加的回聲。當(dāng)主要麥克風(fēng)104a中開(kāi)始存在 極少回聲或不存在回聲時(shí)，此殘余回聲對(duì)于收聽(tīng)者可為可感知的且非常討厭的。<