本申請(qǐng)涉及助聽器或助聽器系統(tǒng)領(lǐng)域。
背景技術(shù):
對(duì)于例如因噪聲或回響而失真及可能已通過一些信號(hào)處理裝置如助聽器的語音信號(hào),其可懂度降低。因此,需要預(yù)測(cè)這樣的語音信號(hào)的可懂度的解決方案以便采取相應(yīng)措施提高用戶的聽音質(zhì)量。
技術(shù)實(shí)現(xiàn)要素:
本發(fā)明涉及基于目標(biāo)信號(hào)分量的實(shí)質(zhì)上無噪聲(“純凈”)版本的同時(shí)了解進(jìn)行包括目標(biāo)信號(hào)分量的有噪聲/處理后的語音信號(hào)的單耳侵入可懂度預(yù)測(cè)。本發(fā)明還涉及包括單耳侵入可懂度預(yù)測(cè)單元的助聽器;及涉及包括第一和第二助聽器的雙耳助聽器系統(tǒng),每一助聽器包括單耳侵入可懂度預(yù)測(cè)單元,其中該雙耳助聽器系統(tǒng)配置成建立使能在第一和第二助聽器之間交換單耳語音可懂度預(yù)測(cè)值或源自其的信息的無線鏈路。
單耳語音可懂度預(yù)測(cè)單元
在本申請(qǐng)的一方面,提供單耳語音可懂度預(yù)測(cè)單元,其適于接收包括語音的目標(biāo)信號(hào)的實(shí)質(zhì)上無噪聲版本s和有噪聲和/或處理后版本x,該單耳語音可懂度預(yù)測(cè)單元配置成將最終單耳語音可懂度預(yù)測(cè)值d提供為輸出,其指明聽者對(duì)目標(biāo)信號(hào)的有噪聲和/或處理后版本x的感知,該單耳語音可懂度預(yù)測(cè)單元包括:
a)第一輸入單元,用于提供目標(biāo)信號(hào)的無噪聲版本s的時(shí)頻表示s(k,m),k為頻率窗口(bin)指數(shù),k=1,2,…,k,及m為時(shí)間指數(shù);
b)第二輸入單元,用于提供目標(biāo)信號(hào)的有噪聲和/或處理后版本x的時(shí)頻表示x(k,m),k為頻率窗口(bin)指數(shù),k=1,2,…,k,及m為時(shí)間指數(shù);
c)第一包絡(luò)提取單元,用于提供目標(biāo)信號(hào)的無噪聲版本s的時(shí)頻子頻帶表示sj(m),其表示無噪聲目標(biāo)信號(hào)的子頻帶信號(hào)sj(m)的時(shí)域包絡(luò)或其函數(shù),j為子頻帶指數(shù),j=1,2,…,j,m為時(shí)間指數(shù);
d)第二包絡(luò)提取單元,用于提供目標(biāo)信號(hào)的有噪聲和/或處理后版本x的時(shí)頻子頻帶表示xj(m),其表示目標(biāo)信號(hào)的有噪聲和/或處理后版本的子頻帶信號(hào)xj(m)的時(shí)域包絡(luò)或其函數(shù),j為子頻帶指數(shù),j=1,2,…,j,及m為時(shí)間指數(shù);
e)第一時(shí)頻段分開單元,用于將目標(biāo)信號(hào)的無噪聲版本s的時(shí)頻子頻帶表示sj(m)分為對(duì)應(yīng)于子頻帶信號(hào)的n個(gè)連續(xù)樣本的時(shí)頻段sm;
f)第二時(shí)頻段分開單元,用于將目標(biāo)信號(hào)的有噪聲和/或處理后版本x的時(shí)頻子頻帶表示xj(m)分為對(duì)應(yīng)于子頻帶信號(hào)的n個(gè)連續(xù)樣本的時(shí)頻段xm;
g)中間語音可懂度計(jì)算單元,適于提供估計(jì)所述時(shí)頻段xm的可懂度的中間語音可懂度系數(shù)dm,所述中間語音可懂度系數(shù)dm基于實(shí)質(zhì)上無噪聲的(非必須地,規(guī)格化和/或變換的)時(shí)頻段
h)最終單耳語音可懂度計(jì)算單元,用于計(jì)算估計(jì)目標(biāo)信號(hào)的有噪聲和/或處理后版本x的可懂度的最終單耳語音可懂度預(yù)測(cè)值d,其通過隨時(shí)間組合所述中間語音可懂度系數(shù)dm或其變換版本進(jìn)行。
在實(shí)施例中,單耳語音可懂度預(yù)測(cè)單元包括規(guī)格化和變換單元,適于提供所述時(shí)頻段xm(sm)的規(guī)格化和/或變換版本
在實(shí)施例中,規(guī)格化和變換單元配置成將一個(gè)或多個(gè)行和/或列規(guī)格化和/或變換運(yùn)算算法應(yīng)用于時(shí)頻段sm和/或xm。在實(shí)施例中,規(guī)格化和變換單元配置成提供時(shí)頻段sm和/或xm的行的至少一規(guī)格化和/或變換運(yùn)算及列的至少一規(guī)格化和/或變換運(yùn)算。
在實(shí)施例中,單耳語音可懂度預(yù)測(cè)單元包括規(guī)格化和變換單元,其配置成提供時(shí)頻段sm和xm的行和列的規(guī)格化和/或變換,其中行的規(guī)格化和/或變換包括至少一下述運(yùn)算:
r1)行的均值規(guī)格化(參見下面的行規(guī)格化g1);
r2)行的單位范數(shù)規(guī)格化(參見下面的行規(guī)格化g2);
r3)行的傅里葉變換(參見下面的行變換g3);
r4)提供行的傅里葉量值譜(參見下面的行變換g4);及
r5)提供恒等運(yùn)算(參見下面的行變換g5);
及其中列的規(guī)格化和/或變換包括至少一下述運(yùn)算:
c1)列的均值規(guī)格化(參見下面的列規(guī)格化h1);及
c2)列的單位范數(shù)規(guī)格化(參見下面的列規(guī)格化h2)。
在實(shí)施例中,最終單耳語音可懂度計(jì)算單元配置成通過隨時(shí)間求平均或者通過將min或max函數(shù)或其它代數(shù)或統(tǒng)計(jì)函數(shù)應(yīng)用于中間語音可懂度系數(shù)dm或其變換版本而組合所述中間語音可懂度系數(shù)dm。
在實(shí)施例中,第一和第二輸入單元配置成將目標(biāo)信號(hào)的無噪聲版本s(也稱為“純凈目標(biāo)信號(hào)(目標(biāo)信號(hào)的純凈版)”)和目標(biāo)信號(hào)的有噪聲和/或處理后版本x(稱為“信息信號(hào)x”)分別接收為時(shí)變(時(shí)域/全帶)信號(hào)s(n)和x(n),n為時(shí)間指數(shù)。在實(shí)施例中,第一和第二輸入單元配置成從另一單元或裝置分別接收純凈目標(biāo)信號(hào)s和信息信號(hào)x,分別為時(shí)頻表示s(k,m)和x(k,m),k和m分別為頻率和時(shí)間指數(shù)。在實(shí)施例中,第一和第二輸入單元中的每一個(gè)包括頻率分解單元,用于從相應(yīng)信號(hào)(s(n)和x(n),n為時(shí)間指數(shù))的時(shí)域版提供純凈目標(biāo)信號(hào)s和信息信號(hào)x的時(shí)頻表示s(k,m)和x(k,m)。在實(shí)施例中,頻率分解單元包括帶通濾波器組(如γ音濾波器組),或者適于實(shí)施傅里葉變換算法(如短時(shí)傅里葉變換(stft)算法)。
在實(shí)施例中,單耳語音可懂度預(yù)測(cè)單元包括話音活動(dòng)檢測(cè)單元,用于指明目標(biāo)信號(hào)的實(shí)質(zhì)上無噪聲的版本s及有噪聲和/或處理后的版本x的特定時(shí)段是否或者何種程度地包括語音或估計(jì)包括語音,及提供指明該結(jié)果的話音活動(dòng)控制信號(hào)。在實(shí)施例中,話音活動(dòng)檢測(cè)單元配置成提供二元指示,其識(shí)別包括語音或不包括語音的段。在實(shí)施例中,話音活動(dòng)檢測(cè)單元配置成識(shí)別具有某一概率包括語音的段。在實(shí)施例中,話音活動(dòng)檢測(cè)單元適用于時(shí)域信號(hào)(或全帶信號(hào)s(n),x(n),n為時(shí)間指數(shù))。在實(shí)施例中,話音活動(dòng)檢測(cè)單元適用于信號(hào)(s(k,m),x(k,m),或sj(m),xj(m),k和j為頻率指數(shù)(分別對(duì)應(yīng)于窗口和子頻帶),m為時(shí)間指數(shù))或源自其的信號(hào)的時(shí)頻表示。在實(shí)施例中,話音活動(dòng)檢測(cè)單元配置成基于時(shí)頻單元電平(或例如在子頻帶信號(hào)xj(m)中)識(shí)別包括語音的時(shí)頻段。在實(shí)施例中,單耳語音可懂度預(yù)測(cè)單元適于從另一單元或裝置接收(如無線接收)話音活動(dòng)控制信號(hào)。
在實(shí)施例中,單耳語音可懂度預(yù)測(cè)單元包括話音活動(dòng)檢測(cè)單元,用于分別識(shí)別目標(biāo)信號(hào)的實(shí)質(zhì)上無噪聲版本s和有噪聲和/或處理后版本x的包括或者估計(jì)包括語音的時(shí)段,及其中單耳語音可懂度預(yù)測(cè)單元配置成分別提供目標(biāo)信號(hào)的實(shí)質(zhì)上無噪聲版本s和有噪聲和/或處理后版本x的修改版本,其僅包括前述包括或估計(jì)包括語音的時(shí)段。
在實(shí)施例中,第一和第二時(shí)頻段分開單元配置成使時(shí)頻段sm和xm或其規(guī)格化和/或變換版本
在實(shí)施例中,單耳語音可懂度預(yù)測(cè)單元包括聽力損失模型單元,配置成應(yīng)用目標(biāo)信號(hào)的有噪聲和/或處理后版本x的隨頻率而變的修改,從而反映聽者的相應(yīng)耳朵與正常聽力之間的偏差如聽力受損,進(jìn)而提供目標(biāo)信號(hào)的修改后的有噪聲和/或處理后版本x以與目標(biāo)信號(hào)的實(shí)質(zhì)上無噪聲版本s一起用作計(jì)算最終單耳語音可懂度預(yù)測(cè)值d的基礎(chǔ)。
在實(shí)施例中,聽力損失模型單元配置成添加統(tǒng)計(jì)上獨(dú)立的噪聲信號(hào),其根據(jù)聽者的相應(yīng)耳朵的聽力圖、目標(biāo)信號(hào)的有噪聲和/或處理后版本x進(jìn)行譜整形。
第一和第二包絡(luò)提取單元配置成分別從純凈目標(biāo)信號(hào)s和信息信號(hào)x的時(shí)頻表示s(k,m)和x(k,m)提取純凈目標(biāo)信號(hào)s和信息信號(hào)x的包括j個(gè)子頻帶(j=1,2,…,j)的時(shí)域包絡(luò)sj(m)和xj(m)。在實(shí)施例中,第一和第二包絡(luò)提取單元中的每一個(gè)包括用于實(shí)施希爾伯特變換的算法,或者用于對(duì)復(fù)值stft信號(hào)s(k,m)和x(k,m)的量值進(jìn)行低通濾波的算法,等等。
在實(shí)施例中,單耳語音可懂度預(yù)測(cè)單元適于將時(shí)域包絡(luò)信號(hào)xj(m)和sj(m)分別提取為:
其中,z表示x或s,j=1,…,j和m=1,…,m,及k1(j)和k2(j)指對(duì)應(yīng)于第j個(gè)子頻帶的低和高截止頻率的dft窗口指數(shù),j為子頻帶的數(shù)量,及m為所涉及信號(hào)中的信號(hào)幀的數(shù)量,f(·)為函數(shù)。
在實(shí)施例中,函數(shù)f(·)=f(w),其中w表示
-f(w)=w表示恒等;
-f(w)=w2提供功率包絡(luò);
-f(w)=2·logw或f(w)=wβ,0<β<2,使能對(duì)健康耳蝸的壓縮非線性進(jìn)行建模。
在實(shí)施例中,函數(shù)f(·)=f(w),其中w表示
-f(w)=w2提供功率包絡(luò);
-f(w)=2·logw或f(w)=wβ,0<β<2,使能對(duì)健康耳蝸的壓縮非線性進(jìn)行建模。
在實(shí)施例中,第一和第二時(shí)頻段分開單元配置成將時(shí)頻表示sj(m)和xj(m)分別再分為對(duì)應(yīng)于所有子頻帶信號(hào)的n個(gè)連續(xù)樣本的譜圖形式的段,其中第m段zm由jxn矩陣定義:
其中,z(z)表示s(s)或x(x)。
在實(shí)施例中,單耳語音可懂度預(yù)測(cè)單元包括:
-第一非必需的規(guī)格化和/或變換單元,適于提供時(shí)頻段sm的規(guī)格化和/或變換版本
-第二非必需的規(guī)格化和/或變換單元,適于提供時(shí)頻段xm的規(guī)格化和/或變換版本
在實(shí)施例中,規(guī)格化和/或變換單元配置成將一個(gè)或多個(gè)行和/或列規(guī)格化和/或變換算法分別應(yīng)用于時(shí)頻段sm和xm。
在實(shí)施例中,規(guī)格化和/或變換單元配置成將一個(gè)或多個(gè)下述算法分別應(yīng)用于時(shí)頻段xm和sm,通常記為zm,其中,在下述表達(dá)式中,為簡(jiǎn)單起見,下標(biāo)、時(shí)間指數(shù)m被略過:
-r1)行規(guī)格化為零平均值:
其中
-r2)行規(guī)格化為單位范數(shù):
g2(z)=dr(z)z,
其中
-r3)對(duì)每一行應(yīng)用傅里葉變換
g3(z)=zf,
其中f為nxn傅里葉矩陣;
-r4)對(duì)每一行應(yīng)用傅里葉變換,之后計(jì)算所得復(fù)值元素的量值
g4=|zf|
其中|·|計(jì)算逐元素量值;
-r5)單位算子
g5(z)=z.
-c1)列規(guī)格化為零平均值:
其中
-c2)列規(guī)格化為單位范數(shù):
h2(z)=zdc(z),
其中,
在實(shí)施例中,中間語音可懂度計(jì)算單元適于例如根據(jù)兩個(gè)kx1向量a和b中的元素的線性樣本相關(guān)系數(shù)d(a,b)確定中間語音可懂度系數(shù)dm,d(a,b)由下式確定:
其中k為向量項(xiàng)的指數(shù),k為向量維數(shù)。
在實(shí)施例中,a和b表示分別來自時(shí)頻段sm(或
在實(shí)施例中,a和b表示分別來自時(shí)頻段sm(或
在實(shí)施例中,中間可懂度指數(shù)dm定義為:
1)sm和xm或者
n為列指數(shù);
2)sm和xm或者
j為行指數(shù);
3)sm和xm或者
其中,記法sm(:)和xm(:)或者
在實(shí)施例中,最終語音可懂度計(jì)算單元適于從中間語音可懂度系數(shù)dm將最終語音可懂度預(yù)測(cè)值d計(jì)算為目標(biāo)信號(hào)的有噪聲和/或處理后版本x的隨時(shí)間的平均(非必須地,通過函數(shù)u(dm)進(jìn)行變換):
其中m表示目標(biāo)信號(hào)的有噪聲和/或處理后版本x的語音活躍部分的時(shí)間單元的持續(xù)時(shí)間。在實(shí)施例中,目標(biāo)信號(hào)的有噪聲和/或處理后版本x的語音活躍部分的持續(xù)時(shí)間定義為話音活動(dòng)控制信號(hào)指明目標(biāo)信號(hào)的有噪聲和/或處理后版本x包括語音的(可能累計(jì)的)時(shí)間段。
在實(shí)施例中,函數(shù)u(dm)定義為
或者定義為
u(dm)=dm。
助聽器
一方面,本發(fā)明提供適于位于用戶的左和右耳之處或之中或者適于完全或部分植入在用戶頭部中的助聽器,該助聽器包括上面描述的、具體實(shí)施方式中詳細(xì)描述的、圖中所示的及權(quán)利要求中限定的單耳語音可懂度預(yù)測(cè)單元。
在實(shí)施例中,助聽器配置成自適應(yīng)修改助聽器的輸入信號(hào)的處理以使最終單耳語音可懂度預(yù)測(cè)值d最大化,從而增強(qiáng)用戶對(duì)呈現(xiàn)給用戶的、助聽器的輸出信號(hào)的可懂度。
在實(shí)施例中,該助聽器包括:
a)多個(gè)輸入單元iui,i=1,…,m,m等于或大于1,每一輸入單元配置成提供表示在第i個(gè)輸入單元處接收的聲音輸入的時(shí)變電輸入信號(hào)yi,該電輸入信號(hào)yi包括目標(biāo)信號(hào)分量和噪聲信號(hào)分量,目標(biāo)信號(hào)分量源自目標(biāo)信號(hào)源;
b)可配置的信號(hào)處理單元,用于處理電輸入信號(hào)及提供處理后的信號(hào)u,其連接到單耳語音可懂度預(yù)測(cè)單元的聽力損失模型;
c)輸出單元,用于基于電輸出產(chǎn)生配置成可由用戶感知為聲音的輸出刺激,所述電輸出為來自信號(hào)處理單元的處理后的信號(hào)u或者源自其的信號(hào)的形式;及
d)天線和收發(fā)器單元,用于接收包括目標(biāo)信號(hào)的無線信號(hào)s’及用于提取目標(biāo)信號(hào)的實(shí)質(zhì)上無噪聲的版本s,其連接到單耳語音可懂度預(yù)測(cè)單元;
e)其中最終語音可懂度預(yù)測(cè)值d饋給可配置的信號(hào)處理單元。
助聽器(如單耳語音可懂度預(yù)測(cè)單元)優(yōu)選包括聽力損失模型,配置成使得單耳語音可懂度預(yù)測(cè)單元的輸入信號(hào)(如可配置的處理單元的輸出,例如參見圖5b)被修改以反映用戶的聽力曲線與正常聽力曲線的偏差,例如以反映用戶的聽力受損。
在實(shí)施例中,可配置的信號(hào)處理單元適于基于單耳語音可懂度預(yù)測(cè)單元提供的最終語音可懂度預(yù)測(cè)值d控制或影響相應(yīng)電輸入信號(hào)或者源自其的一個(gè)或多個(gè)信號(hào)(如所得波束成形信號(hào))的處理。
在實(shí)施例中,可配置的信號(hào)處理單元適于在目標(biāo)信號(hào)分量包括語音時(shí)例如僅在目標(biāo)信號(hào)分量包括語音時(shí)(例如通過話音(語音)活動(dòng)檢測(cè)器確定)基于最終語音可懂度預(yù)測(cè)值d控制或影響相應(yīng)電輸入信號(hào)的處理。
在實(shí)施例中,可配置的信號(hào)處理單元適于控制或影響相應(yīng)電輸入信號(hào)的處理以使最終語音可懂度預(yù)測(cè)值d最大化。
在實(shí)施例中,助聽器適于提供隨頻率而變的增益和/或隨電平而變的壓縮和/或一個(gè)或多個(gè)頻率范圍到一個(gè)或多個(gè)其它頻率范圍的移頻(具有或沒有頻率壓縮)以補(bǔ)償用戶的聽力受損。
在實(shí)施例中,輸出單元包括耳蝸植入物的多個(gè)電極或者骨導(dǎo)助聽器的振動(dòng)器。在實(shí)施例中,輸出單元包括輸出變換器。在實(shí)施例中,輸出變換器包括用于將刺激作為聲信號(hào)提供給用戶的接收器(揚(yáng)聲器)。在實(shí)施例中,輸出變換器包括用于將刺激作為顱骨的機(jī)械振動(dòng)提供給用戶的振動(dòng)器(例如在附著到骨頭的或骨錨式助聽器中)。
在實(shí)施例中,輸入單元包括用于將輸入聲音轉(zhuǎn)換為電輸入信號(hào)的輸入變換器。在實(shí)施例中,輸入單元包括用于接收包括聲音的無線信號(hào)并提供表示所述聲音的電輸入信號(hào)的無線接收器。在實(shí)施例中,助聽器包括定向傳聲器系統(tǒng),其適于增強(qiáng)佩戴助聽器的用戶的局部環(huán)境中的多個(gè)聲源之中的目標(biāo)聲源。在實(shí)施例中,定向系統(tǒng)適于檢測(cè)(如自適應(yīng)檢測(cè))傳聲器信號(hào)的特定部分源自哪一方向。
在實(shí)施例中,助聽器包括用于從另一裝置如通信裝置或另一助聽器無線接收直接電輸入信號(hào)的天線和收發(fā)器電路。總的來說,由助聽器的天線和收發(fā)器電路建立的無線鏈路可以是任何類型。在實(shí)施例中,無線鏈路在功率受限制的條件下使用,例如因?yàn)橹犉靼ū銛y(通常電池驅(qū)動(dòng)的)裝置。
在實(shí)施例中,助聽器包括輸入變換器(傳聲器系統(tǒng)和/或直接電輸入(如無線接收器))和輸出變換器之間的正向或信號(hào)通路。在實(shí)施例中,信號(hào)處理單元位于該正向通路中。在實(shí)施例中,信號(hào)處理單元適于根據(jù)用戶的特定需要提供隨頻率而變的增益。在實(shí)施例中,助聽器包括具有用于分析輸入信號(hào)(如確定電平、調(diào)制、信號(hào)類型、聲反饋估計(jì)量等)的功能件的分析通路。在實(shí)施例中,分析通路和/或信號(hào)通路的部分或所有信號(hào)處理在頻域進(jìn)行。在實(shí)施例中,分析通路和/或信號(hào)通路的部分或所有信號(hào)處理在時(shí)域進(jìn)行。
在實(shí)施例中,助聽器包括模數(shù)(ad)轉(zhuǎn)換器以按預(yù)定的采樣速率如20khz對(duì)模擬輸入進(jìn)行數(shù)字化。在實(shí)施例中,助聽器包括數(shù)模(da)轉(zhuǎn)換器以將數(shù)字信號(hào)轉(zhuǎn)換為模擬輸出信號(hào),例如用于經(jīng)輸出變換器呈現(xiàn)給用戶。
在實(shí)施例中,助聽器包括多個(gè)檢測(cè)器,其配置成提供與助聽器的當(dāng)前網(wǎng)絡(luò)環(huán)境(如當(dāng)前聲環(huán)境)有關(guān)、和/或與佩戴助聽器的用戶的當(dāng)前狀態(tài)有關(guān)、和/或與助聽器的當(dāng)前狀態(tài)或運(yùn)行模式有關(guān)的狀態(tài)信號(hào)。作為備選或另外,一個(gè)或多個(gè)檢測(cè)器可形成與助聽器(如無線)通信的外部裝置的一部分。外部裝置例如可包括另一助聽器、遙控器、音頻傳輸裝置、電話(如智能電話)、外部傳感器等。在實(shí)施例中,多個(gè)檢測(cè)器中的一個(gè)或多個(gè)對(duì)全帶信號(hào)起作用(時(shí)域)。在實(shí)施例中,多個(gè)檢測(cè)器中的一個(gè)或多個(gè)對(duì)頻帶拆分的信號(hào)起作用((時(shí)-)頻域)。
在實(shí)施例中,助聽器還包括用于所涉及應(yīng)用的其它適宜功能,如壓縮、降噪、反饋減少等。
單耳語音可懂度預(yù)測(cè)單元的應(yīng)用
此外,本發(fā)明提供上面描述的、“具體實(shí)施方式”中詳細(xì)描述的、圖中所示的及權(quán)利要求中限定的單耳語音可懂度預(yù)測(cè)單元在助聽器中的應(yīng)用,其用于修改助聽器中的信號(hào)處理以增強(qiáng)通過助聽器呈現(xiàn)給用戶的語音信號(hào)的可懂度。在實(shí)施例中,提供單耳語音可懂度預(yù)測(cè)單元在有噪聲環(huán)境下在助聽器中的用途(例如車載電話情形,或者目標(biāo)語音信號(hào)(如其實(shí)質(zhì)上純凈的版本)被無線接收及在用戶耳朵處存在聲學(xué)噪聲的其它聽音情形),以增強(qiáng)用戶在有噪聲環(huán)境下的語音可懂度。在實(shí)施例中,提供單耳語音可懂度預(yù)測(cè)單元在耳朵保護(hù)裝置中的用途。
提供單耳語音可懂度預(yù)測(cè)器的方法
另一方面,提供一種提供單耳語音可懂度預(yù)測(cè)器的方法,所述預(yù)測(cè)器用于估計(jì)用戶理解包括目標(biāo)語音信號(hào)的有噪聲和/或處理后版本的信息信號(hào)x的能力。該方法包括:
-提供目標(biāo)信號(hào)的無噪聲版本s的時(shí)頻表示s(k,m),k為頻率窗口指數(shù),k=1,2,…,k,及m為時(shí)間指數(shù);
-提供目標(biāo)信號(hào)的有噪聲和/或處理后版本x的時(shí)頻表示x(k,m),k為頻率窗口指數(shù),k=1,2,…,k,及m為時(shí)間指數(shù);
-提供目標(biāo)信號(hào)的無噪聲版本s的時(shí)頻子頻帶表示sj(m),其表示無噪聲目標(biāo)信號(hào)的子頻帶信號(hào)sj(m)的時(shí)域包絡(luò)或其函數(shù),j為子頻帶指數(shù),j=1,2,…,j,m為時(shí)間指數(shù)。
-提供目標(biāo)信號(hào)的有噪聲和/或處理后版本x的時(shí)頻子頻帶表示xj(m),其表示目標(biāo)信號(hào)的有噪聲和/或處理后版本的子頻帶信號(hào)xj(m)的時(shí)域包絡(luò)或其函數(shù),j為子頻帶指數(shù),j=1,2,…,j,及m為時(shí)間指數(shù);
-將目標(biāo)信號(hào)的無噪聲版本s的時(shí)頻子頻帶表示sj(m)分為對(duì)應(yīng)于子頻帶信號(hào)的n個(gè)連續(xù)樣本的時(shí)頻段sm;
-將目標(biāo)信號(hào)的有噪聲和/或處理后版本x的時(shí)頻子頻帶表示xj(m)分為對(duì)應(yīng)于子頻帶信號(hào)的n個(gè)連續(xù)樣本的時(shí)頻段xm;
-提供估計(jì)所述時(shí)頻段xm的可懂度的中間語音可懂度系數(shù)dm,所述中間語音可懂度系數(shù)dm基于實(shí)質(zhì)上無噪聲的、規(guī)格化和/或變換的時(shí)頻段
-計(jì)算估計(jì)目標(biāo)信號(hào)的有噪聲和/或處理后版本x的可懂度的最終單耳語音可懂度預(yù)測(cè)值d,其通過隨時(shí)間組合所述中間語音可懂度系數(shù)dm或其變換版本進(jìn)行,例如通過求平均或者應(yīng)用min或max函數(shù)。
當(dāng)由對(duì)應(yīng)的過程適當(dāng)代替時(shí),上面描述的、“具體實(shí)施方式”中詳細(xì)描述的或權(quán)利要求中限定的裝置的部分或所有結(jié)構(gòu)特征可與本發(fā)明方法的實(shí)施結(jié)合,反之亦然。方法的實(shí)施具有與對(duì)應(yīng)裝置一樣的優(yōu)點(diǎn)。
在實(shí)施例中,該方法包括使語音信號(hào)(包括語音的信號(hào))經(jīng)歷聽力損失模型從而提供信息信號(hào)x,其中聽力損失模型配置成對(duì)受損聽覺系統(tǒng)的缺陷建模。通過使語音信號(hào)(如圖3a中的信號(hào)x’)經(jīng)歷聽力損失模型(圖3a中的hlm),所得的信息信號(hào)x可用作語音可懂度預(yù)測(cè)器(圖3a中的msip)的輸入,從而提供未受助聽力受損人員的語音信號(hào)可懂度度量。在實(shí)施例中,聽力損失模型為反映普通聽力受損用戶的聽力受損的廣義模型。在實(shí)施例中,聽力損失模型可配置成反映特定用戶的聽力受損,例如包括隨頻率而變的聽力損失(聽覺閾與正常聽力人員的(平均)聽覺閾之間的偏差)。通過使語音信號(hào)(如圖3c中的信號(hào)y)經(jīng)歷計(jì)劃補(bǔ)償用戶的聽力受損的信號(hào)處理(如圖3c中的spu)及經(jīng)歷聽力損失模型(圖3c中的hlm),所得的信息信號(hào)x可用作語音可懂度預(yù)測(cè)器(例如參見圖3c中的msip)的輸入,從而提供受助聽力受損人員的語音信號(hào)可懂度度量d。這樣的方案例如可用于評(píng)估不同處理算法(和/或處理算法的改進(jìn))對(duì)用戶對(duì)所得信息信號(hào)(例如參見圖3b)的(估計(jì)的)可懂度的影響或者用于在線優(yōu)化助聽器中的信號(hào)處理(例如參見圖3c)。
在實(shí)施例中,該方法包括向目標(biāo)語音信號(hào)添加噪聲以提供信息信號(hào)x,其用作提供單耳語音可懂度預(yù)測(cè)值的方法的輸入。向信息信號(hào)添加預(yù)定(或變化)量的噪聲可用于以簡(jiǎn)單的方式評(píng)估用戶的聽力損失(從而提供聽力損失模型的效果)。在實(shí)施例中,目標(biāo)信號(hào)根據(jù)用戶的聽力損失如聽力圖進(jìn)行修改(例如衰減)。在實(shí)施例中,噪聲被添加到目標(biāo)信號(hào),及該目標(biāo)信號(hào)被衰減以反映用戶的聽力損失。
雙耳聽力(助聽器)系統(tǒng)
一方面,本發(fā)明還提供包括左和右上面描述的、“具體實(shí)施方式”中詳細(xì)描述的、圖中所示的及權(quán)利要求中限定的助聽器的(第一)雙耳聽力系統(tǒng)。
在實(shí)施例中,左和右助聽器中的每一個(gè)包括用于使能在左和右助聽器之間建立通信鏈路并交換信息的天線和收發(fā)器電路。
在實(shí)施例中,該雙耳聽力系統(tǒng)還包括雙耳語音可懂度預(yù)測(cè)單元,用于在用戶暴露于聲音輸入時(shí),基于相應(yīng)的左和右助聽器的單耳語音可懂度預(yù)測(cè)值dleft,dright,提供預(yù)測(cè)的用戶語音可懂度的最終雙耳語音可懂度度量dbinaural。
在實(shí)施例中,最終雙耳語音可懂度度量dbinaural確定為相應(yīng)的左和右助聽器的語音可懂度預(yù)測(cè)值dleft,dright中的最大值:dbinaural=max(dleft,dright)。從而,提供相當(dāng)簡(jiǎn)單的系統(tǒng),從而實(shí)施更好的耳朵方法。在實(shí)施例中,雙耳聽力系統(tǒng)適于在用戶檢測(cè)到或選擇非對(duì)稱聽音情形時(shí)啟動(dòng)前述方法,例如在講話者主要位于佩戴雙耳聽力系統(tǒng)的用戶一側(cè)的情形下,例如當(dāng)坐在車中時(shí)。
在實(shí)施例中,左和右助聽器的相應(yīng)的可配置信號(hào)處理單元適于基于所述最終雙耳語音可懂度度量dbinaural控制或影響相應(yīng)的電輸入信號(hào)的處理。在實(shí)施例中,左和右助聽器的相應(yīng)的可配置信號(hào)處理單元適于控制或影響相應(yīng)的電輸入信號(hào)的處理以使所述最終雙耳語音可懂度度量dbinaural最大化。
在實(shí)施例中,雙耳聽力系統(tǒng)還包括輔助裝置。
在實(shí)施例中,該聽力系統(tǒng)適于在助聽器和輔助裝置之間建立通信鏈路以使信息(如控制和狀態(tài)信號(hào),可能音頻信號(hào))能在其間進(jìn)行交換或從一裝置轉(zhuǎn)發(fā)給另一裝置。
在實(shí)施例中,輔助裝置是或包括遙控器,用于控制助聽器的功能和運(yùn)行。在實(shí)施例中,遙控器的功能實(shí)施在智能電話中,該智能電話可能運(yùn)行使能經(jīng)智能電話控制音頻處理裝置的功能的app(助聽器包括到智能電話的適當(dāng)無線接口,例如基于藍(lán)牙或一些其它標(biāo)準(zhǔn)化或?qū)S蟹桨?。
app
另一方面,本發(fā)明還提供稱為app的非短暫應(yīng)用。app包括可執(zhí)行指令,其配置成在輔助裝置上運(yùn)行以實(shí)施用于上面描述的、“具體實(shí)施方式”中詳細(xì)描述的及權(quán)利要求中限定的助聽器或聽力系統(tǒng)的用戶接口。在實(shí)施例中,該app配置成在移動(dòng)電話如智能電話或另一使能與所述助聽器或聽力系統(tǒng)通信的便攜裝置上運(yùn)行。
計(jì)算機(jī)可讀介質(zhì)
本發(fā)明進(jìn)一步提供保存包括程序代碼的計(jì)算機(jī)程序的有形計(jì)算機(jī)可讀介質(zhì),當(dāng)計(jì)算機(jī)程序在數(shù)據(jù)處理系統(tǒng)上運(yùn)行時(shí),使得數(shù)據(jù)處理系統(tǒng)執(zhí)行上面描述的、“具體實(shí)施方式”中詳細(xì)描述的及權(quán)利要求中限定的任一方法的至少部分(如大部分或所有)步驟。
作為例子但非限制,前述有形計(jì)算機(jī)可讀介質(zhì)可包括ram、rom、eeprom、cd-rom或其他光盤存儲(chǔ)器、磁盤存儲(chǔ)器或其他磁性存儲(chǔ)裝置,或者可用于執(zhí)行或保存指令或數(shù)據(jù)結(jié)構(gòu)形式的所需程序代碼并可由計(jì)算機(jī)訪問的任何其他介質(zhì)。如在此使用的,盤包括壓縮磁盤(cd)、激光盤、光盤、數(shù)字多用途盤(dvd)、軟盤及藍(lán)光盤,其中這些盤通常磁性地復(fù)制數(shù)據(jù),同時(shí)這些盤可用激光光學(xué)地復(fù)制數(shù)據(jù)。上述盤的組合也應(yīng)包括在計(jì)算機(jī)可讀介質(zhì)的范圍內(nèi)。除保存在有形介質(zhì)上之外,計(jì)算機(jī)程序也可經(jīng)傳輸介質(zhì)如有線或無線鏈路或網(wǎng)絡(luò)如因特網(wǎng)進(jìn)行傳輸并載入數(shù)據(jù)處理系統(tǒng)從而在不同于有形介質(zhì)的位置處運(yùn)行。
數(shù)據(jù)處理系統(tǒng)
一方面,本發(fā)明進(jìn)一步提供數(shù)據(jù)處理系統(tǒng),包括處理器和程序代碼,程序代碼使得處理器執(zhí)行上面描述的、“具體實(shí)施方式”中詳細(xì)描述的及權(quán)利要求中限定的任一方法的至少部分(如大部分或所有)步驟。
計(jì)算機(jī)程序
本申請(qǐng)還提供包括指令的計(jì)算機(jī)程序(產(chǎn)品),當(dāng)所述程序由計(jì)算機(jī)運(yùn)行時(shí),使得計(jì)算機(jī)執(zhí)行上面描述的、“具體實(shí)施方式”中詳細(xì)描述的及權(quán)利要求中限定的方法(的步驟)。
定義
在本說明書中,“助聽器”指適于改善、增強(qiáng)和/或保護(hù)用戶的聽覺能力的裝置如聽力儀器或有源耳朵保護(hù)裝置或其它音頻處理裝置,其通過從用戶環(huán)境接收聲信號(hào)、產(chǎn)生對(duì)應(yīng)的音頻信號(hào)、可能修改該音頻信號(hào)、及將可能已修改的音頻信號(hào)作為可聽見的信號(hào)提供給用戶的至少一只耳朵而實(shí)現(xiàn)?!爸犉鳌边€指適于以電子方式接收音頻信號(hào)、可能修改該音頻信號(hào)、及將可能已修改的音頻信號(hào)作為聽得見的信號(hào)提供給用戶的至少一只耳朵的裝置如頭戴式耳機(jī)或耳麥。聽得見的信號(hào)例如可以下述形式提供:輻射到用戶外耳內(nèi)的聲信號(hào)、作為機(jī)械振動(dòng)通過用戶頭部的骨結(jié)構(gòu)和/或通過中耳的部分傳到用戶內(nèi)耳的聲信號(hào)、及直接或間接傳到用戶耳蝸神經(jīng)的電信號(hào)。
助聽器可構(gòu)造成以任何已知的方式進(jìn)行佩戴,如作為佩戴在耳后的單元(具有將輻射的聲信號(hào)導(dǎo)入耳道內(nèi)的管或者具有安排成靠近耳道或位于耳道中的揚(yáng)聲器)、作為整個(gè)或部分安排在耳廓和/或耳道中的單元、作為連到植入在顱骨內(nèi)的固定結(jié)構(gòu)的單元、或作為整個(gè)或部分植入的單元等。助聽器可包括單一單元或幾個(gè)彼此電子通信的單元。
更一般地,助聽器包括用于從用戶環(huán)境接收聲信號(hào)并提供對(duì)應(yīng)的輸入音頻信號(hào)的輸入變換器和/或以電子方式(即有線或無線)接收輸入音頻信號(hào)的接收器、用于處理輸入音頻信號(hào)的(通??膳渲玫?信號(hào)處理電路、及用于根據(jù)處理后的音頻信號(hào)將聽得見的信號(hào)提供給用戶的輸出裝置。在一些助聽器中,放大器可構(gòu)成信號(hào)處理電路。信號(hào)處理電路通常包括一個(gè)或多個(gè)(集成或單獨(dú)的)存儲(chǔ)元件,用于執(zhí)行程序和/或用于保存在處理中使用(或可能使用)的參數(shù)和/或用于保存適合助聽器功能的信息和/或用于保存例如結(jié)合到用戶的接口和/或到編程裝置的接口使用的信息(如處理后的信息,例如由信號(hào)處理電路提供)。在一些助聽器中,輸出裝置可包括輸出變換器,例如用于提供空傳聲信號(hào)的揚(yáng)聲器或用于提供結(jié)構(gòu)或液體傳播的聲信號(hào)的振動(dòng)器。在一些助聽器中,輸出裝置可包括一個(gè)或多個(gè)用于提供電信號(hào)的輸出電極。
在一些助聽器中,振動(dòng)器可適于經(jīng)皮或由皮將結(jié)構(gòu)傳播的聲信號(hào)傳給顱骨。在一些助聽器中,振動(dòng)器可植入在中耳和/或內(nèi)耳中。在一些助聽器中,振動(dòng)器可適于將結(jié)構(gòu)傳播的聲信號(hào)提供給中耳骨和/或耳蝸。在一些助聽器中,振動(dòng)器可適于例如通過卵圓窗將液體傳播的聲信號(hào)提供到耳蝸液體。在一些助聽器中,輸出電極可植入在耳蝸中或植入在顱骨內(nèi)側(cè)上,并可適于將電信號(hào)提供給耳蝸的毛細(xì)胞、一個(gè)或多個(gè)聽覺神經(jīng)、聽覺皮層和/或大腦皮層的其它部分。
“聽力系統(tǒng)”指包括一個(gè)或兩個(gè)助聽器的系統(tǒng)。“雙耳聽力系統(tǒng)”指包括兩個(gè)助聽器并適于協(xié)同地向用戶的兩只耳朵提供聽得見的信號(hào)的系統(tǒng)。聽力系統(tǒng)或雙耳聽力系統(tǒng)還可包括一個(gè)或多個(gè)“輔助裝置”,其與助聽器通信并影響和/或受益于助聽器的功能。輔助裝置例如可以是遙控器、音頻網(wǎng)關(guān)設(shè)備、移動(dòng)電話(如智能電話)、廣播系統(tǒng)、汽車音頻系統(tǒng)或音樂播放器。助聽器、聽力系統(tǒng)或雙耳聽力系統(tǒng)例如可用于補(bǔ)償聽力受損人員的聽覺能力損失、增強(qiáng)或保護(hù)正常聽力人員的聽覺能力和/或?qū)㈦娮右纛l信號(hào)傳給人。
附圖說明
本發(fā)明的各個(gè)方面將從下面結(jié)合附圖進(jìn)行的詳細(xì)描述得以最佳地理解。為清晰起見,這些附圖均為示意性及簡(jiǎn)化的圖,它們只給出了對(duì)于理解本發(fā)明所必要的細(xì)節(jié),而省略其他細(xì)節(jié)。在整個(gè)說明書中,同樣的附圖標(biāo)記用于同樣或?qū)?yīng)的部分。每一方面的各個(gè)特征可與其他方面的任何或所有特征組合。這些及其他方面、特征和/或技術(shù)效果將從下面的圖示明顯看出并結(jié)合其闡明,其中:
圖1a示意性地示出了樣本中的時(shí)變模擬信號(hào)(振幅-時(shí)間)及其數(shù)字化,這些樣本安排在多個(gè)時(shí)間幀中,每一時(shí)間幀包括ns個(gè)樣本。
圖1b示出了圖1a的時(shí)變電信號(hào)的時(shí)頻圖表示。
圖2a象征性地示出了基于信息信號(hào)x的時(shí)頻表示xj(m)提供單耳語音可懂度預(yù)測(cè)值d的侵入單耳語音可懂度預(yù)測(cè)單元。
圖2b示出了侵入單耳語音可懂度預(yù)測(cè)單元的第一實(shí)施例。
圖2c示出了侵入單耳語音可懂度預(yù)測(cè)單元的第二實(shí)施例。
圖3a示出了侵入單耳語音可懂度預(yù)測(cè)單元與聽力損失模型和評(píng)估單元的結(jié)合。
圖3b示出了侵入單耳語音可懂度預(yù)測(cè)單元與信號(hào)處理單元和評(píng)估單元的結(jié)合。
圖3c示出了包括侵入單耳語音可懂度預(yù)測(cè)單元的助聽器的第一實(shí)施例,其具有配置成優(yōu)化用戶對(duì)助聽器的輸出信號(hào)的可懂度的聽力損失模型。
圖4a示出了使用根據(jù)本發(fā)明的包括侵入單耳語音可懂度預(yù)測(cè)單元的助聽器的第一場(chǎng)合,以提高助聽器用戶對(duì)來自佩戴無線傳聲器的講話者的語音的可懂度(如在講課或演講情形下)。
圖4b示出了使用根據(jù)本發(fā)明的包括侵入單耳語音可懂度預(yù)測(cè)單元的助聽器的第二場(chǎng)合,以提高助聽器用戶對(duì)來自在車中使用免提電話機(jī)的電話會(huì)話的遠(yuǎn)程講話者的語音的可懂度,其中遠(yuǎn)程聲音無線及聲學(xué)地傳給助聽器用戶。
圖5a示出了使用根據(jù)本發(fā)明的包括侵入單耳語音可懂度預(yù)測(cè)單元的助聽器的第三場(chǎng)合,以提高助聽器用戶對(duì)來自在車中使用免提電話機(jī)的電話會(huì)話的遠(yuǎn)程講話者的語音的可懂度,其中遠(yuǎn)程聲音(僅)無線傳給助聽器用戶。
圖5b示出了在圖5a的(第三)場(chǎng)合中使用的,包括侵入單耳語音可懂度預(yù)測(cè)器的助聽器的實(shí)施例。
圖5c示出了形成為耳內(nèi)接收器式(rite)助聽器的示例性助聽器,包括適于位于耳廓后面的部分及適于位于用戶耳道中的包括輸出變換器(如揚(yáng)聲器/接收器)的部分。
圖6a示出了根據(jù)本發(fā)明的雙耳助聽器系統(tǒng),包括第一和第二助聽器及輔助裝置。
圖6b示出了包括用戶接口的輔助裝置,用戶接口為用于控制和顯示與語音可懂度預(yù)測(cè)值有關(guān)的數(shù)據(jù)的app的形式。
圖7示出了根據(jù)本發(fā)明的包括左和右聽力裝置的雙耳助聽器系統(tǒng)的實(shí)施例,每一聽力裝置包括單耳語音可懂度預(yù)測(cè)器,其各個(gè)預(yù)測(cè)值dleft和dright在聽力裝置之間交換并用于影響或控制聽力裝置中的信號(hào)處理以優(yōu)化用戶的雙耳語音可懂度。
通過下面給出的詳細(xì)描述,本發(fā)明進(jìn)一步的適用范圍將顯而易見。然而,應(yīng)當(dāng)理解,在詳細(xì)描述和具體例子表明本發(fā)明優(yōu)選實(shí)施例的同時(shí),它們僅為說明目的給出。對(duì)于本領(lǐng)域技術(shù)人員來說,基于下面的詳細(xì)描述,本發(fā)明的其它實(shí)施方式將顯而易見。
具體實(shí)施方式
下面結(jié)合附圖提出的具體描述用作多種不同配置的描述。具體描述包括用于提供多個(gè)不同概念的徹底理解的具體細(xì)節(jié)。然而,對(duì)本領(lǐng)域技術(shù)人員顯而易見的是,這些概念可在沒有這些具體細(xì)節(jié)的情形下實(shí)施。裝置和方法的幾個(gè)方面通過多個(gè)不同的塊、功能單元、模塊、元件、電路、步驟、處理、算法等(統(tǒng)稱為“元素”)進(jìn)行描述。根據(jù)特定應(yīng)用、設(shè)計(jì)限制或其他原因,這些元素可使用電子硬件、計(jì)算機(jī)程序或其任何組合實(shí)施。
電子硬件可包括微處理器、微控制器、數(shù)字信號(hào)處理器(dsp)、現(xiàn)場(chǎng)可編程門陣列(fpga)、可編程邏輯器件(pld)、選通邏輯、分立硬件電路、及配置成執(zhí)行本說明書中描述的多個(gè)不同功能的其它適當(dāng)硬件。計(jì)算機(jī)程序應(yīng)廣義地解釋為指令、指令集、代碼、代碼段、程序代碼、程序、子程序、軟件模塊、應(yīng)用、軟件應(yīng)用、軟件包、例程、子例程、對(duì)象、可執(zhí)行、執(zhí)行線程、程序、函數(shù)等,無論是稱為軟件、固件、中間件、微碼、硬件描述語言還是其他名稱。
本發(fā)明涉及用于預(yù)測(cè)語音可懂度的信號(hào)處理方法,如信號(hào)處理裝置如助聽器的輸出信號(hào)??啥阮A(yù)測(cè)以與一般聽者能從一些語音材料理解的話語片斷高度相關(guān)的指數(shù)的形式進(jìn)行。對(duì)于需要絕對(duì)可懂度的估計(jì)量即理解的話語的實(shí)際百分比的情形,該指數(shù)可變換為百分之0-100的范圍中的數(shù),這樣的方法例如參見[3]。
在此提出的方法屬于所謂的侵入方法類型。該類方法的特征在于,它們通過將有噪聲及可能已進(jìn)行信號(hào)處理的語音信號(hào)與潛在語音信號(hào)的無噪聲未失真版本進(jìn)行比較而預(yù)測(cè)可懂度,例如參見[1,2,3]的現(xiàn)有方法??傻玫綗o噪聲參考信號(hào)的假設(shè)在許多實(shí)踐情形中是合理的。例如,當(dāng)評(píng)估多個(gè)不同的助聽器信號(hào)處理算法對(duì)可懂度的影響時(shí),通常對(duì)人受測(cè)對(duì)象進(jìn)行聽音測(cè)試。在準(zhǔn)備這樣的測(cè)試時(shí),通常通過向無噪聲語音信號(hào)明確添加噪聲信號(hào)而人為產(chǎn)生刺激,換言之,無噪聲信號(hào)容易得到。因此,所提出的可懂度預(yù)測(cè)算法使能用機(jī)器預(yù)測(cè)代替成本高且耗時(shí)的涉及人受測(cè)對(duì)象的聽音測(cè)試。
本發(fā)明的很多信號(hào)處理在時(shí)頻域進(jìn)行,其中時(shí)域信號(hào)通過適當(dāng)?shù)臄?shù)學(xué)算法(如傅里葉變換算法)或?yàn)V波器(如濾波器組)變換到(時(shí)-)頻域。
圖1a示意性地示出了樣本中的時(shí)變模擬信號(hào)(振幅-時(shí)間)及其數(shù)字化,這些樣本安排在多個(gè)時(shí)間幀中,每一時(shí)間幀包括ns個(gè)樣本。圖1a示出了模擬電信號(hào)(實(shí)線曲線),例如表示來自傳聲器的聲輸入信號(hào),其在模數(shù)(ad)轉(zhuǎn)換過程中轉(zhuǎn)換為數(shù)字音頻信號(hào),在模數(shù)轉(zhuǎn)換過程中,模擬信號(hào)以預(yù)定采樣頻率或速率fs進(jìn)行采樣,fs例如在從8khz到40khz的范圍中(適應(yīng)應(yīng)用的特定需要),以在離散時(shí)間點(diǎn)n提供數(shù)字樣本x(n),如從時(shí)間軸延伸的在其與所述曲線重合的端點(diǎn)處具有實(shí)心點(diǎn)的垂直線所示,表示在對(duì)應(yīng)的不同時(shí)間點(diǎn)n的數(shù)字樣本值。每一(音頻)樣本x(n)表示通過預(yù)定數(shù)量(nb)的比特表示聲信號(hào)在n的值,nb例如在從1到16比特的范圍中。數(shù)字樣本x(n)具有1/fs的時(shí)間長(zhǎng)度,例如對(duì)于fs=20khz,該時(shí)間長(zhǎng)度為50μs。多個(gè)(音頻)樣本ns安排在時(shí)間幀中,如圖1a下部示意性圖示的,其中各個(gè)(在此均勻間隔的)樣本按時(shí)間幀分組(1,2,…,ns)。同樣如圖1a的下部圖示的,時(shí)間幀可連續(xù)地安排成非重疊(時(shí)間幀1,2,…,m,…,m)或重疊(在此為50%,時(shí)間幀1,2,…,m,…,m’),其中m為時(shí)間幀指數(shù)。在實(shí)施例中,一時(shí)間幀包括64個(gè)音頻數(shù)據(jù)樣本。根據(jù)實(shí)際應(yīng)用,也可使用其它幀長(zhǎng)度。
圖1b示意性地示出了圖1a的(數(shù)字化)時(shí)變電信號(hào)x(n)的時(shí)頻表示。該時(shí)頻表示包括信號(hào)的對(duì)應(yīng)復(fù)值或?qū)嵵翟谔囟〞r(shí)間和頻率范圍的陣列或映射。該時(shí)頻表示例如可以是將時(shí)變輸入信號(hào)x(n)轉(zhuǎn)換為時(shí)頻域的(時(shí)變)信號(hào)x(k,m)的傅里葉變換的結(jié)果。在實(shí)施例中,傅里葉變換包括離散傅里葉變換算法(dft)。典型聽力裝置(如助聽器)考慮的從最小頻率fmin到最大頻率fmax的頻率范圍包括從20hz到20khz的典型人聽頻范圍的一部分,如從20hz到12khz的范圍的一部分。在圖1b中,信號(hào)x(n)的時(shí)頻表示x(k,m)包括信號(hào)的量值和/或相位在指數(shù)(k,m)確定的多個(gè)dft窗口中的復(fù)值,其中k=1,….,k表示k個(gè)頻率值(參見圖1b中的縱向k軸),及m=1,….,m(m’)表示m(m’)個(gè)時(shí)間幀(參見圖1b中的水平m軸)。時(shí)間幀由特定時(shí)間指數(shù)m和對(duì)應(yīng)的k個(gè)dft窗口確定(參見圖1b中的時(shí)間幀m的指示)。時(shí)間幀m表示信號(hào)x在時(shí)間m的頻譜。包括所涉及信號(hào)的(實(shí)或)復(fù)值x(k,m)的dft窗口(k,m)在圖1b中通過時(shí)頻圖中對(duì)應(yīng)場(chǎng)的陰影圖示。頻率指數(shù)k的每一值對(duì)應(yīng)于頻率范圍δfk,如圖1b中通過縱向頻率軸f指明。時(shí)間指數(shù)m的每一值表示時(shí)間幀。連續(xù)時(shí)間指數(shù)跨越的時(shí)間δtm取決于時(shí)間幀的長(zhǎng)度(如25ms)及相鄰時(shí)間幀之間的重疊程度(參見圖1b中的水平t軸)。
在本申請(qǐng)中,定義具有子頻帶指數(shù)j=1,2,…,j的j個(gè)(非均勻)子頻帶,每一子頻帶包括一個(gè)或多個(gè)dft窗口(參見圖1b中的縱向子頻帶j軸)。第j個(gè)子頻帶(由圖1b的右部的子頻帶j(xj(m))指明)包括分別具有低和高指數(shù)k1(j)和k2(j)的dft窗口,其分別定義第j個(gè)子頻帶的低和高截止頻率。特定時(shí)頻單元(j,m)由特定時(shí)間指數(shù)m和dft窗口指數(shù)k1(j)-k2(j)定義,如圖1b中通過對(duì)應(yīng)dft窗口周圍的粗框架指明。特定時(shí)頻單元(j,m)包含第j個(gè)子頻帶信號(hào)xj(m)在時(shí)間m的復(fù)值或?qū)嵵怠?/p>
圖2a象征性地示出了侵入單耳語音可懂度預(yù)測(cè)單元(msip),其基于目標(biāo)信號(hào)的實(shí)質(zhì)上無噪聲(純凈)版本s和包括語音的目標(biāo)信號(hào)s的有噪聲和/或處理后版本x的下面任何一個(gè)提供單耳語音可懂度預(yù)測(cè)值d:
-時(shí)域版本s(n),x(n)(n為時(shí)間(樣本)指數(shù));
-時(shí)頻帶表示s(k,m),x(k,m)(k為頻率指數(shù),m為時(shí)間(樣本)指數(shù));或者
-子頻帶表示sj(m),xj(m)(j為子頻帶指數(shù))
圖2b示出了侵入單耳語音可懂度預(yù)測(cè)單元msip的第一實(shí)施例。該侵入單耳語音可懂度預(yù)測(cè)單元適于按實(shí)質(zhì)上無噪聲版本s(n)和按有噪聲和/或處理后版本x(n)接收包括語音的目標(biāo)信號(hào),其中n為時(shí)間指數(shù)。該單耳語音可懂度預(yù)測(cè)單元配置成將最終單耳語音可懂度預(yù)測(cè)值d提供為輸出,其指明聽者(用戶)對(duì)目標(biāo)信號(hào)的有噪聲和/或處理后版本x的感知。
單耳語音可懂度預(yù)測(cè)單元msip包括:第一輸入單元iu,用于從時(shí)變信號(hào)s(n)提供目標(biāo)信號(hào)的無噪聲版本s的時(shí)頻表示s(k,m);第二輸入單元iu,用于從時(shí)變信號(hào)x(n)提供目標(biāo)信號(hào)的有噪聲和/或處理后版本x的時(shí)頻表示x(k,m),k為頻率窗口指數(shù),k=1,2,…,k,及m為時(shí)間指數(shù)。
單耳語音可懂度預(yù)測(cè)單元msip還包括:第一包絡(luò)提取單元aeu,用于從時(shí)頻表示s(k,m)提供目標(biāo)信號(hào)的無噪聲版本s的時(shí)頻子頻帶表示sj(m),其表示無噪聲目標(biāo)信號(hào)的子頻帶信號(hào)sj(m)的時(shí)域包絡(luò)或其函數(shù);第二包絡(luò)提取單元aeu,用于從時(shí)頻表示x(k,m)提供目標(biāo)信號(hào)的有噪聲和/或處理后版本x的時(shí)頻子頻帶表示xj(m),其表示目標(biāo)信號(hào)的有噪聲和/或處理后版本的子頻帶信號(hào)xj(m)的時(shí)域包絡(luò)或其函數(shù),j=1,2,…,j,及m為時(shí)間指數(shù)。
單耳語音可懂度預(yù)測(cè)單元msip還包括:第一時(shí)頻段分開單元sdu,用于將目標(biāo)信號(hào)的無噪聲版本s的時(shí)頻子頻帶表示sj(m)分為對(duì)應(yīng)于子頻帶信號(hào)的n個(gè)連續(xù)樣本的時(shí)頻段sm;第二時(shí)頻段分開單元sdu,用于將目標(biāo)信號(hào)的有噪聲和/或處理后版本x的時(shí)頻子頻帶表示xj(m)分為對(duì)應(yīng)于子頻帶信號(hào)的n個(gè)連續(xù)樣本的時(shí)頻段xm。
單耳語音可懂度預(yù)測(cè)單元msip還非必須地包括:第一規(guī)格化和/或變換單元n/tu,適于提供時(shí)頻段sm的規(guī)格化和/或變換版本
單耳語音可懂度預(yù)測(cè)單元msip還包括中間語音可懂度計(jì)算單元isiu,適于提供估計(jì)所述時(shí)頻段xm的可懂度的中間語音可懂度系數(shù)dm,其中所述中間語音可懂度系數(shù)dm基于實(shí)質(zhì)上無噪聲的(非必須地,規(guī)格化和/或變換的)時(shí)頻段sm、
單耳語音可懂度預(yù)測(cè)單元msip還包括最終單耳語音可懂度計(jì)算單元fsiu,用于計(jì)算估計(jì)目標(biāo)信號(hào)的有噪聲和/或處理后版本x的可懂度的最終單耳語音可懂度預(yù)測(cè)值d,其通過隨時(shí)間組合所述中間語音可懂度系數(shù)dm或其變換版本進(jìn)行,例如通過求平均或者應(yīng)用min或max函數(shù)。
圖2c示出了侵入單耳語音可懂度預(yù)測(cè)單元msip的第二實(shí)施例。圖2c的實(shí)施例包括與結(jié)合圖2b所述一樣的功能單元。另外,其包括話音活動(dòng)檢測(cè)單元vad,用于指明目標(biāo)信號(hào)的實(shí)質(zhì)上無噪聲版本s(圖2c中的s’(n))和有噪聲和/或處理后版本x(圖2c中的x’(n))的特定時(shí)段是否或者何種程度地包括或估計(jì)包括語音,及提供指明其的話音活動(dòng)控制信號(hào)。在圖2c的實(shí)施例中,話音活動(dòng)檢測(cè)單元vad本身配置成提供目標(biāo)信號(hào)的實(shí)質(zhì)上無噪聲版本s和有噪聲和/或處理后版本x的修改版本,其僅包含包括語音或者估計(jì)包括語音的時(shí)段(在圖2c中分別記為s(n)和x(n))。作為備選,修改信號(hào)s(n)和x(n)可在相應(yīng)分開單元中產(chǎn)生。
為模擬可懂度因聽力損失而可能降低,包括非必需的聽力損失模型(參見圖3a、3b、3c)。存在幾種用于模擬聽力損失的方法[4]。通常,聽力損失模型(至少)基于包含用戶的隨頻率而變的聽覺閾(或表示聽力損失的類型)的聽力圖建立?;蛟S,最簡(jiǎn)單的聽力損失模型包括向輸入信號(hào)x(n)添加統(tǒng)計(jì)上獨(dú)立的噪聲信號(hào),其根據(jù)聽者的聽力圖進(jìn)行譜整形[5]。
所提出的單耳侵入語音可懂度預(yù)測(cè)器可分解為多個(gè)子級(jí),如圖2b和2c中所示及如上所述。每一子級(jí)在下面進(jìn)行更詳細(xì)地描述。
話音活動(dòng)檢測(cè)(vad)
語音可懂度(si)與輸入信號(hào)的具有語音活動(dòng)的區(qū)域有關(guān),靜默區(qū)域?qū)i沒有貢獻(xiàn)。因此,第一步驟是檢測(cè)輸入信號(hào)中的話音活動(dòng)區(qū)域。由于可得到無噪聲語音信號(hào)s’(n),話音活動(dòng)沒有意義。例如,在[3]中,無噪聲語音信號(hào)s’(n)被分為連續(xù)的幀。之后,語音活躍的幀被識(shí)別為具有不低于例如40db的最大幀能量的幀。語音不活躍的幀即最大幀能量低于如40db的幀被從兩個(gè)信號(hào)x’(n)和s’(n)拋棄。將具有語音活動(dòng)的輸入信號(hào)分別記為x(n)和s(n),其中n為離散時(shí)間指數(shù)。話音活動(dòng)檢測(cè)器在圖2c中示為vad單元。
頻率分解(iu)和包絡(luò)提取(aeu)
第一步驟是進(jìn)行信號(hào)x(n)和s(n)的頻率分解(參見圖2c中的輸入單元iu)。這可以許多方式實(shí)現(xiàn),例如使用短時(shí)傅里葉變換(stft)、帶通濾波器組(例如γ單音濾波器組)等。隨后,提取每一子頻帶信號(hào)的時(shí)域包絡(luò)(參見圖2c中的單元aeu)。這例如可使用希爾伯特變換或通過對(duì)復(fù)值stft信號(hào)的量值進(jìn)行低通濾波等實(shí)現(xiàn)。
作為例子,下面我們描述頻率分解和包絡(luò)提取可怎樣使用stft實(shí)現(xiàn);所描述的過程類似于[3]的過程。作為例子,假定信號(hào)以fs=10000hz的采樣頻率進(jìn)行采樣。首先,時(shí)頻表示通過將信號(hào)x(n)和s(n)分段為(如50%)重疊窗口幀獲得(例如參見圖1a)。通常,使用錐形窗口如漢寧(hanning)窗口。當(dāng)樣本速率為10000hz時(shí),窗口長(zhǎng)度例如可以是256個(gè)樣本。之后,每一幀使用快速傅里葉變換(fft)(可能在適當(dāng)?shù)难a(bǔ)零之后)進(jìn)行傅里葉變換。所得的dft窗口(bin)可按感知有關(guān)的子頻帶分組。例如,可使用三分之一倍頻帶(例如,如[4]中所述),但顯而易見的是,可使用任何其它子頻帶劃分(例如,分組可均勻,即與感知無關(guān),參見圖1b)。在三分之一倍頻帶和10000hz的采樣速率情形下,有15個(gè)頻帶,其覆蓋150-5000hz的頻率范圍。也可使用其它數(shù)量的頻帶及另一頻率范圍。我們將這些幀和子頻帶定義的時(shí)頻瓦(tile)稱為時(shí)頻(tf)單元(或stft系數(shù)),參見圖1b。將其應(yīng)用于有噪聲/處理后的輸入信號(hào)x(n)導(dǎo)致(通常復(fù)值的)stft系數(shù)x(k,m),其中k和m分別指頻率和幀(時(shí)間)指數(shù)。無噪聲參考語音信號(hào)的stft系數(shù)s(k,m)以類似的方式找到。
之后,時(shí)域包絡(luò)信號(hào)可提取為
其中k1(j)和k2(j)指對(duì)應(yīng)于第j個(gè)子頻帶的低和高截止頻率的dft窗口指數(shù),j為子頻帶的數(shù)量(例如16),及m為所涉及信號(hào)中的信號(hào)幀的數(shù)量,及其中為了通用性包括函數(shù)f(x)。例如,對(duì)于f(x)=x,得到[4]中使用的時(shí)域包絡(luò),具有f(x)=x2,我們提取功率包絡(luò),及具有f(x)=2logx,或者f(x)=xβ,0<β<2,我們可對(duì)健康耳蝸的壓縮非線性建模。顯然,對(duì)于f(x),存在其它合理的選擇。無噪聲語音信號(hào)的時(shí)域包絡(luò)信號(hào)sj(m)以類似的方式找到。在兩種情形下可使用同樣的f(x)選擇。
如所提及的,可實(shí)施其它包絡(luò)表示,例如使用γ單音濾波器組,其后為希爾伯特包絡(luò)提取器等,及函數(shù)f(x)可以與上面結(jié)合基于stft的包絡(luò)描述的方式類似的方式應(yīng)用于這些包絡(luò)。在任何情形下,該程序的結(jié)果從子頻帶時(shí)域包絡(luò)方面來說為時(shí)頻表示xj(m)和sj(m),其中j為子頻帶指數(shù),m為時(shí)間指數(shù)。
時(shí)頻段(sdu)
接下來,我們將時(shí)頻表示xj(m)和sj(m)分為對(duì)應(yīng)于所有子頻帶信號(hào)的n個(gè)連續(xù)樣本的段即聲譜圖。例如,有噪聲/處理后的信號(hào)的第m個(gè)段由jxn矩陣定義:
無噪聲參考信號(hào)的對(duì)應(yīng)段sm以同樣的方式找到。
應(yīng)當(dāng)理解,可使用其它版本的時(shí)段,例如時(shí)間已位移從而對(duì)幀指數(shù)m-n/2+1到m+n/2產(chǎn)生作用的段。
時(shí)頻段的規(guī)格化和變換(n/tu)
每一段xm和sm的行和列可以多種不同的方式進(jìn)行規(guī)格化/變換(下面,我們將規(guī)格化/變換示為應(yīng)用于xm;它們以完全類似的方式應(yīng)用于sm。同樣的規(guī)格化/變換應(yīng)用于xm和sm。)。具體地,我們考慮下面的行(r)規(guī)格化/變換:
r1)行規(guī)格化為零平均值:
其中μxr為jx1向量,其第j項(xiàng)為x的第j行(因此μxr中的上標(biāo)r)的平均值,其中1指一的nx1向量,及上標(biāo)t指矩陣轉(zhuǎn)置;
r2)行規(guī)格化為單位范數(shù):
g2(x)=dr(x)x,
其中
r3)對(duì)每一行應(yīng)用傅里葉變換
g3(x)=xf,
其中f為nxn傅里葉矩陣;
r4)對(duì)每一行應(yīng)用傅里葉變換,之后計(jì)算所得復(fù)值元素的量值
g4(x)=|xf|
其中|·|計(jì)算逐元素量值;
g4(x)=|xf|,
r5)單位算子
g5(x)=x
我們還考慮下面的列(c)規(guī)格化:
c1)列規(guī)格化為零平均值:
其中μxc為nx1向量,其第i項(xiàng)為x的第i行的平均值,及其中1指一的jx1向量;
c2)列規(guī)格化為單位范數(shù):
h2(x)=xdc(x),其中
在此,x(:,n)指x的第n行,使得dc(x)為nxn對(duì)角線矩陣,在主對(duì)角線上的每一列具有反范數(shù)及在別處為零,自右乘以dc(x)使得所得矩陣的列規(guī)格化為單位范數(shù)。
上面列出的行(r#,#=1,2,…,5)和列(c#,#=1,2)規(guī)格化/變換可以不同的方式組合。在優(yōu)選實(shí)施例中,(以任何順序)應(yīng)用至少一行規(guī)格化/變換gi(·)(i=1,2,…,5)和至少一列規(guī)格化/變換hj(·)(j=1,2)。
特別感興趣的一種組合是,首先,行規(guī)格化為零平均值和單位范數(shù),其后進(jìn)行列的類似平均值和范數(shù)規(guī)格化。該特定組合可寫為:
其中,xm為所得的行和列正規(guī)化矩陣。
另一感興趣的變換為計(jì)算矩陣xm的每一行的量值傅里葉譜,之后進(jìn)行使得列的均值及范數(shù)規(guī)格化。使用引入的記法,這可簡(jiǎn)單地寫為:
這些規(guī)格化/變換的其它組合也可能感興趣,例如
(列的均值和范數(shù)標(biāo)準(zhǔn)化,之后進(jìn)行行的均值和范數(shù)標(biāo)準(zhǔn)化)等。如上面提及的,選擇行和列規(guī)格化/變換的特定組合并分別應(yīng)用于有噪聲/處理后的和無噪聲的信號(hào)的所有段xm和sm。
中間可懂度系數(shù)(isiu)
無噪聲參考信號(hào)的時(shí)頻段sm或規(guī)格化/變換的時(shí)頻段
對(duì)于計(jì)算中間可懂度指數(shù)dm,存在幾個(gè)選擇。具體地,dm可定義為
1)
2)
3)
其中,我們采用記法
最終可懂度系數(shù)的估計(jì)(fsiu)
最終可懂度系數(shù)d(其反映有噪聲/處理后的輸入信號(hào)x(n)的可懂度)定義為跨x(n)的語音活躍部分的持續(xù)時(shí)間的中間可懂度系數(shù)的平均值,可能經(jīng)函數(shù)u(dm)變換,即
函數(shù)u(dm)例如可以是
“無為”函數(shù)u(dm)=dm也是一個(gè)可能的選擇(其先前已在stoi算法中使用[3])。
在下面,考慮可能已通過信號(hào)處理裝置如助聽器中的信號(hào)處理裝置的有噪聲/混響語音信號(hào)x(n)。提出一種算法,其可預(yù)測(cè)x(n)的、具有類似聽力曲線的一群聽者如正常聽力或聽力受損聽者感知的平均可懂度。為實(shí)現(xiàn)此目的,所提出的算法依賴于無噪聲、未失真的潛在信號(hào)s(n)的存在,參見圖3a。圖3a示出了侵入單耳語音可懂度預(yù)測(cè)單元與聽力損失模型hlm和評(píng)估單元msip組合(一起構(gòu)成改進(jìn)的單耳語音可懂度預(yù)測(cè)單元msip’)。在圖3a的實(shí)施例中,信號(hào)x’(n)通過聽力損失模型hlm,其配置成對(duì)受損聽覺系統(tǒng)(如特定用戶的受損聽覺系統(tǒng))的缺陷進(jìn)行建模。聽力損失模型單元hlm例如基于用戶耳朵的聽力圖(可能及與用戶的聽力有關(guān)的其它數(shù)據(jù))。聽力損失模型單元hlm例如配置成應(yīng)用目標(biāo)信號(hào)的有噪聲和/或處理后版本的隨頻率而變的修改x’,從而反映與用戶的相應(yīng)耳朵的正常聽力的偏差如聽力受損,進(jìn)而提供目標(biāo)信號(hào)的修改的有噪聲和/或處理后版本x以與目標(biāo)信號(hào)的實(shí)質(zhì)上無噪聲版本s一起用作單耳語音可懂度預(yù)測(cè)單元msip的輸入,從而提供最終單耳語音可懂度預(yù)測(cè)值d。在圖3a中,評(píng)估單元eval被示為接收和評(píng)估語音可懂度預(yù)測(cè)值d并提供處理后的預(yù)測(cè)值d’。評(píng)估單元eval例如可進(jìn)一步處理語音可懂度預(yù)測(cè)值d,例如以圖形和/或數(shù)值地顯示當(dāng)前值和/或最近的歷史值、衍變趨勢(shì)等。作為備選或另外,評(píng)估單元可向用戶(或通信伙伴或護(hù)理人員)提出行動(dòng),如增加方向性、移動(dòng)得更近、講得更大聲、啟動(dòng)si增強(qiáng)模式等。評(píng)估單元例如可實(shí)施在單獨(dú)的裝置中,如用作語音可懂度預(yù)測(cè)單元msip和/或包括該單元的助聽器的用戶接口,例如實(shí)施為遙控裝置,例如實(shí)施為智能電話的app(參見圖6a、6b)。
圖3b示出了侵入單耳語音可懂度預(yù)測(cè)單元msip’與例如聽力裝置的信號(hào)處理單元spu和評(píng)估單元eval組合。相較于圖3a,圖3b的實(shí)施例另外包括多個(gè)輸入單元(在此為兩個(gè):m1,m2)如傳聲器,用于提供表示所涉及輸入單元處接收的聲音輸入的時(shí)變電輸入信號(hào)。至少一(如每一)電輸入信號(hào)包括目標(biāo)信號(hào)分量(如語音分量)和噪聲信號(hào)分量(在圖3b中稱為有噪聲目標(biāo))。目標(biāo)信號(hào)分量假定源自裝置(如聽力裝置,參見圖3c)環(huán)境中的目標(biāo)信號(hào)源。圖3b的實(shí)施例還包括可配置的信號(hào)處理單元spu,用于處理電輸入信號(hào)(如提供波束成形和/或降噪、隨頻率和電平而變的放大、隨電平而變的壓縮等)及基于一個(gè)或多個(gè)電輸入信號(hào)提供處理后的信號(hào)x’,其為可配置的信號(hào)處理單元spu的輸入。來自可配置的信號(hào)處理單元spu的處理后的信號(hào)x’饋給單耳語音可懂度預(yù)測(cè)單元msip’的聽力損失模型hlm。聽力損失模型單元hlm包括用戶(如聽力裝置用戶)的聽力損失的模型并配置成對(duì)輸入信號(hào)整形以提供表示處理后的(可能聽力損失補(bǔ)償?shù)?及(再次)惡化的信號(hào)的輸出信號(hào)x,其饋給單耳語音可懂度預(yù)測(cè)器msip。圖3b的實(shí)施例還包括天線和收發(fā)器單元rx,用于接收包括目標(biāo)信號(hào)的無線信號(hào)(在圖3b中稱為純凈目標(biāo))及用于提取目標(biāo)信號(hào)的實(shí)質(zhì)上無噪聲的版本s,其連接到單耳語音可懂度預(yù)測(cè)器msip。來自單耳語音可懂度預(yù)測(cè)單元msip’的最終語音可懂度預(yù)測(cè)值d饋給評(píng)估單元eval,其修改后的預(yù)測(cè)值d’饋給可配置的信號(hào)處理單元spu。可配置的信號(hào)處理單元spu適于基于單耳語音可懂度預(yù)測(cè)單元提供的及評(píng)估單元eval修改的最終語音可懂度預(yù)測(cè)值d控制或者影響相應(yīng)電輸入信號(hào)的處理??膳渲玫男盘?hào)處理單元spu適于控制或者影響相應(yīng)電輸入信號(hào)的處理以使最終語音可懂度預(yù)測(cè)值d最大化(例如受評(píng)估單元eval(max)控制)。
圖3b的實(shí)施例例如還可包括輸出單元,用于基于電輸出產(chǎn)生配置成可由用戶感知為聲音的輸出刺激,電輸出為來自信號(hào)處理單元的處理后的信號(hào)x’或者源自其的信號(hào)的形式。輸出單元(例如參見圖3c中的ot)例如可包括用于放在用戶耳道中的揚(yáng)聲器,或者用于附著到用戶顱骨的振動(dòng)器,或者用于放在用戶耳蝸中的電極。從而,提供根據(jù)本發(fā)明的助聽器。該助聽器可采取空氣傳導(dǎo)聽力儀器、骨導(dǎo)聽力儀器、耳蝸植入假體、有效耳朵保護(hù)裝置、頭戴式耳機(jī)、具有有效噪聲消除的耳麥等。
圖3a示出了聽力裝置hd(如助聽器)的第一實(shí)施例,包括包含聽力損失模型部分hlm和預(yù)測(cè)器部分msip的侵入單耳語音可懂度預(yù)測(cè)單元msip’,其配置成優(yōu)化用戶對(duì)聽力裝置hd的輸出信號(hào)u的可懂度(由指數(shù)d表示)。圖3c的實(shí)施例基本等同于圖3b的實(shí)施例,但另外包括包含揚(yáng)聲器形式的輸出變換器ot的輸出單元,其直接連接到信號(hào)處理單元spu的輸出u。此外,圖3c的助聽器僅包括一個(gè)輸入單元it,其包括用于拾取目標(biāo)信號(hào)的有噪聲表示y’并將其轉(zhuǎn)換為電輸入信號(hào)y的傳聲器,電輸入信號(hào)y饋給可配置的信號(hào)處理單元spu。如圖3b中所示,天線和收發(fā)器單元rx適于接收包括目標(biāo)信號(hào)的無線信號(hào)(在圖3c中稱為s’)及適于提取目標(biāo)信號(hào)的實(shí)質(zhì)上無噪聲版本s,該版本饋給侵入單耳語音可懂度預(yù)測(cè)單元msip’的預(yù)測(cè)器部分msip。單耳語音可懂度預(yù)測(cè)單元msip’提供用戶對(duì)輸出信號(hào)的可懂度的估計(jì)量,其為(最終)語音可懂度預(yù)測(cè)值d的形式并饋給可配置的信號(hào)處理單元spu的控制部分以修改信號(hào)處理從而在反饋環(huán)路中優(yōu)化d。
圖4a示出了使用包括根據(jù)本發(fā)明的侵入單耳語音可懂度預(yù)測(cè)器(如上面結(jié)合圖2a、2b、2c和圖3a、3b、3c所述)的助聽器hd的第一場(chǎng)合,以提高助聽器用戶u對(duì)來自佩戴無線傳聲器m的講話者tlk的語音的可懂度,例如在講課或演講情形下。講話者的話音(目標(biāo)信號(hào))由位于靠近講話者嘴巴的傳聲器m拾取。傳聲器m包括發(fā)射器tx,用于使用無線鏈路wls(如使用fm或藍(lán)牙或者其它標(biāo)準(zhǔn)化或?qū)S屑夹g(shù))將目標(biāo)信號(hào)的實(shí)質(zhì)上無噪聲版本s無線傳給用戶u佩戴的助聽器的對(duì)應(yīng)接收器rx。同時(shí),被位置(如具有反射表面的房間,如墻壁)修改并與來自環(huán)境的可能噪聲混合的目標(biāo)信號(hào)聲學(xué)傳播版本由助聽器hd的一個(gè)或多個(gè)傳聲器拾取(有噪聲信號(hào)x)。
圖4b示出了使用包括根據(jù)本發(fā)明的侵入單耳語音可懂度預(yù)測(cè)器的助聽器hd的第二(類似)場(chǎng)合,以提高助聽器用戶u對(duì)來自在車car中使用免提電話機(jī)通話的遠(yuǎn)程講話者的語音的可懂度,其中遠(yuǎn)程聲音無線及聲學(xué)地傳給助聽器用戶。遠(yuǎn)程講話者的由電話(移動(dòng)電話)接收的“純凈”目標(biāo)信號(hào)無線傳給助聽器hd的接收器rx并由其接收為純凈信號(hào)s(圖4b中的純凈目標(biāo)),該聲音同時(shí)由免提電話機(jī)的揚(yáng)聲器傳播給助聽器的傳聲器it,從而提供“有噪聲信號(hào)”x(圖4b中的有噪聲目標(biāo)x)。用戶正駕駛車輛(汽車、方向盤),同時(shí)經(jīng)免提電話機(jī)在電話中講話。車廂中的噪聲(由噪聲源n1、n2指明)與免提電話機(jī)(或電話本身)的揚(yáng)聲器播放的“目標(biāo)信號(hào)”混合并由助聽器傳聲器it拾取為有噪聲目標(biāo)信號(hào)x。
圖4a、4b的兩種場(chǎng)合中使用的助聽器hd可以是根據(jù)本發(fā)明的助聽器,如結(jié)合圖3a、3b、3c所述的助聽器,其配置成使助聽器傳聲器拾取并由信號(hào)處理裝置處理的聲學(xué)信號(hào)的處理適于優(yōu)化用戶的語音可懂度(基于單耳語音可懂度預(yù)測(cè)單元的預(yù)測(cè)值,如本發(fā)明提出的)。
圖5a示出了使用包括根據(jù)本發(fā)明的侵入單耳語音可懂度預(yù)測(cè)單元的助聽器hd的第三場(chǎng)合,以提高助聽器用戶對(duì)來自在車中使用免提電話機(jī)(汽車、方向盤)通話的遠(yuǎn)程講話者的語音的可懂度,其中來自遠(yuǎn)程通信伙伴的聲音無線傳給助聽器用戶u。圖5a的場(chǎng)合類似于圖4b的場(chǎng)合,但在圖5a的場(chǎng)合中,遠(yuǎn)程通信伙伴的聲音不被車中的揚(yáng)聲器播放。
純凈目標(biāo)信號(hào)s從移動(dòng)電話傳給助聽器hd。車廂的背景噪聲v’由助聽器的傳聲器it捕獲??梢约俣ú东@的背景噪聲v’實(shí)質(zhì)上等于用戶耳膜處出現(xiàn)的噪聲νed(參見圖5b、5c)。當(dāng)然,該假定越好,傳聲器越靠近耳膜定位(和/或耳道部分越開闊)。在實(shí)施例中,助聽器的傳聲器位于耳道中,如耳道的入口處或者靠近耳膜(參見圖5c中的it3)。
圖5b示出了在圖5a的(第三)場(chǎng)合中使用的,包括侵入單耳語音可懂度預(yù)測(cè)器的助聽器的實(shí)施例。圖5b中所示的助聽器hd的實(shí)施例包括與圖3c中所示的實(shí)施例同樣的功能元件。然而,信號(hào)處理單元spu和無線接收器rx和輸入變換器it的互連不同。如圖5a中所示及如圖5b和5c中指明的,助聽器的揚(yáng)聲器ot的聲音輸出(等于來自信號(hào)處理單元spu的處理后的信號(hào)f(s))與耳膜處的“環(huán)境”(車廂)噪聲νed聲學(xué)上混合(參見圖5b中s和νed的混合)。
圖5b中的助聽器實(shí)施例的基本想法是處理目標(biāo)信號(hào)的純凈版本s,使得語音可懂度d在純凈目標(biāo)信號(hào)的處理后版本f(s)時(shí)最大化。純凈目標(biāo)信號(hào)的處理后版本f(s)可自適應(yīng)控制,而對(duì)于耳膜處的車廂噪聲νed(其給定)并非如此。
使用圖5b的配置中的語音可懂度模型(如本發(fā)明中公開的),來自信號(hào)處理單元spu的處理后的信號(hào)f(s)當(dāng)由揚(yáng)聲器(或助聽器的聲導(dǎo)元件)呈現(xiàn)給耳朵并與耳膜處存在的噪聲信號(hào)νed混合時(shí),用戶對(duì)其中存在的語音分量的可懂度可確定,參見信號(hào)u=f(s)+ν,該信號(hào)用作圖5b中的單耳語音可懂度預(yù)測(cè)單元msip’的聽力損失模型hlm的“處理后/有噪聲的目標(biāo)信號(hào)輸入”。
優(yōu)選地,揚(yáng)聲器(或者,作為備選,聲導(dǎo)元件)位于耳道中,優(yōu)選靠近耳膜,以將處理后的信號(hào)f(s)傳到耳膜。優(yōu)選地,聽力裝置的傳聲器(其用于拾取背景噪聲v’(參見圖5a、5b))位于靠近耳膜處或者耳道入口處或者耳廓中或者耳后。在實(shí)施例中,由特定傳聲器拾取的噪聲信號(hào)(在助聽器中)進(jìn)行適當(dāng)修改以考慮聲信號(hào)從傳聲器位置到耳膜的傳遞函數(shù),從而更好地估計(jì)用戶(在耳膜處)接收的背景噪聲νed以用于估計(jì)語音可懂度d=d(f(s)+ν,s)。
在圖5b的配置中,信號(hào)處理單元spu配置成迭代地修改從無線接收器單元rx接收的純凈目標(biāo)信號(hào)s的信號(hào)處理以提供純凈目標(biāo)信號(hào)s的、優(yōu)化用戶耳膜處出現(xiàn)的(混合)信號(hào)的語音可懂度的處理后版本f(s)(在實(shí)踐中,在此通過使根據(jù)本發(fā)明的單耳語音可懂度預(yù)測(cè)值d(f(s)+ν,s)最大化而逼近)。
作為使用語音可懂度預(yù)測(cè)器修改(優(yōu)化)s的備選(或者作為本發(fā)明的極端選擇),簡(jiǎn)單增加純凈目標(biāo)信號(hào)s的增益(即f(s)=g·s,g為增益因子,例如g=10)可用于增大耳膜處的信噪比(snr)(假定耳膜處的背景(車廂)噪聲νed的電平恒定)。在實(shí)踐中,然而,這樣的僅依賴于純凈目標(biāo)信號(hào)的增益增加可能沒有吸引力或者不可能(例如由于聲反饋問題、揚(yáng)聲器的最大功率輸出限制、或者用戶的不舒適電平等)。作為代替,提出純凈目標(biāo)信號(hào)的適當(dāng)?shù)碾S頻率而變的整形并受單耳語音可懂度預(yù)測(cè)器(包括聽力損失模型hlm,優(yōu)選定義助聽器用戶的聽力受損的決定性方面)控制。
圖5c示出了形成為耳內(nèi)接收器式(rite)助聽器的示例性助聽器hd,包括適于位于耳廓后面的部分bte及適于位于用戶耳道中的包括輸出變換器ot(如揚(yáng)聲器/接收器)的部分ite(例如如圖5a、5b中所示,例示助聽器hd)。bte部分(bte)和ite部分(ite)通過連接元件ic進(jìn)行連接(如電連接)。在圖5c的助聽器實(shí)施例中,bte部分包括兩個(gè)輸入單元,其包括兩個(gè)(可個(gè)別選擇的)輸入變換器(如傳聲器)it1,it2,每一輸入變換器提供表示來自環(huán)境(在圖5a的場(chǎng)景下,來自車廂)的輸入聲音信號(hào)的電輸入音頻信號(hào)。圖5c的聽力裝置還包括兩個(gè)(可個(gè)別選擇的)無線接收器wlr1,wlr2,用于提供相應(yīng)的直接接收的輔助音頻和/或信息信號(hào)。助聽器hd還包括其上安裝多個(gè)電子元件的襯底sub,包括可配置的信號(hào)處理單元spu、單耳語音可懂度預(yù)測(cè)單元msip及聽力損失模型單元hlm(經(jīng)電導(dǎo)體wx彼此連接及連接到輸入和輸出單元)??膳渲玫男盘?hào)處理單元spu提供增強(qiáng)的音頻信號(hào)(例如參見圖5b中的信號(hào)f(s)),其計(jì)劃呈現(xiàn)給用戶。在圖5c的助聽器裝置實(shí)施例中,ite部分包括揚(yáng)聲器(接收器)形式的輸出單元ot,用于將電信號(hào)(如圖5b中的f(s))轉(zhuǎn)換為聲信號(hào)。ite部分還包括輸入單元,其包括用于提供表示耳道中來自環(huán)境的輸入聲音信號(hào)的電輸入音頻信號(hào)的輸入變換器it3(如傳聲器)(在此,對(duì)佩戴助聽器hd的用戶u的耳膜處來自車廂的噪聲νed進(jìn)行逼近)。在其它實(shí)施例中,助聽器可僅包括位于耳道之中或之處的輸入單元it3,或者位于耳道之中或之處的輸入單元it3與位于別處如bte部分中的輸入單元的組合。ite部分還包括引導(dǎo)元件如圓頂do,用于引導(dǎo)并將ite部分定位在用戶耳道中。
圖5c中例示的助聽器hd為便攜裝置,及還包括用于對(duì)bte部分和ite部分的電子元件供電的電池bat。
在實(shí)施例中,助聽器hd包括定向傳聲器系統(tǒng)(波束形成器),其適于增強(qiáng)佩戴助聽器裝置的用戶的局部環(huán)境中的多個(gè)聲源之中的目標(biāo)聲源。在實(shí)施例中,所述定向系統(tǒng)適于檢測(cè)(如自適應(yīng)檢測(cè))傳聲器信號(hào)的特定部分源自哪一方向。
圖5c的助聽器可形成根據(jù)本發(fā)明的助聽器和/或雙耳助聽器系統(tǒng)的一部分(例如參見圖7)。
圖6a示出了雙耳聽力系統(tǒng)的實(shí)施例,包括左和右聽力裝置如助聽器hdleft,hdright與用作雙耳助聽器系統(tǒng)的用戶接口ui(參見圖6b)的便攜(手持)輔助裝置aux通信。在實(shí)施例中,雙耳聽力系統(tǒng)包括輔助裝置aux(及用戶接口ui)。在圖6a的實(shí)施例中,指明了記為ia-wl(如左和右聽力裝置之間的感應(yīng)鏈路)和wl-rf(如分別在輔助裝置aux和左助聽器hdleft之間及輔助裝置aux和右助聽器hdright之間的rf鏈路(如藍(lán)牙))的無線鏈路(通過對(duì)應(yīng)的天線和收發(fā)器電路實(shí)施在裝置中,在圖6a中在左和右聽力裝置中分別指示為rf-ia-rx/tx-l和rf-ia-rx/tx-r)。
圖6b示出了包括用戶接口ui的輔助裝置aux,用戶接口為用于控制和顯示與語音可懂度預(yù)測(cè)器有關(guān)的數(shù)據(jù)的app的形式。用戶接口ui包括顯示器(如觸敏顯示器),顯示用于控制助聽器系統(tǒng)及將信息呈現(xiàn)給用戶的語音可懂度si-app的屏幕。該spp包括關(guān)于雙耳(或單耳)聽力系統(tǒng)的功能的多個(gè)預(yù)定動(dòng)作按鈕。在例示app(的一部分)中,用戶u具有經(jīng)將si預(yù)測(cè)模式選擇為單耳sip或雙耳sip模式而影響運(yùn)行模式的選擇。在圖6b所示的屏幕中,選擇無光度的按鈕,即si增強(qiáng)模式(其中處理適于基于(單耳或雙耳)語音可懂度預(yù)測(cè)值優(yōu)化語音可懂度)連同特定車載電話模式一起(如結(jié)合圖5a、5b、5c所述)。此外,顯現(xiàn)當(dāng)前si估計(jì)量已被啟動(dòng)(導(dǎo)致雙耳語音可懂度預(yù)測(cè)器的當(dāng)前預(yù)測(cè)值被顯示(肯定指示符
圖7示出了根據(jù)本發(fā)明的雙耳助聽器系統(tǒng)的實(shí)施例,包括左和右聽力裝置hdleft,hdright,每一聽力裝置包括單耳語音可懂度預(yù)測(cè)單元msip’,其各個(gè)預(yù)測(cè)值dleft和dright在聽力裝置之間交換并用于影響或控制聽力裝置中的相應(yīng)信號(hào)處理單元spu的信號(hào)處理以優(yōu)化用戶的雙耳語音可懂度。左和右聽力裝置hdleft,hdright例如為結(jié)合圖3c所述的聽力裝置。左和右聽力裝置中的每一個(gè)包括天線和收發(fā)器電路ia-rx/tx,用于使能建立通信鏈路ia-wls并使信息dleft,dright能在左和右聽力裝置之間交換。在實(shí)施例中,雙耳助聽器系統(tǒng)包括雙耳語音可懂度預(yù)測(cè)單元,用于在用戶暴露于聲音輸入時(shí)提供其預(yù)測(cè)的語音可懂度的最終雙耳語音可懂度度量dbinaural,其中最終雙耳語音可懂度度量dbinaural根據(jù)相應(yīng)的左和右聽力裝置的最終單耳語音可懂度預(yù)測(cè)值dleft,dright確定。雙耳語音可懂度預(yù)測(cè)單元例如可實(shí)施在左和右聽力裝置的一個(gè)或兩個(gè)信號(hào)處理單元spu中。在實(shí)施例中,最終雙耳語音可懂度度量dbinaural確定為相應(yīng)的左和右聽力裝置的語音可懂度預(yù)測(cè)值dleft,dright中的最大值:dbinaural=max(dleft,dright)。
當(dāng)由對(duì)應(yīng)的過程適當(dāng)代替時(shí),上面描述的、“具體實(shí)施方式”中詳細(xì)描述的及權(quán)利要求中限定的裝置的結(jié)構(gòu)特征可與本發(fā)明方法的步驟結(jié)合。
除非明確指出,在此所用的單數(shù)形式“一”、“該”的含義均包括復(fù)數(shù)形式(即具有“至少一”的意思)。應(yīng)當(dāng)進(jìn)一步理解,說明書中使用的術(shù)語“具有”、“包括”和/或“包含”表明存在所述的特征、整數(shù)、步驟、操作、元件和/或部件,但不排除存在或增加一個(gè)或多個(gè)其他特征、整數(shù)、步驟、操作、元件、部件和/或其組合。應(yīng)當(dāng)理解,除非明確指出,當(dāng)元件被稱為“連接”或“耦合”到另一元件時(shí),可以是直接連接或耦合到其他元件,也可以存在中間插入元件。如在此所用的術(shù)語“和/或”包括一個(gè)或多個(gè)列舉的相關(guān)項(xiàng)目的任何及所有組合。除非明確指出,在此公開的任何方法的步驟不必須精確按所公開的順序執(zhí)行。
應(yīng)意識(shí)到,本說明書中提及“一實(shí)施例”或“實(shí)施例”或“方面”或者“可”包括的特征意為結(jié)合該實(shí)施例描述的特定特征、結(jié)構(gòu)或特性包括在本發(fā)明的至少一實(shí)施方式中。此外,特定特征、結(jié)構(gòu)或特性可在本發(fā)明的一個(gè)或多個(gè)實(shí)施方式中適當(dāng)組合。提供前面的描述是為了使本領(lǐng)域技術(shù)人員能夠?qū)嵤┰诖嗣枋龅母鱾€(gè)方面。各種修改對(duì)本領(lǐng)域技術(shù)人員將顯而易見,及在此定義的一般原理可應(yīng)用于其他方面。
權(quán)利要求不限于在此所示的各個(gè)方面,而是包含與權(quán)利要求語言一致的全部范圍,其中除非明確指出,以單數(shù)形式提及的元件不意指“一個(gè)及只有一個(gè)”,而是指“一個(gè)或多個(gè)”。除非明確指出,術(shù)語“一些”指一個(gè)或多個(gè)。
因而,本發(fā)明的范圍應(yīng)依據(jù)權(quán)利要求進(jìn)行判斷。
參考文獻(xiàn)
[1]americannationalstandardsinstitute,“ansis3.5,methodsforthecalculationofthespeechintelligibilityindex,”newyork1995.
[2]k.s.rhebergenandn.j.versfeld,“aspeechintelligibilityindexbasedapproachtopredictthespeechreceptionthresholdforsentencesinfluctuatingnoisefornormal-hearinglisteners,”j.acoust.soc.am.,vol.117,no.4,pp.2181-2192,2005.
[3]c.h.taal,r.c.hendriks,r.heusdens,andj.jensen,“analgorithmforintelligibilitypredictionoftime-frequencyweightednoisyspeech,”ieeetrans.audio,speech,lang.process.,vol.19,no.7,pp.2125-2136,sept.2011.
[4]b.c.j.moore,“cochlearhearingloss,”physiological,psychologicalandtechnicalissues,“wiley,2007.
[5]r.beutelmannandt.brand,“predictionofintelligibilityinspatialnoiseandreverberationfornormal-hearingandhearing-impairedlisteners,”j.acoust.soc.am.,vol.120,no.1,pp.331-342,april2006.