專利名稱：恢復(fù)聲音信號(hào)的諧頻的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及通信領(lǐng)域，具體涉及聲音信號(hào)的數(shù)字處理和聲音信號(hào)的諧波表示的領(lǐng)域。
背景技術(shù)：
在數(shù)字音頻信號(hào)的諧波建模(harmonic modeling)中，聲音信號(hào)用一組振蕩器表示，振蕩器的參數(shù)(頻率、幅度、相位)隨著時(shí)間緩慢變化。諧波分析包括用于確定這些參數(shù)值的短期時(shí)間/頻率分析，之后提取峰(peak)，然后跟蹤諧頻(partial)。
要建模的信號(hào)被分成l個(gè)采樣的幀(典型地l＝1024)。短期時(shí)間/頻率分析模塊(典型地執(zhí)行傅立葉變換)計(jì)算每幀的信號(hào)的短期頻譜。用于提取峰的模塊僅保留先驗(yàn)的最有關(guān)的峰，例如，一個(gè)準(zhǔn)則是僅保留能量最高的峰。第三和最后模塊嘗試將峰在時(shí)間上彼此連接起來(lái)，即，從一幀到另一幀，以形成諧頻。在其生存期內(nèi)，每個(gè)諧頻對(duì)應(yīng)于一個(gè)振蕩器。
這種類型的分析和表示尤其可以用在降比特率編碼、參數(shù)編碼(處理信號(hào)的三個(gè)方面瞬變、正弦曲線、噪聲)、聲音源的分離和索引(indexing)、以及聲音文件的恢復(fù)期間。
目前公認(rèn)的是，當(dāng)利用Robert J.McAulay和Thomas F.Quatieri在論文″Speech Analysis/Synthesis Based on a Sinusoidal Representation″，IEEETransactions on Acoustics，Speech and Signal Processing，pp.744-754，1986，或者Laurent Girin，Sylvain Marchand，Joseph di Martino，Axel Rbel和GeoffroyPeeters在論文″Comparing the order of a Polynomial Phase Model for theSynthesis of Quasi-Harmonic Audio Signals″，WASPAA，New Paltz，NY，USA，October 2003中提出的相位內(nèi)插技術(shù)來(lái)合成諧頻時(shí)，獲得最好的質(zhì)量。這些技術(shù)用于通過(guò)使用三階或五階多項(xiàng)式計(jì)算所有的中間相位，來(lái)合成從峰(Ai，fi，i)到峰(Ai+1，fi+1，i+1)的諧頻，其中頻率由求導(dǎo)推出。僅當(dāng)已知起始和結(jié)束頻率以及相位時(shí)，才使用三階內(nèi)插。當(dāng)還已知相位的二階變分(second ordervariation)時(shí)，使用五階內(nèi)插(這些等效于頻率的一階變分，原因在于按照定義，頻率是相位的導(dǎo)數(shù))。
峰Pi(Ai，fi，i)與Pi+1(Ai+1，fi+1，i+1)之間諧頻的合成包括計(jì)算幀i與i+1之間的諧頻的值p(n)pi(n)＝p(li+n)＝Ai(n)cos(i(n))，n＝0，...，l-1(1)為此，現(xiàn)有技術(shù)中已知使用下面兩種內(nèi)插法之一來(lái)計(jì)算所有的中間相位。
對(duì)于根據(jù)McAulay的三階內(nèi)插，根據(jù)下面的表達(dá)式計(jì)算相位，其中Te是采樣周期i(n)＝i+2πfinTe+α(nTe)2+β(nTe)3(2)通過(guò)求解(fi，i，fi+1，i+1)中的等式系統(tǒng)來(lái)計(jì)算兩個(gè)未知數(shù)α和β。頻率通過(guò)微分導(dǎo)出2πfi(n)＝2πfi+2αnTe+3β(nTe)2(3)對(duì)于根據(jù)Girin等人的五階內(nèi)插，在峰Pi和Pi+1處頻率的一階變分δfi和δfi+1假定是已知的。然后根據(jù)下面的表達(dá)式計(jì)算相位 通過(guò)求解(fi，fi+1，i，i+1，δfi，δfi+1)中的等式系統(tǒng)來(lái)計(jì)算三個(gè)未知數(shù)β，δ，γ。頻率通過(guò)微分導(dǎo)出2πfi(n)＝2πfi+δfinTe+3β(nTe)2+4γ(nTe)3+5δ(nTe)4(5)由于各種原因，可能會(huì)出現(xiàn)在分析結(jié)束和/或在合成開始時(shí)信號(hào)中的特定諧頻缺失、損壞或不連續(xù)的情況。例如，如果發(fā)生分組丟失，則在因特網(wǎng)聲音程序廣播應(yīng)用中的解碼器的輸入處可能缺失特定諧頻，如果要分析的信號(hào)受到不需要的信號(hào)(噪聲、滴答(click)、其他信號(hào)等)的干擾，則它們可能損壞，或者如果它們的能量太低以至于不能被連續(xù)地正確檢測(cè)，則它們可能是不連續(xù)的。為了創(chuàng)建盡可能接近原始信號(hào)的合成信號(hào)，于是有必要恢復(fù)缺失峰。這使得創(chuàng)建其每一個(gè)都以幅度、頻率和相位來(lái)表征的峰成為必要。
上述現(xiàn)有技術(shù)的內(nèi)插技術(shù)用于合成對(duì)應(yīng)于缺失峰的部分以及恢復(fù)諧頻。
然而，這些現(xiàn)有技術(shù)的內(nèi)插技術(shù)適于在短期，即，在小于10毫秒(ms)的周期上使用。對(duì)于較長(zhǎng)的周期，重新合成的信號(hào)常常與原始信號(hào)有很大不同，并且可能出現(xiàn)令人不快的贗音(artifact)。這些技術(shù)確保已有峰與恢復(fù)的峰之間的相位連續(xù)性，但是不能控制由等式(3)和(5)引起的感應(yīng)頻率。該效果與內(nèi)插距離成正比增加。

發(fā)明內(nèi)容
本發(fā)明的一個(gè)目的是提出一種對(duì)該問(wèn)題的替代解決方案，尤其是在缺失部分對(duì)應(yīng)于長(zhǎng)的周期(大于10ms)的情況下恢復(fù)被識(shí)別為諧頻的丟失部分的丟失部分，而現(xiàn)有技術(shù)對(duì)此情況效果相對(duì)較差。
因此，本發(fā)明要解決的技術(shù)問(wèn)題是提出一種在諧波分析期間恢復(fù)聲音信號(hào)的諧頻的丟失部分的方法，在諧波分析中，聲音信號(hào)被分成時(shí)間幀，對(duì)時(shí)間幀應(yīng)用時(shí)間/頻率分析，其提供由采樣頻率幀表示的連續(xù)短期頻譜，該分析還在于提取頻率幀中的頻譜峰并將它們?cè)跁r(shí)間上連接在一起以形成諧頻，該方法是現(xiàn)有技術(shù)解決方案的替代。
根據(jù)本發(fā)明，所述技術(shù)問(wèn)題的一個(gè)解決方案在于，所述恢復(fù)其頻率ω和相位已知的峰Pi與峰Pi+N之間的諧頻的方法特征在于它包括步驟·估計(jì)該諧頻的缺失峰Pi+1到Pi+N-1中的每一個(gè)的頻率 ·對(duì)于之前估計(jì)的所有頻率 從峰Pi的相位到峰Pi+N的相位，逐個(gè)峰地計(jì)算相位 ·計(jì)算在同一峰Pi+N處的計(jì)算出的相位 與已知相位之間的相位誤差err；·將每個(gè)計(jì)算出的相位 校正一個(gè)值，該值是相位誤差err的函數(shù)。
本發(fā)明的方法與現(xiàn)有技術(shù)方法的不同之處在于，它提供對(duì)丟失峰的頻率的更精細(xì)控制和隨后對(duì)應(yīng)相位的計(jì)算，以確保與已有峰的相位的連續(xù)性。因此，與上述現(xiàn)有技術(shù)方法相對(duì)比，本發(fā)明的方法沒有贗音地重新合成對(duì)應(yīng)于丟失諧頻部分的信號(hào)。
本發(fā)明的方法還具有這樣的優(yōu)點(diǎn)，即，重構(gòu)信號(hào)，該信號(hào)與現(xiàn)有技術(shù)方法獲得的信號(hào)相比，在重構(gòu)誤差方面與原始信號(hào)更接近。
最后，本發(fā)明的方法具有使用低復(fù)雜度算法的優(yōu)點(diǎn)。
本發(fā)明還在于一種合成聲音信號(hào)的合成器，用于實(shí)現(xiàn)恢復(fù)峰Pi與峰Pi+N之間的諧頻的方法，例如是適于使用本發(fā)明方法的音頻解碼器或參數(shù)編碼器。
本發(fā)明還在于一種可直接加載到上述合成器或合成器組的內(nèi)部存儲(chǔ)器中的計(jì)算機(jī)程序產(chǎn)品，該產(chǎn)品包括軟件代碼部分，用于當(dāng)在合成器或合成器組上執(zhí)行程序時(shí)，執(zhí)行根據(jù)本發(fā)明的方法的步驟。
本發(fā)明還在于一種可在上述合成器或合成器組中使用的介質(zhì)，其上存儲(chǔ)有可直接加載到合成器或合成器組的內(nèi)部存儲(chǔ)器中的計(jì)算機(jī)程序產(chǎn)品，該產(chǎn)品包括軟件代碼部分，用于當(dāng)在合成器或合成器組上執(zhí)行程序時(shí)，執(zhí)行根據(jù)本發(fā)明的方法的步驟。


在下面參照附圖給出的描述期間，本發(fā)明的其他特征和優(yōu)點(diǎn)將變得清楚，其中描述是通過(guò)非限制性的示例方式提供的。
圖1是本發(fā)明的一個(gè)示例的流程圖。
圖2是使用本發(fā)明方法的一個(gè)示例的圖。
具體實(shí)施例方式
本發(fā)明的方法1以下面參照?qǐng)D1流程圖描述的方式進(jìn)行。該方法在于恢復(fù)其頻率ω和相位已知的峰Pi和峰Pi+N之間的諧頻。
在第一步驟2中，該方法例如通過(guò)現(xiàn)有技術(shù)中已知的線性預(yù)測(cè)法或內(nèi)插法，估計(jì)缺失峰Pi+1到Pi+N-1的每一個(gè)的頻率 和幅度A。
考慮包括一連串相連的峰Pi(Ai，ωi，i)的諧頻，Pi(Ai，ωi，i)在時(shí)間iT處是已知的，并且由下列表征Ai，在時(shí)間iT處峰的幅度；ωi，在時(shí)間iT處峰的頻率；和i，在時(shí)間iT處峰的相位模2π。
利用例如ωi與ωi+N之間的線性內(nèi)插，或者例如論文″Enhanced PartialTracking using linear Prediction″，Mathieu Lagrange，Sylvain Marchand，MartinRaspaud and Jean-Bernard Rault，Proceedings of the Digital Audio Effects(DAFx)Conference，pp 141-146，Queen Mary College，University of London，UK，September 2003中所描述的線性過(guò)去或未來(lái)預(yù)測(cè)(past or future prediction)，或者利用加權(quán)的過(guò)去或未來(lái)合并，來(lái)估計(jì)峰Pi與Pi+N之間的缺失峰的頻率。
通過(guò)例如Ai與Ai+N之間的線性內(nèi)插，線性過(guò)去或未來(lái)預(yù)測(cè)或者加權(quán)的過(guò)去或未來(lái)合并，來(lái)估計(jì)缺失峰的幅度A。
在第二步驟3中，該方法從峰Pi的相位到峰Pi+N的相位，逐個(gè)峰地計(jì)算相位 對(duì)之前估計(jì)的每個(gè)頻率ω執(zhí)行該計(jì)算。
令i和ωi為起始相位和頻率，并且 為要重構(gòu)的范圍內(nèi)的估計(jì)頻率。為了擴(kuò)展峰Pi與峰Pi+N之間的諧頻，根據(jù)下面表達(dá)式計(jì)算相位 為了避免產(chǎn)生將會(huì)影響重新合成的質(zhì)量的不連續(xù)，有必要得到在時(shí)間i+N處等于i+N的重構(gòu)相位 在上述表達(dá)式(6)中的數(shù)據(jù)要么是近似的要么是預(yù)測(cè)的情況下，統(tǒng)計(jì)上是不可能得到該相等的。因此，該方法的后繼步驟將在時(shí)間i+N處計(jì)算的相位誤差err分到所有之前重構(gòu)的缺失峰Pi+1到Pi+N-1之間。
在第三步驟4中，該方法計(jì)算在同一峰Pi+N處的計(jì)算出的相位 與已知相位i+N之間的相位誤差err。該計(jì)算可以使用下面的等式系統(tǒng)如果 則 如果 則 否則 在第四步驟5中，該方法將每個(gè)計(jì)算出的相位 校正一個(gè)值，該值是相位誤差err的函數(shù)。典型地根據(jù)下面表達(dá)式，將在時(shí)間i+N處計(jì)算出的相位誤差均勻分到計(jì)算出的相位之間 該分布不必是均勻的，并且可以服從例如非線性法則。
圖2使用的例子在于在聲音信號(hào)的諧波分析時(shí)，例如在參數(shù)編碼期間，利用本發(fā)明的方法1恢復(fù)諧頻。聲音信號(hào)s(n)用一組振蕩器表示，振蕩器的參數(shù)(頻率、幅度)隨著時(shí)間緩慢變化。按常規(guī)的方式，諧波分析包括用于確定這些參數(shù)的值的短期時(shí)間/頻率分析6，之后提取峰7，然后跟蹤諧頻8。在通過(guò)本發(fā)明的方法1恢復(fù)諧頻之前，檢測(cè)諧頻中的間隙9。然后將通過(guò)執(zhí)行方法1重構(gòu)的峰 作為由諧波分析產(chǎn)生的峰對(duì)待，并且可以通過(guò)例如現(xiàn)有技術(shù)的(三階或五階)相位內(nèi)插法之一，進(jìn)行與從這些重構(gòu)的峰恢復(fù)的諧頻對(duì)應(yīng)的信號(hào)的加性合成10。
權(quán)利要求
1.一種在諧波分析期間恢復(fù)聲音信號(hào)的諧頻的方法(1)，在諧波分析中，聲音信號(hào)被分成時(shí)間幀，對(duì)時(shí)間幀應(yīng)用時(shí)間/頻率分析，其提供由采樣頻率幀表示的連續(xù)短期頻譜，該分析還在于提取頻率幀中的頻譜峰并將它們?cè)跁r(shí)間上連接在一起以形成諧頻，所述恢復(fù)其頻率和相位已知的峰Pi與峰Pi+N之間的諧頻的方法特征在于，它包括步驟·估計(jì)(2)該諧頻的缺失峰Pi+1到Pi+N-1中的每一個(gè)的頻率 ·對(duì)于之前估計(jì)的所有頻率 從峰Pi的相位到峰Pi+N的相位，逐個(gè)峰地計(jì)算(3)相位 ·計(jì)算(4)在同一峰Pi+N處的計(jì)算出的相位 與已知相位之間的相位誤差err；·將每個(gè)計(jì)算出的相位 校正(5)一個(gè)值，該值是相位誤差err的函數(shù)。
2.如權(quán)利要求1所述的用于恢復(fù)聲音信號(hào)的諧頻的方法(1)，其中，相位 是根據(jù)下面的公式計(jì)算出的，其中i和ω^i=ωi]]>是峰Pi的相位和頻率，并且i+N和ω^i+N=ωi+N]]>是峰Pi+N的相位和頻率
3.如權(quán)利要求1或2所述的用于恢復(fù)聲音信號(hào)的諧頻的方法(1)，其中，通過(guò)已知峰Pi與Pi+N的頻率之間的線性內(nèi)插，來(lái)估計(jì)缺失峰Pi+1到Pi+N-1的頻率
4.如權(quán)利要求1或2所述的用于恢復(fù)聲音信號(hào)的諧頻的方法(1)，其中，通過(guò)線性過(guò)去預(yù)測(cè)來(lái)估計(jì)缺失峰Pi+1到Pi+N-1的頻率
5.如權(quán)利要求1或2所述的用于恢復(fù)聲音信號(hào)的諧頻的方法(1)，其中，通過(guò)線性未來(lái)預(yù)測(cè)來(lái)估計(jì)缺失峰Pi+1到Pi+N-1的頻率
6.如權(quán)利要求1或2所述的用于恢復(fù)聲音信號(hào)的諧頻的方法(1)，其中，通過(guò)線性過(guò)去預(yù)測(cè)和線性未來(lái)預(yù)測(cè)的加權(quán)組合，來(lái)估計(jì)缺失峰Pi+1到Pi+N-1的頻率
7.如前面任一權(quán)利要求所述的用于恢復(fù)聲音信號(hào)的諧頻的方法(1)，還包括步驟通過(guò)已知峰Pi與Pi+N的幅度A之間的線性內(nèi)插，估計(jì)諧頻的缺失峰Pi+1到Pi+N-1中的每一個(gè)的幅度。
8.如權(quán)利要求1到6中任一個(gè)所述的用于恢復(fù)聲音信號(hào)的諧頻的方法(1)，還包括步驟通過(guò)線性過(guò)去預(yù)測(cè)來(lái)估計(jì)諧頻的缺失峰Pi+1到Pi+N-1中的每一個(gè)的幅度。
9.如權(quán)利要求1到6中任一個(gè)所述的用于恢復(fù)聲音信號(hào)的諧頻的方法(1)，還包括步驟通過(guò)線性未來(lái)預(yù)測(cè)來(lái)估計(jì)諧頻的缺失峰Pi+1到Pi+N-1中的每一個(gè)的幅度。
10.如權(quán)利要求1到6中任一個(gè)所述的用于恢復(fù)聲音信號(hào)的諧頻的方法(1)，還包括步驟通過(guò)線性過(guò)去預(yù)測(cè)和線性未來(lái)預(yù)測(cè)，來(lái)估計(jì)諧頻的缺失峰Pi+1到Pi+N-1中的每一個(gè)的幅度。
11.如前面任一權(quán)利要求所述的用于恢復(fù)聲音信號(hào)的諧頻的方法(1)，其中，相位校正在于將在時(shí)間i+N處的計(jì)算出的相位誤差err均勻分布到諧頻的所有缺失峰Pi+1到Pi+N-1之間。
12.如權(quán)利要求11所述的用于恢復(fù)聲音信號(hào)的諧頻的方法(1)，其中，相位校正是由等式確定的
13.如權(quán)利要求12所述的用于恢復(fù)聲音信號(hào)的諧頻的方法(1)，其中，相位校正是使用等式系統(tǒng)確定的如果 則 如果 則 否則
14.一種用于實(shí)現(xiàn)如前面任一權(quán)利要求所述的方法的聲音信號(hào)合成器，特征在于，它包括·用于估計(jì)該諧頻的缺失峰Pi+1到Pi+N-1中的每一個(gè)的頻率 的裝置；·用于對(duì)于之前估計(jì)的所有頻率 從峰Pi的相位到峰Pi+N的相位逐個(gè)峰地計(jì)算相位 的裝置；·用于計(jì)算在同一峰Pi+N處的計(jì)算出的相 與已知相位之間的相位誤差err的裝置；·用于將每個(gè)計(jì)算出的相位 校正一個(gè)其是相位誤差err的函數(shù)的值的裝置。
15.一種可直接加載到如權(quán)利要求14所述的合成器或合成器組的內(nèi)部存儲(chǔ)器中的計(jì)算機(jī)程序產(chǎn)品，該產(chǎn)品包括軟件代碼部分，用于當(dāng)在合成器或合成器組上執(zhí)行程序時(shí)，執(zhí)行如權(quán)利要求1到13中任一個(gè)所述的方法(1)的步驟。
16.一種可在如權(quán)利要求14所述的合成器或合成器組中使用的介質(zhì)，其上存儲(chǔ)有可直接加載到合成器或合成器組的內(nèi)部存儲(chǔ)器中的計(jì)算機(jī)程序產(chǎn)品，該產(chǎn)品包括軟件代碼部分，用于當(dāng)在合成器或合成器組上執(zhí)行程序時(shí)，執(zhí)行如權(quán)利要求1到13中任一個(gè)所述的方法(1)的步驟。
全文摘要
本發(fā)明涉及一種用于恢復(fù)其頻率<i>O</i>和相位<i>？</i>
文檔編號(hào)G10L19/093GK1934618SQ200580008576
公開日2007年3月21日 申請(qǐng)日期2005年1月4日 優(yōu)先權(quán)日2004年1月20日
發(fā)明者讓－伯納德·勞爾特, 馬蒂厄·拉格蘭奇 申請(qǐng)人:法國(guó)電信公司