專利名稱：：韻律自適應(yīng)及語(yǔ)音合成的方法和裝置的制作方法
技術(shù)領(lǐng)域：
：本發(fā)明涉及信息處理技術(shù)，具體地，涉及利用計(jì)算機(jī)進(jìn)行數(shù)據(jù)驅(qū)動(dòng)的差分韻律自適應(yīng)模型的訓(xùn)練、差分韻律自適應(yīng)模型的生成和韻律預(yù)測(cè)的技術(shù)，以及語(yǔ)音合成^支術(shù)。
背景技術(shù)：
：一般地，語(yǔ)音合成技術(shù)包括文本分析、韻律預(yù)測(cè)和語(yǔ)音生成三個(gè)主要技術(shù)，其中韻律預(yù)測(cè)技術(shù)是指利用韻律自適應(yīng)模型預(yù)測(cè)合成語(yǔ)音的語(yǔ)調(diào)、節(jié)奏和時(shí)長(zhǎng)信息等韻律特征參數(shù)的技術(shù)。韻律自適應(yīng)模型是建立從與韻律預(yù)測(cè)相關(guān)的屬性到韻律向量的映射關(guān)系，其中與韻律預(yù)測(cè)相關(guān)的屬性包括語(yǔ)言、語(yǔ)音、情感/表情類型的屬性，并且韻律向量包括時(shí)長(zhǎng)和基頻等參數(shù)?，F(xiàn)有的韻律預(yù)測(cè)方法包括分類與回歸樹(ClassifyandRegressionTree,簡(jiǎn)稱CART)、高斯混合模型(GaussianMixtureModel,簡(jiǎn)稱GMM)和基于規(guī)則的方法。關(guān)于高斯混合模型(GMM)，在Dan誦ningJiang,WeiZhang，Li-qinShen和Lian-hongCai所著的文章"ProsodyAnalysisandModelingForEmotionalSpeechSynthesis"(發(fā)表于ICASSP，05，Vol.I，pp.281-284，Philadelphia,PA，USA)中進(jìn)行了詳細(xì)的描述。關(guān)于分類與回歸樹(CART)和高斯混合模型，還在JianhuaTao,YongguoKang和AijunLi所著的文章"ProsodyConversionFromNeutralSpeechtoEmotionalSpeech"(發(fā)表于IEEETRANSACTIONSONAUDIO,SPEECHANDLANGUAGEPROCESSING,VOL.14,NO.4，pp.1145-1154,JULY2006)中進(jìn)行了詳細(xì)的描述。8然而，這些方法存在以下的缺點(diǎn)1)現(xiàn)有的方法不能準(zhǔn)確而穩(wěn)定地表示韻律向量，從而使得韻律自適應(yīng)模型不靈活。2)現(xiàn)有的方法受到模型復(fù)雜度和訓(xùn)練數(shù)據(jù)規(guī)模之間的不平衡的限制。實(shí)際上，情感/表情語(yǔ)料庫(kù)中的訓(xùn)練數(shù)據(jù)十分有限。傳統(tǒng)模型的系數(shù)能通過數(shù)據(jù)驅(qū)動(dòng)方法計(jì)算得到，但是模型的屬性和屬性組合卻是用手工的方法設(shè)置的。那么，這種"部分的"數(shù)據(jù)驅(qū)動(dòng)的方法在一定程度上依賴于人的經(jīng)驗(yàn)。
發(fā)明內(nèi)容本發(fā)明正是基于上述技術(shù)問題而提出的，其提供了一種數(shù)據(jù)驅(qū)動(dòng)訓(xùn)練差分韻律自適應(yīng)4莫型的方法和裝置、生成差分韻律自適應(yīng)模型的方法和裝置、韻律預(yù)測(cè)方法和裝置、以及語(yǔ)音合成方法和裝置。根據(jù)本發(fā)明的一個(gè)方面，提供一種數(shù)據(jù)驅(qū)動(dòng)訓(xùn)練差分韻律自適應(yīng)模型的方法，包括用時(shí)長(zhǎng)和基頻的正交多項(xiàng)式的系數(shù)表示差分韻律向量；對(duì)于上述差分韻律向量中的每一個(gè)參數(shù)，利用與差分韻律預(yù)測(cè)相關(guān)的多個(gè)屬性和至少一部分上述屬性的組合生成一個(gè)初始參數(shù)預(yù)測(cè)模型，其中每個(gè)上述屬性或上述屬性的組合被作為一項(xiàng)；計(jì)算上述參數(shù)預(yù)測(cè)模型的每一上述項(xiàng)的重要性；刪除上述計(jì)算出的重要性最低的項(xiàng)；利用剩余的項(xiàng)重新生成參數(shù)預(yù)測(cè)才莫型；判斷上述重新生成的參數(shù)預(yù)測(cè)模型是否最優(yōu)；以及如果上述參數(shù)預(yù)測(cè)4莫型凈皮判斷為不是最優(yōu)，則重復(fù)上述計(jì)算每一項(xiàng)的重要性的步驟、上述刪除重要性最低的項(xiàng)的步驟、上述重新生成^lt預(yù)測(cè)模型的步驟和上述判斷上述重新生成的參數(shù)預(yù)測(cè)模型是否最優(yōu)的步驟；其中，上述差分韻律向量及其全部^t預(yù)測(cè)模型構(gòu)成差分韻律自適應(yīng)模型。根據(jù)本發(fā)明的另一個(gè)方面，提供一種生成差分韻律自適應(yīng)模型的方法，包括形成差分韻律向量的訓(xùn)練樣本集合；以及根據(jù)上述差分韻律向量的訓(xùn)練樣本集合，利用上述的數(shù)據(jù)驅(qū)動(dòng)訓(xùn)練差分韻律自適應(yīng)^t型的方法，生成差分韻律自適應(yīng)模型。2根據(jù)本發(fā)明的另一個(gè)方面，提供一種韻律預(yù)測(cè)方法，包括根據(jù)輸入的文本，獲得與中性韻律預(yù)測(cè)相關(guān)的多個(gè)屬性的值以及至少一部分與差分韻律預(yù)測(cè)相關(guān)的多個(gè)屬性的值；根據(jù)中性韻律預(yù)測(cè)模型，利用上述與中性韻律預(yù)測(cè)相關(guān)的多個(gè)屬性的值，計(jì)算中性韻律向量；根據(jù)差分韻律自適應(yīng)^t型，利用上述至少一部分與差分韻律預(yù)測(cè)相關(guān)的多個(gè)屬性的值以及預(yù)先確定的至少另一部分與差分韻律預(yù)測(cè)相關(guān)的多個(gè)屬性的值，計(jì)算差分韻律向量；以及計(jì)算上述中性韻律向量與上述差分韻律向量的和，以獲得相應(yīng)的韻律；其中，上述差分韻律自適應(yīng)模型是利用上述的生成差分韻律自適應(yīng)^f莫型的方法生成的。根據(jù)本發(fā)明的另一個(gè)方面，提供一種語(yǔ)音合成方法，包括對(duì)輸入的文本利用上述的韻律預(yù)測(cè)方法，預(yù)測(cè)韻律；以及根據(jù)上述所預(yù)測(cè)的韻律，進(jìn)行語(yǔ)音合成。根據(jù)本發(fā)明的另一個(gè)方面，提供一種數(shù)據(jù)驅(qū)動(dòng)訓(xùn)練差分韻律自適應(yīng)模型的裝置，包括初始模型生成單元，其用時(shí)長(zhǎng)和基頻的正交多項(xiàng)式的系數(shù)表示差分韻律向量，并對(duì)于上述差分韻律向量中的每一個(gè)參數(shù)，利用與差分韻律預(yù)測(cè)相關(guān)的多個(gè)屬性和至少一部分上述屬性的組合生成一個(gè)初始參數(shù)預(yù)測(cè)模型，其中每個(gè)上述屬性或上述屬性的組合被作為一項(xiàng)；重要性計(jì)算單元，用于計(jì)算上述參數(shù)預(yù)測(cè)模型的每一上述項(xiàng)的重要性；項(xiàng)刪除單元，用于刪除上述計(jì)算出的重要性最低的項(xiàng)；模型再生成單元，用于利用由上述項(xiàng)刪除單元?jiǎng)h除后剩余的項(xiàng)重新生成參數(shù)預(yù)測(cè)模型；以及優(yōu)化判斷單元，用于判斷由上述模型再生成單元重新生成的M預(yù)測(cè)模型是否最優(yōu)；其中，上述差分韻律向量及其全部參數(shù)預(yù)測(cè)模型構(gòu)成差分韻律自適應(yīng)模型。根據(jù)本發(fā)明的另一個(gè)方面，提供一種生成差分韻律自適應(yīng)模型的裝置，包括差分韻律向量的訓(xùn)練樣本集合；以及上述的數(shù)據(jù)驅(qū)動(dòng)訓(xùn)練差分韻律自適應(yīng)模型的裝置，其根據(jù)上述差分韻律向量的訓(xùn)練樣本集合訓(xùn)練差^律自適應(yīng)模型。根據(jù)本發(fā)明的另一個(gè)方面，提供一種韻律預(yù)測(cè)裝置，包括中性韻律預(yù)測(cè)模型；利用上述的生成差分韻律自適應(yīng)模型的裝置生成的差分韻律自10適應(yīng)模型；屬性獲得單元，用于根據(jù)輸入的文本獲得與中性韻律預(yù)測(cè)相關(guān)的多個(gè)屬性的值以及至少一部分與差分韻律預(yù)測(cè)相關(guān)的多個(gè)屬性的值；中性韻律向量預(yù)測(cè)單元，用于根據(jù)上述中性韻律預(yù)測(cè)模型，利用上述與中性韻律預(yù)測(cè)相關(guān)的多個(gè)屬性的值，計(jì)算中性韻律向量；差分韻律向量預(yù)測(cè)單元，用于根據(jù)上述差分韻律自適應(yīng)模型，利用上述至少一部分與差分韻律預(yù)測(cè)相關(guān)的多個(gè)屬性的值以及預(yù)先確定的至少另一部分與差分韻律預(yù)測(cè)相關(guān)的多個(gè)屬性的值，計(jì)算差分韻律向量；以及韻律預(yù)測(cè)單元，用于計(jì)算上述中性韻律向量與上述差分韻律向量的和，以獲得相應(yīng)的韻律。才艮據(jù)本發(fā)明的另一個(gè)方面，拔^供一種語(yǔ)音合成裝置，包括上述的韻律預(yù)測(cè)裝置；并且根據(jù)由上述韻律預(yù)測(cè)裝置預(yù)測(cè)的韻律，進(jìn)行語(yǔ)音合成。圖1是根據(jù)本發(fā)明的一個(gè)實(shí)施例的數(shù)據(jù)驅(qū)動(dòng)訓(xùn)練差分韻律自適應(yīng)模型的方法的流程圖2是根據(jù)本發(fā)明的一個(gè)實(shí)施例的生成差分韻律自適應(yīng)模型的方法的流程圖3是根據(jù)本發(fā)明的一個(gè)實(shí)施例的韻律預(yù)測(cè)方法的流程圖；圖4是根據(jù)本發(fā)明的一個(gè)實(shí)施例的語(yǔ)音合成方法的流程圖；圖5是根據(jù)本發(fā)明的一個(gè)實(shí)施例的數(shù)據(jù)驅(qū)動(dòng)訓(xùn)練差分韻律自適應(yīng)模型的裝置的示意性方框圖6是根據(jù)本發(fā)明的一個(gè)實(shí)施例的生成差分韻律自適應(yīng)模型的裝置的示意性方框圖7是才艮據(jù)本發(fā)明的一個(gè)實(shí)施例的韻律預(yù)測(cè)裝置的示意性方框圖；圖8是根據(jù)本發(fā)明的一個(gè)實(shí)施例的語(yǔ)音合成裝置的示意性方框圖。具體實(shí)施例方式相信通過以下結(jié)合附圖對(duì)本發(fā)明的具體實(shí)施例的詳細(xì)描述，本發(fā)明的上述和其它目的、特征和優(yōu)點(diǎn)將變得更加明顯。為了便于后面實(shí)施例的理解，首先筒要介紹一下廣義線性模型(GeneralizedLinearModel,簡(jiǎn)稱GLM)和貝葉斯信息準(zhǔn)則(BayesInformationCriterion,筒稱BIC)的原理。GLM是對(duì)多元線性回歸模型的一種擴(kuò)展。GLM參數(shù)預(yù)測(cè)模型通過語(yǔ)音單元s的屬性A，預(yù)測(cè)出參數(shù)3，相應(yīng)的定義如公式(1)。di"i+ei=h-'(A+l^fj(A))+ei(1)其中，h表示鏈接函數(shù)。二般地，可以假定d滿足指數(shù)族分布。為了使d滿足不同的指數(shù)族分布，只需要設(shè)定相應(yīng)的鏈接函數(shù)。GLM既能進(jìn)行線性建模，也能進(jìn)行非線性建模。比較模型的性能需要有判別標(biāo)準(zhǔn)。越簡(jiǎn)單的模型對(duì)集外數(shù)據(jù)預(yù)測(cè)的穩(wěn)定性越高，而越復(fù)雜的模型對(duì)集內(nèi)數(shù)據(jù)的擬合程度越高。BIC是一種常見的評(píng)價(jià)標(biāo)準(zhǔn)，它綜合了以上對(duì)擬合精度和模型可靠性的度量，定義如公式(2)。BIC=Nlog(SSE/N)+plogN(2)其中，SSE表示預(yù)測(cè)誤差e的平方和。公式(2)的第一項(xiàng)表示模型的擬合精度，第二項(xiàng)表示對(duì)模型復(fù)雜度的懲罰。當(dāng)訓(xùn)練樣本數(shù)N—定時(shí)，越復(fù)雜的模型的參數(shù)個(gè)數(shù)p越大，對(duì)訓(xùn)練數(shù)據(jù)就擬合得越好，相應(yīng)的SSE就越小，第一項(xiàng)就越小，而第二項(xiàng)就增大。反之亦然。公式中一項(xiàng)的減小總是導(dǎo)致另一項(xiàng)的增大，當(dāng)兩項(xiàng)和最小時(shí)，表示模型"最優(yōu)"。BIC能在模型復(fù)雜度和數(shù)據(jù)M^莫之間取得一個(gè)不錯(cuò)的平衡，這有助于解決數(shù)據(jù)稀疏和屬性協(xié)同作用的問題。下面就結(jié)合附圖對(duì)本發(fā)明的各個(gè)優(yōu)選實(shí)施例進(jìn)行詳細(xì)的說(shuō)明。圖1是根據(jù)本發(fā)明的一個(gè)實(shí)施例的數(shù)據(jù)驅(qū)動(dòng)訓(xùn)練差分韻律自適應(yīng)模型的方法的流程圖。如圖1所示，首先在步驟ioi，用時(shí)長(zhǎng)和基頻的正交多項(xiàng)式的系M示差分韻律向量。在本實(shí)施例中，差分韻律向量用于表示情感/表情韻律數(shù)據(jù)與中性韻律數(shù)據(jù)之間的差。具體地，在本實(shí)施例中，差分韻律向量中的基頻的正交多項(xiàng)式可以選用二階(或更高階的)勒讓德正交多項(xiàng)式。此多項(xiàng)式可以看作是文獻(xiàn)(X.Sun著的"F0generationforspeechsynthesisusingamulti-tierapproach"，發(fā)表于InProc.ICSLP，02，pp.2077-2080)中描述的高階多項(xiàng)式的低階泰勒展開。此外，正交多項(xiàng)式在數(shù)學(xué)和物理問題中具有優(yōu)良的性質(zhì)。在此提出的基頻的正交多項(xiàng)式表示與上面的文獻(xiàn)中的高階多項(xiàng)式有兩點(diǎn)重要的區(qū)別，其一是用拋物線逼近代替泰勒指數(shù)逼近，其二是將段長(zhǎng)歸一到[-l,l]的區(qū)間。這些變化能幫助提高參數(shù)化時(shí)的擬合性能。勒讓德多項(xiàng)式表示如下。正交多項(xiàng)式族的區(qū)間t屬于[-l，l，它們之間滿足公式(3)表示的正交關(guān)系。J二、(,)尸"(O力=^柳c(3)f1,w/zewm=wL0,vw/^wm#w(4)這里，5細(xì)是克羅內(nèi)克爾符號(hào)，g=2/(2h+1)，前三階的多項(xiàng)式如式(5)誦(7)所示。戶。(O=l(5)Pi(《)=,(6)接下來(lái)，對(duì)于每一個(gè)音節(jié)定義H《)=a。p。(f)+a,;,(O(8)F(0=a。/o(f)+alj0l(0+a2p2(0(9)這里，r"J表示潛在的基頻目標(biāo)，F(xiàn)"J表示基頻的包絡(luò)。勒讓德多項(xiàng)式的系數(shù)ao和A表示目標(biāo)基頻的截距和斜率，另一系數(shù)32表示二次逼近的系數(shù)。接著，在步驟105，對(duì)于差分韻律向量中的每一個(gè)員，即時(shí)長(zhǎng)t、基頻的正交多項(xiàng)式系數(shù)ao、a!和a2，分別生成一個(gè)初始^預(yù)測(cè)模型。在本實(shí)施例中，利用廣義線性模型GLM表示每個(gè)初始參數(shù)預(yù)測(cè)模型。參數(shù)t、13a0、ai和a2對(duì)應(yīng)的GLM才莫型分別為、=/r'("。+f+(10)a。，=、■+e,.=/T1(〃。^《+e,.(11)a,,4U+e,.=+fA/)(J))+(12)^/、a2,=a2,+e,=;r'(々。+$+(13)下面首先針對(duì)Mt的GLM^挺型(10)進(jìn)行說(shuō)明。具體地，利用與差分韻律預(yù)測(cè)相關(guān)的多個(gè)屬性和這些屬性的組合，生成參數(shù)t的初始*預(yù)測(cè)模型。與差分韻律預(yù)測(cè)相關(guān)的屬性可以包括許多，大致可分為語(yǔ)言類型的屬性、語(yǔ)音類型的屬性和情感/表情類型的屬性，具體可包括情感/表情狀態(tài)(例如高興、悲傷、憤怒等)、中文字在句子中的位置(例如句首、句尾等)、聲調(diào)和句子類型(例如陳述句、感嘆句、疑問句、祈使句等)。在本實(shí)施例中，采用GLM才莫型來(lái)表示這些屬性和屬性組合。為了便于說(shuō)明，假定與差分韻律預(yù)測(cè)相關(guān)的屬性只有情感/表情狀態(tài)(Emotion/ExpressionStatus)和聲調(diào)(Tone)。那么，初始參數(shù)預(yù)測(cè)才莫型的形式如下parameter~Emotion/ExpressionStatus+Tone+Emotion/ExpressionStatus*Tone,其中Emotion/ExpressionStatus*Tone表示Emotion/ExpressionStatus和Tone的組合，是一個(gè)2階項(xiàng)?？梢岳斫?，當(dāng)屬性的數(shù)量增加時(shí)，作為屬性組合可以出現(xiàn)多個(gè)2階項(xiàng)、3階項(xiàng)等等。另外，在本實(shí)施例中，在生成初始M預(yù)測(cè)模型時(shí)，可以只取其中一部分的屬性組合，例如只取到全部的2階項(xiàng)；當(dāng)然，也可以取到3階項(xiàng)或?qū)⑷康膶傩越M合加入到初始參數(shù)預(yù)測(cè)模型中?？傊诔跏紖?shù)預(yù)測(cè)模型中包括全部的單獨(dú)屬性(1階項(xiàng))和至少一部分的屬性組合(2階項(xiàng)或多階項(xiàng))。這樣，初始#預(yù)測(cè)模型可以利用很簡(jiǎn)單的規(guī)則來(lái)自動(dòng)生成，而不是如現(xiàn)有技術(shù)那樣，根據(jù)經(jīng)驗(yàn)手工設(shè)定。然后，在步驟110,利用F檢驗(yàn)(F-test)計(jì)算初始參數(shù)預(yù)測(cè)模型中每一項(xiàng)的重要性。關(guān)于F檢驗(yàn)，作為一種已知的標(biāo)準(zhǔn)統(tǒng)計(jì)方法，在盛驟，謝14式千，潘乘毅編的《概率論與數(shù)理統(tǒng)計(jì)》(2000第二版，高等教育出版社)中已經(jīng)有詳細(xì)的說(shuō)明，在此不再重復(fù)。應(yīng)當(dāng)指出，雖然在本實(shí)施中使用的是F檢驗(yàn)，但是，其它的統(tǒng)計(jì)方法也可以使用，例如，Chisq^est等等。接著，在步驟115，從初始^t預(yù)測(cè)模型中刪除F檢驗(yàn)得分最低的項(xiàng)。然后，在步驟120，利用剩余的項(xiàng)，重新生成參數(shù)預(yù)測(cè)模型。接著，在步驟125,計(jì)算重新生成的參數(shù)預(yù)測(cè)模型的BIC值，利用前面所述的方法判斷該模型是否為最優(yōu)。如果步驟125的判斷結(jié)果為"是"，則將該新生成的參數(shù)預(yù)測(cè)模型作為最佳模型，并在步驟130結(jié)束。如果步驟125的判斷結(jié)果為"否"，則返回到步驟110，再次計(jì)算該重新生成的參數(shù)預(yù)測(cè)模型的每一項(xiàng)的重要性，刪除重要性最低的項(xiàng)(步驟115)，并利用剩余的項(xiàng)重新生成模型(步驟120)，直到獲得最佳參數(shù)預(yù)測(cè)模型。對(duì)于其它參數(shù)ao、^和a2的參數(shù)預(yù)測(cè)模型，根據(jù)與Mt相同的上述步驟進(jìn)行訓(xùn)練。最終，得到參數(shù)t、a。、^和a2的四個(gè)GLM參數(shù)預(yù)測(cè)模型，它們和差分韻律向量共同構(gòu)成差分韻律自適應(yīng)模型。通過以上說(shuō)明可以看出，在較小語(yǔ)料庫(kù)的條件下，本實(shí)施例能夠構(gòu)建準(zhǔn)確而可靠的基于GLM的差分韻律自適應(yīng)模型，并且使用時(shí)長(zhǎng)和基頻的正交多項(xiàng)式的系數(shù)以準(zhǔn)確而穩(wěn)定地表示差分韻律向量。本實(shí)施例利用了基于廣義線性模型(GLM)的建模方法和基于F檢驗(yàn)(F-test)和貝葉斯信息準(zhǔn)則(BIC)的逐步回歸(stepwiseregression)的屬性選擇方法訓(xùn)練差分韻律自適應(yīng)模型。由于本實(shí)施例的GLM模型結(jié)構(gòu)靈活，容易實(shí)現(xiàn)對(duì)訓(xùn)練數(shù)據(jù)的自適應(yīng)，從而解決了數(shù)據(jù)稀疏問題。進(jìn)而，通過逐步回歸的方法能夠自動(dòng)地選出重要屬性協(xié)同作用項(xiàng)。在同一發(fā)明構(gòu)思下，圖2是根據(jù)本發(fā)明一個(gè)實(shí)施例的生成差分韻律自適應(yīng)模型的方法的流程圖。下面就結(jié)合該圖，對(duì)本實(shí)施例進(jìn)行描述。對(duì)于那些與前面實(shí)施例相同的部分，適當(dāng)省略其說(shuō)明。利用本實(shí)施例的方法生成的差分韻律自適應(yīng)模型將被用于后面結(jié)合其它實(shí)施例描述的韻律預(yù)測(cè)方法及裝置和語(yǔ)音合成方法及裝置。如圖2所示，首先在步驟201,形成差分韻律向量的訓(xùn)練樣本集合。差分韻律向量的訓(xùn)練樣本集合是用于訓(xùn)練差分韻律自適應(yīng)模型的訓(xùn)練數(shù)據(jù)。如前所述，差分韻律向量是情感/表情語(yǔ)料庫(kù)中的情感/表情數(shù)據(jù)與中性韻律數(shù)據(jù)的差，因此，差分韻律向量的訓(xùn)練樣本集合是基于情感/表情語(yǔ)料庫(kù)和中性語(yǔ)料庫(kù)而形成的。具體地，在步驟2011，根據(jù)中性語(yǔ)料庫(kù)，獲取用時(shí)長(zhǎng)和基頻的正交多項(xiàng)式的系數(shù)表示的中性韻律向量。接著，在步驟2015，根據(jù)情感/表情語(yǔ)料庫(kù)，獲取用時(shí)長(zhǎng)和基頻的正交多項(xiàng)式的系數(shù)表示的情感/表情韻律向量。然后，在步驟2018，計(jì)算在步驟2015中獲得的情感/表情韻律向量與在步驟2011中獲得的中性韻律向量之間的差，以形成差分韻律向量的訓(xùn)練樣本集合。接著，在步驟205，根據(jù)所形成的差分韻律向量的訓(xùn)練樣本集合，利用圖l所示的實(shí)施例的數(shù)據(jù)驅(qū)動(dòng)訓(xùn)練差分韻律自適應(yīng)模型的方法，生成差分韻律自適應(yīng)模型。具體地，從差分韻律向量的訓(xùn)練樣本集合中提取每個(gè)參數(shù)的訓(xùn)練樣本，對(duì)每個(gè)參數(shù)的參數(shù)預(yù)測(cè)模型進(jìn)行訓(xùn)練，以獲得每個(gè)參數(shù)的最優(yōu)參數(shù)預(yù)測(cè)模型。這樣，每個(gè)參數(shù)的最優(yōu)參數(shù)預(yù)測(cè)模型和差分韻律向量共同構(gòu)成差分韻律自適應(yīng)才莫型通過以上描述可以看出，本實(shí)施例的生成差分韻律自適應(yīng)才莫型的方法根據(jù)通過情感/表情語(yǔ)料庫(kù)與中性語(yǔ)料庫(kù)構(gòu)成的訓(xùn)練樣本集合，利用前面實(shí)施例的訓(xùn)練差分韻律自適應(yīng)模型的方法，生成差分韻律自適應(yīng)模型。利用本實(shí)施例所生成的差分韻律自適應(yīng)模型，容易實(shí)現(xiàn)對(duì)訓(xùn)練數(shù)據(jù)的自適應(yīng)，解決數(shù)據(jù)稀疏的問題，并能夠自動(dòng)的選出重要屬性協(xié)同作用項(xiàng)。在同一發(fā)明構(gòu)思下，圖3根據(jù)本發(fā)明的一個(gè)實(shí)施例的韻律預(yù)測(cè)方法的流程圖。下面結(jié)合該圖對(duì)本實(shí)施例進(jìn)行描述，對(duì)于那些與前面實(shí)施例相同的部分，適當(dāng)省略其說(shuō)明。如圖3所示，首先在步驟301，根據(jù)輸入的文本，獲得與中性韻律預(yù)測(cè)相關(guān)的多個(gè)屬性的值以及至少一部分與差分韻律預(yù)測(cè)相關(guān)的多個(gè)屬性的值。具體地，這些屬性的值可以從輸入的文本中直接獲得，或者經(jīng)過語(yǔ)法分析、句法分析等獲得。需要指出，本實(shí)施例可以采用任何已知的和未來(lái)的方法來(lái)獲得這些相應(yīng)的屬性，而并不限于某種特定的方式，并且獲得方式還與屬性的選擇相對(duì)應(yīng)。在本實(shí)施例中，與中性韻律預(yù)測(cè)相關(guān)的多個(gè)屬性包括語(yǔ)言類型和語(yǔ)音類型的屬性。下面的表1示例性地列舉了一些可以作為與中性韻律預(yù)測(cè)相關(guān)的屬性的屬性。表1:與中性韻律預(yù)測(cè)相關(guān)的屬性<table>tableseeoriginaldocumentpage17</column></row><table>SpRate語(yǔ)速(Speakingrate)如前所述，與差分韻律預(yù)測(cè)相關(guān)的屬性可包括情感/表情狀態(tài)、中文字在句子中的位置、聲調(diào)和句子類型。然而，"情感/表情狀態(tài)"屬性的值不能從輸入的文本中獲得，而是由用戶預(yù)先根據(jù)需要確定。即，根據(jù)輸入的文本，可以獲得"中文字在句子中的位置"、"聲調(diào)"和"句子類型"這三個(gè)屬性的值。然后，在步驟305，根據(jù)中性韻律預(yù)測(cè)模型，利用在步驟301中獲得得與中性韻律預(yù)測(cè)相關(guān)的多個(gè)屬性的值，計(jì)算中性韻律向量。在本實(shí)施例中，中性韻律預(yù)測(cè)模型是預(yù)先根據(jù)中性語(yǔ)料庫(kù)訓(xùn)練好的。接著，在步驟310，根據(jù)差分韻律自適應(yīng)模型，利用在步驟301中獲得的至少一部分與差分韻律預(yù)測(cè)相關(guān)的多個(gè)屬性的值以及預(yù)先確定的至少另一部分與差分韻律預(yù)測(cè)相關(guān)的多個(gè)屬性的值，計(jì)算差分韻律向量。其中，差分韻律自適應(yīng)模型是利用圖2所示的實(shí)施例的生成差分韻律自適應(yīng)模型的方法生成的。最后，在步驟315，計(jì)算在步驟305中得到的中性韻律向量與在步驟310中得到的差分韻律向量的和，從而獲得相應(yīng)的韻律。通過以上描述可以看出，本實(shí)施例的韻律預(yù)測(cè)方法利用中性韻律預(yù)測(cè)模型和由前面實(shí)施例的生成差分韻律自適應(yīng)模型的方法生成的差分韻律自適應(yīng)模型，通過用差分韻律補(bǔ)償中性韻律來(lái)預(yù)測(cè)韻律，能夠靈活、準(zhǔn)確地預(yù)測(cè)韻律，并且容易實(shí)現(xiàn)對(duì)訓(xùn)練數(shù)據(jù)的自適應(yīng)，解決了數(shù)據(jù)稀疏問題。在同一發(fā)明構(gòu)思下，圖4是根據(jù)本發(fā)明的一個(gè)實(shí)施例的語(yǔ)音合成方法的流程圖。下面結(jié)合該圖，對(duì)本發(fā)明的實(shí)施例進(jìn)行描述。對(duì)于那些與前面實(shí)施例相同的部分，適當(dāng)省略其說(shuō)明。如圖4所示，首先在步驟401，利用前面實(shí)施例描述的韻律預(yù)測(cè)方法，對(duì)輸入的文本預(yù)測(cè)韻律。接著，在步驟405，根據(jù)上述所預(yù)測(cè)的韻律，進(jìn)4亍語(yǔ)音合成。通過以上的說(shuō)明可知，由于本實(shí)施的語(yǔ)音合成方法采用了前面實(shí)施例的韻律預(yù)測(cè)方法來(lái)預(yù)測(cè)韻律，進(jìn)而根據(jù)所預(yù)測(cè)的韻律進(jìn)行語(yǔ)音合成，所以，容易實(shí)現(xiàn)對(duì)訓(xùn)練數(shù)據(jù)的自適應(yīng)，解決了數(shù)據(jù)稀疏問題。因此，本實(shí)施例的語(yǔ)音合成方法可以更準(zhǔn)確并且自動(dòng)地進(jìn)行語(yǔ)音合成，生成的語(yǔ)音更合理、易懂。在同一發(fā)明構(gòu)思下，圖5是根據(jù)本發(fā)明的一個(gè)實(shí)施例的數(shù)據(jù)驅(qū)動(dòng)訓(xùn)練差分韻律自適應(yīng)模型的裝置的示意性方框圖。下面結(jié)合該圖對(duì)本實(shí)施例進(jìn)行詳細(xì)描述。對(duì)于那些與前面實(shí)施例相同的部分，適當(dāng)省略其說(shuō)明。如圖5所示，本實(shí)施例的數(shù)據(jù)驅(qū)動(dòng)訓(xùn)練差分韻律自適應(yīng)模型的裝置500包括初始^=莫型生成單元501，其用時(shí)長(zhǎng)和基頻的正交多項(xiàng)式的系數(shù)表示差分韻律向量，并對(duì)于差分韻律向量中的每一個(gè)參數(shù)，利用與差^律預(yù)測(cè)相關(guān)的多個(gè)屬性和至少一部分上述屬性的組合生成一個(gè)初始參數(shù)預(yù)測(cè)模型，其中每個(gè)上述屬性或上述屬性的組合被作為一項(xiàng)；重要性計(jì)算單元502，其計(jì)算上述M預(yù)測(cè)模型的每一上述項(xiàng)的重要性；項(xiàng)刪除單元503,用于刪除上述計(jì)算出的重要性最低的項(xiàng)；模型再生成單元504，用于利用由項(xiàng)刪除單元503刪除后剩余的項(xiàng)重新生成參數(shù)預(yù)測(cè)模型；以及優(yōu)化判斷單元505,用于判斷由模型再生成單元504重新生成的參數(shù)預(yù)測(cè)模型是否最優(yōu)；其中，上述差分韻律向量及其全部參數(shù)預(yù)測(cè)才莫型構(gòu)成差分韻律自適應(yīng)模型。與前面實(shí)施例的描勤目同，在本實(shí)施例中，用時(shí)長(zhǎng)和基頻的正交多項(xiàng)式的系數(shù)表示差分韻律向量，并分別為差分韻律向量的每個(gè)參數(shù)t、a。、ai和a2建立一個(gè)GLM參數(shù)預(yù)測(cè)模型。分別對(duì)每個(gè)參數(shù)預(yù)測(cè)模型進(jìn)行訓(xùn)練，以得到每個(gè)參數(shù)t、aQ、&1和a2的最優(yōu)參數(shù)預(yù)測(cè)模型，它們和該差分韻律向量共同構(gòu)成差^律自適應(yīng)模型。如前所述，與差分韻律預(yù)測(cè)相關(guān)的多個(gè)屬性包括語(yǔ)言類型、語(yǔ)音類型和情感類型的屬性，例如，包括從情感狀態(tài)、中文字在句子中的位置、聲調(diào)和句子類型中選擇的任意多個(gè)屬性。進(jìn)一步地，重要性計(jì)算單元502利用F檢驗(yàn)(F-test)計(jì)算每一項(xiàng)的重要性。進(jìn)一步地，優(yōu)化判斷單元505利用貝葉斯信息準(zhǔn)則(BIC)判斷上述19重新生成的參數(shù)預(yù)測(cè)模型是否最優(yōu)。另外，才艮據(jù)本發(fā)明的一個(gè)優(yōu)選實(shí)施例，至少一部分上述屬性的組合包括多個(gè)與韻律預(yù)測(cè)相關(guān)的屬性的全部2階的屬性組合。在此，應(yīng)當(dāng)指出，本實(shí)施例的數(shù)據(jù)驅(qū)動(dòng)訓(xùn)練差^律自適應(yīng)模型的裝置500及其各個(gè)組成部分可以用專用的電路或芯片構(gòu)成，也可以通過計(jì)算機(jī)(處理器)執(zhí)行相應(yīng)的程序來(lái)實(shí)現(xiàn)。并且，本實(shí)施例的數(shù)據(jù)驅(qū)動(dòng)訓(xùn)練差分韻律自適應(yīng)模型的裝置500在操作上實(shí)現(xiàn)圖1所示的實(shí)施例的數(shù)據(jù)驅(qū)動(dòng)訓(xùn)練差分韻律自適應(yīng)模型的方法。在同一發(fā)明構(gòu)思下，圖6是根據(jù)本發(fā)明的一個(gè)實(shí)施例的生成差分韻律自適應(yīng)模型的裝置的示意性方框圖。下面結(jié)合該圖對(duì)本實(shí)施例進(jìn)行詳細(xì)描述。對(duì)于那些與前面實(shí)施例相同的部分，適當(dāng)省略其說(shuō)明。如圖6所示，本實(shí)施例的生成差分韻律自適應(yīng)模型的裝置600包括差分韻律向量的訓(xùn)練樣本集合601;以及數(shù)據(jù)驅(qū)動(dòng)訓(xùn)練差分韻律自適應(yīng)模型的裝置，其可以是圖5所示的實(shí)施例描述的數(shù)據(jù)驅(qū)動(dòng)訓(xùn)練差分韻律自適應(yīng)模型的裝置500，該裝置500根據(jù)差分韻律向量的訓(xùn)練樣本集合601訓(xùn)練差分韻律自適應(yīng)模型。進(jìn)一步地，本實(shí)施例的生成差分韻律自適應(yīng)才莫型的裝置600還包括中性語(yǔ)料庫(kù)602，其包含中性語(yǔ)料；中性韻律向量獲取單元603，其才艮據(jù)中性語(yǔ)料庫(kù)602，獲得用時(shí)長(zhǎng)和基頻的正交多項(xiàng)式的系數(shù)表示的中性韻律向量；情感/表情語(yǔ)料庫(kù)604,其包含情感/表情語(yǔ)料；情感/表情韻律向量獲取單元605，其根據(jù)情感/表情語(yǔ)料庫(kù)604，獲得用時(shí)長(zhǎng)和基頻的正交多項(xiàng)式的系數(shù)表示的情感/表情韻律向量；以及差分韻律向量計(jì)算單元606，其計(jì)算由情感/表情韻律向量獲取單元605獲得的情感/表情韻律向量與由中性韻律向量獲取單元603獲得的中性韻律向量之間的差，并提供給差分韻律向量的訓(xùn)練樣本集合601。應(yīng)當(dāng)指出，本實(shí)施例中的生成差^律自適應(yīng)模型的裝置600及其各個(gè)組成部分可以用專用的電路或芯片構(gòu)成，也可以通過計(jì)算機(jī)(處理器)執(zhí)行相應(yīng)的程序來(lái)實(shí)現(xiàn)。并且，本實(shí)施例的生成差分韻律自適應(yīng)模型的裝20置600在操作上可以實(shí)現(xiàn)圖2所示的實(shí)施例的生成差分韻律自適應(yīng)^=莫型的方法。在同一發(fā)明構(gòu)思下，圖7是根據(jù)本發(fā)明的一個(gè)實(shí)施例的韻律預(yù)測(cè)裝置700的示意性方框圖。下面結(jié)合該圖對(duì)本實(shí)施例進(jìn)行詳細(xì)描述。對(duì)于那些與前面實(shí)施例相同的部分，適當(dāng)省略其說(shuō)明。如圖7所示，本實(shí)施例的韻律預(yù)測(cè)裝置，包括中性韻律預(yù)測(cè)模型701，其是利用中性語(yǔ)料預(yù)先訓(xùn)練好的；差分韻律自適應(yīng)模型702，其由前面實(shí)施例描述的生成差分韻律自適應(yīng)模型的裝置600生成；屬性獲得單元703，其根據(jù)輸入的文本獲得與中性韻律預(yù)測(cè)相關(guān)的多個(gè)屬性的值以及至少一部分與差分韻律預(yù)測(cè)相關(guān)的多個(gè)屬性的值；中性韻律向量預(yù)測(cè)單元704，其根據(jù)中性韻律預(yù)測(cè)模型701，利用由屬性獲得單元703獲得的與中性韻律預(yù)測(cè)相關(guān)的多個(gè)屬性的值，計(jì)算中性韻律向量；差分韻律向量預(yù)測(cè)單元705，其根據(jù)差分韻律自適應(yīng)模型702，利用由屬性獲得單元703獲得的至少一部分與差分韻律預(yù)測(cè)相關(guān)的多個(gè)屬性的值以及預(yù)先確定的至少另一部分與差分韻律預(yù)測(cè)相關(guān)的多個(gè)屬性的值，計(jì)算差^律向量；以及韻律預(yù)測(cè)單元706，其計(jì)算由中性韻律向量預(yù)測(cè)單元704計(jì)算出的中性韻律向量與由差分韻律向量預(yù)測(cè)單元705計(jì)算出的差^l律向量的和，以獲得相應(yīng)的韻律。在本實(shí)施例中，與中性韻律預(yù)測(cè)相關(guān)的多個(gè)屬性包括語(yǔ)言類型和語(yǔ)音類型的屬性，例如，包括從前面表l中選擇的任意多個(gè)屬性。如前所述，與差分韻律預(yù)測(cè)相關(guān)的多個(gè)屬性包括情感/表情狀態(tài)、中文字在句子中的位置、聲調(diào)和句子類型。然而，"情感/表情狀態(tài)，，屬性的值不能從輸入的文本中獲得，而是由用戶預(yù)先根據(jù)需要確定。即，屬性獲得單元703才艮據(jù)輸入的文本可以獲得"中文字在句子中的位置"、"聲調(diào)，，和"句子類型"這三個(gè)與差分韻律預(yù)測(cè)相關(guān)的屬性的值。應(yīng)當(dāng)指出，本實(shí)施例中的韻律預(yù)測(cè)裝置700及其各個(gè)組成部分可以用專用的電路或芯片構(gòu)成，也可以通過計(jì)算機(jī)(處理器)執(zhí)行相應(yīng)的程序來(lái)實(shí)現(xiàn)。并且，本實(shí)施例的韻律預(yù)測(cè)裝置700在IMt上可以實(shí)現(xiàn)圖3所示的實(shí)施例的韻律預(yù)測(cè)方法。在同一發(fā)明構(gòu)思下，圖8是根據(jù)本發(fā)明一個(gè)實(shí)施例的語(yǔ)音合成裝置的方框圖。下面就結(jié)合該圖，對(duì)本實(shí)施例進(jìn)行描述。對(duì)于那些與前面實(shí)施例相同的部分，適當(dāng)省略其說(shuō)明。如圖8所示，本實(shí)施例的語(yǔ)音合成裝置800包括韻律預(yù)測(cè)裝置700，其可以是前面實(shí)施例中描述的韻律預(yù)測(cè)裝置；以及語(yǔ)音合成器801，其可以是現(xiàn)有技術(shù)的語(yǔ)音合成器，并根據(jù)由韻律預(yù)測(cè)裝置700預(yù)測(cè)的韻律，進(jìn)行語(yǔ)音合成。在此，應(yīng)當(dāng)指出，本實(shí)施例中的語(yǔ)音合成裝置800及其各個(gè)組成部分可以用專用的電路或芯片構(gòu)成，也可以通過計(jì)算機(jī)(處理器)執(zhí)行相應(yīng)的程序來(lái)實(shí)現(xiàn)。并且，本實(shí)施例的語(yǔ)音合成裝置800在操作上可以實(shí)現(xiàn)圖4所示實(shí)施例的語(yǔ)音合成方法。以上雖然通過一些示例性的實(shí)施例詳細(xì)描述了本發(fā)明的數(shù)據(jù)驅(qū)動(dòng)訓(xùn)練差分韻律自適應(yīng)才莫型的方法和裝置、生成差分韻律自適應(yīng)模型的方法和裝置、韻律預(yù)測(cè)的方法和裝置以及語(yǔ)音合成的方法和裝置，但是以上這些實(shí)施例并不是窮舉的，本領(lǐng)域技術(shù)人員可以在本發(fā)明的精神和范圍內(nèi)實(shí)現(xiàn)各種變化和修改。因此，本發(fā)明并不限于這些實(shí)施例，本發(fā)明的范圍僅由所附的權(quán)利要求限定。2權(quán)利要求1.一種數(shù)據(jù)驅(qū)動(dòng)訓(xùn)練差分韻律自適應(yīng)模型的方法，包括用時(shí)長(zhǎng)和基頻的正交多項(xiàng)式的系數(shù)表示差分韻律向量；對(duì)于上述差分韻律向量中的每一個(gè)參數(shù)，利用與差分韻律預(yù)測(cè)相關(guān)的多個(gè)屬性和至少一部分上述屬性的組合生成一個(gè)初始參數(shù)預(yù)測(cè)模型，其中每個(gè)上述屬性或上述屬性的組合被作為一項(xiàng)；計(jì)算上述參數(shù)預(yù)測(cè)模型的每一上述項(xiàng)的重要性；刪除上述計(jì)算出的重要性最低的項(xiàng)；利用剩余的項(xiàng)重新生成參數(shù)預(yù)測(cè)模型；判斷上述重新生成的參數(shù)預(yù)測(cè)模型是否最優(yōu)；以及如果上述參數(shù)預(yù)測(cè)模型被判斷為不是最優(yōu)，則重復(fù)上述計(jì)算每一項(xiàng)的重要性的步驟、上述刪除重要性最低的項(xiàng)的步驟、上述重新生成參數(shù)預(yù)測(cè)模型的步驟和上述判斷上述重新生成的參數(shù)預(yù)測(cè)模型是否最優(yōu)的步驟；其中，上述差分韻律向量及其全部參數(shù)預(yù)測(cè)模型構(gòu)成差分韻律自適應(yīng)模型。2.根據(jù)權(quán)利要求1所述的數(shù)據(jù)驅(qū)動(dòng)訓(xùn)練差分韻律自適應(yīng)模型的方法，其中，上述與差分韻律預(yù)測(cè)相關(guān)的多個(gè)屬性包括語(yǔ)言類型、語(yǔ)音類型和情感/表情類型的屬性。3.根據(jù)權(quán)利要求1所述的數(shù)據(jù)驅(qū)動(dòng)訓(xùn)練差分韻律自適應(yīng)模型的方法，其中，上述與差分韻律預(yù)測(cè)相關(guān)的多個(gè)屬性包括從情感/表情狀態(tài)、中文字在句子中的位置、聲調(diào)和句子類型中選擇的任意多個(gè)屬性。4.根據(jù)權(quán)利要求1至3任意一項(xiàng)所述的數(shù)據(jù)驅(qū)動(dòng)訓(xùn)練差分韻律自適應(yīng)才莫型的方法，其中，上述Wt預(yù)測(cè)模型是廣義線性模型。5.根據(jù)權(quán)利要求1所述的數(shù)據(jù)驅(qū)動(dòng)訓(xùn)練差分韻律自適應(yīng)模型的方法，其中，上述至少一部分上述屬性的組合包括上述多個(gè)與差分韻律預(yù)測(cè)相關(guān)的屬性的全部2階的屬性組合。6.根據(jù)權(quán)利要求1至5任意一項(xiàng)所述的數(shù)據(jù)驅(qū)動(dòng)訓(xùn)練差分韻律自適應(yīng)模型的方法，其中，上述計(jì)算上述參數(shù)預(yù)測(cè)模型中每一上述項(xiàng)的重要性的步驟包括利用F檢驗(yàn)計(jì)算每一項(xiàng)的重要性。7.根據(jù)權(quán)利要求1至6任意一項(xiàng)所述的數(shù)據(jù)驅(qū)動(dòng)訓(xùn)練差分韻律自適應(yīng)模型的方法，其中，上述判斷上述重新生成的參數(shù)預(yù)測(cè)模型是否最優(yōu)的步驟包括利用貝葉斯信息準(zhǔn)則判斷上述重新生成的參數(shù)預(yù)測(cè)模型是否最優(yōu)。8.根據(jù)權(quán)利要求7所述的數(shù)據(jù)驅(qū)動(dòng)訓(xùn)練差分韻律自適應(yīng)模型的方法，其中，上述判斷上述重新生成的參數(shù)預(yù)測(cè)模型是否最優(yōu)的步驟包括計(jì)算下式認(rèn)=Mog,/iV)+plogiV其中，SSE表示預(yù)測(cè)誤差e的平方和，N表示訓(xùn)練樣本數(shù)；以及當(dāng)上式中的BIC最小時(shí)，判斷參數(shù)預(yù)測(cè)模型為最優(yōu)。9.根據(jù)權(quán)利要求1至8任意一項(xiàng)所述的數(shù)據(jù)驅(qū)動(dòng)訓(xùn)練差分韻律自適應(yīng)才莫型的方法，其中，上述基頻的正交多項(xiàng)式是二階或更高階的勒讓德正交多項(xiàng)式。10.根據(jù)權(quán)利要求9所述的數(shù)據(jù)驅(qū)動(dòng)訓(xùn)練差分韻律自適應(yīng)模型的方法，其中，上述勒讓德正交多項(xiàng)式表示為其中，JF"J表示基頻的包絡(luò)，a。、aj和a2表示所述系數(shù)，f屬于[-l，l。11.一種生成差分韻律自適應(yīng)模型的方法，包括形成差分韻律向量的訓(xùn)練樣本集合；以及根據(jù)上述差分韻律向量的訓(xùn)練樣本集合，利用權(quán)利要求1至10任意一項(xiàng)所述的數(shù)據(jù)驅(qū)動(dòng)訓(xùn)練差分韻律自適應(yīng)模型的方法，生成差分韻律自適應(yīng)模型。12.根據(jù)權(quán)利要求11所述的生成差分韻律自適應(yīng)模型的方法，其中，上述形成差分韻律向量的訓(xùn)練樣本集合的步驟包括根據(jù)中性語(yǔ)料庫(kù)，獲取用時(shí)長(zhǎng)和基頻的正交多項(xiàng)式的系數(shù)表示的中性韻律向量；根據(jù)情感/表情語(yǔ)料庫(kù)，獲取用時(shí)長(zhǎng)和基頻的正交多項(xiàng)式的系數(shù)表示的情感/表情韻律向量；以及計(jì)算上述情感/表情韻律向量與上述中性韻律向量之間的差，以形成差分韻律向量的訓(xùn)練樣本集合。13.—種韻律預(yù)測(cè)方法，包括根據(jù)輸入的文本，獲得與中性韻律預(yù)測(cè)相關(guān)的多個(gè)屬性的值以及至少一部分與差分韻律預(yù)測(cè)相關(guān)的多個(gè)屬性的值；根據(jù)中性韻律預(yù)測(cè)模型，利用上述與中性韻律預(yù)測(cè)相關(guān)的多個(gè)屬性的值，計(jì)算中性韻律向量；根據(jù)差^律自適應(yīng)模型，利用上述至少一部分與差分韻律預(yù)測(cè)相關(guān)的多個(gè)屬性的值以及預(yù)先確定的至少另一部分與差分韻律預(yù)測(cè)相關(guān)的多個(gè)屬性的值，計(jì)算差分韻律向量；以及計(jì)算上述中性韻律向量與上述差分韻律向量的和，以獲得相應(yīng)的韻律；其中，上述差分韻律自適應(yīng)模型是利用權(quán)利要求11或12所述的生成差分韻律自適應(yīng)模型的方法生成的。14.根據(jù)權(quán)利要求13所述的韻律預(yù)測(cè)方法，其中，上述與中性韻律預(yù)測(cè)相關(guān)的多個(gè)屬性包括語(yǔ)言類型的屬性和語(yǔ)音類型的屬性。15.根據(jù)權(quán)利要求13所述的韻律預(yù)測(cè)方法，其中，上述與中性韻律預(yù)測(cè)相關(guān)的多個(gè)屬性包括從當(dāng)前音素、音節(jié)中另一個(gè)音素、前一個(gè)音節(jié)相鄰的音素、后一個(gè)音節(jié)相鄰的音素、聲調(diào)、前音節(jié)的聲調(diào)、后音節(jié)的聲調(diào)、詞性、到下一個(gè)停頓的距離、到前一個(gè)停頓的距離、音節(jié)在語(yǔ)法詞中的位置、前后及當(dāng)前語(yǔ)法詞的長(zhǎng)度、語(yǔ)法詞中音節(jié)的個(gè)數(shù)、音節(jié)在句子中的位置和句中語(yǔ)法詞的個(gè)數(shù)中選擇的任意多個(gè)屬性。16.根據(jù)權(quán)利要求13至15任意一項(xiàng)所述的韻律預(yù)測(cè)方法，其中，上述預(yù)先確定的至少另一部分與差^律預(yù)測(cè)相關(guān)的多個(gè)屬性包括情感/表情類型的屬性。17.—種語(yǔ)音合成方法，包括對(duì)輸入的文本利用上i^利要求13至16任意一項(xiàng)所述的韻律預(yù)測(cè)方法，預(yù)測(cè)韻律；以及根據(jù)上述所預(yù)測(cè)的韻律，進(jìn)行語(yǔ)音合成。18.—種數(shù)據(jù)驅(qū)動(dòng)訓(xùn)練差分韻律自適應(yīng)模型的裝置，包括初始模型生成單元，其用時(shí)長(zhǎng)和基頻的正交多項(xiàng)式的系數(shù)表示差^律向量，并對(duì)于上述差分韻律向量中的每一個(gè)參數(shù)，利用與差分韻律預(yù)測(cè)相關(guān)的多個(gè)屬性和至少一部分上述屬性的組合生成一個(gè)初始參數(shù)預(yù)測(cè)模型，其中每個(gè)上述屬性或上述屬性的組合被作為一項(xiàng)；重要性計(jì)算單元，用于計(jì)算上述參數(shù)預(yù)測(cè)模型的每一上述項(xiàng)的重要性；項(xiàng)刪除單元，用于刪除上述計(jì)算出的重要性最低的項(xiàng)；模型再生成單元，用于利用由上述項(xiàng)刪除單元?jiǎng)h除后剩余的項(xiàng)重新生成參數(shù)預(yù)測(cè)才莫型；以及優(yōu)化判斷單元，用于判斷由上述模型再生成單元重新生成的參數(shù)預(yù)測(cè)模型是否最優(yōu)；其中，上述差分韻律向量及其全部參數(shù)預(yù)測(cè);漠型構(gòu)成差分韻律自適應(yīng)模型。19.根據(jù)權(quán)利要求18所述的數(shù)據(jù)驅(qū)動(dòng)訓(xùn)練差分韻律自適應(yīng)模型的裝置，其中，上述與差分韻律預(yù)測(cè)相關(guān)的多個(gè)屬性包括語(yǔ)言類型、語(yǔ)音類型和情感類型的屬性。20.根據(jù)權(quán)利要求18所述的數(shù)據(jù)驅(qū)動(dòng)訓(xùn)練差分韻律自適應(yīng)模型的裝置，其中，上述與差分韻律預(yù)測(cè)相關(guān)的多個(gè)屬性包括從情感狀態(tài)、中文字在句子中的位置、聲調(diào)和句子類型中選擇的任意多個(gè)屬性。21.根據(jù)權(quán)利要求18至20任意一項(xiàng)所述的數(shù)據(jù)驅(qū)動(dòng)訓(xùn)練差分韻律自適應(yīng)模型的裝置，其中，上述參數(shù)預(yù)測(cè)模型是廣義線性模型。22.根據(jù)權(quán)利要求18所述的數(shù)據(jù)驅(qū)動(dòng)訓(xùn)練差分韻律自適應(yīng)模型的裝置，其中，上迷至少一部分上述屬性的組合包括上述多個(gè)與差分韻律預(yù)測(cè)相關(guān)的屬性的全部2階的屬性組合。23.根據(jù)權(quán)利要求18至22任意一項(xiàng)所述的數(shù)據(jù)驅(qū)動(dòng)訓(xùn)練差分韻律自適應(yīng)模型的裝置，其中，上述重要性計(jì)算單元利用F檢驗(yàn)計(jì)算每一項(xiàng)的重要性。24.根據(jù)權(quán)利要求18至23任意一項(xiàng)所述的數(shù)據(jù)驅(qū)動(dòng)訓(xùn)練差分韻律自適應(yīng)模型的裝置，其中，上述優(yōu)化判斷單元利用貝葉斯信息準(zhǔn)則判斷上述重新生成的M預(yù)測(cè)模型是否最優(yōu)。25.根據(jù)權(quán)利要求18至24任意一項(xiàng)所述的數(shù)據(jù)驅(qū)動(dòng)訓(xùn)練差分韻律自適應(yīng)模型的裝置，其中，上述基頻的正交多項(xiàng)式是二階或更高階的勒讓德正交多項(xiàng)式。26.根據(jù)權(quán)利要求25所述的數(shù)據(jù)驅(qū)動(dòng)訓(xùn)練差分韻律自適應(yīng)模型的裝置，其中，上述勒讓德正交多項(xiàng)式表示為其中，F(xiàn)"J表示基頻的包絡(luò)，a0、^和a2表示所述系數(shù)，f屬于[-l，l。27.—種生成差分韻律自適應(yīng);f莫型的裝置，包括差分韻律向量的訓(xùn)練樣本集合；以及權(quán)利要求18至26任意一項(xiàng)所述的數(shù)據(jù)驅(qū)動(dòng)訓(xùn)練差分韻律自適應(yīng)模型的裝置，其根據(jù)上述差分韻律向量的訓(xùn)練樣本集合訓(xùn)練差分韻律自適應(yīng)模型。28.根據(jù)權(quán)利要求27所述的生成差^l律自適應(yīng)模型的裝置，還包括中性語(yǔ)料庫(kù)；中性韻律向量獲取單元，其根據(jù)上述中性語(yǔ)料庫(kù)，獲得用時(shí)長(zhǎng)和基頻的正交多項(xiàng)式的系數(shù)表示的中性韻律向量；情感/表情語(yǔ)料庫(kù)；情感/表情韻律向量獲取單元，其根據(jù)上述情感/表情語(yǔ)料庫(kù)，獲得用時(shí)長(zhǎng)和基頻的正交多項(xiàng)式的系數(shù)表示的情感/表情韻律向量；以及差^律向量計(jì)算單元，其計(jì)算上述情感/表情韻律向量與上述中性韻律向量之間的差，并提供給上述差分韻律向量的訓(xùn)練樣本集合。29.—種韻律預(yù)測(cè)裝置，包括中性韻律預(yù)測(cè)模型；利用權(quán)利要求27或28所述的生成差分韻律自適應(yīng)模型的裝置生成的差分韻律自適應(yīng)模型；屬性獲得單元，用于根據(jù)輸入的文本獲得與中性韻律預(yù)測(cè)相關(guān)的多個(gè)屬性的值以及至少一部分與差分韻律預(yù)測(cè)相關(guān)的多個(gè)屬性的值；中性韻律向量預(yù)測(cè)單元，用于根據(jù)上述中性韻律預(yù)測(cè)模型，利用上述與中性韻律預(yù)測(cè)相關(guān)的多個(gè)屬性的值，計(jì)算中性韻律向量；差分韻律向量預(yù)測(cè)單元，用于根據(jù)上述差分韻律自適應(yīng)模型，利用上述至少一部分與差分韻律預(yù)測(cè)相關(guān)的多個(gè)屬性的值以及預(yù)先確定的至少另一部分與差分韻律預(yù)測(cè)相關(guān)的多個(gè)屬性的值，計(jì)算差分韻律向量；以及韻律預(yù)測(cè)單元，用于計(jì)算上述中性韻律向量與上述差分韻律向量的和，以獲得相應(yīng)的韻律。30.根據(jù)權(quán)利要求29所述的韻律預(yù)測(cè)裝置，其中，上述與中性韻律預(yù)測(cè)相關(guān)的多個(gè)屬性包括語(yǔ)言類型的屬性和語(yǔ)音類型的屬性。31.根據(jù)權(quán)利要求29所述的韻律預(yù)測(cè)裝置，其中，上述與中性韻律預(yù)測(cè)相關(guān)的多個(gè)屬性包括從當(dāng)前音素、音節(jié)中另一個(gè)音素、前一個(gè)音節(jié)相鄰的音素、后一個(gè)音節(jié)相鄰的音素、聲調(diào)、前音節(jié)的聲調(diào)、后音節(jié)的聲調(diào)、詞性、到下一個(gè)停頓的距離、到前一個(gè)停頓的距離、音節(jié)在語(yǔ)法詞中的位置、前后及當(dāng)前語(yǔ)法詞的長(zhǎng)度、語(yǔ)法詞中音節(jié)的個(gè)數(shù)、音節(jié)在句子中的位置和句中語(yǔ)法詞的個(gè)數(shù)中選擇的任意多個(gè)屬性。32，根據(jù)權(quán)利要求29至31任意一項(xiàng)所述的韻律預(yù)測(cè)裝置，其中，上述預(yù)先確定的至少另一部分與差分韻律預(yù)測(cè)相關(guān)的多個(gè)屬性包括情感/表情類型的屬性。33.—種語(yǔ)音合成裝置，包括權(quán)利要求29至32任意一項(xiàng)所述的韻律預(yù)測(cè)裝置；并且根據(jù)由上述韻律預(yù)測(cè)裝置預(yù)測(cè)的韻律，進(jìn)行語(yǔ)音合成。全文摘要本發(fā)明提供數(shù)據(jù)驅(qū)動(dòng)訓(xùn)練差分韻律自適應(yīng)模型、生成差分韻律自適應(yīng)模型、韻律預(yù)測(cè)和語(yǔ)音合成的方法及裝置。該數(shù)據(jù)驅(qū)動(dòng)訓(xùn)練差分韻律自適應(yīng)模型的方法包括用時(shí)長(zhǎng)和基頻的正交多項(xiàng)式的系數(shù)表示差分韻律向量；對(duì)于差分韻律向量中的每一個(gè)參數(shù)，利用與差分韻律預(yù)測(cè)相關(guān)的多個(gè)屬性和這些屬性的組合生成初始參數(shù)預(yù)測(cè)模型，其中每個(gè)屬性或上述屬性的組合被作為一項(xiàng)；計(jì)算參數(shù)預(yù)測(cè)模型的每一項(xiàng)的重要性；刪除所計(jì)算的重要性最低的項(xiàng)；利用剩余的項(xiàng)重新生成參數(shù)預(yù)測(cè)模型；判斷重新生成的參數(shù)預(yù)測(cè)模型是否最優(yōu)；如果參數(shù)預(yù)測(cè)模型不是最優(yōu)，則重復(fù)上述計(jì)算每一項(xiàng)的重要性的步驟及其之后的步驟；其中差分韻律向量及其全部參數(shù)預(yù)測(cè)模型構(gòu)成差分韻律自適應(yīng)模型。文檔編號(hào)G10L13/00GK101452699SQ20071019710公開日2009年6月10日申請(qǐng)日期2007年12月4日優(yōu)先權(quán)日2007年12月4日發(fā)明者易立夫,健李,樓曉雁,杰郝申請(qǐng)人:株式會(huì)社東芝