專利名稱：修正語音輸入文本中命名實體詞匯的方法、裝置及終端的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及語音識別技術(shù)，特別涉及修正語音輸入文本中命名實體詞匯的方法、裝置及終端。
背景技術(shù)：
隨著半導(dǎo)體工業(yè)、材料工業(yè)、電子技術(shù)的高速發(fā)展，終端設(shè)備上所具有的功能日益復(fù)雜，智能型的文本輸入功能和設(shè)備控制方式成為了現(xiàn)有終端設(shè)備的必要需求。在各種智能型的文本輸入技術(shù)中，語音輸入以其直觀、快捷的特點，成為主流技術(shù)之一。修正語音輸入文本中錯誤識別的詞匯是語音輸入法的后處理技術(shù)，首先對用戶輸入的語音進(jìn)行識別，然后對識別結(jié)果進(jìn)行檢測、定位可能識別錯誤的詞匯，最后提供修正模式、讓用戶通過修正模式對可能識別錯誤的詞匯進(jìn)行修正。 在現(xiàn)有技術(shù)中，在定位錯誤詞匯方面，主要通過置信測度方法衡量輸入語音和識別結(jié)果之間的可信程度，找到置信度較低的詞匯作為可能識別錯誤的詞匯。在修正錯誤詞匯方面，向用戶提供用多模態(tài)方式進(jìn)行重新輸入的修正模式，例如從本地通信記錄中選擇正確詞匯、或者從基于模糊音提供的候選詞中重新選擇正確詞匯，或者通過重發(fā)音來重新輸入語音、或通過手寫體識別錄入正確詞匯、或通過直接鍵盤錄入正確詞匯等，使用用戶重新輸入的詞匯進(jìn)行修正?，F(xiàn)有技術(shù)中的上述方法主要存在以下缺陷第一、對語音輸入的每個詞匯采用無差別的置信度分析方法，而實際上目前針對特定領(lǐng)域內(nèi)容的連續(xù)語音識別的正確率已經(jīng)能夠達(dá)到90%，容易識別錯誤的詞匯主要是集外詞匯。在短信、郵件、搜索詞條的智能語音輸入中，名詞往往是表達(dá)該段文字中心內(nèi)容的載體，在所有的名詞中，主要包括人名、地名和機(jī)構(gòu)名等的命名實體詞匯又占據(jù)了很大的比重，由于命名實體詞匯屬于成長型詞匯，總是在不斷的更新和增加，因此很多命名實體詞匯對于語音識別來說都屬于集外詞匯，容易造成錯誤識別，現(xiàn)有技術(shù)中的方法并沒有針對性的定位這種承載了語義主體內(nèi)容、又容易被錯誤識別的命名實體詞匯；第二、現(xiàn)有技術(shù)的方法在修正錯誤詞匯時，只關(guān)注于用多模態(tài)的方式進(jìn)行重新輸入，沒有考慮更多、更便捷的修正途徑。

發(fā)明內(nèi)容
本發(fā)明提供一種修正語音輸入文本中命名實體詞匯的方法，精確定位識別錯誤的命名實體詞匯，并提供更豐富、便捷的修正途徑。本發(fā)明提供一種修正語音輸入文本中命名實體詞匯的裝置，精確定位識別錯誤的命名實體詞匯，并提供更豐富、便捷的修正途徑。本發(fā)明提供一種終端，精確定位識別錯誤的命名實體詞匯，并提供更豐富、便捷的修正途徑。本發(fā)明的技術(shù)方案是這樣實現(xiàn)的
—種修正語音輸入文本中命名實體詞匯的方法，關(guān)鍵在于，該方法包括A、識別語音輸入信號，得到包括命名實體詞匯標(biāo)注信息的識別結(jié)果；B、根據(jù)所述命名實體詞匯標(biāo)注信息，確定所述識別結(jié)果中識別錯誤的命名實體詞匯，突出顯示所述識別錯誤的命名實體詞匯；C、使用從預(yù)設(shè)的本地命名實體庫和/或網(wǎng)絡(luò)資源中選擇的詞匯、或用戶重新輸入的詞匯，修正所述識別錯誤的命名實體詞匯。一種修正語音輸入文本中命名實體詞匯的裝置，關(guān)鍵在于，該裝置包括連續(xù)語音識別模塊、命名實體詞匯檢測模塊和用戶更正模塊；所述連續(xù)語音識別模塊，用于識別語音輸入信號，將包括命名實體詞匯標(biāo)注信息的識別結(jié)果輸出給所述命名實體詞匯檢測模塊；
所述命名實體詞匯檢測模塊，用于根據(jù)所述命名實體詞匯標(biāo)注信息，確定所述識別結(jié)果中錯誤識別的命名實體詞匯，在識別結(jié)果中突出標(biāo)注出錯誤識別的命名實體詞匯，并將標(biāo)注后的識別結(jié)果輸出給所述用戶更正模塊及顯示部件；所述用戶更正模塊，用于使用從預(yù)設(shè)的本地命名實體庫和/或網(wǎng)絡(luò)資源中選擇的詞匯、或用戶重新輸入的詞匯，修正所述識別錯誤的命名實體詞匯。一種終端，關(guān)鍵在于，該終端包括修正語音輸入文本中命名實體詞匯的裝置和顯示部件；所述修正語音輸入文本中命名實體詞匯的裝置，用于識別語音輸入信號，得出包括命名實體詞匯標(biāo)注信息的識別結(jié)果；根據(jù)所述命名實體詞匯標(biāo)注信息，確定所述識別結(jié)果中錯誤識別的命名實體詞匯，在識別結(jié)果中突出標(biāo)注出錯誤識別的命名實體詞匯，并將標(biāo)注后的識別結(jié)果輸出給所述顯示部件；使用從預(yù)設(shè)的本地命名實體庫和/或網(wǎng)絡(luò)資源中選擇的詞匯、或用戶重新輸入的詞匯，修正所述識別錯誤的命名實體詞匯；所述顯示部件，用于顯示所述標(biāo)注后的識別結(jié)果。可以看出，本發(fā)明中修正語音輸入文本中命名實體詞匯的方法、裝置及終端，一方面由于在識別結(jié)果中增加了命名實體詞匯標(biāo)注信息，使得后續(xù)可以有針對性的定位出識別錯誤的命名實體詞匯，而不是對用戶輸入的每個詞匯是否識別錯誤都進(jìn)行判斷，另一方面增加了使用從本地命名實體庫和/或網(wǎng)絡(luò)資源中選擇的詞匯、執(zhí)行修正的修正模式，與現(xiàn)有技術(shù)中僅通過多模態(tài)的文字輸入進(jìn)行修正相比，修正途徑更加豐富和便捷。


圖I為本發(fā)明中修正語音輸入文本中命名實體詞匯的方法的流程圖；圖2為本發(fā)明實施例中修正語音輸入文本中命名實體詞匯的方法的流程圖；圖3為圖2中所示步驟21的實現(xiàn)流程圖；圖4為圖2中所示步驟22的實現(xiàn)流程圖；圖5為本發(fā)明實施例中查找問題區(qū)域的過程示意圖；圖6為本發(fā)明實施例中用戶界面的示意圖；圖7為本發(fā)明中修正語音輸入文本中命名實體詞匯的裝置結(jié)構(gòu)示意圖；圖8為本發(fā)明實施例中連續(xù)語音識別模塊的結(jié)構(gòu)示意圖；圖9為本發(fā)明實施例中命名實體檢測模塊的結(jié)構(gòu)示意圖10為本發(fā)明實施例中用戶更正模塊的結(jié)構(gòu)示意圖；圖11為本發(fā)明中終端的結(jié)構(gòu)示意圖。
具體實施例方式為使本發(fā)明的目的和優(yōu)點更加清楚，下面結(jié)合附圖和實施例對本發(fā)明作進(jìn)ー步的詳細(xì)說明。圖I為本發(fā)明中修正語音輸入文本中命名實體詞匯的方法流程圖，在圖I所示的流程開始之前，建立本地命名實體庫。圖I所示流程包括步驟11 :識別語音輸入信號，得到包括命名實體詞匯標(biāo)注信息的識別結(jié)果。
步驟12 :根據(jù)命名實體詞匯標(biāo)注信息，確定識別結(jié)果中識別錯誤的命名實體詞匯，突出顯示識別錯誤的命名實體詞匯。步驟13 :使用從本地命名實體庫和/或網(wǎng)絡(luò)資源中選擇的詞匯、或用戶重新輸入的詞匯，修正所述識別錯誤的命名實體詞匯。可見，本發(fā)明中修正語音輸入文本中命名實體詞匯的方法，一方面由于在識別結(jié)果中增加了命名實體詞匯標(biāo)注信息，使得后續(xù)步驟中可以有針對性的定位出識別錯誤的命名實體詞匯，而不是對用戶輸入的每個詞匯是否識別錯誤都進(jìn)行判斷，另ー方面増加了使用從本地命名實體庫和/或網(wǎng)絡(luò)資源中選擇的詞匯、執(zhí)行修正的修正模式，與現(xiàn)有技術(shù)中僅通過多模態(tài)的文字輸入進(jìn)行修正相比，修正途徑更加豐富和便捷。下面給出本發(fā)明方法的一個實施例，在本實施例中，本地命名實體庫的初始狀態(tài)為空。圖2為本發(fā)明實施例中修正語音輸入文本中命名實體詞匯的方法的流程圖，該流程包括步驟21 :識別語音輸入信號，得到包括命名實體詞匯位置和類別信息的識別結(jié)果O本步驟中的命名實體詞匯位置和類別信息，是命名實體詞匯標(biāo)注信息的一種實施方式，其中位置信息指該命名實體詞匯在句子中所處的位置，例如在主語位置、賓語位置，或者句子的前段位置、中段位置等，類別信息指該命名實體詞匯所屬的類別，例如該命名實體詞匯屬于人名類別、地名類別或機(jī)構(gòu)名類別等。這里的步驟21由圖3所示的流程實現(xiàn)，圖3所示流程包括步驟211 :提取語音輸入信號的多維度倒譜特征及其差分特征。本步驟中的多維度倒譜特征及其差分特征用來表征語音信號中和語言相關(guān)的信息，使用現(xiàn)有的常用方法即可實現(xiàn)這里的提取操作，例如通過端點檢測算法，將連續(xù)語音流中的語音段切分出來，將語音段分為20 30毫秒的幀。分幀加窗以后的幀數(shù)據(jù)，通過離散傅里葉變換轉(zhuǎn)換到頻譜上，再將頻譜信號進(jìn)行一系列帶通濾波、并將每次濾波后的結(jié)果進(jìn)行非線性壓縮，最后對得到的一組數(shù)據(jù)作離散余弦變換，以降低每維特征之間的相關(guān)性，并保留特征數(shù)據(jù)中表征性較強(qiáng)的部分維度。為了提高語音識別的精度和抗噪性能，Mel倒譜系數(shù)、感知線性預(yù)測系數(shù)、Gamma-tone倒譜系數(shù)等多種類型的倒譜特征均可被采用。步驟212 :基于命名實體標(biāo)注詞典、聲學(xué)模型和基于類的語言模型，對提取出的特征解碼得出包括詞格和音素格的識別結(jié)果，在詞格中標(biāo)注命名實體詞匯的位置和類別信
肩、O本步驟中的詞格和音素格由識別柵格組成。 本步驟中，命名實體標(biāo)注詞典是包含了命名實體標(biāo)注信息的中文詞典，可以在離線狀態(tài)下生成?，F(xiàn)有技術(shù)中的詞典生成算法很多，一個詞典可能具備多種生成來源，例如根據(jù)漢語語言學(xué)規(guī)則得到的通用詞典，或?qū)Υ罅肯嚓P(guān)文本進(jìn)行分詞后統(tǒng)計得到的詞典，或根據(jù)距離測度生成的新詞典等。在合并了多種生成來源的詞條后，可以采用手工校對或者統(tǒng)計型測度等方法，選取其中有效的詞條，得到命名實體標(biāo)注詞典。命名實體標(biāo)注詞典不僅是本步驟中解碼操作的基礎(chǔ)之一，還是聲學(xué)模型訓(xùn)練及基于類的語言模型訓(xùn)練的基礎(chǔ)。聲學(xué)模型可以在離線狀態(tài)下生成?，F(xiàn)有技術(shù)中常用的生成方法是，通過對大量語音數(shù)據(jù)的有監(jiān)瞀和無監(jiān)瞀學(xué)習(xí)的算法，生成針對具體應(yīng)用的隱含馬爾科夫模型。
基于類的語言模型可以在離線狀態(tài)下生成。在語言模型訓(xùn)練中，將同類別的命名實體詞匯作為相同詞匯考慮，例如將屬于人名類別的命名實體詞匯作為相同詞匯考慮。采用基于類的語言模型的優(yōu)點有以下兩點第一，由于很多命名實體詞語在文本中的出現(xiàn)頻率比較低，普通語言模型在此情況下會由于數(shù)據(jù)稀疏而產(chǎn)生估計誤差，基于類的語言模型在一定程度上可以避免這ー問題的出現(xiàn)，進(jìn)而提高語音識別率和識別的穩(wěn)健性；第二，由于命名實體詞匯屬于快速成長型詞匯，新詞不斷的出現(xiàn)，采用基于類的語言模型，能夠減少集外詞造成的識別錯誤，進(jìn)而提高語音識別性能。至于本步驟中如何基于命名實體標(biāo)注詞典、聲學(xué)模型和基于類的語言模型，得出包括詞格和音素格的識別結(jié)果，現(xiàn)有技術(shù)中有多種實現(xiàn)方法，這里不再贅述。本步驟中將根據(jù)命名實體標(biāo)注詞典和基于類的語言模型在詞格中標(biāo)注命名實體詞匯的位置和類別信息。經(jīng)過上述步驟211 步驟212就完成了對語音輸入信號的識別，得出了識別結(jié)果。步驟22 :根據(jù)所述命名實體詞匯的位置和屬性信息及置信測度方法，確定所述識別結(jié)果中識別錯誤的命名實體詞匯，高亮顯示所述識別錯誤的命名實體詞匯。這里的步驟22可以由圖4所示流程實現(xiàn)，圖4所示流程包括步驟221 :根據(jù)詞格和音素格及其起始和終止時間信息，對詞格和音素格進(jìn)行強(qiáng)制對齊，查找識別柵格未對齊且包括命名實體詞匯的問題區(qū)域。圖5為本步驟中查找問題區(qū)域的過程示意圖，其中詞格中的每個圓圈對應(yīng)ー個詞匯，而音素格中的多個圓圈對應(yīng)ー個詞匯的發(fā)音。圖5中的標(biāo)號①代表根據(jù)詞格和音素格及其起始和終止時間信息，對詞格和音素格進(jìn)行強(qiáng)制對齊，標(biāo)號②代表查找問題區(qū)域，其中標(biāo)號為a和b的兩處為查找出的問題區(qū)域。這里的強(qiáng)制對齊是一種現(xiàn)有技術(shù)中的算法，具體實現(xiàn)方式這里不再贅述。步驟222 :根據(jù)置信測度方法，確定置信度低于設(shè)定閾值的問題區(qū)域。本步驟中采用了廣義詞語后驗概率方法，這也是現(xiàn)有技術(shù)中ー種應(yīng)用較廣泛的置信測度方法。當(dāng)然本步驟也可以應(yīng)用其他的置信測度方法。步驟223 :聞売顯不確定出的問題區(qū)域中的命名實體詞匯。本步驟中，也可以采用其他突出顯示的方式，例如用顔色著重標(biāo)注等。經(jīng)過上述步驟221 步驟223，確定出了識別錯誤的命名實體詞匯。
步驟23 :從本地命名實體庫和/或網(wǎng)絡(luò)資源中查找識別錯誤的命名實體詞匯的候選詞匯，形成候選詞匯列表并顯示。本步驟中查找候選詞匯有以下兩種實施方式第一、在本地命名實體庫中查找候選詞匯時，在本地命名實體庫中查找與識別錯誤的命名實體詞匯相同類別且發(fā)音相似的候選詞匯；在網(wǎng)絡(luò)資源中查找候選詞匯時，在網(wǎng)絡(luò)中的公用數(shù)據(jù)庫查找與識別錯誤的命名實體詞匯發(fā)音相似的候選詞匯；或者，在網(wǎng)絡(luò)資源中搜索識別錯誤的命名實體詞匯、及在本地命名實體庫中查找出的詞匯的發(fā)音，通過搜索返回率確定候選詞匯。第二、在本次資源中查找候選詞匯時，和上述第一種中的實現(xiàn)方式相同；在網(wǎng)絡(luò)資源中查找候選詞匯時，與上述第一種中采取完全在線查找的方式不同的是，采用一種半在線或離線的搜索模式，在此情況下，在網(wǎng)絡(luò)中的由服務(wù)提供商提供一臺服務(wù)器或服務(wù)器群組中查找與識別錯誤的命名實體詞匯發(fā)音相似的候選詞匯，該服務(wù)器或服務(wù)器群組會利用網(wǎng)絡(luò)資源定時對自身內(nèi)部的命名實體詞匯進(jìn)行更新，這種半在線或離線的搜索模式的優(yōu)點 在于，服務(wù)器端已經(jīng)在離線狀態(tài)下將大量的網(wǎng)絡(luò)資源進(jìn)行了歸納和整理，并且定時更新，所以在服務(wù)器端查找候選詞匯，將比直接在大量網(wǎng)絡(luò)資源中查找速度更快、更有針對性且用戶支出的費用更少，對服務(wù)器端而言，根據(jù)在服務(wù)器或服務(wù)器群組中查找候選詞匯的情況，可以獲知哪些詞匯的搜索頻率較多等反饋信息，從而將這些詞匯優(yōu)先作為候選詞匯。步驟24 :使用用戶直接從候選詞匯列表中選擇的詞匯，修正所述識別錯誤的命名實體詞匯；或者，從本地命名實體庫和/或網(wǎng)絡(luò)資源中查找識別錯誤的命名實體詞匯的候選詞匯并顯示，使用用戶從查找出的候選詞匯中選擇的詞匯，修正所述識別錯誤的命名實體詞匯；或者，使用用戶重新輸入的詞匯，修正所述識別錯誤的命名實體詞匯。本步驟中，用戶選擇不同的修正模式時，執(zhí)行對應(yīng)的修正方法。用戶重新輸入詞匯的方式可以是從本地通信記錄中選擇、鍵盤輸入、通過語音重新輸入，其中采用從本地通信記錄中選擇和鍵盤輸入時，與現(xiàn)有技術(shù)中的實現(xiàn)方式相同。采用語音重新輸入時，需重新識別輸入的語音輸入信號，并顯示重新識別的識別結(jié)果，在用戶確認(rèn)后，將重新識別的識別結(jié)果作為確認(rèn)的正確詞匯，在用戶重新輸入語音時，再執(zhí)行重新識別輸入的語音輸入信號的步驟。進(jìn)一歩，由于終端的顯示界面有限，步驟23中形成的候選詞匯列表中只能列出一部分查找到的候選詞匯，如果用戶未從候選詞匯列表中找到要確認(rèn)的正確詞匯，也不想通過上述提供的其他修正模式進(jìn)行修正，還可以向用戶顯示步驟23中查找到的、且未包含在候選詞匯列表中的更多候選詞匯，使用用戶從所述更多候選詞匯中選擇出的詞匯，修正所述識別錯誤的命名實體詞匯。步驟25 :將執(zhí)行修正后確認(rèn)的正確詞匯更新到本地命名實體庫中。本步驟中的更新可以包括將用戶確認(rèn)的正確詞匯及其類別、在句子中的位置、出現(xiàn)的頻次和毎次更新的時間。基于本步驟中的本地命名實體庫的更新方式，下次再執(zhí)行步驟23、在本地命名實體庫中查找候選詞匯時，可以考慮上述類別、在句子中的位置、出現(xiàn)的頻次和毎次更新的時間。例如，如果當(dāng)前識別錯誤的命名實體詞匯為人名，則直接查找本地命名實體庫中類別為人名的候選詞匯，如果當(dāng)前識別錯誤的命名實體詞匯在句子中的位置是主語，則直接查找本地命名實體庫中在句子中位置為主語的候選詞匯。又例如，在查找出多個針對當(dāng)前識別錯誤的命名實體詞匯的候選詞語時，將出現(xiàn)的頻次高的候選詞匯排列在前，或?qū)⒚看胃聲r間較快的候選詞匯排列在前。類似的，在執(zhí)行步驟23中的在網(wǎng)絡(luò)資源中查找候選詞匯時，可以依據(jù)某個詞匯的檢索頻次來確定該詞的排序，檢索頻次高的詞匯排列在前。本發(fā)明實施例中的本地命名實體庫是根據(jù)毎次用戶確認(rèn)的正確詞匯進(jìn)行更新的，由于這些更新是被用戶經(jīng)常使用的，所以從本地命名實體庫中更容易找到與識別錯誤的命名實體詞匯較接近的候選詞匯。圖6為本發(fā)明實施例中用戶界面的示意圖，假設(shè)用戶的語音輸入為“請通知張老師，明天到華潤大廈開會”，其中“張老師”和“華潤”為識別錯誤的命名實體詞匯、且被高亮顯示。針對識別錯誤的“張老師”ー詞，提供的屬于“人名選擇”類別的候選詞匯列表為“張老師、趙老師、左老師”，針對識別錯誤的“華潤”ー詞，提供的屬于“地名選擇”類別的候選詞匯列表為“鵬潤、鵬輝、華潤”。用戶除了可以直接從候選詞匯列表中直接選擇詞匯外，還可以選擇“選項”中提供的其他修正模式，例如更多候選詞、查找通訊錄、查找網(wǎng)絡(luò)、查找本地命名實體庫、鍵盤輸入或重讀該詞。當(dāng)用戶點擊“查找網(wǎng)絡(luò)”或“查找本地命名實體庫”時，將執(zhí)行步驟24中的顯示查找出的候選詞匯，使用用戶從查找出的候選詞匯中選擇的詞匯， 修正所述識別錯誤的命名實體詞匯。圖7為本發(fā)明中修正語音輸入文本中命名實體詞匯的裝置結(jié)構(gòu)示意圖，該裝置包括連續(xù)語音識別模塊100、命名實體詞匯檢測模塊200和用戶更正模塊300。連續(xù)語音識別模塊100，用于識別語音輸入信號，將包括命名實體詞匯標(biāo)注信息的識別結(jié)果輸出給命名實體詞匯檢測模塊200。命名實體詞匯檢測模塊200，用于根據(jù)命名實體詞匯標(biāo)注信息，確定識別結(jié)果中識別錯誤的命名實體詞匯，在識別結(jié)果中突出標(biāo)注錯誤識別的命名實體詞匯，將標(biāo)注后的識別結(jié)果輸出給用戶更正模塊及顯示部件。用戶更正模塊300，用于使用從預(yù)設(shè)的本地命名實體庫和/或網(wǎng)絡(luò)資源中選擇的詞匯、或用戶重新輸入的詞匯，修正所述識別錯誤的命名實體詞匯?？梢姡景l(fā)明中修正語音輸入文本中命名實體詞匯的裝置，一方面由于在識別結(jié)果中包含了命名實體詞匯標(biāo)注信息，使得后續(xù)可以有針對性的定位出錯誤識別的命名實體詞匯，而不是對用戶輸入的每個詞匯是否識別錯誤都進(jìn)行判斷，另ー方面増加了使用從本地命名實體庫和網(wǎng)絡(luò)資源中選擇的詞匯、執(zhí)行修正的修正模式，與現(xiàn)有技術(shù)中僅通過多模態(tài)的文字輸入進(jìn)行修正相比，修正途徑更加豐富和便捷。下面給出本發(fā)明修正語音輸入文本中命名實體詞匯的裝置的實施例。圖8為本發(fā)明實施例中連續(xù)語音識別模塊的結(jié)構(gòu)示意圖，連續(xù)語音識別模塊100包括特征提取子模塊101、解碼器102、命名實體標(biāo)注詞典103、聲學(xué)模型104和基于類的語目模型105。特征提取子模塊101，用于從語音輸入信號中提取多維度的倒譜特征及其差分特征，輸出到解碼器102中。命名實體標(biāo)注詞典103是解碼器102的ー項輸入，是包含了命名實體標(biāo)注信息的中文詞典，可以在離線狀態(tài)下生成。具體的生成方法在本發(fā)明方法中已介紹，生成命名實體標(biāo)注詞典103的可以是如圖9中所示的詞典生成子模塊。聲學(xué)模型104是解碼器102的另ー項輸入，可以在離線狀態(tài)下生成。具體的形成方法在本發(fā)明方法中已介紹。形成聲學(xué)模型104的可以是如圖9中所示的聲學(xué)模型訓(xùn)練子模塊?；陬惖恼Z言模型105是解碼器102的第三項輸入，可以在離線狀態(tài)下生成。具體的形成方法在本發(fā)明方法中已介紹。形成基于類的語言模型105的可以是如圖8中所示的語言模型訓(xùn)練子模塊。解碼器102，基于命名實體標(biāo)注詞典103、聲學(xué)模型104和基于類的語言模型105，得到音素格和詞格兩級識別結(jié)果，在詞格中標(biāo)注命名實體詞匯標(biāo)注信息，將得到的音素格和詞格輸出給命名實體檢測模塊200。這里的命名實體詞匯標(biāo)注信息為命名實體詞匯位置和類別信息。圖9為本發(fā)明實施例中命名實體檢測模塊的結(jié)構(gòu)示意圖，命名實體檢測模塊200包括置信度校驗子模塊201和新詞生成子模塊202。置信度校驗子模塊201，用于根據(jù)解碼器102輸出的詞格和音素格及其起始和終 止時間信息，對詞格和音素格進(jìn)行強(qiáng)制對齊，確定識別柵格未對齊、包含命名實體詞匯標(biāo)注信息、且置信測度低于設(shè)定閾值的問題區(qū)域，在識別結(jié)果中突出標(biāo)注確定出的問題區(qū)域中的命名實體詞匯，將標(biāo)注后的識別結(jié)果輸出給新詞生成子模塊202。新詞生成子模塊202，用于從本地命名實體庫中和網(wǎng)絡(luò)資源中查找確定出的問題區(qū)域中的命名實體詞匯的候選詞匯，形成候選詞匯列表輸出給顯示部件，將標(biāo)注后的識別結(jié)果輸出給用戶更正模塊300和顯示部件。前文中已提到，本發(fā)明實施例中的命名實體詞匯標(biāo)注信息為命名實體詞匯的位置和屬性信息，本發(fā)明實施例的裝置中進(jìn)ー步包括本地命名實體庫更新模塊400，進(jìn)ー步用于將所述用戶更正模塊執(zhí)行修正后確認(rèn)的正確詞匯及其類別、在句子中的位置、出現(xiàn)的頻次和毎次更新的時間更新到本地命名實體庫中。在這種情況下，上述新詞生成子模塊202進(jìn)一步用于，在利用本地命名實體庫查找所述確定出的命名實體詞匯的候選詞匯時，根據(jù)所述類別、在句子中的位置、出現(xiàn)的頻次和毎次更新的時間，確定查找出的候選詞匯的排列順序。圖10為本發(fā)明實施例中用戶更正模塊的結(jié)構(gòu)示意圖，用戶更正模塊300包括第一更正子模塊301、第二更正子模塊302和第三更正子模塊303。上述第一更正子模塊301，用于在用戶觸發(fā)后，使用用戶直接從所述候選詞匯列表中選擇的詞匯，修正所述識別錯誤的命名實體詞匯；將執(zhí)行修正后確認(rèn)正確的詞匯輸出給本地命名實體庫更新模塊400。這里的第一更正子模塊301負(fù)責(zé)提供直接從候選詞匯列表中選擇正確詞匯的修正模式，當(dāng)用戶選擇這種修正模式后才執(zhí)行操作。上述第二更正子模塊302，用于在用戶觸發(fā)后，從本地命名實體庫和/或網(wǎng)絡(luò)資源中查找確定出的問題區(qū)域中的命名實體詞匯的候選詞匯，輸出給顯示部件；使用用戶從查找出的候選詞匯中選擇的詞匯，修正所述識別錯誤的命名實體詞匯；將執(zhí)行修正后確認(rèn)正確的詞匯輸出給本地命名實體庫更新模塊400。這里的第二更正子模塊302負(fù)責(zé)提供直接從候選詞匯中選擇正確詞匯的模式，當(dāng)用戶選擇這種修正模式后才執(zhí)行操作。上述第三更正子模塊303，用于在用戶觸發(fā)后，使用用戶重新輸入的詞匯，修正所述識別錯誤的命名實體詞匯；將執(zhí)行修正后確認(rèn)正確的詞匯輸出給本地命名實體庫更新模塊400。這里的第三更正子模塊303負(fù)責(zé)提供用戶重新輸入詞匯的修正模式，當(dāng)用戶選擇這種修正模式后才執(zhí)行操作。當(dāng)用戶通過語音重新輸入詞匯時，第三更正子模塊303進(jìn)ー步用于，觸發(fā)連續(xù)語音識別模塊100重新識別輸入的語音輸入信號、并顯示重新識別的識別結(jié)果，將用戶確認(rèn)的重新識別的識別結(jié)果作為確認(rèn)的正確詞匯。當(dāng)用戶沒有從候選詞匯列表中選擇出正確詞匯，也不想通過上述其他模式進(jìn)行修正時，用戶更正模塊300中還可以包括第四更正子模塊304，用于在用戶觸發(fā)后，顯示所述新詞生成子模塊202確定出、且未包含在所述候選詞匯列表中的更多候選詞匯，使用用戶從所述更多候選詞匯中選擇出的詞匯，修正所述識別錯誤的命名實體詞匯；將執(zhí)行修正后確認(rèn)正確的詞匯輸出給本地命名實體庫更新模塊400。這里的第三更正子模塊303負(fù)責(zé)提供后多候選詞的修正模式，當(dāng)用戶選擇這種修正模式后才執(zhí)行操作。圖11為本發(fā)明中終端的結(jié)構(gòu)示意圖，該終端包括修正語音輸入文本中命名實體詞匯的裝置和顯示部件。上述修正語音輸入文本中命名實體詞匯的裝置，用于識別語音輸入信號，得出包 括命名實體詞匯標(biāo)注信息的識別結(jié)果；根據(jù)命名實體詞匯標(biāo)注信息，確定所述識別結(jié)果中錯誤識別的命名實體詞匯，在識別結(jié)果中突出標(biāo)注出錯誤識別的命名實體詞匯，并將標(biāo)注后的識別結(jié)果輸出給所述顯示部件；使用從預(yù)設(shè)的本地命名實體庫和/或網(wǎng)絡(luò)資源中選擇的詞匯、或用戶重新輸入的詞匯，修正識別錯誤的命名實體詞匯。上述顯示部件，用于顯示修正語音輸入文本中命名實體詞匯的裝置輸出的標(biāo)注后的識別結(jié)果。本發(fā)明的終端中的修正語音輸入文本中命名實體詞匯的裝置，其內(nèi)部結(jié)構(gòu)和各項附加功能可以與前文所述的修正語音輸入文本中命名實體詞匯的裝置相同，這里不再贅述。綜上所述，以上僅為本發(fā)明的較佳實施例而已，并非用于限定本發(fā)明的保護(hù)范圍。凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。
權(quán)利要求
1.ー種修正語音輸入文本中命名實體詞匯的方法,其特征在于,該方法包括 A、識別語音輸入信號，得到包括命名實體詞匯標(biāo)注信息的識別結(jié)果； B、根據(jù)所述命名實體詞匯標(biāo)注信息，確定所述識別結(jié)果中識別錯誤的命名實體詞匯，突出顯示所述識別錯誤的命名實體詞匯； C、使用從預(yù)設(shè)的本地命名實體庫和/或網(wǎng)絡(luò)資源中選擇的詞匯、或用戶重新輸入的詞匯，修正所述識別錯誤的命名實體詞匯。
2.如權(quán)利要求I所述的方法，其特征在于，所述步驟A包括 Al、提取所述語音輸入信號的多維度倒譜特征及其差分特征； A2、基于命名實體標(biāo)注詞典、聲學(xué)模型和基于類的語言模型,得出包括詞格和音素格的識別結(jié)果，并在所述詞格中標(biāo)注命名實體詞匯標(biāo)注信息，所述詞格和音素格由識別柵格組成，所述命名實體詞匯標(biāo)注信息為命名實體詞匯的位置和類別信息。
3.如權(quán)利要求2所述的方法，其特征在于，所述步驟B包括 BI、根據(jù)所述詞格和音素格及其起始和終止時間信息，對詞格和音素格進(jìn)行強(qiáng)制對齊，查找識別柵格未對齊且包括命名實體詞匯的問題區(qū)域； B2、確定置信度低于設(shè)定閾值的問題區(qū)域； B3、突出標(biāo)注確定出的問題區(qū)域中的命名實體詞匯，顯示標(biāo)注后的識別結(jié)果。
4.如權(quán)利要求2所述的方法，其特征在于，所述步驟C包括 Cl、從本地命名實體庫和/或網(wǎng)絡(luò)資源中查找所述識別錯誤的命名實體詞匯的候選詞匯、形成候選詞匯列表并顯示； C2、使用用戶直接從所述候選詞匯列表中選擇的詞匯，修正所述識別錯誤的命名實體詞匯；或者，從本地命名實體庫和/或網(wǎng)絡(luò)資源中查找所述識別錯誤的命名實體詞匯的候選詞匯并顯示，使用用戶直接從查找出的候選詞匯中選擇的詞匯，修正所述識別錯誤的命名實體詞匯；或者，使用用戶重新輸入的詞匯，修正所述識別錯誤的命名實體詞匯。
5.如權(quán)利要求4所述的方法，其特征在于，所述步驟Cl和步驟C2中從本地命名實體庫和/或網(wǎng)絡(luò)資源中查找所述識別錯誤的命名實體詞匯的候選詞匯為 在本地命名實體庫中查找時，包括在本地命名實體庫中查找與確定出的命名實體詞匯相同類別且發(fā)音相似的詞匯； 在網(wǎng)絡(luò)資源中查找時，包括在網(wǎng)絡(luò)中的公用數(shù)據(jù)庫查找與確定出的命名實體詞匯發(fā)音相似的詞匯；或者，在網(wǎng)絡(luò)資源中捜索確定出的命名實體詞匯、及在本地命名實體庫中查找出的詞匯的發(fā)音，通過搜索返回率確定詞匯；或者，在網(wǎng)絡(luò)中的設(shè)定服務(wù)器或服務(wù)器組查找與確定出的命名實體詞匯發(fā)音相似的詞匯，所述設(shè)定服務(wù)器或服務(wù)器組定時更新自身內(nèi)部的命名實體詞匯。
6.如權(quán)利要求5所述的方法，其特征在于，所述步驟C中進(jìn)ー步包括 C3、將執(zhí)行修正后確認(rèn)的正確詞匯及其類別、在句子中的位置、出現(xiàn)的頻次和毎次更新的時間更新到本地命名實體庫中； 所述在本地命名實體庫中查找時，進(jìn)ー步根據(jù)所述類別、在句子中的位置、出現(xiàn)的頻次和毎次更新的時間，確定查找出的候選詞匯的排列順序。
7.如權(quán)利要求4所述的方法，其特征在于，所述步驟C2中進(jìn)ー步包括顯示所述查找出、且未包含在所述候選詞匯列表中的更多候選詞匯，使用用戶從所述更多候選詞匯中選擇出的詞匯，修正所述識別錯誤的命名實體詞匯。
8.如權(quán)利要求4所述的方法，其特征在于，所述步驟C2中，用戶重新輸入的詞匯為用戶通過語音重新輸入的詞匯； 當(dāng)使用用戶重新輸入的詞匯修正所述識別錯誤的命名實體詞匯時，重新識別輸入的語音輸入信號，并顯示重新識別的識別結(jié)果，在用戶確認(rèn)后，將重新識別的識別結(jié)果作為確認(rèn)的正確詞匯，在用戶重新輸入語音時，返回執(zhí)行重新識別輸入的語音輸入信號的步驟。
9.ー種修正語音輸入文本中命名實體詞匯的裝置，其特征在于，該裝置包括連續(xù)語音識別模塊、命名實體詞匯檢測模塊和用戶更正模塊； 所述連續(xù)語音識別模塊，用于識別語音輸入信號，將包括命名實體詞匯標(biāo)注信息的識別結(jié)果輸出給所述命名實體詞匯檢測模塊； 所述命名實體詞匯檢測模塊，用于根據(jù)所述命名實體詞匯標(biāo)注信息，確定所述識別結(jié)果中錯誤識別的命名實體詞匯，在識別結(jié)果中突出標(biāo)注出錯誤識別的命名實體詞匯，并將標(biāo)注后的識別結(jié)果輸出給所述用戶更正模塊及顯示部件； 所述用戶更正模塊，用于使用從預(yù)設(shè)的本地命名實體庫和/或網(wǎng)絡(luò)資源中選擇的詞匯、或用戶重新輸入的詞匯，修正所述識別錯誤的命名實體詞匯。
10.如權(quán)利要求9所述的裝置，其特征在干，所述連續(xù)語音識別模塊包括特征提取子模塊、解碼器、命名實體標(biāo)注詞典、聲學(xué)模型和基于類的語言模型； 所述特征提取子模塊，用于從語音輸入信號中提取多維度的倒譜特征及其差分特征，輸出到所述解碼器； 所述解碼器，用于基于命名實體標(biāo)注詞典、聲學(xué)模型和基于類的語言模型，得到音素格和詞格兩級識別結(jié)果，輸出給所述命名實體檢測模塊，所述詞格和音素格由識別柵格組成、且詞格中包括命名實體詞匯標(biāo)注信息，所述命名實體詞匯標(biāo)注信息為命名實體詞匯的位置和類別信息。
11.如權(quán)利要求10所述的裝置，其特征在于，所述命名實體檢測模塊包括置信度校驗子模塊和新詞生成子模塊； 所述置信度校驗子模塊，用于根據(jù)所述詞格和音素格及其起始和終止時間信息，對詞格和音素格進(jìn)行強(qiáng)制對齊，確定識別柵格未對齊、包括命名實體詞匯標(biāo)注信息、且置信度低于設(shè)定閾值的問題區(qū)域，突出標(biāo)注出所述問題區(qū)域中的命名實體詞匯，并將標(biāo)注后的識別結(jié)果輸出給所述新詞生成子模塊； 所述新詞生成子模塊，用于從本地命名實體庫和/或網(wǎng)絡(luò)資源中查找確定出的問題區(qū)域中的命名實體詞匯的候選詞匯，形成候選詞匯列表輸出給顯示部件，將標(biāo)注后的識別結(jié)果輸出給所述用戶更正模塊和顯示部件。
12.如權(quán)利要求11所述的裝置，其特征在于，所述裝置中進(jìn)ー步包括本地命名實體庫更新模塊，用于將所述用戶更正模塊執(zhí)行修正后確認(rèn)的正確詞匯及其類別、在句子中的位置、出現(xiàn)的頻次和毎次更新的時間更新到本地命名實體庫中； 所述新詞生成子模塊進(jìn)一步用于，在利用本地命名實體庫查找所述確定出的命名實體詞匯的候選詞匯時，根據(jù)所述類別、在句子中的位置、出現(xiàn)的頻次和毎次更新的時間，確定查找出的候選詞匯的排列順序。
13.如權(quán)利要求12所述的裝置，其特征在于，所述用戶更正模塊包括第一更正子模塊、第二更正子模塊和第三更正子模塊； 所述第一更正子模塊，用于在用戶觸發(fā)后，使用用戶直接從所述候選詞匯列表中選擇的詞匯，修正所述識別錯誤的命名實體詞匯；將執(zhí)行修正后確認(rèn)正確的詞匯輸出給本地命名實體庫更新ホ吳塊； 所述第二更正子模塊，用于在用戶觸發(fā)后，從本地命名實體庫和/或網(wǎng)絡(luò)資源中查找確定出的問題區(qū)域中的命名實體詞匯的候選詞匯，輸出給顯示部件；使用用戶從查找出的候選詞匯中選擇的詞匯，修正所述識別錯誤的命名實體詞匯；將執(zhí)行修正后確認(rèn)正確的詞匯輸出給本地命名實體庫更新模塊； 第三更正子模塊，用于在用戶觸發(fā)后，使用用戶重新輸入的詞匯，修正所述識別錯誤的命名實體詞匯；將執(zhí)行修正后確認(rèn)正確的詞匯輸出給本地命名實體庫更新模塊。
14.如權(quán)利要求13所述的裝置，其特征在于，所述用戶更正模塊中進(jìn)ー步包括第四更正子模塊，用于在用戶觸發(fā)后，顯示所述新詞生成子模塊確定出、且未包含在所述候選詞匯列表中的更多候選詞匯，使用用戶從所述更多候選詞匯中選擇出的詞匯，修正所述識別錯誤的命名實體詞匯；將執(zhí)行修正后確認(rèn)正確的詞匯輸出給本地命名實體庫更新模塊。
15.如權(quán)利要求13所述的裝置，其特征在于，所述用戶重新輸入的詞匯為用戶通過語音重新輸入的詞匯； 所述第三更正模塊進(jìn)一步用于，觸發(fā)所述連續(xù)語音識別模塊重新識別輸入的語音輸入信號、并顯示重新識別的識別結(jié)果，將用戶確認(rèn)的重新識別的識別結(jié)果作為確認(rèn)的正確詞匯。
16.ー種終端，其特征在于，該終端包括修正語音輸入文本中命名實體詞匯的裝置和顯示部件； 所述修正語音輸入文本中命名實體詞匯的裝置，用于識別語音輸入信號，得出包括命名實體詞匯標(biāo)注信息的識別結(jié)果；根據(jù)所述命名實體詞匯標(biāo)注信息，確定所述識別結(jié)果中錯誤識別的命名實體詞匯，在識別結(jié)果中突出標(biāo)注出錯誤識別的命名實體詞匯，并將標(biāo)注后的識別結(jié)果輸出給所述顯示部件；使用從預(yù)設(shè)的本地命名實體庫和/或網(wǎng)絡(luò)資源中選擇的詞匯、或用戶重新輸入的詞匯，修正所述識別錯誤的命名實體詞匯； 所述顯示部件，用于顯示所述標(biāo)注后的識別結(jié)果。
全文摘要
本發(fā)明公開了修正語音輸入文本中命名實體詞匯的方法及裝置，有針對性的定位識別錯誤的命名實體詞匯，而不是對用戶輸入的每個詞匯是否識別錯誤都進(jìn)行判斷，同時提供了包括使用從預(yù)設(shè)的本地命名實體庫和/或網(wǎng)絡(luò)資源中選擇的詞匯、及使用用戶重新輸入的詞匯進(jìn)行修正的修正模式，與現(xiàn)有技術(shù)中僅通過多模態(tài)的文字輸入進(jìn)行修正相比，修正途徑更加便捷、豐富。
文檔編號G06F17/30GK102682763SQ201110063938
公開日2012年9月19日 申請日期2011年3月10日 優(yōu)先權(quán)日2011年3月10日
發(fā)明者嚴(yán)基完, 張華 , 朱璇, 李在原, 蘇騰榮 申請人:三星電子株式會社, 北京三星通信技術(shù)研究有限公司