支持基于翻譯的通信服務(wù)方法和系統(tǒng)和支持該服務(wù)的終端的制作方法
【專利摘要】本公開涉及一種支持基于翻譯的通信服務(wù)方法和系統(tǒng)和支持該服務(wù)的終端。所述方法包括：在發(fā)送器側(cè)終端和接收器側(cè)終端之間建立通信服務(wù)信道；將由發(fā)送器側(cè)終端收集的第一語言的文本和第一語言的語音信號中的至少一個翻譯為第二語言，以產(chǎn)生第二語言的翻譯文本和第二語言的翻譯語音中的至少一個；由接收器側(cè)終端接收并輸出產(chǎn)生的第二語言的翻譯文本和第二語言的翻譯語音信號中的至少一個。
【專利說明】支持基于翻譯的通信服務(wù)方法和系統(tǒng)和支持該服務(wù)的終端
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種用于終端的基于翻譯的通信服務(wù)操作，更具體地，涉及一種用于基于翻譯的通信服務(wù)操作的方法和系統(tǒng)，所述方法和系統(tǒng)支持用于發(fā)送器側(cè)和接收器側(cè)之間的順暢通信的翻譯服務(wù)的操作。
【背景技術(shù)】
[0002]由于便攜式終端在可支持特定用戶功能的同時足夠小以至于能夠被攜帶，因此便攜式終端在各種工業(yè)和生活領(lǐng)域中很受歡迎。最近，已經(jīng)出現(xiàn)了綜合支持各種用戶功能的便攜式終端。這些便攜式終端中的每一個都支持用戶功能并通過顯示單元提供與用戶功能相應(yīng)的屏幕。因此，用戶可使用特定用戶功能來根據(jù)該特定用戶功能的操作通過屏幕使用內(nèi)容。
[0003]此外，便攜式終端支持與另一便攜式移動終端進(jìn)行語音通信、短消息服務(wù)(SMS)通信、視頻通信等。為此，當(dāng)用戶輸入對方終端的電話號碼并選擇語音通信、SMS通信和視頻通信之一，且對方終端的用戶隨后許可了所選擇的通信服務(wù)時，終端可提供所選擇的通信服務(wù)。如上所述的支持的通信服務(wù)不僅可包括使用相同語言的預(yù)定區(qū)域中的通信服務(wù)，還可包括使用不同語言的區(qū)域之間的通信服務(wù)。因此，近期使用不同語言的人之間的通信也得到支持。在使用不同語言的人之間的通信中，當(dāng)一方可理解另一方的語言時，可建立正常通信。特別地，當(dāng)任何一方都不能理解另一方的語言時，即使在通信連接后，也無法進(jìn)行正常通信。

【發(fā)明內(nèi)容】

[0004]為了解決以上討論的缺陷，首要目標(biāo)是提供一種用于基于翻譯的通信服務(wù)的方法和系統(tǒng)，所述方法和系統(tǒng)支持將輸入內(nèi)容轉(zhuǎn)換為預(yù)定語音并隨后提供轉(zhuǎn)換后的內(nèi)容，以實現(xiàn)使用不同的語音的用戶之間的通信。
[0005]本發(fā)明的一方面提供了一種支持基于翻譯的通信服務(wù)的方法，所述方法包括:在發(fā)送器側(cè)終端和接收器側(cè)終端之間建立通信服務(wù)信道；將由發(fā)送器側(cè)終端收集的第一語言的文本和第一語言的語音信號中的至少一個翻譯為第二語言，以產(chǎn)生第二語言的翻譯文本和第二語言的翻譯語音中的至少一個；由接收器側(cè)終端接收并輸出產(chǎn)生的第二語言的翻譯文本和第二語言的翻譯語音信號中的至少一個。
[0006]本發(fā)明的另一方面提供了一種用于支持基于翻譯的通信服務(wù)的接收器側(cè)終端，所述接收器側(cè)終端包括:通信單元，接收第一語言的文本；存儲單元，存儲用于將接收到的第一語言的文本轉(zhuǎn)換為第二語言的翻譯文本的翻譯數(shù)據(jù)庫；顯示單元，輸出第二語言的翻譯文本；控制器，執(zhí)行控制以將第一語言的文本轉(zhuǎn)換為第二語言的翻譯文本，并隨后輸出轉(zhuǎn)換后的翻譯文本。
[0007]本發(fā)明的另一方面提供了一種用于支持基于翻譯的通信服務(wù)的發(fā)送器側(cè)終端，所述發(fā)送器側(cè)終端包括:支持第一語言的文本的輸入的輸入單元和具有輸入功能的顯示單元中的至少一個；存儲單元，存儲用于翻譯第一語言的文本的翻譯數(shù)據(jù)庫；控制器，控制通過使用翻譯數(shù)據(jù)庫將第一語言的文本轉(zhuǎn)換為第二語言的翻譯文本；通信單元，發(fā)送第二語言的翻譯文本。
[0008]本發(fā)明的另一方面提供了一種用于支持基于翻譯的通信服務(wù)的系統(tǒng)，所述系統(tǒng)包括:發(fā)送器側(cè)終端，與接收器側(cè)終端建立通信服務(wù)信道，將由發(fā)送器側(cè)終端收集到的第一語言的文本和第一語言的語音信號中的至少一個翻譯為第二語言，以產(chǎn)生第二語言的翻譯文本和第二語言的翻譯語音中的至少一個，并發(fā)送產(chǎn)生的翻譯文本和翻譯語音中的至少一個；接收器側(cè)終端，輸出從發(fā)送器側(cè)終端發(fā)送的第二語言的翻譯文本和第二語言的翻譯語音信號中的至少一個。
[0009]本發(fā)明的另一方面提供了一種用于支持基于翻譯的通信服務(wù)的系統(tǒng)，所述系統(tǒng)包括:發(fā)送器側(cè)終端，與接收器側(cè)終端建立通信服務(wù)信道，并發(fā)送收集到的第一語言的文本和收集到的第一語言的語音信號中的至少一個；接收器側(cè)終端，將從發(fā)送器側(cè)終端發(fā)送的第一語言的文本和第一語言的語音信號中的至少一個轉(zhuǎn)換為第二語言的翻譯文本和第二語言的翻譯語音中的至少一個，并輸出轉(zhuǎn)換后的翻譯文本和翻譯語音信號中的至少一個。
[0010]本發(fā)明的另一方面提供了一種用于支持基于翻譯的通信服務(wù)的系統(tǒng)，所述系統(tǒng)包括:發(fā)送器側(cè)終端，與接收器側(cè)終端建立聊天服務(wù)信道，并收集第一語言的文本;ASR/翻譯服務(wù)器，接收來自發(fā)送器側(cè)終端的第一語言的文本和接收器側(cè)終端的第二語言的信息，并基于接收到的第二語言的信息來產(chǎn)生與第一語言的文本相應(yīng)的第二語言的翻譯文本；聊天服務(wù)器，接收第二語言的翻譯文本，并將接收到的翻譯文本提供給接收器側(cè)終端；接收器側(cè)終端，接收并輸出第二語言的翻譯文本。
[0011]本發(fā)明的另一方面提供了一種用于支持基于翻譯的通信服務(wù)的系統(tǒng)，所述系統(tǒng)包括:發(fā)送器側(cè)終端，與接收器側(cè)終端建立語音通信服務(wù)信道，并收集第一語言的語音信號；ASR/翻譯服務(wù)器，從發(fā)送器側(cè)終端接收第一語言的語音信號和接收器側(cè)終端的第二語言的信息，對第一語言的語音信號進(jìn)行語音識別以產(chǎn)生語音識別的文本，并將語音識別的文本轉(zhuǎn)換為第二語言的翻譯文本；接收器側(cè)終端，接收并輸出第二語言的翻譯文本。
[0012]本發(fā)明的另一方面提供了一種用于支持基于翻譯的通信服務(wù)的系統(tǒng)，所述系統(tǒng)包括:發(fā)送器側(cè)終端，與接收器側(cè)終端建立語音通信服務(wù)信道，并收集第一語言的語言信號；ASR服務(wù)器，接收第一語言的語音信號并對其進(jìn)行語音識別，以產(chǎn)生語音識別的文本；翻譯服務(wù)器，將語音識別的文本轉(zhuǎn)換為與接收器側(cè)終端的第二語言的信息相應(yīng)的第二語言的翻譯文本，接收器側(cè)終端，接收并輸出第二語言的翻譯文本。
[0013]如上所述，用于根據(jù)本發(fā)明的基于翻譯的通信服務(wù)操作的方法和系統(tǒng)可支持對內(nèi)容的適當(dāng)翻譯和傳送，以實現(xiàn)使用不同語言的用戶之間的通信。
[0014]在著手下面的“【具體實施方式】”之前，闡述在本專利文件中通篇使用的特定詞語和短語的定義會是有益的:術(shù)語“包括”和“包含”及其派生詞意指包含而沒有限制；術(shù)語“或”包含意指“和/或”；短語“與…相關(guān)聯(lián)的”和“與其相關(guān)聯(lián)的”及其派生詞可意指包括、被包括在…內(nèi)、與…相互連接、包含、被包含在…內(nèi)、連接到…或與…連接、耦合到…或與…耦合、可與…通信、與…合作、交織、并置、近似于、被綁定到…或與…綁定、具有、具有…的屬性，等等；術(shù)語“控制器”意指控制至少一個操作的任何裝置、系統(tǒng)或裝置、系統(tǒng)的一部分，其中，可以以硬件、固件或軟件或者硬件、固件和軟件中的至少兩個的某一組合來實施所述裝置。應(yīng)注意到:無論是本地地還是遠(yuǎn)程地，可集中或分散與任何特定控制器相關(guān)聯(lián)的功能。在本專利文件中通篇提供針對特定詞語和短語的定義，本領(lǐng)域普通技術(shù)人員應(yīng)理解:在許多(如果不是大多數(shù))示例中，所述定義應(yīng)用于所述定義的詞語和短語的之前以及未來的使用。
【專利附圖】

【附圖說明】
[0015]為了更完整地理解本公開及其優(yōu)點，現(xiàn)在將參照結(jié)合附圖進(jìn)行的以下描述，其中，相同的標(biāo)號表不相同的部分:
[0016]圖1是示出根據(jù)本發(fā)明的實施例的基于翻譯的通信服務(wù)支持系統(tǒng)的示圖；
[0017]圖2是更詳細(xì)地示出圖1的發(fā)送器側(cè)終端的配置和接收器側(cè)終端的配置的框圖；
[0018]圖3是更詳細(xì)地示出根據(jù)本發(fā)明的實施例的發(fā)送器側(cè)終端的第一控制器和接收器側(cè)終端的第二控制器的配置的框圖；
[0019]圖4是更詳細(xì)地示出本發(fā)明的實施例的翻譯單元的配置的框圖；
[0020]圖5是示出根據(jù)本發(fā)明的實施例的第一控制器的結(jié)構(gòu)的示例的框圖；
[0021]圖6是示出根據(jù)本發(fā)明的實施例的第一控制器的結(jié)構(gòu)的另一示例的框圖；
[0022]圖7是用于描述根據(jù)本發(fā)明的實施例的基于翻譯的通信服務(wù)操作系統(tǒng)中發(fā)送器側(cè)終端的操作的流程圖；
[0023]圖8是用于描述根據(jù)本發(fā)明的實施例的基于翻譯的通信服務(wù)操作系統(tǒng)中接收器側(cè)終端的操作的流程圖；
[0024]圖9是示出根據(jù)本發(fā)明的實施例的支持基于翻譯的通信服務(wù)的發(fā)送器側(cè)終端的屏幕界面的示例的示圖；
[0025]圖10是示出根據(jù)本發(fā)明的實施例的支持基于翻譯的通信服務(wù)的接收器側(cè)終端的屏幕界面的示例的示圖；
[0026]圖11是示意性地示出根據(jù)本發(fā)明的第一至第四實施例的用于支持基于翻譯的通信服務(wù)的系統(tǒng)的結(jié)構(gòu)的示圖；
[0027]圖12是用于描述根據(jù)本發(fā)明的第一實施例的基于翻譯的通信服務(wù)的操作的信號流程圖；
[0028]圖13是用于描述根據(jù)本發(fā)明的第二實施例的基于翻譯的通信服務(wù)的操作的信號流程圖；
[0029]圖14是用于描述根據(jù)本發(fā)明的第三實施例的基于翻譯的通信服務(wù)的操作的信號流程圖；
[0030]圖15是用于描述根據(jù)本發(fā)明的第四實施例的基于翻譯的通信服務(wù)的操作的信號流程圖；
[0031]圖16是示意性地示出根據(jù)本發(fā)明的第五和第六實施例的用于支持基于翻譯的通信服務(wù)的系統(tǒng)的結(jié)構(gòu)的示圖；
[0032]圖17是用于描述根據(jù)本發(fā)明的第五實施例的基于翻譯的通信服務(wù)的操作的信號流程圖；
[0033]圖18是用于描述根據(jù)本發(fā)明的第六實施例的基于翻譯的通信服務(wù)的操作的信號流程圖；[0034]圖19是示意性地示出根據(jù)本發(fā)明的第七和第八實施例的用于支持基于翻譯的通信服務(wù)的系統(tǒng)的結(jié)構(gòu)的示圖；
[0035]圖20是用于描述根據(jù)本發(fā)明的第七實施例的基于翻譯的通信服務(wù)的操作的信號流程圖；
[0036]圖21是用于描述根據(jù)本發(fā)明的第八實施例的基于翻譯的通信服務(wù)的操作的信號流程圖；
[0037]圖22是示出根據(jù)本發(fā)明的實施例的支持通信服務(wù)的處理中終端的控制器配置和用于描述終端之間的會話管理的在終端之間的信號流的框圖；
[0038]圖23至圖25是用于描述根據(jù)本發(fā)明的實施例的支持通信服務(wù)的處理中的會話管理的流程圖，且圖26是示出根據(jù)本發(fā)明的實施例的支持通信服務(wù)的處理中終端的控制器配置和用于描述發(fā)送器側(cè)終端所進(jìn)行的會話管理的在終端之間的信號流的框圖；
[0039]圖27和圖28是用于描述與用于支持通信服務(wù)的語音區(qū)段(section)信息相關(guān)的終端的會話管理方法的流程圖。
【具體實施方式】
[0040]在本專利文件中，以下討論的圖1至圖28以及用于描述本公開的原理的各種實施例僅僅是舉例說明，并且不應(yīng)該以任何方式被解釋為用于限制本公開的范圍。本領(lǐng)域技術(shù)人員將理解的是，可在任何適當(dāng)?shù)夭贾玫碾娮友b置中實現(xiàn)本公開的原理。在下文中，將參照附圖來詳細(xì)描述本發(fā)明的實施例。
[0041]在描述本發(fā)明的示例性實施例的過程中，與本發(fā)明所屬領(lǐng)域的公知的技術(shù)內(nèi)容以及與本發(fā)明不直接關(guān)聯(lián)的技術(shù)內(nèi)容相關(guān)的描述將被省略。此外，與具有基本相同的配置和功能的配置元件相關(guān)的詳細(xì)描述將被省略。
[0042]出于相同的原因，在附圖中，一些配置元件可被夸大、省略或示意性地示出，且每個元件的大小可不準(zhǔn)確反映真實大小。因此，本發(fā)明不受在附圖中示出的相對大小或間隔限制。
[0043]圖1是示出根據(jù)本發(fā)明的實施例的基于翻譯的通信服務(wù)操作系統(tǒng)的示圖。
[0044]參照圖1，本發(fā)明的基于翻譯的通信服務(wù)操作系統(tǒng)10包括:發(fā)送器側(cè)終端100、通信系統(tǒng)300和接收器側(cè)終端200。
[0045]在發(fā)送器側(cè)終端100和接收器側(cè)終端200之間的通信服務(wù)的操作期間，根據(jù)由用戶建立的配置，具有如上所述的構(gòu)造的本發(fā)明的基于翻譯的通信服務(wù)支持系統(tǒng)10可支持基于翻譯的通信服務(wù)。具體地，本發(fā)明的基于翻譯的通信服務(wù)支持系統(tǒng)10支持將發(fā)送信息翻譯為特定語言的信息并將經(jīng)翻譯的信息發(fā)送到接收器側(cè)終端200，其中，所述發(fā)送信息包括由發(fā)送器側(cè)終端100輸入的語音信號、文本和手寫信息中的至少一個。
[0046]為此，發(fā)送器側(cè)終端100與接收器側(cè)終端200建立基于分組交換系統(tǒng)的數(shù)據(jù)通信信道。在所述建立中，根據(jù)來自發(fā)送器側(cè)終端100的用戶請求、來自接收器側(cè)終端200的用戶請求以及通過每個終端設(shè)置的配置中的至少一個，基于翻譯的通信服務(wù)支持系統(tǒng)10可支持翻譯功能的操作。例如，發(fā)送器側(cè)終端100將請求建立與接收器側(cè)終端200的聊天服務(wù)所使用的數(shù)據(jù)通信信道的消息發(fā)送到接收器側(cè)終端200。隨后，當(dāng)與接收器側(cè)終端200的聊天服務(wù)被建立時，發(fā)送器側(cè)終端100將發(fā)送信息翻譯為由接收器側(cè)終端200指定的語言的信息以產(chǎn)生翻譯信息，其中，所述發(fā)送信息包括由發(fā)送器側(cè)用戶輸入的語音信號、文本和手寫信息中的至少一個。此外，發(fā)送器側(cè)終端100可將翻譯信息發(fā)送到末端的接收器側(cè)終端200。在這種情況下，發(fā)送器側(cè)終端100可將由用戶輸入的語音信號、文本和手寫信息之中的至少一種類型的發(fā)送信息連同翻譯信息一起發(fā)送到接收器側(cè)終端200。此外，發(fā)送器側(cè)終端100可發(fā)送文本信號形式的翻譯信息，或者在將翻譯信息轉(zhuǎn)換為由接收器側(cè)終端200指定的語言的語音信號之后發(fā)送翻譯信息。當(dāng)發(fā)送器側(cè)終端是100被設(shè)置為翻譯模式時，發(fā)送器側(cè)終端100通過將發(fā)送信息翻譯為由接收器側(cè)終端200指定的語言的信息來產(chǎn)生并發(fā)送發(fā)送信息。然而，當(dāng)翻譯模式處于停用狀態(tài)時，發(fā)送器側(cè)終端100可在不進(jìn)行翻譯的情況下將發(fā)送信息直接發(fā)送到接收器側(cè)終端200。
[0047]同時，接收器側(cè)終端200通過通信系統(tǒng)300與發(fā)送器側(cè)終端100建立通信信道。在這種情況下，接收器側(cè)終端200可與發(fā)送器側(cè)終端100建立基于分組交換系統(tǒng)的數(shù)據(jù)通信信道。數(shù)據(jù)通信信道可以是用于支持同時支持語音、視頻和字幕的各種通信服務(wù)信道(諸如視頻通信服務(wù)信道、聊天服務(wù)信道和通信服務(wù)信道)中的至少一種。當(dāng)如上所述的接收器側(cè)終端200從接收器側(cè)終端100接收翻譯信息時，末端的接收器側(cè)終端200可輸出接收到的翻譯信息。在這種情況下，接收器側(cè)終端200支持由發(fā)送器側(cè)終端100提供的語音類型或文本類型的翻譯信息的輸出。
[0048]同時，當(dāng)發(fā)送器側(cè)終端100不支持或應(yīng)用翻譯模式時，接收器側(cè)終端200可從發(fā)送器側(cè)終端100接收未翻譯的發(fā)送信息。隨后，根據(jù)由用戶做出的配置，接收器側(cè)終端200可執(zhí)行翻譯模式。也就是說，接收器側(cè)終端200可翻譯發(fā)送器側(cè)終端100發(fā)送的發(fā)送信息以產(chǎn)生翻譯信息，并隨后輸出產(chǎn)生的翻譯信息。在這種情況下，接收器側(cè)終端200可產(chǎn)生并輸出語音類型的翻譯信息和文本類型的翻譯信息中的至少一個。此外，根據(jù)由用戶做出的配置，或者響應(yīng)于來自發(fā)送器側(cè)終端100的請求，由接收器側(cè)終端200產(chǎn)生的翻譯信息可被發(fā)送到發(fā)送器側(cè)終端100。
[0049]通信系統(tǒng)300被布置在發(fā)送器側(cè)終端100和接收器側(cè)終端200之間，并且支持發(fā)送器側(cè)終端100和接收器側(cè)終端200之間的通信信道的建立。根據(jù)發(fā)送器側(cè)終端100和接收器側(cè)終端200的裝置特性，可通過各種類型的通信網(wǎng)絡(luò)裝置來配置通信系統(tǒng)300。具體地，為了提供根據(jù)本發(fā)明的翻譯信息，可通過能夠發(fā)送或接收包的分組交換系統(tǒng)來配置通信系統(tǒng)300，并且可連同電路交換系統(tǒng)一起混合地使用或被單獨配置。此外，當(dāng)發(fā)送器側(cè)終端100和接收器側(cè)終端200被布置為移動設(shè)備時,通信系統(tǒng)300可被配置為移動通信系統(tǒng)，以便支持終端的移動性。例如，通信系統(tǒng)300可包括支持各代(包括第二代(2G)、第三代(3G)和第四代(4G))通信方案和通信系統(tǒng)的網(wǎng)絡(luò)設(shè)備。因此，可理解的是，根據(jù)本發(fā)明的通信系統(tǒng)300是各種通信網(wǎng)絡(luò)中的至少一個，其中，可通過能夠?qū)⒂砂l(fā)送器側(cè)終端100收集的音頻數(shù)據(jù)、圖像和文本發(fā)送到接收器側(cè)終端200的網(wǎng)絡(luò)設(shè)備和能夠?qū)⒂山邮掌鱾?cè)終端200收集的音頻數(shù)據(jù)、圖像和文本中的至少一個發(fā)送到發(fā)送器側(cè)終端100的網(wǎng)絡(luò)設(shè)備來配置所述各種通信網(wǎng)絡(luò)中的每一個。
[0050]在根據(jù)如上所述的本發(fā)明的實施例的基于翻譯的通信服務(wù)支持系統(tǒng)10中，發(fā)送器側(cè)終端100將發(fā)送信息翻譯為接收器側(cè)終端200的語言，并隨后將經(jīng)翻譯的信息提供給接收器側(cè)終端200。因此，基于翻譯的通信服務(wù)支持系統(tǒng)10可支持終端的用戶之間的正常通信。在下文中，將參照附圖更詳細(xì)地描述基于翻譯的通信服務(wù)支持系統(tǒng)10的配置和各種操作實例。
[0051]圖2是更詳細(xì)地示出根據(jù)本發(fā)明的實施例的用于基于翻譯的通信服務(wù)的操作的終端的配置之中的發(fā)送器側(cè)終端100和接收器側(cè)終端200的配置的框圖。在下面的討論中，發(fā)送器側(cè)終端100和接收器側(cè)終端200分別作為具有單獨的功能的單獨的元件描述和示出。然而，本發(fā)明不限于此。換言之，在根據(jù)本發(fā)明的使用基于翻譯的通信服務(wù)的處理中，發(fā)送器側(cè)終端100可執(zhí)行接收器側(cè)終端200的功能，且接收器側(cè)終端200可執(zhí)行發(fā)送器側(cè)終端100的功能。因此，發(fā)送器側(cè)終端100和接收器側(cè)終端200可被整體地配置在單個通信終端中。因此，應(yīng)該理解的是，發(fā)送器側(cè)終端100的配置是特定終端當(dāng)執(zhí)行發(fā)送功能時可具有的配置，且接收器側(cè)終端200的配置是特定終端當(dāng)執(zhí)行接收功能時可具有的配置。
[0052]參照圖2，為了支持根據(jù)本發(fā)明的實施例的通信服務(wù)操作，發(fā)送器側(cè)終端100可包括第一通信單兀110、第一輸入單兀120、第一麥克風(fēng)131、第一揚聲器133、第一存儲單兀150、第一顯不單兀140和第一控制器160。
[0053]在利用接收器側(cè)終端200使用通信服務(wù)的過程中，當(dāng)存在請求翻譯為特定語言的用戶配置，或者接收器側(cè)終端200的配置語言包括在被配置為支持翻譯服務(wù)的語言的列表中或與發(fā)送器側(cè)終端100的配置語言不同時，根據(jù)本發(fā)明的具有上述構(gòu)造的發(fā)送器側(cè)終端100可支持本發(fā)明的基于翻譯的通信服務(wù)操作功能。在所述處理中，發(fā)送器側(cè)終端100支持將基于翻譯服務(wù)支持程序151收集到的文本信號轉(zhuǎn)換為翻譯信息，或者支持收集語音信號并將收集到的語音信號轉(zhuǎn)換為翻譯信息。在將語音信號轉(zhuǎn)換為翻譯信息的處理中，首先可將第一語言的語音信號轉(zhuǎn)換為文本信號，隨后可將轉(zhuǎn)換后的第一語言的文本信號轉(zhuǎn)換為第二語言的文本信號以產(chǎn)生翻譯信息。為了支持上述功能，發(fā)送器側(cè)終端100可通過下列步驟來支持用于識別由第一麥克風(fēng)131收集到的語音信號的語音轉(zhuǎn)文本(STT)翻譯服務(wù):使用存儲在第一存儲單元150中的語音識別數(shù)據(jù)庫或可通過第一通信單元110訪問的語音識別數(shù)據(jù)庫服務(wù)器，將識別出的語音信號轉(zhuǎn)換為文本，并隨后將轉(zhuǎn)換后的文本再次轉(zhuǎn)換為第二語言的文本。此外，發(fā)送器側(cè)終端100可支持文本轉(zhuǎn)語音(TTS)翻譯服務(wù)，所述TTS翻譯服務(wù)用于將由用戶輸入的文本信息轉(zhuǎn)換為第二語言的語音信號，并隨后將轉(zhuǎn)換后的語音信號發(fā)送到接收器側(cè)終端200。
[0054]當(dāng)聊天服務(wù)或視頻通信服務(wù)被使用時，發(fā)送器側(cè)終端100可提供STT翻譯服務(wù)和TTS翻譯服務(wù)中的至少一個。在這種情況下，根據(jù)用戶的選擇或先前的調(diào)度信息，或者在控制器的控制下，用于發(fā)送器側(cè)終端100和接收器側(cè)終端200之間的聊天的聊天服務(wù)可支持發(fā)送或接收語音信號、圖像和字幕的功能以及文本發(fā)送/接收功能之中的至少一個功能。
[0055]為此，第一通信單元110可通過通信系統(tǒng)300與接收器側(cè)終端200建立數(shù)據(jù)通信信道。根據(jù)發(fā)送器側(cè)終端100的裝置特性，可通過支持各種類型的通信方案的通信模塊來配置第一通信單元110。例如，第一通信單元Iio可包括各種通信模塊，諸如支持2G、3G和4G的通信方案的移動通信模塊和支持WiFi的通信模塊。具體地，響應(yīng)于來自用戶的輸入，第一通信單元110可與接收器側(cè)終端200建立用于根據(jù)本發(fā)明的實施例的基于翻譯的文本的發(fā)送/接收的數(shù)據(jù)通信信道。建立的數(shù)據(jù)通信信道允許通過第一輸入單元120或具有輸入功能的第一顯示單元140輸入的語音、圖像、文本以及通過語音識別產(chǎn)生的文本中的至少一個的翻譯和發(fā)送。此外，數(shù)據(jù)通信信道允許將翻譯文本轉(zhuǎn)換為翻譯語音，并隨后發(fā)送所述翻譯語音，其中，從通過第一輸入單元120或具有輸入功能的第一顯示單元140輸入的文本翻譯得到翻譯文本。在支持與接收器側(cè)終端200的通信服務(wù)的處理中，第一通信單元110可單向地或雙向地支持上述通信服務(wù)。
[0056]第一輸入單元120具有用于產(chǎn)生發(fā)送器側(cè)終端100的操作所需的各種輸入信號的配置。第一輸入單元120可具有特定的鍵形式(諸如按鈕鍵、側(cè)鍵和主屏幕(home)鍵)，并且可被提供為虛擬觸摸板，以便支持全觸摸屏。虛擬觸摸板可被顯示在第一顯示單元140上，以支持根據(jù)用戶的觸摸來產(chǎn)生輸入事件。
[0057]根據(jù)用戶的控制，第一輸入單元120可產(chǎn)生用于連接與接收器側(cè)終端200的通信服務(wù)的輸入信號、用于操作連接的通信服務(wù)的輸入信號、用于輸入字母的輸入信號、用于指示在特定通信服務(wù)的操作期間另一通信服務(wù)的激活的輸入信號等。具體地，為了支持基于翻譯的通信服務(wù)，第一輸入單元120可產(chǎn)生用于配置翻譯模式的輸入信號、用于指定特定語言的輸入信號或者用于請求接收器側(cè)終端200的語音信息的收集的輸入信號。產(chǎn)生的輸入信號被傳送到第一控制器160，以支持輸入信號的相應(yīng)的功能。
[0058]第一麥克風(fēng)131根據(jù)發(fā)送器側(cè)終端100的功能操作被激活，以從周圍收集音頻信號(特別是語音信號)。由第一麥克風(fēng)131收集到的語音信號被傳送到第一收集器160。在第一控制器160的控制下,傳送的語音信號可被語音識別、轉(zhuǎn)換為文本,并隨后被轉(zhuǎn)換為特定語言。或者，語音信號可以以被收集到時的狀態(tài)被編碼，并且可被提供到可通過第一通信單元110訪問的語音識別服務(wù)器。隨后，語音信號可由語音識別服務(wù)器轉(zhuǎn)換為文本，被轉(zhuǎn)換為特定語言，并隨后被傳送到接收器側(cè)終端200。
[0059]第一揚聲器133具有支持從發(fā)送器側(cè)終端100輸出音頻信號的配置。第一揚聲器133可支持根據(jù)存儲在發(fā)送器側(cè)終端100中的音頻文件的再現(xiàn)的音頻數(shù)據(jù)和根據(jù)從另一終端或外部服務(wù)器設(shè)備接收到的音頻文件的再現(xiàn)的音頻數(shù)據(jù)的輸出。具體地，第一揚聲器133可輸出從接收器側(cè)終端200發(fā)送的音頻數(shù)據(jù)。此外，響應(yīng)于從接收器側(cè)終端200發(fā)送的SMS消息或視頻信號，第一揚聲器133可輸出相應(yīng)的提醒聲音或引導(dǎo)聲音。在第一控制器160的控制下，根據(jù)本發(fā)明的第一揚聲器133可輸出通知從由第一麥克風(fēng)131收集到的語音信號翻譯得到的特定語言的文本的發(fā)送的提醒聲音、通知由接收器側(cè)終端200提供的翻譯文本的接收的提醒聲音、與響應(yīng)于STT或TTS翻譯服務(wù)從接收器側(cè)終端200接收到的文本相應(yīng)的引導(dǎo)聲首等。
[0060]第一顯示單元140具有用于提供發(fā)送器側(cè)終端100的操作所需的各種屏幕界面的配置。第一顯示單元140可具有包括觸摸面板和顯示面板的結(jié)構(gòu)，以便支持觸摸功能。第一顯示單元140根據(jù)與接收器側(cè)終端200的通信服務(wù)的類型來提供合成屏幕或單獨屏幕。例如，第一顯示單元140可根據(jù)每種通信服務(wù)的操作來單獨輸出用于支持與接收器側(cè)終端200的翻譯聊天服務(wù)的屏幕、用于支持翻譯語音服務(wù)的屏幕、用于支持翻譯SMS服務(wù)的屏幕、用于支持基于翻譯的字幕服務(wù)的屏幕和用于支持視頻通信服務(wù)的屏幕之中的至少一個屏幕。
[0061]此外，第一顯示單元140可提供上述屏幕的一個或更多個組合被合成地配置的屏幕。例如，第一顯示單元140可在翻譯聊天服務(wù)支持屏幕上將指示翻譯語音服務(wù)和相應(yīng)的功能正被支持的圖像或文本輸出為背景。此外，在輸出翻譯聊天服務(wù)支持屏幕期間，在屏幕的一側(cè)輸出通過語音識別服務(wù)產(chǎn)生的文本和被翻譯為特定語言的文本的同時，第一顯示單元140可輸出用于支持視頻通信服務(wù)的圖像顯示區(qū)域。[0062]第一顯示單元140可提供菜單屏幕，以使用戶能夠選擇上述各種通信服務(wù)中的至少一個。根據(jù)裝置的顯示區(qū)域的尺寸，由第一顯示單元140提供的屏幕可具有各種格式。此夕卜，第一顯示單元140可執(zhí)行各種類型的信息的重疊或頁面轉(zhuǎn)換，以便在有限的顯示區(qū)域中輸出信息，特別是在便攜式裝置的情況下。
[0063]第一存儲單元150可存儲發(fā)送器側(cè)終端100的操作所需的操作系統(tǒng)、用于支持由發(fā)送器側(cè)終端100提供的功能的應(yīng)用程序等。具體地，第一存儲單元150可存儲:用于支持本發(fā)明的基于翻譯的通信服務(wù)操作的翻譯服務(wù)支持程序151、用于支持內(nèi)部語音識別的語音識別數(shù)據(jù)庫(DB) 153、以及用于支持翻譯TTS服務(wù)的用于TTS的語音DB155。
[0064]翻譯服務(wù)支持程序151包括用于根據(jù)本發(fā)明的實施例的基于翻譯的通信服務(wù)的操作的各種例程。例如，翻譯服務(wù)支持程序151可包括:用于形成和操作與接收器側(cè)終端200的聊天服務(wù)信道的例程、用于形成和操作語音服務(wù)信道的例程、用于形成和操作SMS信道的例程、以及用于形成和操作視頻通信服務(wù)信道的例程。具體地，翻譯服務(wù)支持程序151可包括:用于將輸入的文本或輸入的字母轉(zhuǎn)換為特定語言的經(jīng)翻譯的文本或經(jīng)翻譯的字母的例程，以及用于基于語音識別DB153來識別輸入的語音信號、將輸入的語音信號轉(zhuǎn)換為文本并隨后將轉(zhuǎn)換后的文本轉(zhuǎn)換為經(jīng)翻譯的文本的例程。翻譯服務(wù)支持程序151可包括:用于將接收到的經(jīng)翻譯的文本轉(zhuǎn)換為經(jīng)翻譯的語音并隨后輸出轉(zhuǎn)換后的經(jīng)翻譯的語音的例程，以及用于將經(jīng)翻譯的文本轉(zhuǎn)換為經(jīng)翻譯的語音并隨后將轉(zhuǎn)換后的經(jīng)翻譯的語音發(fā)送到接收器側(cè)終端200的例程。此外，當(dāng)翻譯服務(wù)支持程序151被設(shè)計為使用可通過第一通信單元110訪問的外部服務(wù)器(例如，語音識別支持設(shè)備或翻譯服務(wù)支持設(shè)備)時，翻譯服務(wù)支持程序151可包括用于支持對支持設(shè)備的訪問和翻譯服務(wù)的功能處理例程。
[0065]當(dāng)發(fā)送器側(cè)終端100被設(shè)計為不使用分離地布置的ASR/翻譯服務(wù)器或者與用于語音識別的語音識別DB153 —起使用ASR/翻譯服務(wù)器時，語音識別DB153具有內(nèi)部支持語音識別功能的配置。雖然與ASR/翻譯服務(wù)器相比，如上所述的語音識別DB153可能提供具有較低可靠性的語音識別結(jié)果和較慢的計算速度，但是語音識別DB153可按照為發(fā)送器側(cè)終端100的用戶指定的形式來支持語音識別功能。也就是說，存儲在語音識別DB153中的數(shù)據(jù)可包括被存儲為語音識別歷史的先前由發(fā)送器側(cè)終端100的用戶輸入的語音信號，其中，所述語音信號包括關(guān)于具有特定模式的用戶語音信號與哪個文本相應(yīng)的信息。作為結(jié)果，與各種終端進(jìn)行訪問以請求語音識別的ASR/翻譯服務(wù)器不同，內(nèi)部存儲的語音識別DB153可支持為用戶指定的語音識別功能。為此，在第一控制器160的控制下，語音識別DB153可具有學(xué)習(xí)功能。學(xué)習(xí)功能可以是記錄事件的發(fā)生的功能，其中，由于在匹配語音識別結(jié)果與語音信號的處理中校正的輸入，因此由用戶輸入的語音信號的語音識別結(jié)果被修改為另一語音識別結(jié)果，以便將所述事件映射到未來的語音識別結(jié)果。通過重復(fù)以上處理，學(xué)習(xí)功能提高了對于由用戶輸入的語音信號的語音識別結(jié)果的精確性。
[0066]用于TTS的語音DB155是包括用于將作為字母或文本輸入的詞語、短語、后置虛詞或句子轉(zhuǎn)換為語音信號的語音的數(shù)據(jù)庫?？墒褂糜糜赥TS的語音DB155，以支持TTS服務(wù)。具體地，可通過與至少一個語言相應(yīng)的文本和與所述文本相應(yīng)的語音信號相匹配的數(shù)據(jù)庫來配置用于TTS的語音DB155，以支持TTS翻譯服務(wù)。因此，當(dāng)發(fā)送器側(cè)終端100從接收器側(cè)終端200接收到經(jīng)翻譯的文本且被配置為將所述經(jīng)翻譯的文本輸出為語音時，第一控制器160可基于存儲在用于TTS的語音DB155中的信息來輸出經(jīng)翻譯的語音。[0067]發(fā)送器側(cè)終端100還可包括相機，且由相機捕捉到的圖像可被傳送到第一控制器160。根據(jù)用戶的控制和當(dāng)前激活的功能，第一控制器160可支持將捕捉到的圖像存儲在第一存儲單元150中或者將捕捉到的圖像發(fā)送到接收器側(cè)終端200。具體地，相機可具有用于收集與接收器側(cè)終端200的視頻通信的操作所需的圖像的配置。在發(fā)送器側(cè)終端100和接收器側(cè)終端200之間的視頻通信期間，本發(fā)明的翻譯服務(wù)功能可被提供。在這種情況下，可通過用于視頻通信的屏幕的字幕來提供經(jīng)翻譯的文本。
[0068]第一控制器160具有用于根據(jù)本發(fā)明的實施例的發(fā)送器側(cè)終端100的操作所需的各種方式的供電和信號控制的配置。具體地，第一控制器160可控制用于提供本發(fā)明的通信服務(wù)操作的數(shù)據(jù)傳送和信號控制。為此，第一控制器160可具有如圖3中所示的構(gòu)造，并且將被參照圖3更詳細(xì)地描述。
[0069]同時，根據(jù)本發(fā)明的接收器側(cè)終端200可包括:第二通信單元210、第二輸入單元220、第二麥克風(fēng)231、第二揚聲器233、第二顯示單元240、第二存儲單元250和第二控制器260。具有如上所述的配置的接收器側(cè)終端200通過第二通信單元210建立與發(fā)送器側(cè)終端100的通信服務(wù)所使用的通信信道。具體地，第二通信單元210可建立用于基于翻譯服務(wù)的通信服務(wù)的操作的各種通信信道，諸如聊天服務(wù)信道、SMS信道、語音通信信道和視頻通信信道。
[0070]第二顯示單元240輸出由發(fā)送器側(cè)終端100提供的聊天信息、SMS信息等。此外，在語音通信期間，第二顯示單元240可輸出指示語音通信正被執(zhí)行的屏幕，并且可輸出翻譯信息。由第二顯示單元240輸出的翻譯信息可以是通過翻譯經(jīng)由識別由發(fā)送器側(cè)終端100提供的語音信號而獲得的信息獲得的信息。此外，第二顯示單元240可將由發(fā)送器側(cè)終端100提供的翻譯之前的文本與經(jīng)翻譯的文本一起輸出。此外，第二顯示單元240可將由發(fā)送器側(cè)終端200的用戶輸入的文本與從輸入的文本翻譯得到的翻譯文本一起輸出。此夕卜，第二顯示單元240可將通過經(jīng)由發(fā)送器側(cè)終端200輸入的語音信號的語音識別獲得的文本與從經(jīng)由語音識別獲得的文本翻譯得到的翻譯文本一起輸出。
[0071]為此，第二麥克風(fēng)231收集接收器側(cè)終端200的用戶的語音信號，并將收集到的語音信號提供給第二收集器260。第二揚聲器233具有用于輸出由發(fā)送器側(cè)終端100提供的語音信號的配置。具體地，在第二控制器260的控制下,第二揚聲器233可輸出與由發(fā)送器側(cè)終端100提供的翻譯文本相應(yīng)的語音信號或者由發(fā)送器側(cè)終端100提供的翻譯語音信號。為此，第二存儲單元250可存儲用于將翻譯文本轉(zhuǎn)換為翻譯語音信號的語音數(shù)據(jù)庫。此外，當(dāng)接收器側(cè)終端200使用第二語言，且發(fā)送器側(cè)終端100提供以第一語言形成的文本時，接收器側(cè)終端200的第二存儲單元250可包括用于將第一語言的文本翻譯為第二語言的翻譯文本的翻譯支持?jǐn)?shù)據(jù)庫。此外，當(dāng)發(fā)送器側(cè)終端100提供第一語言的語音信號時，第二存儲單元250可包括:用于對第一語言的語音信號進(jìn)行語音識別的語音識別數(shù)據(jù)庫，以及用于將第二語言的翻譯文本轉(zhuǎn)換為第二語言的語音信號的語音數(shù)據(jù)庫。根據(jù)用于支持本發(fā)明的基于翻譯的通信服務(wù)的設(shè)計方案，上述第二存儲單元250可存儲和管理各種數(shù)據(jù)庫。
[0072]第二控制器260可執(zhí)行第二通信單元210中的通信信道建立控制，執(zhí)行用于響應(yīng)于接收到對基于翻譯的通信服務(wù)操作的請求而根據(jù)預(yù)設(shè)計的方案執(zhí)行基于翻譯的通信服務(wù)的控制，執(zhí)行用于支持與發(fā)送器側(cè)終端100的基于翻譯的通信服務(wù)的協(xié)商控制，執(zhí)行所使用的語言識別控制，并且執(zhí)行根據(jù)用戶的設(shè)計的語言選擇控制。此外，第二控制器260可支持如上所述的各種類型的翻譯信息的提供。也就是說，根據(jù)由用戶做出的配置，第二控制器260可執(zhí)行用于提供基于聊天服務(wù)的翻譯文本、基于SMS的翻譯文本、基于語音通信的翻譯文本、在視頻通信中收集到的基于語音通信的翻譯文本和被提供為視頻通信的字幕的翻譯文本之中的至少一個文本的控制。上述第二控制器260的配置包括如圖3中所示的配置。
[0073]圖3是示出發(fā)送器側(cè)終端100的第一控制器160的結(jié)構(gòu)和接收器側(cè)終端200的第二控制器260的結(jié)構(gòu)的框圖。
[0074]參照圖3，第一控制器160可包括:第一語音處理器161、第一文本處理器162、電子筆處理器163、服務(wù)請求管理器164、第一網(wǎng)絡(luò)打包/解包支持單元165、服務(wù)控制模塊166、STT模塊167、HTT模塊168、翻譯單元60和TTS模塊169。第一控制器160還可包括用于提供基于視頻通信服務(wù)的翻譯信息的相機操作單元。相機操作單元可將由相機收集的圖像提供給服務(wù)請求管理器，并且可將由第一麥克風(fēng)131收集到的語音信號與提供的圖像一起傳送到服務(wù)請求管理器164。
[0075]第一語音處理器161處理由第一麥克風(fēng)131收集的語音信號，以產(chǎn)生語音數(shù)據(jù)。例如，第一語音處理器161可以是用于處理語音信號的編碼器。由第一語音處理器161處理的語音數(shù)據(jù)被提供給服務(wù)請求管理器164，并且可根據(jù)服務(wù)請求管理器164的控制而被傳送到第一網(wǎng)絡(luò)打包/解包支持單元165和服務(wù)控制模塊166中的至少一個。
[0076]第一文本處理器162將從第一輸入單元120和具有輸入功能的第一顯示單元140輸入的信號轉(zhuǎn)換為字母。由第一語音處理器162轉(zhuǎn)換成的字母被提供給服務(wù)請求管理器164，并且可根據(jù)服務(wù)請求管理器164的控制而被傳送到第一網(wǎng)絡(luò)打包/解包支持單元165和服務(wù)控制模塊166中的至少一個。
[0077]電子筆處理器163處理由被提供為輸入裝置的電子筆形成的信息。例如，電子筆處理器163收集通過電子筆的操作和用于電子筆的操作的筆觸摸面板而輸入的處于圖像形式的手寫信息。此外，電子筆處理器163可將收集到的手寫信息提供給服務(wù)請求管理器164。發(fā)送器側(cè)終端100和接收器側(cè)終端200中的每一個還可包括電子筆和能夠識別電子筆的筆觸摸面板，以實現(xiàn)手寫信息的輸入。
[0078]服務(wù)請求管理器164將從第一語音處理器161或第一文本處理器162傳送的信號傳送到服務(wù)控制模塊166以產(chǎn)生翻譯信息，并將產(chǎn)生的翻譯信息提供給第一網(wǎng)絡(luò)打包/解包支持單元165。在這種情況下，服務(wù)請求管理器164可將從第一處理器161和第一文本處理器162傳送的語音信號和文本與翻譯信息一起傳送到第一網(wǎng)絡(luò)打包/解包支持單元165。
[0079]服務(wù)控制模塊166基于已經(jīng)由服務(wù)請求管理器164提供的信息來產(chǎn)生翻譯信息，并將產(chǎn)生的翻譯信息提供給服務(wù)請求管理器164。具體地，服務(wù)控制模塊166將由第一語音處理器161提供的語音信號傳送到STT模塊167，以基于語音識別DB153將語音信號轉(zhuǎn)換為文本信息。此外，服務(wù)控制模塊166將由STT模塊167提供的文本傳送到翻譯單元60，以產(chǎn)生翻譯文本。當(dāng)從翻譯單元60接收翻譯文本時，服務(wù)控制模塊166可將翻譯文本提供給服務(wù)請求管理器164。此外，服務(wù)控制模塊166可將翻譯文本提供給TTS模塊169，以產(chǎn)生翻譯語音信號。產(chǎn)生的翻譯語音信號被與翻譯文本一起提供給服務(wù)請求管理器164。按照相似的方式，服務(wù)控制模塊166可將由第一文本處理器162提供的文本傳送到翻譯單元60以產(chǎn)生翻譯文本，并隨后將翻譯文本提供給服務(wù)請求管理器164。此外，服務(wù)控制模塊166可通過使用TTS模塊169將翻譯文本轉(zhuǎn)換為翻譯語音信號，并隨后將翻譯語音信號傳送到服務(wù)請求管理器164。此外，服務(wù)控制模塊166可將由電子筆處理器163提供的圖像信息傳送到HTT模塊168，并將由HTT模塊168提供的圖像識別文本傳送到翻譯單元60以將圖像識別文本轉(zhuǎn)換為翻譯文本，并隨后將翻譯文件提供給服務(wù)請求管理器164。
[0080]STT模塊167對由服務(wù)控制模塊166提供的語音信號進(jìn)行語音識別以產(chǎn)生文本。為此，STT模塊167可操作語音識別DB153，以對語音信號進(jìn)行語音識別。此外，當(dāng)本發(fā)明的基于語音識別的文本產(chǎn)生功能被設(shè)計為基于單獨的ASR服務(wù)器而運行時，STT模塊167可支持通過使用第一通信單元110的對ASR服務(wù)器的訪問和語音信號的提供，以接收與提供的語音信號相應(yīng)的文本信息。
[0081]HTT模塊168將由電子筆處理器163提供的手寫信息識別為特定文本。為此，HTT模塊168執(zhí)行包括手寫信息的虛擬筆記頁的圖像識別，并將特定手寫字母轉(zhuǎn)換為由相應(yīng)的終端提供的文本字母。轉(zhuǎn)換后的文本字母可被提供給服務(wù)控制模塊166。
[0082]翻譯單元60產(chǎn)生與由服務(wù)控制模塊166提供的文本相應(yīng)的翻譯文本。為此，翻譯單元60可管理第一語言文 本與第二語言文本彼此映射的數(shù)據(jù)庫，并且可轉(zhuǎn)換第一語言文本和第二語言文本以產(chǎn)生翻譯文本。在所述處理中，翻譯單元60收集與第一語言的特定詞相應(yīng)的第二語言的候選詞語，基于候選詞語來配置與將要翻譯的文本相應(yīng)的句子，并選擇最恰當(dāng)?shù)脑~來配置句子。
[0083]同時，本發(fā)明的翻譯單元60可去除不具有含義的非語言元素。例如，翻譯單元60可從收集到的文本去除不具有含義的重復(fù)表述(諸如，“嗯……”、“你知道……”和“現(xiàn)在……”)，以支持恰當(dāng)?shù)木渥臃g。
[0084]TTS模塊169將文本轉(zhuǎn)換為語音信號。具體地，本發(fā)明的TTS模塊169將翻譯文本轉(zhuǎn)換為文本到語音信號，以產(chǎn)生翻譯語音信號。為此，TTS模塊169可管理并操作包括與翻譯目標(biāo)語言(即，接收器側(cè)終端的語言)相應(yīng)的文本信息和被映射到文本信息的語音信息的數(shù)據(jù)庫。本發(fā)明的TTS模塊169收集包括接收到的語音信號的音高、音調(diào)和特征的與語音相關(guān)的特性信息，并將收集到的與語音相關(guān)的特性信息應(yīng)用于翻譯語音信號。也就是說，當(dāng)將翻譯文本轉(zhuǎn)換為翻譯語音信號時，TTS模塊169可收集與用戶的語音相關(guān)的與語音相關(guān)的特征信息，并產(chǎn)生與收集到的與語音相關(guān)的特性信息最相似的翻譯語音信號。為此，TTS模塊169還可包括用于調(diào)整語音的音高、音調(diào)和特征的配置，以便產(chǎn)生具有各種音調(diào)的翻譯語音信號。例如，TTS模塊169可支持與用戶的性別相應(yīng)的翻譯語音信號的產(chǎn)生。另外，當(dāng)用戶的聲音具有高音調(diào)或低音調(diào)時，TTS模塊169可產(chǎn)生具有相同音調(diào)的翻譯語音信號。
[0085]第一網(wǎng)絡(luò)打包/解包支持單元165將由服務(wù)請求管理器164提供的各種信息傳送到接收器側(cè)終端200的第二網(wǎng)絡(luò)打包/解包支持單元265。在所述處理中，第一網(wǎng)絡(luò)打包/解包支持單元165對收集到的語音信號、文本、翻譯文本、翻譯語音信號和手寫信息進(jìn)行整體打包，并隨后將整體打包后的信息提供給接收器側(cè)終端200。例如，響應(yīng)于發(fā)送基于翻譯服務(wù)的語音信號的請求，第一網(wǎng)絡(luò)打包/解包支持單元165可整合語音信號、通過對語音信號進(jìn)行語音識別而獲得的文本、通過翻譯文本而獲得的翻譯文本以及基于翻譯文本產(chǎn)生的翻譯語音信號，并隨后將整合的信息提供給接收器側(cè)終端200。在這種情況下，根據(jù)修改后的配置，第一網(wǎng)絡(luò)打包/解包支持單元165可不對語音信號和翻譯語音信號進(jìn)行發(fā)送。此外，第一網(wǎng)絡(luò)打包/解包支持單元165可從接收器側(cè)終端200接收特定信息，對接收到的信息進(jìn)行解包，并隨后通過服務(wù)請求管理器164將解包后的信息提供給第一語音處理器161和第一文本處理器162。
[0086]再次參照圖3，包括在本發(fā)明的接收器側(cè)終端200中的第二控制器260包括第二網(wǎng)絡(luò)打包/解包支持單元265、第二語音處理器261、第二文本處理器262、圖像處理器263和組合器(composer) 264。
[0087]第二網(wǎng)絡(luò)打包/解包支持單元265對由第二通信單元210接收到的發(fā)送器側(cè)終端100的發(fā)送信息進(jìn)行解包，并對將要被提供給發(fā)送器側(cè)終端100的信息進(jìn)行打包，并將打包后的信息提供給第二通信單元210。此外，第二網(wǎng)絡(luò)打包/解包支持單元265將由發(fā)送器側(cè)終端100提供并隨后被解包的多條信息傳送到第二語音處理器261、第二文本處理器262和圖像處理器263。也就是說，當(dāng)接收到的信息包括語音數(shù)據(jù)或翻譯語音數(shù)據(jù)時，第二網(wǎng)絡(luò)打包/解包支持單元265將數(shù)據(jù)傳送到第二語音處理器261。此外，當(dāng)接收到的信息包括文本信息或圖像信息時，第二網(wǎng)絡(luò)打包/解包支持單元265將文本信息傳送到第二文本處理器262，并將圖像信息發(fā)送到圖像處理器263。
[0088]當(dāng)從第二網(wǎng)絡(luò)打包/解包支持單元265接收語音數(shù)據(jù)或翻譯語音數(shù)據(jù)時，第二語音處理器261根據(jù)預(yù)定方案來執(zhí)行語音處理。此外，第二語音處理器261通過第二揚聲器233來輸出處理后的語音信號。
[0089]當(dāng)從第二網(wǎng)絡(luò)打包/解包支持單元265接收文本信號時，第二文本處理器262執(zhí)行處理，以便將文本信號輸出到第二顯示單元240。隨后，第二文本處理器262將處理后的文本信號傳送到組合器264。
[0090]圖像處理器263處理由第二網(wǎng)絡(luò)打包/解包支持單元265提供的圖像數(shù)據(jù)，并隨后將處理后的圖像數(shù)據(jù)提供給組合器264。例如，圖像處理器263可對在視頻通信期間接收到的圖像幀進(jìn)行圖像處理，并隨后將處理后的圖像幀傳送到組合器264。此外，圖像處理器263處理由電子筆功能形成的手寫圖像數(shù)據(jù)，并隨后將處理后的手寫圖像數(shù)據(jù)提供給組合器264。
[0091]組合器264將由第二文本處理器262提供的文本和由圖像處理器263提供的圖像信息進(jìn)行組合。隨后，組合器264通過第二顯示單元240輸出組合后的圖像信息。在這種情況下，當(dāng)接收到的信息不包括圖像信息時，組合器264可僅輸出文本。具體地，組合器264可將翻譯文本與預(yù)定的背景圖像進(jìn)行組合，以通過第二顯示單元240輸出組合后的圖像。
[0092]圖4是更詳細(xì)地示出根據(jù)本發(fā)明的實施例的支持基于翻譯的通信服務(wù)的終端的配置中的翻譯單元的配置的框圖。
[0093]參照圖4，本發(fā)明的翻譯單元60包括:輸入文本分析器61、中間轉(zhuǎn)換單元62、輸出文本產(chǎn)生器63和翻譯統(tǒng)計模型DB64。
[0094]輸入文本分析器61對通過分析輸入的手寫圖像獲得的文本或通過具有輸入功能的第一顯示單元140和第一輸入單元120中的至少一個輸入的文本進(jìn)行分析。具體地，輸入文本分析器61識別文本中的每個句子、包括在每個句子中的每個詞語/短語和包括在每個短語中的詞語和后置虛詞。此外，輸入文本分析器61可將分析結(jié)果逐句傳送到中間轉(zhuǎn)換單元62。
[0095]中間轉(zhuǎn)換單元62選擇與包括在由輸入文本分析器61提供的以句子為單位的文本中的短語、詞語、后置虛詞等相應(yīng)的翻譯文本。為此，中間轉(zhuǎn)換單元62將傳送的文本與存儲在翻譯統(tǒng)計模型DB64中的各種翻譯模型進(jìn)行比較，以選擇示出最高一致性的翻譯模型。由中間轉(zhuǎn)換單元62基于翻譯統(tǒng)計模型DB64選擇的翻譯信息被提供給輸出文本產(chǎn)生器63。
[0096]輸出文本產(chǎn)生器63通過組合由中間轉(zhuǎn)換單元62提供的翻譯短語、詞語、后置虛詞來配置句子。此外，輸出文本產(chǎn)生器63可輸出配置的句子并將其提供給服務(wù)控制模塊166。
[0097]翻譯統(tǒng)計模型DB64包括與特定短語、詞語、后置虛詞相應(yīng)的翻譯模型。翻譯統(tǒng)計模型DB64用作翻譯信息的數(shù)據(jù)庫。
[0098]圖5是示出根據(jù)本發(fā)明的第一實施例的用于描述基于翻譯的通信服務(wù)功能之中的翻譯語音信號支持功能的第一控制器160的結(jié)構(gòu)的一部分的框圖。
[0099]參照圖5，本發(fā)明的第一控制器160中的服務(wù)控制模塊166包括聲音特性提取器51和TTS特性評估器53。
[0100]當(dāng)服務(wù)請求管理器164提供語音信號時，聲音特性提取器51從語音信號提取聲音特性。例如，聲音特性提取器51提取與語音信號相關(guān)的特性，諸如語音音調(diào)特性、音高、音色和發(fā)聲速度。聲音特性提取器51將提取出的信息提供給TTS特性評估器53。
[0101]TTS特性評估器53評估與由聲音特性提取器51提供的與語音信號相關(guān)的特性，并將評估結(jié)果提供給TTS模型169。具體地，TTS特性評估器53可確定由聲音特性提取器51提供的特性與哪個TTS參數(shù)相應(yīng)，并隨后將確定的TTS參數(shù)提供給TTS模塊169。也就是說，基于預(yù)定義的參數(shù)值，TTS特性評估器53確定語音音調(diào)與男人相應(yīng)還是與女人相應(yīng)以及音高與哪個等級相應(yīng)。
[0102]在將語音信號提供給聲音特性提取器51和TTS特性評估器53以獲得語音特性的同時，服務(wù)控制模塊166將由服務(wù)請求管理器164提供的語音信號傳送到STT模塊167。同時，由HTT模塊168和STT模塊167產(chǎn)生的文本信息被提供給翻譯單元60，翻譯單元60可將所述文本翻譯為特定語言。此外，在服務(wù)控制模塊166的控制下，翻譯單元60可將翻譯文本提供給STT模塊169。隨后，包括在服務(wù)控制模塊166中的TTS特性評估器53將TTS參數(shù)值提供給TTS模塊169。
[0103]因此，在應(yīng)用由TTS特性評估器53提供的TTS參數(shù)的同時，TTS模塊169可將由翻譯單元60提供的翻譯文本轉(zhuǎn)換為語音信號，以便產(chǎn)生與用戶的真實語音信號相似的翻譯語音信號。此外，發(fā)送器側(cè)終端100接收指示語音信號選擇選項的輸入信號，并將接收到的選項提供給TTS模塊169。通過選擇相應(yīng)的菜單或圖標(biāo)或者產(chǎn)生指示配置的改變的輸入事件，用戶可自行調(diào)整通過TTS模塊169產(chǎn)生的翻譯語音信號的特性。具體地，用戶可產(chǎn)生用于調(diào)整提供給TTS模塊169的參數(shù)值的輸入事件，且發(fā)送器側(cè)終端100可響應(yīng)于參數(shù)值的調(diào)整來調(diào)整語音信號。
[0104]圖6是示出根據(jù)本發(fā)明的第二實施例的用于描述基于翻譯的通信服務(wù)功能之中的翻譯語音信號支持功能的第一控制器160的結(jié)構(gòu)的一部分的框圖。
[0105]參照圖6，本發(fā)明的第一控制器160的服務(wù)控制模塊166包括:聲音特性提取器51、TTS特性評估器53和規(guī)則/含義特性提取器55。聲音特性提取器51從STT模塊167之前的元件接收被提供給STT模塊167的語音信號，從語音信號提取聲音特性，并隨后將提取出的聲音特性提供給TTS特性評估器53。
[0106]規(guī)則/含義特性提取器53連接到STT模塊167的后路端子，并提取從STT模塊167輸出的文本信息的特性。具體地，規(guī)則/含義特性提取器55獲得從STT模塊167輸出的文本的諸如規(guī)則和含義的特性，并將獲得的信息提供給TTS特性評估器53。例如，規(guī)則/含義特性提取器55提取基于狀態(tài)信息收集的語音信號的規(guī)則和含義，其中，狀態(tài)信息基于語音信號的音高、頻率和發(fā)聲速度來定義說話者的感受。例如，規(guī)則/含義特性提取器55可將具有相對高的音高和相對快的發(fā)聲速度的狀態(tài)確定為說話者心煩的狀態(tài)或者說話者生氣的狀態(tài)。此外，規(guī)則/含義特性提取器55可將具有相對低的音高和相對慢的發(fā)聲速度的狀態(tài)確定為說話者穩(wěn)定的狀態(tài)或者說話者感到舒適的狀態(tài)。此外，規(guī)則/含義特性提取器55可將具有快速波動的音高和不規(guī)律的發(fā)聲速度的狀態(tài)確定為說話者沮喪的狀態(tài)或者說話者哭泣的狀態(tài)。狀態(tài)信息提供了實現(xiàn)基于包括音高、頻率、音調(diào)和發(fā)聲速度的各種元素對說話者的感受進(jìn)行估計的數(shù)據(jù)。狀態(tài)信息可由說話者通過自己寫下他或她的感受狀態(tài)而定義，或者通過接收預(yù)定義的狀態(tài)信息而從外部服務(wù)器提供。規(guī)則/含義特性提取器55將提取出的特性提供給TTS模塊169。
[0107]同時，語音特性提取器51接收在被提供給STT模塊167之前的狀態(tài)下的語音信號，從語音信號提取聲音特性，并將提取出的聲音特性提供給TTS特性評估器53。TTS特性評估器53從規(guī)則/含義特性提取器55接收包括文本的規(guī)則和含義的特性，其中，所述文本從STT模塊167輸出。此外，TTS特性評估器53接收從翻譯單元60輸出的翻譯文本。TTS特性評估器53將語音信號的包括規(guī)則和含義特性的聲音特性反映在翻譯文本的預(yù)定區(qū)段(諸如詞匯或詞語)中，并將反映的翻譯文本提供給TTS模塊169。
[0108]在將由TTS特性評估器53提供的語音信號特性反映在語音轉(zhuǎn)換中的同時，TTS模塊169將從翻譯單元60傳送的翻譯文本轉(zhuǎn)換為接收器側(cè)終端200的語言的語音。因此，各種與語音相關(guān)的特性(諸如說話者的語音特性和說話者的感受)可被反映在本發(fā)明的基于翻譯的通信服務(wù)中的語音信號的翻譯語音中。作為結(jié)果，由具有特定感受的說話者以特定形式產(chǎn)生的語音信號被翻譯為指示相似的感受的具有相似的音調(diào)和發(fā)聲速度等的相似形式的語音，且經(jīng)翻譯的語音通過接收器側(cè)終端200被輸出。
[0109]同時，通過如上所述的規(guī)則/含義的提取、TTS評估和語音特性的提取，接收器側(cè)終端200的第二控制器260可執(zhí)行語音相關(guān)的信息的翻譯語音的應(yīng)用。此外，如上所述的翻譯語音的與語音相關(guān)的特性的應(yīng)用可被設(shè)計為由分離地布置在系統(tǒng)中的服務(wù)器來提供，其中，所述系統(tǒng)被設(shè)計為使用本發(fā)明的基于翻譯的通信服務(wù)。
[0110]圖7是用于描述根據(jù)本發(fā)明的實施例的基于翻譯的通信服務(wù)操作系統(tǒng)中的發(fā)送器側(cè)終端的操作方法的流程圖。
[0111]參照圖7，在用于支持本發(fā)明的基于翻譯的通信服務(wù)的發(fā)送器側(cè)終端100的操作方法中，首先，在步驟701，第一控制器160允許由電池等為發(fā)送器側(cè)終端100的每個元件提供電力供應(yīng)。隨后，在步驟703，第一控制器160確定翻譯模式是否處于激活狀態(tài)。具體地，根據(jù)調(diào)度配置，第一控制器160可確定翻譯模式是否已經(jīng)被激活或者是否已經(jīng)發(fā)生用于激活翻譯模式的輸入事件。隨后，作為步驟703中的確定的結(jié)果，當(dāng)翻譯模式尚未被激活時，或者當(dāng)接收到的輸入事件不是用于激活翻譯模式的事件時，在步驟705，第一控制器160根據(jù)輸入事件執(zhí)行功能或者根據(jù)記錄在調(diào)度信息中的調(diào)度執(zhí)行功能。例如，在步驟705，第一控制器160根據(jù)發(fā)送器側(cè)終端100的操作來支持各種功能的操作，所述功能包括:聊天服務(wù)功能、語音通信服務(wù)功能、視頻通信服務(wù)功能、文件再現(xiàn)功能和文件編輯功能。
[0112]同時，作為步驟703中的確定的結(jié)果，當(dāng)翻譯模式已經(jīng)被激活時，在步驟707，第一控制器160確定收集到文本還是語音。作為步驟707中的確定的結(jié)果，當(dāng)發(fā)生語音輸入時，在步驟709,第一控制器160支持將輸入的語音信號轉(zhuǎn)換為文本。第一控制器160可為了轉(zhuǎn)換為文本而使用存儲在第一存儲單元150中的語音識別DB153，或者使用通過網(wǎng)絡(luò)連接的ASR服務(wù)器來支持轉(zhuǎn)換為文本。
[0113]同時，作為步驟707中的確定的結(jié)果，當(dāng)文本被輸入時，在步驟711中，第一控制器160支持對文本的翻譯。在這種情況下，在對文本進(jìn)行翻譯之前，在步驟709，第一控制器160可支持將語音信號轉(zhuǎn)換為文本。為了對文本進(jìn)行翻譯，第一控制器160可使用被布置為實現(xiàn)從發(fā)送器側(cè)終端100的第一語言到接收器側(cè)終端200的第二語言的翻譯的數(shù)據(jù)庫來支持對文本的翻譯。
[0114]接下來，在步驟713，第一控制器160控制將翻譯文本轉(zhuǎn)換為與所述翻譯文本相應(yīng)的翻譯語音。為此，發(fā)送器側(cè)終端100可支持可將翻譯文本轉(zhuǎn)換為翻譯語音的數(shù)據(jù)庫(SP，可將接收器側(cè)終端200中所配置的第二語言的文本轉(zhuǎn)換為第二語言的語音的用于TTS的語音DB155)的使用。此后，在步驟715，第一控制器160可將翻譯文本和翻譯語音中的至少一個提供給接收器側(cè)終端200。同時，根據(jù)用戶配置或者根據(jù)終端是否支持上述步驟713，步驟713可被省略。當(dāng)步驟713被省略時，在步驟715，第一控制器160可僅將翻譯文本提供給接收器側(cè)終端200。
[0115]接下來，第一控制器160確定是否終止翻譯功能，并響應(yīng)于用于終止翻譯功能的輸入事件的發(fā)生或者用于終止翻譯功能的請求而終止翻譯功能。同時，當(dāng)未發(fā)生用于終止翻譯功能的輸入事件或請求時，第一控制器160可返回至步驟703，并從步驟703重復(fù)所述處理。
[0116]如上所述，上述發(fā)送器側(cè)終端100的基于翻譯的通信服務(wù)可被應(yīng)用于包括聊天服務(wù)功能、SMS功能、語音通信服務(wù)功能和視頻通信服務(wù)功能的各種通信服務(wù)功能之中的至少一個功能。具體地，在聊天服務(wù)功能的情況下，本發(fā)明的基于翻譯的通信服務(wù)功能可支持伴隨著翻譯語音的翻譯文本的提供，且在語音通信功能的情況下，所述通信服務(wù)功能可支持伴隨著翻譯文本的翻譯語音的提供。
[0117]圖8是用于描述根據(jù)本發(fā)明的實施例的基于翻譯的通信服務(wù)操作系統(tǒng)中的接收器側(cè)終端的操作的流程圖。作為下面的描述的前提，接收器側(cè)終端200的操作基于發(fā)送器側(cè)終端100不運行翻譯模式并將以發(fā)送器側(cè)終端100中所配置的第一語言形成的文本和語音信號中的至少一個的情況。
[0118]參照圖8，在本發(fā)明的接收器側(cè)終端200的操作方法中，當(dāng)從諸如電池的電源供電時，在步驟801，第二控制器260對接收器側(cè)終端200的每個元件供電。隨后，在步驟803，第二控制器260確定翻譯模式是否已經(jīng)被配置或者是否存在用于配置翻譯模式的輸入事件。
[0119]作為步驟803中的確定的結(jié)果，當(dāng)翻譯模式未被配置時，在操作805，第二控制器260在不提供翻譯服務(wù)的狀態(tài)下支持接收器側(cè)終端200的操作。例如，第二控制器260可在翻譯服務(wù)不被操作的狀態(tài)下支持聊天服務(wù)功能、SMS功能、語音通信功能和視頻通信功能的執(zhí)行?；蛘撸诙刂破?60可根據(jù)輸入事件來支持文件再現(xiàn)功能、文件編輯功能、相機功能、備忘錄和筆記書寫功能等的提供。
[0120]同時，作為步驟803中的確定的結(jié)果，當(dāng)翻譯模式已經(jīng)被配置時，在步驟807，第二控制器260確定從發(fā)送器側(cè)終端100接收到文本還是語音。作為該步驟中的確定的結(jié)果，當(dāng)從發(fā)送器側(cè)終端100接收到語音信號時，在步驟809，第二控制器260將語音信號轉(zhuǎn)換為文本。為此，第二控制器260可存儲用于支持將由發(fā)送器側(cè)終端100提供的第一語言的語音信號轉(zhuǎn)換為第一語言的文本的語音識別數(shù)據(jù)庫。
[0121]同時，當(dāng)確定步驟807示出文本被接收到時，或者當(dāng)在步驟809轉(zhuǎn)換為文本被執(zhí)行時，第二控制器260可控制將文本翻譯為接收器側(cè)終端200中所配置的第二語言的文本。為此，接收器側(cè)終端200可支持用于將第一語言的文本轉(zhuǎn)換為第二語言的文本的數(shù)據(jù)庫的存儲和操作。
[0122]接下來，在步驟813，第二控制器260支持將翻譯文本轉(zhuǎn)換為語音信號。也就是說，第二控制器260支持將以第二語言形成的翻譯文本轉(zhuǎn)換為第二語言的語音信號。為此，第二控制器260支持用于將以第二語言形成的翻譯文本轉(zhuǎn)換為第二語言的語音信號的數(shù)據(jù)庫的存儲和操作。
[0123]在步驟815，第二控制器260輸出翻譯文本和翻譯語音信號中的至少一個。在該步驟中，根據(jù)接收器側(cè)終端200是否支持翻譯功能，或者根據(jù)用戶的配置，第二控制器260輸出翻譯文本和翻譯語音信號中的至少一個。當(dāng)不支持翻譯功能或者不存在用戶的針對翻譯模式的配置時，第二控制器260可支持僅輸出翻譯文本或者僅輸出翻譯語音。此外，當(dāng)接收器側(cè)終端200已經(jīng)被配置為僅輸出翻譯文本時，第二控制器260可省略步驟809和步驟813，并且在步驟815可支持僅輸出翻譯文本。
[0124]接下來，在步驟817，第二控制器260確定是否發(fā)生用于終止基于翻譯的通信服務(wù)功能的輸入事件。當(dāng)未發(fā)生用于終止基于翻譯的通信服務(wù)功能的輸入事件時，第二控制器260可返回至步驟803，并重復(fù)從步驟803的處理。
[0125]圖9示出根據(jù)本發(fā)明的實施例的基于翻譯的通信服務(wù)功能中發(fā)送器側(cè)終端中可提供的屏幕界面的示例，圖10示出在接收器側(cè)終端中可提供的屏幕界面的示例。實際上，當(dāng)使用通信服務(wù)時，終端執(zhí)行發(fā)送器功能和接收器功能兩者。因此，以下描述的屏幕界面可被單獨提供在終端中，也可被同時配置并提供在一個屏幕上。也就是說，預(yù)定的終端可將用于顯示發(fā)送的消息的區(qū)域和用于顯示接收到的消息的區(qū)域布置在一個屏幕上，并且可將圖9和圖10中示出的界面整體地提供在一個屏幕上。此外，當(dāng)僅僅發(fā)送器側(cè)終端100采用翻譯模式而接收器側(cè)終端200不采用翻譯模式時，圖9中示出的屏幕界面可僅在發(fā)送器側(cè)終端中輸出，并且可不在接收器側(cè)終端中輸出。與此相反，當(dāng)僅僅接收器側(cè)終端200采用翻譯模式而發(fā)送器側(cè)終端100不采用翻譯模式時，圖10中示出的屏幕界面可僅在接收器側(cè)終端中示出，并且可不在發(fā)送器側(cè)終端中輸出。
[0126]首先，參照圖9，發(fā)送器側(cè)終端100的第一顯示單元140可顯示第一翻譯模式區(qū)域145、發(fā)送消息區(qū)域141和經(jīng)翻譯的發(fā)送消息區(qū)域143。第一翻譯模式區(qū)域145是布置被提供以實現(xiàn)使用基于翻譯的通信服務(wù)的配置的項的區(qū)域。可以圖標(biāo)或菜單的形式來提供第一翻譯模式區(qū)域145。當(dāng)翻譯模式正被操作時，第一翻譯模式區(qū)域145可提供諸如突出顯示的指示，以與翻譯模式不支持狀態(tài)進(jìn)行區(qū)分。此外，第一顯示單元140可輸出用于消息書寫的書寫窗口，并隨后在消息書寫被完成時移除書寫窗口。
[0127]此外，發(fā)送器側(cè)終端100可支持通過第一麥克風(fēng)131收集說話者的語音信號并隨后將從收集到的語音信號轉(zhuǎn)換成的發(fā)送消息顯示在發(fā)送消息區(qū)域141和經(jīng)翻譯的發(fā)送消息區(qū)域143中。在所述處理中，第一控制器160可支持下列步驟:對收集到的語音信號進(jìn)行語音識別以產(chǎn)生在發(fā)送器側(cè)終端100中所配置的第一語言的發(fā)送消息，并隨后將發(fā)送消息輸出到發(fā)送消息區(qū)域141。此外，第一控制器160可支持翻譯服務(wù)支持程序151的操作，以將發(fā)送消息轉(zhuǎn)換為翻譯消息，并隨后將翻譯消息輸出在經(jīng)翻譯的發(fā)送消息區(qū)域143中。雖然發(fā)送消息區(qū)域141和經(jīng)翻譯的發(fā)送消息區(qū)域143兩者都被輸出在圖9的第一顯示單元140中，但是可僅將一個消息區(qū)域(例如，只有經(jīng)翻譯的發(fā)送消息區(qū)域143)輸出在第一顯示單元140中。此外，雖然發(fā)送/接收歷史記錄未被輸出在圖9中，但是第一控制器160可根據(jù)第一顯示單元140的尺寸來支持發(fā)送/接收歷史記錄(包括發(fā)送的消息或接收到的消息)的輸出。
[0128]接下來，參照圖10，接收器側(cè)終端200的第二顯示單元240可包括:第二翻譯模式區(qū)域245、接收消息區(qū)域241和經(jīng)翻譯的接收消息區(qū)域243。第二翻譯模式區(qū)域245指示接收器側(cè)終端200的翻譯模式的配置。當(dāng)在接收器側(cè)終端200中翻譯模式未被設(shè)置時，第二翻譯模式區(qū)域245可被陰影化以指示停用狀態(tài)。
[0129]接收消息區(qū)域241是用于輸出從發(fā)送器側(cè)終端100接收到的發(fā)送消息的區(qū)域。因此，以發(fā)送器側(cè)終端100中所配置的第一語言書寫的消息可被輸出在接收消息區(qū)域241中。根據(jù)配置，接收消息區(qū)域241可被從第二顯示單元240移除。
[0130]經(jīng)翻譯的接收消息區(qū)域243是用于輸出從發(fā)送器側(cè)終端100接收到的經(jīng)翻譯的發(fā)送消息的區(qū)域。經(jīng)翻譯的發(fā)送消息可以是以接收器側(cè)終端200中所配置的第二語言書寫的消息。當(dāng)發(fā)送器側(cè)終端100不執(zhí)行或不支持翻譯模式且當(dāng)接收器側(cè)終端200已經(jīng)激活翻譯模式時，經(jīng)翻譯的接收消息區(qū)域243可被用作用于輸出由接收器側(cè)終端通過翻譯由發(fā)送器側(cè)終端100提供的發(fā)送消息而獲得的消息的區(qū)域。
[0131]同時，即使當(dāng)接收器側(cè)終端200的翻譯模式處于停用狀態(tài)時，發(fā)送器側(cè)終端100可執(zhí)行翻譯模式并提供發(fā)送消息和經(jīng)翻譯的發(fā)送消息。在這種情況下，如示出的那樣，第二顯示單元240可將翻譯之前的原始信息和經(jīng)翻譯的消息分別輸出在接收消息區(qū)域241和經(jīng)翻譯的接收消息區(qū)域243中。此外，根據(jù)終端的狀態(tài)或者用戶的配置，第二顯示單元240還可輸出發(fā)送/接收歷史記錄(包括發(fā)送的消息或接收到的消息)。
[0132]此外，當(dāng)發(fā)送器側(cè)終端100提供與經(jīng)翻譯的發(fā)送消息相應(yīng)的經(jīng)翻譯的發(fā)送語音時，接收器側(cè)終端200可支持通過第二揚聲器233輸出經(jīng)翻譯的語音230?；蛘?，根據(jù)用戶的配置或者終端的支持，接收器側(cè)終端200可支持將接收到的翻譯消息轉(zhuǎn)換為語音以產(chǎn)生經(jīng)翻譯的語音，并隨后通過第二揚聲器233輸出經(jīng)翻譯的語音230。
[0133]以上描述已經(jīng)討論了根據(jù)本發(fā)明的實施例的用于支持基于翻譯的通信服務(wù)的終端的配置和操作。在下文中，將描述用于本發(fā)明的基于翻譯的通信服務(wù)的通過網(wǎng)絡(luò)使用單獨的外部服務(wù)器的各種示例。
[0134]圖11是示意性地示出根據(jù)本發(fā)明的第一至第四實施例的用于支持基于翻譯的通信服務(wù)的系統(tǒng)的結(jié)構(gòu)的示圖。
[0135]參照圖11，本發(fā)明的基于翻譯的通信服務(wù)支持系統(tǒng)10包括ASR/翻譯服務(wù)器400、聊天服務(wù)器500、發(fā)送器側(cè)終端100、接收器側(cè)終端200的元件。此外，系統(tǒng)10包括用于元件之間的信號傳送的通信系統(tǒng)300。
[0136]ASR/翻譯服務(wù)器400從發(fā)送器側(cè)終端100接收語音信號，并對接收到的語音信號進(jìn)行語音識別，以從語音信號配置文本。為此，ASR/翻譯服務(wù)器400可包括用于語音識別的語音識別數(shù)據(jù)庫和用于將第一語言的文本翻譯為另一語言的文本的翻譯數(shù)據(jù)庫。此外，ASR/翻譯服務(wù)器400收集關(guān)于由發(fā)送器側(cè)終端100指定的另一語言或在將接收相應(yīng)文本的接收器側(cè)終端200中所配置的語言的信息，并基于收集到的信息將第一語言的文本轉(zhuǎn)換為與收集到的信息相應(yīng)的另一語言的文本。根據(jù)本發(fā)明的每個實施例，ASR/翻譯服務(wù)器400可將轉(zhuǎn)換后的文本提供給相應(yīng)的元件(發(fā)送器側(cè)終端100、聊天服務(wù)器500和接收器側(cè)終端200中的至少一個)。此外，ASR/翻譯服務(wù)器400可基于翻譯文本來支持接收器側(cè)終端200中所配置的語言的語音翻譯。為此，ASR/翻譯服務(wù)器400可包括用于所述翻譯文本的語音翻譯的數(shù)據(jù)庫。
[0137]聊天服務(wù)器500支持包括語音和文本中的至少一個的聊天消息在發(fā)送器側(cè)終端100和接收器側(cè)終端200之間的發(fā)送或接收。為此，聊天服務(wù)器500可向終端提供將要在發(fā)送器側(cè)終端100和接收器側(cè)終端200中操作的聊天程序，并在終端中安裝所述聊天程序。此后，聊天服務(wù)器500可支持將由發(fā)送器側(cè)終端100提供的特定消息傳送到由發(fā)送器側(cè)終端100指定的接收器側(cè)終端200。根據(jù)特定實施例，聊天服務(wù)器500可將由發(fā)送器側(cè)終端100提供的第一語言的文本轉(zhuǎn)換為接收器側(cè)終端200中所配置的第二語言的文本。為此，聊天服務(wù)器500還可包括ASR/翻譯模塊510。ASR/翻譯模塊510可被配置為支持將翻譯文本轉(zhuǎn)換為翻譯語音并隨后提供轉(zhuǎn)換后的翻譯語音的功能。
[0138]發(fā)送器側(cè)終端100通過通信系統(tǒng)300來訪問聊天服務(wù)器500，并基于聊天服務(wù)器500的支持將聊天消息發(fā)送到接收器側(cè)終端200。在所述處理中，發(fā)送器側(cè)終端100使用ASR/翻譯服務(wù)器400和聊天服務(wù)器500的ASR/翻譯模塊510中的至少一個來將發(fā)送消息轉(zhuǎn)換為經(jīng)翻譯的發(fā)送消息，并請求將經(jīng)翻譯的發(fā)送消息發(fā)送到接收器側(cè)終端200。發(fā)送器側(cè)終端100可根據(jù)用戶配置來收集語音信號，并請求將收集到的語音信號發(fā)送到接收器側(cè)終端200。在所述處理中，發(fā)送器側(cè)終端100可請求將從語音信號翻譯成的翻譯語音提供給接收器側(cè)終端200。
[0139]接收器側(cè)終端200通過通信系統(tǒng)300來訪問聊天服務(wù)器500，并接收和輸出由發(fā)送器側(cè)終端100請求發(fā)送的消息(例如，發(fā)送消息和翻譯發(fā)送消息中的至少一個)。在這種情況下，當(dāng)發(fā)送器側(cè)終端100已經(jīng)請求提供翻譯語音時，或者當(dāng)接收器側(cè)200的用戶已經(jīng)請求輸出翻譯語音時，接收器側(cè)終端200可不僅支持翻譯文本的輸出，還支持與翻譯文本相應(yīng)的翻譯語音的輸出?；蛘?，根據(jù)情況，接收器側(cè)終端200可僅支持翻譯語音的輸出而不提供翻譯文本。
[0140]通信系統(tǒng)300支持?jǐn)?shù)據(jù)在上述元件之間的發(fā)送或接收。如上所述的通信系統(tǒng)300具有用于上述元件之間的數(shù)據(jù)發(fā)送或接收的各種通信接口，并且可支持通信接口之間的數(shù)據(jù)發(fā)送/接收兼容性。例如，通信系統(tǒng)300可包括用于與移動通信系統(tǒng)進(jìn)行通信以便支持發(fā)送器側(cè)終端100和接收器側(cè)終端200的移動性的通信接口。此外，通信系統(tǒng)300可通過基于互聯(lián)網(wǎng)網(wǎng)絡(luò)的通信接口與ASR/翻譯服務(wù)器400和聊天服務(wù)器500連接，以與ASR/翻譯服務(wù)器400和聊天服務(wù)器500進(jìn)行數(shù)據(jù)發(fā)送/接收。通信系統(tǒng)300不限于上述通信接口，并且可包括能夠支持用于元件之間的信號傳送的各種通信方案的至少一個通信接口。
[0141]通信系統(tǒng)300可將以發(fā)送器側(cè)終端100中所配置的語言(例如第一語言)形成的文本和語音信號中的至少一個傳送到ASR/翻譯服務(wù)器400和聊天服務(wù)器500中的至少一個。此外，通信系統(tǒng)300可將由ASR/翻譯服務(wù)器400提供的翻譯文本和翻譯語音中的至少一個傳送到發(fā)送器側(cè)終端100和聊天服務(wù)器500。此外，通信系統(tǒng)300可將由發(fā)送器側(cè)終端100所提供的翻譯文本和翻譯語音中的至少一個傳送到聊天服務(wù)器500。此外，通信系統(tǒng)300可將翻譯文本和翻譯語音中的至少一個提供給接收器側(cè)終端200。
[0142]在下文中，將參照圖12至圖15更加詳細(xì)地描述基于翻譯的通信服務(wù)支持系統(tǒng)10的各種實施例。
[0143]圖12是用于描述用于支持根據(jù)本發(fā)明的第一實施例的基于翻譯的通信服務(wù)的系統(tǒng)操作方法的信號流程圖。在下面的描述中，為了方便描述，發(fā)送器側(cè)終端100中所配置的語言被稱為第一語言，接收器側(cè)終端200中所配置的語言被稱為第二語言。例如，第一語言可以是各種語言，諸如韓語、英語、日語、法語、德語、西班牙語和漢語，且第二語言可以是與第一語言不同的語言。
[0144]參照圖12，在根據(jù)本發(fā)明的第一實施例的基于翻譯的通信服務(wù)支持系統(tǒng)10的操作中，在步驟1201，發(fā)送器側(cè)終端100首先將以第一語言輸入的文本提供給ASR/翻譯服務(wù)器400。由發(fā)送器側(cè)終端100提供的第一語言的文本可以是通過對收集到的語音信號進(jìn)行語音識別而獲得的文本。為此，發(fā)送器側(cè)終端100可包括用于語音識別的數(shù)據(jù)庫?；蛘?，在步驟1201，發(fā)送器側(cè)終端100可收集以第一語言輸入的語音信號，并隨后將收集到的語音信號而不是文本提供給ASR/翻譯服務(wù)器400。在這種情況下，發(fā)送器側(cè)終端100可將接收器側(cè)終端200中所配置的第二語言的信息與語音信號一起提供給ASR/翻譯服務(wù)器400。為此，發(fā)送器側(cè)終端100可在建立聊天服務(wù)信道的處理中或者通過由用戶輸入來收集接收器側(cè)終端200中所配置的第二語言的信息。針對由用戶輸入，發(fā)送器側(cè)終端100可提供可從中選擇用于翻譯的至少一個第二語言的列表。
[0145]當(dāng)從發(fā)送器側(cè)終端100接收第一語言的文本或第一語言的語音信號時，在步驟1203，ASR/翻譯服務(wù)器400對接收到的文本或語音進(jìn)行翻譯，并隨后將經(jīng)翻譯的信息提供給發(fā)送器側(cè)終端100。根據(jù)來自發(fā)送器側(cè)終端100的請求，由ASR/翻譯服務(wù)器400提供的經(jīng)翻譯的信息可包括翻譯文本和翻譯語音中的至少一個。ASR/翻譯服務(wù)器400識別由發(fā)送器側(cè)終端100提供的信息之中的第二語言的信息，并搜索與第二語言相應(yīng)的數(shù)據(jù)庫。此夕卜，ASR/翻譯服務(wù)器400將接收到的第一語言的文本和語音中的至少一個配置為包括第二語言的文本和語音中的至少一個的翻譯信息，并隨后將翻譯信息提供給發(fā)送器側(cè)終端100。
[0146]當(dāng)從ASR/翻譯服務(wù)器400接收到翻譯信息時，在步驟1205，發(fā)送器側(cè)終端100將接收到的翻譯信息與第一語言的文本一起提供給聊天服務(wù)器500。在這種情況下，根據(jù)用戶的配置或來自用戶的請求，發(fā)送器側(cè)終端100可將第一語言的語音信號和第二語言的翻譯語音中的至少一個提供給聊天服務(wù)器500?；蛘撸l(fā)送器側(cè)終端100可僅將第二語言的翻譯信息提供給聊天服務(wù)器500而不提供第一語言的文本。
[0147]隨后，在步驟1207，聊天服務(wù)器500可將由發(fā)送器側(cè)終端100提供的第一語言的文本和翻譯信息傳送到接收器側(cè)終端200。接收器側(cè)終端200可輸出接收到的文本和翻譯信
肩、O
[0148]圖13是用于描述根據(jù)本發(fā)明的第二實施例的基于翻譯的通信服務(wù)支持系統(tǒng)10的操作的信號流程圖。
[0149]參照圖13，在本發(fā)明的基于翻譯的通信服務(wù)支持系統(tǒng)10的操作中，在步驟1301，發(fā)送器側(cè)終端100首先收集由用戶輸入的第一語言的文本，并隨后將收集到的文本提供給聊天服務(wù)器500。在這種情況下，發(fā)送器側(cè)終端100把將接收文本的接收器側(cè)終端200的標(biāo)識信息與文本一起發(fā)送。此外，接收器側(cè)終端100可收集用戶的語音信號，并隨后將收集到的語音信號而不是文本提供給聊天服務(wù)器500?？梢砸栽诎l(fā)送器側(cè)終端100中所配置的第一語言來配置被提供給聊天服務(wù)器500的文本或語音信號。
[0150]當(dāng)從發(fā)送器側(cè)終端100接收到第一語言的文本時，在步驟1303，聊天服務(wù)器500將文本提供給接收器側(cè)終端200。隨后，在步驟1305，接收器側(cè)終端200將由聊天服務(wù)器500提供的第一語言的文本提供給ASR/翻譯服務(wù)器400。在這種情況下，接收器側(cè)終端200可提供第一語言的文本將要被翻譯成的第二語言的信息，或者已經(jīng)接收到將要被翻譯為第二語言的文本的ASR/翻譯服務(wù)器400可識別接收器側(cè)終端200的第二語言。當(dāng)從ASR/翻譯服務(wù)器400接收到語言識別請求消息時，響應(yīng)于接收到的消息，接收器側(cè)終端200識別接收器側(cè)終端200中當(dāng)前所配置的語言的信息，并隨后將識別出的信息提供給ASR/翻譯服務(wù)器400。或者，接收器側(cè)終端200的用戶可在將翻譯第一語言的文本的請求發(fā)送到ASR/翻譯服務(wù)器400時指定第二語言。
[0151]當(dāng)從接收器側(cè)終端200接收到第一語言的文本、用于翻譯的第二語言的信息和進(jìn)行翻譯的請求時，在步驟1307，ASR/翻譯服務(wù)器400將接收到的第一語言的文本翻譯為第二語言的文本，并隨后將經(jīng)翻譯的文本提供給接收器側(cè)終端200。在這種情況下，根據(jù)來自接收器側(cè)終端200的請求或者ASR/翻譯服務(wù)器400的服務(wù)策略，ASR/翻譯服務(wù)器400可產(chǎn)生與第二語言的文本相應(yīng)的第二語言的翻譯語音，并隨后將產(chǎn)生的翻譯語音與第二語言的文本一起提供給接收器側(cè)終端200。上述接收器側(cè)終端200可支持在第二顯示單元240中同時輸出從聊天服務(wù)器500接收到的第一語言的文本和由ASR/翻譯服務(wù)器400提供的第二語言的文本，或者僅輸出第二語言的文本。
[0152]同時，在根據(jù)本發(fā)明的第二實施例的基于翻譯的通信服務(wù)支持系統(tǒng)10的操作中，發(fā)送器側(cè)終端100可收集第一語言的語音信號，并隨后通過聊天服務(wù)器500將收集到的語音信號提供給接收器側(cè)終端200。隨后，接收器側(cè)終端200可將第一語言的語音信號與第二語言的信息和對于翻譯所述語音信號的請求一起發(fā)送到ASR/翻譯服務(wù)器400。隨后，ASR/翻譯服務(wù)器400可將由接收器側(cè)終端200提供的第一語言的語音信號翻譯為第二語言的翻譯語音，并隨后將經(jīng)翻譯的語音提供給接收器側(cè)終端200。在此，ASR/翻譯服務(wù)器400可將第一語言的語音信號語音識別為第一語言的文本，將語音識別出的文本翻譯為第二語言的文本以產(chǎn)生翻譯文本，并隨后將產(chǎn)生的翻譯文本轉(zhuǎn)換為第二語言的翻譯語音。當(dāng)除了第二語言的翻譯文本之外還從ASR/翻譯服務(wù)器400接收到第二語言的翻譯語音時，接收器側(cè)終端200可根據(jù)用戶的配置通過第二揚聲器233輸出接收到的翻譯語音。在這種情況下，接收器側(cè)終端200可同時輸出第二語言的翻譯文本和第二語言的翻譯語音。
[0153]圖14是用于描述根據(jù)本發(fā)明的第三實施例的基于翻譯的通信服務(wù)的操作的信號流程圖。
[0154]參照圖14，在根據(jù)本發(fā)明的第三實施例的基于翻譯的通信服務(wù)支持系統(tǒng)10的操作中，在步驟1401，發(fā)送器側(cè)終端100首先將由用戶輸入的第一語言的文本提供給聊天服務(wù)器500。在這種情況下，發(fā)送器側(cè)終端100可產(chǎn)生請求將第一語言的文本翻譯為第二語言的消息，并將產(chǎn)生的消息與文本一起發(fā)送到聊天服務(wù)器500?；蛘撸l(fā)送器側(cè)終端100可將請求應(yīng)用翻譯模式的消息發(fā)送到聊天服務(wù)器500。隨后，響應(yīng)于來自用戶的請求，發(fā)送器側(cè)終端100可將請求停用翻譯模式的消息發(fā)送到聊天服務(wù)器500，以防止應(yīng)用翻譯模式。[0155]或者，發(fā)送器側(cè)終端100可與接收器側(cè)終端200開啟一對一形式或一對多形式的聊天室，并且可確定是否將翻譯模式應(yīng)用于每個開啟的聊天室。當(dāng)針對特定聊天室發(fā)生翻譯模式應(yīng)用請求時，發(fā)送器側(cè)終端100可將相應(yīng)的信息提供給聊天服務(wù)器500，以請求默認(rèn)將翻譯模式應(yīng)用于通過特定聊天室發(fā)送的消息。同時，當(dāng)被配置為支持翻譯模式的聊天室被終止時，發(fā)送器側(cè)終端100可將請求停用翻譯模式的消息發(fā)送到聊天服務(wù)器500。
[0156]當(dāng)接收到翻譯模式被請求應(yīng)用的特定文本或特定聊天室的文本時,在步驟1403,聊天服務(wù)器500可將文本提供給ASR/翻譯服務(wù)器400。隨后，聊天服務(wù)器500可將由發(fā)送器側(cè)終端100提供的第二語言的信息傳送到ASR/翻譯服務(wù)器400，以請求ASR/翻譯服務(wù)器400將第一語言的文本翻譯為第二語言的文本。ASR/翻譯服務(wù)器400對由聊天服務(wù)器500提供的第一語言的文本和第二語言的信息進(jìn)行識別，并搜索與這些語言匹配的數(shù)據(jù)庫。此夕卜，ASR/翻譯服務(wù)器400可基于找到的翻譯數(shù)據(jù)庫將第一語言的文本翻譯為第二語言的文本。此外，ASR/翻譯服務(wù)器400可將第二語言的翻譯文本提供給聊天服務(wù)器500。在這種情況下，當(dāng)?shù)诙Z言的翻譯文本被產(chǎn)生時，ASR/翻譯服務(wù)器400可產(chǎn)生與第二語言的翻譯文本相應(yīng)的第二語言的翻譯語音。此外，在步驟1405，根據(jù)ASR/翻譯服務(wù)器400的服務(wù)策略或者來自聊天服務(wù)器500的請求，ASR/翻譯服務(wù)器400可將不僅包括翻譯文本還包括翻譯語音的翻譯信息提供給聊天服務(wù)器500。
[0157]當(dāng)從ASR/翻譯服務(wù)器400接收到翻譯信息時，在步驟1407時，聊天服務(wù)器500可將接收到的翻譯信息與由發(fā)送器側(cè)終端100提供的第一語言的文本一起傳送到接收器側(cè)終端200。接收器側(cè)終端200可將第一語言的文本與翻譯信息一起輸出。同時，在步驟1407，聊天服務(wù)器500可僅將翻譯信息提供給接收器側(cè)終端200而不提供第一語言的文本。隨后，接收器側(cè)終端200可在第二顯示單元240中僅輸出翻譯信息。
[0158]同時，發(fā)送器側(cè)終端100可收集第一語言的語音信號并將收集到的語音信號提供給聊天服務(wù)器500，且聊天服務(wù)器500可請求ASR/翻譯服務(wù)器400翻譯第一語言的語音信號。
[0159]圖15是用于描述根據(jù)本發(fā)明的第四實施例的基于翻譯的通信服務(wù)支持系統(tǒng)10的操作方法的信號流程圖。
[0160]參照圖15，在本發(fā)明的基于翻譯的通信服務(wù)支持系統(tǒng)10的操作中，在步驟1501，發(fā)送器側(cè)終端100首先收集由發(fā)送器側(cè)終端100的用戶輸入的第一語言的文本，并隨后將收集到的第一語言的文本發(fā)送到包括ASR/翻譯模塊510的聊天服務(wù)器500。在這種情況下，發(fā)送器側(cè)終端100可將用于翻譯的第二語言的信息與文本一起提供給聊天服務(wù)器500。
[0161]當(dāng)從發(fā)送器側(cè)終端100接收到第一語言的文本和第二語言的信息時，在步驟1503，聊天服務(wù)器500可通過使用ASR/翻譯模塊510基于接收到的文本和信息產(chǎn)生翻譯信息。在這種情況下，聊天服務(wù)器500產(chǎn)生通過將第一語言的文本翻譯為第二語言來獲得的翻譯文本。此外，根據(jù)服務(wù)策略，響應(yīng)于來自發(fā)送器側(cè)終端100和接收器側(cè)終端200中的至少一個的請求，聊天服務(wù)器500可產(chǎn)生與第二語言的翻譯文本相應(yīng)的第二語言的語音。為此，ASR/翻譯模塊510可包括能夠產(chǎn)生翻譯文本和翻譯語音的數(shù)據(jù)庫。也就是說，ASR/翻譯模塊510可包括被布置為將第一語言的文本翻譯為第二語言的文本的文本翻譯數(shù)據(jù)庫和被布置為將第二語言的文本轉(zhuǎn)換為第二語言的語音的用于TTS的語音數(shù)據(jù)庫。
[0162]接下來，當(dāng)翻譯信息被產(chǎn)生時，在步驟1505，聊天服務(wù)器500將產(chǎn)生的翻譯信息提供給接收器側(cè)終端200。隨后，聊天服務(wù)器500可將第一語言的文本與由發(fā)送器側(cè)終端100提供的翻譯信息一起傳送到接收器側(cè)終端200?；蛘?，聊天服務(wù)器500可根據(jù)來自發(fā)送器側(cè)終端100或接收器側(cè)終端200的請求或者發(fā)送器側(cè)終端100或接收器側(cè)終端200的配置來阻止第一語言的文本的發(fā)送。
[0163]當(dāng)從聊天服務(wù)器500接收到翻譯信息和第一語言的文本時，接收器側(cè)終端200可在第二顯示單元240中輸出接收到的翻譯信息和接收到的第一語言的文本中的至少一個。當(dāng)翻譯信息包括第二語言的翻譯語音時，接收器側(cè)終端200支持通過第二揚聲器233輸出翻譯語言。
[0164]同時，發(fā)送器側(cè)終端100可將第一語言的語音信號而不是第一語言的文本提供給聊天服務(wù)器500，且聊天服務(wù)器500對第一語言的語音信號進(jìn)行語音識別以獲得第一語言的文本，并隨后基于獲得到的第一語言的文本來產(chǎn)生第二語言的翻譯文本和翻譯語音中的至少一個。
[0165]此外，根據(jù)本發(fā)明的第一至第四實施例的基于翻譯的通信服務(wù)支持系統(tǒng)10可將發(fā)送器側(cè)終端100的手寫信息提供給ASR/翻譯服務(wù)器400或包括ASR/翻譯模塊510的聊天服務(wù)器500。隨后，ASR/翻譯服務(wù)器400或ASR/翻譯模塊510通過過濾接收到的手寫圖像信息對文本信息進(jìn)行識別，并產(chǎn)生和提供與識別出的文本信息相應(yīng)的另一語言的翻譯信肩、O
[0166]圖16是示意性地示出根據(jù)本發(fā)明的第五和第六實施例的用于基于翻譯的通信服務(wù)的操作的系統(tǒng)的結(jié)構(gòu)的示圖。
[0167]參照圖16，本發(fā)明的基于翻譯的通信服務(wù)支持系統(tǒng)10包括:ASR/翻譯服務(wù)器400、發(fā)送器側(cè)終端100、接收器側(cè)終端200和通信系統(tǒng)300。
[0168]因為聊天服務(wù)器500被省略，所以根據(jù)第五和第六實施例的基于翻譯的通信服務(wù)支持系統(tǒng)10的結(jié)構(gòu)與根據(jù)第一至第四實施例的基于翻譯的通信服務(wù)支持系統(tǒng)的結(jié)構(gòu)不同。在語音通信或視頻通信的執(zhí)行時，圖16中示出的包括所述結(jié)構(gòu)的系統(tǒng)可支持基于翻譯的通信服務(wù)。也就是說，當(dāng)執(zhí)行語音通信或視頻通信時，發(fā)送器側(cè)終端100和接收器側(cè)終端200可通過使用ASR/翻譯服務(wù)器400來使用本發(fā)明的基于翻譯的通信服務(wù)。
[0169]響應(yīng)于來自發(fā)送器側(cè)終端100和接收器側(cè)終端200中的至少一個的請求，ASR/翻譯服務(wù)器400連接到通信系統(tǒng)300并支持本發(fā)明的基于翻譯的通信服務(wù)。例如，ASR/翻譯服務(wù)器400可接收來自與接收器側(cè)終端200執(zhí)行語音通信或視頻通信的發(fā)送器側(cè)終端100的翻譯請求，產(chǎn)生與翻譯請求相應(yīng)的翻譯信息，并隨后將產(chǎn)生的翻譯信息提供給發(fā)送器側(cè)終端100和接收器側(cè)終端200中的至少一個。當(dāng)從發(fā)送器側(cè)終端100接收到第一語言的語音信號時，ASR/翻譯服務(wù)器400可對接收到的第一語言的語音信號進(jìn)行語音識別以產(chǎn)生第一語言的文本，產(chǎn)生與第一語言的文本相應(yīng)的第二語言的文本，并將產(chǎn)生的文本提供給發(fā)送器側(cè)終端100和接收器側(cè)終端200，或者將產(chǎn)生的文本僅提供給發(fā)送器側(cè)終端100。
[0170]發(fā)送器側(cè)終端100通過通信系統(tǒng)300訪問ASR/翻譯服務(wù)器400，并將第一語言的語音信號提供給ASR/翻譯服務(wù)器400。此外，發(fā)送器側(cè)終端100可從ASR/翻譯服務(wù)器400接收與第一語言的語音信號相應(yīng)的第二語言的翻譯文本?？稍诘谝伙@示單元140中輸出接收到的第二語言的翻譯文本。此外，當(dāng)ASR/翻譯服務(wù)器400被設(shè)計為不能直接將第二語言的翻譯文本提供給接收器側(cè)終端200時，發(fā)送器側(cè)終端100可將從ASR/翻譯服務(wù)器400接收到的第二語言的翻譯文本與第一語言的語音信號一起提供給接收器側(cè)終端200。
[0171]接收器側(cè)終端200與發(fā)送器側(cè)終端100建立用于語音通信或視頻通信的通信信道，并接收和輸出由發(fā)送器側(cè)終端100提供的語音信號或視頻信號。具體地，接收器側(cè)終端200可接收從由發(fā)送器側(cè)終端100提供的第一語言的文本翻譯成的第二語言的翻譯文本。當(dāng)接收到第二語言的翻譯文本時，接收器側(cè)終端200可在第二顯示單元240中輸出翻譯文本。在視頻通信期間，接收器側(cè)終端200可將接收到的翻譯文本與視頻信號一起輸出。具體地，當(dāng)發(fā)送器側(cè)終端100提供包括手寫信息的圖像信息時，接收器側(cè)終端200可在除了手寫的文本被記錄的區(qū)域之外的背景區(qū)域中輸出接收到的翻譯文本。
[0172]圖17是用于描述根據(jù)本發(fā)明的第五實施例的基于翻譯的通信服務(wù)支持系統(tǒng)10的操作的信號流程圖。
[0173]參照圖17，在本發(fā)明的系統(tǒng)10的操作中，發(fā)送器側(cè)終端100首先與接收器側(cè)終端200建立通信信道，以便與接收器側(cè)終端200執(zhí)行包括語音信號的語音通信或視頻通信。在這種情況下，發(fā)送器側(cè)終端的用戶可請求激活翻譯模式。為此，發(fā)送器側(cè)終端100提供用于選擇翻譯模式的菜單項或圖標(biāo)項，且用戶隨后選擇用于請求在翻譯模式下的與接收器側(cè)終端200的通信服務(wù)的操作的菜單項或圖標(biāo)。當(dāng)接收到用于激活翻譯模式的請求時，發(fā)送器側(cè)終端100可獲得預(yù)定義的ASR/翻譯服務(wù)器400的地址信息，并基于獲得的地址信息來訪問ASR/翻譯服務(wù)器400。當(dāng)預(yù)定義的ASR/翻譯服務(wù)器400不存在時，發(fā)送器側(cè)終端100可提供用于輸入ASR/翻譯服務(wù)器400的屏幕，且用戶可自己輸入ASR/翻譯服務(wù)器400的地址信息。或者，在訪問通信系統(tǒng)300之后，發(fā)送器側(cè)終端100可基于由互聯(lián)網(wǎng)網(wǎng)絡(luò)提供的搜索引擎來搜索ASR/翻譯服務(wù)器，并選擇和訪問默認(rèn)的特定ASR/翻譯服務(wù)器(例如，搜索列表中的第一項)。
[0174]在步驟1701，已經(jīng)訪問了 ASR/翻譯服務(wù)器400的發(fā)送器側(cè)終端100將由用戶輸入的第一語言的語音(或話語)信號提供給ASR/翻譯服務(wù)器400。隨后，在步驟1703，ASR/翻譯服務(wù)器400對接收到的語音信號進(jìn)行語音識別，以將所述語音信號轉(zhuǎn)換為第一語言的文本，并基于第一語言的文本產(chǎn)生包括第二語言的翻譯文本的翻譯信息。為此，ASR/翻譯服務(wù)器400可包括用于對第一語言的語音信號進(jìn)行語音識別的語音識別數(shù)據(jù)庫和用于將第一語言的文本翻譯為第二語言的文本的翻譯數(shù)據(jù)庫。
[0175]接下來，在步驟1705，ASR/翻譯服務(wù)器400可將第一語言的文本和包括第二語言的翻譯文本的翻譯信息提供給發(fā)送器側(cè)終端100。此外，在步驟1705，ASR/翻譯服務(wù)器400可將第一語言的語音信號、第一語言的文本和包括第二語言的翻譯文本的翻譯信息提供給接收器側(cè)終端200。
[0176]同時，在步驟1703，ASR/翻譯服務(wù)器400可產(chǎn)生與第二語言的翻譯文本相應(yīng)的第二語言的翻譯語音。此外，在步驟1705，ASR/翻譯服務(wù)器400可將第二語言的翻譯語音提供給接收器側(cè)終端200，而不發(fā)送第一語言的語音信號。
[0177]通過以上處理，發(fā)送器側(cè)終端100可識別被提供給接收器側(cè)終端200的翻譯信息與哪種狀態(tài)相應(yīng)。因此，發(fā)送器側(cè)終端100可根據(jù)來自用戶的請求支持另一文本或翻譯文本的發(fā)送或者語音信號的重新輸入。
[0178]在以上描述中，在將第一語言的文本、翻譯信息和第一語言的語音信號發(fā)送到接收器側(cè)終端200的同時，ASR/翻譯服務(wù)器400將第一語言的文本和翻譯信息發(fā)送到發(fā)送器側(cè)終端100。然而，根據(jù)設(shè)計變更，ASR/翻譯服務(wù)器400可首先執(zhí)行針對發(fā)送器側(cè)終端100的發(fā)送，并隨后在由發(fā)送器側(cè)終端100進(jìn)行確認(rèn)之后執(zhí)行針對接收器側(cè)終端200的發(fā)送。該方案可使得發(fā)送器側(cè)終端100能夠事先確認(rèn)發(fā)送到接收器側(cè)終端200的信息，以使得用戶能夠事先確認(rèn)傳送的信息的正確性，以防止傳送錯誤的信息。
[0179]圖18是用于描述根據(jù)本發(fā)明的第六實施例的基于翻譯的通信服務(wù)支持系統(tǒng)10的操作的信號流程圖。
[0180]參照圖18，在本發(fā)明的基于翻譯的通信服務(wù)支持系統(tǒng)10的操作中，當(dāng)用戶輸入了將要發(fā)送到接收器側(cè)終端200的第一語言的語音信號時，在步驟1801，發(fā)送器側(cè)終端100將輸入的第一語言的語音信號發(fā)送到ASR/翻譯服務(wù)器400。在該步驟中，發(fā)送器側(cè)終端100可執(zhí)行用于將第一語言的語音信號發(fā)送到ASR/翻譯服務(wù)器400的裝置連接處理。為此，ASR/翻譯服務(wù)器400可預(yù)先存儲并操作地址信息。具體地，在發(fā)送器側(cè)終端100被配置為執(zhí)行與接收器側(cè)終端200的通信服務(wù)的狀態(tài)下，當(dāng)接收到根據(jù)來自用戶的翻譯模式的選擇的輸入事件時，發(fā)送器側(cè)終端100可自動訪問ASR/翻譯服務(wù)器400以準(zhǔn)備第一語言的語音信號的發(fā)送。在這種情況下，發(fā)送器側(cè)終端100可將用于對第一語言的語音信號進(jìn)行翻譯的第二語言的信息提供給ASR/翻譯服務(wù)器400。為此，發(fā)送器側(cè)終端100可收集接收器側(cè)終端200的語言配置信息?？身憫?yīng)于來自接收器側(cè)終端200的對第二控制器260的請求或者通過發(fā)送器側(cè)終端100的用戶的指定來執(zhí)行語言配置信息的收集。
[0181]當(dāng)從發(fā)送器側(cè)終端100接收到第一語言的語音信號時，ASR/翻譯服務(wù)器400從接收到的第一語言的語音信號產(chǎn)生由發(fā)送器側(cè)終端100請求的包括第二語言的翻譯文本的翻譯信息。為此，ASR/翻譯服務(wù)器400基于預(yù)存儲的語音識別數(shù)據(jù)庫和翻譯數(shù)據(jù)庫對第一語言的語音信號進(jìn)行語音識別以產(chǎn)生第一語言的文本，并將產(chǎn)生的第一語言的文本轉(zhuǎn)換為第二語言的文本。接下來，在步驟1803，ASR/翻譯服務(wù)器400可將第一語言的文本和包括第二語言的翻譯文本的翻譯信息提供給發(fā)送器側(cè)終端100。在該步驟中，ASR/翻譯服務(wù)器400可基于第二語言的翻譯文本產(chǎn)生第二語言的翻譯語音，并隨后將包括第二語言的翻譯語音的翻譯信息傳送到發(fā)送器側(cè)終端100。
[0182]接下來，在步驟1805，發(fā)送器側(cè)終端100可將從ASR/翻譯服務(wù)器400接收到的第一語言的文本和第二語言的翻譯信息與第一語言的語音信號一起發(fā)送到接收器側(cè)終端200。在這種情況下，發(fā)送器側(cè)終端100可在第一顯示單元140中輸出從ASR/翻譯服務(wù)器400接收到的第一語言的文本和第二語言的翻譯信息，且用戶可產(chǎn)生用于確認(rèn)并請求發(fā)送信息的輸入事件。當(dāng)必要時，發(fā)送器側(cè)終端的用戶可取消發(fā)送第一語言的文本和第二語言的翻譯信息，并輸入新的語音信號以請求將該語音信號發(fā)送到ASR/翻譯服務(wù)器400。同時，在步驟1805，作為將第一語言的語音信號發(fā)送到接收器側(cè)終端200的代替，發(fā)送器側(cè)終端100可將第二語言的翻譯語音提供給接收器側(cè)終端200。
[0183]圖19是示意性地示出根據(jù)本發(fā)明的第七和第八實施例的支持基于翻譯的通信服務(wù)的操作的系統(tǒng)10的結(jié)構(gòu)的示圖。
[0184]參照圖19，本發(fā)明的系統(tǒng)10包括:發(fā)送器側(cè)終端100、接收器側(cè)終端200、ASR服務(wù)器410和翻譯服務(wù)器420。
[0185]上述系統(tǒng)10可被設(shè)計為具有這樣的結(jié)構(gòu):發(fā)送器側(cè)終端100將語音信號發(fā)送到ASR服務(wù)器410，從ASR服務(wù)器410接收通過對語音信號進(jìn)行語音識別而獲得的第一語言的文本，并隨后將第一語言的文本傳送到翻譯服務(wù)器420。隨后，翻譯服務(wù)器420將第一語言的文本翻譯為第二語言的文本以產(chǎn)生翻譯信息，并隨后將產(chǎn)生的翻譯信息提供給接收器側(cè)終端200，或者將翻譯信息傳送到發(fā)送器側(cè)終端100，以使發(fā)送器側(cè)終端100將翻譯信息提供給接收器側(cè)終端200。
[0186]上述系統(tǒng)支持根據(jù)網(wǎng)絡(luò)的狀態(tài)的自適應(yīng)操作。例如，當(dāng)發(fā)送器側(cè)終端100比接收器側(cè)終端200更難以訪問ASR服務(wù)器410時，發(fā)送器側(cè)終端100可將第一語言的語音信號提供給接收器側(cè)終端200，且接收器側(cè)終端200可訪問ASR服務(wù)器410，以請求將第一語言的語音信號轉(zhuǎn)換為第一語言的文本。此外，系統(tǒng)10的設(shè)計可被修改以使得接收器側(cè)終端200將從ASR服務(wù)器410接收到的第一語言的文本提供給翻譯服務(wù)器420，并從翻譯服務(wù)器420接收第二語言的翻譯文本和第二語言的翻譯語音中的至少一個。
[0187]在系統(tǒng)10中，為了支持上述功能，發(fā)送器側(cè)終端100和接收器側(cè)終端200執(zhí)行網(wǎng)絡(luò)評估并分享網(wǎng)絡(luò)評估信息，以使能夠較容易地訪問ASR服務(wù)器410的一方與翻譯服務(wù)器420執(zhí)行翻譯處理。當(dāng)發(fā)送器側(cè)終端100和接收器側(cè)終端200被請求執(zhí)行基于語音信號的通信服務(wù)(例如，語音通信或視頻通信)時，網(wǎng)絡(luò)評估信息的共享可被執(zhí)行，并且可被重復(fù)地執(zhí)行。
[0188]ASR服務(wù)器410是支持語音識別功能的設(shè)備，其預(yù)先創(chuàng)建用于語音識別的語音識別數(shù)據(jù)庫，并隨后基于語音識別數(shù)據(jù)庫對從發(fā)送器側(cè)終端100傳送的語音進(jìn)行語音識別。此外，ASR服務(wù)器410可將作為語音識別的結(jié)果而產(chǎn)生的特定語言的文本提供給發(fā)送器側(cè)終端100。由于ASR服務(wù)器410在發(fā)送器側(cè)終端100和接收器側(cè)終端200使用不同的語音的環(huán)境中支持語音識別功能，因此ASR服務(wù)器410可創(chuàng)建針對至少兩種語音的數(shù)據(jù)庫。也就是說，ASR服務(wù)器410可包括用作發(fā)送器的第一終端中所配置的第一語言的語音識別數(shù)據(jù)庫和用作接收器的第二終端中所配置的第二語言的語音識別數(shù)據(jù)庫。上述ASR服務(wù)器410可根據(jù)網(wǎng)絡(luò)狀態(tài)從發(fā)送器側(cè)終端100或接收器側(cè)終端200接收對第一語言的語音信號進(jìn)行語音識別的請求或者對第二語言的語音信號進(jìn)行語音識別的請求。隨后，ASR服務(wù)器410執(zhí)行相應(yīng)的語言的語音識別以產(chǎn)生文本，并隨后將所述文本提供給請求了語音識別的終端。
[0189]當(dāng)從發(fā)送器側(cè)終端100或接收器側(cè)終端200接收到進(jìn)行翻譯的請求時，翻譯服務(wù)器420接收第一語言的文本和用于對第一語言的文本進(jìn)行翻譯的第二語言的信息。此外，翻譯服務(wù)器420可從發(fā)送器側(cè)終端100接收與接收器側(cè)終端200相關(guān)的通信連接信息，使得翻譯服務(wù)器420可自行將第二語言的翻譯信息發(fā)送到接收器側(cè)終端200。在這種情況下，當(dāng)從接收器側(cè)終端200接收到對第一語言的文本進(jìn)行翻譯的請求時，翻譯服務(wù)器420不接收單獨的通信連接信息。隨后，ASR/翻譯服務(wù)器420可將通過對第一語言的文本進(jìn)行翻譯而得到的第二語言的翻譯信息提供給請求了翻譯的接收器側(cè)終端200。
[0190]在下文中，將參照附圖更加詳細(xì)地描述系統(tǒng)10的基于翻譯的操作的示例。
[0191]圖20是用于描述根據(jù)本發(fā)明的第七實施例的基于翻譯的通信服務(wù)支持系統(tǒng)10的操作的信號流程圖。
[0192]參照圖20，發(fā)送器側(cè)終端100可與接收器側(cè)終端200建立用于操作通信服務(wù)的通信連接，并且可在翻譯模式已經(jīng)被配置的情況下從用戶收集第一語言的語音信號。隨后，在步驟2001，發(fā)送器側(cè)終端100將收集到的第一語言的語音信號提供給ASR服務(wù)器410。為此，發(fā)送器側(cè)終端100可預(yù)先存儲ASR服務(wù)器410的訪問信息，并在翻譯模式已經(jīng)被配置時訪問ASR服務(wù)器410。
[0193]當(dāng)從發(fā)送器側(cè)終端100接收到第一語言的語音信號時，在步驟2003，ASR服務(wù)器410對語音信號進(jìn)行語音識別以產(chǎn)生第一語言的文本，并隨后將第一語言的文本提供給發(fā)送器側(cè)終端100。同時，即使當(dāng)從接收器側(cè)終端200接收到第一語言的語音信號時，ASR/翻譯服務(wù)器410可將通過對語音信號進(jìn)行語音識別而獲得的第一語言的文本提供給接收器側(cè)終端200。
[0194]接下來，在步驟2005，發(fā)送器側(cè)終端100將接收到的第一語言的文本提供給翻譯服務(wù)器420。為此，發(fā)送器側(cè)終端100可預(yù)先存儲翻譯服務(wù)器420的訪問信息，并在提供第一語言的文本時一起提供用于翻譯的第二語言的信息。
[0195]當(dāng)從發(fā)送器側(cè)終端100接收到對第一語言的文本進(jìn)行翻譯的請求時，在步驟2007，翻譯服務(wù)器420產(chǎn)生與提供的第二語言的信息相應(yīng)的翻譯文本，并隨后將翻譯文本作為翻譯信息提供給接收器側(cè)終端200。在該步驟中，翻譯服務(wù)器420可產(chǎn)生與翻譯文本相應(yīng)的第二語言的翻譯語音，并隨后將包括翻譯語音的翻譯信息提供給接收器側(cè)終端200。同時，在步驟2009，發(fā)送器側(cè)終端100可將第一語言的語音信號提供給接收器側(cè)終端200。
[0196]上述方法與發(fā)送器側(cè)終端100僅對將要翻譯的第一語言的文本信息進(jìn)行確認(rèn)的方法相應(yīng)。當(dāng)發(fā)送器側(cè)終端100的用戶實際上無法理解第二語言的經(jīng)翻譯的文本時，所述方法是有用的。
[0197]圖21是用于描述根據(jù)本發(fā)明的第八實施例的基于翻譯的通信服務(wù)支持系統(tǒng)10的操作的信號流程圖。
[0198]參照圖21，在本發(fā)明的系統(tǒng)10的操作中，發(fā)送器側(cè)終端100首先與接收器側(cè)終端200建立通信信道，且用戶可對翻譯模式進(jìn)行配置。在這種情況下，當(dāng)用戶輸入第一語言的語音信號時，在步驟2101，發(fā)送器側(cè)終端100將第一語言的語音信號傳送到ASR服務(wù)器410。
[0199]當(dāng)從發(fā)送器側(cè)終端100接收到第一語言的語音信號時，ASR服務(wù)器410可對語音信號進(jìn)行語音識別，以產(chǎn)生與第一語言的語音信號相應(yīng)的第一語言的文本。隨后，在步驟2103，ASR服務(wù)器410可將產(chǎn)生的第一語言的文本提供給發(fā)送器側(cè)終端100。
[0200]此后，在步驟2015，發(fā)送器側(cè)終端100將第一語言的文本提供給翻譯服務(wù)器420。在這種情況下，發(fā)送器側(cè)終端100可將用于翻譯的第二語言的信息與文本一起提供?？稍诎l(fā)送器側(cè)終端100與接收器側(cè)終端200建立通信信道的處理中收集第二語言的信息。
[0201]當(dāng)從發(fā)送器側(cè)終端100接收到用于將第一語言的文本翻譯為第二語言的請求時，翻譯服務(wù)器420通過使用預(yù)存儲的翻譯數(shù)據(jù)庫來產(chǎn)生第二語言的翻譯文本。此外，在步驟2107，翻譯服務(wù)器420可將翻譯文本作為翻譯信息提供給發(fā)送器側(cè)終端100。在該步驟中，翻譯服務(wù)器420可產(chǎn)生與翻譯文本相應(yīng)的翻譯語音，并隨后將包括翻譯語音的翻譯信息與翻譯文本一起提供給接收器側(cè)終端200。
[0202]當(dāng)從翻譯服務(wù)器420接收到翻譯信息時，在步驟2109，發(fā)送器側(cè)終端100將接收到的翻譯信息提供給接收器側(cè)終端200。在這種情況下，發(fā)送器側(cè)終端100可將第一語言的語音信號和第一語言的文本與翻譯信息一起提供給接收器側(cè)終端200。
[0203]上述方法與發(fā)送器側(cè)終端100對將要翻譯的第一語言的文本和翻譯文本進(jìn)行確認(rèn)的方法相應(yīng)。當(dāng)發(fā)送器側(cè)終端100的用戶可在某種程度上理解第二語言的經(jīng)翻譯的文本時，所述方法是有用的。也就是說，當(dāng)發(fā)送器側(cè)終端100的用戶不擅長書寫但擅長閱讀時，所述方法可能是有用的解決方案。
[0204]同時，上述系統(tǒng)10可具有從手寫信息提取文本并提供與提取出的文本相應(yīng)的翻譯信息的修改后的設(shè)計。為此，可在系統(tǒng)中包括能夠從手寫信息提取文本并隨后提供文本的服務(wù)器，而不是ASR服務(wù)器。
[0205]圖22是示出根據(jù)本發(fā)明的實施例的在支持通信服務(wù)的處理中終端的控制器配置和用于描述終端之間的會話管理的在終端之間的信號流的框圖。
[0206]再次參照圖22，包括在本發(fā)明的發(fā)送器側(cè)終端100中的第一控制器160包括:第一發(fā)送處理器362、第一會話管理器361、第一接收處理器363、翻譯單元60和第一網(wǎng)絡(luò)打包/解包支持單元165。此外，包括在本發(fā)明的接收器側(cè)終端200中的第二控制器260包括:第二接收處理器463、第二會話管理器461、第二發(fā)送處理器462、接收翻譯單元464和第二網(wǎng)絡(luò)打包/解包支持單元265。
[0207]發(fā)送器側(cè)終端100和接收器側(cè)終端200基本上可包括用于支持如上所述的本發(fā)明的基于翻譯的通信服務(wù)的圖3中示出的元件。此外，以上參照圖22描述的第一控制器160的第一網(wǎng)絡(luò)打包/解包支持單元165和第二控制260的第二網(wǎng)絡(luò)打包/解包支持單元265可支持用于支持如以上參照圖3所描述的基于翻譯的通信服務(wù)的包傳輸和用于支持本發(fā)明的語音處理的包傳輸。
[0208]在下述處理中可發(fā)生延遲:根據(jù)本發(fā)明的實施例的具有如上所述的結(jié)構(gòu)的終端將第一語言的文本或語音轉(zhuǎn)換為第二語言，并提供轉(zhuǎn)換后的第二語言的文本或語音。此外，當(dāng)接收器側(cè)終端200輸出從發(fā)送器側(cè)接收到的語音信號時，輸出的語音信號可進(jìn)入第二麥克風(fēng)以致產(chǎn)生回聲誤差?？墒褂没芈曌枞娐穪矸乐够芈曊`差的產(chǎn)生。然而，通過使用在語言轉(zhuǎn)換的處理中基本上會發(fā)生的延遲，本發(fā)明的終端可按照與半雙工方案相似的方式執(zhí)行語音信號輸出和等待，以在無需單獨的回聲阻塞電路的情況下實現(xiàn)優(yōu)質(zhì)音頻信號的輸出。也就是說，根據(jù)本發(fā)明的實施例的終端可提供半雙工模式，以用于支持本發(fā)明的語音翻譯服務(wù)的提供。當(dāng)半雙工模式被激活時，在由從對方終端接收到的信號翻譯成的翻譯語音被輸出時，這些終端中的每一個均可對麥克風(fēng)的操作進(jìn)行限制以停止收集語音信號。此外，當(dāng)翻譯語音的輸出完成時，終端可激活麥克風(fēng)，以支持對語音信號的收集。在這種情況下，終端可在與從對方傳送的消息相關(guān)的語音或翻譯語音輸出部分中輸出與麥克風(fēng)的停用相關(guān)的引導(dǎo)消息，并且可在語音輸出完成之后輸出與麥克風(fēng)的激活相關(guān)的引導(dǎo)消息。
[0209]為此，本發(fā)明的終端100和終端200可分別包括第一會話管理器361和第二會話管理器362，以支持在發(fā)送的信號或接收到的信號的輸出被完成之后收集用戶的語音信號。
[0210]更詳細(xì)地，當(dāng)接收器側(cè)終端200的第二網(wǎng)絡(luò)打包/解包支持單元265從發(fā)送器側(cè)接收通信數(shù)據(jù)時，第二網(wǎng)絡(luò)打包/解包支持單元265將接收到的通信數(shù)據(jù)傳送到第二接收處理器463、第二發(fā)送處理器462和第二會話管理器461。隨后，第二接收處理器463將接收到的通信數(shù)據(jù)提供給接收翻譯單元464。同時，第二會話管理器461從第二接收處理器463接收延遲信號(回調(diào)信號)，并將與接收到的延遲信號相應(yīng)的發(fā)送控制信號傳送到第二發(fā)送處理器462。當(dāng)從接收翻譯單元464接收到從通信數(shù)據(jù)轉(zhuǎn)換成的數(shù)據(jù)時，第二接收處理器463通過第二揚聲器輸出轉(zhuǎn)換后的數(shù)據(jù)。同時，已經(jīng)從第二會話管理器461接收到發(fā)送控制信號的第二發(fā)送處理器462可根據(jù)發(fā)送控制信號來控制第二麥克風(fēng)的激活/停用和語音信號的收集。具體地，當(dāng)?shù)诙邮仗幚砥?63接收到通信數(shù)據(jù)時，第二接收處理器463將接收到的通信數(shù)據(jù)轉(zhuǎn)換為用于接收器側(cè)終端200的第二語言的語音信號，并輸出轉(zhuǎn)換后的語音信號，第二發(fā)送處理器462可阻止第二麥克風(fēng)收集語音信號，以防止將要發(fā)送的語音信號與接收到并輸出的語音信號彼此重疊。
[0211]同時，在從接收器側(cè)終端200接收特定通信數(shù)據(jù)并輸出所述通信數(shù)據(jù)的處理中，第一會話管理器361還可控制第一麥克風(fēng)的激活時間點，因而防止在由接收器側(cè)終端200提供的通信數(shù)據(jù)被輸出時收集將要發(fā)送的語音信號。此外，由第一麥克風(fēng)收集的語音信號被傳送到第一發(fā)送處理器362，且第一發(fā)送處理器362通過第一網(wǎng)絡(luò)打包/解包支持單元165將接收到的語音信號傳送到接收器側(cè)終端200。
[0212]同時，在以上描述中，通信數(shù)據(jù)可包括語音和消息中的至少一個，并且考慮到接收器側(cè)終端200，通信數(shù)據(jù)可以是基于發(fā)送器側(cè)終端100中所運行的第一語言形成的數(shù)據(jù)。相反地，考慮到發(fā)送器側(cè)終端100，通信數(shù)據(jù)可以是基于接收器側(cè)終端200中所運行的第二語言形成的數(shù)據(jù)。接收翻譯單元464可將第一語言的語音或SMS數(shù)據(jù)轉(zhuǎn)換為第二語言的語音數(shù)據(jù)，并隨后將轉(zhuǎn)換后的語音數(shù)據(jù)傳送到第二接收處理器463。具體地，當(dāng)從發(fā)送器側(cè)終端接收到文本形式的通信數(shù)據(jù)時，接收翻譯單元464首先將接收到的通信數(shù)據(jù)轉(zhuǎn)換為第二語言的文本數(shù)據(jù)，并隨后將轉(zhuǎn)換后的文本數(shù)據(jù)轉(zhuǎn)換為第二語言的語音數(shù)據(jù)。
[0213]圖23至圖25是用于描述根據(jù)本發(fā)明的實施例的支持通信服務(wù)的處理中的會話管理的流程圖。
[0214]首先，圖23是用于描述用于根據(jù)本發(fā)明的實施例的接收器側(cè)終端所進(jìn)行的會話管理的第一方法的流程圖。
[0215]參照圖23，在用于本發(fā)明的接收器側(cè)終端所進(jìn)行的會話管理的第一方法中，在步驟2301，第二會話管理器461確定是否發(fā)生聲音事件。聲音事件可以是用于TTS再現(xiàn)的事件，更具體地，聲音事件可以是請求第一語言的文本被輸出為第二語言的語音信號的事件。
[0216]作為該步驟中的確定的結(jié)果，當(dāng)聲音事件發(fā)生時，也就是說，當(dāng)從發(fā)送器側(cè)接收到第一語言的文本數(shù)據(jù)時，在步驟2303，第二會話管理器461可支持麥克風(fēng)的停用和語音信號的發(fā)送的中斷。也就是說，第二會話管理器461支持用戶的語音信號的收集和發(fā)送的暫時中斷。在這種情況下，第二接收處理器463執(zhí)行用于通過接收翻譯單元464將接收到的第一語言的文本數(shù)據(jù)轉(zhuǎn)換為第二語言的語音信號的處理。此外，當(dāng)從接收翻譯單元464接收到第二語言的語音信號時，第二接收處理器463支持通過第二麥克風(fēng)輸出接收到的語音信號。接收翻譯單元464既可以是配置在接收器側(cè)終端200中的翻譯模塊，也可以是被設(shè)計為通過單獨的網(wǎng)絡(luò)連接使用服務(wù)的服務(wù)器裝置。
[0217]同時，作為步驟2301中的確定的結(jié)果，當(dāng)未發(fā)生聲音事件時，在步驟2305，第二會話管理器461可支持語音輸入等待和處理。也就是說，第二會話管理器461激活麥克風(fēng)以收集用戶的語音信號，并隨后處理收集到的將要被發(fā)送到發(fā)送器側(cè)終端100的語音信號。
[0218]此后，在步驟2307，接收器側(cè)終端200確定是否發(fā)生用于終止通信功能的事件。當(dāng)未發(fā)生所述事件時，接收器側(cè)終端200返回至步驟2301并再次從步驟2301執(zhí)行處理。同時，當(dāng)發(fā)生用于終止通信功能的事件時，接收器側(cè)終端200終止通信功能，并根據(jù)預(yù)配置的調(diào)度信息或用戶輸入來執(zhí)行特定的終端功能。
[0219]圖24是用于描述用于根據(jù)本發(fā)明的實施例的接收器側(cè)終端所進(jìn)行的會話管理的第二方法的流程圖。
[0220]參照圖24，在用于本發(fā)明的接收器側(cè)終端所進(jìn)行的會話管理的第二方法中，在步驟2401中，接收器側(cè)終端200的第二會話管理器461確定是否發(fā)生聲音事件。作為步驟2401中的確定的結(jié)果，當(dāng)發(fā)生聲音事件時，在步驟2403中，接收器側(cè)終端200停用麥克風(fēng)并停止發(fā)送，以便支持所述事件。此外，在步驟2409，接收器側(cè)終端200確定是否發(fā)送用于終止通信的事件。根據(jù)所述確定的結(jié)果，接收器側(cè)終端200可返回至步驟2401并再次從步驟2401執(zhí)行處理。步驟2401、步驟2403和步驟2409實際上可分別與如上所述的步驟2301、步驟2303和步驟2307相同。因此，這些步驟的詳細(xì)描述在此被省略。
[0221]同時，作為步驟2401中的確定的結(jié)果，當(dāng)未發(fā)生聲音事件時，在步驟2405，接收器側(cè)終端200可通知語音輸入待機。也就是說，接收器側(cè)終端200可在第二顯示單元240中輸出用于將可發(fā)聲狀態(tài)通知給用戶的引導(dǎo)消息，或者提供等同的指示(諸如燈閃爍、特定振動模式輸出或者特定的聲音效果或引導(dǎo)聲音輸出)。此外，在步驟2407，接收器側(cè)終端200可執(zhí)行聲音輸入待機和處理。用于聲音輸入待機和處理的步驟2407實際上可以與以上參照圖23描述的步驟2305相同。
[0222]圖25是用于描述用于根據(jù)本發(fā)明的實施例的接收器側(cè)終端所進(jìn)行的會話管理的第三方法的流程圖。
[0223]參照圖25，在用于本發(fā)明的接收器側(cè)終端所進(jìn)行的會話管理的第三方法中，在步驟2501，接收器側(cè)終端200的第二控制器260確定是否發(fā)生聲音事件。當(dāng)未發(fā)生聲音事件時，第二控制器260進(jìn)行至步驟2503，在步驟2503中，第二控制器260確定在聲音事件期間是否發(fā)生語音輸入。也就是說，接收器側(cè)終端200的第二控制器260確定在第一語言的文本數(shù)據(jù)被接收到并隨后被翻譯的處理時是否發(fā)生語音輸入。隨后，當(dāng)在聲音事件期間未發(fā)生語音輸入時，接收器側(cè)終端200進(jìn)行至步驟2505，在步驟2505中，接收器側(cè)終端200通知語音輸入待機，并隨后執(zhí)行語音輸入待機和處理。步驟2505和步驟2507實際上可分別與以上參照圖24描述的步驟2405和步驟2407相同。同時，作為步驟2503中的確定的結(jié)果，當(dāng)在聲音事件期間發(fā)生語音輸入時，接收器側(cè)終端200的第二控制器260進(jìn)行至步驟2509，在步驟2509中，接收器側(cè)終端200通知輸入語音未發(fā)送。也就是說，第二控制器260可通過第二顯不單兀240、振動、燈和第二揚聲器中的至少一個來通知這樣的消息:報告在聲音事件的處理期間接收到的語音未被處理且與所述語音相應(yīng)的語音信號未被發(fā)送到發(fā)送器側(cè)終端100的消息。
[0224]作為步驟2501中的確定的結(jié)果，當(dāng)發(fā)生聲音事件時，在步驟2511，第二控制器260可執(zhí)行交叉語音輸入檢測。也就是說，當(dāng)通過第二揚聲器輸出第二語言的語音數(shù)據(jù)時，第二控制器260確定是否存在通過第二麥克風(fēng)收集到的語音信號。在這種情況下，即使當(dāng)存在通過第二麥克風(fēng)收集到的語音信號時，語音信號也不被處理。隨后，第二控制器260通過可被用戶識別的方式來輸出報告由用戶發(fā)聲的語音信號未被收集或者第二麥克風(fēng)處于停用狀態(tài)的消息。
[0225]接下來，基于步驟2513中關(guān)于是否終止通信功能的確定，接收器側(cè)終端200支持終止處理或者返回至處理的開始。
[0226]圖26是示出根據(jù)本發(fā)明的實施例的在支持通信服務(wù)的處理中的終端的控制器配置和用于描述發(fā)送器側(cè)終端所進(jìn)行的會話管理的在終端之間的信號流的框圖。[0227]當(dāng)由接收器側(cè)終端200執(zhí)行將第一語言的文本轉(zhuǎn)換為第二語言的語音信號的功能時，接收器側(cè)終端200可獲取準(zhǔn)確的發(fā)聲終止時間點。然而，當(dāng)由發(fā)送器側(cè)終端100執(zhí)行信號轉(zhuǎn)換功能時，接收器側(cè)終端200無法獲取準(zhǔn)確的發(fā)聲終止時間點。為了解決這個問題，本發(fā)明可支持從由發(fā)送器側(cè)終端100提供并從發(fā)送器側(cè)終端100接收到的信號分析語音區(qū)段，以準(zhǔn)確地識別出語音區(qū)段。此外，由于發(fā)送器側(cè)終端100可獲取準(zhǔn)確的發(fā)聲開始時間點和準(zhǔn)確的發(fā)送終止時間點，因此發(fā)送器側(cè)終端100將準(zhǔn)確的發(fā)聲開始時間點和準(zhǔn)確的發(fā)聲終止時間點的信息包括在被發(fā)送到接收器側(cè)終端200的通信數(shù)據(jù)中。因此，接收器側(cè)終端200可在接收到的通信數(shù)據(jù)中識別關(guān)于發(fā)聲區(qū)段的時間信息，以確定麥克風(fēng)的停用程度。
[0228]為此，當(dāng)?shù)谝畸溈孙L(fēng)收集語音信號時，發(fā)送器側(cè)終端100的第一發(fā)送處理器362將收集到的語音信號傳送到第一網(wǎng)絡(luò)打包/解包支持單元165。在這種情況下，第一會話管理器361收集關(guān)于由第一發(fā)送處理器362收集到的語音信號的發(fā)聲開始時間點和發(fā)聲終止時間點的信息，并將收集到的發(fā)聲信息傳送到第一網(wǎng)絡(luò)打包/解包支持單元165，以將發(fā)聲信息與通信數(shù)據(jù)一起傳送到接收器側(cè)終端200。在這種情況下，發(fā)送器側(cè)終端100的第一發(fā)送處理器362通過使用翻譯單元60將由第一麥克風(fēng)131提供的語音信號翻譯為接收器側(cè)終端200的第二語言，并隨后將經(jīng)翻譯的語音信號傳送到第一網(wǎng)絡(luò)打包/解包支持單元165。
[0229]當(dāng)接收到由發(fā)送器側(cè)終端100提供的發(fā)聲信息時，接收器側(cè)終端200可基于接收到的發(fā)聲信息預(yù)先獲得語音區(qū)段的長度，并且可在語音區(qū)段期間中斷語音信號的收集和發(fā)送。同時，當(dāng)發(fā)送器側(cè)終端100未提供發(fā)聲信息時，接收器側(cè)終端200分析接收到的信號中的語音區(qū)段，以確定是否處于語音激活區(qū)段，以便相關(guān)地控制終端。也就是說，當(dāng)?shù)诙W(wǎng)絡(luò)打包/解包支持單元265將由發(fā)送器側(cè)終端100提供的信號傳送到第二接收處理器463時，第二會話管理器461對由第二接收處理器463處理的語音信號進(jìn)行分析，以分析語音區(qū)段，并隨后根據(jù)語音區(qū)段的分析結(jié)果來支持第二發(fā)送處理器462中的語音信號發(fā)送和第二麥克風(fēng)中的激活控制。在第二會話管理器461的控制下，第二發(fā)送處理器462被激活，以將由第二麥克風(fēng)231提供的第二語言的語音信號翻譯為第一語言的語音信號，并隨后將經(jīng)翻譯的語音信號提供給發(fā)送器側(cè)終端100。
[0230]圖27和圖28是用于描述與用于支持通信服務(wù)的語音區(qū)段信息相關(guān)的終端的會話管理方法的流程圖。
[0231]具體地，圖27是用于描述用于根據(jù)本發(fā)明的實施例的接收器側(cè)終端所進(jìn)行的會話管理的第四方法的流程圖。
[0232]參照圖27，在步驟2701，接收器側(cè)終端200針對接收到的信號分析語音區(qū)段。為此，第二會話管理器461分析由第二接收處理器463從第二網(wǎng)絡(luò)打包/解包支持單元265接收到的信息的語音區(qū)段。此后，在步驟2703，接收器側(cè)終端200確定當(dāng)前時間點是否是語音區(qū)段中的時間點。當(dāng)當(dāng)前時間點不是語音區(qū)段中的時間點時，接收器側(cè)終端200進(jìn)行至步驟2705，在步驟2705中，接收器側(cè)終端200支持語音輸入待機和處理。也就是說，接收器側(cè)終端200激活第二麥克風(fēng)，以允許用戶輸入語音。在這種情況下，接收器側(cè)終端200可支持報告用戶的語音信號可被收集的引導(dǎo)消息的輸出。
[0233]同時，作為步驟2703中的確定的結(jié)果，當(dāng)當(dāng)前時間點是語音區(qū)段中的時間點時，也就是說，當(dāng)由發(fā)送器側(cè)終端100提供的通信數(shù)據(jù)正被接收時，接收器側(cè)終端200的第二控制器260進(jìn)行至步驟2707，在步驟2707中，接收器側(cè)終端200支持語音信號的發(fā)送的暫時中斷。在這種情況下，第二控制器260可支持報告語音信號的發(fā)送的暫時中斷的引導(dǎo)消息的輸出。
[0234]接下來，在步驟2709，接收器側(cè)終端200確定是否發(fā)生用于終止通信功能的事件。根據(jù)確定的結(jié)果，接收器側(cè)終端200可支持終止處理或者返回至步驟2701以支持通信功倉泛。
[0235]圖28是用于描述用于根據(jù)本發(fā)明的實施例的接收器側(cè)終端所進(jìn)行的會話管理的第五方法的流程圖。
[0236]參照圖28，在用于本發(fā)明的接收器側(cè)終端所進(jìn)行的會話管理的第五方法中，在步驟2801，接收器側(cè)終端從另一終端接收發(fā)聲信息。為此，當(dāng)?shù)诙邮仗幚砥?63從第二網(wǎng)絡(luò)打包/解包支持單元265接收通信數(shù)據(jù)時，接收器側(cè)終端200的第二會話管理器461可支持對包括在數(shù)據(jù)中的發(fā)聲信息進(jìn)行解析。發(fā)聲信息可包括關(guān)于發(fā)送器側(cè)終端100所進(jìn)行的對語音數(shù)據(jù)的收集的開始時間點和終止時間點的信息?；蛘?，發(fā)聲信息可包括與由發(fā)送器側(cè)終端100提供的通信數(shù)據(jù)的語音信號輸出相應(yīng)的預(yù)定的失效時間的信息。
[0237]當(dāng)接收到發(fā)聲信息時，在步驟2803，接收器側(cè)終端200確定當(dāng)前時間點是否是語音區(qū)段中的時間點。當(dāng)當(dāng)前時間點不是語音區(qū)段中的時間點時，接收器側(cè)終端200進(jìn)行至步驟2805，在步驟2805中，接收器側(cè)終端200支持語音輸入待機和處理。為了語音輸入待機和處理，接收器側(cè)終端200激活第二麥克風(fēng)，將由第二麥克風(fēng)收集的語音信號翻譯為第一語言，并隨后發(fā)送經(jīng)翻譯的語音信號。在這種情況下，接收器側(cè)終端200可支持報告語音輸入待機狀態(tài)的消息的輸出。
[0238]同時，作為步驟2803中的確定的結(jié)果，當(dāng)當(dāng)前時間點是接收到的信號的語音區(qū)段中的時間點時，在步驟2807，接收器側(cè)終端200中斷第二麥克風(fēng)對語音信號的收集并中斷語音信號的發(fā)送。接下來，基于步驟2809中關(guān)于是否終止通信功能的確定，接收器側(cè)終端200可支持終止處理或者返回至步驟2801。
[0239]如上所述，在操作根據(jù)本發(fā)明的實施例的基于翻譯的通信服務(wù)的方法中，在通信服務(wù)的操作期間輸入的文本、語音信號和手寫信息之中的至少一種類型的輸入信息被轉(zhuǎn)換為翻譯信息，且轉(zhuǎn)換后的翻譯信息被提供給接收器側(cè)終端。因此，本發(fā)明可解決由于發(fā)送器側(cè)終端100和接收器側(cè)終端200之間的語音不一致而造成的通信困難的問題。
[0240]此外，本發(fā)明的通信服務(wù)操作方法可支持與半雙工方案相似的信號處理，所述信號處理可通過使用在信號轉(zhuǎn)換處理中失效的延遲時間來抑制回聲的發(fā)生。
[0241]同時，如上所述的發(fā)送器側(cè)終端和接收器側(cè)終端還可根據(jù)自身的提供形式而包括各種附加模塊。也就是說，所述終端還可包括以上并未提及的組件，諸如用于短距離通信的短距離通信模塊、用于通過終端的有線通信方案或無線通信方案進(jìn)行數(shù)據(jù)發(fā)送/接收的接口、用于與互聯(lián)網(wǎng)網(wǎng)絡(luò)進(jìn)行通信以執(zhí)行互聯(lián)網(wǎng)功能的互聯(lián)網(wǎng)通信模塊和用于執(zhí)行接收和再現(xiàn)數(shù)字廣播的功能的數(shù)字廣播模塊。由于這樣的組件根據(jù)數(shù)字裝置的融合趨勢而被各種修改，因此難以列舉所有這樣的組件，但是與前述組件處于相同水平的組件也可被包括在終端中。此外，顯而易見的是，根據(jù)本發(fā)明的終端中的特定組件可被排除在組件之外或者用其它組件被替換。本領(lǐng)域技術(shù)人員將容易理解這點。
[0242]此外，根據(jù)本發(fā)明的實施例的終端可包括所有信息技術(shù)裝置和多媒體裝置(諸如，便攜式多媒體播放器(PMP )、數(shù)字廣播播放器、個人數(shù)字助理(PDA)、音樂播放器(例如，MP3播放器)、便攜式游戲終端、智能電話、筆記本和手持式PC及其應(yīng)用裝置)以及基于與各種通信系統(tǒng)相應(yīng)的通信協(xié)議進(jìn)行操作的所有移動通信終端。
[0243]同時，雖然已經(jīng)在本說明書和附圖中示出并描述了本發(fā)明的示例性實施例，但是所述示例性實施例僅在一般意義下使用，以便簡單地解釋本發(fā)明的技術(shù)內(nèi)容并幫助理解本發(fā)明，而不意在限定本發(fā)明的范圍。對于本發(fā)明所屬【技術(shù)領(lǐng)域】的技術(shù)人員而言明顯的是，除了公開于此的實施例之外，基于本發(fā)明的精神的其它經(jīng)修改的實施例可被實現(xiàn)。
[0244]雖然已經(jīng)利用示例性實施例描述了本公開，但是可將各種改變和修改建議給本領(lǐng)域技術(shù)人員。意在本公開包含落入權(quán)利要求的范圍內(nèi)的改變和修改。
【權(quán)利要求】
1.一種支持基于翻譯的通信服務(wù)的方法，所述方法包括: 在發(fā)送器側(cè)終端和接收器側(cè)終端之間建立通信服務(wù)信道； 將由發(fā)送器側(cè)終端收集的第一語言的文本和第一語言的語音信號中的至少一個翻譯為第二語言，以產(chǎn)生第二語言的翻譯文本和第二語言的翻譯語音中的至少一個； 由接收器側(cè)終端接收并輸出產(chǎn)生的第二語言的翻譯文本和第二語言的翻譯語音信號中的至少一個。
2.如權(quán)利要求1所述的方法，其中，產(chǎn)生第二語言的翻譯文本和翻譯語音中的至少一個的步驟包括: 當(dāng)收集到第一語言的文本時，由發(fā)送器側(cè)終端通過使用存儲在第一存儲單元中的翻譯數(shù)據(jù)庫將第一語言的文本轉(zhuǎn)換為第二語言的翻譯文本； 當(dāng)收集到第一語言的語音信號時，由發(fā)送器側(cè)終端通過使用存儲在第一存儲單元中的語音識別數(shù)據(jù)庫來產(chǎn)生語音識別的文本，并隨后通過使用存儲在第一存儲單元中的翻譯數(shù)據(jù)庫將產(chǎn)生的語音識別的文本轉(zhuǎn)換為第二語言的翻譯文本。
3.如權(quán)利要求1所述的方法，還包括: 由發(fā)送器側(cè)終端將第一語言的文本和第一語言的語音信號中的至少一個發(fā)送到接收器側(cè)終端， 其中，產(chǎn)生第二語言的翻譯文本和翻譯語音中的至少一個的步驟包括下列步驟中的至少一個: 由接收器側(cè)終端通過使用存儲在第二存儲單元中的翻譯數(shù)據(jù)庫將第一語言的文本轉(zhuǎn)換為第二語言的文本； 由接收器側(cè)終端通過使用存儲在第二存儲單元中的語音識別數(shù)據(jù)庫從第一語言的語音信號產(chǎn)生語音識別的文本，并隨后通過使用存儲在第二存儲單元中的翻譯數(shù)據(jù)庫將產(chǎn)生的語音識別的文本轉(zhuǎn)換為第二語言的文本。
4.如權(quán)利要求1所述的方法，其中，產(chǎn)生第二語言的翻譯文本和翻譯語音的步驟包括: 由發(fā)送器側(cè)終端將第一語言的文本提供給支持語音識別和翻譯的ASR/翻譯服務(wù)器，并由ASR/翻譯服務(wù)器產(chǎn)生包括與第一語言的文本相應(yīng)的第二語言的翻譯文本和第二語言的翻譯語音中的至少一個的翻譯信息； 由ASR/翻譯服務(wù)器將翻譯信息發(fā)送到發(fā)送器側(cè)終端、接收器側(cè)終端以及支持發(fā)送器側(cè)終端與接收器側(cè)終端之間的聊天服務(wù)的聊天服務(wù)器中的至少一個。
5.如權(quán)利要求1所述的方法，還包括: 處于語音信號輸出區(qū)段時，由接收器側(cè)終端中斷語音信號的收集和發(fā)送并運行半雙工模式； 當(dāng)不處于語音信號輸出區(qū)段中時，由接收器側(cè)終端支持語音輸入待機和處理。
6.一種用于支持基于翻譯的通信服務(wù)的發(fā)送器側(cè)終端，所述發(fā)送器側(cè)終端包括: 被配置為接收第一語言的文本的輸入的輸入單元和具有輸入功能的顯示單元中的至少一個； 麥克風(fēng)，支持第一語言的語音信號的收集； 存儲單元，被配置為存儲用于翻譯第一語言的文本的翻譯數(shù)據(jù)庫和用于對第一語言的語音信號進(jìn)行語音識別的語音識別數(shù)據(jù)；控制器，被配置為通過使用翻譯數(shù)據(jù)庫將第一語言的文本轉(zhuǎn)換為第二語言的翻譯文本； 通信單元，被配置為發(fā)送第二語言的翻譯文本。
7.如權(quán)利要求6所述的發(fā)送器側(cè)終端，還包括: 觸摸面板，被配置為識別觸摸； 電子筆，被配置為在觸摸面板上手寫輸入； 其中，控制器被配置為對手寫輸入進(jìn)行圖像掃描，將手寫輸入轉(zhuǎn)換為第一語言的文本，并隨后將轉(zhuǎn)換后的文本轉(zhuǎn)換為第二語言的翻譯文本。
8.如權(quán)利要求6所述的發(fā)送器側(cè)終端，其中，存儲單元包括:用于TTS的語音數(shù)據(jù)庫，所述用于TTS的語音數(shù)據(jù)庫被配置為將第二語言的翻譯文本轉(zhuǎn)換為第二語言的語音， 控制器被配置為使用用于TTS的語音數(shù)據(jù)庫來產(chǎn)生第二語言的語音。
9.如權(quán)利要求6所述的發(fā)送器側(cè)終端，其中，顯示單元被配置為提供用于選擇翻譯模式的圖標(biāo)或菜單項中的至少一個， 控制器被配置為當(dāng)翻譯模式被選擇時選擇與通信單元進(jìn)行通信連接的接收器側(cè)終端的語言配置信息。
10.如權(quán)利要求6所述的發(fā)送器側(cè)終端，其中，當(dāng)?shù)谝徽Z言的語音信號被收集到時，控制器執(zhí)行控制以通過使用語音識別數(shù)據(jù)庫來產(chǎn)生語音識別的文本，并對產(chǎn)生的語音識別的文本進(jìn)行翻譯以產(chǎn)生第二語言的翻譯文本。
11.如權(quán)利要求10所述的發(fā)送器側(cè)終端，其中，控制器執(zhí)行控制以提取第一語言的語音信號的聲音特性，并應(yīng)用提取出的聲音特性以將第二語言的翻譯文本轉(zhuǎn)換為語音。
12.一種用于支持基于翻譯的通信服務(wù)的接收器側(cè)終端，所述接收器側(cè)終端包括: 通信單元，接收第一語言的文本和第一語言的語音信號中至少一個； 存儲單元，存儲用于將接收到的第一語言的文本轉(zhuǎn)換為第二語言的翻譯文本的翻譯數(shù)據(jù)庫和用于對第一語言的語音信號進(jìn)行語音識別的語音識別數(shù)據(jù)庫中的至少一個； 顯示單元，輸出第二語言的翻譯文本； 控制器，執(zhí)行控制以將第一語言的文本轉(zhuǎn)換為第二語言的翻譯文本，通過使用語音識別數(shù)據(jù)庫對第一語言的語音信號進(jìn)行語音識別來產(chǎn)生語音識別的文本，將語音識別的文本轉(zhuǎn)換為第二語言的翻譯文本并隨后輸出轉(zhuǎn)換后的翻譯文本。
13.一種用于支持基于翻譯的通信服務(wù)的系統(tǒng)，所述系統(tǒng)包括: 發(fā)送器側(cè)終端，與接收器側(cè)終端建立通信服務(wù)信道，將由發(fā)送器側(cè)終端收集到的第一語言的文本和第一語言的語音信號中的至少一個翻譯為第二語言，以產(chǎn)生第二語言的翻譯文本和第二語言的翻譯語音中的至少一個，并發(fā)送產(chǎn)生的翻譯文本和翻譯語音中的至少一個； 接收器側(cè)終端，輸出從發(fā)送器側(cè)終端發(fā)送的第二語言的翻譯文本和第二語言的翻譯語音信號中的至少一個。
14.一種用于支持基于翻譯的通信服務(wù)的系統(tǒng)，所述系統(tǒng)包括: 發(fā)送器側(cè)終端，與接收器側(cè)終端建立通信服務(wù)信道，并發(fā)送收集到的第一語言的文本和收集到的第一語言的語音信號中的至少一個； 接收器側(cè)終端，將從發(fā)送器側(cè)終端發(fā)送的第一語言的文本和第一語言的語音信號中的至少一個轉(zhuǎn)換為第二語言的翻譯文本和第二語言的翻譯語音中的至少一個，并輸出轉(zhuǎn)換后的翻譯文本和翻譯語音信號中的至少一個。
15.一種支持基于翻譯的通信服務(wù)的方法，所述方法包括: 在發(fā)送器側(cè)終端和接收器側(cè)終端之間建立通信服務(wù)信道； 將由發(fā)送器側(cè)終端收集到的第一語言的文本和第一語言的語音信號中的至少一個翻譯為第二語言，以產(chǎn)生第二語言的翻譯文本和第二語言的翻譯語音中的至少一個； 由接收器側(cè)終端接收并輸出產(chǎn)生的第二語言的翻譯文本和第二語言的翻譯語音信號中的至少一個； 由接收器側(cè)終端確定當(dāng)前時間點是否在語音信號輸出區(qū)段中； 當(dāng)當(dāng)前時間點在語音信號輸出區(qū)段中時，由接收器側(cè)終端中斷語音信號的收集和發(fā)送并運行半雙工模式； 當(dāng)當(dāng)前時間點不 在語音信號輸出區(qū)段中時，由接收器側(cè)終端支持語音輸入待機和處理。
【文檔編號】H04W4/14GK104010267SQ201410062723
【公開日】2014年8月27日 申請日期:2014年2月24日 優(yōu)先權(quán)日:2013年2月22日
【發(fā)明者】姜相機, 金炅泰, 林祐炯, 鄭曠洙 申請人:三星電子株式會社