支持基于翻譯的通信服務方法和系統(tǒng)和支持該服務的終端的制作方法
【專利摘要】本公開涉及一種支持基于翻譯的通信服務方法和系統(tǒng)和支持該服務的終端。所述方法包括：在發(fā)送器側終端和接收器側終端之間建立通信服務信道；將由發(fā)送器側終端收集的第一語言的文本和第一語言的語音信號中的至少一個翻譯為第二語言，以產(chǎn)生第二語言的翻譯文本和第二語言的翻譯語音中的至少一個；由接收器側終端接收并輸出產(chǎn)生的第二語言的翻譯文本和第二語言的翻譯語音信號中的至少一個。
【專利說明】支持基于翻譯的通信服務方法和系統(tǒng)和支持該服務的終端
【技術領域】
[0001]本發(fā)明涉及一種用于終端的基于翻譯的通信服務操作，更具體地，涉及一種用于基于翻譯的通信服務操作的方法和系統(tǒng)，所述方法和系統(tǒng)支持用于發(fā)送器側和接收器側之間的順暢通信的翻譯服務的操作。
【背景技術】
[0002]由于便攜式終端在可支持特定用戶功能的同時足夠小以至于能夠被攜帶，因此便攜式終端在各種工業(yè)和生活領域中很受歡迎。最近，已經(jīng)出現(xiàn)了綜合支持各種用戶功能的便攜式終端。這些便攜式終端中的每一個都支持用戶功能并通過顯示單元提供與用戶功能相應的屏幕。因此，用戶可使用特定用戶功能來根據(jù)該特定用戶功能的操作通過屏幕使用內(nèi)容。
[0003]此外，便攜式終端支持與另一便攜式移動終端進行語音通信、短消息服務(SMS)通信、視頻通信等。為此，當用戶輸入對方終端的電話號碼并選擇語音通信、SMS通信和視頻通信之一，且對方終端的用戶隨后許可了所選擇的通信服務時，終端可提供所選擇的通信服務。如上所述的支持的通信服務不僅可包括使用相同語言的預定區(qū)域中的通信服務，還可包括使用不同語言的區(qū)域之間的通信服務。因此，近期使用不同語言的人之間的通信也得到支持。在使用不同語言的人之間的通信中，當一方可理解另一方的語言時，可建立正常通信。特別地，當任何一方都不能理解另一方的語言時，即使在通信連接后，也無法進行正常通信。

【發(fā)明內(nèi)容】

[0004]為了解決以上討論的缺陷，首要目標是提供一種用于基于翻譯的通信服務的方法和系統(tǒng)，所述方法和系統(tǒng)支持將輸入內(nèi)容轉換為預定語音并隨后提供轉換后的內(nèi)容，以實現(xiàn)使用不同的語音的用戶之間的通信。
[0005]本發(fā)明的一方面提供了一種支持基于翻譯的通信服務的方法，所述方法包括:在發(fā)送器側終端和接收器側終端之間建立通信服務信道；將由發(fā)送器側終端收集的第一語言的文本和第一語言的語音信號中的至少一個翻譯為第二語言，以產(chǎn)生第二語言的翻譯文本和第二語言的翻譯語音中的至少一個；由接收器側終端接收并輸出產(chǎn)生的第二語言的翻譯文本和第二語言的翻譯語音信號中的至少一個。
[0006]本發(fā)明的另一方面提供了一種用于支持基于翻譯的通信服務的接收器側終端，所述接收器側終端包括:通信單元，接收第一語言的文本；存儲單元，存儲用于將接收到的第一語言的文本轉換為第二語言的翻譯文本的翻譯數(shù)據(jù)庫；顯示單元，輸出第二語言的翻譯文本；控制器，執(zhí)行控制以將第一語言的文本轉換為第二語言的翻譯文本，并隨后輸出轉換后的翻譯文本。
[0007]本發(fā)明的另一方面提供了一種用于支持基于翻譯的通信服務的發(fā)送器側終端，所述發(fā)送器側終端包括:支持第一語言的文本的輸入的輸入單元和具有輸入功能的顯示單元中的至少一個；存儲單元，存儲用于翻譯第一語言的文本的翻譯數(shù)據(jù)庫；控制器，控制通過使用翻譯數(shù)據(jù)庫將第一語言的文本轉換為第二語言的翻譯文本；通信單元，發(fā)送第二語言的翻譯文本。
[0008]本發(fā)明的另一方面提供了一種用于支持基于翻譯的通信服務的系統(tǒng)，所述系統(tǒng)包括:發(fā)送器側終端，與接收器側終端建立通信服務信道，將由發(fā)送器側終端收集到的第一語言的文本和第一語言的語音信號中的至少一個翻譯為第二語言，以產(chǎn)生第二語言的翻譯文本和第二語言的翻譯語音中的至少一個，并發(fā)送產(chǎn)生的翻譯文本和翻譯語音中的至少一個；接收器側終端，輸出從發(fā)送器側終端發(fā)送的第二語言的翻譯文本和第二語言的翻譯語音信號中的至少一個。
[0009]本發(fā)明的另一方面提供了一種用于支持基于翻譯的通信服務的系統(tǒng)，所述系統(tǒng)包括:發(fā)送器側終端，與接收器側終端建立通信服務信道，并發(fā)送收集到的第一語言的文本和收集到的第一語言的語音信號中的至少一個；接收器側終端，將從發(fā)送器側終端發(fā)送的第一語言的文本和第一語言的語音信號中的至少一個轉換為第二語言的翻譯文本和第二語言的翻譯語音中的至少一個，并輸出轉換后的翻譯文本和翻譯語音信號中的至少一個。
[0010]本發(fā)明的另一方面提供了一種用于支持基于翻譯的通信服務的系統(tǒng)，所述系統(tǒng)包括:發(fā)送器側終端，與接收器側終端建立聊天服務信道，并收集第一語言的文本;ASR/翻譯服務器，接收來自發(fā)送器側終端的第一語言的文本和接收器側終端的第二語言的信息，并基于接收到的第二語言的信息來產(chǎn)生與第一語言的文本相應的第二語言的翻譯文本；聊天服務器，接收第二語言的翻譯文本，并將接收到的翻譯文本提供給接收器側終端；接收器側終端，接收并輸出第二語言的翻譯文本。
[0011]本發(fā)明的另一方面提供了一種用于支持基于翻譯的通信服務的系統(tǒng)，所述系統(tǒng)包括:發(fā)送器側終端，與接收器側終端建立語音通信服務信道，并收集第一語言的語音信號；ASR/翻譯服務器，從發(fā)送器側終端接收第一語言的語音信號和接收器側終端的第二語言的信息，對第一語言的語音信號進行語音識別以產(chǎn)生語音識別的文本，并將語音識別的文本轉換為第二語言的翻譯文本；接收器側終端，接收并輸出第二語言的翻譯文本。
[0012]本發(fā)明的另一方面提供了一種用于支持基于翻譯的通信服務的系統(tǒng)，所述系統(tǒng)包括:發(fā)送器側終端，與接收器側終端建立語音通信服務信道，并收集第一語言的語言信號；ASR服務器，接收第一語言的語音信號并對其進行語音識別，以產(chǎn)生語音識別的文本；翻譯服務器，將語音識別的文本轉換為與接收器側終端的第二語言的信息相應的第二語言的翻譯文本，接收器側終端，接收并輸出第二語言的翻譯文本。
[0013]如上所述，用于根據(jù)本發(fā)明的基于翻譯的通信服務操作的方法和系統(tǒng)可支持對內(nèi)容的適當翻譯和傳送，以實現(xiàn)使用不同語言的用戶之間的通信。
[0014]在著手下面的“【具體實施方式】”之前，闡述在本專利文件中通篇使用的特定詞語和短語的定義會是有益的:術語“包括”和“包含”及其派生詞意指包含而沒有限制；術語“或”包含意指“和/或”；短語“與…相關聯(lián)的”和“與其相關聯(lián)的”及其派生詞可意指包括、被包括在…內(nèi)、與…相互連接、包含、被包含在…內(nèi)、連接到…或與…連接、耦合到…或與…耦合、可與…通信、與…合作、交織、并置、近似于、被綁定到…或與…綁定、具有、具有…的屬性，等等；術語“控制器”意指控制至少一個操作的任何裝置、系統(tǒng)或裝置、系統(tǒng)的一部分，其中，可以以硬件、固件或軟件或者硬件、固件和軟件中的至少兩個的某一組合來實施所述裝置。應注意到:無論是本地地還是遠程地，可集中或分散與任何特定控制器相關聯(lián)的功能。在本專利文件中通篇提供針對特定詞語和短語的定義，本領域普通技術人員應理解:在許多(如果不是大多數(shù))示例中，所述定義應用于所述定義的詞語和短語的之前以及未來的使用。
【專利附圖】

【附圖說明】
[0015]為了更完整地理解本公開及其優(yōu)點，現(xiàn)在將參照結合附圖進行的以下描述，其中，相同的標號表不相同的部分:
[0016]圖1是示出根據(jù)本發(fā)明的實施例的基于翻譯的通信服務支持系統(tǒng)的示圖；
[0017]圖2是更詳細地示出圖1的發(fā)送器側終端的配置和接收器側終端的配置的框圖；
[0018]圖3是更詳細地示出根據(jù)本發(fā)明的實施例的發(fā)送器側終端的第一控制器和接收器側終端的第二控制器的配置的框圖；
[0019]圖4是更詳細地示出本發(fā)明的實施例的翻譯單元的配置的框圖；
[0020]圖5是示出根據(jù)本發(fā)明的實施例的第一控制器的結構的示例的框圖；
[0021]圖6是示出根據(jù)本發(fā)明的實施例的第一控制器的結構的另一示例的框圖；
[0022]圖7是用于描述根據(jù)本發(fā)明的實施例的基于翻譯的通信服務操作系統(tǒng)中發(fā)送器側終端的操作的流程圖；
[0023]圖8是用于描述根據(jù)本發(fā)明的實施例的基于翻譯的通信服務操作系統(tǒng)中接收器側終端的操作的流程圖；
[0024]圖9是示出根據(jù)本發(fā)明的實施例的支持基于翻譯的通信服務的發(fā)送器側終端的屏幕界面的示例的示圖；
[0025]圖10是示出根據(jù)本發(fā)明的實施例的支持基于翻譯的通信服務的接收器側終端的屏幕界面的示例的示圖；
[0026]圖11是示意性地示出根據(jù)本發(fā)明的第一至第四實施例的用于支持基于翻譯的通信服務的系統(tǒng)的結構的示圖；
[0027]圖12是用于描述根據(jù)本發(fā)明的第一實施例的基于翻譯的通信服務的操作的信號流程圖；
[0028]圖13是用于描述根據(jù)本發(fā)明的第二實施例的基于翻譯的通信服務的操作的信號流程圖；
[0029]圖14是用于描述根據(jù)本發(fā)明的第三實施例的基于翻譯的通信服務的操作的信號流程圖；
[0030]圖15是用于描述根據(jù)本發(fā)明的第四實施例的基于翻譯的通信服務的操作的信號流程圖；
[0031]圖16是示意性地示出根據(jù)本發(fā)明的第五和第六實施例的用于支持基于翻譯的通信服務的系統(tǒng)的結構的示圖；
[0032]圖17是用于描述根據(jù)本發(fā)明的第五實施例的基于翻譯的通信服務的操作的信號流程圖；
[0033]圖18是用于描述根據(jù)本發(fā)明的第六實施例的基于翻譯的通信服務的操作的信號流程圖；[0034]圖19是示意性地示出根據(jù)本發(fā)明的第七和第八實施例的用于支持基于翻譯的通信服務的系統(tǒng)的結構的示圖；
[0035]圖20是用于描述根據(jù)本發(fā)明的第七實施例的基于翻譯的通信服務的操作的信號流程圖；
[0036]圖21是用于描述根據(jù)本發(fā)明的第八實施例的基于翻譯的通信服務的操作的信號流程圖；
[0037]圖22是示出根據(jù)本發(fā)明的實施例的支持通信服務的處理中終端的控制器配置和用于描述終端之間的會話管理的在終端之間的信號流的框圖；
[0038]圖23至圖25是用于描述根據(jù)本發(fā)明的實施例的支持通信服務的處理中的會話管理的流程圖，且圖26是示出根據(jù)本發(fā)明的實施例的支持通信服務的處理中終端的控制器配置和用于描述發(fā)送器側終端所進行的會話管理的在終端之間的信號流的框圖；
[0039]圖27和圖28是用于描述與用于支持通信服務的語音區(qū)段(section)信息相關的終端的會話管理方法的流程圖。
【具體實施方式】
[0040]在本專利文件中，以下討論的圖1至圖28以及用于描述本公開的原理的各種實施例僅僅是舉例說明，并且不應該以任何方式被解釋為用于限制本公開的范圍。本領域技術人員將理解的是，可在任何適當?shù)夭贾玫碾娮友b置中實現(xiàn)本公開的原理。在下文中，將參照附圖來詳細描述本發(fā)明的實施例。
[0041]在描述本發(fā)明的示例性實施例的過程中，與本發(fā)明所屬領域的公知的技術內(nèi)容以及與本發(fā)明不直接關聯(lián)的技術內(nèi)容相關的描述將被省略。此外，與具有基本相同的配置和功能的配置元件相關的詳細描述將被省略。
[0042]出于相同的原因，在附圖中，一些配置元件可被夸大、省略或示意性地示出，且每個元件的大小可不準確反映真實大小。因此，本發(fā)明不受在附圖中示出的相對大小或間隔限制。
[0043]圖1是示出根據(jù)本發(fā)明的實施例的基于翻譯的通信服務操作系統(tǒng)的示圖。
[0044]參照圖1，本發(fā)明的基于翻譯的通信服務操作系統(tǒng)10包括:發(fā)送器側終端100、通信系統(tǒng)300和接收器側終端200。
[0045]在發(fā)送器側終端100和接收器側終端200之間的通信服務的操作期間，根據(jù)由用戶建立的配置，具有如上所述的構造的本發(fā)明的基于翻譯的通信服務支持系統(tǒng)10可支持基于翻譯的通信服務。具體地，本發(fā)明的基于翻譯的通信服務支持系統(tǒng)10支持將發(fā)送信息翻譯為特定語言的信息并將經(jīng)翻譯的信息發(fā)送到接收器側終端200，其中，所述發(fā)送信息包括由發(fā)送器側終端100輸入的語音信號、文本和手寫信息中的至少一個。
[0046]為此，發(fā)送器側終端100與接收器側終端200建立基于分組交換系統(tǒng)的數(shù)據(jù)通信信道。在所述建立中，根據(jù)來自發(fā)送器側終端100的用戶請求、來自接收器側終端200的用戶請求以及通過每個終端設置的配置中的至少一個，基于翻譯的通信服務支持系統(tǒng)10可支持翻譯功能的操作。例如，發(fā)送器側終端100將請求建立與接收器側終端200的聊天服務所使用的數(shù)據(jù)通信信道的消息發(fā)送到接收器側終端200。隨后，當與接收器側終端200的聊天服務被建立時，發(fā)送器側終端100將發(fā)送信息翻譯為由接收器側終端200指定的語言的信息以產(chǎn)生翻譯信息，其中，所述發(fā)送信息包括由發(fā)送器側用戶輸入的語音信號、文本和手寫信息中的至少一個。此外，發(fā)送器側終端100可將翻譯信息發(fā)送到末端的接收器側終端200。在這種情況下，發(fā)送器側終端100可將由用戶輸入的語音信號、文本和手寫信息之中的至少一種類型的發(fā)送信息連同翻譯信息一起發(fā)送到接收器側終端200。此外，發(fā)送器側終端100可發(fā)送文本信號形式的翻譯信息，或者在將翻譯信息轉換為由接收器側終端200指定的語言的語音信號之后發(fā)送翻譯信息。當發(fā)送器側終端是100被設置為翻譯模式時，發(fā)送器側終端100通過將發(fā)送信息翻譯為由接收器側終端200指定的語言的信息來產(chǎn)生并發(fā)送發(fā)送信息。然而，當翻譯模式處于停用狀態(tài)時，發(fā)送器側終端100可在不進行翻譯的情況下將發(fā)送信息直接發(fā)送到接收器側終端200。
[0047]同時，接收器側終端200通過通信系統(tǒng)300與發(fā)送器側終端100建立通信信道。在這種情況下，接收器側終端200可與發(fā)送器側終端100建立基于分組交換系統(tǒng)的數(shù)據(jù)通信信道。數(shù)據(jù)通信信道可以是用于支持同時支持語音、視頻和字幕的各種通信服務信道(諸如視頻通信服務信道、聊天服務信道和通信服務信道)中的至少一種。當如上所述的接收器側終端200從接收器側終端100接收翻譯信息時，末端的接收器側終端200可輸出接收到的翻譯信息。在這種情況下，接收器側終端200支持由發(fā)送器側終端100提供的語音類型或文本類型的翻譯信息的輸出。
[0048]同時，當發(fā)送器側終端100不支持或應用翻譯模式時，接收器側終端200可從發(fā)送器側終端100接收未翻譯的發(fā)送信息。隨后，根據(jù)由用戶做出的配置，接收器側終端200可執(zhí)行翻譯模式。也就是說，接收器側終端200可翻譯發(fā)送器側終端100發(fā)送的發(fā)送信息以產(chǎn)生翻譯信息，并隨后輸出產(chǎn)生的翻譯信息。在這種情況下，接收器側終端200可產(chǎn)生并輸出語音類型的翻譯信息和文本類型的翻譯信息中的至少一個。此外，根據(jù)由用戶做出的配置，或者響應于來自發(fā)送器側終端100的請求，由接收器側終端200產(chǎn)生的翻譯信息可被發(fā)送到發(fā)送器側終端100。
[0049]通信系統(tǒng)300被布置在發(fā)送器側終端100和接收器側終端200之間，并且支持發(fā)送器側終端100和接收器側終端200之間的通信信道的建立。根據(jù)發(fā)送器側終端100和接收器側終端200的裝置特性，可通過各種類型的通信網(wǎng)絡裝置來配置通信系統(tǒng)300。具體地，為了提供根據(jù)本發(fā)明的翻譯信息，可通過能夠發(fā)送或接收包的分組交換系統(tǒng)來配置通信系統(tǒng)300，并且可連同電路交換系統(tǒng)一起混合地使用或被單獨配置。此外，當發(fā)送器側終端100和接收器側終端200被布置為移動設備時,通信系統(tǒng)300可被配置為移動通信系統(tǒng)，以便支持終端的移動性。例如，通信系統(tǒng)300可包括支持各代(包括第二代(2G)、第三代(3G)和第四代(4G))通信方案和通信系統(tǒng)的網(wǎng)絡設備。因此，可理解的是，根據(jù)本發(fā)明的通信系統(tǒng)300是各種通信網(wǎng)絡中的至少一個，其中，可通過能夠將由發(fā)送器側終端100收集的音頻數(shù)據(jù)、圖像和文本發(fā)送到接收器側終端200的網(wǎng)絡設備和能夠將由接收器側終端200收集的音頻數(shù)據(jù)、圖像和文本中的至少一個發(fā)送到發(fā)送器側終端100的網(wǎng)絡設備來配置所述各種通信網(wǎng)絡中的每一個。
[0050]在根據(jù)如上所述的本發(fā)明的實施例的基于翻譯的通信服務支持系統(tǒng)10中，發(fā)送器側終端100將發(fā)送信息翻譯為接收器側終端200的語言，并隨后將經(jīng)翻譯的信息提供給接收器側終端200。因此，基于翻譯的通信服務支持系統(tǒng)10可支持終端的用戶之間的正常通信。在下文中，將參照附圖更詳細地描述基于翻譯的通信服務支持系統(tǒng)10的配置和各種操作實例。
[0051]圖2是更詳細地示出根據(jù)本發(fā)明的實施例的用于基于翻譯的通信服務的操作的終端的配置之中的發(fā)送器側終端100和接收器側終端200的配置的框圖。在下面的討論中，發(fā)送器側終端100和接收器側終端200分別作為具有單獨的功能的單獨的元件描述和示出。然而，本發(fā)明不限于此。換言之，在根據(jù)本發(fā)明的使用基于翻譯的通信服務的處理中，發(fā)送器側終端100可執(zhí)行接收器側終端200的功能，且接收器側終端200可執(zhí)行發(fā)送器側終端100的功能。因此，發(fā)送器側終端100和接收器側終端200可被整體地配置在單個通信終端中。因此，應該理解的是，發(fā)送器側終端100的配置是特定終端當執(zhí)行發(fā)送功能時可具有的配置，且接收器側終端200的配置是特定終端當執(zhí)行接收功能時可具有的配置。
[0052]參照圖2，為了支持根據(jù)本發(fā)明的實施例的通信服務操作，發(fā)送器側終端100可包括第一通信單兀110、第一輸入單兀120、第一麥克風131、第一揚聲器133、第一存儲單兀150、第一顯不單兀140和第一控制器160。
[0053]在利用接收器側終端200使用通信服務的過程中，當存在請求翻譯為特定語言的用戶配置，或者接收器側終端200的配置語言包括在被配置為支持翻譯服務的語言的列表中或與發(fā)送器側終端100的配置語言不同時，根據(jù)本發(fā)明的具有上述構造的發(fā)送器側終端100可支持本發(fā)明的基于翻譯的通信服務操作功能。在所述處理中，發(fā)送器側終端100支持將基于翻譯服務支持程序151收集到的文本信號轉換為翻譯信息，或者支持收集語音信號并將收集到的語音信號轉換為翻譯信息。在將語音信號轉換為翻譯信息的處理中，首先可將第一語言的語音信號轉換為文本信號，隨后可將轉換后的第一語言的文本信號轉換為第二語言的文本信號以產(chǎn)生翻譯信息。為了支持上述功能，發(fā)送器側終端100可通過下列步驟來支持用于識別由第一麥克風131收集到的語音信號的語音轉文本(STT)翻譯服務:使用存儲在第一存儲單元150中的語音識別數(shù)據(jù)庫或可通過第一通信單元110訪問的語音識別數(shù)據(jù)庫服務器，將識別出的語音信號轉換為文本，并隨后將轉換后的文本再次轉換為第二語言的文本。此外，發(fā)送器側終端100可支持文本轉語音(TTS)翻譯服務，所述TTS翻譯服務用于將由用戶輸入的文本信息轉換為第二語言的語音信號，并隨后將轉換后的語音信號發(fā)送到接收器側終端200。
[0054]當聊天服務或視頻通信服務被使用時，發(fā)送器側終端100可提供STT翻譯服務和TTS翻譯服務中的至少一個。在這種情況下，根據(jù)用戶的選擇或先前的調(diào)度信息，或者在控制器的控制下，用于發(fā)送器側終端100和接收器側終端200之間的聊天的聊天服務可支持發(fā)送或接收語音信號、圖像和字幕的功能以及文本發(fā)送/接收功能之中的至少一個功能。
[0055]為此，第一通信單元110可通過通信系統(tǒng)300與接收器側終端200建立數(shù)據(jù)通信信道。根據(jù)發(fā)送器側終端100的裝置特性，可通過支持各種類型的通信方案的通信模塊來配置第一通信單元110。例如，第一通信單元Iio可包括各種通信模塊，諸如支持2G、3G和4G的通信方案的移動通信模塊和支持WiFi的通信模塊。具體地，響應于來自用戶的輸入，第一通信單元110可與接收器側終端200建立用于根據(jù)本發(fā)明的實施例的基于翻譯的文本的發(fā)送/接收的數(shù)據(jù)通信信道。建立的數(shù)據(jù)通信信道允許通過第一輸入單元120或具有輸入功能的第一顯示單元140輸入的語音、圖像、文本以及通過語音識別產(chǎn)生的文本中的至少一個的翻譯和發(fā)送。此外，數(shù)據(jù)通信信道允許將翻譯文本轉換為翻譯語音，并隨后發(fā)送所述翻譯語音，其中，從通過第一輸入單元120或具有輸入功能的第一顯示單元140輸入的文本翻譯得到翻譯文本。在支持與接收器側終端200的通信服務的處理中，第一通信單元110可單向地或雙向地支持上述通信服務。
[0056]第一輸入單元120具有用于產(chǎn)生發(fā)送器側終端100的操作所需的各種輸入信號的配置。第一輸入單元120可具有特定的鍵形式(諸如按鈕鍵、側鍵和主屏幕(home)鍵)，并且可被提供為虛擬觸摸板，以便支持全觸摸屏。虛擬觸摸板可被顯示在第一顯示單元140上，以支持根據(jù)用戶的觸摸來產(chǎn)生輸入事件。
[0057]根據(jù)用戶的控制，第一輸入單元120可產(chǎn)生用于連接與接收器側終端200的通信服務的輸入信號、用于操作連接的通信服務的輸入信號、用于輸入字母的輸入信號、用于指示在特定通信服務的操作期間另一通信服務的激活的輸入信號等。具體地，為了支持基于翻譯的通信服務，第一輸入單元120可產(chǎn)生用于配置翻譯模式的輸入信號、用于指定特定語言的輸入信號或者用于請求接收器側終端200的語音信息的收集的輸入信號。產(chǎn)生的輸入信號被傳送到第一控制器160，以支持輸入信號的相應的功能。
[0058]第一麥克風131根據(jù)發(fā)送器側終端100的功能操作被激活，以從周圍收集音頻信號(特別是語音信號)。由第一麥克風131收集到的語音信號被傳送到第一收集器160。在第一控制器160的控制下,傳送的語音信號可被語音識別、轉換為文本,并隨后被轉換為特定語言?；蛘撸Z音信號可以以被收集到時的狀態(tài)被編碼，并且可被提供到可通過第一通信單元110訪問的語音識別服務器。隨后，語音信號可由語音識別服務器轉換為文本，被轉換為特定語言，并隨后被傳送到接收器側終端200。
[0059]第一揚聲器133具有支持從發(fā)送器側終端100輸出音頻信號的配置。第一揚聲器133可支持根據(jù)存儲在發(fā)送器側終端100中的音頻文件的再現(xiàn)的音頻數(shù)據(jù)和根據(jù)從另一終端或外部服務器設備接收到的音頻文件的再現(xiàn)的音頻數(shù)據(jù)的輸出。具體地，第一揚聲器133可輸出從接收器側終端200發(fā)送的音頻數(shù)據(jù)。此外，響應于從接收器側終端200發(fā)送的SMS消息或視頻信號，第一揚聲器133可輸出相應的提醒聲音或引導聲音。在第一控制器160的控制下，根據(jù)本發(fā)明的第一揚聲器133可輸出通知從由第一麥克風131收集到的語音信號翻譯得到的特定語言的文本的發(fā)送的提醒聲音、通知由接收器側終端200提供的翻譯文本的接收的提醒聲音、與響應于STT或TTS翻譯服務從接收器側終端200接收到的文本相應的引導聲首等。
[0060]第一顯示單元140具有用于提供發(fā)送器側終端100的操作所需的各種屏幕界面的配置。第一顯示單元140可具有包括觸摸面板和顯示面板的結構，以便支持觸摸功能。第一顯示單元140根據(jù)與接收器側終端200的通信服務的類型來提供合成屏幕或單獨屏幕。例如，第一顯示單元140可根據(jù)每種通信服務的操作來單獨輸出用于支持與接收器側終端200的翻譯聊天服務的屏幕、用于支持翻譯語音服務的屏幕、用于支持翻譯SMS服務的屏幕、用于支持基于翻譯的字幕服務的屏幕和用于支持視頻通信服務的屏幕之中的至少一個屏幕。
[0061]此外，第一顯示單元140可提供上述屏幕的一個或更多個組合被合成地配置的屏幕。例如，第一顯示單元140可在翻譯聊天服務支持屏幕上將指示翻譯語音服務和相應的功能正被支持的圖像或文本輸出為背景。此外，在輸出翻譯聊天服務支持屏幕期間，在屏幕的一側輸出通過語音識別服務產(chǎn)生的文本和被翻譯為特定語言的文本的同時，第一顯示單元140可輸出用于支持視頻通信服務的圖像顯示區(qū)域。[0062]第一顯示單元140可提供菜單屏幕，以使用戶能夠選擇上述各種通信服務中的至少一個。根據(jù)裝置的顯示區(qū)域的尺寸，由第一顯示單元140提供的屏幕可具有各種格式。此夕卜，第一顯示單元140可執(zhí)行各種類型的信息的重疊或頁面轉換，以便在有限的顯示區(qū)域中輸出信息，特別是在便攜式裝置的情況下。
[0063]第一存儲單元150可存儲發(fā)送器側終端100的操作所需的操作系統(tǒng)、用于支持由發(fā)送器側終端100提供的功能的應用程序等。具體地，第一存儲單元150可存儲:用于支持本發(fā)明的基于翻譯的通信服務操作的翻譯服務支持程序151、用于支持內(nèi)部語音識別的語音識別數(shù)據(jù)庫(DB) 153、以及用于支持翻譯TTS服務的用于TTS的語音DB155。
[0064]翻譯服務支持程序151包括用于根據(jù)本發(fā)明的實施例的基于翻譯的通信服務的操作的各種例程。例如，翻譯服務支持程序151可包括:用于形成和操作與接收器側終端200的聊天服務信道的例程、用于形成和操作語音服務信道的例程、用于形成和操作SMS信道的例程、以及用于形成和操作視頻通信服務信道的例程。具體地，翻譯服務支持程序151可包括:用于將輸入的文本或輸入的字母轉換為特定語言的經(jīng)翻譯的文本或經(jīng)翻譯的字母的例程，以及用于基于語音識別DB153來識別輸入的語音信號、將輸入的語音信號轉換為文本并隨后將轉換后的文本轉換為經(jīng)翻譯的文本的例程。翻譯服務支持程序151可包括:用于將接收到的經(jīng)翻譯的文本轉換為經(jīng)翻譯的語音并隨后輸出轉換后的經(jīng)翻譯的語音的例程，以及用于將經(jīng)翻譯的文本轉換為經(jīng)翻譯的語音并隨后將轉換后的經(jīng)翻譯的語音發(fā)送到接收器側終端200的例程。此外，當翻譯服務支持程序151被設計為使用可通過第一通信單元110訪問的外部服務器(例如，語音識別支持設備或翻譯服務支持設備)時，翻譯服務支持程序151可包括用于支持對支持設備的訪問和翻譯服務的功能處理例程。
[0065]當發(fā)送器側終端100被設計為不使用分離地布置的ASR/翻譯服務器或者與用于語音識別的語音識別DB153 —起使用ASR/翻譯服務器時，語音識別DB153具有內(nèi)部支持語音識別功能的配置。雖然與ASR/翻譯服務器相比，如上所述的語音識別DB153可能提供具有較低可靠性的語音識別結果和較慢的計算速度，但是語音識別DB153可按照為發(fā)送器側終端100的用戶指定的形式來支持語音識別功能。也就是說，存儲在語音識別DB153中的數(shù)據(jù)可包括被存儲為語音識別歷史的先前由發(fā)送器側終端100的用戶輸入的語音信號，其中，所述語音信號包括關于具有特定模式的用戶語音信號與哪個文本相應的信息。作為結果，與各種終端進行訪問以請求語音識別的ASR/翻譯服務器不同，內(nèi)部存儲的語音識別DB153可支持為用戶指定的語音識別功能。為此，在第一控制器160的控制下，語音識別DB153可具有學習功能。學習功能可以是記錄事件的發(fā)生的功能，其中，由于在匹配語音識別結果與語音信號的處理中校正的輸入，因此由用戶輸入的語音信號的語音識別結果被修改為另一語音識別結果，以便將所述事件映射到未來的語音識別結果。通過重復以上處理，學習功能提高了對于由用戶輸入的語音信號的語音識別結果的精確性。
[0066]用于TTS的語音DB155是包括用于將作為字母或文本輸入的詞語、短語、后置虛詞或句子轉換為語音信號的語音的數(shù)據(jù)庫?？墒褂糜糜赥TS的語音DB155，以支持TTS服務。具體地，可通過與至少一個語言相應的文本和與所述文本相應的語音信號相匹配的數(shù)據(jù)庫來配置用于TTS的語音DB155，以支持TTS翻譯服務。因此，當發(fā)送器側終端100從接收器側終端200接收到經(jīng)翻譯的文本且被配置為將所述經(jīng)翻譯的文本輸出為語音時，第一控制器160可基于存儲在用于TTS的語音DB155中的信息來輸出經(jīng)翻譯的語音。[0067]發(fā)送器側終端100還可包括相機，且由相機捕捉到的圖像可被傳送到第一控制器160。根據(jù)用戶的控制和當前激活的功能，第一控制器160可支持將捕捉到的圖像存儲在第一存儲單元150中或者將捕捉到的圖像發(fā)送到接收器側終端200。具體地，相機可具有用于收集與接收器側終端200的視頻通信的操作所需的圖像的配置。在發(fā)送器側終端100和接收器側終端200之間的視頻通信期間，本發(fā)明的翻譯服務功能可被提供。在這種情況下，可通過用于視頻通信的屏幕的字幕來提供經(jīng)翻譯的文本。
[0068]第一控制器160具有用于根據(jù)本發(fā)明的實施例的發(fā)送器側終端100的操作所需的各種方式的供電和信號控制的配置。具體地，第一控制器160可控制用于提供本發(fā)明的通信服務操作的數(shù)據(jù)傳送和信號控制。為此，第一控制器160可具有如圖3中所示的構造，并且將被參照圖3更詳細地描述。
[0069]同時，根據(jù)本發(fā)明的接收器側終端200可包括:第二通信單元210、第二輸入單元220、第二麥克風231、第二揚聲器233、第二顯示單元240、第二存儲單元250和第二控制器260。具有如上所述的配置的接收器側終端200通過第二通信單元210建立與發(fā)送器側終端100的通信服務所使用的通信信道。具體地，第二通信單元210可建立用于基于翻譯服務的通信服務的操作的各種通信信道，諸如聊天服務信道、SMS信道、語音通信信道和視頻通信信道。
[0070]第二顯示單元240輸出由發(fā)送器側終端100提供的聊天信息、SMS信息等。此外，在語音通信期間，第二顯示單元240可輸出指示語音通信正被執(zhí)行的屏幕，并且可輸出翻譯信息。由第二顯示單元240輸出的翻譯信息可以是通過翻譯經(jīng)由識別由發(fā)送器側終端100提供的語音信號而獲得的信息獲得的信息。此外，第二顯示單元240可將由發(fā)送器側終端100提供的翻譯之前的文本與經(jīng)翻譯的文本一起輸出。此外，第二顯示單元240可將由發(fā)送器側終端200的用戶輸入的文本與從輸入的文本翻譯得到的翻譯文本一起輸出。此夕卜，第二顯示單元240可將通過經(jīng)由發(fā)送器側終端200輸入的語音信號的語音識別獲得的文本與從經(jīng)由語音識別獲得的文本翻譯得到的翻譯文本一起輸出。
[0071]為此，第二麥克風231收集接收器側終端200的用戶的語音信號，并將收集到的語音信號提供給第二收集器260。第二揚聲器233具有用于輸出由發(fā)送器側終端100提供的語音信號的配置。具體地，在第二控制器260的控制下,第二揚聲器233可輸出與由發(fā)送器側終端100提供的翻譯文本相應的語音信號或者由發(fā)送器側終端100提供的翻譯語音信號。為此，第二存儲單元250可存儲用于將翻譯文本轉換為翻譯語音信號的語音數(shù)據(jù)庫。此外，當接收器側終端200使用第二語言，且發(fā)送器側終端100提供以第一語言形成的文本時，接收器側終端200的第二存儲單元250可包括用于將第一語言的文本翻譯為第二語言的翻譯文本的翻譯支持數(shù)據(jù)庫。此外，當發(fā)送器側終端100提供第一語言的語音信號時，第二存儲單元250可包括:用于對第一語言的語音信號進行語音識別的語音識別數(shù)據(jù)庫，以及用于將第二語言的翻譯文本轉換為第二語言的語音信號的語音數(shù)據(jù)庫。根據(jù)用于支持本發(fā)明的基于翻譯的通信服務的設計方案，上述第二存儲單元250可存儲和管理各種數(shù)據(jù)庫。
[0072]第二控制器260可執(zhí)行第二通信單元210中的通信信道建立控制，執(zhí)行用于響應于接收到對基于翻譯的通信服務操作的請求而根據(jù)預設計的方案執(zhí)行基于翻譯的通信服務的控制，執(zhí)行用于支持與發(fā)送器側終端100的基于翻譯的通信服務的協(xié)商控制，執(zhí)行所使用的語言識別控制，并且執(zhí)行根據(jù)用戶的設計的語言選擇控制。此外，第二控制器260可支持如上所述的各種類型的翻譯信息的提供。也就是說，根據(jù)由用戶做出的配置，第二控制器260可執(zhí)行用于提供基于聊天服務的翻譯文本、基于SMS的翻譯文本、基于語音通信的翻譯文本、在視頻通信中收集到的基于語音通信的翻譯文本和被提供為視頻通信的字幕的翻譯文本之中的至少一個文本的控制。上述第二控制器260的配置包括如圖3中所示的配置。
[0073]圖3是示出發(fā)送器側終端100的第一控制器160的結構和接收器側終端200的第二控制器260的結構的框圖。
[0074]參照圖3，第一控制器160可包括:第一語音處理器161、第一文本處理器162、電子筆處理器163、服務請求管理器164、第一網(wǎng)絡打包/解包支持單元165、服務控制模塊166、STT模塊167、HTT模塊168、翻譯單元60和TTS模塊169。第一控制器160還可包括用于提供基于視頻通信服務的翻譯信息的相機操作單元。相機操作單元可將由相機收集的圖像提供給服務請求管理器，并且可將由第一麥克風131收集到的語音信號與提供的圖像一起傳送到服務請求管理器164。
[0075]第一語音處理器161處理由第一麥克風131收集的語音信號，以產(chǎn)生語音數(shù)據(jù)。例如，第一語音處理器161可以是用于處理語音信號的編碼器。由第一語音處理器161處理的語音數(shù)據(jù)被提供給服務請求管理器164，并且可根據(jù)服務請求管理器164的控制而被傳送到第一網(wǎng)絡打包/解包支持單元165和服務控制模塊166中的至少一個。
[0076]第一文本處理器162將從第一輸入單元120和具有輸入功能的第一顯示單元140輸入的信號轉換為字母。由第一語音處理器162轉換成的字母被提供給服務請求管理器164，并且可根據(jù)服務請求管理器164的控制而被傳送到第一網(wǎng)絡打包/解包支持單元165和服務控制模塊166中的至少一個。
[0077]電子筆處理器163處理由被提供為輸入裝置的電子筆形成的信息。例如，電子筆處理器163收集通過電子筆的操作和用于電子筆的操作的筆觸摸面板而輸入的處于圖像形式的手寫信息。此外，電子筆處理器163可將收集到的手寫信息提供給服務請求管理器164。發(fā)送器側終端100和接收器側終端200中的每一個還可包括電子筆和能夠識別電子筆的筆觸摸面板，以實現(xiàn)手寫信息的輸入。
[0078]服務請求管理器164將從第一語音處理器161或第一文本處理器162傳送的信號傳送到服務控制模塊166以產(chǎn)生翻譯信息，并將產(chǎn)生的翻譯信息提供給第一網(wǎng)絡打包/解包支持單元165。在這種情況下，服務請求管理器164可將從第一處理器161和第一文本處理器162傳送的語音信號和文本與翻譯信息一起傳送到第一網(wǎng)絡打包/解包支持單元165。
[0079]服務控制模塊166基于已經(jīng)由服務請求管理器164提供的信息來產(chǎn)生翻譯信息，并將產(chǎn)生的翻譯信息提供給服務請求管理器164。具體地，服務控制模塊166將由第一語音處理器161提供的語音信號傳送到STT模塊167，以基于語音識別DB153將語音信號轉換為文本信息。此外，服務控制模塊166將由STT模塊167提供的文本傳送到翻譯單元60，以產(chǎn)生翻譯文本。當從翻譯單元60接收翻譯文本時，服務控制模塊166可將翻譯文本提供給服務請求管理器164。此外，服務控制模塊166可將翻譯文本提供給TTS模塊169，以產(chǎn)生翻譯語音信號。產(chǎn)生的翻譯語音信號被與翻譯文本一起提供給服務請求管理器164。按照相似的方式，服務控制模塊166可將由第一文本處理器162提供的文本傳送到翻譯單元60以產(chǎn)生翻譯文本，并隨后將翻譯文本提供給服務請求管理器164。此外，服務控制模塊166可通過使用TTS模塊169將翻譯文本轉換為翻譯語音信號，并隨后將翻譯語音信號傳送到服務請求管理器164。此外，服務控制模塊166可將由電子筆處理器163提供的圖像信息傳送到HTT模塊168，并將由HTT模塊168提供的圖像識別文本傳送到翻譯單元60以將圖像識別文本轉換為翻譯文本，并隨后將翻譯文件提供給服務請求管理器164。
[0080]STT模塊167對由服務控制模塊166提供的語音信號進行語音識別以產(chǎn)生文本。為此，STT模塊167可操作語音識別DB153，以對語音信號進行語音識別。此外，當本發(fā)明的基于語音識別的文本產(chǎn)生功能被設計為基于單獨的ASR服務器而運行時，STT模塊167可支持通過使用第一通信單元110的對ASR服務器的訪問和語音信號的提供，以接收與提供的語音信號相應的文本信息。
[0081]HTT模塊168將由電子筆處理器163提供的手寫信息識別為特定文本。為此，HTT模塊168執(zhí)行包括手寫信息的虛擬筆記頁的圖像識別，并將特定手寫字母轉換為由相應的終端提供的文本字母。轉換后的文本字母可被提供給服務控制模塊166。
[0082]翻譯單元60產(chǎn)生與由服務控制模塊166提供的文本相應的翻譯文本。為此，翻譯單元60可管理第一語言文 本與第二語言文本彼此映射的數(shù)據(jù)庫，并且可轉換第一語言文本和第二語言文本以產(chǎn)生翻譯文本。在所述處理中，翻譯單元60收集與第一語言的特定詞相應的第二語言的候選詞語，基于候選詞語來配置與將要翻譯的文本相應的句子，并選擇最恰當?shù)脑~來配置句子。
[0083]同時，本發(fā)明的翻譯單元60可去除不具有含義的非語言元素。例如，翻譯單元60可從收集到的文本去除不具有含義的重復表述(諸如，“嗯……”、“你知道……”和“現(xiàn)在……”)，以支持恰當?shù)木渥臃g。
[0084]TTS模塊169將文本轉換為語音信號。具體地，本發(fā)明的TTS模塊169將翻譯文本轉換為文本到語音信號，以產(chǎn)生翻譯語音信號。為此，TTS模塊169可管理并操作包括與翻譯目標語言(即，接收器側終端的語言)相應的文本信息和被映射到文本信息的語音信息的數(shù)據(jù)庫。本發(fā)明的TTS模塊169收集包括接收到的語音信號的音高、音調(diào)和特征的與語音相關的特性信息，并將收集到的與語音相關的特性信息應用于翻譯語音信號。也就是說，當將翻譯文本轉換為翻譯語音信號時，TTS模塊169可收集與用戶的語音相關的與語音相關的特征信息，并產(chǎn)生與收集到的與語音相關的特性信息最相似的翻譯語音信號。為此，TTS模塊169還可包括用于調(diào)整語音的音高、音調(diào)和特征的配置，以便產(chǎn)生具有各種音調(diào)的翻譯語音信號。例如，TTS模塊169可支持與用戶的性別相應的翻譯語音信號的產(chǎn)生。另外，當用戶的聲音具有高音調(diào)或低音調(diào)時，TTS模塊169可產(chǎn)生具有相同音調(diào)的翻譯語音信號。
[0085]第一網(wǎng)絡打包/解包支持單元165將由服務請求管理器164提供的各種信息傳送到接收器側終端200的第二網(wǎng)絡打包/解包支持單元265。在所述處理中，第一網(wǎng)絡打包/解包支持單元165對收集到的語音信號、文本、翻譯文本、翻譯語音信號和手寫信息進行整體打包，并隨后將整體打包后的信息提供給接收器側終端200。例如，響應于發(fā)送基于翻譯服務的語音信號的請求，第一網(wǎng)絡打包/解包支持單元165可整合語音信號、通過對語音信號進行語音識別而獲得的文本、通過翻譯文本而獲得的翻譯文本以及基于翻譯文本產(chǎn)生的翻譯語音信號，并隨后將整合的信息提供給接收器側終端200。在這種情況下，根據(jù)修改后的配置，第一網(wǎng)絡打包/解包支持單元165可不對語音信號和翻譯語音信號進行發(fā)送。此外，第一網(wǎng)絡打包/解包支持單元165可從接收器側終端200接收特定信息，對接收到的信息進行解包，并隨后通過服務請求管理器164將解包后的信息提供給第一語音處理器161和第一文本處理器162。
[0086]再次參照圖3，包括在本發(fā)明的接收器側終端200中的第二控制器260包括第二網(wǎng)絡打包/解包支持單元265、第二語音處理器261、第二文本處理器262、圖像處理器263和組合器(composer) 264。
[0087]第二網(wǎng)絡打包/解包支持單元265對由第二通信單元210接收到的發(fā)送器側終端100的發(fā)送信息進行解包，并對將要被提供給發(fā)送器側終端100的信息進行打包，并將打包后的信息提供給第二通信單元210。此外，第二網(wǎng)絡打包/解包支持單元265將由發(fā)送器側終端100提供并隨后被解包的多條信息傳送到第二語音處理器261、第二文本處理器262和圖像處理器263。也就是說，當接收到的信息包括語音數(shù)據(jù)或翻譯語音數(shù)據(jù)時，第二網(wǎng)絡打包/解包支持單元265將數(shù)據(jù)傳送到第二語音處理器261。此外，當接收到的信息包括文本信息或圖像信息時，第二網(wǎng)絡打包/解包支持單元265將文本信息傳送到第二文本處理器262，并將圖像信息發(fā)送到圖像處理器263。
[0088]當從第二網(wǎng)絡打包/解包支持單元265接收語音數(shù)據(jù)或翻譯語音數(shù)據(jù)時，第二語音處理器261根據(jù)預定方案來執(zhí)行語音處理。此外，第二語音處理器261通過第二揚聲器233來輸出處理后的語音信號。
[0089]當從第二網(wǎng)絡打包/解包支持單元265接收文本信號時，第二文本處理器262執(zhí)行處理，以便將文本信號輸出到第二顯示單元240。隨后，第二文本處理器262將處理后的文本信號傳送到組合器264。
[0090]圖像處理器263處理由第二網(wǎng)絡打包/解包支持單元265提供的圖像數(shù)據(jù)，并隨后將處理后的圖像數(shù)據(jù)提供給組合器264。例如，圖像處理器263可對在視頻通信期間接收到的圖像幀進行圖像處理，并隨后將處理后的圖像幀傳送到組合器264。此外，圖像處理器263處理由電子筆功能形成的手寫圖像數(shù)據(jù)，并隨后將處理后的手寫圖像數(shù)據(jù)提供給組合器264。
[0091]組合器264將由第二文本處理器262提供的文本和由圖像處理器263提供的圖像信息進行組合。隨后，組合器264通過第二顯示單元240輸出組合后的圖像信息。在這種情況下，當接收到的信息不包括圖像信息時，組合器264可僅輸出文本。具體地，組合器264可將翻譯文本與預定的背景圖像進行組合，以通過第二顯示單元240輸出組合后的圖像。
[0092]圖4是更詳細地示出根據(jù)本發(fā)明的實施例的支持基于翻譯的通信服務的終端的配置中的翻譯單元的配置的框圖。
[0093]參照圖4，本發(fā)明的翻譯單元60包括:輸入文本分析器61、中間轉換單元62、輸出文本產(chǎn)生器63和翻譯統(tǒng)計模型DB64。
[0094]輸入文本分析器61對通過分析輸入的手寫圖像獲得的文本或通過具有輸入功能的第一顯示單元140和第一輸入單元120中的至少一個輸入的文本進行分析。具體地，輸入文本分析器61識別文本中的每個句子、包括在每個句子中的每個詞語/短語和包括在每個短語中的詞語和后置虛詞。此外，輸入文本分析器61可將分析結果逐句傳送到中間轉換單元62。
[0095]中間轉換單元62選擇與包括在由輸入文本分析器61提供的以句子為單位的文本中的短語、詞語、后置虛詞等相應的翻譯文本。為此，中間轉換單元62將傳送的文本與存儲在翻譯統(tǒng)計模型DB64中的各種翻譯模型進行比較，以選擇示出最高一致性的翻譯模型。由中間轉換單元62基于翻譯統(tǒng)計模型DB64選擇的翻譯信息被提供給輸出文本產(chǎn)生器63。
[0096]輸出文本產(chǎn)生器63通過組合由中間轉換單元62提供的翻譯短語、詞語、后置虛詞來配置句子。此外，輸出文本產(chǎn)生器63可輸出配置的句子并將其提供給服務控制模塊166。
[0097]翻譯統(tǒng)計模型DB64包括與特定短語、詞語、后置虛詞相應的翻譯模型。翻譯統(tǒng)計模型DB64用作翻譯信息的數(shù)據(jù)庫。
[0098]圖5是示出根據(jù)本發(fā)明的第一實施例的用于描述基于翻譯的通信服務功能之中的翻譯語音信號支持功能的第一控制器160的結構的一部分的框圖。
[0099]參照圖5，本發(fā)明的第一控制器160中的服務控制模塊166包括聲音特性提取器51和TTS特性評估器53。
[0100]當服務請求管理器164提供語音信號時，聲音特性提取器51從語音信號提取聲音特性。例如，聲音特性提取器51提取與語音信號相關的特性，諸如語音音調(diào)特性、音高、音色和發(fā)聲速度。聲音特性提取器51將提取出的信息提供給TTS特性評估器53。
[0101]TTS特性評估器53評估與由聲音特性提取器51提供的與語音信號相關的特性，并將評估結果提供給TTS模型169。具體地，TTS特性評估器53可確定由聲音特性提取器51提供的特性與哪個TTS參數(shù)相應，并隨后將確定的TTS參數(shù)提供給TTS模塊169。也就是說，基于預定義的參數(shù)值，TTS特性評估器53確定語音音調(diào)與男人相應還是與女人相應以及音高與哪個等級相應。
[0102]在將語音信號提供給聲音特性提取器51和TTS特性評估器53以獲得語音特性的同時，服務控制模塊166將由服務請求管理器164提供的語音信號傳送到STT模塊167。同時，由HTT模塊168和STT模塊167產(chǎn)生的文本信息被提供給翻譯單元60，翻譯單元60可將所述文本翻譯為特定語言。此外，在服務控制模塊166的控制下，翻譯單元60可將翻譯文本提供給STT模塊169。隨后，包括在服務控制模塊166中的TTS特性評估器53將TTS參數(shù)值提供給TTS模塊169。
[0103]因此，在應用由TTS特性評估器53提供的TTS參數(shù)的同時，TTS模塊169可將由翻譯單元60提供的翻譯文本轉換為語音信號，以便產(chǎn)生與用戶的真實語音信號相似的翻譯語音信號。此外，發(fā)送器側終端100接收指示語音信號選擇選項的輸入信號，并將接收到的選項提供給TTS模塊169。通過選擇相應的菜單或圖標或者產(chǎn)生指示配置的改變的輸入事件，用戶可自行調(diào)整通過TTS模塊169產(chǎn)生的翻譯語音信號的特性。具體地，用戶可產(chǎn)生用于調(diào)整提供給TTS模塊169的參數(shù)值的輸入事件，且發(fā)送器側終端100可響應于參數(shù)值的調(diào)整來調(diào)整語音信號。
[0104]圖6是示出根據(jù)本發(fā)明的第二實施例的用于描述基于翻譯的通信服務功能之中的翻譯語音信號支持功能的第一控制器160的結構的一部分的框圖。
[0105]參照圖6，本發(fā)明的第一控制器160的服務控制模塊166包括:聲音特性提取器51、TTS特性評估器53和規(guī)則/含義特性提取器55。聲音特性提取器51從STT模塊167之前的元件接收被提供給STT模塊167的語音信號，從語音信號提取聲音特性，并隨后將提取出的聲音特性提供給TTS特性評估器53。
[0106]規(guī)則/含義特性提取器53連接到STT模塊167的后路端子，并提取從STT模塊167輸出的文本信息的特性。具體地，規(guī)則/含義特性提取器55獲得從STT模塊167輸出的文本的諸如規(guī)則和含義的特性，并將獲得的信息提供給TTS特性評估器53。例如，規(guī)則/含義特性提取器55提取基于狀態(tài)信息收集的語音信號的規(guī)則和含義，其中，狀態(tài)信息基于語音信號的音高、頻率和發(fā)聲速度來定義說話者的感受。例如，規(guī)則/含義特性提取器55可將具有相對高的音高和相對快的發(fā)聲速度的狀態(tài)確定為說話者心煩的狀態(tài)或者說話者生氣的狀態(tài)。此外，規(guī)則/含義特性提取器55可將具有相對低的音高和相對慢的發(fā)聲速度的狀態(tài)確定為說話者穩(wěn)定的狀態(tài)或者說話者感到舒適的狀態(tài)。此外，規(guī)則/含義特性提取器55可將具有快速波動的音高和不規(guī)律的發(fā)聲速度的狀態(tài)確定為說話者沮喪的狀態(tài)或者說話者哭泣的狀態(tài)。狀態(tài)信息提供了實現(xiàn)基于包括音高、頻率、音調(diào)和發(fā)聲速度的各種元素對說話者的感受進行估計的數(shù)據(jù)。狀態(tài)信息可由說話者通過自己寫下他或她的感受狀態(tài)而定義，或者通過接收預定義的狀態(tài)信息而從外部服務器提供。規(guī)則/含義特性提取器55將提取出的特性提供給TTS模塊169。
[0107]同時，語音特性提取器51接收在被提供給STT模塊167之前的狀態(tài)下的語音信號，從語音信號提取聲音特性，并將提取出的聲音特性提供給TTS特性評估器53。TTS特性評估器53從規(guī)則/含義特性提取器55接收包括文本的規(guī)則和含義的特性，其中，所述文本從STT模塊167輸出。此外，TTS特性評估器53接收從翻譯單元60輸出的翻譯文本。TTS特性評估器53將語音信號的包括規(guī)則和含義特性的聲音特性反映在翻譯文本的預定區(qū)段(諸如詞匯或詞語)中，并將反映的翻譯文本提供給TTS模塊169。
[0108]在將由TTS特性評估器53提供的語音信號特性反映在語音轉換中的同時，TTS模塊169將從翻譯單元60傳送的翻譯文本轉換為接收器側終端200的語言的語音。因此，各種與語音相關的特性(諸如說話者的語音特性和說話者的感受)可被反映在本發(fā)明的基于翻譯的通信服務中的語音信號的翻譯語音中。作為結果，由具有特定感受的說話者以特定形式產(chǎn)生的語音信號被翻譯為指示相似的感受的具有相似的音調(diào)和發(fā)聲速度等的相似形式的語音，且經(jīng)翻譯的語音通過接收器側終端200被輸出。
[0109]同時，通過如上所述的規(guī)則/含義的提取、TTS評估和語音特性的提取，接收器側終端200的第二控制器260可執(zhí)行語音相關的信息的翻譯語音的應用。此外，如上所述的翻譯語音的與語音相關的特性的應用可被設計為由分離地布置在系統(tǒng)中的服務器來提供，其中，所述系統(tǒng)被設計為使用本發(fā)明的基于翻譯的通信服務。
[0110]圖7是用于描述根據(jù)本發(fā)明的實施例的基于翻譯的通信服務操作系統(tǒng)中的發(fā)送器側終端的操作方法的流程圖。
[0111]參照圖7，在用于支持本發(fā)明的基于翻譯的通信服務的發(fā)送器側終端100的操作方法中，首先，在步驟701，第一控制器160允許由電池等為發(fā)送器側終端100的每個元件提供電力供應。隨后，在步驟703，第一控制器160確定翻譯模式是否處于激活狀態(tài)。具體地，根據(jù)調(diào)度配置，第一控制器160可確定翻譯模式是否已經(jīng)被激活或者是否已經(jīng)發(fā)生用于激活翻譯模式的輸入事件。隨后，作為步驟703中的確定的結果，當翻譯模式尚未被激活時，或者當接收到的輸入事件不是用于激活翻譯模式的事件時，在步驟705，第一控制器160根據(jù)輸入事件執(zhí)行功能或者根據(jù)記錄在調(diào)度信息中的調(diào)度執(zhí)行功能。例如，在步驟705，第一控制器160根據(jù)發(fā)送器側終端100的操作來支持各種功能的操作，所述功能包括:聊天服務功能、語音通信服務功能、視頻通信服務功能、文件再現(xiàn)功能和文件編輯功能。
[0112]同時，作為步驟703中的確定的結果，當翻譯模式已經(jīng)被激活時，在步驟707，第一控制器160確定收集到文本還是語音。作為步驟707中的確定的結果，當發(fā)生語音輸入時，在步驟709,第一控制器160支持將輸入的語音信號轉換為文本。第一控制器160可為了轉換為文本而使用存儲在第一存儲單元150中的語音識別DB153，或者使用通過網(wǎng)絡連接的ASR服務器來支持轉換為文本。
[0113]同時，作為步驟707中的確定的結果，當文本被輸入時，在步驟711中，第一控制器160支持對文本的翻譯。在這種情況下，在對文本進行翻譯之前，在步驟709，第一控制器160可支持將語音信號轉換為文本。為了對文本進行翻譯，第一控制器160可使用被布置為實現(xiàn)從發(fā)送器側終端100的第一語言到接收器側終端200的第二語言的翻譯的數(shù)據(jù)庫來支持對文本的翻譯。
[0114]接下來，在步驟713，第一控制器160控制將翻譯文本轉換為與所述翻譯文本相應的翻譯語音。為此，發(fā)送器側終端100可支持可將翻譯文本轉換為翻譯語音的數(shù)據(jù)庫(SP，可將接收器側終端200中所配置的第二語言的文本轉換為第二語言的語音的用于TTS的語音DB155)的使用。此后，在步驟715，第一控制器160可將翻譯文本和翻譯語音中的至少一個提供給接收器側終端200。同時，根據(jù)用戶配置或者根據(jù)終端是否支持上述步驟713，步驟713可被省略。當步驟713被省略時，在步驟715，第一控制器160可僅將翻譯文本提供給接收器側終端200。
[0115]接下來，第一控制器160確定是否終止翻譯功能，并響應于用于終止翻譯功能的輸入事件的發(fā)生或者用于終止翻譯功能的請求而終止翻譯功能。同時，當未發(fā)生用于終止翻譯功能的輸入事件或請求時，第一控制器160可返回至步驟703，并從步驟703重復所述處理。
[0116]如上所述，上述發(fā)送器側終端100的基于翻譯的通信服務可被應用于包括聊天服務功能、SMS功能、語音通信服務功能和視頻通信服務功能的各種通信服務功能之中的至少一個功能。具體地，在聊天服務功能的情況下，本發(fā)明的基于翻譯的通信服務功能可支持伴隨著翻譯語音的翻譯文本的提供，且在語音通信功能的情況下，所述通信服務功能可支持伴隨著翻譯文本的翻譯語音的提供。
[0117]圖8是用于描述根據(jù)本發(fā)明的實施例的基于翻譯的通信服務操作系統(tǒng)中的接收器側終端的操作的流程圖。作為下面的描述的前提，接收器側終端200的操作基于發(fā)送器側終端100不運行翻譯模式并將以發(fā)送器側終端100中所配置的第一語言形成的文本和語音信號中的至少一個的情況。
[0118]參照圖8，在本發(fā)明的接收器側終端200的操作方法中，當從諸如電池的電源供電時，在步驟801，第二控制器260對接收器側終端200的每個元件供電。隨后，在步驟803，第二控制器260確定翻譯模式是否已經(jīng)被配置或者是否存在用于配置翻譯模式的輸入事件。
[0119]作為步驟803中的確定的結果，當翻譯模式未被配置時，在操作805，第二控制器260在不提供翻譯服務的狀態(tài)下支持接收器側終端200的操作。例如，第二控制器260可在翻譯服務不被操作的狀態(tài)下支持聊天服務功能、SMS功能、語音通信功能和視頻通信功能的執(zhí)行?；蛘?，第二控制器260可根據(jù)輸入事件來支持文件再現(xiàn)功能、文件編輯功能、相機功能、備忘錄和筆記書寫功能等的提供。
[0120]同時，作為步驟803中的確定的結果，當翻譯模式已經(jīng)被配置時，在步驟807，第二控制器260確定從發(fā)送器側終端100接收到文本還是語音。作為該步驟中的確定的結果，當從發(fā)送器側終端100接收到語音信號時，在步驟809，第二控制器260將語音信號轉換為文本。為此，第二控制器260可存儲用于支持將由發(fā)送器側終端100提供的第一語言的語音信號轉換為第一語言的文本的語音識別數(shù)據(jù)庫。
[0121]同時，當確定步驟807示出文本被接收到時，或者當在步驟809轉換為文本被執(zhí)行時，第二控制器260可控制將文本翻譯為接收器側終端200中所配置的第二語言的文本。為此，接收器側終端200可支持用于將第一語言的文本轉換為第二語言的文本的數(shù)據(jù)庫的存儲和操作。
[0122]接下來，在步驟813，第二控制器260支持將翻譯文本轉換為語音信號。也就是說，第二控制器260支持將以第二語言形成的翻譯文本轉換為第二語言的語音信號。為此，第二控制器260支持用于將以第二語言形成的翻譯文本轉換為第二語言的語音信號的數(shù)據(jù)庫的存儲和操作。
[0123]在步驟815，第二控制器260輸出翻譯文本和翻譯語音信號中的至少一個。在該步驟中，根據(jù)接收器側終端200是否支持翻譯功能，或者根據(jù)用戶的配置，第二控制器260輸出翻譯文本和翻譯語音信號中的至少一個。當不支持翻譯功能或者不存在用戶的針對翻譯模式的配置時，第二控制器260可支持僅輸出翻譯文本或者僅輸出翻譯語音。此外，當接收器側終端200已經(jīng)被配置為僅輸出翻譯文本時，第二控制器260可省略步驟809和步驟813，并且在步驟815可支持僅輸出翻譯文本。
[0124]接下來，在步驟817，第二控制器260確定是否發(fā)生用于終止基于翻譯的通信服務功能的輸入事件。當未發(fā)生用于終止基于翻譯的通信服務功能的輸入事件時，第二控制器260可返回至步驟803，并重復從步驟803的處理。
[0125]圖9示出根據(jù)本發(fā)明的實施例的基于翻譯的通信服務功能中發(fā)送器側終端中可提供的屏幕界面的示例，圖10示出在接收器側終端中可提供的屏幕界面的示例。實際上，當使用通信服務時，終端執(zhí)行發(fā)送器功能和接收器功能兩者。因此，以下描述的屏幕界面可被單獨提供在終端中，也可被同時配置并提供在一個屏幕上。也就是說，預定的終端可將用于顯示發(fā)送的消息的區(qū)域和用于顯示接收到的消息的區(qū)域布置在一個屏幕上，并且可將圖9和圖10中示出的界面整體地提供在一個屏幕上。此外，當僅僅發(fā)送器側終端100采用翻譯模式而接收器側終端200不采用翻譯模式時，圖9中示出的屏幕界面可僅在發(fā)送器側終端中輸出，并且可不在接收器側終端中輸出。與此相反，當僅僅接收器側終端200采用翻譯模式而發(fā)送器側終端100不采用翻譯模式時，圖10中示出的屏幕界面可僅在接收器側終端中示出，并且可不在發(fā)送器側終端中輸出。
[0126]首先，參照圖9，發(fā)送器側終端100的第一顯示單元140可顯示第一翻譯模式區(qū)域145、發(fā)送消息區(qū)域141和經(jīng)翻譯的發(fā)送消息區(qū)域143。第一翻譯模式區(qū)域145是布置被提供以實現(xiàn)使用基于翻譯的通信服務的配置的項的區(qū)域?？梢詧D標或菜單的形式來提供第一翻譯模式區(qū)域145。當翻譯模式正被操作時，第一翻譯模式區(qū)域145可提供諸如突出顯示的指示，以與翻譯模式不支持狀態(tài)進行區(qū)分。此外，第一顯示單元140可輸出用于消息書寫的書寫窗口，并隨后在消息書寫被完成時移除書寫窗口。
[0127]此外，發(fā)送器側終端100可支持通過第一麥克風131收集說話者的語音信號并隨后將從收集到的語音信號轉換成的發(fā)送消息顯示在發(fā)送消息區(qū)域141和經(jīng)翻譯的發(fā)送消息區(qū)域143中。在所述處理中，第一控制器160可支持下列步驟:對收集到的語音信號進行語音識別以產(chǎn)生在發(fā)送器側終端100中所配置的第一語言的發(fā)送消息，并隨后將發(fā)送消息輸出到發(fā)送消息區(qū)域141。此外，第一控制器160可支持翻譯服務支持程序151的操作，以將發(fā)送消息轉換為翻譯消息，并隨后將翻譯消息輸出在經(jīng)翻譯的發(fā)送消息區(qū)域143中。雖然發(fā)送消息區(qū)域141和經(jīng)翻譯的發(fā)送消息區(qū)域143兩者都被輸出在圖9的第一顯示單元140中，但是可僅將一個消息區(qū)域(例如，只有經(jīng)翻譯的發(fā)送消息區(qū)域143)輸出在第一顯示單元140中。此外，雖然發(fā)送/接收歷史記錄未被輸出在圖9中，但是第一控制器160可根據(jù)第一顯示單元140的尺寸來支持發(fā)送/接收歷史記錄(包括發(fā)送的消息或接收到的消息)的輸出。
[0128]接下來，參照圖10，接收器側終端200的第二顯示單元240可包括:第二翻譯模式區(qū)域245、接收消息區(qū)域241和經(jīng)翻譯的接收消息區(qū)域243。第二翻譯模式區(qū)域245指示接收器側終端200的翻譯模式的配置。當在接收器側終端200中翻譯模式未被設置時，第二翻譯模式區(qū)域245可被陰影化以指示停用狀態(tài)。
[0129]接收消息區(qū)域241是用于輸出從發(fā)送器側終端100接收到的發(fā)送消息的區(qū)域。因此，以發(fā)送器側終端100中所配置的第一語言書寫的消息可被輸出在接收消息區(qū)域241中。根據(jù)配置，接收消息區(qū)域241可被從第二顯示單元240移除。
[0130]經(jīng)翻譯的接收消息區(qū)域243是用于輸出從發(fā)送器側終端100接收到的經(jīng)翻譯的發(fā)送消息的區(qū)域。經(jīng)翻譯的發(fā)送消息可以是以接收器側終端200中所配置的第二語言書寫的消息。當發(fā)送器側終端100不執(zhí)行或不支持翻譯模式且當接收器側終端200已經(jīng)激活翻譯模式時，經(jīng)翻譯的接收消息區(qū)域243可被用作用于輸出由接收器側終端通過翻譯由發(fā)送器側終端100提供的發(fā)送消息而獲得的消息的區(qū)域。
[0131]同時，即使當接收器側終端200的翻譯模式處于停用狀態(tài)時，發(fā)送器側終端100可執(zhí)行翻譯模式并提供發(fā)送消息和經(jīng)翻譯的發(fā)送消息。在這種情況下，如示出的那樣，第二顯示單元240可將翻譯之前的原始信息和經(jīng)翻譯的消息分別輸出在接收消息區(qū)域241和經(jīng)翻譯的接收消息區(qū)域243中。此外，根據(jù)終端的狀態(tài)或者用戶的配置，第二顯示單元240還可輸出發(fā)送/接收歷史記錄(包括發(fā)送的消息或接收到的消息)。
[0132]此外，當發(fā)送器側終端100提供與經(jīng)翻譯的發(fā)送消息相應的經(jīng)翻譯的發(fā)送語音時，接收器側終端200可支持通過第二揚聲器233輸出經(jīng)翻譯的語音230。或者，根據(jù)用戶的配置或者終端的支持，接收器側終端200可支持將接收到的翻譯消息轉換為語音以產(chǎn)生經(jīng)翻譯的語音，并隨后通過第二揚聲器233輸出經(jīng)翻譯的語音230。
[0133]以上描述已經(jīng)討論了根據(jù)本發(fā)明的實施例的用于支持基于翻譯的通信服務的終端的配置和操作。在下文中，將描述用于本發(fā)明的基于翻譯的通信服務的通過網(wǎng)絡使用單獨的外部服務器的各種示例。
[0134]圖11是示意性地示出根據(jù)本發(fā)明的第一至第四實施例的用于支持基于翻譯的通信服務的系統(tǒng)的結構的示圖。
[0135]參照圖11，本發(fā)明的基于翻譯的通信服務支持系統(tǒng)10包括ASR/翻譯服務器400、聊天服務器500、發(fā)送器側終端100、接收器側終端200的元件。此外，系統(tǒng)10包括用于元件之間的信號傳送的通信系統(tǒng)300。
[0136]ASR/翻譯服務器400從發(fā)送器側終端100接收語音信號，并對接收到的語音信號進行語音識別，以從語音信號配置文本。為此，ASR/翻譯服務器400可包括用于語音識別的語音識別數(shù)據(jù)庫和用于將第一語言的文本翻譯為另一語言的文本的翻譯數(shù)據(jù)庫。此外，ASR/翻譯服務器400收集關于由發(fā)送器側終端100指定的另一語言或在將接收相應文本的接收器側終端200中所配置的語言的信息，并基于收集到的信息將第一語言的文本轉換為與收集到的信息相應的另一語言的文本。根據(jù)本發(fā)明的每個實施例，ASR/翻譯服務器400可將轉換后的文本提供給相應的元件(發(fā)送器側終端100、聊天服務器500和接收器側終端200中的至少一個)。此外，ASR/翻譯服務器400可基于翻譯文本來支持接收器側終端200中所配置的語言的語音翻譯。為此，ASR/翻譯服務器400可包括用于所述翻譯文本的語音翻譯的數(shù)據(jù)庫。
[0137]聊天服務器500支持包括語音和文本中的至少一個的聊天消息在發(fā)送器側終端100和接收器側終端200之間的發(fā)送或接收。為此，聊天服務器500可向終端提供將要在發(fā)送器側終端100和接收器側終端200中操作的聊天程序，并在終端中安裝所述聊天程序。此后，聊天服務器500可支持將由發(fā)送器側終端100提供的特定消息傳送到由發(fā)送器側終端100指定的接收器側終端200。根據(jù)特定實施例，聊天服務器500可將由發(fā)送器側終端100提供的第一語言的文本轉換為接收器側終端200中所配置的第二語言的文本。為此，聊天服務器500還可包括ASR/翻譯模塊510。ASR/翻譯模塊510可被配置為支持將翻譯文本轉換為翻譯語音并隨后提供轉換后的翻譯語音的功能。
[0138]發(fā)送器側終端100通過通信系統(tǒng)300來訪問聊天服務器500，并基于聊天服務器500的支持將聊天消息發(fā)送到接收器側終端200。在所述處理中，發(fā)送器側終端100使用ASR/翻譯服務器400和聊天服務器500的ASR/翻譯模塊510中的至少一個來將發(fā)送消息轉換為經(jīng)翻譯的發(fā)送消息，并請求將經(jīng)翻譯的發(fā)送消息發(fā)送到接收器側終端200。發(fā)送器側終端100可根據(jù)用戶配置來收集語音信號，并請求將收集到的語音信號發(fā)送到接收器側終端200。在所述處理中，發(fā)送器側終端100可請求將從語音信號翻譯成的翻譯語音提供給接收器側終端200。
[0139]接收器側終端200通過通信系統(tǒng)300來訪問聊天服務器500，并接收和輸出由發(fā)送器側終端100請求發(fā)送的消息(例如，發(fā)送消息和翻譯發(fā)送消息中的至少一個)。在這種情況下，當發(fā)送器側終端100已經(jīng)請求提供翻譯語音時，或者當接收器側200的用戶已經(jīng)請求輸出翻譯語音時，接收器側終端200可不僅支持翻譯文本的輸出，還支持與翻譯文本相應的翻譯語音的輸出?；蛘?，根據(jù)情況，接收器側終端200可僅支持翻譯語音的輸出而不提供翻譯文本。
[0140]通信系統(tǒng)300支持數(shù)據(jù)在上述元件之間的發(fā)送或接收。如上所述的通信系統(tǒng)300具有用于上述元件之間的數(shù)據(jù)發(fā)送或接收的各種通信接口，并且可支持通信接口之間的數(shù)據(jù)發(fā)送/接收兼容性。例如，通信系統(tǒng)300可包括用于與移動通信系統(tǒng)進行通信以便支持發(fā)送器側終端100和接收器側終端200的移動性的通信接口。此外，通信系統(tǒng)300可通過基于互聯(lián)網(wǎng)網(wǎng)絡的通信接口與ASR/翻譯服務器400和聊天服務器500連接，以與ASR/翻譯服務器400和聊天服務器500進行數(shù)據(jù)發(fā)送/接收。通信系統(tǒng)300不限于上述通信接口，并且可包括能夠支持用于元件之間的信號傳送的各種通信方案的至少一個通信接口。
[0141]通信系統(tǒng)300可將以發(fā)送器側終端100中所配置的語言(例如第一語言)形成的文本和語音信號中的至少一個傳送到ASR/翻譯服務器400和聊天服務器500中的至少一個。此外，通信系統(tǒng)300可將由ASR/翻譯服務器400提供的翻譯文本和翻譯語音中的至少一個傳送到發(fā)送器側終端100和聊天服務器500。此外，通信系統(tǒng)300可將由發(fā)送器側終端100所提供的翻譯文本和翻譯語音中的至少一個傳送到聊天服務器500。此外，通信系統(tǒng)300可將翻譯文本和翻譯語音中的至少一個提供給接收器側終端200。
[0142]在下文中，將參照圖12至圖15更加詳細地描述基于翻譯的通信服務支持系統(tǒng)10的各種實施例。
[0143]圖12是用于描述用于支持根據(jù)本發(fā)明的第一實施例的基于翻譯的通信服務的系統(tǒng)操作方法的信號流程圖。在下面的描述中，為了方便描述，發(fā)送器側終端100中所配置的語言被稱為第一語言，接收器側終端200中所配置的語言被稱為第二語言。例如，第一語言可以是各種語言，諸如韓語、英語、日語、法語、德語、西班牙語和漢語，且第二語言可以是與第一語言不同的語言。
[0144]參照圖12，在根據(jù)本發(fā)明的第一實施例的基于翻譯的通信服務支持系統(tǒng)10的操作中，在步驟1201，發(fā)送器側終端100首先將以第一語言輸入的文本提供給ASR/翻譯服務器400。由發(fā)送器側終端100提供的第一語言的文本可以是通過對收集到的語音信號進行語音識別而獲得的文本。為此，發(fā)送器側終端100可包括用于語音識別的數(shù)據(jù)庫?；蛘?，在步驟1201，發(fā)送器側終端100可收集以第一語言輸入的語音信號，并隨后將收集到的語音信號而不是文本提供給ASR/翻譯服務器400。在這種情況下，發(fā)送器側終端100可將接收器側終端200中所配置的第二語言的信息與語音信號一起提供給ASR/翻譯服務器400。為此，發(fā)送器側終端100可在建立聊天服務信道的處理中或者通過由用戶輸入來收集接收器側終端200中所配置的第二語言的信息。針對由用戶輸入，發(fā)送器側終端100可提供可從中選擇用于翻譯的至少一個第二語言的列表。
[0145]當從發(fā)送器側終端100接收第一語言的文本或第一語言的語音信號時，在步驟1203，ASR/翻譯服務器400對接收到的文本或語音進行翻譯，并隨后將經(jīng)翻譯的信息提供給發(fā)送器側終端100。根據(jù)來自發(fā)送器側終端100的請求，由ASR/翻譯服務器400提供的經(jīng)翻譯的信息可包括翻譯文本和翻譯語音中的至少一個。ASR/翻譯服務器400識別由發(fā)送器側終端100提供的信息之中的第二語言的信息，并搜索與第二語言相應的數(shù)據(jù)庫。此夕卜，ASR/翻譯服務器400將接收到的第一語言的文本和語音中的至少一個配置為包括第二語言的文本和語音中的至少一個的翻譯信息，并隨后將翻譯信息提供給發(fā)送器側終端100。
[0146]當從ASR/翻譯服務器400接收到翻譯信息時，在步驟1205，發(fā)送器側終端100將接收到的翻譯信息與第一語言的文本一起提供給聊天服務器500。在這種情況下，根據(jù)用戶的配置或來自用戶的請求，發(fā)送器側終端100可將第一語言的語音信號和第二語言的翻譯語音中的至少一個提供給聊天服務器500?；蛘?，發(fā)送器側終端100可僅將第二語言的翻譯信息提供給聊天服務器500而不提供第一語言的文本。
[0147]隨后，在步驟1207，聊天服務器500可將由發(fā)送器側終端100提供的第一語言的文本和翻譯信息傳送到接收器側終端200。接收器側終端200可輸出接收到的文本和翻譯信
肩、O
[0148]圖13是用于描述根據(jù)本發(fā)明的第二實施例的基于翻譯的通信服務支持系統(tǒng)10的操作的信號流程圖。
[0149]參照圖13，在本發(fā)明的基于翻譯的通信服務支持系統(tǒng)10的操作中，在步驟1301，發(fā)送器側終端100首先收集由用戶輸入的第一語言的文本，并隨后將收集到的文本提供給聊天服務器500。在這種情況下，發(fā)送器側終端100把將接收文本的接收器側終端200的標識信息與文本一起發(fā)送。此外，接收器側終端100可收集用戶的語音信號，并隨后將收集到的語音信號而不是文本提供給聊天服務器500。可以以在發(fā)送器側終端100中所配置的第一語言來配置被提供給聊天服務器500的文本或語音信號。
[0150]當從發(fā)送器側終端100接收到第一語言的文本時，在步驟1303，聊天服務器500將文本提供給接收器側終端200。隨后，在步驟1305，接收器側終端200將由聊天服務器500提供的第一語言的文本提供給ASR/翻譯服務器400。在這種情況下，接收器側終端200可提供第一語言的文本將要被翻譯成的第二語言的信息，或者已經(jīng)接收到將要被翻譯為第二語言的文本的ASR/翻譯服務器400可識別接收器側終端200的第二語言。當從ASR/翻譯服務器400接收到語言識別請求消息時，響應于接收到的消息，接收器側終端200識別接收器側終端200中當前所配置的語言的信息，并隨后將識別出的信息提供給ASR/翻譯服務器400?；蛘?，接收器側終端200的用戶可在將翻譯第一語言的文本的請求發(fā)送到ASR/翻譯服務器400時指定第二語言。
[0151]當從接收器側終端200接收到第一語言的文本、用于翻譯的第二語言的信息和進行翻譯的請求時，在步驟1307，ASR/翻譯服務器400將接收到的第一語言的文本翻譯為第二語言的文本，并隨后將經(jīng)翻譯的文本提供給接收器側終端200。在這種情況下，根據(jù)來自接收器側終端200的請求或者ASR/翻譯服務器400的服務策略，ASR/翻譯服務器400可產(chǎn)生與第二語言的文本相應的第二語言的翻譯語音，并隨后將產(chǎn)生的翻譯語音與第二語言的文本一起提供給接收器側終端200。上述接收器側終端200可支持在第二顯示單元240中同時輸出從聊天服務器500接收到的第一語言的文本和由ASR/翻譯服務器400提供的第二語言的文本，或者僅輸出第二語言的文本。
[0152]同時，在根據(jù)本發(fā)明的第二實施例的基于翻譯的通信服務支持系統(tǒng)10的操作中，發(fā)送器側終端100可收集第一語言的語音信號，并隨后通過聊天服務器500將收集到的語音信號提供給接收器側終端200。隨后，接收器側終端200可將第一語言的語音信號與第二語言的信息和對于翻譯所述語音信號的請求一起發(fā)送到ASR/翻譯服務器400。隨后，ASR/翻譯服務器400可將由接收器側終端200提供的第一語言的語音信號翻譯為第二語言的翻譯語音，并隨后將經(jīng)翻譯的語音提供給接收器側終端200。在此，ASR/翻譯服務器400可將第一語言的語音信號語音識別為第一語言的文本，將語音識別出的文本翻譯為第二語言的文本以產(chǎn)生翻譯文本，并隨后將產(chǎn)生的翻譯文本轉換為第二語言的翻譯語音。當除了第二語言的翻譯文本之外還從ASR/翻譯服務器400接收到第二語言的翻譯語音時，接收器側終端200可根據(jù)用戶的配置通過第二揚聲器233輸出接收到的翻譯語音。在這種情況下，接收器側終端200可同時輸出第二語言的翻譯文本和第二語言的翻譯語音。
[0153]圖14是用于描述根據(jù)本發(fā)明的第三實施例的基于翻譯的通信服務的操作的信號流程圖。
[0154]參照圖14，在根據(jù)本發(fā)明的第三實施例的基于翻譯的通信服務支持系統(tǒng)10的操作中，在步驟1401，發(fā)送器側終端100首先將由用戶輸入的第一語言的文本提供給聊天服務器500。在這種情況下，發(fā)送器側終端100可產(chǎn)生請求將第一語言的文本翻譯為第二語言的消息，并將產(chǎn)生的消息與文本一起發(fā)送到聊天服務器500。或者，發(fā)送器側終端100可將請求應用翻譯模式的消息發(fā)送到聊天服務器500。隨后，響應于來自用戶的請求，發(fā)送器側終端100可將請求停用翻譯模式的消息發(fā)送到聊天服務器500，以防止應用翻譯模式。[0155]或者，發(fā)送器側終端100可與接收器側終端200開啟一對一形式或一對多形式的聊天室，并且可確定是否將翻譯模式應用于每個開啟的聊天室。當針對特定聊天室發(fā)生翻譯模式應用請求時，發(fā)送器側終端100可將相應的信息提供給聊天服務器500，以請求默認將翻譯模式應用于通過特定聊天室發(fā)送的消息。同時，當被配置為支持翻譯模式的聊天室被終止時，發(fā)送器側終端100可將請求停用翻譯模式的消息發(fā)送到聊天服務器500。
[0156]當接收到翻譯模式被請求應用的特定文本或特定聊天室的文本時,在步驟1403,聊天服務器500可將文本提供給ASR/翻譯服務器400。隨后，聊天服務器500可將由發(fā)送器側終端100提供的第二語言的信息傳送到ASR/翻譯服務器400，以請求ASR/翻譯服務器400將第一語言的文本翻譯為第二語言的文本。ASR/翻譯服務器400對由聊天服務器500提供的第一語言的文本和第二語言的信息進行識別，并搜索與這些語言匹配的數(shù)據(jù)庫。此夕卜，ASR/翻譯服務器400可基于找到的翻譯數(shù)據(jù)庫將第一語言的文本翻譯為第二語言的文本。此外，ASR/翻譯服務器400可將第二語言的翻譯文本提供給聊天服務器500。在這種情況下，當?shù)诙Z言的翻譯文本被產(chǎn)生時，ASR/翻譯服務器400可產(chǎn)生與第二語言的翻譯文本相應的第二語言的翻譯語音。此外，在步驟1405，根據(jù)ASR/翻譯服務器400的服務策略或者來自聊天服務器500的請求，ASR/翻譯服務器400可將不僅包括翻譯文本還包括翻譯語音的翻譯信息提供給聊天服務器500。
[0157]當從ASR/翻譯服務器400接收到翻譯信息時，在步驟1407時，聊天服務器500可將接收到的翻譯信息與由發(fā)送器側終端100提供的第一語言的文本一起傳送到接收器側終端200。接收器側終端200可將第一語言的文本與翻譯信息一起輸出。同時，在步驟1407，聊天服務器500可僅將翻譯信息提供給接收器側終端200而不提供第一語言的文本。隨后，接收器側終端200可在第二顯示單元240中僅輸出翻譯信息。
[0158]同時，發(fā)送器側終端100可收集第一語言的語音信號并將收集到的語音信號提供給聊天服務器500，且聊天服務器500可請求ASR/翻譯服務器400翻譯第一語言的語音信號。
[0159]圖15是用于描述根據(jù)本發(fā)明的第四實施例的基于翻譯的通信服務支持系統(tǒng)10的操作方法的信號流程圖。
[0160]參照圖15，在本發(fā)明的基于翻譯的通信服務支持系統(tǒng)10的操作中，在步驟1501，發(fā)送器側終端100首先收集由發(fā)送器側終端100的用戶輸入的第一語言的文本，并隨后將收集到的第一語言的文本發(fā)送到包括ASR/翻譯模塊510的聊天服務器500。在這種情況下，發(fā)送器側終端100可將用于翻譯的第二語言的信息與文本一起提供給聊天服務器500。
[0161]當從發(fā)送器側終端100接收到第一語言的文本和第二語言的信息時，在步驟1503，聊天服務器500可通過使用ASR/翻譯模塊510基于接收到的文本和信息產(chǎn)生翻譯信息。在這種情況下，聊天服務器500產(chǎn)生通過將第一語言的文本翻譯為第二語言來獲得的翻譯文本。此外，根據(jù)服務策略，響應于來自發(fā)送器側終端100和接收器側終端200中的至少一個的請求，聊天服務器500可產(chǎn)生與第二語言的翻譯文本相應的第二語言的語音。為此，ASR/翻譯模塊510可包括能夠產(chǎn)生翻譯文本和翻譯語音的數(shù)據(jù)庫。也就是說，ASR/翻譯模塊510可包括被布置為將第一語言的文本翻譯為第二語言的文本的文本翻譯數(shù)據(jù)庫和被布置為將第二語言的文本轉換為第二語言的語音的用于TTS的語音數(shù)據(jù)庫。
[0162]接下來，當翻譯信息被產(chǎn)生時，在步驟1505，聊天服務器500將產(chǎn)生的翻譯信息提供給接收器側終端200。隨后，聊天服務器500可將第一語言的文本與由發(fā)送器側終端100提供的翻譯信息一起傳送到接收器側終端200?；蛘撸奶旆掌?00可根據(jù)來自發(fā)送器側終端100或接收器側終端200的請求或者發(fā)送器側終端100或接收器側終端200的配置來阻止第一語言的文本的發(fā)送。
[0163]當從聊天服務器500接收到翻譯信息和第一語言的文本時，接收器側終端200可在第二顯示單元240中輸出接收到的翻譯信息和接收到的第一語言的文本中的至少一個。當翻譯信息包括第二語言的翻譯語音時，接收器側終端200支持通過第二揚聲器233輸出翻譯語言。
[0164]同時，發(fā)送器側終端100可將第一語言的語音信號而不是第一語言的文本提供給聊天服務器500，且聊天服務器500對第一語言的語音信號進行語音識別以獲得第一語言的文本，并隨后基于獲得到的第一語言的文本來產(chǎn)生第二語言的翻譯文本和翻譯語音中的至少一個。
[0165]此外，根據(jù)本發(fā)明的第一至第四實施例的基于翻譯的通信服務支持系統(tǒng)10可將發(fā)送器側終端100的手寫信息提供給ASR/翻譯服務器400或包括ASR/翻譯模塊510的聊天服務器500。隨后，ASR/翻譯服務器400或ASR/翻譯模塊510通過過濾接收到的手寫圖像信息對文本信息進行識別，并產(chǎn)生和提供與識別出的文本信息相應的另一語言的翻譯信肩、O
[0166]圖16是示意性地示出根據(jù)本發(fā)明的第五和第六實施例的用于基于翻譯的通信服務的操作的系統(tǒng)的結構的示圖。
[0167]參照圖16，本發(fā)明的基于翻譯的通信服務支持系統(tǒng)10包括:ASR/翻譯服務器400、發(fā)送器側終端100、接收器側終端200和通信系統(tǒng)300。
[0168]因為聊天服務器500被省略，所以根據(jù)第五和第六實施例的基于翻譯的通信服務支持系統(tǒng)10的結構與根據(jù)第一至第四實施例的基于翻譯的通信服務支持系統(tǒng)的結構不同。在語音通信或視頻通信的執(zhí)行時，圖16中示出的包括所述結構的系統(tǒng)可支持基于翻譯的通信服務。也就是說，當執(zhí)行語音通信或視頻通信時，發(fā)送器側終端100和接收器側終端200可通過使用ASR/翻譯服務器400來使用本發(fā)明的基于翻譯的通信服務。
[0169]響應于來自發(fā)送器側終端100和接收器側終端200中的至少一個的請求，ASR/翻譯服務器400連接到通信系統(tǒng)300并支持本發(fā)明的基于翻譯的通信服務。例如，ASR/翻譯服務器400可接收來自與接收器側終端200執(zhí)行語音通信或視頻通信的發(fā)送器側終端100的翻譯請求，產(chǎn)生與翻譯請求相應的翻譯信息，并隨后將產(chǎn)生的翻譯信息提供給發(fā)送器側終端100和接收器側終端200中的至少一個。當從發(fā)送器側終端100接收到第一語言的語音信號時，ASR/翻譯服務器400可對接收到的第一語言的語音信號進行語音識別以產(chǎn)生第一語言的文本，產(chǎn)生與第一語言的文本相應的第二語言的文本，并將產(chǎn)生的文本提供給發(fā)送器側終端100和接收器側終端200，或者將產(chǎn)生的文本僅提供給發(fā)送器側終端100。
[0170]發(fā)送器側終端100通過通信系統(tǒng)300訪問ASR/翻譯服務器400，并將第一語言的語音信號提供給ASR/翻譯服務器400。此外，發(fā)送器側終端100可從ASR/翻譯服務器400接收與第一語言的語音信號相應的第二語言的翻譯文本?？稍诘谝伙@示單元140中輸出接收到的第二語言的翻譯文本。此外，當ASR/翻譯服務器400被設計為不能直接將第二語言的翻譯文本提供給接收器側終端200時，發(fā)送器側終端100可將從ASR/翻譯服務器400接收到的第二語言的翻譯文本與第一語言的語音信號一起提供給接收器側終端200。
[0171]接收器側終端200與發(fā)送器側終端100建立用于語音通信或視頻通信的通信信道，并接收和輸出由發(fā)送器側終端100提供的語音信號或視頻信號。具體地，接收器側終端200可接收從由發(fā)送器側終端100提供的第一語言的文本翻譯成的第二語言的翻譯文本。當接收到第二語言的翻譯文本時，接收器側終端200可在第二顯示單元240中輸出翻譯文本。在視頻通信期間，接收器側終端200可將接收到的翻譯文本與視頻信號一起輸出。具體地，當發(fā)送器側終端100提供包括手寫信息的圖像信息時，接收器側終端200可在除了手寫的文本被記錄的區(qū)域之外的背景區(qū)域中輸出接收到的翻譯文本。
[0172]圖17是用于描述根據(jù)本發(fā)明的第五實施例的基于翻譯的通信服務支持系統(tǒng)10的操作的信號流程圖。
[0173]參照圖17，在本發(fā)明的系統(tǒng)10的操作中，發(fā)送器側終端100首先與接收器側終端200建立通信信道，以便與接收器側終端200執(zhí)行包括語音信號的語音通信或視頻通信。在這種情況下，發(fā)送器側終端的用戶可請求激活翻譯模式。為此，發(fā)送器側終端100提供用于選擇翻譯模式的菜單項或圖標項，且用戶隨后選擇用于請求在翻譯模式下的與接收器側終端200的通信服務的操作的菜單項或圖標。當接收到用于激活翻譯模式的請求時，發(fā)送器側終端100可獲得預定義的ASR/翻譯服務器400的地址信息，并基于獲得的地址信息來訪問ASR/翻譯服務器400。當預定義的ASR/翻譯服務器400不存在時，發(fā)送器側終端100可提供用于輸入ASR/翻譯服務器400的屏幕，且用戶可自己輸入ASR/翻譯服務器400的地址信息?；蛘?，在訪問通信系統(tǒng)300之后，發(fā)送器側終端100可基于由互聯(lián)網(wǎng)網(wǎng)絡提供的搜索引擎來搜索ASR/翻譯服務器，并選擇和訪問默認的特定ASR/翻譯服務器(例如，搜索列表中的第一項)。
[0174]在步驟1701，已經(jīng)訪問了 ASR/翻譯服務器400的發(fā)送器側終端100將由用戶輸入的第一語言的語音(或話語)信號提供給ASR/翻譯服務器400。隨后，在步驟1703，ASR/翻譯服務器400對接收到的語音信號進行語音識別，以將所述語音信號轉換為第一語言的文本，并基于第一語言的文本產(chǎn)生包括第二語言的翻譯文本的翻譯信息。為此，ASR/翻譯服務器400可包括用于對第一語言的語音信號進行語音識別的語音識別數(shù)據(jù)庫和用于將第一語言的文本翻譯為第二語言的文本的翻譯數(shù)據(jù)庫。
[0175]接下來，在步驟1705，ASR/翻譯服務器400可將第一語言的文本和包括第二語言的翻譯文本的翻譯信息提供給發(fā)送器側終端100。此外，在步驟1705，ASR/翻譯服務器400可將第一語言的語音信號、第一語言的文本和包括第二語言的翻譯文本的翻譯信息提供給接收器側終端200。
[0176]同時，在步驟1703，ASR/翻譯服務器400可產(chǎn)生與第二語言的翻譯文本相應的第二語言的翻譯語音。此外，在步驟1705，ASR/翻譯服務器400可將第二語言的翻譯語音提供給接收器側終端200，而不發(fā)送第一語言的語音信號。
[0177]通過以上處理，發(fā)送器側終端100可識別被提供給接收器側終端200的翻譯信息與哪種狀態(tài)相應。因此，發(fā)送器側終端100可根據(jù)來自用戶的請求支持另一文本或翻譯文本的發(fā)送或者語音信號的重新輸入。
[0178]在以上描述中，在將第一語言的文本、翻譯信息和第一語言的語音信號發(fā)送到接收器側終端200的同時，ASR/翻譯服務器400將第一語言的文本和翻譯信息發(fā)送到發(fā)送器側終端100。然而，根據(jù)設計變更，ASR/翻譯服務器400可首先執(zhí)行針對發(fā)送器側終端100的發(fā)送，并隨后在由發(fā)送器側終端100進行確認之后執(zhí)行針對接收器側終端200的發(fā)送。該方案可使得發(fā)送器側終端100能夠事先確認發(fā)送到接收器側終端200的信息，以使得用戶能夠事先確認傳送的信息的正確性，以防止傳送錯誤的信息。
[0179]圖18是用于描述根據(jù)本發(fā)明的第六實施例的基于翻譯的通信服務支持系統(tǒng)10的操作的信號流程圖。
[0180]參照圖18，在本發(fā)明的基于翻譯的通信服務支持系統(tǒng)10的操作中，當用戶輸入了將要發(fā)送到接收器側終端200的第一語言的語音信號時，在步驟1801，發(fā)送器側終端100將輸入的第一語言的語音信號發(fā)送到ASR/翻譯服務器400。在該步驟中，發(fā)送器側終端100可執(zhí)行用于將第一語言的語音信號發(fā)送到ASR/翻譯服務器400的裝置連接處理。為此，ASR/翻譯服務器400可預先存儲并操作地址信息。具體地，在發(fā)送器側終端100被配置為執(zhí)行與接收器側終端200的通信服務的狀態(tài)下，當接收到根據(jù)來自用戶的翻譯模式的選擇的輸入事件時，發(fā)送器側終端100可自動訪問ASR/翻譯服務器400以準備第一語言的語音信號的發(fā)送。在這種情況下，發(fā)送器側終端100可將用于對第一語言的語音信號進行翻譯的第二語言的信息提供給ASR/翻譯服務器400。為此，發(fā)送器側終端100可收集接收器側終端200的語言配置信息?？身憫趤碜越邮掌鱾冉K端200的對第二控制器260的請求或者通過發(fā)送器側終端100的用戶的指定來執(zhí)行語言配置信息的收集。
[0181]當從發(fā)送器側終端100接收到第一語言的語音信號時，ASR/翻譯服務器400從接收到的第一語言的語音信號產(chǎn)生由發(fā)送器側終端100請求的包括第二語言的翻譯文本的翻譯信息。為此，ASR/翻譯服務器400基于預存儲的語音識別數(shù)據(jù)庫和翻譯數(shù)據(jù)庫對第一語言的語音信號進行語音識別以產(chǎn)生第一語言的文本，并將產(chǎn)生的第一語言的文本轉換為第二語言的文本。接下來，在步驟1803，ASR/翻譯服務器400可將第一語言的文本和包括第二語言的翻譯文本的翻譯信息提供給發(fā)送器側終端100。在該步驟中，ASR/翻譯服務器400可基于第二語言的翻譯文本產(chǎn)生第二語言的翻譯語音，并隨后將包括第二語言的翻譯語音的翻譯信息傳送到發(fā)送器側終端100。
[0182]接下來，在步驟1805，發(fā)送器側終端100可將從ASR/翻譯服務器400接收到的第一語言的文本和第二語言的翻譯信息與第一語言的語音信號一起發(fā)送到接收器側終端200。在這種情況下，發(fā)送器側終端100可在第一顯示單元140中輸出從ASR/翻譯服務器400接收到的第一語言的文本和第二語言的翻譯信息，且用戶可產(chǎn)生用于確認并請求發(fā)送信息的輸入事件。當必要時，發(fā)送器側終端的用戶可取消發(fā)送第一語言的文本和第二語言的翻譯信息，并輸入新的語音信號以請求將該語音信號發(fā)送到ASR/翻譯服務器400。同時，在步驟1805，作為將第一語言的語音信號發(fā)送到接收器側終端200的代替，發(fā)送器側終端100可將第二語言的翻譯語音提供給接收器側終端200。
[0183]圖19是示意性地示出根據(jù)本發(fā)明的第七和第八實施例的支持基于翻譯的通信服務的操作的系統(tǒng)10的結構的示圖。
[0184]參照圖19，本發(fā)明的系統(tǒng)10包括:發(fā)送器側終端100、接收器側終端200、ASR服務器410和翻譯服務器420。
[0185]上述系統(tǒng)10可被設計為具有這樣的結構:發(fā)送器側終端100將語音信號發(fā)送到ASR服務器410，從ASR服務器410接收通過對語音信號進行語音識別而獲得的第一語言的文本，并隨后將第一語言的文本傳送到翻譯服務器420。隨后，翻譯服務器420將第一語言的文本翻譯為第二語言的文本以產(chǎn)生翻譯信息，并隨后將產(chǎn)生的翻譯信息提供給接收器側終端200，或者將翻譯信息傳送到發(fā)送器側終端100，以使發(fā)送器側終端100將翻譯信息提供給接收器側終端200。
[0186]上述系統(tǒng)支持根據(jù)網(wǎng)絡的狀態(tài)的自適應操作。例如，當發(fā)送器側終端100比接收器側終端200更難以訪問ASR服務器410時，發(fā)送器側終端100可將第一語言的語音信號提供給接收器側終端200，且接收器側終端200可訪問ASR服務器410，以請求將第一語言的語音信號轉換為第一語言的文本。此外，系統(tǒng)10的設計可被修改以使得接收器側終端200將從ASR服務器410接收到的第一語言的文本提供給翻譯服務器420，并從翻譯服務器420接收第二語言的翻譯文本和第二語言的翻譯語音中的至少一個。
[0187]在系統(tǒng)10中，為了支持上述功能，發(fā)送器側終端100和接收器側終端200執(zhí)行網(wǎng)絡評估并分享網(wǎng)絡評估信息，以使能夠較容易地訪問ASR服務器410的一方與翻譯服務器420執(zhí)行翻譯處理。當發(fā)送器側終端100和接收器側終端200被請求執(zhí)行基于語音信號的通信服務(例如，語音通信或視頻通信)時，網(wǎng)絡評估信息的共享可被執(zhí)行，并且可被重復地執(zhí)行。
[0188]ASR服務器410是支持語音識別功能的設備，其預先創(chuàng)建用于語音識別的語音識別數(shù)據(jù)庫，并隨后基于語音識別數(shù)據(jù)庫對從發(fā)送器側終端100傳送的語音進行語音識別。此外，ASR服務器410可將作為語音識別的結果而產(chǎn)生的特定語言的文本提供給發(fā)送器側終端100。由于ASR服務器410在發(fā)送器側終端100和接收器側終端200使用不同的語音的環(huán)境中支持語音識別功能，因此ASR服務器410可創(chuàng)建針對至少兩種語音的數(shù)據(jù)庫。也就是說，ASR服務器410可包括用作發(fā)送器的第一終端中所配置的第一語言的語音識別數(shù)據(jù)庫和用作接收器的第二終端中所配置的第二語言的語音識別數(shù)據(jù)庫。上述ASR服務器410可根據(jù)網(wǎng)絡狀態(tài)從發(fā)送器側終端100或接收器側終端200接收對第一語言的語音信號進行語音識別的請求或者對第二語言的語音信號進行語音識別的請求。隨后，ASR服務器410執(zhí)行相應的語言的語音識別以產(chǎn)生文本，并隨后將所述文本提供給請求了語音識別的終端。
[0189]當從發(fā)送器側終端100或接收器側終端200接收到進行翻譯的請求時，翻譯服務器420接收第一語言的文本和用于對第一語言的文本進行翻譯的第二語言的信息。此外，翻譯服務器420可從發(fā)送器側終端100接收與接收器側終端200相關的通信連接信息，使得翻譯服務器420可自行將第二語言的翻譯信息發(fā)送到接收器側終端200。在這種情況下，當從接收器側終端200接收到對第一語言的文本進行翻譯的請求時，翻譯服務器420不接收單獨的通信連接信息。隨后，ASR/翻譯服務器420可將通過對第一語言的文本進行翻譯而得到的第二語言的翻譯信息提供給請求了翻譯的接收器側終端200。
[0190]在下文中，將參照附圖更加詳細地描述系統(tǒng)10的基于翻譯的操作的示例。
[0191]圖20是用于描述根據(jù)本發(fā)明的第七實施例的基于翻譯的通信服務支持系統(tǒng)10的操作的信號流程圖。
[0192]參照圖20，發(fā)送器側終端100可與接收器側終端200建立用于操作通信服務的通信連接，并且可在翻譯模式已經(jīng)被配置的情況下從用戶收集第一語言的語音信號。隨后，在步驟2001，發(fā)送器側終端100將收集到的第一語言的語音信號提供給ASR服務器410。為此，發(fā)送器側終端100可預先存儲ASR服務器410的訪問信息，并在翻譯模式已經(jīng)被配置時訪問ASR服務器410。
[0193]當從發(fā)送器側終端100接收到第一語言的語音信號時，在步驟2003，ASR服務器410對語音信號進行語音識別以產(chǎn)生第一語言的文本，并隨后將第一語言的文本提供給發(fā)送器側終端100。同時，即使當從接收器側終端200接收到第一語言的語音信號時，ASR/翻譯服務器410可將通過對語音信號進行語音識別而獲得的第一語言的文本提供給接收器側終端200。
[0194]接下來，在步驟2005，發(fā)送器側終端100將接收到的第一語言的文本提供給翻譯服務器420。為此，發(fā)送器側終端100可預先存儲翻譯服務器420的訪問信息，并在提供第一語言的文本時一起提供用于翻譯的第二語言的信息。
[0195]當從發(fā)送器側終端100接收到對第一語言的文本進行翻譯的請求時，在步驟2007，翻譯服務器420產(chǎn)生與提供的第二語言的信息相應的翻譯文本，并隨后將翻譯文本作為翻譯信息提供給接收器側終端200。在該步驟中，翻譯服務器420可產(chǎn)生與翻譯文本相應的第二語言的翻譯語音，并隨后將包括翻譯語音的翻譯信息提供給接收器側終端200。同時，在步驟2009，發(fā)送器側終端100可將第一語言的語音信號提供給接收器側終端200。
[0196]上述方法與發(fā)送器側終端100僅對將要翻譯的第一語言的文本信息進行確認的方法相應。當發(fā)送器側終端100的用戶實際上無法理解第二語言的經(jīng)翻譯的文本時，所述方法是有用的。
[0197]圖21是用于描述根據(jù)本發(fā)明的第八實施例的基于翻譯的通信服務支持系統(tǒng)10的操作的信號流程圖。
[0198]參照圖21，在本發(fā)明的系統(tǒng)10的操作中，發(fā)送器側終端100首先與接收器側終端200建立通信信道，且用戶可對翻譯模式進行配置。在這種情況下，當用戶輸入第一語言的語音信號時，在步驟2101，發(fā)送器側終端100將第一語言的語音信號傳送到ASR服務器410。
[0199]當從發(fā)送器側終端100接收到第一語言的語音信號時，ASR服務器410可對語音信號進行語音識別，以產(chǎn)生與第一語言的語音信號相應的第一語言的文本。隨后，在步驟2103，ASR服務器410可將產(chǎn)生的第一語言的文本提供給發(fā)送器側終端100。
[0200]此后，在步驟2015，發(fā)送器側終端100將第一語言的文本提供給翻譯服務器420。在這種情況下，發(fā)送器側終端100可將用于翻譯的第二語言的信息與文本一起提供?？稍诎l(fā)送器側終端100與接收器側終端200建立通信信道的處理中收集第二語言的信息。
[0201]當從發(fā)送器側終端100接收到用于將第一語言的文本翻譯為第二語言的請求時，翻譯服務器420通過使用預存儲的翻譯數(shù)據(jù)庫來產(chǎn)生第二語言的翻譯文本。此外，在步驟2107，翻譯服務器420可將翻譯文本作為翻譯信息提供給發(fā)送器側終端100。在該步驟中，翻譯服務器420可產(chǎn)生與翻譯文本相應的翻譯語音，并隨后將包括翻譯語音的翻譯信息與翻譯文本一起提供給接收器側終端200。
[0202]當從翻譯服務器420接收到翻譯信息時，在步驟2109，發(fā)送器側終端100將接收到的翻譯信息提供給接收器側終端200。在這種情況下，發(fā)送器側終端100可將第一語言的語音信號和第一語言的文本與翻譯信息一起提供給接收器側終端200。
[0203]上述方法與發(fā)送器側終端100對將要翻譯的第一語言的文本和翻譯文本進行確認的方法相應。當發(fā)送器側終端100的用戶可在某種程度上理解第二語言的經(jīng)翻譯的文本時，所述方法是有用的。也就是說，當發(fā)送器側終端100的用戶不擅長書寫但擅長閱讀時，所述方法可能是有用的解決方案。
[0204]同時，上述系統(tǒng)10可具有從手寫信息提取文本并提供與提取出的文本相應的翻譯信息的修改后的設計。為此，可在系統(tǒng)中包括能夠從手寫信息提取文本并隨后提供文本的服務器，而不是ASR服務器。
[0205]圖22是示出根據(jù)本發(fā)明的實施例的在支持通信服務的處理中終端的控制器配置和用于描述終端之間的會話管理的在終端之間的信號流的框圖。
[0206]再次參照圖22，包括在本發(fā)明的發(fā)送器側終端100中的第一控制器160包括:第一發(fā)送處理器362、第一會話管理器361、第一接收處理器363、翻譯單元60和第一網(wǎng)絡打包/解包支持單元165。此外，包括在本發(fā)明的接收器側終端200中的第二控制器260包括:第二接收處理器463、第二會話管理器461、第二發(fā)送處理器462、接收翻譯單元464和第二網(wǎng)絡打包/解包支持單元265。
[0207]發(fā)送器側終端100和接收器側終端200基本上可包括用于支持如上所述的本發(fā)明的基于翻譯的通信服務的圖3中示出的元件。此外，以上參照圖22描述的第一控制器160的第一網(wǎng)絡打包/解包支持單元165和第二控制260的第二網(wǎng)絡打包/解包支持單元265可支持用于支持如以上參照圖3所描述的基于翻譯的通信服務的包傳輸和用于支持本發(fā)明的語音處理的包傳輸。
[0208]在下述處理中可發(fā)生延遲:根據(jù)本發(fā)明的實施例的具有如上所述的結構的終端將第一語言的文本或語音轉換為第二語言，并提供轉換后的第二語言的文本或語音。此外，當接收器側終端200輸出從發(fā)送器側接收到的語音信號時，輸出的語音信號可進入第二麥克風以致產(chǎn)生回聲誤差?？墒褂没芈曌枞娐穪矸乐够芈曊`差的產(chǎn)生。然而，通過使用在語言轉換的處理中基本上會發(fā)生的延遲，本發(fā)明的終端可按照與半雙工方案相似的方式執(zhí)行語音信號輸出和等待，以在無需單獨的回聲阻塞電路的情況下實現(xiàn)優(yōu)質(zhì)音頻信號的輸出。也就是說，根據(jù)本發(fā)明的實施例的終端可提供半雙工模式，以用于支持本發(fā)明的語音翻譯服務的提供。當半雙工模式被激活時，在由從對方終端接收到的信號翻譯成的翻譯語音被輸出時，這些終端中的每一個均可對麥克風的操作進行限制以停止收集語音信號。此外，當翻譯語音的輸出完成時，終端可激活麥克風，以支持對語音信號的收集。在這種情況下，終端可在與從對方傳送的消息相關的語音或翻譯語音輸出部分中輸出與麥克風的停用相關的引導消息，并且可在語音輸出完成之后輸出與麥克風的激活相關的引導消息。
[0209]為此，本發(fā)明的終端100和終端200可分別包括第一會話管理器361和第二會話管理器362，以支持在發(fā)送的信號或接收到的信號的輸出被完成之后收集用戶的語音信號。
[0210]更詳細地，當接收器側終端200的第二網(wǎng)絡打包/解包支持單元265從發(fā)送器側接收通信數(shù)據(jù)時，第二網(wǎng)絡打包/解包支持單元265將接收到的通信數(shù)據(jù)傳送到第二接收處理器463、第二發(fā)送處理器462和第二會話管理器461。隨后，第二接收處理器463將接收到的通信數(shù)據(jù)提供給接收翻譯單元464。同時，第二會話管理器461從第二接收處理器463接收延遲信號(回調(diào)信號)，并將與接收到的延遲信號相應的發(fā)送控制信號傳送到第二發(fā)送處理器462。當從接收翻譯單元464接收到從通信數(shù)據(jù)轉換成的數(shù)據(jù)時，第二接收處理器463通過第二揚聲器輸出轉換后的數(shù)據(jù)。同時，已經(jīng)從第二會話管理器461接收到發(fā)送控制信號的第二發(fā)送處理器462可根據(jù)發(fā)送控制信號來控制第二麥克風的激活/停用和語音信號的收集。具體地，當?shù)诙邮仗幚砥?63接收到通信數(shù)據(jù)時，第二接收處理器463將接收到的通信數(shù)據(jù)轉換為用于接收器側終端200的第二語言的語音信號，并輸出轉換后的語音信號，第二發(fā)送處理器462可阻止第二麥克風收集語音信號，以防止將要發(fā)送的語音信號與接收到并輸出的語音信號彼此重疊。
[0211]同時，在從接收器側終端200接收特定通信數(shù)據(jù)并輸出所述通信數(shù)據(jù)的處理中，第一會話管理器361還可控制第一麥克風的激活時間點，因而防止在由接收器側終端200提供的通信數(shù)據(jù)被輸出時收集將要發(fā)送的語音信號。此外，由第一麥克風收集的語音信號被傳送到第一發(fā)送處理器362，且第一發(fā)送處理器362通過第一網(wǎng)絡打包/解包支持單元165將接收到的語音信號傳送到接收器側終端200。
[0212]同時，在以上描述中，通信數(shù)據(jù)可包括語音和消息中的至少一個，并且考慮到接收器側終端200，通信數(shù)據(jù)可以是基于發(fā)送器側終端100中所運行的第一語言形成的數(shù)據(jù)。相反地，考慮到發(fā)送器側終端100，通信數(shù)據(jù)可以是基于接收器側終端200中所運行的第二語言形成的數(shù)據(jù)。接收翻譯單元464可將第一語言的語音或SMS數(shù)據(jù)轉換為第二語言的語音數(shù)據(jù)，并隨后將轉換后的語音數(shù)據(jù)傳送到第二接收處理器463。具體地，當從發(fā)送器側終端接收到文本形式的通信數(shù)據(jù)時，接收翻譯單元464首先將接收到的通信數(shù)據(jù)轉換為第二語言的文本數(shù)據(jù)，并隨后將轉換后的文本數(shù)據(jù)轉換為第二語言的語音數(shù)據(jù)。
[0213]圖23至圖25是用于描述根據(jù)本發(fā)明的實施例的支持通信服務的處理中的會話管理的流程圖。
[0214]首先，圖23是用于描述用于根據(jù)本發(fā)明的實施例的接收器側終端所進行的會話管理的第一方法的流程圖。
[0215]參照圖23，在用于本發(fā)明的接收器側終端所進行的會話管理的第一方法中，在步驟2301，第二會話管理器461確定是否發(fā)生聲音事件。聲音事件可以是用于TTS再現(xiàn)的事件，更具體地，聲音事件可以是請求第一語言的文本被輸出為第二語言的語音信號的事件。
[0216]作為該步驟中的確定的結果，當聲音事件發(fā)生時，也就是說，當從發(fā)送器側接收到第一語言的文本數(shù)據(jù)時，在步驟2303，第二會話管理器461可支持麥克風的停用和語音信號的發(fā)送的中斷。也就是說，第二會話管理器461支持用戶的語音信號的收集和發(fā)送的暫時中斷。在這種情況下，第二接收處理器463執(zhí)行用于通過接收翻譯單元464將接收到的第一語言的文本數(shù)據(jù)轉換為第二語言的語音信號的處理。此外，當從接收翻譯單元464接收到第二語言的語音信號時，第二接收處理器463支持通過第二麥克風輸出接收到的語音信號。接收翻譯單元464既可以是配置在接收器側終端200中的翻譯模塊，也可以是被設計為通過單獨的網(wǎng)絡連接使用服務的服務器裝置。
[0217]同時，作為步驟2301中的確定的結果，當未發(fā)生聲音事件時，在步驟2305，第二會話管理器461可支持語音輸入等待和處理。也就是說，第二會話管理器461激活麥克風以收集用戶的語音信號，并隨后處理收集到的將要被發(fā)送到發(fā)送器側終端100的語音信號。
[0218]此后，在步驟2307，接收器側終端200確定是否發(fā)生用于終止通信功能的事件。當未發(fā)生所述事件時，接收器側終端200返回至步驟2301并再次從步驟2301執(zhí)行處理。同時，當發(fā)生用于終止通信功能的事件時，接收器側終端200終止通信功能，并根據(jù)預配置的調(diào)度信息或用戶輸入來執(zhí)行特定的終端功能。
[0219]圖24是用于描述用于根據(jù)本發(fā)明的實施例的接收器側終端所進行的會話管理的第二方法的流程圖。
[0220]參照圖24，在用于本發(fā)明的接收器側終端所進行的會話管理的第二方法中，在步驟2401中，接收器側終端200的第二會話管理器461確定是否發(fā)生聲音事件。作為步驟2401中的確定的結果，當發(fā)生聲音事件時，在步驟2403中，接收器側終端200停用麥克風并停止發(fā)送，以便支持所述事件。此外，在步驟2409，接收器側終端200確定是否發(fā)送用于終止通信的事件。根據(jù)所述確定的結果，接收器側終端200可返回至步驟2401并再次從步驟2401執(zhí)行處理。步驟2401、步驟2403和步驟2409實際上可分別與如上所述的步驟2301、步驟2303和步驟2307相同。因此，這些步驟的詳細描述在此被省略。
[0221]同時，作為步驟2401中的確定的結果，當未發(fā)生聲音事件時，在步驟2405，接收器側終端200可通知語音輸入待機。也就是說，接收器側終端200可在第二顯示單元240中輸出用于將可發(fā)聲狀態(tài)通知給用戶的引導消息，或者提供等同的指示(諸如燈閃爍、特定振動模式輸出或者特定的聲音效果或引導聲音輸出)。此外，在步驟2407，接收器側終端200可執(zhí)行聲音輸入待機和處理。用于聲音輸入待機和處理的步驟2407實際上可以與以上參照圖23描述的步驟2305相同。
[0222]圖25是用于描述用于根據(jù)本發(fā)明的實施例的接收器側終端所進行的會話管理的第三方法的流程圖。
[0223]參照圖25，在用于本發(fā)明的接收器側終端所進行的會話管理的第三方法中，在步驟2501，接收器側終端200的第二控制器260確定是否發(fā)生聲音事件。當未發(fā)生聲音事件時，第二控制器260進行至步驟2503，在步驟2503中，第二控制器260確定在聲音事件期間是否發(fā)生語音輸入。也就是說，接收器側終端200的第二控制器260確定在第一語言的文本數(shù)據(jù)被接收到并隨后被翻譯的處理時是否發(fā)生語音輸入。隨后，當在聲音事件期間未發(fā)生語音輸入時，接收器側終端200進行至步驟2505，在步驟2505中，接收器側終端200通知語音輸入待機，并隨后執(zhí)行語音輸入待機和處理。步驟2505和步驟2507實際上可分別與以上參照圖24描述的步驟2405和步驟2407相同。同時，作為步驟2503中的確定的結果，當在聲音事件期間發(fā)生語音輸入時，接收器側終端200的第二控制器260進行至步驟2509，在步驟2509中，接收器側終端200通知輸入語音未發(fā)送。也就是說，第二控制器260可通過第二顯不單兀240、振動、燈和第二揚聲器中的至少一個來通知這樣的消息:報告在聲音事件的處理期間接收到的語音未被處理且與所述語音相應的語音信號未被發(fā)送到發(fā)送器側終端100的消息。
[0224]作為步驟2501中的確定的結果，當發(fā)生聲音事件時，在步驟2511，第二控制器260可執(zhí)行交叉語音輸入檢測。也就是說，當通過第二揚聲器輸出第二語言的語音數(shù)據(jù)時，第二控制器260確定是否存在通過第二麥克風收集到的語音信號。在這種情況下，即使當存在通過第二麥克風收集到的語音信號時，語音信號也不被處理。隨后，第二控制器260通過可被用戶識別的方式來輸出報告由用戶發(fā)聲的語音信號未被收集或者第二麥克風處于停用狀態(tài)的消息。
[0225]接下來，基于步驟2513中關于是否終止通信功能的確定，接收器側終端200支持終止處理或者返回至處理的開始。
[0226]圖26是示出根據(jù)本發(fā)明的實施例的在支持通信服務的處理中的終端的控制器配置和用于描述發(fā)送器側終端所進行的會話管理的在終端之間的信號流的框圖。[0227]當由接收器側終端200執(zhí)行將第一語言的文本轉換為第二語言的語音信號的功能時，接收器側終端200可獲取準確的發(fā)聲終止時間點。然而，當由發(fā)送器側終端100執(zhí)行信號轉換功能時，接收器側終端200無法獲取準確的發(fā)聲終止時間點。為了解決這個問題，本發(fā)明可支持從由發(fā)送器側終端100提供并從發(fā)送器側終端100接收到的信號分析語音區(qū)段，以準確地識別出語音區(qū)段。此外，由于發(fā)送器側終端100可獲取準確的發(fā)聲開始時間點和準確的發(fā)送終止時間點，因此發(fā)送器側終端100將準確的發(fā)聲開始時間點和準確的發(fā)聲終止時間點的信息包括在被發(fā)送到接收器側終端200的通信數(shù)據(jù)中。因此，接收器側終端200可在接收到的通信數(shù)據(jù)中識別關于發(fā)聲區(qū)段的時間信息，以確定麥克風的停用程度。
[0228]為此，當?shù)谝畸溈孙L收集語音信號時，發(fā)送器側終端100的第一發(fā)送處理器362將收集到的語音信號傳送到第一網(wǎng)絡打包/解包支持單元165。在這種情況下，第一會話管理器361收集關于由第一發(fā)送處理器362收集到的語音信號的發(fā)聲開始時間點和發(fā)聲終止時間點的信息，并將收集到的發(fā)聲信息傳送到第一網(wǎng)絡打包/解包支持單元165，以將發(fā)聲信息與通信數(shù)據(jù)一起傳送到接收器側終端200。在這種情況下，發(fā)送器側終端100的第一發(fā)送處理器362通過使用翻譯單元60將由第一麥克風131提供的語音信號翻譯為接收器側終端200的第二語言，并隨后將經(jīng)翻譯的語音信號傳送到第一網(wǎng)絡打包/解包支持單元165。
[0229]當接收到由發(fā)送器側終端100提供的發(fā)聲信息時，接收器側終端200可基于接收到的發(fā)聲信息預先獲得語音區(qū)段的長度，并且可在語音區(qū)段期間中斷語音信號的收集和發(fā)送。同時，當發(fā)送器側終端100未提供發(fā)聲信息時，接收器側終端200分析接收到的信號中的語音區(qū)段，以確定是否處于語音激活區(qū)段，以便相關地控制終端。也就是說，當?shù)诙W(wǎng)絡打包/解包支持單元265將由發(fā)送器側終端100提供的信號傳送到第二接收處理器463時，第二會話管理器461對由第二接收處理器463處理的語音信號進行分析，以分析語音區(qū)段，并隨后根據(jù)語音區(qū)段的分析結果來支持第二發(fā)送處理器462中的語音信號發(fā)送和第二麥克風中的激活控制。在第二會話管理器461的控制下，第二發(fā)送處理器462被激活，以將由第二麥克風231提供的第二語言的語音信號翻譯為第一語言的語音信號，并隨后將經(jīng)翻譯的語音信號提供給發(fā)送器側終端100。
[0230]圖27和圖28是用于描述與用于支持通信服務的語音區(qū)段信息相關的終端的會話管理方法的流程圖。
[0231]具體地，圖27是用于描述用于根據(jù)本發(fā)明的實施例的接收器側終端所進行的會話管理的第四方法的流程圖。
[0232]參照圖27，在步驟2701，接收器側終端200針對接收到的信號分析語音區(qū)段。為此，第二會話管理器461分析由第二接收處理器463從第二網(wǎng)絡打包/解包支持單元265接收到的信息的語音區(qū)段。此后，在步驟2703，接收器側終端200確定當前時間點是否是語音區(qū)段中的時間點。當當前時間點不是語音區(qū)段中的時間點時，接收器側終端200進行至步驟2705，在步驟2705中，接收器側終端200支持語音輸入待機和處理。也就是說，接收器側終端200激活第二麥克風，以允許用戶輸入語音。在這種情況下，接收器側終端200可支持報告用戶的語音信號可被收集的引導消息的輸出。
[0233]同時，作為步驟2703中的確定的結果，當當前時間點是語音區(qū)段中的時間點時，也就是說，當由發(fā)送器側終端100提供的通信數(shù)據(jù)正被接收時，接收器側終端200的第二控制器260進行至步驟2707，在步驟2707中，接收器側終端200支持語音信號的發(fā)送的暫時中斷。在這種情況下，第二控制器260可支持報告語音信號的發(fā)送的暫時中斷的引導消息的輸出。
[0234]接下來，在步驟2709，接收器側終端200確定是否發(fā)生用于終止通信功能的事件。根據(jù)確定的結果，接收器側終端200可支持終止處理或者返回至步驟2701以支持通信功倉泛。
[0235]圖28是用于描述用于根據(jù)本發(fā)明的實施例的接收器側終端所進行的會話管理的第五方法的流程圖。
[0236]參照圖28，在用于本發(fā)明的接收器側終端所進行的會話管理的第五方法中，在步驟2801，接收器側終端從另一終端接收發(fā)聲信息。為此，當?shù)诙邮仗幚砥?63從第二網(wǎng)絡打包/解包支持單元265接收通信數(shù)據(jù)時，接收器側終端200的第二會話管理器461可支持對包括在數(shù)據(jù)中的發(fā)聲信息進行解析。發(fā)聲信息可包括關于發(fā)送器側終端100所進行的對語音數(shù)據(jù)的收集的開始時間點和終止時間點的信息。或者，發(fā)聲信息可包括與由發(fā)送器側終端100提供的通信數(shù)據(jù)的語音信號輸出相應的預定的失效時間的信息。
[0237]當接收到發(fā)聲信息時，在步驟2803，接收器側終端200確定當前時間點是否是語音區(qū)段中的時間點。當當前時間點不是語音區(qū)段中的時間點時，接收器側終端200進行至步驟2805，在步驟2805中，接收器側終端200支持語音輸入待機和處理。為了語音輸入待機和處理，接收器側終端200激活第二麥克風，將由第二麥克風收集的語音信號翻譯為第一語言，并隨后發(fā)送經(jīng)翻譯的語音信號。在這種情況下，接收器側終端200可支持報告語音輸入待機狀態(tài)的消息的輸出。
[0238]同時，作為步驟2803中的確定的結果，當當前時間點是接收到的信號的語音區(qū)段中的時間點時，在步驟2807，接收器側終端200中斷第二麥克風對語音信號的收集并中斷語音信號的發(fā)送。接下來，基于步驟2809中關于是否終止通信功能的確定，接收器側終端200可支持終止處理或者返回至步驟2801。
[0239]如上所述，在操作根據(jù)本發(fā)明的實施例的基于翻譯的通信服務的方法中，在通信服務的操作期間輸入的文本、語音信號和手寫信息之中的至少一種類型的輸入信息被轉換為翻譯信息，且轉換后的翻譯信息被提供給接收器側終端。因此，本發(fā)明可解決由于發(fā)送器側終端100和接收器側終端200之間的語音不一致而造成的通信困難的問題。
[0240]此外，本發(fā)明的通信服務操作方法可支持與半雙工方案相似的信號處理，所述信號處理可通過使用在信號轉換處理中失效的延遲時間來抑制回聲的發(fā)生。
[0241]同時，如上所述的發(fā)送器側終端和接收器側終端還可根據(jù)自身的提供形式而包括各種附加模塊。也就是說，所述終端還可包括以上并未提及的組件，諸如用于短距離通信的短距離通信模塊、用于通過終端的有線通信方案或無線通信方案進行數(shù)據(jù)發(fā)送/接收的接口、用于與互聯(lián)網(wǎng)網(wǎng)絡進行通信以執(zhí)行互聯(lián)網(wǎng)功能的互聯(lián)網(wǎng)通信模塊和用于執(zhí)行接收和再現(xiàn)數(shù)字廣播的功能的數(shù)字廣播模塊。由于這樣的組件根據(jù)數(shù)字裝置的融合趨勢而被各種修改，因此難以列舉所有這樣的組件，但是與前述組件處于相同水平的組件也可被包括在終端中。此外，顯而易見的是，根據(jù)本發(fā)明的終端中的特定組件可被排除在組件之外或者用其它組件被替換。本領域技術人員將容易理解這點。
[0242]此外，根據(jù)本發(fā)明的實施例的終端可包括所有信息技術裝置和多媒體裝置(諸如，便攜式多媒體播放器(PMP )、數(shù)字廣播播放器、個人數(shù)字助理(PDA)、音樂播放器(例如，MP3播放器)、便攜式游戲終端、智能電話、筆記本和手持式PC及其應用裝置)以及基于與各種通信系統(tǒng)相應的通信協(xié)議進行操作的所有移動通信終端。
[0243]同時，雖然已經(jīng)在本說明書和附圖中示出并描述了本發(fā)明的示例性實施例，但是所述示例性實施例僅在一般意義下使用，以便簡單地解釋本發(fā)明的技術內(nèi)容并幫助理解本發(fā)明，而不意在限定本發(fā)明的范圍。對于本發(fā)明所屬【技術領域】的技術人員而言明顯的是，除了公開于此的實施例之外，基于本發(fā)明的精神的其它經(jīng)修改的實施例可被實現(xiàn)。
[0244]雖然已經(jīng)利用示例性實施例描述了本公開，但是可將各種改變和修改建議給本領域技術人員。意在本公開包含落入權利要求的范圍內(nèi)的改變和修改。
【權利要求】
1.一種支持基于翻譯的通信服務的方法，所述方法包括: 在發(fā)送器側終端和接收器側終端之間建立通信服務信道； 將由發(fā)送器側終端收集的第一語言的文本和第一語言的語音信號中的至少一個翻譯為第二語言，以產(chǎn)生第二語言的翻譯文本和第二語言的翻譯語音中的至少一個； 由接收器側終端接收并輸出產(chǎn)生的第二語言的翻譯文本和第二語言的翻譯語音信號中的至少一個。
2.如權利要求1所述的方法，其中，產(chǎn)生第二語言的翻譯文本和翻譯語音中的至少一個的步驟包括: 當收集到第一語言的文本時，由發(fā)送器側終端通過使用存儲在第一存儲單元中的翻譯數(shù)據(jù)庫將第一語言的文本轉換為第二語言的翻譯文本； 當收集到第一語言的語音信號時，由發(fā)送器側終端通過使用存儲在第一存儲單元中的語音識別數(shù)據(jù)庫來產(chǎn)生語音識別的文本，并隨后通過使用存儲在第一存儲單元中的翻譯數(shù)據(jù)庫將產(chǎn)生的語音識別的文本轉換為第二語言的翻譯文本。
3.如權利要求1所述的方法，還包括: 由發(fā)送器側終端將第一語言的文本和第一語言的語音信號中的至少一個發(fā)送到接收器側終端， 其中，產(chǎn)生第二語言的翻譯文本和翻譯語音中的至少一個的步驟包括下列步驟中的至少一個: 由接收器側終端通過使用存儲在第二存儲單元中的翻譯數(shù)據(jù)庫將第一語言的文本轉換為第二語言的文本； 由接收器側終端通過使用存儲在第二存儲單元中的語音識別數(shù)據(jù)庫從第一語言的語音信號產(chǎn)生語音識別的文本，并隨后通過使用存儲在第二存儲單元中的翻譯數(shù)據(jù)庫將產(chǎn)生的語音識別的文本轉換為第二語言的文本。
4.如權利要求1所述的方法，其中，產(chǎn)生第二語言的翻譯文本和翻譯語音的步驟包括: 由發(fā)送器側終端將第一語言的文本提供給支持語音識別和翻譯的ASR/翻譯服務器，并由ASR/翻譯服務器產(chǎn)生包括與第一語言的文本相應的第二語言的翻譯文本和第二語言的翻譯語音中的至少一個的翻譯信息； 由ASR/翻譯服務器將翻譯信息發(fā)送到發(fā)送器側終端、接收器側終端以及支持發(fā)送器側終端與接收器側終端之間的聊天服務的聊天服務器中的至少一個。
5.如權利要求1所述的方法，還包括: 處于語音信號輸出區(qū)段時，由接收器側終端中斷語音信號的收集和發(fā)送并運行半雙工模式； 當不處于語音信號輸出區(qū)段中時，由接收器側終端支持語音輸入待機和處理。
6.一種用于支持基于翻譯的通信服務的發(fā)送器側終端，所述發(fā)送器側終端包括: 被配置為接收第一語言的文本的輸入的輸入單元和具有輸入功能的顯示單元中的至少一個； 麥克風，支持第一語言的語音信號的收集； 存儲單元，被配置為存儲用于翻譯第一語言的文本的翻譯數(shù)據(jù)庫和用于對第一語言的語音信號進行語音識別的語音識別數(shù)據(jù)；控制器，被配置為通過使用翻譯數(shù)據(jù)庫將第一語言的文本轉換為第二語言的翻譯文本； 通信單元，被配置為發(fā)送第二語言的翻譯文本。
7.如權利要求6所述的發(fā)送器側終端，還包括: 觸摸面板，被配置為識別觸摸； 電子筆，被配置為在觸摸面板上手寫輸入； 其中，控制器被配置為對手寫輸入進行圖像掃描，將手寫輸入轉換為第一語言的文本，并隨后將轉換后的文本轉換為第二語言的翻譯文本。
8.如權利要求6所述的發(fā)送器側終端，其中，存儲單元包括:用于TTS的語音數(shù)據(jù)庫，所述用于TTS的語音數(shù)據(jù)庫被配置為將第二語言的翻譯文本轉換為第二語言的語音， 控制器被配置為使用用于TTS的語音數(shù)據(jù)庫來產(chǎn)生第二語言的語音。
9.如權利要求6所述的發(fā)送器側終端，其中，顯示單元被配置為提供用于選擇翻譯模式的圖標或菜單項中的至少一個， 控制器被配置為當翻譯模式被選擇時選擇與通信單元進行通信連接的接收器側終端的語言配置信息。
10.如權利要求6所述的發(fā)送器側終端，其中，當?shù)谝徽Z言的語音信號被收集到時，控制器執(zhí)行控制以通過使用語音識別數(shù)據(jù)庫來產(chǎn)生語音識別的文本，并對產(chǎn)生的語音識別的文本進行翻譯以產(chǎn)生第二語言的翻譯文本。
11.如權利要求10所述的發(fā)送器側終端，其中，控制器執(zhí)行控制以提取第一語言的語音信號的聲音特性，并應用提取出的聲音特性以將第二語言的翻譯文本轉換為語音。
12.一種用于支持基于翻譯的通信服務的接收器側終端，所述接收器側終端包括: 通信單元，接收第一語言的文本和第一語言的語音信號中至少一個； 存儲單元，存儲用于將接收到的第一語言的文本轉換為第二語言的翻譯文本的翻譯數(shù)據(jù)庫和用于對第一語言的語音信號進行語音識別的語音識別數(shù)據(jù)庫中的至少一個； 顯示單元，輸出第二語言的翻譯文本； 控制器，執(zhí)行控制以將第一語言的文本轉換為第二語言的翻譯文本，通過使用語音識別數(shù)據(jù)庫對第一語言的語音信號進行語音識別來產(chǎn)生語音識別的文本，將語音識別的文本轉換為第二語言的翻譯文本并隨后輸出轉換后的翻譯文本。
13.一種用于支持基于翻譯的通信服務的系統(tǒng)，所述系統(tǒng)包括: 發(fā)送器側終端，與接收器側終端建立通信服務信道，將由發(fā)送器側終端收集到的第一語言的文本和第一語言的語音信號中的至少一個翻譯為第二語言，以產(chǎn)生第二語言的翻譯文本和第二語言的翻譯語音中的至少一個，并發(fā)送產(chǎn)生的翻譯文本和翻譯語音中的至少一個； 接收器側終端，輸出從發(fā)送器側終端發(fā)送的第二語言的翻譯文本和第二語言的翻譯語音信號中的至少一個。
14.一種用于支持基于翻譯的通信服務的系統(tǒng)，所述系統(tǒng)包括: 發(fā)送器側終端，與接收器側終端建立通信服務信道，并發(fā)送收集到的第一語言的文本和收集到的第一語言的語音信號中的至少一個； 接收器側終端，將從發(fā)送器側終端發(fā)送的第一語言的文本和第一語言的語音信號中的至少一個轉換為第二語言的翻譯文本和第二語言的翻譯語音中的至少一個，并輸出轉換后的翻譯文本和翻譯語音信號中的至少一個。
15.一種支持基于翻譯的通信服務的方法，所述方法包括: 在發(fā)送器側終端和接收器側終端之間建立通信服務信道； 將由發(fā)送器側終端收集到的第一語言的文本和第一語言的語音信號中的至少一個翻譯為第二語言，以產(chǎn)生第二語言的翻譯文本和第二語言的翻譯語音中的至少一個； 由接收器側終端接收并輸出產(chǎn)生的第二語言的翻譯文本和第二語言的翻譯語音信號中的至少一個； 由接收器側終端確定當前時間點是否在語音信號輸出區(qū)段中； 當當前時間點在語音信號輸出區(qū)段中時，由接收器側終端中斷語音信號的收集和發(fā)送并運行半雙工模式； 當當前時間點不 在語音信號輸出區(qū)段中時，由接收器側終端支持語音輸入待機和處理。
【文檔編號】H04W4/14GK104010267SQ201410062723
【公開日】2014年8月27日 申請日期:2014年2月24日 優(yōu)先權日:2013年2月22日
【發(fā)明者】姜相機, 金炅泰, 林祐炯, 鄭曠洙 申請人:三星電子株式會社