專利名稱：基于電話的動態(tài)圖像注釋的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及多媒體消息的存儲和獲取，更具體地涉及將語音郵件系統(tǒng)的存儲和轉(zhuǎn)發(fā)功能用于處理多媒體消息，這些多媒體消息中含有經(jīng)動態(tài)注釋的圖像。
由于能夠產(chǎn)生、存儲、發(fā)布數(shù)字媒體(如文本，語音，圖像，視頻，圖形等)的硬件和軟件的出現(xiàn)，促成了多媒體消息通訊系統(tǒng)的發(fā)展，使得人們不必在同一時間和同一地點也可以互相交流。這些系統(tǒng)必須以簡潔直觀的手段轉(zhuǎn)述盡可能多的信息，才能在實際應用中生效。在這種情況下，圖像注釋的方法十分引人注目。圖像注釋可以在已記錄好的圖像上疊加語音、文本、圖形、鼠標移動等信息，它使得發(fā)送方覺得接收方似乎就在現(xiàn)場一樣。例如，一個人可以用聲音和圖形描述一文檔如何被修改，好像另一方就在他/她的身旁一樣。通常來說，動態(tài)圖像注釋擴展了人們使用計算機互相交流的方法。
使用注釋來增強基于計算機的交流有多種方式。在最簡單的一種方法中，文本文檔可以采用特殊標記加以擴展，例如可以在“發(fā)送”標記處打入注釋。更加成熟的系統(tǒng)允許創(chuàng)建包含聲音和圖形的圖像注釋或文本注釋。但是，這些系統(tǒng)要求產(chǎn)生和再現(xiàn)這些注釋的計算機裝有執(zhí)行音頻記錄和回放的必要的軟硬件設備。
本發(fā)明的目的是開發(fā)一種獨特的注釋，可以用于合成和再現(xiàn)注釋的計算機缺少音頻能力但擁有獨立電話裝置的環(huán)境中?；镜脑O想是使用計算機記錄消息中的圖形和鼠標移動(指示符)，使用語音郵件系統(tǒng)記錄消息中的聲音部分。
本發(fā)明將動態(tài)圖像注釋的使用擴展到缺少完全多媒體能力的PC機和工作站上。通過利用語音郵件系統(tǒng)的存儲和轉(zhuǎn)發(fā)能力，以及利用電話裝置傳送消息中的語音/聲音部分，該系統(tǒng)可以合成、存儲和獲取包含動態(tài)注釋圖像的多媒體消息。該系統(tǒng)包含在消息記錄、存儲、再現(xiàn)過程中同步語音/聲音部分的協(xié)議。


圖1描述四種可能的多媒體方式。
圖2描述本發(fā)明一實施例的記錄協(xié)議。
圖3描述本發(fā)明一實施例的回放協(xié)議。
圖4描述本發(fā)明一次測試中的系統(tǒng)部件。
圖1描述四種方式，其中本發(fā)明的動態(tài)注釋可用于語音郵件環(huán)境中。方式1中一用戶使用一臺含有動態(tài)圖像注釋的多媒體PC機11，通過局域網(wǎng)12訪問語音郵件系統(tǒng)15。方式2中一用戶使用一臺非多媒體PC機13(例如，不帶音箱、話筒或電話接口的PC機)，通過電話14和局域網(wǎng)12訪問語音郵件系統(tǒng)15的服務。電話聯(lián)接由公共分組交換機(PBX)16實現(xiàn)。方式3中一用戶使用一臺非多媒體便攜式PC機17(例如，不帶音箱、話筒或電話接口的便攜式PC機)，利用電話18和調(diào)制解調(diào)器19，通過公共電話網(wǎng)20訪問語音郵件系統(tǒng)15的服務。方式4中一用戶使用一臺多媒體PC機21，通過公共電話網(wǎng)20遠程訪問語音郵件系統(tǒng)15的服務。
本發(fā)明感興趣的是方式2和方式3，其中要求有電話裝置。具體來說，在方式2中，注釋消息的語音部分通過語音網(wǎng)絡傳輸，而同時圖形和指示符通過局域網(wǎng)傳輸。在方式3中，注釋消息的語音部分又通過語音網(wǎng)絡傳輸?shù)秸Z音郵件系統(tǒng)。注釋的其余部分，包括圖像、圖形和鼠標指示符，也通過一條獨立的電話線傳送到語音郵件系統(tǒng)。在方式3的另一實現(xiàn)方法中，注釋的圖形和指示符部分可以記錄在本地PC機中，并通過傳輸語音的同一條電話線傳輸?shù)秸Z音郵件系統(tǒng)中。
典型的多媒體注釋消息包括一幅或多幅圖像，一條語音/聲音消息，和由繪畫、鼠標移動及查看命令組成的指示符時間序列，所有這些在時間上保持同步。本發(fā)明的目的是設計一種協(xié)議，允許在傳輸和存儲過程中分離語音/聲音部分，在回放過程中重新組裝分離的語音/聲音部分。開發(fā)這一協(xié)議的關(guān)鍵部分是標識適當?shù)耐綑C制。
圖2描述本發(fā)明一實施例協(xié)議的記錄部分，以及計算機24、局域網(wǎng)26、語音郵件系統(tǒng)28、PBX30、和電話裝置32的互相聯(lián)接。用戶選擇記錄模式開始一次通訊，然后選擇要注釋的圖像。選擇完成后，系統(tǒng)要求語音郵件系統(tǒng)28開始呼叫相應的電話裝置32，然后進入等待狀態(tài)。這里假定已有決定被呼叫設備和驗證用戶標識的機制。語音郵件系統(tǒng)28將開始這個呼叫，等待用戶的回答，并顯示提示符指出呼叫的原因，要求用戶做出指定的響應，例如按下一按紐確認已準備好開始注釋圖像。接到用戶的確認之后，語音郵件系統(tǒng)28將命令PC24上的注釋程序進行注釋，開始記錄從電話裝置32傳來的語音消息。注意這一步要求滿足實時的限制。即系統(tǒng)必須立即通知注釋程序運行。該程序也必須能夠立即從等待狀態(tài)返回。這一步驟中記錄下一系列的同步標記(Ti)以跟蹤通訊過程。具體是，T1表示從注釋開始處到第一次暫停經(jīng)過的時間，T2表示第一次暫停的期間，T3表示第二次注釋的期間。注意如果在記錄注釋過程中有兩次或更多的暫停，將需要T4、T5等標記。用戶按下“停止”按紐并掛上電話32指示已完成注釋。用戶發(fā)出“發(fā)送”命令后，通訊即完成(從用戶的角度來看)。系統(tǒng)將在后臺繼續(xù)與語音郵件系統(tǒng)28的通訊，發(fā)送圖像、指示符、和同步標記到消息存儲器，消息存儲器將這些信息與消息的語音部分一起保存。
圖3描述回放過程中執(zhí)行的步驟。計算機34、局域網(wǎng)36、語音郵件系統(tǒng)38、PBX40、和電話裝置42之間的聯(lián)接如圖2所示。在第一步，用戶接收到所提供的一列消息，并選擇其中之一進行回放。接著的兩步處理與上面協(xié)議中描述的類似。在第三步，用戶通過電話裝置42接收到語音消息，同時注釋的指示符部分顯示在計算機34的屏幕上。在記錄過程中合成的同步標記將用于兩個設備間的同步。即指示符再現(xiàn)裝置將定期地比較執(zhí)行的實際時間。如果有必要，指示符再現(xiàn)裝置將丟掉少量指示符信息，以加速再現(xiàn)過程。指示符再現(xiàn)裝置也可以插入一些延遲，以對語音和指示符注釋進行再同步。
作為本發(fā)明的一個測試，創(chuàng)建了一個簡單的概念系統(tǒng)，用來模擬電話和語音郵件部分的功能。該系統(tǒng)如圖4所示。這一系統(tǒng)由三個UNIX進程構(gòu)成，運行在兩個分離的工作站上。進程1運行圖像注釋軟件，該軟件加入了遠程過程調(diào)用功能，用以模擬與語音郵件服務器之間的通訊。進程2后臺運行，模擬語音郵件系統(tǒng)的功能；根據(jù)協(xié)議中的定義，該進程接收來自注釋程序(進程1)、電話裝置(進程3)的命令，也向這些進程發(fā)出命令。最后，進程3用于模擬標準電話裝置。該系統(tǒng)在第二臺工作站上使用圖形用戶界面、話筒、和音箱來記錄和播放消息的語音部分。上述測試系統(tǒng)說明本發(fā)明可以實現(xiàn)預計的功能。
如上所述，本發(fā)明將動態(tài)圖像注釋的使用擴展到缺少完全多媒體功能的PC機或工作站上。采用電話傳輸多媒體消息的語音/聲音部分還有其它優(yōu)點，例如被記錄和傳輸?shù)穆曇糍|(zhì)量的提高，對局域網(wǎng)通信量和帶寬要求的降低。
本發(fā)明并不僅限于上述的硬件、軟件配置，或運作過程。本發(fā)明包括如下權(quán)利要求范圍中包含的所有對其的變化和替換。
權(quán)利要求
1.一種基于電話的動態(tài)圖像注釋系統(tǒng)，包括計算機裝置，包括計算機屏幕；局域網(wǎng)絡，與所述計算機裝置相聯(lián)接；語音郵件系統(tǒng)，與所述局域網(wǎng)相聯(lián)接；公共分組交換機(PBX)裝置，與所述語音郵件系統(tǒng)相聯(lián)接；電話裝置，與所述PBX裝置相聯(lián)接；還有，協(xié)議裝置，對一消息進行記錄和回放；其中，在所述記錄過程中，消息的語音部分被分離，以使所述電話裝置可以傳輸所述消息的語音部分；在所述回放過程中，經(jīng)所述電話裝置播放的所述語音部分與疊加繪制在所述計算機屏幕上顯示的所述消息的圖像上的圖形和指示符部分同步。
2.如權(quán)利要求1所述的基于電話的動態(tài)圖像注釋系統(tǒng)，其中所述的協(xié)議裝置包括記錄裝置；還有，回放裝置。
3.如權(quán)利要求2所述的基于電話的動態(tài)圖像注釋系統(tǒng)，其中所述的記錄裝置包括載入裝置，將所述圖像載入到所述計算機屏幕上；啟動裝置，要求所述語音郵件系統(tǒng)開始呼叫一個設備，并進入等待狀態(tài)；其中所述語音郵件系統(tǒng)開始所述呼叫，當回應所述呼叫時，顯示提示符指示所述呼叫的原因，并要求用戶執(zhí)行特定的動作；確認裝置，提供所述用戶的確認；指令裝置，在所述用戶開始使用所述電話裝置記錄一段語音消息時，使所述語音郵件系統(tǒng)指示所述計算機裝置上的注釋程序進行注釋；還有，通訊裝置，使所述語音郵件系統(tǒng)發(fā)送圖像、指示符、和同步標記到消息存儲器，將這些消息與所述語音消息保存在一起。
4.如權(quán)利要求2所述的基于電話的動態(tài)圖像注釋系統(tǒng)，其中所述的回放裝置包括載入裝置，將所述圖像載入到所述計算機屏幕上；啟動裝置，要求所述語音郵件系統(tǒng)開始呼叫一個設備，并進入等待狀態(tài)；其中所述語音郵件系統(tǒng)開始所述呼叫，當回應所述呼叫時，顯示提示符指示所述呼叫的原因，并要求用戶執(zhí)行特定的動作；確認裝置，提供所述用戶的確認；傳輸裝置，當所述圖像和指示符顯示在所述計算機裝置屏幕上時，經(jīng)所述電話裝置發(fā)送所述語音消息；還有，同步裝置，使用所述同步標記來協(xié)調(diào)所述電話裝置和所述計算機裝置的所述屏幕。
5.如權(quán)利要求4所述的基于電話的動態(tài)圖像注釋系統(tǒng)，其中所述的回放裝置還包括消息獲取裝置，使所述計算機裝置向所述語音郵件系統(tǒng)請求一列消息；消息隊列裝置，使所述語音郵件系統(tǒng)提供所述消息隊列；消息選擇裝置，使所述計算機裝置從所述消息隊列中選擇一條或多條消息；還有，傳輸和顯示裝置，使所述語音郵件系統(tǒng)提供所述一條和多條消息。
6.一種基于電話的動態(tài)圖像注釋系統(tǒng)，包括計算機裝置，包括計算機屏幕；調(diào)制解調(diào)器裝置，與所述計算機裝置相聯(lián)接；電話裝置，與所述調(diào)制解調(diào)器相聯(lián)接；公共電話網(wǎng)，與所述調(diào)制解調(diào)器相聯(lián)接；公共分組交換機(PBX)裝置，與所述公共電話網(wǎng)相聯(lián)接；語音郵件系統(tǒng)，與所述PBX裝置相聯(lián)接；還有，協(xié)議裝置，對一消息進行記錄和回放；其中，在所述記錄過程中，消息的語音部分被分離，以使所述電話裝置可以傳輸所述消息的語音部分；在所述回放過程中，經(jīng)所述電話裝置播放的所述語音部分與疊加繪制在所述計算機屏幕上顯示的所述消息的圖像上的圖形和指示符部分同步。
7.如權(quán)利要求6所述的基于電話的動態(tài)圖像注釋系統(tǒng)，其中所述的協(xié)議裝置包括記錄裝置；還有，回放裝置。
8.如權(quán)利要求7所述的基于電話的動態(tài)圖像注釋系統(tǒng)，其中所述的記錄裝置包括載入裝置，將所述圖像載入到所述計算機屏幕上；啟動裝置，要求所述語音郵件系統(tǒng)開始呼叫一個設備，并進入等待狀態(tài)；其中所述語音郵件系統(tǒng)開始所述呼叫，當回應所述呼叫時，顯示提示符指示所述呼叫的原因，并要求用戶執(zhí)行特定的動作；確認裝置，提供所述用戶的確認；指令裝置，在所述用戶開始使用所述電話裝置記錄一段語音消息時，使所述語音郵件系統(tǒng)指示所述計算機上的注釋程序進行注釋；還有，通訊裝置，使所述語音郵件系統(tǒng)發(fā)送圖像、指示符、和同步標記到消息存儲器，將這些消息與所述語音消息保存在一起。
9.如權(quán)利要求7所述的基于電話的動態(tài)圖像注釋系統(tǒng)，其中所述的回放裝置還包括載入裝置，將所述圖像載入到所述計算機屏幕上；啟動裝置，要求所述語音郵件系統(tǒng)開始呼叫一個設備，并進入等待狀態(tài)；其中所述語音郵件系統(tǒng)開始所述呼叫，當回應所述呼叫時，顯示提示符指示所述呼叫的原因，并要求用戶執(zhí)行特定的動作；確認裝置，提供所述用戶的確認；傳輸裝置，當所述圖像和指示符顯示在所述計算機裝置屏幕上時，經(jīng)所述電話裝置發(fā)送所述語音消息；還有，同步裝置，使用所述同步標記來協(xié)調(diào)所述電話裝置和所述計算機裝置的所述屏幕。
10.如權(quán)利要求9所述的基于電話的動態(tài)圖像注釋系統(tǒng)，其中所述的回放裝置還包括消息獲取裝置，使所述計算機裝置向所述語音郵件系統(tǒng)請求一列消息；消息隊列裝置，使所述語音郵件系統(tǒng)提供所述消息隊列；消息選擇裝置，使所述計算機裝置從所述消息隊列中選擇一條或多條消息；還有，傳輸和顯示裝置，使所述語音郵件系統(tǒng)提供所述一條和多條消息。
11.一種動態(tài)注釋圖像傳輸方法，包括以下步驟使用帶計算機屏幕的計算機裝置；聯(lián)接所述計算機裝置和局域網(wǎng)；聯(lián)接語音郵件系統(tǒng)和所述局域網(wǎng)；聯(lián)接公共分組交換機(PBX)裝置和所述語音郵件系統(tǒng)；聯(lián)接電話裝置和所述語音郵件系統(tǒng)；還有，使用協(xié)議裝置記錄和回放一條消息；其中，在所述記錄過程中，消息的語音部分被分離，以使所述電話裝置可以傳輸所述消息的語音部分；在所述回放過程中，經(jīng)所述電話裝置播放的所述語音部分與疊加繪制在所述計算機屏幕上顯示的所述消息的圖像上的圖形和指示符部分同步。
12.如權(quán)利要求11所述的動態(tài)注釋圖像傳輸方法，其中所述協(xié)議裝置的使用包括以下步驟記錄所述消息；還有，回放所述消息。
13.如權(quán)利要求12所述的動態(tài)注釋圖像傳輸方法，其中所述消息的記錄包括以下步驟載入所述圖像到所述計算機屏幕；要求所述語音郵件系統(tǒng)開始呼叫一個設備，并進入等待狀態(tài)；其中所述語音郵件系統(tǒng)開始所述呼叫，當回應所述呼叫時，顯示提示符指示所述呼叫的原因，并要求用戶執(zhí)行特定的動作；提供所述用戶的確認；在所述用戶開始使用所述電話裝置記錄一段語音消息時，啟動所述語音郵件系統(tǒng)，指示所述計算機裝置上的注釋程序進行注釋；還有，指示所述語音郵件系統(tǒng)發(fā)送圖像、指示符、和同步標記到消息存儲器，將這些消息與所述語音消息保存在一起。
14.如權(quán)利要求12所述的動態(tài)注釋圖像傳輸方法，其中所述消息的回放包括以下步驟載入所述圖像到所述計算機屏幕；要求所述語音郵件系統(tǒng)開始呼叫一個設備，并進入等待狀態(tài)；其中所述語音郵件系統(tǒng)開始所述呼叫，顯示提示符指示所述呼叫的原因，并要求用戶執(zhí)行特定的動作；提供所述用戶的確認；當所述圖像和指示符顯示在所述計算機裝置屏幕上時，經(jīng)所述電話裝置發(fā)送所述語音消息；還有，使用所述同步標記來同步所述電話裝置和所述計算機裝置的所述屏幕。
15.如權(quán)利要求14所述的動態(tài)注釋圖像傳輸方法，其中所述消息的回放還包括以下步驟啟動所述計算機裝置向所述語音郵件系統(tǒng)請求一列消息；提供來自所述語音郵件系統(tǒng)的所述消息隊列；使所述計算機裝置從所述消息隊列中選擇一條或多條消息；還有，傳輸來自所述語音郵件系統(tǒng)的所述一條和多條消息。
16.一種動態(tài)注釋圖像傳輸方法，包括以下步驟使用帶計算機屏幕的計算機裝置；聯(lián)接調(diào)制解調(diào)器裝置和所述計算機裝置；聯(lián)接電話裝置和所述調(diào)制解調(diào)器；聯(lián)接公共電話網(wǎng)和所述調(diào)制解調(diào)器；聯(lián)接公共分組交換機(PBX)裝置和所述公共電話網(wǎng)；聯(lián)接語音郵件系統(tǒng)和所述PBX裝置；還有，使用協(xié)議裝置記錄和回放一條消息；其中，在所述記錄過程中，消息的語音部分被分離，以使所述電話裝置可以傳輸所述消息的語音部分；在所述回放過程中，經(jīng)所述電話裝置播放的所述語音部分與疊加繪制在所述計算機屏幕上顯示的所述消息的圖像上的圖形和指示符部分同步。
17.如權(quán)利要求16所述的動態(tài)注釋圖像傳輸方法，其中所述協(xié)議裝置的使用包括以下步驟記錄所述消息；還有，回放所述消息。
18.如權(quán)利要求17所述的動態(tài)注釋圖像傳輸方法，其中所述消息的記錄包括以下步驟載入所述圖像到所述計算機屏幕；要求所述語音郵件系統(tǒng)開始呼叫一個設備，并進入等待狀態(tài)；其中所述語音郵件系統(tǒng)開始所述呼叫，當回應所述呼叫時，顯示提示符指示所述呼叫的原因，并要求用戶執(zhí)行特定的動作；提供所述用戶的確認；在所述用戶開始使用所述電話裝置記錄一段語音消息時，啟動所述語音郵件系統(tǒng)，指示所述計算機裝置上的注釋程序進行注釋；還有，指示所述語音郵件系統(tǒng)發(fā)送圖像、指示符、和同步標記到消息存儲器，將這些消息與所述語音消息保存在一起。
19.如權(quán)利要求18所述的動態(tài)注釋圖像傳輸方法，其中所述消息的回放包括以下步驟載入所述圖像到所述計算機屏幕；要求所述語音郵件系統(tǒng)開始呼叫一個設備，并進入等待狀態(tài)；其中所述語音郵件系統(tǒng)開始所述呼叫，顯示提示符指示所述呼叫的原因，并要求用戶執(zhí)行特定的動作；提供所述用戶確認；當所述圖像和指示符顯示在所述計算機裝置屏幕上時，經(jīng)所述電話裝置發(fā)送所述語音消息；還有，使用所述同步標記來同步所述電話裝置和所述計算機裝置的所述屏幕。
20.如權(quán)利要求19所述的基于電話的動態(tài)圖像注釋系統(tǒng)，其中所述消息的回放還包括以下步驟啟動所述計算機裝置向所述語音郵件系統(tǒng)請求一列消息；提供來自所述語音郵件系統(tǒng)的所述消息隊列；使所述計算機裝置從所述消息隊列中選擇一條或多條消息；還有，傳輸來自所述語音郵件系統(tǒng)的所述一條和多條消息。
全文摘要
一種通信系統(tǒng),它能夠生成、存儲和獲取含有動態(tài)注釋圖像的多媒體消息,利用語音郵件系統(tǒng)的存儲和發(fā)送功能以及電話裝置來傳送消息的語音/聲音部分。本系統(tǒng)包含一協(xié)議,它支持在傳輸和存儲過程中將消息的語音/聲音部分分離,并在回放時重新組裝語音/聲音部分。該協(xié)議采用了適當?shù)耐綑C制。
文檔編號G06F3/16GK1195445SQ96196758
公開日1998年10月7日 申請日期1996年8月15日 優(yōu)先權(quán)日1995年9月6日
發(fā)明者阿圖羅·皮扎諾, 所羅門·吳, 邱明義 申請人:西門子合作研究公司, 西門子商業(yè)通訊系統(tǒng)公司