專利名稱：用于語(yǔ)音-文本和文本-面部動(dòng)畫轉(zhuǎn)換的通信網(wǎng)絡(luò)和設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及通信網(wǎng)絡(luò)和一種用于在通信網(wǎng)絡(luò)上發(fā)送和接收消息 的設(shè)備。本發(fā)明還涉及一種向用戶呈現(xiàn)消息的新方法，以及一種可以 用于向消息閱讀方呈現(xiàn)與消息發(fā)送方相關(guān)聯(lián)的面部圖像的數(shù)據(jù)結(jié)構(gòu) 編碼信息。
背景技術(shù)：
現(xiàn)今有很多不同的通信網(wǎng)絡(luò)正被廣泛使用，以便能夠執(zhí)行遠(yuǎn)距離 個(gè)人通信。傳統(tǒng)上，唯一的通信形式是發(fā)送信件或使用電話，但是最 新趨勢(shì)業(yè)已注意到了即時(shí)或準(zhǔn)即時(shí)書面通信的進(jìn)展。關(guān)于此類通信形
式的示例是電子郵件和文本消息(或者更確切地說(shuō)是SMS或MMS 消息)。
對(duì)電子郵件和文本消息而言，發(fā)送方將消息鍵入諸如移動(dòng)電話或 個(gè)人計(jì)算機(jī)之類的發(fā)送方設(shè)備。然后，該消息經(jīng)由電子網(wǎng)絡(luò)發(fā)送到接 收方設(shè)備。之后，用戶可以拾取所發(fā)送的消息，并且將文本顯示在與 該設(shè)備相關(guān)聯(lián)的顯示屏上。
雖然這些通信形式經(jīng)證實(shí)是廣受歡迎的，并且對(duì)年紀(jì)較小的用戶 來(lái)說(shuō)尤其如此，但是，由于這些通信形式無(wú)法表現(xiàn)發(fā)送方感情，人們 覺(jué)得此類消息被誤解也已經(jīng)有一段時(shí)間了。此外，這些通信形式有些 不講人情，并且很難被存在視覺(jué)障礙的用戶閱讀。
針對(duì)該問(wèn)題的一個(gè)局部解決方案是開發(fā)了一種符號(hào)系統(tǒng)，這些符 號(hào)被稱為情感符(emoticons)，并且可以包含在鍵入的消息中。這些 符號(hào)描繪的是表情，并有助于讀者確定發(fā)送方意圖表達(dá)的情感。例如, 可以插入"笑"臉以顯示發(fā)送方很快樂(lè)。

發(fā)明內(nèi)容
本發(fā)明至少一個(gè)方面的目的是至少部分改善將表情或其他個(gè)性 化形式包含在經(jīng)由通信網(wǎng)絡(luò)發(fā)送的鍵入消息、例如文本消息、電子郵 件或即時(shí)消息中的問(wèn)題。
根據(jù)第一個(gè)方面，本發(fā)明提供了一種通信系統(tǒng)，包括
發(fā)送設(shè)備，
接收設(shè)備，以及
將發(fā)送設(shè)備連接至接收設(shè)備的網(wǎng)絡(luò)； 其中所述發(fā)送設(shè)備包括
用于輸入作為消息的文本字符序列的至少一個(gè)用戶可操作輸入， 以及用于在網(wǎng)絡(luò)上發(fā)送消息的傳輸裝置； 其中所述接收設(shè)備包括
存儲(chǔ)多個(gè)頭部圖像的存儲(chǔ)器，每個(gè)頭部圖像與不同發(fā)送設(shè)備相關(guān) 聯(lián)并且包含從前方看到的頭部圖像；
接收方裝置，用于接收包含文本字符序列的消息； 文本-語(yǔ)音轉(zhuǎn)換裝置，用于將消息的文本字符轉(zhuǎn)換成與文本字符
序列相對(duì)應(yīng)的音頻消息；
動(dòng)畫裝置，用于從存儲(chǔ)在存儲(chǔ)器中的、與消息的發(fā)送方相關(guān)聯(lián)的 頭部圖像中產(chǎn)生頭部的動(dòng)畫化的局部3D圖像；所述動(dòng)畫裝置將頭部 的至少一個(gè)面部特征動(dòng)畫化，所述動(dòng)畫與頭部在閱讀消息時(shí)所^t出的 運(yùn)動(dòng)相對(duì)應(yīng)；顯示裝置，用于顯示動(dòng)畫化的局部3D頭部；以及揚(yáng)聲 器裝置，用于以與所顯示的頭部同步的方式輸出音頻消息。
通常，人與人之間的通信中傳達(dá)的大多數(shù)意圖和認(rèn)知都是利用面 部表情以及一個(gè)人對(duì)另 一個(gè)人的面部外形的熟悉度來(lái)傳送的。在本發(fā) 明中，面部特征的表示能具有很高的精確度，這是因?yàn)槠淇梢曰谟?戶或發(fā)送方的數(shù)碼照片，而數(shù)碼照片業(yè)已成為一種很好的相似物并且 它能將這里描述的動(dòng)畫化的局部3D圖像作為消息發(fā)送方的逼真且可 識(shí)別的表示(或畫像)來(lái)呈現(xiàn)給接收方。與傳輸和顯示純文本消息相比，通過(guò)在接收設(shè)備上執(zhí)行將文本消 息轉(zhuǎn)換成動(dòng)畫化的語(yǔ)音消息的處理，不會(huì)在網(wǎng)絡(luò)上造成附加負(fù)擔(dān)。此 外，通過(guò)從預(yù)先存儲(chǔ)在接收設(shè)備的存儲(chǔ)器中的圖像再現(xiàn)動(dòng)畫化的頭
部，可以不必用所發(fā)射的消息來(lái)發(fā)送圖像。另外，通過(guò)使用局部3D 而不是完整3D再現(xiàn)(rendering,或呈現(xiàn))，可以進(jìn)一步減輕計(jì)算負(fù) 擔(dān)。
就局部3D而言，我們指的是所述動(dòng)畫顯示的頭部并不是頭部的 完整3D表示。從某種意義上講，它可以包括2D圖像(頭部圖像可 以是2D圖像，例如用相機(jī)拍攝的照片)，所述2D圖像有幾處變形， 從而在Z平面上為其提供一定深度，以使面部特征從2D平面上凸起。 圖像的其他部分可以保持2D。這種局部3D圖像是一個(gè)存在失真并且 顯現(xiàn)為3D的2D圖像。只要簡(jiǎn)單改變與圖像邊界相對(duì)應(yīng)的基準(zhǔn)平面 方位，所顯示的圖像即可從左向右略微傾斜。由于該面部特征在Z平 面上具有指定深度，因此，在被傾斜的時(shí)候，在顯示器上看到的圖像 將看起來(lái)確實(shí)是3D的。該網(wǎng)格還可以在三個(gè)平面上旋轉(zhuǎn)，以使頭部 看起來(lái)像是朝著一側(cè)傾斜，或是在點(diǎn)頭動(dòng)作中輕微上下，抑或是左右 擺動(dòng)。
由此，存儲(chǔ)器可以包括由一組互連節(jié)點(diǎn)限定的3D網(wǎng)格，所述互 連節(jié)點(diǎn)在Z平面中為本來(lái)是2D頭部圖像給出一深度。通常，所述節(jié) 點(diǎn)可以全都處于圍繞網(wǎng)格邊界的一個(gè)平面中，并且邊界內(nèi)的節(jié)點(diǎn)可以 高出所述平面以便與面部特征相對(duì)應(yīng)。動(dòng)畫裝置可以通過(guò)將頭部頭像 重疊在網(wǎng)格上，使得頭部圖像面部區(qū)域的面部特征與網(wǎng)格中升高的面 部特征相對(duì)準(zhǔn)來(lái)產(chǎn)生局部3D頭部圖像。由此，面部特征會(huì)在Z平面 前推。而諸如頭發(fā)之類的其他頭部部分則可以通過(guò)落入邊界以內(nèi)而保 持平坦。
由此，該網(wǎng)格可以復(fù)制的是在將頭部按在彈性材料片材背后(該 彈性材料片材緊繃于某個(gè)框架)時(shí)產(chǎn)生的3D拓樸結(jié)構(gòu)。這種材料會(huì) 按照諸如鼻子、眉毛和嘴唇之類的面部特征而被前推，但仍舊會(huì)保持 在面部區(qū)域之外的同一平面中。
9這個(gè)在面部特征區(qū)域中增高但在這些區(qū)域之外平坦的3D網(wǎng)格允 許非常簡(jiǎn)單地在網(wǎng)格上映射包含頭發(fā)或是超出面部輪廓的其他特征的頭部圖像。與產(chǎn)生完整3D模型相比，該映射要簡(jiǎn)單得多，其在所 實(shí)現(xiàn)的逼真度方面也提供了很好的結(jié)果。對(duì)3D模型來(lái)說(shuō)，是無(wú)法實(shí) 現(xiàn)逼真的頭發(fā)顯示的。在動(dòng)畫化期間，即便僅僅是局部3D,增高的 面部特征也允許頭部圖像在三個(gè)平面上輕微旋轉(zhuǎn)，而這些特征則可以 提供真實(shí)3D的外觀。網(wǎng)格通?？梢跃哂芯匦屋喞?，以便與典型的矩形顯示屏輪廓相適 應(yīng)。這樣做允許根據(jù)需要來(lái)擴(kuò)大動(dòng)畫圖像，以便填充顯示屏。在接收設(shè)備存儲(chǔ)器中只存儲(chǔ)單個(gè)網(wǎng)格，以便用于再現(xiàn)來(lái)自任何發(fā) 送方的動(dòng)畫化頭部，其中所述發(fā)送方的頭部圖像被保存在接收方設(shè)備 中。與保存很多網(wǎng)格相比，這樣做減少了提供動(dòng)畫化的頭部圖像所需 要的存儲(chǔ)器數(shù)量，即使每個(gè)頭部圖像都具有一個(gè)網(wǎng)格的時(shí)候也是如 此。當(dāng)然，如有需要，也可以存儲(chǔ)一個(gè)以上的網(wǎng)格。網(wǎng)格可以使用與節(jié)點(diǎn)相連的多個(gè)鏈接來(lái)模擬，這些鏈接模擬了面 部與顱骨骨骼的依屬關(guān)系，而"骨骼"的運(yùn)動(dòng)則導(dǎo)致節(jié)點(diǎn)在網(wǎng)格中彼此相對(duì)移動(dòng)，從而創(chuàng)建動(dòng)畫。在這里可以存儲(chǔ)單獨(dú)的網(wǎng)格動(dòng)畫，以使每一個(gè)語(yǔ)音音位動(dòng)畫化。 所存儲(chǔ)的頭部圖像可以包括諸如數(shù)碼照片之類的相片，此外它也 可以包括從前面看到的頭部的其他2D圖像(拍攝或程式化的)。通 常，它可以是發(fā)送方頭部的照片。該圖像的大小可以調(diào)整，以使面部 為將與3D網(wǎng)格中的面部大小相匹配的設(shè)置大小。這種處理可以通過(guò) 根據(jù)需要修剪或縮放圖像而從任何照片中實(shí)現(xiàn)。為了實(shí)現(xiàn)圖像的最高 逼真度，該圖像應(yīng)該包括一個(gè)圍繞面部的區(qū)域，該區(qū)域顯示了將位于 3D網(wǎng)格的平坦部分的頭發(fā)和脖頸部分。由此，在使用照片之前可以對(duì)其進(jìn)行編輯，以便增強(qiáng)或掩蓋發(fā)送 方面部的特征。作為替換，它也可以是某個(gè)人頭部/面部的照片，例如 男演員/女演員、歌手或其他名人。該照片可以通過(guò)數(shù)碼相機(jī)或是使用 數(shù)字掃描儀來(lái)獲得。然后，發(fā)送方可以選擇將其自身與這個(gè)頭部圖像相關(guān)聯(lián)。與存儲(chǔ)器中每個(gè)頭部圖像相關(guān)聯(lián)的可以是一個(gè)或多個(gè)坐標(biāo)，這些 坐標(biāo)定義要被動(dòng)畫化的面部特征在網(wǎng)格上的位置。很明顯，所述位置 可以是嘴的位置。對(duì)其他那些有可能被動(dòng)畫化的特征來(lái)說(shuō)，同樣可以 存儲(chǔ)其坐標(biāo)。這可以包括眼睛和眉毛。存儲(chǔ)器可以存儲(chǔ)一個(gè)或多個(gè)有可能被動(dòng)畫化的面部特征，例如 嘴、眼睛、眉毛等等。在為每個(gè)特征提供一個(gè)以上的版本的情況下， 例如兩個(gè)或更多不同的眼眶形狀，則可以將一個(gè)參數(shù)與每個(gè)頭部圖像 相關(guān)聯(lián)，以便指示在動(dòng)畫處理中使用哪些特征。此外，頭部圖像可以與一個(gè)標(biāo)識(shí)符相關(guān)聯(lián)，其中所述標(biāo)識(shí)符指示 與所述面部圖像相關(guān)聯(lián)的消息發(fā)送方的身份。頭部圖像、坐標(biāo)以及標(biāo)識(shí)符可以聚集為一個(gè)單獨(dú)的數(shù)據(jù)結(jié)構(gòu)。然 后，當(dāng)在網(wǎng)絡(luò)上首次連接設(shè)備時(shí)，該數(shù)據(jù)結(jié)構(gòu)可以從一個(gè)設(shè)備輕松傳 送到另一個(gè)設(shè)備。通常，該數(shù)據(jù)是借助服務(wù)器或其他中介來(lái)傳送的。發(fā)射設(shè)備既可以將標(biāo)識(shí)符連同消息一起發(fā)射，也可以將其作為消 息的一部分來(lái)發(fā)射。在最簡(jiǎn)單的形式中，標(biāo)識(shí)符可以包括發(fā)射方設(shè)備 的唯一網(wǎng)絡(luò)地址(IP地址、電話號(hào)碼等等)。然后，在接收方設(shè)備上， 該標(biāo)識(shí)符可以與正確的頭部圖#>相匹配。當(dāng)接收設(shè)備首次想要從新用戶那里接收消息時(shí)，在接收消息之 前，作為初始設(shè)置處理的一部分，在接收設(shè)備中可以存儲(chǔ)頭部圖像。 該處理可以由接收設(shè)備請(qǐng)求頭部圖像來(lái)發(fā)起，然后，發(fā)射機(jī)將會(huì)發(fā)送 該頭部圖像。作為替換，它也可以由首次希望向接收方設(shè)備發(fā)送消息 的人來(lái)發(fā)起。非常重要的是，在初始設(shè)置之后，將不再發(fā)生頭部圖像傳輸。這 同樣意味著不需要用文本消息來(lái)發(fā)送附加數(shù)據(jù)。當(dāng)然，如果頭部圖像 已經(jīng)改變，則可以根據(jù)需要并以其改變的形式來(lái)重新發(fā)送該頭部圖 像，但如果其沒(méi)有改變，則只需要在初始設(shè)置期間將其發(fā)送一次。轉(zhuǎn)換裝置可以包括一個(gè)保存在接收設(shè)備存儲(chǔ)器中的字典，其中該 字典列舉了用于不同文本字符序列的音位。如果提供了字典，則可以包括比較裝置，以便比較消息中的文本 與字典中的單詞或聲音，從而構(gòu)造音頻消息。對(duì)于組成音頻消息的一個(gè)或多個(gè)聲音(優(yōu)選是每一個(gè)聲音)來(lái)說(shuō)， 該字典還可以保存與該聲音相對(duì)應(yīng)并由動(dòng)畫裝置顯示的面部特征的 動(dòng)畫。該動(dòng)畫可以包括動(dòng)畫4匕的嘴部，〗旦是也可以包括一對(duì)動(dòng)畫化的 眼睛或其他特征，例如眉毛。更為優(yōu)選的字典替換物是使用基于規(guī)則的文本-語(yǔ)音轉(zhuǎn)換模式。 該處理可以通過(guò)在存儲(chǔ)器中提供一組規(guī)則來(lái)實(shí)現(xiàn)，所述規(guī)則定義用于 指定的文本字符組合或序列的音位。該存儲(chǔ)器還可以包括一組例外， 其中該例外指示的是不符合這些規(guī)則的文本字符序列。與基于完整字典的系統(tǒng)相比，使用 一組規(guī)則將會(huì)導(dǎo)致更加簡(jiǎn)明地 實(shí)現(xiàn)文本-語(yǔ)音轉(zhuǎn)換器。如果接收方設(shè)備包括諸如電話這類與較大臺(tái)式 計(jì)算機(jī)設(shè)備相比可用存儲(chǔ)器有限的移動(dòng)設(shè)備，那么該處理將是非常重 要的?？梢詾橐环N以上的語(yǔ)言提供規(guī)則，可以想象的是，如果定義了 足夠規(guī)則，那么，通過(guò)使用根據(jù)本發(fā)明的系統(tǒng)，幾乎任何語(yǔ)言都可以 ,皮從文本轉(zhuǎn)換成語(yǔ)音。音頻消息可以包括本領(lǐng)域已知并且可以由接收設(shè)備轉(zhuǎn)換成模擬音頻信號(hào)的任何音頻格式。例如，它可以包括.wav格式的文件。網(wǎng)絡(luò)可以包括蜂窩電話網(wǎng)絡(luò)，發(fā)送設(shè)備和接收設(shè)備則可以包括蜂 窩電話。該網(wǎng)絡(luò)可以包括將固定電話用于發(fā)送和接收設(shè)備的固定電話 網(wǎng)絡(luò)。消息則可以包括SMS、 MMS格式或類似格式的文本消息。更為優(yōu)選的是，所發(fā)射的消息可以采用 一種或多種標(biāo)準(zhǔn)即時(shí)消息 傳遞數(shù)據(jù)格式來(lái)發(fā)送，例如XMPP、尤其是Jabber。由于其傳輸快于 諸如SMS或MMS之類的其他移動(dòng)協(xié)議并且更為廉價(jià)，因此，這種 數(shù)據(jù)格式是首選的。作為替換，網(wǎng)絡(luò)可以包括互聯(lián)網(wǎng)或其他形式的通信網(wǎng)絡(luò)，并且該 設(shè)備可以包括能夠經(jīng)由互聯(lián)網(wǎng)發(fā)送數(shù)據(jù)的任何設(shè)備，例如PCIG、 PDA、膝上型計(jì)算機(jī)、平板PC、智能電話等等。傳輸裝置將會(huì)根據(jù)與設(shè)備結(jié)合使用的網(wǎng)絡(luò)而改變。例如，它可以包括用于GSM電話網(wǎng)絡(luò)的天線，或者wi-fi網(wǎng)絡(luò)的天線或是用于與互 聯(lián)網(wǎng)相連的數(shù)據(jù)端口。對(duì)消息發(fā)送方來(lái)說(shuō)，如果知道預(yù)定接收方是否存在于其接收設(shè)備 上，那么將是非常有益的。其中，發(fā)送設(shè)備與消息傳遞服務(wù)器進(jìn)行通 信，并且可以被配備成指示接收方是在線、還是不愿被打擾、抑或是 缺席。這樣做能使發(fā)送方選擇是否其愿意與預(yù)定接收方進(jìn)行雙向消息 會(huì)話，或者其是否只是想要發(fā)送一個(gè)單向消息。服務(wù)器可以包括方便 存儲(chǔ)消息的預(yù)定接收方缺席的消息，隨后則會(huì)在接收方返回的時(shí)候轉(zhuǎn) 發(fā)這些消息。顯示裝置可以包括單色或彩色液晶顯示器。它應(yīng)該具有足以將面 部平滑動(dòng)畫化的刷新率，例如大于12幀/秒的刷新率。揚(yáng)聲器裝置可以包括構(gòu)建在設(shè)備中的小型揚(yáng)聲器，或是通過(guò)硬線 或無(wú)線鏈路而與設(shè)備相連的可拆卸耳機(jī)。應(yīng)該理解的是，在諸如移動(dòng)電話之類的設(shè)備中可以找到諸如顯示 器、揚(yáng)聲器、接收方裝置以及發(fā)射方裝置之類的所有關(guān)鍵特征。因此， 一個(gè)設(shè)備可以同時(shí)充當(dāng)發(fā)送方和接收方設(shè)備。非常重要的是，該消息指示了發(fā)送方身份，由此接收方設(shè)備可以 選擇與發(fā)送設(shè)備用戶相對(duì)應(yīng)的面部來(lái)顯示。在實(shí)踐中，該身份可以包 括發(fā)送方設(shè)備的電話號(hào)碼(用于電信網(wǎng)絡(luò))或是用于互聯(lián)網(wǎng)的電子郵 件地址。通常，成百上千的發(fā)送和接收設(shè)備可以與網(wǎng)絡(luò)相連。在這種情況 下，接收設(shè)備可以存儲(chǔ)關(guān)于所要顯示的不同面部的數(shù)據(jù)庫(kù)，其中每個(gè) 面部都與一個(gè)不同的消息發(fā)送方相對(duì)應(yīng)。通過(guò)提供動(dòng)畫化的頭部/面部，可以極大增強(qiáng)消息顯示。利用音 頻，它會(huì)使設(shè)備適合新的用戶集合，例如視力受損或閱讀困難的用戶。 此外，由于在圖^f象中可以看到用戶身份，因此，該處理還可以更近一 步地將消息閱讀體驗(yàn)個(gè)性化。接收方設(shè)備還可以包括同時(shí)在顯示器上顯示多個(gè)頭部圖像的圖 像生成裝置，其中該動(dòng)畫裝置在任何時(shí)間都只將這些頭部圖像中的一個(gè)圖像動(dòng)畫化。該生成裝置可以將頭部圖像顯示成在某個(gè)位置顯示動(dòng) 畫化的頭部圖像，使得所述動(dòng)畫化的頭部圖像看起來(lái)在其他頭部圖像 的前方。只要?jiǎng)赢嫽粋€(gè)頭部圖像就轉(zhuǎn)動(dòng)圖像，以便將所述圖像移動(dòng) 到前方。該生成裝置可以以圓圏形式來(lái)顯示圖像，其中在需要讓某個(gè)頭部 圖像位于前方來(lái)進(jìn)行動(dòng)畫化時(shí)，該圓圏可以像圓盤傳送帶一樣轉(zhuǎn)動(dòng)。通過(guò)同時(shí)顯示多個(gè)頭部，接收方設(shè)備的用戶可以輕易識(shí)別出可供 其經(jīng)由網(wǎng)絡(luò)來(lái)進(jìn)行通信的可能的人。發(fā)送方設(shè)備也可以包括同時(shí)在屏幕上顯示頭部圖像的類似圖像 生成裝置。用戶可以通過(guò)操縱設(shè)備來(lái)將某個(gè)頭部圖像移動(dòng)到前方，以 便指示將某個(gè)消息發(fā)送給與該頭部圖像相關(guān)聯(lián)的接收方設(shè)備。發(fā)送方設(shè)備(或接收方設(shè)備)的存儲(chǔ)器可以包括與每個(gè)頭部圖像 相關(guān)聯(lián)的組標(biāo)簽，并且圖像生成裝置可以同時(shí)顯示所有那些帶有相同 組標(biāo)簽的頭部圖像。每個(gè)頭部圖像都可以與一個(gè)以上的組標(biāo)簽相關(guān)聯(lián)，并且用戶可以 通過(guò)操作設(shè)備來(lái)選擇所要顯示的組。例如，可以提供"工作"組標(biāo)簽和 "朋友"組標(biāo)簽。根據(jù)第二方面，本發(fā)明提供了 一種被適配成在網(wǎng)絡(luò)上發(fā)送和接收消息的通信設(shè)備，包括存儲(chǔ)多個(gè)頭部圖像的存儲(chǔ)器，其中每個(gè)頭部圖像都與不同發(fā)送設(shè)備相關(guān)聯(lián)并且包含從前方看到的頭部圖像；接收方裝置，用于接收包含文本字符序列的消息； 文本-語(yǔ)音轉(zhuǎn)換裝置，用于將消息的文本字符轉(zhuǎn)換成與所述文本字符序列相對(duì)應(yīng)的音頻消息；動(dòng)畫裝置，用于從存儲(chǔ)器中存儲(chǔ)的、與消息的發(fā)送方相關(guān)聯(lián)的頭 部圖像中產(chǎn)生頭部的動(dòng)畫化的局部3D圖像；所述動(dòng)畫裝置將頭部的 至少一個(gè)面部特征動(dòng)畫化，所述動(dòng)畫與頭部在閱讀消息時(shí)所做出的運(yùn) 動(dòng)相對(duì)應(yīng)；顯示裝置，用于顯示動(dòng)畫化的局部3D頭部；以及14揚(yáng)聲器裝置，用于以與所顯示的頭部同步的方式來(lái)輸出音頻消每該設(shè)備可以包括結(jié)合本發(fā)明的第一方面描述的接收方設(shè)備的任 何可選特征。該設(shè)備可以包括附加標(biāo)簽字典，其中該字典包括與情感相對(duì)應(yīng)的 符號(hào)或符號(hào)序列(文本或其他方式)。在本領(lǐng)域中，有時(shí)會(huì)將這些符 號(hào)稱為情感符(由字符組成的圖釋)。其示例是用于顯示快樂(lè)的符號(hào) 以及用于顯示難過(guò)的符號(hào)@。在識(shí)別這類符號(hào)時(shí)，該設(shè)備可以被適配成用動(dòng)畫化的面部圖像來(lái) 表達(dá)情感。舉個(gè)例子，如果識(shí)別的是表明發(fā)送方正在表達(dá)快樂(lè)的情感 符，則可以讓動(dòng)畫化的面部孩l笑。字典可以包括與每個(gè)聲音相關(guān)聯(lián)的不同面部特征的選擇，例如嘴 部?？梢杂藐P(guān)聯(lián)于所顯示的面部的標(biāo)識(shí)符來(lái)指示要使用哪一個(gè)。該設(shè)備可以包括用以再現(xiàn)語(yǔ)音的揚(yáng)聲器。作為替換，它可以包括 用以將音頻信號(hào)傳遞至揚(yáng)聲器的輸出端口 。后者的一個(gè)示例是耳機(jī)插口 。根據(jù)第三個(gè)方面，本發(fā)明提供了一種通信設(shè)備，包括消息創(chuàng)建裝置，用于創(chuàng)建包含文本字符序列的書面消息；存儲(chǔ)器，存儲(chǔ)代表被設(shè)備用戶選作所述用戶的標(biāo)識(shí)符的頭部圖像的數(shù)據(jù)結(jié)構(gòu)；以及傳輸裝置，用于在網(wǎng)絡(luò)上將消息和數(shù)據(jù)結(jié)構(gòu)一起或單獨(dú)發(fā)送給接收方設(shè)備，其中所述數(shù)據(jù)結(jié)構(gòu)包括顯示從前方看到的面部的二維頭部圖像；以及至少一個(gè)坐標(biāo)，所述坐標(biāo)指示的是要重疊在圖像上的動(dòng)畫化面部特征的位置。所述數(shù)據(jù)結(jié)構(gòu)還可以包括標(biāo)識(shí)要在圖像上重疊哪個(gè)不同的動(dòng)畫 化面部特征的標(biāo)簽。所述數(shù)據(jù)結(jié)構(gòu)可以包含用于下列各項(xiàng)的坐標(biāo)嘴部；一雙眼睛；眉毛；或是其他任何面部特征。如所述，該設(shè)備可以將文本消息和數(shù)據(jù)結(jié)構(gòu)作為單個(gè)文件來(lái)發(fā) 送，或者它們也可以作為附加文件而被發(fā)送或單獨(dú)發(fā)送。本發(fā)明的優(yōu) 點(diǎn)是其可以單獨(dú)發(fā)送文本消息和數(shù)據(jù)結(jié)構(gòu)，其中頭部圖像數(shù)據(jù)結(jié)構(gòu)只 發(fā)送一次，然后則只用每個(gè)消息來(lái)發(fā)送文本和標(biāo)識(shí)符。該設(shè)備可以被設(shè)置成在接收到來(lái)自與網(wǎng)絡(luò)相連的設(shè)備的請(qǐng)求時(shí) 發(fā)送頭部圖像數(shù)據(jù)文件。作為替換，它可以被適配成只在其先前沒(méi)有發(fā)送過(guò)數(shù)據(jù)結(jié)構(gòu)的情 況下在網(wǎng)絡(luò)上向遠(yuǎn)端設(shè)備發(fā)送數(shù)據(jù)結(jié)構(gòu)。該設(shè)備可以包括一個(gè)聯(lián)系列表，該聯(lián)系列表存儲(chǔ)的是先前發(fā)送過(guò) 消息的設(shè)備號(hào)碼或地址。通信設(shè)備可以包括移動(dòng)電話、PDA或個(gè)人計(jì)算機(jī)。實(shí)際上，本 發(fā)明適用于在網(wǎng)絡(luò)上進(jìn)行且發(fā)送消息采用書面消息形式的任何形式 的通信。根據(jù)第四個(gè)方面，本發(fā)明提供了 一種用于表示可在顯示屏上作為 圖像再現(xiàn)的頭部/面部的動(dòng)畫化模型的數(shù)據(jù)結(jié)構(gòu)，包括具有被定義成是互連節(jié)點(diǎn)網(wǎng)格的局部三維表面的貼圖(map)， 其中每個(gè)節(jié)點(diǎn)位于所述表面上并且節(jié)點(diǎn)的群組定義多邊形，所述多邊形進(jìn)而定義所述表面的輪廓線，所述表面通常位于邊界區(qū)域中的單個(gè) 平面上，并且其在與面部拓樸結(jié)構(gòu)相對(duì)應(yīng)的中心區(qū)域中伸出所述平面；從前方看到的頭部/面部的二維圖像，其中所述圖像與貼圖表面 相一致，以便提供面部輪廓線與面部特征相對(duì)應(yīng)的面部的局部三維模 型；至少一個(gè)用戶定義坐標(biāo)，所述坐標(biāo)與模型中面部特征的一部分的 位置相對(duì)應(yīng)；以及至少一個(gè)在貼圖中位于用戶定義坐標(biāo)所定義的位置的面部特征。16該數(shù)據(jù)結(jié)構(gòu)提供了關(guān)于面部的有效模型或表示，其中該模型尤其 可以與本發(fā)明的在先方面結(jié)合使用。
對(duì)于局部3D貼圖來(lái)說(shuō)，除了伸出平面的面部特征所占用的區(qū)域 之外，該貼圖是平的，當(dāng)在顯示器上再現(xiàn)模型時(shí)，如果將圖像放置在 局部3D圖像上，那么它會(huì)提供一個(gè)逼真的外觀，但與完整的3D表 示相比，局部3D貼圖仍舊需要少量數(shù)據(jù)來(lái)構(gòu)建3D圖像。通過(guò)識(shí)別 面部特征位置，可以在再現(xiàn)過(guò)程中添加諸如嘴部或眼睛之類的動(dòng)畫特 征，以便提高逼真度，而不需要在數(shù)據(jù)結(jié)構(gòu)中再現(xiàn)該特征。通過(guò)將平 面區(qū)域圍在面部周圍，可以以一種簡(jiǎn)單現(xiàn)實(shí)的方式顯示頭發(fā)或臉部之 外的其他特征。
根據(jù)第五個(gè)方面，本發(fā)明提供了一種用于產(chǎn)生在顯示屏上顯示的 頭部的動(dòng)畫化局部3D模型的方法，包括以下步驟
選擇具有被定義成是互連節(jié)點(diǎn)網(wǎng)格的局部三維表面的貼圖，每個(gè)
節(jié)點(diǎn)位于所述表面上并且節(jié)點(diǎn)的群組定義多邊形，所述多邊形進(jìn)而定 義所述表面的輪廓線，所述表面通常位于邊界區(qū)域中的單個(gè)平面上， 并且其在與面部拓樸結(jié)構(gòu)相對(duì)應(yīng)的中心區(qū)域中是伸出所述平面； 選擇從前方看到的頭部/面部的二維圖像，
將所述圖像裝配到所述貼圖的表面上，以便提供面部的局部三維 模型，其中在該模型中，面部具有與面部特征相對(duì)應(yīng)的輪廓線；
從數(shù)據(jù)結(jié)構(gòu)中選擇至少一個(gè)用戶定義坐標(biāo)，所述坐標(biāo)與模型中的 面部特征的一部分的位置相對(duì)應(yīng)；以及
選擇至少一個(gè)面部特征；以及
在貼圖上將所述特征定位在所述用戶定義坐標(biāo)所定義的位置。 該方法還可以包括以下步驟在顯示器上再現(xiàn)所述數(shù)據(jù)結(jié)構(gòu)定義
的模型。為此目的，有必要存儲(chǔ)原始貼圖，以便在顯示之前能使該圖
像與原始貼圖相一致。
再現(xiàn)步驟可以包括提供嘴或眼睛之類的至少 一個(gè)面部特征的已
再現(xiàn)和動(dòng)畫化的模型，以及在所顯示的一致的圖像上將其定位在數(shù)據(jù)
結(jié)構(gòu)所指示的坐標(biāo)。由此，該方法可以包括將一個(gè)或多個(gè)面部特征動(dòng)畫化的步驟。
通過(guò)在被映射的圖像中添加嘴或眼睛之類的面部特征，可以使該 圖像看上去更加逼真。
應(yīng)該為讀者所理解的是，本發(fā)明會(huì)在SMS、 MMS、電子郵件以 及即時(shí)消息傳遞這些領(lǐng)域中獲得應(yīng)用。它還可以在不需要任何創(chuàng)造性 努力的情況下被擴(kuò)展到以書面格式發(fā)送消息的其他形式的消息傳遞， 例如RSS新聞提要。例如，回放設(shè)備可以被設(shè)置成接收來(lái)自諸如路透 社/BBC之類的任何互聯(lián)網(wǎng)站點(diǎn)的RSS新聞，并且向最終用戶大聲閱 讀新聞提要內(nèi)容。
根據(jù)第六個(gè)方面，本發(fā)明提供了一種方法，包括
接收包含文本字符序列的消息；
識(shí)別消息的發(fā)送方；
從存儲(chǔ)器中檢索代表要顯示的面部的數(shù)據(jù)結(jié)構(gòu)，所述面部與消息 發(fā)送方相關(guān)聯(lián)；
將消息轉(zhuǎn)換成所述消息的音頻表示；
產(chǎn)生與所述音頻表示相對(duì)應(yīng)的嘴部動(dòng)畫；
同時(shí)顯示面部圖像以及動(dòng)畫化的嘴部，以便播放音頻表示，使得 所顯示的頭部看起來(lái)讀出接收到的消息。
根據(jù)第七個(gè)方面，本發(fā)明為在通信網(wǎng)絡(luò)上使用的聯(lián)網(wǎng)設(shè)備提供了 一種圖形用戶界面，包括
顯示器；
存儲(chǔ)一組頭部圖像的存儲(chǔ)器，每個(gè)頭部圖像與連接到網(wǎng)絡(luò)的不同 設(shè)備相對(duì)應(yīng)；
用戶輸入設(shè)備，例如鍵盤；以及
圖像生成裝置，被設(shè)置成在顯示器上同時(shí)顯示所述組中的每個(gè)頭 部的圖像，其中所述頭部圖像中的一個(gè)要比其他頭部圖像顯示得更為 顯著，以及
其中用戶通過(guò)所述界面來(lái)控制圖像生成裝置，使得用戶可以選擇 要最顯著顯示這些頭部圖像中的哪一個(gè)。頭部圖像可以在屏幕上圍著一個(gè)橢圓形間隔顯示，并且用戶可以 采用圓盤傳送帶的方式來(lái)輪轉(zhuǎn)橢圓形周圍的頭部，以便改變最顯著顯 示的頭部。通過(guò)使用橢圓形，可以給出頭部被排列在一個(gè)消退到顯示 器中的虛平面上的圓圏中的印象。
通過(guò)在其他頭部的前方顯示最顯著顯示的頭部，可以為最顯著顯 示的頭部提供顯著地位。與其他頭部相比，它可以顯示得更大。此外， 它還能以更高亮度來(lái)顯示。
在用戶控制下，頭部圖像可以全都一起圍繞該橢圓形或圓形移 動(dòng)。以便改變所給出的最顯著的頭部。由此，該圓圏可以被局部復(fù)制。 當(dāng)其移動(dòng)時(shí)，它們可以始終面朝前方。
應(yīng)該理解的是，結(jié)合本發(fā)明任何前述方面描述的任何特征都可以 與其他方面的特征相結(jié)合，并且這些組合是可以通過(guò)本專利申請(qǐng)來(lái)尋 求保護(hù)的。
存儲(chǔ)器可以存儲(chǔ)與每個(gè)頭部圖像相關(guān)聯(lián)的身份，所述身份對(duì)應(yīng)于 設(shè)備在網(wǎng)絡(luò)上的網(wǎng)絡(luò)身份。例如，根據(jù)設(shè)備和網(wǎng)絡(luò)類型，它可以包括 IP地址或電話號(hào)碼。由此，該界面為設(shè)備的用戶提供了一種用以選擇 個(gè)人在網(wǎng)絡(luò)上的地址的直觀方式。這樣做消除了記憶姓名的需要，對(duì) 那些有可能無(wú)法閱讀、存在學(xué)習(xí)困難的用戶來(lái)說(shuō)，這樣做消除了對(duì)于 基于文本的傳統(tǒng)字典的需要。如果頭部圖像是不同用戶的實(shí)際圖像， 那么用戶所要做的就是記住頭部圖像對(duì)應(yīng)的是誰(shuí)，而這是非常簡(jiǎn)單 的。
每個(gè)所顯示的頭部圖像都可以被動(dòng)畫化。每個(gè)頭部圖像的眼睛都 可以被圖像生成裝置動(dòng)畫化，這樣可以使所有那些并非最顯著的頭部 全都看著最顯著的頭部圖像。
圖像生成裝置可以作為設(shè)備存儲(chǔ)器中存儲(chǔ)的程序指令來(lái)實(shí)施。
當(dāng)在電話上使用該界面時(shí)，該界面允許一個(gè)人選擇其希望在網(wǎng)絡(luò) 上連接的另一個(gè)人。然后，他們可以向這個(gè)人發(fā)送一個(gè)消息，甚至是 使用該設(shè)備來(lái)呼叫這個(gè)人。
根據(jù)本發(fā)明的第八個(gè)方面，本發(fā)明提供了一種聯(lián)網(wǎng)設(shè)備，其中該聯(lián)網(wǎng)設(shè)備包含了根據(jù)本發(fā)明第七個(gè)方面的圖形用戶界面。
例如，該設(shè)備可以包括用于與對(duì)應(yīng)于最顯著顯示的頭部圖像的設(shè)備建立連接的裝置，以便例如進(jìn)行電話呼叫或是發(fā)送消息。


現(xiàn)在將參考附圖來(lái)舉例描述本發(fā)明的一個(gè)實(shí)施例，其中圖l是根據(jù)本發(fā)明實(shí)施例的通信網(wǎng)絡(luò)和聯(lián)網(wǎng)設(shè)備的概觀；圖2是根據(jù)本發(fā)明至少一個(gè)方面的移動(dòng)電話設(shè)備的示意圖；圖3示出的是在文本輸入期間顯示在圖2設(shè)備的顯示器上的典型文本消息；
圖4是展示了在創(chuàng)建代表將要經(jīng)由網(wǎng)絡(luò)發(fā)送的頭部圖像的數(shù)據(jù)結(jié)構(gòu)的過(guò)程中執(zhí)行的步驟；
圖5(a)是要再現(xiàn)的面部/頭部的2D圖像的圖示；
圖5(b)是在構(gòu)造再現(xiàn)的頭部/面部圖像的過(guò)程中使用的典型貼圖
表示；
圖6顯示的是從圖像后部完成的與貼圖相一致的圖像；圖7示出的是在被映射的圖像中定位面部特征拐角的步驟；圖8示出的是定義頭部圖像所需要的完整數(shù)據(jù)結(jié)構(gòu)；圖9是示出了在將消息呈現(xiàn)于接收設(shè)備的過(guò)程中涉及的步驟的流程圖IO是根據(jù)本發(fā)明一個(gè)方面的備選通信系統(tǒng)的概觀；以及圖ll示出了以圓盤傳送帶的形式同時(shí)顯示一組頭部圖像。
具體實(shí)施例方式
如圖1所示， 一對(duì)處理i殳備10、 20經(jīng)由網(wǎng)絡(luò)30相連。該網(wǎng)絡(luò)包括可以在連接至網(wǎng)絡(luò)的設(shè)備之間傳送音頻和數(shù)據(jù)消息的蜂窩電話網(wǎng)絡(luò)。
為了清楚起見，在本說(shuō)明書的剩余部分會(huì)將網(wǎng)絡(luò)上的一個(gè)設(shè)備稱為發(fā)送設(shè)備10，并且將另 一個(gè)設(shè)備稱為接收設(shè)備20。發(fā)送設(shè)備10能使用戶在網(wǎng)絡(luò)30上發(fā)送消息。接收設(shè)備20能使用戶在網(wǎng)絡(luò)30上接收發(fā)送的消息。在實(shí)踐中，單個(gè)設(shè)備可以同時(shí)執(zhí)行發(fā)送方設(shè)備和接收方i殳備10、 20的功能。
在圖2中示意性顯示了一個(gè)典型的發(fā)送設(shè)備10。它包括用于輸入命令和電話號(hào)碼的鍵盤12和用于顯示數(shù)據(jù)的顯示器14,例如LCD。
它還包括用于存儲(chǔ)程序指令的非易失存儲(chǔ)器16的第一區(qū)域，其中該區(qū)域優(yōu)選是用閃存制成的，并且既可以位于設(shè)備10的用戶身份模塊(SIM)卡以內(nèi)，也可以作為設(shè)備IO的專用存儲(chǔ)器而位于SIM卡之外。處理器18根據(jù)存儲(chǔ)器中存儲(chǔ)的指令來(lái)控制設(shè)備10的操作。
存儲(chǔ)器16還包含從其他設(shè)備接收到的一個(gè)或多個(gè)消息，以及將要發(fā)送或者已經(jīng)從設(shè)備發(fā)送的一個(gè)或多個(gè)消息。這些消息通常排列在所謂的"收件箱"和"發(fā)送項(xiàng)目"文件夾之類的文件夾中。用戶可以使用鍵盤來(lái)選擇觀看任一文件夾的內(nèi)容，然后則可以從文件夾內(nèi)部選擇一個(gè)消息來(lái)顯示。
在本示例中，該消息包含的是XMPP格式的即時(shí)消息服務(wù)消息，但是它也可以包含其他聯(lián)網(wǎng)協(xié)議中的消息。在圖3中顯示了一個(gè)在文本輸入期間顯示在圖2設(shè)備的典型屏幕上并且可以發(fā)送和再現(xiàn)的消息40的示例。該消息是通過(guò)首先從設(shè)備屏幕菜單(未顯示)中選擇"新消息"并且隨后借助鍵盤12輸入每個(gè)字符而被輸入的。該鍵盤包含的是只具有9個(gè)文本按鍵以及3個(gè)功能鍵的縮減鍵盤裝置。每一個(gè)文本按鍵都帶有若干字符，并且可以使用多次點(diǎn)擊或是雙擊輸入策略來(lái)對(duì)其進(jìn)行選擇。在本領(lǐng)域中，這種用于在縮減鍵盤上輸入文本的策略是眾所周知的。
在本領(lǐng)域中，這種處理設(shè)備是眾所周知的，同樣已知的還包括提供設(shè)備來(lái)將附加程序載入存儲(chǔ)器16。然后，這些程序可以由用戶通過(guò)鍵盤12來(lái)調(diào)用，并且當(dāng)在設(shè)備的處理器18上運(yùn)行時(shí)，這些程序會(huì)使其執(zhí)行附加功能。如圖2所示，該設(shè)備在其存儲(chǔ)器中包含了兩個(gè)程序。其中一個(gè)程序是能使設(shè)備在網(wǎng)絡(luò)30上發(fā)送和發(fā)射音頻或數(shù)據(jù)消息的通信程序22。另一個(gè)程序則是名為Amego程序的新程序24，其中該程序通過(guò)增加文本消息表示來(lái)增強(qiáng)用戶與設(shè)備的交互。在實(shí)踐中還可以存儲(chǔ)很多其他的程序，例如日歷或計(jì)算器程序。
在本示例中，保存在存儲(chǔ)器16中的程序24能使電話在網(wǎng)絡(luò)30上以一種全新的方式來(lái)與其他設(shè)備進(jìn)行通信。特別地，它能使用戶向遠(yuǎn)端設(shè)備發(fā)送其頭部的局部3D表示(或是另一個(gè)真實(shí)或虛擬的人的頭部或是經(jīng)過(guò)修改的頭部形式)，而所述頭部的局部3D表示則會(huì)顯示在設(shè)備的顯示器上，以使其給出發(fā)送方"讀出"其在網(wǎng)絡(luò)上發(fā)送的消息的外觀。該程序可以采用發(fā)送方設(shè)備支持的任何已知編程語(yǔ)言來(lái)撰寫，并且本發(fā)明不應(yīng)該被解釋成是局限于任何特定的編程語(yǔ)言。例如，該程序可以用Java來(lái)撰寫。
當(dāng)在設(shè)備的處理器上運(yùn)行該程序時(shí)，所述程序會(huì)促使設(shè)備執(zhí)行若千個(gè)功能
(1) 它能使用戶創(chuàng)建頭部圖像，或者至少其在設(shè)備的存儲(chǔ)器中存儲(chǔ)面部/頭部圖像的定義；
(2) 它要么響應(yīng)于用戶的請(qǐng)求、要么借助每一個(gè)消息、要么在與新用戶初始聯(lián)系的時(shí)候向用戶發(fā)送代表面部/頭部圖像的數(shù)據(jù)結(jié)構(gòu)；
(3) 它在設(shè)備的顯示器上再現(xiàn)由遠(yuǎn)端設(shè)備指示并用數(shù)據(jù)結(jié)構(gòu)定義的動(dòng)畫化的面部/頭部圖像；
(4) 它讀取傳入消息，并且將其轉(zhuǎn)換成可以向設(shè)備用戶讀出的語(yǔ)音，以及將所顯示的面部/頭部圖像動(dòng)畫化來(lái)與消息發(fā)送方相匹配。
現(xiàn)在將依次說(shuō)明該程序的這四個(gè)關(guān)鍵特征(1)創(chuàng)建頭部圖像
在運(yùn)行程序時(shí)，設(shè)備能使用戶創(chuàng)建一個(gè)數(shù)據(jù)結(jié)構(gòu)，該數(shù)據(jù)結(jié)構(gòu)定義了要發(fā)送至遠(yuǎn)端設(shè)備的面部/頭部圖像。該設(shè)備以一種能夠使數(shù)據(jù)結(jié)構(gòu)被訪問(wèn)并且然后在只需要相對(duì)較少的帶寬的同時(shí)易于經(jīng)由網(wǎng)絡(luò)傳送到另一個(gè)設(shè)備的方式，將這個(gè)數(shù)據(jù)結(jié)構(gòu)保存在存儲(chǔ)器中。
為了創(chuàng)建所要再現(xiàn)的面部/頭部圖像，該程序執(zhí)行圖4闡述的功能步驟。在第一步驟41，用戶提示設(shè)備開始創(chuàng)建新的頭部。然后，設(shè)備提示42用戶提供從前方看到的頭部的二維圖像，以便顯示完整的面部。通常，該圖像可以是用數(shù)碼相機(jī)獲取或是從打印圖像中掃描的
照片。在圖5 U)中顯示了一個(gè)樣本圖像。
在接下來(lái)的步驟43，圖像被映射到設(shè)備存儲(chǔ)器中存儲(chǔ)的三維表面貼圖(map)上。該貼圖被定義成互連節(jié)點(diǎn)的網(wǎng)格，其中這些互連節(jié)點(diǎn)定義了一個(gè)表面。該貼圖通常是矩形的。節(jié)點(diǎn)位置可以對(duì)照其相對(duì)于基準(zhǔn)平面(大小為0的Z坐標(biāo))的位置(X-Y坐標(biāo))來(lái)定義，多個(gè)節(jié)點(diǎn)可以位于相對(duì)于基準(zhǔn)平面的不同高度，并且在與所定義的頭部輪廓相對(duì)應(yīng)的基準(zhǔn)平面區(qū)域上是間隔開的。在圖5(b)中顯示了作為一系列多邊形的簡(jiǎn)單映射表面。
該貼圖并不是頭部的完整3D表示，而是一個(gè)局部3D表示。它是在從前方或是略微偏向每一側(cè)看時(shí)會(huì)出現(xiàn)的頭部模型的局部平坦表示。就此而論，它定義的是與真實(shí)特征相比局部扁平化的鼻子和眉毛?？梢园l(fā)現(xiàn)的是，對(duì)于只從前方顯示的頭部模型來(lái)說(shuō)，該表示完全是可以接受的，其中局部扁平化的特征為完成的頭部圖像提供了某些透視和陰影。
通常，網(wǎng)格的節(jié)點(diǎn)是位于全都圍繞貼圖邊界的基準(zhǔn)平面中的。該區(qū)域因此是平坦的。該平坦區(qū)域的內(nèi)部界限通常對(duì)應(yīng)于頭部和面部的輪廓。在頭部/面部區(qū)域內(nèi)，節(jié)點(diǎn)會(huì)從基準(zhǔn)平面中升起，以定義面部特征，例如鼻子、眼睛、嘴部、頰骨、前額等等。
讓圖像與3D表面相一致的步驟可以被視為與在懸掛于某個(gè)框架中的完全彈性的材料片材上打印圖像并且將貼圖按在圖像的背面相類似，由此，該貼圖會(huì)將圖像推出其原始平坦平面，以便與貼圖的拓樸邏輯特征相一致。在貼圖的基準(zhǔn)平面與圖像平面相符之前，該圖像將被一直推動(dòng)。在圖(6)中對(duì)此進(jìn)行了顯示。為了幫助實(shí)施這個(gè)處理，在一致化之前向用戶顯示圖像后面的貼圖，以便允許用戶將貼圖對(duì)準(zhǔn)顯示器上的圖像。用戶還可根據(jù)需要擴(kuò)縮圖像，以便適合該貼圖。然后，貼圖被"推送，，到圖像后面，以使其成為一個(gè)局部三維模型。
最終結(jié)果是為圖像的面部區(qū)域給出了輪廓線，而將其圍繞并有可能包含頭發(fā)的區(qū)域則是平坦的。在顯示時(shí)，這個(gè)局部3D模型可以向
23一側(cè)略微傾斜，并且由于其在z平面上具有深度，因此，該圖像將會(huì)
顯現(xiàn)成是在三個(gè)平面中旋轉(zhuǎn)的真實(shí)3D頭部。在圖6(b)中可以看到這一現(xiàn)象。
在接下來(lái)的階段44，在顯示器上顯示局部3D圖像，并且用戶被提示指示嘴的對(duì)角在所顯示的圖像中的位置坐標(biāo)45。這個(gè)處理可以由設(shè)備在屏幕上顯示光標(biāo)來(lái)執(zhí)行，而用戶則可以使用數(shù)字鍵盤來(lái)決定該光標(biāo)的位置。然后，用戶4皮要求用光標(biāo)位置來(lái)指示何時(shí)他們快樂(lè)。一旦該處理完成，則在存儲(chǔ)器中存儲(chǔ)這些對(duì)角的坐標(biāo)。然后，用戶被提示從該坐標(biāo)提供的不同特征選項(xiàng)中進(jìn)行選擇46，例如不同形狀的眼眶或眼睛的顏色。在圖7中對(duì)此進(jìn)行了顯示。
在接下來(lái)的步驟47，用戶被提示指示雙眼在所顯示的映射圖像中的中心位置。
最后，原始2D圖像以及嘴和眼睛的坐標(biāo)作為代表完整頭部圖像的數(shù)據(jù)結(jié)構(gòu)被保存。該數(shù)據(jù)結(jié)構(gòu)可以包括單獨(dú)的電子文件。應(yīng)該指出的是，關(guān)于所提供的原始拓樸邏輯貼圖的資料(knowledge)是已知的，而這就是在任何設(shè)備上重新創(chuàng)建頭部圖像所需要的全部資料。該數(shù)據(jù)僅僅與標(biāo)準(zhǔn)貼圖相適應(yīng)。
作為選擇，在這里可以為用戶給出選擇不同面部特征、例如從其進(jìn)行選擇的眼眶形狀的選項(xiàng)。這些選項(xiàng)包括預(yù)先編程的動(dòng)畫特征，并且該選擇允許用戶選擇首選的眼睛顏色或形狀等等。然后，所選擇的特征的身份被保存在數(shù)據(jù)結(jié)構(gòu)中。
在圖8中示出了數(shù)據(jù)結(jié)構(gòu)的內(nèi)容。
當(dāng)然，該創(chuàng)建階段是可以在除了移動(dòng)設(shè)備之外的其他設(shè)備上執(zhí)行的，例如個(gè)人計(jì)算機(jī)。這樣做在使用簡(jiǎn)易性方面是非常有利的，因?yàn)榕c移動(dòng)設(shè)備相比，個(gè)人計(jì)算機(jī)通常將具有更易于理解的用戶界面。例如，PC可以包括鼠標(biāo)，并且該鼠標(biāo)簡(jiǎn)化了用戶指示嘴和眼睛的位置的任務(wù)。
(2)向遠(yuǎn)端設(shè)備發(fā)送頭部圖像
一旦創(chuàng)建了代表頭部圖像的數(shù)據(jù)結(jié)構(gòu)，就可以將其保存在發(fā)送方設(shè)備上，并且可以將其發(fā)射到中心網(wǎng)絡(luò)服務(wù)器，在該服務(wù)器中，該數(shù) 據(jù)結(jié)構(gòu)會(huì)連同包括唯一標(biāo)識(shí)裝置在內(nèi)的發(fā)送方的其他詳細(xì)資料一起 保存在數(shù)據(jù)庫(kù)中。當(dāng)另一個(gè)用戶與發(fā)送方首次通信時(shí)，該用戶將會(huì)接 收發(fā)送方的頭部圖像數(shù)據(jù)結(jié)構(gòu)，并且將其保存在自身設(shè)備上，由此在 未來(lái)的通信中將不再需要再次發(fā)送該數(shù)據(jù)結(jié)構(gòu)，從而減少在交換后續(xù) 消息時(shí)傳送的數(shù)據(jù)量。該唯一標(biāo)識(shí)裝置可以是唯一號(hào)碼、IP地址或
MAC地址，并且將會(huì)排他地與數(shù)據(jù)庫(kù)中的頭部圖像數(shù)據(jù)結(jié)構(gòu)相關(guān)聯(lián)， 由此可以正確路由消息。如果用戶改變其頭部圖像，那么發(fā)送設(shè)備可 以向數(shù)據(jù)庫(kù)發(fā)送修改的圖像，然后，數(shù)據(jù)庫(kù)可以將這個(gè)修改的圖像轉(zhuǎn) 發(fā)到其已經(jīng)記錄的先前與該發(fā)送方進(jìn)行過(guò)聯(lián)系的所有那些接收設(shè)備。
該頭部圖像是通過(guò)發(fā)送2D圖像以及例如嘴和眼睛之類的凸出特 征的拐角坐標(biāo)而被發(fā)送到遠(yuǎn)端設(shè)備的。與發(fā)送完整的3D圖像相比， 由于可以將其壓縮成很小的文件大小，因此，這種發(fā)送方式是很有利 的。
在遠(yuǎn)端設(shè)備上，數(shù)據(jù)結(jié)構(gòu)被保存在一個(gè)用數(shù)據(jù)結(jié)構(gòu)發(fā)送方的身份 標(biāo)引的存儲(chǔ)器中。這一點(diǎn)非常重要，因?yàn)檫@樣做能在稍后接收消息時(shí) 使遠(yuǎn)端設(shè)備選擇正確的數(shù)據(jù)結(jié)構(gòu)。 (3)再現(xiàn)圖像和閱讀消息
該程序的一個(gè)很重要的方面是其能在設(shè)備的顯示器上再現(xiàn)面部/ 頭部圖像，以及及時(shí)以文本消息的口頭形式來(lái)將其動(dòng)畫化，使得頭部 看起來(lái)是在讀消息。實(shí)際上，這是接收方設(shè)備的功能，該功能會(huì)在用 戶選擇設(shè)備存儲(chǔ)器中存儲(chǔ)的消息并提示設(shè)備顯示該消息的時(shí)候被調(diào) 用。
在圖9中顯示了向用戶顯示口頭和動(dòng)畫化消息的步驟。在第一步 驟91，消息發(fā)送方的身份將被確定。然后，對(duì)照發(fā)送方表格而檢查該 身份，以便了解其是否已被識(shí)別。如果該身份在表格中，則選擇相應(yīng) 的頭部圖像。
在接下來(lái)的階段93，會(huì)逐字母或逐單詞地分析消息，以便識(shí)別 消息中的音位。這個(gè)識(shí)別處理可以通過(guò)使用保存在設(shè)備存儲(chǔ)器中的語(yǔ)
25音字典來(lái)實(shí)現(xiàn)。該字典包括一個(gè)聲音文件數(shù)據(jù)庫(kù)，并且其中每一個(gè)聲 音文件都對(duì)應(yīng)于一個(gè)音位。通過(guò)使用該數(shù)據(jù)庫(kù)，可以構(gòu)造一個(gè)與所要 閱讀的消息相對(duì)應(yīng)的音頻文件。但在本實(shí)施例中，它是使用基于規(guī)則 的方案來(lái)轉(zhuǎn)換的，在該方案中使用了保存在存儲(chǔ)器中的一組規(guī)則來(lái)確 定應(yīng)該為不同的文本字符序列使用什么樣的聲音。
在接下來(lái)的階段94，為頭部圖像選擇嘴部并將嘴部動(dòng)畫化，以 使其顯現(xiàn)成與音頻文件中的音位同步移動(dòng)。在實(shí)踐中，每一個(gè)音位將 會(huì)與嘴部圖像或視位(visemes)序列相關(guān)聯(lián)，其中該圖像或視位看上 去顯示的就好像是進(jìn)行發(fā)音時(shí)的嘴部移動(dòng)。這個(gè)嘴部移動(dòng)序列被保存 在數(shù)據(jù)結(jié)構(gòu)中。
在最后一個(gè)步驟95，在顯示器上使用嘴部圖像來(lái)再現(xiàn)頭部圖像， 其中該嘴部圖像同步覆蓋了通過(guò)設(shè)備揚(yáng)聲器進(jìn)行的音頻文件播放。
由于該貼圖和動(dòng)畫可以預(yù)先保存在設(shè)備的存儲(chǔ)器中，因此，所有 為添加發(fā)送方的新面部/頭部圖像而需要接收的是2D圖像文件以及面 部特;f正的位置。與從發(fā)送方那里接收面部的完整3D動(dòng)畫相比，這僅 僅相當(dāng)于少得多的數(shù)據(jù)，特別是在可以顯示多個(gè)發(fā)送方面部的時(shí)候尤 其如此。
修改
可以想象針對(duì)本發(fā)明的各種改進(jìn)。在一個(gè)改進(jìn)中，在設(shè)備的存儲(chǔ) 器中可以提供情感字典。該字典將包括一組用字符-標(biāo)簽序列識(shí)別的預(yù) 定義的面部表情，其中該序列可以被鍵入在一個(gè)消息中。這些序列有 時(shí)也被稱為情感符。對(duì)每一個(gè)不同的面部表情來(lái)說(shuō)，該面部特征將被 修改，以便顯示該表情。
情感字典和音位字典可以組合。與為每一個(gè)音位使用單個(gè)嘴部動(dòng) 畫不同，在這里可以將若干個(gè)動(dòng)畫中的每一個(gè)動(dòng)畫都對(duì)應(yīng)于一種不同
的情感。并且該正確的情感是根據(jù)插入到消息中的情感符來(lái)選擇的。
舉個(gè)例子，如果消息是以標(biāo)簽/情感符)為開始的，那么可以使 用與快樂(lè)的臉相對(duì)應(yīng)的嘴部動(dòng)畫來(lái)將嘴部動(dòng)畫化。如果它是以情感 符:(為開始的，那么可以使用與悲傷的臉相對(duì)應(yīng)的不同的嘴部表情集合。
此外，也可以改變音頻音調(diào)以便與情感相對(duì)應(yīng)。
在另 一個(gè)改進(jìn)中，該設(shè)備可以包括同時(shí)在屏幕上顯示一組頭部圖 像的圖像生成裝置。這些圖像是以圓盤傳送帶的方式顯示的。在圖11 中可以看到這種方式。在將頭部圖像動(dòng)畫化時(shí)，該頭部圖像將會(huì)圍繞 該圓盤傳送帶旋轉(zhuǎn)，直至該圖像位于前方。為使其更為突出，這個(gè)圖 像可以大于其他圖像，或者可以具有較高的亮度。
該設(shè)備還允許用戶圍繞該圓盤傳送帶來(lái)移動(dòng)頭部圖像，以便允許 選擇頭部圖像。然后則可以輸入一個(gè)消息，并且該消息將會(huì)由設(shè)備發(fā) 送到選定的頭部圖像。
應(yīng)該理解的是，雖然優(yōu)選實(shí)施例涉及的是移動(dòng)電話，但是與之相 比，本發(fā)明具有范圍更廣的應(yīng)用。在替換實(shí)施例中，該消息包含了電 子郵件，并且發(fā)送方設(shè)備和接收方設(shè)備全都包含通過(guò)互聯(lián)網(wǎng)相互連接
的個(gè)人計(jì)算機(jī)(臺(tái)式計(jì)算機(jī)、膝上型計(jì)算機(jī)、平板PC或PDA)。在 圖ll中對(duì)此進(jìn)行了顯示。
與把電話號(hào)碼規(guī)定為SMS消息目的地不同，在該方案中規(guī)定的 是電子郵件地址，并且該消息采用的是嵌入電子郵件消息中的動(dòng)畫化 的局部3D圖像的形式，或是充當(dāng)電子郵件消息的附件。
與先前一樣，3D頭部的傳輸可以通過(guò)將包含信息的文件嵌入電 子郵件正文或是通過(guò)將文件附著于電子郵件來(lái)實(shí)現(xiàn)。
可以想象的是，提供與鍵入消息的音頻再現(xiàn)一起使用的頭部圖像 的方法很快將會(huì)成為通用的世界標(biāo)準(zhǔn)。而所有需要做的則是將程序載 入具有顯示器并且可以接收消息的設(shè)備上。該程序?qū)?biāo)準(zhǔn)的拓樸 邏輯貼圖和語(yǔ)音字典，以便在文本-音頻轉(zhuǎn)換中使用。由于只需要通過(guò) 傳送2D圖像以及面部特征的坐標(biāo)來(lái)向遠(yuǎn)端設(shè)備發(fā)送面部/頭部圖像， 因此，在這里不需要很高的帶寬來(lái)提供面部/頭部的局部3D動(dòng)畫。
在另一個(gè)替換實(shí)施例中，動(dòng)畫化的局部3D圖像或多個(gè)局部3D 圖像可以借助瀏覽器插件而嵌入到網(wǎng)頁(yè)中，以便將語(yǔ)音消息或其他文 本或語(yǔ)音信息遞送到接收方，或是通過(guò)顯示設(shè)備的介質(zhì)參與到圖像發(fā)送方之間的討論中。
在另一個(gè)替換實(shí)施例中，動(dòng)畫化的局部3D圖像或多個(gè)局部3D 圖像可以嵌入在原本獨(dú)立的軟件程序、例如電子郵件客戶端、幻燈片 演示應(yīng)用或其他程序中，以便通過(guò)顯示設(shè)備的介質(zhì)來(lái)將語(yǔ)音消息或其 他文本或語(yǔ)音信息遞送給用戶或觀看者。
權(quán)利要求
1.一種通信系統(tǒng)，包括發(fā)送設(shè)備，接收設(shè)備，以及將發(fā)送設(shè)備連接至接收設(shè)備的網(wǎng)絡(luò)；其中所述發(fā)送設(shè)備包括用于輸入作為消息的文本字符序列的至少一個(gè)用戶可操作輸入，以及用于在網(wǎng)絡(luò)上發(fā)送消息的傳輸裝置；其中所述接收設(shè)備包括存儲(chǔ)多個(gè)頭部圖像的存儲(chǔ)器，每個(gè)頭部圖像與不同發(fā)送設(shè)備相關(guān)聯(lián)并且包含從前方看到的頭部圖像；接收方裝置，用于接收包含文本字符序列的消息；文本-語(yǔ)音轉(zhuǎn)換裝置，用于將消息的文本字符轉(zhuǎn)換成與文本字符序列相對(duì)應(yīng)的音頻消息；動(dòng)畫裝置，用于從存儲(chǔ)在存儲(chǔ)器中的、與消息的發(fā)送方相關(guān)聯(lián)的頭部圖像中產(chǎn)生頭部的動(dòng)畫化的局部3D圖像；所述動(dòng)畫裝置將頭部的至少一個(gè)面部特征動(dòng)畫化，所述動(dòng)畫與頭部在閱讀消息時(shí)所做出的運(yùn)動(dòng)相對(duì)應(yīng)；顯示裝置，用于顯示動(dòng)畫化的局部3D頭部；以及揚(yáng)聲器裝置，用于以與所顯示的頭部同步的方式輸出音頻消息。
2. 根據(jù)權(quán)利要求1所述的系統(tǒng)，其中所述存儲(chǔ)器包括由一組互 連節(jié)點(diǎn)限定的3D網(wǎng)格，所述互連節(jié)點(diǎn)通常全都位于圍繞網(wǎng)格邊界的 一個(gè)平面中，并且邊界內(nèi)的節(jié)點(diǎn)高出所述平面以便與面部特征相對(duì) 應(yīng)，所述動(dòng)畫裝置通過(guò)將頭部圖像重疊在網(wǎng)格上，使得頭部圖像面部 區(qū)域的面部特征與網(wǎng)格中升高的面部特征相對(duì)準(zhǔn)來(lái)產(chǎn)生局部3D頭部 圖像。
3. 根據(jù)權(quán)利要求2所述的系統(tǒng)，其中在接收設(shè)備的存儲(chǔ)器中存 儲(chǔ)單個(gè)網(wǎng)格，以便用于再現(xiàn)來(lái)自任何發(fā)送方的動(dòng)畫化頭部，其中所述發(fā)送方的頭部圖像被保存在接收方設(shè)備中。
4. 根據(jù)權(quán)利要求2或3所述的系統(tǒng)，其中保存網(wǎng)格的單獨(dú)動(dòng)畫， 以便將講出消息所需要的每個(gè)語(yǔ)音音位動(dòng)畫化。
5. 根據(jù)前述任一權(quán)利要求所述的系統(tǒng)，其中所存儲(chǔ)的頭部圖像 包括從前方看到的頭部的照片，例如數(shù)碼相片。
6. 根據(jù)前述任一權(quán)利要求所述的系統(tǒng)，其中與存儲(chǔ)器中每個(gè)頭 部圖像相關(guān)聯(lián)的是一個(gè)或多個(gè)坐標(biāo)，所述坐標(biāo)定義要被動(dòng)畫化的面部 特征在網(wǎng)格上的位置。
7. 根據(jù)前述任一權(quán)利要求所述的系統(tǒng)，其中每個(gè)頭部圖像與一 個(gè)標(biāo)識(shí)符相關(guān)聯(lián)，所述標(biāo)識(shí)符指示與所述面部圖像相關(guān)聯(lián)的消息發(fā)送 方的身份。
8. 根據(jù)前述任一權(quán)利要求所述的系統(tǒng)，其中在存儲(chǔ)器中提供一 組規(guī)則，所述規(guī)則定義用于指定的文本字符組合或序列的音位。
9. 根據(jù)前述任一權(quán)利要求所述的系統(tǒng)，其中網(wǎng)絡(luò)包括蜂窩電話 網(wǎng)絡(luò)，并且發(fā)送設(shè)備和接收設(shè)備中的每一個(gè)都包括蜂窩電話。
10. 根據(jù)前述任一權(quán)利要求所述的系統(tǒng)，其中所傳送的消息是用 XMPP之類的即時(shí)消息傳遞數(shù)據(jù)格式傳送的。
11. 根據(jù)前述任一權(quán)利要求所述的系統(tǒng)，其中接收方設(shè)備包括同 時(shí)在顯示器上顯示多個(gè)頭部圖像的圖像生成裝置，其中所述多個(gè)頭部 圖像中的一個(gè)或多個(gè)^L動(dòng)畫裝置在任何時(shí)間動(dòng)畫化。
12. 根據(jù)權(quán)利要求11所述的系統(tǒng)，其中生成裝置使頭部圖像顯 示成是在某個(gè)位置顯示動(dòng)畫化的頭部圖像，使得所述動(dòng)畫化的頭部圖 像看起來(lái)在其他頭部圖像的前方，并且所述生成裝置被適配成只要?jiǎng)?畫化一個(gè)頭部圖像就轉(zhuǎn)動(dòng)圖像，以便將所述圖像移動(dòng)到前方。
13. 根據(jù)權(quán)利要求12所述的系統(tǒng)，其中生成裝置以圓圏形式來(lái) 顯示頭部圖像，所述圓圏像圓盤傳送帶一樣轉(zhuǎn)動(dòng)。
14. 根據(jù)權(quán)利要求11~13中任一權(quán)利要求所述的系統(tǒng)，其中發(fā)送 方設(shè)備(或接收方設(shè)備)的存儲(chǔ)器包括與每個(gè)頭部圖像相關(guān)聯(lián)的組標(biāo) 簽，并且圖像生成裝置同時(shí)顯示所有那些帶有相同組標(biāo)簽的頭部圖 像。
15. —種被適配成在網(wǎng)絡(luò)上發(fā)送和接收消息的通信設(shè)備，包括 存儲(chǔ)多個(gè)頭部圖像的存儲(chǔ)器，其中每個(gè)頭部圖像都與不同發(fā)送設(shè)備相關(guān)聯(lián)并且包含從前方看到的頭部圖像；接收方裝置，用于接收包含文本字符序列的消息； 文本-語(yǔ)音轉(zhuǎn)換裝置，用于將消息的文本字符轉(zhuǎn)換成與所述文本字符序列相對(duì)應(yīng)的音頻消息；動(dòng)畫裝置，用于從存儲(chǔ)器中存儲(chǔ)的、與消息的發(fā)送方相關(guān)聯(lián)的頭 部圖像中產(chǎn)生頭部的動(dòng)畫化的局部3D圖像；所述動(dòng)畫裝置將頭部的 至少一個(gè)面部特征動(dòng)畫化，所述動(dòng)畫與頭部在閱讀消息時(shí)所^t出的運(yùn) 動(dòng)相對(duì)應(yīng)；顯示裝置，用于顯示動(dòng)畫化的局部3D頭部；以及 揚(yáng)聲器裝置，用于以與所顯示的頭部同步的方式來(lái)輸出音頻消息。
16. —種通信設(shè)備，包括消息創(chuàng)建裝置，用于創(chuàng)建包含文本字符序列的書面消息；存儲(chǔ)器，所述存儲(chǔ)器存儲(chǔ)代表被設(shè)備用戶選作所述用戶的標(biāo)識(shí)符 的頭部圖像的數(shù)據(jù)結(jié)構(gòu)；以及傳輸裝置，用于在網(wǎng)絡(luò)上將消息和數(shù)據(jù)結(jié)構(gòu)一起或單獨(dú)發(fā)送 到接收方設(shè)備，其中所述數(shù)據(jù)結(jié)構(gòu)包括顯示從前方看到的面部的二維頭部圖像；以及至少一個(gè)坐標(biāo)，所述坐標(biāo)指示的是要重疊在圖像上的動(dòng)畫化面部特征的位置。
17. 根據(jù)權(quán)利要求16所述的通信設(shè)備，其中所述數(shù)據(jù)結(jié)構(gòu)還包 括標(biāo)識(shí)要在圖像上重疊哪幾個(gè)不同的動(dòng)畫化面部特征的標(biāo)簽。
18. 根據(jù)權(quán)利要求17所述的通信設(shè)備，其中所述數(shù)據(jù)結(jié)構(gòu)包含 用于下列各項(xiàng)的坐標(biāo)嘴部； 一雙眼睛；眉毛；或是其他任何面部特 征。
19. 一種用于表示可在顯示屏上作為圖像再現(xiàn)的頭部/面部的動(dòng) 畫化模型的數(shù)據(jù)結(jié)構(gòu)，包括具有被定義成是互連節(jié)點(diǎn)網(wǎng)格的局部三維表面的貼圖，其中每個(gè) 節(jié)點(diǎn)位于所述表面上并且節(jié)點(diǎn)的群組定義多邊形，所述多邊形進(jìn)而定 義所述表面的輪廓線，所述表面通常位于邊界區(qū)域中的單個(gè)平面上，并且其在與面部拓樸結(jié)構(gòu)相對(duì)應(yīng)的中心區(qū)域中伸出所述平面；從前方看到的頭部/面部的二維圖像，其中所述圖像與貼圖表面 相一致，以便提供面部輪廓線與面部特征相對(duì)應(yīng)的面部的局部三維模 型；至少一個(gè)用戶定義坐標(biāo)，所述坐標(biāo)與模型中面部特征的一部分的 位置相對(duì)應(yīng)；以及至少一個(gè)在貼圖中位于用戶定義坐標(biāo)所定義的位置的面部特征。
20. —種用于產(chǎn)生在顯示屏上顯示的頭部的動(dòng)畫化局部3D模型的方法，包括以下步驟選擇具有被定義成是互連節(jié)點(diǎn)網(wǎng)格的局部三維表面的貼圖，每個(gè)節(jié)點(diǎn)位于所述表面上并且節(jié)點(diǎn)的群組定義多邊形，所述多邊形進(jìn)而定 義所述表面的輪廓線，所述表面通常位于邊界區(qū)域中的單個(gè)平面上， 并且其在與面部拓樸結(jié)構(gòu)相對(duì)應(yīng)的中心區(qū)域中伸出所述平面； 選擇從前方看到的頭部/面部的二維圖像，將所述圖像裝配到所述貼圖的表面上，以便提供面部的局部三維 模型，在所述模型中，面部具有與面部特征相對(duì)應(yīng)的輪廓線；從數(shù)據(jù)結(jié)構(gòu)中選擇至少一個(gè)用戶定義坐標(biāo)，所述坐標(biāo)與模型中的 面部特征的一部分的位置相對(duì)應(yīng)；以及選捧至少一個(gè)面部特征；以及在貼圖上將所述特征定位在所述用戶定義坐標(biāo)所定義的位置。
21. 根據(jù)權(quán)利要求20所述的方法，其中還包括步驟在顯示器 上再現(xiàn)所述數(shù)據(jù)結(jié)構(gòu)定義的模型。
22. 根據(jù)權(quán)利要求21所述的方法，其中再現(xiàn)步驟包括提供嘴 或眼睛之類的至少一個(gè)面部特征的已再現(xiàn)和動(dòng)畫化的模型，以及在所 顯示的一致的圖像上將其定位在數(shù)據(jù)結(jié)構(gòu)所指示的坐標(biāo)。
23. —種方法，包括接收包含文本字符序列的消息； 識(shí)別消息的發(fā)送方；從存儲(chǔ)器中檢索代表要顯示的面部的數(shù)據(jù)結(jié)構(gòu)，所述面部與消息 發(fā)送方相關(guān)聯(lián)；將消息轉(zhuǎn)換成所述消息的音頻表示；產(chǎn)生與所述音頻表示相對(duì)應(yīng)的嘴部動(dòng)畫；同時(shí)顯示面部圖像以及動(dòng)畫化的嘴部，以便播放音頻表示，使得 所顯示的頭部看起來(lái)讀出接收到的消息。
24. —種用于在通信網(wǎng)絡(luò)上使用的聯(lián)網(wǎng)設(shè)備的圖形用戶界面，包括顯示器；存儲(chǔ)一組頭部圖像的存儲(chǔ)器，每個(gè)頭部圖像與連接到網(wǎng)絡(luò)的不同 設(shè)備相對(duì)應(yīng)；用戶輸入設(shè)備，例如鍵盤；以及圖像生成裝置，被設(shè)置成在顯示器上同時(shí)顯示所述組中的每個(gè)頭 部的圖像，其中所述頭部圖像中的一個(gè)要比其他頭部圖像顯示得更為 顯著，以及其中用戶通過(guò)所述界面來(lái)控制圖像生成裝置，使得用戶可以選擇 要最顯著顯示這些頭部中的哪一個(gè)。
25. 根據(jù)權(quán)利要求24所述的圖形用戶界面，其中頭部圖像在屏 幕上是間隔地圍繞一個(gè)橢圓形來(lái)顯示的。
26. 根據(jù)權(quán)利要求25或26所述的圖形用戶界面，其中存儲(chǔ)器存 儲(chǔ)與每個(gè)頭部圖像相關(guān)聯(lián)的身份，所述身份對(duì)應(yīng)于設(shè)備在網(wǎng)絡(luò)上的網(wǎng) 絡(luò)身份。
27. —種聯(lián)網(wǎng)設(shè)備，包括根據(jù)權(quán)利要求24、 25或26中任一權(quán)利 要求所述的圖形用戶界面。
全文摘要
一種通信系統(tǒng)，包括發(fā)送設(shè)備、接收設(shè)備以及將發(fā)送設(shè)備連接至接收設(shè)備的網(wǎng)絡(luò)。發(fā)送設(shè)備包括用于輸入作為消息的文本字符序列的至少一個(gè)用戶可操作輸入，以及用于在網(wǎng)絡(luò)上發(fā)送消息的傳輸裝置。接收設(shè)備包括存儲(chǔ)多個(gè)頭部圖像的存儲(chǔ)器，每個(gè)頭部圖像與不同發(fā)送設(shè)備相關(guān)聯(lián)且包含從前方看到的頭部圖像；接收方裝置，用于接收包含文本字符序列的消息；文本-語(yǔ)音轉(zhuǎn)換裝置，用于將消息的文本字符轉(zhuǎn)換成與文本字符序列相對(duì)應(yīng)的音頻消息，以及動(dòng)畫裝置，用于從存儲(chǔ)器存儲(chǔ)的與消息發(fā)送方相關(guān)聯(lián)的頭部圖像中產(chǎn)生頭部的動(dòng)畫化局部3D圖像。動(dòng)畫裝置將頭部的至少一個(gè)面部特征動(dòng)畫化，動(dòng)畫與頭部閱讀消息時(shí)的運(yùn)動(dòng)相對(duì)應(yīng)。顯示裝置顯示動(dòng)畫化局部3D頭部；以及揚(yáng)聲器裝置以與所顯示的頭部同步的方式輸出音頻消息。
文檔編號(hào)G06T13/40GK101669352SQ200780050915
公開日2010年3月10日 申請(qǐng)日期2007年9月21日 優(yōu)先權(quán)日2007年2月5日
發(fā)明者J·斯托里, R·克羅斯 申請(qǐng)人:艾美格世界有限公司