專利名稱：在視頻會議和其他通信期間控制化身的方法和終端的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及電子通信終端，更具體地涉及電子通信終端之間的視頻 會議。
背景技術(shù)：
通信技術(shù)持續(xù)發(fā)展，以改進無線通信終端之間的實時全動視頻會議。 視頻會議的全動視頻創(chuàng)建和發(fā)布使得有必要部署可靠的高帶寬網(wǎng)絡(luò)，并 在通信終端中使用高處理帶寬和存儲容量，以支持實時視頻生成、編碼、 發(fā)布、接收和解碼功能。因此，視頻會議能力會增加通信終端的復雜性 和成本，并且可能妨礙其在一些通信終端例如在一些蜂窩電話中的使用。
盡管復雜性和成本增加，但是擁有支持視頻會議的通信終端的人數(shù) 不斷增加。然而，已經(jīng)發(fā)現(xiàn)，由于明M不愿意示出他們目前的樣貌，所 以許多人不愿意使用視頻會議。這種不愿意在習慣于使用即時消息傳送 和基于消息的聊天室的年輕一代間尤其普遍。

發(fā)明內(nèi)容
本發(fā)明的各種實施方式致力于提供對通信終端上的化身顯示進行控 制的方法和相關(guān)聯(lián)的無線通信終端。下面將進一步詳細解釋，化身是計 算機產(chǎn)生的人的二維或三維表示。
根據(jù)一些實施方式， 一種用于控制在接收通信終端處顯示的化身的
方法包括在來自視頻源的視頻流中識別人的畫像特性。響應于在視頻
流中所識別出的人的畫像特性，在接收通信終端已知的多條畫像命令中
選擇畫像命令。將所選擇的畫像命令傳送到接收通信終端。接收通信終
端隨后可以響應于接收到的畫像命令來修改所顯示的化身。
在一些進一步的實施方式中，在發(fā)送通信終端處，在圖片和/或視頻流中識別人的畫像特性。響應于所識別出的畫像特性來產(chǎn)生化身。然后， 在發(fā)送通信終端和接收通信終端之間建立視頻會議會話期間，將化身從 發(fā)送通信終端傳送到接收通信終端。響應于在二維圖片和/或視頻流中所 識別出的畫像特性，可以將化身產(chǎn)生為人的身體特征的三維表示。
在一些進一步的實施方式中，識別畫像特性包括識別作為人的情 緒的指示的面部表情。選擇對應于人的情緒的指示的畫像命令。然后， 修改接收通信終端顯示的化身，以提供人的情緒的指示。選擇畫像命令 可以包括選擇指示人的情緒是以下情緒中的至少一種的畫像命令高 興、悲傷、厭煩和困倦。可以通過執(zhí)行以下操作中的至少一個來修改所 顯示的化身在畫像命令對應于高興情緒時修改所顯示的化身的嘴部以 指示微笑；在畫像命令對應于悲傷情緒時修改所顯示的化身的嘴部以指 示不悅；在畫像命令對應于厭煩情緒時修改所顯示的化身的嘴部以指示 厭倦；以及在畫像命令對應于困倦情緒時修改所顯示的化身的眼睛以指 示閉眼。響應于在接收通信終端上設(shè)置的標志，可以修改所顯示的化身 以提供與畫像命令指示的情緒相反指示的情緒。
在一些進一步的實施方式中，識別人的畫像特性可以包括識別語
音信號中作為人的情緒的指示的語音#征。然后，可以選擇對應于所識
別出的語音特征的畫像命令?？梢皂憫谡Z音信號中的講話音高和/或語
速的變化來選擇畫像命令。
在一些進一步的實施方式中，響應于來自發(fā)送通信終端的語音信號
中的語音特征，來修改接收通信終端顯示的化身?？梢皂憫谡Z音信號
中的講話音高和/或語速的變化來修改所顯示的化身。
在一些進一步的實施方式中，識別人的畫像特性可以包括識別視
頻流中的人的身體特征反復活動。可以選擇作為所識別出的視頻流中的 反復身體特征活動的指示的畫像命令?？梢孕薷慕邮胀ㄐ沤K端顯示的化 身，以顯示化身上對應于該畫像命令所指示的反復身體特征活動的特征 的反復活動。
在一些進一步的實施方式中，可以響應于用戶在接收通信終端上的 規(guī)定設(shè)置，通過夸張所顯示的化身的規(guī)定特征來執(zhí)行對所顯示的化身的修改。
在一些進一步的實施方式中，可以響應于用戶的規(guī)定設(shè)置和在視頻 流中識別出的人的畫像特性，來選擇對在接收終端上顯示的化身的規(guī)定 特征進行夸張的畫像命令。
在一些進一步的實施方式中，可以響應于識別到發(fā)送通信終端已使 接收通信終端處于通信保持狀態(tài)，修改.接收通信終端顯示的化身。
在一些進一步的實施方式中，在所述多條畫像命令中選擇指示發(fā)送
通信終端將其麥克風靜音的畫像命令。響應于所接收到的指示發(fā)送通信
終端將其麥克風靜音的畫像命令，修改接收通信終端顯示的化身。
在一些進一步的實施方式中，在接收通信終端處，使用發(fā)送通信終
端的電話號碼來在多個存儲的化身中選擇化身。然后，在接收通信終端
處顯示所選擇的化身。響應于所述畫像命令，修改所顯示的化身。
在一些進一步的實施方式中，使用語音識別來識別在發(fā)送通信終端
處講話的人。響應于對人的識別，在多個存儲的化身中選擇化身。在接
收通信終端處顯示所選擇的化身。響應于所述畫像命令，接收通信終端
修改所顯示的化身。
在一些進一步的實施方式中，響應于在視頻流中的至少一幀內(nèi)所識
別出的人的畫像特性，來選擇供傳送的一條畫像命令?？梢苑磸晚憫?在所述視頻流中的空間上隔開規(guī)定數(shù)目個跳幀的各單獨幀內(nèi)所識別出的 畫像特性，來選擇供傳送的一條畫像命令。在接收通信終端處接收所述 一條畫像命令，并且響應于所述一條畫像命令，在存儲于接收通信終端 中的多組化身修改操作內(nèi)識別一組化身修改操作。響應于所識別的一組 化身修改操作，修改接收通信終端顯示的化身。
在一些其它實施方式中， 一種無線通信終端包括視頻源，其用于 產(chǎn)生視頻流；收發(fā)機，其被配置為通過無線空中接口與另一通信終端進 行通信；以及圖像處理器，其被配置為，在來自所述視頻源的視頻流中 識別人的畫像特性；響應于在所述視頻流中所識別出的人的畫像特性， 從多條畫像命令中選擇接收通信終端已知的畫像命令；以及通過所述收 發(fā)機將所選擇的畫像命令傳送給另 一通信終端。在一些其他實施方式中， 一種無線通信終端包括收發(fā)機，其被配
置為通過無線空中接口從另一通信終端接收畫像命令；顯示器；以及圖 像處理器，其被配置為響應于所接收到的畫像命令，對在所述顯示器上 顯示的化身執(zhí)行修改。
在閱讀了附圖和詳細說明書之后，根據(jù)本發(fā)明實施方式的其他系統(tǒng)、 通信終端和/或方法將對本領(lǐng)域技術(shù)人員是或者變得顯而易見。所有這些 附加的系統(tǒng)、方法和/或計算機程序產(chǎn)品都包括在本說明書內(nèi)，落入本發(fā) 明的范圍內(nèi)，并且受所附權(quán)利要求的保.護。


圖1示出了根據(jù)本發(fā)明一些實施方式的對無線通信終端上的化身顯 示進行控制的通信系統(tǒng)。
圖2是示出根據(jù)本發(fā)明一些實施方式的用于生成并向接收通信終端 發(fā)送化身和用于生成并向接收方通信終端發(fā)送畫像命令的操作與方法的 流程圖。
圖3是示出根據(jù)本發(fā)明一些實施方式的用于接收/選擇用于顯示的化 身、接收畫像命令和修改所顯示的化身的操作與方法的流程圖。
圖4是示出根據(jù)本發(fā)明一些實施方式的用于根據(jù)另一通信終端的用 戶的語音特征來選擇化身的操作與方法的流程圖。
圖5是示出根據(jù)本發(fā)明一些實施方式的用于根據(jù)對發(fā)送通信終端的 用戶的面部表情的識別來選擇畫像命令的操作與方法的流程圖。
圖6是示出根據(jù)本發(fā)明一些實施方式的用于修改所顯示的化身的操 作與方法的流程圖。
具體實施例方式
下面將參照附圖更全面地描述本發(fā)明，在附圖中示出了本發(fā)明的實 施方式。然而，本發(fā)明可以以很多替代的形式來實施，并且不應當被解 讀為限于本文所闡述的實施方式。
因此，盡管本發(fā)明容許有各種修改和替代形式，但是在附圖中通過舉例的方式示出了其特定實施方式，并將詳細描述這些實施方式。然而， 應當理解，并不意圖將本發(fā)明限于所公開的特定形式，相反，本發(fā)明將 涵蓋落入所附權(quán)利要求限定的本發(fā)明的精神和范圍內(nèi)的所有修改例、等 同例和替代例。在對附圖的整個描述中，類似的數(shù)字指代類似的部件。
本文中使用的詞語僅用于描述特定實施方式，而不對本發(fā)明構(gòu)成限
制。在本文中使用時，除非以其他方式明確指出，否則單數(shù)形式"一(an， an)"和"所述"也將包括復數(shù)形式。還應當理解，當在該說明書中使用 時，詞語"包括(includes, comprises, including禾口/或comprising)"意 指存在所陳述的特征、整數(shù)、步驟、操作、部件和/或組件，但是并不排 除存在或添加一個或更多個其他特征、.整數(shù)、步驟、操作、部件、組件 和/或它們組成的組。此外，當一部件被稱為"響應于"或"連接到"另 一部件時，它可以直接響應于或連接到該另一部件，或者可以存在中間 部件。相反，當一部件被稱為"直接響應于"或"直接連接到"另一部 件時，不存在中間部件。在這里使用時，詞語"和域"包括一項或更多 項關(guān)聯(lián)列舉項中的任何或所有組合，并且可以被簡寫為"/"。
應當理解，盡管詞語第一、第二等在這里可被用來描述各種部件， 但是這些部件不應當受這些詞語限制。這些詞語僅用來將一部件與另一 部件區(qū)分開。例如，第一部件可以被命名為第二部件，類似地，第二部 件可以被命名為第一部件，而不會偏離本公開的教導。盡管一些附圖在 通信路徑上包括箭頭來顯示通信的基本方向，但是應當理解，通信可以 發(fā)生在與所描繪的箭頭相反的方向上。
結(jié)合流程圖描述了一些實施方式，'在這些流程圖中每個框表示電路 元件、模塊或者包括一條或更多條可執(zhí)行指令的代碼的一部分，所述指 令用于實現(xiàn)所規(guī)定的邏輯功能。還應當注意，在其他實現(xiàn)中，在框中注 明的功能可以不按注明的次序發(fā)生。例如，取決于所涉及的功能性，被 示為連續(xù)的兩個框可以事實上基本并發(fā)地發(fā)生，或者所述框有時可以以 逆序執(zhí)行。
本發(fā)明的一些實施方式可以產(chǎn)生于這樣的實現(xiàn)，即可以使用化身來 在通信終端之間的視頻會議和其他通信行為期間表示人員，并且這可以鼓勵更多使用這種可視通信，可以降低這些通信使用的網(wǎng)絡(luò)帶寬，并且 可以降低通信終端的處理帶寬和/或存儲要求。
圖1例示了根據(jù)本發(fā)明一些實施方式的對第一和第二無線通信終端
110和120上的化身的顯示進行控制的通信系統(tǒng)。
化身是由通信終端110和120中的電子電路產(chǎn)生的關(guān)于人的二維或 三維圖形表示。如在視頻會議中所使用的，在通信終端110和120 二者 處均可以產(chǎn)生化身，作為分別在通信終端110和120處捕捉到的圖片/視 頻流中示出的人的計算機產(chǎn)生的圖形表示，并且在通信終端110和120 之間傳送化身以在它們上進行顯示。化身可以包括來自圖片/視頻流的人 的圖像的至少一部分，并且可以通過例如以下操作來產(chǎn)生使人的圖像 變形(例如，活動/改變面部特征和/或身體特征)，將計算機產(chǎn)生的圖形 (例如，計算機產(chǎn)生的圖形面部特征、.圖形身體特征、和/或諸如太陽鏡 和/或珠寶這樣的圖形附件)添加到人的圖像的規(guī)定部分，和/或用整個計 算機產(chǎn)生的圖形肖像(例如，該肖像可以具有動畫卡通外貌)來替換人 的圖像。下面將描述，可以基于索尼公司開發(fā)的運動畫像(portrait)技 術(shù)來產(chǎn)生化身。
出于僅舉例說明和解釋的目的，在本文中就無線通信終端來描述本 發(fā)明的各種實施方式。然而，應當理解，本發(fā)明并不限于這些實施方式， 并且可以一般地實施為如本文所描述的那樣產(chǎn)生、選擇和或控制化身的 任何通信終端。
參照圖1，示例性的第一和第二通信終端110和120可以各自包括視 頻源130、圖像處理器132、顯示器134、通信控制器140、收發(fā)機142、 存儲器150，以及用戶輸入接口 160。第一和第二通信終端110和120可 以被配置來通過交換從視頻源130產(chǎn)生的視頻流來在它們之間進行視頻 會議，并且所述視頻流可以包括操作相應的通信終端110和120的人員 的圖像。本領(lǐng)域技術(shù)人員將意識到，在游戲環(huán)境內(nèi)、在包括多于兩個通 信終端的視頻會議環(huán)境內(nèi)、以及在期望參與者的可視化表示的其他通信 環(huán)境內(nèi)，該系統(tǒng)可以類似地工作。
通信終端110和120被配置來通過無線空中接口進行通信。收發(fā)機142通常包括協(xié)作以發(fā)送和接收射頻信號的發(fā)送機電路和接收機電路，所 述射頻信號可以通過例如可包括在蜂窩通信系統(tǒng)內(nèi)的基站收發(fā)機144和 移動交換中心(MSC) 146來被路由。通信終端110和120的收發(fā)機142 可以附加或可替代地被配置來使用短距離通信協(xié)議在其間直接進行通 信。相應地，通信控制器140可以被配置來根據(jù)一種或更多種蜂窩協(xié)議 對通信進行編碼/解碼和控制，所述蜂窩協(xié)議可以包括但不限于全球移動 通信標準(GSM)、通用分組無線業(yè)務(GPRS)、增強型數(shù)據(jù)速率GSM 演進技術(shù)(EDGE)、碼分多址(CDMA)、寬帶CDMA、 CDMA2000， 和/或通用移動電信系統(tǒng)(UMTS)。通信控制器140可以替代地或附加地 根據(jù)一種或更多種短距離通信協(xié)議對通信進行編碼/解碼和控制，所述短 距離通信協(xié)議可以包括但不限于，藍牙和/或WiFi,例如IEEE 802.11 (例 如，IEEE802.11b-g)。
視頻源130可以包括例如電荷耦合器件或其他產(chǎn)生視頻流并且還可 以產(chǎn)生數(shù)字靜物圖片的圖像傳感器。用戶接口 160可以包括麥克風、游 戲桿、鍵盤/小鍵盤、觸感顯示接口、撥號盤、方向鍵，和/或定位終端(例 如，鼠標、軌跡球、觸摸板等)。顯示器134可以包括液晶顯示器(LCD)、 陰極射線管(CRT)，和/其他可以可視地顯示計算機產(chǎn)生的圖形，并且還 可以被配置來顯示全動視頻的其他顯示技術(shù)。
存儲器150可以表示存儲器結(jié)構(gòu)，該存儲器結(jié)構(gòu)可以包括易失性存 儲器和/或非易失性存儲器，例如，可移除閃存、磁和/或光可重寫的非易 失性存儲器。該存儲器可以包括畫像命令數(shù)據(jù)庫152、化身數(shù)據(jù)庫154和 操作數(shù)據(jù)庫156，操作數(shù)據(jù)庫156包括可以用來修改在顯示器134上顯示 的化身的操作組。
圖像處理器132被配置來產(chǎn)生化身、在顯示器134上顯示化身，以 及修改所顯示的化身。圖像處理器132還被配置來使用畫像命令來控制 在另一通信終端上顯示的化身，所述畫像命令是響應于針對來自視頻源 130的視頻流內(nèi)的人的圖像而識別出的畫像特性而產(chǎn)生的。下面參照圖 2-5，來描述可以例如通過圖像處理器132執(zhí)行以產(chǎn)生、選擇、傳送和修 改化身的各種操作和方法。圖2是例示用于產(chǎn)生并向另一通信終端傳送化身和用于產(chǎn)生并向另 一通信終端傳送畫像命令的操作和方法200的流程圖。這些操作和方法 可以至少部分地由圖像處理器132來執(zhí)行。
參照圖2，第一通信終端110使用圖像處理器132和通信控制器140 來與第二通信終端120建立視頻會議(框202)。視頻會議協(xié)議可以例如 基于第一和第二通信終端110和120支持的一個或更多個蜂窩視頻會議 協(xié)議。
確定第二通信終端120中是否存儲有已有化身(框2(H)。例如，在 建立視頻會議期間，第二通信終端120可以基于第一通信終端110的電 話號碼來確定它是否存儲有與該電話號碼相關(guān)聯(lián)的已有化身，如果沒有， 則可以從第一通信終端110請求化身。.
當確定第二通信終端120沒有對應化身(例如，存儲在終端120中 的預先存在的化身)時，第一通信終端110產(chǎn)生化身并將該化身傳送到 第二通信終端120?；砜梢酝ㄟ^圖像處理器132識別(框206)來自視 頻源130的圖片和/或視頻流中的人的畫像特性來產(chǎn)生。化身可以響應于 所識別出的畫像特性，使用例如索尼公司開發(fā)的運動畫像技術(shù)來產(chǎn)生(框 208)。例如，圖像處理器132可以響應于對人的面部輪廓的識別和/或響 應于對面部特征(例如，頭發(fā)、耳朵、眼睛、鼻子、嘴部以及皮膚表面 的相對大小、顏色和位置)的識別，來產(chǎn)生化身。圖像處理器132隨后 可以產(chǎn)生圖形表示，如人的二維或三維的全部圖形表示和/或人的部分視 頻部分圖形的混合表示。圖像處理器132可以例如根據(jù)二維圖片/視頻流 產(chǎn)生人的三維圖畫。
圖像處理器132可以通過例如以下操作來產(chǎn)生化身使人的圖像變 形(例如，活動/改變面部特征和/或身體特征)，將計算機化的圖形圖像 (例如，計算機產(chǎn)生的圖形面部特征、身體特征，和/或諸如太陽鏡和/ 或珠寶這樣的附件)作為覆蓋添加在人的圖像的規(guī)定部分上，和/或用整 個計算機產(chǎn)生的圖形肖像替換人的圖像。圖像處理器132通過通信控制 器140和收發(fā)機142將化身傳送到第二'通信終端120 (框210)。
在進行視頻會議期間，第一通信終端110的圖像處理器132被配置來使用第二通信終端120已知的畫像命令來控制第二通信終端120在顯 示器134上顯示的化身。為了產(chǎn)生一條或更多條畫像命令，圖像處理器 132識別(框212)來自視頻源130的視頻流中的人的畫像特性。圖像處 理器132響應于所識別的畫像特性，從數(shù)據(jù)庫152中的畫像命令中選擇 畫像命令。通過通信控制器140和收發(fā)機142將所選擇的畫像命令傳送 到第二通信終端120。 '
圖5是例示可以例如通過圖像處理器132執(zhí)行來基于對面部表情的 識別選擇畫像命令的各種操作和方法的流程圖。參照圖5，在進行視頻會 議期間，圖像處理器132分析來自視頻源130的視頻流中的視頻幀，以 識別(框502)面部表情。圖像處理器132可以對識別出的面部表情進行 分類(框504)，例如，將面部表情分類為指示多種規(guī)定情緒中的一種或 更多種，例如指示人高興、悲傷、厭煩或困倦。圖像處理器132響應于 分類，從命令數(shù)據(jù)庫152中選擇(框506)畫像命令，所述畫像命令用于 將第二通信終端120顯示的化身改變?yōu)閷谧R別出的面部表情，例如， 從指示人高興改變?yōu)橹甘救吮瘋?、厭煩或困?例如，改變化身的嘴部 特征、眼睛特征、頭發(fā)特征、身體特征活動特性，以可視地指示識別出 的人的情緒)。
可替代地或者附加地，圖像處理器132可以響應于人的語音特征(例 如，語音的音高和/或講話速度)，從命令數(shù)據(jù)庫152中選擇(框506)畫 像命令。因此，圖像處理器132可以從人的語音檢測各種特性，例如人 的情緒，這些特性可以由畫像命令來表示，以使得第二通信終端120修 改所顯示的畫像來指示化身上的對應情緒。在示例性實施方式中，圖像 處理器132在人的音高和域語速增加至少一個或更多個閾值量(例如， 高于其相應的中間值的閾值量)時，可以將人分類為高興的，在人的音 高和/或語速降低至少一個或更多個閾值量時，可以將人分類為厭煩的， 而當人的音高和域語速進一步降低至少一個或更多個閾值量時，可以將 人分類為困倦的。如上所述，圖像處理器132可以響應于這些分類的變 化，使用畫像命令來使得第二通信終端120以對應方式修改它顯示的化 身?？商娲鼗蚋郊拥兀瑘D像處理器132可以響應于人通過接口 160 (例 如，用戶選擇第一通信終端110上的各種規(guī)定按鈕)產(chǎn)生的信號，選擇 (框506)對應畫像命令，所述對應畫像命令被所述圖像處理器132傳送 給第二通信終端120，以使得第二通信終端120修改它顯示的化身(例如， 將小鍵盤按鈕與使化身厭倦、微笑等相關(guān)聯(lián))。
圖像處理器132可以識別來自視頻源130的視頻流中的人的身體特 征(例如，頭部、嘴部等)的活動(框508)。響應于所識別出的活動， 圖像處理器132可以從命令數(shù)據(jù)庫152.中選擇(框510)指示所檢測到的 活動(例如，指示檢測到的人頭部的上下晃動、人頭部的左右搖動、人 嘴部的快速活動等)的畫像命令。由此，傳送到第二通信終端120的一 條畫像命令可以指示特定身體特征的反復活動，并且可以使第二通信終 端120相應地以動畫形式使化身活動以模仿該反復活動，例如上下晃動 化身的頭部、左右搖動化身的頭部、使化身的嘴部快速活動以模仿說話 等。
由此，第一通信終端110中的圖像處理器132可以響應于所識別的 畫像特性來選擇一條或更多條畫像命令，并將一條或更多條畫像命令傳 送到第二通信終端120，以使得第二通信終端120中的圖像處理器132修 改所顯示的化身。第一通信終端110中的圖像處理器132可以針對各單 獨視頻幀或者針對多個視頻幀來選擇一條畫像命令。圖像處理器132可 以例如通過識別在空間上隔開規(guī)定數(shù)目個跳過視頻幀的單獨視頻流幀內(nèi) 的人的畫像特性，來在畫像命令的選擇之間跳過規(guī)定數(shù)目的視頻幀。
使用一條畫像命令來控制第二通信終端120顯示的化身，可以大大 減少在第一和第二通信終端110和120之間使用的網(wǎng)絡(luò)通信帶寬，和/或 可以減少在通信終端110和120中用來在視頻會議期間提供實時編碼、 分發(fā)、接收和解碼功能的處理帶寬。然而，圖像處理器132并不限于每 幀選擇一條畫像命令，它可以另選地針對每個視頻幀選擇多條畫像命令， 以傳送給第二通信終端120。
再次參照圖2，通過通信控制器140和收發(fā)機142將所選的一條或更 多條畫像命令傳送(框216)到第二通信終端120。確定視頻會議是否已經(jīng)終止(框218)，如果沒有，則可以重復框212到218的操作。
圖3是例示根據(jù)本發(fā)明一些實施方式的操作和方法的流程圖，所述 操作和方法用于接收/選擇化身、接收化身命令和修改所顯示的化身，并 且所述操作和方法可以主要由第二通信終端120中的圖像處理器132來 執(zhí)行。
參照圖3，第二通信終端120使用圖像處理器132和通信控制器140 來建立與第一通信終端110的視頻會議(框302)。視頻會議協(xié)議可以例 如基于第一和第二通信終端110和120支持的一種或更多種蜂窩視頻會 議協(xié)議。
確定第二通信終端120在化身數(shù)瑪庫154中是否具有應當在視頻會 議期間在顯示器134上顯示來表示操作第一通信終端110的人的化身(框 304)。圖像處理器132可以通過使用第一通信終端的電話號碼來作出該 確定，如果存在一個對應化身，則使用該電話號碼作為化身數(shù)據(jù)庫154 內(nèi)的指針來選擇(框312)該對應化身。
可替代地或附加地，圖像處理器132可以識別通過視頻會議接收的 人的語音特征，并且如果存在對應化身，可以使用這些識別出的語音特 征(例如，對音高、速度模式等的語音識別)作為化身數(shù)據(jù)庫154內(nèi)的 指針，來選擇(框312)該對應化身。圖4是例示可以用來基于對第一通 信終端110講話的人的語音特征來選擇化身的操作和方法的流程圖。
參照圖4，識別對第一通信終端110講話的人的語音特征(框402)。 在視頻會議/電話會議期間可以對諸如話音模式這樣的特定語音參數(shù)進行 采樣，并將其與相關(guān)聯(lián)的化身一起存儲在數(shù)據(jù)庫154內(nèi)，并且隨后可以 使用這些語音參數(shù)來在隨后的視頻會議呼叫期間識別語音并選擇相關(guān)聯(lián) 的化身。例如，確定所識別的語音特征是否對應于在化身數(shù)據(jù)庫154中 本地存儲的已有化身(框404)，如果是，則選擇(框406)該化身以在 視頻會議期間顯示。
由此，第二通信終端120可以使用第一通信終端110的電話號碼來 選擇(框312)用于在視頻會議期間顯示的化身，和/或可以對通過第一 通信終端110講話的人的語音執(zhí)行語音識別，以選擇(框312)用于在視頻會議期間顯示的化身。
在視頻會議期間，第二通信終端120的圖像處理器132可以識別正 在通過第一通信終端110講話的人何時發(fā)生改變，和/或可以識別多個在 講話的人，可以識別其他講話者的語音特征，并且如果存在的話，可以 使用這些識別出的語音特征來選擇(框312)化身數(shù)據(jù)庫154中的另一化 身。圖像處理器132隨后可以在正從第一通信終端110接收人的語音的 同時，在顯示器134上顯示識別出的化身。圖像處理器132可以可替代 地或附加地顯示多于一個化身，每個化身對應于在視頻會議期間正從第 一通信終端110接收的被識別出不同人的語音。由此，可以在顯示器134 上顯示多個化身，每個化身表示在視頻會議期間例如以順序方式和/或以 揚聲器電話配置使用第一通信終端110的不同講話者。
可替代地或附加地，在視頻會議期間，正在操作第二通信終端120 的人可以使用接口 160，來手動從數(shù)據(jù)庫152中的化身內(nèi)選擇一化身以在 顯示器134上顯示。
當識別出沒有已有化身，并且正在使用第二通信終端120的人未以 其他方式手動選擇已有化身時，第二通信終端120可以從第一通信終端 110請求(框306)化身。響應于該請求，第二通信終端120可以接收(308) 要在視頻會議期間顯示的化身，并且可以將該化身和相關(guān)聯(lián)的信息(例 如，第一通信終端110的電話號碼和/或其他識別信息)存儲到化身數(shù)據(jù) 庫154內(nèi)。圖像處理器132可以附加地/可替代地識別正在使用第一通信 終端110的人的語音特征，并且可以將所識別出的與所選化身相關(guān)聯(lián)的 語音特征存儲在化身數(shù)據(jù)庫154中。由此，第二通信終端120可以將人 的語音關(guān)聯(lián)到數(shù)據(jù)庫154中的化身，并早可以將該信息存儲在數(shù)據(jù)庫154 中，以供在以后的視頻會議期間重用。
圖像處理器132在顯示器134上顯示(框316)化身。在進行視頻會 議期間，通過收發(fā)機142和通信控制器140從第一通信終端110接收一 條或更多條畫像命令。操作數(shù)據(jù)庫156包括被配置為執(zhí)行不同化身修改 的操作組，這些化身修改例如為，將化身上的嘴部從微笑修改為不悅、 張開和閉合化身的嘴部、使化身眨眼、用手捂住化身的耳朵、對化身添加/移除計算機產(chǎn)生的太陽鏡等。響應于接收到的畫像命令，圖像處理器
132在操作數(shù)據(jù)庫156中選擇它用來修改所顯示的化身的一組操作。
圖像處理器132響應于所選擇(框318)的修改操作，來修改(框 320)在顯示器134上顯示的化身。例如，圖像處理器132可以響應于來 自第一通信終端110的單獨畫像命令，選擇(框31S)并執(zhí)行以下操作 在微笑與不悅之間切換化身的嘴部、張開/閉合化身的嘴部、睜開/閉合化 身的一只或兩只眼睛、用手捂住化身的耳朵、對化身添加/移除計算機產(chǎn) 生的太陽鏡等。
圖6是例示可以由第二通信終端120的圖像處理器132使用以修改 顯示的化身的操作和方法的流程圖。圖像處理器132識別(框602)數(shù)據(jù) 庫156中對應于接收到的畫像命令的操作。接收到的畫像命令可以指令 圖像處理器132執(zhí)行所顯示的化身的規(guī)定部分的反復活動(框604)，例 如，晃動化身的頭部(例如，點頭表示同意)、搖動化身的頭部(例如， 搖頭表示不同意)、使化身的嘴部活動以模擬講話/唱歌，和/或使化身的 眼睛活動以模擬眨眼。由此，可以使用來自第一通信終端110的一條畫 像命令，來執(zhí)行第二通信終端120顯示的化身的規(guī)定部分的反復活動。
再次參照圖3，圖像處理器132可以可替代地或附加地響應于從第一 通信終端110接收到的語音信號的特性，來修改(框322)在顯示器134 上顯示的化身。例如，圖像處理器132可以響應于來自第一通信終端110 的語音信號中講話的音高和/或語速的至少閾值變化，來從數(shù)據(jù)庫156中 選擇一個或更多個化身改變操作。
在示例性實施方式中，圖像處理器132可以修改(框322)所顯示的 化身，以指示當接收到的音高和/或語速增加至少一個或更多個閾值量(例 如，高于其相應中間值的閾值量)時為高興，可以修改所顯示的化身以 指示當接收到的音高和/或語速降低至少一個或更多個閾值量時為厭煩， 以及可以修改所顯示的化身以指示當接收到的音高和/或語速進一步降低 至少一個或更多個閾值量時為困倦。
確定(框324)視頻會議是否已經(jīng)終止，如果沒 ，則可以重復框 316至324的操作。由此，在一些實施方式中，通信設(shè)備識別視頻流中人的畫像的特性。 通信設(shè)備響應于所識別的特性，選擇接收通信設(shè)備已知的畫像命令，并 將所選擇的畫像命令傳送到該接收通信設(shè)備，以控制該接收通信設(shè)備顯 示的化身。
在附圖和說明書中，已經(jīng)公開了本發(fā)明的示例性實施方式。然而， 在基本上不偏離本發(fā)明的原理的情況下，可以對這些實施方式進行許多 變化和修改。因此，盡管使用了特定術(shù)語，但是它們僅用于一般性的說 明意義，而非限制的目的，本發(fā)明的范圍由所附權(quán)利要求來限定。
權(quán)利要求
1、一種用于控制在接收通信終端處顯示的化身的方法，該方法包括在發(fā)送通信終端處，在來自視頻源的視頻流中識別人的畫像特性；在所述發(fā)送通信終端處，響應于在所述視頻流中所識別出的所述人的畫像特性，從所述接收通信終端已知的多條畫像命令中選擇畫像命令；以及將所選擇的畫像命令從所述發(fā)送通信終端發(fā)送到所述接收通信終端。
2、 根據(jù)權(quán)利要求1所述的方法，其中，從多條畫像命令中選擇畫像 命令包括響應于在所述視頻流的至少一幀內(nèi)所識別出的所述人的畫像 特性，選擇供發(fā)送的一條畫像命令。'
3、 根據(jù)權(quán)利要求2所述的方法，其中，從多條畫像命令中選擇畫像 命令包括反復響應于在所述視頻流的在空間上隔開規(guī)定數(shù)目個跳幀的 各單獨幀內(nèi)所識別出的人的畫像特性，選擇供發(fā)送的一條畫像命令。
4、 根據(jù)權(quán)利要求2到3中的任一項所述的方法，該方法還包括 在所述接收通信終端處接收所述一條畫像命令；響應于所述一條畫像命令，從所述接收通信終端中存儲的多組化身修改操作中識別一組化身修改操作；響應于所識別出的一組化身修改操作，修改所述接收通信終端顯示 的化身。
5、 根據(jù)權(quán)利要求1到4中的任一項所述的方法，其中 識別人的畫像特性包括識別作為人的情緒的指示的面部表情； 從多條畫像命令中選擇畫像命令包括選擇與所識別出的人的情緒的指示對應的畫像命令；并且 該方法還包括在所述接收通信終端處接收所述畫像命令；和修改所述接收通信終端顯示的化身，以提供所述人的情緒的指示。
6、 根據(jù)權(quán)利要求5所述的方法，其中從多條畫像命令中選擇畫像命令包括選擇指示所述人的情緒是以 下情緒中的至少一種的畫像命令高興、悲傷、厭煩和困倦；并且修改所述接收通信終端顯示的化身包括通過執(zhí)行以下操作中的至 少一種來使所顯示的化身變化；在所述畫像命令對應于高興情緒時，修改所顯示的化身的嘴部以指示微笑；在所述畫像命令對應于悲傷情緒時， 修改所顯示的化身的嘴部以指示不悅；在所述畫像命令對應于厭煩情緒 時，修改所顯示的化身的嘴部以指示厭倦；以及在所述畫像命令對應于 困倦情緒時，修改所顯示的化身的眼睛以指示閉眼。
7、 根據(jù)權(quán)利要求6所述的方法，該方法還包括響應于在所述接收通信終端上設(shè)置的標志，修改所顯示的化身以提 供與所述畫像命令指示的情緒相反指示的情緒。
8、 根據(jù)權(quán)利要求1到7中的任一項所述的方法，其中 識別人的畫像特性包括識別語音信號中作為人的情緒的指示的語音特征；并且從多條畫像命令中選擇畫像命令包括選擇與所識別出的語音特征 對應的畫像命令。
9、 根據(jù)權(quán)利要求8所述的方法，其中，選擇與所識別出的語音特征 對應的畫像命令包括響應于所述語音信號中講話音高和/或語速的變化 來選擇畫像命令。
10、 根據(jù)權(quán)利要求1到9中的任一項所述的方法，該方法還包括-響應于來自所述發(fā)送通信終端的，音信號中的語音特征，來修改所述接收通信終端顯示的化身。 '
11、 根據(jù)權(quán)利要求10所述的方法，其中，修改所述接收通信終端顯 示的化身包括響應于所述語音信號中的講話音高和/或語速的變化來修 改所顯示的化身。
12、 根據(jù)權(quán)利要求1到11中的任一項所述的方法，其中 識別人的畫像特性包括識別所述視頻流中的所述人的身體特征反復活動；從多條畫像命令中選擇畫像命令包括選擇作為所述視頻流中所識別出的身體特征反復活動的指示的畫像命令；并且該方法還包括修改所述接收通信終端顯示的化身，以顯示所述化身上與所述畫像命令所指示的身體特征反復活動對應的特征的反復活 動。
13、 根據(jù)權(quán)利要求1到12中的任一項所述的方法，該方法還包括 在所述接收通信終端處接收所述畫像命令；和 響應于所述畫像命令來修改所述接收通信終端顯示的化身，其中，對所述化身的修改是通過響應于用戶在所述接收通信終端上的規(guī)定設(shè) 置，夸張所顯示的化身的規(guī)定特征來執(zhí)行的。
14、 根據(jù)權(quán)利要求1到13中的任一項所述的方法，其中 從多條畫像命令中選擇畫像命令包括選擇畫像命令，所述畫像命令響應于用戶的規(guī)定設(shè)置和在所述視頻流中所識別出的所述人的畫像特 性，來夸張在所述接收通信終端上顯示的化身的規(guī)定特征。
15、 根據(jù)權(quán)利要求1到14中的任一項所述的方法，該方法還包括響應于識別出所述發(fā)送通信終端已使所述接收通信終端處于通信保 持狀態(tài)，修改所述接收通信終端顯示的化身。
16、 根據(jù)權(quán)利要求1到15中的任一項所述的方法，該方法還包括從所述多條畫像命令中選擇指示所述發(fā)送通信終端將其麥克風靜音的畫像命令，其中，所選擇的畫像命令被發(fā)送給所述接收通信終端；響應于所接收到的指示所述發(fā)送通信終端將其麥克風靜音的畫像命 令，修改所述接收通信終端顯示的化身。
17、 根據(jù)權(quán)利要求1到16中的任一項所述的方法，該方法還包括 在所述發(fā)送通信終端處，識別圖片'和/或視頻流中的人的畫像特性； 響應于所識別出的畫像特性來產(chǎn)生化身；以及在所述發(fā)送通信終端和所述接收通信終端之間建立視頻會議會話期 間，將所述化身從所述發(fā)送通信終端發(fā)送到所述接收通信終端。
18、 根據(jù)權(quán)利要求1到17中的任一項所述的方法，其中，響應于所 識別出的畫像特性來產(chǎn)生化身包括響應于在二維圖片和/或視頻流中所識別出的畫像特性，產(chǎn)生人的身體特征的三維表示。
19、 根據(jù)權(quán)利要求1到18中的任一項所述的方法，該方法還包括-在所述接收通信終端處，使用所述發(fā)送通信終端的電話號碼來從多個存儲的化身中選擇化身；在所述接收通信終端處顯示所選擇的化身；以及 響應于所述畫像命令，修改所述接收通信終端顯示的化身。
20、 根據(jù)權(quán)利要求1到19中的任一項所述的方法，該方法還包括 通過對來自在所述發(fā)送通信終端處講話的人的音頻信號使用語音識別，來使用語音識別識別該人；響應于對該人的識別，從多個存儲的化身中選擇化身； 在所述接收通信終端處顯示所選擇的化身；以及 響應于所述畫像命令，修改所述接收通信終端顯示的化身。
21、 一種無線通信終端，該無線通 言終端包括 視頻源，其用于產(chǎn)生視頻流；收發(fā)機，其被配置為通過無線空中接口與另一通信終端進行通信；以及圖像處理器，其被配置為在來自所述視頻源的視頻流中識別人的 畫像特性；響應于在所述視頻流中所識別出的人的畫像特性，從多條畫 像命令中選擇接收通信終端已知的畫像命令；以及通過所述收發(fā)機將所 選擇的畫像命令發(fā)送給另一通信終端?！?br> 22、 一種無線通信終端，該無線通信終端包括收發(fā)機，其被配置為通過無線空中接口從另一通信終端接收畫像命令；顯示器；以及圖像處理器，其被配置為響應于所接收到的畫像命令，對在所述顯 示器上顯示的化身執(zhí)行修改。
全文摘要
公開了用于對在通信終端處的化身顯示進行控制的方法和相關(guān)聯(lián)的無線通信系統(tǒng)。識別來自視頻源的視頻流中的人的畫像特性。響應于所識別出的所述視頻流中的人的畫像特性，從多條畫像命令中選擇接收通信終端已知的畫像命令。將所選擇的畫像命令發(fā)送到接收通信終端。接收通信終端然后可以響應于接收到的畫像命令來修改顯示的化身。
文檔編號H04L29/06GK101690071SQ200780053540
公開日2010年3月31日 申請日期2007年12月18日 優(yōu)先權(quán)日2007年6月29日
發(fā)明者亨里克·本特松, 托德·撒恩伯格 申請人:索尼愛立信移動通訊有限公司