基于化身的傳輸協(xié)議、圖標(biāo)生成和玩偶動(dòng)畫的制作方法
【技術(shù)領(lǐng)域】
[0001] 各個(gè)實(shí)施例一般地涉及化身。更具體地，各個(gè)實(shí)施例涉及基于化身的傳輸協(xié)議、圖 標(biāo)生成和玩偶動(dòng)畫。
【背景技術(shù)】
[0002] 可以在虛擬世界(諸如游戲環(huán)境中)使用化身。最近化身技術(shù)的發(fā)展可以作為視頻 內(nèi)容封裝、傳輸和處理化身數(shù)據(jù)，這可能導(dǎo)致高帶寬花費(fèi)。此外，各種技術(shù)方案可以在實(shí)時(shí) 傳輸協(xié)議（RTP)信道中傳輸化身數(shù)據(jù)，這依賴于遠(yuǎn)程對(duì)等體中的專用化身支持。
【附圖說明】
[0003] 通過閱讀下面的說明書和所附的權(quán)利要求并且通過參考附圖，實(shí)施例的各種優(yōu)點(diǎn) 對(duì)于本領(lǐng)域技術(shù)人員來說將變得清楚，其中： 圖1是根據(jù)實(shí)施例的化身傳輸協(xié)議的示例的框圖； 圖2是根據(jù)實(shí)施例的管理化身的方法的示例的流程圖； 圖3是根據(jù)實(shí)施例的化身圖標(biāo)消息傳送方案的示例的框圖； 圖4是根據(jù)實(shí)施例的施行化身圖標(biāo)消息傳送的方法的示例的流程圖； 圖5是根據(jù)實(shí)施例的基于化身的玩偶動(dòng)畫方案的示例的框圖； 圖6是根據(jù)實(shí)施例的施行基于化身的玩偶動(dòng)畫的方法的示例的流程圖； 圖7A和7B是根據(jù)實(shí)施例的客戶端設(shè)備的示例的框圖； 圖8是根據(jù)實(shí)施例的處理器的示例的框圖； 圖9是根據(jù)實(shí)施例的系統(tǒng)的示例的框圖。
【具體實(shí)施方式】
[0004] 現(xiàn)在轉(zhuǎn)向圖1，示出了化身傳輸協(xié)議的示例，其中對(duì)象10 (例如個(gè)體、人、用戶等） 分別被攝像機(jī)22和麥克風(fēng)24在視覺上和可聽見地捕獲。圖示的對(duì)象10展示被反映在視 頻信號(hào)26中的一個(gè)或多個(gè)面部表情(例如嘴部形狀、頭部轉(zhuǎn)動(dòng)、點(diǎn)頭、眨眼、皺眉、微笑、使 眼色）并且同時(shí)說出被反映在音頻信號(hào)28中的可聽見的內(nèi)容30 (例如，單詞、短語、聲音)。 視頻信號(hào)26和音頻信號(hào)28可以由消息傳送系統(tǒng)/應(yīng)用32處理，消息傳送系統(tǒng)/應(yīng)用32 被配置為在視頻信號(hào)26中標(biāo)識(shí)對(duì)象20的一個(gè)或多個(gè)面部表情并且基于該一個(gè)或多個(gè)面部 表情生成化身動(dòng)畫數(shù)據(jù)34。如將被更詳細(xì)討論的，化身動(dòng)畫數(shù)據(jù)34可以促進(jìn)在視覺上和可 聽見地模仿對(duì)象10的化身的生成，而不揭示對(duì)象10的真實(shí)身份或肖像。
[0005] 另外，消息傳送系統(tǒng)32可以把音頻信號(hào)28編碼(例如壓縮)成音頻文件36并且把 化身動(dòng)畫數(shù)據(jù)34合并到音頻文件36中。尤其要注意的是，把圖示的化身動(dòng)畫數(shù)據(jù)34合并 到音頻文件36中使得化身動(dòng)畫數(shù)據(jù)34能夠跨網(wǎng)絡(luò)38 (例如因特網(wǎng)、內(nèi)聯(lián)網(wǎng)）被傳輸而不 會(huì)導(dǎo)致高帶寬花費(fèi)或依賴于遠(yuǎn)程對(duì)等體(例如遠(yuǎn)程客戶端設(shè)備)中的專用化身支持。圖示的 音頻文件36和化身動(dòng)畫數(shù)據(jù)34被用于呈現(xiàn)化身動(dòng)畫40,該化身動(dòng)畫40模仿對(duì)象20的面 部表情和由對(duì)象20說出的可聽見的內(nèi)容30,而不揭示對(duì)象10的真實(shí)身份或肖像。
[0006] 在一個(gè)示例中，化身動(dòng)畫數(shù)據(jù)34包括加時(shí)間戳的面部運(yùn)動(dòng)數(shù)據(jù)。面部運(yùn)動(dòng)數(shù)據(jù)可 以包括表示面部特征和/或表情(諸如例如對(duì)象眼睛、嘴、臉頰、牙齒、眼眉等的位置、頭部 轉(zhuǎn)動(dòng)、點(diǎn)頭、眨眼、皺眉、微笑、使眼色等)的各種參數(shù)。向面部運(yùn)動(dòng)數(shù)據(jù)加時(shí)間戳可以促進(jìn)在 化身動(dòng)畫40的呈現(xiàn)期間把動(dòng)畫面部表情與可聽見的內(nèi)容30同步。此外，加時(shí)間戳的面部 運(yùn)動(dòng)數(shù)據(jù)可以被存儲(chǔ)到音頻文件36的空數(shù)據(jù)字段。例如，核心音頻格式（CAF)文件格式可 以被用于指定面部運(yùn)動(dòng)數(shù)據(jù)的量以及面部運(yùn)動(dòng)數(shù)據(jù)自身，如下面表I中所說明的。 表I。
[0007] 在另一示例中，化身動(dòng)畫數(shù)據(jù)34包括到面部運(yùn)動(dòng)數(shù)據(jù)的鏈接(例如統(tǒng)一資源定位 符)，其中該鏈接可以被存儲(chǔ)在音頻文件36的聲音元數(shù)據(jù)字段中（例如，如果使用不具有空 數(shù)據(jù)字段的音頻文件格式(諸如因特網(wǎng)低比特率編解碼器/iLBC、高級(jí)音頻編碼/AAC等)的 話)。因此，可以在這種情況下使用如表II中的文件格式。 表I。
[0008] 現(xiàn)在轉(zhuǎn)向圖2,示出了管理化身的方法42。方法42可以在客戶端設(shè)備中實(shí)施為 存儲(chǔ)在機(jī)器或計(jì)算機(jī)可讀介質(zhì)（諸如隨機(jī)存取存儲(chǔ)器（RAM)、只讀存儲(chǔ)器（ROM)、可編程ROM (PR0M)、閃速存儲(chǔ)器等）中的邏輯指令和/或固件的集合；實(shí)施在可配置邏輯中，可配置 邏輯諸如例如是可編程邏輯陣列（PLA)、現(xiàn)場可編程門陣列（FPGA)、復(fù)雜可編程邏輯器件 (CPLD);實(shí)施在使用電路技術(shù)的固定功能邏輯硬件中，電路技術(shù)諸如例如是專用集成電路 (ASIC)、互補(bǔ)金屬氧化物半導(dǎo)體（CMOS)或晶體管-晶體管邏輯（TTL)技術(shù)；或者實(shí)施在它 們的任何組合中。例如，用于執(zhí)行方法42中示出的操作的計(jì)算機(jī)程序代碼可以用一種或多 種編程語言的任何組合來編寫，該編程語言包括：面向?qū)ο蟮木幊陶Z言，諸如C++等；和常 規(guī)過程編程語言，諸如"C"編程語言或類似的編程語言。此外，方法42可以使用任何上面 提到的電路技術(shù)來實(shí)施。
[0009] 所圖示的處理方框44規(guī)定在本地客戶端設(shè)備(例如本地對(duì)等體）處在視頻信號(hào)中 標(biāo)識(shí)對(duì)象的一個(gè)或多個(gè)面部表情?；韯?dòng)畫數(shù)據(jù)可以在方框46處基于所述一個(gè)或多個(gè)面 部表情生成，其中圖示的方框50把該化身動(dòng)畫數(shù)據(jù)合并到與視頻信號(hào)相關(guān)聯(lián)的音頻文件 中。如已經(jīng)討論的，把化身動(dòng)畫數(shù)據(jù)合并到音頻文件中可以包括：在音頻文件的空數(shù)據(jù)字段 中存儲(chǔ)加時(shí)間戳的面部運(yùn)動(dòng)數(shù)據(jù)；把到加時(shí)間戳的面部運(yùn)動(dòng)數(shù)據(jù)的鏈接存儲(chǔ)在音頻文件的 聲音元數(shù)據(jù)字段中，等等。面部運(yùn)動(dòng)數(shù)據(jù)可以描述由視頻信號(hào)捕獲的對(duì)象的諸如嘴部動(dòng)作、 眼睛位置、眼眉位置等之類的面部運(yùn)動(dòng)。因此，面部運(yùn)動(dòng)數(shù)據(jù)可以描述眼睛張開的程度、嘴 部張開的程度、嘴唇、鼻尖、頭部轉(zhuǎn)動(dòng)的位置等。
[0010] 加時(shí)間戳的面部運(yùn)動(dòng)數(shù)據(jù)可以包括例如針對(duì)視頻信號(hào)的每個(gè)幀的16位浮點(diǎn)數(shù) 據(jù)。尤其要注意的是，具有面部運(yùn)動(dòng)數(shù)據(jù)的10秒聲音剪輯(每秒25幀和50%的壓縮率）可 以產(chǎn)生大約20KB的音頻文件大小，而常規(guī)10秒的視頻剪輯可能導(dǎo)致幾兆字節(jié)的文件大小。 在方框52,音頻文件可以被發(fā)送到遠(yuǎn)程客戶端設(shè)備(例如遠(yuǎn)程對(duì)等體)。在一個(gè)示例中，音頻 文件經(jīng)由消息傳送應(yīng)用和/或系統(tǒng)通過網(wǎng)絡(luò)連接被發(fā)送。
[0011] 圖示的方框54規(guī)定在遠(yuǎn)程客戶端設(shè)備處接收音頻文件。該音頻文件可以在方框 56被用于獲得化身動(dòng)畫數(shù)據(jù)，其中化身動(dòng)畫可以在方框58基于音頻文件和化身動(dòng)畫數(shù)據(jù) 被呈現(xiàn)。在一個(gè)示例中，獲得化身動(dòng)畫數(shù)據(jù)涉及從音頻文件的空數(shù)據(jù)字段取回加時(shí)間戳的 面部運(yùn)動(dòng)數(shù)據(jù)。在另一示例中，獲得化身動(dòng)畫數(shù)據(jù)涉及從存儲(chǔ)在音頻文件的聲音元數(shù)據(jù)字 段中存儲(chǔ)的鏈接取回加時(shí)間戳的面部運(yùn)動(dòng)數(shù)據(jù)。呈現(xiàn)化身動(dòng)畫可以涉及把加時(shí)間戳的面部 運(yùn)動(dòng)數(shù)據(jù)與音頻文件同步。
[0012] 化身圖標(biāo)生成 尤其可以受益于本文描述的技術(shù)的一種類型的應(yīng)用是在消息傳送環(huán)境中的化身圖標(biāo) 生成。例如，對(duì)于朋友和/或熟人可能經(jīng)常發(fā)生以在線設(shè)置(諸如社交網(wǎng)絡(luò)、虛擬論壇、焦點(diǎn) 小組等）彼此共享消息。已經(jīng)討論的化身傳輸協(xié)議可以被容易地應(yīng)用于這樣的設(shè)置中以便 促進(jìn)化身圖標(biāo)連同共享的消息的生成和傳輸。
[0013] 圖3示出了圖標(biāo)消息傳送方案的示例，其中由攝像機(jī)22捕獲對(duì)象60,并且消息傳 送系統(tǒng)/應(yīng)用62在視頻信號(hào)26中標(biāo)識(shí)對(duì)象60的一個(gè)或多個(gè)面部表情，如已經(jīng)討論的。對(duì) 象60的面部表情也可以在靜止圖像27中由攝像機(jī)22捕獲。所圖示的消息傳送系統(tǒng)62基 于面部表情生成一個(gè)或多個(gè)化身圖標(biāo)64 (例如，響應(yīng)于用戶請(qǐng)求周期性地進(jìn)行等)，一個(gè)或 多個(gè)化身圖標(biāo)64可以被添加到圖標(biāo)列表66。
[0014] 圖標(biāo)列表66因此可以包含具有不同面部特征/表情的一組化身，其反映由對(duì)象在 視頻信號(hào)26和/或靜止圖像27的捕獲期間做出的面部特征/表情。在此方面，消息傳送系 統(tǒng)62可以在將化身圖標(biāo)64添加到圖標(biāo)列表66之前確認(rèn)化身圖標(biāo)64不是副本。圖標(biāo)列表 66可以繼而經(jīng)由用戶接口（UI) 68被呈示給對(duì)象60,其中從圖標(biāo)列表66對(duì)化身圖標(biāo)70的 用戶選擇可以連同消息74 (例如，即時(shí)消息/IM、發(fā)布、短消息傳送服務(wù)/SMS、電子郵件等） 通過網(wǎng)絡(luò)38被發(fā)送到遠(yuǎn)程客戶端設(shè)備。所選擇的化身圖標(biāo)70也可以通過網(wǎng)絡(luò)38在音頻 文件中被傳輸，如已經(jīng)討論的。
[0015] 在圖示的示例中，消息74包括由對(duì)象60輸入的文本72。化身圖標(biāo)64可以在用戶 正在輸入文本72時(shí)