一種手語(yǔ)動(dòng)畫(huà)的合成方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于人機(jī)交互的技術(shù)領(lǐng)域，具體地涉及一種手語(yǔ)動(dòng)畫(huà)的合成方法。
【背景技術(shù)】
[0002] 手語(yǔ)是由手勢(shì)輔之以表情姿勢(shì)為符號(hào)構(gòu)成的比較穩(wěn)定的表達(dá)系統(tǒng)，是一種靠動(dòng)作 /視覺(jué)交際的多模式協(xié)同的語(yǔ)言，它在聽(tīng)力語(yǔ)言障礙者交流、智能人機(jī)交互、手語(yǔ)電視等領(lǐng) 域有著廣泛的應(yīng)用，因此，手語(yǔ)合成方法的研宄具有重要的研宄意義和社會(huì)意義。手語(yǔ)合成 技術(shù)涉及到自然語(yǔ)言處理、計(jì)算機(jī)動(dòng)畫(huà)、模式識(shí)別等眾多學(xué)科，目前主要側(cè)重以下三個(gè)方面 的研宄：從文本到手語(yǔ)的分析處理，計(jì)算機(jī)合成手語(yǔ)的實(shí)現(xiàn)方法和合成手語(yǔ)的表示方式。
[0003] 按照輸入類(lèi)型的不同，可以將手語(yǔ)合成方法分為基于文本驅(qū)動(dòng)的手語(yǔ)合成，語(yǔ)音 驅(qū)動(dòng)的手語(yǔ)合成，語(yǔ)音文本驅(qū)動(dòng)的手語(yǔ)合成等形式，國(guó)內(nèi)對(duì)手語(yǔ)合成方法的研宄起步較晚， 大多基于文本驅(qū)動(dòng)手語(yǔ)合成，對(duì)于給定的自然語(yǔ)言文本句子，經(jīng)過(guò)文本分析，應(yīng)用自然語(yǔ)言 處理的方法將其轉(zhuǎn)換為沒(méi)有歧義的規(guī)范文本，分成一個(gè)個(gè)手語(yǔ)詞，再結(jié)合預(yù)先建立的手語(yǔ) 運(yùn)動(dòng)數(shù)據(jù)庫(kù)找到對(duì)應(yīng)的手勢(shì)，通過(guò)視頻或者虛擬人動(dòng)畫(huà)的形式顯示出來(lái)；基于語(yǔ)音驅(qū)動(dòng)的 方法，首先利用語(yǔ)音識(shí)別技術(shù)識(shí)別將語(yǔ)音轉(zhuǎn)換為文本，再進(jìn)行前述操作；或者從語(yǔ)音中提取 韻律信息，輔助文本提供的基本語(yǔ)義，增強(qiáng)手語(yǔ)表達(dá)的真實(shí)感。
[0004] 在手語(yǔ)動(dòng)畫(huà)的表示方法上，主要分為基于三維虛擬人的技術(shù)和基于視頻的技術(shù)： 基于三維虛擬人的手語(yǔ)動(dòng)畫(huà)合成方法首先建立三維虛擬人模型，通過(guò)控制虛擬人運(yùn)動(dòng)展現(xiàn) 手語(yǔ)；基于視頻表示時(shí)，若干手語(yǔ)詞視頻片段按照文本語(yǔ)法規(guī)則重新組合成新的手語(yǔ)視頻。 隨著虛擬人運(yùn)動(dòng)合成技術(shù)愈趨成熟，利用虛擬人來(lái)模擬真實(shí)人的行為在動(dòng)畫(huà)、娛樂(lè)、醫(yī)學(xué)等 領(lǐng)域的應(yīng)用越來(lái)越廣泛?；谌S虛擬人的手語(yǔ)動(dòng)畫(huà)合成方法被應(yīng)用在手語(yǔ)應(yīng)用中，目的 是將自然語(yǔ)言表達(dá)轉(zhuǎn)換為手語(yǔ)表達(dá)，并由虛擬人顯示出來(lái)，以便于聽(tīng)力語(yǔ)言障礙者更方便 地接受和理解信息。
[0005] 但是，由于文本或語(yǔ)音僅能提供有限的基本信息，目前的自然語(yǔ)言處理技術(shù)還無(wú) 法實(shí)現(xiàn)從文本中提取韻律、表情等能夠增強(qiáng)手語(yǔ)表達(dá)可懂度的因素，因此文本驅(qū)動(dòng)的手語(yǔ) 動(dòng)畫(huà)合成往往真實(shí)感不強(qiáng)，因此，越來(lái)越多的研宄者為實(shí)現(xiàn)更具真實(shí)感的手語(yǔ)動(dòng)畫(huà)合成嘗 試新的方法。

【發(fā)明內(nèi)容】

[0006] 本發(fā)明的技術(shù)解決問(wèn)題是：克服現(xiàn)有技術(shù)的不足，提供一種手語(yǔ)動(dòng)畫(huà)的合成方法， 其能夠更直觀準(zhǔn)確的方式獲取手語(yǔ)表達(dá)中的表情信息，合成更具真實(shí)感的手語(yǔ)動(dòng)畫(huà)。
[0007] 本發(fā)明的技術(shù)解決方案是：這種手語(yǔ)動(dòng)畫(huà)的合成方法，包括以下步驟：
[0008] (1)生成視頻驅(qū)動(dòng)的三維人臉表情；
[0009] (2)生成文本驅(qū)動(dòng)的三維手勢(shì)，得到手勢(shì)動(dòng)作序列；
[0010] (3)對(duì)面部表情序列和手勢(shì)動(dòng)作序列進(jìn)行協(xié)同。
[0011] 本發(fā)明通過(guò)生成視頻驅(qū)動(dòng)的三維人臉表情，生成文本驅(qū)動(dòng)的三維手勢(shì)，得到手勢(shì) 動(dòng)作序列，對(duì)面部表情序列和手勢(shì)動(dòng)作序列進(jìn)行協(xié)同，從而能夠更直觀準(zhǔn)確的方式獲取手 語(yǔ)表達(dá)中的表情信息，合成更具真實(shí)感的手語(yǔ)動(dòng)畫(huà)。
【附圖說(shuō)明】
[0012] 圖1示出了根據(jù)本發(fā)明的一種手語(yǔ)動(dòng)畫(huà)的合成方法的一個(gè)優(yōu)選實(shí)施例的流程圖。
【具體實(shí)施方式】
[0013] 這種手語(yǔ)動(dòng)畫(huà)的合成方法，其能夠更直觀準(zhǔn)確的方式獲取手語(yǔ)表達(dá)中的表情信 息，合成更具真實(shí)感的手語(yǔ)動(dòng)畫(huà)。
[0014] 本發(fā)明的技術(shù)解決方案是：這種手語(yǔ)動(dòng)畫(huà)的合成方法，包括以下步驟：
[0015] (1)生成視頻驅(qū)動(dòng)的三維人臉表情；
[0016] (2)生成文本驅(qū)動(dòng)的三維手勢(shì)，得到手勢(shì)動(dòng)作序列；
[0017] (3)對(duì)面部表情序列和手勢(shì)動(dòng)作序列進(jìn)行協(xié)同。
[0018] 本發(fā)明通過(guò)生成視頻驅(qū)動(dòng)的三維人臉表情，生成文本驅(qū)動(dòng)的三維手勢(shì)，得到手勢(shì) 動(dòng)作序列，對(duì)面部表情序列和手勢(shì)動(dòng)作序列進(jìn)行協(xié)同，從而能夠更直觀準(zhǔn)確的方式獲取手 語(yǔ)表達(dá)中的表情信息，合成更具真實(shí)感的手語(yǔ)動(dòng)畫(huà)。
[0019] 優(yōu)選地，所述步驟（1)包括以下分步驟：
[0020] (1. 1)校正人臉特征點(diǎn)坐標(biāo)：對(duì)頭部的整體旋轉(zhuǎn)和平移做校正操作，校正操作以 中性參考人臉為目標(biāo)，將其他人臉圖像坐標(biāo)調(diào)整到與中性參考人臉一致，選取m張人臉，根 據(jù)公式（1)取其平均值作為中性參考人臉，
[0021]
【主權(quán)項(xiàng)】
1. 一種手語(yǔ)動(dòng)畫(huà)的合成方法，其特征在于：包括以下步驟： (1) 生成視頻驅(qū)動(dòng)的三維人臉表情； (2) 生成文本驅(qū)動(dòng)的三維手勢(shì)，得到手勢(shì)動(dòng)作序列； (3) 對(duì)面部表情序列和手勢(shì)動(dòng)作序列進(jìn)行協(xié)同。
2. 根據(jù)權(quán)利要求1所述的手語(yǔ)動(dòng)畫(huà)的合成方法，其特征在于：所述步驟 (1)包括以下分步驟： (1. 1)校正人臉特征點(diǎn)坐標(biāo)：對(duì)頭部的整體旋轉(zhuǎn)和平移做校正操作，校正操作以中性 參考人臉為目標(biāo)，將其他人臉圖像坐標(biāo)調(diào)整到與中性參考人臉一致，選取m張人臉，根據(jù)公 式（1)取其平均值作為中性參考人臉，
其中（xN_al，yN_al)表示中性參考人臉的特征點(diǎn)坐標(biāo)，（X i, Yi)表示選取的第i幅人臉 的特征點(diǎn)坐標(biāo)；根據(jù)已提取的特征點(diǎn)信息建立參考坐標(biāo)系，選取兩眼外眼角連線為X軸，取 其中心為原點(diǎn)，原點(diǎn)關(guān)于X軸的垂線為Y軸，以中性參考人臉坐標(biāo)系為基準(zhǔn)，對(duì)其余坐標(biāo)系 進(jìn)行校正，根據(jù)公式（2)計(jì)算各人臉坐標(biāo)系相對(duì)中性參考人臉的旋轉(zhuǎn)角α和平移量△， Δ X - X-Xq Ay = y-y〇 (2) 其中（x〇，y〇)表示中性人臉時(shí)左右眼角中點(diǎn)坐標(biāo)，（x，y)表示任意圖像中左右眼角中點(diǎn) 位置的坐標(biāo)，平移之后原點(diǎn)位置對(duì)齊，然后計(jì)算旋轉(zhuǎn)角度α，根據(jù)公式（3)得到旋轉(zhuǎn)矩陣
經(jīng)過(guò)平移和旋轉(zhuǎn)矩陣變換，各人臉特征點(diǎn)坐標(biāo)系具有相對(duì)不變性，在校正每一幀的人 臉特征點(diǎn)以后，計(jì)算其每個(gè)特征點(diǎn)相對(duì)中性表情時(shí)相對(duì)位置的變化來(lái)確定特征點(diǎn)的運(yùn)動(dòng)； (1. 2)基于人臉特征點(diǎn)坐標(biāo)計(jì)算FAP參數(shù)：對(duì)每一幀選取66個(gè)次級(jí)FAP中的部分作為 驅(qū)動(dòng)人臉表情的參數(shù)，以便驅(qū)動(dòng)三維虛擬人生成動(dòng)畫(huà)。
3. 根據(jù)權(quán)利要求2所述的手語(yǔ)動(dòng)畫(huà)的合成方法，其特征在于：所述步驟（1)包括步驟 (1.3)對(duì)眨眼動(dòng)作的優(yōu)化： 對(duì)眼睛周?chē)奶卣鼽c(diǎn)的運(yùn)動(dòng)軌跡進(jìn)行跟蹤分析，以幀數(shù)為X軸，特征點(diǎn)縱坐標(biāo)的值為 Y軸，描述第28號(hào)特征點(diǎn)的縱坐標(biāo)隨幀數(shù)變化的曲線，當(dāng)視頻中人臉表現(xiàn)眨眼動(dòng)作時(shí)，根據(jù) 公式（4)曲線在某一幀處的斜率會(huì)超過(guò)一個(gè)閾值α yt+i-yt>α (4) 其中yt，yt+1分別表示特征點(diǎn)在第t幀和第t+l幀時(shí)的縱坐標(biāo)值，當(dāng)滿(mǎn)足公式（4) 時(shí)判定在該幀出現(xiàn)眨眼行為；對(duì)于檢測(cè)到眨眼的幀，對(duì)FAP19~FAP22進(jìn)行單獨(dú)賦值， 更新FAP參數(shù)；經(jīng)過(guò)步驟（I. 1)-(1. 3)，得到一個(gè)表示表情變化的FAP序列FAPS = (FAP1, FAP2. ·· FAPn)，其中FAPi表示第i幀對(duì)應(yīng)的一組FAP參數(shù)，η表示總幀數(shù)。
4. 根據(jù)權(quán)利要求3所述的手語(yǔ)動(dòng)畫(huà)的合成方法，其特征在于：所述步驟（2)為：對(duì)于輸 入的自然語(yǔ)言文本句子，經(jīng)過(guò)文本分析，應(yīng)用自然語(yǔ)言處理的方法將其轉(zhuǎn)換為無(wú)歧義的規(guī) 范文本，分成一個(gè)個(gè)手語(yǔ)詞，再結(jié)合預(yù)先建立的手語(yǔ)運(yùn)動(dòng)數(shù)據(jù)庫(kù)找到對(duì)應(yīng)的手勢(shì)，實(shí)現(xiàn)將文 本句子轉(zhuǎn)換成表示手語(yǔ)的符號(hào)序列，每個(gè)手語(yǔ)符號(hào)對(duì)應(yīng)相應(yīng)的手勢(shì)運(yùn)動(dòng)，得到手勢(shì)動(dòng)作序 列JMS = (JM1, JM2. .. JMm)，其中JMi表示第i個(gè)手語(yǔ)詞對(duì)應(yīng)的一個(gè)記錄關(guān)鍵幀信息和時(shí)間 信息的JM文件，m為得到的手語(yǔ)詞的總個(gè)數(shù)。
5. 根據(jù)權(quán)利要求4所述的手語(yǔ)動(dòng)畫(huà)的合成方法，其特征在于：所述步驟（3)包括以下 分步驟： (3. 1)確定面部表情序列的長(zhǎng)度：通過(guò)HTK工具包對(duì)語(yǔ)音信息進(jìn)行處理，使用HCopy提 取原文件的語(yǔ)音特征參數(shù)，轉(zhuǎn)換為參數(shù)文件；定義HMM原型，在模型參數(shù)初始化后對(duì)訓(xùn)練集 進(jìn)行嵌入式訓(xùn)練；利用識(shí)別工具HVite將語(yǔ)音信號(hào)和文本強(qiáng)制對(duì)齊，以此得到文本中每個(gè) 字對(duì)應(yīng)的時(shí)間信息，從而得到每一個(gè)詞在視頻序列中對(duì)應(yīng)的幀數(shù)，從而得到每一個(gè)詞對(duì)應(yīng) 的FAP片段；根據(jù)公式（5)-(7)得到面部表情序列ANIS
ANIS = (ANI11ANI2. . . ANIm) (7) 其中ANIi表示第i個(gè)詞對(duì)應(yīng)的FAP片段，從FAP stajlj FAP md，ts表示這個(gè)詞對(duì)應(yīng)的起 始時(shí)間，&表示結(jié)束時(shí)間，T為總時(shí)間，m為得到的手語(yǔ)詞的總個(gè)數(shù)； (3. 2)對(duì)面部表情序列插值到長(zhǎng)度等同于手勢(shì)動(dòng)作序列。
6. 根據(jù)權(quán)利要求5所述的手語(yǔ)動(dòng)畫(huà)的合成方法，其特征在于：所述步驟（3. 2)為：根據(jù) 手勢(shì)動(dòng)作的時(shí)間信息，按繪制速率計(jì)算手勢(shì)動(dòng)作序列插值，插值依據(jù)為手勢(shì)動(dòng)作文件中記 錄的時(shí)間信息和關(guān)鍵幀，在手勢(shì)動(dòng)作文件中記錄了每一幀的持續(xù)時(shí)間信息以及64個(gè)自由 度的運(yùn)動(dòng)變化，根據(jù)公式（8)計(jì)算插值系數(shù)
其中N為手勢(shì)動(dòng)作序列的關(guān)鍵幀的個(gè)數(shù)，t為完整動(dòng)作時(shí)長(zhǎng)，&為每一幀的持續(xù)時(shí)間， i的范圍是I-N ;以插值后的手勢(shì)動(dòng)作序列為基準(zhǔn)對(duì)面部表情序列進(jìn)行插值，以實(shí)現(xiàn)兩個(gè)獨(dú) 立序列在時(shí)間上的一致。
7. 根據(jù)權(quán)利要求6所述的手語(yǔ)動(dòng)畫(huà)的合成方法，其特征在于：所述繪制速率為25幀/ 秒。
【專(zhuān)利摘要】本發(fā)明公開(kāi)了一種手語(yǔ)動(dòng)畫(huà)的合成方法，其能夠更直觀準(zhǔn)確的方式獲取手語(yǔ)表達(dá)中的表情信息，合成更具真實(shí)感的手語(yǔ)動(dòng)畫(huà)。這種手語(yǔ)動(dòng)畫(huà)的合成方法，包括步驟：(1)生成視頻驅(qū)動(dòng)的三維人臉表情；(2)生成文本驅(qū)動(dòng)的三維手勢(shì)，得到手勢(shì)動(dòng)作序列；(3)對(duì)面部表情序列和手勢(shì)動(dòng)作序列進(jìn)行協(xié)同。
【IPC分類(lèi)】G06T19-00
【公開(kāi)號(hào)】CN104732590
【申請(qǐng)?zhí)枴緾N201510102530
【發(fā)明人】尹寶才, 高明, 王立春, 孔德慧
【申請(qǐng)人】北京工業(yè)大學(xué)
【公開(kāi)日】2015年6月24日
【申請(qǐng)日】2015年3月9日