專利名稱：人臉視頻合成方法及裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計(jì)算機(jī)圖形學(xué)領(lǐng)域，特別涉及一種人臉視頻合成方法及裝置。
背景技術(shù)：
在游戲制作、電影制作與虛擬現(xiàn)實(shí)中，人臉表情的模擬技術(shù)得到了快速的發(fā)展，已經(jīng)提出許多表情合成的方法，然而真實(shí)人物表情的合成仍然不能滿足實(shí)際的需求。一方面， 一些基于樣本的圖片變形技術(shù)產(chǎn)生的表情圖片缺乏真實(shí)感，不能滿足大量表情序列真實(shí)感的要求；另一方面，面部表情捕捉技術(shù)能夠?qū)⒀輪T的表情轉(zhuǎn)移到另一個(gè)人物，這種技術(shù)較為成熟，在許多電影特效(如3D電影《阿凡達(dá)》)中都有應(yīng)用，但是實(shí)施起來(lái)較為復(fù)雜，而且演員需要戴一個(gè)頭盔，十分不方便；同時(shí)，演員還經(jīng)常需要重復(fù)表演某個(gè)表情直到滿足質(zhì)量要求，這對(duì)于演員來(lái)說(shuō)非常麻煩。要想合成逼真的人物表情，主要的難點(diǎn)在于人臉的幾何與紋理特征的合成，當(dāng)人做某種表情時(shí)，他的外形根據(jù)肌肉變化而變化，同時(shí)也受環(huán)境光照影響而產(chǎn)生亮暗交替。其中，臉部運(yùn)動(dòng)編碼系統(tǒng)(FACS)在表情分析與合成中得到廣泛應(yīng)用，它將人臉?lè)譃橐幌盗羞\(yùn)動(dòng)單元(AU)，提供了一些基本面部表情的相應(yīng)肌肉運(yùn)動(dòng)，通過(guò)改變這些運(yùn)動(dòng)單元的相關(guān)組合，就可以產(chǎn)生不同的人臉表情。這種方法雖然能夠得到較為真實(shí)的人臉表情，但是不能實(shí)現(xiàn)自動(dòng)化處理，即給定一個(gè)人物的表情，不能在盡可能減少人干預(yù)的前提下將表情映射到另一個(gè)人物。

發(fā)明內(nèi)容
本發(fā)明的目的旨在至少解決上述技術(shù)缺陷之一。為此，本發(fā)明需要提供一種人臉視頻合成方法及裝置，該人臉視頻合成方法及裝置的優(yōu)點(diǎn)是對(duì)于用戶定義的任意表情，都能方便地合成出目標(biāo)人物相應(yīng)的逼真圖像序列；減少演員表演次數(shù)；并且自動(dòng)化程度高。根據(jù)本發(fā)明的一方面，提供了一種人臉視頻合成方法，其特征在于，包括步驟建立目標(biāo)人物表情數(shù)據(jù)庫(kù)，所述目標(biāo)人物表情數(shù)據(jù)庫(kù)中包括多幀人臉圖像；對(duì)所述多幀人臉圖像進(jìn)行預(yù)處理，以提取每一幀人臉圖像上人臉的姿態(tài)位置和人臉的表情；進(jìn)行用戶定義的人臉圖像序列中人臉的姿態(tài)位置和人臉的表情與所述多幀人臉圖像上人臉的姿態(tài)位置和人臉的表情的聯(lián)合相似度檢索，以得到和所述用戶定義的人臉圖像序列匹配的檢索圖像序列；以及對(duì)所述檢索圖像序列進(jìn)行卷繞變換和平滑處理。根據(jù)本發(fā)明實(shí)施例的人臉視頻合成方法，對(duì)于用戶定義的任意表情，都能方便地合成出目標(biāo)人物相應(yīng)的逼真圖像序列。根據(jù)本發(fā)明的一個(gè)實(shí)施例，所述建立目標(biāo)人物表情數(shù)據(jù)庫(kù)的步驟包括從多個(gè)視角和多個(gè)姿態(tài)位置采集所述目標(biāo)人物的多個(gè)基本表情圖像序列，其中所述多個(gè)基本表情圖像序列中的每個(gè)基本表情圖像序列由中性表情和所述中性表情的變化過(guò)程表情構(gòu)成。根據(jù)本發(fā)明實(shí)施例的人臉視頻合成方法，目標(biāo)人物表情數(shù)據(jù)庫(kù)中可以包括大量圖像。
根據(jù)本發(fā)明的一個(gè)實(shí)施例，所述對(duì)所述多幀人臉圖像進(jìn)行預(yù)處理的步驟包括提取所述多幀人臉圖像中每一幀人臉圖像中人臉的姿態(tài)位置并使用偏航角、螺旋角及側(cè)傾角來(lái)描述人臉的位置；將所述多幀人臉圖像中每一幀人臉圖像中的人臉與正面的標(biāo)準(zhǔn)姿態(tài)對(duì)準(zhǔn)并進(jìn)行特征描述點(diǎn)檢測(cè)，使用所述特征描述點(diǎn)來(lái)描述人臉的表情。根據(jù)本發(fā)明實(shí)施例的人臉視頻合成方法，可以準(zhǔn)確描述人臉的姿態(tài)位置和表情。根據(jù)本發(fā)明的一個(gè)實(shí)施例，基于主動(dòng)形狀模型進(jìn)行所述特征描述點(diǎn)檢測(cè)。根據(jù)本發(fā)明的一個(gè)實(shí)施例，進(jìn)行所述用戶定義的人臉圖像序列中人臉的姿態(tài)位置和人臉的表情與所述多幀人臉圖像上人臉的姿態(tài)位置和人臉的表情的聯(lián)合相似度檢索的步驟包括根據(jù)Dpose = L (I Yi-Yj I) +L (I Ri-Rj I) +L (| Pi-Pj |)進(jìn)行所述用戶定義的人臉圖像序列中人臉的姿態(tài)位置與所述多幀人臉圖像上人臉的姿態(tài)位置的相似度計(jì)算，其中Y表示偏航角，R表示螺旋角，P表示側(cè)傾角，Ii表示所述用戶定義的人臉圖像序列中的任一幀人臉圖像，表示所述多幀人臉圖像中的任一幀人臉圖像，L(d)是sigmoid函數(shù)，定義為
￡(J) = exp(l+g-^-r)/CT)其中Y = ln99，T與σ分別是變量d的統(tǒng)計(jì)均值與標(biāo)準(zhǔn)差；根據(jù)
所述偏航角、所述螺旋角與所述側(cè)傾角，將所述用戶定義的人臉圖像序列中人臉的姿態(tài)位
置對(duì)準(zhǔn)到正面姿態(tài)，然后根據(jù)Dex-=YIdL^-為，㈨進(jìn)行所述用戶定義的人臉圖像
序列中人臉的表情與所述多幀人臉圖像上人臉的表情的相似度計(jì)算，其中Ai,k是圖像Ii對(duì)準(zhǔn)后的第k個(gè)特征描述點(diǎn)，Aj, k是圖像h對(duì)準(zhǔn)后的第k個(gè)特征描述點(diǎn)，J是特征點(diǎn)的個(gè)數(shù)，
wk是第k個(gè)特征點(diǎn)的權(quán)重，L (d)是sigmoid函數(shù)，定義為RA =
的特征點(diǎn)距離歸一化到W，l]；根據(jù)D(i，j) = Dpose(i, j) +λ Dexpression(i, j)獲得聯(lián)合相似度，其中參數(shù)λ是調(diào)節(jié)表情相似度與姿態(tài)位置相似度的權(quán)重比例；以及根據(jù)所述聯(lián)合相似度獲得用戶定義的人臉圖像序列中圖像Ii在所述多幀人臉圖像中的多個(gè)候選圖像。根據(jù)本發(fā)明實(shí)施例的人臉視頻合成方法，可以得到人臉的姿態(tài)位置和表情之間的適當(dāng)?shù)穆?lián)合相似度并得到符合條件的多個(gè)候選圖像。根據(jù)本發(fā)明的一個(gè)實(shí)施例，對(duì)于所述聯(lián)合相似度檢索獲得的所述多個(gè)候選圖像， 進(jìn)一步計(jì)算所述多個(gè)候選圖像之間的聯(lián)合相似度，并使用Dijkstra最短路徑算法得到所述檢索圖像序列以保證時(shí)間連續(xù)性和空間一致性。根據(jù)本發(fā)明實(shí)施例的人臉視頻合成方法，可以保證檢索圖像序列的精確性和平滑性。根據(jù)本發(fā)明的一方面，提供了一種人臉視頻合成裝置，其特征在于，包括目標(biāo)人物表情數(shù)據(jù)庫(kù)，所述目標(biāo)人物表情數(shù)據(jù)庫(kù)用于存儲(chǔ)多幀人臉圖像；預(yù)處理模塊，所述預(yù)處理模塊用于提取所述目標(biāo)人物表情數(shù)據(jù)庫(kù)中每一幀人臉圖像上人臉的姿態(tài)位置和人臉的表情；聯(lián)合相似度檢索模塊，所述聯(lián)合相似度檢索模塊用于進(jìn)行用戶定義的人臉圖像序列中人臉的姿態(tài)位置和人臉的表情與所述多幀人臉圖像上人臉的姿態(tài)位置和人臉的表情的聯(lián)合相似度檢索，以得到和所述用戶定義的人臉圖像序列匹配的檢索圖像序列；以及后處理模塊，所述后處理模塊用于對(duì)所述檢索圖像序列進(jìn)行卷繞變換和平滑處理。根據(jù)本發(fā)明實(shí)施例的人臉視頻合成裝置，對(duì)于用戶定義的任意表情，都能方便地合成出目標(biāo)人物相應(yīng)的逼真圖像序列。
根據(jù)本發(fā)明的一個(gè)實(shí)施例，所述多幀人臉圖像包括從多個(gè)視角和多個(gè)姿態(tài)位置采集所述目標(biāo)人物的多個(gè)基本表情圖像序列，其中所述多個(gè)基本表情圖像序列中的每個(gè)基本表情圖像序列由中性表情和所述中性表情的變化過(guò)程表情構(gòu)成。根據(jù)本發(fā)明實(shí)施例的人臉視頻合成裝置，目標(biāo)人物表情數(shù)據(jù)庫(kù)中可以包括大量圖像。根據(jù)本發(fā)明的一個(gè)實(shí)施例，所述預(yù)處理模塊進(jìn)一步用于提取所述多幀人臉圖像中每一幀人臉圖像中人臉的姿態(tài)位置并使用偏航角、螺旋角及側(cè)傾角來(lái)描述人臉的位置； 以及將所述多幀人臉圖像中每一幀人臉圖像中的人臉與正面的標(biāo)準(zhǔn)姿態(tài)對(duì)準(zhǔn)并使用所述特征描述點(diǎn)來(lái)描述人臉的表情。 根據(jù)本發(fā)明實(shí)施例的人臉視頻合成裝置，可以準(zhǔn)確描述人臉的姿態(tài)位置和表情。根據(jù)本發(fā)明的一個(gè)實(shí)施例，所述預(yù)處理模塊提取基于主動(dòng)形狀模型進(jìn)行所述特征描述點(diǎn)檢測(cè)。根據(jù)本發(fā)明的一個(gè)實(shí)施例，所述聯(lián)合相似度檢索模塊進(jìn)一步用于根據(jù)Dp_ = UlYi-YjIHUIi^i-RjIHL(IPi-PjI)進(jìn)行所述用戶定義的人臉圖像序列中人臉的姿態(tài)位置與所述多幀人臉圖像上人臉的姿態(tài)位置的相似度計(jì)算，其中Y表示偏航角，R表示螺旋角，P 表示側(cè)傾角，Ii表示所述用戶定義的人臉圖像序列中的任一幀人臉圖像，h表示所述多幀
人臉圖像中的任一幀人臉圖像，L(d)是sigmoid函數(shù)，定義*￡(々=exp(1 + g^i-r)/c0其中
Y = 1η99，T與σ分別是變量d的統(tǒng)計(jì)均值與標(biāo)準(zhǔn)差；根據(jù)所述偏航角、所述螺旋角與所述側(cè)傾角，將所述用戶定義的人臉圖像序列中人臉的姿態(tài)位置對(duì)準(zhǔn)到正面姿態(tài)，然后根據(jù)
Dex-“(^^^^-々，㈨進(jìn)行所述用戶定義的人臉圖像序列中人臉的表情與所述多
幀人臉圖像上人臉的表情的相似度計(jì)算，其中Ai, k是圖像Ii對(duì)準(zhǔn)后的第k個(gè)特征描述點(diǎn)， Aj, k是圖像h對(duì)準(zhǔn)后的第k個(gè)特征描述點(diǎn)，J是特征點(diǎn)的個(gè)數(shù)，wk是第k個(gè)特征點(diǎn)的權(quán)重，
L(d)是sigmoid函數(shù)，定義為￡(句=exp(1 + ^r(m”將計(jì)算出的特征點(diǎn)距離歸一化到
；根據(jù)D(i，j) = Dpose(i, j) +λ Dexpression(i, j)獲得聯(lián)合相似度，其中參數(shù)λ是調(diào)節(jié)表情相似度與姿態(tài)位置相似度的權(quán)重比例；以及根據(jù)所述聯(lián)合相似度獲得用戶定義的人臉圖像序列中圖像Ii在所述多幀人臉圖像中的多個(gè)候選圖像。根據(jù)本發(fā)明實(shí)施例的人臉視頻合成裝置，可以得到人臉的姿態(tài)位置和表情之間的適當(dāng)?shù)穆?lián)合相似度并獲得符合條件的多個(gè)候選圖像。根據(jù)本發(fā)明的一個(gè)實(shí)施例，對(duì)于所述多個(gè)候選圖像，所述聯(lián)合相似度檢索模塊進(jìn)一步根據(jù)所述多個(gè)候選圖像之間的聯(lián)合相似度而使用Dijkstra最短路徑算法得到所述檢索圖像序列以保證時(shí)間連續(xù)性和空間一致性。根據(jù)本發(fā)明實(shí)施例的人臉視頻合成裝置，可以保證檢索圖像序列的精確性和平滑性。本發(fā)明的附加方面和優(yōu)點(diǎn)將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過(guò)本發(fā)明的實(shí)踐了解到。


7
本發(fā)明上述的和/或附加的方面和優(yōu)點(diǎn)從下面結(jié)合附圖對(duì)實(shí)施例的描述中將變得明顯和容易理解，其中圖1是根據(jù)本發(fā)明一個(gè)實(shí)施例的人臉視頻合成方法的示意圖；圖2是根據(jù)本發(fā)明一個(gè)實(shí)施例的人臉視頻合成方法的流程圖；圖3是根據(jù)本發(fā)明一個(gè)實(shí)施例的進(jìn)行聯(lián)合相似度檢索的方法的流程圖；圖4是根據(jù)本發(fā)明一個(gè)實(shí)施例的基于主動(dòng)形狀模型(ASM)提取人臉特征描述點(diǎn)的示意圖；圖5是根據(jù)本發(fā)明一個(gè)實(shí)施例的獲得檢索圖像序列的示意圖；以及圖6是根據(jù)本發(fā)明一個(gè)實(shí)施例的人臉視頻合成裝置的框圖。
具體實(shí)施例方式下面詳細(xì)描述本發(fā)明的實(shí)施例，所述實(shí)施例的示例在附圖中示出，其中自始至終相同或類似的標(biāo)號(hào)表示相同或類似的元件或具有相同或類似功能的元件。下面通過(guò)參考附圖描述的實(shí)施例是示例性的，僅用于解釋本發(fā)明，而不能理解為對(duì)本發(fā)明的限制。需要說(shuō)明的是，此外，術(shù)語(yǔ)“第一”、“第二”、“第三”僅用于描述目的，而不能理解為指示或暗示相對(duì)重要性或者隱含指明所指示的技術(shù)特征的數(shù)量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隱含地包括一個(gè)或者更多個(gè)該特征。進(jìn)一步地，在本發(fā)明的描述中，除非另有說(shuō)明，“多個(gè)”的含義是兩個(gè)或兩個(gè)以上。下面參考附圖描述本發(fā)明的具體實(shí)施例。圖1是根據(jù)本發(fā)明一個(gè)實(shí)施例的人臉視頻合成方法的示意圖。如圖1所示，在目標(biāo)人物表情數(shù)據(jù)庫(kù)包括多幀人臉圖像。根據(jù)用戶定義的人臉圖像序列中人臉的姿態(tài)位置和人臉的表情，檢索目標(biāo)人物表情數(shù)據(jù)庫(kù)中多幀人臉圖像的人臉的姿態(tài)位置和人臉的表情， 以檢索到匹配的圖像序列，之后對(duì)圖像序列進(jìn)行卷繞與平滑。圖2是根據(jù)本發(fā)明一個(gè)實(shí)施例的人臉視頻合成方法的流程圖。如圖2所示，人臉視頻合成方法包括以下步驟。步驟S201，建立目標(biāo)人物表情數(shù)據(jù)庫(kù)，目標(biāo)人物表情數(shù)據(jù)庫(kù)中包括多幀人臉圖像。 具體地，目標(biāo)人物在多視角采集系統(tǒng)下做出多個(gè)基本表情圖像序列，且目標(biāo)人物在變化頭的姿態(tài)位置的情況下對(duì)于每個(gè)基本表情重復(fù)做數(shù)次。盡可能采集多個(gè)視角和多個(gè)姿態(tài)位置下的表情。每個(gè)基本表情圖像序列由中性表情和中性表情的變化過(guò)程表情構(gòu)成?；颈砬榘ǜ吲d、生氣、悲傷、厭惡、恐懼、驚奇等。步驟S202，對(duì)多幀人臉圖像進(jìn)行預(yù)處理，以提取每一幀人臉圖像上人臉的姿態(tài)位置和人臉的表情。具體包括提取多幀人臉圖像中每一幀人臉圖像中人臉的姿態(tài)位置并使用偏航角、螺旋角及側(cè)傾角來(lái)描述人臉的位置；將多幀人臉圖像中每一幀人臉圖像中的人臉與正面的標(biāo)準(zhǔn)姿態(tài)對(duì)準(zhǔn)并進(jìn)行特征描述點(diǎn)檢測(cè)，使用特征描述點(diǎn)來(lái)描述人臉的表情。步驟S203，進(jìn)行用戶定義的人臉圖像序列中人臉的姿態(tài)位置和人臉的表情與多幀人臉圖像上人臉的姿態(tài)位置和人臉的表情的聯(lián)合相似度檢索，以得到和用戶定義的人臉圖像序列匹配的檢索圖像序列。參考圖3描述進(jìn)行聯(lián)合相似度檢索的具體步驟。圖3是根據(jù)本發(fā)明一個(gè)實(shí)施例的進(jìn)行聯(lián)合相似度檢索的方法的流程圖。如圖3所示，聯(lián)合相似度檢索包括下述步驟。
步驟S2031，根據(jù) Dpose = L (| Yi-Yj |)+L (| Ri-Rj |)+L (| Pi-Pj |)進(jìn)行用戶定義的人臉圖像序列中人臉的姿態(tài)位置與多幀人臉圖像上人臉的姿態(tài)位置的相似度計(jì)算，其中 Y表示偏航角，R表示螺旋角，P表示側(cè)傾角，Ii表示用戶定義的人臉圖像序列中的任一幀人臉圖像，L表示多幀人臉圖像中的任一幀人臉圖像，L(d)是sigmoid函數(shù)，定義為
+其中Y = 1η99，Τ與σ分別是變量d的統(tǒng)計(jì)均值與標(biāo)準(zhǔn)差。步驟S2032，根據(jù)所述偏航角、所述螺旋角與所述側(cè)傾角，將所述用戶定義的人
臉圖像序列中人臉的姿態(tài)位置對(duì)準(zhǔn)到正面姿態(tài)，然后根據(jù)Dex- = Zfi WclL^-^JI
V k=\
進(jìn)行用戶定義的人臉圖像序列中人臉的表情與多幀人臉圖像上人臉的表情的相似度計(jì)算，其中Au是圖像Ii對(duì)準(zhǔn)后的第k個(gè)特征描述點(diǎn)，Aik是圖像L對(duì)準(zhǔn)后的第k個(gè)特征描述點(diǎn)，J是特征點(diǎn)的個(gè)數(shù)，Wk是第k個(gè)特征點(diǎn)的權(quán)重，L(d)是sigmoid函數(shù)，定義為
￡(J)=exp(l + g-^-r)/CT)將i十算 白勺特征點(diǎn)J巨離歸一&到
。見(jiàn)圖4砠$特征
述點(diǎn)的提取。圖4是根據(jù)本發(fā)明一個(gè)實(shí)施例的基于主動(dòng)形狀模型(ASM)提取人臉特征描述點(diǎn)的示意圖。如圖4所示，將目標(biāo)人物表情數(shù)據(jù)庫(kù)中的每一幀人臉圖像上的人臉對(duì)準(zhǔn)到正面的標(biāo)準(zhǔn)姿態(tài)，然后進(jìn)行主動(dòng)形狀模型特征描述點(diǎn)檢測(cè)，檢測(cè)出多個(gè)特征描述點(diǎn)，這多個(gè)特征描述點(diǎn)限定了人臉的表情。步驟S2033，根據(jù) D(i，j) = Dpose (i, j) + λ Dexpression(i, j)獲得姿態(tài)位置和表情的聯(lián)合相似度，其中參數(shù)λ是調(diào)節(jié)表情相似度與姿態(tài)位置相似度的權(quán)重比例。步驟S2034，根據(jù)步驟S2033中獲得的聯(lián)合相似度，對(duì)于用戶定義的人臉圖像序列，逐個(gè)圖像地檢索出目標(biāo)人物表情數(shù)據(jù)庫(kù)中距離最近的K幀，即聯(lián)合相似度最小的K幀， 也就是每個(gè)時(shí)刻的用戶圖像都有K個(gè)候選圖像。步驟S2035，對(duì)于步驟S2034中得到的K個(gè)候選圖像，進(jìn)一步根據(jù)K個(gè)候選圖像之間的聯(lián)合相似度，使用Dijkstra最短路徑算法得到檢索圖像序列以保證時(shí)間連續(xù)性和空間一致性。其中，使用與上述步驟中相同的方法計(jì)算K個(gè)候選圖像之間的聯(lián)合相似度。具體地，利用Dijkstra最短路徑算法檢索出一條從t = 1時(shí)刻到t = m時(shí)刻的最短路徑，其中m為用戶定義的人臉圖像序列的長(zhǎng)度。圖5是根據(jù)本發(fā)明一個(gè)實(shí)施例的獲得檢索圖像序列的示意圖。在實(shí)施Dijkstra最短路徑算法之前，需要建立一個(gè)有向圖，如圖5所示，該有向圖的節(jié)點(diǎn)由檢索到的所有目標(biāo)人物的候選人臉圖像構(gòu)成，只允許相鄰時(shí)刻的候選人臉圖像之間有有向邊相連，而邊的長(zhǎng)度(或叫做代價(jià))定義為L(zhǎng) (Ct, Ct+1, j) = D (Ct, “ Ut) +D (Ct+1,j; Ut+1) + μ D (Ct, Ct+1, j)，其中，Ct,i與Ct+1,」分別代表t時(shí)刻的第i個(gè)候選圖像與t+Ι時(shí)刻的第j個(gè)候選圖像，Ut與ut+1分別代表用戶定義的第t個(gè)與第t+ι個(gè)人臉圖像。這種節(jié)點(diǎn)間代價(jià)的度量使得盡可能選擇排名靠前(與用戶定義的人臉圖像序列中的圖像的距離盡可能近)的候選， 又能使得不同時(shí)刻的候選圖像間沒(méi)有明顯的突變，而μ則是調(diào)節(jié)檢索出的人臉圖像序列的精確性與平滑性的參數(shù)。利用最短路徑算法，得出結(jié)點(diǎn)Clii與Cnbj間的最短路徑，從首末結(jié)點(diǎn)的排列組合可以看出，這樣的路徑總共有個(gè)，在這K2個(gè)最短路徑中再求出路徑長(zhǎng)度最小的那條，就得到了需要的檢索圖像序列。步驟S204，對(duì)檢索圖像序列進(jìn)行卷繞變換和平滑處理。步驟S203中檢索得到的檢索圖像序列雖然在一定程度上保持了時(shí)間連續(xù)性和空間一致性，但是和目標(biāo)人物圖像上人臉的表情相比還有一定的差別，因此需要進(jìn)行卷繞變換來(lái)使得檢索圖像序列中人臉的表情更加匹配用戶定義的人臉圖像序列的圖像上人臉的表情。同時(shí)，檢索圖像序列可能存在視頻抖動(dòng)跳躍，因此需要進(jìn)一步平滑處理。平滑處理的具體步驟如下。對(duì)于t時(shí)刻的用戶圖像，利用提取的特征描述點(diǎn)將人臉?lè)譃槊济?、眼睛、鼻子、嘴巴等部分，分別計(jì)算Ut和Ct這些區(qū)域特征描述點(diǎn)的距離，若該距離大于某一常數(shù)δ，則認(rèn)為該區(qū)域目標(biāo)人物的動(dòng)作和用戶的動(dòng)作有一定差距。例如嘴巴的動(dòng)作不太符合要求，則需要用在目標(biāo)人物表情數(shù)據(jù)庫(kù)中再次檢索和用戶嘴巴最匹配的候選圖像，然后把檢測(cè)到的最匹配的嘴巴替代掉原來(lái)Ct的嘴巴，可以使用基于泊松方程的人臉補(bǔ)繪算法，從而保證替代時(shí)與周?chē)鷧^(qū)域紋理的一致性，不至于產(chǎn)生明顯的非真實(shí)感。經(jīng)過(guò)補(bǔ)繪后的人臉在時(shí)域上可能存在抖動(dòng)，需計(jì)算補(bǔ)繪后的圖像間相鄰時(shí)刻的距離，若檢測(cè)到抖動(dòng)，采取光流優(yōu)化的方法實(shí)現(xiàn)平滑過(guò)渡，替代掉抖動(dòng)發(fā)生時(shí)刻前后的某些圖像。圖6是根據(jù)本發(fā)明一個(gè)實(shí)施例的人臉視頻合成裝置的框圖。如圖6所示，人臉視頻合成裝置10包括目標(biāo)人物表情數(shù)據(jù)庫(kù)110，預(yù)處理模塊120，聯(lián)合相似度檢索模塊130和后處理模塊140。具體地，目標(biāo)人物表情數(shù)據(jù)庫(kù)110用于存儲(chǔ)多幀人臉圖像。預(yù)處理模塊120用于提取目標(biāo)人物表情數(shù)據(jù)庫(kù)110中每一幀人臉圖像上人臉的姿態(tài)位置和人臉的表情。聯(lián)合相似度檢索模塊130用于進(jìn)行用戶定義的人臉圖像序列中人臉的姿態(tài)位置和人臉的表情與多幀人臉圖像上人臉的姿態(tài)位置和人臉的表情的聯(lián)合相似度檢索，以得到和用戶定義的人臉圖像序列匹配的檢索圖像序列。后處理模塊140用于對(duì)檢索圖像序列進(jìn)行卷繞變換和平滑處理。在本發(fā)明的一個(gè)實(shí)施例中，多幀人臉圖像包括從多個(gè)視角和多個(gè)姿態(tài)位置采集目標(biāo)人物的多個(gè)基本表情圖像序列，其中多個(gè)基本表情圖像序列中的每個(gè)基本表情圖像序列由中性表情和中性表情的變化過(guò)程表情構(gòu)成?；谥鲃?dòng)形狀模型檢測(cè)特征描述點(diǎn)。在本發(fā)明的一個(gè)實(shí)施例中，預(yù)處理模塊120進(jìn)一步用于提取多幀人臉圖像中每一幀人臉圖像中人臉的姿態(tài)位置并使用偏航角、螺旋角及側(cè)傾角來(lái)描述人臉的位置；以及將多幀人臉圖像中每一幀人臉圖像中的人臉與正面的標(biāo)準(zhǔn)姿態(tài)對(duì)準(zhǔn)并使用特征描述點(diǎn)來(lái)描述人臉的表情。在本發(fā)明的一個(gè)實(shí)施例中，聯(lián)合相似度檢索模塊130進(jìn)一步用于根據(jù)Dp。se = UlYi-YjIHL(IRi-RjIHUlPi-PjI)進(jìn)行用戶定義的人臉圖像序列中人臉的姿態(tài)位置與多幀人臉圖像上人臉的姿態(tài)位置的相似度計(jì)算，其中Y表示偏航角，R表示螺旋角，P表示側(cè)傾角，Ii表示用戶定義的人臉圖像序列中的任一幀人臉圖像，L表示多幀人臉圖像
中的任一幀人臉圖像，L(d)是sigmoid函數(shù)，定義為
權(quán)利要求
1.一種人臉視頻合成方法，其特征在于，包括步驟建立目標(biāo)人物表情數(shù)據(jù)庫(kù)，所述目標(biāo)人物表情數(shù)據(jù)庫(kù)中包括多幀人臉圖像； 對(duì)所述多幀人臉圖像進(jìn)行預(yù)處理，以提取每一幀人臉圖像上人臉的姿態(tài)位置和人臉的表情；進(jìn)行用戶定義的人臉圖像序列中人臉的姿態(tài)位置和人臉的表情與所述多幀人臉圖像上人臉的姿態(tài)位置和人臉的表情的聯(lián)合相似度檢索，以得到和所述用戶定義的人臉圖像序列匹配的檢索圖像序列；以及對(duì)所述檢索圖像序列進(jìn)行卷繞變換和平滑處理。
2.根據(jù)權(quán)利要求1所述的人臉視頻合成方法，其特征在于，所述建立目標(biāo)人物表情數(shù)據(jù)庫(kù)的步驟包括從多個(gè)視角和多個(gè)姿態(tài)位置采集所述目標(biāo)人物的多個(gè)基本表情圖像序列，其中所述多個(gè)基本表情圖像序列中的每個(gè)基本表情圖像序列由中性表情和所述中性表情的變化過(guò)程表情構(gòu)成。
3.根據(jù)權(quán)利要求1所述的人臉視頻合成方法，其特征在于，所述對(duì)所述多幀人臉圖像進(jìn)行預(yù)處理的步驟包括提取所述多幀人臉圖像中每一幀人臉圖像中人臉的姿態(tài)位置并使用偏航角、螺旋角及側(cè)傾角來(lái)描述人臉的位置；將所述多幀人臉圖像中每一幀人臉圖像中的人臉與正面的標(biāo)準(zhǔn)姿態(tài)對(duì)準(zhǔn)并進(jìn)行特征描述點(diǎn)檢測(cè)，使用所述特征描述點(diǎn)來(lái)描述人臉的表情。
4.根據(jù)權(quán)利要求3所述的人臉視頻合成方法，其特征在于，基于主動(dòng)形狀模型提取所述特征描述點(diǎn)。
5.根據(jù)權(quán)利要求3所述的人臉視頻合成方法，其特征在于，進(jìn)行所述用戶定義的人臉圖像序列中人臉的姿態(tài)位置和人臉的表情與所述多幀人臉圖像上人臉的姿態(tài)位置和人臉的表情的聯(lián)合相似度檢索的步驟包括根據(jù)Dpose = L (I Yi-Yj I) +L (I Ri-Rj I) +L (| Pi-Pj )進(jìn)行所述用戶定義的人臉圖像序列中人臉的姿態(tài)位置與所述多幀人臉圖像上人臉的姿態(tài)位置的相似度計(jì)算，其中Y表示偏航角，R表示螺旋角，P表示側(cè)傾角，Ii表示所述用戶定義的人臉圖像序列中的任一幀人臉圖像，L表示所述多幀人臉圖像中的任一幀人臉圖像，L(d)是sigmoid函數(shù)，定義為￡(J)=exp(l + g-^-r)/CT)其中Y = 1油9，T與σ分別是變量d的統(tǒng)計(jì)均值與標(biāo)準(zhǔn)差；根據(jù)所述偏航角、所述螺旋角與所述側(cè)傾角，將所述用戶定義的人臉圖像序列中人臉的姿態(tài)位置對(duì)準(zhǔn)到正面姿態(tài)，然后根據(jù)Dex-=YIjmihf ^Ji2)進(jìn)行所述用戶定義的人臉圖像序列中人臉的表情與所述多幀人臉圖像上人臉的表情的相似度計(jì)算，其中Au是圖像Ii對(duì)準(zhǔn)后的第k個(gè)特征描述點(diǎn)，A^t是圖像L對(duì)準(zhǔn)后的第k個(gè)特征描述點(diǎn)，J是特征點(diǎn)的個(gè)數(shù)，Wk是第k個(gè)特征點(diǎn)的權(quán)重，L(d)是sigmoid函數(shù)，定義為#力=將計(jì)算出的特征點(diǎn)距離歸一化到W，1]；根據(jù)D(i，j) = Dpose(i,j) +λ Dexpression(i,j)獲得聯(lián)合相似度，其中參數(shù)λ是調(diào)節(jié)表情相似度與姿態(tài)位置相似度的權(quán)重比例；以及根據(jù)所述聯(lián)合相似度獲得用戶定義的人臉圖像序列中圖像Ii在所述多幀人臉圖像中的多個(gè)候選圖像。
6.根據(jù)權(quán)利要求5所述的人臉視頻合成方法，其特征在于，對(duì)于所述聯(lián)合相似度檢索獲得的所述多個(gè)候選圖像，進(jìn)一步計(jì)算所述多個(gè)候選圖像之間的聯(lián)合相似度，并使用 Dijkstra最短路徑算法得到所述檢索圖像序列以保證時(shí)間連續(xù)性和空間一致性。
7.—種人臉視頻合成裝置，其特征在于，包括目標(biāo)人物表情數(shù)據(jù)庫(kù)，所述目標(biāo)人物表情數(shù)據(jù)庫(kù)用于存儲(chǔ)多幀人臉圖像； 預(yù)處理模塊，所述預(yù)處理模塊用于提取所述目標(biāo)人物表情數(shù)據(jù)庫(kù)中每一幀人臉圖像上人臉的姿態(tài)位置和人臉的表情；聯(lián)合相似度檢索模塊，所述聯(lián)合相似度檢索模塊用于進(jìn)行用戶定義的人臉圖像序列中人臉的姿態(tài)位置和人臉的表情與所述多幀人臉圖像上人臉的姿態(tài)位置和人臉的表情的聯(lián)合相似度檢索，以得到和所述用戶定義的人臉圖像序列匹配的檢索圖像序列；以及后處理模塊，所述后處理模塊用于對(duì)所述檢索圖像序列進(jìn)行卷繞變換和平滑處理。
8.根據(jù)權(quán)利要求7所述的人臉視頻合成裝置，其特征在于，所述多幀人臉圖像包括從多個(gè)視角和多個(gè)姿態(tài)位置采集所述目標(biāo)人物的多個(gè)基本表情圖像序列，其中所述多個(gè)基本表情圖像序列中的每個(gè)基本表情圖像序列由中性表情和所述中性表情的變化過(guò)程表情構(gòu)成。
9.根據(jù)權(quán)利要求7所述的人臉視頻合成裝置，其特征在于，所述預(yù)處理模塊進(jìn)一步用于提取所述多幀人臉圖像中每一幀人臉圖像中人臉的姿態(tài)位置并使用偏航角、螺旋角及側(cè)傾角來(lái)描述人臉的位置；以及將所述多幀人臉圖像中每一幀人臉圖像中的人臉與正面的標(biāo)準(zhǔn)姿態(tài)對(duì)準(zhǔn)并進(jìn)行特征描述點(diǎn)檢測(cè)，使用所述特征描述點(diǎn)來(lái)描述人臉的表情。
10.根據(jù)權(quán)利要求9所述的人臉視頻合成裝置，其特征在于，所述預(yù)處理模塊提取基于主動(dòng)形狀模型進(jìn)行所述特征描述點(diǎn)檢測(cè)。
11.根據(jù)權(quán)利要求9所述的人臉視頻合成裝置，其特征在于，所述聯(lián)合相似度檢索模塊進(jìn)一步用于根據(jù)Dpose = L (I Yi-Yj I) +L (I Ri-Rj I) +L (| Pi-Pj )進(jìn)行所述用戶定義的人臉圖像序列中人臉的姿態(tài)位置與所述多幀人臉圖像上人臉的姿態(tài)位置的相似度計(jì)算，其中Y表示偏航角，R表示螺旋角，P表示側(cè)傾角，Ii表示所述用戶定義的人臉圖像序列中的任一幀人臉圖像，L表示所述多幀人臉圖像中的任一幀人臉圖像，L(d)是sigmoid函數(shù)，定義為￡(J)=exp(l + g-^-r)/CT)其中Y = ln99，T與σ分別是變量d的統(tǒng)計(jì)均值與標(biāo)準(zhǔn)差；根據(jù)所述偏航角、所述螺旋角與所述側(cè)傾角，將所述用戶定義的人臉圖像序列中人臉的姿態(tài)位置對(duì)準(zhǔn)到正面姿態(tài)，然后根據(jù)Dex-=YIidI^f ^JI2]進(jìn)行所述用戶定義的人臉圖像序列中人臉的表情與所述多幀人臉圖像上人臉的表情的相似度計(jì)算，其中Au是圖像Ii對(duì)準(zhǔn)后的第k個(gè)特征描述點(diǎn)，A^t是圖像對(duì)準(zhǔn)后的第k個(gè)特征描述點(diǎn)，J是特征點(diǎn)的個(gè)數(shù)，Wk是第k個(gè)特征點(diǎn)的權(quán)重，L(d)是sigmoid函數(shù)，定義為#力=將計(jì)算出的特征點(diǎn)距離歸一化到W，1]；根據(jù)D(i，j) = Dpose(i,j) +λ Dexpression(i,j)獲得聯(lián)合相似度，其中參數(shù)λ是調(diào)節(jié)表情相似度與姿態(tài)位置相似度的權(quán)重比例；以及根據(jù)所述聯(lián)合相似度獲得用戶定義的人臉圖像序列中圖像Ii在所述多幀人臉圖像中的多個(gè)候選圖像。
12.根據(jù)權(quán)利要求11所述的人臉視頻合成裝置，其特征在于，對(duì)于所述多個(gè)候選圖像，所述聯(lián)合相似度檢索模塊進(jìn)一步根據(jù)所述多個(gè)候選圖像之間的聯(lián)合相似度而使用 Dijkstra最短路徑算法得到所述檢索圖像序列以保證時(shí)間連續(xù)性和空間一致性。
全文摘要
本發(fā)明公開(kāi)了一種人臉視頻合成方法及裝置。人臉視頻合成方法包括步驟建立目標(biāo)人物表情數(shù)據(jù)庫(kù)，所述目標(biāo)人物表情數(shù)據(jù)庫(kù)中包括多幀人臉圖像；對(duì)所述多幀人臉圖像進(jìn)行預(yù)處理，以提取每一幀人臉圖像上人臉的姿態(tài)位置和人臉的表情；進(jìn)行用戶定義的人臉圖像序列中人臉的姿態(tài)位置和人臉的表情與所述多幀人臉圖像上人臉的姿態(tài)位置和人臉的表情的聯(lián)合相似度檢索，以得到和所述用戶定義的人臉圖像序列匹配的檢索圖像序列；以及對(duì)所述檢索圖像序列進(jìn)行卷繞變換和平滑處理。根據(jù)本發(fā)明實(shí)施例的人臉視頻合成方法及裝置，對(duì)于用戶定義的任意表情，都能方便地合成出目標(biāo)人物相應(yīng)的逼真圖像序列并且自動(dòng)化程度高。
文檔編號(hào)G06T13/40GK102254336SQ20111019787
公開(kāi)日2011年11月23日 申請(qǐng)日期2011年7月14日 優(yōu)先權(quán)日2011年7月14日
發(fā)明者劉燁斌, 徐楓, 戴瓊海, 李凱, 王好謙 申請(qǐng)人:清華大學(xué)