專利名稱：一種基于單個參考視頻的人臉視頻光影遷移生成方法
技術(shù)領(lǐng)域：
本發(fā)明涉及虛擬現(xiàn)實和計算視覺領(lǐng)域，具體的說是一種基于單個參考視頻的人臉表情視頻光照遷移方法。
背景技術(shù)：
基于視頻素材的虛實融合技術(shù)是虛擬現(xiàn)實技術(shù)的重要組成部分。由于構(gòu)成虛擬場景與場景對象可能來自不同的素材，場景對象和場景的光照效果可能會存在較大的差異，然而虛實融合場景需要場景與場景對象具有一致的光照效果。然而在場景對象采集過程中無法預(yù)知場景的光照條件進而無法根據(jù)場景光照條件設(shè)置采集環(huán)境的光照條件。一種可行方案是在均勻光照條件下采集場景對象視頻，然后在場景虛實融合過程中將所需要的光照條件遷移到場景對象。視頻場景對象的光照遷移問題，即如何將帶有場景光照條件的人臉視頻遷移到拍攝于均勻光照條件下的參考人臉表情視頻，是目前急需解決的問題。目前，有一種人臉視頻光影遷移方法。2007年南加州大學(xué)的Peers等采用了一種基于關(guān)鍵幀的人臉視頻對象光照遷移方法，通過采集靜態(tài)參考人臉對象在不同光照條件下反射場。并利用同一對象在不同光照條件下的人臉圖像與在正面均勻光照條件下的人臉圖像之間比值，構(gòu)建相應(yīng)光照條件下關(guān)鍵幀的商圖。然后計算目標幀圖像與前后關(guān)鍵幀圖像間的光流，接著利用光流變形前后關(guān)鍵幀商圖得到目標幀，混合后得到目標幀商圖，最后利用目標幀商圖完成目標幀圖像的光照遷移。該方法能夠生成逼真的光照遷移結(jié)果，但該方法需要昂貴和復(fù)雜的采集設(shè)備，對于普通用戶難以實現(xiàn)。有一些基于圖像的人臉圖像光照遷移方法。2009年休斯頓大學(xué)李青等提出了一種基于LTV (Logarithmic Total Variation)模型的人臉光照遷移技術(shù),能夠把參考人臉的光照遷移到目標人臉上去。該方法無需知道人臉的幾何和光照信息。通過將人臉圖像分解為光照信息和光照信息無關(guān)的人臉特征兩個部分。并利用參考圖像的光照信息替換目標圖像的光照信息實現(xiàn)光照遷移。首先利用幾何變形技術(shù)對參考人臉變形；然后將目標人臉和變形后的參考人臉都分解成為依賴于光照的部分和不依賴于光照的部分；最后通過交換兩幅人臉圖像依賴于光照的部分，得到目標對象光照遷移結(jié)果。該方法僅需要一幅參考圖像用于光照遷移，并能處理彩色圖像與灰度圖像的光照遷移。2010年清華大學(xué)的陳健生等提出了一種基于局部約束與全局優(yōu)化的人臉重光照方法。該方法通過局部線性調(diào)整保證光照信息的平滑性并通過相互重疊窗口來實現(xiàn)整個圖像全局優(yōu)化。2011年北京航空航天大學(xué)的陳小武等提出了一種基于邊緣保持測人臉光照遷移方法。首先自動檢測或者手工標記圖像對象的征點，并通過圖像變形方法將參考圖像對象對齊到目標圖像對象并將圖像的明度與色度進行分離，只對明度進行處理，而保持色度的不變；然后利用加權(quán)最小二乘濾波器將圖像分解為大尺度層圖像 和細節(jié)層圖像；最后將濾波后的大尺度圖像與目標對象的細節(jié)層混合得到光照遷移結(jié)果的明度圖像，再與目標對象的顏色層混合得到光照遷移結(jié)果。以上基于圖像的方法都沒考慮到視頻間的平滑過渡關(guān)系以及參考幀與目標幀的表情差異。

發(fā)明內(nèi)容
本發(fā)明設(shè)計開發(fā)了 一種基于單個參考視頻的人臉視頻光影遷移生成方法。本發(fā)明利用單個的與目標視頻時間長度相同的參考視頻，將參考視頻的光照信息遷移到目標視頻上。本發(fā)明提供的技術(shù)方案為:—種基于單個參考視頻的人臉視頻光影遷移生成方法，包括:步驟1、選取與目標視頻的時間長度相同的參考視頻，在目標視頻中每隔η幀選取一中貞為目標關(guān)鍵巾貞，在參考視頻中每隔η巾貞選取一巾貞為參考關(guān)鍵巾貞，其中η為奇數(shù)；步驟2、選取和定位目標關(guān)鍵幀的特征點和參考關(guān)鍵幀的特征點；步驟3、計算兩個相鄰參考關(guān)鍵幀的光照信息差異，如果兩個相鄰參考關(guān)鍵幀的光照信息差異大于參考關(guān)鍵幀規(guī)定域值，則將這兩個相鄰的參考關(guān)鍵幀之間的中間參考非關(guān)鍵幀選為參考關(guān)鍵幀，并將與該中間參考非關(guān)鍵幀的時刻相同的目標非關(guān)鍵幀選為目標關(guān)鍵幀，計算兩個相鄰目標關(guān)鍵巾貞的表情差異，如果這兩個相鄰的目標關(guān)鍵巾貞的表情差異大于目標關(guān)鍵幀規(guī)定域值，則將這兩個目標關(guān)鍵幀之間的中間目標非關(guān)鍵幀選為目標關(guān)鍵幀，并將與該中間目標非關(guān)鍵幀的時刻相同的參考非關(guān)鍵幀選為參考關(guān)鍵幀，若有新的目標關(guān)鍵幀和參考關(guān)鍵幀產(chǎn)生，則選取和定位新的目標關(guān)鍵幀的特征點和新的參考關(guān)鍵幀的特征點；步驟4、根據(jù)目標關(guān)鍵巾貞的特征點和參考關(guān)鍵巾貞的特征點，對齊目標關(guān)鍵巾貞與參考關(guān)鍵巾貞;步驟5、將參考關(guān)鍵幀的光照信息遷移到目標關(guān)鍵上；步驟6、將相鄰兩個目標關(guān)鍵幀上的光照信息傳播到這兩個相鄰目標關(guān)鍵幀之間的非目標關(guān)鍵幀上。優(yōu)選的是，所述的基于單個參考視頻的人臉視頻光影遷移生成方法中，所述步驟2中的參考關(guān)鍵幀和目標關(guān)鍵幀的特征點包括:人臉皮膚區(qū)域的特征點和人臉非皮膚區(qū)域邊界輪廓特征點。優(yōu)選的是，所述的基于單個參考視頻的人臉視頻光影遷移生成方法中，所述步驟3為利用相鄰兩個參考關(guān)鍵幀的陰影區(qū)域面積差異來定量計算這兩個相鄰參考關(guān)鍵幀的光照息差異；利用兩相鄰目標關(guān)鍵幀的特征點之間的位置差異定量計算這兩個相鄰目標關(guān)鍵幀上的表情差異。優(yōu)選的是，所述的基于單個參考視頻的人臉視頻光影遷移生成方法中，所述步驟3中所述的參考關(guān)鍵幀規(guī)定域值為小于等于參考關(guān)鍵幀中人臉部區(qū)域面積值的1/8到大于等于參考關(guān)鍵幀中人臉部區(qū)域面積值的1/12的任一值；所述的目標關(guān)鍵幀規(guī)定域值為小于等于目標關(guān)鍵幀中人臉部區(qū)域?qū)挾戎档?/8到大于等于目標關(guān)鍵幀中人臉部區(qū)域?qū)挾戎档?/12的任一值。優(yōu)選的是，所述的基于單個參考視頻的人臉視頻光影遷移生成方法中，所述步驟5采用以下方式實現(xiàn):利用邊緣保持濾波器除去目標關(guān)鍵幀的人臉皮膚區(qū)域的和與該目標關(guān)鍵幀對齊的參考關(guān)鍵幀的人臉皮膚區(qū)域的與光照信息無關(guān)的信息，用濾波后的參考關(guān)鍵幀除以濾波后的與該參考關(guān)鍵巾貞對齊的目標關(guān)鍵巾貞，得與該參考關(guān)鍵巾貞對齊的目標關(guān)鍵巾貞的人臉的皮膚區(qū)域的光照信息；根據(jù)目標關(guān)鍵幀的人臉非皮膚區(qū)域邊界輪廓特征點對該目標關(guān)鍵幀的人臉非皮膚區(qū)域進行三角剖分，根據(jù)三角剖分結(jié)果對該目標關(guān)鍵幀的非皮膚區(qū)域進行光照信息插值。優(yōu)選的是，所述的基于單個參考視頻的人臉視頻光影遷移生成方法中，所述步驟6采用以下方式實現(xiàn):計算兩個相鄰的目標關(guān)鍵幀與這兩個相鄰目標關(guān)鍵幀之間的目標非關(guān)鍵幀的幀間對應(yīng)關(guān)系；利用這兩個相鄰目標關(guān)鍵幀與這兩個目標關(guān)鍵幀之間的目標非關(guān)鍵幀的幀間對應(yīng)關(guān)系，將這兩個相鄰目標關(guān)鍵幀的光照信息對齊到這兩個目標關(guān)鍵幀之間的目標非關(guān)鍵幀上；將對齊后的這兩個相鄰目標關(guān)鍵幀的光影信息線性組合，得到這兩個相鄰目標關(guān)鍵幀之間的目標非關(guān)鍵幀的光影信息。本發(fā)明針對目前的視頻場景對象的光照遷移技術(shù)存在的問題，設(shè)計了一種基于單個參考視頻的人臉視頻光影 遷移生成方法，本發(fā)明使用單個參考視頻就能實現(xiàn)，降低了具體操作的技術(shù)難度也節(jié)省了成本；本發(fā)明中通過將參考視頻中的參考關(guān)鍵幀與目標視頻中的目標關(guān)鍵幀對齊，并通過多次計算將參考視頻的光照信息遷移到目標視頻上，使得在參考視頻與目標視頻表情差別比較大的情況下，依然能生成逼真的光照遷移效果，同時也避免了光影抖動現(xiàn)象。


圖1為本發(fā)明所述的基于單個參考視頻的人臉視頻光影遷移生成方法的總流程示意圖。圖2為本發(fā)明所述的基于單個參考視頻的人臉視頻光影遷移生成方法中的參考關(guān)鍵幀的光照信息遷移到目標關(guān)鍵幀上的流程圖。圖3為本發(fā)明所述的基于單個參考視頻的人臉視頻光影遷移生成方法中的目標關(guān)鍵幀非皮膚區(qū)域插入值示意圖。圖4為本發(fā)明所述的基于單個參考視頻的人臉視頻光影遷移生成方法中的目標關(guān)鍵幀的光照信息遷移流程圖。
具體實施例方式下面結(jié)合附圖對本發(fā)明做進一步的詳細說明，以令本領(lǐng)域技術(shù)人員參照說明書文字能夠據(jù)以實施。本發(fā)明使用的參考視頻中臉部的光影變化表情和姿勢不變。目標視頻在近似均勻光照條件下拍攝，臉部表情豐富。參考視頻和目標視頻的幀數(shù)相同，參考視頻幀與目標視頻
中貞--對應(yīng)。如圖1、2和4所示，本發(fā)明包含以下6個基本步驟:
步驟1、選取與目標視頻的時間長度相同的參考視頻，在目標視頻中每隔η幀選取一中貞為目標關(guān)鍵巾貞，在參考視頻中每隔η巾貞選取一巾貞為參考關(guān)鍵巾貞，其中η為奇數(shù)；步驟2、選取和定位目標關(guān)鍵幀的特征點和參考關(guān)鍵幀的特征點；步驟3、計算兩個相鄰參考關(guān)鍵幀的光照信息差異，如果兩個相鄰參考關(guān)鍵幀的光照信息差異大于參考關(guān)鍵幀規(guī)定域值，則將這兩個相鄰的參考關(guān)鍵幀之間的中間參考非關(guān)鍵幀選為參考關(guān)鍵幀，并將與該中間參考非關(guān)鍵幀的時刻相同的目標非關(guān)鍵幀選為目標關(guān)鍵幀，計算兩個相鄰目標關(guān)鍵巾貞的表情差異，如果這兩個相鄰的目標關(guān)鍵巾貞的表情差異大于目標關(guān)鍵幀規(guī)定域值，則將這兩個目標關(guān)鍵幀之間的中間目標非關(guān)鍵幀選為目標關(guān)鍵幀，并將與該中間目標非關(guān)鍵幀的時刻相同的參考非關(guān)鍵幀選為參考關(guān)鍵幀，若有新的目標關(guān)鍵幀和參考關(guān)鍵幀產(chǎn)生，則選取和定位新的目標關(guān)鍵幀的特征點和新的參考關(guān)鍵幀的特征點；步驟4、根據(jù)目標關(guān)鍵巾貞的特征點和參考關(guān)鍵巾貞的特征點，對齊目標關(guān)鍵巾貞與參考關(guān)鍵巾貞;步驟5、將參考關(guān)鍵幀的光照信息遷移到目標關(guān)鍵上；步驟6、將相鄰兩個目標關(guān)鍵幀上的光照信息傳播到這兩個相鄰目標關(guān)鍵幀之間的非目標關(guān)鍵幀上。下面對以上六個基本步驟進行詳細說明:在參考視頻和目標視頻中每隔9巾貞選取一個關(guān)鍵巾貞作為關(guān)鍵巾貞，參考視頻中的關(guān)鍵中貞記為參考關(guān)鍵巾貞，目標視頻中的關(guān)鍵巾貞記為目標關(guān)鍵中貞。對參考關(guān)鍵幀和目標關(guān)鍵幀進行特征點定位，本發(fā)明使用的特征點包括:人臉皮膚區(qū)域的特征點和人臉非皮膚區(qū)域輪廓特征點。人臉非皮膚區(qū)域具體指眉毛、眼睛、嘴以及頭發(fā)，人臉非皮膚區(qū)域邊界輪廓特征點具體包括臉部輪廓點、眉毛輪廓點、眼睛輪廓點和嘴的輪廓點。在參考視頻中選出參考關(guān)鍵幀后，本發(fā)明使用可變形輪廓模型(Active ShapeModel簡稱ASM)完成第一個參考關(guān)鍵幀上124個人臉特征點的定位，本發(fā)明同時提供了特征點位置的手動調(diào)節(jié)功能，用戶可以按需手動調(diào)整每個特征點的坐標。由于參考視頻中人臉表情和姿勢基本不變，余下參考關(guān)鍵幀的特征點可以根據(jù)第一個參考關(guān)鍵幀的特征點進行微小調(diào)整得來。在目標視頻中選出目標關(guān)鍵幀后，本發(fā)明使用可變形輪廓模型完成第一個目標關(guān)鍵幀上124個人臉特征點的定位，用戶可以按需手動調(diào)整每個特征點的坐標。由于目標視頻中人臉表情和姿勢變化較大，本發(fā)明使用光流計算第一個目標關(guān)鍵幀和余下目標關(guān)鍵幀間的像素位移關(guān)系并推算出余下目標關(guān)鍵幀的特征點位置。在特征點定位的基礎(chǔ)上計算相鄰參考關(guān)鍵幀之間的光照信息差異以及相鄰目標關(guān)鍵幀之間的表情差異。本發(fā)明使用了陰影區(qū)域面積差異來定量描述相鄰參考關(guān)鍵幀之間的光照信息差異，陰影面積區(qū)域差異越大表示光照信息差別越大。每一個參考關(guān)鍵幀的陰影面積按如下方式計算:A= I I {i I i e F & Ik (i)〈0.1max (Ik (i))} |其中，i是圖像坐標、F表示臉部區(qū)域、Ik(i)表示該參考關(guān)鍵巾貞在坐標i處的灰度值。如果兩個參考關(guān)鍵幀的陰影區(qū)域面積差大于參考關(guān)鍵幀中的人臉部區(qū)域面積值的1/10，則將這兩個參考關(guān)鍵幀之間的中間參考非關(guān)鍵幀作為參考關(guān)鍵幀，并將于其時刻相同的目標非關(guān)鍵巾貞作為目標關(guān)鍵中貞。本發(fā)明使用目標關(guān)鍵幀之間的特征點位置差異定量計算相鄰目標關(guān)鍵幀之間人臉表情差異，幀間特征點位置差異越大表示表情差異越大。臉部表情變化時，嘴和眼睛的變化最大，本發(fā)明使用嘴和眼睛的特征點計算臉部表情差異，計算方式如下:Diffmjn=rnax(|d(pm(i), pn(i)))其中，pffl(i)和pji)是相鄰兩個目標關(guān)鍵幀m和η上的特征點，i是嘴和眼睛特征點的索引。如果Diffm,n大于目標關(guān)鍵幀中的人臉部區(qū)域?qū)挾戎档?/10。則將這兩個目標關(guān)鍵幀之間的中間目標非關(guān)鍵幀作為目標關(guān)鍵幀，并將與該目標非關(guān)鍵幀的時刻相同的參考非關(guān)鍵巾貞作為參考關(guān)鍵巾貞。若有新的目標關(guān)鍵巾貞和參考關(guān)鍵巾貞廣生，則選取和定位新的目標關(guān)鍵幀的特征點和新的參考關(guān)鍵幀的特征點。圖2是本發(fā)明在參考關(guān)鍵幀的光照信息遷移到目標關(guān)鍵幀上的流程圖。首先根據(jù)參考關(guān)鍵幀的特征點與目標 關(guān)鍵幀的特征點，將參考關(guān)鍵幀與目標關(guān)鍵幀對齊，本發(fā)明使用MFFD (Mult1-level Free For Deformation)將參考關(guān)鍵幀對齊到目標關(guān)鍵幀。在參考關(guān)鍵幀與目標關(guān)鍵幀對齊的基礎(chǔ)上，本發(fā)明在不同區(qū)域采用不同策略提取參考關(guān)鍵幀的光照信息。在人臉皮膚區(qū)域，首先使用邊緣保持濾波器對參考關(guān)鍵幀和目標關(guān)鍵幀進行濾波，去掉與光照無關(guān)的信息，然后將濾波后的參考關(guān)鍵巾貞除以與該參考關(guān)鍵巾貞對齊的目標關(guān)鍵巾貞，得到與該參考關(guān)鍵巾貞對齊的目標關(guān)鍵巾貞的人臉皮膚區(qū)域的光照信息。在目標關(guān)鍵幀的人臉非皮膚區(qū)域(眉毛、眼睛、嘴和頭發(fā))，本發(fā)明利用目標關(guān)鍵幀的人臉非皮膚區(qū)域輪廓的光照信息插值目標關(guān)鍵幀的人臉非皮膚區(qū)域的光照信息。現(xiàn)結(jié)合圖3對目標關(guān)鍵的人臉非皮膚區(qū)域光照信息插值進行說明。首先根據(jù)目標關(guān)鍵幀的人臉非皮膚區(qū)域邊界輪廓特的特征點，對目標關(guān)鍵幀的人臉非皮膚區(qū)域進行三角剖分，單個目標關(guān)鍵幀的人臉非皮膚區(qū)域剖分結(jié)果如圖3(a)所示。在目標關(guān)鍵幀的人臉非皮膚區(qū)域三角剖分基礎(chǔ)之上，將目標關(guān)鍵幀的人臉非皮膚區(qū)域內(nèi)的像素點分為2類:位于三角網(wǎng)格線上的點的光照信息LJ.)和位于三角形內(nèi)部的點Lt(.)。本發(fā)明首先計算三角網(wǎng)格線上像素的光照信息。如果該像素點屬于目標關(guān)鍵幀的人臉非皮膚區(qū)域邊界輪廓的網(wǎng)格線Ω (如圖3(a)種的虛線)，則該點的光照信息保持不變，如果該點像素點沒有位于目標關(guān)鍵幀的人臉非皮膚區(qū)域邊界輪廓的網(wǎng)格線上(如圖3(a)種的實線)，則該像素點的光照信息由所在直線的兩個端點加權(quán)平均和代替。如圖3(b)所示，a, b，c是三角形的三個頂點，d和e是三角形邊上的兩個點，具體計算方式如所示:
^L,(d\if Cf)L,(d) = < d{d,b^L^^ + dia.d^Ljib) 過秘
d(a,b)， eSe其中d(.，.)表示兩個點的歐氏距離。三角網(wǎng)格線上的光照信息全部計算完畢后，本法明按如下方法計算三角形內(nèi)的一個像素點f的光照信息Lt(f):Lt (J)=-――-
d(a,e)
圖4是本發(fā)目標關(guān)鍵幀的光照信息遷移流程圖。利用這兩個相鄰目標關(guān)鍵幀與這兩個目標關(guān)鍵幀之間的目標非關(guān)鍵幀的幀間對應(yīng)關(guān)系，將這兩個相鄰目標關(guān)鍵幀的光照信息對齊到這兩個目標關(guān)鍵幀之間的目標非關(guān)鍵幀上；將對齊后的這兩個相鄰目標關(guān)鍵幀的光影信息線性組合，得到這兩個相鄰目標關(guān)鍵幀之間的目標非關(guān)鍵幀的光影信息。具體計算過程如下:將兩個相鄰目標關(guān)鍵幀的光照信息達和社傳播到這兩個目標關(guān)鍵幀之間的一個目標非關(guān)鍵巾貞f上。m和η是兩個相鄰的目標關(guān)鍵巾貞的序號，f是目標非關(guān)鍵巾貞的序號，其中m〈f〈n。目標關(guān)鍵幀傳播結(jié)果￡,按如下公式計算:Cf=Wl* Wmf (Lkm ) + W2*WnJ(Lkit)W1= (n-f) / (n-m)W2=I 一 W1其中，表不使用目標關(guān)鍵巾貞m到目標非關(guān)鍵巾貞f的光流來，將目標關(guān)鍵巾貞m的光照信息Zt對齊到目標非關(guān)鍵幀f。％,(玟)表示使用目標關(guān)鍵幀η到目標非關(guān)鍵幀f的光流來，將目標關(guān)鍵幀η的光照信息^對齊到目標非關(guān)鍵幀f。

盡管本發(fā)明的實施方案已公開如上，但其并不僅僅限于說明書和實施方式中所列運用，它完全可以被適用于各種適合本發(fā)明的領(lǐng)域，對于熟悉本領(lǐng)域的人員而言，可容易地實現(xiàn)另外 的修改，因此在不背離權(quán)利要求及等同范圍所限定的一般概念下，本發(fā)明并不限于特定的 細節(jié)和這里示出與描述的圖例。
權(quán)利要求
1.一種基于單個參考視頻的人臉視頻光影遷移生成方法，其特征在于，包括: 步驟1、選取與目標視頻的時間長度相同的參考視頻，在目標視頻中每隔η幀選取一幀為目標關(guān)鍵巾貞，在參考視頻中每隔η巾貞選取一巾貞為參考關(guān)鍵巾貞，其中η為奇數(shù)； 步驟2、選取和定位目標關(guān)鍵幀的特征點和參考關(guān)鍵幀的特征點； 步驟3、計算兩個相鄰參考關(guān)鍵幀的光照信息差異，如果兩個相鄰參考關(guān)鍵幀的光照信息差異大于參考關(guān)鍵幀規(guī)定域值，則將這兩個相鄰的參考關(guān)鍵幀之間的中間參考非關(guān)鍵幀選為參考關(guān)鍵幀，并將與該中間參考非關(guān)鍵幀的時刻相同的目標非關(guān)鍵幀選為目標關(guān)鍵幀； 計算兩個相鄰目標關(guān)鍵幀的表情差異，如果這兩個相鄰的目標關(guān)鍵幀的表情差異大于目標關(guān)鍵幀規(guī)定域值，則將這兩個目標關(guān)鍵幀之間的中間目標非關(guān)鍵幀選為目標關(guān)鍵幀，并將與該中間目標非關(guān)鍵幀的時刻相同的參考非關(guān)鍵幀選為參考關(guān)鍵幀； 若有新的目標關(guān)鍵幀和參考關(guān)鍵幀產(chǎn)生，則選取和定位新的目標關(guān)鍵幀的特征點和新的參考關(guān)鍵幀的特征點； 步驟4、根據(jù)目標關(guān)鍵巾貞的特征點和參考關(guān)鍵巾貞的特征點，對齊目標關(guān)鍵巾貞與參考關(guān)鍵幀； 步驟5、將參考關(guān)鍵幀的光照信息遷移到目標關(guān)鍵上； 步驟6、將相鄰兩個目標關(guān)鍵幀上的光照信息傳播到這兩個相鄰目標關(guān)鍵幀之間的非目標關(guān)鍵巾貞上。
2.如權(quán)利要求1所述的基于單個參考視頻的人臉視頻光影遷移生成方法，其特征在于，所述步驟2中的參考關(guān)鍵幀和目標關(guān)鍵幀的特征點包括:人臉皮膚區(qū)域的特征點和人臉非皮膚區(qū)域邊界輪廓特征點。
3.如權(quán)利要求1所述的基于單個參考視頻的人臉視頻光影遷移生成方法，其特征在于，所述步驟3為利用相鄰兩個參考關(guān)鍵幀的陰影區(qū)域面積差異來定量計算這兩個相鄰參考關(guān)鍵幀的光照信息差異； 利用兩相鄰目標關(guān)鍵幀的特征點之間的位置差異定量計算這兩個相鄰目標關(guān)鍵幀上的表情差異。
4.如權(quán)利要求3所述的基于單個參考視頻的人臉視頻光影遷移生成方法，其特征在于，所述步驟3中所述的參考關(guān)鍵幀規(guī)定域值為小于等于參考關(guān)鍵幀中人臉部區(qū)域面積值的1/8到大于等于參考關(guān)鍵幀中人臉部區(qū)域面積值的1/12的任一值； 所述的目標關(guān)鍵幀規(guī)定域值為小于等于目標關(guān)鍵幀中人臉部區(qū)域?qū)挾戎档?/8到大于等于目標關(guān)鍵幀中人臉部區(qū)域?qū)挾戎档?/12的任一值。
5.如權(quán)利要求2所述的基于單個參考視頻的人臉視頻光影遷移生成方法，其特征在于，所述步驟5采用以下方式實現(xiàn): 利用邊緣保持濾波器除去目標關(guān)鍵幀的人臉皮膚區(qū)域的和與該目標關(guān)鍵幀對齊的參考關(guān)鍵幀的人臉皮膚區(qū)域的與光照無關(guān)的信息，用濾波后的參考關(guān)鍵幀除以濾波后的與該參考關(guān)鍵巾貞對齊的目 標關(guān)鍵巾貞，得與該參考關(guān)鍵巾貞對齊的目標關(guān)鍵巾貞的人臉皮膚區(qū)域的光照信息； 根據(jù)目標關(guān)鍵幀的人臉非皮膚區(qū)域邊界輪廓特征點對該目標關(guān)鍵幀的人臉的非皮膚區(qū)域進行三角剖分，根據(jù)三角剖分結(jié)果對該目標關(guān)鍵幀的非皮膚區(qū)域進行光照信息插值。
6.如權(quán)利要求1所述的基于單個參考視頻的人臉視頻光影遷移生成方法，其特征在于，所述步驟6采用以下方式實現(xiàn): 計算兩個相鄰的目標關(guān)鍵幀與這兩個相鄰目標關(guān)鍵幀之間的目標非關(guān)鍵幀的幀間對應(yīng)關(guān)系； 利用這兩個相鄰目標關(guān)鍵幀與這兩個目標關(guān)鍵幀之間的目標非關(guān)鍵幀的幀間對應(yīng)關(guān)系，將這兩個相鄰目標關(guān)鍵幀的光照信息對齊到這兩個目標關(guān)鍵幀之間的目標非關(guān)鍵幀上； 將對齊后的這兩個相鄰目標關(guān)鍵幀的光影信息線性組合，得到這兩個相鄰目標關(guān)鍵幀之間的目標非 關(guān)鍵幀的光影信息。
全文摘要
本發(fā)明公開了一種基于單個參考視頻的人臉視頻光影遷移生成方法，屬于虛擬現(xiàn)實和計算機視覺領(lǐng)域。給定一段近似均勻光照下的正面人臉視頻(目標視頻)和一段變光照條件下的人臉視頻(參考視頻)，將參考視頻的臉部光影效果遷移至目標視頻，生成與參考視頻光照效果相似、逼真的視頻。本發(fā)明包括目標關(guān)鍵幀的光照信息遷移和目標非關(guān)鍵幀光照信息傳播。其中目標關(guān)鍵幀的光照效果遷移包括目標關(guān)鍵幀與目標參考關(guān)鍵幀對齊、邊緣保持平滑、皮膚區(qū)域光照信息提取、非皮膚區(qū)域光照信息插值。本發(fā)明可廣泛應(yīng)用推廣到影視后期制作、個人視頻編輯等應(yīng)用場景。
文檔編號G06T5/50GK103198464SQ20131012168
公開日2013年7月10日 申請日期2013年4月9日 優(yōu)先權(quán)日2013年4月9日
發(fā)明者陳小武, 吳洪宇, 趙沁平, 楊夢夏, 方志宏 申請人:北京航空航天大學(xué)