專利名稱：一種人臉圖像自動合成方法
技術領域：
本發(fā)明涉及計算機圖形圖像技術領域，提出了一種高效便捷的人臉圖像自動合成方法。

背景技術：
在計算機圖形圖像領域，圖像合成是圖像編輯中一個非常重要的技術。該技術已經廣泛應用在娛樂業(yè)和電影中。圖像合成主要分為兩類第一類是提取源圖像中的物體或者區(qū)域并合成到目標圖像中；另一類就是從一幅或者多幅圖像中取出不同的圖像區(qū)域并把這些區(qū)域拼接成一幅新的圖像。以下是相關工作的簡要介紹。
圖像摳圖(Image Matting)摳圖是最常用的圖像合成技術之一。所謂摳圖就是提取圖像中的物體或者區(qū)域，并計算出該物體或者區(qū)域的透明度值，然后通過透明度值把提取物合成到目標圖像中。目前大部分的摳圖技術都需要用戶提供一幅trimap圖像。該圖像是把源圖像粗略地分割為前景、背景和不確定區(qū)域。大量實驗表明，要獲得真實感的合成圖像，要求trimap圖像中的不確定區(qū)域越小越好，這就增加了大量的用戶操作。
泊松圖像編輯(Poisson Image Editing)泊松圖像編輯已經被證實是無縫圖像合成中非常有效的一種方法。以源圖像的梯度場作為引導場，用戶提供編輯區(qū)域的邊界信息，通過求解泊松方程獲得一幅顏色連續(xù)的新圖像。選取不同的梯度場，泊松方程可以實現不同的功能，比如無縫克隆、紋理撫平和紋理拼接等。然而泊松編輯結果的好壞很大程度上取決于用戶邊界區(qū)域的選取。
交互式數字圖像處理(Interactive Digital Photomontage)該方法實現了把許多圖像的不同部分進行拼接得到一幅新的圖像。它主要包括兩個技術圖分割(Graph cut)和泊松編輯。圖分割用來尋找不同圖像區(qū)域的邊界，以保證這些區(qū)域可以盡可能地無縫合成。泊松編輯主要是用來消除顏色的不連續(xù)性。同樣地，該方法也需要用戶在圖像中勾畫出感興趣區(qū)域作為初始化。
根據以上介紹，我們可以看出大部分的圖像合成方法都需要煩瑣的人工操作，而且最后的結果很大程度上取決于人工交互的質量和數量。在數碼娛樂高速發(fā)展的今天，已有的系統(tǒng)和方法已經難以滿足用戶日益增長的圖像編輯合成需求。


發(fā)明內容
為了解決現有技術的問題，本發(fā)明的目的是提供一種自動的基于模型的人臉圖像合成系統(tǒng)。
為了達成所述目的，本發(fā)明自動的基于模型的人臉圖像自動合成方法，該人臉圖像自動合成包括如下步驟 步驟1用戶輸入兩幅人臉源圖像、目標圖像和要編輯區(qū)域的語義信息，模型匹配模塊利用主動外觀模型對圖像進行自動搜索，提供人臉圖像人臉的形狀信息和紋理信息； 步驟2然后利用模型特征點對兩幅人臉圖像進行形狀對齊，使用薄板樣條形變把源圖像編輯區(qū)域的形狀對齊到目標圖像中對應的區(qū)域中； 步驟3利用特征合成模塊對源圖像和目標圖像的對齊后的形狀信息和紋理信息進行特征合成，自動生成合成圖像； 步驟4利用遮擋處理模塊對合成圖像進行去遮擋處理，把源圖像的被遮擋區(qū)域分割、匹配、最后無縫地融合到目標圖像中。
本發(fā)明的有益效果本發(fā)明根據用戶輸入兩幅人臉圖像(源圖像和目標圖像)以及要編輯區(qū)域的語義信息，比如“嘴巴”，“眼睛”或者“臉”等，系統(tǒng)將自動地把源圖像的編輯區(qū)域分割、匹配、最后無縫地融合到目標圖像中。與傳統(tǒng)的人臉手動合成技術的不同點在于，本發(fā)明利用學習出的人臉模型搜索和分析每一幅人臉圖像，并自動地產生編輯區(qū)域的邊界信息。然后利用泊松方程的無縫粘貼功能，成功地融合了兩幅圖像的特征區(qū)域。另外，本發(fā)明系統(tǒng)還采用摳圖方法，還解決了由于目標圖像中部分人臉被物體遮擋而導致的圖像失真問題，比如頭發(fā)，眼鏡的遮擋等。



圖1人臉合成系統(tǒng)框架包括三個部分模型匹配，特征合成，遮擋處理； 圖2標有特征點的訓練人臉； 圖3形狀無關的訓練人臉patch； 圖4人臉圖像嘴巴區(qū)域合成； 圖5彩色人臉圖像合成，最右邊兩幅圖像分別是(c)和(d)中黃色方框圖像的局部放大圖； 圖6頭發(fā)遮擋處理； 圖7灰度圖像合成第一排是輸入的人臉圖像，第二排是合成后的人臉圖像； 圖8彩色人臉圖像合成第一排是輸入的人臉圖像，第二排是合成后的人臉圖像。

具體實施例方式 下面將結合附圖對本發(fā)明加以詳細說明，應指出的是，所描述的實施例僅旨在便于對本發(fā)明的理解，而對其不起任何限定作用。
圖1是本發(fā)明整個圖像合成系統(tǒng)的框圖，采用一臺具有2.8G赫茲中央處理器和1G字節(jié)內存的奔騰4計算機并用C++語言編制了圖像合成方法算法程序，實現了本發(fā)明的圖像合成系統(tǒng)，還可以采用其他執(zhí)行環(huán)境，在此不再詳細贅述。
本發(fā)明系統(tǒng)的操作過程具體如下輸入兩幅人臉圖像(彩色圖像或者灰度圖像)，用戶選擇要編輯區(qū)域的語義信息，比如“人臉”，眼睛或者“嘴巴”等，然后系統(tǒng)就自動地把源圖像的語義特征區(qū)域無縫粘貼到目標圖像中的對應位置。系統(tǒng)主要有三個模塊組成模型匹配模塊1、特征合成模塊2和遮擋處理模塊3。第一步是模型匹配模塊1進行模型匹配。我們從大量的人臉圖像訓練樣本中學習得到主動形狀模型。然后利用訓練出的主動外觀模型對人臉圖像進行搜索檢測，獲得人臉圖像的形狀信息和紋理信息，包括各個五官的位置信息眼睛、鼻子、嘴巴、下巴、唇、眉毛和額頭等人臉的部件。
利用獲取的這些特征信息，系統(tǒng)自動地產生編輯區(qū)域的邊界位置。下一步就是特征合成模塊2進行特征合成。我們通過結合邊界信息和泊松方程獲得一幅具有真實感、視覺效果滿意的新的人臉合成圖像。在特征合成之前，需要把源圖像和目標圖像對齊，保證兩幅圖像人臉特征位置一致。最后，如果存在由于頭發(fā)、眼鏡等物體遮擋目標圖像部分的人臉而導致的合成圖像失真問題，我們就采用遮擋處理模塊3進行遮擋處理，用來消除這種由于物體遮擋目標圖像部分的人臉而導致的合成圖像失真。
1.模型匹配模塊 主動外觀模型是利用人臉特征的形狀信息和紋理信息相結合進行統(tǒng)計分析建立的一種模型，并在訓練過程中尋找形狀參數和紋理參數之間的關系，用于提取個人外貌、三維姿態(tài)、面部表情及光照的不同臉部特征。在對新圖像的匹配中，根據形狀參數和紋理參數之間的關系不斷的調節(jié)主動外觀模型參數從而達到合成圖像和新圖像盡可能地接近。主動外觀模型是形狀模型和紋理模型的結合，所以首先要分別建立形狀模型和紋理模型。我們從CAS-PEAL-R1人臉數據庫中挑選出280幅人臉圖像(包括多個人的不同表情和姿態(tài))作為訓練樣本。訓練所述主動外觀模型時，首先把所有的訓練樣本圖像都變形到均值形狀上，然后獲得變形后的均值人臉，并生成所需要的人臉區(qū)域掩模圖像給定一幅新的人臉圖像，再利用人臉主動外觀模型對該圖像搜索，搜索完畢后，就匹配出一幅與人臉圖像相近的人臉區(qū)域圖，模型匹配圖提供了新圖像人臉的形狀信息和紋理信息。
形狀模型需要對訓練數據中每一幅圖像標注特征點。特征點可以標記在臉的外部輪廓和器官的邊緣上，如圖2所示，例如圖中示出的眉毛輪廓、眼睛輪廓、臉部輪廓。將標記在臉的外部輪廓和器官的邊緣上的n個特征點寫成向量X形式，記為x x＝(x0，y0，…，xk，yk，…，xn-1，yn-1)T(1) 其中(x0；y0)代表圖像上的一個標記點(Landmark)，n為自然數，為了研究訓練圖像的形狀變化，比較不同形狀中對應點的變化，應先對這些訓練圖像的形狀進行校準。校準是以均勻形狀為基準，對其它形狀進行旋轉，平移和縮放使其盡可能的與基準形狀接近。然后對校準后的數據進行主成分分析(Principal Component Analysis)，這樣任何形狀向量的形狀模型 X都可以用如下方程近似 其中

是均勻形狀向量，矩陣Φs表示校準后形狀向量協方差矩陣的前t個最大特征值所對應的特征向量，bs是形狀模型參數。這里t滿足所取特征值占總特征值大小的98％以上。不同的形狀模型參數bs可以重構出不同的主動外觀模型實例。
紋理模型的建立需要獲得每幅人臉圖像的紋理信息。首先，為了減少形狀變化對紋理模型的影響，要把每一幅人臉圖像形狀與均勻形狀對齊。系統(tǒng)采用了由布克斯坦(Bookstain)提出的基于薄板樣條(TPS)的對齊方法。該方法通過最小化圖像平面的彎曲能量，從而使兩幅圖像的特征點完全匹配。然后從變形后圖像中提取平均形狀區(qū)域(稱為patch)的灰度值，并把每一幅圖像的灰度信息記為向量gm gm＝(g1，g2，…，gm)T(3) 圖3展示從變形后圖像中提取的訓練人臉的平均形狀區(qū)域(patch)。為了減小光照變化對紋理模型的影響，需要對灰度信息gm進行標準化處理。最后用主成分分析(PCA)處理標準化后的灰度信息，從而得到紋理模型g 其中

是標準化后人臉的均值灰度向量，Φg是體現灰度變化模式的特征向量矩陣，bg是紋理模型參數。為了用一個統(tǒng)一的模型表示形狀和紋理，需要找出形狀參數和紋理參數之間的關系。首先對訓練樣本中的每一幅圖像構造新的參數向量b 其中Ws是考慮到形狀模型參數和紋理模型參數的單位不一致，而對每個形狀參數施加的權重系數的對角陣。然后對新的參數向量b再次采用主成分分析，獲得主動外觀模型(AAM) 其中Qs是形狀模型的特征向量矩陣，Qg是紋理模型的特征向量矩陣，Q是總的主動外觀模型的特征向量矩陣，c是控制形狀和紋理的外觀參數。此時形狀模型X(2)和紋理模型g(4)可以寫為下面的形式 我們實施時共采用了280幅人臉圖像作訓練樣本，每一幅圖像標注87個特征點，每幅人臉的平均形狀區(qū)域包含25460個灰度值。在建立紋理模型時，我們利用15個圖像特征點做圖像對齊。這些圖像特征點來源于形狀模型的87個特征點。訓練得到的形狀模型參數66個，紋理參數168個，外觀模型(混合模型)參數121個，所有這些參數的選取均滿足選取的特征模式占總特征模式的98％以上，即生成的主動外觀模型可以表示98％的訓練樣本變化。
模型匹配的最后一步就是如何利用主動外觀模型搜索一幅新的人臉圖像。這其實是一個優(yōu)化目標函數的問題，其中目標函數是主動外觀模型合成圖像與新人臉圖像之間的差值。首先我們利用多變量回歸方法(Multi-variation Regression)學習出主動外觀模型參數變化和目標函數之間的線性關系。學習出這種線性關系后，利用迭代的方法解決目標函數最小值問題。每次主動外觀模型搜索圖像時，我們都是用均勻人臉作為初始模型，并且初始位置一般位于人臉真實位置的附近，搜索算法一般迭代15次左右收斂。搜索完畢后，就獲得每幅圖像特征區(qū)域的形狀信息和紋理信息。
2.特征合成模塊 特征合成包括根據不同的人臉圖像，不同人臉的大小、特征區(qū)域的大小位置，先把兩幅人臉圖像的幾何形狀對齊，實現不同人臉的合成，所述對齊是采用薄板樣條來對人臉圖像進行對齊，用以保證整個圖像平面的彎曲能量最小，用于生成扭曲量最小的變形人臉圖像；利用無縫克隆功能對人臉圖像合成，是選取編輯區(qū)域中源圖像的梯度場作為引導場，所述無縫克隆是把一幅圖像中的區(qū)域或者物體粘貼到目標圖像中，獲得整體顏色的一致的合成后人臉圖像。
所述生成合成圖像包括對人臉圖像編輯區(qū)域被物體遮擋失真的目標圖像，提取被物體遮擋部分的信息并保存，然后利用提取出來的遮擋信息對合成失真的目標圖像做消除失真處理，獲得合成圖像。
本發(fā)明系統(tǒng)采用求解泊松方程的方法來實現人臉圖像無縫合成。但是本發(fā)明的方法和Pereze等人提出泊松圖像編輯方法的不同點在于，本發(fā)明系統(tǒng)是利用人臉模型搜索自動獲得編輯區(qū)域內具有不同部件的形狀和大小的邊界信息，提取人臉識別的不相同部件的形狀特征，人臉的各部件進行定位。減少了復雜的人工操作。對于不同的編輯特征區(qū)域，邊界信息的獲得方法有所不同。下面我們以人臉和嘴巴作為編輯區(qū)域例子，介紹如何自動地產生邊界信息 在模型匹配模塊1進行模型匹配結束后，系統(tǒng)獲得每幅人臉圖像的模型合成人臉，如圖1所示。該模型合成人臉提供了特征區(qū)域的形狀信息和紋理信息。如果以整個人臉作為編輯區(qū)域，那么該區(qū)域的邊界信息可以直接由該模型合成人臉得到。系統(tǒng)把區(qū)域的邊界信息以圖像形式保存，稱為mask圖像。在該模型合成人臉中，把屬于人臉區(qū)域的像素值設為255，其他的像素值設為0，這樣就獲得一幅人臉區(qū)域邊界的mask圖像。如果嘴巴部分作為編輯區(qū)域，我們就要利用特征的形狀信息。在形狀模型訓練時，每一幅人臉都標注了87個特征點，而且特征點的順序是固定不變的，也就是說哪些點表示嘴巴區(qū)域也是固定的。所以根據這些已知的位置信息就可以從特征點中得到嘴巴特征區(qū)域，并以同樣的方式保存成mask圖像，如圖4(c)所示。另外，在特征合成前需要把源圖像(如圖4(a)示出)和目標圖像(如圖4(b)示出)對齊，保證兩幅圖像中人臉特征區(qū)域位置一致。對齊算法同樣采用基于薄板樣條的方法。算法中特征點是從各圖像模型匹配的形狀信息中提取得到的。由于人臉模型的使用，減少了大量的人工操作，包括編輯區(qū)域邊界的勾畫和對齊算法中特征點的標注，從而使整個人臉合成系統(tǒng)更加有利于用戶使用。
利用編輯區(qū)域邊界條件，通過求解Poisson方程來實現人臉圖像的無縫合成。以g，f*作為兩幅輸入圖像，分別表示對齊后的源圖像和目標圖像，Ω表示mask圖像中的編輯區(qū)域，即像素值為255的區(qū)域，f表示合成后的人臉圖像，v表示引導場，即對齊后的源圖像在編輯區(qū)域的梯度場。合成圖像f中在Ω區(qū)域以外的像素值等于目標圖像f*中對應的像素值。目標函數是最小化f在編輯區(qū)域Ω梯度場與引導場的差值 在求解中我們是對每一個像素處理，所以要把目標函數(9)離散化。這里令Np表示圖像中某一點像素p的四鄰域，fp是像素p的灰度值。方程(9)的離散化形式 考慮到當編輯區(qū)域Ω位于圖像邊緣時，在邊界位置上像素的四鄰域Np＜4，此時方程(10)的解滿足 本發(fā)明采用迭代的方法求解方程(11)，式中v表示引導場，vpq四代表引導場

在邊[p；q]方向上的投影，即

q代表像素p的鄰接像素。彩色圖像可以三個通道分別進行處理。為了保證合成圖像顏色的一致性，對引導場vpq使用了一個縮放因子d，該縮放因子是對引導場的微調。實驗中d的取值范圍是(0.9，1.2)。圖(4)是以嘴巴作為編輯區(qū)域的人臉圖像合成。人臉模型搜索目標圖像(如圖4(b)示出)并自動產生嘴巴邊界信息的mask圖像(如圖4(c)示出)。圖像(如圖4(d)示出)是兩幅輸入圖像嘴巴合成的結果。整個過程不需要任何人工操作。圖(5)是兩幅彩色圖像相互交互人臉的合成結果，其中圖5(a)表示為源圖像，圖5(b)為目標圖像，圖5(c)為Mask圖像，圖5(d)為合成圖像。箭頭所指的兩幅圖像分別是合成圖像方框中圖像的局部放大圖，如圖5(e)和圖5(f)示出。從放大的圖像中可以看出在合成人臉圖像中，編輯區(qū)域邊界有效避免了顏色不連續(xù)的現象。
3.遮擋處理 如果目標圖像中部分人臉被物體遮擋，比如頭發(fā)、眼鏡等，那么在系統(tǒng)合成圖像中就會出現明顯的失真現象。如圖(6)所示，圖6(a)和圖6(b)分別是源圖像和目標圖像，人臉作為編輯區(qū)域。目標圖像圖6(b)中部分人臉的眉毛被劉海遮擋，因此系統(tǒng)合成后的圖像圖6(c)中出現了劉海不連續(xù)情況。從放大6(e)中可以明顯地看出圖像失真的問題。針對這種問題系統(tǒng)采用摳圖(Image Matting)的方法來解決。
圖像中任何一個象素值都可以看成是前景F，背景B和透明度值(α)的一個線性組合Ii Ii＝αiFi+(1-αi)Bi(12) 其中針對某個特定像素時，它的透明度值、前景值和背景值可以表示為αi、Fi、Bi。當透明度值(α)針對某個特定的像素時，例如第i個像素就稱αi是第i個象素前景值對應的透明度值。摳圖就是提取源圖像中的物體，并利用全局最優(yōu)的α值把物體粘貼到目標圖像中。我們以圖6中頭發(fā)遮擋為例介紹如何利用摳圖解決失真問題。我們的目的是要把合成圖像圖6(c)中的劉海補全。首先把目標圖像圖6(b)中的頭發(fā)作為前景，把系統(tǒng)合成的失真圖像圖6(c)作為背景。然后利用摳圖方法從目標圖像圖6(b)中提取前景頭發(fā)以及對應的α值，然后通過方程(12)將前景頭發(fā)粘貼到背景圖像圖6(c)，從而得到新的沒有失真問題的真實人臉。為了減少人工操作，我們采用了由Anat Levin等人提出的摳圖算法。這種方法只需要用戶在前景和背景區(qū)域勾畫幾筆，就可以獲得全局最優(yōu)的α值。該方法是假設在圖像小窗口范圍內任何一個象素的前景值和背景值是近似為常量的。根據這個假設，方程(12)可以重寫透明度值為 αi≈aiIi+bi，
公式中的符號標記

符號標記

w是一個小的圖像窗口。通過最小化目標函數來獲得全局最優(yōu)α值、a和b 其中wj是以第j個象素為中心的小窗口，一般窗口大小為3×3，Ii代表第i個像素的灰度值，符號標記

符號標記

圖6(e)和圖6(f)分別是遮擋處理前后合成圖像頭發(fā)的局部放大圖。從放大的圖像中可以看到，利用摳圖可以成功地消除遮擋失真。
下面結合附圖詳細說明整個系統(tǒng)的操作過程。圖1是系統(tǒng)的整個框架。輸入兩幅人臉圖像和編輯區(qū)域的語義信息后，系統(tǒng)經過主動外觀模型搜索、特征合成和遮擋處理，自動產生出具有真實感的合成人臉圖像。圖4是以嘴巴作為編輯區(qū)域的灰度人臉圖像合成。圖5是彩色圖像相互替換人臉的合成結果。我們利用人臉模型進行搜索定位，從而保證了在特征區(qū)域合成時顏色值的連續(xù)性。另外，系統(tǒng)還成功地解決了遮擋問題，如圖6所示。圖7和圖8分別是用一組灰度圖像和彩色圖像來驗證系統(tǒng)的有效性。圖7中的灰度圖像來源于CAS-PEAL-R1人臉數據庫，合成圖像里不僅有以人臉、眼睛、嘴巴等單個特征作為編輯區(qū)域，我們還把不同圖像的不同特征合成到一幅人臉圖像中。圖像圖7(A)是由圖7(a)和圖7(b)兩幅圖像以嘴巴作為編輯區(qū)域的合成結果；圖像圖7(B)是由圖7(c)和圖7(d)兩幅圖像以人臉為編輯區(qū)域的合成結果；圖像圖7(C)是把圖像圖7(g)的眼睛和圖像圖7(d)的嘴巴合成到圖像圖7(c)后的結果；圖像圖7(D)是由圖7(d)和圖7(e)兩幅圖像以人臉為編輯區(qū)域的合成結果；圖像圖7(E)是由圖7(d)和圖7(f)兩幅圖像替換人臉后的合成結果。圖8展示了以人臉作為編輯區(qū)域的彩色圖像合成實驗。圖像圖8(A)是由8(a)和圖8(d)合成；圖像圖8(B)是由8(b)和圖8(c)合成；圖像圖8(C)是由圖8(c)和圖8(a)合成；圖像圖8(D)是由圖8(d)和圖8(a)合成?？梢钥吹剑覀兿到y(tǒng)自動地實現彩色人臉圖像合成，并產生效果真實的人臉圖像。
以上所述，僅為本發(fā)明中的具體實施方式
，但本發(fā)明的保護范圍并不局限于此，任何熟悉該技術的人在本發(fā)明所揭露的技術范圍內，可理解想到的變換或替換，都應涵蓋在本發(fā)明的包含范圍之內，因此，本發(fā)明的保護范圍應該以權利要求書的保護范圍為準。
權利要求
1.一種人臉圖像自動合成方法，其特征在于，該人臉圖像自動合成包括如下步驟
步驟1用戶輸入兩幅人臉源圖像、目標圖像和要編輯區(qū)域的語義信息，模型匹配模塊利用主動外觀模型對圖像進行自動搜索，提供人臉圖像人臉的形狀信息和紋理信息；
步驟2然后利用模型特征點對兩幅人臉圖像進行形狀對齊，使用薄板樣條形變把源圖像編輯區(qū)域的形狀對齊到目標圖像中對應的區(qū)域中；
步驟3利用特征合成模塊對源圖像和目標圖像的對齊后的形狀信息和紋理信息進行特征合成，自動生成合成圖像；
步驟4利用遮擋處理模塊對合成圖像進行去遮擋處理，把源圖像的被遮擋區(qū)域分割、匹配、最后無縫地融合到目標圖像中。
2.如權利要求1所述的方法，其特征在于，所述模型匹配搜索輸入圖像，獲得每個人臉的編輯區(qū)域內具有不同部件的形狀和大小的邊界信息，提取人臉識別的不相同部件的形狀特征，人臉的各部件進行定位。
3.如權利要求1所述的方法，其特征在于，所述不同人臉部件為眼睛、鼻子、嘴巴、下巴、唇、眉毛和額頭。
4.如權利要求1所述的方法，其特征在于，所述主動外觀模型，利用形狀信息和對所感興趣的臉部紋理信息進行統(tǒng)計分析，并找出形狀和紋理之間的聯系，用于提取個人外貌、三維姿態(tài)、面部表情及光照的不同臉部特征。
5.如權利要求1所述的方法，其特征在于，訓練所述主動外觀模型時，首先把所有的訓練樣本圖像都變形到均值形狀上，然后獲得變形后的均值人臉，并生成所需要的人臉區(qū)域掩模圖像給定一幅新的人臉圖像，再利用人臉主動外觀模型對該圖像搜索，搜索完畢后，就匹配出一幅與人臉圖像相近的人臉區(qū)域圖，模型匹配圖提供了新圖像人臉的形狀信息和紋理信息。
6.如權利要求1所述的方法，其特征在于，所述特征合成包括步驟如下
根據不同的人臉圖像，不同人臉的大小、特征區(qū)域的大小位置，先把兩幅人臉圖像的幾何形狀對齊，實現不同人臉的合成，所述對齊是采用薄板樣條來對人臉圖像進行對齊，用以保證整個圖像平面的彎曲能量最小，用于生成扭曲量最小的變形人臉圖像；
利用無縫克隆功能對人臉圖像合成，是選取編輯區(qū)域中源圖像的梯度場作為引導場，所述無縫克隆是把一幅圖像中的區(qū)域或者物體粘貼到目標圖像中，獲得整體顏色的一致的合后人臉圖像。
7.如權利要求1所述的方法，其特征在于，所述生成合成圖像包括步驟如下
對人臉圖像編輯區(qū)域被物體遮擋失真的目標圖像，提取被物體遮擋部分的信息并保存，然后利用提取出來的遮擋信息對合成失真的目標圖像做消除失真處理，獲得合成圖像。
8.如權利要求7所述的方法，其特征在于，所述消除失真用圖像摳圖來提取圖像中的物體或者區(qū)域；是把源圖像割為前景、背景和不確定區(qū)域；圖像中任何一個象素值都可以看成是前景F，背景B和阿爾法(α)值的一個線性組合IiIi＝αiFi+(1-αi)Bi，其中αi是第i個象素前景值對應的透明度值，摳圖是提取源圖像中的物體，并利用全局最優(yōu)的α值把物體粘貼到目標圖像中；假設在圖像小窗口范圍內任何一個象素的前景值和背景值是近似為常量；根據這個假設重寫透明度值為
其中公式中的符號標記
符號標記
w是一個小的圖像窗口；通過最小化目標函數來獲得全局最優(yōu)α值，α和b
其中wi是以第j個象素為中心的小窗口，Ii代表第i個像素的灰度值；
獲得所需要的遮擋信息后，就按照基于引導場來完成對新人臉圖像的合成，從而獲得消除遮擋后的合成圖像。
全文摘要
本發(fā)明提出人臉圖像自動合成方法，用戶輸入兩幅人臉源圖像、目標圖像和要編輯區(qū)域的語義信息，模型匹配模塊利用主動外觀模型對圖像進行自動搜索，提供人臉圖像人臉的形狀信息和紋理信息；然后利用模型特征點對兩幅人臉圖像進行形狀對齊，使用薄板樣條形變把源圖像編輯區(qū)域的形狀對齊到目標圖像中對應的區(qū)域中；用特征合成模塊對源圖像和目標圖像的對齊后的形狀信息和紋理信息進行特征合成，自動生成合成圖像；利用遮擋處理模塊對合成圖像進行去遮擋處理，把源圖像的被遮擋區(qū)域分割、匹配、最后無縫地融合到目標圖像中。與傳統(tǒng)的人臉合成不同在于，融合了兩幅圖像的特征區(qū)域，解決了由于目標圖像中部分人臉被物體遮擋而導致的圖像失真問題。
文檔編號G06T11/00GK101770649SQ20081024674
公開日2010年7月7日 申請日期2008年12月30日 優(yōu)先權日2008年12月30日
發(fā)明者潘春洪, 王紅俠, 吳懷宇 申請人:中國科學院自動化研究所