基于先驗(yàn)?zāi)Ｐ偷恼嫒四槇D像合成方法及系統(tǒng)的制作方法
【專利摘要】本發(fā)明涉及一種基于先驗(yàn)?zāi)Ｐ偷恼嫒四槇D像合成方法及系統(tǒng)，所述方法包括：步驟一：對(duì)三維原型樣本庫(kù)進(jìn)行樣本規(guī)范化得到三維人臉樣本庫(kù)，標(biāo)定測(cè)試人臉圖像的特征點(diǎn)；步驟二：求取平均三維人臉模型，通過(guò)其上的特征點(diǎn)投影后與測(cè)試人臉圖像標(biāo)定的特征點(diǎn)建立對(duì)應(yīng)關(guān)系求得測(cè)試人臉圖像的姿態(tài)角度；步驟三：從三維人臉樣本庫(kù)中篩選出與測(cè)試人臉圖像相似性較大的圖像構(gòu)建原型樣本庫(kù)；步驟四：合成正面人臉圖像。本發(fā)明可以實(shí)現(xiàn)在只采用三維人臉庫(kù)中信息的情況下，估計(jì)出輸入的測(cè)試人臉圖像的姿態(tài)角并合成對(duì)應(yīng)的正面人臉，且可以保留原來(lái)人臉面部上某些細(xì)節(jié)特征。這對(duì)于人臉識(shí)別、人臉姿態(tài)估計(jì)的研究與實(shí)際應(yīng)用的開(kāi)發(fā)都具有重要的理論與實(shí)際意義。
【專利說(shuō)明】基于先驗(yàn)?zāi)Ｐ偷恼嫒四槇D像合成方法及系統(tǒng)

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及計(jì)算機(jī)圖形學(xué)、數(shù)字圖像處理以及人工智能等領(lǐng)域，具體涉及一種通 過(guò)人臉姿態(tài)圖像合成其正面人臉圖像的方法及系統(tǒng)。

【背景技術(shù)】
[0002] 正面人臉合成的方法包括三維的方法和二維的方法。三維方法的思路是通過(guò)對(duì)測(cè) 試人臉圖像進(jìn)行三維重建，在得到測(cè)試人臉圖像的三維數(shù)據(jù)之后，正面人臉圖像自然就可 以得到。該類方法最典型的方法是形變模型（3DMM，3D Morphable Mpdel)方法，實(shí)現(xiàn)了由 側(cè)面到正面的人臉圖像合成，但3DMM的人臉重建過(guò)程效率很低，在主頻2GHz的服務(wù)器上重 建一幅人臉需要300秒。后來(lái)的學(xué)者提出了許多基于3DMM改進(jìn)的法來(lái)優(yōu)化重建過(guò)程提高 效率。如有文獻(xiàn)擴(kuò)展了 AAM匹配的改進(jìn)方法，并將其應(yīng)用于2D -3D的配準(zhǔn)中，提高了重建 效率，但其重建精度較差低；還有文獻(xiàn)利用部分臉部特征點(diǎn)實(shí)現(xiàn)稀疏的2D - 3D配準(zhǔn)，具有 較高的重建效率，但該方法只能應(yīng)用于正臉圖像且重建精度較低。除了三維方法以外，直接 采用二維圖像來(lái)合成正面人臉也得到了廣泛的研究。二維方法主要是通過(guò)統(tǒng)計(jì)學(xué)的原理進(jìn) 行正面人臉合成，這必定涉及到對(duì)測(cè)試人臉的姿態(tài)估計(jì)問(wèn)題。二維人臉模型由于模型本身 的局限，不能準(zhǔn)確估計(jì)出圖像上缺失的深度信息，而基于三維人臉模型，能夠準(zhǔn)確的估計(jì)出 人臉的姿態(tài)信息。有學(xué)者采用三維人臉模型對(duì)人臉姿態(tài)進(jìn)行估計(jì)的，并取得良好的姿態(tài)估 計(jì)結(jié)果。還有學(xué)者首先判定測(cè)試人臉的姿態(tài)角，然后利用對(duì)應(yīng)姿態(tài)的人臉訓(xùn)練庫(kù)進(jìn)行正臉 合成，但這種合成方法需要大量的各種姿態(tài)人臉訓(xùn)練圖像。因此，基于先驗(yàn)?zāi)Ｐ妥藨B(tài)估計(jì)和 正面人臉合成方法，是一個(gè)新的視角，值得深入的研究和特別的關(guān)注。


【發(fā)明內(nèi)容】

[0003] 針對(duì)上述現(xiàn)有技術(shù)的缺陷，本發(fā)明的目的在于提供一種正面人臉合成的方法。其 可以實(shí)現(xiàn)在只采用三維人臉庫(kù)中信息的情況下，估計(jì)出輸入的測(cè)試人臉圖像的姿態(tài)角并合 成對(duì)應(yīng)的正面人臉，且可以保留原來(lái)人臉面部上某些細(xì)節(jié)特征。這對(duì)于人臉識(shí)別、人臉姿態(tài) 估計(jì)的研究與實(shí)際應(yīng)用的開(kāi)發(fā)都具有重要的理論與實(shí)際意義。具體技術(shù)方案如下：
[0004] 一種基于先驗(yàn)?zāi)Ｐ偷恼嫒四槇D像合成方法，包括：
[0005] 步驟一：對(duì)三維原型樣本庫(kù)進(jìn)行樣本規(guī)范化得到三維人臉樣本庫(kù)，標(biāo)定測(cè)試人臉 圖像的特征點(diǎn)；
[0006] 步驟二：求取平均三維人臉模型，通過(guò)其上的特征點(diǎn)投影后與測(cè)試人臉圖像標(biāo)定 的特征點(diǎn)建立對(duì)應(yīng)關(guān)系求得測(cè)試人臉圖像的姿態(tài)角度α，β， Y ;
[0007] 步驟三：從三維人臉樣本庫(kù)中篩選出與測(cè)試人臉圖像相似性較大的圖像構(gòu)建原型 樣本庫(kù)；
[0008] 步驟四：合成正面人臉圖像。
[0009] 所述的步驟二可進(jìn)一步具體包括：用Si = (xn, yn, ζη,......, xim, yim, zim)T表示 歸一化好的三維人臉樣本庫(kù)中每張人臉的形狀，用形狀矩陣S = (Sp S2, . . . Sn)表示所有樣 本，則平均三維人臉模型為

【權(quán)利要求】
1. 一種基于先驗(yàn)?zāi)Ｐ偷恼嫒四槇D像合成方法，其特征在于，包括： 步驟一：對(duì)三維原型樣本庫(kù)進(jìn)行樣本規(guī)范化得到三維人臉樣本庫(kù)，標(biāo)定測(cè)試人臉圖像 的特征點(diǎn)； 步驟二：求取平均三維人臉模型，通過(guò)其上的特征點(diǎn)投影后與測(cè)試人臉圖像標(biāo)定的特 征點(diǎn)建立對(duì)應(yīng)關(guān)系求得測(cè)試人臉圖像的姿態(tài)角度α，β，Y ; 步驟三：從三維人臉樣本庫(kù)中篩選出與測(cè)試人臉圖像相似性較大的圖像構(gòu)建原型樣本 庫(kù)； 步驟四：合成正面人臉圖像。
2. 根據(jù)權(quán)利要求1所述的一種基于先驗(yàn)?zāi)Ｐ偷恼嫒四槇D像合成方法，其特征在于， 所述的步驟二進(jìn)一步具體包括：用Si = (xn, yn, ζη,......, xim, yim, zim)T表示歸一化好的 三維人臉樣本庫(kù)中每張人臉的形狀，用形狀矩陣S = (Sp S2,... Sn)表示所有樣本，則平均 三維人臉模型為^^,
e ，假設(shè)將模型在X、y、z軸上分別旋轉(zhuǎn)α，β，γ的角度 后與測(cè)試人臉圖像姿態(tài)相同，那么模型上面相應(yīng)的特征點(diǎn)經(jīng)過(guò)坐標(biāo)旋轉(zhuǎn)矩陣R，點(diǎn)坐標(biāo)由 Ρ (X，y，Ζ)變換到 Pr (X，，y'，ζ'），
(1) 通過(guò)三維到二維的投影關(guān)系，對(duì)三維坐標(biāo)系進(jìn)行平移變換以及尺度變換，得到平移變 化矩陣T和三維到二維的尺度變換系數(shù)S，確定了 T和S后，將旋轉(zhuǎn)后平均三維人臉模型上 的特征點(diǎn)投影到二維平面上，建立與測(cè)試人臉圖像標(biāo)定的特征點(diǎn)的對(duì)應(yīng)關(guān)系，選取平均三 維人臉模型上雙眼的內(nèi)外角點(diǎn)，鼻尖點(diǎn)和嘴巴兩端這7個(gè)特征點(diǎn)，其在平均三維人臉模型 和測(cè)試人臉圖像中的坐標(biāo)分別為（ Xi，yi，Zi)、（X' i，y' ^，則有：
(2) 采用最小二乘法進(jìn)行求解，從而求得測(cè)試人臉的姿態(tài)角度α，β，Y。
3. 根據(jù)權(quán)利要求1所述的一種基于先驗(yàn)?zāi)Ｐ偷恼嫒四槇D像合成方法，其特征在于， 所述的步驟三進(jìn)一步具體包括：根據(jù)線性類思想，將待重建人臉表述為：
(3) 其中Si三維原型樣本庫(kù)中的樣本，s' i為樣本Si依據(jù)姿態(tài)角度α，β，Y旋轉(zhuǎn)后的三 維模型，通過(guò)求解式（3)的稀疏解來(lái)篩選與測(cè)試人臉圖像相似的原型樣本庫(kù)。
4. 根據(jù)權(quán)利要求1所述的一種基于先驗(yàn)?zāi)Ｐ偷恼嫒四槇D像合成方法，其特征在于， 所述的步驟四包括： 步驟①：形狀和紋理分開(kāi)建模； 步驟②：用基于樣本篩選的形變模型理論求解輸入的測(cè)試人臉圖像的形狀和紋理的組 合系數(shù)； 步驟③：將測(cè)試人臉圖像的紋理與合成的紋理相結(jié)合得到綜合的紋理，得到最終合成 的正面人臉。
5. 根據(jù)權(quán)利要求4所述的一種基于先驗(yàn)?zāi)Ｐ偷恼嫒四槇D像合成方法，其特征在于， 所述的步驟①進(jìn)一步具體包括：采用與測(cè)試人臉圖像相似性大的數(shù)據(jù)構(gòu)建原型樣本庫(kù)，利 用標(biāo)定的特征點(diǎn)對(duì)人臉形狀和紋理分別進(jìn)行建模，建立圖像像素之間一對(duì)一的對(duì)應(yīng)關(guān)系， 將人臉形狀Si用Delaunay三角化，并將每一張人臉都變形到原型樣本庫(kù)的平均人臉上，將 人臉的紋理向量表達(dá)為g = Qu "，... ik，... UT e R1的形式。
6. 根據(jù)權(quán)利要求4所述的一種基于先驗(yàn)?zāi)Ｐ偷恼嫒四槇D像合成方法，其特征在于， 所述的步驟②進(jìn)一步具體包括：用經(jīng)步驟三篩選后的三維人臉組合來(lái)表示測(cè)試人臉的形狀 和紋理：
(4) 其中分別為原始三維人臉平均形狀和平均紋理向量，分別為模型的形狀 和紋理的組合系數(shù)，Si為經(jīng)步驟三篩選后的原型樣本庫(kù)中的形狀向量，h為紋理向量，現(xiàn)對(duì) 式（4)中的形狀模型進(jìn)行旋轉(zhuǎn)和投影變形，得到下式：
(5) 其中，、礦與f分別表示表示輸入的測(cè)試人臉圖像的形狀，旋轉(zhuǎn)投影之后模型平均 的人臉形狀，及特征旋轉(zhuǎn)投影矩陣，利用稀疏形變模型方法求解式（5)中的組合系數(shù)，根據(jù) 求得的形狀組合系數(shù)，得到合成的正面人臉形狀：
(6) 采用同樣的求解方法，SVD分解，求得形變模型中紋理的組合系數(shù)β得到合成紋理：
(7) 〇
7. 根據(jù)權(quán)利要求4所述的一種基于先驗(yàn)?zāi)Ｐ偷恼嫒四槇D像合成方法，其特征在于， 所述的步驟③進(jìn)一步具體包括：綜合紋理合成方式如下：若在正臉中可見(jiàn)、而在測(cè)試人臉 圖像中不可見(jiàn)的紋理，采用式（7)合成的紋理；反之采用測(cè)試人臉圖像的原始紋理，最終生 成的綜合紋理如下： Si(x,y) = Wi(x,y)*ti(x,y)+(l_Wi(x,y))* tO(x,y) ⑶ 其中ti(x，y)代表在點(diǎn)（x，y)處合成得到的像素值，代表在點(diǎn)（x，y)處輸入測(cè)試人 臉圖像的像素值，Wi代表點(diǎn)（x，y)處合成紋理中原始紋理的權(quán)重，結(jié)合公式（6)和公式（8) 得到正面人臉圖像。
8. 根據(jù)權(quán)利要求7所述的一種基于先驗(yàn)?zāi)Ｐ偷恼嫒四槇D像合成方法，其特征在于， 所述&通過(guò)相應(yīng)點(diǎn)處局域面積變化率確定。
9. 一種基于先驗(yàn)?zāi)Ｐ偷恼嫒四槇D像合成系統(tǒng)，其特征在于，包括特征點(diǎn)標(biāo)定模塊、姿 態(tài)角度求取模塊、原型樣本構(gòu)建模塊及正面人臉合成模塊， 所述的特征點(diǎn)標(biāo)定模塊用于對(duì)三維原型樣本庫(kù)進(jìn)行樣本規(guī)范化得到三維人臉樣本庫(kù)， 標(biāo)定測(cè)試人臉圖像的特征點(diǎn)，將結(jié)果發(fā)送給姿態(tài)角度求取模塊； 所述的姿態(tài)角度求取模塊用于求取平均三維人臉模型，通過(guò)其上的特征點(diǎn)投影后與測(cè) 試人臉圖像標(biāo)定的特征點(diǎn)建立對(duì)應(yīng)關(guān)系求得測(cè)試人臉圖像的姿態(tài)角度，將結(jié)果發(fā)送給原型 樣本庫(kù)構(gòu)建模塊； 所述的原型樣本庫(kù)構(gòu)建模塊用于從三維人臉樣本庫(kù)中篩選出與測(cè)試人臉圖像相似性 較大的圖像構(gòu)建原型樣本庫(kù)，將結(jié)果發(fā)送給正面人臉合成模塊； 所述的正面人臉合成模塊用于根據(jù)輸入的測(cè)試人臉圖像信息和原型樣本庫(kù)發(fā)送來(lái)的 信息合成正面人臉圖像。
【文檔編號(hào)】G06T11/40GK104299250SQ201410546803
【公開(kāi)日】2015年1月21日 申請(qǐng)日期:2014年10月15日 優(yōu)先權(quán)日:2014年10月15日
【發(fā)明者】周大可, 方三勇, 曹元鵬 申請(qǐng)人:南京航空航天大學(xué)