專(zhuān)利名稱(chēng)：一種三維人臉模型的構(gòu)造方法和系統(tǒng)的制作方法
一種三維人臉模型的構(gòu)造方法和系統(tǒng)
技術(shù)鄰域
本發(fā)明涉及圖像處理技術(shù)鄰域，尤其涉及一種三維人臉模型的構(gòu)造方法和 系統(tǒng)。
背景技術(shù)：
目前的人臉建模的方法大致可以分為兩類(lèi) 一類(lèi)是傳統(tǒng)的基于多張相片的 形狀重建方法，另外一類(lèi)是基于正交圖片的^t型擬合的方法。
傳統(tǒng)的基于多張相片的形狀重建方法一般包含以下步驟相機(jī)標(biāo)定、特征 點(diǎn)匹配、三維點(diǎn)重建、構(gòu)建三角網(wǎng)、紋理映射。傳統(tǒng)的重建方法的理i侖基礎(chǔ)比 較成熟，但是實(shí)現(xiàn)起來(lái)比較困難。相機(jī)標(biāo)定的目的是計(jì)算相機(jī)的內(nèi)方位元素(焦 距、主點(diǎn)、畸變參數(shù)等)和外方位元素(相機(jī)的空間位置和姿態(tài)參數(shù))，標(biāo)定 一般是需要利用專(zhuān)門(mén)的輔助設(shè)備來(lái)完成。近年來(lái)提出的自標(biāo)定方法雖然可以不 需要任何輔助設(shè)備，但是需要大量的特征對(duì)應(yīng)點(diǎn)。而特征點(diǎn)匹配是一個(gè)非常困 難的問(wèn)題，至今還沒(méi)有非常有效的方法。在標(biāo)定和特征點(diǎn)匹配完成后，為了獲 得精確的重建結(jié)果， 一般會(huì)釆樣光束法(Bundle Adjustment)來(lái)對(duì)所有的未 知數(shù)進(jìn)行整體優(yōu)化。
另外一類(lèi)重建方法避開(kāi)了傳統(tǒng)方法中的標(biāo)定和特征點(diǎn)匹配。其思想是對(duì)人 臉拍攝正面和側(cè)面圖像，由于正面圖像和側(cè)面圖像正交，所以可以從圖像中直 接提取出人臉特征點(diǎn)的三維坐標(biāo)。然后用提取出的三維坐標(biāo)來(lái)對(duì)一個(gè)通用的三 維人臉模型進(jìn)行擬合，就可以得到一個(gè)外形和圖像中人臉相似的模型?；谡?交圖像的方法原理比較簡(jiǎn)單，不過(guò)一般需要手工交互來(lái)確定人臉特征點(diǎn)的位 置，而且需要用戶拍攝出正交圖像，這在實(shí)際中操作起來(lái)比較麻煩。
總之，現(xiàn)有的構(gòu)造三維人臉模型的方法比較復(fù)雜，需要本領(lǐng)域技術(shù)人員提 出更加方便、快捷的構(gòu)造三維人臉模型的解決方案。

發(fā)明內(nèi)容
本發(fā)明所要解決的技術(shù)問(wèn)題是提供一種三維人臉模型的構(gòu)造方法和系統(tǒng)，
能夠更力口方便、快捷的構(gòu)造三維人臉模型。
為解決上述技術(shù)問(wèn)題，本發(fā)明公開(kāi)了一種三維人臉模型構(gòu)造方法，包括以
下步驟
依據(jù)在正面人臉圖片中的輪廓控制點(diǎn)和人臉網(wǎng)格模型上對(duì)應(yīng)網(wǎng)格控制點(diǎn) 之間建立的第一映射關(guān)系，對(duì)所述人臉網(wǎng)格模型中所有的點(diǎn)作相應(yīng)的位置調(diào)
整；所述人臉網(wǎng)格模型由通用三維人臉模型投影得到，所述第一映射關(guān)系由多 個(gè)選取的對(duì)應(yīng)點(diǎn)計(jì)算得到；
在正面人臉圖片器官上的輪廓控制點(diǎn)和已調(diào)整過(guò)的人臉網(wǎng)格模型器官上 的網(wǎng)格控制點(diǎn)中選取對(duì)應(yīng)的關(guān)鍵4侖廓控制點(diǎn)和關(guān)鍵網(wǎng)才各控制點(diǎn)，并確定各個(gè)點(diǎn) 的鄰域；所述鄰域內(nèi)還包括多個(gè)4侖廓控制點(diǎn)和網(wǎng)格控制點(diǎn)；
依據(jù)關(guān)鍵網(wǎng)格控制點(diǎn)建立三角網(wǎng)，確定人臉網(wǎng)格模型上的非網(wǎng)格控制點(diǎn)所 在的三角網(wǎng)中的三角形；
依據(jù)建立的鄰域內(nèi)對(duì)應(yīng)的4侖廓控制點(diǎn)和網(wǎng)格控制點(diǎn)的第二映射關(guān)系，對(duì)確 定該鄰域的關(guān)鍵網(wǎng)格控制點(diǎn)進(jìn)行位置調(diào)整；
依據(jù)各個(gè)三角形的三個(gè)頂點(diǎn)調(diào)整前后的坐標(biāo)，分別建立各自的第三映射關(guān) 系，依據(jù)第三映射關(guān)系對(duì)所述三角形內(nèi)的所有非網(wǎng)格控制點(diǎn)進(jìn)行位置調(diào)整；
將調(diào)整后的人臉網(wǎng)格模型中的點(diǎn)的平面坐標(biāo)作為通用三維人臉模型的 X,Y坐標(biāo)，對(duì)通用三維人臉模型進(jìn)行調(diào)整；
對(duì)調(diào)整后的通用三維人臉模型添加紋理，得到三維人臉模型。
優(yōu)選的，在投影得到人臉網(wǎng)格模型之前還包括對(duì)通用三維人臉模型進(jìn)行姿 態(tài)矯正步驟。
優(yōu)選的，所述姿態(tài)矯正步驟包括
在通用三維人臉;^莫型上標(biāo)出雙眼中心的位置和嘴巴中心的位置，4艮據(jù)這三 個(gè)點(diǎn)計(jì)算出經(jīng)過(guò)這三個(gè)點(diǎn)的平面的法向量N;
調(diào)整通用三維人臉模型，直至法向量N與三維坐標(biāo)的Z軸重合。
優(yōu)選的，在建立第一映射關(guān)系之前進(jìn)一步包括將正面人臉圖片和人臉網(wǎng) 格模型上的坐標(biāo)原點(diǎn)調(diào)整至臉部相同位置點(diǎn)的坐標(biāo)歸一化處理步驟。
優(yōu)選的，通過(guò)以下方式建立第一映射關(guān)系
將多個(gè)相應(yīng)的輪廓控制點(diǎn)和網(wǎng)4各控制點(diǎn)代入二元一次方程；
計(jì)算得到各個(gè)系數(shù)，建立具體的二元一次關(guān)系式。
優(yōu)選的，所述確定關(guān)鍵輪廓控制點(diǎn)或關(guān)鍵網(wǎng)格控制點(diǎn)的鄰域的預(yù)置規(guī)則
為
以該點(diǎn)為中心，長(zhǎng)、寬為該點(diǎn)所在器官長(zhǎng)度的1/3單位的正方形。 優(yōu)選的，通過(guò)以下方式建立第二映射關(guān)系
將鄰域中的多個(gè)相應(yīng)的輪廓控制點(diǎn)和鄰域中的網(wǎng)4各控制點(diǎn)代入二元一次 方程；
計(jì)算得到各個(gè)系數(shù)，建立具體的二元一次關(guān)系式。 優(yōu)選的，通過(guò)以下方式建立第三映射關(guān)系
將三角網(wǎng)中某一三角形三個(gè)頂點(diǎn)的原坐標(biāo)和調(diào)整后的坐標(biāo)代入二元一次 方程；
計(jì)算得到各個(gè)系數(shù)，建立針對(duì)該三角形的具體的二元一次關(guān)系式。 依據(jù)本發(fā)明的實(shí)施例，公開(kāi)了一種三維人臉模型構(gòu)造系統(tǒng)，包括 投影裝置，用于將通用三維人臉模型投影到二維平面得到人臉網(wǎng)格模型； 第一變形裝置，用于依據(jù)在正面人臉圖片中的輪廓控制點(diǎn)和人臉網(wǎng)格模型
上對(duì)應(yīng)網(wǎng)格控制點(diǎn)之間建立的第一映射關(guān)系，對(duì)所述人臉網(wǎng)格模型中所有的點(diǎn)
作相應(yīng)的位置調(diào)整；
鄰域確定裝置，用于在正面人臉圖片器官上的輪廓控制點(diǎn)和已調(diào)整過(guò)的人
臉網(wǎng)格模型器官上的網(wǎng)格控制點(diǎn)中選取對(duì)應(yīng)的關(guān)鍵輪廓控制點(diǎn)和關(guān)鍵網(wǎng)格控
制點(diǎn)，并確定各個(gè)點(diǎn)的鄰域；
建網(wǎng)裝置，用于依據(jù)關(guān)鍵網(wǎng)格控制點(diǎn)建立三角網(wǎng)，確定人臉網(wǎng)格模型上的
4 一網(wǎng)檔、控制點(diǎn)所在的三角網(wǎng)中的三角形；
第二變形裝置，用于依據(jù)建立的鄰域內(nèi)對(duì)應(yīng)的輪廓控制點(diǎn)和網(wǎng)格控制點(diǎn)的
第二映射關(guān)系，對(duì)確定該鄰域的關(guān)鍵網(wǎng)格控制點(diǎn)進(jìn)行位置調(diào)整；
第三變形裝置，用于依據(jù)各個(gè)三角形的三個(gè)頂點(diǎn)調(diào)整前后的坐標(biāo)，分別建
立各自的第三映射關(guān)系，依據(jù)第三映射關(guān)系對(duì)所述三角形內(nèi)的所有非網(wǎng)格控制
點(diǎn)進(jìn)行位置調(diào)整；
調(diào)整裝置，用于將調(diào)整后的人臉網(wǎng)格模型中的點(diǎn)的平面坐標(biāo)作為通用三維
人臉模型的X,Y坐標(biāo)，對(duì)通用三維人臉模型進(jìn)行調(diào)整；
紋理添加裝置，用于對(duì)調(diào)整后的通用三維人臉模型添加紋理，得到三維人 臉模型。
優(yōu)選的，所述的投影裝置之前還還包括姿態(tài)矯正裝置，姿態(tài)矯正裝置用于 對(duì)通用三維人臉模型進(jìn)行姿態(tài)矯正。 優(yōu)選的，所述姿態(tài)矯正裝置包括
平面單元，用于在通用三維人臉模型上標(biāo)出雙眼的位置和嘴巴中心的位 置，根據(jù)這三個(gè)點(diǎn)計(jì)算出經(jīng)過(guò)這三個(gè)點(diǎn)的平面的法向量N;
旋轉(zhuǎn)單元，用于調(diào)整通用三維人臉模型，直至法向量N與三維坐標(biāo)的Z 軸重合。
優(yōu)選的，公開(kāi)的系統(tǒng)還包括坐標(biāo)處理裝置，坐標(biāo)處理裝置設(shè)于投影裝置同 第一變形裝置之間，用于在建立第一映射關(guān)系之前將正面人臉圖片和人臉網(wǎng)格 模型上的坐標(biāo)原點(diǎn)調(diào)整至臉部相同位置點(diǎn)的坐標(biāo)進(jìn)行歸一化處理。
本發(fā)明的優(yōu)點(diǎn)
首先，本發(fā)明假設(shè)由通用三維人臉模型投影得到的人臉網(wǎng)格模型上的所有 點(diǎn)都符合整體的一個(gè)映射關(guān)系，然后依據(jù)輪廓控制點(diǎn)同網(wǎng)格控制點(diǎn)之間的關(guān) 系，對(duì)人臉網(wǎng)格模型上的所有點(diǎn)都進(jìn)行相同的整體映射；既將人臉網(wǎng)格模型調(diào) 整到與人臉圖片上的器官位置相似，并且還保持了原來(lái)通用三維人臉模型各個(gè) 點(diǎn)之間的拓樸結(jié)構(gòu)，可以直接用于動(dòng)畫(huà)驅(qū)動(dòng)和展示。
其次，本發(fā)明為了進(jìn)一步得到更加逼真的三維人臉模型，假定人臉網(wǎng)格模 型上一些網(wǎng)格控制點(diǎn)即關(guān)鍵網(wǎng)格控制點(diǎn)具有另外的局部映射關(guān)系，然后依據(jù)所 建立的局部映射關(guān)系，對(duì)關(guān)鍵網(wǎng)格控制點(diǎn)進(jìn)行局部映射調(diào)整；之后，還通過(guò)關(guān) 鍵網(wǎng)格控制點(diǎn)建立的三角網(wǎng)內(nèi)各個(gè)三角形的三個(gè)頂點(diǎn)調(diào)整前后的坐標(biāo)，建立各 個(gè)三角形變化前后的映射關(guān)系，按此映射關(guān)系對(duì)各個(gè)三角形內(nèi)的非網(wǎng)4各控制點(diǎn) 進(jìn)行調(diào)整，從而可以達(dá)到更加逼真的效果，與所給出的人臉圖片更加相似。
另外，本發(fā)明在投影得到二維的人臉網(wǎng)格模型之前，還可以對(duì)通用三維人 臉模型進(jìn)行姿態(tài)矯正，以適合所給出的處于各種方向或角度的通用三維人臉模
型；使得不論給出的通用三維人臉模型其方向、角度如何，都可以投射得到正
面人臉的網(wǎng)格模型，與正面人臉圖片相對(duì)應(yīng)，以減少由于投影不正而導(dǎo)致的構(gòu)
造誤差。


圖1為本發(fā)明的 一種三維人臉才莫型構(gòu)造方法實(shí)施例的步驟流程圖2為本發(fā)明實(shí)施例中，通用三維人臉模型在投影到二維平面上的人臉網(wǎng) 格模型示意圖3-l為本發(fā)明實(shí)施例中，姿態(tài)矯正的步驟流程圖3-2為本發(fā)明實(shí)施例中，姿態(tài)矯正后的通用三維人臉模型的雙眼中心和 嘴角連線中心點(diǎn)所在平面示意圖3-3、圖3-4為本發(fā)明實(shí)施例中，通用三維人臉模型姿態(tài)矯正的方法原 理示意圖4為本發(fā)明 一種三維人臉模型構(gòu)造系統(tǒng)實(shí)施例的結(jié)構(gòu)框圖； 圖5為本發(fā)明實(shí)施例中，姿態(tài)矯正裝置的結(jié)構(gòu)框圖。
具體實(shí)施例方式
為使本發(fā)明的上述目的、特征和優(yōu)點(diǎn)能夠更加明顯易懂，下面結(jié)合附圖和具體實(shí)施方式
對(duì)本發(fā)明作進(jìn)一步詳細(xì)的說(shuō)明。
本發(fā)明的核心思想在于依據(jù)建立人臉正面圖片同人臉網(wǎng)格模型上點(diǎn)對(duì)點(diǎn) 的聯(lián)系，對(duì)人臉網(wǎng)格模型上的所有點(diǎn)都作相應(yīng)的位置調(diào)整，之后，依據(jù)所建立 的人臉正面圖片同人臉網(wǎng)格模型上的局部映射關(guān)系，對(duì)人臉網(wǎng)格模型的關(guān)鍵網(wǎng) 格控制點(diǎn)進(jìn)行調(diào)整，之后，還通過(guò)關(guān)^T建網(wǎng)格控制點(diǎn)建立的三角網(wǎng)內(nèi)各個(gè)三角形 的三個(gè)頂點(diǎn)調(diào)整前后的坐標(biāo)，建立各個(gè)三角形變化前后的映射關(guān)系，按此映射 關(guān)系對(duì)各個(gè)三角形內(nèi)的非網(wǎng)格控制點(diǎn)進(jìn)行調(diào)整，將經(jīng)過(guò)三次調(diào)整后的人臉網(wǎng)格 模型中的點(diǎn)的平面坐標(biāo)作為通用三維模型的X， Y坐標(biāo)，對(duì)通用三維人臉模型進(jìn) 行調(diào)整，調(diào)整后的通用三維人臉模型能更加逼真的再現(xiàn)真實(shí)人臉。
參考圖l，給出了一種三維人臉模型構(gòu)造方法實(shí)施例，具體可以包括
步驟101、依據(jù)在正面人臉圖片中的輪廓控制點(diǎn)和人臉網(wǎng)格模型上對(duì)應(yīng)網(wǎng)
格控制點(diǎn)之間建立的第 一映射關(guān)系，對(duì)所述人臉網(wǎng)格模型中所有的點(diǎn)作相應(yīng)的 位置調(diào)整；所述人臉網(wǎng)格模型由通用三維人臉模型投影得到，所述第一映射關(guān) 系由多個(gè)選取的對(duì)應(yīng)點(diǎn)計(jì)算得到。
步驟102、在正面人臉圖片器官上的輪廓控制點(diǎn)和已調(diào)整過(guò)的人臉網(wǎng)格模 型器官上的網(wǎng)格控制點(diǎn)中選取對(duì)應(yīng)的關(guān)鍵輪廓控制點(diǎn)和關(guān)鍵網(wǎng)格控制點(diǎn)，并確 定各個(gè)點(diǎn)的鄰域；所述鄰域內(nèi)還包括多個(gè)輪廓控制點(diǎn)和網(wǎng)才各控制點(diǎn)。
步驟103、依據(jù)關(guān)鍵網(wǎng)格控制點(diǎn)建立三角網(wǎng)，確定人臉網(wǎng)格模型上的非網(wǎng) 格控制點(diǎn)所在的三角網(wǎng)中的三角形。
步驟104、依據(jù)建立的鄰域內(nèi)對(duì)應(yīng)的輪廓控制點(diǎn)和網(wǎng)格控制點(diǎn)的第二映射 關(guān)系，對(duì)確定該鄰域的關(guān)鍵網(wǎng)格控制點(diǎn)進(jìn)行位置調(diào)整；因?yàn)槿四樉W(wǎng)格模型按照 第一映射關(guān)系調(diào)整后，整個(gè)人臉網(wǎng)格模型在大體上與真實(shí)人臉圖片相似，但是 由于采用的是多個(gè)對(duì)應(yīng)關(guān)系取平衡的方式，所以在局部細(xì)節(jié)上，調(diào)整后的人臉 網(wǎng)格模型與真實(shí)人臉圖片還是存在一些不相似的地方，因此需要建立第二映射關(guān)系對(duì)局部關(guān)鍵的點(diǎn)進(jìn)行調(diào)整。
步驟105、依據(jù)各個(gè)三角形的三個(gè)頂點(diǎn)調(diào)整前后的坐標(biāo)，分別建立各自的 第三映射關(guān)系，依據(jù)第三映射關(guān)系對(duì)所述三角形內(nèi)的所有非網(wǎng)4各控制點(diǎn)進(jìn)行位 置調(diào)整；我們從前面步驟可知，三角形的三個(gè)頂點(diǎn)是由關(guān)鍵網(wǎng)格控制點(diǎn)構(gòu)成， 而關(guān)鍵網(wǎng)格控制點(diǎn)在按照第二映射關(guān)系進(jìn)行調(diào)整后其坐標(biāo)發(fā)生了變化，所以原 來(lái)落在三角形內(nèi)的非網(wǎng)格控制點(diǎn)坐標(biāo)也要作相應(yīng)的調(diào)整。
步驟106、將調(diào)整后的人臉網(wǎng)格模型中的點(diǎn)的平面坐標(biāo)作為通用三維人臉 模型的X, Y坐標(biāo)，對(duì)通用三維人臉模型進(jìn)行調(diào)整；
步驟107、對(duì)調(diào)整后的通用三維人臉模型添加紋理，得到三維人臉模型。
在本發(fā)明的另一個(gè)優(yōu)選實(shí)施例中，在實(shí)施步驟101時(shí)，可以通過(guò)如下方法 找尋人臉正面圖片的輪廓控制點(diǎn)和與之對(duì)應(yīng)的人臉網(wǎng)格模型上的網(wǎng)格控制點(diǎn)。 我們采用ASM (Active Shape Model)方法定位出正面人臉圖片中人臉器官的輪 廓，該方法的具體實(shí)現(xiàn)步驟在中國(guó)專(zhuān)利申請(qǐng)?zhí)?00610088857.9,名稱(chēng)為基 于單張相片的快速人臉建模方法及系統(tǒng)的說(shuō)明書(shū)中有公開(kāi)，在實(shí)際應(yīng)用中，ASM 的人臉器官輪廓定位方法實(shí)際上已經(jīng)成為人臉器官輪廓定位的標(biāo)準(zhǔn)方法。采用
ASM方法定位得到圖片輪廓的過(guò)程中，因?yàn)槎ㄎ皇芡饨绻庹盏纫蛩氐挠绊懀?位的結(jié)果不會(huì)非常精確，所以我們采用人機(jī)交互對(duì)定位的輪廓進(jìn)行手工微調(diào)， 得到人臉各個(gè)器官的準(zhǔn)確輪廓，標(biāo)識(shí)輪廓控制點(diǎn)并得到其坐標(biāo)。為了在人臉網(wǎng) 格模型上得到與輪廓控制點(diǎn)對(duì)應(yīng)的網(wǎng)格控制點(diǎn)，我們可通過(guò)手工找尋的方法將 輪廓控制點(diǎn)對(duì)應(yīng)的網(wǎng)格控制點(diǎn)都選擇出來(lái)。
在本發(fā)明的另一個(gè)優(yōu)選實(shí)施例中，在實(shí)施步驟101時(shí)，可以通過(guò)以下方式 建立第一映射關(guān)系將輪廓控制點(diǎn)和網(wǎng)格控制點(diǎn)代入二元一次方程；計(jì)算得到 各個(gè)系數(shù)，建立具體的二元一次關(guān)系式。即將相對(duì)應(yīng)的人臉圖片上的輪廓控制 點(diǎn)坐標(biāo)(x， y)和人臉網(wǎng)格模型中的網(wǎng)格控制點(diǎn)坐標(biāo)(x、 y')，代入公式l
<formula>formula see original document page 11</formula>
計(jì)算出它們之間的系數(shù)對(duì)應(yīng)關(guān)系，即將已知的3個(gè)輪廓控制點(diǎn)坐標(biāo)(X:，
yj ... (x3, y3)和3個(gè)網(wǎng)格控制點(diǎn)坐標(biāo)(x/， y/ ) ... ( x/， y/ )代入上面 的公式l，通過(guò)解二元一次多項(xiàng)式，得到a-f的值，建立了輪廓控制點(diǎn)同網(wǎng)格 控制點(diǎn)之間的系數(shù)關(guān)系，我們認(rèn)為人臉網(wǎng)格模型上所有的點(diǎn)都遵循這種系數(shù)關(guān) 系。當(dāng)然，我們也可建立多元一次多項(xiàng)式，依據(jù)建立的方程式不同，我們?cè)谶x 擇輪廓控制點(diǎn)時(shí)也要相應(yīng)的作出調(diào)整， 一般情況下選擇70個(gè)左右的輪廓控制 點(diǎn)就可以比較精確的得到相應(yīng)的系數(shù)對(duì)應(yīng)關(guān)系。當(dāng)我們將選擇的7 0個(gè)輪廓控 制點(diǎn)的坐標(biāo)和對(duì)應(yīng)的網(wǎng)格控制點(diǎn)的坐標(biāo)代入到公式1中，可以得到很多不同的 系數(shù)值，這時(shí)選用最小二乘法將這些系數(shù)值進(jìn)行處理，得到最佳的一個(gè)系數(shù)值， 用這個(gè)系數(shù)值建立輪廓控制點(diǎn)同網(wǎng)格控制點(diǎn)的對(duì)應(yīng)關(guān)系，可以把對(duì)應(yīng)關(guān)系的誤 差降低。
建立系數(shù)對(duì)應(yīng)關(guān)系后，將人臉網(wǎng)格模型上所有點(diǎn)的坐標(biāo)代入到公式l中， 得到新坐標(biāo)值，將人臉網(wǎng)一各模型上的所有點(diǎn)移動(dòng)到新坐標(biāo)的位置，完成整體仿 射。
在本發(fā)明的一個(gè)優(yōu)選實(shí)施例中，在實(shí)施步驟101時(shí)，我們可以通過(guò)如下方 法得到人臉網(wǎng)格模型。首先輸入一個(gè)通用三維人臉模型，通用三維人臉模型一 般可以采用三維造型軟件(比如3DMax、 Maya等)來(lái)制作；在將通用三維人臉
模型投影到二維平面上時(shí)，本發(fā)明實(shí)施例中使用的通用三維人臉模型可以只用 人臉部分的三維數(shù)據(jù)，因?yàn)檎嫒四槇D片上的輪廓控制點(diǎn)不會(huì)在通用三維人臉 模型的背面上，所以通用三維人臉模型背面上點(diǎn)的數(shù)據(jù)對(duì)于建立正面人臉圖片 中的輪廓控制點(diǎn)和通用三維人臉模型上對(duì)應(yīng)模型控制點(diǎn)的映射關(guān)系沒(méi)有意義， 在投影時(shí)可以僅僅投影人臉正面即可。但是在選擇投影人臉正面會(huì)出現(xiàn)一個(gè)問(wèn) 題就是，我們通常會(huì)選擇人臉正面的中心點(diǎn)作為通用三維人臉模型的坐標(biāo)原
點(diǎn)，那么人臉正面的部分的點(diǎn)由坐標(biāo)(x, y， z)來(lái)確定，z值對(duì)于我們建立
所述映射關(guān)系沒(méi)有意義，所以我們?cè)谕队爸埃讶S模型從正面輪廓面積最
大的平面上切分，僅僅對(duì)人臉這一面的模型進(jìn)行投影即可；另外一種簡(jiǎn)單的方
法就是在投影之前，我們可以把通用三維模型的人臉正面上的所有點(diǎn)的坐標(biāo)的
z值設(shè)為0，然后投影得到的網(wǎng)格模型的行列號(hào)作為x、 y值。當(dāng)然，在技術(shù)人 員的具體4喿作中也可以采用0penGL (Open Graphics Library,開(kāi)方文的圖形程 序接口 )來(lái)實(shí)現(xiàn)。參考圖3,是通用三維人臉模型在投影到二維平面上的通用 網(wǎng)格模型示意圖。
在本發(fā)明的另 一個(gè)優(yōu)選實(shí)施例中，在投影得到人臉網(wǎng)格模型之前還可以包 括對(duì)通用三維人臉模型進(jìn)行姿態(tài)矯正步驟。因?yàn)檩斎氲娜S人臉模型不一定是 正面的模型，這樣在將通用三維人臉模型投影到二維平面上的時(shí)候就會(huì)出現(xiàn)人 臉上有的地方?jīng)]有投影到二維平面上，或者是不同的人臉部位重合疊加在二維 平面上的同 一位置，所以為了適合所給出的處于各種方向或角度的通用三維人 臉模型，使得不論給出的通用三維人臉模型其方向、角度如何，都可以投射得 到正面人臉的網(wǎng)格模型，與正面人臉圖片相對(duì)應(yīng)，以減少由于投影不正而導(dǎo)致 的構(gòu)造誤差，我們需要對(duì)通用三維人臉模型進(jìn)行矯正。
在本發(fā)明的另一個(gè)優(yōu)選實(shí)施例中，所述姿態(tài)矯正步驟可以包括(參考圖3-1)
步驟301、在通用三維人臉模型上標(biāo)出雙眼中心的位置和嘴巴中心的位 置，根據(jù)這三個(gè)點(diǎn)計(jì)算出經(jīng)過(guò)這三個(gè)點(diǎn)的平面的法向量N;
步驟302、調(diào)整通用三維人臉模型，直至法向量N與三維坐標(biāo)的Z軸重合。 在實(shí)施步驟301時(shí)，我們主要的目的是在人臉上找出一個(gè)平面進(jìn)而找出該
平面的法向量，根據(jù)我們的觀察就絕大部分人而言雙眼中心和位置嘴巴中心的 位置是處于一個(gè)平面上的，當(dāng)然我們也可以選擇嘴角同眉心這三個(gè)點(diǎn)構(gòu)成一個(gè) 平面。(參考圖3-2)
在實(shí)施步驟302時(shí)，參考圖3-3,EL, ER，MC代表矯正前的三維才莫型的右眼， 左眼和嘴巴中心點(diǎn)。w代表了通過(guò)三個(gè)點(diǎn)的平面的法線方向。虹'，w,^c'代 表了人臉正對(duì)前方時(shí)的右、左眼中心點(diǎn)位置和嘴巴中心點(diǎn)的位置，過(guò)這三點(diǎn)的 平面的法線方向W和Z軸的方向一致。因此姿態(tài)矯正的問(wèn)題可以轉(zhuǎn)換為如何 將法向量^旋轉(zhuǎn)到法向量W'的問(wèn)題，我們可以利用四元數(shù)來(lái)解決這個(gè)問(wèn)題， 四元數(shù)將旋轉(zhuǎn)看作是空間點(diǎn)繞著某個(gè)矢量軸旋轉(zhuǎn)某個(gè)角度。參考圖3-4所示，
設(shè)旋轉(zhuǎn)軸為W和V的外積，即P = W x iV'，那么P垂直于7V和7V' , IKV IIP II 。
從W旋轉(zhuǎn)到W'可以看作^繞著戶旋轉(zhuǎn)了^角度，根據(jù)四元數(shù)的原理，只要知道 旋轉(zhuǎn)軸P和旋轉(zhuǎn)角度^就可以計(jì)算出旋轉(zhuǎn)矩陣，將通用三維人臉模型上的所有 點(diǎn)都按照得出的旋轉(zhuǎn)矩陣進(jìn)行旋轉(zhuǎn)，從而完成通用三維人臉模型姿態(tài)的矯正。
在本發(fā)明的另 一優(yōu)選實(shí)施例中，在姿態(tài)矯正步驟之后還可以包括將正面人 臉圖片和人臉網(wǎng)格模型上的坐標(biāo)原點(diǎn)調(diào)整至臉部相同位置點(diǎn)的坐標(biāo)歸 一化處
理步驟。因?yàn)橥ㄓ萌S人臉模型^:影到平面后的坐標(biāo)系和人臉正面圖片輪廓點(diǎn) 的坐標(biāo)系有可能是不一致的，為了讓投影后的網(wǎng)格模型同人臉正面圖片對(duì)應(yīng)， 我們需要將兩個(gè)坐標(biāo)系進(jìn)行歸一化處理，在進(jìn)行坐標(biāo)系歸一化處理時(shí)，臉部相 同位置點(diǎn)我們可以選擇將投影后得到的網(wǎng)格模型的坐標(biāo)原點(diǎn)平移到網(wǎng)格模型 中兩個(gè)鼻孔的中心點(diǎn)，將人臉圖片的坐標(biāo)原點(diǎn)也平移到人臉圖片中兩個(gè)鼻孔的 中心點(diǎn)；也可以選擇將網(wǎng)格模型的坐標(biāo)原點(diǎn)平移到網(wǎng)格模型中的眉心位置，將 人臉圖片的坐標(biāo)原點(diǎn)也平移到人臉圖片中的眉心位置。
在本發(fā)明的一個(gè)優(yōu)選實(shí)施例中，在實(shí)施步驟102時(shí)，從器官上的輪廓控制 點(diǎn)中選擇關(guān)鍵輪廓控制點(diǎn)，這些器官我們可以選擇在人臉表情發(fā)生變化時(shí)，變 化比較明顯的器官，例如我們可以選擇眼睛、眉毛、嘴巴這些器官上的輪廓控 制點(diǎn)作為關(guān)鍵輪廓控制點(diǎn)，因?yàn)楫?dāng)人臉的表情發(fā)生變化時(shí)，這些器官的變化比 較明顯，精確的定位這些器官就能較為逼真的反映真實(shí)人臉狀態(tài)；當(dāng)然，對(duì)于
數(shù)量而言，關(guān)鍵輪廓控制點(diǎn)數(shù)量越多，越能逼真的反映真實(shí)人臉的細(xì)節(jié)上的變 化。選擇完關(guān)鍵輪廓控制點(diǎn)之后，在人臉網(wǎng)格模型中的網(wǎng)格控制點(diǎn)中選出與關(guān)
鍵輪廓控制點(diǎn)對(duì)應(yīng)的關(guān)鍵網(wǎng)格控制點(diǎn)；確定找出的點(diǎn)的鄰域。
在本發(fā)明的另 一個(gè)優(yōu)選實(shí)施例中，所述確定關(guān)鍵輪廓控制點(diǎn)或關(guān)鍵網(wǎng)格控
制點(diǎn)的鄰域的預(yù)置規(guī)則可以是以該點(diǎn)為中心，長(zhǎng)、寬為該點(diǎn)所在器官長(zhǎng)度的 1/3單位的正方形。例如，當(dāng)我們的關(guān)鍵輪廓控制點(diǎn)選擇眼睛上的點(diǎn)時(shí)，在正 面人臉圖片上該點(diǎn)的鄰域范圍就是以該點(diǎn)為中心的長(zhǎng)、寬為眼睛長(zhǎng)度值的1/3 單位的正方形范圍內(nèi)；當(dāng)我們的關(guān)鍵輪廓控制點(diǎn)選擇嘴巴上的輪廓控制點(diǎn)時(shí)， 在人臉網(wǎng)格模型上對(duì)應(yīng)的關(guān)鍵網(wǎng)格控制點(diǎn)的鄰域范圍就是以該關(guān)鍵網(wǎng)格控制 點(diǎn)為中心的長(zhǎng)、寬為嘴巴長(zhǎng)度值的1/3單位的正方形范圍內(nèi)。
確定的鄰域內(nèi)包括至少三個(gè)輪廓控制點(diǎn)或者網(wǎng)格控制點(diǎn)，否則我們就更換 關(guān)4建輪廓控制點(diǎn)或者關(guān)4建網(wǎng)格控制點(diǎn)來(lái)重新確定其鄰域。
在本發(fā)明的一個(gè)優(yōu)選實(shí)施例中，在實(shí)施步驟104時(shí)，可以通過(guò)以下方法建 立第二映射關(guān)系
將關(guān)鍵輪廓控制點(diǎn)確定的鄰域內(nèi)的輪廓控制點(diǎn)坐標(biāo)和關(guān)鍵網(wǎng)格控制點(diǎn)確 定的鄰域內(nèi)的網(wǎng)格控制點(diǎn)的坐標(biāo)代入二元一次方程；計(jì)算得到各個(gè)系數(shù)，建立 具體的二元一次關(guān)系式。即將相對(duì)應(yīng)鄰域內(nèi)的人臉圖片上的輪廓控制點(diǎn)坐標(biāo) (x, y)和人臉網(wǎng)格模型中的網(wǎng)格控制點(diǎn)坐標(biāo)(x、 y'),代入公式2 x'= "'x + + c' = Wx + + /'，
計(jì)算出它們之間的系數(shù)對(duì)應(yīng)關(guān)系，即通過(guò)解二元一次多項(xiàng)式，得到a' -f' 的值，建立了對(duì)應(yīng)鄰域內(nèi)輪廓控制點(diǎn)同網(wǎng)格控制點(diǎn)之間的系數(shù)關(guān)系，我們認(rèn)為 確定該鄰域關(guān)鍵網(wǎng)格控制點(diǎn)遵循該系數(shù)關(guān)系，將該關(guān)鍵網(wǎng)格控制點(diǎn)坐標(biāo)代入公 式2中，得到其新坐標(biāo)，按照得到的新坐標(biāo)調(diào)整該關(guān)鍵網(wǎng)格控制點(diǎn)。
每一個(gè)關(guān)鍵網(wǎng)格控制點(diǎn)都可以通過(guò)建立第二映射關(guān)系的方法得到其新坐 標(biāo)，各個(gè)關(guān)鍵網(wǎng)格控制點(diǎn)分別按照其新坐標(biāo)進(jìn)行調(diào)整，完成人臉網(wǎng)格模型的第 二次調(diào)整。
在本發(fā)明的另一個(gè)優(yōu)選實(shí)施例中，在實(shí)施步驟105時(shí)，可以通過(guò)如下方法
建立第三映射關(guān)系，通過(guò)上述實(shí)施例，我們可以知道關(guān)鍵網(wǎng)格控制點(diǎn)變化前后 的坐標(biāo)，因?yàn)槿切蔚捻旤c(diǎn)是由關(guān)鍵網(wǎng)格控制點(diǎn)構(gòu)成的，這樣我們就可以知道 各個(gè)三角形的三個(gè)頂點(diǎn)變化前后的坐標(biāo)了 。按照建立第 一映射關(guān)系的建立二元 一次方程的方法，將三角形的三個(gè)頂點(diǎn)的前后三個(gè)坐標(biāo)代入二元一次方程，計(jì) 算得到各個(gè)系數(shù)，建立具體的二元一次關(guān)系式。我們認(rèn)為三角形內(nèi)的所有非網(wǎng) 格控制點(diǎn)都遵循這個(gè)系數(shù)關(guān)系，那么我們就可以得到三角形內(nèi)所有非網(wǎng)格控制 點(diǎn)的新坐標(biāo)，按照新坐標(biāo)調(diào)整三角形內(nèi)的所有非網(wǎng)格控制點(diǎn)。按照此方法對(duì)三 角網(wǎng)的各個(gè)三角形內(nèi)的非網(wǎng)格控制點(diǎn)進(jìn)行調(diào)整，完成人臉網(wǎng)格模型的第三次調(diào) 整。
進(jìn)一步的優(yōu)選方案，我們可以通過(guò)如下方法建立第三映射關(guān)系，因?yàn)槿四?網(wǎng)格上的點(diǎn)的坐標(biāo)都是已知的，所以我們可以知道任一三角形三個(gè)頂點(diǎn)坐標(biāo)以 及該三角形內(nèi)任一非網(wǎng)格控制點(diǎn)到該三角形三個(gè)頂點(diǎn)的距離，當(dāng)該三角形三個(gè) 頂點(diǎn)調(diào)整后，得到三個(gè)頂點(diǎn)的新坐標(biāo)，依據(jù)三角形內(nèi)非網(wǎng)格控制點(diǎn)到三個(gè)頂點(diǎn) 的距離的比值不隨三角形三個(gè)頂點(diǎn)坐標(biāo)的變化而變化的原理，我們可以根據(jù)三 角形三個(gè)頂點(diǎn)的前后坐標(biāo)以及任一非網(wǎng)格控制點(diǎn)到三角形三個(gè)頂點(diǎn)的距離，得 到該非網(wǎng)格控制點(diǎn)隨三角形三個(gè)頂點(diǎn)調(diào)整后的新坐標(biāo)。同樣的，所有的三角形 內(nèi)的非網(wǎng)格控制點(diǎn)都可以通過(guò)該方法計(jì)算得到新的坐標(biāo)。按照此方法對(duì)三角網(wǎng) 的各個(gè)三角形內(nèi)的非網(wǎng)格控制點(diǎn)進(jìn)行調(diào)整，完成人臉網(wǎng)格模型的第三次調(diào)整。
參照?qǐng)D4,給出了一種三維人臉^1型構(gòu)造系統(tǒng)實(shí)施例，具體可以包括 投影裝置401,用于將通用三維人臉模型投影到二維平面得到人臉網(wǎng)格模
型；
第一變形裝置402，用于依據(jù)在正面人臉圖片中的輪廓控制點(diǎn)和人臉網(wǎng)格 模型上對(duì)應(yīng)網(wǎng)格控制點(diǎn)之間建立的第一映射關(guān)系，對(duì)所述人臉網(wǎng)格模型中所有 的點(diǎn)作相應(yīng)的位置調(diào)整；
鄰域確定裝置403,用于在正面人臉圖片器官上的輪廓控制點(diǎn)和已調(diào)整過(guò) 的人臉網(wǎng)格模型器官上的網(wǎng)格控制點(diǎn)中選取對(duì)應(yīng)的關(guān)鍵輪廓控制點(diǎn)和關(guān)鍵網(wǎng) 才各控制點(diǎn)，并確定各個(gè)點(diǎn)的鄰域；
建網(wǎng)裝置404，用于依據(jù)關(guān)鍵網(wǎng)格控制點(diǎn)建立三角網(wǎng)，確定人臉網(wǎng)格模型
上的非網(wǎng)4各控制點(diǎn)所在的三角網(wǎng)中的三角形；
第二變形裝置405,用于依據(jù)建立的鄰域內(nèi)對(duì)應(yīng)的輪廓控制點(diǎn)和網(wǎng)格控制 點(diǎn)的第二映射關(guān)系，對(duì)確定該鄰域的關(guān)鍵網(wǎng)格控制點(diǎn)進(jìn)行位置調(diào)整；
第三變形裝置406,用于依據(jù)各個(gè)三角形的三個(gè)頂點(diǎn)調(diào)整前后的坐標(biāo)，分 別建立各自的第三映射關(guān)系，依據(jù)第三映射關(guān)系對(duì)所述三角形內(nèi)的所有非網(wǎng)格 控制點(diǎn)進(jìn)行位置調(diào)整；
調(diào)整裝置407,用于將調(diào)整后的人臉網(wǎng)格模型中的點(diǎn)的平面坐標(biāo)作為通用 三維人臉模型的X, Y坐標(biāo)，對(duì)通用三維人臉模型進(jìn)行調(diào)整；
紋理添加裝置408,用于對(duì)調(diào)整后的通用三維人臉^t型添加紋理，得到三 維人臉模型。
在具體實(shí)施時(shí)，輸入通用三維人臉模型到投影裝置401,投影裝置401將 通用三維人臉模型投影到二維平面得到人臉網(wǎng)格模型；
然后將正面人臉圖片和人臉網(wǎng)格模型輸入第一變形裝置402，第一變形裝 置402在正面人臉圖片上確定輪廓控制點(diǎn)，并在人臉網(wǎng)格模型上找到與輪廓控 制點(diǎn)對(duì)應(yīng)的網(wǎng)格控制點(diǎn)，然后，第一變形裝置402依據(jù)在正面人臉圖片中的輪 廓控制點(diǎn)和人臉網(wǎng)格模型上對(duì)應(yīng)網(wǎng)格控制點(diǎn)之間建立的第 一映射關(guān)系，對(duì)所述 人臉網(wǎng)格模型中所有的點(diǎn)作相應(yīng)的位置調(diào)整。
將確定輪廓控制點(diǎn)的正面人臉圖片和經(jīng)過(guò)調(diào)整的人臉網(wǎng)格模型輸入鄰域 確定裝置403,鄰域確定裝置403在正面人臉圖片器官上的輪廓控制點(diǎn)和已調(diào) 整過(guò)的人臉網(wǎng)格模型器官上的網(wǎng)格控制點(diǎn)中選取對(duì)應(yīng)的關(guān)鍵輪廓控制點(diǎn)和關(guān) 鍵網(wǎng)格控制點(diǎn)，并確定各個(gè)點(diǎn)的鄰域。
將經(jīng)過(guò)調(diào)整的人臉網(wǎng)格模型輸入建網(wǎng)裝置404,建網(wǎng)裝置404依據(jù)關(guān)鍵網(wǎng) 格控制點(diǎn)建立三角網(wǎng)，確定人臉網(wǎng)格模型上的非網(wǎng)格控制點(diǎn)所在的三角網(wǎng)中的 三角形。
將已經(jīng)確定鄰域的正面人臉圖片和人臉網(wǎng)格模型輸入第二變形裝置405， 第二變形裝置405，依據(jù)建立的鄰域內(nèi)對(duì)應(yīng)的輪廓控制點(diǎn)和網(wǎng)才各控制點(diǎn)的第二 映射關(guān)系，對(duì)確定該鄰域的關(guān)鍵網(wǎng)格控制點(diǎn)進(jìn)行位置調(diào)整。
第三變形裝置406依據(jù)建網(wǎng)裝置404和第二變形裝置405的輸入信息，可
以得到建立的三角網(wǎng)內(nèi)各個(gè)三角形的三個(gè)頂點(diǎn)調(diào)整前后的坐標(biāo)，，第三變形裝
置406依據(jù)各個(gè)三角形三個(gè)頂點(diǎn)的前后坐標(biāo)分別建立每個(gè)三角形的第三映射
關(guān)系，依據(jù)每個(gè)三角形的第三映射關(guān)系對(duì)該三角形內(nèi)的所有非網(wǎng)才各控制點(diǎn)進(jìn)行 位置調(diào)整。
將經(jīng)過(guò)三次調(diào)整的人臉網(wǎng)格模型輸入調(diào)整裝置407，調(diào)整裝置407將調(diào)整 后的人臉網(wǎng)格模型中的點(diǎn)的平面坐標(biāo)作為通用三維人臉模型的X， Y坐標(biāo)，對(duì)通 用三維人臉模型進(jìn)行調(diào)整。
紋理添加裝置408對(duì)調(diào)整后的通用三維人臉模型添加紋理，得到三維人臉 模型。
在本發(fā)明的一個(gè)優(yōu)選實(shí)施例中，所述的一種三維人臉模型構(gòu)造系統(tǒng)還包括 姿態(tài)矯正裝置，所述姿態(tài)矯正裝置設(shè)于投影裝置之前，姿態(tài)矯正裝置用于對(duì)通 用三維人臉模型進(jìn)行姿態(tài)矯正。
在本發(fā)明的一個(gè)優(yōu)選實(shí)施例中，所述姿態(tài)矯正裝置進(jìn)一步包括(參考圖
5)
平面單元501,用于在通用三維人臉模型上標(biāo)出雙眼的位置和嘴巴中心的 位置，4艮據(jù)這三個(gè)點(diǎn)計(jì)算出經(jīng)過(guò)這三個(gè)點(diǎn)的平面的法向量N;
旋轉(zhuǎn)單元502，用于調(diào)整通用三維人臉模型，直至法向量N與三維坐標(biāo)的 Z軸重合。
在本發(fā)明的另一個(gè)優(yōu)選實(shí)施例中，所述的一種三維人臉模型構(gòu)造系統(tǒng)還包 括坐標(biāo)處理裝置，坐標(biāo)處理裝置設(shè)于投影裝置同第一變形裝置之間，用于在建 立第 一映射關(guān)系之前將正面人臉圖片和人臉網(wǎng)格模型上的坐標(biāo)原點(diǎn)調(diào)整至臉 部相同位置點(diǎn)的坐標(biāo)進(jìn)行歸一化處理。
本說(shuō)明書(shū)中的各個(gè)實(shí)施例均采用遞進(jìn)的方式描述，每個(gè)實(shí)施例重點(diǎn)說(shuō)明的 都是與其他實(shí)施例的不同之處，各個(gè)實(shí)施例之間相同相似的部分互相參見(jiàn)即 可。對(duì)于系統(tǒng)實(shí)施例而言，由于其與方法實(shí)施例基本相似，所以描述的比較簡(jiǎn) 單，相關(guān)之處參見(jiàn)方法實(shí)施例的部分說(shuō)明即可。
以上對(duì)本發(fā)明所提供的一種三維人臉模型的構(gòu)造方法和系統(tǒng)，進(jìn)行了詳細(xì)
17
施例的說(shuō)明只是用于幫助理解本發(fā)明的方法及其核心思想；同時(shí)，對(duì)于本鄰域 的一般技術(shù)人員，依據(jù)本發(fā)明的思想，在具體實(shí)施方式
及應(yīng)用范圍上均會(huì)有改 變之處，綜上所述，本說(shuō)明書(shū)內(nèi)容不應(yīng)理解為對(duì)本發(fā)明的限制。
權(quán)利要求
1、一種三維人臉模型構(gòu)造方法，其特征在于，包括以下步驟:依據(jù)在正面人臉圖片中的輪廓控制點(diǎn)和人臉網(wǎng)格模型上對(duì)應(yīng)網(wǎng)格控制點(diǎn)之間建立的第一映射關(guān)系，對(duì)所述人臉網(wǎng)格模型中所有的點(diǎn)作相應(yīng)的位置調(diào)整；所述人臉網(wǎng)格模型由通用三維人臉模型投影得到，所述第一映射關(guān)系由多個(gè)選取的對(duì)應(yīng)點(diǎn)計(jì)算得到；在正面人臉圖片器官上的輪廓控制點(diǎn)和已調(diào)整過(guò)的人臉網(wǎng)格模型器官上的網(wǎng)格控制點(diǎn)中選取對(duì)應(yīng)的關(guān)鍵輪廓控制點(diǎn)和關(guān)鍵網(wǎng)格控制點(diǎn)，并確定各個(gè)點(diǎn)的鄰域；所述鄰域內(nèi)還包括多個(gè)輪廓控制點(diǎn)和網(wǎng)格控制點(diǎn)；依據(jù)關(guān)鍵網(wǎng)格控制點(diǎn)建立三角網(wǎng)，確定人臉網(wǎng)格模型上的非網(wǎng)格控制點(diǎn)所在的三角網(wǎng)中的三角形；依據(jù)建立的鄰域內(nèi)對(duì)應(yīng)的輪廓控制點(diǎn)和網(wǎng)格控制點(diǎn)的第二映射關(guān)系，對(duì)確定該鄰域的關(guān)鍵網(wǎng)格控制點(diǎn)進(jìn)行位置調(diào)整；依據(jù)各個(gè)三角形的三個(gè)頂點(diǎn)調(diào)整前后的坐標(biāo)，分別建立各自的第三映射關(guān)系，依據(jù)第三映射關(guān)系對(duì)所述三角形內(nèi)的所有非網(wǎng)格控制點(diǎn)進(jìn)行位置調(diào)整；將調(diào)整后的人臉網(wǎng)格模型中的點(diǎn)的平面坐標(biāo)作為通用三維人臉模型的X，Y坐標(biāo)，對(duì)通用三維人臉模型進(jìn)行調(diào)整；對(duì)調(diào)整后的通用三維人臉模型添加紋理，得到三維人臉模型。
2、 根據(jù)權(quán)利要求1所述的方法，其特征在于在投影得到人臉網(wǎng)格模型 之前還包括對(duì)通用三維人臉模型進(jìn)行姿態(tài)矯正步驟。
3、 根據(jù)權(quán)利要求2所述的方法，其特征在于，所述姿態(tài)矯正步驟包括 在通用三維人臉模型上標(biāo)出雙眼中心的位置和嘴巴中心的位置，根據(jù)這三個(gè)點(diǎn)計(jì)算出經(jīng)過(guò)這三個(gè)點(diǎn)的平面的法向量N;調(diào)整通用三維人臉模型，直至法向量N與三維坐標(biāo)的Z軸重合。
4、 根據(jù)權(quán)利要求1所述的方法，其特征在于，在建立第一映射關(guān)系之前 進(jìn)一步包括將正面人臉圖片和人臉網(wǎng)格模型上的坐標(biāo)原點(diǎn)調(diào)整至臉部相同位 置點(diǎn)的坐標(biāo)歸一化處理步驟。
5、 根據(jù)權(quán)利要求1所述的方法，其特征在于，通過(guò)以下方式建立第一映射關(guān)系將多個(gè)相應(yīng)的輪廓控制點(diǎn)和網(wǎng)格控制點(diǎn)代入二元一次方程； 計(jì)算得到各個(gè)系數(shù)，建立具體的二元一次關(guān)系式。
6、 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述確定關(guān)鍵輪廓控制點(diǎn) 或關(guān)鍵網(wǎng)格控制點(diǎn)的鄰域的預(yù)置規(guī)則為以該點(diǎn)為中心，長(zhǎng)、寬為該點(diǎn)所在器官長(zhǎng)度的1/3單位的正方形。
7、 根據(jù)權(quán)利要求1所述的方法，其特征在于，通過(guò)以下方式建立第二映 射關(guān)系將鄰域中的多個(gè)相應(yīng)的輪廓控制點(diǎn)和鄰域中的網(wǎng)格控制點(diǎn)代入二元一次 方程；計(jì)算得到各個(gè)系數(shù)，建立具體的二元一次關(guān)系式。
8、 根據(jù)權(quán)利要求1所述的方法，其特征在于，通過(guò)以下方式建立第三映 射關(guān)系將三角網(wǎng)中某一三角形三個(gè)頂點(diǎn)的原坐標(biāo)和調(diào)整后的坐標(biāo)代入二元一次 方程；計(jì)算得到各個(gè)系數(shù)，建立針對(duì)該三角形的具體的二元一次關(guān)系式。
9、 一種三維人臉模型構(gòu)造系統(tǒng)，其特征在于，包括投影裝置，用于將通用三維人臉模型投影到二維平面得到人臉網(wǎng)格模型；第一變形裝置，用于依據(jù)在正面人臉圖片中的輪廓控制點(diǎn)和人臉網(wǎng)格模型 上對(duì)應(yīng)網(wǎng)格控制點(diǎn)之間建立的第一映射關(guān)系，對(duì)所述人臉網(wǎng)格模型中所有的點(diǎn) 作相應(yīng)的位置調(diào)整；鄰域確定裝置，用于在正面人臉圖片器官上的輪廓控制點(diǎn)和已調(diào)整過(guò)的人 臉網(wǎng)格模型器官上的網(wǎng)格控制點(diǎn)中選取對(duì)應(yīng)的關(guān)鍵輪廓控制點(diǎn)和關(guān)鍵網(wǎng)格控 制點(diǎn)，并確定各個(gè)點(diǎn)的鄰域；建網(wǎng)裝置，用于依據(jù)關(guān)鍵網(wǎng)格控制點(diǎn)建立三角網(wǎng)，確定人臉網(wǎng)格模型上的 一 一網(wǎng)格控制點(diǎn)所在的三角網(wǎng)中的三角形； 第二變形裝置，用于依據(jù)建立的鄰域內(nèi)對(duì)應(yīng)的輪廓控制點(diǎn)和網(wǎng)格控制點(diǎn)的第二映射關(guān)系，對(duì)確定該鄰域的關(guān)鍵網(wǎng)格控制點(diǎn)進(jìn)行位置調(diào)整；第三變形裝置，用于依據(jù)各個(gè)三角形的三個(gè)頂點(diǎn)調(diào)整前后的坐標(biāo)，分別建 立各自的第三映射關(guān)系，依據(jù)第三映射關(guān)系對(duì)所述三角形內(nèi)的所有非網(wǎng)格控制 點(diǎn)進(jìn)行位置調(diào)整；調(diào)整裝置，用于將調(diào)整后的人臉網(wǎng)桔4莫型中的點(diǎn)的平面坐標(biāo)作為通用三維 人臉模型的X, Y坐標(biāo)，對(duì)通用三維人臉模型進(jìn)行調(diào)整；紋理添加裝置，用于對(duì)調(diào)整后的通用三維人臉模型添加紋理，得到三維人 臉模型。
10、 根據(jù)權(quán)利要求9所述的系統(tǒng)，其特征在于所述的投影裝置之前還還 包括姿態(tài)矯正裝置，姿態(tài)矯正裝置用于對(duì)通用三維人臉模型進(jìn)行姿態(tài)矯正。
11、 4艮據(jù)權(quán)利要求IO所述的系統(tǒng)，其特征在于，所述姿態(tài)矯正裝置包括 平面單元，用于在通用三維人臉模型上標(biāo)出雙眼的位置和嘴巴中心的位置，；^艮據(jù)這三個(gè)點(diǎn)計(jì)算出經(jīng)過(guò)這三個(gè)點(diǎn)的平面的法向量N;旋轉(zhuǎn)單元，用于調(diào)整通用三維人臉模型，直至法向量N與三維坐標(biāo)的Z 軸重合。
12、 根據(jù)權(quán)利要求9所述的系統(tǒng)，其特征在于還包括坐標(biāo)處理裝置，坐 標(biāo)處理裝置設(shè)于投影裝置同第一變形裝置之間，用于在建立第一映射關(guān)系之前 將正面人臉圖片和人臉網(wǎng)格模型上的坐標(biāo)原點(diǎn)調(diào)整至臉部相同位置點(diǎn)的坐標(biāo) 進(jìn)行歸一化處理。
全文摘要
本發(fā)明公開(kāi)了一種三維人臉模型的構(gòu)造方法和系統(tǒng)，該方法可以包括以下步驟依據(jù)正面人臉圖片中的輪廓控制點(diǎn)和人臉網(wǎng)格模型上對(duì)應(yīng)網(wǎng)格控制點(diǎn)之間建立的第一映射關(guān)系，對(duì)所述人臉網(wǎng)格模型中所有的點(diǎn)作相應(yīng)的位置調(diào)整；依據(jù)關(guān)鍵網(wǎng)格控制點(diǎn)建立三角網(wǎng)，確定人臉網(wǎng)格模型上的非網(wǎng)格控制點(diǎn)所在的三角網(wǎng)中的三角形；依據(jù)建立的鄰域內(nèi)對(duì)應(yīng)的輪廓控制點(diǎn)和網(wǎng)格控制點(diǎn)的第二映射關(guān)系，對(duì)確定該鄰域的關(guān)鍵網(wǎng)格控制點(diǎn)進(jìn)行位置調(diào)整；依據(jù)各個(gè)三角形的三個(gè)頂點(diǎn)調(diào)整前后的坐標(biāo)，分別建立各自的第三映射關(guān)系，依據(jù)第三映射關(guān)系對(duì)所述三角形內(nèi)的所有非網(wǎng)格控制點(diǎn)進(jìn)行位置調(diào)整；依據(jù)調(diào)整后的人臉網(wǎng)格模型對(duì)通用三維人臉模型進(jìn)行調(diào)整并添加紋理，得到三維人臉模型。
文檔編號(hào)G06T17/20GK101383055SQ20081011995
公開(kāi)日2009年3月11日 申請(qǐng)日期2008年9月18日 優(yōu)先權(quán)日2008年9月18日
發(fā)明者浩 王, 謝東海, 英 黃 申請(qǐng)人:北京中星微電子有限公司