專利名稱：支持姿態(tài)偏轉(zhuǎn)的人臉數(shù)字圖像漫畫夸張方法、裝置及系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計(jì)算機(jī)圖形圖像處理領(lǐng)域，具體地涉及一種支持姿態(tài)偏轉(zhuǎn)的人臉數(shù)字 圖像漫畫夸張方法、裝置及系統(tǒng)。
背景技術(shù)：
人臉卡通畫使用簡(jiǎn)單的輪廓線條以及單純的色彩突出人物形象的特征，通過藝 術(shù)的手法夸張或者寫實(shí)地表現(xiàn)人物的個(gè)性和反映畫家的創(chuàng)作思想。非真實(shí)感繪制(NPR， Non-Photorealistic Rendering)的卡通頭像可以去除不重要的細(xì)節(jié)，而突出重要特征，從 而能更好地傳遞信息，在網(wǎng)絡(luò)通訊和網(wǎng)絡(luò)游戲等多個(gè)領(lǐng)域中有很強(qiáng)的應(yīng)用前景。在藝術(shù)夸張表現(xiàn)上，通過基于人臉的特征統(tǒng)計(jì)與特征發(fā)現(xiàn)，即對(duì)人臉部器官特征 (例如額頭寬度、嘴唇厚度等)進(jìn)行測(cè)量以獲得人臉特征點(diǎn)，人臉特征點(diǎn)主要是指能夠反映 個(gè)人面部特征的點(diǎn)，例如眼角、嘴角、鼻尖、鼻翼角點(diǎn)等，并與平均人臉參考模型進(jìn)行比較， 其差異作為人物特征，并對(duì)該差異進(jìn)行放大，得到夸張的藝術(shù)效果。目前，鮮有研究工作針對(duì)單張非正視人臉圖像做漫畫夸張。而事實(shí)上，通常的人臉 圖像并不完全是正視人臉圖像，生活中還存在有大量的非正視人臉圖像；某些人的正面圖 像體現(xiàn)不出太多的特點(diǎn)，而在半側(cè)面或是全側(cè)面圖像中卻能凸顯其的特質(zhì)，因此，對(duì)單張非 正視人臉圖像的漫畫夸張的研究是非常有必要的。現(xiàn)有技術(shù)的技術(shù)方案包括離線部分和在線部分。在離線部分，首先建立一個(gè)三維 平均人臉參考模型。圖1為現(xiàn)有技術(shù)的三維平均人臉模型的特征點(diǎn)位置的分布示意圖。如 圖1所示，通過手工標(biāo)定三維人臉數(shù)據(jù)庫(kù)中樣本的特征點(diǎn)，獲取特征點(diǎn)坐標(biāo)，旋轉(zhuǎn)、平移、縮 放到統(tǒng)一的坐標(biāo)系下對(duì)三維坐標(biāo)求均值而建立，通過上述步驟，離線準(zhǔn)備工作完畢。在線部分，進(jìn)行卡通頭像制作，具體包括如下步驟S101、利用三維平均人臉參考模型估計(jì)輸入圖像中人臉的位置和姿態(tài)參數(shù)；S102、 把估計(jì)出的位置和姿態(tài)參數(shù)應(yīng)用到三維人臉參考模型，使其朝向和位置基本與該輸入圖像 匹配，再把此時(shí)三維人臉參考模型的各個(gè)特征點(diǎn)的深度信息作為輸入圖像的二維相應(yīng)特征 點(diǎn)的近似深度，以形成符合該輸入圖像的三維特征點(diǎn)模型；S103、將該圖像的三維特征點(diǎn)模 型旋轉(zhuǎn)到正面視圖，利用基于二維人臉形狀的夸張規(guī)則得到正面視圖的夸張?zhí)卣鼽c(diǎn)；S104、 把正面視圖的夸張后的三維特征點(diǎn)模型旋轉(zhuǎn)回原來(lái)的姿態(tài)并投影，即得夸張后的人臉二維 特征點(diǎn)；S105、利用數(shù)字圖像扭曲warping技術(shù)，把經(jīng)過配準(zhǔn)的人臉二維特征點(diǎn)包圍的輸入 人臉的紋理，映射到夸張后的人臉特征點(diǎn)包圍的范圍內(nèi)，即得人臉的夸張效果；S106、采用 NPR技術(shù)得到最終帶有卡通風(fēng)格的漫畫夸張效果。發(fā)明人在實(shí)現(xiàn)本發(fā)明的過程中發(fā)現(xiàn)，現(xiàn)有技術(shù)至少存在以下不足現(xiàn)有技術(shù)的人 臉圖像漫畫夸張方法只能局限于正視圖像或者固定姿態(tài)的圖像；現(xiàn)有技術(shù)把特征點(diǎn)的深度 信息恢復(fù)出來(lái)后，將有偏轉(zhuǎn)的人臉三維特征點(diǎn)旋轉(zhuǎn)到正面視圖然后應(yīng)用夸張規(guī)則，但是應(yīng) 用的夸張規(guī)則是二維的，沒有利用好深度信息；而且現(xiàn)有技術(shù)使用的是基于直觀語(yǔ)義的二 維夸張規(guī)則，這種夸張規(guī)則產(chǎn)生的夸張效果有限，缺乏生動(dòng)性。

發(fā)明內(nèi)容
本發(fā)明實(shí)施例提供了一種支持姿態(tài)偏轉(zhuǎn)的人臉數(shù)字圖像漫畫夸張方法、裝置及系 統(tǒng)，通過在基于非負(fù)矩陣分解NMF的人臉三維形狀特征空間中，根據(jù)三維夸張規(guī)則對(duì)旋轉(zhuǎn) 至輸入人臉像的三維形狀進(jìn)行三維夸張，以獲得具有漫畫風(fēng)格的生動(dòng)幽默的人臉圖像。一方面，本發(fā)明實(shí)施例提供了一種支持姿態(tài)偏轉(zhuǎn)的人臉數(shù)字圖像漫畫夸張方法， 所述方法包括根據(jù)預(yù)先建立的三維平均臉形狀模型恢復(fù)輸入人臉圖像的二維特征點(diǎn)的近 似深度信息；根據(jù)所述近似深度信息生成所述輸入人臉圖像的三維形狀；在預(yù)先建立的基 于非負(fù)矩陣分解NMF的人臉三維形狀特征空間中，根據(jù)三維夸張規(guī)則對(duì)旋轉(zhuǎn)至正面視圖的 所述三維形狀進(jìn)行三維夸張，以生成三維夸張后的三維形狀；將所述三維夸張后的三維形 狀變換回所述輸入人臉圖像的初始姿態(tài)并投影，以生成三維夸張后的二維特征點(diǎn)；根據(jù)所 述三維夸張后的二維特征點(diǎn)生成具有漫畫夸張效果的人臉圖像。另一方面，本發(fā)明實(shí)施例提供了一種支持姿態(tài)偏轉(zhuǎn)的人臉數(shù)字圖像漫畫夸張裝 置，所述裝置包括深度信息恢復(fù)單元，用于根據(jù)預(yù)先建立的三維平均臉形狀模型恢復(fù)輸入 人臉圖像的二維特征點(diǎn)的近似深度信息；三維形狀生成單元，用于根據(jù)所述近似深度信息 生成所述輸入人臉圖像的三維形狀；三維形狀夸張單元，用于在預(yù)先建立的基于非負(fù)矩陣 分解NMF的人臉三維形狀特征空間中，根據(jù)三維夸張規(guī)則對(duì)旋轉(zhuǎn)至正面視圖的所述三維形 狀進(jìn)行三維夸張，以生成三維夸張后的三維形狀；二維特征點(diǎn)生成單元，用于將所述三維夸 張后的三維形狀變換回所述輸入人臉圖像的初始姿態(tài)并投影，以生成三維夸張后的二維特 征點(diǎn)；漫畫夸張圖像生成單元，用于根據(jù)所述三維夸張后的二維特征點(diǎn)生成具有漫畫夸張 效果的人臉圖像。又一方面，本發(fā)明實(shí)施例提供了一種支持姿態(tài)偏轉(zhuǎn)的人臉數(shù)字圖像漫畫夸張系 統(tǒng)，包括圖像夸張裝置，用于根據(jù)圖像數(shù)據(jù)庫(kù)提供的一預(yù)設(shè)數(shù)量的人臉圖像三維模型，恢復(fù) 輸入的人臉圖像二維特征點(diǎn)的近似深度信息；根據(jù)所述近似深度信息生成所述輸入人臉圖 像的三維形狀；在預(yù)先建立的基于非負(fù)矩陣分解的人臉三維形狀特征空間中，根據(jù)三維夸 張規(guī)則對(duì)旋轉(zhuǎn)至正面視圖的所述三維形狀進(jìn)行三維夸張，以生成三維夸張后的三維形狀； 將所述三維夸張后的三維形狀變換回所述輸入人臉圖像的初始姿態(tài)并投影，以生成三維夸 張后的二維特征點(diǎn)；根據(jù)所述三維夸張后的二維特征點(diǎn)生成具有漫畫夸張效果的人臉圖 像；以及圖像數(shù)據(jù)庫(kù)，用于向所述圖像夸張裝置提供一預(yù)設(shè)數(shù)量的人臉圖像三維模型。本發(fā)明實(shí)施例的一種支持姿態(tài)偏轉(zhuǎn)的人臉數(shù)字圖像漫畫夸張方法、裝置及系統(tǒng)， 可以對(duì)搖擺偏轉(zhuǎn)+/-40°、俯仰偏轉(zhuǎn)+/-20°的人臉圖像做出漫畫夸張效果。本發(fā)明實(shí)施例 完全基于人臉立體結(jié)構(gòu)的三維夸張規(guī)則，解決了現(xiàn)有技術(shù)的漫畫夸張方法只能對(duì)近似正面 人臉圖像或者固定姿態(tài)人臉圖像做夸張的問題，同時(shí)對(duì)現(xiàn)有技術(shù)的基于直觀語(yǔ)義規(guī)則的二 維夸張方法實(shí)現(xiàn)了改進(jìn)，能夠有效地產(chǎn)生更加生動(dòng)幽默和富于變化的漫畫夸張結(jié)果。


圖1為現(xiàn)有技術(shù)的三維平均人臉模型的特征點(diǎn)位置的分布示意圖；圖2為本發(fā)明實(shí)施例1的人臉數(shù)字圖像漫畫夸張方法的整體流程圖；圖加為本發(fā)明實(shí)施例1的圖2中S210的詳細(xì)流程圖3為本發(fā)明實(shí)施例的深度恢復(fù)誤差分析示意圖；圖如為基于NMF夸張的方向性效應(yīng)的鳥瞰視圖；圖4b為基于NMF夸張的方向性效應(yīng)的右側(cè)視圖；圖5為本發(fā)明實(shí)施例1生成的人臉夸張圖像的效果實(shí)例圖；圖6為本發(fā)明實(shí)施例1與現(xiàn)有技術(shù)的夸張效果對(duì)比實(shí)例圖；圖7為本發(fā)明實(shí)施例2的人臉數(shù)字圖像漫畫夸張裝置的功能框圖；圖7a為本發(fā)明實(shí)施例2的空間建立單元706的詳細(xì)功能框圖；圖8為本發(fā)明實(shí)施例3的系統(tǒng)功能框圖；圖9為本發(fā)明實(shí)施例4的人臉數(shù)字圖像漫畫夸張方法的處理流程圖。
具體實(shí)施例方式為使本發(fā)明實(shí)施例的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面將結(jié)合本發(fā)明實(shí)施例 中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例是 本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員 在沒有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。本發(fā)明實(shí)施例能有效地生成姿態(tài)可變的人臉圖像的漫畫夸張風(fēng)格的卡通 化效果。本發(fā)明實(shí)施例在利用三維平均臉模型恢復(fù)輸入人臉特征點(diǎn)深度信息后，在 NMF (Non-negative Matrix Factorization，非負(fù)矩陣分解)建立的人臉形狀特征空間下， 將該三維形狀與三維平均臉形狀比較并歸一化特征差異，對(duì)其中較顯著的特征應(yīng)用夸張規(guī) 則。從而擴(kuò)大了現(xiàn)有的漫畫夸張方法的應(yīng)用范圍，能夠更有效地產(chǎn)生幽默效果更加明顯的 結(jié)果，滿足日常應(yīng)用的需求。實(shí)施例1 本發(fā)明實(shí)施例提供了一種支持姿態(tài)偏轉(zhuǎn)的人臉數(shù)字圖像漫畫夸張方法。該方法的 應(yīng)用范圍針對(duì)搖擺偏轉(zhuǎn)+/-40°、俯仰偏轉(zhuǎn)+/-20°范圍內(nèi)的人臉圖像。圖2為本發(fā)明實(shí)施 例1的人臉數(shù)字圖像漫畫夸張方法的流程圖。如圖2所示，該方法包括S202、根據(jù)預(yù)先建立的三維平均臉形狀模型恢復(fù)輸入人臉圖像的二維特征點(diǎn)的近 似深度信息；上述過程具體包括首先，執(zhí)行姿態(tài)參數(shù)求精步驟；由于輸入的姿態(tài)參數(shù)的精度并不一定非常高，需要通過進(jìn)一步求精得到更精確的 結(jié)果。本發(fā)明實(shí)施例1是利用三維平均臉形狀模型逼近輸入人臉圖像的二維特征點(diǎn)的所有 姿態(tài)參數(shù)，包括縮放系數(shù)S，三個(gè)坐標(biāo)軸的旋轉(zhuǎn)參數(shù)α，β，Y，水平偏移參數(shù)tx和垂直偏移 參數(shù)ty等，以輸入的姿態(tài)參數(shù)作為初值，用計(jì)算機(jī)最優(yōu)化方法得到精確的姿態(tài)參數(shù)結(jié)果。待優(yōu)化的目標(biāo)函數(shù)如下
權(quán)利要求
1.一種支持姿態(tài)偏轉(zhuǎn)的人臉數(shù)字圖像漫畫夸張方法，其特征在于，所述方法包括 步驟A、根據(jù)預(yù)先建立的三維平均臉形狀模型，恢復(fù)輸入的人臉圖像二維特征點(diǎn)的近似深度信息；步驟B、根據(jù)所述近似深度信息生成所述輸入人臉圖像的三維形狀； 步驟C、在預(yù)先建立的基于非負(fù)矩陣分解的人臉三維形狀特征空間中，根據(jù)三維夸張規(guī) 則對(duì)旋轉(zhuǎn)至正面視圖的所述三維形狀進(jìn)行三維夸張，以生成三維夸張后的三維形狀；步驟D、將所述三維夸張后的三維形狀變換回所述輸入人臉圖像的初始姿態(tài)并投影，以 生成三維夸張后的二維特征點(diǎn)；步驟E、根據(jù)所述三維夸張后的二維特征點(diǎn)生成具有漫畫夸張效果的人臉圖像。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟C之前還包括 建立基于非負(fù)矩陣分解的人臉三維形狀特征空間。
3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述建立基于非負(fù)矩陣分解的人臉三維 形狀特征空間包括獲取一預(yù)設(shè)數(shù)量的人臉三維模型；標(biāo)定每一所述人臉三維模型的一預(yù)設(shè)數(shù)量的三維特征點(diǎn)，以獲得每一所述人臉三維模 型的特征點(diǎn)點(diǎn)云；將每一所述人臉三維模型的特征點(diǎn)點(diǎn)云的坐標(biāo)值排列成列向量，并對(duì)所述列向量進(jìn)行 尺度歸一化處理，獲得處理后的列向量；將所述預(yù)設(shè)數(shù)量的人臉三維模型分別對(duì)應(yīng)的列向量依次排列，組成矩陣S，并根據(jù)非負(fù) 矩陣分解方法對(duì)所述矩陣S進(jìn)行分解，以獲得分解后的矩陣F，所述矩陣F用于表示人臉三 維形狀特征空間。
4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述矩陣S的行數(shù)表示為3N，所述矩陣S 的列數(shù)表示為M，所述矩陣F的列數(shù)表示C，其關(guān)系滿足(3N+M) XC < 3NXM，其中N、M及C 為正整數(shù)。
5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述根據(jù)非負(fù)矩陣分解方法對(duì)所述矩陣S 進(jìn)行分解后還獲得矩陣E，所述建立基于非負(fù)矩陣分解的人臉三維形狀特征空間還包括根據(jù)矩陣E計(jì)算矩陣E中每行元素的均值Hii和標(biāo)準(zhǔn)差σ i，其中i = 1，. . .，C。
6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述步驟C包括 將所述輸入人臉圖像的三維形狀旋轉(zhuǎn)至正面視圖；將正面視圖的所述三維形狀的特征點(diǎn)點(diǎn)云的坐標(biāo)值排成列向量，并對(duì)所 述列向量進(jìn)行尺度歸一化處理，獲得處理后的列向量V，其滿足以下關(guān)系式
7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述在預(yù)先建立的基于非負(fù)矩陣分解的 人臉三維形狀特征空間中，根據(jù)三維夸張規(guī)則對(duì)旋轉(zhuǎn)至正面視圖的所述三維形狀進(jìn)行三維 夸張，以獲得三維夸張后的三維形狀還包括通過調(diào)整夸張系數(shù)k的取值和κ的取值來(lái)改變夸張程度，其中k和κ的取值范圍包 括下列區(qū)間ke [a，b]，K e [c，d]，其中a的最大值為2，b的最小值為4，c的最大值為 3，d的最小值為6。
8.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)夸張后的二維特征點(diǎn)獲得具有 漫畫夸張效果的人臉圖像包括將二維特征點(diǎn)包圍區(qū)域內(nèi)的圖像紋理通過數(shù)字圖像扭曲變換到對(duì)應(yīng)的夸張移動(dòng)后的 二維特征點(diǎn)包圍的區(qū)域內(nèi)；根據(jù)非真實(shí)感繪制方法，以獲得漫畫夸張后的人臉圖像。
9.一種支持姿態(tài)偏轉(zhuǎn)的人臉數(shù)字圖像漫畫夸張裝置，其特征在于，所述裝置包括深度信息恢復(fù)單元，用于根據(jù)預(yù)先建立的三維平均臉形狀模型，恢復(fù)輸入的人臉圖像 二維特征點(diǎn)的近似深度信息；三維形狀生成單元，用于根據(jù)所述近似深度信息生成所述輸入人臉圖像的三維形狀；三維形狀夸張單元，用于在預(yù)先建立的基于非負(fù)矩陣分解的人臉三維形狀特征空間 中，根據(jù)三維夸張規(guī)則對(duì)旋轉(zhuǎn)至正面視圖的所述三維形狀進(jìn)行三維夸張，以生成三維夸張 后的三維形狀；二維特征點(diǎn)生成單元，用于將所述三維夸張后的三維形狀變換回所述輸入人臉圖像的 初始姿態(tài)并投影，以生成三維夸張后的二維特征點(diǎn)；漫畫夸張圖像生成單元，用于根據(jù)所述三維夸張后的二維特征點(diǎn)生成具有漫畫夸張效 果的人臉圖像。
10.根據(jù)權(quán)利要求9所述的裝置，其特征在于，所述裝置還包括空間建立單元，用于建立基于非負(fù)矩陣分解的人臉三維形狀特征空間。
11.一種支持姿態(tài)偏轉(zhuǎn)的人臉數(shù)字圖像漫畫夸張系統(tǒng)，其特征在于，所述系統(tǒng)包括圖像夸張裝置，用于根據(jù)圖像數(shù)據(jù)庫(kù)提供的一預(yù)設(shè)數(shù)量的人臉圖像三維模型，恢復(fù)輸 入的人臉圖像二維特征點(diǎn)的近似深度信息；根據(jù)所述近似深度信息生成所述輸入人臉圖像 的三維形狀；在預(yù)先建立的基于非負(fù)矩陣分解的人臉三維形狀特征空間中，根據(jù)三維夸張 規(guī)則對(duì)旋轉(zhuǎn)至正面視圖的所述三維形狀進(jìn)行三維夸張，以生成三維夸張后的三維形狀；將 所述三維夸張后的三維形狀變換回所述輸入人臉圖像的初始姿態(tài)并投影，以生成三維夸張 后的二維特征點(diǎn)；根據(jù)所述三維夸張后的二維特征點(diǎn)生成具有漫畫夸張效果的人臉圖像；圖像數(shù)據(jù)庫(kù)，用于向所述圖像夸張裝置提供一預(yù)設(shè)數(shù)量的人臉圖像三維模型。
12.根據(jù)權(quán)利要求11所述的系統(tǒng)，其特征在于，所述圖像夸張裝置，還用于建立基于非 負(fù)矩陣分解的人臉三維形狀特征空間。
全文摘要
本發(fā)明實(shí)施例提供了一種支持姿態(tài)偏轉(zhuǎn)的人臉數(shù)字圖像漫畫夸張方法、裝置及系統(tǒng)，該方法包括根據(jù)預(yù)先建立的三維平均臉形狀模型恢復(fù)輸入人臉圖像的二維特征點(diǎn)的近似深度信息；根據(jù)該近似深度信息生成所述輸入人臉圖像的三維形狀；在預(yù)先建立的基于非負(fù)矩陣分解的人臉三維形狀特征空間中，根據(jù)三維夸張規(guī)則對(duì)旋轉(zhuǎn)至正面視圖的所述三維形狀進(jìn)行三維夸張，以獲得三維夸張后的三維形狀；將該三維夸張后的三維形狀變換回所述輸入人臉圖像的初始姿態(tài)并投影，以生成三維夸張后的二維特征點(diǎn)；根據(jù)該三維夸張后的二維特征點(diǎn)生成具有漫畫夸張效果的人臉圖像。本發(fā)明能對(duì)搖擺偏轉(zhuǎn)+/-40°、俯仰偏轉(zhuǎn)+/-20°的人臉圖像做出更生動(dòng)幽默和富于變化的漫畫夸張效果。
文檔編號(hào)G06T11/00GK102103756SQ20091025941
公開日2011年6月22日 申請(qǐng)日期2009年12月18日 優(yōu)先權(quán)日2009年12月18日
發(fā)明者楊錦春, 馬湘旺, 黃華 申請(qǐng)人:華為技術(shù)有限公司, 西安交通大學(xué)