一種自動(dòng)分割三維人臉模型區(qū)域的方法
【專利摘要】本發(fā)明公開一種自動(dòng)分割三維人臉模型區(qū)域的方法。輸入數(shù)據(jù)為帶紋理的個(gè)性化真實(shí)感三維人臉模型，一般采用激光掃描儀獲取。首先，對(duì)三維人臉模型進(jìn)行正向方位校正，使人臉擺放正面向前；然后對(duì)方位校正的三維人臉模型，用預(yù)設(shè)定的空間參數(shù)生成人臉二維圖像，對(duì)人臉圖像進(jìn)行二維人臉特征點(diǎn)檢測(cè)；根據(jù)圖像檢測(cè)出的二維人臉特征點(diǎn)和預(yù)設(shè)定的空間參數(shù)，逆向計(jì)算三維人臉特征點(diǎn)；接下來(lái)，利用對(duì)應(yīng)特征將標(biāo)準(zhǔn)的人臉解剖分割模板與三維人臉進(jìn)行配準(zhǔn)對(duì)齊，利用對(duì)齊的人臉解剖分割模板對(duì)三維人臉進(jìn)行自動(dòng)分區(qū)。本發(fā)明實(shí)現(xiàn)過程簡(jiǎn)單、自動(dòng)化程度高，發(fā)明對(duì)三維人臉識(shí)別、人臉模型娛樂、美容化妝設(shè)計(jì)以及整形術(shù)前預(yù)測(cè)有重要意義。
【專利說(shuō)明】
一種自動(dòng)分割三維人臉模型區(qū)域的方法
技術(shù)領(lǐng)域
[0001]本發(fā)明涉及三維網(wǎng)格分割領(lǐng)域，具體地，涉及一種自動(dòng)分割三維人臉模型區(qū)域的方法?？梢詰?yīng)用到三維人臉識(shí)別、人臉模型娛樂、美容化妝設(shè)計(jì)以及美容整形術(shù)前預(yù)測(cè)等領(lǐng)域。
【背景技術(shù)】
[0002]近年來(lái)，計(jì)算機(jī)面部美容整形手術(shù)模擬系統(tǒng)逐步推廣應(yīng)用。其輸入數(shù)據(jù)一般為激光掃描儀獲取的帶紋理的個(gè)性化真實(shí)感三維人臉模型。模擬軟件可以幫助醫(yī)生進(jìn)行手術(shù)前的規(guī)劃，選擇最優(yōu)手術(shù)方案和手術(shù)步驟，訓(xùn)練手術(shù)中的判斷與決策能力，同時(shí)方便醫(yī)患溝通交流。這些手術(shù)模擬系統(tǒng)的第一步往往是確定需要美容整形的人臉局部區(qū)域，通常需要手工編輯確定，增加了操作的難度。需要一種更加自動(dòng)的方法分割三維人臉模型區(qū)域。
[0003]三維人臉分割與三維人臉識(shí)別是密切相關(guān)的研究領(lǐng)域，常用于人臉識(shí)別的預(yù)處理。如鼻子區(qū)域匹配的基礎(chǔ)往往與人臉姿勢(shì)矯正有關(guān)，鼻子的定位經(jīng)常作為三維人臉識(shí)別的重要步驟。大多數(shù)現(xiàn)有的三維人臉正向檢測(cè)方法，主要是針對(duì)正面或側(cè)面姿勢(shì)。然而，在實(shí)際應(yīng)用中輸入三維人臉模型的鼻尖位置不一定是正向的，可能是任意朝向的姿勢(shì)，雖然使用姿態(tài)不變的微分曲面特征分析可以解決這個(gè)問題，但是計(jì)算量較大。另一方面，二維人臉圖像的識(shí)別研究相對(duì)比較成熟，但是直接的三維人臉模型的識(shí)別研究較難，并且計(jì)算量比二維人臉圖像識(shí)別大很多。

【發(fā)明內(nèi)容】

[0004]本發(fā)明通所要解決的問題是，針對(duì)上述現(xiàn)有技術(shù)的不足，提供一種自動(dòng)分割三維人臉模型區(qū)域方法。輸入數(shù)據(jù)為激光掃描儀獲取的帶紋理的個(gè)性化真實(shí)感三維人臉模型(由于激光掃描儀一般獲取頭發(fā)模型有問題，人臉模型只包含前面部)。
[0005]本發(fā)明所采用的技術(shù)方案為:一種自動(dòng)分割三維人臉模型區(qū)域方法，包括以下步驟:
[0006]I)對(duì)三維人臉模型進(jìn)行正向方位校正，使人臉擺放正面向前；
[0007]2)對(duì)方位校正的三維人臉模型，用預(yù)設(shè)定的空間參數(shù)生成人臉二維圖像，對(duì)人臉圖像進(jìn)行二維人臉特征點(diǎn)檢測(cè)；
[0008]3)根據(jù)圖像檢測(cè)出的二維人臉特征點(diǎn)和預(yù)設(shè)定的空間參數(shù)，逆向計(jì)算三維人臉特征點(diǎn)；
[0009]4)利用對(duì)應(yīng)特征將標(biāo)準(zhǔn)的人臉解剖分割模板與三維人臉進(jìn)行配準(zhǔn)對(duì)齊；
[0010]5)利用對(duì)齊的人臉解剖分割模板對(duì)三維人臉進(jìn)行自動(dòng)分區(qū)。
[0011]所述步驟I)，首先采用多分辨率網(wǎng)格和主成分析法確定三維人臉模型的前向、水平和垂直方向，再根據(jù)人臉鼻子和嘴巴區(qū)域的特征分析確定人臉模型的鼻尖點(diǎn)和正面向上方向。
[0012]由于輸入三維人臉模型的初始方向是任意的，因此首先需要將人臉模型校正為正向朝向。對(duì)于這個(gè)問題，以往的研究通常采用一些姿態(tài)不變的表面特征來(lái)檢測(cè)一些關(guān)鍵點(diǎn)，例如，眼睛角和鼻子等，這種方法需要大量計(jì)算?；谝韵掠^察:對(duì)于缺少背面數(shù)據(jù)的三維掃描人臉模型，基本形狀為半橢球，并且正面是凸出的一面，這個(gè)特征可以用來(lái)計(jì)算三維人臉模型正面的基本方向。但是，直接使用原始三維人臉模型進(jìn)行計(jì)算，結(jié)果可能不穩(wěn)定。本發(fā)明具體計(jì)算方法如下:首先，采用多分辨率網(wǎng)格技術(shù)，分別用45毫米平均邊長(zhǎng)、和90毫米平均邊長(zhǎng)生成兩個(gè)層次的簡(jiǎn)化人臉網(wǎng)格模型；對(duì)45毫米邊長(zhǎng)人臉模型，采用經(jīng)典的網(wǎng)格主成分分析法(PCI)分析3個(gè)主方向，即確定三維人臉的前后、水平和垂直方向；對(duì)90毫米邊長(zhǎng)人臉模型，計(jì)算模型中部中心點(diǎn)和邊界點(diǎn)平均中心點(diǎn)，邊界點(diǎn)平均中心點(diǎn)指向中部中心點(diǎn)的方向進(jìn)一步確定人臉模型由后向前的方向。
[0013]對(duì)于前后方向已校正的人臉模型，可以方便的確定鼻子尖點(diǎn)。鼻子尖是臉上突出的一部分，可以觀察到前后方向的人臉深度信息圖中最突出點(diǎn)即為人臉模型的鼻尖點(diǎn)。從而可以進(jìn)一步根據(jù)人臉鼻子和嘴巴區(qū)域的特征分析確定人臉模型正面向上方向。具體來(lái)說(shuō)，用經(jīng)過鼻尖點(diǎn)的局部水平面與人臉模型相交得到I條輪廓曲線;再向上下兩側(cè)分別以5毫米為間隔平移水平面4次，得到兩組各4條輪廓線。采用典型的曲線特征分析方法，與經(jīng)鼻尖點(diǎn)的中間輪廓線相似度較高的一組輪廓線認(rèn)為分布在鼻部區(qū)域，相似度較低的一組輪廓線分布在嘴部區(qū)域，即可確定人臉正面向上方向。從而將三維人臉模型放置在一個(gè)標(biāo)準(zhǔn)的正面和垂直位置。
[0014]所述步驟2)，對(duì)方位校正的三維人臉模型，用預(yù)設(shè)定的空間參數(shù)生成人臉二維圖像，對(duì)人臉圖像進(jìn)行二維人臉特征點(diǎn)檢測(cè)。
[0015]首先，對(duì)三維人臉模型的三維渲染輸入預(yù)設(shè)定的空間參數(shù)，包括視圖窗口大小、相機(jī)位置和方向等，生成背景為純色的二維人臉圖像。二維圖像上的人臉特征識(shí)別，例如眼睛、眉毛、鼻子、嘴角點(diǎn)等面部標(biāo)志，是計(jì)算機(jī)視覺和圖形學(xué)研究的一個(gè)經(jīng)典問題。近年來(lái)，基于圖像特征的顯式線性回歸人臉識(shí)別技術(shù)具有先進(jìn)性和準(zhǔn)確性，通過從圖像上直接研究矢量回歸函數(shù)來(lái)推斷整個(gè)面部形狀(一套面部標(biāo)志點(diǎn))，從而減少實(shí)驗(yàn)時(shí)的對(duì)齊誤差，并且回歸計(jì)算高效。本發(fā)明利用現(xiàn)有的顯式回歸方法檢測(cè)二維人臉圖像得到一組68個(gè)面部特征點(diǎn)。正前方向生成的人臉圖像，可以準(zhǔn)確檢測(cè)臉中側(cè)的人臉特征點(diǎn)。為了提高側(cè)面標(biāo)志點(diǎn)的檢測(cè)精度，分別向左側(cè)旋轉(zhuǎn)30°和向右側(cè)旋轉(zhuǎn)30°生成其它2幅人臉圖像，可以更準(zhǔn)確的檢測(cè)人臉兩側(cè)面的特征點(diǎn)。
[0016]所述步驟3)，根據(jù)圖像檢測(cè)出的二維人臉特征點(diǎn)和預(yù)設(shè)定的空間參數(shù)，逆向計(jì)算三維人臉特征點(diǎn)。
[0017]從二維人臉特征點(diǎn)計(jì)算三維人臉特征點(diǎn)位置的過程，類似于計(jì)算機(jī)圖形中的拾取操作，即實(shí)現(xiàn)二維屏幕到三維圖形空間的變換，也就是三維圖形顯示的逆過程。由于保留了生成人臉圖像時(shí)預(yù)設(shè)定的空間參數(shù)(視圖窗口大小、相機(jī)位置和方向等)。具體來(lái)說(shuō)，對(duì)于要處理的二維人臉特征點(diǎn)，計(jì)算其在生成的人臉圖像時(shí)的屏幕坐標(biāo)，并將其轉(zhuǎn)換為客戶區(qū)坐標(biāo)，實(shí)現(xiàn)視區(qū)反變換;然后，通過投影矩陣和觀察矩陣把該坐標(biāo)轉(zhuǎn)換為通過視點(diǎn)和屏幕坐標(biāo)點(diǎn)的一條射入場(chǎng)景的射線，該射線與三維人臉模型進(jìn)行求交計(jì)算，即可得到對(duì)應(yīng)的三維人臉特征點(diǎn)的位置。當(dāng)計(jì)算三維人臉標(biāo)志點(diǎn)時(shí)，沒有必要計(jì)算所有的二維人臉標(biāo)志點(diǎn)，只需要計(jì)算一些與標(biāo)準(zhǔn)的人臉解剖分割模板相對(duì)應(yīng)的解剖標(biāo)志點(diǎn)。臉中側(cè)的人臉特征點(diǎn)根據(jù)前方向生成的人臉圖像進(jìn)行計(jì)算，人臉兩側(cè)面的特征點(diǎn)根據(jù)左右側(cè)旋轉(zhuǎn)30°生成的人臉圖像進(jìn)行計(jì)算。
[0018]所述步驟4)，利用對(duì)應(yīng)特征將標(biāo)準(zhǔn)的人臉解剖分割模板與三維人臉進(jìn)行配準(zhǔn)對(duì)齊。
[0019]標(biāo)準(zhǔn)的人臉解剖分割模板是根據(jù)人臉解剖知識(shí)和美容整形手術(shù)需求，由專業(yè)建模軟件制作，由一組關(guān)鍵點(diǎn)和曲線進(jìn)行構(gòu)建，將三維人臉分成18個(gè)區(qū)域，包括額頭區(qū)、左右眉毛區(qū)，左右顳部區(qū)，左右眼部區(qū)，左右臉頰區(qū)域，左右鼻唇溝區(qū)，左右下頌區(qū)，鼻部區(qū)，鼻下區(qū)、上唇區(qū)、下唇區(qū)和下巴區(qū)。標(biāo)準(zhǔn)模板中的部分關(guān)鍵點(diǎn)與步驟3)中計(jì)算的三維人臉特征點(diǎn)具有對(duì)應(yīng)關(guān)系，用于引導(dǎo)和三維人臉模型配準(zhǔn)對(duì)齊。先進(jìn)行基于對(duì)應(yīng)標(biāo)志點(diǎn)的剛性變換進(jìn)行配準(zhǔn)對(duì)齊，然后再進(jìn)行局部自適應(yīng)調(diào)整進(jìn)一步改善配準(zhǔn)結(jié)果。
[0020]所述步驟5)利用對(duì)齊的人臉解剖分割模板對(duì)三維人臉進(jìn)行自動(dòng)分區(qū)。
[0021]對(duì)配準(zhǔn)對(duì)齊的人臉解剖分割模板中的網(wǎng)格邊向個(gè)性化三維人臉進(jìn)行投影，將這些投影的分割模板網(wǎng)格邊作為人臉區(qū)域分割的邊界輪廓線，即可自動(dòng)進(jìn)行三維人臉的區(qū)域分割操作。一共可以將將輸入的三維人臉模型分割成18個(gè)區(qū)域，其中每一個(gè)區(qū)域涉及一種類型的美容整形外科手術(shù)的模擬操作。在真正的美容整形外科手術(shù)模擬中，不需要提取每一個(gè)子區(qū)域，而僅僅需要提取模擬手術(shù)中感興趣的子區(qū)域。
[0022]與現(xiàn)有技術(shù)相比，本發(fā)明所具的有益效果為:本發(fā)明無(wú)需用戶交互，所有操作都能夠?qū)崿F(xiàn)自動(dòng)化;本發(fā)明提出自動(dòng)三維人臉區(qū)域分割，減少了以往計(jì)算機(jī)面部手術(shù)模擬系統(tǒng)中確定興趣區(qū)域分割需要多次手動(dòng)點(diǎn)擊，操作復(fù)雜的問題;發(fā)明對(duì)三維人臉識(shí)別、人臉模型娛樂、美容化妝設(shè)計(jì)以及整形術(shù)前預(yù)測(cè)有重要意義。
【附圖說(shuō)明】
[0023]為了更清楚地說(shuō)明本發(fā)明實(shí)施例中的技術(shù)方案，下面將對(duì)實(shí)施例描述中所需要使用的附圖作簡(jiǎn)單地介紹，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來(lái)講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)這些附圖獲得其它的附圖，其中:
[0024]圖1為本發(fā)明提供自動(dòng)三維人臉區(qū)域分割方法流程圖；
[0025]圖2為本發(fā)明提供具有真實(shí)感紋理的三維人臉表面模型圖；
[0026]圖3為本發(fā)明提供人臉多分辨率網(wǎng)格圖；(a)原始模型；(b)45毫米邊長(zhǎng)粗劃分網(wǎng)格模型；(c)90毫米邊長(zhǎng)粗劃分網(wǎng)格模型；
[0027]圖4為本發(fā)明提供鼻子和嘴部區(qū)域的水平輪廓線圖；
[0028]圖5為本發(fā)明提供二維人臉圖像特征點(diǎn)圖；(a)標(biāo)準(zhǔn)正面；(b)左側(cè)旋轉(zhuǎn)30度；(C)右側(cè)旋轉(zhuǎn)30度；
[0029]圖6為本發(fā)明提供三維人臉模型檢測(cè)的特征點(diǎn)圖；
[0030]圖7為本發(fā)明提供標(biāo)準(zhǔn)的人臉解剖分割模板與三維人臉模型配準(zhǔn)對(duì)齊的效果圖；[0031 ]圖8為本發(fā)明提供三維人臉分割成18個(gè)區(qū)域效果圖；
[0032]圖9為本發(fā)明提供多個(gè)三維人臉模型的區(qū)域分割效果圖。
【具體實(shí)施方式】
[0033]下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅是本發(fā)明的一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其它實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。
[0034]圖1為本發(fā)明方法步驟:I)對(duì)三維人臉模型進(jìn)行正向方位校正，使人臉擺放正面向前;2)對(duì)方位校正的三維人臉模型，用預(yù)設(shè)定的空間參數(shù)生成人臉二維圖像，對(duì)人臉圖像進(jìn)行二維人臉特征點(diǎn)檢測(cè)；3)根據(jù)圖像檢測(cè)出的二維人臉特征點(diǎn)和預(yù)設(shè)定的空間參數(shù)，逆向計(jì)算三維人臉特征點(diǎn);4)利用對(duì)應(yīng)特征將標(biāo)準(zhǔn)的人臉解剖分割模板與三維人臉進(jìn)行配準(zhǔn)對(duì)齊;5)利用對(duì)齊的人臉解剖分割模板對(duì)三維人臉進(jìn)行自動(dòng)分區(qū)。
[0035]1.對(duì)三維人臉模型進(jìn)行正向方位校正，使人臉擺放正面向前
[0036]首先采用多分辨率網(wǎng)格和主成分析法確定三維人臉模型的前向、水平和垂直方向，再根據(jù)人臉鼻子和嘴巴區(qū)域的特征分析確定人臉模型的鼻尖點(diǎn)和正面向上方向。
[0037]由于輸入三維人臉模型的初始方向是任意，因此首先需要將人臉模型校正為正向朝向。對(duì)于這個(gè)問題，以往的研究通常采用一些姿態(tài)不變的表面特征來(lái)檢測(cè)一些關(guān)鍵點(diǎn)，例如，眼睛角和鼻子等，這種方法需要大量計(jì)算。基于以下觀察:對(duì)于缺少背面數(shù)據(jù)的三維掃描人臉模型，如圖2所示，基本形狀為半橢球，并且正面是凸出的一面，這個(gè)特征可以用來(lái)計(jì)算三維人臉模型正面的基本方向。但是，直接使用原始三維人臉模型進(jìn)行計(jì)算，結(jié)果可能不穩(wěn)定。本發(fā)明具體計(jì)算方法如下:首先，采用多分辨率網(wǎng)格技術(shù)，分別用45毫米平均邊長(zhǎng)、和90毫米平均邊長(zhǎng)生成兩個(gè)層次的簡(jiǎn)化人臉網(wǎng)格模型，如圖3(b-c)所示，；對(duì)45毫米邊長(zhǎng)人臉模型，采用經(jīng)典的網(wǎng)格主成分分析法(PCI)分析3個(gè)主方向，即確定三維人臉的前后、水平和垂直方向；對(duì)90毫米邊長(zhǎng)人臉模型，計(jì)算模型中部中心點(diǎn)和邊界點(diǎn)平均中心點(diǎn)，邊界點(diǎn)平均中心點(diǎn)指向中部中心點(diǎn)的方向進(jìn)一步確定人臉模型由后向前的方向。
[0038]對(duì)于前后方向已校正的人臉模型，可以方便的確定鼻子尖點(diǎn)。鼻子尖是臉上突出的一部分，可以觀察到前后方向的人臉深度信息圖中最突出點(diǎn)即為人臉模型的鼻尖點(diǎn)。從而可以進(jìn)一步根據(jù)人臉鼻子和嘴巴區(qū)域的特征分析確定人臉模型正面向上方向。具體來(lái)說(shuō)，用經(jīng)過鼻尖點(diǎn)的局部水平面與人臉模型相交得到I條輪廓曲線，如圖4箭頭所示;再向上下兩側(cè)分別以5毫米為間隔平移水平面4次，得到兩組各4條輪廓線。采用典型的曲線特征分析方法，與經(jīng)鼻尖點(diǎn)的中間輪廓線相似度較高的一組輪廓線認(rèn)為分布在鼻部區(qū)域，相似度較低的一組輪廓線分布在嘴部區(qū)域，即可確定人臉正面向上方向。從而將三維人臉模型放置在一個(gè)標(biāo)準(zhǔn)的正面和垂直位置。
[0039]請(qǐng)參閱圖3所示為本發(fā)明提供人臉多分辨率網(wǎng)格圖；(a)原始模型；(b)45毫米邊長(zhǎng)粗劃分網(wǎng)格模型；(c)90毫米邊長(zhǎng)粗劃分網(wǎng)格模型。
[0040]請(qǐng)參閱圖4所示為本發(fā)明提供鼻子和嘴部區(qū)域的水平輪廓線圖。
[0041]2.對(duì)方位校正的三維人臉模型，用預(yù)設(shè)定的空間參數(shù)生成人臉二維圖像，對(duì)人臉圖像進(jìn)行二維人臉特征點(diǎn)檢測(cè)
[0042]首先，對(duì)三維人臉模型的三維渲染輸入預(yù)設(shè)定的空間參數(shù)，包括視圖窗口大小、相機(jī)位置和方向等，生成背景為純色的二維人臉圖像。二維圖像上的人臉特征識(shí)別，例如眼睛、眉毛、鼻子、嘴角點(diǎn)等面部標(biāo)志，是計(jì)算機(jī)視覺和圖形學(xué)研究的一個(gè)經(jīng)典問題。近年來(lái)，基于圖像特征的顯式線性回歸人臉識(shí)別技術(shù)具有先進(jìn)性和準(zhǔn)確性，通過從圖像上直接研究矢量回歸函數(shù)來(lái)推斷整個(gè)面部形狀(一套面部標(biāo)志點(diǎn))，從而減少實(shí)驗(yàn)時(shí)的對(duì)齊誤差，并且回歸計(jì)算高效。本發(fā)明利用現(xiàn)有的顯式回歸方法檢測(cè)二維人臉圖像得到一組68個(gè)面部特征點(diǎn)，如圖5所示。正前方向生成的人臉圖像，可以準(zhǔn)確檢測(cè)臉中側(cè)的人臉特征點(diǎn)。為了提高側(cè)面標(biāo)志點(diǎn)的檢測(cè)精度，分別向左側(cè)旋轉(zhuǎn)30°和向右側(cè)旋轉(zhuǎn)30°生成其它2幅人臉圖像，可以更準(zhǔn)確的檢測(cè)人臉兩側(cè)面的特征點(diǎn)。在本發(fā)明實(shí)現(xiàn)中一張二維人臉圖像檢測(cè)一組特征點(diǎn)，大約需要0.01秒的時(shí)間。
[0043]請(qǐng)參閱圖5為本發(fā)明提供二維人臉圖像特征點(diǎn)；(a)標(biāo)準(zhǔn)正面；(b)左側(cè)旋轉(zhuǎn)30度；(c)右側(cè)旋轉(zhuǎn)30度；
[0044]3.根據(jù)圖像檢測(cè)出的二維人臉特征點(diǎn)和預(yù)設(shè)定的空間參數(shù)，逆向計(jì)算三維人臉特征點(diǎn)
[0045]從二維人臉特征點(diǎn)計(jì)算三維人臉特征點(diǎn)位置的過程，類似于計(jì)算機(jī)圖形中的拾取操作，即實(shí)現(xiàn)二維屏幕到三維圖形空間的變換，也就是三維圖形顯示的逆過程。由于保留了生成人臉圖像時(shí)預(yù)設(shè)定的空間參數(shù)(視圖窗口大小、相機(jī)位置和方向等)。具體來(lái)說(shuō)，對(duì)于要處理的二維人臉特征點(diǎn)，計(jì)算其在生成的人臉圖像時(shí)的屏幕坐標(biāo)，并將其轉(zhuǎn)換為客戶區(qū)坐標(biāo)，實(shí)現(xiàn)視區(qū)反變換;然后，通過投影矩陣和觀察矩陣把該坐標(biāo)轉(zhuǎn)換為通過視點(diǎn)和屏幕坐標(biāo)點(diǎn)的一條射入場(chǎng)景的射線，該射線與三維人臉模型進(jìn)行求交計(jì)算，即可得到對(duì)應(yīng)的三維人臉特征點(diǎn)的位置。當(dāng)計(jì)算三維人臉標(biāo)志點(diǎn)時(shí)，沒有必要計(jì)算所有的二維人臉標(biāo)志點(diǎn)，只需要計(jì)算一些與標(biāo)準(zhǔn)的人臉解剖分割模板相對(duì)應(yīng)的解剖標(biāo)志點(diǎn)，如圖6所示，僅對(duì)27個(gè)三維標(biāo)志點(diǎn)進(jìn)行計(jì)算。臉中側(cè)的人臉特征點(diǎn)根據(jù)前方向生成的人臉圖像進(jìn)行計(jì)算，人臉兩側(cè)面的特征點(diǎn)根據(jù)左右側(cè)旋轉(zhuǎn)30°生成的人臉圖像進(jìn)行計(jì)算。
[0046]請(qǐng)參閱圖6所示為本發(fā)明提供三維人臉模型檢測(cè)的特征點(diǎn)圖。
[0047]4.利用對(duì)應(yīng)特征將標(biāo)準(zhǔn)的人臉解剖分割模板與三維人臉進(jìn)行配準(zhǔn)對(duì)齊
[0048]標(biāo)準(zhǔn)的人臉解剖分割模板是根據(jù)人臉解剖知識(shí)和美容整形手術(shù)需求，由專業(yè)建模軟件制作，由一組關(guān)鍵點(diǎn)和曲線進(jìn)行構(gòu)建，將三維人臉分成18個(gè)區(qū)域，包括額頭區(qū)、左右眉毛區(qū)，左右顳部區(qū)，左右眼部區(qū)，左右臉頰區(qū)域，左右鼻唇溝區(qū)，左右下頌區(qū)，鼻部區(qū)，鼻下區(qū)、上唇區(qū)、下唇區(qū)和下巴區(qū)。標(biāo)準(zhǔn)模板中的部分關(guān)鍵點(diǎn)與步驟3)中計(jì)算的三維人臉特征點(diǎn)具有對(duì)應(yīng)關(guān)系，用于引導(dǎo)和三維人臉模型配準(zhǔn)對(duì)齊。先進(jìn)行基于對(duì)應(yīng)標(biāo)志點(diǎn)的剛性變換進(jìn)行配準(zhǔn)對(duì)齊，如圖7所示，然后再進(jìn)行局部自適應(yīng)調(diào)整進(jìn)一步改善配準(zhǔn)結(jié)果。
[0049]請(qǐng)參閱圖7所示為本發(fā)明提供三維人臉模型與標(biāo)志人臉解剖模板配準(zhǔn)對(duì)齊的效果圖。
[0050]5.利用對(duì)齊的人臉解剖分割模板對(duì)三維人臉進(jìn)行自動(dòng)分區(qū)
[0051]對(duì)配準(zhǔn)對(duì)齊的人臉解剖分割模板中的網(wǎng)格邊向個(gè)性化三維人臉進(jìn)行投影，將這些投影的分割模板網(wǎng)格邊作為人臉區(qū)域分割的邊界輪廓線，即可自動(dòng)進(jìn)行三維人臉的區(qū)域分割操作。一共可以將將輸入的三維人臉模型分割成18個(gè)區(qū)域，其中每一個(gè)區(qū)域涉及一種類型的美容整形外科手術(shù)的模擬操作。在真正的美容整形外科手術(shù)模擬中，不需要提取每一個(gè)子區(qū)域，而僅僅需要提取模擬手術(shù)中感興趣的子區(qū)域。圖8展示了將輸入的三維人臉模型分割成18個(gè)區(qū)域，圖9展示了三維人臉模型更多的分割結(jié)果。
[0052]請(qǐng)參閱圖8所示為本發(fā)明提供三維人臉分割成18個(gè)區(qū)域效果圖。
[0053]請(qǐng)參閱圖9所示為本發(fā)明提供其他三維人臉模型的三維解剖分割區(qū)域效果圖。
【主權(quán)項(xiàng)】
1.一種自動(dòng)分割三維人臉模型區(qū)域的方法，其特征在于，包括以下步驟: 1)對(duì)三維人臉模型進(jìn)行正向方位校正，使人臉擺放正面向前； 2)對(duì)正向方位校正的三維人臉模型，用預(yù)設(shè)定的空間參數(shù)生成人臉二維圖像，對(duì)人臉圖像進(jìn)行二維人臉特征點(diǎn)檢測(cè)； 3)根據(jù)圖像檢測(cè)出的二維人臉特征點(diǎn)和預(yù)設(shè)定的空間參數(shù)，逆向計(jì)算三維人臉特征占.V ， 4)利用對(duì)應(yīng)特征將標(biāo)準(zhǔn)的人臉解剖分割模板與三維人臉進(jìn)行配準(zhǔn)對(duì)齊； 5)利用對(duì)齊的人臉解剖分割模板對(duì)三維人臉進(jìn)行自動(dòng)分區(qū)。2.根據(jù)權(quán)利要求1所述的自動(dòng)分割三維人臉模型區(qū)域方法，其特征在于，所述步驟I)中，首先采用多分辨率網(wǎng)格和主成分析法確定三維人臉模型的前向、水平和垂直方向，再根據(jù)人臉鼻子和嘴巴區(qū)域的特征分析確定人臉模型的鼻尖點(diǎn)和正面向上方向。3.根據(jù)權(quán)利要求2所述自動(dòng)分割三維人臉模型區(qū)域方法，其特征在于，對(duì)于確定了前向、水平和垂直方向的三維人臉模型，利用前后方向的深度信息確定人臉模型的鼻尖點(diǎn)，然后用經(jīng)過鼻尖點(diǎn)的局部水平面與人臉模型相交得到I條輪廓曲線;再向上下兩側(cè)分別以5毫米為間隔平移水平面4次，得到兩組各4條輪廓線，*采用曲線特征分析，與經(jīng)鼻尖點(diǎn)的中間輪廓線相似度較高的一組輪廓線認(rèn)為分布在鼻部區(qū)域，相似度較低的一組輪廓線分布在嘴部區(qū)域，確定人臉正面向上方向。4.根據(jù)權(quán)利要求1所述的自動(dòng)分割三維人臉模型區(qū)域方法，其特征在于，所述步驟4)中，標(biāo)準(zhǔn)的人臉解剖分割模板是根據(jù)人臉解剖知識(shí)和美容整形手術(shù)需求，由專業(yè)建模軟件制作，由一組關(guān)鍵點(diǎn)和曲線進(jìn)行構(gòu)建，將三維人臉分成18個(gè)區(qū)域，包括額頭區(qū)、左右眉毛區(qū)，左右顳部區(qū)，左右眼部區(qū)，左右臉頰區(qū)域，左右鼻唇溝區(qū)，左右下頌區(qū)，鼻部區(qū)，鼻下區(qū)、上唇區(qū)、下唇區(qū)和下巴區(qū)，標(biāo)準(zhǔn)模板中的部分關(guān)鍵點(diǎn)與步驟3)中計(jì)算的三維人臉特征點(diǎn)具有對(duì)應(yīng)關(guān)系，用于引導(dǎo)三維人臉模型配準(zhǔn)對(duì)齊。
【文檔編號(hào)】G06T7/00GK105913416SQ201610210450
【公開日】2016年8月31日
【申請(qǐng)日】2016年4月6日
【發(fā)明人】廖勝輝, 羅雄, 夏佳志, 梁毅雄, 鄒北驥, 王磊, 陳再良
【申請(qǐng)人】中南大學(xué)