一種二維人臉關(guān)鍵特征點定位方法及系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，尤其涉及一種二維人臉關(guān)鍵特征點定位方法及系統(tǒng)。
【背景技術(shù)】
[0002]目前，在大多數(shù)的人機交互應(yīng)用中，需要對人臉進行定位，進而進行人臉識別、表情分析、年齡估計等進一步的分析應(yīng)用。定位人臉時需要對圖像中的人臉關(guān)鍵特征點位置進行定位，即確定人臉上眼角、眼中心、眉毛、鼻子、嘴角等的位置。
[0003]從圖像的類型來分，人臉關(guān)鍵特征點定位有基于二維人臉圖像(亮度圖像)的定位方法和基于三維人臉圖像(深度圖像)的定位方法。二維人臉圖像的像素表示的是亮度，例如普通照相機拍出來的圖像就是二維人臉圖像，如圖1a所示。三維人臉圖像的每個像素值表示的則不是亮度，而是物體距離照相機的距離，如圖1b所示。
[0004]基于二維人臉圖像的方法只能根據(jù)人臉圖像的顏色變化來定位人臉上的關(guān)鍵特征點，對于正面人臉能得到相對比較好的結(jié)果，但是如果人臉是側(cè)臉或者低頭等大角度姿態(tài)，部分人臉信息會被遮擋(例如，側(cè)臉圖像只能看到一只眼睛，另一只眼睛被遮擋)，則很難獲得高精度的關(guān)鍵特征點定位。此外，不同的人臉型不同，僅靠二維信息很難判斷出人的臉型，所有的人臉都使用同樣一個人臉模型會導(dǎo)致關(guān)鍵特征點定位難以達到較高的精度。
[0005]基于三維人臉圖像的人臉關(guān)鍵特征點定位能判斷出人臉曲面的變化，精確獲得人臉的三維結(jié)構(gòu)，但是三維人臉圖像沒有二維人臉圖像里豐富的紋理信息，精度定位依然存在困難。

【發(fā)明內(nèi)容】

[0006]本發(fā)明實施例的目的在于提供一種二維人臉關(guān)鍵特征點定位方法及系統(tǒng)，旨在解決由于現(xiàn)有技術(shù)無法提供一種人臉關(guān)鍵特征點定位方法，導(dǎo)致人臉關(guān)鍵特征點定位精確較低的問題。
[0007]本發(fā)明實施例是這樣實現(xiàn)的，一種二維人臉關(guān)鍵特征點定位方法，所述方法包括下述步驟:
[0008]a)、接收輸入的二維人臉圖像，使用預(yù)設(shè)的人臉關(guān)鍵特征點獲取算法獲取人臉關(guān)鍵特征點的二維位置坐標，將所述二維位置坐標輸入到預(yù)先建立的特征點維度轉(zhuǎn)換模型；
[0009]b)、通過所述特征點維度轉(zhuǎn)換模型計算所述二維位置坐標對應(yīng)的人臉關(guān)鍵特征點的三維位置坐標；
[0010]C)、將所述三維位置坐標投影到所述二維人臉圖像上，獲取所述三維位置在所述二維人臉圖像上的估計坐標；
[0011]d)、通過所述估計坐標和所述二維位置坐標計算所述人臉關(guān)鍵特征點的定位精度；
[0012]e)、當(dāng)所述定位精度小于一預(yù)設(shè)閾值時，將所述二維位置坐標在所述二維人臉圖像中對應(yīng)的像素點設(shè)置為所述二維人臉圖像的人臉關(guān)鍵特征點。
[0013]本發(fā)明實施例的另一目的在于提供一種二維人臉關(guān)鍵特征點定位系統(tǒng)，所述系統(tǒng)包括:
[0014]關(guān)鍵點二維坐標獲取單元，用于接收輸入的二維人臉圖像，使用預(yù)設(shè)的人臉關(guān)鍵特征點獲取算法獲取人臉關(guān)鍵特征點的二維位置坐標，將所述二維位置坐標輸入到預(yù)先建立的特征點維度轉(zhuǎn)換模型；
[0015]關(guān)鍵點三維坐標計算單元，用于通過所述特征點維度轉(zhuǎn)換模型計算所述二維位置坐標對應(yīng)的人臉關(guān)鍵特征點的三維位置坐標；
[0016]二維估計坐標獲取單元，用于將所述三維位置坐標投影到所述二維人臉圖像上，獲取所述三維位置在所述二維人臉圖像上的估計坐標；
[0017]定位精度計算單元，用于通過所述估計坐標和所述二維位置坐標計算所述人臉關(guān)鍵特征點的定位精度；以及
[0018]特征點設(shè)置單元，用于當(dāng)所述定位精度小于一預(yù)設(shè)閾值時，將所述二維位置坐標在所述二維人臉圖像中對應(yīng)的像素點設(shè)置為所述二維人臉圖像的人臉關(guān)鍵特征點。
[0019]在本發(fā)明實施例中，通過預(yù)先建立的特征點維度轉(zhuǎn)換模型計算人臉關(guān)鍵特征點的三維位置坐標，利用該三維位置坐標對人臉關(guān)鍵特征點的二維位置坐標對坐標精確度進行判斷，當(dāng)定位精度小于一預(yù)設(shè)閾值時，將二維位置坐標在二維人臉圖像中對應(yīng)的像素點設(shè)置為二維人臉圖像的人臉關(guān)鍵特征點，從而結(jié)合二維人臉圖像和三維人臉圖像中的人臉關(guān)鍵特征點確定最終的人臉關(guān)鍵特征點，實現(xiàn)對人臉關(guān)鍵特征點的精確定位。
【附圖說明】
[0020]圖1a是二維人臉圖像的示意圖；
[0021]圖1b是人臉深度圖像的示意圖；
[0022]圖2是本發(fā)明實施例一提供的二維人臉關(guān)鍵特征點定位方法的實現(xiàn)流程圖；
[0023]圖3是本發(fā)明實施例二提供的二維人臉關(guān)鍵特征點定位方法的實現(xiàn)流程圖；
[0024]圖4是本發(fā)明實施例三提供的二維人臉關(guān)鍵特征點定位系統(tǒng)的結(jié)構(gòu)圖；以及；
[0025]圖5是本發(fā)明實施例四提供的二維人臉關(guān)鍵特征點定位系統(tǒng)的結(jié)構(gòu)圖。
【具體實施方式】
[0026]為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點更加清楚明白，以下結(jié)合附圖及實施例，對本發(fā)明進行進一步詳細說明。應(yīng)當(dāng)理解，此處所描述的具體實施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。
[0027]以下結(jié)合具體實施例對本發(fā)明的具體實現(xiàn)進行詳細描述:
[0028]實施例一:
[0029]圖2示出了本發(fā)明實施例一提供的二維人臉關(guān)鍵特征點定位方法的實現(xiàn)流程，詳述如下:
[0030]在步驟S201中，接收輸入的二維人臉圖像，使用預(yù)設(shè)的人臉關(guān)鍵特征點獲取算法獲取人臉關(guān)鍵特征點的二維位置坐標，將二維位置坐標輸入到預(yù)先建立的特征點維度轉(zhuǎn)換模型。
[0031]在本發(fā)明實施例中，首先使用預(yù)設(shè)的人臉關(guān)鍵特征點獲取算法獲取人臉關(guān)鍵特征點的二維位置坐標，即人臉關(guān)鍵特征點的初始二維位置坐標，其中，人臉關(guān)鍵特征點獲取算法可以是主動形狀模型(Active Shape Mode，ASM)，也可以是隨機森林分類器等。
[0032]在本發(fā)明實施例中，需要預(yù)先建立特征點維度轉(zhuǎn)換模型，以建立二維人臉圖像和其對應(yīng)的三維人臉圖像中的人臉關(guān)鍵特征點之間的對應(yīng)關(guān)系，從而利用三維人臉圖像中的人臉關(guān)鍵特征點確定二維人臉圖像中的人臉關(guān)鍵特征點的定位精度。在建立特征點維度轉(zhuǎn)換模型時，首先采集多個人臉的二維人臉圖像和對應(yīng)的三維人臉圖像(訓(xùn)練樣本)，并對應(yīng)標注出二維人臉圖像和對應(yīng)三維人臉圖像中的人臉關(guān)鍵特征點，以二維人臉圖像和三維人臉圖像中的人臉關(guān)鍵特征點的坐標作為輸入，構(gòu)建出一特征點維度轉(zhuǎn)換模型X = f(u)，其中，U為二維人臉圖像中人臉關(guān)鍵特征點的坐標，X為三維人臉圖像中人臉關(guān)鍵特征點的坐標。優(yōu)選地，X = f (U)表示為 X = MU，其中，X = (X1, Y1, Z1, X2, y2, z2,…，xn, yn, zn)，(Xi, y” Zi)T是第i個關(guān)鍵點的三維坐標，U= (U1, V1, u2, v2,…，un, vn)T，(Ui, Vi)是第i個關(guān)鍵點的二維坐標，M為預(yù)設(shè)的一 3nX2n的矩陣。當(dāng)然，X = f (U)除了可以是如前所述的X = MU線性模型，還可以是其他模型，如支持向量機模型、神經(jīng)網(wǎng)絡(luò)模型等。
[0033]在本發(fā)明實施例中，通過轉(zhuǎn)換矩陣M將人臉關(guān)鍵特征點的三維位置坐標和二維位置坐標結(jié)合起來，為實現(xiàn)對人臉關(guān)鍵特征點的精確定位提供了基礎(chǔ)。
[0034]在步驟S202中，通過特征點維度轉(zhuǎn)換模型計算二維位置坐標對應(yīng)的人臉關(guān)鍵特征點的三維位置坐標。
[0035]在步驟S203中，將三維位置坐標投影到二維人臉圖像上，獲取三維位置在二維人臉圖像上的估計坐標。
[0036]在本發(fā)明實施例中，將計算得到的三維位置坐標投影到二維人臉圖像，具體地，投影時可采用通用的相機成像模型，以簡化三維位置坐標到二維人臉圖像中二維位置估計坐標的轉(zhuǎn)換，提尚定位速度。
[0037]在步驟S204中，通過估計坐標和二維位置坐標計算人臉關(guān)鍵特征點的定位精度。
[0038]在本發(fā)明實施例中，優(yōu)選地，可通過計算每兩個最接近的坐標的距離來計算定位精度，從而簡化定位精度計算復(fù)雜度，進一步提高定位速度。當(dāng)然，也可以采用其他方式確定定位精度。
[0039]在步驟S205中，當(dāng)定位精度小于一預(yù)設(shè)閾值時，將二維位置坐標在二維人臉圖像中對應(yīng)的像素點設(shè)置為二維人臉圖像的人臉關(guān)鍵特征點。
[0040]在本發(fā)明實施中，可預(yù)設(shè)一預(yù)設(shè)閾值，以根據(jù)不同應(yīng)用情景要求，設(shè)置對應(yīng)的定位精度。當(dāng)定位精度小于該預(yù)設(shè)閾值時，將二維位置坐標在二維人臉圖像中對應(yīng)的像素點設(shè)置為二維人臉圖像的人臉關(guān)鍵特征點，從而完成二維人臉圖像的人臉關(guān)鍵特征點的定位。
[0041]在本發(fā)明實施例中，利用三維位置坐標對人臉關(guān)鍵特征點的二維位置坐標進行的準確度進行判斷，當(dāng)定位精度小于一預(yù)設(shè)閾值時，將二維位置坐標在二維人臉圖像中對應(yīng)的像素點設(shè)置為二維人臉圖像的人臉關(guān)鍵特征點，從而結(jié)合二維人臉圖像和三維人臉圖像中的人臉關(guān)鍵特征點確定最終的人臉關(guān)鍵特征點，實現(xiàn)對人臉關(guān)鍵特征點的精確定位。
[0042]實施例二:
[0043]圖3示出了本發(fā)明實施例二提供的語音會議會場建立方法的實現(xiàn)流程，詳述如下:
[0044]在步驟S301中，接收輸入的二維人臉圖像，使用預(yù)設(shè)的人臉關(guān)鍵特征點獲取算法獲取人臉關(guān)鍵特征點的二維位置坐標，將二維位置坐標輸入到預(yù)先建立的特征點維度轉(zhuǎn)換模型。
[0045]在步驟S302中，通過特征點維度轉(zhuǎn)換模型計算二維位置坐標對應(yīng)的人臉關(guān)鍵特征點的三維位置坐標。
[0046]在步驟S303中，將三維位置坐標投影到二維人臉圖像上，獲取三維位置在所述二維人臉圖像上的估計坐標。
[0047]在步驟S304中，通過估計坐標和二維位置坐標計算人臉關(guān)鍵特征點的定位精度。
[0048]在本發(fā)明實施例中，步驟S301至S304與實施例一中的步驟S201至204對應(yīng)相同，在此不再贅述。
[0049]在步驟S305中，判斷計算得到的定位精度是否小于一預(yù)設(shè)閾值，是則跳轉(zhuǎn)至步驟S306，否則跳轉(zhuǎn)至步驟S307。
[0050]在步驟S306中，當(dāng)定位精度小于該預(yù)設(shè)閾值時，將二維位置坐標在二維人臉圖像中對應(yīng)的像素點設(shè)置為二維人臉圖像的人臉關(guān)鍵特征點。
[0051]在步驟S307中，當(dāng)定位精度不小于該預(yù)設(shè)閾值時，將估計