一種人臉關(guān)鍵點(diǎn)定位方法及裝置的制造方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，特別涉及一種人臉關(guān)鍵點(diǎn)定位方法及裝置。
【背景技術(shù)】
[0002] 現(xiàn)在隨著人臉視頻以及圖像數(shù)據(jù)呈爆炸性增長，依靠人工來一張一張的來做人臉 關(guān)鍵點(diǎn)的定位已經(jīng)不太現(xiàn)實(shí)。然而，人臉關(guān)鍵點(diǎn)定位是人臉性別、年齡以及身份識別任務(wù)中 的核心組成部分。為了在識別過程中提取到有效的高維特征，必須需要精確的在人臉的關(guān) 鍵部位一眼睛，鼻子，嘴等地方進(jìn)行定位。
[0003] 現(xiàn)有技術(shù)的實(shí)現(xiàn)過程中，由于實(shí)際應(yīng)用中采集的人臉圖像或者視頻是在無約束的 情況采集到的，于是圖像或者視頻中的人臉往往存在大姿態(tài)的偏移、光照條件不一、以及部 分被遮擋等情況。這對于現(xiàn)有的人臉關(guān)鍵點(diǎn)定位算法是一個(gè)很大的挑戰(zhàn)。
[0004] 設(shè)人臉的形狀S= [xl，yl，. . .，xNfp，yNfp]T由N個(gè)關(guān)鍵點(diǎn)組成。給定一張人臉 圖像，人臉關(guān)鍵點(diǎn)定位的目標(biāo)就是估計(jì)形狀S，使得估計(jì)后的形狀S與人臉圖像的真實(shí)形狀 J盡量的接近，即：最小化
[0005] II夕II2
[0006] 因此，在發(fā)明人實(shí)現(xiàn)人臉關(guān)鍵點(diǎn)定位的過程中，發(fā)現(xiàn)現(xiàn)有技術(shù)中至少存在如下問 題：
[0007] 現(xiàn)有技術(shù)中的人臉關(guān)鍵點(diǎn)定位算法對于初始待估計(jì)的S過于敏感。當(dāng)初始的待估 計(jì)形狀選得好的時(shí)候，最終利用的模型預(yù)測出的待估計(jì)形狀就會好；如果初始待估計(jì)形狀 選得差的話，那么最終預(yù)測的待估計(jì)形狀就會差。在實(shí)際預(yù)測待估計(jì)的形狀S時(shí)，初始待估 計(jì)形狀S是隨機(jī)選取的，因此無法保證選取好壞。雖然在實(shí)現(xiàn)過程中要重復(fù)5次選取初始 待估計(jì)的S來提高預(yù)測結(jié)果的魯棒性，但是這大大降低了計(jì)算速度，并且魯棒性并未能達(dá) 到實(shí)際應(yīng)用的要求；且現(xiàn)有技術(shù)中的對最終估計(jì)的結(jié)果并未給出一個(gè)明確的指標(biāo)來表示估 計(jì)是否成功。

【發(fā)明內(nèi)容】

[0008] 鑒于上述問題，提出了本發(fā)明以便提供一種人臉關(guān)鍵點(diǎn)定位方法、裝置及系統(tǒng)克 服上述問題或者至少部分地解決上述問題的，本發(fā)明的技術(shù)方案是這樣實(shí)現(xiàn)的：
[0009] -方面，本發(fā)明提供了一種人臉關(guān)鍵點(diǎn)定位方法，包括：
[0010] 獲取待識別人臉圖像；
[0011] 對所述待識別人臉圖像進(jìn)行初始化關(guān)鍵點(diǎn)；
[0012] 通過顯示形狀回歸預(yù)測模型，對所述待識別人臉圖像的初始關(guān)鍵點(diǎn)進(jìn)行位置調(diào) 整，確定所述待識別人臉圖像的關(guān)鍵點(diǎn)位置；
[0013] 通過后驗(yàn)分類器判斷所述關(guān)鍵點(diǎn)位置是否成功，發(fā)送判斷結(jié)果。
[0014] 優(yōu)選地，所述初始化關(guān)鍵點(diǎn)是指平均臉的關(guān)鍵點(diǎn)位置；所述平均臉是指顯示形狀 回歸預(yù)測模型中所有人臉樣本關(guān)鍵點(diǎn)位置向量的平均值。
[0015] 優(yōu)選地，該方法還包括：
[0016] 獲取所述顯示形狀回歸預(yù)測模型的訓(xùn)練樣本圖像；
[0017] 從所述訓(xùn)練樣本圖像中選取初始待估計(jì)形狀；
[0018] 將所述初始待估計(jì)形狀進(jìn)行隨機(jī)相似度變換，獲取初始待估計(jì)訓(xùn)練樣本；
[0019] 將所述初始待估計(jì)訓(xùn)練樣本進(jìn)行級聯(lián)姿態(tài)回歸訓(xùn)練，獲取所述顯示形狀回歸預(yù)測 模型。
[0020] 優(yōu)選地，所述將所述初始待估計(jì)訓(xùn)練樣本進(jìn)行級聯(lián)姿態(tài)回歸訓(xùn)練，獲取所述顯示 形狀回歸預(yù)測模型步驟包括：
[0021] 預(yù)設(shè)所述顯示形狀回歸預(yù)測模型中初始待估計(jì)訓(xùn)練樣本關(guān)鍵點(diǎn)偏差閾值；
[0022] 如果所述顯示形狀回歸預(yù)測模型中初始待估計(jì)訓(xùn)練樣本中關(guān)鍵點(diǎn)的偏差超過所 述關(guān)鍵點(diǎn)偏差閾值，則將所述初始待估計(jì)訓(xùn)練樣本記錄為負(fù)樣本；
[0023] 如果所述顯示形狀回歸預(yù)測模型中初始待估計(jì)訓(xùn)練樣本中關(guān)鍵點(diǎn)的偏差未超過 所述關(guān)鍵點(diǎn)偏差閾值，則將所述初始待估計(jì)訓(xùn)練樣本添加到所述顯示形狀回歸預(yù)測模型 中，記錄為正樣本。
[0024] 優(yōu)選地，該方法還包括：
[0025] 獲取所述正樣本圖像集合和負(fù)樣本圖像集合；
[0026] 將所述正樣本圖像集合和負(fù)樣本圖像集合分別通過尺度不變特征轉(zhuǎn)換，獲取對應(yīng) 的局部特征；
[0027] 將所述正樣本圖像集合和負(fù)樣本圖像集合分別對應(yīng)的局部特征，進(jìn)行分類，獲取 所述后驗(yàn)分類器。
[0028] 另一方面，本發(fā)明提供了一種人臉關(guān)鍵點(diǎn)定位裝置，包括：
[0029] 圖像獲取單元，用獲取待識別人臉圖像；
[0030] 初始化單元，用于對所述待識別人臉圖像進(jìn)行初始化關(guān)鍵點(diǎn)；
[0031] 關(guān)鍵點(diǎn)定位單元，用于通過顯示形狀回歸預(yù)測模型，對所述待識別人臉圖像的初 始關(guān)鍵點(diǎn)進(jìn)行位置調(diào)整，確定所述待識別人臉圖像的關(guān)鍵點(diǎn)位置；
[0032] 定位判斷單元，用于通過后驗(yàn)分類器判斷所述關(guān)鍵點(diǎn)位置是否成功，發(fā)送判斷結(jié) 果。
[0033] 本發(fā)明提供的技術(shù)方案與現(xiàn)有技術(shù)相比，通過對所述待識別人臉圖像進(jìn)行初始化 關(guān)鍵點(diǎn)，由顯示形狀回歸預(yù)測模型，對所述待識別人臉圖像的初始關(guān)鍵點(diǎn)進(jìn)行位置調(diào)整，確 定所述待識別人臉圖像的關(guān)鍵點(diǎn)位置；通過后驗(yàn)分類器判斷所述關(guān)鍵點(diǎn)位置是否成功，發(fā) 送判斷結(jié)果，使得人臉關(guān)鍵點(diǎn)定位的預(yù)測結(jié)果魯棒性好，速度較快，且通過后驗(yàn)分類器的判 斷指示最終估計(jì)結(jié)果是否成功。
【附圖說明】
[0034]圖1為本發(fā)明實(shí)施例提供的一種人臉關(guān)鍵點(diǎn)定位方法流程圖；
[0035]圖2為本發(fā)明實(shí)施例提供的一種人臉關(guān)鍵點(diǎn)定位裝置結(jié)構(gòu)示意圖。
【具體實(shí)施方式】
[0036] 為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面將結(jié)合附圖對本發(fā)明實(shí)施方 式作進(jìn)一步地詳細(xì)描述。
[0037] 如圖1為所示為本發(fā)明實(shí)施例提供的一種人臉關(guān)鍵點(diǎn)定位方法；該方法包括：
[0038] 步驟101 :獲取待識別人臉圖像；
[0039] 步驟102 :對所述待識別人臉圖像進(jìn)行初始化關(guān)鍵點(diǎn)；
[0040] 步驟103 :通過顯示形狀回歸預(yù)測模型，對所述待識別人臉圖像的初始關(guān)鍵點(diǎn)進(jìn) 行位置調(diào)整，確定所述待識別人臉圖像的關(guān)鍵點(diǎn)位置；
[0041] 步驟104:通過后驗(yàn)分類器判斷所述關(guān)鍵點(diǎn)位置是否成功，發(fā)送判斷結(jié)果。
[0042] 需要說明的是，所述初始化關(guān)鍵點(diǎn)是指平均臉的關(guān)鍵點(diǎn)位置；所述平均臉是指顯 示形狀回歸預(yù)測模型中所有人臉樣本關(guān)鍵點(diǎn)位置向量的平均值。
[0043] 還需要說明的是，所述顯示形狀回歸預(yù)測模型的訓(xùn)練過程如下：
[0044] 獲取所述顯示形狀回歸預(yù)測模型的訓(xùn)練樣本圖像；
[0045] 從所述訓(xùn)練樣本圖像中選取初始待估計(jì)形狀；
[0046] 將所述初始待估計(jì)形狀進(jìn)行隨機(jī)相似度變換，獲取初始待估計(jì)訓(xùn)練樣本；步驟所 做的隨機(jī)相似度變換是用來增加擾動(dòng)性，保證最終訓(xùn)練結(jié)果的收斂性以及對于初始待估計(jì) 形狀的魯棒性。經(jīng)過驗(yàn)證，初始待估計(jì)形狀的選取過程為：對于訓(xùn)練樣本圖像的一張人臉圖 像，首先選取10個(gè)其他人臉圖像的真實(shí)形狀作為此圖像的其中10個(gè)初始待估計(jì)形狀；然 后，再選取10個(gè)其他人臉圖像，分別將這10個(gè)人臉進(jìn)行相似度變換；所述相似度變換至少 包括：尺度縮小或者放大在〇. 7~1. 3倍比例之間，偏移在一 100/6~100/6像素即人臉框 統(tǒng)一到100像素下，旋轉(zhuǎn)角度在一PI/6~PI/6之一。所述相似度變換在保證了收斂的同 時(shí)，增加了回歸模型擬合的難度，從而降低了顯示形狀回歸預(yù)測模型階段對于初始待估計(jì) 形狀選取的敏感度。
[0047] 將所述初始待估計(jì)訓(xùn)練樣本進(jìn)行級聯(lián)姿態(tài)回歸訓(xùn)練，獲取所述顯示形狀回歸預(yù)測 模型。該步驟中，還可以包括：預(yù)設(shè)所述顯示形狀回歸預(yù)測模型中初始待估計(jì)訓(xùn)練樣本關(guān)鍵 點(diǎn)偏差閾值；如果所述顯示形狀回歸預(yù)測模型中初始待估計(jì)訓(xùn)練樣本中關(guān)鍵點(diǎn)的偏差超過 所述關(guān)鍵點(diǎn)偏差閾值，則將所述初始待估計(jì)訓(xùn)練樣本記錄為負(fù)樣本；如果所述顯示形狀回 歸預(yù)測模型中初始待估計(jì)訓(xùn)練樣本中關(guān)鍵點(diǎn)的偏差未超過所述關(guān)鍵點(diǎn)偏差閾值，則將所述 初始待估計(jì)訓(xùn)練樣本添加到所述顯示形狀回歸預(yù)測模型中，記錄為正樣本。所述偏差閾值 具體根據(jù)實(shí)際的情況進(jìn)行設(shè)置，例如：對于現(xiàn)在選用的27個(gè)關(guān)鍵點(diǎn)的形狀，如果其中有2個(gè) 關(guān)鍵點(diǎn)的偏差超過5個(gè)像素或者有12個(gè)關(guān)鍵點(diǎn)的偏差超過3個(gè)像素即人臉框統(tǒng)一到100 像素，那么判定此次估計(jì)的形狀為負(fù)樣本，否則為正樣本。
[0048] 還需要說明的是，所示后驗(yàn)分類器的訓(xùn)練過程如下：
[0049] 獲取所述正樣本圖像集合和負(fù)樣本圖像集合，例如：以上所述確定的正樣本為2 萬張和負(fù)樣本2萬張；
[0050] 將所述正樣本圖像集合和負(fù)樣本圖像集合分別通過尺度不變特征轉(zhuǎn)換（Scale- invariantfeaturetransform，簡稱SIFT)，獲取對應(yīng)的局部特征；
[0051] 將所述正樣本圖像集合和負(fù)樣本圖像集合分別對應(yīng)的局部特征，進(jìn)行分類，獲取 所述后驗(yàn)分類器P〇st_classifier。
[0052]基于以上實(shí)施例，請將以下實(shí)施例按照人臉關(guān)鍵點(diǎn)定位的過程進(jìn)行詳細(xì)說明；設(shè) 訓(xùn)練樣本為8出叩匕={1;,36；/,幻，這里，11指訓(xùn)練集中的第1張圖像，3 61指此圖像對應(yīng)的 待估計(jì)形狀，虞指此圖像對應(yīng)的真實(shí)形狀。
[0053] 獲取一張人臉圖像，從所有訓(xùn)練圖像中選取其它圖像的20個(gè)形狀^作為此圖像 的初始待估計(jì)形狀{S&...，S&am