一種人臉關(guān)鍵點(diǎn)定位方法及裝置的制造方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及圖像處理技術(shù)領(lǐng)域,特別涉及一種人臉關(guān)鍵點(diǎn)定位方法及裝置。
【背景技術(shù)】
[0002] 現(xiàn)在隨著人臉視頻以及圖像數(shù)據(jù)呈爆炸性增長,依靠人工來一張一張的來做人臉 關(guān)鍵點(diǎn)的定位已經(jīng)不太現(xiàn)實(shí)。然而,人臉關(guān)鍵點(diǎn)定位是人臉性別、年齡以及身份識別任務(wù)中 的核心組成部分。為了在識別過程中提取到有效的高維特征,必須需要精確的在人臉的關(guān) 鍵部位一眼睛,鼻子,嘴等地方進(jìn)行定位。
[0003] 現(xiàn)有技術(shù)的實(shí)現(xiàn)過程中,由于實(shí)際應(yīng)用中采集的人臉圖像或者視頻是在無約束的 情況采集到的,于是圖像或者視頻中的人臉往往存在大姿態(tài)的偏移、光照條件不一、以及部 分被遮擋等情況。這對于現(xiàn)有的人臉關(guān)鍵點(diǎn)定位算法是一個(gè)很大的挑戰(zhàn)。
[0004] 設(shè)人臉的形狀S= [xl,yl,. . .,xNfp,yNfp]T由N個(gè)關(guān)鍵點(diǎn)組成。給定一張人臉 圖像,人臉關(guān)鍵點(diǎn)定位的目標(biāo)就是估計(jì)形狀S,使得估計(jì)后的形狀S與人臉圖像的真實(shí)形狀 J盡量的接近,即:最小化
[0005] II夕II2
[0006] 因此,在發(fā)明人實(shí)現(xiàn)人臉關(guān)鍵點(diǎn)定位的過程中,發(fā)現(xiàn)現(xiàn)有技術(shù)中至少存在如下問 題:
[0007] 現(xiàn)有技術(shù)中的人臉關(guān)鍵點(diǎn)定位算法對于初始待估計(jì)的S過于敏感。當(dāng)初始的待估 計(jì)形狀選得好的時(shí)候,最終利用的模型預(yù)測出的待估計(jì)形狀就會好;如果初始待估計(jì)形狀 選得差的話,那么最終預(yù)測的待估計(jì)形狀就會差。在實(shí)際預(yù)測待估計(jì)的形狀S時(shí),初始待估 計(jì)形狀S是隨機(jī)選取的,因此無法保證選取好壞。雖然在實(shí)現(xiàn)過程中要重復(fù)5次選取初始 待估計(jì)的S來提高預(yù)測結(jié)果的魯棒性,但是這大大降低了計(jì)算速度,并且魯棒性并未能達(dá) 到實(shí)際應(yīng)用的要求;且現(xiàn)有技術(shù)中的對最終估計(jì)的結(jié)果并未給出一個(gè)明確的指標(biāo)來表示估 計(jì)是否成功。
【發(fā)明內(nèi)容】
[0008] 鑒于上述問題,提出了本發(fā)明以便提供一種人臉關(guān)鍵點(diǎn)定位方法、裝置及系統(tǒng)克 服上述問題或者至少部分地解決上述問題的,本發(fā)明的技術(shù)方案是這樣實(shí)現(xiàn)的:
[0009] -方面,本發(fā)明提供了一種人臉關(guān)鍵點(diǎn)定位方法,包括:
[0010] 獲取待識別人臉圖像;
[0011] 對所述待識別人臉圖像進(jìn)行初始化關(guān)鍵點(diǎn);
[0012] 通過顯示形狀回歸預(yù)測模型,對所述待識別人臉圖像的初始關(guān)鍵點(diǎn)進(jìn)行位置調(diào) 整,確定所述待識別人臉圖像的關(guān)鍵點(diǎn)位置;
[0013] 通過后驗(yàn)分類器判斷所述關(guān)鍵點(diǎn)位置是否成功,發(fā)送判斷結(jié)果。
[0014] 優(yōu)選地,所述初始化關(guān)鍵點(diǎn)是指平均臉的關(guān)鍵點(diǎn)位置;所述平均臉是指顯示形狀 回歸預(yù)測模型中所有人臉樣本關(guān)鍵點(diǎn)位置向量的平均值。
[0015] 優(yōu)選地,該方法還包括:
[0016] 獲取所述顯示形狀回歸預(yù)測模型的訓(xùn)練樣本圖像;
[0017] 從所述訓(xùn)練樣本圖像中選取初始待估計(jì)形狀;
[0018] 將所述初始待估計(jì)形狀進(jìn)行隨機(jī)相似度變換,獲取初始待估計(jì)訓(xùn)練樣本;
[0019] 將所述初始待估計(jì)訓(xùn)練樣本進(jìn)行級聯(lián)姿態(tài)回歸訓(xùn)練,獲取所述顯示形狀回歸預(yù)測 模型。
[0020] 優(yōu)選地,所述將所述初始待估計(jì)訓(xùn)練樣本進(jìn)行級聯(lián)姿態(tài)回歸訓(xùn)練,獲取所述顯示 形狀回歸預(yù)測模型步驟包括:
[0021] 預(yù)設(shè)所述顯示形狀回歸預(yù)測模型中初始待估計(jì)訓(xùn)練樣本關(guān)鍵點(diǎn)偏差閾值;
[0022] 如果所述顯示形狀回歸預(yù)測模型中初始待估計(jì)訓(xùn)練樣本中關(guān)鍵點(diǎn)的偏差超過所 述關(guān)鍵點(diǎn)偏差閾值,則將所述初始待估計(jì)訓(xùn)練樣本記錄為負(fù)樣本;
[0023] 如果所述顯示形狀回歸預(yù)測模型中初始待估計(jì)訓(xùn)練樣本中關(guān)鍵點(diǎn)的偏差未超過 所述關(guān)鍵點(diǎn)偏差閾值,則將所述初始待估計(jì)訓(xùn)練樣本添加到所述顯示形狀回歸預(yù)測模型 中,記錄為正樣本。
[0024] 優(yōu)選地,該方法還包括:
[0025] 獲取所述正樣本圖像集合和負(fù)樣本圖像集合;
[0026] 將所述正樣本圖像集合和負(fù)樣本圖像集合分別通過尺度不變特征轉(zhuǎn)換,獲取對應(yīng) 的局部特征;
[0027] 將所述正樣本圖像集合和負(fù)樣本圖像集合分別對應(yīng)的局部特征,進(jìn)行分類,獲取 所述后驗(yàn)分類器。
[0028] 另一方面,本發(fā)明提供了一種人臉關(guān)鍵點(diǎn)定位裝置,包括:
[0029] 圖像獲取單元,用獲取待識別人臉圖像;
[0030] 初始化單元,用于對所述待識別人臉圖像進(jìn)行初始化關(guān)鍵點(diǎn);
[0031] 關(guān)鍵點(diǎn)定位單元,用于通過顯示形狀回歸預(yù)測模型,對所述待識別人臉圖像的初 始關(guān)鍵點(diǎn)進(jìn)行位置調(diào)整,確定所述待識別人臉圖像的關(guān)鍵點(diǎn)位置;
[0032] 定位判斷單元,用于通過后驗(yàn)分類器判斷所述關(guān)鍵點(diǎn)位置是否成功,發(fā)送判斷結(jié) 果。
[0033] 本發(fā)明提供的技術(shù)方案與現(xiàn)有技術(shù)相比,通過對所述待識別人臉圖像進(jìn)行初始化 關(guān)鍵點(diǎn),由顯示形狀回歸預(yù)測模型,對所述待識別人臉圖像的初始關(guān)鍵點(diǎn)進(jìn)行位置調(diào)整,確 定所述待識別人臉圖像的關(guān)鍵點(diǎn)位置;通過后驗(yàn)分類器判斷所述關(guān)鍵點(diǎn)位置是否成功,發(fā) 送判斷結(jié)果,使得人臉關(guān)鍵點(diǎn)定位的預(yù)測結(jié)果魯棒性好,速度較快,且通過后驗(yàn)分類器的判 斷指示最終估計(jì)結(jié)果是否成功。
【附圖說明】
[0034]圖1為本發(fā)明實(shí)施例提供的一種人臉關(guān)鍵點(diǎn)定位方法流程圖;
[0035]圖2為本發(fā)明實(shí)施例提供的一種人臉關(guān)鍵點(diǎn)定位裝置結(jié)構(gòu)示意圖。
【具體實(shí)施方式】
[0036] 為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚,下面將結(jié)合附圖對本發(fā)明實(shí)施方 式作進(jìn)一步地詳細(xì)描述。
[0037] 如圖1為所示為本發(fā)明實(shí)施例提供的一種人臉關(guān)鍵點(diǎn)定位方法;該方法包括:
[0038] 步驟101 :獲取待識別人臉圖像;
[0039] 步驟102 :對所述待識別人臉圖像進(jìn)行初始化關(guān)鍵點(diǎn);
[0040] 步驟103 :通過顯示形狀回歸預(yù)測模型,對所述待識別人臉圖像的初始關(guān)鍵點(diǎn)進(jìn) 行位置調(diào)整,確定所述待識別人臉圖像的關(guān)鍵點(diǎn)位置;
[0041] 步驟104:通過后驗(yàn)分類器判斷所述關(guān)鍵點(diǎn)位置是否成功,發(fā)送判斷結(jié)果。
[0042] 需要說明的是,所述初始化關(guān)鍵點(diǎn)是指平均臉的關(guān)鍵點(diǎn)位置;所述平均臉是指顯 示形狀回歸預(yù)測模型中所有人臉樣本關(guān)鍵點(diǎn)位置向量的平均值。
[0043] 還需要說明的是,所述顯示形狀回歸預(yù)測模型的訓(xùn)練過程如下:
[0044] 獲取所述顯示形狀回歸預(yù)測模型的訓(xùn)練樣本圖像;
[0045] 從所述訓(xùn)練樣本圖像中選取初始待估計(jì)形狀;
[0046] 將所述初始待估計(jì)形狀進(jìn)行隨機(jī)相似度變換,獲取初始待估計(jì)訓(xùn)練樣本;步驟所 做的隨機(jī)相似度變換是用來增加擾動(dòng)性,保證最終訓(xùn)練結(jié)果的收斂性以及對于初始待估計(jì) 形狀的魯棒性。經(jīng)過驗(yàn)證,初始待估計(jì)形狀的選取過程為:對于訓(xùn)練樣本圖像的一張人臉圖 像,首先選取10個(gè)其他人臉圖像的真實(shí)形狀作為此圖像的其中10個(gè)初始待估計(jì)形狀;然 后,再選取10個(gè)其他人臉圖像,分別將這10個(gè)人臉進(jìn)行相似度變換;所述相似度變換至少 包括:尺度縮小或者放大在〇. 7~1. 3倍比例之間,偏移在一 100/6~100/6像素即人臉框 統(tǒng)一到100像素下,旋轉(zhuǎn)角度在一PI/6~PI/6之一。所述相似度變換在保證了收斂的同 時(shí),增加了回歸模型擬合的難度,從而降低了顯示形狀回歸預(yù)測模型階段對于初始待估計(jì) 形狀選取的敏感度。
[0047] 將所述初始待估計(jì)訓(xùn)練樣本進(jìn)行級聯(lián)姿態(tài)回歸訓(xùn)練,獲取所述顯示形狀回歸預(yù)測 模型。該步驟中,還可以包括:預(yù)設(shè)所述顯示形狀回歸預(yù)測模型中初始待估計(jì)訓(xùn)練樣本關(guān)鍵 點(diǎn)偏差閾值;如果所述顯示形狀回歸預(yù)測模型中初始待估計(jì)訓(xùn)練樣本中關(guān)鍵點(diǎn)的偏差超過 所述關(guān)鍵點(diǎn)偏差閾值,則將所述初始待估計(jì)訓(xùn)練樣本記錄為負(fù)樣本;如果所述顯示形狀回 歸預(yù)測模型中初始待估計(jì)訓(xùn)練樣本中關(guān)鍵點(diǎn)的偏差未超過所述關(guān)鍵點(diǎn)偏差閾值,則將所述 初始待估計(jì)訓(xùn)練樣本添加到所述顯示形狀回歸預(yù)測模型中,記錄為正樣本。所述偏差閾值 具體根據(jù)實(shí)際的情況進(jìn)行設(shè)置,例如:對于現(xiàn)在選用的27個(gè)關(guān)鍵點(diǎn)的形狀,如果其中有2個(gè) 關(guān)鍵點(diǎn)的偏差超過5個(gè)像素或者有12個(gè)關(guān)鍵點(diǎn)的偏差超過3個(gè)像素即人臉框統(tǒng)一到100 像素,那么判定此次估計(jì)的形狀為負(fù)樣本,否則為正樣本。
[0048] 還需要說明的是,所示后驗(yàn)分類器的訓(xùn)練過程如下:
[0049] 獲取所述正樣本圖像集合和負(fù)樣本圖像集合,例如:以上所述確定的正樣本為2 萬張和負(fù)樣本2萬張;
[0050] 將所述正樣本圖像集合和負(fù)樣本圖像集合分別通過尺度不變特征轉(zhuǎn)換(Scale- invariantfeaturetransform,簡稱SIFT),獲取對應(yīng)的局部特征;
[0051] 將所述正樣本圖像集合和負(fù)樣本圖像集合分別對應(yīng)的局部特征,進(jìn)行分類,獲取 所述后驗(yàn)分類器P〇st_classifier。
[0052]基于以上實(shí)施例,請將以下實(shí)施例按照人臉關(guān)鍵點(diǎn)定位的過程進(jìn)行詳細(xì)說明;設(shè) 訓(xùn)練樣本為8出叩匕={1;,36;/,幻,這里,11指訓(xùn)練集中的第1張圖像,3 61指此圖像對應(yīng)的 待估計(jì)形狀,虞指此圖像對應(yīng)的真實(shí)形狀。
[0053] 獲取一張人臉圖像,從所有訓(xùn)練圖像中選取其它圖像的20個(gè)形狀^作為此圖像 的初始待估計(jì)形狀{S&...,S&am