一種基于級(jí)聯(lián)神經(jīng)網(wǎng)絡(luò)的人臉關(guān)鍵點(diǎn)檢測(cè)方法
【專利摘要】本發(fā)明涉及一種基于級(jí)聯(lián)神經(jīng)網(wǎng)絡(luò)的人臉關(guān)鍵點(diǎn)檢測(cè)方法，其步驟包括：a)建立訓(xùn)練用人臉圖像集，標(biāo)注需要檢測(cè)的關(guān)鍵點(diǎn)位置；b)構(gòu)建第一層深度神經(jīng)網(wǎng)絡(luò)并訓(xùn)練人臉區(qū)域估計(jì)模型；c)構(gòu)建第二層深度神經(jīng)網(wǎng)絡(luò)，做人臉關(guān)鍵點(diǎn)初步檢測(cè)；d)對(duì)內(nèi)臉區(qū)域繼續(xù)做局部區(qū)域劃分；e)對(duì)每個(gè)局部區(qū)域分別構(gòu)建第三層深度神經(jīng)網(wǎng)絡(luò)；f)對(duì)每個(gè)局部區(qū)域估計(jì)其旋轉(zhuǎn)角度；g)按照估計(jì)的旋轉(zhuǎn)角度做矯正；h)對(duì)每個(gè)局部區(qū)域的矯正數(shù)據(jù)集構(gòu)建第四層深度神經(jīng)網(wǎng)絡(luò)；i)任給一張新的人臉圖像，采用上述四層深度神經(jīng)網(wǎng)絡(luò)模型進(jìn)行關(guān)鍵點(diǎn)檢測(cè)，得到最終的人臉關(guān)鍵點(diǎn)檢測(cè)結(jié)果。本發(fā)明有效地提高了人臉關(guān)鍵點(diǎn)檢測(cè)，尤其是密集人臉關(guān)鍵點(diǎn)檢測(cè)的準(zhǔn)確性和實(shí)時(shí)性。
【專利說(shuō)明】—種基于級(jí)聯(lián)神經(jīng)網(wǎng)絡(luò)的人臉關(guān)鍵點(diǎn)檢測(cè)方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于數(shù)字圖像處理及人臉識(shí)別【技術(shù)領(lǐng)域】，具體涉及一種基于級(jí)聯(lián)神經(jīng)網(wǎng)絡(luò)的人臉關(guān)鍵點(diǎn)檢測(cè)方法。
【背景技術(shù)】
[0002]人臉關(guān)鍵點(diǎn)檢測(cè)(facial landmark detection),即給定一張人臉圖片，要從中準(zhǔn)確定位出一系列關(guān)鍵點(diǎn)(如瞳孔，眼角，眉角，嘴角，唇沿等等)的位置。人臉關(guān)鍵點(diǎn)檢測(cè)作為人臉對(duì)齊前最重要的一步，它將很大程度影響到人臉識(shí)別/分析/搜索系統(tǒng)的整體性能。
[0003]傳統(tǒng)的人臉關(guān)鍵點(diǎn)檢測(cè)算法主要可以分為兩類:第一類將每個(gè)關(guān)鍵點(diǎn)作為獨(dú)立的部分，每一個(gè)關(guān)鍵點(diǎn)根據(jù)其局部特征單獨(dú)訓(xùn)練檢測(cè)器；第二類將所有關(guān)鍵點(diǎn)放在一起訓(xùn)練，重點(diǎn)考慮關(guān)鍵點(diǎn)之間的相對(duì)位置關(guān)系，最后得到一個(gè)全局最優(yōu)解。然而在實(shí)際應(yīng)用中，這兩類算法都有著自己極大的缺陷:1)對(duì)第一類算法，由于每個(gè)關(guān)鍵點(diǎn)被單獨(dú)檢測(cè)，人臉的全局幾何信息被完全忽略了，這使得其對(duì)細(xì)微擾動(dòng)非常敏感，對(duì)光照變化、姿態(tài)變化等都不夠魯邦。此外，該算法的時(shí)間復(fù)雜程度和關(guān)鍵點(diǎn)的個(gè)數(shù)成正比，待檢測(cè)的關(guān)鍵點(diǎn)越多，所需的檢測(cè)器就越多，這使得其在較密(60點(diǎn)+)關(guān)鍵點(diǎn)的應(yīng)用中很難實(shí)施；2)而對(duì)第二類算法，由于人臉不同關(guān)鍵點(diǎn)的檢測(cè)難度不同(例如，眼睛附近的關(guān)鍵點(diǎn)要遠(yuǎn)比人臉輪廓上的關(guān)鍵點(diǎn)簡(jiǎn)單，因?yàn)檠劬Ω浇卣髅黠@且不易受姿態(tài)變化影響)，用一個(gè)模型去求解所有關(guān)鍵點(diǎn)的位置往往會(huì)得出一個(gè)折中的結(jié)果，即那些比較容易的關(guān)鍵點(diǎn)被比較難的點(diǎn)所“拖累”，而其實(shí)它們單獨(dú)做本可以做的更好。同時(shí)，這類算法使用了大量的冗余信息，就像用嘴和鼻子附近的特征去檢測(cè)眼睛的關(guān)鍵點(diǎn)，這其實(shí)浪費(fèi)了許多計(jì)算資源。

【發(fā)明內(nèi)容】

[0004]本發(fā)明針對(duì)上述問(wèn)題，提供一種基于級(jí)聯(lián)神經(jīng)網(wǎng)絡(luò)的人臉關(guān)鍵點(diǎn)檢測(cè)方法，能夠有效地提高人臉關(guān)鍵點(diǎn)檢測(cè)，尤其是密集人臉關(guān)鍵點(diǎn)檢測(cè)的準(zhǔn)確性和實(shí)時(shí)性。
[0005]為實(shí)現(xiàn)上述目的，本發(fā)明采用的技術(shù)方案如下:
[0006]一種基于級(jí)聯(lián)神經(jīng)網(wǎng)絡(luò)的人臉關(guān)鍵點(diǎn)檢測(cè)方法，其步驟包括:
[0007]a)建立訓(xùn)練用人臉圖像集，對(duì)其中每一張人臉標(biāo)注需要檢測(cè)的關(guān)鍵點(diǎn)位置；
[0008]b)構(gòu)建第一層深度神經(jīng)網(wǎng)絡(luò)并訓(xùn)練人臉區(qū)域估計(jì)模型，此模型中任一張人臉被分為內(nèi)臉區(qū)域與外臉區(qū)域兩部分；
[0009]c)構(gòu)建第二層深度神經(jīng)網(wǎng)絡(luò)，對(duì)步驟b)中輸出的內(nèi)臉區(qū)域和外臉區(qū)域分別做獨(dú)立的人臉關(guān)鍵點(diǎn)初步檢測(cè)；
[0010]d)根據(jù)步驟c)的初步檢測(cè)結(jié)果，對(duì)內(nèi)臉區(qū)域繼續(xù)做局部區(qū)域劃分；
[0011]e)對(duì)步驟d)得到的每個(gè)局部區(qū)域分別構(gòu)建第三層深度神經(jīng)網(wǎng)絡(luò)，用來(lái)訓(xùn)練針對(duì)該局部區(qū)域的人臉關(guān)鍵點(diǎn)檢測(cè)器；
[0012]f)根據(jù)步驟e)的人臉關(guān)鍵點(diǎn)檢測(cè)器的關(guān)鍵點(diǎn)輸出結(jié)果，對(duì)每個(gè)局部區(qū)域估計(jì)其旋轉(zhuǎn)角度；[0013]g)將每個(gè)局部區(qū)域按照其估計(jì)的旋轉(zhuǎn)角度做矯正，將矯正的圖片收集作為新的訓(xùn)練集合；
[0014]h)對(duì)步驟g)中生成的每個(gè)局部區(qū)域的矯正數(shù)據(jù)集構(gòu)建第四層深度神經(jīng)網(wǎng)絡(luò)，用來(lái)訓(xùn)練人臉關(guān)鍵點(diǎn)檢測(cè)器；
[0015]i)任給一張新的人臉圖像，采用經(jīng)過(guò)上述步驟生成的四層深度神經(jīng)網(wǎng)絡(luò)模型進(jìn)行關(guān)鍵點(diǎn)檢測(cè)，并將最終生成的內(nèi)臉區(qū)域、外臉區(qū)域、及各個(gè)局部區(qū)域的關(guān)鍵點(diǎn)結(jié)合輸出，即為最終人臉關(guān)鍵點(diǎn)檢測(cè)結(jié)果。
[0016]進(jìn)一步地，步驟b)所述內(nèi)臉區(qū)域包括眉、眼、鼻、嘴，所述外臉區(qū)域包括完整人臉輪廓；步驟d)對(duì)內(nèi)臉區(qū)域做局部區(qū)域劃分時(shí)，劃分成為眉、眼、鼻、嘴四個(gè)局部區(qū)域。
[0017]進(jìn)一步地，每一層深度神經(jīng)網(wǎng)絡(luò)內(nèi)部由三部分組成:卷積層，最大采樣層及全連接層，對(duì)輸入圖像做多輪的卷積和采樣，最終經(jīng)過(guò)全連接層輸出人臉區(qū)域或人臉關(guān)鍵點(diǎn)的坐標(biāo)。
[0018]進(jìn)一步地，步驟f)對(duì)每個(gè)局部區(qū)域采用最小二乘法估計(jì)其旋轉(zhuǎn)角度:
[0019]
【權(quán)利要求】
1.一種基于級(jí)聯(lián)神經(jīng)網(wǎng)絡(luò)的人臉關(guān)鍵點(diǎn)檢測(cè)方法，其步驟包括: a)建立訓(xùn)練用人臉圖像集，對(duì)其中每一張人臉標(biāo)注需要檢測(cè)的關(guān)鍵點(diǎn)位置； b)構(gòu)建第一層深度神經(jīng)網(wǎng)絡(luò)并訓(xùn)練人臉區(qū)域估計(jì)模型，此模型中任一張人臉被分為內(nèi)臉區(qū)域與外臉區(qū)域兩部分； c)構(gòu)建第二層深度神經(jīng)網(wǎng)絡(luò)，對(duì)步驟b)中輸出的內(nèi)臉區(qū)域和外臉區(qū)域分別做獨(dú)立的人臉關(guān)鍵點(diǎn)初步檢測(cè)； d)根據(jù)步驟c)的初步檢測(cè)結(jié)果，對(duì)內(nèi)臉區(qū)域繼續(xù)做局部區(qū)域劃分； e)對(duì)步驟d)得到的每個(gè)局部區(qū)域分別構(gòu)建第三層深度神經(jīng)網(wǎng)絡(luò)，用來(lái)訓(xùn)練針對(duì)該局部區(qū)域的人臉關(guān)鍵點(diǎn)檢測(cè)器； f)根據(jù)步驟e)的人臉關(guān)鍵點(diǎn)檢測(cè)器的關(guān)鍵點(diǎn)輸出結(jié)果，對(duì)每個(gè)局部區(qū)域估計(jì)其旋轉(zhuǎn)角度； g)將每個(gè)局部區(qū)域按照其估計(jì)的旋轉(zhuǎn)角度做矯正，將矯正的圖片收集作為新的訓(xùn)練集合； h)對(duì)步驟g)中生成的每個(gè)局部區(qū)域的矯正數(shù)據(jù)集構(gòu)建第四層深度神經(jīng)網(wǎng)絡(luò)，用來(lái)訓(xùn)練人臉關(guān)鍵點(diǎn)檢測(cè)器； i)任給一張新的人臉圖 像，采用經(jīng)過(guò)上述步驟生成的四層深度神經(jīng)網(wǎng)絡(luò)模型進(jìn)行關(guān)鍵點(diǎn)檢測(cè)，并將最終生成的內(nèi)臉區(qū)域、外臉區(qū)域、及各個(gè)局部區(qū)域的關(guān)鍵點(diǎn)結(jié)合輸出，即為最終人臉關(guān)鍵點(diǎn)檢測(cè)結(jié)果。
2.如權(quán)利要求1所述的方法，其特征在于:步驟b)所述內(nèi)臉區(qū)域包括眉、眼、鼻、嘴，所述外臉區(qū)域包括完整人臉輪廓。
3.如權(quán)利要求1所述的方法，其特征在于:步驟d)對(duì)內(nèi)臉區(qū)域做局部區(qū)域劃分時(shí)，劃分成為眉、眼、鼻、嘴四個(gè)局部區(qū)域。
4.如權(quán)利要求1所述的方法，其特征在于:每一層深度神經(jīng)網(wǎng)絡(luò)內(nèi)部由三部分組成:卷積層，最大采樣層及全連接層，對(duì)輸入圖像做多輪的卷積和采樣，最終經(jīng)過(guò)全連接層輸出人臉區(qū)域或人臉關(guān)鍵點(diǎn)的坐標(biāo)。
5.如權(quán)利要求1所述的方法，其特征在于:步驟f)對(duì)每個(gè)局部區(qū)域采用最小二乘法估計(jì)其旋轉(zhuǎn)角度:
6.如權(quán)利要求5所述的方法，其特征在于:步驟g)將每個(gè)局部區(qū)域按照其估計(jì)的旋轉(zhuǎn)角度做矯正的方法為:
【文檔編號(hào)】G06N3/02GK103824049SQ201410053321
【公開日】2014年5月28日 申請(qǐng)日期:2014年2月17日 優(yōu)先權(quán)日:2014年2月17日
【發(fā)明者】姜宇寧, 印奇, 曹志敏 申請(qǐng)人:北京曠視科技有限公司