利用在線形狀回歸方法的高效面部界標(biāo)跟蹤的制作方法
【專利摘要】某些示例公開了對(duì)用于實(shí)時(shí)應(yīng)用的形狀回歸技術(shù)的多種修改，以及利用得到的面部界標(biāo)跟蹤方法的方法、系統(tǒng)和機(jī)器可讀介質(zhì)。
【專利說明】
利用在線形狀回歸方法的高效面部界標(biāo)跟蹤
[0001] 優(yōu)先權(quán)申請(qǐng)
[0002] 本申請(qǐng)要求提交于2013年12月13日的序列號(hào)為14/106,134的美國(guó)申請(qǐng)的優(yōu)先權(quán) 權(quán)益，其通過引用以其整體并入本文。
技術(shù)領(lǐng)域
[0003] 實(shí)施例屬于面部界標(biāo)跟蹤。某些實(shí)施例涉及利用在線形狀回歸的面部界標(biāo)跟蹤。
【背景技術(shù)】
[0004] 準(zhǔn)確地標(biāo)識(shí)面部界標(biāo)的位置(例如，眼、鼻、口或頦)對(duì)于面部表情識(shí)別、面部跟蹤、 3D建模等是重要的。例如，視頻虛擬形象(avatar)聊天程序可使用制作的"虛擬形象"，其為 計(jì)算機(jī)化的人物，模仿聊天參與者的面部移動(dòng)。如果聊天中的人向右移動(dòng)其頭部，虛擬形象 的頭部也向右移動(dòng)。虛擬形象可定義為圖標(biāo)或形象，表示計(jì)算機(jī)游戲、互聯(lián)網(wǎng)論壇、視頻聊 天等中特定的人。該虛擬形象聊天程序利用面部界標(biāo)檢測(cè)來提取人的面部特征，然后使用 該數(shù)據(jù)制作虛擬形象。
【附圖說明】
[0005] 在附圖中，其不一定按比例繪制，相同數(shù)字可描述不同視圖中的相似組件。具有不 同的字母后綴的相同數(shù)字可表示相似組件的不同實(shí)例。總體上附圖以示例的形式而非以限 制的形式說明了本文檔討論的多種實(shí)施例。
[0006] 圖1為根據(jù)本公開在實(shí)時(shí)應(yīng)用中利用形狀回歸技術(shù)的某些示例的方法的流程圖。
[0007] 圖2示出了根據(jù)本公開某些示例的表示性跟蹤結(jié)果的線型圖。
[0008] 圖3為根據(jù)本公開某些示例的用于抑制輕微抖動(dòng)和暫時(shí)漂移的基于面部組成部分 的濾波的方法的流程圖。
[0009] 圖4示出了根據(jù)本公開某些示例訓(xùn)練形狀回歸量的方法的流程圖。
[0010] 圖5示出了根據(jù)本公開某些示例的通過兩個(gè)SIIF的廣義決策樹的基于樹的分區(qū)結(jié) 構(gòu)。
[0011] 圖6示出了根據(jù)本公開某些示例的表示形狀回歸結(jié)果的線型圖。
[0012] 圖7A示出了根據(jù)本公開某些示例描述離線學(xué)習(xí)的方法的流程圖。
[0013] 圖7B示出了根據(jù)本公開某些示例的注冊(cè)方法的流程圖。
[0014] 圖7C示出了根據(jù)本公開某些示例的在線重定位的方法的流程圖。
[0015] 圖8示出了根據(jù)本公開某些示例的示例面部檢測(cè)系統(tǒng)的示意圖。
[0016] 圖9為說明根據(jù)本公開某些示例可實(shí)現(xiàn)一個(gè)或多個(gè)實(shí)施例的機(jī)器示例的框圖。
【具體實(shí)施方式】
[0017] 一種用于面部界標(biāo)檢測(cè)的方法可包括"顯式形狀回歸"技術(shù)，描述于Xudong Cao， Yichen Wei，F(xiàn)ang Wen和Jian Sun的論文"顯式形狀回歸的面部對(duì)齊"，2012年計(jì)算機(jī)視覺 和模式識(shí)別（CVPR)的IEEE會(huì)議。總體而言，顯式形狀回歸方法使用兩級(jí)級(jí)聯(lián)的方法以由粗 到細(xì)的方式增量更新面部形狀估計(jì)。最終回歸量包含一組原始回歸量并且通過以全局方式 明確最小化訓(xùn)練數(shù)據(jù)中的對(duì)齊誤差來學(xué)習(xí)-所有面部界標(biāo)在向量輸出中共同回歸。為訓(xùn)練 每個(gè)向量原始回歸量，決策樹(fern)用于劃分訓(xùn)練數(shù)據(jù)的特征空間。為提高效率，形狀索引 圖像特征(SIIF)在決策樹中使用。一旦形狀回歸量被訓(xùn)練，給定新的面部圖像(其中面部包 圍盒已知)和初始面部形狀(例如，訓(xùn)練數(shù)據(jù)中的平均形狀），最終形狀可通過對(duì)初始面部形 狀和按序獲取自查找各自原始回歸量的每個(gè)形狀增量進(jìn)行求和來計(jì)算。
[0018] 上述顯式形狀回歸方法實(shí)際僅應(yīng)用于靜態(tài)圖像，其中面部形狀包圍盒為可用（例 如，通過手工標(biāo)簽）。該缺點(diǎn)防止方法直接使用于處理實(shí)時(shí)面部界標(biāo)點(diǎn)跟蹤，其在視頻應(yīng)用 是關(guān)鍵的，諸如虛擬形象視頻聊天。附加地，方法具有的問題是，當(dāng)訓(xùn)練面部形狀在每個(gè)原 始回歸量遞增時(shí)，關(guān)聯(lián)于訓(xùn)練樣本的對(duì)齊誤差落入決策樹的一個(gè)特定箱(bin)(F個(gè)特征和 各自閾值的結(jié)合-其中原始形狀回歸方法中為F = 5)，其直接作用于整個(gè)面部形狀更新而不 考慮決策樹通常僅關(guān)聯(lián)于面部形狀中面部界標(biāo)點(diǎn)的有限部分。決策樹執(zhí)行相對(duì)于每個(gè)特征 和對(duì)應(yīng)閾值的訓(xùn)練數(shù)據(jù)的二進(jìn)制劃分。即，在大的訓(xùn)練數(shù)據(jù)集(例如，上萬個(gè)樣本)利用決策 樹將僅獲取粗略而非密集的特征空間的劃分。該缺點(diǎn)限制了方法在多個(gè)應(yīng)用的可用性。
[0019] 公開了對(duì)形狀回歸技術(shù)的多種修改用于實(shí)時(shí)應(yīng)用，以及利用得到的面部界標(biāo)跟蹤 方法的方法，系統(tǒng)和機(jī)器可讀介質(zhì)。
[0020] 在實(shí)時(shí)跟蹤情況下利用形狀回歸
[0021] 在某些示例公開了方法、系統(tǒng)和機(jī)器可讀介質(zhì)，其以合并方式利用幾何和時(shí)間線 索以執(zhí)行上述形狀回歸算法，用于實(shí)時(shí)跟蹤情況。在某些示例，在初始步驟期間用戶的面部 區(qū)域最初利用離線訓(xùn)練的面部分類器進(jìn)行檢測(cè)。在相對(duì)于面部界標(biāo)點(diǎn)的空間布局結(jié)構(gòu)調(diào)整 檢測(cè)的面部區(qū)域之后，幾何和時(shí)間線索可共同用于使離線訓(xùn)練形狀回歸量能夠在線實(shí)時(shí)跟 蹤面部界標(biāo)點(diǎn)。對(duì)離線訓(xùn)練形狀回歸量的示例改進(jìn)包括:利用離線訓(xùn)練面部分類器檢測(cè)用 戶的面部區(qū)域，然后進(jìn)一步根據(jù)面部界標(biāo)點(diǎn)的空間布局結(jié)構(gòu)修改面部區(qū)域;利用幾何和時(shí) 間線索在連續(xù)幀中保證面部界標(biāo)點(diǎn)的精確跟蹤;在變換后的面部形狀空間運(yùn)行離線訓(xùn)練形 狀回歸量，后變換結(jié)果至原始圖像空間；從時(shí)刻T-1的跟蹤面部界標(biāo)點(diǎn)直接推算時(shí)刻T的壓 縮面部形狀區(qū)域，然后使用時(shí)刻T的離線訓(xùn)練形狀回歸量的開始值作為訓(xùn)練數(shù)據(jù)中面部界 標(biāo)點(diǎn)的平均位置。
[0022] 現(xiàn)在轉(zhuǎn)到圖1，示出了根據(jù)本公開的某些示例的在實(shí)時(shí)應(yīng)用中利用形狀回歸技術(shù) 的方法1000的流程圖。在操作1010中，離線訓(xùn)練面部分類器重復(fù)地運(yùn)行直到其成功檢測(cè)出 現(xiàn)于圖像的用戶面部。訓(xùn)練自boosting(增壓)算法的示例面部分類器包括來自開源計(jì)算機(jī) 視覺庫(kù)（Opencv)的面部分類器。例如，"haarcascade_frontalface_alt.xml" 和 "haarcascade_prof ileface. xml"。面部分類器輸出包圍盒，其表示面部位置。由于檢測(cè)的 面部區(qū)域不具有與正則化面部形狀相同的幾何結(jié)構(gòu)(例如，其可被縮放、旋轉(zhuǎn)、傾斜、部分遮 擋等），直接使用離線訓(xùn)練形狀回歸量可能無法獲取對(duì)面部界標(biāo)點(diǎn)的精確檢測(cè)。給定面部分 類器和形狀回歸量，對(duì)檢測(cè)的面部區(qū)域大小的固定調(diào)整通過統(tǒng)計(jì)其幾何結(jié)構(gòu)之間對(duì)應(yīng)關(guān)系 執(zhí)行。為此，在操作1020,形狀包圍盒通過調(diào)整檢測(cè)的面部區(qū)域被獲取以填充檢測(cè)的區(qū)域， 以保證我們捕獲整個(gè)面部。在操作1030,變換被計(jì)算以正則化形狀包圍盒中的面部以考慮 大小變化和旋轉(zhuǎn)。在操作1040,未正則化面部區(qū)域利用計(jì)算的變換被正則化。一旦面部被正 則化，在操作1050,面部界標(biāo)在正則化形狀中利用離線形狀回歸量計(jì)算。在操作1060,原始 圖像中的界標(biāo)點(diǎn)通過在輸出自離線形狀回歸量的面部界標(biāo)點(diǎn)上執(zhí)行逆變換來獲取。
[0023]當(dāng)面部形狀初始化完成時(shí)，檢測(cè)的面部界標(biāo)點(diǎn)位置然后用于計(jì)算下一幀中新的形 狀包圍盒。該概念為，由于視頻的最慢幀率為大約每秒20幀，超過1/20秒的面部運(yùn)動(dòng)是慢 的，因此從一幀到下一幀的面部界標(biāo)的位置和面部包圍盒將較為接近。在操作1070,新的形 狀包圍盒利用時(shí)刻T-1的跟蹤結(jié)果計(jì)算。該過程類似地重復(fù)于圖1右側(cè)部分所示(操作1070-mo) 的 后續(xù)幀 。時(shí)刻 T 的幀 中新 的形狀 包圍盒 被計(jì)算 為時(shí)刻 T -1 的幀 中跟蹤 的面部 界標(biāo)點(diǎn) 的最小前向外接矩形。包圍盒形狀以相同的填充比率擴(kuò)展用于當(dāng)訓(xùn)練形狀回歸量時(shí)修剪面 部形狀樣本。在操作1080,變換參數(shù)再次被計(jì)算至縮放、旋轉(zhuǎn)和面部大小的因素。在操作 1090,填充形狀區(qū)域根據(jù)變換參數(shù)來變換，以生成正則化面部。例如，其被縮放以具有與正 則化面部形狀樣本相同的大小。離線訓(xùn)練形狀回歸量然后在變換形狀區(qū)域的操作1100使 用，以檢測(cè)該區(qū)域的面部界標(biāo)點(diǎn)。在某些示例，在訓(xùn)練數(shù)據(jù)上計(jì)算的平均面部界標(biāo)點(diǎn)位置作 為時(shí)刻T的幀中的離線訓(xùn)練形狀回歸量的開始值。其抑制了當(dāng)利用時(shí)刻T-1的幀中跟蹤的面 部界標(biāo)點(diǎn)作為開始值時(shí)產(chǎn)生的可能的誤差累積和突發(fā)漂移。在操作1110,時(shí)刻T的幀中最終 界標(biāo)點(diǎn)位置由縮放形狀區(qū)域中的檢測(cè)結(jié)果的逆變換獲取。
[0024] 在時(shí)刻T的幀，令(WP，HP)和(Wn，Hn)分別表示填充形狀區(qū)域5 [)和正則化面部形狀Sn 的寬度和高度，標(biāo)量因子s計(jì)算為：
[0025]
[0026] 令(CXp，cyP)和(CXt，cyt)分別為S P和變換后5[)的中心的坐標(biāo)，令(pxt，Pyt)為變換S P 的界標(biāo)點(diǎn)的檢測(cè)坐標(biāo)，Sp中對(duì)應(yīng)坐標(biāo)(pxP，Pyp)計(jì)算為：
[0027]
[0028]
[0029] 在其它示例，精確度較低，但更直接的方法可被利用，其中離線訓(xùn)練形狀回歸量經(jīng) 由逆變換運(yùn)行于填充形狀區(qū)域。
[0030] 通過在操作1120遞增T至下一幀，在1070-1110的操作可被重復(fù)用于時(shí)刻T的后續(xù) 幀，然后重復(fù)操作1070-1110直到面部界標(biāo)跟蹤完成。
[0031] 在某些示例，形狀回歸跟蹤器使用34個(gè)點(diǎn)形狀回歸量。該跟蹤器在各種實(shí)時(shí)情況 以及大量記錄的視頻數(shù)據(jù)被廣泛測(cè)試。其性能特別出色。其可較好地處理常見的面部表情 (例如，微笑和驚訝），較大的姿態(tài)變化(例如，約[-30，+30 ]度偏航角，[-15，30 ]度俯仰角和 [_15，+15]度翻滾角）以及其他挑戰(zhàn)性情況，諸如戴眼鏡。圖2示出了根據(jù)本公開某些示例的 表示性跟蹤結(jié)果的線型圖。該線型圖近似面部的屏幕快照，覆蓋已檢測(cè)的跟蹤點(diǎn)。在圖2,最 初檢測(cè)的面部界標(biāo)點(diǎn)示出為"X"標(biāo)記，而跟蹤結(jié)果示出為點(diǎn)。
[0032] 用于在線形狀回歸的基于面部組成部分的濾波
[0033] 盡管以上公開的方法可在挑戰(zhàn)性情況下跟蹤面部界標(biāo)點(diǎn)，當(dāng)面部對(duì)象遇到少數(shù)表 情或姿態(tài)變化時(shí)，兩個(gè)連貫幀的結(jié)果可表現(xiàn)輕微抖動(dòng)。某些面部界標(biāo)點(diǎn)當(dāng)其被部分地阻擋 時(shí)還可暫時(shí)漂移(主要由于較大的姿態(tài)變化）。結(jié)果，動(dòng)畫交互可不夠理想，其可降低在作為 虛擬形象視頻聊天的應(yīng)用期間的用戶體驗(yàn)質(zhì)量。
[0034] 在某些示例公開了用于降低該抖動(dòng)的系統(tǒng)、機(jī)器可讀介質(zhì)和方法。該系統(tǒng)使用基 于面部組成部分的濾波方法，其通過重要性驅(qū)動(dòng)濾波過程遞歸地合并當(dāng)前幀(在時(shí)刻T)和 先前幀(在時(shí)刻T-1)中先前公開的在線形狀回歸算法的結(jié)果。在該方法，面部形狀被劃分為 某些組成部分的組，其面部界標(biāo)點(diǎn)通過測(cè)量在連續(xù)兩幀之間的其幾何相似性而獨(dú)立地平 滑。該方法示出了抑制輕微抖動(dòng)和暫時(shí)漂移的較好的能力，并且為在面部界標(biāo)應(yīng)用中達(dá)到 充分穩(wěn)定的動(dòng)畫交互而打下堅(jiān)實(shí)的基礎(chǔ)。
[0035] 特別地，該方法相關(guān)于空間相關(guān)性和跟蹤穩(wěn)定性將面部組成部分劃分為不同的 組。當(dāng)過濾每個(gè)組的跟蹤結(jié)果時(shí)，其利用連續(xù)兩幀的跟蹤的面部界標(biāo)點(diǎn)位置之間的幾何相 似性來實(shí)現(xiàn)重要性驅(qū)動(dòng)濾波。利用該方法，充分穩(wěn)定的面部界標(biāo)點(diǎn)跟蹤可被持續(xù)提供。
[0036] 通常使用的濾波方法諸如中值濾波和平均濾波通常使用包含于一組在前幀和在 后幀的信息(總體上，做出精確預(yù)測(cè)不是一個(gè)簡(jiǎn)單任務(wù)）。然而，公開的方法僅使用包含于兩 個(gè)最相關(guān)幀的信息(稱為時(shí)刻T的當(dāng)前幀和時(shí)刻T-1的先前幀），因此其不需要預(yù)測(cè)。與將面 部界標(biāo)點(diǎn)共同處理的可用濾波方法完全相反，公開的方法的面部界標(biāo)點(diǎn)被劃分為某些組， 并且連續(xù)兩幀中的跟蹤的面部界標(biāo)點(diǎn)位置之間的幾何相似性用于實(shí)現(xiàn)更魯棒的濾波。該方 法將作為改進(jìn)的面部界標(biāo)方法的不可缺少的模塊，諸如改進(jìn)的虛擬形象視頻聊天系統(tǒng)。
[0037] 該濾波方法在不同的面部組成部分的組獨(dú)立地執(zhí)行濾波。其當(dāng)跟蹤面部組成部分 諸如眼和嘴的界標(biāo)點(diǎn)時(shí)產(chǎn)生了更穩(wěn)定的性能。在跟蹤穩(wěn)定性之外，組劃分中面部組成部分 的空間相關(guān)性被考慮。理論上，每個(gè)面部組成部分的組僅包含一個(gè)或某些鄰近的面部組成 部分。例如，在34個(gè)點(diǎn)的形狀回歸跟蹤器中，面部界標(biāo)點(diǎn)可劃分為兩個(gè)組(例如，嘴上的界標(biāo) 點(diǎn)和眉+眼+鼻的其他界標(biāo)點(diǎn)）。
[0038] 幾何相似性可用于連續(xù)兩幀中的跟蹤的面部界標(biāo)點(diǎn)位置之間，以實(shí)現(xiàn)重要性驅(qū)動(dòng) 濾波。給定面部組成部分的組S，令{PTUidiMi#,...,n和{Ρτ-,...,n為在時(shí)刻T和 Τ-1的跟蹤的界標(biāo)點(diǎn)位置，各參考點(diǎn)位置(PT (Xr，Yr )和Pn (Xr，Yr )被合適地確定，并且其用于 測(cè)量幾何相似性。在某些示例，參考點(diǎn)位置計(jì)算自組中最穩(wěn)定界標(biāo)點(diǎn)的位置。例如，在34個(gè) 點(diǎn)的形狀回歸跟蹤器中，參考點(diǎn)被選擇為線段中點(diǎn)，其連接眼的兩個(gè)內(nèi)角點(diǎn)和嘴的兩個(gè)角 點(diǎn)。為測(cè)量{?心1，5^)}1=1 N和{Pt-l(Xi，yi) }i=l N之間的全局幾何相似性P，面部界標(biāo)點(diǎn) 到參考點(diǎn)的各個(gè)距離和首先根據(jù)下式計(jì)算：
[0039]
[0040] 然后p計(jì)算為
[0041]
[0042]從以上等式，可以看出，全局幾何相似性P具有清晰的物理意義。當(dāng)P值較大時(shí)，其 表示連續(xù)兩幀之間的跟蹤的界標(biāo)點(diǎn)位置表現(xiàn)較小的變化(輕微抖動(dòng)可能出現(xiàn)），否則變化較 大(暫時(shí)漂移有時(shí)可發(fā)生）。根據(jù)以上分析，在面部組成部分的組S中界標(biāo)點(diǎn)的位置濾波由下 式執(zhí)行：
[0043] PT(xi，yi) =aPT(xi，yi) + (l_a)PT-i(xi，yi)其中0<a<l
[0044] 當(dāng)p值小于給定閾值(例如，0.8)時(shí)，a的選擇可大于0.5，暗示當(dāng)前幀中的跟蹤的面 部界標(biāo)點(diǎn)位置在濾波結(jié)果中比其在先前幀貢獻(xiàn)更多的部分，否則a的選擇可小于0.5。因此， 重要性驅(qū)動(dòng)濾波被實(shí)現(xiàn)。
[0045] 在該方法中，僅當(dāng)前幀(在時(shí)刻T)和先前幀(在時(shí)刻T-1)跟蹤的最相關(guān)信息用于濾 波。即，該方法不需要預(yù)測(cè)。面部界標(biāo)點(diǎn)相對(duì)于空間相關(guān)性和跟蹤穩(wěn)定性被分類為某些組， 每個(gè)組被獨(dú)立地濾波。在濾波結(jié)果中，連續(xù)兩幀中跟蹤的面部界標(biāo)點(diǎn)位置的貢獻(xiàn)通過測(cè)量 幾何相似性來合適地確定。濾波還由重要性驅(qū)動(dòng)。
[0046] 圖3為根據(jù)本公開某些示例用于抑制輕微抖動(dòng)和暫時(shí)漂移的基于面部組成部分的 濾波的方法3000的流程圖。在操作3010,對(duì)于時(shí)刻T的當(dāng)前幀，利用在線形狀回歸技術(shù)跟蹤 面部界標(biāo)點(diǎn)。在操作3020,對(duì)于每個(gè)組成部分的組(例如，鼻、眼、耳等）參考點(diǎn)位置被計(jì)算。 在操作3030,對(duì)每個(gè)組，界標(biāo)點(diǎn)至參考點(diǎn)的距離和被計(jì)算。在操作3040,時(shí)刻T和T-1界標(biāo)位 置之間的幾何相似性被計(jì)算。在操作3050,基于重要性的濾波被應(yīng)用，其導(dǎo)致在當(dāng)前幀中輸 出過濾的界標(biāo)點(diǎn)位置。
[0047] 用于形狀回歸的選擇性更新和廣義決策樹
[0048] 在線形狀回歸方法使用級(jí)聯(lián)回歸量以由粗到精方式增量更新面部形狀(一組面部 界標(biāo)點(diǎn)）。然而，當(dāng)在每個(gè)原始回歸量訓(xùn)練面部形狀增量時(shí)，關(guān)聯(lián)于落入決策樹的一個(gè)特定 箱(bin) (F個(gè)特征和各閾值的結(jié)合，其中F = 5用于傳統(tǒng)模型）的訓(xùn)練樣本的對(duì)齊誤差直接作 用于整個(gè)面部形狀更新，而不考慮決策樹通常僅與面部形狀中面部界標(biāo)點(diǎn)的有限部分相關(guān) 的事實(shí)。此外，決策樹相對(duì)于每個(gè)特征和對(duì)應(yīng)閾值執(zhí)行訓(xùn)練數(shù)據(jù)的二進(jìn)制劃分。即，在大的 訓(xùn)練數(shù)據(jù)集(例如，上萬個(gè)樣本)利用決策樹將僅獲取粗略而不密集的特征空間劃分。該缺 點(diǎn)可直接影響原始方法的精確度。
[0049] 為解決上述問題，公開了應(yīng)用選擇性更新和廣義決策樹來改進(jìn)原始形狀回歸方法 的精確度的方法、系統(tǒng)和機(jī)器可讀介質(zhì)。選擇性更新引入更可靠的方式來計(jì)算每個(gè)原始回 歸量中的面部形狀增量，避免由于整個(gè)面部形狀更新的誤差。廣義決策樹可靈活執(zhí)行任何 級(jí)別的訓(xùn)練數(shù)據(jù)集劃分。該形狀回歸方法克服了原始方法的缺點(diǎn)，并在實(shí)時(shí)應(yīng)用中表現(xiàn)良 好，諸如虛擬形象視頻聊天應(yīng)用。
[0050] 原始形狀回歸方法使用整個(gè)面部形狀更新，其可容易引入不希望的對(duì)齊誤差，因 為每個(gè)原始回歸量的決策樹通常僅與面部形狀中面部界標(biāo)點(diǎn)的有限部分相關(guān)。此外，大量 訓(xùn)練數(shù)據(jù)的密集劃分無法被獲取，因?yàn)闆Q策樹僅可相對(duì)于每個(gè)特征和決策樹中的對(duì)應(yīng)閾值 來執(zhí)行二進(jìn)制劃分。
[0051] 本文公開的形狀回歸方法不僅通過利用選擇性更新策略避免了上述誤差，而且通 過應(yīng)用廣義決策樹執(zhí)行大量訓(xùn)練數(shù)據(jù)集的充分密集劃分。該技術(shù)特別用于改進(jìn)原始方法的 精確度。
[0052]顯式形狀回歸的基本框架為兩級(jí)級(jí)聯(lián)回歸。第一級(jí)回歸以加法合并一組弱回歸量 {S^Ss，. . .，ST}，設(shè)計(jì)以編碼較大的面部形狀變型。在第二級(jí)回歸，每個(gè)弱回歸量St定義為 一組原始回歸量{S tl，St2,...，StK}的加法組合，意圖編碼少數(shù)面部形狀變型。給定面部圖像 I和初始面部形狀S。，最終回歸的面部形狀S可表示為：
[0053]
[0054] 其中△ (Stk，I)表示運(yùn)行原始回歸量Stk的步驟中迭代獲取的面部形狀增量。給定 訓(xùn)練數(shù)據(jù)集，原始回歸量stk的面部形狀增量學(xué)習(xí)自通過F個(gè)形狀索引圖像特征(SIIF-關(guān)聯(lián) 于兩個(gè)界標(biāo)點(diǎn)的兩個(gè)像素的亮度差)和各自閾值的結(jié)合而定義的決策樹。決策樹將訓(xùn)練數(shù) 據(jù)集由基于樹的二進(jìn)制比較劃分為2F個(gè)箱。在原始離線形狀回歸技術(shù)中，關(guān)于決策樹的第i 個(gè)箱的面部形狀增量估計(jì)為：
[0055]
[0056] 其中Ai表示訓(xùn)練樣本落入第i個(gè)箱，$和&分別表中第j個(gè)訓(xùn)練樣本的地面實(shí) 況面部形狀以及先前步驟估計(jì)的面部形狀。從該等式，顯然原始方法使用整個(gè)面部形狀更 新。然而，決策樹通常僅與面部形狀中的面部界標(biāo)點(diǎn)的有限部分(例如，在先前的離線形狀 回歸模型中，決策樹僅包含5個(gè)像素對(duì)，因此其最多關(guān)聯(lián)于10個(gè)面部界標(biāo)點(diǎn)）相關(guān)。因此，不 希望的誤差可引入估計(jì)的面部形狀增量A (Stk，I)。
[0057] 在某些示例，為解決該問題，可使用包含選擇性更新的技術(shù)。在該方法中，估計(jì)的 面部形狀增量主要包含關(guān)聯(lián)于決策樹的面部界標(biāo)點(diǎn)的誤差。理論上，僅關(guān)系到包含與決策 樹具有相關(guān)性的面部界標(biāo)點(diǎn)的面部組成部分的界標(biāo)點(diǎn)誤差被編碼于面部形狀增量。如上所 述，決策樹包含5個(gè)像素對(duì)并且最多關(guān)聯(lián)10個(gè)面部界標(biāo)點(diǎn)。即，僅包含用于決策樹的面部界 標(biāo)點(diǎn)的面部組成部分的界標(biāo)點(diǎn)誤差(計(jì)算自上述等式)是可靠的。其他所有都是不可靠的并 且設(shè)置為零。
[0058]以這種方式，我們獲取更精確的級(jí)聯(lián)形狀回歸量。另一方面，給定SIIF和其閾值， 決策樹僅執(zhí)行訓(xùn)練數(shù)據(jù)集的二進(jìn)制劃分。然而，關(guān)聯(lián)于兩個(gè)面部界標(biāo)點(diǎn)的兩個(gè)像素的亮度 差可能落入多個(gè)間隔，因?yàn)橛?xùn)練數(shù)據(jù)集的較大變化，尤其在大量訓(xùn)練數(shù)據(jù)集上。在這種情況 下，訓(xùn)練數(shù)據(jù)集的更密集的劃分對(duì)實(shí)現(xiàn)更精確的面部形狀增量估計(jì)是關(guān)鍵的。為此，公開了 一種廣義決策樹，其可利用具有k個(gè)閾值而非單個(gè)閾值的SIIF執(zhí)行訓(xùn)練數(shù)據(jù)集的密集劃分 (其中k>l)。給定SIIF，k個(gè)閾值可簡(jiǎn)單地相對(duì)于訓(xùn)練數(shù)據(jù)集中各亮度差的分布而確定。 [0059]總之，代替二進(jìn)制比較(如在原始方法中），該方法利用k個(gè)閾值劃分決策樹。如前 所述，在訓(xùn)練過程中，給定SIIF(關(guān)聯(lián)唯一面部界標(biāo)點(diǎn)對(duì)），訓(xùn)練數(shù)據(jù)集中每個(gè)面部界標(biāo)點(diǎn)的 平均亮度值首先被計(jì)算。如果我們用mdPm 2表示得到的平均值，則閾值^可簡(jiǎn)單地計(jì)算為^ = (mi_m2)*i/K，其中i = l，· · ·，K。
[0060] 圖4示出了根據(jù)本公開某些示例訓(xùn)練形狀回歸量的方法4000的流程圖。在操作 4010,利用包括面部圖像的訓(xùn)練數(shù)據(jù)、相應(yīng)面部包圍盒和地面實(shí)況形狀，訓(xùn)練樣本被正則化 并且訓(xùn)練參數(shù)被設(shè)置。例如，Τ和Κ的值被設(shè)置。示例Τ值包括10。示例Κ值包括256。在操作 4020,對(duì)于訓(xùn)練樣本隨機(jī)生成初始形狀。在操作4030,執(zhí)行基于相關(guān)性的特征選擇過程以選 擇F個(gè)SIIF的Τ個(gè)組。在操作4040，每個(gè)原始回歸量利用廣義決策樹和選擇性更新來訓(xùn)練。操 作4030和4040被重復(fù)，直到迭代的數(shù)量等于ΤΦΚΤ個(gè)SIIF的每個(gè)組用于訓(xùn)練K個(gè)原始回歸 量。在操作4050,所有訓(xùn)練的原始回歸量被按序分組以獲取最終回歸量。一旦最終形狀回歸 量被訓(xùn)練，給定面部圖像(其中面部包圍盒為已知)和初始面部形狀(我們選擇其為訓(xùn)練數(shù) 據(jù)中的平均形狀），最終形狀可通過將初始面部形狀和按序獲取自各原始回歸量的查找的 每個(gè)形狀增量求和來計(jì)算。
[0061] 圖5示出了根據(jù)本公開某些示例的兩個(gè)SIIF中廣義決策樹的基于樹的劃分結(jié)構(gòu)。 注意，訓(xùn)練數(shù)據(jù)集的任何級(jí)別的劃分可由k值的改變而實(shí)現(xiàn)。最終，我們通過將選擇性更新 和廣義決策樹整合至原始方法而獲取增強(qiáng)的形狀回歸方法。
[0062] 在示例應(yīng)用中，諸如虛擬形象視頻聊天應(yīng)用，可使用34個(gè)點(diǎn)形狀回歸量，其在包含 數(shù)萬個(gè)面部形狀樣本的大數(shù)據(jù)集中被訓(xùn)練。該形狀回歸量顯示了有益的能力來處理部分遮 擋，以及面部表情/姿態(tài)/光照變化。圖6示出了線型圖，顯示了根據(jù)本公開某些示例的代表 性形狀回歸結(jié)果。該線型圖近似面部的屏幕快照，以檢測(cè)的跟蹤點(diǎn)覆蓋。在圖6, "X"標(biāo)記置 于檢測(cè)的面部界標(biāo)上方。
[0063] 用于面部表情重定位的數(shù)據(jù)驅(qū)動(dòng)方法
[0064] 面部界標(biāo)標(biāo)識(shí)的一個(gè)示例實(shí)現(xiàn)為其面部界標(biāo)的使用，以仿真制作的模型。例如，制 作虛擬形象。先前解決方案需要高質(zhì)量的基于標(biāo)記的可視跟蹤輸出或使用特定用戶規(guī)則以 驅(qū)動(dòng)虛擬形象制作。
[0065] 在某些示例公開了方法、系統(tǒng)和機(jī)器可讀介質(zhì)，其使用基于照相機(jī)的無標(biāo)記面部 跟蹤技術(shù)以重定位一般用戶的表情至虛擬形象模型。該方法使用特別設(shè)計(jì)的數(shù)據(jù)驅(qū)動(dòng)方 法，以生成實(shí)時(shí)運(yùn)行的穩(wěn)定和高保真的面部動(dòng)畫。簡(jiǎn)言之，該方法利用訓(xùn)練數(shù)據(jù)集并學(xué)習(xí)從 非語義跟蹤參數(shù)到語義面部表情的魯棒映射，成功地解決虛擬形象制作中的面部運(yùn)動(dòng)重定 位問題。在某些示例，該系統(tǒng)利用包含一組具有不同面部形狀的主體的典型面部表情的數(shù) 據(jù)集。
[0066] 該數(shù)據(jù)集可用于學(xué)習(xí)由于面部形狀的人際差異以及由于面部表情的本人差異的 距離度量。對(duì)于新用戶，他或她的特定面部表情基在注冊(cè)階段被估計(jì)，而混合形狀系數(shù)在面 部表情重定位階段基于預(yù)先學(xué)習(xí)的距離度量而預(yù)測(cè)。
[0067] 該方法可在一般面部映射中生成魯棒結(jié)果，即使在可視跟蹤輸出低維度和噪聲的 情況。附加地，由于大部分現(xiàn)有的解決方案主要基于特定用戶規(guī)則，該系統(tǒng)通過簡(jiǎn)單的啟動(dòng) 步驟對(duì)一般用戶運(yùn)行相當(dāng)良好。新用戶僅需要幾秒在系統(tǒng)中注冊(cè)中性面部。從此以后，系統(tǒng) 可通過動(dòng)畫虛擬形象模仿用戶的面部運(yùn)動(dòng)。
[0068] 監(jiān)督度量學(xué)習(xí)方法用于獲取原始跟蹤數(shù)據(jù)的最佳線性變換以及數(shù)據(jù)驅(qū)動(dòng)模型以 預(yù)測(cè)注冊(cè)的用戶的面部表情。附加地，制作者訓(xùn)練框架獨(dú)立于潛在的面部跟蹤器和可視跟 蹤輸出。不需要來自跟蹤引擎的任何跟蹤語義，因?yàn)槠渫ㄟ^采樣數(shù)據(jù)集學(xué)習(xí)表情語義。 [0069] 在離線學(xué)習(xí)期間，目標(biāo)是學(xué)習(xí)兩個(gè)距離度量，M。和Μ^Μ。設(shè)計(jì)為用于測(cè)量人際差異， 即區(qū)分不同的主體同時(shí)最小化其他因素。相反，Mi設(shè)計(jì)為用于測(cè)量本人差異，即區(qū)分不同的 面部表情同時(shí)去除其他變型。為學(xué)習(xí)1和施，主體的組被收集并且其每個(gè)示出了一組預(yù)定義 面部表情。我們令P/表示訓(xùn)練數(shù)據(jù)集中第j個(gè)主體的第i個(gè)表情的表情向量。特別地，i=〇被 保存用于中性面部表情。給定該數(shù)據(jù)集，p/,標(biāo)準(zhǔn)度量學(xué)習(xí)方法可用于獲得1和此，例如，在 我們的實(shí)現(xiàn)中，我們使用線性判別分析(LDA)。注意，M。將在用戶注冊(cè)階段扮演角色，同時(shí)％ 將在在線面部表情重定位階段扮演角色。
[0070]現(xiàn)在轉(zhuǎn)到圖7A，示出了根據(jù)本公開某些示例的描述離線學(xué)習(xí)的方法的流程圖。在 操作7010,具有預(yù)定義表情的一組主體的面部形狀被收集。在操作7020,距離度量M。被計(jì)算 以區(qū)分不同的主體。在操作7030,距離度量％可被計(jì)算。度量M。和施可通過監(jiān)督距離度量學(xué) 習(xí)方法計(jì)算，例如，線性判別分析(LDA)。
[0071] 在制作之前，可能需要新用戶捕獲他/她的中性面部P0#，并且該形狀被期望表示為 凸面約束中的線性組合其中為訓(xùn)練集的中性面部形狀，即
[0072]
[0073]注意其為距離度量M。下的約束的二次編程(QP)。一旦^在注冊(cè)階段被求解，新用戶 的其他面部表情基可預(yù)測(cè)為：
[0074]
[0075] 在不充分和低質(zhì)量數(shù)據(jù)采集的情況下，其中遠(yuǎn)離通過訓(xùn)練示例而跨越的線性空 間，上述公式將無法給出合理的預(yù)測(cè)。作為可選的解決方案，徑向基函數(shù)(RBF)可用于進(jìn)行 預(yù)測(cè)。RBF的基通過下式給定：
[0076]
[0077] RBF回歸通過利用訓(xùn)練集中已有的面部形狀對(duì)每個(gè)面部表情基執(zhí)行。結(jié)果，我們獲 得回歸系數(shù)w/ 5作用于第i個(gè)面部表情基的第j個(gè)RBF基。新用戶的面部表情基/V，將通過 RBF回歸函數(shù)預(yù)測(cè)：
[0078]
[0079] 通過約束線性回歸的RBF回歸的主要優(yōu)點(diǎn)在于，準(zhǔn)備訓(xùn)練數(shù)據(jù)集更具有靈活性。利 用RBF回歸框架，標(biāo)記數(shù)據(jù)P/不需要一致，即不同的表情可來自不同的主體，只要中性表情 包括于每個(gè)主體記錄。
[0080] 圖7B示出了根據(jù)本公開某些示例的注冊(cè)方法的流程圖。在操作7040,新用戶的中 性面部被捕獲。在操作7050,利用該中性面部和M。，系統(tǒng)對(duì)新用戶預(yù)測(cè)面部表情基。
[0081] 一旦系統(tǒng)已學(xué)習(xí)，并且新用戶被注冊(cè)，系統(tǒng)可利用混合形狀制作框架開始在線重 定位。
[0082；
[0083] 其中K為來自照相機(jī)的在線可視跟蹤輸入而匕為作用于面部表情基的混合系數(shù)。 混合形狀制作基礎(chǔ)預(yù)先由藝術(shù)家定義并且執(zhí)行的制作Pi皮期望利用約束的混合系數(shù)h 表達(dá)為K的線性組合。該形式仍為二次編程(QP)形式，但提交至距離度量施。
[0084] 圖7C示出了根據(jù)本公開某些示例的在線重定位的方法的流程圖。在操作7060,系 統(tǒng)收集當(dāng)前面部形狀K的可視跟蹤輸出。在操作7070,利用P'/^和施，系統(tǒng)可利用受限的QP 執(zhí)行面部重定位。在操作7080，系統(tǒng)可執(zhí)行在線重定位。
[0085] 示例系統(tǒng)描述
[0086]圖8示出了根據(jù)本公開某些示例的示例面部檢測(cè)系統(tǒng)的示意圖。面部圖像的視頻 由圖像捕獲設(shè)備8010捕獲。圖像捕獲設(shè)備8010可包括視頻攝像機(jī)、網(wǎng)絡(luò)照相機(jī)或其他圖像 捕獲設(shè)備。圖像捕獲設(shè)備8010可集成于計(jì)算設(shè)備8020或顯示器設(shè)備8080或（如所示出）可通 信地耦合于任一者。計(jì)算設(shè)備8020可為能夠配置以執(zhí)行本文描述的方法的任何計(jì)算設(shè)備， 示例計(jì)算設(shè)備包括桌面計(jì)算機(jī)、膝上型計(jì)算機(jī)、平板計(jì)算機(jī)、智能電話、蜂窩電話、上網(wǎng)本、 超極本TM、混合設(shè)備等。計(jì)算設(shè)備8020可包括一個(gè)或多個(gè)模塊。例如，計(jì)算系統(tǒng)可包含面部 分類器模塊8030,其可從視頻捕獲設(shè)備8010發(fā)送的視頻幀檢測(cè)面部區(qū)域，用于在線形狀回 歸模塊8040。在線形狀回歸模塊8040可使用面部區(qū)域利用先前說明的離線訓(xùn)練的形狀回歸 量檢測(cè)圖像中的面部界標(biāo)點(diǎn)。抖動(dòng)補(bǔ)償模塊8050可利用較早討論的基于面部組成部分的濾 波技術(shù)補(bǔ)償抖動(dòng)和暫時(shí)漂移。形狀回歸訓(xùn)練模塊8060可利用較早討論的方法訓(xùn)練離線形狀 回歸模塊。最終，面部表情重定位模塊8070可轉(zhuǎn)換面部界標(biāo)為顯示器8080上的表示，諸如制 作的虛擬形象。
[0087] 圖9說明了示例機(jī)器9000的框圖，其中本文討論的技術(shù)(例如，方法)的任何一個(gè)或 多個(gè)可在其上執(zhí)行。在可選的實(shí)施例，機(jī)器9000可操作為獨(dú)立設(shè)備或可連接(例如，網(wǎng)絡(luò)化） 于其他機(jī)器。在網(wǎng)絡(luò)化部署中，機(jī)器9000可操作于服務(wù)器機(jī)器、客戶端機(jī)器或服務(wù)器-客戶 端網(wǎng)絡(luò)環(huán)境中的兩者的能力。在一個(gè)示例中，機(jī)器9000可作為對(duì)等(P2P)(或其他分布式)網(wǎng) 絡(luò)環(huán)境中的對(duì)等機(jī)器。機(jī)器9000可為個(gè)人計(jì)算機(jī)(PC)、平板PC、機(jī)頂盒(STB)、個(gè)人數(shù)字助理 (PDA)、移動(dòng)電話、網(wǎng)絡(luò)電器、網(wǎng)絡(luò)路由器、開關(guān)或網(wǎng)橋或能夠執(zhí)行指定機(jī)器所采取的動(dòng)作的 指令(按序或其他方式)的任何機(jī)器。進(jìn)一步，盡管僅說明了單個(gè)機(jī)器，術(shù)語"機(jī)器"還應(yīng)視為 包括任何機(jī)器集合，其單獨(dú)或共同執(zhí)行指令集(或多個(gè)指令集），以執(zhí)行任何本文討論的方 法的一個(gè)或多個(gè)，諸如云計(jì)算、軟件即服務(wù)(SaaS)、其他計(jì)算機(jī)集群配置。
[0088] 如本文描述的示例可包括或可操作于邏輯或多個(gè)組件、模塊或機(jī)構(gòu)。模塊為有形 實(shí)體(例如，硬件），能夠執(zhí)行指定操作并可以特定方式配置或設(shè)置。在一個(gè)示例中，電路可 以指定方式設(shè)置為模塊(例如，在內(nèi)部或相對(duì)于外部實(shí)體諸如其他電路）。在一個(gè)示例中，一 個(gè)或多個(gè)計(jì)算機(jī)系統(tǒng)(例如，獨(dú)立、客戶端或服務(wù)器計(jì)算機(jī)系統(tǒng))或一個(gè)或多個(gè)硬件處理器 的整體或一部分可由固件或軟件配置(例如，指令、應(yīng)用部分或應(yīng)用)為模塊，其操作以執(zhí)行 指定操作。在一個(gè)示例中，軟件可位于機(jī)器可讀介質(zhì)。在一個(gè)示例中，當(dāng)由模塊的底層硬件 執(zhí)行時(shí)，軟件使硬件執(zhí)行指定操作。
[0089]因此，術(shù)語"模塊"理解為包含有形實(shí)體，即物理構(gòu)造的實(shí)體，特別配置(例如，硬連 線)或暫時(shí)(例如，暫態(tài)地)配置(例如，編程)為操作于指定方式或執(zhí)行本文描述的任何操作 的部分或全部?？紤]模塊被暫時(shí)配置的示例，每個(gè)模塊不需要在任一時(shí)刻進(jìn)行例示。例如， 在模塊包括利用軟件配置的通用硬件處理器時(shí)，通用硬件處理器可在不同的時(shí)間配置為各 自不同的模塊。軟件因此可將硬件處理器，例如配置為在一個(gè)時(shí)間實(shí)例組成特定模塊并在 不同的時(shí)間實(shí)例配置為組成不同的模塊。
[0090] 機(jī)器(例如，計(jì)算機(jī)系統(tǒng))9000可包括硬件處理器9002(例如，中央處理單元(CPU)、 圖形處理單元(GPU)、硬件處理器核或任何其組合），主存儲(chǔ)器9004和靜態(tài)存儲(chǔ)器9006,其某 些或全部可經(jīng)由互聯(lián)(例如，總線）9008相互通信。機(jī)器9000在某些配置可包括一個(gè)或多個(gè) 互鏈和一個(gè)或多個(gè)總線。機(jī)器9000可進(jìn)一步包括顯示器單元9010、字母數(shù)字輸入設(shè)備9012 (例如，鍵盤)和用戶界面(UI)導(dǎo)航設(shè)備9014(例如，鼠標(biāo)）。在一個(gè)示例中，顯示器單元9010、 輸入設(shè)備9012和UI導(dǎo)航設(shè)備9014可為觸摸屏幕顯示器。機(jī)器9000可附加地包括存儲(chǔ)設(shè)備 (例如，驅(qū)動(dòng)單元)9016、信號(hào)生成設(shè)備9018(例如，揚(yáng)聲器）、網(wǎng)絡(luò)接口設(shè)備9020和一個(gè)或多 個(gè)傳感器9021，諸如全局定位系統(tǒng)(GPS)傳感器、數(shù)字照相機(jī)(諸如視頻照相機(jī)）、羅盤、加速 度計(jì)或其他傳感器。機(jī)器9000可包括輸出控制器9028,諸如串行（例如，通用串行總線 (USB)、并行或其他有線或無線(例如，紅外（IR)、近場(chǎng)通信(NFC)等)連接以通信或控制一個(gè) 或多個(gè)外圍設(shè)備(例如，打印機(jī)、讀卡器等）。
[0091]存儲(chǔ)設(shè)備9016可包括機(jī)器可讀介質(zhì)9022,其上存儲(chǔ)一組或多組數(shù)據(jù)結(jié)構(gòu)或指令 9024(例如，軟件），實(shí)施或由本文描述的技術(shù)或功能的任一個(gè)或多個(gè)利用。指令9024還可在 其由機(jī)器9000執(zhí)行期間完全或至少部分地位于主存儲(chǔ)器9004、靜態(tài)存儲(chǔ)器9006或硬件處理 器9002。在一個(gè)示例中，硬件處理器9002、主存儲(chǔ)器9004、靜態(tài)存儲(chǔ)器9006或存儲(chǔ)設(shè)備9016 的一個(gè)或任何組合可組成機(jī)器可讀介質(zhì)。
[0092]盡管機(jī)器可讀介質(zhì)9022說明為單個(gè)介質(zhì)，術(shù)語"機(jī)器可讀介質(zhì)"可包括單個(gè)介質(zhì)或 多個(gè)介質(zhì)(例如，中心式或分布式數(shù)據(jù)庫(kù)和/或相關(guān)緩存和服務(wù)器），配置以存儲(chǔ)一個(gè)或多個(gè) 指令9024。
[0093]術(shù)語"機(jī)器可讀介質(zhì)"可包括能夠存儲(chǔ)、編碼或攜帶由機(jī)器9000執(zhí)行并使機(jī)器9000 執(zhí)行本公開任一個(gè)或多個(gè)技術(shù)或能夠存儲(chǔ)、編碼或攜帶該指令使用或關(guān)聯(lián)的數(shù)據(jù)結(jié)構(gòu)的指 令的任何介質(zhì)。非限制機(jī)器可讀介質(zhì)示例可包括固態(tài)存儲(chǔ)器和光學(xué)與磁性介質(zhì)。在一個(gè)示 例中，機(jī)器可讀介質(zhì)包括具有有靜止質(zhì)量的多種粒子的機(jī)器可讀介質(zhì)。特定的示例機(jī)器可 讀介質(zhì)可包括：非易失性存儲(chǔ)器，諸如半導(dǎo)體存儲(chǔ)器設(shè)備（例如，電可編程只讀存儲(chǔ)器 (EPROM)、電可擦除可編程只讀存儲(chǔ)器(EEPR0M))和閃存設(shè)備;磁盤，諸如內(nèi)部硬盤和可移除 磁盤;磁光盤;隨機(jī)存取存儲(chǔ)器(RAM);以及CD-ROM和DVD-ROM磁盤。
[0094]指令9024可進(jìn)一步通過通信網(wǎng)絡(luò)9026利用傳輸介質(zhì)經(jīng)由利用任意種傳輸協(xié)議(例 如，幀中繼、互聯(lián)網(wǎng)協(xié)議(IP)、傳輸控制協(xié)議(TCP)、用戶數(shù)據(jù)報(bào)協(xié)議(UDP)、超文本傳輸協(xié)議 (HTTP)等）的網(wǎng)絡(luò)接口設(shè)備9020傳輸或接收。示例通信網(wǎng)絡(luò)可包括局域網(wǎng)（LAN)、廣域網(wǎng) (WAN)、分組數(shù)據(jù)網(wǎng)絡(luò)（例如，互聯(lián)網(wǎng)）、移動(dòng)電話網(wǎng)絡(luò)（例如，蜂窩網(wǎng)絡(luò)）、普通電話(POTS)網(wǎng) 絡(luò)和無線數(shù)據(jù)網(wǎng)絡(luò)（例如，稱為Wi-Fi?的電氣和電子工程師協(xié)會(huì)（IEEE)802.11標(biāo)準(zhǔn)家族， 稱為WiMax?的IEEE 802.16標(biāo)準(zhǔn)家族）、IEEE 802.15.4標(biāo)準(zhǔn)家族、對(duì)等(P2P)網(wǎng)絡(luò)以及其 他。在一個(gè)示例中，網(wǎng)絡(luò)接口設(shè)備9020可包括一個(gè)或多個(gè)物理插口（例如，以太網(wǎng)、同軸或電 話插口）或一個(gè)或多個(gè)天線，以連接至通信網(wǎng)絡(luò)9026。在一個(gè)示例中，網(wǎng)絡(luò)接口設(shè)備9020可 包括多個(gè)天線，以利用單輸入多輸出（SM0)、多輸入多輸出(MBTO)或多輸入單輸出(MIS0) 技術(shù)的至少一個(gè)來無線通信。術(shù)語"傳輸介質(zhì)"用于包括任何無形的介質(zhì)，其能夠存儲(chǔ)、編碼 或攜帶由機(jī)器9000執(zhí)行的指令，并包括數(shù)字或模擬通信信號(hào)或其他無形的介質(zhì)，以實(shí)現(xiàn)軟 件通信。
[0095] 其他示例
[0096]如下為非限制示例。
[0097] 示例1包括主題(諸如用于執(zhí)行動(dòng)作的方法、裝置，包括用于檢測(cè)面部界標(biāo)點(diǎn)的指 令的機(jī)器可讀介質(zhì)，其當(dāng)由機(jī)器執(zhí)行時(shí)，使該機(jī)器執(zhí)行動(dòng)作或配置成執(zhí)行的裝置)包括:利 用面部分類器檢測(cè)第一視頻幀中的面部圖像;通過應(yīng)用第一變換至所檢測(cè)的面部圖像來正 則化所檢測(cè)的面部圖像;利用訓(xùn)練的形狀回歸量檢測(cè)正則化的面部圖像的一組面部界標(biāo) 點(diǎn)；通過應(yīng)用第二變換至該面部界標(biāo)點(diǎn)來計(jì)算第一視頻幀的一組最終面部界標(biāo)點(diǎn)，第二變 換為第一變換的逆變換。
[0098] 在示例2,示例1的主題可選地包括利用來自第一視頻幀的所計(jì)算的一組面部界標(biāo) 點(diǎn)計(jì)算第二視頻幀的面部包圍盒;通過應(yīng)用第三變換至第二面部圖像正則化第二視頻幀的 第二面部圖像，第二面部圖像包括該面部包圍盒中的第二視頻幀的圖像;利用該訓(xùn)練的形 狀回歸量檢測(cè)所正則化的第二面部圖像中的第二組面部界標(biāo)點(diǎn)；以及通過應(yīng)用第四變換至 該面部界標(biāo)點(diǎn)來計(jì)算第二視頻幀的一組第二最終面部界標(biāo)點(diǎn)，第四變換為第三變換的逆變 換。
[0099] 在示例3,根據(jù)示例1-2任一個(gè)的主題可選地包括以預(yù)定義量填充該面部包圍盒。
[0100] 在示例4,根據(jù)示例1-3任一個(gè)的主題可選地包括對(duì)兩個(gè)面部組成部分的組的每一 個(gè):計(jì)算參考點(diǎn)位置;計(jì)算第二視頻幀中該組面部界標(biāo)點(diǎn)到該參考點(diǎn)位置的距離和;測(cè)量第 二視頻幀的第二組界標(biāo)點(diǎn)和第一視頻幀的該組界標(biāo)點(diǎn)之間的幾何相似性；以及應(yīng)用重要性 驅(qū)動(dòng)濾波以生成面部界標(biāo)點(diǎn)的抖動(dòng)補(bǔ)償集合。
[0101] 在示例5,根據(jù)示例1-4任一個(gè)的主題可選地包括，其中應(yīng)用重要性驅(qū)動(dòng)濾波包括 利用第一權(quán)重因子為第一視頻幀的該界標(biāo)點(diǎn)的位置加權(quán)并且利用第二權(quán)重因子為第二視 頻幀的界標(biāo)點(diǎn)的位置加權(quán)，并且其中第一和第二權(quán)重因子基于所測(cè)量的幾何相似性確定。
[0102] 在示例6,根據(jù)示例1-5任一個(gè)的主題可選地包括通過建立廣義決策樹訓(xùn)練該訓(xùn)練 的形狀回歸量以利用至少兩個(gè)閾值劃分訓(xùn)練數(shù)據(jù)集，其中該廣義決策樹是基于像素亮度的 訓(xùn)練數(shù)據(jù)集的劃分。
[0103] 在示例7,根據(jù)示例1-6任一個(gè)的主題可選地包括利用該面部界標(biāo)點(diǎn)制作圖形虛擬 形象。
[0104] 在示例8,根據(jù)示例1-7任一個(gè)的主題可選地包括收集多個(gè)主體的面部形狀信息， 該多個(gè)主體中每個(gè)相應(yīng)主體表達(dá)預(yù)定義表情;計(jì)算第一距離度量以描述該多個(gè)主體之間的 差異；以及計(jì)算第二距離度量以描述該多個(gè)主體的不同表情之間的差異。
[0105] 在示例9,根據(jù)示例1-8任一個(gè)的主題可選地包括捕獲新用戶的中性面部;利用第 一距離度量確定新用戶的面部表情基。
[0106] 在示例10,根據(jù)示例1-9任一個(gè)的主題可選地包括，其中利用該面部界標(biāo)點(diǎn)制作該 圖形虛擬形象包括使用第一和第二度量、該組面部界標(biāo)點(diǎn)以及該新用戶的面部表情基作為 輸入采用混合形狀制作公式計(jì)算面部重定位。
[0107] 在示例11，根據(jù)示例1-10任一個(gè)的主題可選地包括，其中第一變換為標(biāo)量變換。
[0108] 示例12包括或可選地合并于示例1-11任一個(gè)的主題，以包括用于檢測(cè)面部界標(biāo)點(diǎn) 主題(諸如設(shè)備、裝置或機(jī)器），包括:面部分類器模塊，用于:檢測(cè)第一視頻幀中的面部圖 像；以及在線形狀回歸模塊，用于:通過應(yīng)用第一變換至檢測(cè)的面部圖像來正則化檢測(cè)的面 部圖像;利用訓(xùn)練的形狀回歸量檢測(cè)正則化的面部圖像的一組面部界標(biāo)點(diǎn)；通過應(yīng)用第二 變換至該面部界標(biāo)點(diǎn)來計(jì)算第一視頻幀的一組最終面部界標(biāo)點(diǎn)，第二變換為第一變換的逆 變換。
[0109] 在示例13,根據(jù)示例1-12任一個(gè)的主題可選地包括，其中該在線形狀回歸模塊用 于:利用來自第一視頻幀的所計(jì)算的一組面部界標(biāo)點(diǎn)計(jì)算第二視頻幀的面部包圍盒;通過 應(yīng)用第三變換至第二面部圖像而正則化第二視頻幀的第二面部圖像，第二面部圖像包括該 面部包圍盒中的第二視頻幀的圖像;利用該訓(xùn)練的形狀回歸量檢測(cè)所正則化的第二面部圖 像中的第二組面部界標(biāo)點(diǎn)；以及通過應(yīng)用第四變換至該面部界標(biāo)點(diǎn)來計(jì)算第二視頻幀的一 組第二最終面部界標(biāo)點(diǎn)，第四變換為第三變換的逆變換。
[0110] 在示例14，根據(jù)示例1-13任一個(gè)的主題可選地包括，其中該在線形狀回歸模塊配 置成以預(yù)定義量填充該面部包圍盒。
[0111] 在示例15,根據(jù)示例1-14任一個(gè)的主題可選地包括抖動(dòng)補(bǔ)償模塊，用于:對(duì)兩個(gè)面 部組成部分的組的每一個(gè):計(jì)算參考點(diǎn)位置;計(jì)算第二視頻幀中該組面部界標(biāo)點(diǎn)到該參考 點(diǎn)位置的距離和;測(cè)量第二視頻幀的第二組界標(biāo)點(diǎn)和第一視頻幀的該組界標(biāo)點(diǎn)之間的幾何 相似性；以及應(yīng)用重要性驅(qū)動(dòng)濾波以生成面部界標(biāo)點(diǎn)的抖動(dòng)補(bǔ)償集合。
[0112] 在示例16,根據(jù)示例1-15任一個(gè)的主題，可選地包括，其中抖動(dòng)補(bǔ)償模塊配置以通 過配置以至少利用第一權(quán)重因子為第一視頻幀的該界標(biāo)點(diǎn)的位置加權(quán)并利用第二權(quán)重因 子為第二視頻幀的界標(biāo)點(diǎn)的位置加權(quán)而應(yīng)用重要性驅(qū)動(dòng)濾波，并且其中第一和第二權(quán)重因 子基于所測(cè)量的幾何相似性確定。
[0113] 在示例17,根據(jù)示例1-16任一個(gè)的主題可選地包括形狀回歸訓(xùn)練模塊，用于:通過 建立廣義決策樹訓(xùn)練該訓(xùn)練形狀回歸量以利用至少兩個(gè)閾值劃分訓(xùn)練數(shù)據(jù)集，其中該廣義 決策樹是基于像素亮度的訓(xùn)練數(shù)據(jù)集的劃分。
[0114] 在示例18,根據(jù)示例1-17任一個(gè)的主題可選地包括面部表情重定位模塊，用于利 用該面部界標(biāo)點(diǎn)制作圖形虛擬形象。
[0115] 在示例19,根據(jù)示例1-16任一個(gè)的主題可選地包括，其中該面部表情重定位模塊 用于:收集多個(gè)主體的面部形狀信息，該多個(gè)主體中每個(gè)相應(yīng)主體表達(dá)預(yù)定義表情;計(jì)算第 一距離度量以描述該多個(gè)主體之間的差異；以及計(jì)算第二距離度量以描述該多個(gè)主體的不 同表情之間的差異。
[0116] 在示例20,根據(jù)示例1-19任一個(gè)的主題可選地包括，其中該面部表情重定位模塊 配置成:捕獲新用戶的中性面部；以及利用第一距離度量確定新用戶的面部表情基。
[0117] 在示例21，根據(jù)示例1-20任一個(gè)的主題可選地包括，其中該面部表情重定位模塊 配置以利用第一和第二度量、該組面部界標(biāo)點(diǎn)以及該新用戶的面部表情基作為輸入來使用 混合形狀制作公式。
[0118] 在示例22,根據(jù)示例1-21任一個(gè)的主題可選地包括，其中第一變換為標(biāo)量變換。
【主權(quán)項(xiàng)】
1. 一種用于檢測(cè)面部界標(biāo)點(diǎn)的方法，所述方法包括： 利用面部分類器檢測(cè)第一視頻幀中的面部圖像； 通過應(yīng)用第一變換至所檢測(cè)到的面部圖像來正則化所檢測(cè)到的面部圖像； 利用訓(xùn)練的形狀回歸量來檢測(cè)正則化的面部圖像的一組面部界標(biāo)點(diǎn)； 通過應(yīng)用第二變換至所述面部界標(biāo)點(diǎn)來計(jì)算所述第一視頻幀中的一組最終面部界標(biāo) 點(diǎn)，所述第二變換為所述第一變換的逆變換。2. 根據(jù)權(quán)利要求1所述的方法，包括： 利用來自所述第一視頻幀的所計(jì)算的該組面部界標(biāo)點(diǎn)計(jì)算用于第二視頻幀的面部包 圍盒； 通過應(yīng)用第三變換至所述第二面部圖像來正則化所述第二視頻幀中的第二面部圖像， 所述第二面部圖像包括所述面部包圍盒中的所述第二視頻幀的圖像； 利用所訓(xùn)練的形狀回歸量來檢測(cè)正則化的第二面部圖像中的第二組面部界標(biāo)點(diǎn)；以及 通過應(yīng)用第四變換至所述面部界標(biāo)點(diǎn)來計(jì)算所述第二視頻幀中的一組第二最終面部 界標(biāo)點(diǎn)，所述第四變換為所述第三變換的逆變換。3. 根據(jù)權(quán)利要求2所述的方法，包括，以預(yù)定量填充所述面部包圍盒。4. 根據(jù)權(quán)利要求2所述的方法，包括:對(duì)于兩個(gè)面部組成部分的組的每一個(gè)： 計(jì)算參考點(diǎn)位置； 計(jì)算所述第二視頻幀中的該組面部界標(biāo)點(diǎn)到所述參考點(diǎn)位置的距離和； 測(cè)量所述第二視頻幀中的第二組界標(biāo)點(diǎn)和所述第一視頻幀中的該組界標(biāo)點(diǎn)之間的幾 何相似性；以及 應(yīng)用重要性驅(qū)動(dòng)濾波以生成面部界標(biāo)點(diǎn)的抖動(dòng)補(bǔ)償集。5. 根據(jù)權(quán)利要求4所述的方法，其中應(yīng)用重要性驅(qū)動(dòng)濾波包括利用第一權(quán)重因子為所 述第一視頻幀中的界標(biāo)點(diǎn)的位置加權(quán)并且利用第二權(quán)重因子為所述第二視頻幀中的界標(biāo) 點(diǎn)的位置加權(quán)，并且其中所述第一和第二權(quán)重因子基于所測(cè)量的幾何相似性來確定。6. 根據(jù)權(quán)利要求1所述的方法，包括： 通過建立廣義決策樹來訓(xùn)練所訓(xùn)練的形狀回歸量，以利用至少兩個(gè)閾值來劃分訓(xùn)練數(shù) 據(jù)集，其中所述廣義決策樹為基于像素亮度的所述訓(xùn)練數(shù)據(jù)集的劃分。7. 根據(jù)權(quán)利要求1所述的方法，包括： 利用所述面部界標(biāo)點(diǎn)制作圖形虛擬形象。8. 根據(jù)權(quán)利要求7所述的方法，包括： 收集多個(gè)主體的面部形狀信息，所述多個(gè)主體中每個(gè)相應(yīng)主體表達(dá)預(yù)定義的表情； 計(jì)算第一距離度量以描述所述多個(gè)主體之間的差異；以及 計(jì)算第二距離度量以描述所述多個(gè)主體的不同表情之間的差異。9. 根據(jù)權(quán)利要求8所述的方法，包括： 捕獲新用戶的中性面部； 利用所述第一距離度量來確定所述新用戶的面部表情基。10. 根據(jù)權(quán)利要求9所述的方法，其中利用所述面部界標(biāo)點(diǎn)制作所述圖形虛擬形象包 括:利用混合形狀制作公式、第一和第二度量、該組面部界標(biāo)點(diǎn)和新用戶的所述面部表情基 作為輸入來計(jì)算面部重定位。11. 根據(jù)權(quán)利要求1所述的方法，其中所述第一變換為標(biāo)量變換。12. -種機(jī)器可讀介質(zhì)，包括指令，其當(dāng)由機(jī)器執(zhí)行時(shí)，使所述機(jī)器執(zhí)行權(quán)利要求1-11 所述的方法。13. -種用于檢測(cè)面部界標(biāo)點(diǎn)的設(shè)備，所述設(shè)備包括： 用于利用面部分類器檢測(cè)第一視頻幀中的面部圖像的部件； 用于通過應(yīng)用第一變換至所檢測(cè)到的面部圖像來正則化所檢測(cè)到的面部圖像的部件； 用于利用訓(xùn)練的形狀回歸量來檢測(cè)正則化的面部圖像的一組面部界標(biāo)點(diǎn)的部件； 用于通過應(yīng)用第二變換至所述面部界標(biāo)點(diǎn)來計(jì)算所述第一視頻幀的一組最終面部界 標(biāo)點(diǎn)的部件，所述第二變換為所述第一變換的逆變換。14. 根據(jù)權(quán)利要求13所述的設(shè)備，包括： 用于利用來自所述第一視頻幀的所計(jì)算的該組面部界標(biāo)點(diǎn)來計(jì)算第二視頻幀的面部 包圍盒的部件； 用于通過應(yīng)用第三變換至所述第二面部圖像來正則化所述第二視頻幀的第二面部圖 像的部件，所述第二面部圖像包括所述面部包圍盒中的所述第二視頻幀的圖像； 用于利用所訓(xùn)練的形狀回歸量來檢測(cè)正則化的第二面部圖像中的第二組面部界標(biāo)點(diǎn) 的部件；以及 用于通過應(yīng)用第四變換至所述面部界標(biāo)點(diǎn)來計(jì)算所述第二視頻幀中的一組第二最終 面部界標(biāo)點(diǎn)的部件，所述第四變換為所述第三變換的逆變換。15. 根據(jù)權(quán)利要求13所述的設(shè)備，包括： 用于通過建立廣義決策樹來訓(xùn)練所訓(xùn)練的形狀回歸量以利用至少兩個(gè)閾值劃分訓(xùn)練 數(shù)據(jù)集的部件，其中所述廣義決策樹為基于像素亮度的訓(xùn)練數(shù)據(jù)集的劃分。16. -種用于檢測(cè)面部界標(biāo)點(diǎn)的設(shè)備，所述設(shè)備包括： 面部分類器模塊，用于： 檢測(cè)第一視頻幀中的面部圖像；以及 在線形狀回歸模塊，用于： 通過應(yīng)用第一變換至所檢測(cè)到的面部圖像來正則化所檢測(cè)到的面部圖像； 利用所訓(xùn)練的形狀回歸量來檢測(cè)正則化的面部圖像的一組面部界標(biāo)點(diǎn)； 通過應(yīng)用第二變換至所述面部界標(biāo)點(diǎn)來計(jì)算所述第一視頻幀中的一組最終面部界標(biāo) 點(diǎn)，所述第二變換為所述第一變換的逆變換。17. 根據(jù)權(quán)利要求16所述的設(shè)備，其中所述在線形狀回歸模塊用于： 利用來自所述第一視頻幀的所計(jì)算的該組面部界標(biāo)點(diǎn)來計(jì)算用于第二視頻幀的面部 包圍盒； 通過應(yīng)用第三變換至所述第二面部圖像來正則化所述第二視頻幀中的第二面部圖像， 所述第二面部圖像包括所述面部包圍盒中的所述第二視頻幀的圖像； 利用所訓(xùn)練的形狀回歸量來檢測(cè)正則化的第二面部圖像中的第二組面部界標(biāo)點(diǎn)；以及 通過應(yīng)用第四變換至所述面部界標(biāo)點(diǎn)來計(jì)算所述第二視頻幀中的一組第二最終面部 界標(biāo)點(diǎn)，所述第四變換為所述第三變換的逆變換。18. 根據(jù)權(quán)利要求17所述的設(shè)備，包括： 抖動(dòng)補(bǔ)償模塊，用于： 對(duì)兩個(gè)面部組成部分的組的每一個(gè)： 計(jì)算參考點(diǎn)位置； 計(jì)算所述第二視頻幀中的該組面部界標(biāo)點(diǎn)到所述參考點(diǎn)位置的距離和； 測(cè)量所述第二視頻幀中的第二組界標(biāo)點(diǎn)和所述第一視頻幀中的該組界標(biāo)點(diǎn)之間的幾 何相似性；以及 應(yīng)用重要性驅(qū)動(dòng)濾波以生成面部界標(biāo)點(diǎn)的抖動(dòng)補(bǔ)償集合。19. 根據(jù)權(quán)利要求18所述的設(shè)備，其中所述抖動(dòng)補(bǔ)償模塊用于通過配置成以至少利用 第一權(quán)重因子為所述第一視頻幀中的界標(biāo)點(diǎn)的位置加權(quán)以及利用第二權(quán)重因子為所述第 二視頻幀的界標(biāo)點(diǎn)的位置加權(quán)，而應(yīng)用重要性驅(qū)動(dòng)濾波，并且其中所述第一和第二權(quán)重因 子基于所測(cè)量的幾何相似性來確定。20. 根據(jù)權(quán)利要求16-19中的任一項(xiàng)所述的設(shè)備，包括： 形狀回歸訓(xùn)練模塊，用于： 通過建立廣義決策樹來訓(xùn)練所訓(xùn)練的形狀回歸量，以利用至少兩個(gè)閾值劃分訓(xùn)練數(shù)據(jù) 集，其中所述廣義決策樹是基于像素亮度的所述訓(xùn)練數(shù)據(jù)集的劃分。21. 根據(jù)權(quán)利要求20所述的設(shè)備，其中所述面部表情重定位模塊用于： 收集多個(gè)主體的面部形狀信息，所述多個(gè)主體中的每個(gè)相應(yīng)主體表達(dá)預(yù)定義的表情； 計(jì)算第一距離度量以描述所述多個(gè)主體之間的差異；以及 計(jì)算第二距離度量以描述所述多個(gè)主體的不同表情之間的差異。22. 根據(jù)權(quán)利要求21所述的設(shè)備，其中所述面部表情重定位模塊用于： 捕獲新用戶的中性面部；以及 利用所述第一距離度量確定所述新用戶的面部表情基。23. 根據(jù)權(quán)利要求22所述的設(shè)備，其中所述面部表情重定位模塊用于利用所述第一和 第二度量、該組面部界標(biāo)點(diǎn)以及所述新用戶的面部表情基作為輸入來使用混合形狀制作公 式。24. -種用于檢測(cè)面部界標(biāo)點(diǎn)的設(shè)備，所述設(shè)備包括： 用于利用面部分類器來檢測(cè)第一視頻幀中的面部圖像的部件； 用于通過應(yīng)用第一變換至所檢測(cè)到的面部圖像來正則化所檢測(cè)到的面部圖像的部件； 用于利用訓(xùn)練的形狀回歸量來檢測(cè)正則化的面部圖像的一組面部界標(biāo)點(diǎn)的部件； 用于通過應(yīng)用第二變換至所述面部界標(biāo)點(diǎn)來計(jì)算所述第一視頻幀的一組最終面部界 標(biāo)點(diǎn)的部件，所述第二變換為所述第一變換的逆變換。25. 根據(jù)權(quán)利要求24所述的設(shè)備，包括： 用于利用來自所述第一視頻幀的所計(jì)算的該組面部界標(biāo)點(diǎn)來計(jì)算用于第二視頻幀的 面部包圍盒的部件； 用于通過應(yīng)用第三變換至所述第二面部圖像來正則化所述第二視頻幀中的第二面部 圖像的部件，所述第二面部圖像包括所述面部包圍盒中的所述第二視頻幀的圖像； 用于利用所訓(xùn)練的形狀回歸量來檢測(cè)正則化的第二面部圖像中的第二組面部界標(biāo)點(diǎn) 的部件；以及 用于通過應(yīng)用第四變換至所述面部界標(biāo)點(diǎn)來計(jì)算所述第二視頻幀的一組第二最終面 部界標(biāo)點(diǎn)的部件，所述第四變換為所述第三變換的逆變換。
【文檔編號(hào)】G06T7/20GK105981075SQ201480062521
【公開日】2016年9月28日
【申請(qǐng)日】2014年12月12日
【發(fā)明人】姚安邦, 杜楊洲, 童曉峰, 王濤, 陳玉榮, 李建國(guó), 葉劍波, 李文龍, 張益民
【申請(qǐng)人】英特爾公司