一種人臉圖像處理方法和裝置的制造方法
【專利摘要】本發(fā)明實施例公開了一種人臉圖像處理方法，所述方法包括：識別用戶的人臉圖像中的多個人臉特征點位置；根據(jù)所述多個人臉特征點位置之間的相對距離，確定用戶的臉部動作；根據(jù)所述用戶的臉部動作，對所述用戶的人臉圖像進行圖像處理。本發(fā)明實施例還公開了一種人臉圖像處理裝置。采用本發(fā)明，可以從人臉圖像中識別用戶的臉部動作，從而對人臉圖像進行相應(yīng)處理。
【專利說明】
一種人臉圖像處理方法和裝置
技術(shù)領(lǐng)域
[0001]本發(fā)明涉及圖像處理領(lǐng)域，尤其涉及一種人臉圖像處理方法和裝置?！颈尘凹夹g(shù)】
[0002]臉部識別技術(shù)是新興的一個圖像處理方向，可以通過讀輸入的臉部圖像或視頻流進行識別，通常使用在攝像或身份驗證的應(yīng)用場景?，F(xiàn)有的臉部識別技術(shù)僅能夠做到對臉部的五官特征進行識別定位，但是對于用戶的臉部動作則無法做到有效的識別，例如張嘴、 親嘴、挑眉動作、搖頭等，從而對于用戶的上述表情動作無法做到對應(yīng)的反饋或相應(yīng)的處理。
【發(fā)明內(nèi)容】

[0003]有鑒于此，本發(fā)明實施例提供一種人臉圖像處理方法和裝置，可以從人臉圖像中識別用戶的臉部動作，從而對人臉圖像進行相應(yīng)處理。
[0004]為了解決上述技術(shù)問題，本發(fā)明實施例提供了一種人臉圖像處理方法，所述方法包括:
[0005]識別用戶的人臉圖像中的多個人臉特征點位置；
[0006]根據(jù)所述多個人臉特征點位置之間的相對距離，確定用戶的臉部動作；
[0007]根據(jù)所述用戶的臉部動作，對所述用戶的人臉圖像進行圖像處理。
[0008]相應(yīng)地，本發(fā)明實施例還提供了一種人臉圖像處理裝置，所述裝置包括:
[0009]人臉特征識別模塊，用于識別用戶的人臉圖像中的多個人臉特征點位置；
[0010]臉部動作解析模塊，用于根據(jù)所述多個人臉特征點位置之間的相對距離，確定用戶的臉部動作；
[0011]圖像處理模塊，用于根據(jù)所述用戶的臉部動作，對所述用戶的人臉圖像進行圖像處理。
[0012]本發(fā)明實施例通過計算人臉圖像中識別得到的多個人臉特征點位置之間的相對距離，判斷人臉圖像中用戶的臉部動作，進而根據(jù)用戶的臉部動作讀該人臉圖像進行圖像處理，可以實現(xiàn)根據(jù)用戶不同的臉部動作或表情對人臉圖像進行動態(tài)處理。【附圖說明】
[0013]為了更清楚地說明本發(fā)明實施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對實施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其他的附圖。
[0014]圖1是本發(fā)明實施例中的一種人臉圖像處理方法的流程示意圖；
[0015]圖2是本發(fā)明實施例中在用戶的人臉圖像中識別得到的多個人臉特征點位置的示意圖；
[0016]圖3是本發(fā)明另一實施例中的人臉圖像處理方法的流程示意圖；[〇〇17]圖4是本發(fā)明另一實施例中的人臉圖像處理方法的流程示意圖；[〇〇18]圖5是本發(fā)明另一實施例中的人臉圖像處理方法的流程示意圖；[〇〇19]圖6是本發(fā)明另一實施例中的人臉圖像處理方法的流程示意圖；[〇〇2〇]圖7是本發(fā)明另一實施例中的人臉圖像處理方法的流程示意圖；
[0021]圖8是本發(fā)明實施例中根據(jù)用戶的張嘴動作進行貼圖處理的效果示意圖；
[0022]圖9是本發(fā)明實施例中根據(jù)用戶的眨眼動作進行貼圖處理的效果示意圖；
[0023]圖10是本發(fā)明實施例中根據(jù)用戶的眨眼動作和親嘴動作進行貼圖處理的效果示意圖；
[0024]圖11是本發(fā)明實施例中的一種人臉圖像處理裝置的結(jié)構(gòu)示意圖；
[0025]圖12是本發(fā)明實施例中的臉部動作解析模塊的結(jié)構(gòu)示意圖?！揪唧w實施方式】
[0026]下面將結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術(shù)方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發(fā)明一部分實施例，而不是全部的實施例?；诒景l(fā)明中的實施例，本領(lǐng)域普通技術(shù)人員在沒有作出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明保護的范圍。
[0027]本發(fā)明實施例中的人臉圖像處理方法和裝置，可以實現(xiàn)在如個人電腦、平板電腦、 筆記本電腦、智能手機、電子閱讀器、數(shù)碼相機、數(shù)碼攝像機或智能穿戴設(shè)備等電子設(shè)備中， 可選的上述實現(xiàn)本發(fā)明人臉圖像處理的電子設(shè)備可以設(shè)置有攝像模塊用于即時獲取用戶的人臉圖像，也可以通過數(shù)據(jù)傳輸從網(wǎng)絡(luò)或其他設(shè)備獲取用戶的人臉圖像。下文的人臉圖像處理方法實施流程，以本發(fā)明實施例中的人臉圖像處理裝置作為實施主體。[〇〇28]圖1是本發(fā)明實施例中的一種人臉圖像處理方法的流程示意圖，如圖1所示，本實施例的人臉圖像處理方法可以包括以下流程:[〇〇29]S101，識別用戶的人臉圖像中的多個人臉特征點位置。
[0030]在可選實施例中，人臉圖像處理裝置可以通過攝像模塊拍攝獲取得到用戶的人臉圖像，進而實時的對拍攝獲取得到的人臉圖像進行人臉特征的識別。在另一可選實施例中， 人臉圖像處理裝置還可以獲取到多幀連續(xù)拍攝到的人臉圖像，進而分別對多幀連續(xù)拍攝到的人臉圖像進行識別得到每張人臉圖像中的多個人臉特征點位置。所述多幀連續(xù)拍攝到的，可以為指定時長內(nèi)連續(xù)拍攝到的多幀人臉圖像，所述指定時長例如為1秒或0.5秒。
[0031]所述人臉特征點位置包括眼睛特征點位置、鼻子特征點位置、嘴唇特征點位置、眉部特征點位置以及臉部邊緣特征點位置中的任一種或多種。
[0032]示例性的，可以得到如圖2所示的人臉特征點識別結(jié)果，為了下文方便說明，采用數(shù)字標記識別得到的各個人臉特征點位置，例如圖2中所示的1?20表示臉部邊緣特征點位置，21?28以及29?36分別表示用戶的左眉部特征點位置和右眉部特征點位置，37?44以及88表示用戶的左眼特征點位置，其中88為左眼瞳孔位置，45?51以及89表示用戶的右眼特征點位置，其中89為右眼瞳孔位置，53?65表示用戶的鼻子特征點位置、66?87表示用戶的嘴唇特征點位置。需要指出的是，以上僅為示例，在可選實施例中可以在以上人臉特征點中僅識別部分或更多的特征點，或采用其他方式標記各個特征點位置，均屬于本發(fā)明實施例的范疇。
[0033]S102,根據(jù)所述多個人臉特征點位置之間的相對距離，確定用戶的臉部動作。
[0034]具體實現(xiàn)中，可以預(yù)先定義用戶的多個臉部動作，例如可以包括:眼部動作(例如眨眼、斜眼等)、嘴部動作(例如親嘴、張嘴、吐舌等)、眉部動作(例如挑眉、皺眉等)、頭部動作(例如低頭、抬頭、點頭、搖頭、晃頭等)中的任一種或多種。進一步的，可以定義各個臉部動作對應(yīng)的多個人臉特征點位置的相對距離，最簡單的示例如:定義張嘴動作為用戶的上嘴唇下邊緣中心位置與上嘴唇的上邊緣中心位置之間的距離超過10個像素(或轉(zhuǎn)換為其他距離單位)，那么根據(jù)當前用戶的人臉圖像中識別得到的上嘴唇下邊緣中心位置85與上嘴唇的上邊緣中心位置80,若85到80之間的相對距離超過10個像素，則確定用戶當前的臉部動作為張嘴。[〇〇35] 可選的，可以通過得到多組人臉特征點位置之間的相對距離，通過比較這多組相對距離之間的關(guān)系，確定用戶的臉部動作。
[0036]例如可以定義張嘴動作為用戶的嘴唇張開間距與嘴唇厚度的比值不小于第一預(yù)設(shè)閾值，那么就可以根據(jù)當前用戶的人臉圖像中識別得到的多個嘴唇特征點位置之間的相對距離，獲取用戶的嘴唇張開間距和嘴唇厚度，若所述嘴唇張開間距與所述嘴唇厚度的比值不小于第一預(yù)設(shè)閾值，則確定用戶當前的臉部動作為張嘴動作。所述第一預(yù)設(shè)閾值可以例如為2/3。示例性的，如圖2所示，可以采用用戶的上嘴唇的下邊緣中心位置85與下嘴唇的上邊緣中心位置80之間的相對距離作為所述嘴唇張開間距;可以采用用戶的下嘴唇的上邊緣中心位置80與下邊緣中心位置69之間的相對距離作為所述嘴唇厚度。在其他可選實施例中也可以采用其他識別到的特征點位置之間的相對距離表示嘴唇厚度和嘴唇張開間距，例如75和85之間的相對距離，或70和81之間的相對距離均可以用來表示嘴唇厚度，或采用81-84之間的相對距離表示嘴唇張開間距。
[0037]又例如可以定義親嘴動作為用戶的嘴型厚度和嘴型寬度之間的比值不小于第二預(yù)設(shè)閾值，所述第二預(yù)設(shè)閾值小于1，例如為1/2。那么人臉圖像處理裝置可以根據(jù)所述多個嘴唇特征點位置之間的相對距離，獲取用戶的嘴型厚度和嘴型寬度，若當前所述嘴型厚度和嘴型寬度之間的比值不小于第二預(yù)設(shè)閾值，則確定用戶的臉部動作為親嘴動作。示例性的，如圖2所示，可以采用用戶的上嘴唇的上邊緣中心位置75與下嘴唇的下邊緣中心位置69 之間的相對距離作為所述嘴型厚度;可以采用用戶的左嘴角位置66與右嘴角位置72之間的相對距離作為所述嘴型寬度。在其他可選實施例中也可以采用其他識別到的特征點位置之間的相對距離表示嘴型厚度和嘴型寬度，例如74和80之間的相對距離，或76和68之間的相對距離均可以用來表示嘴型厚度，或采用67-71之間的相對距離表示嘴唇張開間距。[〇〇38]在可選實施例中，人臉圖像處理裝置還可以根據(jù)S101獲取到的所述多幀連續(xù)拍攝到的人臉圖像中的多個人臉特征點位置之間的相對距離的變化，確定用戶的臉部動作。
[0039]例如可以定義挑眉動作為多幀連續(xù)拍攝到的人臉圖像中，存在兩幀的人臉圖像中的眉部與眼睛的間距的變化量超過第三預(yù)設(shè)閾值。人臉圖像處理裝置可以根據(jù)用戶的眉部特征點位置和眼部特征點位置之間的相對距離，獲取用戶的眉部與眼睛的間距，若在所述多幀連續(xù)拍攝到的人臉圖像中，存在兩幀的人臉圖像中的眉部與眼睛的間距的變化量超過第三預(yù)設(shè)閾值，則確定用戶的臉部動作為挑眉動作。示例性的，如圖2中所示，可以采用23和 39之間的相對距離表示用戶的眉部與眼睛的間距，若在所述多幀連續(xù)拍攝到的人臉圖像中，存在兩幀的人臉圖像中的所述第一眉眼間距與所述第二眉眼間距的比值的差值超過第三預(yù)設(shè)閾值(這里的第三預(yù)設(shè)閾值例如可以為10個像素)，則確定用戶的臉部動作為挑眉動作。在另一示例中，可以通過獲取用戶的眉末位置21與同側(cè)眼睛的下邊緣中心位置39之間的第一眉眼間距，以及獲取用戶的眉末位置21與同側(cè)外眼角位置37之間的第二眉眼間距， 進而若在所述多幀連續(xù)拍攝到的人臉圖像中，存在兩幀的人臉圖像中的所述第一眉眼間距與所述第二眉眼間距的比值的差值超過所述第三預(yù)設(shè)閾值(這里的第三預(yù)設(shè)閾值例如可以為0.3或0.2)，則確定用戶的臉部動作為挑眉動作。
[0040]又例如可以定義眨眼動作為多幀連續(xù)拍攝到的人臉圖像中，依次出現(xiàn)睜眼-閉眼-睜眼的人臉圖像，即在兩幀用戶睜眼的人臉圖像之間存在一幀用戶閉眼的人臉圖像，進而人臉圖像處理裝置可以根據(jù)用戶的多個眼睛特征點位置之間的相對距離，獲取用戶的眼睛張開間距，進而根據(jù)用戶的眼睛張開間距確定某一幀人臉圖像中用戶為睜眼或閉眼。示例性的，如圖2中所示，可以采用43與39之間的相對距離作為眼睛張開間距，若一幀人臉圖像中的眼睛43與39之間的相對距離大于一預(yù)設(shè)間距，例如5個像素，則確認用戶為睜眼，反之若眼睛張開間距未達到所述預(yù)設(shè)間距，則確認用戶為閉眼。在另一示例中，人臉圖像處理裝置可以采用用戶的眼睛的上邊緣中心位置43和下邊緣中心位置39之間的相對距離作為眼睛張開間距，另外獲取用戶的眼睛的下邊緣中心位置39與外眼角位置37之間的相對距離作為眼寬，若某幀人臉圖像中所述眼睛張開間距大于所述眼寬的一半，則確定該幀人臉圖像中用戶睜眼，否則確定該幀人臉圖像中用戶為閉眼。
[0041]又例如可以定義搖頭動作為多幀連續(xù)拍攝到的人臉圖像中同時存在一幀左側(cè)臉的人臉圖像和一幀右側(cè)臉的人臉圖像，進而人臉圖像處理裝置可以根據(jù)用戶的鼻子特征點位置和臉部邊緣特征點位置獲取用戶的左臉寬度和右臉寬度，進而根據(jù)用戶的左臉寬度和右臉寬度確定某一幀人臉圖像為用戶的左側(cè)臉或右側(cè)臉。示例性的，可以采用用戶的鼻尖位置53與臉左側(cè)外邊緣中心位置(可以選取2-5中任一個)之間的相對距離作為左臉寬度， 采用用戶的鼻尖位置53與臉右側(cè)外邊緣中心位置(可以選取15-18中任一個)之間的相對距離作為右臉寬度，若某幀人臉圖像中所述左臉寬度與所述右臉寬度的比值小于第四預(yù)設(shè)閾值，則確定該幀人臉圖像為用戶的右側(cè)臉，其中所述第四預(yù)設(shè)閾值小于1，例如為0.7;反之， 若某幀人臉圖像中所述右臉寬度與所述左臉寬度的比值小于所述第四預(yù)設(shè)閾值，則確定該幀人臉圖像為用戶的左側(cè)臉。[〇〇42]需要指出的是，以上僅為示例，本領(lǐng)域技術(shù)人員由以上示例可以不經(jīng)創(chuàng)造性勞動獲得更多的實例，例如識別得到用戶的點頭動作、皺眉動作、鬼臉動作，伸舌頭動作等，本發(fā)明無法進行窮舉。
[0043]S103,根據(jù)所述用戶的臉部動作，對所述用戶的人臉圖像進行圖像處理。[〇〇44]具體實現(xiàn)中，人臉圖像處理裝置可以預(yù)設(shè)與各種定義的臉部動作對應(yīng)的圖像處理方式，在對人臉圖像識別得到用戶的臉部動作后，對人臉圖像進行相應(yīng)的圖像處理。具體的，對人臉圖像進行圖像處理的方式可以包括:
[0045]1)使用預(yù)設(shè)的與所述用戶的臉部動作對應(yīng)的貼圖對于所述人臉圖像進行貼圖處理。
[0046]人臉圖像處理裝置可以預(yù)設(shè)多個分別與不同的用戶的臉部動作的貼圖，在識別得到人臉圖像中的用戶的臉部動作后，使用對應(yīng)的貼圖對該人臉圖像進行貼圖處理。示例性的可以如圖8至圖10所示，為根據(jù)識別出不同的用戶的臉部動作進行對應(yīng)的貼圖的效果。需要說明的是此處僅為示例，本領(lǐng)域技術(shù)人員可以根據(jù)本實施例中的示例不經(jīng)創(chuàng)造性勞動即可得到更多的貼圖示例，本發(fā)明不進行窮舉。
[0047]圖8可以為在確定人臉圖像中用戶在張嘴時，在人臉圖像中進行“兔牙”的貼圖，較優(yōu)的可以將“兔牙”貼圖疊加顯示在用戶的上嘴唇下邊緣中心點位置，當然也可以將“兔牙” 貼圖疊加在人臉圖像中的任意位置，還可以根據(jù)用戶對“兔牙”貼圖的移動指令改變“兔牙” 貼圖在人臉圖像中的疊加顯示位置。
[0048]圖9可以為在確定人臉圖像中用戶在眨眼時，在人臉圖像中進行“公主淚眼”的貼圖，較優(yōu)的可以將“公主淚眼”的淚眼部分貼圖疊加顯示在人臉圖像中用戶的眼睛位置，當然也可以將“公主淚眼”貼圖疊加在人臉圖像中的任意位置，還可以根據(jù)用戶對“公主淚眼” 貼圖的移動指令改變“公主淚眼”貼圖在人臉圖像中的疊加顯示位置。
[0049]圖10可以為在確定人臉圖像中用戶在做出眨眼動作的同時還做出了親嘴動作，那么相應(yīng)的可以在人臉圖像中進行“公主淚眼”貼圖的同時還進行“遞蘋果”貼圖。
[0050]2)確定與所述用戶的臉部動作對應(yīng)的臉部對象，針對所述與所述用戶的臉部動作對應(yīng)的臉部對象進行對應(yīng)的特效變形處理。
[0051]例如若識別得到人臉圖像中用戶的眼部動作，則可以對人臉圖像中用戶的眼部區(qū)域進行特效變形處理;若識別得到人臉圖像中用戶的嘴部動作，則可以對人臉圖像中用戶的嘴部區(qū)域進行特效變形處理;若識別得到人臉圖像中用戶的眉部動作，則可以對人臉圖像中用戶的眉部區(qū)域進行特效變形處理;若識別得到人臉圖像中用戶的頭部動作，則可以對人臉圖像中用戶的頭部區(qū)域進行特效變形處理。所述特效變形處理可以包括放大處理、 拉長處理或模糊處理等。
[0052]本發(fā)明實施例通過計算人臉圖像中識別得到的多個人臉特征點位置之間的相對距離，判斷人臉圖像中用戶的臉部動作，進而根據(jù)用戶的臉部動作讀該人臉圖像進行圖像處理，可以實現(xiàn)根據(jù)用戶不同的臉部動作或表情對人臉圖像進行動態(tài)處理。[〇〇53]圖3是本發(fā)明另一實施例中的人臉圖像處理方法的流程示意圖，如圖所示本實施例中的人臉圖像處理方法流程包括:
[0054]S301，識別用戶的人臉圖像中的多個人臉特征點位置，包括多個嘴唇特征點位置。
[0055]在可選實施例中，人臉圖像處理裝置可以通過攝像模塊拍攝獲取得到用戶的人臉圖像，進而實時的對拍攝獲取得到的人臉圖像進行人臉特征的識別。示例性的，如圖2中所示的66?87表示用戶的嘴唇特征點位置，本實施例中可以識別得到66?87中的部分或全部的嘴唇特征點位置。[〇〇56]S302,根據(jù)所述多個嘴唇特征點位置之間的相對距離，獲取用戶的嘴唇張開間距和嘴唇厚度。
[0057]示例性的，如圖2所示，可以采用用戶的上嘴唇的下邊緣中心位置85與下嘴唇的上邊緣中心位置80之間的相對距離作為所述嘴唇張開間距;可以采用用戶的下嘴唇的上邊緣中心位置80與下邊緣中心位置69之間的相對距離作為所述嘴唇厚度。在其他可選實施例中也可以采用其他識別到的特征點位置之間的相對距離表示嘴唇厚度和嘴唇張開間距，例如 75和85之間的相對距離，或70和81之間的相對距離均可以用來表示嘴唇厚度，或采用81-84 之間的相對距離表示嘴唇張開間距。
[0058]S303,若所述嘴唇張開間距與所述嘴唇厚度的比值不小于第一預(yù)設(shè)閾值，則確定用戶的臉部動作為張嘴動作。[〇〇59]所述第一預(yù)設(shè)閾值可以例如為2/3。[〇〇6〇] S304,根據(jù)所述用戶的張嘴動作，對所述用戶的人臉圖像進行圖像處理。
[0061]具體的，對人臉圖像進行圖像處理的方式可以包括:
[0062]使用預(yù)設(shè)的與所述用戶的臉部動作對應(yīng)的貼圖對于所述人臉圖像進行貼圖處理。 或通過確定與所述用戶的臉部動作對應(yīng)的臉部對象，本實施例為嘴部區(qū)域，針對所述嘴部區(qū)域進行對應(yīng)的特效變形處理。
[0063]圖4是本發(fā)明另一實施例中的人臉圖像處理方法的流程示意圖，如圖所示本實施例中的人臉圖像處理方法流程包括:
[0064]S401，識別用戶的人臉圖像中的多個人臉特征點位置，包括多個嘴唇特征點。
[0065]在可選實施例中，人臉圖像處理裝置可以通過攝像模塊拍攝獲取得到用戶的人臉圖像，進而實時的對拍攝獲取得到的人臉圖像進行人臉特征的識別。示例性的，如圖2中所示的66?87表示用戶的嘴唇特征點位置，本實施例中可以識別得到66?87中的部分或全部的嘴唇特征點位置。[〇〇66]S402,根據(jù)所述多個嘴唇特征點位置之間的相對距離，獲取用戶的嘴型厚度和嘴型寬度。
[0067]示例性的，如圖2所示，可以采用用戶的上嘴唇的上邊緣中心位置75與下嘴唇的下邊緣中心位置69之間的相對距離作為所述嘴型厚度;可以采用用戶的左嘴角位置66與右嘴角位置72之間的相對距離作為所述嘴型寬度。在其他可選實施例中也可以采用其他識別到的特征點位置之間的相對距離表示嘴型厚度和嘴型寬度，例如74和80之間的相對距離，或 76和68之間的相對距離均可以用來表示嘴型厚度，或采用67-71之間的相對距離表示嘴唇張開間距。[〇〇68]S403,若所述嘴型厚度和嘴型寬度之間的比值不小于第二預(yù)設(shè)閾值，則確定用戶的臉部動作為親嘴動作。[〇〇69]所述第二預(yù)設(shè)閾值小于1，例如為1/2。[〇〇7〇] S404,根據(jù)所述用戶的親嘴動作，對所述用戶的人臉圖像進行圖像處理。
[0071]具體的，對人臉圖像進行圖像處理的方式可以包括:
[0072]使用預(yù)設(shè)的與所述用戶的臉部動作對應(yīng)的貼圖對于所述人臉圖像進行貼圖處理。 或通過確定與所述用戶的臉部動作對應(yīng)的臉部對象，本實施例為嘴部區(qū)域，針對所述嘴部區(qū)域進行對應(yīng)的特效變形處理。
[0073]圖5是本發(fā)明另一實施例中的人臉圖像處理方法的流程示意圖，如圖所示本實施例中的人臉圖像處理方法流程包括:
[0074]S501，分別對多幀連續(xù)拍攝到的人臉圖像進行識別得到每張人臉圖像中的多個人臉特征點位置，包括用戶的眉部特征點位置和眼部特征點位置。
[0075]在本實施例中，人臉圖像處理裝置可以獲取到多幀連續(xù)拍攝到的人臉圖像，進而分別對多幀連續(xù)拍攝到的人臉圖像進行識別得到每張人臉圖像中的多個人臉特征點位置。 所述多幀連續(xù)拍攝到的，可以為指定時長內(nèi)連續(xù)拍攝到的多幀人臉圖像，所述指定時長例如為1秒或0.5秒。
[0076] 示例性的，如圖2中所示的21?28以及29?36分別表示用戶的左眉部特征點位置和右眉部特征點位置，37?44以及88表示用戶的左眼特征點位置，其中88為左眼瞳孔位置， 45?51以及89表示用戶的右眼特征點位置，其中89為右眼瞳孔位置，本實施例中可以識別得到21?28和37?44以及88中的部分或全部的特征點位置，或可以得到29?36和45?51以及89中的部分或全部的特征點位置。[〇〇77] S502,根據(jù)用戶的眉部特征點位置和眼部特征點位置之間的相對距離，獲取用戶的眉部與眼睛的間距。[〇〇78]在本實施例的第一示例中，如圖2中所示，可以采用23和39之間的相對距離表示用戶的眉部與眼睛的間距。[〇〇79] 在第二示例中，可以獲取用戶的眉末位置21與同側(cè)眼睛的下邊緣中心位置39之間的第一眉眼間距，以及獲取用戶的眉末位置21與同側(cè)外眼角位置37之間的第二眉眼間距。
[0080] S503,若在所述多幀連續(xù)拍攝到的人臉圖像中，存在兩幀的人臉圖像中的眉部與眼睛的間距的變化量超過第三預(yù)設(shè)閾值，則確定用戶的臉部動作為挑眉動作。
[0081]在本實施例的第一示例中，若在所述多幀連續(xù)拍攝到的人臉圖像中，存在兩幀的人臉圖像中的所述第一眉眼間距與所述第二眉眼間距的比值的差值超過第三預(yù)設(shè)閾值(這里的第三預(yù)設(shè)閾值例如可以為10個像素)，則確定用戶的臉部動作為挑眉動作。
[0082]在本發(fā)明實施例的第二示例中，若在所述多幀連續(xù)拍攝到的人臉圖像中，存在兩幀的人臉圖像中的所述第一眉眼間距與所述第二眉眼間距的比值的差值超過所述第三預(yù)設(shè)閾值(這里的第三預(yù)設(shè)閾值例如可以為0.3或0.2)，則確定用戶的臉部動作為挑眉動作。 [〇〇83] S504,根據(jù)所述用戶的挑眉動作，對所述用戶的人臉圖像進行圖像處理。
[0084]具體的，對人臉圖像進行圖像處理的方式可以包括:
[0085]使用預(yù)設(shè)的與所述用戶的臉部動作對應(yīng)的貼圖對于所述人臉圖像進行貼圖處理。 或通過確定與所述用戶的臉部動作對應(yīng)的臉部對象，本實施例為眉部區(qū)域或眼部區(qū)域，針對所述眉部區(qū)域或眼部區(qū)域進行對應(yīng)的特效變形處理。
[0086]圖6是本發(fā)明另一實施例中的人臉圖像處理方法的流程示意圖，如圖所示本實施例中的人臉圖像處理方法流程包括:
[0087] S601，分別對多幀連續(xù)拍攝到的人臉圖像進行識別得到每張人臉圖像中的多個人臉特征點位置，包括用戶的多個眼睛特征點位置。
[0088]在本實施例中，人臉圖像處理裝置可以獲取到多幀連續(xù)拍攝到的人臉圖像，進而分別對多幀連續(xù)拍攝到的人臉圖像進行識別得到每張人臉圖像中的多個人臉特征點位置。 所述多幀連續(xù)拍攝到的，可以為指定時長內(nèi)連續(xù)拍攝到的多幀人臉圖像，所述指定時長例如為1秒或0.5秒。[〇〇89] 示例性的，如圖2中所示的37?44以及88表示用戶的左眼特征點位置，其中88為左眼瞳孔位置，45?51以及89表示用戶的右眼特征點位置，其中89為右眼瞳孔位置，本實施例中可以識別得到37?44以及88中的部分或全部的特征點位置，或45?51以及89中的部分或全部的特征點位置。
[0090] S602,根據(jù)用戶的多個眼睛特征點位置之間的相對距離，獲取用戶的眼睛張開間距，進而根據(jù)用戶的眼睛張開間距確定某一幀人臉圖像中用戶為睜眼或閉眼。
[0091] 示例性的，如圖2中所示，可以采用43與39之間的相對距離作為眼睛張開間距，若一幀人臉圖像中的眼睛43與39之間的相對距離大于一預(yù)設(shè)間距，例如5個像素，則確認用戶為睜眼，反之若眼睛張開間距未達到所述預(yù)設(shè)間距，則確認用戶為閉眼。在另一示例中，人臉圖像處理裝置可以采用用戶的眼睛的上邊緣中心位置43和下邊緣中心位置39之間的相對距離作為眼睛張開間距，另外獲取用戶的眼睛的下邊緣中心位置39與外眼角位置37之間的相對距離作為眼寬，若某幀人臉圖像中所述眼睛張開間距大于所述眼寬的一半，則確定該幀人臉圖像中用戶睜眼，否則確定該幀人臉圖像中用戶為閉眼。
[0092]S603,若在所述多幀連續(xù)拍攝到的人臉圖像中，兩幀用戶睜眼的人臉圖像中間存在一幀用戶閉眼的人臉圖像，則確定用戶的臉部動作為眨眼動作。
[0093]即定義眨眼動作為多幀連續(xù)拍攝到的人臉圖像中，依次出現(xiàn)睜眼-閉眼-睜眼的人臉圖像。在其他可選實施例中，還可以定義出現(xiàn)2次或更多次的睜眼-閉眼的變換才定義為眨眼動作，這樣可以避免對用戶每次眨眼都作出反應(yīng)。[〇〇94]S604,根據(jù)所述用戶的眨眼動作，對所述用戶的人臉圖像進行圖像處理。
[0095]具體的，對人臉圖像進行圖像處理的方式可以包括:
[0096]使用預(yù)設(shè)的與所述用戶的臉部動作對應(yīng)的貼圖對于所述人臉圖像進行貼圖處理。 或通過確定與所述用戶的臉部動作對應(yīng)的臉部對象，本實施例為眼部區(qū)域，針對所述眼部區(qū)域進行對應(yīng)的特效變形處理。
[0097]圖7是本發(fā)明另一實施例中的人臉圖像處理方法的流程示意圖，如圖所示本實施例中的人臉圖像處理方法流程包括:
[0098]S701，分別對多幀連續(xù)拍攝到的人臉圖像進行識別得到每張人臉圖像中的多個人臉特征點位置，包括用戶的鼻子特征點位置和臉部邊緣特征點位置。
[0099]在本實施例中，人臉圖像處理裝置可以獲取到多幀連續(xù)拍攝到的人臉圖像，進而分別對多幀連續(xù)拍攝到的人臉圖像進行識別得到每張人臉圖像中的多個人臉特征點位置。 所述多幀連續(xù)拍攝到的，可以為指定時長內(nèi)連續(xù)拍攝到的多幀人臉圖像，所述指定時長例如為1秒或0.5秒。[〇100] 示例性的，如圖2中所示的1?20表示臉部邊緣特征點位置，53?65表示用戶的鼻子特征點位置，本實施例中的人臉圖像處理裝置可以識別得到1?20以及53?65中的部分或全部的特征點位置。
[0101]S702,分別根據(jù)用戶的鼻子特征點位置與兩側(cè)臉部邊緣特征點位置的相對距離， 獲取用戶的左臉寬度和右臉寬度，進而根據(jù)用戶的左臉寬度和右臉寬度確定某一幀人臉圖像為用戶的左側(cè)臉或右側(cè)臉。
[0102]示例性的，可以采用用戶的鼻尖位置53與臉左側(cè)外邊緣中心位置(可以選取2-5中任一個)之間的相對距離作為左臉寬度，采用用戶的鼻尖位置53與臉右側(cè)外邊緣中心位置 (可以選取15-18中任一個)之間的相對距離作為右臉寬度，若某幀人臉圖像中所述左臉寬度與所述右臉寬度的比值小于第四預(yù)設(shè)閾值，則確定該幀人臉圖像為用戶的右側(cè)臉，其中所述第四預(yù)設(shè)閾值小于1，例如為0.7;反之，若某幀人臉圖像中所述右臉寬度與所述左臉寬度的比值小于所述第四預(yù)設(shè)閾值，則確定該幀人臉圖像為用戶的左側(cè)臉。在其他可選實施例中，還可以采用58與3之間的相對距離作為左臉寬度，62與17之間的相對距離作為右臉寬度，等等。
[0103]S703,若在所述多幀連續(xù)拍攝到的人臉圖像中同時存在一幀左側(cè)臉的人臉圖像和一幀有側(cè)臉的人臉圖像，則確定用戶的臉部動作為搖頭動作。
[0104]S704,根據(jù)所述用戶的搖頭動作，對所述用戶的人臉圖像進行圖像處理。[〇1〇5]具體的，對人臉圖像進行圖像處理的方式可以包括:
[0106]使用預(yù)設(shè)的與所述用戶的臉部動作對應(yīng)的貼圖對于所述人臉圖像進行貼圖處理。 或通過確定與所述用戶的臉部動作對應(yīng)的臉部對象，本實施例為頭部區(qū)域(整體)，針對所述頭部區(qū)域進行對應(yīng)的特效變形處理。
[0107]圖11是本發(fā)明實施例中的一種人臉圖像處理裝置的結(jié)構(gòu)示意圖，如圖所示本發(fā)明實施例中的人臉圖像處理裝置可以包括:
[0108]人臉特征識別模塊1110,用于識別用戶的人臉圖像中的多個人臉特征點位置。
[0109]在可選實施例中，人臉特征識別模塊1110可以通過攝像模塊拍攝獲取得到用戶的人臉圖像，進而實時的對拍攝獲取得到的人臉圖像進行人臉特征的識別。在另一可選實施例中，人臉特征識別模塊1110還可以獲取到多幀連續(xù)拍攝到的人臉圖像，進而分別對多幀連續(xù)拍攝到的人臉圖像進行識別得到每張人臉圖像中的多個人臉特征點位置。所述多幀連續(xù)拍攝到的，可以為指定時長內(nèi)連續(xù)拍攝到的多幀人臉圖像，所述指定時長例如為1秒或 0.5秒。
[0110]所述人臉特征點位置包括眼睛特征點位置、鼻子特征點位置、嘴唇特征點位置、眉部特征點位置以及臉部邊緣特征點位置中的任一種或多種。
[0111]示例性的，可以得到如圖2所示的人臉特征點識別結(jié)果，為了下文方便說明，采用數(shù)字標記識別得到的各個人臉特征點位置，例如圖2中所示的1?20表示臉部邊緣特征點位置，21?28以及29?36分別表示用戶的左眉部特征點位置和右眉部特征點位置，37?44以及88表示用戶的左眼特征點位置，其中88為左眼瞳孔位置，45?51以及89表示用戶的右眼特征點位置，其中89為右眼瞳孔位置，53?65表示用戶的鼻子特征點位置、66?87表示用戶的嘴唇特征點位置。需要指出的是，以上僅為示例，在可選實施例中可以在以上人臉特征點中僅識別部分或更多的特征點，或采用其他方式標記各個特征點位置，均屬于本發(fā)明實施例的范疇。
[0112]臉部動作解析模塊1130,用于根據(jù)所述多個人臉特征點位置之間的相對距離，確定用戶的臉部動作。
[0113]具體實現(xiàn)中，可以預(yù)先定義用戶的多個臉部動作，例如可以包括:眼部動作(例如眨眼、斜眼等)、嘴部動作(例如親嘴、張嘴、吐舌等)、眉部動作(例如挑眉、皺眉等)、頭部動作(例如低頭、抬頭、點頭、搖頭、晃頭等)中的任一種或多種。進一步的，可以定義各個臉部動作對應(yīng)的多個人臉特征點位置的相對距離，最簡單的示例如:定義張嘴動作為用戶的上嘴唇下邊緣中心位置與上嘴唇的上邊緣中心位置之間的距離超過10個像素(或轉(zhuǎn)換為其他距離單位)，那么臉部動作解析模塊1130根據(jù)當前用戶的人臉圖像中識別得到的上嘴唇下邊緣中心位置85與上嘴唇的上邊緣中心位置80,若85到80之間的相對距離超過10個像素， 則確定用戶當前的臉部動作為張嘴。
[0114]在可選實施例中，臉部動作解析模塊1130如圖12所示進一步可以包括:[〇115]特征數(shù)據(jù)獲取單元1131，用于得到多組人臉特征點位置之間的相對距離；[〇116]動作解析單元1133,用于通過比較這多組相對距離之間的關(guān)系，確定用戶的臉部動作。
[0117]例如可以定義張嘴動作為用戶的嘴唇張開間距與嘴唇厚度的比值不小于第一預(yù)設(shè)閾值，那么特征數(shù)據(jù)獲取單元1131就可以根據(jù)當前用戶的人臉圖像中識別得到的多個嘴唇特征點位置之間的相對距離，獲取用戶的嘴唇張開間距和嘴唇厚度，動作解析單元1133 判斷所述嘴唇張開間距與所述嘴唇厚度的比值是否不小于第一預(yù)設(shè)閾值，若是則確定用戶當前的臉部動作為張嘴動作。所述第一預(yù)設(shè)閾值可以例如為2/3。
[0118]又例如可以定義親嘴動作為用戶的嘴型厚度和嘴型寬度之間的比值不小于第二預(yù)設(shè)閾值，所述第二預(yù)設(shè)閾值小于1，例如為1/2。那么特征數(shù)據(jù)獲取單元1131可以根據(jù)所述多個嘴唇特征點位置之間的相對距離，獲取用戶的嘴型厚度和嘴型寬度，動作解析單元 1133判斷當前所述嘴型厚度和嘴型寬度之間的比值是否不小于第二預(yù)設(shè)閾值，若是則確定用戶的臉部動作為親嘴動作。所述第二預(yù)設(shè)閾值小于1，例如為1/2。
[0119]在另一可選實施例中，動作解析單元1133還可以根據(jù)特征數(shù)據(jù)獲取單元1131獲取到的所述多幀連續(xù)拍攝到的人臉圖像中的多個人臉特征點位置之間的相對距離的變化，確定用戶的臉部動作。
[0120]例如可以定義挑眉動作為多幀連續(xù)拍攝到的人臉圖像中，存在兩幀的人臉圖像中的眉部與眼睛的間距的變化量超過第三預(yù)設(shè)閾值。特征數(shù)據(jù)獲取單元1131可以根據(jù)用戶的眉部特征點位置和眼部特征點位置之間的相對距離，獲取用戶的眉部與眼睛的間距，若在所述多幀連續(xù)拍攝到的人臉圖像中，存在兩幀的人臉圖像中的眉部與眼睛的間距的變化量超過第三預(yù)設(shè)閾值，則動作解析單元1133確定用戶的臉部動作為挑眉動作。
[0121]又例如可以定義眨眼動作為多幀連續(xù)拍攝到的人臉圖像中，依次出現(xiàn)睜眼-閉眼-睜眼的人臉圖像，即在兩幀用戶睜眼的人臉圖像之間存在一幀用戶閉眼的人臉圖像。特征數(shù)據(jù)獲取單元1131可以根據(jù)用戶的多個眼睛特征點位置之間的相對距離，獲取用戶的眼睛張開間距，進而動作解析單元1133根據(jù)用戶的眼睛張開間距確定某一幀人臉圖像中用戶為睜眼或閉眼，若在所述多幀連續(xù)拍攝到的人臉圖像中，在兩幀用戶睜眼的人臉圖像之間存在一幀用戶閉眼的人臉圖像，則動作解析單元1133確定用戶的臉部動作為眨眼動作。在其他可選實施例中，還可以定義出現(xiàn)2次或更多次的睜眼-閉眼的變換才定義為眨眼動作，這樣可以避免對用戶每次眨眼都作出反應(yīng)。
[0122]又例如可以定義搖頭動作為多幀連續(xù)拍攝到的人臉圖像中同時存在一幀左側(cè)臉的人臉圖像和一幀右側(cè)臉的人臉圖像。特征數(shù)據(jù)獲取單元1131可以根據(jù)用戶的鼻子特征點位置和臉部邊緣特征點位置獲取用戶的左臉寬度和右臉寬度，進而動作解析單元1133根據(jù)用戶的左臉寬度和右臉寬度確定某一幀人臉圖像為用戶的左側(cè)臉或右側(cè)臉，若在所述多幀連續(xù)拍攝到的人臉圖像中，同時存在一幀左側(cè)臉的人臉圖像和一幀右側(cè)臉的人臉圖像，則動作解析單元1133確定用戶的臉部動作為搖頭動作。
[0123]需要指出的是，以上僅為示例，本領(lǐng)域技術(shù)人員由以上示例可以不經(jīng)創(chuàng)造性勞動獲得更多的實例，例如識別得到用戶的點頭動作、皺眉動作、鬼臉動作，伸舌頭動作等，本發(fā)明無法進行窮舉。
[0124]圖像處理模塊1105,用于根據(jù)所述用戶的臉部動作，對所述用戶的人臉圖像進行圖像處理。
[0125]具體實現(xiàn)中，人臉圖像處理裝置可以預(yù)設(shè)與各種定義的臉部動作對應(yīng)的圖像處理方式，在對人臉圖像識別得到用戶的臉部動作后，圖像處理模塊1105對人臉圖像進行相應(yīng)的圖像處理。具體的，圖像處理模塊1105對人臉圖像進行圖像處理的方式可以包括:
[0126]1)使用預(yù)設(shè)的與所述用戶的臉部動作對應(yīng)的貼圖對于所述人臉圖像進行貼圖處理。
[0127]人臉圖像處理裝置可以預(yù)設(shè)多個分別與不同的用戶的臉部動作的貼圖，在識別得到人臉圖像中的用戶的臉部動作后，使用對應(yīng)的貼圖對該人臉圖像進行貼圖處理。示例性的可以如圖8至圖10所示，為根據(jù)識別出不同的用戶的臉部動作進行對應(yīng)的貼圖的效果。圖 8可以為在確定人臉圖像中用戶在張嘴時，在人臉圖像中進行“兔牙”的貼圖。圖9可以為在確定人臉圖像中用戶在眨眼時，在人臉圖像中進行“公主淚眼”的貼圖。圖10可以為在確定人臉圖像中用戶在做出眨眼動作的同時還做出了親嘴動作，那么相應(yīng)的可以在人臉圖像中進行“公主淚眼”貼圖的同時還進行“遞蘋果”貼圖。
[0128]需要說明的是此處僅為示例，本領(lǐng)域技術(shù)人員可以根據(jù)本實施例中的示例不經(jīng)創(chuàng)造性勞動即可得到更多的貼圖示例，本發(fā)明不進行窮舉。
[0129]2)確定與所述用戶的臉部動作對應(yīng)的臉部對象，針對所述與所述用戶的臉部動作對應(yīng)的臉部對象進行對應(yīng)的特效變形處理。
[0130]例如若識別得到人臉圖像中用戶的眼部動作，則可以對人臉圖像中用戶的眼部區(qū)域進行特效變形處理;若識別得到人臉圖像中用戶的嘴部動作，則可以對人臉圖像中用戶的嘴部區(qū)域進行特效變形處理;若識別得到人臉圖像中用戶的眉部動作，則可以對人臉圖像中用戶的眉部區(qū)域進行特效變形處理;若識別得到人臉圖像中用戶的頭部動作，則可以對人臉圖像中用戶的頭部區(qū)域進行特效變形處理。所述特效變形處理可以包括放大處理、 拉長處理或模糊處理等。
[0131]本發(fā)明實施例通過計算人臉圖像中識別得到的多個人臉特征點位置之間的相對距離，判斷人臉圖像中用戶的臉部動作，進而根據(jù)用戶的臉部動作讀該人臉圖像進行圖像處理，可以實現(xiàn)根據(jù)用戶不同的臉部動作或表情對人臉圖像進行動態(tài)處理。
[0132]本領(lǐng)域普通技術(shù)人員可以理解實現(xiàn)上述實施例方法中的全部或部分流程，是可以通過計算機程序來指令相關(guān)的硬件來完成，所述的程序可存儲于一計算機可讀取存儲介質(zhì)中，該程序在執(zhí)行時，可包括如上述各方法的實施例的流程。其中，所述的存儲介質(zhì)可為磁碟、光盤、只讀存儲記憶體(Read-Only Memory，ROM)或隨機存儲記憶體(Random Access Memory，RAM)等。
[0133]以上所揭露的僅為本發(fā)明較佳實施例而已，當然不能以此來限定本發(fā)明之權(quán)利范圍，因此依本發(fā)明權(quán)利要求所作的等同變化，仍屬本發(fā)明所涵蓋的范圍。
【主權(quán)項】
1.一種人臉圖像處理方法，其特征在于，所述方法包括:識別用戶的人臉圖像中的多個人臉特征點位置；根據(jù)所述多個人臉特征點位置之間的相對距離，確定用戶的臉部動作；根據(jù)所述用戶的臉部動作，對所述用戶的人臉圖像進行圖像處理。2.如權(quán)利要求1所述的人臉圖像處理方法，其特征在于，所述人臉特征點位置包括多個 嘴唇特征點位置；所述根據(jù)所述多個人臉特征點位置之間的相對距離，確定用戶的臉部動作包括:根據(jù)所述多個嘴唇特征點位置之間的相對距離，獲取用戶的嘴唇張開間距和嘴唇厚 度；若所述嘴唇張開間距與所述嘴唇厚度的比值不小于第一預(yù)設(shè)閾值，則確定用戶的臉部 動作為張嘴動作。3.如權(quán)利要求2所述的人臉圖像處理方法，其特征在于，所述多個嘴唇特征點位置包括 用戶的上嘴唇的下邊緣中心位置和下嘴唇的上、下邊緣中心位置；所述根據(jù)所述多個嘴唇特征點位置之間的相對距離，獲取用戶的嘴唇張開間距和嘴唇 厚度包括:獲取用戶的上嘴唇的下邊緣中心位置與下嘴唇的上邊緣中心位置之間的相對距離作 為所述嘴唇張開間距；獲取用戶的下嘴唇的上邊緣中心位置與下邊緣中心位置之間的相對距離作為所述嘴唇厚度。4.如權(quán)利要求1所述的人臉圖像處理方法，其特征在于，所述人臉特征點位置包括多個 嘴唇特征點位置；所述根據(jù)所述多個人臉特征點位置之間的相對距離，確定用戶的臉部動作包括:根據(jù)所述多個嘴唇特征點位置之間的相對距離，獲取用戶的嘴型厚度和嘴型寬度；若所述嘴型厚度和嘴型寬度之間的比值不小于第二預(yù)設(shè)閾值，則確定用戶的臉部動作 為親嘴動作，所述第一預(yù)設(shè)閾值小于1。5.如權(quán)利要求4所述的人臉圖像處理方法，其特征在于，所述多個嘴唇特征點位置包括 用戶的左嘴角位置、右嘴角位置、上嘴唇的上邊緣中心位置以及下嘴唇的下邊緣中心位置；所述根據(jù)所述多個嘴唇特征點位置之間的相對距離，獲取用戶的嘴型厚度和嘴型寬度 包括:獲取用戶的上嘴唇的上邊緣中心位置與下嘴唇的下邊緣中心位置之間的相對距離作 為所述嘴型厚度；獲取用戶的左嘴角位置與右嘴角位置之間的相對距離作為所述嘴型寬度。6.如權(quán)利要求1所述的人臉圖像處理方法，其特征在于，所述識別用戶的人臉圖像中的 多個人臉特征點位置包括:分別對多幀連續(xù)拍攝到的人臉圖像進行識別得到每張人臉圖像中的多個人臉特征點 位置；所述根據(jù)所述多個人臉特征點位置之間的相對距離，確定用戶的臉部動作包括:根據(jù)所述多幀連續(xù)拍攝到的人臉圖像中的多個人臉特征點位置之間的相對距離的變 化，確定用戶的臉部動作。7.如權(quán)利要求6所述的人臉圖像處理方法，其特征在于，所述多個人臉特征點位置包括 用戶的眉部特征點位置和眼部特征點位置；根據(jù)所述多幀連續(xù)拍攝到的人臉圖像中的多個人臉特征點位置之間的相對距離的變 化，確定用戶的臉部動作包括:根據(jù)用戶的眉部特征點位置和眼部特征點位置之間的相對距離，獲取用戶的眉部與眼 睛的間距；若在所述多幀連續(xù)拍攝到的人臉圖像中，存在兩幀的人臉圖像中的眉部與眼睛的間距 的變化量超過第三預(yù)設(shè)閾值，則確定用戶的臉部動作為挑眉動作。8.如權(quán)利要求7所述的人臉圖像處理方法，其特征在于，所述眉部特征點位置包括用戶 的眉末位置，所述眼部特征點位置包括與所述眉末位置同一側(cè)的外眼角位置和眼睛的下邊 緣中心位置；所述根據(jù)用戶的眉部特征點位置和眼部特征點位置嘴唇特征點位置之間的相對距離， 獲取用戶的眉部與眼睛的間距包括:獲取用戶的眉末位置與同側(cè)眼睛的下邊緣中心位置之間的第一眉眼間距；獲取用戶的眉末位置與同側(cè)外眼角位置之間的第二眉眼間距；所述若在所述多幀連續(xù)拍攝到的人臉圖像中，存在兩幀的人臉圖像中的眉部與眼睛的 間距的變化量超過第二預(yù)設(shè)閾值，則確定用戶的臉部動作為挑眉動作包括:若在所述多幀連續(xù)拍攝到的人臉圖像中，存在兩幀的人臉圖像中的所述第一眉眼間距 與所述第二眉眼間距的比值的差值超過所述第三預(yù)設(shè)閾值，則確定用戶的臉部動作為挑眉 動作。9.如權(quán)利要求6所述的人臉圖像處理方法，其特征在于，所述多個人臉特征點位置包括 用戶的多個眼睛特征點位置；所述根據(jù)所述多幀連續(xù)拍攝到的人臉圖像中的多個人臉特征點位置之間的相對距離 的變化，確定用戶的臉部動作包括:根據(jù)用戶的多個眼睛特征點位置之間的相對距離，獲取用戶的眼睛張開間距，進而根 據(jù)用戶的眼睛張開間距確定某一幀人臉圖像中用戶為睜眼或閉眼；若在所述多幀連續(xù)拍攝到的人臉圖像中，兩幀用戶睜眼的人臉圖像中間存在一幀用戶 閉眼的人臉圖像，則確定用戶的臉部動作為眨眼動作。10.如權(quán)利要求9所述的人臉圖像處理方法，其特征在于，所述多個眼睛特征點位置包 括用戶任意同一側(cè)的眼睛的上、下邊緣中心位置以及外眼角位置；所述根據(jù)用戶的多個眼睛特征點位置之間的相對距離，獲取用戶的眼睛張開間距，進 而根據(jù)用戶的眼睛張開間距確定某一幀人臉圖像中用戶為睜眼或閉眼包括:獲取用戶的眼睛的上、下邊緣中心位置之間的相對距離作為眼睛張開間距；獲取用戶的眼睛的下邊緣中心位置與外眼角位置之間的相對距離作為眼寬；若某幀人臉圖像中所述眼睛張開間距大于所述眼寬的一半，則確定該幀人臉圖像中用 戶睜眼，否則確定該幀人臉圖像中用戶為閉眼。11.如權(quán)利要求6所述的人臉圖像處理方法，其特征在于，所述多個人臉特征點位置包 括用戶的鼻子特征點位置和臉部邊緣特征點位置；所述根據(jù)所述多幀連續(xù)拍攝到的人臉圖像中的多個人臉特征點位置之間的相對距離的變化，確定用戶的臉部動作包括:分別根據(jù)用戶的鼻子特征點位置與兩側(cè)臉部邊緣特征點位置的相對距離，獲取用戶的 左臉寬度和右臉寬度，進而根據(jù)用戶的左臉寬度和右臉寬度確定某一幀人臉圖像為用戶的 左側(cè)臉或右側(cè)臉；若在所述多幀連續(xù)拍攝到的人臉圖像中同時存在一幀左側(cè)臉的人臉圖像和一幀右側(cè) 臉的人臉圖像，則確定用戶的臉部動作為搖頭動作。12.如權(quán)利要求11所述的人臉圖像處理方法，其特征在于，所述鼻子特征點位置包括用 戶的鼻尖位置，所述臉部邊緣特征點位置包括臉左側(cè)外邊緣中心位置和臉右側(cè)外邊緣中心 位置；所述分別根據(jù)用戶的鼻子特征點位置與兩側(cè)臉部邊緣特征點位置的相對距離，獲取用 戶的左臉寬度和右臉寬度，進而根據(jù)用戶的左臉寬度和右臉寬度確定某一幀人臉圖像為用 戶的左側(cè)臉或右側(cè)臉包括:獲取用戶的鼻尖位置與臉左側(cè)外邊緣中心位置之間的相對距離作為左臉寬度；獲取用戶的鼻尖位置與臉右側(cè)外邊緣中心位置之間的相對距離作為右臉寬度；若某幀人臉圖像中所述左臉寬度與所述右臉寬度的比值小于第四預(yù)設(shè)閾值，則確定該 幀人臉圖像為用戶的右側(cè)臉，其中所述第四預(yù)設(shè)閾值小于1;若某幀人臉圖像中所述右臉寬度與所述左臉寬度的比值小于所述第四預(yù)設(shè)閾值，則確 定該幀人臉圖像為用戶的左側(cè)臉。13.如權(quán)利要求6所述的人臉圖像處理方法，其特征在于，所述多幀連續(xù)拍攝到的人臉 圖像為在指定時長內(nèi)連續(xù)拍攝到的多幀人臉圖像。14.如權(quán)利要求1-13中任一項所述的人臉圖像處理方法，其特征在于，所述根據(jù)所述用 戶的臉部動作，對所述用戶的人臉圖像進行圖像處理包括:使用預(yù)設(shè)的與所述用戶的臉部動作對應(yīng)的貼圖對于所述人臉圖像進行貼圖處理。15.如權(quán)利要求1-13中任一項所述的人臉圖像處理方法，其特征在于，所述根據(jù)所述用 戶的臉部動作，對所述用戶的人臉圖像進行圖像處理包括:確定與所述用戶的臉部動作對應(yīng)的臉部對象，針對所述與所述用戶的臉部動作對應(yīng)的 臉部對象進行對應(yīng)的特效變形處理。16.—種人臉圖像處理裝置，其特征在于，所述裝置包括:人臉特征識別模塊，用于識別用戶的人臉圖像中的多個人臉特征點位置；臉部動作解析模塊，用于根據(jù)所述多個人臉特征點位置之間的相對距離，確定用戶的 臉部動作；圖像處理模塊，用于根據(jù)所述用戶的臉部動作，對所述用戶的人臉圖像進行圖像處理。17.如權(quán)利要求16所述的人臉圖像處理裝置，其特征在于，所述人臉特征點位置包括多 個嘴唇特征點位置；所述臉部動作解析模塊包括:特征數(shù)據(jù)獲取單元，用于根據(jù)所述多個嘴唇特征點位置之間的相對距離，獲取用戶的 嘴唇張開間距和嘴唇厚度；動作解析單元，用于當所述嘴唇張開間距與所述嘴唇厚度的比值不小于第一預(yù)設(shè)閾值 時，確定用戶的臉部動作為張嘴動作。18.如權(quán)利要求16所述的人臉圖像處理裝置，其特征在于，所述人臉特征點位置包括多 個嘴唇特征點位置；所述臉部動作解析模塊包括:特征數(shù)據(jù)獲取單元，用于根據(jù)所述多個嘴唇特征點位置之間的相對距離，獲取用戶的 嘴型厚度和嘴型寬度；動作解析單元，用于當所述嘴唇厚度與所述嘴唇厚度之間的比值不小于第一預(yù)設(shè)閾值 時，確定用戶的臉部動作為親嘴動作，所述第二預(yù)設(shè)閾值小于1。19.如權(quán)利要求16所述的人臉圖像處理裝置，其特征在于，所述人臉特征識別模塊用 于:分別對多幀連續(xù)拍攝到的人臉圖像進行識別得到每張人臉圖像中的多個人臉特征點 位置；所述臉部動作解析模塊用于:根據(jù)所述多幀連續(xù)拍攝到的人臉圖像中的多個人臉特征點位置之間的相對距離的變 化，確定用戶的臉部動作。20.如權(quán)利要求19所述的人臉圖像處理裝置，其特征在于，所述多個人臉特征點位置包 括用戶的眉部特征點位置和眼部特征點位置；所述臉部動作解析模塊包括:特征數(shù)據(jù)獲取單元，用于根據(jù)用戶的眉部特征點位置和眼部特征點位置之間的相對距 離，獲取用戶的眉部與眼睛的間距；動作解析單元，用于當在所述多幀連續(xù)拍攝到的人臉圖像中，存在兩幀的人臉圖像中 的眉部與眼睛的間距的變化量超過第三預(yù)設(shè)閾值時，確定用戶的臉部動作為挑眉動作。21.如權(quán)利要求19所述的人臉圖像處理裝置，其特征在于，所述多個人臉特征點位置包 括用戶的多個眼睛特征點位置；所述臉部動作解析模塊包括:特征數(shù)據(jù)獲取單元，用于根據(jù)用戶的多個眼睛特征點位置之間的相對距離，獲取用戶 的眼睛張開間距；動作解析單元，用于根據(jù)用戶的眼睛張開間距確定某一幀人臉圖像中用戶為睜眼或閉 目艮，當在所述多幀連續(xù)拍攝到的人臉圖像中，兩幀用戶睜眼的人臉圖像中間存在一幀用戶 閉眼的人臉圖像時，確定用戶的臉部動作為眨眼動作。22.如權(quán)利要求19所述的人臉圖像處理裝置，其特征在于，所述多個人臉特征點位置包 括用戶的鼻子特征點位置和臉部邊緣特征點位置；所述臉部動作解析模塊包括:特征數(shù)據(jù)獲取單元，用于分別根據(jù)用戶的鼻子特征點位置與兩側(cè)臉部邊緣特征點位置 的相對距離，獲取用戶的左臉寬度和右臉寬度；動作解析單元，用于根據(jù)用戶的左臉寬度和右臉寬度確定某一幀人臉圖像為用戶的左 側(cè)臉或右側(cè)臉，當在所述多幀連續(xù)拍攝到的人臉圖像中同時存在一幀左側(cè)臉的人臉圖像和 一幀右側(cè)臉的人臉圖像時，確定用戶的臉部動作為搖頭動作。23.如權(quán)利要求19所述的人臉圖像處理裝置，其特征在于，所述多幀連續(xù)拍攝到的人臉 圖像為在指定時長內(nèi)連續(xù)拍攝到的多幀人臉圖像。24.如權(quán)利要求16-23中任一項所述的人臉圖像處理裝置，其特征在于，所述圖像處理 模塊用于:使用預(yù)設(shè)的與所述用戶的臉部動作對應(yīng)的貼圖對于所述人臉圖像進行貼圖處理。25.如權(quán)利要求16-23中任一項所述的人臉圖像處理裝置，其特征在于，所述圖像處理 模塊用于:確定與所述用戶的臉部動作對應(yīng)的臉部對象，針對所述與所述用戶的臉部動作對應(yīng)的 臉部對象進行對應(yīng)的特效變形處理。
【文檔編號】G06K9/00GK105975935SQ201610293280
【公開日】2016年9月28日
【申請日】2016年5月4日
【發(fā)明人】鄭兆廷, 邱璇, 吳運聲, 傅斌
【申請人】騰訊科技（深圳）有限公司