本發(fā)明涉及計算機視覺領(lǐng)域中的圖像識別定位技術(shù)，尤其涉及一種關(guān)鍵點的定位方法及終端。

背景技術(shù)：

用戶采集目標對象時會進行各種識別，比如以人臉識別為例，計算機人臉識別將根據(jù)人臉來辨別未知人物身份的能力賦予了計算機系統(tǒng)，使得計算機系統(tǒng)基于已知的人臉樣本庫，利用計算機分析和模式識別技術(shù)從靜態(tài)或者動態(tài)的場景中，識別或驗證一個或多個人臉，該技術(shù)已經(jīng)被廣泛的應用于公共安全，身份識別等場合。人臉識別系統(tǒng)包括有人臉檢測、人臉關(guān)鍵點定位、識別和跟蹤等步驟，而人臉關(guān)鍵點檢測以及跟蹤是人臉識別中非常重要的一環(huán)，也是人臉驗證，人臉識別，以及各種3D人臉建模，人臉的美化、疲勞和分神的判斷等應用的基礎，因此，人臉關(guān)鍵點的檢測及跟蹤精度至關(guān)重要。

現(xiàn)有技術(shù)中，提出了一種使用多個人臉參數(shù)模型的人臉關(guān)鍵點定位方法，具體的，根據(jù)人臉的姿態(tài)，或者其他一些特征對人臉進行分類，并針對每一個人臉的類別進行學習以通過建模得到一個單獨的人臉參數(shù)模型，也就是說，對于多個類別就需要設計多個人臉參數(shù)模型，最后通過判斷人臉類別，選擇一個相應的人臉參數(shù)模型來確定人臉關(guān)鍵點的坐標。

然而，當檢測到非人臉區(qū)域或人臉關(guān)鍵點定位結(jié)果較差時，終端無法自動規(guī)避這類錯誤，這時終端需要引入額外的判定方式進行這類錯誤的判定，而且在具體處理時，勢必占用更多的內(nèi)存存儲空間，導致進行人臉關(guān)鍵點的過程復雜且低效。

技術(shù)實現(xiàn)要素：

為解決上述技術(shù)問題，本發(fā)明實施例期望提供一種關(guān)鍵點的定位方法及終端，能夠在使用較小的內(nèi)存占用量的前提下，判定人臉關(guān)鍵點的跟蹤的準確度，提高人臉關(guān)鍵點的跟蹤的處理速度。

本發(fā)明的技術(shù)方案是這樣實現(xiàn)的：

本發(fā)明實施例提供了一種關(guān)鍵點的定位方法，包括：

采集目標圖像時，按照預設配置在所述目標圖像上生成用于人臉識別定位的目標檢測區(qū)域；

將所述目標檢測區(qū)域?qū)牡谝荒繕藞D像輸入預設的第一模型集合，計算出第一人臉關(guān)鍵點的位置和第一置信度；

當所述第一置信度大于等于預設閾值時，獲取所述目標檢測區(qū)域中的所述第一人臉關(guān)鍵點的位置對應的第二目標圖像；

將所述第二目標圖像輸入所述預設的第一模型集合，計算出第二置信度，并根據(jù)所述第二置信度判定所述第一人臉關(guān)鍵點的位置的準確度；

當所述第二置信度大于等于預設準確度時，確定所述第一人臉關(guān)鍵點的位置為所述目標圖像的最終人臉關(guān)鍵點的位置。

本發(fā)明實施例提供了一種終端，包括：

生成單元，用于采集單元采集目標圖像時，按照預設配置在所述目標圖像上生成用于人臉識別定位的目標檢測區(qū)域；

輸出單元，用于將所述目標檢測區(qū)域?qū)牡谝荒繕藞D像輸入預設的第一模型集合，計算出第一人臉關(guān)鍵點的位置和第一置信度；

獲取單元，用于當所述第一置信度大于等于預設閾值時，獲取所述目標檢測區(qū)域中的所述第一人臉關(guān)鍵點的位置對應的第二目標圖像；

所述輸出單元，還用于將所述第二目標圖像輸入所述預設的第一模型集合，計算出第二置信度，

判斷單元，用于根據(jù)所述第二置信度判定所述第一人臉關(guān)鍵點的位置的準確度；

確定單元，用于當所述第二置信度大于等于預設準確度時，確定所述第一人臉關(guān)鍵點的位置為所述目標圖像的最終人臉關(guān)鍵點的位置。

本發(fā)明實施例提供了一種關(guān)鍵點的定位方法及終端，通過采集目標圖像時，按照預設配置在目標圖像上生成用于人臉識別定位的目標檢測區(qū)域；將目標檢測區(qū)域?qū)牡谝荒繕藞D像輸入預設的第一模型集合，計算出第一人臉關(guān)鍵點的位置和第一置信度；當?shù)谝恢眯哦却笥诘扔陬A設閾值時，獲取目標檢測區(qū)域中的第一人臉關(guān)鍵點的位置對應的第二目標圖像；將第二目標圖像輸入預設的第一模型集合，計算出第二置信度，并根據(jù)第二置信度判定第一人臉關(guān)鍵點的位置的準確度；當?shù)诙眯哦却笥诘扔陬A設準確度時，確定第一人臉關(guān)鍵點的位置為目標圖像的最終人臉關(guān)鍵點的位置。采用上述技術(shù)實現(xiàn)方案，由于終端在采用預設的第一模型集合進行人臉關(guān)鍵點定位的時候可以同時確定該人臉關(guān)鍵點定位的準確度，在減少了后續(xù)重新再進行準確度評判的時間和占用的空間的情況下可以判定人臉關(guān)鍵點的跟蹤的準確度，從而提高人臉關(guān)鍵點的跟蹤的處理速度。

附圖說明

圖1為本發(fā)明實施例中進行信息交互的各種硬件實體的示意圖；

圖2為本發(fā)明實施例提供的一種關(guān)鍵點的定位方法的框架示意圖；

圖3為本發(fā)明實施例提供的人臉關(guān)鍵點的示意圖；

圖4為本發(fā)明實施例提供的標注目標檢測區(qū)域的示意圖；

圖5a為本發(fā)明實施例提供的正常人臉圖像的第一目標圖像在目標檢測區(qū)域的示意圖；

圖5b為本發(fā)明實施例提供的非人臉圖像的第一目標圖像在目標檢測區(qū)域的示意圖；

圖5c為本發(fā)明實施例提供的非正常人臉圖像的第一目標圖像在目標檢測區(qū)域的示意圖；

圖6為本發(fā)明實施例提供的正常人臉圖像的第一人臉關(guān)鍵點的位置效果圖；

圖7為本發(fā)明實施例提供的非正常人臉圖像的第一人臉關(guān)鍵點的位置效果圖；

圖8為本發(fā)明實施例提供的正常人臉圖像的第二目標圖像在目標檢測區(qū)域的示意圖；

圖9為本發(fā)明實施例提供的一種模型的訓練過程示意圖一；

圖10為本發(fā)明實施例提供的一種模型的訓練過程示意圖二；

圖11為本發(fā)明實施例提供的預設的第一模型集合的結(jié)構(gòu)示意圖；

圖12為本發(fā)明實施例提供的一種終端的結(jié)構(gòu)示意圖一；

圖13為本發(fā)明實施例提供的一種終端的結(jié)構(gòu)示意圖二；

圖14為本發(fā)明實施例提供的一種終端的結(jié)構(gòu)示意圖三；

圖15為本發(fā)明實施例提供的一種終端的結(jié)構(gòu)示意圖四。

具體實施方式

下面將結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術(shù)方案進行清楚、完整地描述。

終端：指移動電子設備，也被稱為行動裝置(英語：Mobile device)、流動裝置、手持裝置(handheld device)、可穿戴設備等，是一種基于嵌入式芯片的計算設備，通常有一個小的顯示螢幕，觸控輸入，或是小型的鍵盤。

機器學習：依托概率論，統(tǒng)計學，神經(jīng)傳播等理論，使計算機能夠模擬人類的學習行為，以獲取新的知識或者技能，重新組織已有知識結(jié)構(gòu)使之不斷改善自身的性能。

模型訓練：將人工選擇的樣本輸入給機器學習系統(tǒng)，通過不斷調(diào)整模型參數(shù)，使最終模型對樣本識別的準確率達到最優(yōu)。

如圖1所示，為本發(fā)明實施例中進行信息交互的系統(tǒng)架構(gòu)中的各種硬件實體的示意圖，圖1中包括：一個或多個服務器41～4n、終端設備21-25及網(wǎng)絡31，網(wǎng)絡31中包括路由器，網(wǎng)關(guān)等等網(wǎng)絡實體，圖1中并未體現(xiàn)。終端設備21-25通過有線網(wǎng)絡或者無線網(wǎng)絡與服務器41～4n進行業(yè)務產(chǎn)品信息交互，以便從終端21-25獲取通過用戶行為產(chǎn)生相關(guān)數(shù)據(jù)并傳輸至服務器41～4n。終端設備的類型如圖1所示，包括手機(終端23)、平板電腦或PDA(終端25)、臺式機(終端22)、PC機(終端24)、一體機(終端21)等類型。其中，終端設備中安裝有各種用戶所需的應用功能模塊，比如具備娛樂功能的應用(如視頻應用，音頻播放應用，游戲應用，閱讀軟件)，又如具備服務功能的應用(如地圖導航應用、團購應用、拍攝應用等)，再者比如設置應用等系統(tǒng)功能。

基于上述圖1所示的系統(tǒng)，以用戶所需的應用為拍攝應用為例，在進行人臉識別時，終端設備21-25通過網(wǎng)絡31從服務器11～1n中按照需求下載相機應用和/或拍攝應用更新數(shù)據(jù)包和/或與采集功能應用相關(guān)的數(shù)據(jù)信息或業(yè)務信息，采用本發(fā)明實施例，在終端設備上開啟拍攝應用，進行目標對象的采集工作，采集目標圖像時，按照預設配置在目標圖像上生成用于人臉識別定位的目標檢測區(qū)域；將目標檢測區(qū)域?qū)牡谝荒繕藞D像輸入預設的第一模型集合，計算出第一人臉關(guān)鍵點的位置和第一置信度；當?shù)谝恢眯哦却笥诘扔陬A設閾值時，獲取目標檢測區(qū)域中的第一人臉關(guān)鍵點的位置對應的第二目標圖像；將第二目標圖像輸入預設的第一模型集合，計算出第二置信度，并根據(jù)第二置信度判定第一人臉關(guān)鍵點的位置的準確度；當?shù)诙眯哦却笥诘扔陬A設準確度時，確定第一人臉關(guān)鍵點的位置為目標圖像的最終人臉關(guān)鍵點的位置。采用上述技術(shù)實現(xiàn)方案，由于終端在采用預設的第一模型集合進行人臉關(guān)鍵點定位的時候可以同時確定該人臉關(guān)鍵點定位的準確度，在減少了后續(xù)重新再進行準確度評判的時間和占用的空間的情況下可以判定人臉關(guān)鍵點的跟蹤的準確度，從而提高人臉關(guān)鍵點的跟蹤的處理速度。

上述圖1的例子只是實現(xiàn)本發(fā)明實施例的一個系統(tǒng)架構(gòu)實例，本發(fā)明實施例并不限于上述圖1所述的系統(tǒng)結(jié)構(gòu)，基于該系統(tǒng)架構(gòu)，提出本發(fā)明各個實施例。

實施例一

本發(fā)明實施例提供了一種關(guān)鍵點的定位方法，如圖2所示，該方法可以包括：

S101、采集目標圖像時，按照預設配置在目標圖像上生成用于人臉識別定位的目標檢測區(qū)域。

本發(fā)明實施例中，關(guān)鍵點的定位方法指的是人臉關(guān)鍵點的定位方法，人臉關(guān)鍵點的定位是指通過算法精確找出人臉關(guān)鍵點的位置。其中，人臉關(guān)鍵點是臉部一些表征能力強的關(guān)鍵點，比如眼睛、鼻子、嘴巴和臉部輪廓等。

可選的，如圖3所示的人臉圖像的初始關(guān)鍵點位置的示意圖，本發(fā)明實施例中的關(guān)鍵點可以有49個關(guān)鍵點。

需要說明的是，本發(fā)明實施例中提供的關(guān)鍵點的定位方法的應用場景為：進行人臉識別定位、人臉圖像處理、人臉追蹤或人臉3D建模等情形中。

可選的，本發(fā)明實施例中的目標檢測區(qū)域為進行目標對象檢測而設定的監(jiān)測區(qū)域，例如，人臉檢測框等，該人臉檢測框可以為矩形、圓形或橢圓等形狀，本發(fā)明實施例可以根據(jù)實際應用設計目標檢測區(qū)域，并不限制該目標監(jiān)測區(qū)域的形式或形狀。

進一步地，本發(fā)明實施例中的預設配置是指目標檢測框的大小，該預設配置可以隨著每次人臉關(guān)鍵點的定位的準確度進行調(diào)整，以達到最佳的尺寸用于人臉關(guān)鍵點的定位。其中，預設配置可以自動按照一定規(guī)則進行調(diào)整，也可以用戶進行手動設置的變動，實際的預設配置的調(diào)整大小本發(fā)明實施例不作限制。

可選的，本發(fā)明實施例中的終端可以為手機、平板及電腦等支持人臉識別定位技術(shù)的電子設備，且具有采集信息的功能。

具體的，終端支持人臉識別定位技術(shù)，在進行人臉關(guān)鍵點的定位時，首先要采集到待識別的目標對象(目標圖像)，該終端可以按照預設配置在目標圖像上生成用于人臉識別定位的目標檢測區(qū)域并進行標注，使得標注過后的目標檢測區(qū)域顯示在人臉圖像上，以進行人臉關(guān)鍵點的定位。

進一步地，目標圖像的目標檢測區(qū)域的位置可以初始默認位置為目標圖像的中心位置，例如，將人臉檢測框(目標檢測區(qū)域)歸一化為長度為1時，標注中心在(0，0)的標準人臉檢測框。通過后面進行預設的第一模型集合的確定而得到的人臉關(guān)鍵點的位置來決定。

可選的，本發(fā)明實施例中的采集目標對象時，終端可以采用終端上設置的攝像頭進行目標對象的圖像信息采集。

具體的，為了便于用戶使用，在有前置攝像頭的情況下，終端可以啟動前置攝像頭進行當前的目標對象的信息采集工作；在沒有前置攝像頭的情況下，終端可以啟動后置攝像頭，采集當前的目標對象的圖像信息。

需要說明的是，本發(fā)明實施例中采集的目標對象的信息可能是人臉圖像，也可能是其他的風景或動物的圖像，因此，在采集目標對象之后，終端可以通過預設的第一模型集合的置信度分支最后檢測圖像的類別，當該終端采集的目標對象為人臉圖像時，預設第一模型集合就可以輸出人臉關(guān)鍵點的定位了。

可以理解的是，在本發(fā)明實施例中，由于用戶的生物特征信息是一個特征相同或者相似的用戶的可能性很小。因此，采用用戶生物特征信息中的人臉特征是不易被盜用或冒用的，因此，采用人臉識別的方式進行各種應用的保密性非常好。

示例性的，如圖4所示，假設手機A采用人臉進行了加密，當使用該手機A時，按鍵啟動后，手機A的前置攝像頭采集使用者的圖像信息，當該手機A按照預設配置在人臉圖像上生成用于人臉識別定位的目標檢測區(qū)域B并標注為矩形框。

S102、將目標檢測區(qū)域?qū)牡谝荒繕藞D像輸入預設的第一模型集合，計算出第一人臉關(guān)鍵點的位置和第一置信度。

終端按照預設配置在目標圖像上生成用于人臉識別定位的目標檢測區(qū)域之后，由于目標檢測區(qū)域標注了一個區(qū)域的人臉圖像，因此，將該目標檢測區(qū)域標注的人臉檢測區(qū)域中的人臉圖像稱為第一目標圖像。本發(fā)明實施例進行人臉識別(人臉關(guān)鍵點的定位)的時候，該終端將第一目標圖像輸入用于進行人臉識別的預設的第一模型集合，這樣的話，該預設的第一模型集合就可以輸出第一人臉關(guān)鍵點的位置等信息了。

需要說明的是，本發(fā)明實施例中的預設的第一模型集合用于表征人臉圖像與第一人臉關(guān)鍵點的位置、置信度的關(guān)系模型的集合，因此，終端在將第一目標圖像輸入預設的第一模型集合之后，該終端通過該預設的第一模型集合還輸出(計算出)了表征第一目標圖像是否為人臉的準確度的數(shù)值，即第一置信度。

可以理解的是，本發(fā)明實施例中，目標圖像可能為人臉圖像或非人臉圖像，或大小不正常的人臉圖像等多種情況，在這樣的情況下，終端對目標圖像中的第一目標圖像的選取是否正好選取到了人臉圖像，以及是否選取的人臉圖像的五官大小剛好全部選取到了是通過預設的第一模型集合可以判斷的，該終端將第一目標圖像輸入預設的第一模型集合輸出的第一置信度就可以判斷出目標檢測區(qū)域選取的第一目標圖像為大小剛好的人臉圖像的準確度是多少。

需要說明的是，本發(fā)明實施例中的目標檢測區(qū)域的默認位置可以為圖像的中心(也可以是其他設置方式，本發(fā)明實施例不作限制)，這時，當終端采集到的目標圖像不是人臉圖像或者采集到的人臉圖像的位置比較偏的情況時，終端得到的第一目標圖像對應的第一置信度的數(shù)值就比較小，反之，當?shù)谝荒繕藞D像的選取的人臉圖像越全面和完整，那么第一目標圖像對應的第一置信度的數(shù)值就比較高了。

進一步地，當目標檢測區(qū)域的位置可以為終端的顯示屏幕的中心為其中心時，本發(fā)明實施例中目標圖像的正常人臉圖像的大小可以為終端的顯示屏幕的大小，這樣的話，終端采集到的目標圖像為非人臉圖像或者采集到的人臉圖像在顯示屏幕上占據(jù)的位置比較偏上、偏下、偏左或偏右時，都可能導致目標檢測區(qū)域?qū)牡谝荒繕藞D像扣取的人臉無關(guān)或人臉部位的不完整或扣取不到，從而導致終端通過預設的第一模型集合得到的第一置信度的數(shù)據(jù)較低。

可選的，本發(fā)明實施例中的第一置信度的值為0-1之間的數(shù)值。1表征準確度最高，0表征準確度最低。

示例性的，如圖5所示，圖5a中為終端采集到的比較正常的人臉圖像(目標圖像)，圖5b中為終端采集到的非人臉圖像(目標圖像)，而圖5c中為終端采集到的尺寸較小的人臉圖像(目標圖像)，終端的目標檢測區(qū)域為矩形框1，第一目標圖像為矩形框1框起來的圖像，由圖5可知，終端在圖5a中扣取的第一目標圖像為人臉圖像且人臉部位較為完整，而圖5b的第一目標圖像扣取的沒有人臉部位，圖5c扣取的第一目標圖像的人臉部位不完整，因此，終端將第一目標圖像輸入到預設的第一模型集合，輸出的第一置信度的結(jié)果可以為：圖5a型的圖像輸出的第一置信度可以為：0.99，圖5b型的圖像輸出的第一置信度可以為：0，圖5c型的圖像輸出的第一置信度可以為：0.45。而終端將第一目標圖像輸入到預設的第一模型集合，輸出的第一人臉關(guān)鍵點的位置(定位的結(jié)果)，其中，圖5a對應的第一人臉關(guān)鍵點的位置，具體的為人臉部位定位的人臉五官(眼睛、鼻子、嘴巴、眉毛等)的坐標點的輸出，體現(xiàn)在人臉部位上的效果可以為圖6所示，而圖5b由于第一目標圖像為非人臉圖像，因此，終端定位不出人臉五官關(guān)鍵點的坐標，也就是說通過預設的第一模型集合的輸出可以為無結(jié)果或者第一特征的結(jié)果表征沒有關(guān)鍵點定位的坐標的結(jié)果，而圖5c經(jīng)過預設的第一模型集合的輸出結(jié)果可能為部分五官關(guān)鍵點的定位的坐標點的輸出，體現(xiàn)在人臉部位上的效果可以為圖7所示。

需要說明的是，本發(fā)明實施例中的預設的第一模型集合是通過訓練數(shù)據(jù)訓練出來的，詳細的訓練過程將在后續(xù)的實施例中進行說明。

具體的，本發(fā)明實施例中的預設的第一模型集合可以由多任務型的CNN網(wǎng)絡框架訓練而得到，多任務是指人臉關(guān)鍵點定位任務和置信度任務。

需要說明的是，預設的第一模型集合包括：公共分支、關(guān)鍵點定位分支和置信度分支，該關(guān)鍵點定位分支和置信度分支分別與公共分支級聯(lián)，該公共分支的輸入為第一模型集合的輸入分支，關(guān)鍵點定位分支和置信度分支為第一模型集合的兩個輸出分支，該公共分支為預設的第一模型集合建立過程中的圖像特征的數(shù)據(jù)模型。

具體的，終端將第一目標圖像輸入公共分支的模型，提取出第一圖像特征，及將第一圖像特征輸入關(guān)鍵點定位分支的模型，計算出第一人臉關(guān)鍵點的位置，以及將第一圖像特征輸入關(guān)置信度分支的模型，計算出第一置信度。

S103、當?shù)谝恢眯哦却笥诘扔陬A設閾值時，獲取目標檢測區(qū)域中的第一人臉關(guān)鍵點的位置對應的第二目標圖像。

終端在獲取或得到第一目標圖像的第一置信度之后，由于該第一置信度可以表征第一目標圖像或者說是目標圖像的具體類型，例如是正常的人臉圖像還是非人臉圖像等，因此，當終端通過第一置信度判斷出基本上為正常人臉圖像的概率很小的情況時，基本上可以認為能定位出人臉關(guān)鍵點的可能性很小，于是，終端可以就直接停止或結(jié)束此次的人臉關(guān)鍵點的定位，以節(jié)約計算成本和工作量，并提高了工作效率。而當?shù)谝恢眯哦鹊臄?shù)值較大時，可以認為人臉關(guān)鍵點的定位是可以定位出人臉部位的，因此，終端可以對得到的第一人臉關(guān)鍵點的位置描述出的人臉五官的圖形，即第二目標圖像。

需要說明的是，本發(fā)明實施例中的根據(jù)第一置信度的數(shù)值進行確定是否能獲取第一人臉關(guān)鍵點的位置對應的第二目標圖像可以由預設閾值與第一置信度的對比結(jié)果來決定，當?shù)谝恢眯哦鹊臄?shù)值大于等于上述預設閾值時，終端就可以獲取目標檢測區(qū)域中的第一人臉關(guān)鍵點的位置對應的第二目標圖像。

可選的，本發(fā)明實施例中的預設閾值可以為0.5。預設閾值的設定可以是經(jīng)過試驗或數(shù)據(jù)訓練得到的合理的數(shù)值，也可以為用戶自行設置的合理的一個數(shù)值，本發(fā)明實施例不限制該預設閾值的取值及取值方式。

進一步地，終端輸出第一人臉關(guān)鍵點的位置和第一置信度之后，當?shù)谝恢眯哦刃∮陬A設閾值時，該終端確定該第一人臉關(guān)鍵點的位置定位失敗，結(jié)束此次人臉關(guān)鍵點的定位。

示例性的，假設預設閾值為0.5，終端將第一目標圖像輸入到預設的第一模型集合，輸出的第一置信度的結(jié)果可以為：圖5a型的圖像輸出的第一置信度可以為：0.99，圖5b型的圖像輸出的第一置信度可以為：0，圖5c型的圖像輸出的第一置信度可以為：0.45，由于0.99大于0.5，因此，如圖8所示，終端可以獲取到圖5a的目標檢測區(qū)域中的第一人臉關(guān)鍵點的位置對應的第二目標圖像。而0小于0.5，0.45小于0.5，因此，終端確定對圖5b和圖5c的第一人臉關(guān)鍵點的位置定位失敗，結(jié)束此次人臉關(guān)鍵點的定位。

可以理解的是，由于在進行關(guān)鍵點定位的過程中，終端可以根據(jù)第一置信度對目標圖像進行初次篩選，能夠篩選掉一些非人臉圖像或人臉圖像，這樣，終端就只對篩選后剩下的目標圖像進行進一步的人臉關(guān)鍵點定位了，從而減少了人臉關(guān)鍵點定位的工作量和占用的空間，進而提高了人臉關(guān)鍵點定位的準確度。

S104、將第二目標圖像輸入預設的第一模型集合，計算出第二置信度，并根據(jù)該第二置信度判定第一人臉關(guān)鍵點的位置的準確度。

終端在獲取到第二目標圖像的情況下，該終端可以對第一人臉關(guān)鍵點的位置的準確度進行判斷，于是，該終端可以將該第二目標圖像輸入預設的第一模型集合，輸出第二置信度，以根據(jù)該第二置信度的數(shù)值的大小來判定第一人臉關(guān)鍵點的位置的準確度。

具體的，終端將第二目標圖像輸入公共分支的模型，提取出第二圖像特征，以及將第二圖像特征輸入關(guān)置信度分支的模型，計算出第二置信度。

可以理解的是，第二置信度的數(shù)值越大，表征第一人臉關(guān)鍵點的位置定位的越準確。

可選的，本發(fā)明實施例中的第二置信度的值為0-1之間的數(shù)值。1表征準確度最高，0表征準確度最低。

S105、當?shù)诙眯哦却笥诘扔陬A設準確度時，確定第一人臉關(guān)鍵點的位置為目標圖像的最終人臉關(guān)鍵點的位置。

終端輸出第二置信度之后，由于該第二置信度可以表征第二目標圖像或者說是對目標圖像的進行第一人臉關(guān)鍵點定位的準確度的，當終端根據(jù)第二置信度的數(shù)據(jù)判斷出第一人臉關(guān)鍵點的位置較為準確時，該終端將該第一人臉關(guān)鍵點的位置確定為目標圖像的最終人臉關(guān)鍵點的位置。

需要說明的是，本發(fā)明實施例中的根據(jù)第二置信度的數(shù)值進行確定是否能將第一人臉關(guān)鍵點的位置作為最終的關(guān)鍵點定位結(jié)果是，可以由預設準確度與第二置信度的對比結(jié)果來決定，當?shù)诙眯哦鹊臄?shù)值大于等于上述預設準確度時，終端就可以將確定第一人臉關(guān)鍵點的位置為目標圖像的最終人臉關(guān)鍵點的位置。

可選的，本發(fā)明實施例中的預設準確度可以為0.9。預設準確度的設定可以為用戶根據(jù)自己所需的準確度自行設置的合理的一個數(shù)值，也可以為終端根據(jù)所應用的不同場景或需求自動調(diào)整的一個數(shù)值，本發(fā)明實施例不限制該預設準確度的取值及取值方式。

進一步地，終端輸出第二置信度之后，當?shù)诙眯哦刃∮陬A設準確度時，表征終端確定該第一人臉關(guān)鍵點的位置定位失敗或誤差較大，因此，終端需要重新對目標圖像進行調(diào)整或者進行目標圖像的重新采集和關(guān)鍵點定位，并提示用戶重新拍照的信息，可以通過顯示屏幕顯示給用戶知曉。

具體的，終端可以通過調(diào)整目標檢測區(qū)域的大小(目標檢測區(qū)域的邊長)來重新進行人臉關(guān)鍵點的定位，該終端還可以通過顯示請重新拍照等信息給用戶，以重新進行目標圖像的采集，從而對該重新采集的目標圖像進行人臉關(guān)鍵點的重新定位。

可以理解的是，由于終端可以通過第二置信度重新對目標圖像進行調(diào)整或者進行目標圖像的重新采集和關(guān)鍵點定位，因此，采用本發(fā)明實施例的關(guān)鍵點定位方法最終得到的人臉關(guān)鍵點的位置的準確度可以很高。

需要說明的是，由于本發(fā)明實施例的人臉關(guān)鍵點的定位的方法是應用在人臉識別技術(shù)的各類應用中的，因此，在終端對目標圖像的人臉關(guān)鍵點的位置確定的情況下，就可以進行相應的應用了，例如，采用圖像處理軟件，識別出人臉五官的位置后，為目標圖像的人臉五官進行裝扮，生成個性化圖像，以滿足用戶的需求。

在本發(fā)明實施例中，由于預設的第一模型集合中融合了對置信度的計算，因此，終端在采用預設的第一模型集合進行人臉關(guān)鍵點定位的時候可以通過計算出的置信度來確定該人臉關(guān)鍵點定位的準確度，在減少了后續(xù)重新再進行準確度評判的時間和占用的空間的情況下，實現(xiàn)了判定人臉關(guān)鍵點的跟蹤的準確度，從而提高了人臉關(guān)鍵點的跟蹤的處理速度。

實施例二

本發(fā)明實施例提供了一種關(guān)鍵點的定位方法，基于實施例一的關(guān)鍵點的定位方法，在進行實際的人臉關(guān)鍵點的定位之前，首先終端需要進行預設的第一模型集合的設置過程，即預設的第一模型集合的訓練過程，該預設的第一模型集合包括：公共分支、關(guān)鍵點定位分支和置信度分支，該關(guān)鍵點定位分支和置信度分支分別與公共分支級聯(lián)，該公共分支的輸入為第一模型集合的輸入分支，關(guān)鍵點定位分支和置信度分支為第一模型集合的兩個輸出分支，該公共分支為預設的第一模型集合建立過程中的圖像特征的數(shù)據(jù)模型，因此，基于實施例一的技術(shù)方案的基礎上，終端進行預設的第一模型集合的訓練過程如圖9所示，包括：

S201、獲取人臉關(guān)鍵點定位的第一訓練數(shù)據(jù)，該第一訓練數(shù)據(jù)包括人臉圖像與預標定關(guān)鍵點坐標的對應關(guān)系。

S202、根據(jù)第一訓練數(shù)據(jù)，進行公共分支和關(guān)鍵點定位分支的模型參數(shù)的訓練，訓練出公共分支的模型和關(guān)鍵點定位分支的模型。

S203、獲取置信度的第二訓練數(shù)據(jù)，該第二訓練數(shù)據(jù)為目標圖像的分類集合。

S204、根據(jù)第二訓練數(shù)據(jù)，進行置信度分支的模型參數(shù)的訓練，訓練出置信度分支的模型。

S205、將訓練好的關(guān)鍵點定位分支、置信度分支分別與公共分支進行級聯(lián)，成為預設的第一模型的集合。

需要說明的是，本發(fā)明實施例中，對于關(guān)鍵點定位分支、置信度分支分別與公共分支的模型，首先要先建立各自模型的連接，然后通過數(shù)據(jù)訓練過程找到各自連接關(guān)系處的模型參數(shù)。

可選的，本發(fā)明實施例可以選擇CNN網(wǎng)絡進行預設的第一模型集合的搭建，因此，上述參數(shù)可以為關(guān)鍵點定位分支、置信度分支分別與公共分支的模型各自連接處的權(quán)重值。

具體的，終端對于關(guān)鍵點定位分支和公共分支的模型訓練是一起進行的，該終端獲取人臉圖像與預標定關(guān)鍵點坐標的對應關(guān)系，其中與標定關(guān)鍵點坐標為人工對人臉圖像進行關(guān)鍵點標定出的坐標，在本發(fā)明實施例中終端通過采集多個樣本(多個人臉圖像與預標定關(guān)鍵點坐標)進行關(guān)鍵點定位分支和置信度分支的模型訓練。并且，終端還通過采集人臉圖像的分類集合的第二訓練數(shù)據(jù)進行置信度分支的模型參數(shù)的訓練，最終將訓練好的關(guān)鍵點定位分支、置信度分支分別與公共分支進行級聯(lián)，成為預設的第一模型的集合，該終端采集到的目標圖像的分類集合可以包括目標圖像和其對應的人臉圖像的標簽，其中，人臉圖像的標簽可以為人臉類別的標簽，例如，正常大小的人臉圖像的人臉標簽為1，非人臉圖像或過大過小的人臉圖像為0，具體的人臉標簽的設置本發(fā)明實施例不作限制。

需要說明的是，終端在進行公共分支和關(guān)鍵點定位分支的模型訓練時，該終端建立的置信度分支的模型參數(shù)是保持不變的，而終端在進行置信度分支的模型的訓練時，上述公共分支和關(guān)鍵點定位分支的模型參數(shù)是保持不變的。

需要說明的是，本發(fā)明實施例中的模型訓練的過程都可以是通過機器學習來實現(xiàn)的輸入與輸出的簡單映射關(guān)系。

基于上面實施例中的描述，本發(fā)明實施例一置信度分支模型的模型訓練為例，對一種基于引入機器學習技術(shù)的置信度分支的模型。在形成置信度分支的模型的初期，仍然需要人工挑選盡可能多維度的特征供機器學習模型訓練，根據(jù)特征對訓練結(jié)果的區(qū)分度決定選用哪些特征擦描述，這里基本不存在人工干預選擇參數(shù)的問題，機器學習可以自己學習出合適的參數(shù)來；由于特征含義相比沒有意義的參數(shù)看來更為直觀，結(jié)合特征的分布，解釋起來也比較容易理解；首先基于機器學習模型的人臉圖像，人臉關(guān)鍵點定位涉及到置信度相關(guān)的綜合考慮，提高了上述人臉關(guān)鍵點定位的準確性。另外由于模型自身具有進化學習的功能。即使輸入值發(fā)生更新或刪減，通過簡單的重新進行模型訓練(有時候需要對特征進行微調(diào))，即可以識別新的輸入的確定并進行置信度分支的模型的調(diào)整，使置信度結(jié)果保持準確性。

機器學習技術(shù)在置信度中的應用可以自由的分享和傳播，因為機器學習置信度全面且可以自我進化，不針對特定某種圖像，因此，甚至對同一終端的不同圖像一樣可以公開基于機器學習模型的置信度做法。基于前述的實施例，本發(fā)明實施例提供一種訓練置信度分支的模型的方法，如圖10所示，該方法包括：

S301、按照預設的配置比例獲取正樣本和負樣本，該正樣本和負樣本為已采集的目標圖像和對應的人臉圖像的標簽。

這里，在實際操作的過程中，目標圖像的標簽為人臉圖像和非人臉圖像為會存在一定的比例，這個比例即為配置比例，在形成置信度分支的模型時，終端對訓練數(shù)據(jù)的配置(已采集到的目標圖像和對應的人臉圖像的標簽)也需要按照該配置比例進行設置。

S302、提取正樣本的特征和負樣本的特征。

需要說明的是，本發(fā)明實施例中的服務器對正樣本和負樣本的體征提取和第一實體的第一特征的構(gòu)造原理相同。

可以理解的是，本發(fā)明實施例中的正樣本和負樣本涉及的允許范圍越完整，后續(xù)的置信度是越準確的。

S303、將正樣本或負樣本的特征輸入至設置的第一置信度分支模型，得到第一訓練結(jié)果。

S304、持續(xù)檢測第一置信度分支模型，直至第一訓練結(jié)果滿足預設條件。

S305、將第一訓練結(jié)果滿足預設條件的第一置信度分支模型確定為最終的置信度分支的模型。

本發(fā)明實施例中，不管采用何種訓練模型，在開始訓練之時，該訓練模型的輸入包括上述不同維度的特征，經(jīng)過多次試驗如果該特征不對訓練結(jié)果產(chǎn)生有利影響或者分錯的時候，就降低該特征的權(quán)重，如果該特征對訓練結(jié)果產(chǎn)生有利影響時候，就提高該特征的權(quán)重，如果一個參數(shù)的權(quán)重降低為0，那么在訓練模型中該特征將不起任何作用了。經(jīng)過本發(fā)明實施例的最終試驗，上述不同的維度的特征最終對訓練結(jié)果能夠產(chǎn)生積極影響的是長期特征(即第一特征，人臉特征)。下面假設不同維度的特征只包括第一特征(即已經(jīng)將其他的不符的特征都剔除掉了)，那么上述的置信度分支的模型的形成過程大致包括：將正樣本或負樣本的第一特征輸入第一置信度分支模型，從第一置信度分支模型獲得第一訓練結(jié)果；其中進行構(gòu)造的第一置信度分支模型以第一特征，且每一個特征具有對應的權(quán)值(預設優(yōu)先權(quán))；持續(xù)監(jiān)測第一訓練結(jié)果直至滿足預設條件時，則將第一模型作為最終的置信度分支的模型。

可選的，本發(fā)明實施例中的預設條件可以為置信度的準確率達到預設閾值，該預設閾值可以為90％，具體的預設閾值的確定可設置，本發(fā)明實施例不作限制，但是，預設閾值設置的越高，達到該預設閾值或預設條件的置信度分支的模型就越精確。

從以上流程可以看出，1)本發(fā)明實施例引入了各種不同種類目標圖像的與人臉圖像的標簽來對訓練模型進行訓練，根據(jù)訓練結(jié)果確定最終核實的置信度，如此提升了置信度的準確性。2)本發(fā)明實施例采用的置信度分支的模型的一個顯著特點是模型可以自我進化，根據(jù)置信度評價行為的變換自動進行特征權(quán)值的調(diào)整，避免基于規(guī)則的人工頻繁介入調(diào)整參數(shù)。

具體的，終端通過預設的第一模型集合輸出關(guān)鍵點定位分支的模型和置信度分支的模型之前(模型訓練中)，該終端還可以將關(guān)鍵點定位分支的模型和置信度分支的模型分別根據(jù)預設策略進行誤差修正(即模型的訓練)，確定出修正后的關(guān)鍵點定位分支的模型和置信度分支的模型，以進行人臉關(guān)鍵點定位和置信度的確定。

示例性的，在進行關(guān)鍵點定位分支的模型的修正時可以采用歐式損失函數(shù)(EuclideanLoss)來實現(xiàn)；在進行置信度分支的模型的修正時可以采用損失函數(shù)(Softmaxloss)實現(xiàn)。

示例性的，如圖11所示為預設的第一模型集合的構(gòu)造結(jié)構(gòu)，采用該預設的第一模型集合進行實施例一的關(guān)鍵點的定位方法時，如圖11所示，終端采集將采集到的目標圖像1中的目標檢測區(qū)域?qū)膱D像輸入到預設的第一模型集合中后，最終輸出了對于目標圖像1進行人臉關(guān)鍵點后的位置，定位效果為圖11最右側(cè)的圖像的關(guān)鍵點定位結(jié)果，且這次人臉關(guān)鍵點定位的準確度(第二置信度)為0.999。

可以理解的是，在本發(fā)明實施例中，相比于現(xiàn)有技術(shù)的準確度的獨立處理，由于終端在采用預設的第一模型集合進行人臉關(guān)鍵點定位的時候可以同時確定該人臉關(guān)鍵點定位的準確度，在減少了后續(xù)重新再進行準確度評判的時間和占用的空間的情況下可以判定人臉關(guān)鍵點的跟蹤的準確度，從而提高人臉關(guān)鍵點的跟蹤的處理速度。

實施例三

如圖12所示，本發(fā)明實施例提供了一種終端1，該終端1可以包括：

生成單元10，用于采集單元11采集目標圖像時，按照預設配置在所述目標圖像上生成用于人臉識別定位的目標檢測區(qū)域。

輸出單元12，用于將所述目標檢測區(qū)域?qū)牡谝荒繕藞D像輸入預設的第一模型集合，計算出第一人臉關(guān)鍵點的位置和第一置信度。

獲取單元13，用于當所述第一置信度大于等于預設閾值時，獲取所述目標檢測區(qū)域中的所述第一人臉關(guān)鍵點的位置對應的第二目標圖像。

所述輸出單元12，還用于將所述第二目標圖像輸入所述預設的第一模型集合，計算出第二置信度。

判斷單元14，用于根據(jù)所述第二置信度判定所述第一人臉關(guān)鍵點的位置的準確度。

確定單元15，用于當所述第二置信度大于等于預設準確度時，確定所述第一人臉關(guān)鍵點的位置為所述目標圖像的最終人臉關(guān)鍵點的位置。

可選的，所述預設的第一模型集合包括：公共分支、關(guān)鍵點定位分支和置信度分支，所述關(guān)鍵點定位分支和置信度分支分別與所述公共分支級聯(lián)，所述公共分支的輸入為所述第一模型集合的輸入分支，所述關(guān)鍵點定位分支和所述置信度分支為所述第一模型集合的兩個輸出分支，所述公共分支為所述預設的第一模型集合建立過程中的圖像特征的數(shù)據(jù)模型。

可選的，基于圖12，如圖13所示，所述終端1還包括：連接單元16。

所述獲取單元13，還用于獲取人臉關(guān)鍵點定位的第一訓練數(shù)據(jù)，所述第一訓練數(shù)據(jù)包括人臉圖像與預標定關(guān)鍵點坐標的對應關(guān)系。

所述輸出單元12，還用于根據(jù)所述第一訓練數(shù)據(jù)，進行所述公共分支和所述關(guān)鍵點定位分支的模型參數(shù)的訓練，訓練出所述公共分支的模型和所述關(guān)鍵點定位分支的模型。

所述獲取單元13，還用于獲取置信度的第二訓練數(shù)據(jù)，所述第二訓練數(shù)據(jù)為目標圖像的分類集合。

所述輸出單元12，還用于根據(jù)所述第二訓練數(shù)據(jù)，進行所述置信度分支的模型參數(shù)的訓練，訓練出所述置信度分支的模型。

所述連接單元16，用于將訓練好的所述關(guān)鍵點定位分支的模型、所述置信度分支的模型分別與所述公共分支的模型進行級聯(lián)，成為所述預設的第一模型的集合。

可選的，所述輸出單元12，具體用于將所述第一目標圖像輸入所述公共分支的模型，提取出第一圖像特征；將所述第一圖像特征輸入所述關(guān)鍵點定位分支的模型，計算出所述第一人臉關(guān)鍵點的位置；將所述第一圖像特征輸入所述關(guān)置信度分支的模型，計算出所述第一置信度。

可選的，所述輸出單元12，具體用于將所述第二目標圖像輸入所述公共分支的模型，提取出第二圖像特征；將所述第二圖像特征輸入所述關(guān)置信度分支的模型，計算出所述第二置信度。

可選的，基于圖13，如圖14所示，所述終端1還包括：修正單元17。

所述修正單元17，用于所述訓練出所述關(guān)鍵點定位分支的模型和所述置信度分支的模型之前，將所述關(guān)鍵點定位分支的模型和所述置信度分支的模型分別根據(jù)預設策略進行誤差修正，確定出修正后的所述關(guān)鍵點定位分支的模型和所述置信度分支的模型，以進行人臉關(guān)鍵點定位和置信度的確定。

可選的，所述確定單元15，還用于所述計算出第一人臉關(guān)鍵點的位置和第一置信度之后，當所述第一置信度小于預設閾值時，確定所述第一人臉關(guān)鍵點的位置定位失敗，結(jié)束此次人臉關(guān)鍵點的定位。

如圖15所示，在實際應用中，上述生成單元10、獲取單元13、確定單元15、判斷單元14、連接單元16、修正單元17、輸出單元12可由位于終端1上的處理器18實現(xiàn)，具體為中央處理器(CPU)、微處理器(MPU)、數(shù)字信號處理器(DSP)或現(xiàn)場可編程門陣列(FPGA)等實現(xiàn)，采集單元11由攝像頭19實現(xiàn)，該終端1還可以包括存儲介質(zhì)110，該存儲介質(zhì)110可以通過系統(tǒng)總線111與處理器18連接，其中，存儲介質(zhì)110用于存儲可執(zhí)行程序代碼，該程序代碼包括計算機操作指令，存儲介質(zhì)110可能包含高速RAM存儲器，也可能還包括非易失性存儲器，例如，至少一個磁盤存儲器。

需要說明的是，圖1中的終端與終端1為相同的終端。

可以理解的是，在本發(fā)明實施例中，由于預設的第一模型集合進行人臉關(guān)鍵點定位的時候可以同時確定該人臉關(guān)鍵點定位的置信度，減少了重新再進行準確度評判的時間，可以判定人臉關(guān)鍵點的跟蹤的準確度和處理速度。

本領(lǐng)域內(nèi)的技術(shù)人員應明白，本發(fā)明的實施例可提供為方法、系統(tǒng)、或計算機程序產(chǎn)品。因此，本發(fā)明可采用硬件實施例、軟件實施例、或結(jié)合軟件和硬件方面的實施例的形式。而且，本發(fā)明可采用在一個或多個其中包含有計算機可用程序代碼的計算機可用存儲介質(zhì)(包括但不限于磁盤存儲器和光學存儲器等)上實施的計算機程序產(chǎn)品的形式。

本發(fā)明是參照根據(jù)本發(fā)明實施例的方法、設備(系統(tǒng))、和計算機程序產(chǎn)品的流程圖和/或方框圖來描述的。應理解可由計算機程序指令實現(xiàn)流程圖和/或方框圖中的每一流程和/或方框、以及流程圖和/或方框圖中的流程和/或方框的結(jié)合?？商峁┻@些計算機程序指令到通用計算機、專用計算機、嵌入式處理機或其他可編程數(shù)據(jù)處理設備的處理器以產(chǎn)生一個機器，使得通過計算機或其他可編程數(shù)據(jù)處理設備的處理器執(zhí)行的指令產(chǎn)生用于實現(xiàn)在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能的裝置。

這些計算機程序指令也可存儲在能引導計算機或其他可編程數(shù)據(jù)處理設備以特定方式工作的計算機可讀存儲器中，使得存儲在該計算機可讀存儲器中的指令產(chǎn)生包括指令裝置的制造品，該指令裝置實現(xiàn)在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能。

這些計算機程序指令也可裝載到計算機或其他可編程數(shù)據(jù)處理設備上，使得在計算機或其他可編程設備上執(zhí)行一系列操作步驟以產(chǎn)生計算機實現(xiàn)的處理，從而在計算機或其他可編程設備上執(zhí)行的指令提供用于實現(xiàn)在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能的步驟。

以上所述，僅為本發(fā)明的較佳實施例而已，并非用于限定本發(fā)明的保護范圍。