一種基于人臉姿態(tài)估計(jì)的控制方法與系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及模式識(shí)別和計(jì)算機(jī)視覺領(lǐng)域，尤其是一種基于人臉姿態(tài)估計(jì)的控制方法及系統(tǒng)，本發(fā)明適用于對(duì)各類設(shè)備的控制。
【背景技術(shù)】
[0002]目前很多設(shè)備都采用遙控技術(shù)進(jìn)行控制，通用的遙控方法有定制的手持遙控器和通用移動(dòng)終端(如:平板電腦和手機(jī)等)。這種方法的優(yōu)點(diǎn)是能夠?qū)υO(shè)備實(shí)現(xiàn)精準(zhǔn)、實(shí)時(shí)控制，可靠性較高；缺點(diǎn)是會(huì)增加額外成本且不利于攜帶。另外，當(dāng)遙控器出現(xiàn)硬件故障時(shí)，便無法對(duì)設(shè)備進(jìn)行控制，這一問題在無人機(jī)控制領(lǐng)域尤其明顯，當(dāng)遙控器出現(xiàn)故障時(shí)，無法對(duì)正在飛行的無人機(jī)進(jìn)行控制，出現(xiàn)“提控歸”的無奈情形。
[0003]因此有必要在不增加現(xiàn)有硬件成本的基礎(chǔ)上，研究新的控制方法，作為設(shè)備的獨(dú)立遙控解決方案或者現(xiàn)有遙控方法的有益輔助。

【發(fā)明內(nèi)容】

[0004]本發(fā)明所要解決的技術(shù)問題是:針對(duì)上述存在的問題，提供一種基于人臉姿態(tài)估計(jì)的控制方法及系統(tǒng)。
[0005]本發(fā)明中的控制方法包括:步驟1:對(duì)操作員的臉部進(jìn)行視頻采集；步驟2:對(duì)采集到的視頻進(jìn)行人臉檢測(cè)；步驟3:對(duì)檢測(cè)到的人臉進(jìn)行計(jì)算得到人臉姿態(tài)信息；步驟4:根據(jù)人臉姿態(tài)信息確定其對(duì)應(yīng)的控制指令。
[0006]步驟2進(jìn)一步包括對(duì)檢測(cè)到的人臉進(jìn)行跟蹤。
[0007]進(jìn)一步，所述人臉姿態(tài)信息包括人臉的俯仰角、偏航角及滾轉(zhuǎn)角。
[0008]進(jìn)一步，步驟2中采用Adaboost方法進(jìn)行人臉檢測(cè)；采用Mean_shift方法并結(jié)合膚色分割方法對(duì)人臉進(jìn)行跟蹤。
[0009]步驟3進(jìn)一步包括:采用快速臉部識(shí)別算法對(duì)檢測(cè)到的人臉進(jìn)行特征點(diǎn)標(biāo)注，然后將所述特征點(diǎn)送入人臉姿態(tài)識(shí)別器中，得到檢測(cè)到的人臉的姿態(tài)信息。
[0010]所述人臉姿態(tài)識(shí)別器是通過以下方式獲得的:
步驟31:收集大量人臉圖像樣本組成人臉庫；
步驟32:采用快速臉部識(shí)別算法對(duì)人臉庫中的人臉逐一進(jìn)行特征點(diǎn)標(biāo)注；
步驟33:根據(jù)特征點(diǎn)對(duì)人臉庫中的人臉圖像樣本進(jìn)行分類，并明確每一分類對(duì)應(yīng)的人臉姿態(tài)息；
步驟34:使用人臉庫中人臉圖像樣本的特征點(diǎn)及其對(duì)應(yīng)的人臉姿態(tài)信息訓(xùn)練識(shí)別模型，經(jīng)過訓(xùn)練的識(shí)別模型即為人臉姿態(tài)識(shí)別器。
[0011]本發(fā)明還提供了一種基于人臉姿態(tài)估計(jì)的控制系統(tǒng)，包括:
人臉視頻采集單元，用于采集操作員的臉部的視頻；
人臉檢測(cè)單元，用于對(duì)采集到的視頻進(jìn)行人臉檢測(cè)；
人臉姿態(tài)估計(jì)單元，用于對(duì)檢測(cè)到的人臉進(jìn)行計(jì)算得到人臉姿態(tài)信息； 人臉姿態(tài)翻譯單元，用于根據(jù)人臉姿態(tài)信息確定其對(duì)應(yīng)的控制指令。
[0012]進(jìn)一步，還包括人臉跟蹤單元，用于對(duì)檢測(cè)到的人臉進(jìn)行跟蹤。
[0013]進(jìn)一步，所述人臉姿態(tài)信息包括人臉的俯仰角、偏航角及滾轉(zhuǎn)角。
[0014]人臉姿態(tài)估計(jì)單元進(jìn)一步用于采用快速臉部識(shí)別算法對(duì)檢測(cè)到的人臉進(jìn)行特征點(diǎn)標(biāo)注，然后將所述特征點(diǎn)送入人臉姿態(tài)識(shí)別器中，得到檢測(cè)到的人臉的姿態(tài)信息。
[0015]綜上所述，由于采用了上述技術(shù)方案，本發(fā)明的有益效果是:
I)將姿態(tài)估計(jì)引入到設(shè)備控制中，可獨(dú)立對(duì)設(shè)備進(jìn)行控制或作為遙控裝置的輔助。不但可降低硬件成本，還可在某些實(shí)用場(chǎng)景中增加對(duì)設(shè)備的操控樂趣，如無人機(jī)控制領(lǐng)域，增強(qiáng)人機(jī)互動(dòng)。
[0016]2 )本發(fā)明一個(gè)具體實(shí)施例中使用人臉特征點(diǎn)對(duì)人臉姿態(tài)進(jìn)行估計(jì)，提高了人臉姿態(tài)識(shí)別的精度和可靠性。
【附圖說明】
[0017]本發(fā)明將通過例子并參照附圖的方式說明，其中:
圖1為本發(fā)明一個(gè)具體實(shí)施例的方法流程圖。
[0018]圖2為本發(fā)明人臉姿態(tài)識(shí)別器訓(xùn)練方法流程圖。
[0019]圖3為本發(fā)明人臉姿態(tài)識(shí)別步驟流程圖。
【具體實(shí)施方式】
[0020]本說明書中公開的所有特征，或公開的所有方法或過程中的步驟，除了互相排斥的特征和/或步驟以外，均可以以任何方式組合。
[0021]本說明書中公開的任一特征，除非特別敘述，均可被其他等效或具有類似目的的替代特征加以替換。即，除非特別敘述，每個(gè)特征只是一系列等效或類似特征中的一個(gè)例子而已。
[0022]本發(fā)明中的方法包括步驟1:對(duì)操作員的臉部進(jìn)行視頻采集；步驟2:對(duì)采集到的視頻進(jìn)行人臉檢測(cè)；步驟3:對(duì)檢測(cè)到的人臉進(jìn)行計(jì)算得到人臉姿態(tài)信息；步驟4:根據(jù)人臉姿態(tài)信息確定其對(duì)應(yīng)的控制指令。得到控制指令后根據(jù)需要將控制指令輸出給被控制對(duì)象，被控制對(duì)象完成相應(yīng)的操作。
[0023]在其他實(shí)施例中，步驟2還包括對(duì)檢測(cè)到的人臉進(jìn)行跟蹤。以便更加穩(wěn)定的進(jìn)行控制。
[0024]為了便于理解，下面結(jié)合圖1，以對(duì)無人機(jī)的控制為例分別對(duì)各個(gè)步驟進(jìn)行詳細(xì)說明，需要強(qiáng)調(diào)的是，本方法完全可以通用在其他設(shè)備的控制上。
[0025]首先無人機(jī)操作員打開無人機(jī)的姿態(tài)控制模式，視頻采集模塊對(duì)操作員進(jìn)行成像，并將視頻送入人臉檢測(cè)與跟蹤模塊進(jìn)行人臉檢測(cè)與跟蹤，同時(shí)姿態(tài)估計(jì)模塊進(jìn)行人頭的姿態(tài)估計(jì)，姿態(tài)翻譯器將估計(jì)結(jié)果翻譯成控制命令，然后傳遞給無人機(jī)的飛控裝置，飛控裝置根據(jù)控制命令進(jìn)行相應(yīng)作動(dòng)，完成遙控行為。其功能模塊(見圖1)與步驟為:
I)視頻米集
無人機(jī)操作員打開無人機(jī)的姿態(tài)控制模式，視頻采集裝置采集操作員的頭部視頻圖像，并將視頻序列圖像傳入人臉檢測(cè)與跟蹤模塊。
[0026]2)人臉檢測(cè)與跟蹤
人臉檢測(cè)與跟蹤是實(shí)現(xiàn)人臉姿態(tài)估計(jì)與穩(wěn)定姿態(tài)控制的基礎(chǔ)，無人首先需要對(duì)場(chǎng)景里的人臉進(jìn)行檢測(cè)，同時(shí)對(duì)檢測(cè)到的人臉進(jìn)行跟蹤。本發(fā)明采用經(jīng)典的Adaboost方法對(duì)人臉進(jìn)行檢測(cè)，然后采用Mean-shift結(jié)合膚色分割進(jìn)行人臉跟蹤。
[0027]3)姿態(tài)估計(jì)
人臉姿態(tài)估計(jì)在人臉識(shí)別系統(tǒng)和人機(jī)接口等領(lǐng)域一直是重點(diǎn)研究?jī)?nèi)容，具有廣泛的應(yīng)用價(jià)值。人臉姿態(tài)有三個(gè)自由度:仰首俯首(俯仰角pitch)、左右搖頭(偏航角yaw)和左右擺頭(滾轉(zhuǎn)角roll)。
[0028]在介紹本發(fā)明的優(yōu)選方法前，先簡(jiǎn)要介紹下目前國內(nèi)外常用的人臉姿態(tài)估計(jì)方法。按采用傳感器的數(shù)量可分為單目法和多目法。多目法利用兩個(gè)或者以上傳感器獲得的數(shù)據(jù)重建人臉的三維模型，從而得到人臉的姿態(tài)估計(jì)。常用的單目法包括以下兩種:基于幾何方法和基于訓(xùn)練的方法。
[0029]基于幾何的方法通常利用人臉的幾何形狀或者精確的人臉特征點(diǎn)來估計(jì)人臉姿態(tài)。首先通過某種幾何模型來表示人臉的結(jié)構(gòu)和形狀，并對(duì)模型和輸入圖像之間建立起對(duì)應(yīng)關(guān)系，最后通過幾何或者其他的方法實(shí)現(xiàn)人臉姿態(tài)參數(shù)的估計(jì)。人臉幾何結(jié)構(gòu)不考慮不同姿態(tài)人臉的可感知差異，如鼻子的偏移與人臉的對(duì)稱性等，就可以利用精確的人臉特征點(diǎn)定位方法進(jìn)行人臉姿態(tài)估計(jì)，首先通過獲取人臉特征點(diǎn)，例如眼睛、嘴巴、鼻尖等，然