一種利用深度相關(guān)神經(jīng)網(wǎng)絡(luò)模型識(shí)別人臉表情的方法及裝置的制造方法
【專利摘要】一種利用深度相關(guān)神經(jīng)網(wǎng)絡(luò)模型識(shí)別人臉表情的方法及裝置，本發(fā)明方法包含以下步驟：1)訓(xùn)練深度相關(guān)神經(jīng)網(wǎng)絡(luò)模型；2)輸入圖像到訓(xùn)練好的模型，得到人臉表情特征，3)將特征輸入分類器，得到識(shí)別結(jié)果。本發(fā)明的裝置由主機(jī)和客戶機(jī)構(gòu)成；其中，主機(jī)內(nèi)設(shè)置有人臉數(shù)據(jù)采集模塊、表情識(shí)別模塊、監(jiān)護(hù)模塊三部分；連接關(guān)系為，人臉數(shù)據(jù)采集模塊、表情識(shí)別模塊、監(jiān)護(hù)模塊三部分依序連接；監(jiān)護(hù)模塊與客戶機(jī)連接。本發(fā)明的有益效果為，1)使最后的識(shí)別準(zhǔn)確度更高；2)本發(fā)明克服輸入測(cè)試圖像時(shí)對(duì)模型參數(shù)反饋?zhàn)赃m應(yīng)調(diào)節(jié)參數(shù)的問(wèn)題；3)本發(fā)明根據(jù)損失函數(shù)反饋，通過(guò)樣本的重要性來(lái)自適應(yīng)調(diào)整模型參數(shù)，具有更好的魯棒性。
【專利說(shuō)明】
一種利用深度相關(guān)神經(jīng)網(wǎng)絡(luò)模型識(shí)別人臉表情的方法及裝置
技術(shù)領(lǐng)域
[0001] 本發(fā)明屬于人臉表情識(shí)別技術(shù)領(lǐng)域，尤其是屬于一種基于改進(jìn)后的深度神經(jīng)網(wǎng)絡(luò) 模型(DNN)人臉表情識(shí)別方法技術(shù)領(lǐng)域。
【背景技術(shù)】
[0002] 面部表情識(shí)別，簡(jiǎn)單說(shuō)來(lái)是對(duì)最基本的人類情緒的識(shí)別，最基本的人類情緒共分 七種，包含憤怒、厭惡、恐懼、快樂(lè)、悲傷、驚訝和正常。人與人之間的交流，基于表情內(nèi)容而 獲得的信息占據(jù)絕大部分，遠(yuǎn)超過(guò)基于語(yǔ)言內(nèi)容而獲得的信息，所以表情信息的獲得、分析 對(duì)于一個(gè)個(gè)人來(lái)講是十分重要的。隨著計(jì)算機(jī)技術(shù)的高速發(fā)展，人工智能技術(shù)的進(jìn)步，一些 人工智能產(chǎn)品如機(jī)器人等已經(jīng)出現(xiàn)在人類的生活中，但是對(duì)于機(jī)器人來(lái)講，如何正確識(shí)別 人類的面部表情，從而分析人類的基本情緒，最終實(shí)現(xiàn)人機(jī)之間有感情的高級(jí)溝通交流，已 經(jīng)成為人工智能領(lǐng)域的一個(gè)新興、熱點(diǎn)研究課題。
[0003] 現(xiàn)有的面部表情識(shí)別技術(shù)，一般包含三個(gè)步驟:面部圖像預(yù)處理、特征提取和分 類。在提取特征部分有兩種方法，1)面部動(dòng)作單元方法，即通過(guò)檢測(cè)和分析如眼部、嘴巴等 這些每個(gè)單獨(dú)的面部單元特征，對(duì)這些特征進(jìn)行組合之后來(lái)進(jìn)行一些面部表情分析;2)容 貌特征法，將整個(gè)人臉或者局部人臉通過(guò)圖像的濾波得到特征矢量，得到特征矢量后進(jìn)行 表情的分類與識(shí)別。
[0004] 上述第1種方法，即使用面部動(dòng)作單元方法提取表情特征時(shí)，由于每個(gè)運(yùn)動(dòng)單元是 每個(gè)局部化的空間模板，沒(méi)有時(shí)間描述信息，需要可靠的面部檢測(cè)與跟蹤技術(shù)，還需要人臉 檢測(cè)器捕獲人臉特征點(diǎn)準(zhǔn)確的位置信息，以確保提取出準(zhǔn)確的特征信息，在很多情況下，并 不能保證有很高的準(zhǔn)確率和性能。
[0005] 上述第2種方法，即使用容貌特征法，由于大部分容貌特征法都要提取手工特征， 在將這類方法用在新的數(shù)據(jù)集上時(shí)泛化能力較差。
[0006] 現(xiàn)有的面部表情識(shí)別技術(shù)所使用的傳統(tǒng)的DNN(深度神經(jīng)網(wǎng)絡(luò)）、T_DNN(基于 triplet損失的深度神經(jīng)網(wǎng)絡(luò))等算法，在對(duì)模型反饋調(diào)節(jié)模型參數(shù)時(shí)，對(duì)所有的訓(xùn)練樣本 不加區(qū)分，使得有些樣本在訓(xùn)練不同的表情類時(shí)區(qū)分度不高，對(duì)表情、姿態(tài)與光照等復(fù)雜變 化的魯棒性差，最終不能更好的識(shí)別人類的面部表情特征。

【發(fā)明內(nèi)容】

[0007] 對(duì)于上述現(xiàn)有技術(shù)的缺點(diǎn)，本發(fā)明提供一種利用深度相關(guān)神經(jīng)網(wǎng)絡(luò)模型識(shí)別人臉 表情的方法，本發(fā)明對(duì)人臉表情的識(shí)別更為合理、準(zhǔn)確。
[0008] -種利用深度相關(guān)神經(jīng)網(wǎng)絡(luò)模型識(shí)別人臉表情的方法，本發(fā)明包含以下步驟：1) 訓(xùn)練深度相關(guān)神經(jīng)網(wǎng)絡(luò)模型;2)輸入圖像到訓(xùn)練好的模型，得到人臉表情特征，3)將特征輸 入分類器，得到識(shí)別結(jié)果。
[0009] 本發(fā)明步驟1、步驟2)的內(nèi)容為，首先構(gòu)造一種隱含層數(shù)目大于等于3層的深度神 經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行模型訓(xùn)練;訓(xùn)練過(guò)程中，用損失函數(shù)判斷哪些樣本是重要樣本，重要樣本為 其對(duì)應(yīng)的特征與同類樣本對(duì)應(yīng)的特征之間的距離和其對(duì)應(yīng)的特征與異類樣本對(duì)應(yīng)的特征 之間的距離很接近的樣本;對(duì)于重要樣本，在更新模型時(shí)，給予更多的權(quán)重去訓(xùn)練學(xué)習(xí)。因 此，定義樣本集合PziPi}，這里6 = ，其中？1和對(duì)是同類表情的圖像，？1和巧:是不 同表情的圖像，設(shè)f(x)為圖像X經(jīng)神經(jīng)網(wǎng)絡(luò)模型處理后的輸出，則f(x)就為X的特征表示，需 要得到有效的特征汽？1)，1<)和1>,〇'要讓映射后的特征汽？1)和，(<)比以 ？1)和，(<) 這些特征更近，這樣在更新模型參數(shù)時(shí)，就有選擇性的給那些重要樣本更多的權(quán)重，定義損 失函數(shù)如下：
[0010]這里γ彡0,是一個(gè)判斷學(xué)習(xí)樣本重要性的參數(shù)，如果和 小于γ，說(shuō)明這些樣本太過(guò)難以區(qū)分，對(duì)此類樣本不進(jìn)行學(xué)習(xí)，避免過(guò)擬合， 這里α是一個(gè)權(quán)衡參數(shù)。關(guān)于f(Pl)、f ?·(/?；)的梯度函數(shù)表示如下：
[0015] 本發(fā)明步驟3)的分類器為k近鄰分類器。
[0016] 使用權(quán)利要求1所述的一種利用深度相關(guān)神經(jīng)網(wǎng)絡(luò)模型識(shí)別人臉表情的方法的載 體，本發(fā)明該載體為一種人體監(jiān)護(hù)裝置，該裝置由主機(jī)和客戶機(jī)構(gòu)成;其中，主機(jī)內(nèi)設(shè)置有 人臉數(shù)據(jù)采集模塊、表情識(shí)別模塊、監(jiān)護(hù)模塊三部分;連接關(guān)系為，人臉數(shù)據(jù)采集模塊、表情 識(shí)別模塊、監(jiān)護(hù)模塊三部分依序連接;監(jiān)護(hù)模塊與客戶機(jī)連接。
[0017] 本發(fā)明人臉數(shù)據(jù)采集模塊為，用攝像頭采集實(shí)時(shí)的人臉圖像數(shù)據(jù)，將獲取的人臉 數(shù)據(jù)送入表情識(shí)別模塊。
[0018] 本發(fā)明表情識(shí)別模塊為一種利用深度相關(guān)神經(jīng)網(wǎng)絡(luò)模型識(shí)別人臉表情的模塊。
[0019] 本發(fā)明監(jiān)護(hù)模塊為，根據(jù)表情識(shí)別模塊識(shí)別出來(lái)的結(jié)果做出不同監(jiān)護(hù)響應(yīng)。
[0020] 本發(fā)明客戶機(jī)為，客戶機(jī)獲得識(shí)別結(jié)果并同時(shí)獲得對(duì)應(yīng)人臉表情視頻，監(jiān)護(hù)人利 用客戶機(jī)修改監(jiān)護(hù)響應(yīng)方式。
[0021] 本發(fā)明主機(jī)與客戶機(jī)的連接方式為采用有線或者無(wú)線方式進(jìn)行通信連接。
[0022] 本發(fā)明涉及的深度相關(guān)神經(jīng)網(wǎng)絡(luò)是常見(jiàn)的深度神經(jīng)網(wǎng)絡(luò)(DNN)的升級(jí)算法。
[0023] 本發(fā)明的有益效果為，1)本發(fā)明能夠更快更好的訓(xùn)練樣本得到合適的模型參數(shù)， 使最后的識(shí)別準(zhǔn)確度更高。2)本發(fā)明克服輸入測(cè)試圖像時(shí)對(duì)模型參數(shù)反饋?zhàn)赃m應(yīng)調(diào)節(jié)參數(shù) 的問(wèn)題，著重研究了同類表情樣本和不同類表情樣本經(jīng)神經(jīng)網(wǎng)絡(luò)模型映射之后在空間的相 對(duì)距離問(wèn)題。3)本發(fā)明根據(jù)損失函數(shù)反饋，通過(guò)樣本的重要性來(lái)自適應(yīng)調(diào)整模型參數(shù)，具有 更好的魯棒性。
[0024]下面結(jié)合附圖和【具體實(shí)施方式】對(duì)本發(fā)明做進(jìn)一步解釋。
【附圖說(shuō)明】
[0025]圖1為本發(fā)明的結(jié)構(gòu)不意圖；
[0026] 圖2為本發(fā)明【具體實(shí)施方式】中的第一種神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖；
[0027] 圖3為本發(fā)明【具體實(shí)施方式】中的第二種神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖。
【具體實(shí)施方式】
[0028] -種利用深度相關(guān)神經(jīng)網(wǎng)絡(luò)模型識(shí)別人臉表情的方法，本發(fā)明包含以下步驟：1) 訓(xùn)練深度相關(guān)神經(jīng)網(wǎng)絡(luò)模型;2)輸入圖像到訓(xùn)練好的模型，得到人臉表情特征，3)將特征輸 入分類器，得到識(shí)別結(jié)果。本發(fā)明采用深度神經(jīng)網(wǎng)絡(luò)對(duì)圖像進(jìn)行特征提取，圖2給出了第一 種神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)圖，圖3給出了第二種神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)圖。
[0029] 本發(fā)明步驟1、步驟2)的內(nèi)容為，首先構(gòu)造一種隱含層數(shù)目大于等于3層的深度神 經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行模型訓(xùn)練;訓(xùn)練過(guò)程中，用損失函數(shù)判斷哪些樣本是重要樣本，重要樣本為 其對(duì)應(yīng)的特征與同類樣本對(duì)應(yīng)的特征之間的距離和其對(duì)應(yīng)的特征與異類樣本對(duì)應(yīng)的特征 之間的距離很接近的樣本;對(duì)于重要樣本，在更新模型時(shí)，給予更多的權(quán)重去訓(xùn)練學(xué)習(xí)。因 此，定義樣本集合P={Pi}，這里C = :(?，對(duì)，埒卜其中Pi和對(duì)是同類表情的圖像，Pi和6是不 同表情的圖像，設(shè)f(x)為圖像X經(jīng)神經(jīng)網(wǎng)絡(luò)模型處理后的輸出，則f(x)就為X的特征表示，需 要得到有效的特征f( Pl)，f (<)和，(/4,要讓映射后的特征f(Pl)和f 比f(wàn)( Pl)和，(P7) 這些特征更近，這樣在更新模型參數(shù)時(shí)，就有選擇性的給那些重要樣本更多的權(quán)重，定義損 失函數(shù)如下：
[0030]這里γ彡0是一個(gè)判斷學(xué)習(xí)樣本重要性的參數(shù)，如果和 |f (巧）-f小于丫，說(shuō)明這些樣本太過(guò)難以區(qū)分，對(duì)此類樣本不進(jìn)行學(xué)習(xí)，避免過(guò)擬合， 這里α是一個(gè)權(quán)衡參數(shù)。關(guān)于f (Pl)、f 的梯度函數(shù)表示如下：
[0035] 本發(fā)明步驟3)的分類器為k近鄰分類器。
[0036] 使用權(quán)利要求1所述的一種利用深度相關(guān)神經(jīng)網(wǎng)絡(luò)模型識(shí)別人臉表情的方法的載 體，本發(fā)明該載體為一種人體監(jiān)護(hù)裝置，該裝置由主機(jī)和客戶機(jī)構(gòu)成;其中，主機(jī)內(nèi)設(shè)置有 人臉數(shù)據(jù)采集模塊、表情識(shí)別模塊、監(jiān)護(hù)模塊三部分;連接關(guān)系為，人臉數(shù)據(jù)采集模塊、表情 識(shí)別模塊、監(jiān)護(hù)模塊三部分依序連接;監(jiān)護(hù)模塊與客戶機(jī)連接。本發(fā)明的人體監(jiān)護(hù)裝置結(jié)構(gòu) 示意圖見(jiàn)圖1。
[0037] 本發(fā)明人臉數(shù)據(jù)采集模塊為，用攝像頭采集實(shí)時(shí)的人臉圖像數(shù)據(jù)，將獲取的人臉 數(shù)據(jù)送入表情識(shí)別模塊。
[0038] 本發(fā)明表情識(shí)別模塊為一種利用深度相關(guān)神經(jīng)網(wǎng)絡(luò)模型識(shí)別人臉表情的模塊。
[0039] 本發(fā)明監(jiān)護(hù)模塊為，根據(jù)表情識(shí)別模塊識(shí)別出來(lái)的結(jié)果做出不同監(jiān)護(hù)響應(yīng)。
[0040] 本發(fā)明客戶機(jī)為，客戶機(jī)獲得識(shí)別結(jié)果并同時(shí)獲得對(duì)應(yīng)人臉表情視頻，監(jiān)護(hù)人利 用客戶機(jī)修改監(jiān)護(hù)響應(yīng)方式。
[0041] 本發(fā)明主機(jī)與客戶機(jī)的連接方式為采用有線或者無(wú)線方式進(jìn)行通信連接。
[0042] 本發(fā)明中，108X108、3X3、54X54、27X27、13X13、6X6、160X160、80X80、40X 40、20X20等數(shù)值的單位為像素。
[0043] 表1【具體實(shí)施方式】中的第一種神經(jīng)網(wǎng)絡(luò)參數(shù)
[0045]表2【具體實(shí)施方式】中的第二種神經(jīng)網(wǎng)絡(luò)參數(shù)
【主權(quán)項(xiàng)】
1. 一種利用深度相關(guān)神經(jīng)網(wǎng)絡(luò)模型識(shí)別人臉表情的方法，其特征在于，包含W下步驟： 1)訓(xùn)練深度相關(guān)神經(jīng)網(wǎng)絡(luò)模型;2)輸入圖像到訓(xùn)練好的模型，得到人臉表情特征，3)將特征 輸入分類器，得到識(shí)別結(jié)果。2. 根據(jù)權(quán)利要求1所述的一種利用深度相關(guān)神經(jīng)網(wǎng)絡(luò)模型識(shí)別人臉表情的方法，其特 征在于，步驟1、步驟2)的內(nèi)容為，首先構(gòu)造一種隱含層數(shù)目大于等于3層的深度神經(jīng)網(wǎng)絡(luò)結(jié) 構(gòu)進(jìn)行模型訓(xùn)練;訓(xùn)練過(guò)程中，用損失函數(shù)判斷哪些樣本是重要樣本，重要樣本為其對(duì)應(yīng)的 特征與同類樣本對(duì)應(yīng)的特征之間的距離和其對(duì)應(yīng)的特征與異類樣本對(duì)應(yīng)的特征之間的距 離很接近的樣本;定義樣本集合P= {Pi}，運(yùn)里=>,，皆，/d，其中Pi和孩是同類表情的圖 像，Pi和磚是不同表情的圖像，設(shè)f(x)為圖像X經(jīng)神經(jīng)網(wǎng)絡(luò)模型處理后的輸出，則f(x)就為X 的特征表示，需要得到有效的特征f(Pi)，/杉:)和f ?狂），定義損失函數(shù)如下：運(yùn)里丫 >0,是一個(gè)判斷學(xué)習(xí)樣本重要性的參數(shù)，如果小于丫，說(shuō)明運(yùn)些樣本太過(guò)難W區(qū)分，對(duì)此類樣本不進(jìn)行學(xué)習(xí)，避免過(guò)擬合，運(yùn)里α是一個(gè)權(quán) 衡參數(shù);關(guān)于f (Pi)?片）> (每)的梯度函數(shù)表示如下：3. 根據(jù)權(quán)利要求1所述的一種利用深度相關(guān)神經(jīng)網(wǎng)絡(luò)模型識(shí)別人臉表情的方法，其特 征在于，步驟3)的分類器為k近鄰分類器。4. 使用權(quán)利要求1所述的一種利用深度相關(guān)神經(jīng)網(wǎng)絡(luò)模型識(shí)別人臉表情的方法的載 體，其特征在于，該載體為一種人體監(jiān)護(hù)裝置，該裝置由主機(jī)和客戶機(jī)構(gòu)成;其中，主機(jī)內(nèi)設(shè) 置有人臉數(shù)據(jù)采集模塊、表情識(shí)別模塊、監(jiān)護(hù)模塊Ξ部分;連接關(guān)系為，人臉數(shù)據(jù)采集模塊、 表情識(shí)別模塊、監(jiān)護(hù)模塊Ξ部分依序連接;監(jiān)護(hù)模塊與客戶機(jī)連接。5. 根據(jù)權(quán)利要求4所述的使用權(quán)利要求1所述的一種利用深度相關(guān)神經(jīng)網(wǎng)絡(luò)模型識(shí)別 人臉表情的方法的載體，其特征在于，人臉數(shù)據(jù)采集模塊為，用攝像頭采集實(shí)時(shí)的人臉圖像 數(shù)據(jù)，將獲取的人臉數(shù)據(jù)送入表情識(shí)別模塊。6. 根據(jù)權(quán)利要求4所述的使用權(quán)利要求1所述的一種利用深度相關(guān)神經(jīng)網(wǎng)絡(luò)模型識(shí)別 人臉表情的方法的載體，其特征在于，表情識(shí)別模塊為一種利用深度相關(guān)神經(jīng)網(wǎng)絡(luò)模型識(shí) 別人臉表情的模塊。7. 根據(jù)權(quán)利要求4所述的使用權(quán)利要求1所述的一種利用深度相關(guān)神經(jīng)網(wǎng)絡(luò)模型識(shí)別 人臉表情的方法的載體，其特征在于，監(jiān)護(hù)模塊為，根據(jù)表情識(shí)別模塊識(shí)別出來(lái)的結(jié)果做出 不同監(jiān)護(hù)響應(yīng)。8. 根據(jù)權(quán)利要求4所述的使用權(quán)利要求1所述的一種利用深度相關(guān)神經(jīng)網(wǎng)絡(luò)模型識(shí)別 人臉表情的方法的載體，其特征在于，客戶機(jī)為，客戶機(jī)獲得識(shí)別結(jié)果并同時(shí)獲得對(duì)應(yīng)人臉 表情視頻，監(jiān)護(hù)人利用客戶機(jī)修改監(jiān)護(hù)響應(yīng)方式。9. 根據(jù)權(quán)利要求4所述的使用權(quán)利要求1所述的一種利用深度相關(guān)神經(jīng)網(wǎng)絡(luò)模型識(shí)別 人臉表情的方法的載體，其特征在于，主機(jī)與客戶機(jī)的連接方式為采用有線或者無(wú)線方式 進(jìn)行通信連接。
【文檔編號(hào)】G06N3/08GK106096598SQ201610698191
【公開(kāi)日】2016年11月9日
【申請(qǐng)日】2016年8月22日 公開(kāi)號(hào)201610698191.2, CN 106096598 A, CN 106096598A, CN 201610698191, CN-A-106096598, CN106096598 A, CN106096598A, CN201610698191, CN201610698191.2
【發(fā)明人】林旭
【申請(qǐng)人】深圳市聯(lián)合視覺(jué)創(chuàng)新科技有限公司