亚洲狠狠干,亚洲国产福利精品一区二区,国产八区,激情文学亚洲色图

一種利用深度相關(guān)神經(jīng)網(wǎng)絡(luò)模型識(shí)別人臉表情的方法及裝置的制造方法

文檔序號(hào):10725695閱讀:482來(lái)源:國(guó)知局
一種利用深度相關(guān)神經(jīng)網(wǎng)絡(luò)模型識(shí)別人臉表情的方法及裝置的制造方法
【專利摘要】一種利用深度相關(guān)神經(jīng)網(wǎng)絡(luò)模型識(shí)別人臉表情的方法及裝置,本發(fā)明方法包含以下步驟:1)訓(xùn)練深度相關(guān)神經(jīng)網(wǎng)絡(luò)模型;2)輸入圖像到訓(xùn)練好的模型,得到人臉表情特征,3)將特征輸入分類器,得到識(shí)別結(jié)果。本發(fā)明的裝置由主機(jī)和客戶機(jī)構(gòu)成;其中,主機(jī)內(nèi)設(shè)置有人臉數(shù)據(jù)采集模塊、表情識(shí)別模塊、監(jiān)護(hù)模塊三部分;連接關(guān)系為,人臉數(shù)據(jù)采集模塊、表情識(shí)別模塊、監(jiān)護(hù)模塊三部分依序連接;監(jiān)護(hù)模塊與客戶機(jī)連接。本發(fā)明的有益效果為,1)使最后的識(shí)別準(zhǔn)確度更高;2)本發(fā)明克服輸入測(cè)試圖像時(shí)對(duì)模型參數(shù)反饋?zhàn)赃m應(yīng)調(diào)節(jié)參數(shù)的問(wèn)題;3)本發(fā)明根據(jù)損失函數(shù)反饋,通過(guò)樣本的重要性來(lái)自適應(yīng)調(diào)整模型參數(shù),具有更好的魯棒性。
【專利說(shuō)明】
一種利用深度相關(guān)神經(jīng)網(wǎng)絡(luò)模型識(shí)別人臉表情的方法及裝置
技術(shù)領(lǐng)域
[0001] 本發(fā)明屬于人臉表情識(shí)別技術(shù)領(lǐng)域,尤其是屬于一種基于改進(jìn)后的深度神經(jīng)網(wǎng)絡(luò) 模型(DNN)人臉表情識(shí)別方法技術(shù)領(lǐng)域。
【背景技術(shù)】
[0002] 面部表情識(shí)別,簡(jiǎn)單說(shuō)來(lái)是對(duì)最基本的人類情緒的識(shí)別,最基本的人類情緒共分 七種,包含憤怒、厭惡、恐懼、快樂(lè)、悲傷、驚訝和正常。人與人之間的交流,基于表情內(nèi)容而 獲得的信息占據(jù)絕大部分,遠(yuǎn)超過(guò)基于語(yǔ)言內(nèi)容而獲得的信息,所以表情信息的獲得、分析 對(duì)于一個(gè)個(gè)人來(lái)講是十分重要的。隨著計(jì)算機(jī)技術(shù)的高速發(fā)展,人工智能技術(shù)的進(jìn)步,一些 人工智能產(chǎn)品如機(jī)器人等已經(jīng)出現(xiàn)在人類的生活中,但是對(duì)于機(jī)器人來(lái)講,如何正確識(shí)別 人類的面部表情,從而分析人類的基本情緒,最終實(shí)現(xiàn)人機(jī)之間有感情的高級(jí)溝通交流,已 經(jīng)成為人工智能領(lǐng)域的一個(gè)新興、熱點(diǎn)研究課題。
[0003] 現(xiàn)有的面部表情識(shí)別技術(shù),一般包含三個(gè)步驟:面部圖像預(yù)處理、特征提取和分 類。在提取特征部分有兩種方法,1)面部動(dòng)作單元方法,即通過(guò)檢測(cè)和分析如眼部、嘴巴等 這些每個(gè)單獨(dú)的面部單元特征,對(duì)這些特征進(jìn)行組合之后來(lái)進(jìn)行一些面部表情分析;2)容 貌特征法,將整個(gè)人臉或者局部人臉通過(guò)圖像的濾波得到特征矢量,得到特征矢量后進(jìn)行 表情的分類與識(shí)別。
[0004] 上述第1種方法,即使用面部動(dòng)作單元方法提取表情特征時(shí),由于每個(gè)運(yùn)動(dòng)單元是 每個(gè)局部化的空間模板,沒(méi)有時(shí)間描述信息,需要可靠的面部檢測(cè)與跟蹤技術(shù),還需要人臉 檢測(cè)器捕獲人臉特征點(diǎn)準(zhǔn)確的位置信息,以確保提取出準(zhǔn)確的特征信息,在很多情況下,并 不能保證有很高的準(zhǔn)確率和性能。
[0005] 上述第2種方法,即使用容貌特征法,由于大部分容貌特征法都要提取手工特征, 在將這類方法用在新的數(shù)據(jù)集上時(shí)泛化能力較差。
[0006] 現(xiàn)有的面部表情識(shí)別技術(shù)所使用的傳統(tǒng)的DNN(深度神經(jīng)網(wǎng)絡(luò))、T_DNN(基于 triplet損失的深度神經(jīng)網(wǎng)絡(luò))等算法,在對(duì)模型反饋調(diào)節(jié)模型參數(shù)時(shí),對(duì)所有的訓(xùn)練樣本 不加區(qū)分,使得有些樣本在訓(xùn)練不同的表情類時(shí)區(qū)分度不高,對(duì)表情、姿態(tài)與光照等復(fù)雜變 化的魯棒性差,最終不能更好的識(shí)別人類的面部表情特征。

【發(fā)明內(nèi)容】

[0007] 對(duì)于上述現(xiàn)有技術(shù)的缺點(diǎn),本發(fā)明提供一種利用深度相關(guān)神經(jīng)網(wǎng)絡(luò)模型識(shí)別人臉 表情的方法,本發(fā)明對(duì)人臉表情的識(shí)別更為合理、準(zhǔn)確。
[0008] -種利用深度相關(guān)神經(jīng)網(wǎng)絡(luò)模型識(shí)別人臉表情的方法,本發(fā)明包含以下步驟:1) 訓(xùn)練深度相關(guān)神經(jīng)網(wǎng)絡(luò)模型;2)輸入圖像到訓(xùn)練好的模型,得到人臉表情特征,3)將特征輸 入分類器,得到識(shí)別結(jié)果。
[0009] 本發(fā)明步驟1、步驟2)的內(nèi)容為,首先構(gòu)造一種隱含層數(shù)目大于等于3層的深度神 經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行模型訓(xùn)練;訓(xùn)練過(guò)程中,用損失函數(shù)判斷哪些樣本是重要樣本,重要樣本為 其對(duì)應(yīng)的特征與同類樣本對(duì)應(yīng)的特征之間的距離和其對(duì)應(yīng)的特征與異類樣本對(duì)應(yīng)的特征 之間的距離很接近的樣本;對(duì)于重要樣本,在更新模型時(shí),給予更多的權(quán)重去訓(xùn)練學(xué)習(xí)。因 此,定義樣本集合PziPi},這里6 = ,其中?1和對(duì)是同類表情的圖像,?1和巧:是不 同表情的圖像,設(shè)f(x)為圖像X經(jīng)神經(jīng)網(wǎng)絡(luò)模型處理后的輸出,則f(x)就為X的特征表示,需 要得到有效的特征汽?1),1<)和1>,〇'要讓映射后的特征汽?1)和,(<)比以 ?1)和,(<) 這些特征更近,這樣在更新模型參數(shù)時(shí),就有選擇性的給那些重要樣本更多的權(quán)重,定義損 失函數(shù)如下:
[0010]這里γ彡0,是一個(gè)判斷學(xué)習(xí)樣本重要性的參數(shù),如果和 小于γ,說(shuō)明這些樣本太過(guò)難以區(qū)分,對(duì)此類樣本不進(jìn)行學(xué)習(xí),避免過(guò)擬合, 這里α是一個(gè)權(quán)衡參數(shù)。關(guān)于f(Pl)、f ?·(/?;)的梯度函數(shù)表示如下:
[0015] 本發(fā)明步驟3)的分類器為k近鄰分類器。
[0016] 使用權(quán)利要求1所述的一種利用深度相關(guān)神經(jīng)網(wǎng)絡(luò)模型識(shí)別人臉表情的方法的載 體,本發(fā)明該載體為一種人體監(jiān)護(hù)裝置,該裝置由主機(jī)和客戶機(jī)構(gòu)成;其中,主機(jī)內(nèi)設(shè)置有 人臉數(shù)據(jù)采集模塊、表情識(shí)別模塊、監(jiān)護(hù)模塊三部分;連接關(guān)系為,人臉數(shù)據(jù)采集模塊、表情 識(shí)別模塊、監(jiān)護(hù)模塊三部分依序連接;監(jiān)護(hù)模塊與客戶機(jī)連接。
[0017] 本發(fā)明人臉數(shù)據(jù)采集模塊為,用攝像頭采集實(shí)時(shí)的人臉圖像數(shù)據(jù),將獲取的人臉 數(shù)據(jù)送入表情識(shí)別模塊。
[0018] 本發(fā)明表情識(shí)別模塊為一種利用深度相關(guān)神經(jīng)網(wǎng)絡(luò)模型識(shí)別人臉表情的模塊。
[0019] 本發(fā)明監(jiān)護(hù)模塊為,根據(jù)表情識(shí)別模塊識(shí)別出來(lái)的結(jié)果做出不同監(jiān)護(hù)響應(yīng)。
[0020] 本發(fā)明客戶機(jī)為,客戶機(jī)獲得識(shí)別結(jié)果并同時(shí)獲得對(duì)應(yīng)人臉表情視頻,監(jiān)護(hù)人利 用客戶機(jī)修改監(jiān)護(hù)響應(yīng)方式。
[0021] 本發(fā)明主機(jī)與客戶機(jī)的連接方式為采用有線或者無(wú)線方式進(jìn)行通信連接。
[0022] 本發(fā)明涉及的深度相關(guān)神經(jīng)網(wǎng)絡(luò)是常見(jiàn)的深度神經(jīng)網(wǎng)絡(luò)(DNN)的升級(jí)算法。
[0023] 本發(fā)明的有益效果為,1)本發(fā)明能夠更快更好的訓(xùn)練樣本得到合適的模型參數(shù), 使最后的識(shí)別準(zhǔn)確度更高。2)本發(fā)明克服輸入測(cè)試圖像時(shí)對(duì)模型參數(shù)反饋?zhàn)赃m應(yīng)調(diào)節(jié)參數(shù) 的問(wèn)題,著重研究了同類表情樣本和不同類表情樣本經(jīng)神經(jīng)網(wǎng)絡(luò)模型映射之后在空間的相 對(duì)距離問(wèn)題。3)本發(fā)明根據(jù)損失函數(shù)反饋,通過(guò)樣本的重要性來(lái)自適應(yīng)調(diào)整模型參數(shù),具有 更好的魯棒性。
[0024]下面結(jié)合附圖和【具體實(shí)施方式】對(duì)本發(fā)明做進(jìn)一步解釋。
【附圖說(shuō)明】
[0025]圖1為本發(fā)明的結(jié)構(gòu)不意圖;
[0026] 圖2為本發(fā)明【具體實(shí)施方式】中的第一種神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖;
[0027] 圖3為本發(fā)明【具體實(shí)施方式】中的第二種神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖。
【具體實(shí)施方式】
[0028] -種利用深度相關(guān)神經(jīng)網(wǎng)絡(luò)模型識(shí)別人臉表情的方法,本發(fā)明包含以下步驟:1) 訓(xùn)練深度相關(guān)神經(jīng)網(wǎng)絡(luò)模型;2)輸入圖像到訓(xùn)練好的模型,得到人臉表情特征,3)將特征輸 入分類器,得到識(shí)別結(jié)果。本發(fā)明采用深度神經(jīng)網(wǎng)絡(luò)對(duì)圖像進(jìn)行特征提取,圖2給出了第一 種神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)圖,圖3給出了第二種神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)圖。
[0029] 本發(fā)明步驟1、步驟2)的內(nèi)容為,首先構(gòu)造一種隱含層數(shù)目大于等于3層的深度神 經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行模型訓(xùn)練;訓(xùn)練過(guò)程中,用損失函數(shù)判斷哪些樣本是重要樣本,重要樣本為 其對(duì)應(yīng)的特征與同類樣本對(duì)應(yīng)的特征之間的距離和其對(duì)應(yīng)的特征與異類樣本對(duì)應(yīng)的特征 之間的距離很接近的樣本;對(duì)于重要樣本,在更新模型時(shí),給予更多的權(quán)重去訓(xùn)練學(xué)習(xí)。因 此,定義樣本集合P={Pi},這里C = :(?,對(duì),埒卜其中Pi和對(duì)是同類表情的圖像,Pi和6是不 同表情的圖像,設(shè)f(x)為圖像X經(jīng)神經(jīng)網(wǎng)絡(luò)模型處理后的輸出,則f(x)就為X的特征表示,需 要得到有效的特征f( Pl),f (<)和,(/4,要讓映射后的特征f(Pl)和f 比f(wàn)( Pl)和,(P7) 這些特征更近,這樣在更新模型參數(shù)時(shí),就有選擇性的給那些重要樣本更多的權(quán)重,定義損 失函數(shù)如下:
[0030]這里γ彡0是一個(gè)判斷學(xué)習(xí)樣本重要性的參數(shù),如果和 |f (巧)-f小于丫,說(shuō)明這些樣本太過(guò)難以區(qū)分,對(duì)此類樣本不進(jìn)行學(xué)習(xí),避免過(guò)擬合, 這里α是一個(gè)權(quán)衡參數(shù)。關(guān)于f (Pl)、f 的梯度函數(shù)表示如下:
[0035] 本發(fā)明步驟3)的分類器為k近鄰分類器。
[0036] 使用權(quán)利要求1所述的一種利用深度相關(guān)神經(jīng)網(wǎng)絡(luò)模型識(shí)別人臉表情的方法的載 體,本發(fā)明該載體為一種人體監(jiān)護(hù)裝置,該裝置由主機(jī)和客戶機(jī)構(gòu)成;其中,主機(jī)內(nèi)設(shè)置有 人臉數(shù)據(jù)采集模塊、表情識(shí)別模塊、監(jiān)護(hù)模塊三部分;連接關(guān)系為,人臉數(shù)據(jù)采集模塊、表情 識(shí)別模塊、監(jiān)護(hù)模塊三部分依序連接;監(jiān)護(hù)模塊與客戶機(jī)連接。本發(fā)明的人體監(jiān)護(hù)裝置結(jié)構(gòu) 示意圖見(jiàn)圖1。
[0037] 本發(fā)明人臉數(shù)據(jù)采集模塊為,用攝像頭采集實(shí)時(shí)的人臉圖像數(shù)據(jù),將獲取的人臉 數(shù)據(jù)送入表情識(shí)別模塊。
[0038] 本發(fā)明表情識(shí)別模塊為一種利用深度相關(guān)神經(jīng)網(wǎng)絡(luò)模型識(shí)別人臉表情的模塊。
[0039] 本發(fā)明監(jiān)護(hù)模塊為,根據(jù)表情識(shí)別模塊識(shí)別出來(lái)的結(jié)果做出不同監(jiān)護(hù)響應(yīng)。
[0040] 本發(fā)明客戶機(jī)為,客戶機(jī)獲得識(shí)別結(jié)果并同時(shí)獲得對(duì)應(yīng)人臉表情視頻,監(jiān)護(hù)人利 用客戶機(jī)修改監(jiān)護(hù)響應(yīng)方式。
[0041] 本發(fā)明主機(jī)與客戶機(jī)的連接方式為采用有線或者無(wú)線方式進(jìn)行通信連接。
[0042] 本發(fā)明中,108X108、3X3、54X54、27X27、13X13、6X6、160X160、80X80、40X 40、20X20等數(shù)值的單位為像素。
[0043] 表1【具體實(shí)施方式】中的第一種神經(jīng)網(wǎng)絡(luò)參數(shù)
[0045]表2【具體實(shí)施方式】中的第二種神經(jīng)網(wǎng)絡(luò)參數(shù)
【主權(quán)項(xiàng)】
1. 一種利用深度相關(guān)神經(jīng)網(wǎng)絡(luò)模型識(shí)別人臉表情的方法,其特征在于,包含W下步驟: 1)訓(xùn)練深度相關(guān)神經(jīng)網(wǎng)絡(luò)模型;2)輸入圖像到訓(xùn)練好的模型,得到人臉表情特征,3)將特征 輸入分類器,得到識(shí)別結(jié)果。2. 根據(jù)權(quán)利要求1所述的一種利用深度相關(guān)神經(jīng)網(wǎng)絡(luò)模型識(shí)別人臉表情的方法,其特 征在于,步驟1、步驟2)的內(nèi)容為,首先構(gòu)造一種隱含層數(shù)目大于等于3層的深度神經(jīng)網(wǎng)絡(luò)結(jié) 構(gòu)進(jìn)行模型訓(xùn)練;訓(xùn)練過(guò)程中,用損失函數(shù)判斷哪些樣本是重要樣本,重要樣本為其對(duì)應(yīng)的 特征與同類樣本對(duì)應(yīng)的特征之間的距離和其對(duì)應(yīng)的特征與異類樣本對(duì)應(yīng)的特征之間的距 離很接近的樣本;定義樣本集合P= {Pi},運(yùn)里=>,,皆,/d,其中Pi和孩是同類表情的圖 像,Pi和磚是不同表情的圖像,設(shè)f(x)為圖像X經(jīng)神經(jīng)網(wǎng)絡(luò)模型處理后的輸出,則f(x)就為X 的特征表示,需要得到有效的特征f(Pi),/杉:)和f ?狂),定義損失函數(shù)如下:運(yùn)里丫 >0,是一個(gè)判斷學(xué)習(xí)樣本重要性的參數(shù),如果小于丫,說(shuō)明運(yùn)些樣本太過(guò)難W區(qū)分,對(duì)此類樣本不進(jìn)行學(xué)習(xí),避免過(guò)擬合,運(yùn)里α是一個(gè)權(quán) 衡參數(shù);關(guān)于f (Pi)?片)> (每)的梯度函數(shù)表示如下:3. 根據(jù)權(quán)利要求1所述的一種利用深度相關(guān)神經(jīng)網(wǎng)絡(luò)模型識(shí)別人臉表情的方法,其特 征在于,步驟3)的分類器為k近鄰分類器。4. 使用權(quán)利要求1所述的一種利用深度相關(guān)神經(jīng)網(wǎng)絡(luò)模型識(shí)別人臉表情的方法的載 體,其特征在于,該載體為一種人體監(jiān)護(hù)裝置,該裝置由主機(jī)和客戶機(jī)構(gòu)成;其中,主機(jī)內(nèi)設(shè) 置有人臉數(shù)據(jù)采集模塊、表情識(shí)別模塊、監(jiān)護(hù)模塊Ξ部分;連接關(guān)系為,人臉數(shù)據(jù)采集模塊、 表情識(shí)別模塊、監(jiān)護(hù)模塊Ξ部分依序連接;監(jiān)護(hù)模塊與客戶機(jī)連接。5. 根據(jù)權(quán)利要求4所述的使用權(quán)利要求1所述的一種利用深度相關(guān)神經(jīng)網(wǎng)絡(luò)模型識(shí)別 人臉表情的方法的載體,其特征在于,人臉數(shù)據(jù)采集模塊為,用攝像頭采集實(shí)時(shí)的人臉圖像 數(shù)據(jù),將獲取的人臉數(shù)據(jù)送入表情識(shí)別模塊。6. 根據(jù)權(quán)利要求4所述的使用權(quán)利要求1所述的一種利用深度相關(guān)神經(jīng)網(wǎng)絡(luò)模型識(shí)別 人臉表情的方法的載體,其特征在于,表情識(shí)別模塊為一種利用深度相關(guān)神經(jīng)網(wǎng)絡(luò)模型識(shí) 別人臉表情的模塊。7. 根據(jù)權(quán)利要求4所述的使用權(quán)利要求1所述的一種利用深度相關(guān)神經(jīng)網(wǎng)絡(luò)模型識(shí)別 人臉表情的方法的載體,其特征在于,監(jiān)護(hù)模塊為,根據(jù)表情識(shí)別模塊識(shí)別出來(lái)的結(jié)果做出 不同監(jiān)護(hù)響應(yīng)。8. 根據(jù)權(quán)利要求4所述的使用權(quán)利要求1所述的一種利用深度相關(guān)神經(jīng)網(wǎng)絡(luò)模型識(shí)別 人臉表情的方法的載體,其特征在于,客戶機(jī)為,客戶機(jī)獲得識(shí)別結(jié)果并同時(shí)獲得對(duì)應(yīng)人臉 表情視頻,監(jiān)護(hù)人利用客戶機(jī)修改監(jiān)護(hù)響應(yīng)方式。9. 根據(jù)權(quán)利要求4所述的使用權(quán)利要求1所述的一種利用深度相關(guān)神經(jīng)網(wǎng)絡(luò)模型識(shí)別 人臉表情的方法的載體,其特征在于,主機(jī)與客戶機(jī)的連接方式為采用有線或者無(wú)線方式 進(jìn)行通信連接。
【文檔編號(hào)】G06N3/08GK106096598SQ201610698191
【公開(kāi)日】2016年11月9日
【申請(qǐng)日】2016年8月22日 公開(kāi)號(hào)201610698191.2, CN 106096598 A, CN 106096598A, CN 201610698191, CN-A-106096598, CN106096598 A, CN106096598A, CN201610698191, CN201610698191.2
【發(fā)明人】林旭
【申請(qǐng)人】深圳市聯(lián)合視覺(jué)創(chuàng)新科技有限公司
網(wǎng)友詢問(wèn)留言 已有0條留言
  • 還沒(méi)有人留言評(píng)論。精彩留言會(huì)獲得點(diǎn)贊!
1