專利名稱：通過面部表情調(diào)取表情圖釋的方法
通過面部表情調(diào)取表情圖釋的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種通過面部表情調(diào)取表情圖釋的方法，可通過圖像采集裝置獲取人臉圖像識(shí)別面部表情，屬于計(jì)算機(jī)控制技術(shù)領(lǐng)域。
背景技術(shù)：
隨著網(wǎng)絡(luò)互動(dòng)技術(shù)的發(fā)展，例如微博、騰訊QQ、MSN、人人網(wǎng)等網(wǎng)絡(luò)社交工具越來越受到廣大用戶的喜愛。人們可以通過這些網(wǎng)絡(luò)社交工具進(jìn)行互動(dòng)，特別地人們可以利用其中豐富的表情圖釋來生動(dòng)的表現(xiàn)用戶當(dāng)前的心理。表情是人類用來表達(dá)情緒的一種基本方式，是非語言交流中的一種有效手段。網(wǎng)絡(luò)社交工具中，用戶通過在表情圖釋管理處選擇相應(yīng)的表情后發(fā)送給對方，這些表情圖釋 都是預(yù)先存儲(chǔ)在計(jì)算機(jī)內(nèi)的，然而計(jì)算機(jī)不能夠直接辨別用戶的表情來選擇相應(yīng)的表情圖釋，無法使用戶能夠獲取到真實(shí)的互動(dòng)場景。目前對人類面部表情的識(shí)別一般都是應(yīng)用在安全領(lǐng)域或者，例如申請?zhí)枮?00810240293的中國專利申請，其公開了一種基于人臉識(shí)別的防盜門鎖，通過識(shí)別人臉來開鎖。然而在娛樂領(lǐng)域，面部表情的識(shí)別技術(shù)還沒有得到很好的應(yīng)用。

發(fā)明內(nèi)容本發(fā)明提供一種通過面部表情調(diào)取表情圖釋的方法，通過圖像采集裝置獲取人臉圖像，并從人臉圖像中提取面部表情，根據(jù)面部表情顯示對應(yīng)的表情圖釋，以增加人們在網(wǎng)絡(luò)交流中的娛樂性。為解決上述技術(shù)問題，本發(fā)明是通過以下技術(shù)方案實(shí)現(xiàn)的—種通過面部表情調(diào)取表情圖釋的方法，該方法包括以下步驟G、圖像采集裝置獲取外界的圖像信息；H、表情識(shí)別模塊的人臉檢測與定位單元檢測該圖像信息中是否包括人臉圖像，如果包括則繼續(xù)步驟C，如果不包括人臉圖像則繼續(xù)等待接收圖像信息；I、進(jìn)一步判斷該圖像信息中人臉圖像所在位置，將人臉圖像發(fā)送給表情特征提取單元；J、表情特征提取單元從人臉圖像或者圖像序列中提取能夠表征輸入表情特征的本質(zhì)信息；K、人臉表情識(shí)別單元分析各特征之間的關(guān)系，確定待測表情類別，例如微笑、哭泣、傷心等；L、網(wǎng)絡(luò)互動(dòng)模塊的表情圖釋管理單元根據(jù)確定的待測表情，查找到對應(yīng)的表情。所述的步驟B中人臉檢測過程如下BI、從圖像采集裝置I中輸入的圖像中初步確定人臉?biāo)诘奈恢茫⒃撐恢枚x為待測區(qū)域；B2、對人臉建模，比較待測區(qū)域的圖像與人臉建模的匹配程度，根據(jù)預(yù)先規(guī)定的匹配程度值，將達(dá)到該匹配程度值的區(qū)域確定為存在人臉圖像的區(qū)域。所述B2中通過如下方法對人臉建模利用人的知識(shí)建立若干規(guī)則，從而將人臉檢測問題轉(zhuǎn)化為假設(shè)、驗(yàn)證問題，根據(jù)對這些假設(shè)條件的答復(fù)情況來驗(yàn)證人臉圖像是否存在。所述B2中通過如下方法對人臉建模將人臉檢測視為從非人臉樣本中識(shí)別人臉樣本的模式分類問題，通過對人臉樣本集合非人臉樣本集進(jìn)行學(xué)習(xí)以產(chǎn)生分類器，從而來判斷人臉樣本或者非人臉樣本。在所述的步驟E中，首先在人臉表情識(shí)別單元內(nèi)建立表情模板庫，該表情模板庫包括可能要識(shí)別的表情模板，并且使表情模板與網(wǎng)絡(luò)互動(dòng)模塊中的表情圖釋對應(yīng)。
所述步驟E中，人臉表情識(shí)別單元獲取到表情特征提取單元確定的表情特征后，將該待測的表情特征與每個(gè)表情模板進(jìn)行匹配，并確定匹配度最高的表情模板代表待測表情。所述的步驟F中，網(wǎng)絡(luò)互動(dòng)模塊根據(jù)確定的表情模塊查找到與該表情模板對應(yīng)的表情圖釋。本發(fā)明具有如下優(yōu)點(diǎn)一、可使利用網(wǎng)絡(luò)互動(dòng)工具的用戶方便、快捷的找到與其面部表情對應(yīng)的表情圖釋。二、用戶在使用網(wǎng)路互動(dòng)工具的同時(shí)，可將自身的表情信息轉(zhuǎn)化成電子信息并且實(shí)時(shí)發(fā)送出去，娛樂性更強(qiáng)。

圖I為本發(fā)明的可識(shí)別面部表情的電腦系統(tǒng)的人臉識(shí)別系統(tǒng)的結(jié)構(gòu)框圖。圖2為本發(fā)明的電腦系統(tǒng)通過識(shí)別面部表情獲取表情圖釋的方法流程圖。
具體實(shí)施方式為進(jìn)一步闡述本發(fā)明達(dá)成預(yù)定目的所采取的技術(shù)手段及功效，以下結(jié)合附圖及實(shí)施例，對本發(fā)明的具體實(shí)施方式
，詳細(xì)說明如下。本發(fā)明涉及一種可識(shí)別面部表情的電腦系統(tǒng)，其可以對人臉圖像進(jìn)行采集，并且提取表情特征，根據(jù)該表情特征查詢到與該表情對應(yīng)的表情圖釋，并將查詢到的表情圖釋應(yīng)用到網(wǎng)絡(luò)社交工具中，例如騰訊QQ、MSN等聊天系統(tǒng)中的表情圖釋調(diào)取，使得社交工具中的表情圖釋調(diào)取更加快捷，而且娛樂性強(qiáng)。所述的電腦系統(tǒng)可以為改進(jìn)后的能夠?qū)θ四樧R(shí)別的臺(tái)式電腦、筆記本電腦、平板電腦、移動(dòng)通訊設(shè)備等。如圖I所示，為本發(fā)明的可識(shí)別面部表情的電腦系統(tǒng)的人臉識(shí)別系統(tǒng)的結(jié)構(gòu)框圖。該人臉識(shí)別系統(tǒng)包括圖像采集裝置I、表情識(shí)別模塊2及網(wǎng)絡(luò)互動(dòng)模塊3 ;所述的表情識(shí)別模塊2包括人臉檢測與定位單元20、表情特征提取單元21、人臉表情識(shí)別單元22 ;所述的網(wǎng)絡(luò)互動(dòng)模塊3內(nèi)設(shè)有表情圖釋管理單元30。所述的圖像采集裝置I與所述的表情識(shí)別模塊2進(jìn)行信息交互，所述的表情識(shí)別模塊2與所述的網(wǎng)絡(luò)互動(dòng)模塊3進(jìn)行信息交互；所述的人臉檢測與定位單元20、表情特征提取單元21及人臉表情識(shí)別單元22依次進(jìn)行信息傳輸。所述的圖像采集裝置I可以為現(xiàn)有的外置或者內(nèi)置攝像頭，用于獲取圖像，并將圖像信息轉(zhuǎn)換成電信號(hào)發(fā)送給表情識(shí)別模塊2。所述的表情識(shí)別模塊2在接收到信號(hào)后，首先由人臉檢測與定位單元20對人臉進(jìn)行檢測與定位，表情特征提取單元21再根據(jù)人臉檢測與定位的結(jié)果從人臉圖像或圖像序列中提取能夠表征輸入表情本質(zhì)的信息，并且在提取特征數(shù)據(jù)的過程中，為了避免維數(shù)危機(jī)，表情特征提取單元一般還需要對提取特征進(jìn)行降維、特征分解的操作；人臉表情識(shí)別單元22根據(jù)表情特征提取單元21分解出的表情特征，分析各特征之間的關(guān)系并將輸入的表情特征分類到相應(yīng)的表情類別中，例如人類的基本情感類別。具體地，所述的人臉檢測與定位單元20檢測人臉與定位的過程如下第一，從圖像采集裝置I中輸入的圖像中初步確定人臉?biāo)诘奈恢?，并將該位?定義為待測區(qū)域；第二，用基于知識(shí)或者統(tǒng)計(jì)的人臉檢測方法對人臉建模，比較待測區(qū)域與人臉建模的匹配程度，根據(jù)預(yù)先規(guī)定的匹配程度值，從而將達(dá)到該匹配程度值的區(qū)域確定為存在人臉的區(qū)域。所述的基于知識(shí)的人臉檢測方法是利用人的知識(shí)建立若干規(guī)則，從而將人臉檢測問題轉(zhuǎn)化為假設(shè)、驗(yàn)證問題，根據(jù)對這些假設(shè)條件的答復(fù)來驗(yàn)證人臉圖像是否存在；所述基于統(tǒng)計(jì)的人臉檢測方法包括樣本學(xué)習(xí)法、子空間方法及模板法；在本發(fā)明中主要利用的是樣本學(xué)習(xí)法，即將人臉檢測視為從非人臉樣本中識(shí)別人臉樣本的模式分類問題，通過對人臉樣本集合非人臉樣本集進(jìn)行學(xué)習(xí)以產(chǎn)生分類器，從而來判斷人臉樣本或者非人臉樣本。所述的表情特征提取單元21采用一種基于動(dòng)態(tài)圖像序列的面部表情提取方法，具體工作方法如下選擇臉部的顯著特征點(diǎn)來進(jìn)行運(yùn)行估計(jì)，為了防止在跟蹤過程中丟失特征點(diǎn)，特征點(diǎn)一般都選取在臉部的永久特征上，例如嘴巴或者眼睛。這種方法只需考慮主要的特征點(diǎn)來分析表情，而不必理會(huì)背景等無關(guān)信息，減少了運(yùn)算量。所述的人臉表情識(shí)別單元22是基于模板的匹配方法對人臉表情進(jìn)行識(shí)別的，具體地該人臉表情識(shí)別單元22預(yù)先建立一個(gè)表情模板庫，包括可能要識(shí)別的表情模板，該表情模板與所述的網(wǎng)絡(luò)互動(dòng)模塊3中的表情圖釋管理單元30中的表情圖釋是一一對應(yīng)的；當(dāng)人臉表情識(shí)別單兀22獲取到表情特征提取單兀確定的表情特征后，將該待測的表情特征與每個(gè)表情模板進(jìn)行匹配，匹配度越高則表明待測表情與某個(gè)表情模塊所代表的表情越相似，并確定該匹配度最高的表情模板代表待測表情。所述的網(wǎng)絡(luò)互動(dòng)模塊3為改進(jìn)后的網(wǎng)絡(luò)社交工具，其內(nèi)的表情圖釋管理單元內(nèi)存有代表不同面部表情的表情圖釋，其能夠根據(jù)所述的人臉表情識(shí)別單元22確認(rèn)的待測表情選取對應(yīng)的表情圖釋。例如，待測表情為微笑，則人臉表情識(shí)別單元根據(jù)匹配度，選取匹配度最高的表情模板來代表待測表情，并將該表情模板發(fā)送給網(wǎng)絡(luò)互動(dòng)模塊3，由網(wǎng)絡(luò)互動(dòng)模塊3的表情圖釋管理單元根據(jù)該表情模板查找到對應(yīng)的表情圖釋并顯示。如圖2所示，為本發(fā)明的電腦系統(tǒng)通過識(shí)別面部表情獲取表情圖釋的方法流程圖，具體步驟如下Μ、圖像采集裝置獲取外界的圖像信息；N、表情識(shí)別模塊的人臉檢測與定位單元檢測該圖像信息中是否包括人臉圖像，如果包括則繼續(xù)步驟C，如果不包括人臉圖像則繼續(xù)等待接收圖像信息；O、進(jìn)一步判斷該圖像信息中人臉圖像所在位置，將人臉圖像發(fā)送給表情特征提取單元；P、表情特征提取單元從人臉圖像或者圖像序列中提取能夠表征輸入表情特征的本質(zhì)信息；Q、人臉表情識(shí)別單元分析各特征之間的關(guān)系，確定待測表情類別，例如微笑、哭泣、傷心等； R、網(wǎng)絡(luò)互動(dòng)模塊的表情圖釋管理單元根據(jù)確定的待測表情，查找到對應(yīng)的表情。本發(fā)明的表情識(shí)別系統(tǒng)不僅可用在網(wǎng)絡(luò)社交工具中選擇對應(yīng)的表情圖釋，也可用于管理電腦文件的安全，例如對于保密性高的文件，用戶可以選擇表情識(shí)別的方法進(jìn)行驗(yàn)證，通過表情識(shí)別系統(tǒng)預(yù)先記憶用戶設(shè)定的人臉表情，然后通過對人臉識(shí)別與人臉表情的驗(yàn)證，共同來確定用戶的身份，具有更高的安全性。用戶還可將該人類表情識(shí)別系統(tǒng)設(shè)定成電腦的開機(jī)認(rèn)證。以上僅對本發(fā)明的實(shí)施例加以描述，但并非用以限制本發(fā)明，依本發(fā)明精神所做出的各種變化或修飾，都在本發(fā)明的權(quán)利要求的保護(hù)范疇之內(nèi)。
權(quán)利要求
1.一種通過面部表情調(diào)取表情圖釋的方法，其特征在于該方法包括以下步驟 A、圖像采集裝置獲取外界的圖像信息； B、表情識(shí)別模塊的人臉檢測與定位單元檢測該圖像信息中是否包括人臉圖像，如果包括則繼續(xù)步驟C，如果不包括人臉圖像則繼續(xù)等待接收圖像信息； C、進(jìn)一步判斷該圖像信息中人臉圖像所在位置，將人臉圖像發(fā)送給表情特征提取單元; D、表情特征提取單元從人臉圖像或者圖像序列中提取能夠表征輸入表情特征的本質(zhì)信息； E、人臉表情識(shí)別單元分析各特征之間的關(guān)系，確定待測表情類別，例如微笑、哭泣、傷心等; F、網(wǎng)絡(luò)互動(dòng)模塊的表情圖釋管理單元根據(jù)確定的待測表情，查找到對應(yīng)的表情。
2.如權(quán)利要求I所述的通過面部表情調(diào)取表情圖釋的方法，其特征在于所述的步驟B中人臉檢測過程如下 BI、從圖像采集裝置I中輸入的圖像中初步確定人臉?biāo)诘奈恢茫⒃撐恢枚x為待測區(qū)域； B2、對人臉建模，比較待測區(qū)域的圖像與人臉建模的匹配程度，根據(jù)預(yù)先規(guī)定的匹配程度值，將達(dá)到該匹配程度值的區(qū)域確定為存在人臉圖像的區(qū)域。
3.如權(quán)利要求2所述的通過面部表情調(diào)取表情圖釋的方法，其特征在于所述B2中通過如下方法對人臉建模 利用人的知識(shí)建立若干規(guī)則，從而將人臉檢測問題轉(zhuǎn)化為假設(shè)、驗(yàn)證問題，根據(jù)對這些假設(shè)條件的答復(fù)情況來驗(yàn)證人臉圖像是否存在。
4.如權(quán)利要求2所述的通過面部表情調(diào)取表情圖釋的方法，其特征在于所述B2中通過如下方法對人臉建模 將人臉檢測視為從非人臉樣本中識(shí)別人臉樣本的模式分類問題，通過對人臉樣本集合非人臉樣本集進(jìn)行學(xué)習(xí)以產(chǎn)生分類器，從而來判斷人臉樣本或者非人臉樣本。
5.如權(quán)利要求I所述的通過面部表情調(diào)取表情圖釋的方法，其特征在于在所述的步驟E中，首先在人臉表情識(shí)別單元內(nèi)建立表情模板庫，該表情模板庫包括可能要識(shí)別的表情模板，并且使表情模板與網(wǎng)絡(luò)互動(dòng)模塊中的表情圖釋一一對應(yīng)。
6.如權(quán)利要求5所述的通過面部表情調(diào)取表情圖釋的方法，其特征在于所述步驟E中，人臉表情識(shí)別單元獲取到表情特征提取單元確定的表情特征后，將該待測的表情特征與每個(gè)表情模板進(jìn)行匹配，并確定匹配度最高的表情模板代表待測表情。
7.如權(quán)利要求6所述的通過面部表情調(diào)取表情圖釋的方法，其特征在于所述的步驟F中，網(wǎng)絡(luò)互動(dòng)模塊根據(jù)確定的表情模塊查找到與該表情模板對應(yīng)的表情圖釋。
全文摘要
本發(fā)明涉及一種通過面部表情調(diào)取表情圖釋的方法，該方法涉及到圖像采集裝置、與圖像采集裝置進(jìn)行信息交互的表情識(shí)別模塊、與表情識(shí)別模塊進(jìn)行信息交互的網(wǎng)絡(luò)互動(dòng)模塊；所述的網(wǎng)絡(luò)互動(dòng)模塊可管理代表不同面部表情的表情圖釋；所述的圖像采集裝置將圖像信息轉(zhuǎn)換成電信號(hào)發(fā)送給表情識(shí)別模塊，表情識(shí)別模塊根據(jù)圖像信息識(shí)別出待測表情，網(wǎng)絡(luò)互動(dòng)模塊根據(jù)該待測表情查找到對應(yīng)的表情圖釋并將其顯示。用戶通過本發(fā)明的技術(shù)方案，能夠快速、便捷的發(fā)出網(wǎng)絡(luò)互動(dòng)工具中的表情圖釋，特別地對于一些電腦娛樂愛好者，娛樂性更強(qiáng)。
文檔編號(hào)G06K9/00GK102890776SQ20111020497
公開日2013年1月23日 申請日期2011年7月21日 優(yōu)先權(quán)日2011年7月21日
發(fā)明者富路, 謝燦豪 申請人:愛國者電子科技(天津)有限公司