基于圖像異構計算的人臉動作實時捕捉方法
【技術領域】
[0001] 本發(fā)明屬于機器視覺技術領域，涉及嵌入式異構計算，基于模型的實時圖像處理 以及人臉結構特征檢測、模式識別方法。
【背景技術】
[0002] 目前有多家公司的技術涉及到人臉識別，甚至提供商業(yè)化的識別終端，進行身份 與人臉的相互匹配。人臉識別技術在少量樣本的前提條件下表現得不錯，但在大樣本下面 則表現一般，所以身份識別通常情況下還是指紋識別以及虹膜識別，而在人臉特征檢測較 為精準的前提條件下，才會涉及到臉部動作的檢測。
[0003] 在人臉檢測技術中，現有技術往往包含以下幾點明顯缺陷：
[0004] A.姿態(tài)問題是人臉識別研宄中需要解決的一個技術難點。針對姿態(tài)的研宄相對比 較少，多數的人臉識別算法主要是針對正面，或接近正面的人臉圖像，當發(fā)生俯仰或者左右 側而比較厲害的情況下，人臉識別算法的識別率也將會急劇下降。
[0005] B.運算量巨大。主流的人臉識別算法傾向于模式識別的機器學習。不僅缺少樣本 進行學習，而且人臉模板的擬合速度較慢。
[0006] C.人臉圖像的來源可能多種多樣，由于采集設備的不同，得到的人臉圖像質量也 不同，特別是對于那些低分辨率、噪聲大、質量差的人臉圖像如何進行有效的人臉識別是 個需要關注的問題。
[0007] D.基于統(tǒng)計學習的人臉識別算法是人臉識別領域中的主流算法，但是統(tǒng)計學習方 法需要大量的培訓。由于人臉圖像在高維空間中的分布是一個不規(guī)則的流行分布，能得到 的樣本只是對人臉圖像空間中的一個極小部分的采樣，如何解決小樣本下的統(tǒng)計學習問題 有待進一步的研宄。
[0008] E.隨著人臉數據庫規(guī)模的增長，人臉算法的性能將呈現下降態(tài)勢。對于建立在人 臉識別之上的表情識別，現有技術則面臨更多的挑戰(zhàn)。首先需要注意的是運算量大的問題。 如果說運算速度慢在人臉身份匹配的時候無傷大雅，那么在臉部動作識別的過程中則會造 成嚴重的后果。

【發(fā)明內容】

[0009] 考慮到機器視覺越來越廣泛的應用，本發(fā)明的目的在于提供一種人臉動作實時捕 捉方法，新的解決人臉動作動態(tài)的方案。
[0010] 為實現上述目的，本發(fā)明采用如下技術方案：
[0011] 一種基于圖像異構計算的人臉動作實時捕捉方法，對檢索人臉的算法進行局部降 維處理，對一維信號處理，盡最大可能降低運算量；在更低的畫質下面試圖找到足夠多的信 息；試圖舍棄樣本訓練；在最短的時間內給出動作判斷。
[0012] 進一步，應用場景是人臉與移動端面對面，設定人臉占據全部圖片的主要部分；通 過人體皮膚色域的某種變化來完成人臉檢測；
[0013]關于原始的HSV轉化的部分：
[0014] 首先將色調偏冷的部分舍去；
[0015] 將顏色中個分量較為相等的部分去掉；
[0016] 將所有的H值歸一化，并且將所有暖色系的H值映射1到附近。
[0017] 關于穩(wěn)定峰值的提取，采用降維的方式來解決。
[0018] 所述降維的方式是將所有像素點映射到一行橫向像素點和一列縱向像素點，對一 維的數據集合進行劃分。
[0019] 在所得的色域圖的特征選取一定的閾值，大于這個閾值為可能的人臉區(qū)域，反之 則為背景；閾值的選擇具有自主性，可以隨著環(huán)境的變化而變化。
[0020] 對于暖色調的背景通過直方圖分析選擇合適的劃分點，優(yōu)選取值為0. 8。
[0021] 對于大于閾值的部分置1，其他部分置0,分別按行和按列求和；
[0022] 按行求和，最大值為人臉的最大寬度，給出了人臉寬度的上限；
[0023] 按列求和，最大值為人臉的最大高度，給出了人臉高度的上限；
[0024] 人為給定人臉大小最小值，當小于最小值的時候作為檢測失敗；
[0025] 仍然給定一個閾值；
[0026] 設置狀態(tài)機。
[0027] 當人臉在轉動之后，對人臉進行區(qū)域化劃分，然后再進行降維；
[0028] 優(yōu)選的：首先選取的判定區(qū)域相較于人臉區(qū)域要??；而左右半臉的劃分具有重疊 性以使得對人臉扭轉時仍然有效；剔除最上面以及最下面部分以減少背景以及額頭的影 響；優(yōu)選的，首先分別對左右半臉處理，試圖將眉毛的上下沿，眼睛的上下沿進行標定。
[0029] 降維的映射關系定義為給定閾值對像素點進行某一方向求和平滑所得；
[0030] 優(yōu)選的，步驟如下：
[0031] (1)給出合理閾值；優(yōu)選的，通過直方圖分析給出閾值；
[0032] (2)對檢測區(qū)域按照閾值進行二值化；
[0033] (3)對二值化后的矩陣進行橫向相加，得到縱向一維數據；
[0034] (4)按照上文的峰值狀態(tài)機將明顯的兩個峰值取出來。
[0035] 檢測出眼球以及眼睛的方法包括：
[0036] (1)按照給出的眼睛上下閾值以及皮膚特征量，剔除背景邊緣，劃定眼睛區(qū)域；
[0037] (2)在眼睛區(qū)域內部對眼球進行定位；
[0038] 優(yōu)選的，為了從時域上判斷動作的變化而不是從靜圖中得到動作信息，本文以幀 為處理單位，將這一幀及之前的29幀作為動作時域判斷單元。
[0039] 由于采用上述方案，本發(fā)明的有益效果是：
[0040] 發(fā)明的效果明顯，在主頻1. 33G的雙核雙線程的處理器上運行可以跑滿30fps，普 通的攝像頭的幀率一般也在30fps左右，所占用的系統(tǒng)資源較少，仍剩余較多的處理性能。 處理結果迅速并且較準確。
[0041] 本發(fā)明在復雜背景以及復雜光照下面表現一定的穩(wěn)定性，但仍然對強偏光照有較 強的敏感性，在特定的頭部旋轉（包含左右轉以及上下點頭），發(fā)明呈現了較好的穩(wěn)定性以 及魯棒性。在特定動作下如閉上單只眼睛會導致眼睛所在區(qū)域檢測異常，但這一異常卻可 以較好地反映進行了某一項特殊的動作。
【附圖說明】
[0042] 圖1為本發(fā)明實施例攝像頭捕捉的640*480的YUV幀的原始圖像。
[0043] 圖2為對圖1所示圖像預處理，色域轉換之后提取人臉的高度圖。
[0044] 圖3為對人臉區(qū)域去噪，增強，二值化后的二值特征圖像。
[0045] 圖4為對二值圖像進行橫向映射之后得到的曲線圖。
[0046] 圖5為按照人臉二值化得到的最初人臉五官劃分中間結果圖之一。
[0047] 圖6為按照人臉二值化得到的最初人臉五官劃分中間結果圖之二。
[0048] 圖7為按照人臉二值化得到的最初人臉五官劃分中間結果圖之三。
[0049] 圖8為按照人臉二值化得到的最初人臉五官劃分中間結果圖之四。
[0050] 圖9為按照人臉二值化得到的最初人臉五官劃分中間結果圖之五。
[0051] 圖10為按照人臉二值化得到的最初人臉五官劃分中間結果圖之六。
[0052] 圖11為真實檢測結果效果圖之一。
[0053] 圖12為真實檢測結果效果圖之二。
[0054] 圖13為真實檢測結果效果圖之三。
[0055] 圖14為真實檢測結果效果圖之四。
[0056] 圖15為真實檢測結果效果圖之五。
[0057] 圖16為真實檢測結果效果圖之六。
[0058] 圖17為檢測過程中的區(qū)域劃分標準圖
[0059] 圖18為流程圖1 :降維峰值檢測判斷識別的狀態(tài)轉移圖。
[0060] 圖19為流程圖2 :對于檢測到的人臉特征提取表情的過程。
[0061] 圖20為流程圖3 :整個表情檢測過程的流程圖。
【具體實施方式】
[0062] 以下結合附圖所示實施例對本發(fā)明作進一步的說明。
[0063] 具體的，涉及技術細節(jié)的，這里將分條陳述。
[0064] 1、運算量極小。本發(fā)明基于信號處理模型，而非模板匹配。適用于人臉占據屏幕 主要部分的檢測。對于普通攝像頭以及手持設備有較好的應用效果。首先是在自定義色域 下將人臉區(qū)域檢測出來：
【主權項】
1. 一種基于圖像異構計算的人臉動作實時捕捉方法，其特征在于：對檢索人臉的算法 進行局部降維處理，對一維信號處理，盡最大可能降低運算量；在更低的畫質下面試圖找到 足夠多的信息；試圖舍棄樣本訓練；在最短的時間內給出動作判斷。
2. 根據權利要求1所述的方法，其特征在于：應用場景是人臉與移動端面對面，設定人 臉占據全部圖片的主要部分；通過人體皮膚色域的某種變化來完成人臉檢測； 關于原始的HSV轉化的部分： 首先將色調偏冷的部分舍去； 將顏色中個分量較為相等的部分去掉； 將所有的H值歸一化，并且將所有暖色系的H值映射1到附近。
3. 根據權利要求1所述的方法，其特征在于：關于穩(wěn)定峰值的提取，采用降維的方式來 解決。
4. 根據權利要求3所述的方法，其特征在于：所述降維的方式是將所有像素點映射到 一行橫向像素點和一列縱向像素點，對一維的數據集合進行劃分。
5. 根據權利要求1所述的方法，其特征在于：在所得的色域圖的特征選取一定的閾值， 大于這個閾值為可能的人臉區(qū)域，反之則為背景；閾值的選擇具有自主性，可以隨著環(huán)境的 變化而變化。
6. 根據權利要求5所述的方法，其特征在于： 對于暖色調的背景通過直方圖分析選擇合適的劃分點，優(yōu)選取值為0. 8。
7. 根據權利要求5所述的方法，其特征在于： 對于大于閾值的部分置1，其他部分置〇,分別按行和按列求和； 按行求和，最大值為人臉的最大寬度，給出了人臉寬度的上限； 按列求和，最大值為人臉的最大高度，給出了人臉高度的上限； 人為給定人臉大小最小值，當小于最小值的時候作為檢測失??； 仍然給定一個閾值； 設置狀態(tài)機。
8. 根據權利要求1所述的方法，其特征在于：當人臉在轉動之后，對人臉進行區(qū)域化劃 分，然后再進行降維； 優(yōu)選的：首先選取的判定區(qū)域相較于人臉區(qū)域要??；而左右半臉的劃分具有重疊性以 使得對人臉扭轉時仍然有效；剔除最上面以及最下面部分以減少背景以及額頭的影響；優(yōu) 選的，首先分別對左右半臉處理，試圖將眉毛的上下沿，眼睛的上下沿進行標定。
9. 根據權利要求1所述的方法，其特征在于：降維的映射關系定義為給定閾值對像素 點進行某一方向求和平滑所得； 優(yōu)選的，步驟如下： (1) 給出合理閾值；優(yōu)選的，通過直方圖分析給出閾值； (2) 對檢測區(qū)域按照閾值進行二值化； (3) 對二值化后的矩陣進行橫向相加，得到縱向一維數據； (4) 按照上文的峰值狀態(tài)機將明顯的兩個峰值取出來。
10. 根據權利要求9所述的方法，其特征在于：檢測出眼球以及眼睛的方法包括： (1)按照給出的眼睛上下閾值以及皮膚特征量，剔除背景邊緣，劃定眼睛區(qū)域； (2)在眼睛區(qū)域內部對眼球進行定位； 優(yōu)選的，為了從時域上判斷動作的變化而不是從靜圖中得到動作信息，本文以幀為處 理單位，將這一幀及之前的29幀作為動作時域判斷單元。
【專利摘要】一種基于圖像異構計算的人臉動作實時捕捉方法，對檢索人臉的算法進行局部降維處理，對一維信號處理，盡最大可能降低運算量；在更低的畫質下面試圖找到足夠多的信息；試圖舍棄樣本訓練；在最短的時間內給出動作判斷。本發(fā)明所占用的系統(tǒng)資源較少，處理結果迅速并且較準確。本發(fā)明在復雜背景以及復雜光照下面表現一定的穩(wěn)定性，但仍然對強偏光照有較強的敏感性，在特定的頭部旋轉(包含左右轉以及上下點頭)狀態(tài)下，本發(fā)明仍然呈現出較好的穩(wěn)定性以及魯棒性。
【IPC分類】G06K9-00
【公開號】CN104809432
【申請?zhí)枴緾N201510185940
【發(fā)明人】干子軒, 施文華, 蔣磊
【申請人】同濟大學
【公開日】2015年7月29日
【申請日】2015年4月17日