眼睛開閉狀態(tài)檢測裝置和方法
【技術(shù)領(lǐng)域】
[0001] 本申請涉及一種眼睛開閉狀態(tài)檢測裝置和方法。更具體地講，涉及一種通過確定 檢測眼睛開閉狀態(tài)來檢測眨眼的檢測裝置和方法。
【背景技術(shù)】
[0002] 眼睛是人類獲取外部世界信息的主要窗口，它接受的信息占到大腦接受全部信息 的80 %~90 %。人眼視線跟蹤技術(shù)的研究在認(rèn)知科學(xué)、心理學(xué)、人機交互等領(lǐng)域意義深遠(yuǎn)。
[0003] 眨眼檢測技術(shù)是指通過對人眼運動過程中一些特性的圖像檢測，估計目前眼睛處 于閉眼還是睜開的狀態(tài)，以及眼睛睜開的程度。隨著視頻處理與視頻監(jiān)控技術(shù)的普及發(fā)展， 眨眼檢測成為眼睛圖像分析過程中不可缺少的重要部分。例如，在視線估計系統(tǒng)中，需要實 時對眼睛圖像進(jìn)行眨眼檢測，過濾掉閉眼和微睜的圖像，避免視線估計焦點出現(xiàn)較大噪聲 和波動；在駕駛監(jiān)控中，對司機進(jìn)行眨眼檢測以及眨眼頻率統(tǒng)計分析，對疲勞駕駛情況及時 報警；在人機交互過程中，通過眨眼完成觸發(fā)事件，實現(xiàn)更加簡易人性化的交互體驗。
[0004] 目前基于視覺的眨眼檢測方法主要分為：
[0005] 1)模板匹配法：選擇正常睜開的眼睛圖像的原始圖像信息或者提取的邊緣等特 征作為模板，和其他視頻幀匹配并計算相關(guān)性。睜開狀態(tài)的眼睛圖像相關(guān)性高，閉眼狀態(tài)的 相關(guān)性比較低，因此可通過設(shè)置閾值將眼睛狀態(tài)分為睜眼狀態(tài)、閉眼狀態(tài)和中間狀態(tài)。然 而，該方法缺點在于需要手動選取正常睜開的眼睛圖像。
[0006] 2)眼皮檢測法：通過輔助光源或者在自然光下利用上下眼皮區(qū)域圖像灰度均勻 的特性，以及眨眼過程中眼皮上下運動等特征直接檢測上下眼皮，根據(jù)上下眼皮邊緣的距 離判斷眼睛閉眼程度。在該方法中，輔助光源的利用會對使用場景產(chǎn)生限制，另一方面，由 于眼皮的分割定位比較困難，通常需要在序列幀圖像中統(tǒng)計上下運動的區(qū)域最終確定眼 皮，造成計算復(fù)雜度增加。
[0007] 因此，需要一種能夠準(zhǔn)確且快速地確定眼睛開閉狀態(tài)的裝置及方法。

【發(fā)明內(nèi)容】

[0008] 另外的方面和/或優(yōu)點將在以下描述中被部分闡述，還有部分從描述中將是清楚 的，或者可通過本發(fā)明的實施而被獲知。
[0009] 根據(jù)本發(fā)明的一方面，提供了一種眼睛開閉狀態(tài)檢測裝置，包括：眼部區(qū)域檢測單 元，從目標(biāo)圖像中檢測包含眼睛的眼部區(qū)域；眼睛分割單元，對檢測到的眼部區(qū)域進(jìn)行分 害I]，以提取眼睛圖像；狀態(tài)確定單元，基于眼睛圖像中的灰度變化來確定眼睛是處于睜開狀 態(tài)還是閉眼狀態(tài)。
[0010] 所述眼部區(qū)域可以是包含眼睛的矩形區(qū)域。
[0011] 當(dāng)確定所述矩形眼部區(qū)域中的眼睛相對于所述矩形眼部區(qū)域處于非水平狀態(tài)時， 眼部區(qū)域檢測單元可基于眼睛傾斜的角度旋轉(zhuǎn)目標(biāo)圖像，并可從旋轉(zhuǎn)后的目標(biāo)圖像再次檢 測包含眼睛的眼部區(qū)域。
[0012] 當(dāng)確定所述矩形眼部區(qū)域中的眼睛相對于所述矩形眼部區(qū)域處于非水平狀態(tài)時， 眼部區(qū)域檢測單元可對所述矩形眼部區(qū)域進(jìn)行校正，使得經(jīng)過校正的矩形眼部區(qū)域中的眼 睛相對于校正后的矩形眼部區(qū)域處于水平狀態(tài)。
[0013] 可使用機器學(xué)習(xí)算法來訓(xùn)練所述眼部區(qū)域檢測單元，使得當(dāng)眼部區(qū)域檢測單元對 目標(biāo)圖像進(jìn)行處理時，可從目標(biāo)圖像中檢測出眼部區(qū)域。
[0014] 所述眼睛分割單元可通過使用高斯膚色模型來確定眼部區(qū)域中的每個像素點是 否屬于皮膚區(qū)域，并可將眼部區(qū)域中皮膚區(qū)域以外區(qū)域的圖像提取為眼睛圖像。
[0015] 可從眼部區(qū)域的四個角點位置中的至少一個位置選擇預(yù)定大小的區(qū)域作為高斯 膚色模型的皮膚樣本來訓(xùn)練高斯膚色模型。
[0016] 可從所述眼部區(qū)域的上部或下部選擇預(yù)定大小的區(qū)域作為高斯膚色模型的皮膚 樣本來訓(xùn)練高斯膚色模型。
[0017] 所述狀態(tài)確定單元可通過檢測眼睛圖像中的所有像素的灰度值的分布來確定眼 睛是處于睜開狀態(tài)還是閉眼狀態(tài)。
[0018] 所述狀態(tài)確定單元可計算眼睛圖像的所有像素的灰度值的均方差，當(dāng)計算的均方 差大于或等于預(yù)設(shè)閾值時，所述狀態(tài)確定單元確定眼睛處于睜開狀態(tài)，當(dāng)計算的均方差小 于所述預(yù)設(shè)閾值時，所述狀態(tài)確定單元確定眼睛處于閉眼狀態(tài)。
[0019] 所述狀態(tài)確定單元可對眼睛圖像進(jìn)行水平軸投影，計算眼睛圖像中沿與眼睛垂直 的方向上的每列像素的列平均灰度以形成列平均灰度曲線，并基于形成的列平均灰度曲線 的變化程度確定眼睛是處于睜開狀態(tài)還是閉眼狀態(tài)。
[0020] 當(dāng)所述列平均灰度曲線的變化程度超過預(yù)定閾值時，所述狀態(tài)確定單元可確定眼 睛處于睜開狀態(tài)，當(dāng)所述列平均灰度曲線的變化程度低于所述預(yù)定閾值時，所述狀態(tài)確定 單元可確定眼睛處于閉眼狀態(tài)。
[0021] 所述狀態(tài)確定單元還可將列平均灰度曲線的平均灰度行向量與邊緣檢測模板函 數(shù)進(jìn)行卷積，并基于卷積獲得的曲線確定眼睛是處于睜開狀態(tài)還是閉眼狀態(tài)。當(dāng)所述卷 積曲線中的波峰和波谷的振幅超過預(yù)定幅度時，所述狀態(tài)確定單元可確定眼睛處于睜開狀 態(tài)；當(dāng)所述卷積曲線中的波峰和波谷的振幅低于所述預(yù)定幅度時，所述狀態(tài)確定單元可確 定眼睛處于閉眼狀態(tài)。
[0022] 根據(jù)本發(fā)明的另一個方面，提供了一種眼睛開閉狀態(tài)檢測方法，包括：從目標(biāo)圖像 中檢測包含眼睛的眼部區(qū)域；對檢測到的眼部區(qū)域進(jìn)行分割，以提取眼睛圖像；基于眼睛 圖像中的灰度變化來確定眼睛是處于睜開狀態(tài)還是閉眼狀態(tài)。
[0023] 所述眼部區(qū)域可以是包含眼睛的矩形區(qū)域。
[0024] 檢測眼部區(qū)域的步驟還可包括：當(dāng)確定所述矩形眼部區(qū)域中的眼睛相對于所述矩 形眼部區(qū)域處于非水平狀態(tài)時，基于眼睛傾斜的角度旋轉(zhuǎn)目標(biāo)圖像，并從旋轉(zhuǎn)后的目標(biāo)圖 像再次檢測包含眼睛的眼部區(qū)域。
[0025] 檢測眼部區(qū)域的步驟還可包括：當(dāng)確定所述矩形眼部區(qū)域中的眼睛相對于所述矩 形眼部區(qū)域處于非水平狀態(tài)時，對所述矩形眼部區(qū)域進(jìn)行校正，使得經(jīng)過校正的矩形眼部 區(qū)域中的眼睛相對于所述矩形眼部區(qū)域處于水平狀態(tài)。
[0026] 檢測眼部區(qū)域的步驟可使用機器學(xué)習(xí)算法來從目標(biāo)圖像中檢測眼部區(qū)域。
[0027] 提取眼睛圖像的步驟可通過使用高斯膚色模型來確定眼部區(qū)域中的每個像素點 是否屬于皮膚區(qū)域，并將眼部區(qū)域中皮膚區(qū)域以外區(qū)域的圖像提取為眼睛圖像。
[0028] 可從所述眼部區(qū)域的四個角點位置中的至少一個位置選擇預(yù)定大小的區(qū)域作為 高斯膚色模型的皮膚樣本來訓(xùn)練高斯膚色模型。
[0029] 可從所述眼部區(qū)域的上部或下部選擇預(yù)定大小的區(qū)域作為高斯膚色模型的皮膚 樣本來訓(xùn)練高斯膚色模型。
[0030] 確定眼睛是處于睜開狀態(tài)還是閉眼狀態(tài)的步驟可包括：通過檢測眼睛圖像中的所 有像素的灰度值的分布來確定眼睛是處于睜開狀態(tài)還是閉眼狀態(tài)。
[0031] 確定眼睛是處于睜開狀態(tài)還是閉眼狀態(tài)的步驟可包括：計算眼睛圖像的所有像素 的灰度值的均方差，當(dāng)計算的均方差大于或等于預(yù)設(shè)閾值時，確定眼睛處于睜開狀態(tài)，當(dāng)計 算的均方差小于所述預(yù)設(shè)閾值時，確定眼睛處于閉眼狀態(tài)。
[0032] 確定眼睛是處于睜開狀態(tài)還是閉眼狀態(tài)的步驟可包括：對眼睛圖像進(jìn)行水平軸投 影，計算眼睛圖像中沿與眼睛垂直的方向上的每列像素的列平均灰度以形成列平均灰度曲 線，并基于形成的列平均灰度曲線的變化程度確定眼睛是處于睜開狀態(tài)還是閉眼狀態(tài)。
[0033] 當(dāng)所述列平均灰度曲線的變化程度超過預(yù)定閾值時，可確定眼睛處于睜開狀態(tài)， 當(dāng)所述列平均灰度曲線的變化程度低于所述預(yù)定閾值時，可確定眼睛處于閉眼狀態(tài)。
[0034] 確定眼睛狀態(tài)的步驟還可將列平均灰度曲線的平均灰度行向量與邊緣檢測模板 函數(shù)進(jìn)行卷積，并基于卷積獲得的曲線確定眼睛是處于睜開狀態(tài)還是閉眼狀態(tài)。當(dāng)所述卷 積曲線中的波峰和波谷的振幅超過預(yù)定幅度時，可確定眼睛處于睜開狀態(tài)；當(dāng)所述卷積曲 線中的波峰和波谷的振幅低于所述預(yù)定幅度時，可確定眼睛處于閉眼狀態(tài)。
[0035] 有益效果
[0036] 基于本發(fā)明的眼睛開閉狀態(tài)檢測裝置和方法，不需要人工選定睜眼模板來確定眼 睛的開閉狀態(tài)，也避免了現(xiàn)有技術(shù)中確定眼睛開閉狀態(tài)時眼皮分割的困難，因此能夠準(zhǔn)確 且快速地確定眼睛開閉狀態(tài)，尤其適合于單幀圖像檢測
【附圖說明】
[0037] 通過下面結(jié)合附圖對示例性實施例進(jìn)行的詳細(xì)描述，本發(fā)明的上述和其他目的和 特點將會變得更加清楚，其中：
[0038] 圖1是示出根據(jù)本發(fā)明的示例性實施例的眼睛開閉狀態(tài)檢測裝置的配置的框圖；
[0039] 圖2是示出根據(jù)本發(fā)明的示例性實施例的眼睛分割單元提取眼睛圖像的構(gòu)思的 不意圖；
[0040] 圖3是示出根據(jù)本發(fā)明的示例性實施例的眼部區(qū)域調(diào)整單元的調(diào)整眼部區(qū)域的 不意圖；
[0041] 圖4是示出根據(jù)本發(fā)明的示例性實施例的狀態(tài)確定單元確定眼睛開閉狀態(tài)的示 意性示圖；
[0042] 圖5是示出使用根據(jù)本發(fā)明的實施例的檢測眼睛開/閉狀態(tài)的仿真結(jié)果圖。
[0043] 圖6是示出根據(jù)本發(fā)明的另一示例性實施例的狀態(tài)確定單元確定眼睛開/閉狀態(tài) 的示意性示圖。
[0044] 圖7是示出根