一種基于圖割模型的人眼狀態(tài)識別方法
【專利摘要】本發(fā)明公開了一種基于圖割模型的圖像前景提取方法，用來精確分割出圖像中的人眼區(qū)域，屬于基于機(jī)器視覺的圖像識別領(lǐng)域，其適用于司機(jī)駕駛疲勞狀態(tài)的自動(dòng)檢測。本發(fā)明解決了當(dāng)前檢測系統(tǒng)在復(fù)雜行車環(huán)境下不能準(zhǔn)確識別人眼開閉狀態(tài)的問題。這個(gè)方法首先在原始圖像上建立一個(gè)圖割模型，然后基于分割目標(biāo)構(gòu)造出圖割模型的能量函數(shù)，最后使用最大流最小割方法求解該函數(shù)，得到最終的分割結(jié)果。這種分割算法構(gòu)造一個(gè)背景為白色，而只有眼睛區(qū)域?yàn)楹谏亩祷瘓D像，為后續(xù)的人眼狀態(tài)識別提供穩(wěn)定的特征表述。實(shí)驗(yàn)證明了這個(gè)提取方法的有效性。本發(fā)明可廣泛應(yīng)用于火車、長途客車和“三危”車輛司機(jī)的疲勞狀態(tài)自動(dòng)檢測。
【專利說明】一種基于圖割模型的人眼狀態(tài)識別方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種基于機(jī)器視覺的圖像識別領(lǐng)域，尤其涉及一種基于圖割模型的人 眼狀態(tài)識別方法，特別是監(jiān)控視頻中人眼狀態(tài)(睜/閉)的自動(dòng)檢測方法，其適用于各型機(jī)動(dòng) 車輛的司機(jī)駕駛過程中疲勞狀態(tài)的離線式、自動(dòng)識別。

【背景技術(shù)】
[0002] 疲勞駕駛嚴(yán)重影響駕駛員的警覺性、應(yīng)變性及安全駕駛能力。根據(jù)交通事故統(tǒng)計(jì)： 全世界范圍內(nèi)，超過30%的公路交通事故與駕駛疲勞有關(guān)，而在中國超過40 %的重大交通 事故直接或間接是由疲勞駕駛所引發(fā)。因此，許多國家和專業(yè)部門都在積極開展有關(guān)駕駛 疲勞的研究工作。駕駛?cè)似跔顟B(tài)的檢測方法可大致分為基于駕駛?cè)松硇盘?、基于駕駛 人生理反應(yīng)特征、基于駕駛?cè)瞬僮餍袨楹突谲囕v狀態(tài)信息的檢測方法。大量實(shí)驗(yàn)證明基 于生理反應(yīng)特征的PERCL0S檢測方法是準(zhǔn)確率最高的檢測方法，也是被美國公路交通安全 局（NHTSA)惟一認(rèn)可的疲勞駕駛檢測方法。
[0003] 基于PERCL0S系數(shù)的疲勞檢測方法是通過檢測監(jiān)控視頻中人眼狀態(tài)(開或閉)，來 判斷駕駛員疲勞程度的方法。行車環(huán)境中由于受到光照變化和攝像頭抖動(dòng)等因素的影響， 從視頻中提取的眼睛區(qū)域圖像質(zhì)量一般較差，這些影響都會(huì)使得前景目標(biāo)(人眼）難以從這 些復(fù)雜背景中提取，更增加了精確定位的難度。因此，從眼睛區(qū)域圖像中，如何將眼睛像素 和背景區(qū)域精確分割開，是基于PERCL0S檢測方法最關(guān)鍵的步驟，也是決定該檢測方法成 敗的關(guān)鍵因素。
[0004] 現(xiàn)有的眼睛檢測方法要可分為三類：基于模板的方法、基于外形的方法和基于特 征的方法。基于模板的方法需要設(shè)計(jì)一個(gè)基于眼睛形狀的通用模板，然后使用模板匹配搜 索感興趣區(qū)域中眼睛的位置?；谕庑蔚姆椒ɡ醚劬Φ膸缀涡螤钸M(jìn)行眼睛檢測，一般使 用神經(jīng)網(wǎng)絡(luò)或SVM等統(tǒng)計(jì)分類器對數(shù)據(jù)實(shí)現(xiàn)分類?；谔卣鞣治龅姆椒ㄌ崛⊙劬Φ囊恍┨?征作為識別眼睛的基礎(chǔ)，這些特征可包括顏色特征、眼瞼形狀、瞳孔密度、灰度分布特征、虹 膜邊緣特征、眼睛角點(diǎn)特征等。
[0005] 現(xiàn)有眼睛檢測方法存在以下不足： (a) 基于模板的方法中通用模板的選取是一個(gè)難點(diǎn)，不同人的眼睛大小形狀都不一 樣，而且采用模板匹配的方法需要全圖搜索匹配，速度相對較慢，難以滿足實(shí)時(shí)檢測的要 求； (b) 基于外形的方法需要采集大量的訓(xùn)練樣本，提供不同對象、不同面部朝向、不同光 照環(huán)境和不同睜閉程度下的眼睛信息作為訓(xùn)練集，而樣本的選取往往不能涵蓋實(shí)際應(yīng)用中 的各種情況； (c) 基于特征分析的方法雖然計(jì)算量小速度快，但是眼睛特征隨著人臉的表情，頭部 的姿態(tài)及外界環(huán)境的改變會(huì)呈現(xiàn)極大的不穩(wěn)定性，所以這種檢測方法的識別準(zhǔn)確率不是很 商。


【發(fā)明內(nèi)容】

[0006] 本發(fā)明的目的在于克服上述技術(shù)問題的缺陷，解決當(dāng)前疲勞檢測系統(tǒng)不能精確檢 測人眼狀態(tài)(睜或閉）的問題。本發(fā)明基于圖割模型的圖像前景提取方法，用來精確分割出 人眼圖像中的人眼橢圓區(qū)域，定義了人眼圖像的圖割模型和能量函數(shù)，并用最大流最小割 算法優(yōu)化能量函數(shù)，以此為理論發(fā)明了一種把人眼圖像分割為二值化的人眼橢圓區(qū)域的算 法，并把人眼區(qū)域面積作為計(jì)算PERCL0S系數(shù)的特征量，用來進(jìn)行駕駛疲勞狀態(tài)的自動(dòng)檢 測。
[0007] 根據(jù)本發(fā)明的具體實(shí)施，提供一種基于圖割模型的人眼狀態(tài)識別方法，其特征在 于包括以下步驟： 步驟1)構(gòu)造圖割模型： 基于圖割（Graph Cuts)的圖像分割方法把圖像分割與圖的最小割（min cut)問題相 關(guān)聯(lián)。首先將圖像映射為帶權(quán)無向圖G=〈V，E>，無向圖中每個(gè)節(jié)點(diǎn)e V對應(yīng)于圖像中的每 個(gè)像素，每條邊e E連接著一對相鄰的像素。在普通圖的基礎(chǔ)上多了 2個(gè)頂點(diǎn)，這2個(gè)頂點(diǎn) 分別用符號"S"和"T"表示，統(tǒng)稱為終端頂點(diǎn)，其它所有的頂點(diǎn)都必須與這2個(gè)頂點(diǎn)相連形 成邊集合中的一部分。因此Graph Cuts模型中有兩種頂點(diǎn)，也有兩種邊。第一種頂點(diǎn)和邊 是：對應(yīng)于圖像中每個(gè)像素的普通頂點(diǎn)，每兩個(gè)鄰域頂點(diǎn)(對應(yīng)于圖像中每兩個(gè)鄰域像素） 的連接就是一條邊，這種邊叫n-links。第二種頂點(diǎn)和邊是：除圖像像素外的另外兩個(gè)終端 頂點(diǎn)，叫S (source:源點(diǎn))和T (sink :匯點(diǎn)),每個(gè)普通頂點(diǎn)和這2個(gè)終端頂點(diǎn)之間都有連 接，組成第二種邊，這種邊叫t-links。圖1為一個(gè)圖像對應(yīng)的圖割模型，也叫S-T圖。在圖 像分割中，S -般表示前景目標(biāo)，T 一般表示背景。
[0008] 步驟2)構(gòu)造圖割模型的能量函數(shù)： Graph Cuts中的割是指這樣一個(gè)邊的集合，集合中所有t-links邊的斷開會(huì)導(dǎo)致殘留 "S"和"T"圖的分開，即其中一部分點(diǎn)僅和S連接，被判斷為前景；而一些僅和T連接，被判 斷為背景。很明顯，發(fā)生在目標(biāo)和背景的邊界處的割就是圖像分割所需要的，找到正確的割 即可得到最優(yōu)的分割結(jié)果。下面將圖像分割的先驗(yàn)約束具體化，以能量函數(shù)的形式作為圖 割模型的優(yōu)化目標(biāo)。尋找最優(yōu)割的過程可以通過最小化圖割能量函數(shù)得到。
[0009] 假設(shè)整幅圖像的標(biāo)簽label為乙= 其中第P個(gè)像素的標(biāo)簽為4， 尖的取值為〇或1。這樣圖像分割就可以看成像素標(biāo)記問題，目標(biāo)（s-node)的label設(shè)為 1，背景（t-node)的label設(shè)為0。假設(shè)圖像的分割為￡時(shí)，圖像的能量函數(shù)可以表示為：

【權(quán)利要求】
1. 基于圖割模型的人眼狀態(tài)識別方法，其特征在于包括以下步驟： 步驟1)從監(jiān)控視頻中實(shí)時(shí)提取圖像，在圖像中進(jìn)行人臉識別； 步驟2)在人臉圖像區(qū)域內(nèi)，精確定位出人眼位置，分割出人眼圖像； 步驟3)對人眼圖像進(jìn)行直方圖均衡化，消除光線的影響，增強(qiáng)對比度； 步驟4)對均衡化的人眼圖像，基于圖像灰度值信息構(gòu)造圖割模型（S-T圖）； 步驟5)構(gòu)造圖割模型的能量函數(shù)5(￡); 步驟6)利用最大流最小割算法求解鞏￡)的最優(yōu)解，得到最優(yōu)的分割結(jié)果； 步驟7)利用圖割得到二值化人眼圖后，計(jì)算圖像中前景(黑點(diǎn)）區(qū)域面積 ，為眼睛面積，即可作為人眼狀態(tài)(睜或閉）的判別特征； 步驟8)根據(jù)PERCLOS系數(shù)測量原理，統(tǒng)計(jì)單位時(shí)間內(nèi)眼睛閉合時(shí)間作為疲勞程度的判 斷依據(jù)。
2. 根據(jù)權(quán)利要求1的方法，其中所述步驟5)的構(gòu)造圖割模型的能量函數(shù)，進(jìn)一步包 括： 步驟la)能量函數(shù)公式： 取￡.)=;1·Σ「Λ(￡>)+ Σ 由公式可知圖割模型能量函數(shù)構(gòu)造關(guān)鍵是確定區(qū)域項(xiàng)和邊界項(xiàng)懲罰巧的 值，下面詳細(xì)介紹設(shè)置規(guī)則； 步驟2a)區(qū)域項(xiàng): 圖片分割結(jié)果中，前景標(biāo)簽label為1，背景標(biāo)簽為lbael為0 ;在基于檢測的粗定位 得到的眼睛圖片中，眼睛前景區(qū)域灰度值較低接近〇,而周圍背景(人臉皮膚區(qū)域）灰度值 較大接近255 ;灰度值大的點(diǎn)分配label=0時(shí)，表明分對的可能性大，所以懲罰應(yīng)該小，懲罰 =0)可以設(shè)置為（255_灰度值）；反之灰度值大分配label =1，懲罰大，^(尖=1)設(shè) 置為灰度值；區(qū)域項(xiàng)尖）值的的設(shè)置為：
步驟1a)邊界項(xiàng)％冶： 由于邊界項(xiàng)懲罰今主要用于懲罰相鄰像素 P和q分配不同標(biāo)簽的懲罰；邊界懲罰 今；^可設(shè)置為
根據(jù)權(quán)利要求1的方法，其中所述步驟6)的最大流最小割算法求解能量函數(shù)的最優(yōu) 解，進(jìn)一步包括： 步驟lb)圖割的目標(biāo)就是優(yōu)化能量函數(shù)使其值達(dá)到最?。? i l = arg 步驟2b)若將上述定義的邊界懲罰項(xiàng)作為圖模型的邊權(quán)重，即％(&)作為第p個(gè)像 素與S、T頂點(diǎn)的連接權(quán)重，作為相鄰點(diǎn)的連接權(quán)重，則最小化能量函數(shù)￡(￡)等價(jià)于找 到一個(gè)所有邊的權(quán)值之和最小的圖割，即最小割；而福特-富克森定理表明，網(wǎng)路的最大流 (max flow)與最小割（min cut)相等，所以基于 max-flow/min-cut 的 Edmonds-Karp 算法 就可以用來獲得S-T圖的最小割。
【文檔編號】G06K9/00GK104102896SQ201310127089
【公開日】2014年10月15日 申請日期:2013年4月14日 優(yōu)先權(quán)日:2013年4月14日
【發(fā)明者】張忠偉 申請人:張忠偉