一種智能化車載疲勞監(jiān)測系統(tǒng)及方法
【專利摘要】本發(fā)明提供了一種智能化車載疲勞監(jiān)測系統(tǒng)及方法，涉及汽車安全領(lǐng)域。其特征在于，所述系統(tǒng)包括：所述系統(tǒng)包括：車載端、云端、用戶移動端和監(jiān)管端；所述車載端包括：視頻采集模塊、編碼處理模塊、算法處理模塊、傳感器系統(tǒng)、中央處理器和操作界面；所述云端包括：數(shù)據(jù)傳輸裝置、云端數(shù)據(jù)接收裝置和云端處理器；所述監(jiān)管端包括：監(jiān)管部門數(shù)據(jù)傳輸裝置和監(jiān)管部門處理器；所述用戶移動端包括：移動端數(shù)據(jù)傳輸模塊和移動端操作界面。該發(fā)明具有監(jiān)測準(zhǔn)確、可靠、具備大數(shù)據(jù)分析和監(jiān)管功能、改良傳統(tǒng)算法，算法陷阱等優(yōu)點(diǎn)。
【專利說明】
一種智能化車載疲勞監(jiān)測系統(tǒng)及方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明涉及汽車安全領(lǐng)域，特別涉及一種智能化車載疲勞監(jiān)測系統(tǒng)及方法。
【背景技術(shù)】
[0002] 如何為駕駛員提供一個有效實(shí)用的安全輔助駕駛系統(tǒng)是車輛安全駕駛的一個重 要課題。基于機(jī)器視覺的疲勞駕駛檢測技術(shù)已在國內(nèi)外開展了廣泛研究，其中以駕駛員眼 部特征的檢測最為廣泛。
[0003] 日常行車時我們都會碰到前一天睡眠時間過少，睡眠質(zhì)量過差；道路條件甚好致 使路面情況單一;遇到風(fēng)沙、雨、霧、雪天氣狀況;長時間、長距離行車;車速過快或過慢;到 達(dá)目的地有時間限制等等情況，這些都會是誘發(fā)您疲勞駕駛的因素，甚至車輛自身或車外 噪聲和振動嚴(yán)重;座椅調(diào)整不當(dāng)?shù)仍蚨紩斐赡隈{駛，從而誘發(fā)交通事故。
[0004] 駕車時出現(xiàn)換檔不及時、不準(zhǔn)確，說明人體已經(jīng)處于輕微疲勞狀態(tài)；當(dāng)出現(xiàn)操作動 作呆滯，有時甚至?xí)泴⒁M(jìn)行的操作，說明人體已處于中度疲勞；當(dāng)出現(xiàn)下意識操作或 出現(xiàn)短時間睡眠現(xiàn)象時，說明人體已處于重度疲勞，往往醒來時便已釀成大禍。在危急情況 發(fā)生之前，疲勞駕駛的最初跡象是可以被探測出來的，這時響起的警報音往往就是將駕駛 員從死神手中拯救出來的最佳時機(jī)。
[0005] 現(xiàn)有的疲勞監(jiān)測系統(tǒng)主要存在如下的缺陷：
[0006] 1、監(jiān)測不準(zhǔn)確:現(xiàn)有的疲勞監(jiān)測系統(tǒng)，要么利用傳感器進(jìn)行監(jiān)測，要么利用單純的 圖像處理。而這兩者往往都存在一定的缺陷，常常導(dǎo)致監(jiān)測結(jié)果不不準(zhǔn)確，導(dǎo)致監(jiān)測結(jié)果非 常不準(zhǔn)確，從而產(chǎn)生誤報警。
[0007] 2、缺乏大數(shù)據(jù)分析：由于很多駕駛員疲勞駕駛是一個長期性的過程，如果沒有針 對駕駛員進(jìn)行長期性的分析。也缺乏第三方對駕駛員進(jìn)行監(jiān)督管理，導(dǎo)致很多長期疲勞駕 駛的駕駛員不能得到警醒，從而不能防患于未然。
[0008] 3、算法落后:現(xiàn)有的疲勞監(jiān)測系統(tǒng)，大都采用老舊的圖像算法。而由于疲勞監(jiān)測和 普通的圖像識別有很大差異性。如果一味采用舊算法，直接會導(dǎo)致監(jiān)測結(jié)果不準(zhǔn)確和算法 復(fù)雜，處理起來非常緩慢。

【發(fā)明內(nèi)容】

[0009] 鑒于此，本發(fā)明提供了一種智能化車載疲勞監(jiān)測系統(tǒng)及方法，該發(fā)明具有監(jiān)測準(zhǔn) 確、可靠、具備大數(shù)據(jù)分析和監(jiān)管功能、改良傳統(tǒng)算法，算法陷阱等優(yōu)點(diǎn)。
[0010] 本發(fā)明采用的技術(shù)方案如下：
[0011] -種智能化車載疲勞監(jiān)測系統(tǒng)，其特征在于，所述系統(tǒng)包括:車載端、云端、用戶移 動端和監(jiān)管端;所述車載端包括:視頻采集模塊、編碼處理模塊、算法處理模塊、傳感器系 統(tǒng)、中央處理器和操作界面;所述云端包括:數(shù)據(jù)傳輸裝置、云端數(shù)據(jù)接收裝置和云端處理 器;所述監(jiān)管端包括:監(jiān)管部門數(shù)據(jù)傳輸裝置和監(jiān)管部門處理器;所述用戶移動端包括:移 動端數(shù)據(jù)傳輸模塊和移動端操作界面；
[0012] 所述視頻采集模塊信號連接于編碼處理模塊;所述編碼處理模塊信號連接于算法 處理模塊;所述算法處理模塊信號連接于中央處理器;所述中央處理器分別信號連接于操 作界面、傳感器系統(tǒng)、預(yù)警裝置和數(shù)據(jù)傳輸裝置;所述數(shù)據(jù)傳輸裝置信號連接于云端數(shù)據(jù)傳 輸裝置;所述云端數(shù)據(jù)傳輸裝置分別信號連接于移動端數(shù)據(jù)傳輸模塊、云端處理器和監(jiān)管 部門處理器;所述移動端數(shù)據(jù)傳輸模塊信號連接于移動端操作界面;所述云端處理器信號 連接于監(jiān)管部門數(shù)據(jù)傳輸裝置;所述監(jiān)管部門數(shù)據(jù)傳輸裝置信號連接于監(jiān)管部門處理器。
[0013] 所述視頻采集模塊，用于采集駕駛員的面部圖像信息，將獲取到的圖像信息發(fā)送 至編碼處理模塊;所述編碼處理模塊用于將接收到的面部圖像信息進(jìn)行數(shù)字視頻編解碼處 理，將處理后的面部圖像信息發(fā)送至算法處理模塊;所述算法處理模塊，用于通過圖像識別 算法對接收到的面部圖像信息進(jìn)行算法處理，判斷駕駛員的精神狀態(tài)，將判斷結(jié)果發(fā)送至 中央處理器;所述傳感器系統(tǒng)，包括:血氧傳感器和酸堿度傳感器;所述血氧傳感器用于實(shí) 時監(jiān)測人體的血氧信息，將監(jiān)測到的血氧信息發(fā)送至中央處理器;所述酸堿度傳感器用于 監(jiān)測人體皮膚上的酸堿度值，將監(jiān)測到的酸堿度值發(fā)送至中央處理器;所述中央處理器，用 于根據(jù)接收到的數(shù)據(jù)信息判斷駕駛員當(dāng)前是否處于疲勞狀態(tài)，將判斷結(jié)果分別發(fā)送至操作 界面、預(yù)警裝置和數(shù)據(jù)傳輸裝置;所述操作界面，用于顯示判斷結(jié)果;所述預(yù)警裝置，用于根 據(jù)判斷結(jié)果發(fā)出預(yù)警信號。
[0014] 所述云端處理器，用于將云端數(shù)據(jù)傳輸裝置發(fā)送過來的數(shù)據(jù)信息存儲在本地，每 隔一定周期，對存儲在本地的數(shù)據(jù)信息進(jìn)行大數(shù)據(jù)統(tǒng)計分析，將分析結(jié)果發(fā)送至監(jiān)管部門 數(shù)據(jù)傳輸裝置；以及接受來自監(jiān)管端的評估結(jié)果，將評估結(jié)果存儲在本地，定期將該評估結(jié) 果發(fā)送至用戶移動端。
[0015] 所述監(jiān)管部門處理器，用于根據(jù)云端發(fā)送過來的大數(shù)據(jù)統(tǒng)計分析結(jié)果，對該駕駛 人員的精神狀態(tài)進(jìn)行人為評估，將評估結(jié)果經(jīng)云端數(shù)據(jù)傳輸裝置發(fā)送至云端處理器進(jìn)行存 儲。
[0016] 所述用戶移動端操作界面，用于將云端發(fā)送過來的評估結(jié)果進(jìn)行顯示。
[0017] 所述算法處理模塊采用的圖像識別方法包括以下步驟：
[0018] 步驟1:對編碼處理模塊發(fā)送過來的圖像信息進(jìn)行基于膚色聚類的人臉檢測；
[0019] 步驟2:根據(jù)人臉檢測結(jié)果，根據(jù)眼睛在人臉的幾何位置分布，確定眼睛的大概位 置，縮小眼球檢測的區(qū)域范圍；
[0020] 步驟3:在縮小的眼球搜索范圍內(nèi)，利用邊緣檢測算法對眼部區(qū)域進(jìn)行邊緣檢測， 提取眼部的邊緣信息，并對其進(jìn)行二值化處理，再對二值化后的眼部區(qū)域進(jìn)行連通成分分 析，采用基于區(qū)域連通的二值圖像濾波方法去除眼部周圍圖像噪聲點(diǎn)的干擾；
[0021] 步驟4:根據(jù)改進(jìn)的積分投影算法，計算左右眼角和上下眼瞼的距離，確定駕駛員 眼睛的睜閉狀態(tài)；
[0022] 步驟5:定義眨眼平率，并據(jù)此實(shí)現(xiàn)疲勞駕駛的檢測。
[0023] 所述基于膚色聚類的人臉檢測方法包括以下步驟：
[0024]步驟1:從攝像頭采集到的圖像為RGB格式，利用如下公式實(shí)現(xiàn)將RGB格式轉(zhuǎn)換為

[0029] 步驟2:再利用如下公式將駕駛員的膚色區(qū)域檢測出來：
[0030] R>G&&|R-G| >11
[0031] 340<S< 359P0<S<50
[0032] 0.12<T<0.7&&0.3< V< 1.0
[0033] 步驟3:然后對人臉進(jìn)行水平和垂直投影，確定臉部的邊界區(qū)域，邊界確定公式如 下： T ri.25iv /?/ ^ [0.8vv, 1.4wl
[0034] h = \ 」 1 hr h! E [0.8m/, 1.4w]
[0035] 其中，h、w分別為用水平和垂直投影求得的臉部區(qū)域的高度和寬度。
[0036] 所述眼部感興趣區(qū)域確定的方法包括以下步驟：
[0037]步驟1:假設(shè)檢測到的人臉區(qū)域長度為HF;寬度為WF;
[0038]步驟2:在數(shù)垂直方向上，眼睛位于臉部二分之一以上，頭頂以下HF/5的區(qū)域。
[0039] 步驟3:在水平方向上，眼部邊界區(qū)域得定位于距離臉部左邊界WF/8出開始到距離 眼部右邊界WF/8處的區(qū)域。
[0040] 采用以上技術(shù)方案，本發(fā)明產(chǎn)生了以下有益效果：
[0041] 1、監(jiān)測準(zhǔn)確:本發(fā)明采用的疲勞監(jiān)測系統(tǒng)，具有監(jiān)測準(zhǔn)確，除了采用采集圖像監(jiān)測 作為主要評判手段以外，還添加了傳感器系統(tǒng)作為輔助監(jiān)測。將兩個監(jiān)測結(jié)果綜合起來作 為評判手段，可以大大提升監(jiān)測的準(zhǔn)確性和科學(xué)性。
[0042] 2、大數(shù)據(jù)分析:本發(fā)明將大數(shù)據(jù)和云存儲的概念引用到疲勞監(jiān)測中來。除了針對 單次疲勞駕駛進(jìn)行預(yù)警以外，還可以針對多次疲勞駕駛數(shù)據(jù)，統(tǒng)計出一段時間內(nèi)疲勞駕駛 的次數(shù)，根據(jù)這些數(shù)據(jù)發(fā)出不同程度的預(yù)警。
[0043] 3、算法先進(jìn):本發(fā)明對傳統(tǒng)的圖像識別算法進(jìn)行了改進(jìn)，主要進(jìn)行了基于膚色聚 類的人臉檢測、眼部感興趣區(qū)域確定、基于Sobel算子的邊緣檢測、采用改進(jìn)積分投影算法 確定左右眼角和上下眼瞼的距離。通過這些來識別駕駛員的眨眼頻率，并根據(jù)眨眼頻率來 綜合判定駕駛員的疲勞程度。
[0044] 3、具備監(jiān)督功能:本發(fā)明將大數(shù)據(jù)處理結(jié)果和監(jiān)管部門進(jìn)行連接，監(jiān)管部門可以 實(shí)時接收到駕駛員長期精神狀態(tài)的分析。并提煉出某些高危駕駛員的數(shù)據(jù)信息，并由監(jiān)管 部門提出預(yù)警，在危險發(fā)出之時就起到預(yù)防作用。
【附圖說明】
[0045] 圖1是本發(fā)明的一種智能化車載疲勞監(jiān)測系統(tǒng)及方法的系統(tǒng)結(jié)構(gòu)示意圖。
【具體實(shí)施方式】
[0046] 本說明書中公開的所有特征，或公開的所有方法或過程中的步驟，除了互相排斥 的特征和/或步驟以外，均可以以任何方式組合。
[0047] 本說明書(包括任何附加權(quán)利要求、摘要）中公開的任一特征，除非特別敘述，均可 被其他等效或具有類似目的的替代特征加以替換。即，除非特別敘述，每個特征只是一系列 等效或類似特征中的一個例子而已。
[0048] 本發(fā)明實(shí)施例1中提供了一種智能化車載疲勞監(jiān)測系統(tǒng)，系統(tǒng)結(jié)構(gòu)如圖1所示：
[0049] -種智能化車載疲勞監(jiān)測系統(tǒng)，其特征在于，所述系統(tǒng)包括:車載端、云端、用戶移 動端和監(jiān)管端;所述車載端包括:視頻采集模塊、編碼處理模塊、算法處理模塊、傳感器系 統(tǒng)、中央處理器和操作界面;所述云端包括:數(shù)據(jù)傳輸裝置、云端數(shù)據(jù)接收裝置和云端處理 器;所述監(jiān)管端包括:監(jiān)管部門數(shù)據(jù)傳輸裝置和監(jiān)管部門處理器;所述用戶移動端包括:移 動端數(shù)據(jù)傳輸模塊和移動端操作界面；
[0050] 所述視頻采集模塊信號連接于編碼處理模塊;所述編碼處理模塊信號連接于算法 處理模塊;所述算法處理模塊信號連接于中央處理器;所述中央處理器分別信號連接于操 作界面、傳感器系統(tǒng)、預(yù)警裝置和數(shù)據(jù)傳輸裝置;所述數(shù)據(jù)傳輸裝置信號連接于云端數(shù)據(jù)傳 輸裝置;所述云端數(shù)據(jù)傳輸裝置分別信號連接于移動端數(shù)據(jù)傳輸模塊、云端處理器和監(jiān)管 部門處理器;所述移動端數(shù)據(jù)傳輸模塊信號連接于移動端操作界面;所述云端處理器信號 連接于監(jiān)管部門數(shù)據(jù)傳輸裝置;所述監(jiān)管部門數(shù)據(jù)傳輸裝置信號連接于監(jiān)管部門處理器。
[0051] 所述視頻采集模塊，用于采集駕駛員的面部圖像信息，將獲取到的圖像信息發(fā)送 至編碼處理模塊;所述編碼處理模塊用于將接收到的面部圖像信息進(jìn)行數(shù)字視頻編解碼處 理，將處理后的面部圖像信息發(fā)送至算法處理模塊;所述算法處理模塊，用于通過圖像識別 算法對接收到的面部圖像信息進(jìn)行算法處理，判斷駕駛員的精神狀態(tài)，將判斷結(jié)果發(fā)送至 中央處理器;所述傳感器系統(tǒng)，包括:血氧傳感器和酸堿度傳感器;所述血氧傳感器用于實(shí) 時監(jiān)測人體的血氧信息，將監(jiān)測到的血氧信息發(fā)送至中央處理器;所述酸堿度傳感器用于 監(jiān)測人體皮膚上的酸堿度值，將監(jiān)測到的酸堿度值發(fā)送至中央處理器;所述中央處理器，用 于根據(jù)接收到的數(shù)據(jù)信息判斷駕駛員當(dāng)前是否處于疲勞狀態(tài)，將判斷結(jié)果分別發(fā)送至操作 界面、預(yù)警裝置和數(shù)據(jù)傳輸裝置;所述操作界面，用于顯示判斷結(jié)果;所述預(yù)警裝置，用于根 據(jù)判斷結(jié)果發(fā)出預(yù)警信號。
[0052] 所述云端處理器，用于將云端數(shù)據(jù)傳輸裝置發(fā)送過來的數(shù)據(jù)信息存儲在本地，每 隔一定周期，對存儲在本地的數(shù)據(jù)信息進(jìn)行大數(shù)據(jù)統(tǒng)計分析，將分析結(jié)果發(fā)送至監(jiān)管部門 數(shù)據(jù)傳輸裝置；以及接受來自監(jiān)管端的評估結(jié)果，將評估結(jié)果存儲在本地，定期將該評估結(jié) 果發(fā)送至用戶移動端。
[0053]所述監(jiān)管部門處理器，用于根據(jù)云端發(fā)送過來的大數(shù)據(jù)統(tǒng)計分析結(jié)果，對該駕駛 人員的精神狀態(tài)進(jìn)行人為評估，將評估結(jié)果經(jīng)云端數(shù)據(jù)傳輸裝置發(fā)送至云端處理器進(jìn)行存 儲。
[0054]所述用戶移動端操作界面，用于將云端發(fā)送過來的評估結(jié)果進(jìn)行顯示。
[0055]本發(fā)明實(shí)施例2中提供了一種智能化車載疲勞監(jiān)測系統(tǒng)及方法，系統(tǒng)結(jié)構(gòu)圖如圖1 所述：
[0056] 一種智能化車載疲勞監(jiān)測系統(tǒng)，其特征在于，所述系統(tǒng)包括:車載端、云端、用戶移 動端和監(jiān)管端;所述車載端包括:視頻采集模塊、編碼處理模塊、算法處理模塊、傳感器系 統(tǒng)、中央處理器和操作界面;所述云端包括:數(shù)據(jù)傳輸裝置、云端數(shù)據(jù)接收裝置和云端處理 器;所述監(jiān)管端包括:監(jiān)管部門數(shù)據(jù)傳輸裝置和監(jiān)管部門處理器;所述用戶移動端包括:移 動端數(shù)據(jù)傳輸模塊和移動端操作界面；
[0057]所述視頻采集模塊信號連接于編碼處理模塊;所述編碼處理模塊信號連接于算法 處理模塊;所述算法處理模塊信號連接于中央處理器;所述中央處理器分別信號連接于操 作界面、傳感器系統(tǒng)、預(yù)警裝置和數(shù)據(jù)傳輸裝置;所述數(shù)據(jù)傳輸裝置信號連接于云端數(shù)據(jù)傳 輸裝置;所述云端數(shù)據(jù)傳輸裝置分別信號連接于移動端數(shù)據(jù)傳輸模塊、云端處理器和監(jiān)管 部門處理器;所述移動端數(shù)據(jù)傳輸模塊信號連接于移動端操作界面;所述云端處理器信號 連接于監(jiān)管部門數(shù)據(jù)傳輸裝置;所述監(jiān)管部門數(shù)據(jù)傳輸裝置信號連接于監(jiān)管部門處理器。 [0058]所述視頻采集模塊，用于采集駕駛員的面部圖像信息，將獲取到的圖像信息發(fā)送 至編碼處理模塊;所述編碼處理模塊用于將接收到的面部圖像信息進(jìn)行數(shù)字視頻編解碼處 理，將處理后的面部圖像信息發(fā)送至算法處理模塊;所述算法處理模塊，用于通過圖像識別 算法對接收到的面部圖像信息進(jìn)行算法處理，判斷駕駛員的精神狀態(tài)，將判斷結(jié)果發(fā)送至 中央處理器;所述傳感器系統(tǒng)，包括:血氧傳感器和酸堿度傳感器;所述血氧傳感器用于實(shí) 時監(jiān)測人體的血氧信息，將監(jiān)測到的血氧信息發(fā)送至中央處理器;所述酸堿度傳感器用于 監(jiān)測人體皮膚上的酸堿度值，將監(jiān)測到的酸堿度值發(fā)送至中央處理器;所述中央處理器，用 于根據(jù)接收到的數(shù)據(jù)信息判斷駕駛員當(dāng)前是否處于疲勞狀態(tài)，將判斷結(jié)果分別發(fā)送至操作 界面、預(yù)警裝置和數(shù)據(jù)傳輸裝置;所述操作界面，用于顯示判斷結(jié)果;所述預(yù)警裝置，用于根 據(jù)判斷結(jié)果發(fā)出預(yù)警信號。
[0059]所述云端處理器，用于將云端數(shù)據(jù)傳輸裝置發(fā)送過來的數(shù)據(jù)信息存儲在本地，每 隔一定周期，對存儲在本地的數(shù)據(jù)信息進(jìn)行大數(shù)據(jù)統(tǒng)計分析，將分析結(jié)果發(fā)送至監(jiān)管部門 數(shù)據(jù)傳輸裝置；以及接受來自監(jiān)管端的評估結(jié)果，將評估結(jié)果存儲在本地，定期將該評估結(jié) 果發(fā)送至用戶移動端。
[0060] 所述監(jiān)管部門處理器，用于根據(jù)云端發(fā)送過來的大數(shù)據(jù)統(tǒng)計分析結(jié)果，對該駕駛 人員的精神狀態(tài)進(jìn)行人為評估，將評估結(jié)果經(jīng)云端數(shù)據(jù)傳輸裝置發(fā)送至云端處理器進(jìn)行存 儲。
[0061] 所述用戶移動端操作界面，用于將云端發(fā)送過來的評估結(jié)果進(jìn)行顯示。
[0062] 所述算法處理模塊采用的圖像識別方法包括以下步驟：
[0063] 步驟1:對編碼處理模塊發(fā)送過來的圖像信息進(jìn)行基于膚色聚類的人臉檢測；
[0064] 步驟2:根據(jù)人臉檢測結(jié)果，根據(jù)眼睛在人臉的幾何位置分布，確定眼睛的大概位 置，縮小眼球檢測的區(qū)域范圍；
[0065] 步驟3:在縮小的眼球搜索范圍內(nèi)，利用邊緣檢測算法對眼部區(qū)域進(jìn)行邊緣檢測， 提取眼部的邊緣信息，并對其進(jìn)行二值化處理，再對二值化后的眼部區(qū)域進(jìn)行連通成分分 析，采用基于區(qū)域連通的二值圖像濾波方法去除眼部周圍圖像噪聲點(diǎn)的干擾；
[0066]步驟4:根據(jù)改進(jìn)的積分投影算法，計算左右眼角和上下眼瞼的距離，確定駕駛員 眼睛的睜閉狀態(tài)；
[0067] 步驟5:定義眨眼平率，并據(jù)此實(shí)現(xiàn)疲勞駕駛的檢測。
[0068] 所述基于膚色聚類的人臉檢測方法包括以下步驟：
[0069]步驟1:從攝像頭采集到的圖像為RGB格式，利用如下公式實(shí)現(xiàn)將RGB格式轉(zhuǎn)換為
[0074] 步驟2:再利用如下公式將駕駛員的膚色區(qū)域檢測出來：
[0075] R>G&&|R-G| >11
[0076] 340 < S < 359P0 < S < 50
[0077] 0.12<T<0.7&&0.3< V< 1.0
[0078] 步驟3:然后對人臉進(jìn)行水平和垂直投影，確定臉部的邊界區(qū)域，邊界確定公式如 下： , fl.25vv h! g [0.8vv, 1.4wl [0079] h = i /i' Y G jU8w, 1.4w]
[0080]其中，h、w分別為用水平和垂直投影求得的臉部區(qū)域的高度和寬度。
[0081]所述眼部感興趣區(qū)域確定的方法包括以下步驟：
[0082]步驟1:假設(shè)檢測到的人臉區(qū)域長度為HF;寬度為WF;
[0083]步驟2:在數(shù)垂直方向上，眼睛位于臉部二分之一以上，頭頂以下HF/5的區(qū)域。
[0084] 步驟3:在水平方向上，眼部邊界區(qū)域得定位于距離臉部左邊界WF/8出開始到距離 眼部右邊界WF/8處的區(qū)域。
[0085] 本發(fā)明實(shí)施例3中提供了一種智能化車載疲勞監(jiān)測系統(tǒng)及方法，系統(tǒng)結(jié)構(gòu)如圖1所 示：
[0086] -種智能化車載疲勞監(jiān)測系統(tǒng)，其特征在于，所述系統(tǒng)包括:車載端、云端、用戶移 動端和監(jiān)管端;所述車載端包括:視頻采集模塊、編碼處理模塊、算法處理模塊、傳感器系 統(tǒng)、中央處理器和操作界面;所述云端包括:數(shù)據(jù)傳輸裝置、云端數(shù)據(jù)接收裝置和云端處理 器;所述監(jiān)管端包括:監(jiān)管部門數(shù)據(jù)傳輸裝置和監(jiān)管部門處理器;所述用戶移動端包括:移 動端數(shù)據(jù)傳輸模塊和移動端操作界面；
[0087]所述視頻采集模塊信號連接于編碼處理模塊;所述編碼處理模塊信號連接于算法 處理模塊;所述算法處理模塊信號連接于中央處理器;所述中央處理器分別信號連接于操 作界面、傳感器系統(tǒng)、預(yù)警裝置和數(shù)據(jù)傳輸裝置;所述數(shù)據(jù)傳輸裝置信號連接于云端數(shù)據(jù)傳 輸裝置;所述云端數(shù)據(jù)傳輸裝置分別信號連接于移動端數(shù)據(jù)傳輸模塊、云端處理器和監(jiān)管 部門處理器;所述移動端數(shù)據(jù)傳輸模塊信號連接于移動端操作界面;所述云端處理器信號 連接于監(jiān)管部門數(shù)據(jù)傳輸裝置;所述監(jiān)管部門數(shù)據(jù)傳輸裝置信號連接于監(jiān)管部門處理器。
[0088]所述視頻采集模塊，用于采集駕駛員的面部圖像信息，將獲取到的圖像信息發(fā)送 至編碼處理模塊;所述編碼處理模塊用于將接收到的面部圖像信息進(jìn)行數(shù)字視頻編解碼處 理，將處理后的面部圖像信息發(fā)送至算法處理模塊;所述算法處理模塊，用于通過圖像識別 算法對接收到的面部圖像信息進(jìn)行算法處理，判斷駕駛員的精神狀態(tài)，將判斷結(jié)果發(fā)送至 中央處理器;所述傳感器系統(tǒng)，包括:血氧傳感器和酸堿度傳感器;所述血氧傳感器用于實(shí) 時監(jiān)測人體的血氧信息，將監(jiān)測到的血氧信息發(fā)送至中央處理器;所述酸堿度傳感器用于 監(jiān)測人體皮膚上的酸堿度值，將監(jiān)測到的酸堿度值發(fā)送至中央處理器;所述中央處理器，用 于根據(jù)接收到的數(shù)據(jù)信息判斷駕駛員當(dāng)前是否處于疲勞狀態(tài)，將判斷結(jié)果分別發(fā)送至操作 界面、預(yù)警裝置和數(shù)據(jù)傳輸裝置;所述操作界面，用于顯示判斷結(jié)果;所述預(yù)警裝置，用于根 據(jù)判斷結(jié)果發(fā)出預(yù)警信號。
[0089] 所述云端處理器，用于將云端數(shù)據(jù)傳輸裝置發(fā)送過來的數(shù)據(jù)信息存儲在本地，每 隔一定周期，對存儲在本地的數(shù)據(jù)信息進(jìn)行大數(shù)據(jù)統(tǒng)計分析，將分析結(jié)果發(fā)送至監(jiān)管部門 數(shù)據(jù)傳輸裝置；以及接受來自監(jiān)管端的評估結(jié)果，將評估結(jié)果存儲在本地，定期將該評估結(jié) 果發(fā)送至用戶移動端。
[0090] 所述監(jiān)管部門處理器，用于根據(jù)云端發(fā)送過來的大數(shù)據(jù)統(tǒng)計分析結(jié)果，對該駕駛 人員的精神狀態(tài)進(jìn)行人為評估，將評估結(jié)果經(jīng)云端數(shù)據(jù)傳輸裝置發(fā)送至云端處理器進(jìn)行存 儲。
[0091] 所述用戶移動端操作界面，用于將云端發(fā)送過來的評估結(jié)果進(jìn)行顯示。
[0092] 所述算法處理模塊采用的圖像識別方法包括以下步驟：
[0093] 步驟1:對編碼處理模塊發(fā)送過來的圖像信息進(jìn)行基于膚色聚類的人臉檢測；
[0094] 步驟2:根據(jù)人臉檢測結(jié)果，根據(jù)眼睛在人臉的幾何位置分布，確定眼睛的大概位 置，縮小眼球檢測的區(qū)域范圍；
[0095] 步驟3:在縮小的眼球搜索范圍內(nèi)，利用邊緣檢測算法對眼部區(qū)域進(jìn)行邊緣檢測， 提取眼部的邊緣信息，并對其進(jìn)行二值化處理，再對二值化后的眼部區(qū)域進(jìn)行連通成分分 析，采用基于區(qū)域連通的二值圖像濾波方法去除眼部周圍圖像噪聲點(diǎn)的干擾；
[0096]步驟4:根據(jù)改進(jìn)的積分投影算法，計算左右眼角和上下眼瞼的距離，確定駕駛員 眼睛的睜閉狀態(tài)；
[0097] 步驟5:定義眨眼平率，并據(jù)此實(shí)現(xiàn)疲勞駕駛的檢測。
[0098] 所述基于膚色聚類的人臉檢測方法包括以下步驟：
[0099]步驟1:從攝像頭采集到的圖像為RGB格式，利用如下公式實(shí)現(xiàn)將RGB格式轉(zhuǎn)換為
[0104] 步驟2:再利用如下公式將駕駛員的膚色區(qū)域檢測出來：
[0105] r>g&&|r-g| > 11
[0106] 340<S< 359P0<S<50
[0107] 0.12<T<0.7&&0.3< V< 1.0
[0108] 步驟3:然后對人臉進(jìn)行水平和垂直投影，確定臉部的邊界區(qū)域，邊界確定公式如 下：
[0109] h = {L2Sw h'^[Q.Sw/lAw] _ I h! h! G [0.8w; lAw]
[0110] 其中，h、w分別為用水平和垂直投影求得的臉部區(qū)域的高度和寬度。
[0111] 所述眼部感興趣區(qū)域確定的方法包括以下步驟：
[0112] 步驟1:假設(shè)檢測到的人臉區(qū)域長度為HF;寬度為WF;
[0113] 步驟2:在數(shù)垂直方向上，眼睛位于臉部二分之一以上，頭頂以下HF/5的區(qū)域。
[0114] 步驟3:在水平方向上，眼部邊界區(qū)域得定位于距離臉部左邊界WF/8出開始到距離 眼部右邊界WF/8處的區(qū)域。
[0115] 本發(fā)明采用的疲勞監(jiān)測系統(tǒng)，具有監(jiān)測準(zhǔn)確，除了采用采集圖像監(jiān)測作為主要評 判手段以外，還添加了傳感器系統(tǒng)作為輔助監(jiān)測。將兩個監(jiān)測結(jié)果綜合起來作為評判手段， 可以大大提升監(jiān)測的準(zhǔn)確性和科學(xué)性。
[0116] 本發(fā)明將大數(shù)據(jù)和云存儲的概念引用到疲勞監(jiān)測中來。除了針對單次疲勞駕駛進(jìn) 行預(yù)警以外，還可以針對多次疲勞駕駛數(shù)據(jù)，統(tǒng)計出一段時間內(nèi)疲勞駕駛的次數(shù)，根據(jù)這些 數(shù)據(jù)發(fā)出不同程度的預(yù)警。
[0117] 本發(fā)明對傳統(tǒng)的圖像識別算法進(jìn)行了改進(jìn)，主要進(jìn)行了基于膚色聚類的人臉檢 測、眼部感興趣區(qū)域確定、基于Sobel算子的邊緣檢測、采用改進(jìn)積分投影算法確定左右眼 角和上下眼瞼的距離。通過這些來識別駕駛員的眨眼頻率，并根據(jù)眨眼頻率來綜合判定駕 駛員的疲勞程度。
[0118] 本發(fā)明將大數(shù)據(jù)處理結(jié)果和監(jiān)管部門進(jìn)行連接，監(jiān)管部門可以實(shí)時接收到駕駛員 長期精神狀態(tài)的分析。并提煉出某些高危駕駛員的數(shù)據(jù)信息，并由監(jiān)管部門提出預(yù)警，在危 險發(fā)出之時就起到預(yù)防作用。
[0119] 本發(fā)明并不局限于前述的【具體實(shí)施方式】。本發(fā)明擴(kuò)展到任何在本說明書中披露的 新特征或任何新的組合，以及披露的任一新的方法或過程的步驟或任何新的組合。
【主權(quán)項】
1. 一種智能化車載疲勞監(jiān)測系統(tǒng)，其特征在于，所述系統(tǒng)包括:車載端、云端、用戶移動 端和監(jiān)管端;所述車載端包括:視頻采集模塊、編碼處理模塊、算法處理模塊、傳感器系統(tǒng)、 中央處理器和操作界面;所述云端包括:數(shù)據(jù)傳輸裝置、云端數(shù)據(jù)接收裝置和云端處理器； 所述監(jiān)管端包括:監(jiān)管部門數(shù)據(jù)傳輸裝置和監(jiān)管部門處理器;所述用戶移動端包括:移動端 數(shù)據(jù)傳輸模塊和移動端操作界面;所述視頻采集模塊信號連接于編碼處理模塊;所述編碼 處理模塊信號連接于算法處理模塊;所述算法處理模塊信號連接于中央處理器;所述中央 處理器分別信號連接于操作界面、傳感器系統(tǒng)、預(yù)警裝置和數(shù)據(jù)傳輸裝置;所述數(shù)據(jù)傳輸裝 置信號連接于云端數(shù)據(jù)傳輸裝置;所述云端數(shù)據(jù)傳輸裝置分別信號連接于移動端數(shù)據(jù)傳輸 模塊、云端處理器和監(jiān)管部門處理器;所述移動端數(shù)據(jù)傳輸模塊信號連接于移動端操作界 面;所述云端處理器信號連接于監(jiān)管部門數(shù)據(jù)傳輸裝置;所述監(jiān)管部門數(shù)據(jù)傳輸裝置信號 連接于監(jiān)管部門處理器。2. 如權(quán)利要求1所述的智能化車載疲勞監(jiān)測系統(tǒng)及方法，其特征在于，所述視頻采集模 塊，用于采集駕駛員的面部圖像信息，將獲取到的圖像信息發(fā)送至編碼處理模塊;所述編碼 處理模塊用于將接收到的面部圖像信息進(jìn)行數(shù)字視頻編解碼處理，將處理后的面部圖像信 息發(fā)送至算法處理模塊;所述算法處理模塊，用于通過圖像識別算法對接收到的面部圖像 信息進(jìn)行算法處理，判斷駕駛員的精神狀態(tài)，將判斷結(jié)果發(fā)送至中央處理器;所述傳感器系 統(tǒng)，包括:血氧傳感器和酸堿度傳感器;所述血氧傳感器用于實(shí)時監(jiān)測人體的血氧信息，將 監(jiān)測到的血氧信息發(fā)送至中央處理器;所述酸堿度傳感器用于監(jiān)測人體皮膚上的酸堿度 值，將監(jiān)測到的酸堿度值發(fā)送至中央處理器;所述中央處理器，用于根據(jù)接收到的數(shù)據(jù)信息 判斷駕駛員當(dāng)前是否處于疲勞狀態(tài)，將判斷結(jié)果分別發(fā)送至操作界面、預(yù)警裝置和數(shù)據(jù)傳 輸裝置;所述操作界面，用于顯示判斷結(jié)果;所述預(yù)警裝置，用于根據(jù)判斷結(jié)果發(fā)出預(yù)警信 號。3. 如權(quán)利要求2所述的智能化車載疲勞監(jiān)測系統(tǒng)，其特征在于，所述云端處理器，用于 將云端數(shù)據(jù)傳輸裝置發(fā)送過來的數(shù)據(jù)信息存儲在本地，每隔一定周期，對存儲在本地的數(shù) 據(jù)信息進(jìn)行大數(shù)據(jù)統(tǒng)計分析，將分析結(jié)果發(fā)送至監(jiān)管部門數(shù)據(jù)傳輸裝置；以及接受來自監(jiān) 管端的評估結(jié)果，將評估結(jié)果存儲在本地，定期將該評估結(jié)果發(fā)送至用戶移動端。4. 如權(quán)利要求3所述的智能化車載疲勞監(jiān)測系統(tǒng)，其特征在于，所述監(jiān)管部門處理器， 用于根據(jù)云端發(fā)送過來的大數(shù)據(jù)統(tǒng)計分析結(jié)果，對該駕駛?cè)藛T的精神狀態(tài)進(jìn)行人為評估， 將評估結(jié)果經(jīng)云端數(shù)據(jù)傳輸裝置發(fā)送至云端處理器進(jìn)行存儲。5. 如權(quán)利要求4所述的智能化車載疲勞監(jiān)測系統(tǒng)，其特征在于，所述用戶移動端操作界 面，用于將云端發(fā)送過來的評估結(jié)果進(jìn)行顯示。6. -種基于權(quán)利要求1至5之一所述的智能化車載疲勞監(jiān)測系統(tǒng)的方法，其特征在于， 所述算法處理模塊采用的圖像識別方法包括以下步驟： 步驟1:對編碼處理模塊發(fā)送過來的圖像信息進(jìn)行基于膚色聚類的人臉檢測； 步驟2:根據(jù)人臉檢測結(jié)果，根據(jù)眼睛在人臉的幾何位置分布，確定眼睛的大概位置，縮 小眼球檢測的區(qū)域范圍； 步驟3:在縮小的眼球搜索范圍內(nèi)，利用邊緣檢測算法對眼部區(qū)域進(jìn)行邊緣檢測，提取 眼部的邊緣信息，并對其進(jìn)行二值化處理，再對二值化后的眼部區(qū)域進(jìn)行連通成分分析，采 用基于區(qū)域連通的二值圖像濾波方法去除眼部周圍圖像噪聲點(diǎn)的干擾； 步驟4:根據(jù)改進(jìn)的積分投影算法，計算左右眼角和上下眼瞼的距離，確定駕駛員眼睛 的睜閉狀態(tài)； 步驟5:定義眨眼頻率，并據(jù)此實(shí)現(xiàn)疲勞駕駛的檢測。7. 如權(quán)利要求6所述的智能化車載疲勞監(jiān)測方法，其特征在于，所述基于膚色聚類的人 臉檢測方法包括以下步驟： 步驟1:從攝像頭采集到的圖像為RGB格式，利用如下公式實(shí)現(xiàn)將RGB顏色空間到HSV顏 色空間的轉(zhuǎn)換：步驟2:再利用如下公式將駕駛員的膚色區(qū)域檢測出來： r>g&&|r-g| >Ii 340. S < 359P0 < S < 50 0.12<T<0.7&&0.3<V< 1.0 步驟3:然后對人臉進(jìn)行水平和垂直投影，確定臉部的邊界區(qū)域，邊界確定公式如下：其中，h、w分別為用水平和垂直投影求得的臉部區(qū)域的高度和寬度。8. 如權(quán)利要求6所述的智能化車載疲勞監(jiān)測方法，其特征在于，所述眼部感興趣區(qū)域確 定的方法包括以下步驟： 步驟1:假設(shè)檢測到的人臉區(qū)域長度為HF;寬度為WF; 步驟2:在數(shù)垂直方向上，眼睛位于臉部二分之一以上，頭頂以下HF/5的區(qū)域。 步驟3:在水平方向上，眼部邊界區(qū)域得定位于距離臉部左邊界WF/8出開始到距離眼部 右邊界WF/8處的區(qū)域。
【文檔編號】G08B21/06GK105894735SQ201610379858
【公開日】2016年8月24日
【申請日】2016年5月31日
【發(fā)明人】曾麗
【申請人】成都九十度工業(yè)產(chǎn)品設(shè)計有限公司