一種基于車載視頻監(jiān)控的駕駛員吸煙行為實時監(jiān)測方法
【專利摘要】本發(fā)明公開了一種基于車載視頻監(jiān)控的駕駛員吸煙行為實時監(jiān)測方法,包括以下步驟:獲取車載監(jiān)控攝像頭視頻數(shù)據(jù);提取監(jiān)控視頻數(shù)據(jù)的亮度分量;設(shè)定感興趣區(qū)域,并對所述感興趣區(qū)域進行閾值化處理;對閾值化以后視頻幀中的設(shè)定亮度區(qū)域依次進行形態(tài)學(xué)腐蝕運算、形態(tài)學(xué)膨脹運算、進行基于模板的區(qū)域生長后,得到初始掩膜圖像;將形態(tài)學(xué)腐蝕運算后的視頻幀與形態(tài)學(xué)膨脹運算后的視頻幀相減,得到掩模圖像;得到取閾值之后的特征亮度值;根據(jù)取閾值之后的特征亮度值中非零像素的數(shù)量,判斷是否存在吸煙行為。本發(fā)明有益效果:可在大型乘用車輛上實現(xiàn)對駕駛員吸煙行為的實時監(jiān)測和報警,無需人工參與。
【專利說明】
一種基于車載視頻監(jiān)控的駕駛員吸煙行為實時監(jiān)測方法
技術(shù)領(lǐng)域
[0001 ]本發(fā)明涉及一種基于車載視頻監(jiān)控的駕駛員吸煙行為實時監(jiān)測方法。
【背景技術(shù)】
[0002] 大型乘用車輛是重要的交通工具。近年來隨著這類車輛的不斷增多,因交通引發(fā) 的問題也日益凸顯。其中,駕駛員不良駕駛行為是造成交通事故的主要原因。這些駕駛行為 包括行車過程中打手機、吸煙、疲勞駕駛等。在上述駕駛員的不良行為中,吸煙行為可能導(dǎo) 致如下不良后果:導(dǎo)致駕駛員注意力分散,容易引起事故;可能誘發(fā)車內(nèi)火災(zāi);嚴重惡化車 內(nèi)空氣質(zhì)量,引發(fā)乘客的不適,造成乘客投訴。對駕駛員吸煙行為實行有效的遠程監(jiān)測和實 時預(yù)警,一方面能從根源上有效避免駕駛員不安全駕駛行為導(dǎo)致的交通事故,另一方面也 有利于對駕駛員進行更有效的管理,改變駕駛員行車駕駛習(xí)慣,減少交通事故造成的損失。
[0003] 當前針對駕駛員吸煙行為的檢測方法中,包括:利用多信息融合方法實現(xiàn)吸煙行 為的檢測;利用汽車行駛速度、加減速等信息提示駕駛員;利用顏色空間檢測駕駛員手部, 再通過機器學(xué)習(xí)實現(xiàn)動作識別以及利用高斯函數(shù)建模實現(xiàn)對駕駛員主要針對疲勞駕駛的 異常行為的檢測等等;但是,上述方法均無法專門實現(xiàn)針對駕駛員吸煙行為的實時監(jiān)測。
【發(fā)明內(nèi)容】
[0004] 為解決現(xiàn)有技術(shù)的缺陷,本發(fā)明具體公開了一種基于車載視頻監(jiān)控的駕駛員吸煙 行為實時監(jiān)測方法,通過大型乘用車輛內(nèi)部的攝像頭和數(shù)字硬盤錄像機,實時監(jiān)測駕駛員 的吸煙行為并給出報警信息。該方法成本低,可靠性高,易于推廣使用。
[0005] 為實現(xiàn)上述目的,本發(fā)明的具體方案如下:
[0006] -種基于車載視頻監(jiān)控的駕駛員吸煙行為實時監(jiān)測方法,包括以下步驟:
[0007] (1)獲取車載監(jiān)控攝像頭視頻數(shù)據(jù);
[0008] (2)提取監(jiān)控視頻數(shù)據(jù)的亮度分量;
[0009] (3)設(shè)定感興趣區(qū)域,并對所述感興趣區(qū)域進行閾值化處理;對閾值化以后視頻幀 中的設(shè)定亮度區(qū)域進行形態(tài)學(xué)腐蝕運算;
[0010] (4)對形態(tài)學(xué)腐蝕運算后的視頻幀中的設(shè)定亮度區(qū)域進行形態(tài)學(xué)膨脹運算;
[0011] (5)形態(tài)學(xué)膨脹運算后的視頻幀中的設(shè)定亮度區(qū)域進行基于模板的區(qū)域生長,得 到初始掩膜圖像;
[0012] (6)形態(tài)學(xué)膨脹運算后的視頻幀中的設(shè)定亮度區(qū)域進行形態(tài)學(xué)腐蝕運算;并將形 態(tài)學(xué)腐蝕運算后的視頻幀與形態(tài)學(xué)膨脹運算后的視頻幀相減,得到掩模圖像;
[0013] (7)根據(jù)上述掩模圖像得到特征亮度值;將所得到的特征亮度值與設(shè)定閾值進行 對比,得到取閾值之后的特征亮度值;
[0014] 根據(jù)取閾值之后的特征亮度值中非零像素的數(shù)量,判斷是否存在吸煙行為。
[0015] 進一步地,所述步驟(3)中,設(shè)定感興趣區(qū)域具體為:
[0016]
[0017] 其中,Rect_yn(i,j)表示Rect_yn在像素點(i,j)處的亮度分量;&&表示邏輯與運算 符;令Rect_y n表示在yn中人工選定的感興趣區(qū)域,其左上角坐標為(X1,yi),右下角坐標為 (X2,y2); i表示像素點的橫坐標,j表示像素點的縱坐標。
[0018] 進一步地,所述步驟(3)中,對感興趣區(qū)域進行閾值化處理具體為:
[0019]
[0020] 其中,Rect_yn_t (i,j)表示Rect_yn_1^像素點(i,j)處的亮度分量,T為設(shè)定閾值。
[0021] 進一步地,所述步驟(5)中,進行基于模板的區(qū)域生長的方法具體為:
[0022] (a)判定Rect_yn_t_morph_2中設(shè)定亮度值的區(qū)域的邊界點,將這些邊界點記為B, B(i,j)表示在像素點(i,j)處的亮度值;
[0023] (b)$NB(1'W表示(i,j)的鄰域,N(p,q) B(1'W表示(i,j)的鄰域在像素點(p,q)的亮 度分量,P表示橫坐標,q表示縱坐標;如果滿足條件1:
[0024] (N(p,q)B(1'j)#255)&&(Rect_y n_t_morph_2(p,q) = 255);
[0025] 則進行如下操作
[0026] Rect_yn_t_morph_2(p, q) = 255 ;
[0027] 其中Rect_yn_t_morph_2(p, q)表示 Rect_yn_t_morph_2 在像素點(p, q)處的亮度 值;
[0028] (c)重復(fù)執(zhí)行步驟(a)-(b)過程,直至條件1不再滿足為止。
[0029] 進一步地,所述步驟(7)中,根據(jù)掩模圖像得到特征亮度值具體為:
[0030]
[0031 ]其中1^(31:_711_€631:11代(;[,」)表示特征亮度值;1^(31:_7 11(;[,」)表示設(shè)定的感興趣 Rect_yn在像素點(x,y)處的亮度分量;Rect_yn_mask(i,j)表示掩模圖像Rect_y n_mask在像 素點(i,j)處的亮度值。
[0032] 進一步地,所述步驟(7)中,取閾值之后的特征亮度值具體為:
[0033]
[0034] 其中,Tf表示對特征亮度值Rect_yn_feature(i,j)的閾值。
[0035]進一步地,所述步驟(7)中,如果取閾值之后的特征亮度值中非零像素的數(shù)量超過 設(shè)定的閾值,則判斷存在吸煙行為,發(fā)出報警信號。
[0036]本發(fā)明有益效果:
[0037]本發(fā)明可在大型乘用車輛上實現(xiàn)對駕駛員吸煙行為的實時監(jiān)測和報警,無需人工 參與;無需借助機器學(xué)習(xí)或復(fù)雜的數(shù)學(xué)運算實現(xiàn)吸煙行為監(jiān)測,處理速度快,對車載監(jiān)控系 統(tǒng)的軟硬件資源要求不高;算法可移植性好,適用性強。
【附圖說明】
[0038] 圖1為本發(fā)明方法流程圖;
[0039] 圖2為本發(fā)明實施例獲取的視頻輸出格式數(shù)據(jù)示意圖;;
[0040] 圖3為本發(fā)明實施例提取監(jiān)控視頻數(shù)據(jù)的亮度分量示意圖;
[0041] 圖4為本發(fā)明實施例感興趣區(qū)域不意圖;
[0042]圖5為本發(fā)明實施例進行閾值化處理后的視頻幀示意圖;
[0043] 圖6為本發(fā)明實施例進行形態(tài)學(xué)腐蝕運算后的結(jié)果示意圖;
[0044] 圖7為本發(fā)明實施例進行形態(tài)學(xué)膨脹運算后的結(jié)果示意圖;
[0045] 圖8為本發(fā)明實施例進行基于模板的區(qū)域生長后的結(jié)果示意圖;
[0046] 圖9為本發(fā)明實施例得到的特征亮度值示意圖;
[0047] 圖10為本發(fā)明實施例最終得到的結(jié)果示意圖。
【具體實施方式】
[0048] 下面結(jié)合附圖對本發(fā)明進行詳細說明:
[0049] 本發(fā)明方法所需硬件設(shè)備包括車載嵌入式設(shè)備和監(jiān)控攝像頭,兩者通過視頻傳輸 和控制線連接。其中攝像頭用于實現(xiàn)視頻采集,車載嵌入式設(shè)備用于對圖像進行處理以及 實時報警。
[0050] 其中,車載嵌入式設(shè)備通過數(shù)字硬盤錄像機及其控制芯片構(gòu)成,對獲取的圖像進 行本發(fā)明所述的處理步驟后,如果確定存在吸煙行為,則進行報警。
[0051] 本發(fā)明公開了一種基于車載視頻監(jiān)控的駕駛員吸煙行為實時監(jiān)測方法,如圖1所 示,包括以下步驟:
[0052] (1)獲取車載監(jiān)控攝像頭視頻數(shù)據(jù);
[0053] (2)提取監(jiān)控視頻數(shù)據(jù)的亮度分量;
[0054] (3)設(shè)定感興趣區(qū)域,并對所述感興趣區(qū)域進行閾值化處理;對閾值化以后視頻幀 中的設(shè)定亮度區(qū)域進行形態(tài)學(xué)腐蝕運算;
[0055] (4)對形態(tài)學(xué)腐蝕運算后的視頻幀中的設(shè)定亮度區(qū)域進行形態(tài)學(xué)膨脹運算;
[0056] (5)形態(tài)學(xué)膨脹運算后的視頻幀中的設(shè)定亮度區(qū)域進行基于模板的區(qū)域生長,得 到初始掩膜圖像;
[0057] (6)形態(tài)學(xué)膨脹運算后的視頻幀中的設(shè)定亮度區(qū)域進行形態(tài)學(xué)腐蝕運算;并將形 態(tài)學(xué)腐蝕運算后的視頻幀與形態(tài)學(xué)膨脹運算后的視頻幀相減,得到掩模圖像;
[0058] (7)根據(jù)上述掩模圖像得到特征亮度值;將所得到的特征亮度值與設(shè)定閾值進行 對比,得到取閾值之后的特征亮度值;
[0059] 根據(jù)取閾值之后的特征亮度值中非零像素的數(shù)量,判斷是否存在吸煙行為。
[0060] 具體實現(xiàn)方法如下:
[0061] 1.1獲取車載監(jiān)控攝像頭視頻數(shù)據(jù)(YUV420格式)
[0062] 本發(fā)明針對的是車載攝像頭常用的視頻輸出格式Y(jié)UV 4: 2:0。本實施例獲取的視 頻輸出格式數(shù)據(jù)如圖2所示。令攝像頭輸出的視頻幀為vn,其中η表示幀序號。
[0063] 1.2提取監(jiān)控視頻數(shù)據(jù)的亮度分量
[0064]令,表示視頻幀vn的亮度分量,yn(i,j)表示視頻幀vn中的像素點(i,j)處的亮度 分量,其中i表示像素點的橫坐標,j表示像素點的縱坐標。本實施例提取監(jiān)控視頻數(shù)據(jù)的亮 度分量如圖3所不。
[0065] 1.3設(shè)定感興趣區(qū)域
[0066]令Rect_yn表示在yn中人工選定的感興趣區(qū)域(矩形),其左上角坐標為(xi,yi),右 下角坐標為(X2,y2),這里X1表示左上角的橫坐標,yi表示左上角的縱坐標, X2表示右下角的 橫坐標,y2表示右下角的縱坐標。設(shè)定7"中的感興趣區(qū)域,即
[0067]
[0068]其中Rect_yn(i,j)表示Rect_yn在像素點(i,j)處的亮度分量,&&表示邏輯與運算 符。
[0069] 本實施例中感興趣區(qū)域如圖4所示。
[0070] 1.4對感興趣區(qū)域進行閾值化處理
[0071] 令Rect_yn_t表示對Rect_yn進行閾值化處理后的視頻幀,即
[0072]
[0073] 其中Rect_yn_t(i,j)表示像素點(i,j)處的亮度分量,T為閾值。
[0074]本實施例進行閾值化處理后的視頻幀如圖5所示。
[0075] 1.5對感興趣區(qū)域進行腐蝕運算
[0076]對Rect_yn_t中的亮度值為255的區(qū)域進行形態(tài)學(xué)腐蝕運算,即 [0077]
[0078] 其中ReCt_yn_t_m〇rph_l表示Rect_yn_t腐蝕運算后的視頻幀,?表示腐蝕運算符, S為形狀算子。
[0079] 本實施例進行形態(tài)學(xué)腐蝕運算后結(jié)果如圖6所示。
[0080] 1.6對區(qū)域進行膨脹運算
[0081 ] 對Rect_yn_t_morph_l中的亮度值為255的區(qū)域進行形態(tài)學(xué)膨脹運算,即
[0082]
[0083] 其中Rect_yn_t_morph_2表示對Rect_yn_t_morph_l進行膨脹運算后的視頻幀,? 表示膨脹運算符。
[0084]本實施例進行形態(tài)學(xué)膨脹運算后的結(jié)果如圖7所示。
[0085] 1.7對區(qū)域進行基于模板的區(qū)域生長
[0086]對Rect_yn_t_morph_2中的亮度值為255的區(qū)域進行基于模板的區(qū)域生長,本實施 例進行基于模板的區(qū)域生長后的結(jié)果如圖8所示。
[0087]其具體實施過程為:
[0088] (a)判定Rect_yn_t_morph_2中亮度值為255的區(qū)域的邊界點,將這些邊界點記為 8,8(1,」)表示在像素點(1』處的亮度值;
[0089] (b)$NB(1'W表示(i,j)的鄰域,表示(i,j)的鄰域在像素點(p,q)的亮 度分量,P表示橫坐標,q表示縱坐標。如果滿足條件
[0090] (N(p,q)B(1'j)辛 255)&&(Rect_yn_t_morph_2(p,q) = 255)(條件 1)
[0091] 則進行如下操作
[0092] Rect_yn_t_morph_2(p, q) = 255 (5)
[0093]其中Re ct_yn_t_morph_2(p, q)表示Rect_yn_t_morph_2在像素點(i , j)處的亮度 值;
[0094] (c)重復(fù)執(zhí)行步驟(a)-步驟(b)所示過程,直至條件1不再滿足為止。
[0095] 1.8特征提取
[0096] 對由步驟1.7得到的Rect_yn_t_morph_2中亮度值為255的區(qū)域進行形態(tài)學(xué)腐蝕運 算,并且與Rect_yn_t_morph_2相減,即
[0097]
[0098] 其中,Rect_yn_mask表不掩模圖像。又令Rect_yn_mask( i,j)表不Rect_yn_mask在 像素點(i,j)處的亮度值,則
[0099]
[0100] 其中,Rect_yn_feature(i,j)表示特征亮度值。
[0101] 本實施例得到的特征亮度值如圖9所示。
[0102] 1.9輸出檢測結(jié)果
[0103] 令Tf表示對Rect_yn_feature(i,j)的閾值,那么
[0104]
[0105]其中,Rect_yn_feature_T(i,j)表示對Rect_y n_feature(i,j)取閾值之后的結(jié)果。 本實施例得到的結(jié)果如圖10所示。
[0106]若Rect_yn_feature_T( i,j)中非零像素的數(shù)量超過設(shè)定的數(shù)值,則確認存在吸煙 行為。
[0107] 1.10重復(fù)上述步驟
[0108] 獲取由攝像頭拍攝的下一幀視頻圖像(YUV420格式),重復(fù)上述1.1-1.9描述的步 驟。
[0109] 上述雖然結(jié)合附圖對本發(fā)明的【具體實施方式】進行了描述,但并非對本發(fā)明保護范 圍的限制,所屬領(lǐng)域技術(shù)人員應(yīng)該明白,在本發(fā)明的技術(shù)方案的基礎(chǔ)上,本領(lǐng)域技術(shù)人員不 需要付出創(chuàng)造性勞動即可做出的各種修改或變形仍在本發(fā)明的保護范圍以內(nèi)。
【主權(quán)項】
1. 一種基于車載視頻監(jiān)控的駕駛員吸煙行為實時監(jiān)測方法,其特征是,包括W下步驟: (1) 獲取車載監(jiān)控攝像頭視頻數(shù)據(jù); (2) 提取監(jiān)控視頻數(shù)據(jù)的亮度分量; (3) 設(shè)定感興趣區(qū)域,并對所述感興趣區(qū)域進行闊值化處理;對闊值化W后視頻帖中的 設(shè)定亮度區(qū)域進行形態(tài)學(xué)腐蝕運算; (4) 對形態(tài)學(xué)腐蝕運算后的視頻帖中的設(shè)定亮度區(qū)域進行形態(tài)學(xué)膨脹運算; (5) 形態(tài)學(xué)膨脹運算后的視頻帖中的設(shè)定亮度區(qū)域進行基于模板的區(qū)域生長,得到初 始掩膜圖像; (6) 形態(tài)學(xué)膨脹運算后的視頻帖中的設(shè)定亮度區(qū)域進行形態(tài)學(xué)腐蝕運算;并將形態(tài)學(xué) 腐蝕運算后的視頻帖與形態(tài)學(xué)膨脹運算后的視頻帖相減,得到掩模圖像; (7) 根據(jù)上述掩模圖像得到特征亮度值;將所得到的特征亮度值與設(shè)定闊值進行對比, 得到取闊值之后的特征亮度值; 根據(jù)取闊值之后的特征亮度值中非零像素的數(shù)量,判斷是否存在吸煙行為。2. 如權(quán)利要求1所述的一種基于車載視頻監(jiān)控的駕駛員吸煙行為實時監(jiān)測方法,其特 征是,所述步驟(3)中,設(shè)定感興趣區(qū)域具體為:其中,Rect_yn( i , j)表示Rect_y%像素點(i,j)處的亮度分量;&&表示邏輯與運算符; 令Rect_yD表示在yD中人工選定的感興趣區(qū)域,其左上角坐標為(XI,yi),右下角坐標為(X2, 72); i表示像素點的橫坐標,j表示像素點的縱坐標。3. 如權(quán)利要求2所述的一種基于車載視頻監(jiān)控的駕駛員吸煙行為實時監(jiān)測方法,其特 征是,所述步驟(3)中,對感興趣區(qū)域進行闊值化處理具體為:, 其中,Rect_yn_t (i , j)表示1?6(31:_7"_1:在像素點(i , j)處的亮度分量,T為設(shè)定闊值。4. 如權(quán)利要求1所述的一種基于車載視頻監(jiān)控的駕駛員吸煙行為實時監(jiān)測方法,其特 征是,所述步驟(5)中,進行基于模板的區(qū)域生長的方法具體為: (a) 判定Rect_yn_t_mo^h_2中設(shè)定亮度值的區(qū)域的邊界點,將運些邊界點記為B,B(i, j)表示在像素點(i,j)處的亮度值; (b) 令表示(i,j)的鄰域,N(p,q)B(i'"表示(i,j)的鄰域在像素點(p,q)的亮度分 量,P表示橫坐標,q表示縱坐標;如果滿足條件1: (N(p'q)B(i'j)聲255)&&(Rect_yn_t_morph_2(p,q) =255); 則進行如下操作 Rect_y"_t_morph_2(p,q) =255; 其中1?6(31:_7。_1:_1]1〇巧11_2(9,9)表示1^(31:_7。_1:_1]1〇巧11_2在像素點(9,9)處的亮度值; (C)重復(fù)執(zhí)行步驟(a)-(b)過程,直至條件1不再滿足為止。5. 如權(quán)利要求1所述的一種基于車載視頻監(jiān)控的駕駛員吸煙行為實時監(jiān)測方法,其特 征是,所述步驟(7)中,根據(jù)掩模圖像得到特征亮度值具體為:其中Rect_yn_feature(i,j)表示特征亮度值;Rect_yn(i,j)表示設(shè)定的感興趣Rect_yn 在像素點(X,y)處的亮度分量;Rect_yn_mask(i , j)表示掩模圖像Rect_yn_mask在像素點(i, j)處的亮度值。6. 如權(quán)利要求1所述的一種基于車載視頻監(jiān)控的駕駛員吸煙行為實時監(jiān)測方法,其特 征是,所述步驟(7)中,取闊值之后的特征亮度值具體為:其中,T康示對特征亮度值Rect_yn_f ea1:ure (i,j)的闊值。7. 如權(quán)利要求1所述的一種基于車載視頻監(jiān)控的駕駛員吸煙行為實時監(jiān)測方法,其特 征是,所述步驟(7)中,如果取闊值之后的特征亮度值中非零像素的數(shù)量超過設(shè)定的闊值, 則判斷存在吸煙行為,發(fā)出報警信號。
【文檔編號】G08B21/12GK105976570SQ201610339767
【公開日】2016年9月28日
【申請日】2016年5月20日
【發(fā)明人】萬洪林, 白成杰
【申請人】山東師范大學(xué)