亚洲狠狠干,亚洲国产福利精品一区二区,国产八区,激情文学亚洲色图

基于識別模型的多神經(jīng)網(wǎng)絡(luò)結(jié)合的睜眼檢測方法

文檔序號:6555301閱讀:319來源:國知局
專利名稱:基于識別模型的多神經(jīng)網(wǎng)絡(luò)結(jié)合的睜眼檢測方法
技術(shù)領(lǐng)域
本發(fā)明涉及的是一種圖像處理技術(shù)領(lǐng)域的方法,具體的說,涉及的是一種基于識別模型的多神經(jīng)網(wǎng)絡(luò)結(jié)合的睜眼檢測方法。
背景技術(shù)
本發(fā)明提出的方法解決的問題是在得到人臉圖像后,如何識別其眼睛是否睜開。識別人是否睜眼的狀態(tài),可以廣泛應(yīng)用于各類智能交互系統(tǒng),如網(wǎng)絡(luò)遠(yuǎn)程教學(xué)中對學(xué)生注意力的檢測,汽車駕駛中對駕駛員注意力的檢測。然而光照、尺寸、姿態(tài)、眼鏡、眉毛等諸多因素的影響,使該項識別工作成為了一個極具挑戰(zhàn)性的任務(wù)。目前與眼睛相關(guān)的工作主要集中在對眼睛的定位上,即找出睜開或閉合眼睛的位置,主要方法是利用眼睛的先驗知識,如顏色信息、形狀信息、分布信息等,進(jìn)行特征提取,用訓(xùn)練樣本得到特征后,通過匹配特征進(jìn)而識別眼睛,完成定位工作。
經(jīng)對現(xiàn)有技術(shù)的文獻(xiàn)檢索發(fā)現(xiàn),文章Eye detection using color cues andprojection functions in Proc.2002Int.Conf.on Image Processing,2002,vol.3(采用顏色信息和投影函數(shù)的眼睛檢測方法,圖象處理2002年國際會議)提出先利用顏色信息找出皮膚區(qū)域,再在皮膚區(qū)域及其附近尋找眼睛,但是這種方法容易受到光照的影響。文章Detecting and tracking eye by using theirphysiological properties,dynamics and appearance in Proc.Of IEEE Conf.on Computer Vision and Pattern Recognition,2000,vol.1(利用生理特性的眼睛檢測和跟蹤方法,計算機視覺和模式識別2000年IEEE會議)說明了一種采用紅外照明的眼睛檢測方法,但是系統(tǒng)依賴于對外界其他物體紅外反射的限制。文章Robust eye extraction using deformable template and featuretracking ability in Proc.of the Joint Conf.of the Fourth Int.Conf.on Information,Communications and Signal Processing,and the FourthPacific Rim Conf.on Multimedia,2003,vol.3(采用可變模板和特征跟蹤的眼睛分割方法,第四屆信息、通信和信號處理和環(huán)太平洋多媒體聯(lián)合會議)將模板匹配應(yīng)用于眼睛檢測,然而模板匹配不但計算耗時長,而且與眼睛模板的選擇密切相關(guān)。由于真實世界的多樣性和多變性,即使是大量的訓(xùn)練樣本也無法涵蓋所有的情形。

發(fā)明內(nèi)容
本發(fā)明針對現(xiàn)有技術(shù)的不足,在借鑒人識別過程的基礎(chǔ)上,提出了一種識別模型,并在該模型基礎(chǔ)上,提供了一種基于識別模型的多神經(jīng)網(wǎng)絡(luò)結(jié)合的睜眼檢測方法,進(jìn)行有監(jiān)督的學(xué)習(xí),而無須大量的初始訓(xùn)練樣本,可以實現(xiàn)實時的睜眼檢測,并隨著不斷地學(xué)習(xí),檢測性能能得到持續(xù)提高。
本發(fā)明通過以下技術(shù)方案實現(xiàn)的,包括以下步驟A、人臉彩色圖像,通過二值化處理后,對連通區(qū)域進(jìn)行標(biāo)記,在人眼二值圖幾何模型的指導(dǎo)下,篩選連通的區(qū)域,得到可能的人眼區(qū)域。
B、對可能的人眼區(qū)域,進(jìn)行歸一化,再基于識別模型設(shè)計如下多神經(jīng)網(wǎng)絡(luò)結(jié)合的檢測器進(jìn)行檢測。即對可能的人眼區(qū)域,將其歸一化后的二值圖用訓(xùn)練過的徑向基神經(jīng)網(wǎng)絡(luò)(RBF)進(jìn)行識別,若識別到人眼則認(rèn)為檢測到睜眼。若沒有識別到人眼,則進(jìn)行下一步。
C、對可能的人眼區(qū)域,將其歸一化后的灰度圖用訓(xùn)練過的反向神經(jīng)網(wǎng)絡(luò)(BP)進(jìn)行識別,若沒有識別到人眼,則累計連續(xù)沒有檢測到睜眼的次數(shù),若沒有檢測到睜眼的次數(shù)大于6,則認(rèn)為沒有檢測到睜眼。若識別到人眼,則進(jìn)行下一步。
D、若未設(shè)置為有監(jiān)督學(xué)習(xí)狀態(tài),則認(rèn)為檢測到睜眼。若設(shè)置為有監(jiān)督學(xué)習(xí)狀態(tài),則與教師交互,詢問該區(qū)域是否是人眼。若回答是,則保存該人眼二值圖,重新訓(xùn)練徑向基神經(jīng)網(wǎng)絡(luò)。若回答否,則保存該人眼灰度圖,重新訓(xùn)練反向神經(jīng)網(wǎng)絡(luò)。
所述的在人眼二值圖幾何模型的指導(dǎo)下,篩選連通的區(qū)域,得到可能的人眼區(qū)域,是指利用人眼二值圖幾何模型的四類模式上下、左右、斜對和單獨模式,對所有的連通區(qū)域進(jìn)行篩選,留下符合四類模式之一的連通區(qū)域。
所述的識別模型,即輸入待識別物體,首先根據(jù)累積的記憶知識,判斷見過與否,若判斷見過則認(rèn)為識別,若未見過,則再根據(jù)累積的推理知識,判斷是否識別,若判斷不能識別,則認(rèn)為無法識別,若判斷識別,則進(jìn)行咨詢,得到是的回答后,則認(rèn)為識別,并更新記憶知識,得到否的回答后,則認(rèn)為無法識別,并更新推理知識。
所述的多神經(jīng)網(wǎng)絡(luò)結(jié)合,是指對可能的人眼區(qū)域,將其歸一化后的二值圖用訓(xùn)練過的徑向基神經(jīng)網(wǎng)絡(luò)進(jìn)行識別,若輸出與{0,1}的歐式距離大于0.06,則將可能人眼區(qū)域的灰度圖歸一化后,用訓(xùn)練過的反向神經(jīng)網(wǎng)絡(luò)進(jìn)行識別。
所述的徑向基神經(jīng)網(wǎng)絡(luò),是指由徑向基神經(jīng)元層和輸出層組成,輸入矢量通過徑向基神經(jīng)元計算后,再通過BP神經(jīng)元計算,得到最后的輸出。
所述的將其歸一化后的二值圖用訓(xùn)練過的徑向基神經(jīng)網(wǎng)絡(luò)進(jìn)行識別,是指對可能的人眼區(qū)域的二值圖做歸一化處理。將歸一化后的二值圖作為輸入,由徑向基神經(jīng)網(wǎng)絡(luò)的輸出判斷該區(qū)域是否睜開的人眼。
所述的將其歸一化后的灰度圖用訓(xùn)練過的反向神經(jīng)網(wǎng)絡(luò)進(jìn)行識別,是指對可能的人眼區(qū)域的灰度圖做歸一化處理。將歸一化后的灰度圖作為輸入,由反向神經(jīng)網(wǎng)絡(luò)的輸出判斷該區(qū)域是否睜開的人眼。
所述的有監(jiān)督學(xué)習(xí),即在識別過程中,與教師交互,詢問該區(qū)域是否是人眼,若回答是,則保存該人眼二值圖,自動重新訓(xùn)練徑向基神經(jīng)網(wǎng)絡(luò),若回答否,則保存該人眼灰度圖,自動重新訓(xùn)練反向神經(jīng)網(wǎng)絡(luò)。
本發(fā)明在所提出的識別模型基礎(chǔ)上,提出結(jié)合多神經(jīng)網(wǎng)絡(luò)的睜眼檢測方法,發(fā)揮了徑向基神經(jīng)網(wǎng)絡(luò)的“記憶”功能和反向神經(jīng)網(wǎng)絡(luò)的“推理”功能,無須大量的初始訓(xùn)練樣本,并隨著不斷地有監(jiān)督學(xué)習(xí),檢測性能可以得到持續(xù)提高。


圖1是本發(fā)明的邏輯結(jié)構(gòu)圖。
圖2是本發(fā)明中人眼二值圖幾何模型的示意圖。
其中,(a)為上下模式;(b)為左右模式;(c-1)、(c-2)為斜對模式;(d-1)、(d-2)為單獨模式。
圖3是本發(fā)明中識別模型的示意圖。
圖4是本發(fā)明中徑向基神經(jīng)網(wǎng)絡(luò)的示意圖。
圖5是本發(fā)明中反向神經(jīng)網(wǎng)絡(luò)的示意圖。
圖6是本發(fā)明中訓(xùn)練神經(jīng)網(wǎng)絡(luò)部分初始訓(xùn)練樣本的示意圖。
其中,(a-1)、(a-2)為徑向基神經(jīng)網(wǎng)絡(luò)的部分初始訓(xùn)練樣本;(b-1)、(b-2)為反向神經(jīng)網(wǎng)絡(luò)的部分初始訓(xùn)練樣本。
圖7是本發(fā)明實施例的一些睜眼檢測結(jié)果的示例圖。
具體實施例方式
以下結(jié)合附圖以及本發(fā)明技術(shù)方案提供實施例如圖1所示,人臉彩色圖像,首先進(jìn)行二值化處理,即通過最大類間方差法(OSTU)將圖像灰度值范圍改變?yōu)?和1。對連通區(qū)域進(jìn)行標(biāo)記,即將圖像中彼此左右、上下或斜向相鄰的灰度值為1的像素點,標(biāo)記為同一連通區(qū)域,從而得到一組備選區(qū)域。在人眼二值圖幾何模型如圖2的指導(dǎo)下,篩選備選區(qū)域,留下符合四類模式之一的連通區(qū)域,得到可能的人眼區(qū)域。再對可能的人眼區(qū)域,根據(jù)識別模型如圖3,設(shè)計如下多神經(jīng)網(wǎng)絡(luò)結(jié)合的檢測器進(jìn)行檢測。即對可能的人眼區(qū)域,將其歸一化后的二值圖用訓(xùn)練過的徑向基神經(jīng)網(wǎng)絡(luò)如圖4,進(jìn)行識別。歸一化即采用線性插值方法將圖像在尺寸上變化到寬36像素,高20像素的固定大小。若徑向基神經(jīng)網(wǎng)絡(luò)輸出與{0,1}的歐式距離小于0.06,則認(rèn)為該區(qū)域是睜開的人眼。若輸出與{0,1}的歐式距離大于0.06,則將可能人眼區(qū)域的灰度圖歸一化后,用訓(xùn)練過的反向神經(jīng)網(wǎng)絡(luò)如圖5,進(jìn)行識別?;叶葓D像素點的灰度值由彩色圖像對應(yīng)像素點計算得到0.299*紅+0.587*綠+0.114藍(lán)。若反向神經(jīng)網(wǎng)絡(luò)輸出與{0,1}的歐式距離大于0.01,則累計連續(xù)沒有檢測到睜眼的次數(shù),若沒有檢測到睜眼的次數(shù)大于6,則認(rèn)為沒有檢測到睜眼。若反向神經(jīng)網(wǎng)絡(luò)輸出與{0,1}的歐式距離小于0.01,且未設(shè)置有監(jiān)督學(xué)習(xí)狀態(tài),則認(rèn)為該區(qū)域是睜開的人眼。若反向神經(jīng)網(wǎng)絡(luò)輸出與{0,1}的歐式距離小于0.01,且設(shè)置了有監(jiān)督學(xué)習(xí)狀態(tài),則詢問教師,該可能的人眼區(qū)域是否是睜眼。若回答是,則將該區(qū)域的二值圖保存為學(xué)習(xí)樣本,自動重新訓(xùn)練徑向基神經(jīng)網(wǎng)絡(luò)。若回答否,則將該區(qū)域的灰度圖保存為學(xué)習(xí)樣本,自動重新訓(xùn)練反向神經(jīng)網(wǎng)絡(luò)。
如圖2所示,人眼二值圖幾何模型的四類模式上下、左右、斜對和單獨模式。上下模式,即兩個連通區(qū)域中心的水平距離小于其水平寬度和的二分之一,同時垂直距離大于其垂直高度和的二分之一,且小于其垂直高度和的二分之三。左右模式,即兩個連通區(qū)域中心的垂直距離小于其垂直高度和,同時水平距離大于其水平寬度和的二分之一,且小于其水平寬度和的四倍。斜對模式,即兩個連通區(qū)域中心的水平距離大于其水平寬度和的二分之一,且小于其水平寬度和的三倍,同時垂直距離大于其垂直高度和的二分之一,且小于其垂直高度和。單獨模式,即距離某連通區(qū)域中心的水平距離為1.4倍其水平寬度的位置,存在與該連通區(qū)域類似的區(qū)域。與該連通區(qū)域類似的區(qū)域,即區(qū)域中灰度值為1的對應(yīng)像素點占該連通區(qū)域中所有灰度值為1的像素點的比例大于90%。
如圖3所示,輸入待識別物體,首先根據(jù)累積的記憶知識,判斷見過與否,若判斷見過則認(rèn)為可以識別。若未見過,則再根據(jù)累積的推理知識,判斷是否可以識別,若判斷不能識別,則認(rèn)為無法識別。若判斷可以識別,則進(jìn)行咨詢,得到是的回答后,則認(rèn)為可以識別,并更新記憶知識。得到否的回答后,則認(rèn)為無法識別,并更新推理知識。
如圖4所示,徑向基神經(jīng)網(wǎng)絡(luò)由徑向基神經(jīng)元層和輸出層組成。輸入矢量通過徑向基神經(jīng)元計算后,再通過BP神經(jīng)元計算,得到最后的輸出。徑向基神經(jīng)網(wǎng)絡(luò)的輸出設(shè)計為代表未檢測到睜眼的{1,0}和代表檢測到睜眼的{0,1}。學(xué)習(xí)參數(shù)為0.8,學(xué)習(xí)閾值為0.06。
如圖5所示,反向神經(jīng)網(wǎng)絡(luò)由隱層和輸出層組成。輸入矢量通過隱層的BP神經(jīng)元計算后,再通過輸出層的BP神經(jīng)元計算,得到最后的輸出。反向神經(jīng)網(wǎng)絡(luò)的輸出設(shè)計為代表未檢測到睜眼的{1,0}和代表檢測到睜眼的{0,1}。隱層神經(jīng)元數(shù)目為60,學(xué)習(xí)參數(shù)為0.8,學(xué)習(xí)閾值為0.01。
如圖6所示,訓(xùn)練徑向基神經(jīng)網(wǎng)絡(luò)和反向神經(jīng)網(wǎng)絡(luò)的部分初始訓(xùn)練樣本。(a-1)為徑向基神經(jīng)網(wǎng)絡(luò)部分初始的人眼訓(xùn)練樣本;(a-2)為徑向基神經(jīng)網(wǎng)絡(luò)部分初始的非人眼訓(xùn)練樣本。(b-1)為反向神經(jīng)網(wǎng)絡(luò)部分初始的人眼訓(xùn)練樣本;(b-2)為反向神經(jīng)網(wǎng)絡(luò)部分初始的非人眼訓(xùn)練樣本。
如圖7所示,本發(fā)明實施例的一些睜眼檢測結(jié)果示例。檢測到睜眼后,用紅色的矩形框表示睜眼所在的區(qū)域。
由以上實施例可知本發(fā)明無須大量的初始訓(xùn)練樣本,可以實現(xiàn)實時的睜眼檢測,并隨著不斷地學(xué)習(xí),檢測性能能得到持續(xù)提高。
權(quán)利要求
1.一種基于識別模型的多神經(jīng)網(wǎng)絡(luò)結(jié)合的睜眼檢測方法,其特征在于,包括以下步驟A、人臉彩色圖像,通過二值化處理后,對連通區(qū)域進(jìn)行標(biāo)記,在人眼二值圖幾何模型的指導(dǎo)下,篩選連通的區(qū)域,得到可能的人眼區(qū)域;B、對可能的人眼區(qū)域,基于識別模型設(shè)計多神經(jīng)網(wǎng)絡(luò)結(jié)合的檢測器進(jìn)行檢測,即對可能的人眼區(qū)域,將其歸一化后的二值圖用訓(xùn)練過的徑向基神經(jīng)網(wǎng)絡(luò)進(jìn)行識別,若識別到人眼則認(rèn)為檢測到睜眼,若沒有識別到人眼,則進(jìn)行下一步;C、對可能的人眼區(qū)域,將其歸一化后的灰度圖用訓(xùn)練過的反向神經(jīng)網(wǎng)絡(luò)進(jìn)行識別,若沒有識別到人眼,則累計連續(xù)沒有檢測到睜眼的次數(shù),若沒有檢測到睜眼的次數(shù)大于6,則認(rèn)為沒有檢測到睜眼,若識別到人眼,則進(jìn)行下一步;D、若未設(shè)置為有監(jiān)督學(xué)習(xí)狀態(tài),則認(rèn)為檢測到睜眼,若設(shè)置為有監(jiān)督學(xué)習(xí)狀態(tài),則與教師交互,進(jìn)行有監(jiān)督學(xué)習(xí)。
2.根據(jù)權(quán)利要求1所述的基于識別模型的多神經(jīng)網(wǎng)絡(luò)結(jié)合的人眼檢測方法,其特征是,所述的在人眼二值圖幾何模型的指導(dǎo)下,篩選連通的區(qū)域,得到可能的人眼區(qū)域,是指利用人眼二值圖幾何模型的四類模式上下、左右、斜對和單獨模式,對所有的連通區(qū)域進(jìn)行篩選,留下符合四類模式之一的連通區(qū)域。
3.根據(jù)權(quán)利要求2所述的基于識別模型的多神經(jīng)網(wǎng)絡(luò)結(jié)合的人眼檢測方法,其特征是,所述的人眼二值圖幾何模型的四類模式上下、左右、斜對和單獨模式,具體為上下模式,即兩個連通區(qū)域中心的水平距離小于其水平寬度和的二分之一,同時垂直距離大于其垂直高度和的二分之一,且小于其垂直高度和的二分之三;左右模式,即兩個連通區(qū)域中心的垂直距離小于其垂直高度和,同時水平距離大于其水平寬度和的二分之一,且小于其水平寬度和的四倍;斜對模式,即兩個連通區(qū)域中心的水平距離大于其水平寬度和的二分之一,且小于其水平寬度和的三倍,同時垂直距離大于其垂直高度和的二分之一,且小于其垂直高度和;單獨模式,即距離某連通區(qū)域中心的水平距離為1.4倍其水平寬度的位置,存在與該連通區(qū)域類似的區(qū)域;與該連通區(qū)域類似的區(qū)域,即區(qū)域中灰度值為1的對應(yīng)像素點占該連通區(qū)域中所有灰度值為1的像素點的比例大于90%。
4.根據(jù)權(quán)利要求1所述的基于識別模型的多神經(jīng)網(wǎng)絡(luò)結(jié)合的人眼檢測方法,其特征是,所述的將其歸一化后的二值圖用訓(xùn)練過的徑向基神經(jīng)網(wǎng)絡(luò)進(jìn)行識別,是指對可能的人眼區(qū)域的二值圖做歸一化處理,將歸一化后的二值圖作為輸入,由徑向基神經(jīng)網(wǎng)絡(luò)的輸出判斷該區(qū)域是否睜開的人眼。
5.根據(jù)權(quán)利要求1所述的基于識別模型的多神經(jīng)網(wǎng)絡(luò)結(jié)合的人眼檢測方法,其特征是,所述的將其歸一化后的灰度圖用訓(xùn)練過的反向神經(jīng)網(wǎng)絡(luò)進(jìn)行識別,是指對可能的人眼區(qū)域的灰度圖做歸一化處理,將歸一化后的灰度圖作為輸入,由反向神經(jīng)網(wǎng)絡(luò)的輸出判斷該區(qū)域是否睜開的人眼。
6.根據(jù)權(quán)利要求1所述的基于識別模型的多神經(jīng)網(wǎng)絡(luò)結(jié)合的人眼檢測方法,其特征是,所述的識別模型,即輸入待識別物體,首先根據(jù)累積的記憶知識,判斷見過與否,若判斷見過則認(rèn)為識別,若未見過,則再根據(jù)累積的推理知識,判斷是否識別,若判斷不能識別,則認(rèn)為無法識別,若判斷識別,則進(jìn)行咨詢,得到是的回答后,則認(rèn)為識別,并更新記憶知識,得到否的回答后,則認(rèn)為無法識別,并更新推理知識。
7.根據(jù)權(quán)利要求1所述的基于識別模型的多神經(jīng)網(wǎng)絡(luò)結(jié)合的人眼檢測方法,其特征是,所述的多神經(jīng)網(wǎng)絡(luò)結(jié)合,是指對可能的人眼區(qū)域,將其歸一化后的二值圖用訓(xùn)練過的徑向基神經(jīng)網(wǎng)絡(luò)進(jìn)行識別,若輸出與{0,1}的歐式距離大于0.06,則將可能人眼區(qū)域的灰度圖歸一化后,用訓(xùn)練過的反向神經(jīng)網(wǎng)絡(luò)進(jìn)行識別。
8.根據(jù)權(quán)利要求1或者7所述的基于識別模型的多神經(jīng)網(wǎng)絡(luò)結(jié)合的人眼檢測方法,其特征是,所述的徑向基神經(jīng)網(wǎng)絡(luò),是指由徑向基神經(jīng)元層和輸出層組成,輸入矢量通過徑向基神經(jīng)元計算后,再通過BP神經(jīng)元計算,得到最后的輸出。
9.根據(jù)權(quán)利要求1所述的基于識別模型的多神經(jīng)網(wǎng)絡(luò)結(jié)合的人眼檢測方法,其特征是,所述的有監(jiān)督學(xué)習(xí),即在識別過程中,與教師交互,詢問該區(qū)域是否是人眼,若回答是,則保存該人眼二值圖,自動重新訓(xùn)練徑向基神經(jīng)網(wǎng)絡(luò),若回答否,則保存該人眼灰度圖,自動重新訓(xùn)練反向神經(jīng)網(wǎng)絡(luò)。
全文摘要
一種基于識別模型的多神經(jīng)網(wǎng)絡(luò)結(jié)合的睜眼檢測方法,屬于圖像處理領(lǐng)域。本發(fā)明包括A、二值化后標(biāo)記連通區(qū)域,根據(jù)人眼二值圖幾何模型,篩選可能區(qū)域。B、基于識別模型設(shè)計多神經(jīng)網(wǎng)絡(luò)結(jié)合的檢測器。即將二值圖用徑向基神經(jīng)網(wǎng)絡(luò)識別,若識別則檢測到睜眼,若沒有,則進(jìn)行下一步。C、將灰度圖用反向神經(jīng)網(wǎng)絡(luò)識別,若未識別,則累計次數(shù),若次數(shù)大于6,則未檢測到睜眼。若識別,則進(jìn)行下一步。D、若未設(shè)置學(xué)習(xí)狀態(tài),則檢測到睜眼,若設(shè)置,則向教師詢問該區(qū)域是否人眼,若是,則保存二值圖,重新訓(xùn)練徑向基神經(jīng)網(wǎng)絡(luò);若否,則保存灰度圖,重新訓(xùn)練反向神經(jīng)網(wǎng)絡(luò)。本發(fā)明無須大量的初始訓(xùn)練樣本,隨著不斷地有監(jiān)督學(xué)習(xí),檢測性能持續(xù)提高。
文檔編號G06K9/62GK1818930SQ20061002497
公開日2006年8月16日 申請日期2006年3月23日 優(yōu)先權(quán)日2006年3月23日
發(fā)明者陳剛, 申瑞民, 王加俊, 申麗萍, 許世峰, 曾義 申請人:上海交通大學(xué)
網(wǎng)友詢問留言 已有0條留言
  • 還沒有人留言評論。精彩留言會獲得點贊!
1