專利名稱：：眼部檢測裝置、眼部檢測方法及其程序的制作方法
技術(shù)領(lǐng)域：
：本發(fā)明涉及一種從面部圖像檢測眼部的眼部檢測裝置、眼部檢測方法及其程序。
背景技術(shù)：
：已有基于面部圖像判斷眼睛的狀態(tài)、并測定該人的視線方向、推測該人的覺醒程度的方法。為了判定眼睛的狀態(tài)，需要正確檢測面部圖像的眼部。例如，在專利文獻1和專利文獻2中，記載有檢測眼睛開閉狀態(tài)的技術(shù)。在專利文獻l的技術(shù)中，檢測眼睛的位置，設(shè)定包含眼睛的位置的處理對象區(qū)域。然后求出處理對象區(qū)域的濃度值的頻度分布，將其峰值的點作為邊界值，檢測眼睛的區(qū)域，將眼睛的區(qū)域的縱方向長度的最大值作為眼睛的大小。在專利文獻2的技術(shù)中，抽出與眼睛的特征信息一致的特征量，檢測眼睛的位置，從包含眼睛的追蹤區(qū)域內(nèi)的眼睛的詳細濃度的變化，檢測眼睛的開度值以及上瞼的位置。測定基于眼睛的位置或者眼睛的詳細濃度所檢測的眼睛周圍的固定的面部的基準(zhǔn)特征量(例如，鼻孔)、和上瞼的特定位置的上下位置間隔，從眼睛的開度值和上下位置間隔，判定眼睛的開閉狀態(tài)。還有，作為檢測面部中心位置的技術(shù)，有例如專利文獻3。在專利文獻3的技術(shù)中，在面部的兩端范圍內(nèi)，將橫向邊緣投影在橫方向上，制成直方圖?；谥狈綀D的峰值，推定面部的上部和下部位置。然后，將構(gòu)成在縱方向呈白黑白變化的部位的橫向邊緣的各像素的X座標(biāo)的平均值，作為面部中心位置進行檢測。日本專利特開平10-44824號公報日本專利特開2001-307076號公報日本專利特開2006-65673號公報但是，在過去的技術(shù)中，由于要在面部區(qū)域搜索眼睛，因此檢測需要時間，而且有可能出現(xiàn)檢測錯誤。在專利文獻l的方法中，由于以眼睛的特定形狀(例如，上部為弓形)為前提，因此難以區(qū)分細眼或濃眉等情況的個人差別。還有，對于從眼睛和眉毛、鼻子與嘴巴等整體的位置關(guān)系來推定眼睛的位置的方法，其后還需要判別眼睛和眉毛。在首先從面部圖像檢測眼部的方法中，例如如果戴著太陽鏡等，費了時間，仍判定為不能檢測眼睛。在專利文獻2的方法中，在檢測出眼睛后，根據(jù)眼睛的位置檢測鼻孔，再根據(jù)眼睛與鼻孔的位置關(guān)系，判定眼睛的開閉度。因此，有可能將眉毛誤認為眼睛，將眼鏡的鼻架誤認為鼻孔。在專利文獻2中，為了區(qū)別鼻孔附近的皺紋與鼻孔，將最暗位置判定為鼻孔。在利用最暗位置的鼻孔檢測方法中，不能夠區(qū)別同樣拍攝成2個黑點的眼鏡鼻架與鼻孔。
發(fā)明內(nèi)容本發(fā)明考慮到上述狀況，其目的在于提供能夠從面部圖像快速可靠地檢測眼睛的眼部檢測裝置。為實現(xiàn)上述目的，與本發(fā)明的第1觀點有關(guān)的眼部檢測裝置的特征在于具有獲取面部圖像的圖像獲取機構(gòu)、從上述面部圖像中檢測鼻孔的鼻孔檢測機構(gòu)、基于利用上述鼻孔檢測機構(gòu)檢測的鼻孔的位置、在上述面部圖像中設(shè)定眼睛搜索區(qū)域的眼睛搜索區(qū)域設(shè)定機構(gòu)、和在利用上述眼睛搜索區(qū)域設(shè)定機構(gòu)設(shè)定的上述眼睛搜索區(qū)域的范圍內(nèi)、按照規(guī)定的條件、從上述面部圖像的下部向上搜索眼睛的眼部搜索機構(gòu)。希望上述眼部檢測裝置包含有從上述面部圖像檢測嘴巴下部的位置的嘴巴下部檢測機構(gòu)，上述鼻孔檢測機構(gòu)在檢測到復(fù)數(shù)個符合鼻孔的搜索條件的候選鼻孔時，從該復(fù)數(shù)個候選鼻孔中，將最靠近利用上述嘴巴下部檢測機構(gòu)檢測的嘴巴下部的位置的那個判定為鼻孔。還有，上述鼻孔檢測機構(gòu)包含有將上述面部圖像中鼻孔存在的可能性高的區(qū)域設(shè)定為鼻孔搜索區(qū)域的鼻孔搜索區(qū)域設(shè)定機構(gòu)，按照規(guī)定的條件搜索利用上述鼻孔搜索區(qū)域設(shè)定機構(gòu)設(shè)定的上述鼻孔搜索區(qū)域，將相鄰的2個暗處判定為鼻孔。希望上述眼部搜索機構(gòu)具有在利用上述眼睛搜索區(qū)域設(shè)定機構(gòu)設(shè)定的上述眼睛搜索區(qū)域的范圍內(nèi)、從上述眼睛搜索區(qū)域的下方開始、搜索上述面部圖像的從下向上、從明向暗變化的垂直方向邊緣、將最初檢測到的符合規(guī)定條件的上述垂直方向邊緣判定為下瞼的下瞼檢測機構(gòu)、和在利用上述下瞼檢測機構(gòu)檢測的下瞼的上部的區(qū)域、將從下向上、從暗向明變化的垂直方向邊緣判定為上瞼的上瞼檢測機構(gòu)。與本發(fā)明的第2觀點有關(guān)的眼部檢測方法的特征在于具有從面部圖像中檢測鼻孔的鼻孔檢測步驟、基于利用上述鼻孔檢測步驟檢測的鼻孔的位置、在上述面部圖像中設(shè)定眼睛搜索區(qū)域的眼睛搜索區(qū)域設(shè)定步驟、和在利用上述眼睛搜索區(qū)域設(shè)定步驟設(shè)定的上述眼睛搜索區(qū)域的范圍內(nèi)、按照規(guī)定的條件、從上述面部圖像的下部向上搜索眼睛的眼部搜索步驟。與本發(fā)明的第3觀點有關(guān)的眼部檢測程序的特征在于使計算機具有如下機構(gòu)的功能，即從面部圖像中檢測鼻孔的鼻孔檢測機構(gòu)、基于利用上述鼻孔檢測機構(gòu)檢測的鼻孔的位置、在上述面部圖像中設(shè)定眼睛搜索區(qū)域的眼睛搜索區(qū)域設(shè)定機構(gòu)、和在利用上述眼睛搜索區(qū)域設(shè)定機構(gòu)設(shè)定的上述眼睛搜索區(qū)域的范圍內(nèi)、按照規(guī)定的條件、從上述面部圖像的下部向上搜索眼睛的眼部搜索機構(gòu)。利用本發(fā)明的眼部檢測裝置，能夠從面部圖像快速可靠地檢測眼睛。圖1是表示與本發(fā)明的實施方式有關(guān)的眼部檢測裝置的方框圖。圖2是表示本發(fā)明的一個實施方式的眼部檢測裝置的邏輯結(jié)構(gòu)的方框圖。圖3是表示圖1所示的計算機的結(jié)構(gòu)的方框圖。圖4A是表示縱方向邊緣檢測用算符的例子的圖。圖4B是表示橫方向邊緣檢測用算符的例子的圖。圖4C是表示縱方向連續(xù)的濃淡差的例子的圖。圖4D是表示橫方向連續(xù)的濃淡差的例子的圖。圖5是表示確定面部圖像的區(qū)域的數(shù)據(jù)的例子的圖。圖6是表示鼻孔搜索區(qū)域的例子的圖。圖7是表示眼睛搜索區(qū)域的例子的圖。圖8是表示眼部檢測裝置的動作的一個例子的流程圖。圖9是表示面部區(qū)域設(shè)定處理的動作的一個例子的流程圖。圖10是表示鼻孔檢測處理的動作的一個例子的流程圖。圖11是表示鼻孔確定處理的動作的一個例子的流程圖。符號說明1—眼部檢測裝置，2—攝像機(圖像獲取機構(gòu))，5—數(shù)據(jù)保持部，10一計算機，12—圖像存儲器，13—外部存儲部，14一控制部(圖像獲取機構(gòu)、鼻孔檢測機構(gòu)、眼睛搜索區(qū)域設(shè)定機構(gòu)、眼部搜索機構(gòu)、嘴巴下部檢測機構(gòu)、鼻孔搜索區(qū)域設(shè)定機構(gòu)、下瞼檢測機構(gòu)、上瞼檢測機構(gòu))、15—主存儲部，16—發(fā)送接收部(圖像獲取機構(gòu))，21—圖像輸入部(圖像獲取機構(gòu))，22—嘴巴下部檢測部(嘴巴下部檢測機構(gòu))，23—鼻孔搜索區(qū)域設(shè)定部(鼻孔搜索區(qū)域設(shè)定機構(gòu))，24—鼻孔檢測部(鼻孔檢測機構(gòu))，25一眼睛搜索區(qū)域設(shè)定部(眼睛搜索區(qū)域設(shè)定機構(gòu))，26—下瞼檢測部(眼部搜索機構(gòu)、下瞼檢測機構(gòu))，27—上瞼檢測部(眼部搜索機構(gòu)、上瞼檢測機構(gòu))，28—眼睛開閉判定部，51—面部圖像數(shù)據(jù)，52—面部區(qū)域"觜巴下部位置數(shù)據(jù)，53—鼻孔搜索區(qū)域數(shù)據(jù)，54—鼻孔數(shù)據(jù)，55—眼睛搜索區(qū)域數(shù)據(jù)，56—瞼數(shù)據(jù)實施方式以下，參照附圖詳細說明本發(fā)明的實施方式。另外，圖中同一或相似部分采用同一符號來表示，不重復(fù)進行說明。圖l是表示與本發(fā)明的一個實施方式有關(guān)的眼部檢測裝置的結(jié)構(gòu)的方框圖。本實施方式的眼部檢測裝置1具有拍攝駕駛員的面部并生成面部圖像的攝像機2(面部圖像生成機構(gòu))、對駕駛員的面部進行照明的照明光源3、檢測駕駛員的眼部的計算機10、和與計算機10連接的顯示裝置7。另外，顯示裝置7并不是必需的結(jié)構(gòu)要素，如果不需要顯示面部圖像和檢測結(jié)果或判定結(jié)果，則不一定需要設(shè)置顯示裝置7。攝像機2利用例如CCD(ChargeCoupledDevice)等，將透鏡的成像轉(zhuǎn)換為電信號，將每個像素進行數(shù)字化，輸出圖像數(shù)據(jù)。攝像機2獲取例如駕駛員的面部的灰度圖像。利用攝像機2生成的圖像數(shù)據(jù)不僅包括駕駛員的面部，還包括其背景等。顯示裝置7由LCD(LiquidCrytalDisplay)或CRT(CathodeRayTube)等構(gòu)成，顯示根據(jù)攝像機2拍攝的面部圖像所生成的2值化圖像。計算機10對利用攝像機2獲取的圖像數(shù)據(jù)進行處理，檢測面部的左右兩端位置、上下位置。駕駛者的面部的左右兩端位置，例如根據(jù)直方圖的峰值檢測出來，該直方圖通過計算出邊緣后將這些邊緣在縱方向進行投影而生?；谠摍z測的左右兩端位置、上下位置，檢測鼻孔?；诒强椎奈恢?，設(shè)定搜索眼部的區(qū)域(眼睛搜索區(qū)域)。然后，檢測眼睛搜索區(qū)域中的上下瞼。圖2是表示本發(fā)明的一個實施方式的眼部檢測裝置1的邏輯結(jié)構(gòu)的方框圖。眼部檢測裝置1由攝像機2、圖像輸入部21、嘴巴下部檢測部22、鼻孔搜索區(qū)域設(shè)定部23(鼻孔搜索區(qū)域設(shè)定機構(gòu))、鼻孔檢測部24(鼻孔檢測機構(gòu))、眼腈搜索區(qū)域設(shè)定部25(眼睛搜索區(qū)域設(shè)定機構(gòu))、下瞼檢測部26(下瞼檢測機構(gòu))、上瞼檢測部27(上瞼檢測)、眼睛開閉判定部28、顯示處理部29、數(shù)據(jù)保持部5、和顯示裝置7等構(gòu)成。數(shù)據(jù)保持部5中存儲有面部圖像數(shù)據(jù)51、面部區(qū)域嘴巴下部位置數(shù)據(jù)52、鼻孔搜索區(qū)域數(shù)據(jù)53、鼻孔數(shù)據(jù)54、眼睛搜索區(qū)域數(shù)據(jù)55、和瞼數(shù)據(jù)56。眼部檢測裝置1從面部圖像檢測眼部的一對上瞼和下瞼。該下瞼檢測部和上瞼檢測部作為眼睛搜索部工作(眼睛搜索機構(gòu))圖3是表示眼部檢測裝置1的物理結(jié)構(gòu)的一個例子的方框圖。如圖3所示，計算機10具有發(fā)送接收部16、圖像存儲器12、外部存儲部13、控制部14、主存儲部15、顯示控制裝置17、和光源控制裝置18。圖像存儲器12、外部存儲部13、主存儲部15、發(fā)送接收部16、顯示控制裝置17、和光源控制裝置18均通過內(nèi)部總線11，與控制部14連接?？刂撇?4由CPU(CentralProcessingUnit)等構(gòu)成，根據(jù)存儲在外部存儲部13中的程序，進行圖像輸入部21、嘴巴下部檢測部22、鼻孔搜索區(qū)域設(shè)定部23、鼻孔檢測部24、眼睛搜索區(qū)域設(shè)定部25、下瞼檢測部26、上瞼檢測部27、眼睛開閉判定部28和顯示處理部29的處理。通過控制部14和在其上面運行的程序，實現(xiàn)圖像輸入部21、嘴巴下部檢測部22、鼻孔搜索區(qū)域設(shè)定部23、鼻孔檢測部24、眼睛搜索區(qū)域設(shè)定部25、下瞼檢測部26、上瞼檢測部27、眼睛開閉判定部28和顯示處理部29。主存儲部15由RAM(Random-AccessMemory)等構(gòu)成，用作控制部14的工作領(lǐng)域。主存儲部15的一部分和圖像存儲器12，被分配給數(shù)據(jù)保持部5作為存儲領(lǐng)域。外部存儲部13由閃速存儲器、硬盤、DVD(DigitalVersatileDisc)、DVD-RAM(DigitalVersatileDiscRandom-AccessMemory)、DVD-RW(DigitalVersatileDiscRewritable)等非易失性存儲器構(gòu)成，預(yù)先存儲用來讓控制部14進行上述處理的程序。還有，根據(jù)控制部14的指示，向控制部14供給該程序的數(shù)據(jù)，并存儲從控制部14供給的數(shù)據(jù)。進而，控制部14根據(jù)外部存儲部13中所存儲的程序數(shù)據(jù)，執(zhí)行程序。例如，有時在外部存儲部13存放時間系列圖像數(shù)據(jù)。在有用于眼睛檢測裝置1的網(wǎng)絡(luò)時，發(fā)送接收部16由調(diào)制解調(diào)器或網(wǎng)絡(luò)終端裝置、以及與這些裝置連接的串行接口或LAN(LocalAreaNetwork)接口、或全國電視系統(tǒng)委員會接口(NTSC接口)等構(gòu)成?？刂撇?4經(jīng)由發(fā)送接收部16，從攝像機2輸入圖像數(shù)據(jù)。屈像存儲器12存儲攝像機12生成的、經(jīng)由發(fā)送接收部16輸入的圖像數(shù)據(jù)。顯示控制裝置17在控制部14的控制下，對顯示裝置7進行控制。光源控制裝置18控制照明光源3的開燈、關(guān)燈等?？刂撇?4通過運行存放在外部存儲部13中的程序，對通過攝像機2獲取的圖像數(shù)據(jù)進行處理，檢測面部的兩端位置、上下位置，并基于該檢測的兩端位置、上下位置，搜索眼睛搜索區(qū)域中的候選上下瞼，在該候選上下瞼中，選擇最符合上下瞼條件的候選作為上下瞼?；氐綀D2，說明眼部檢測裝置1的各部分的作用。攝像機2拍攝面部圖像。圖像輸入部21每隔一定時間間隔，從攝像機2輸入時間系列的圖像數(shù)據(jù)，并將其作為面部圖像數(shù)據(jù)51存儲在數(shù)據(jù)保持部5中。嘴巴下部檢測部22從面部圖像數(shù)據(jù)51中抽出面部區(qū)域，在面部區(qū)域中檢測嘴巴下部。為了抽出面部區(qū)域，例如，從面部圖像中計算面部輪廓的邊緣。或者，也可以通過面部輪廓的圖形匹配，抽出面部輪廓。通過在面部輪廓范圍內(nèi)從上起檢測眉毛的邊緣、從下起檢測嘴巴下部的邊緣，來設(shè)定面部區(qū)域。將所檢測的嘴巴下部的位置與面部區(qū)域作為面部區(qū)域/嘴巴下部位置數(shù)據(jù)52，存儲在數(shù)據(jù)保持部5中。圖4A至圖4D為說明邊緣計算用的固定數(shù)據(jù)的例子。外部存儲部13如圖4A和圖4B所示，存放有水平方向邊緣檢測用和垂直方向邊緣檢測用佐貝爾(sobd)過濾器的算符。本發(fā)明中，將圖像中沿水平方向其亮度從明到暗、或者從暗到明發(fā)生變化的連續(xù)點稱作水平方向邊緣。水平方向邊緣的點大致在縱方向連續(xù)，故也可稱為縱邊緣。還有，將沿垂直方向其亮度從明到暗、或者從暗到明發(fā)生變化的連續(xù)點稱作垂直方向邊緣。垂直方向邊緣的點大致在橫方向連續(xù)，故也可稱為橫邊緣。圖4A所示的水平方向邊緣(縱邊緣)檢測用佐貝爾過濾器是用于抽出圖4C所示的縱方向連續(xù)的濃淡差的邊界(邊緣)的算符。圖4B所示的垂直方向邊緣(橫邊緣)檢測用佐貝爾過濾器是用于抽出圖4D所示的橫方向連續(xù)的濃淡差的邊界(邊緣)的算符。如圖5所示，將例如面部輪廓的最大寬度、和從眉毛上部的邊緣至嘴巴下部的邊緣的范圍作為面部區(qū)域F。鼻孔搜索區(qū)域設(shè)定部23設(shè)定從面部區(qū)域，嘴巴下部位置52搜索鼻孔的鼻孔搜索區(qū)域。利用嘴巴下部位置與基于統(tǒng)計數(shù)據(jù)的比值，設(shè)定面部區(qū)域F中的鼻孔搜索區(qū)域。特別是在面部的中央部設(shè)定鼻孔搜索區(qū)域。還有，可以在從所檢測的嘴巴下部位置向上方向偏離規(guī)定距離的位置處，設(shè)定鼻孔搜索區(qū)域。例如，當(dāng)可以在面部圖像中設(shè)定面部區(qū)域F時，調(diào)查統(tǒng)計一定能夠檢測出鼻孔的最小范圍，將其作為鼻孔搜索區(qū)域N。鼻孔搜索區(qū)域設(shè)定部23將所設(shè)定的鼻孔搜索區(qū)域N作為鼻孔搜索區(qū)域數(shù)據(jù)53，存儲在數(shù)據(jù)保持部5中。圖6是表示鼻孔搜索區(qū)域N的例子的圖。圖6中單點劃線所包圍的范圍表示鼻孔搜索區(qū)域N。例如，面部區(qū)域F的高為H、寬為W時，在從嘴巴下部位置M向上2/16H的位置、橫方向為面部區(qū)域F的中央處，將高為9/16H和寬為6/16W的長方形區(qū)域設(shè)定為鼻孔搜索區(qū)域N。鼻孔檢測部24在鼻孔搜索區(qū)域N的范圍內(nèi)，搜索2個相鄰的大致圓形的暗處，檢測鼻孔(確定機構(gòu))。例如，在鼻孔搜索區(qū)域N的范圍內(nèi)，檢測水平方向邊緣和垂直方向邊緣。這里，將從左向右從明到暗變化的點作為縱負邊緣，將從左向右從暗到明變化的點作為縱正邊緣。還有，將從上向下從明到暗變化的點作為橫負邊緣，將從上向下從暗到明變化的點作為橫正邊緣。當(dāng)朝著面部圖像時，鼻孔之一的縱負邊緣在左，縱正邊緣在右，橫負邊緣在上，橫正邊緣在下。鼻孔中的任一個都被4個不同的邊緣所包圍，且向中央呈暗狀。當(dāng)這4種邊緣分別為朝著外側(cè)的明亮區(qū)域中央呈鼓起的凸形狀，且邊緣兩端按照上述順序重疊時，將作為鼻孔之一的候選。當(dāng)檢測到這種邊緣的集合為2個相鄰地橫向排列時，則將其作為候選鼻孔。有時，會在鼻孔搜索區(qū)域N中檢測出2個以上的候選鼻孔。例如，眼鏡梁部支在鼻子上面的鼻架有時會被檢測為候選鼻孔。如果檢測到復(fù)數(shù)個候選鼻孔，則將其中最靠近嘴巴下部位置M的候選鼻孔判定為鼻孔。鼻孔檢測部24將所檢測的鼻孔作為鼻孔數(shù)據(jù)54，存儲在數(shù)據(jù)保持部5中。通過設(shè)定鼻孔搜索區(qū)域N，并在該區(qū)域中搜索鼻孔，能夠高效地檢測鼻孔。還有，即使在檢測到復(fù)數(shù)個候選鼻孔時，也能夠可靠地將鼻孔搜索區(qū)域N中的最靠近嘴巴下部位置M的候選鼻孔判定為鼻孔。眼睛搜索區(qū)域設(shè)定部25基于鼻孔的位置，設(shè)定面部區(qū)域F中的眼睛搜索區(qū)域。當(dāng)能夠在面部圖像中設(shè)定面部區(qū)域F時，調(diào)査統(tǒng)計一定能夠檢測出眼睛的最小范圍，將其作為眼睛搜索區(qū)域，例如，可以將面部區(qū)域F的高或?qū)挼拈L度乘以規(guī)定的比值后的長度作為長方形的邊長，在鼻孔上面離開一定的間隔進行設(shè)置該長方形，將其作為眼睛搜索區(qū)域。眼睛搜索區(qū)域設(shè)定部25將所設(shè)定的眼睛搜索區(qū)域作為眼睛搜索區(qū)域數(shù)據(jù)55，存儲在數(shù)據(jù)保持部5中。如上所述，本實施方式中，該眼睛搜索區(qū)域E被分割成兩個眼睛搜索區(qū)域，且都被標(biāo)注為眼睛搜索區(qū)域E。圖7是表示眼部搜索區(qū)域E的例子的圖。圖7中單點劃線所包圍的2個長方形表示眼睛搜索區(qū)域E。例如，面部區(qū)域?qū)挒閃時，眼睛搜索區(qū)域E之一為高為0.35W和寬為0.26W的12長方形。從鼻孔的重心Cn上面0.08W開始，且左右以鼻孔的重心Cn為中心間隔0.13W，設(shè)置2個長方形，將其作為眼睛搜索區(qū)域E。通過在垂直方向上對眼睛搜索區(qū)域E進行掃描，檢測出上下瞼。例如，當(dāng)從眼睛搜索區(qū)域E的下部開始掃描時，下瞼首先被檢測出來，此后根據(jù)所檢測出的下瞼的位置，檢測出上瞼。相反，當(dāng)從眼睛搜索區(qū)域E的上部開始掃描時，上瞼首先被檢測出來，此后根據(jù)所檢測出的上瞼的位置，檢測出下瞼。本實施方式中，釆用從眼睛搜索區(qū)域E的下部開始掃描情況作為檢測上下瞼的例子進行說明。下瞼檢測部26在眼睛搜索區(qū)域E中搜索下瞼。下面以眼睛搜索區(qū)域E中的一個眼瞼為例，對下瞼檢測處理進行說明。例如，利用圖4B所示的過濾器，從眼睛搜索區(qū)域E的下部開始掃描，計算垂直方向邊緣。多數(shù)情況下，從下部開始掃描眼睛搜索區(qū)域E，可以將最初檢測的規(guī)定長度以上的橫正邊緣(從上向下從暗到明變化的邊緣)作為下瞼。如果被拍攝體戴有眼鏡時，有時會檢測到鏡框。但是，戴有眼鏡時，由于鼻孔檢測部24會檢測到鼻架，因此容易推定鏡框。還有，由于鏡框比眼睛和眉毛還細，上下邊緣基本平行，因此容易進行判斷。下瞼檢測部26將所檢測的下瞼作為瞼數(shù)據(jù)56的一部分，存儲在數(shù)據(jù)保持部5中。上瞼檢測部27在下瞼的上面的區(qū)域中檢測上瞼。下面以眼睛搜索區(qū)域E中的一個眼瞼為例，對上瞼檢測處理進行說明。例如，利用圖4B所示的過濾器，從下向上掃描下瞼的上面，將最初檢測的規(guī)定長度以上的橫負邊緣(從上向下從明到暗變化的邊緣)作為上瞼。本實施方式中，采用從眼睛搜索區(qū)域E的下部開始掃描情況作為檢測上下瞼的例子進行說明。但也可以從眼睛搜索區(qū)域E的上部開始掃描來檢測上下瞼。例如，在從眼睛搜索區(qū)域E的上部開始掃描時，上瞼檢測部27搜索出從上向下從明到暗變化的垂直變化邊緣(橫負邊緣)，從而檢測出第一個滿足規(guī)定條件的垂直變換邊緣。此后，上瞼檢測部27將最初檢測出的垂直變化邊緣確定為上瞼。在從眼睛搜索區(qū)域E的上部開始掃描時，下瞼檢測部26對所檢測出的上瞼下部的區(qū)域進行搜索，以檢測出下瞼。由于從下部開始掃描基于鼻孔所設(shè)定的眼睛搜索區(qū)域E來檢測，因此可以確定下瞼。以一個眼睛搜索區(qū)域E為例，在下瞼的上面最初檢測到的橫負邊緣，除了虹膜的上邊緣外，只能是上瞼。如果放棄不滿規(guī)定長度的邊緣，則可以將從下搜索而得的最初橫負邊緣作為上瞼。因此，對上瞼檢測部27進行設(shè)置，使其不檢測長度小于規(guī)定的長度的邊緣。上瞼檢測部27將檢測到的左右上瞼作為瞼數(shù)據(jù)56的一部分，存儲在數(shù)據(jù)保持部5中。眼睛開閉判定部28根據(jù)一對上瞼與下瞼，計算眼睛的開閉程度。開閉程度(開度)可以為例如上瞼的中心與下瞼的中心的距離。下面以一對上下瞼(某個駕駛員的眼睛)為例，對計算和確定眼睛開度水平的處理進行說明。將上下瞼對和其開度與時間系列對應(yīng)，如果判定幵度的變化為眨眼，則判定不是閉眼。例如，開度為規(guī)定值以上的候選瞼在規(guī)定幀數(shù)以下的圖像中，開度變小，然后又變大，則判定為眨眼。還有，例如，對于規(guī)定幀數(shù)以上的連續(xù)圖像，如果瞼的開度小于規(guī)定值，則判定為閉眼。瞼的開度也可以用于其他處理中。例如，如果判定為閉眼，則可以判定為打瞌睡。還有，利用眼睛的開度再加上面部的朝向，可以推定視線的方向。顯示處理部29將檢測結(jié)果的上下瞼與面部輪廓一起顯示在顯示裝置7上。還有，在判定上下瞼的開閉度、打瞌睡時，也可以通過音響等進行警告提示。還有，也可以顯示所推定的視線的方向。接著，說明眼部檢測裝置1的動作。另外，眼部檢測裝置1的動作由控制部14與攝像機2、發(fā)送接收部16、圖像存儲器12、外部存儲部13和主存儲部15協(xié)同進行。圖8是表示眼部檢測裝置1的動作的一個例子的流程圖?？刂撇?4經(jīng)由發(fā)送接收部16，輸入來自攝像機2的時間序列的面部圖像(步驟S1)。然后，如前所述，設(shè)定面部區(qū)域F(步驟S2)。圖9是表示在步驟S2的面部區(qū)域設(shè)定處理的動作的一個例子的流程圖?？刂撇?4從數(shù)據(jù)保持部5讀出面部圖像數(shù)據(jù)51，在橫方向(水平方向)對該面部圖像的像素值進行微分(步驟A1)。具體來說，計算各像素的亮度和與該像素相鄰的像素的亮度的差值，生成邊緣部抽出圖像。在邊緣部抽出圖像中，只抽出背景的縱邊緣和面部圖像的縱邊緣。即使在駕駛員的面部沒有動作的情況下，也抽出這些縱邊緣。另外，將邊緣部抽出圖像的像素值(亮度的微分值)在縱方向(垂直方向)進行投影所得到的直方圖中，由于所有的邊緣部的強度基本相等，因此不能確定面部的兩端位置。控制部14對面部圖像的像素值進行時間微分(步驟A2)。具體來說，計算某一時刻的各像素的亮度與其緊鄰前面的圖像的各像素的亮度的差值，生成只強調(diào)了運動對象的像素值時間微分圖像。由于駕駛員在駕駛中不會完全靜止，因此在像素值時間微分圖像中，只著重檢測運動的東西的輪廓、即駕駛員的面部輪廓。與此對應(yīng)，對于窗戶、支柱、頭枕等背景由于完全不動，則基本上不留下來。但是，在像素值時間微分圖像中，在駕駛員老動時，面部的輪廓被檢測出來，而在駕駛員基本不動時，基本上檢測不出什么。此時，需要如下的處理。控制部14將邊緣部抽出圖像與像素值時間微分圖像進行合成，生成第1合成圖像(步驟A3)，將第1合成圖像的像素值(亮度)在縱方向進行投影，生成直方圖。第l合成圖像為邊緣部抽出圖像與像素值時間微分圖像的合成圖像。這樣，不論是駕駛員動的情況還是不動的情況，第1合成圖像中都會顯出駕駛員的面部的縱邊緣或者輪廓。另外，也可以將邊緣部抽出圖像的像素值與像素值時間微分圖像的像素值分別在縱方向投影，生成2個直方圖，將該2個直方圖進行合計。然后，從第l合成圖像的直方圖中檢測峰值(步驟A4)。控制部14從在第1合成圖像的直方圖中檢測到的復(fù)數(shù)個峰值中，檢測出具有與人的面部寬度最吻合的峰值間隔的2個峰值，將該2個峰值作為面部的左右位置檢測出來(步驟A5)。另外，面部左右位置檢測子程序并不局限于上述例子，也可以為例如如下的內(nèi)容。例如，控制部14在步驟A2中，采用面部圖像作為像素值的時間微分運算的對象，但也可以采用邊緣部抽出圖像來取代。即，也可以在步驟A2，對邊緣部抽出圖像的像素值(亮度)進行時間微分，生成邊緣部時間微分圖像。這樣，從邊緣部抽出圖像內(nèi)的復(fù)數(shù)個縱邊緣中，消去窗、頭枕等完全不會運動的背景的縱邊緣，只抽出運動的面部圖像中的縱邊緣。步驟A3之后，與上述相同。另外，也可以在步驟A3和A4中，控制部14與上述一樣，將邊緣部抽出圖像與邊緣部時間微分圖像進行合成，生成第2合成圖像，將第2合成圖像的像素值(亮度)在縱方向進行投影，生成直方圖，從該直方圖中檢測峰值。接著，控制部14在面部的兩端范圍內(nèi)，將橫邊緣在橫方向進行投影，生成直方圖。利用該直方圖，在相當(dāng)于眉、目、嘴的部分生成峰值。然后，基于直方圖的峰值，檢測面部的上、下位置(步驟A6)。此時，也可以在面部的兩端范圍內(nèi)，從上部開始搜索垂直方向邊緣，檢測眉毛的上部的邊緣。從下部開始搜索垂直方向邊緣，檢測嘴巴下部的邊緣。設(shè)定被面部的左右端、眉毛上部和嘴巴下部位置M所包圍的面部區(qū)域F的座標(biāo)(步驟A7)，再回到眼部檢測處理(圖8)。另外，面部左右位置和上下位置的檢測方法并不局限于上述例子，也可以是采用其他的樣板匹配或距離圖像的方法?；氐綀D8的流程圖，設(shè)定面部區(qū)域F中的鼻孔搜索區(qū)域N(步驟S3)。如前所述，例如，利用嘴巴下部位置M與基于統(tǒng)計數(shù)據(jù)的比值，設(shè)定面部區(qū)域F中的鼻孔搜索區(qū)域N?？刂撇?4在所設(shè)定的鼻孔搜索區(qū)域N的范圍內(nèi)，檢測鼻孔(步驟S4)。圖10是表示步驟S4的鼻孔檢測處理的動作的一個例子的流程圖?？刂撇?4計算面部區(qū)域F的范圍內(nèi)的像素的平均亮度，計算用于根據(jù)該平均亮度識別明暗的明暗閾值(步驟B1)。接著，從鼻孔搜索區(qū)域N的范圍的像素中，搜索其亮度值低于(暗于)明暗閾值的像素。然后，計算連續(xù)的低亮度像素群的似然度，生成鼻孔搜索區(qū)域N的似然度圖(步驟B2)。連續(xù)的低亮度像素群的圓似然度可以釆用例如上述低亮度像素群的周圍的4種邊緣中、相對于邊緣的長度的邊緣中點與重心之間的距離?；蛘?，也可以利用越圓、其面積與周長的比值越大的現(xiàn)象，采用低亮度像素群內(nèi)的像素數(shù)與構(gòu)成低亮度像素群的邊界的像素的個數(shù)之比?？刂撇?4根據(jù)似然度圖中的最大似然度，計算似然度的閾值(步驟B3)。將超過似然度閾值的低亮度像素群作為候選鼻孔(步驟B4)。此時，將距離近的候選鼻孔組成一對?？刂撇?4從候選鼻孔(對)中，將具有最高似然度的候選之對決定為鼻孔(步驟B5)。也可以將候選鼻孔中最靠近嘴巴下部位置M的候選判定為鼻孔。圖11是表示鼻孔確定處理的動作的一個例子的流程圖?？刂撇?4從候選鼻孔(對)中，選擇l個作為候選鼻孔n。然后，計算候選鼻孔n的重心與嘴巴下部位置M之間的距離Ln(步驟C1)。對于剩下的候選鼻孔，令i-l，選擇候選鼻孔i(C2)。計算候選鼻孔i的重心與嘴巴下部位置間的距離Li(步驟C3)。比較距離Ln與Li，如果Ln大于Li(步驟C4:否)，則將Li代入Ln，將選擇了此時序號i的候選鼻孔i作為候選鼻孔n(步驟C5)。如果Ln為Li以下(步驟C4:是)，則不替換所選擇的候選鼻孔。累加序號i(步驟C6)，如果存在候選鼻孔i(步驟C7:是)，則回到步驟C3，循環(huán)進行距離比較(步驟C3-C6)。如果沒有了候選鼻孔(步驟C7:否)，則將此時的候選鼻孔n確定為鼻孔(步驟C8)，回到鼻孔檢測處理。從鼻孔檢測處理再回到圖8的眼部檢測處理，基于鼻孔的位置，設(shè)定眼睛搜索區(qū)域E(步驟S5)(眼睛搜索區(qū)域設(shè)定步驟)。如前所述，例如將面部區(qū)域F的高或?qū)挼拈L度乘以規(guī)定的比值后的長度作為長方形的邊長，在鼻孔上面離開一定的間隔設(shè)置該長方形，將其作為眼睛搜索區(qū)域E?？刂撇?4計算面部區(qū)域F的范圍內(nèi)的像素的平均亮度，計算用于根據(jù)該平均亮度識別明暗的明暗閾值(步驟S6)。也可以采用在鼻孔檢測處理(圖10的步驟B1)計算得到的明暗閾值。然后，進行上下瞼檢測處理(步驟S7)。該下瞼檢測部和上瞼檢測部作為眼睛搜索部工作(眼睛搜索機構(gòu))控制部14在眼睛搜索區(qū)域E的范圍中，從下開始搜索其亮度值低于(暗于)明暗閾值的像素。將從下向上從明到暗變化的、規(guī)定長度以上的垂直方向邊緣作為下瞼。然后，從所檢測的下瞼向上檢測上瞼。將從下向上從暗到明變化的、規(guī)定長度以上的垂直方向邊緣作為上瞼。根據(jù)所檢測的上下瞼，判定眼睛的開閉度(步驟S8)。例如，根據(jù)一對上瞼和下瞼的邊緣所夾持的部分的像素數(shù)，判定是開眼還是閉眼。如上所述，從面部圖像檢測鼻孔，基于鼻孔設(shè)定眼睛搜索區(qū)域E。然后，在眼睛搜索區(qū)域E的范圍內(nèi)，從下開始檢測下瞼，然后在下瞼的上面部分檢測上瞼。因此，利用本發(fā)明的眼部檢測裝置1，能夠從面部圖像快速可靠地檢測眼睛。還有，基于面部區(qū)域F的特征，設(shè)定鼻孔搜索區(qū)域N，在鼻孔搜索區(qū)域N的范圍內(nèi)，利用鼻孔的特征進行檢測。另外，當(dāng)檢測到復(fù)數(shù)個候選鼻孔時，將最靠近嘴巴下部位置的候選鼻孔判定為鼻孔。因此，能夠快速可靠地檢測鼻孔。其結(jié)果，由于能夠在適當(dāng)?shù)姆秶鷥?nèi)設(shè)定眼睛搜索區(qū)域E，因此能夠高效地檢測上下瞼。另外，上述硬件結(jié)構(gòu)和流程圖只是一個例子，可以任意變更、修正。進行由控制部14、發(fā)送接收部16、圖像存儲器12、外部存儲部13和主存儲部15等構(gòu)成的眼部檢測裝置1的處理的、成為中心的部分可以不采用專用系統(tǒng)，而利用通常的計算機系統(tǒng)來實現(xiàn)。例如，也可以將進行上述動作的計算機程序保存在計算機可以讀取的存儲媒體(軟盤、CD-ROM、DVD-ROM等)中進行分發(fā)，將該計算機程序安裝到計算機中，從而構(gòu)成執(zhí)行上述處理的眼部檢測裝置1。還有，也可以事先將該計算機程序存放在因特網(wǎng)等通信網(wǎng)絡(luò)上的服務(wù)器所具有的存儲裝置中，通常的計算機通過下載等方法構(gòu)成眼部檢測裝置1。還有，在OS(操作系統(tǒng))與應(yīng)用程序分擔(dān)、或者OS與應(yīng)用程序協(xié)同實現(xiàn)眼部檢測裝置1的功能時，也可以只將應(yīng)用程序部分保存在存儲媒體或存儲裝置中。還有，也可以在載波中重疊計算機程序，經(jīng)由通信網(wǎng)絡(luò)進行分發(fā)。例如也可以在通信網(wǎng)絡(luò)上的電子布告欄系統(tǒng)(BBS,BulletinBoardSystem)上發(fā)布上述計算機程序，經(jīng)由網(wǎng)絡(luò)，分發(fā)上述計算機程序。然后，啟動該計算機程序，在OS控制下，與其他應(yīng)用程序一樣運行，進行上述處理。權(quán)利要求1.一種眼部檢測裝置，其特征在于具有獲取面部圖像的圖像獲取機構(gòu)、從上述面部圖像中檢測鼻孔的鼻孔檢測機構(gòu)、基于利用上述鼻孔檢測機構(gòu)檢測的鼻孔的位置、在上述面部圖像中設(shè)定眼睛搜索區(qū)域的眼睛搜索區(qū)域設(shè)定機構(gòu)、和在利用上述眼睛搜索區(qū)域設(shè)定機構(gòu)設(shè)定的上述眼睛搜索區(qū)域的范圍內(nèi)，搜索眼睛的眼部搜索機構(gòu)。2.根據(jù)權(quán)利要求l所述的眼部檢測裝置，其特征在于上述眼部檢測裝置包含有從上述面部圖像檢測嘴巴下部的位置的嘴巴下部檢測機構(gòu)，上述鼻孔檢測機構(gòu)在檢測到復(fù)數(shù)個符合鼻孔的搜索條件的候選鼻孔時，從該復(fù)數(shù)個候選鼻孔中，將最靠近利用上述嘴巴下部檢測機構(gòu)檢測的嘴巴下部的位置的那個判定為鼻孔。3.根據(jù)權(quán)利要求l所述的眼部檢測裝置，其特征在于上述眼部搜索機構(gòu)按照規(guī)定的條件，從上述面部圖像的下部向上搜索眼睛。4.根據(jù)權(quán)利要求l所述的眼部檢測裝置，其特征在于上述眼部搜索機構(gòu)按照規(guī)定的條件，從上述面部圖像的上部向下搜索眼睛。5.根據(jù)權(quán)利要求1所述的眼部檢測裝置，其特征在于上述眼部搜索機構(gòu)具有在利用上述眼睛搜索區(qū)域設(shè)定機構(gòu)設(shè)定的上述眼睛搜索區(qū)域的范圍內(nèi)、從上述眼睛搜索區(qū)域的下方開始、搜索上述面部圖像的從下向上、從明向暗變化的垂直方向邊緣、將最初檢測到的符合規(guī)定條件的上述垂直方向邊緣判定為下瞼的下瞼檢測機構(gòu)、和在利用上述下瞼檢測機構(gòu)檢測的下瞼的上部的區(qū)域、將從下向上、從暗向明變化的垂直方向邊緣判定為上瞼的上瞼檢測機構(gòu)。6.根據(jù)權(quán)利要求1所述的眼部檢測裝置，其特征在于上述眼部搜索機構(gòu)具有在利用上述眼睛搜索區(qū)域設(shè)定機構(gòu)設(shè)定的上述眼睛搜索區(qū)域的范圍內(nèi)、從上述眼睛搜索區(qū)域的上方開始、搜索上述面部圖像的從上向下、從明向暗變化的垂直方向邊緣、將最初檢測到的符合規(guī)定條件的上述垂直方向邊緣判定為上瞼的上瞼檢測機構(gòu)、和在利用上述上瞼檢測機構(gòu)檢測的上瞼的下部的區(qū)域、將從上向下、從暗向明變化的垂直方向邊緣判定為下瞼的下瞼檢測機構(gòu)。7.—種眼部檢測方法，其特征在于具有從面部圖像中檢測鼻孔的鼻孔檢測步驟、基于利用上述鼻孔檢測步驟檢測的鼻孔的位置、在上述面部圖像中設(shè)定眼睛搜索區(qū)域的眼睛搜索區(qū)域設(shè)定步驟、和在利用上述眼睛搜索區(qū)域設(shè)定步驟設(shè)定的上述眼睛搜索區(qū)域的范圍內(nèi)，搜索眼睛的眼部搜索步驟。8.根據(jù)權(quán)利要求7所述的眼部檢測方法，其特征在于上述眼部搜索步驟按照規(guī)定的條件，從上述面部圖像的下部向上搜索眼睛。9.根據(jù)權(quán)利要求7所述的眼部檢測方法，其特征在于上述眼部搜索步驟按照規(guī)定的條件，從上述面部圖像的上部向下搜索眼睛。10.—種程序，其特征在于使計算機具有如下機構(gòu)的功能，即從面部圖像中檢測鼻孔的鼻孔檢測機構(gòu)、基于利用上述鼻孔檢測機構(gòu)檢測的鼻孔的位置、在上述面部圖像中設(shè)定眼睛搜索區(qū)域的眼睛搜索區(qū)域設(shè)定機構(gòu)、和在利用上述眼睛搜索區(qū)域設(shè)定機構(gòu)設(shè)定的上述眼睛搜索區(qū)域的范圍內(nèi)，搜索眼睛的眼部搜索機構(gòu)。11.根據(jù)權(quán)利要求10所述的程序，其特征在于使計算機具有如下機構(gòu)的功能，即將上述面部圖像中鼻孔存在的可能性高的區(qū)域設(shè)定為鼻孔搜索區(qū)域的鼻孔搜索區(qū)域設(shè)定機構(gòu)、和按照規(guī)定的條件搜索利用上述鼻孔搜索區(qū)域設(shè)定機構(gòu)設(shè)定的上述鼻孔搜索區(qū)域，將相鄰的2個暗處判定為鼻孔的機構(gòu)。12.根據(jù)權(quán)利要求10所述的程序，其特征在于使計算機具有如下機構(gòu)的功能，即上述眼部搜索機構(gòu)，其在利用上述眼睛搜索區(qū)域設(shè)定機構(gòu)設(shè)定的上述眼睛搜索區(qū)域的范圍內(nèi)，按照規(guī)定的條件，從上述面部圖像的下部向上搜索眼睛。13.根據(jù)權(quán)利要求10所述的程序，其特征在于使計算機具有如下機構(gòu)的功能，艮P上述眼部搜索機構(gòu)，其在利用上述眼睛搜索區(qū)域設(shè)定機構(gòu)設(shè)定的上述眼睛搜索區(qū)域的范圍內(nèi)，按照規(guī)定的條件，從上述面部圖像的上部向下搜索眼睛。14.根據(jù)權(quán)利要求10所述的程序，其特征在于使計算機具有如下機構(gòu)的功能，即在利用上述眼睛搜索區(qū)域設(shè)定機構(gòu)設(shè)定的上述眼睛搜索區(qū)域的范圍內(nèi)、從上述眼睛搜索區(qū)域的下方開始、搜索上述面部圖像的從下向上、從明向暗變化的垂直方向邊緣、將最初檢測到的符合規(guī)定條件的上述垂直方向邊緣判定為下瞼的下瞼檢測機構(gòu)、和在利用上述下瞼檢測機構(gòu)檢測的下瞼的上部的區(qū)域、將從下向上、從暗向明變化的垂直方向邊緣判定為上瞼的上瞼檢測機構(gòu)。15.根據(jù)權(quán)利要求10所述的程序，其特征在于使計算機具有如下機構(gòu)的功能，即在利用上述眼睛搜索區(qū)域設(shè)定機構(gòu)設(shè)定的上述眼睛搜索區(qū)域的范圍內(nèi)、從上述眼睛搜索區(qū)域的上方開始、搜索上述面部圖像的從上向下、從明向暗變化的垂直方向邊緣、將最初檢測到的符合規(guī)定條件的上述垂直方向邊緣判定為上瞼的上瞼檢測機構(gòu)、和在利用上述上瞼檢測機構(gòu)檢測的上瞼的下部的區(qū)域、將從上向下、從暗向明變化的垂直方向邊緣判定為下瞼的下瞼檢測機構(gòu)。全文摘要本發(fā)明提供一種能夠根據(jù)面部圖像快速可靠地檢測眼睛的眼部檢測裝置。具有獲取面部圖像的圖像輸入部(21)、從面部圖像中檢測鼻孔的鼻孔檢測部(24)、基于利用鼻孔檢測部(24)檢測的鼻孔的位置，在面部圖像中設(shè)定眼睛搜索區(qū)域的眼睛搜索區(qū)域設(shè)定部(25)、以及在利用眼睛搜索區(qū)域設(shè)定部(25)設(shè)定的眼睛搜索區(qū)域的范圍內(nèi)、按照規(guī)定的條件從面部圖像的下部向上搜索眼睛的下瞼檢測部(26)和上瞼檢測部(27)。希望包含有從面部圖像檢測嘴巴下部的位置的嘴巴下部檢測部(22)，鼻孔檢測部(24)在檢測到多個符合鼻孔的搜索條件的候選鼻孔時，從該復(fù)數(shù)個候選鼻孔中，將最靠近嘴巴下部的位置的那個判定為鼻孔。文檔編號G06K9/00GK101196993SQ200710196938公開日2008年6月11日申請日期2007年12月6日優(yōu)先權(quán)日2006年12月6日發(fā)明者中西悟,吉永敬彥,大上健一,小島真一,小川謙一,白木伸征,石黑博,足立淳,魚住重康申請人:愛信精機株式會社