專利名稱：面部圖像檢測設(shè)備的制作方法
技術(shù)領(lǐng)域：
本公開涉及一種面部圖像檢測設(shè)備，該設(shè)備在捕獲的圖像中檢測人類面部圖像。
背景技術(shù)：
專利文獻I JP H08-159733A專利文獻2 JP H09-021611A (US 5801763)專利文獻3 JP 2005-301742A (US 2005/0226472)專利文獻4 JP 2005-354155A (US 2005/0270413)專利文獻5 JP 2010-176382A根據(jù)所公開的駕駛員狀態(tài)檢測設(shè)備，設(shè)置在車廂中的攝像裝置捕獲駕駛員的面部。該設(shè)備處理捕獲的面部圖像并且提取面部的特征點，諸如眼睛、鼻子以及嘴?；谔卣鼽c位置或者眼睛的睜開或者閉合的狀態(tài)，該設(shè)備檢測駕駛狀態(tài)，諸如駕駛員的面部朝向和疲勞駕駛。駕駛員狀態(tài)檢測設(shè)備使用紅外閃光燈或者LED照亮并且捕獲駕駛員的面部。紅外閃光燈或者LED具有近紅外波長并且設(shè)置在攝像裝置附近?？梢垣@取眼球中視網(wǎng)膜反射圖像和角膜反射圖像的位置作為圖像信息來測量來自車輛駕駛員的眼球的反射圖像。在強烈的外部光(諸如日光)下，瞳孔收縮并且減小通過瞳孔到達視網(wǎng)膜的光強。這使得難以獲得來自視網(wǎng)膜的反射圖像并且降低了在眼睛方向上的測量精度。在專利文獻I中所公開的車載眼睛方向測量設(shè)備通過加快快門速度和增加照明光的峰值功率來降低由于外部光引起的噪聲。該設(shè)備可以精確地提取反射圖像而不增加測量時間。根據(jù)在專利文獻2中所公開的面部圖像捕獲設(shè)備，眼睛檢測裝置基于由二維捕獲裝置捕獲的測試對象的面部圖像而檢測測試對象的眼睛。如果眼睛檢測裝置沒有檢測到測試對象的眼睛，則激活紅外照明裝置以捕獲駕駛員的面部圖像。甚至駕駛員戴著他的或者她的眼鏡，紅外照明裝置也可以最小化在眼鏡的透鏡表面中反射的光的影響。紅外照明裝置利用通過光學濾波器的紅外光照亮至少測試對象的面部。提供紅外照明裝置以使二維捕獲裝置的光軸和紅外光的光軸形成角度，該角度大于或者等于預(yù)定的角度。在專利文獻3中所公開的駕駛員外貌識別系統(tǒng)可以延長紅外照明裝置的使用壽命。為此，不同的外貌識別處理將由攝像裝置捕獲的面部圖像的照度改變?yōu)樗枵斩?。在專利文獻4中所公開的運動圖片捕獲設(shè)備可以根據(jù)對象的亮度的改變而自適應(yīng)地調(diào)整在低照度環(huán)境下發(fā)光設(shè)備的發(fā)光量。在專利文獻5中所公開的發(fā)光設(shè)備使駕駛員擺脫奇怪的感覺。車輛可使它的照明部工作并且停止它的發(fā)動機。在這種情況下，照明設(shè)備主要基于由環(huán)境光檢測部檢測到的環(huán)境光照明來調(diào)整照射光強。車輛可使它的照明部和發(fā)動機工作。在這種情況下，發(fā)光設(shè)備主要基于從識別部通知的識別結(jié)果來調(diào)整照射光強。如在專利文獻I中所描述的，例如，可在強烈的、以致在駕駛員的眼鏡中反射周圍風景的外部光下檢測駕駛員的面部上的特征點。在這種情況下，照明優(yōu)選地比日光更強。例如，可與圖像捕獲時序同步地以脈沖激活諸如LED的光源。與穩(wěn)定的發(fā)光相比，這可以更強烈地照射光。依照LED光源的波長，通常使用不可見的近紅外光以使駕駛員免受不愉快的感覺或者防止夜間的駕駛麻煩。從近紅外光中選擇短波長LED以確保圖像捕獲系統(tǒng)的靈敏度是實際的。通常地，這樣的LED包含取決于駕駛員的視覺特征可能被感知為紅色的可見組分。取決于圖像捕獲時序，駕駛員可能感覺到可感知的閃爍，尤其是在夜間或者在黑暗中。穩(wěn)定地激活照明可以防止閃爍。然而，標稱的LED電流幅值產(chǎn)生弱的發(fā)射強度并且其過小而無法防止眼鏡反射風景。例如，可以以陣列形式設(shè)置多個LED以確保足夠的發(fā)射強度。然而這會增加成本。在專利文獻2至專利文獻5中所公開的技術(shù)根據(jù)檢測到的眼睛狀態(tài)、乘員外貌識別處理、對象亮度、或者照明部和發(fā)動機的操作狀況調(diào)整發(fā)射光(LED)的發(fā)射強度(光強)。然而，專利文獻2至專利文獻5沒有公開或者暗示關(guān)于視覺感官的考慮，諸如防止閃爍或者發(fā)射強度調(diào)整。

發(fā)明內(nèi)容
考慮到前述情況做出了本公開。因此，本公開的目的是提供一種面部圖像檢測設(shè)備，該設(shè)備能夠抑制照射到乘員的面部的光的閃爍并且減少在駕駛員的眼鏡中反射周圍風景。為實現(xiàn)以上目的，根據(jù)本公開的第一方面，提供了如下面部圖像檢測設(shè)備。包括投光器(projector)，以將光投射到包括車輛中乘員的面部的投射區(qū)域。包括圖像捕獲控制器，以設(shè)定用于捕獲包括乘員的面部的預(yù)定的捕獲區(qū)域的圖像捕獲條件。包括圖像捕獲部，以基于由圖像捕獲控制器設(shè)定的圖像捕獲條件來執(zhí)行圖像捕獲以捕獲包括面部的預(yù)定的捕獲區(qū)域。包括環(huán)境光檢測部，以檢測照射到車輛和乘員中的一個的環(huán)境光。包括操作模式確定部，以執(zhí)行模式確定以從至少兩種操作模式中確定操作模式，兩種操作模式中的一個為第一模式，在第一模式中，由環(huán)境光檢測部檢測到的環(huán)境光的光強大于預(yù)定的光強閾值，兩種操作模式中的另外一個為第二模式，在第二模式中，由環(huán)境光檢測部檢測到的環(huán)境光的光強不大于預(yù)定的光強閾值。包括光發(fā)射模式設(shè)置部，以基于由操作模式確定部確定的操作模式來設(shè)定用于投光器的光源的發(fā)射模式。包括投光器控制器，以基于由光發(fā)射模式設(shè)置部設(shè)定的光發(fā)射模式來控制投光器激活光源。根據(jù)以上配置，根據(jù)環(huán)境光情況確定操作模式?；诓僮髂Ｊ皆O(shè)定用于投光器的光發(fā)射模式。本控制可以允許駕駛員幾乎感知不到作為光源的投光器的閃爍。上述配置可以通過設(shè)置光發(fā)射模式以相對地增加投光器光強，減少在高強度環(huán)境光下的照明閃爍。在日間當風景經(jīng)常反射在眼鏡中時，這也可以減少在眼鏡中風景的反射而不會使駕駛員感知到閃爍。另一方面，低強度環(huán)境光導致在眼鏡中反射風景的影響較小。可以降低投光器光強以延長光發(fā)射時間。光發(fā)射模式可以被配置成減小光發(fā)射周期以使閃爍是不可感知的。結(jié)果，可以減少照明閃爍?？梢源_保必要的光強(發(fā)射強度)而不必為投光器設(shè)置陣列形式的多個LED。


根據(jù)參考附圖在下面進行的詳細說明，本公開的以上和其他的目的、特征、以及優(yōu)點將會變得更加明顯。在附圖中圖1是示出根據(jù)本公開的實施例的面部圖像檢測設(shè)備的配置的框圖；圖2是示出根據(jù)實施例的投光器控制處理的流程圖；圖3是示出照度閾值設(shè)置的示例的圖；圖4是示出投光器的投射模式和圖像捕獲部的圖像捕獲時序之間的關(guān)系的圖；圖5是示出在操作模式中的投射模式的示例的圖；圖6是示出攝像裝置控制的示例的圖；圖7是示出根據(jù)相關(guān)技術(shù)的投光器控制處理的流程圖。圖8是示出基于相關(guān)技術(shù)數(shù)據(jù)而準備的、脈寬和以脈沖驅(qū)動LED的最大正向電流之間的關(guān)系的圖；以及圖9是示出根據(jù)實施例的另一個投光器控制處理的流程圖。
具體實施例方式將參考附圖描述根據(jù)本公開的實施例的面部圖像檢測設(shè)備。根據(jù)本實施例，圖1示出了車輛中的面部圖像檢測設(shè)備I的配置。面部圖像檢測設(shè)備I包括與環(huán)境光檢測部3、投光器4、圖像捕獲部5以及操縱部6相連的主控制電路2。面部圖像檢測設(shè)備I可以通過局域網(wǎng)(LAN) 15與導航設(shè)備11可通信地相連。主控制電路2被配置為如同計算機硬件，根據(jù)公知的技術(shù)，計算機硬件包括CPU、ROM,RAM以及外圍電路(諸如AD轉(zhuǎn)換器電路和輸入/輸出電路)。CPU執(zhí)行存儲在ROM中的控制程序和數(shù)據(jù)以提供面部圖像檢測設(shè)備I的各種功能。主控制電路2包括操作模式確定部21、光發(fā)射模式設(shè)置部22、投光器控制器23、圖像捕獲控制器24、識別部25、設(shè)置部27以及存儲部28。這些部被表示為等同于以上提及的計算機硬件的功能模塊。操作模式確定部21基于從外部源獲得的信息確定操作模式并且輸出結(jié)果。光發(fā)射模式設(shè)置部22設(shè)定對應(yīng)于操作模式的、用于投光器4的光發(fā)射模式。投光器控制器23接收來自光發(fā)射模式設(shè)置部22的輸出并且基于設(shè)定的光發(fā)射模式來激活或者禁用投光器4的光源4a。圖像捕獲控制器24接收來自投光器控制器23或者光發(fā)射模式設(shè)置部22的輸出，并且控制圖像捕獲部5的操作(諸如打開或者關(guān)閉快門5a)。例如，圖像捕獲控制器24還設(shè)定圖像捕獲條件，諸如圖像捕獲元件的曝光時間、增益以及Y曲線。識別部25包括公知的圖像處理電路。識別部25將通過圖像捕獲部5捕獲的圖像數(shù)據(jù)放大到能夠進行圖像處理的狀態(tài)。識別部25使用一般的數(shù)字化處理或者特征點提取處理提取乘員的面部圖像?；谔崛〗Y(jié)果，識別部25確定是否識別了乘員的面部。設(shè)置部27基于操縱部6 (將要描述)的操縱來配置關(guān)于面部圖像檢測設(shè)備I的操作的設(shè)置。存儲部28包括公知的非易失性存儲介質(zhì)，諸如閃速存儲器。存儲部28存儲面部圖像檢測設(shè)備I工作需要的數(shù)據(jù)，諸如設(shè)置部27的內(nèi)容或者攝像裝置控制(也稱為攝像裝置控制表格)(參見圖6)。主控制電路2還可包括用于輸出時間和日期信息的時鐘IC 29和等同于連接到LANl5的通信接口電路的LAN接口 26。環(huán)境光檢測部3檢測照射到車輛或者車輛的乘員的光(環(huán)境光)。環(huán)境光包含照射到車輛或者乘員的日光或者路燈燈光、以及車廂中從面部圖像檢測設(shè)備I之外發(fā)射出的光。環(huán)境光檢測部3使用光學傳感器或者包含公知的CdS元件的照明光度計。車輛可設(shè)置有車載空調(diào)(未示出)，該車載空調(diào)對車廂進行空氣調(diào)節(jié)。車載空調(diào)可包括公知的日光照射傳感器，該傳感器檢測施加到車輛的日光照射的量。環(huán)境光檢測部3可使用日光照射傳感器。投光器4包括諸如紅外LED的光源4a，該紅外LED可以以脈沖形式照射包含近紅外波長的光。投光器控制器23激活光源4a。被激活的光源4a朝向包括其周圍的乘員面部照射近紅外光。投光器4放置在合適位置以使從光源4a照射的近紅外光的光軸近似地與圖像捕獲部5的光軸一致。圖像捕獲部5包括例如公知的C⑶或者CMOS攝像裝置。圖像捕獲部5捕獲包括乘員的面部的預(yù)定區(qū)域。圖像捕獲部5設(shè)置有快門5a，快門5a基于預(yù)定的時序和曝光時間工作。操縱部6包括鑰匙(key)或者開關(guān)。例如，操縱部6根據(jù)用戶操縱指定照度閾值(將在后面詳細描述)。眾所周知地，導航設(shè)備11根據(jù)車輛行駛使用GPS (全球定位系統(tǒng))檢測當前位置。導航設(shè)備11在顯示設(shè)備上連同道路地圖一起顯示當前位置。導航設(shè)備11設(shè)定從起始點到目的地的合適的路線。導航設(shè)備11使用顯示設(shè)備或者音頻輸出設(shè)備提供引導。導航設(shè)備11包括位置檢測部Ila和地圖數(shù)據(jù)lib。參考圖7，下面描述與本公開相比較的根據(jù)相關(guān)技術(shù)的投光器控制處理。應(yīng)當注意，在本申請中的流程圖或者流程圖的處理包括部分(也稱為步驟)，部分中的每個表示為例如S11。另外，每個部分可以分為幾個子部分，而幾個子部分可以組合成單個部分。另外，這樣被配置的部分中的每個也可以稱為部、設(shè)備、模塊或者裝置。此外，以上說明的部分中的每個或者任意組合可以實現(xiàn)為(i )結(jié)合硬件單元(例如，計算機)的軟件部分或者(ii)硬件部分，包括或者不包括相關(guān)設(shè)備的功能；此外，硬件部分可以構(gòu)建在微型計算機內(nèi)部?；趤碜酝豆馄骺刂破?3的控制指令，投光器4以不變的頻率朝向包括其周圍的乘員面部照射脈沖近紅外光。基于來自圖像捕獲控制器24的控制指令，圖像捕獲部5捕獲包括乘員的面部的預(yù)定區(qū)域(S31)。識別部25根據(jù)捕獲的圖像數(shù)據(jù)識別乘員的面部(S32)。基于識別結(jié)果，識別部25可能需要改變控制值(在S33為是)。在這種情況下，識別部25改變控制值(S34)。例如，控制值表示投光器4的光強或者圖像捕獲部5的快門速度(將在后面詳細描述)。處理返回到S31并且照射光和捕獲圖像。為了改進識別乘員的面部的精度，在圖7中所示的配置僅需要執(zhí)行以下中的至少一個延長照射近紅外光的時間、增加近紅外光的發(fā)射強度(光強)、以及延長曝光時間。例如，穩(wěn)定光發(fā)射延長照射近紅外光的時間(即脈寬)。該方法能夠防止閃爍的發(fā)生。然而，在這一點上，如從基于常規(guī)的數(shù)據(jù)而準備的圖8所見，標稱的LED電流幅值不能提供足夠的發(fā)射強度。例如，在環(huán)境溫度(Ta) ( 60攝氏度，占空比(Tw/T) ( 0. 1，以及脈寬(Tw)(0. OOlsec時，最大正向電流IfkmMAX可以達到0. 4A。參考圖2，下面描述根據(jù)本實施例的投光器控制處理。本處理包含在以上提及的控制程序中。主控制電路2的CPU反復(fù)地執(zhí)行投光器控制處理和其他處理。
投光器控制處理使用下面方法中的至少一種來獲得環(huán)境光信息(照度)(S11)。-該處理從包括在環(huán)境光檢測部3中的光學傳感器或者照明光度計獲得值，并且使用獲得的值作為環(huán)境光信息。-該處理將由以上提及的日光照射傳感器檢測到的日光照射的量轉(zhuǎn)換為照度。-該處理根據(jù)從時鐘IC29獲得的時間和日期信息指定時段(諸如早上、中午、傍晚、以及夜間)并且基于時段估計照度。-如果車窗包含在由圖像捕獲部5捕獲的圖像中，則該處理根據(jù)捕獲的車窗的狀態(tài)(諸如窗戶的亮度)估計照度。-該處理根據(jù)由圖像捕獲部5捕獲的圖像檢測乘員的瞳孔直徑并且根據(jù)瞳孔直徑估計照度(瞳孔直徑越大，照度越小)。-該處理從導航設(shè)備11獲得當前位置信息并且根據(jù)當前位置估計照度。例如，當車輛行駛通過隧道時照度降低。操作模式確定部21確定獲得的照度是否超過預(yù)定的照度閾值。圖3例示了照度閾值設(shè)置。首先，按照環(huán)境光照度從高到低的順序指定三個區(qū)域(參見圖3的左側(cè))。最高的區(qū)域是大多數(shù)人感知不到閃爍的區(qū)域。第二高的區(qū)域是一些個人可感知到閃爍的區(qū)域。最低的區(qū)域是大多數(shù)人可感知到閃爍的區(qū)域。將照度閾值設(shè)置為高于最高的區(qū)域和第二高的區(qū)域之間的照度分界線。然后，指定明亮(bright)模式和黑暗(dark)模式以使分界線將明亮模式和黑暗模式相互分開(參見圖3的右側(cè))。因此，如果獲得的照度超過照度閾值(在S12為是)，則操作模式確定部21將操作模式設(shè)置為明亮模式(S13)。如果獲得的照度小于照度閾值(在S12為否)，則操作模式確定部21將操作模式設(shè)置為黑暗模式(S24)。因為人類對于光的靈敏度隨個人而變化，所以照度閾值可以是可變的。為此，乘員根據(jù)預(yù)定的程序操縱操縱部6。設(shè)置部27檢測操縱并且在存儲部28中存儲操縱的內(nèi)容(即，照度閾值)。設(shè)置內(nèi)容被輸出到操作模式確定部21。操作模式確定部21確定操作模式是否發(fā)生改變，即，確定的操作模式是否與在之前處理中確定的操作模式相同。如果操作模式發(fā)生改變(在S14為是)，則操作模式確定部21將延遲閾值n設(shè)置為n2 (S15)。如果操作模式保持沒有改變(在S14為否)，則操作模式確定部21將延遲閾值n設(shè)置為nl (S25)。假定nl和n2為0或者正整數(shù)，并且nl大于n2(nl > n2)。光發(fā)射模式設(shè)置部22設(shè)定對應(yīng)于操作模式的光發(fā)射模式(S16)。參考圖4，下面描述用于投光器4的光發(fā)射模式和用于圖像捕獲部5的快門5a的開/關(guān)控制時序。根據(jù)圖4的示例，快門5a以曝光的周期Tl反復(fù)地打開和關(guān)閉。投光器4與快門5a開/關(guān)時序(周期Tl)同步地以脈沖發(fā)射光。投光器4開始發(fā)射光(開)。從光發(fā)射開始起經(jīng)過預(yù)定的時間后，快門5a打開。在曝光時間到時后，快門5a關(guān)閉。投光器4停止發(fā)射光(關(guān))。曝光時間(打開快門5a的時間)隨捕獲對象而變化(將詳細描述)。當在曝光結(jié)束后經(jīng)過預(yù)定的時間時，投光器4可停止發(fā)射光。明顯地，可參考投光器4的光發(fā)射時序來控制圖像捕獲部5的圖像捕獲。參考圖5,下面描述在各個操作模式中用于投光器4 (或者光源4a)的光發(fā)射模式的示例。圖像捕獲部5的快門5a以例如30Hz的周期重復(fù)曝光。在明亮模式中，投光器4與快門5a的曝光同步地被提供有電流I并且發(fā)射光(同步曝光-發(fā)射(也稱為曝光-同步發(fā)射))。光發(fā)射模式導致脈沖發(fā)射。脈沖發(fā)射波形可以是鋸齒形、三角形、或者正弦曲線形以及矩形或者方形。投光器控制器23和投光器4的配置確定這些波形的使用。圖5中的示例示出了對應(yīng)于黑暗模式I至黑暗模式7的光發(fā)射模式。使用這些模式中的一個。明顯地，優(yōu)選的是設(shè)定多個照度閾值以細分在圖3中所示的黑暗模式區(qū)域并且將七個光發(fā)射模式中的一個應(yīng)用于細分區(qū)域中的每個。下面描述對應(yīng)于黑暗模式的光發(fā)射模式。在黑暗模式I中，投光器4以60Hz的周期重復(fù)光發(fā)射。即，投光器4以與快門5a的曝光同步的時序(也稱為時間間隔)(同步曝光-發(fā)射)和與快門5a的曝光異步的時序(異步曝光-發(fā)射(也成為曝光異步發(fā)射))以脈沖形式發(fā)射光。這可以抑制閃爍的發(fā)生。以上描述使用60Hz的光發(fā)射周期作為代表性的示例。然而，由于車輛震動，即使60Hz的周期也可能允許感知到閃爍。在黑暗模式I中，可以使用公知的震動傳感器(未示出)以檢測在車輛中的各個位置處的震動。用于異步曝光-發(fā)射的光發(fā)射周期可以根據(jù)震動頻率變化。本配置提供了檢測車輛中震動的震動檢測部。光發(fā)射模式設(shè)置部根據(jù)檢測到的震動頻率設(shè)定用于異步曝光-發(fā)射的光發(fā)射模式。在高震動頻率的情況下容易感知到閃爍。因此，相應(yīng)地提高光發(fā)射頻率以使閃爍難以感知。有關(guān)的震動表示投光器本身的震動和駕駛員的震動之間的相對值。駕駛員的震動難以測量?？梢允褂迷谒蛘咚念^部的震動頻率。使用人體模型根據(jù)座椅震動估計此震動頻率。在黑暗模式2中，與黑暗模式I類似，投光器4以60Hz的周期重復(fù)脈沖光發(fā)射。當發(fā)射光時，與時序與快門5a的曝光同步的電流I相比，黑暗模式2允許時序與快門5a的曝光異步的電流(即，光發(fā)射強度)12較小。這可以抑制閃爍的發(fā)生。另外，與黑暗模式I相t匕，黑暗模式2使投光器4能夠減少更多的消耗電流。當發(fā)射光時，與黑暗模式2中的電流12相比，黑暗模式3允許時序與快門5a的曝光異步的光發(fā)射電流13較小。與黑暗模式2相比，黑暗模式3使用較長的光發(fā)射時間。這可以抑制閃爍的發(fā)生。另外，與黑暗模式I相比，黑暗模式3使得投光器4能夠減少更多的消耗電流。在黑暗模式4中，與明亮模式類似，投光器4以30Hz的周期重復(fù)光發(fā)射。另外，與明亮模式相比，黑暗模式4使用較長的光發(fā)射時間而同時保持電流值不變。這可以抑制閃爍的發(fā)生。在黑暗模式5中，與明亮模式類似，投光器4以30Hz的周期重復(fù)光發(fā)射。在快門5a的曝光之后，黑暗模式5使用電流15保持光發(fā)射，其中電流15與用于曝光的電流I不同(例如，小于電流I)。光發(fā)射持續(xù)預(yù)定的間隔(例如，短于光發(fā)射周期)。這可以抑制閃爍的發(fā)生。另外，與黑暗模式4相比，黑暗模式5使投光器4能夠減少更多的消耗電流。在黑暗模式6中，無論快門5a的曝光時序如何投光器4都穩(wěn)定地發(fā)射光。與明亮模式中的電流值I相比，光發(fā)射電流16較小。這可以抑制閃爍的發(fā)生。另外，與黑暗模式4相比，黑暗模式6使得投光器4能夠減少更多的消耗電流。黑暗模式7組合了明亮模式與黑暗模式6。在快門5a停止曝光后，投光器4使用光發(fā)射電流17穩(wěn)定地發(fā)射光，其中電流17小于用于曝光的電流I。這可以抑制閃爍的發(fā)生。另外，與黑暗模式4相比，黑暗模式7使投光器4能夠減少更多的消耗電流。
考慮到對應(yīng)的光發(fā)射模式，與其他模式相比，黑暗模式1、黑暗模式2以及黑暗模式6更加高效?，F(xiàn)在返回參考圖2，投光器控制器23基于設(shè)定的光發(fā)射模式和圖像捕獲時序控制投光器4的光發(fā)射。圖像捕獲控制器24控制圖像捕獲部5的操作以捕獲圖像(S17)。識別部25根據(jù)由圖像捕獲部5捕獲的圖像數(shù)據(jù)識別乘員的面部(S18)?；谧R別結(jié)果，識別部25確定是否需要改變控制值。例如，圖像識別部25從捕獲的乘員的面部圖像中檢測等同于皮膚的區(qū)域(諸如前額或者面頰)作為預(yù)定的面部部分區(qū)域。識別部25比較乘員的皮膚的顏色(過濾后的像素值)和已經(jīng)存儲在存儲部28中的預(yù)定的參考顏色?；诒容^結(jié)果(例如，兩個顏色之間的數(shù)字化差異)，識別部25確定是否需要改變控制值。如果不需要改變控制值(在S19為否)，則處理增加延遲計數(shù)M的值(S23)。處理返回到S17并且使用當前的控制值重復(fù)光發(fā)射和圖像捕獲。如果需要改變控制值(在S19為是)，則處理比較延遲計數(shù)M的值和延遲閾值n。如果M>n為真(在S20為是)，則處理將延遲計數(shù)M設(shè)置為0 (S21)。處理返回到Sll并且再次確定操作模式。如果M>n為假(在S20為否)，則處理改變控制值(S22)并且增加延遲計數(shù)M的值(S23)。處理返回到S17并且執(zhí)行光發(fā)射和圖像捕獲。緊接在操作模式改變之后，如上所述，延遲閾值n包含小于延遲閾值nl的n2，其中nl用于保持操作模式不變的正常操作。操作模式確定部21基于特定時間間隔驗證操作模式的改變。相比于用于操作模式不變的特定時間間隔，用于操作模式改變的特定時間間隔被設(shè)置為較短。操作模式確定部21可以確定操作模式是否發(fā)生臨時改變。如果車輛行駛在橋梁下或者在建筑物后面，由于在相對短的時間段內(nèi)照度的改變，操作模式可能發(fā)生改變。在這種情況下，可以快速恢復(fù)到發(fā)生改變之前的操作模式。這可以縮短無法精確識別乘員面部的時間。參考圖6，下面詳細描述控制值。參考之前存儲在存儲部28中的攝像裝置控制或者攝像裝置控制表格確定控制值。攝像裝置控制表格包含至少一個控制表格(表格I)。例如，“dB”參數(shù)表示從捕獲的乘員的面部圖像的顏色和參考顏色之間的比較得出的數(shù)字化差異或者指數(shù)?！癲B”參數(shù)的初始值為“O”。在這種情況下，“快門時間”被設(shè)置為300y sec。“快門時間”等同于快門5a打開的時間(曝光時間)。在這種情況下，“增益”加倍?！霸鲆妗北硎痉糯笠蜃?，圖像捕獲部5以該放大因子來放大捕獲的圖像數(shù)據(jù)(模擬信號)。S卩，控制值包括“快門時間”和“增益”?？刂浦蛋嗤摹霸鲆妗眳?shù)和不同的“快門時間”參數(shù)。因此，控制值是可調(diào)整的。明顯地，控制值可包含相同的“快門時間”參數(shù)和不同的“增益”參數(shù)。如果與參考顏色相比捕獲的面部圖像的顏色較暗，則發(fā)射強度較小。在這種情況下，例如基于兩種顏色之間的差異，控制值改變?yōu)榕c大于當前“dB”值的“dB”值對應(yīng)的“快門時間”和“增益”。另一方面，如果與參考顏色相比捕獲的面部圖像的顏色較亮，則發(fā)射強度足夠大。在這種情況下，基于兩種顏色之間的差異，控制值改變?yōu)榕c小于當前“dB”值的“dB”值對應(yīng)的“快門時間”和“增益”。當操作模式發(fā)生改變時，圖像捕獲可以使用對應(yīng)于當前“dB”值的控制值或者對應(yīng)于設(shè)置為“ 0 ”的“ dB ”值的控制值。
可以提供從表格I至表格3的多個攝像裝置控制表格?？梢愿鶕?jù)捕獲的面部圖像的顏色和參考顏色之間的比較結(jié)果(顏色差異)而選擇并且使用從表格I至表格3中的任一個。可以根據(jù)選擇的表格確定控制值?？梢詾楣獍l(fā)射模式中的每個提供攝像裝置控制表格。參考圖9，下面描述根據(jù)本公開的本實施例的投光器控制處理的另外一個示例。本處理是以上描述的圖2中的處理的變型。在圖9和圖2中互相對應(yīng)的處理步驟以相同的參考標記表示并且出于簡化的目的省略詳細的描述。從Sll至S18等同于圖2中的這些步驟。在S18，識別部25根據(jù)由圖像捕獲部5捕獲的圖像數(shù)據(jù)識別乘員的面部。識別部25比較延遲計數(shù)M的值和延遲閾值n。如果M>n為真(在S19a為是)，則處理將延遲計數(shù)M設(shè)置為0 (S21)。處理返回到Sll并且再次確定操作模式。如果M>n為假(在S19a為否)，則識別部25確定是否需要改變控制值。如果不需要改變控制值(在S20a為否)，則處理增加延遲計數(shù)M的值(S23a)。處理返回到S17并且使用當前控制值重復(fù)光發(fā)射和圖像捕獲。如果需要改變控制值(在S20a為是)，則處理改變控制值(S22a)。處理增加延遲計數(shù)M的值(S23a)并且返回到S17以執(zhí)行光發(fā)射和圖像捕獲。盡管已經(jīng)在前述概述中闡述了本公開的第一方面，其他可選的方面可如下闡述。例如，作為第二方面，面部圖像檢測設(shè)備可包括識別部，該識別部根據(jù)由圖像捕獲部捕獲的圖像數(shù)據(jù)識別乘員的面部并且檢測乘員的面部中預(yù)定的面部部分區(qū)域的像素值。在此，圖像捕獲控制器可以調(diào)整當投光器使用光發(fā)射模式發(fā)射光時、圖像捕獲部的曝光時間和增益中的至少一個以使識別部檢測到的預(yù)定的面部部分區(qū)域的像素值接近預(yù)定的參考值，并且針對圖像捕獲部的下次圖像捕獲，將調(diào)整后的參數(shù)反映在圖像捕獲條件上，以再次設(shè)定已再次設(shè)定后的圖像捕獲條件以捕獲預(yù)定的捕獲區(qū)域。圖像捕獲部可基于已再次設(shè)定后的圖像捕獲條件執(zhí)行下次圖像捕獲以捕獲包括面部的預(yù)定的捕獲區(qū)域。作為第三方面，在來自識別部的識別結(jié)果表明乘員的面部中的預(yù)定的面部部分區(qū)域的像素值不在距離預(yù)定參考值的預(yù)定的范圍中的情況下，圖像捕獲控制器可以直到從之前設(shè)定圖像捕獲條件起經(jīng)過預(yù)定的設(shè)定時間間隔后才再次設(shè)定已再次設(shè)定后的圖像捕獲條件以捕獲預(yù)定的捕獲區(qū)域。換言之，當滿足再次設(shè)定條件時，圖像捕獲控制器可以再次設(shè)定已再次設(shè)定后的圖像捕獲條件以捕獲預(yù)定的捕獲區(qū)域。再次設(shè)定條件可以是這樣的條件(i)來自識別部的識別結(jié)果表明乘員的面部中的預(yù)定的面部部分區(qū)域的像素值不在距離預(yù)定的參考值的預(yù)定的范圍中，并且同時地，(ii)從之前設(shè)定圖像捕獲條件開始經(jīng)過預(yù)定的設(shè)定時間間隔。例如，只要識別結(jié)果表明乘員的面部中的預(yù)定的面部部分區(qū)域的像素值不在距離預(yù)定的參考值的預(yù)定的范圍中，圖像捕獲控制器就可以首先反復(fù)地再次設(shè)定已再次設(shè)定后的圖像捕獲條件。在這種情況下，因為識別結(jié)果被反饋，所以圖像捕獲條件會過于頻繁地改變。因此，可能不能正確地識別乘員的面部。所以，當經(jīng)過預(yù)定的設(shè)定時間間隔時，圖像捕獲控制器可以使用在識別部中的識別結(jié)果，從而再次確定圖像捕獲條件(即，再次設(shè)定后的圖像捕獲條件)。作為第四方面，操作模式確定部可直到從之前確定操作模式開始經(jīng)過預(yù)定的確定時間間隔后，才基于由環(huán)境光檢測部檢測到的環(huán)境光的狀態(tài)執(zhí)行模式再次確定，以再次確定已再次確定后的操作模式。換言之，當滿足再次確定條件時，操作模式確定部可基于由環(huán)境光檢測部檢測到的環(huán)境光狀態(tài)執(zhí)行模式再次確定，以再次確定已再次確定后的操作模式。確定條件可能是這樣的條件從之前確定操作模式開始經(jīng)過了預(yù)定的確定時間間隔。在本配置下，節(jié)省了再次確定操作模式的時間和努力，并且可以迅速地和正確地識別乘員的面部。另外，可提供本配置以克服下面的問題。即，可周期性地測量環(huán)境光的狀態(tài)以確定操作模式。由于在車輛的行駛環(huán)境下時刻改變的環(huán)境光的影響的反饋，操作模式會過于頻繁地發(fā)生改變。另外，如果當識別到的乘員面部的狀態(tài)接近參考狀態(tài)時操作模式改變，則正相反，之后的識別的狀態(tài)可能與參考狀態(tài)更加不同，并且可能不會收斂到用于識別乘員面部的最優(yōu)控制。因此，不能正確地識別乘員的面部。作為第五方面，當從之前確定操作模式起經(jīng)過了預(yù)定的確定時間間隔時，或者當在從之前確定操作模式起經(jīng)過預(yù)定的時間間隔后，用于再次確定已再次確定后的圖像捕獲條件的請求發(fā)生時，操作模式確定部可執(zhí)行模式再次確定以再次確定已再次確定后的操作模式。換言之，當滿足第一條件和第二條件中的一個時，操作模式確定部可執(zhí)行模式再次確定以再次確定已再次確定后的操作模式。第一條件可以是這樣的條件從之前確定操作模式起剛剛經(jīng)過預(yù)定的確定時間間隔。第二條件可以是這樣的條件在從之前確定操作模式起經(jīng)過預(yù)定的確定時間間隔后，用于再次確定已再次確定后的圖像捕獲條件的請求發(fā)生。以上配置可以防止操作模式的再次確定過于頻繁地發(fā)生，使得能夠迅速且正確地識別乘員的面部。作為第六方面，光發(fā)射模式設(shè)置部可基于環(huán)境光的狀態(tài)改變用于光源的光發(fā)射模式，其中由環(huán)境光檢測部以預(yù)定的檢測時間間隔檢測到環(huán)境光的狀態(tài)，從而減少乘員感知到的閃爍。本配置優(yōu)先減少閃爍而不是乘員的面部的識別。因此，可以防止光源的光發(fā)射(即，閃爍)成為駕駛的阻礙或者惡化車廂環(huán)境。作為第七方面，當操作模式被指定為等同于第一模式的明亮模式時，其中在第一模式中由環(huán)境光檢測部檢測到的環(huán)境光的光強大于預(yù)定的光強閾值，光發(fā)射模式設(shè)置部可以將光發(fā)射模式設(shè)定為包括曝光-同步發(fā)射，其中曝光-同步發(fā)射等同于與圖像捕獲部的曝光時間間隔同步的脈沖光發(fā)射。在風景或者景色反射在眼鏡上的情形中存在大量的環(huán)境光。因此，即使執(zhí)行投光器(即，光源)的脈沖光發(fā)射并且增加光發(fā)射的量，駕駛員也很難感知到閃爍。因此，上述配置可以在明亮模式中相對于環(huán)境光的量增加光發(fā)射的量(即，增加S/N比)，同時抑制閃爍的產(chǎn)生。因此,能夠正確識別乘員的面部。作為第八示例，當操作模式被指定為等同于第二模式的黑暗模式時，其中在第二模式中由環(huán)境光檢測部檢測到的環(huán)境光的光強不大于預(yù)定的光強閾值，光發(fā)射模式設(shè)置部可以將光發(fā)射模式設(shè)定為包括曝光-同步發(fā)射和曝光-異步發(fā)射。曝光-同步發(fā)射為與圖像捕獲部的曝光時間間隔同步的脈沖光發(fā)射。曝光-異步發(fā)射為與圖像捕獲部的曝光時間間隔異步的光發(fā)射模式。本配置可在黑暗模式中增加脈沖發(fā)射的重復(fù)次數(shù)(即，頻率)，從而減少乘員感知到的閃爍。作為第九示例，光發(fā)射模式設(shè)置部可以將在曝光-異步發(fā)射中的光發(fā)射模式設(shè)定為脈沖光發(fā)射。
在曝光-異步發(fā)射中的光發(fā)射模式被設(shè)定為脈沖光發(fā)射；因此，表面上脈沖的頻率變高。當抑制了光源的閃爍時，可在曝光-同步發(fā)射下進行圖像捕獲時獲得足夠的光量。因此，能夠正確地識別乘員的面部。應(yīng)當注意，當環(huán)境光弱時，風景或者景色難以反射在眼鏡上。另外，執(zhí)行曝光-異步發(fā)射；因此投光器需要執(zhí)行不必要的光發(fā)射。如果考慮到在標稱電流內(nèi)使用光源，與在明亮模式中的光量相比，需要將在曝光-同步發(fā)射中的光量設(shè)置為相對低的值。然而，在黑暗模式中根本上存在很少的環(huán)境光；因此，保持S/N足夠高。作為第十方面，光發(fā)射模式設(shè)置部可以將在曝光-異步發(fā)射中的光發(fā)射模式設(shè)定為穩(wěn)定的光發(fā)射。本配置可以通過使得投光器執(zhí)行穩(wěn)定的光發(fā)射來抑制光源的閃爍。另外，可以延長曝光時間；因此，在圖像捕獲時可以獲得足夠的光量。因此，能夠正確地識別乘員的面部。另外，穩(wěn)定的光發(fā)射要求投光器在曝光時間之外的時間期間執(zhí)行無用的光發(fā)射。如果考慮到在標稱電流內(nèi)使用光源，則需要將光發(fā)射的量設(shè)置為相對的低。然而，在黑暗模式中根本上存在很少的環(huán)境光；因此，保持S/N足夠高。延長曝光時間沒有提供缺點。作為第十一方面，光發(fā)射模式設(shè)置部可根據(jù)曝光-同步發(fā)射和曝光-異步發(fā)射中的每個而使用施加到光源的電流的單獨的值。本配置表面上增加了光發(fā)射的頻率。當抑制了光源的閃爍時，在圖像捕獲時可以獲得足夠的光量。因此，能夠正確地識別乘員的面部。另外，以上配置減少了在曝光-異步發(fā)射中施加的電流，因此減少了光源消耗的電流。作為第十二方面，從光源發(fā)射的光可包括近紅外波長?？梢酝ㄟ^使用傳統(tǒng)的面部圖像檢測設(shè)備而不需要較大程度地改變傳統(tǒng)的設(shè)備實現(xiàn)本配置，該傳統(tǒng)的面部圖像檢測設(shè)備使用紅外頻閃儀或者具有近紅外波長區(qū)的LED來捕獲駕駛員的面部的圖像。雖然參考本公開的優(yōu)選實施例描述了本公開，但應(yīng)當理解本公開不限于優(yōu)選的實施例和結(jié)構(gòu)。本公開旨在涵蓋各種變型和等價的布置。另外，盡管公開了優(yōu)選的各種組合和配置，但是包括更多、更少或者僅有一個元件的其他組合和配置也在本公開的范圍和精神內(nèi)。
權(quán)利要求
1.一種面部圖像檢測設(shè)備(1)，包括: 投光器(4)，將光投射到包括車輛中乘員的面部的投射區(qū)域； 圖像捕獲控制器(24)，設(shè)定用于捕獲包括所述乘員的所述面部的預(yù)定的捕獲區(qū)域的圖像捕獲條件； 圖像捕獲部(5)，基于由所述圖像捕獲控制器設(shè)定的所述圖像捕獲條件，執(zhí)行圖像捕獲以捕獲包括所述面部的所述預(yù)定的捕獲區(qū)域； 環(huán)境光檢測部(3)，檢測照射到所述車輛和所述乘員中的一個的環(huán)境光； 操作模式確定部(21)，執(zhí)行模式確定以從至少兩種操作模式中確定操作模式，所述兩種操作模式中的一個是第一模式，在所述第一模式中，由所述環(huán)境光檢測部檢測到的所述環(huán)境光的光強大于預(yù)定的光強閾值，所述兩種操作模式中的另外一個是第二模式，在所述第二模式中，由所述環(huán)境光檢測部檢測到的所述環(huán)境光的光強不大于所述預(yù)定的光強閾值； 光發(fā)射模式設(shè)置部(22)，基于由所述操作模式確定部確定的所述操作模式，設(shè)定用于所述投光器的光源的光發(fā)射模式；以及 投光器控制器(23)，基于由所述光發(fā)射模式設(shè)置部設(shè)定的所述光發(fā)射模式，控制所述投光器激活所述光源。
2.根據(jù)權(quán)利要求1所述的面部圖像檢測設(shè)備，包括: 識別部(25)，根據(jù)由所述圖像捕獲部捕獲的圖像數(shù)據(jù)識別所述乘員的所述面部，并且檢測所述乘員的所述面部中預(yù)定的面部部分區(qū)域的像素值， 其中: 所述圖像捕獲控制器: 調(diào)整當所述投光器使用所述光發(fā)射模式發(fā)射光時、所述圖像捕獲部的曝光時間和增益中的至少一個，以使由所述識別部檢測到的所述預(yù)定的面部部分區(qū)域的所述像素值接近預(yù)定的參考值，以及 針對所述圖像捕獲部的下一次圖像捕獲，將調(diào)整后的參數(shù)反映在所述圖像捕獲條件上，以再次設(shè)定已再次設(shè)定后的圖像捕獲條件以捕獲所述預(yù)定的捕獲區(qū)域；以及 所述圖像捕獲部基于再次設(shè)定后的圖像捕獲條件執(zhí)行所述下一次圖像捕獲，以捕獲包括所述面部的所述預(yù)定的捕獲區(qū)域。
3.根據(jù)權(quán)利要求2所述的面部圖像檢測設(shè)備，其中: 在來自所述識別部的識別結(jié)果表明所述乘員的所述面部中的所述預(yù)定的面部部分區(qū)域的像素值不在距離所述預(yù)定的參考值的預(yù)定的范圍內(nèi)的情況下， 所述圖像捕獲控制器直到從之前設(shè)定所述圖像捕獲條件起經(jīng)過預(yù)定的設(shè)定時間間隔后才再次設(shè)定所述已再次設(shè)定后的圖像捕獲條件以捕獲所述預(yù)定的捕獲區(qū)域。
4.根據(jù)權(quán)利要求 1所述的面部圖像檢測設(shè)備， 其中，所述操作模式確定部直到從之前確定所述操作模式起經(jīng)過預(yù)定的確定時間間隔后，才基于由所述環(huán)境光檢測部檢測到的環(huán)境光的狀態(tài)執(zhí)行模式再次確定，以再次確定已再次確定后的操作模式。
5.根據(jù)權(quán)利要求4所述的面部圖像檢測設(shè)備， 其中，當從之前確定所述操作模式起剛剛經(jīng)過所述預(yù)定的確定時間間隔時或者當從之前確定所述操作模式起經(jīng)過所述預(yù)定的時間間隔后用于再次設(shè)定已再次設(shè)定后的圖像捕獲條件的請求發(fā)生時，所述操作模式確定部執(zhí)行所述模式再次確定，以再次確定所述已再次確定后的操作模式。
6.根據(jù)權(quán)利要求1所述的面部圖像檢測設(shè)備， 其中，所述光發(fā)射模式設(shè)置部基于所述環(huán)境光的狀態(tài)改變用于所述光源的所述光發(fā)射模式，從而減少所述乘員感知到的閃爍，其中由所述環(huán)境光檢測部以預(yù)定的檢測時間間隔檢測所述環(huán)境光的狀態(tài)。
7.根據(jù)權(quán)利要求1所述的面部圖像檢測設(shè)備， 其中，當所述操作模式被指定為等同于所述第一模式的明亮模式時，在所述第一模式中由所述環(huán)境光檢測部檢測到的所述環(huán)境光的光強大于所述預(yù)定的光強閾值，所述光發(fā)射模式設(shè)置部將所述光發(fā)射模式設(shè)定為包括曝光-同步發(fā)射，所述曝光-同步發(fā)射等同于與所述圖像捕獲部的曝光時間間隔同步的脈沖光發(fā)射。
8.根據(jù)權(quán)利要I至權(quán)利要求7中的任一項所述的面部圖像檢測設(shè)備，其中: 當所述操作模式被指定為等同于所述第二模式的黑暗模式時，在所述第二模式中由所述環(huán)境光檢測部檢測到的所述環(huán)境光的光強不大于所述預(yù)定的光強閾值，所述光發(fā)射模式設(shè)置部將所述光發(fā)射模式設(shè)定為包括曝光-同步發(fā)射和曝光-異步發(fā)射， 所述曝光-同步發(fā)射為與所述圖像捕獲部的曝光時間間隔同步的脈沖光發(fā)射， 所述曝光-異步發(fā)射為與所述圖像捕獲部的曝光時間間隔異步的光發(fā)射模式。
9.根據(jù)權(quán)利要求8所述的面部圖像檢測設(shè)備， 其中，所述光發(fā)射模式設(shè)置部將所述曝光-異步發(fā)射中的光發(fā)射模式設(shè)定為脈沖光發(fā)射。
10.根據(jù)權(quán)利要求8所述的面部圖像檢測設(shè)備， 其中，所述光發(fā)射模式設(shè)置部將所述曝光-異步發(fā)射中的光發(fā)射模式設(shè)定為穩(wěn)定的光發(fā)射。
11.根據(jù)權(quán)利要求8所述的面部圖像檢測設(shè)備， 其中，所述光發(fā)射模式設(shè)置部根據(jù)所述曝光-同步發(fā)射和所述曝光-異步發(fā)射中的每個而使用用于施加到所述光源的電流的單獨值。
12.根據(jù)權(quán)利要求1至權(quán)利要求7中的任一項所述的面部圖像檢測設(shè)備， 其中，從所述光源發(fā)射的光包括近紅外波長。
全文摘要
本發(fā)明提供了一種面部圖像檢測設(shè)備。車載式面部圖像檢測設(shè)備(1)如下工作。投光器(4)投射光。捕獲控制器(24)設(shè)定用于捕獲包括乘員的面部的預(yù)定區(qū)域的捕獲條件。捕獲部(5)基于捕獲條件捕獲預(yù)定的區(qū)域。環(huán)境光檢測部(3)檢測照射到車輛或者乘員的環(huán)境光。操作模式確定部(21)確定第一模式或者第二模式，其中在第一模式中環(huán)境光的強度大于閾值，在第二模式中環(huán)境光的強度不大于閾值。光發(fā)射模式設(shè)置部(22)基于操作模式設(shè)定用于投光器的光源的光發(fā)射模式。投光器控制器(23)基于光發(fā)射模式控制投光器激活光源。
文檔編號H04N5/235GK103077370SQ20121030104
公開日2013年5月1日 申請日期2012年8月22日 優(yōu)先權(quán)日2011年8月25日
發(fā)明者渡邊泰斗, 大見拓寬 申請人:株式會社電裝