本發(fā)明的一個(gè)或更多個(gè)實(shí)施方式涉及面部圖像處理裝置，并且具體地，涉及一種基于作為被拍攝的人的面部的圖像的面部圖像來(lái)檢測(cè)眼睛的位置和狀態(tài)的面部圖像處理裝置。

背景技術(shù)：

在現(xiàn)有技術(shù)中，已知這樣一種技術(shù)，即，該技術(shù)基于作為被拍攝的人的面部的圖像的面部圖像來(lái)檢測(cè)眼睛的位置和狀態(tài)。例如，jp-a-2001-022933公開(kāi)了一種面部圖像處理裝置，該裝置利用顯示鼻孔和眼睛的特征的二維模板高速準(zhǔn)確地提取鼻孔和眼睛，而不受附加信息所影響。該面部圖像處理裝置利用二維模板從面部圖像估計(jì)存在眼睛的候選的區(qū)域，并且通過(guò)將該區(qū)域中的眼睛的候選轉(zhuǎn)換成包括多個(gè)亮度值的數(shù)據(jù)來(lái)提取眼睛的候選。而且，該面部圖像處理裝置通過(guò)將眼睛的候選的像素的二維重心位置設(shè)置成所提取的候選中的眼睛的位置來(lái)確定眼睛和眼睛的位置。

另外，jp-a-h06-255388公開(kāi)了一種駕駛狀態(tài)檢測(cè)裝置，駕駛狀態(tài)檢測(cè)裝置通過(guò)處理所拍攝的駕駛員的面部圖像，即使亮度根據(jù)各種行駛環(huán)境而改變，也可以可靠地檢測(cè)駕駛員的駕駛狀態(tài)。該駕駛狀態(tài)檢測(cè)裝置通過(guò)使所拍攝的駕駛員的圖像的濃淡歸一化，并且利用預(yù)先規(guī)定了面部和眼睛的區(qū)域的標(biāo)準(zhǔn)模板來(lái)相關(guān)地計(jì)算經(jīng)過(guò)歸一化的圖像，從而生成駕駛員的目標(biāo)面部模板和目標(biāo)眼睛模板。該駕駛狀態(tài)檢測(cè)裝置利用目標(biāo)模板針對(duì)歸一化的圖像執(zhí)行相關(guān)計(jì)算，并且基于相關(guān)值的變化來(lái)檢測(cè)駕駛者的駕駛狀態(tài)。無(wú)論周?chē)牧炼热绾?，通過(guò)執(zhí)行歸一化和相關(guān)計(jì)算，可以可靠地檢測(cè)駕駛員的諸如打瞌睡或不注意的異常狀態(tài)。

另外，jp-a-2011-086051公開(kāi)了一種眼睛位置識(shí)別裝置，該眼睛位置識(shí)別裝置能夠通過(guò)減少錯(cuò)誤識(shí)別而靈活地對(duì)應(yīng)于個(gè)體差異。該眼睛位置識(shí)別裝置通過(guò)檢測(cè)面部圖像中的邊緣來(lái)獲取邊緣圖像，例如，利用模板和邊緣圖像中的預(yù)定圖像區(qū)域，計(jì)算模擬上眼瞼的凸?fàn)畎雸A形狀的重合度，并且確定該重合度等于或大于閾值的圖像區(qū)域，作為眼睛的候選的位置。接著，同時(shí)上下移動(dòng)的兩只眼睛的候選的位置的邊緣被認(rèn)為是眨眼，并且將這些眼睛的候選的位置確定為眼睛的位置。

另外，jp-a-h09-276319公開(kāi)了一種眼科立體顯微鏡裝置，其目的在于通過(guò)利用偏振光觀察要檢查的眼睛中示出的條紋標(biāo)記來(lái)質(zhì)性地獲得要檢查的眼睛的表面形狀。在眼科立體顯微鏡裝置中，如果觀察利用透過(guò)充當(dāng)偏光器的偏光板等的光源的光照射要檢查的眼睛，則可以根據(jù)角膜的狀態(tài)觀察到各種條紋圖案，并且通過(guò)條紋圖案來(lái)確定角膜的形狀。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的一個(gè)或更多個(gè)實(shí)施方式提供一種基于面部圖像來(lái)準(zhǔn)確地檢測(cè)眼睛的位置或狀態(tài)的面部圖像處理裝置。

根據(jù)本發(fā)明的一個(gè)或更多個(gè)實(shí)施方式，提供了一種面部圖像處理裝置，該面部圖像處理裝置包括：照明部，該照明部包括使光在第一方向上偏振的第一偏光器以及透過(guò)所述第一偏光器發(fā)射紅外光的發(fā)光器；攝像部，該攝像部包括使光在垂直于所述第一方向的第二方向上偏振的第二偏光器以及透過(guò)所述第二偏光器拍攝圖像的攝像器；以及圖像處理部，該圖像處理部利用當(dāng)所述照明部發(fā)射紅外光時(shí)由所述攝像部拍攝的第一圖像和當(dāng)所述照明部不發(fā)射紅外光時(shí)由所述攝像部拍攝的第二圖像，來(lái)檢測(cè)眼睛的多個(gè)候選，其中，所述圖像處理部將眼睛候選中的具有在所述第一圖像中存在但在所述第二圖像中不存在的雙曲線狀圖案或十字狀圖案的候選確定為眼睛。

另外，提供了一種面部圖像處理裝置，該面部圖像處理裝置包括：第一照明部，該第一照明部包括使光在第一方向上偏振的第一偏光器以及透過(guò)所述第一偏光器發(fā)射紅外光的第一發(fā)光器；第二照明部，該第二照明部包括發(fā)射紅外光的第二發(fā)光器；攝像部，該攝像部包括使光在垂直于所述第一方向的第二方向上偏振的第二偏光器以及透過(guò)所述第二偏光器拍攝圖像的攝像器；以及圖像處理部，該圖像處理部基于當(dāng)所述第一照明部發(fā)射紅外光時(shí)由所述攝像部拍攝的第一圖像和當(dāng)所述第二照明部發(fā)射紅外光時(shí)由所述攝像部拍攝的第二圖像，將存在于所述第一圖像中但不存在于所述第二圖像中的雙曲線狀圖案或十字狀圖案檢測(cè)為眼睛。

因此，通過(guò)檢測(cè)僅在面部圖像中的眼睛中示出的特征圖案，可以準(zhǔn)確地檢測(cè)眼睛的位置或狀態(tài)。

所述圖像處理部可以生成作為所述第一圖像與所述第二圖像之間的差異的差異圖像，并且基于所述差異圖像來(lái)檢測(cè)所述圖案。

因此，可以補(bǔ)償所述差異圖像中的外部光的影響，因此可以進(jìn)一步準(zhǔn)確地檢測(cè)眼睛的位置。

所述發(fā)光器可以被提供為從駕駛車(chē)輛的駕駛員的前方，向該駕駛員的面部照射光，并且在檢測(cè)到所述圖案的情況下，所述圖像處理部可以確定為所述駕駛員向前看。

因此，可以可靠地檢測(cè)到駕駛員正常地駕駛。

根據(jù)本發(fā)明的一個(gè)或更多個(gè)實(shí)施方式，可以提供基于面部圖像進(jìn)一步準(zhǔn)確地檢測(cè)眼睛的位置或狀態(tài)的面部圖像處理裝置。

附圖說(shuō)明

圖1是本發(fā)明的第一實(shí)施方式的面部圖像處理裝置的外觀圖；

圖2a是當(dāng)本發(fā)明的第一實(shí)施方式的面部圖像處理裝置被提供在車(chē)輛中的情況下從頂部看到的說(shuō)明圖，而圖2b是從側(cè)面看到的說(shuō)明圖；

圖3是本發(fā)明的第一實(shí)施方式的面部圖像處理裝置的框圖；

圖4是本發(fā)明的第一實(shí)施方式的面部圖像處理裝置中的拍攝定時(shí)圖；

圖5是例示本發(fā)明的第一實(shí)施方式的面部圖像處理裝置中的全部操作的流程圖；

圖6是例示本發(fā)明的第一實(shí)施方式的面部圖像處理裝置中的檢測(cè)圖案的方法的流程圖；

圖7a是由本發(fā)明的第一實(shí)施方式的面部圖像處理裝置拍攝的第一圖像，而圖7b是第二圖像；

圖8a是由本發(fā)明的第一實(shí)施方式的面部圖像處理裝置拍攝的第一圖像與第二圖像的差異圖像，而圖8b是該差異圖像中的眼睛的候選的說(shuō)明圖；

圖9是例示根據(jù)由本發(fā)明的第一實(shí)施方式的面部圖像處理裝置所拍攝的第一圖像與第二圖像的差異圖像來(lái)確定眼睛的說(shuō)明圖；

圖10是本發(fā)明的第一實(shí)施方式的面部圖像處理裝置中的檢測(cè)圖案的方法的說(shuō)明圖(提取全部像素當(dāng)中的某個(gè)眼睛的候選附近的像素)；

圖11是本發(fā)明的第二實(shí)施方式的面部圖像處理裝置的外觀圖；

圖12a是當(dāng)本發(fā)明的第二實(shí)施方式的面部圖像處理裝置被提供在車(chē)輛中的情況下從頂部看到的說(shuō)明圖，而圖12b是從側(cè)面看到的說(shuō)明圖；

圖13是本發(fā)明的第二實(shí)施方式的面部圖像處理裝置的框圖；

圖14是本發(fā)明的第二實(shí)施方式的面部圖像處理裝置中的拍攝定時(shí)圖；以及

圖15是例示本發(fā)明的第二實(shí)施方式的面部圖像處理裝置中的全部操作的流程圖。

具體實(shí)施方式

在本發(fā)明的實(shí)施方式中，闡述了許多具體細(xì)節(jié)，以便提供對(duì)本發(fā)明的詳盡理解。然而，本領(lǐng)域普通技術(shù)人員應(yīng)當(dāng)明白，本發(fā)明可以在不需要這些具體細(xì)節(jié)的情況下來(lái)實(shí)踐。在其它情況下，未詳細(xì)描述公知特征，以避免搞混本發(fā)明。

下面，參照附圖，對(duì)本發(fā)明的實(shí)施方式進(jìn)行描述。

<第一實(shí)施方式>

參照?qǐng)D1至圖3，對(duì)本實(shí)施方式中的面部圖像處理裝置100進(jìn)行描述。為了通過(guò)拍攝駕駛車(chē)輛的駕駛員dr的面部的圖像來(lái)檢測(cè)該駕駛員dr的駕駛狀態(tài)，提供面部圖像處理裝置100以從駕駛員dr的前方朝向面部照射光并拍攝其圖像。面部圖像處理裝置100在大致立方體的表面上設(shè)置有照明部10和攝像部20，該表面面向駕駛員dr并且例如設(shè)置在方向盤(pán)wl內(nèi)部的方向盤(pán)軸部分、儀表面板部分、后視鏡等中，并因此駕駛員dr的面部在駕駛期間被光照射并且被拍攝。

面部圖像處理裝置100包括拍攝面部的圖像的攝像部20以及利用被設(shè)置成圍繞攝像部20的附近的多個(gè)發(fā)光器12構(gòu)成的照明部10。在面部圖像處理裝置100的照明部10中，使用發(fā)射紅外光的發(fā)光二極管作為發(fā)光器12，并且在攝像部20中，使用能夠拍攝可見(jiàn)光和紅外光的電荷耦合器件(ccd)攝像機(jī)作為攝像器22，但毫無(wú)疑問(wèn)，其不限于此。使用紅外光是因?yàn)榧词乖谝归g和白天昏暗的情況下，人也可以具有夜視。

除了發(fā)光器12之外，照明部10還包括在第一方向上執(zhí)行偏振的第一偏光器11，并且發(fā)光器12在發(fā)射紅外光時(shí)透過(guò)第一偏光器11將紅外光發(fā)射到外部。偏光器是包括自然光束中的沿預(yù)定方向的偏振面并使透射的光偏振的典型偏光板。在這個(gè)實(shí)施方式中，當(dāng)與包括在稍后描述的攝像部20中的第二偏光器21的第二方向相比時(shí)，在第一方向上執(zhí)行偏振的第一偏光器11包括沿垂直方向的偏振面。

除了攝像器22以外，攝像部20包括使光在與第一方向垂直的第二方向上偏振的第二偏光器21(即，包括水平方向上的偏振面的第二偏光器21)，并且攝像器22在接收光并拍攝圖像時(shí)接收透過(guò)第二偏光器21的來(lái)自外部的光。因此，攝像器22偏振并接收由發(fā)光器12偏振和照射的紅外光的反射光，并且偏振和接收自然光的反射光。

面部圖像處理裝置100還設(shè)置有：存儲(chǔ)由攝像部20拍攝的圖像的存儲(chǔ)部50；基于存儲(chǔ)在存儲(chǔ)部50中的圖像來(lái)執(zhí)行圖像處理以便檢測(cè)眼睛等的圖像處理部30；用于利用由圖像處理部30處理的結(jié)果來(lái)輸出外部機(jī)構(gòu)的外部輸出部60；以及控制所有部分的控制部40。存儲(chǔ)部50例如是半導(dǎo)體存儲(chǔ)器，并且外部輸出部60是微型計(jì)算機(jī)，而控制部40是由微型計(jì)算機(jī)處理的控制邏輯。

如圖4所示，在照明部10的發(fā)光器12發(fā)射紅外光并照射駕駛員dr的面部的同時(shí)，面部圖像處理裝置100的控制部40通過(guò)利用攝像部20拍攝駕駛員dr的面部來(lái)獲取第一圖像，并將所拍攝的圖像存儲(chǔ)在存儲(chǔ)部50中。而且，在照明部10的發(fā)光器12停止發(fā)射光之后，控制部40繼續(xù)允許攝像部20僅利用自然光拍攝駕駛員dr的面部，獲取第二圖像，并將該圖像存儲(chǔ)在存儲(chǔ)部50中。在將第一圖像和第二圖像存儲(chǔ)在存儲(chǔ)部50中之后，圖像處理部30通過(guò)稍后描述的方法處理兩個(gè)圖像以檢測(cè)眼睛等。

參照?qǐng)D5和圖6，對(duì)面部圖像處理裝置100中的操作進(jìn)行描述。而且，流程圖中的s表示步驟。在s100中，面部圖像處理裝置100的控制部40通過(guò)開(kāi)啟發(fā)光器12來(lái)利用紅外光照射駕駛員的面部。在s102中，在發(fā)光器12發(fā)射光的同時(shí)，控制部40允許攝像部20拍攝駕駛員的面部的圖像。在s104中，控制部40允許存儲(chǔ)部50存儲(chǔ)由攝像部20拍攝的圖像作為第一圖像。

這里，參照?qǐng)D7a，對(duì)駕駛員的面部的第一圖像進(jìn)行描述。如相關(guān)技術(shù)中所描述的，在針對(duì)活體的角膜施加由偏光器產(chǎn)生的偏振光，并且根據(jù)角膜的各向異性來(lái)觀察通過(guò)與該偏振光垂直的偏振濾光器拍攝的角膜的情況下，獲知在角膜中心觀察到雙曲線形狀或十字狀的條紋圖案。由此，如圖7a所示，在第一圖像中，在駕駛員的眼睛的角膜中，存在著在圖7a中以45度傾斜的雙曲線狀圖案或十字狀圖案。雙曲線狀圖案或十字狀圖案的傾斜不因駕駛員的面部(眼睛)的傾斜而改變，并且就偏振方向(第一方向和第二方向)而言是恒定的。因此，即使駕駛員例如傾斜他或她的面部或朝向一側(cè)，只要在第一方向被固定至垂直方向并且第二方向被固定至水平方向的時(shí)候執(zhí)行拍攝，雙曲線狀圖案或十字狀圖案的傾斜就是恒定的，并且不改變。無(wú)論圖案是雙曲線形狀還是十字形狀都意味著根據(jù)觀察具有彎曲表面的角膜的角度，圖案看起來(lái)稍微改變，但是并不是本質(zhì)差異。

在s106中，控制部40關(guān)閉發(fā)光器12。在s108中，控制部40允許攝像部20僅利用自然光來(lái)拍攝駕駛員的面部。在s110中，控制部40允許存儲(chǔ)部50存儲(chǔ)由攝像部20拍攝的圖像作為第二圖像。圖7b例示了駕駛員的面部的第二圖像，但在第二圖像中，僅利用自然光執(zhí)行拍攝，因此即使當(dāng)透過(guò)偏光器21執(zhí)行拍攝時(shí)，在駕駛員的眼睛的角膜中不存在特征雙曲線狀圖案或十字狀圖案。

如果這兩個(gè)圖像被存儲(chǔ)在存儲(chǔ)部50中，則在s112中，圖像處理部30生成第一圖像與第二圖像的差異圖像。從準(zhǔn)確的圖像的觀點(diǎn)來(lái)看，優(yōu)選地獲取該差異圖像，差異圖像能夠補(bǔ)償由對(duì)于第一圖像和第二圖像而言共用的光所獲取的圖像部分，即，可以獲取即使在施加紅外光時(shí)也存在的自然光的反射光。因此，選擇性地生成該步驟的差異圖像，并且可以僅從第一圖像或第二圖像執(zhí)行下一步驟。圖8a例示了該差異圖像，但在圖8a中，例如，可以將具有預(yù)定大小或更大的成圓形的暗像素設(shè)置成眼睛的候選。在s114中，圖像處理部30從所獲得的差異圖像，或者從第一圖像或第二圖像中提取作為眼睛的候選的圖像部分。

在s116中，圖像處理部30掃描是否存在成為眼睛的候選的圖像部分，并且在存在成為眼睛的候選的圖像部分的情況下，在s118中，圖像處理部執(zhí)行從成為眼睛的候選的圖像部分中提取圖案的處理，如圖6的流程圖所示。圖8b例示了將具有預(yù)定大小或更大的成圓形的暗像素(如眼睛、鼻子的鼻孔及鼻子)提取為眼睛的候選。針對(duì)成為這些眼睛的候選的每個(gè)圖像部分，如下地確定眼睛的候選是否是真實(shí)的眼睛。

在s200中，圖像處理部30計(jì)算從作為眼睛的候選的圖像部分的中心的像素起上側(cè)五個(gè)像素處的像素的亮度值a。而且，雖然在本實(shí)施方式使用五個(gè)像素并加以描述，但根據(jù)像素的密度適當(dāng)?shù)卮_定用于拍攝人的角膜的圖像的像素的數(shù)量。在s202中，圖像處理部30計(jì)算從作為眼睛的候選的圖像部分的中心的像素起下側(cè)五個(gè)像素處的像素的亮度值b。在s204中，圖像處理部30計(jì)算從作為眼睛的候選的圖像部分的中心的像素起左側(cè)五個(gè)像素處的像素亮度值c。在s206中，圖像處理部30計(jì)算從作為眼睛的候選的圖像部分的中心的像素起右側(cè)五個(gè)像素處的像素的亮度值d。如圖10所示，從作為眼睛的候選的圖像部分的中心的像素起上側(cè)、下側(cè)、右側(cè)及左側(cè)五個(gè)像素處的像素，即，遠(yuǎn)離垂直方向和水平方向的像素共同作為暗像素。如上所述，只要通過(guò)將偏振方向固定至第一方向和第二方向來(lái)執(zhí)行拍攝，就是恒定的。

在s208中，圖像處理部30計(jì)算從作為眼睛的候選的圖像部分的中心的像素起斜向的右上側(cè)五個(gè)像素處的像素的亮度值e。在s210中，圖像處理部30計(jì)算從作為眼睛的候選的圖像部分的中心的像素起斜向的左上側(cè)五個(gè)像素處的像素的亮度值f。在s212中，圖像處理部30計(jì)算從作為眼睛的候選的圖像部分的中心的像素起斜向的右下側(cè)五個(gè)像素處的像素的亮度值g。在s214中，圖像處理部30計(jì)算從作為眼睛的候選的圖像部分的中心的像素起斜向的左下側(cè)五個(gè)像素處的像素的亮度值h。如圖10所示，從作為眼睛的候選的圖像部分的中心的像素起斜向的右上側(cè)、右下側(cè)、左上側(cè)及左下側(cè)的各五個(gè)像素共同作為亮像素。按相同方式，只要通過(guò)將偏振光的方向固定至第一方向和第二方向來(lái)執(zhí)行拍攝，像素就是恒定的。

在s216中，圖像處理部30計(jì)算亮度值a、b、c和d的偏差i。在s218中，圖像處理部30計(jì)算亮度值a、b、c和d的平均值j。在s220中，圖像處理部30計(jì)算亮度值e、f、g和h的偏差k。在s222中，圖像處理部30計(jì)算亮度值e、f、g和h的平均值l。

在s224中，圖像處理部30檢查偏差i是否在預(yù)定閾值內(nèi)。因?yàn)殡p曲線狀圖案或十字狀圖案總是如上所述以特定角度例示，所以如果90度處的像素的亮度偏差大，則認(rèn)為雙曲線狀圖案或十字狀圖案未示出(或是異常值)。在s226中，圖像處理部30以相同的方式檢查偏差k是否在預(yù)定閾值內(nèi)。在s228中，圖像處理部30計(jì)算平均值j與平均值k之間的差。而且，在s230中，圖像處理部30檢查平均值j與平均值k之間的差是否等于或大于預(yù)定閾值。如果示出雙曲線狀圖案或十字狀圖案，則其被示出為暗像素的平均值與亮像素的平均值之間的差，并因此存在等于或大于預(yù)定閾值的差。

因此，在偏差i和k處于預(yù)定閾值內(nèi)并且平均值j與平均值l之間的差等于或大于預(yù)定閾值的情況下，在s232中，圖像處理部30確定在作為眼睛的候選的圖像部分中存在雙曲線狀圖案或十字狀圖案。同時(shí)，在偏差i或偏差k未處于預(yù)定閾值內(nèi)并且平均值j與平均值l之間的差不等于或大于預(yù)定閾值的情況下，在s234中，圖像處理部30確定在作為眼睛的候選的圖像部分中不存在雙曲線狀圖案或十字狀圖案。

在s120中，圖像處理部30檢查雙曲線狀圖案或十字狀圖案是否存在于作為眼睛的候選的圖像部分中，并且在確定存在圖案的情況下，在s122中，除了眼睛之外，沒(méi)有示出其它這樣的特征圖案，并由此將作為眼睛的候選的圖像部分確定為眼睛的圖像。在這種情況下，如果通過(guò)該差異圖像示出了面部圖像，則如圖9所示，僅將角膜中所示的雙曲線狀圖案或十字狀圖案示為差異。如上所述，可以通過(guò)基于差異圖像檢測(cè)雙曲線狀圖案或十字狀圖案來(lái)補(bǔ)償差異圖像中的外部光的影響，因此可以準(zhǔn)確地檢測(cè)眼睛的位置。另外，在確定雙曲線狀圖案或十字狀圖案不存在于作為眼睛的候選的圖像部分中的情況下，在s128中，圖像處理部30確定眼睛的候選不是眼睛。

提供面部圖像處理裝置100以從駕駛員dr的前方拍攝圖像，可以識(shí)別角膜的存在，使得確定為駕駛員dr處于向前看的狀態(tài)，并且在s124中，外部輸出部60輸出顯示駕駛員dr在向前看的同時(shí)正常駕駛的結(jié)果。接著，在預(yù)定的暫停時(shí)段t1之后，重復(fù)上述步驟(s126)。而且，盡管在重復(fù)該步驟期間將眼睛的候選確定為眼睛，但對(duì)于在s116中未檢測(cè)到眼睛的候選的情況情況來(lái)說(shuō)，或者對(duì)于在s120中不能檢測(cè)到角膜的圖案的情況來(lái)說(shuō)，面部圖像處理裝置100確定存在駕駛員dr未向前看的狀態(tài)，例如，駕駛員瞌睡或不注意的狀態(tài)，由此在s130中，外部輸出部60輸出顯示駕駛員dr在未正常地向前看的同時(shí)進(jìn)行駕駛的結(jié)果。

如上所述，面部圖像處理裝置100利用在照明部10發(fā)射紅外光時(shí)通過(guò)攝像部20拍攝的第一圖像和在照明部10不發(fā)射紅外光時(shí)通過(guò)攝像部20拍攝的第二圖像，來(lái)檢測(cè)眼睛的多個(gè)候選，并且確定眼睛的候選，眼睛的候選包括存在于第一圖像中但不存在于第二圖像中的雙曲線狀圖案或十字狀圖案。如上所述，通過(guò)檢測(cè)僅在面部圖像中的眼睛中示出的特征圖案，可以準(zhǔn)確地檢測(cè)眼睛的位置或狀態(tài)。

<第二實(shí)施方式>

參照?qǐng)D11至圖13，對(duì)本實(shí)施方式中的面部圖像處理裝置100a進(jìn)行描述。為了避免多余的描述，將相同數(shù)字指定給與上述第一實(shí)施方式的那些組件相同的部件，并且將集中于不同的部分來(lái)進(jìn)行描述。提供面部圖像處理裝置100a以從駕駛員dr的前方朝向面部施加光并且執(zhí)行拍攝，以便通過(guò)拍攝駕駛車(chē)輛的駕駛員dr的面部來(lái)檢測(cè)駕駛員dr的駕駛狀態(tài)。面部圖像處理裝置100a設(shè)置有處于大致立方體表面上的第一照明部10、第二照明部10'以及攝像部20，該表面面對(duì)駕駛員dr，并且例如設(shè)置在方向盤(pán)wl內(nèi)部的方向盤(pán)軸部分等中，并因此駕駛員dr的面部被光照射并且在駕駛期間被拍攝。而且，在本實(shí)施方式中，兩個(gè)照明部被設(shè)置在攝像部20的右側(cè)和左側(cè)，但不限于此，并且，例如，按與上述第一實(shí)施方式相同的方式成環(huán)狀設(shè)置在攝像部20的周?chē)?，并且屬于第一照明?0的第一發(fā)光器12和屬于第二照明部10'的第二發(fā)光器12'可以交替設(shè)置。

第一發(fā)光器12和第二發(fā)光器12'是發(fā)射紅外光的發(fā)光二極管。第一照明部10包括第一發(fā)光器12和使光在第一方向上偏振的第一偏光器11，并且第一發(fā)光器12在發(fā)射紅外光時(shí)透過(guò)第一偏光器11將紅外光施加到外部。此時(shí)，第二照明部10'僅包括第二發(fā)光器12'，并且第一發(fā)光器12將紅外光直接施加到外部而不偏振該紅外光。

攝像部20包括攝像器22和使光在垂直于第一方向的第二方向上偏振的第二偏光器21，并且攝像器22在接收光和拍攝圖像時(shí)透過(guò)第二偏光器21從外部接收光。因此，攝像器22偏振并接收由第一發(fā)光器12偏振和施加的紅外光的反射光，并且偏振和接收由第二發(fā)光器12'直接施加的紅外光的反射光和自然光的反射光。

如圖14所示，面部圖像處理裝置100a的控制部40a允許第一照明部10的第一發(fā)光器12發(fā)射紅外光，在向駕駛員dr的面部照射光期間通過(guò)利用攝像部20拍攝駕駛員dr的面部來(lái)獲取第一圖像，并將該圖像存儲(chǔ)在存儲(chǔ)部50中。而且，在第一照明部10的第一發(fā)光器12停止發(fā)射光之后，控制部40a允許第二照明部10'的第二發(fā)光器12'發(fā)射紅外光，在向駕駛員dr的面部照射光期間通過(guò)利用攝像部20拍攝駕駛員dr的面部來(lái)獲取第二圖像，并將該圖像存儲(chǔ)在存儲(chǔ)部50中。在將第一圖像和第二圖像存儲(chǔ)在存儲(chǔ)部50中之后，圖像處理部30a處理這兩個(gè)圖像，并且檢測(cè)眼睛。

參照?qǐng)D15，對(duì)面部圖像處理裝置100a中的操作進(jìn)行描述。在s300，面部圖像處理裝置100a的控制部40a允許開(kāi)啟第一發(fā)光器12并且向駕駛員的面部照射紅外光。在s302中，控制部40a允許攝像部20在第一發(fā)光器12發(fā)射光期間拍攝駕駛員的面部。在s304中，控制部40a將攝像部20所拍攝的圖像作為第一圖像存儲(chǔ)在存儲(chǔ)部50中。按照與上述第一實(shí)施方式中存儲(chǔ)的第一圖像相同的方式，雙曲線狀圖案或十字狀圖案存在于存儲(chǔ)在存儲(chǔ)部50中的第一圖像中。

在s306中，控制部40a關(guān)閉第一發(fā)光器12。在s308中，控制部40a通過(guò)開(kāi)啟第二發(fā)光器12'來(lái)向駕駛員的面部照射紅外光。在s310中，控制部40a允許攝像部20在第二發(fā)光器12'發(fā)射光期間拍攝駕駛員的面部。在s312中，控制部40a允許存儲(chǔ)部50將攝像部20所拍攝的圖像存儲(chǔ)在第二圖像中。在存儲(chǔ)在存儲(chǔ)部50中的第二圖像中，按照與上述第一實(shí)施方式中的第二圖像相同的方式，特征雙曲線狀圖案或十字狀圖案未存在于駕駛員的眼睛的角膜中。在s314中，控制部40a關(guān)閉第二發(fā)光器12'。

如果這兩個(gè)圖像被存儲(chǔ)在存儲(chǔ)部50中，則在s316中，圖像處理部30a生成第一圖像與第二圖像的差異圖像。在該差異圖像中，僅示出了如圖9例示的角膜中所示的雙曲線狀圖案或十字狀圖案。這里，在s318中，圖像處理部30a通過(guò)圖案匹配法等提取特征圖案。在s320中，在圖像處理部30a檢查雙曲線狀圖案或十字狀圖案是否在差異圖像中的情況下，確定存在圖案，并接著在s322中，因?yàn)槌搜劬χ鉀](méi)有示出特征圖案，所以確定存在該圖案的區(qū)域是眼睛。另外，在雙曲線狀圖案或十字狀圖案不存在于該差異圖像中的情況下，在s328中，圖像處理部30a確定不能檢測(cè)到眼睛。

提供面部圖像處理裝置100a以從駕駛員dr的前方拍攝。如果可以確定角膜的存在，則確定為駕駛員dr處于向前看的狀態(tài)。因此，在s324中，外部輸出部60輸出顯示駕駛員dr在正常地向前看的同時(shí)進(jìn)行駕駛的結(jié)果。而且，在預(yù)定的暫停時(shí)段t1中，重復(fù)所述步驟(s326)。而且，盡管在重復(fù)這些步驟期間確定存在圖案，但對(duì)于在s320中不能檢測(cè)角膜的圖案的情況來(lái)說(shuō)，面部圖像處理裝置100a確定駕駛員dr不向前看的狀態(tài)，例如，駕駛員瞌睡或不注意的狀態(tài)，并且在s330中，外部輸出部60輸出顯示駕駛員dr沒(méi)有在正常地向前看的同時(shí)進(jìn)行駕駛的結(jié)果。

如上所述，面部圖像處理裝置100a基于由攝像部20利用在從第一照明部10發(fā)射紅外光時(shí)被偏振的紅外光的反射光拍攝的第一圖像和由攝像部20利用在從第二照明部10'發(fā)射的紅外光時(shí)未被偏振的紅外光的反射光拍攝的第二圖像，將不存在于第二圖像中但存在于第一圖像中的雙曲線狀圖案或十字狀圖案檢測(cè)為眼睛。如上所述，通過(guò)檢測(cè)僅在面部圖像中的眼睛中示出的特征圖案，可準(zhǔn)確檢測(cè)眼睛的位置或狀態(tài)。

而且，本發(fā)明不限于舉例說(shuō)明的實(shí)施方式，并且可以在不脫離權(quán)利要求書(shū)的每項(xiàng)內(nèi)容的范圍內(nèi)進(jìn)行配置。即，關(guān)于本發(fā)明的所述一個(gè)或更多個(gè)實(shí)施方式，主要例示和描述了某個(gè)實(shí)施方式，但其不脫離本發(fā)明的所述一個(gè)或更多個(gè)實(shí)施方式的技術(shù)精神領(lǐng)域和范圍，以及所述數(shù)字，或詳細(xì)配置，并且本領(lǐng)域技術(shù)人員可以針對(duì)上述實(shí)施方式應(yīng)用各種修改等。

例如，在上述實(shí)施方式中，獲取車(chē)輛的駕駛員的面部圖像，但可以獲取其他人的面部圖像，如操作重要單元的操作員的面部圖像。

雖然本發(fā)明已經(jīng)參照有限數(shù)量的實(shí)施方式進(jìn)行了描述，但受益于本公開(kāi)的本領(lǐng)域技術(shù)人員應(yīng)當(dāng)清楚，在不脫離如在此公開(kāi)的本發(fā)明的范圍的情況下，可以設(shè)想其它實(shí)施方式。因此，本發(fā)明的范圍應(yīng)當(dāng)僅受限于所附權(quán)利要求書(shū)。

相關(guān)申請(qǐng)的交叉引用

本申請(qǐng)基于并且要求于2016年3月7日提交的日本專利申請(qǐng)no.2016-043063的優(yōu)先權(quán)的權(quán)益，其全部?jī)?nèi)容通過(guò)引用并入于此。