專利名稱：：瞳孔檢測(cè)裝置及瞳孔檢測(cè)方法
技術(shù)領(lǐng)域：
：本發(fā)明涉及瞳孔檢測(cè)裝置和瞳孔檢測(cè)方法。
背景技術(shù)：
：在如夜間或隧道內(nèi)等無(wú)法充分地確保照度的環(huán)境中從臉圖像進(jìn)行視線檢測(cè)或表情檢測(cè)的情況下，為了確保照度，有時(shí)使用投光器。在使用了投光器的情況下，在眼球上觀測(cè)到因投光器映入到眼球的角膜上而產(chǎn)生的角膜反射像。在該角膜反射像的圖像(下面，有時(shí)稱為“角膜反射圖像”)和瞳孔圖像重疊的情況下，有時(shí)角膜反射圖像遮掩瞳孔圖像。在這種情況下，根據(jù)以往的以完全看到瞳孔圖像為前提的瞳孔檢測(cè)的手法，難以檢測(cè)瞳孔圖像。作為對(duì)應(yīng)這種問(wèn)題的第一方法，有專利文獻(xiàn)1中公開的方法。根據(jù)該第一方法，在眼區(qū)域內(nèi)計(jì)算亮度的微分，基于該計(jì)算結(jié)果，搜索負(fù)的邊緣(edge)和與其對(duì)應(yīng)的正的邊緣。由此，即使在瞳孔圖像內(nèi)出現(xiàn)角膜反射圖像的情況下，也能夠進(jìn)行瞳孔檢測(cè)。另外，作為第二方法，有專利文獻(xiàn)2中公開的方法。根據(jù)該第二方法，在投光器中使用SLD(superluminescentdiode，超級(jí)發(fā)光雙極管)。由此，能夠縮小映入到眼鏡或角膜上的投光器的反射像的面積，從而能夠?qū)崿F(xiàn)瞳孔檢測(cè)的穩(wěn)定化。進(jìn)而，作為第三方法，有非專利文獻(xiàn)1中公開的方法。根據(jù)該第三方法，從瞳孔區(qū)域的邊緣產(chǎn)生多個(gè)平行四邊形，并對(duì)于各個(gè)平行四邊形的中心進(jìn)行投票。然后，檢測(cè)被最多地投票的坐標(biāo)作為瞳孔中心。進(jìn)而，從自檢測(cè)出的瞳孔中心相等距離的邊緣檢測(cè)瞳孔輪廓。現(xiàn)有技術(shù)文獻(xiàn)專利文獻(xiàn)專利文獻(xiàn)1日本專利申請(qǐng)?zhí)亻_平2-213322號(hào)公報(bào)專利文獻(xiàn)2日本專利申請(qǐng)?zhí)亻_平7-M8216號(hào)公報(bào)非專利文獻(xiàn)非專利文獻(xiàn)1「高速楕円検出(二基3<眼球回旋運(yùn)動(dòng)O計(jì)測(cè)(MeasurementofCycloductionMovementBasedonFastEllipseDetection)」，坂下祐輔,藤吉弘亙,平田豊，高丸尚教，深谷直樹，SSII2006論文集
發(fā)明內(nèi)容發(fā)明要解決的問(wèn)題可是，在上述的第一方法中進(jìn)行如下嘗試，S卩在瞳孔輪廓上重疊了角膜反射像的情況下，改變投光器的位置而形成瞳孔輪廓和角膜反射像不重疊的狀況。然而，在難以使用多個(gè)投光器或者改變投光器的位置的情況下，難以避免在瞳孔輪廓上重疊了角膜反射像的狀況，其結(jié)果難以進(jìn)行瞳孔檢測(cè)。另外，在上述的第二方法中，通過(guò)縮小角膜反射像的物理大小，縮小角膜反射像遮掩瞳孔的區(qū)域。然而，在無(wú)法確保足夠的圖像的分辨率的情況下，不管角膜反射像的物理大小如何，角膜反射像和瞳孔圖像的大小大致相同。例如，在數(shù)字圖像的原理上，圖像上的角膜反射圖像的直徑為1像素以上，但是在分辨率低的情況下，瞳孔直徑最小也會(huì)縮小到1像素左右。因此，在角膜反射像和瞳孔重疊的情況下，瞳孔圖像被角膜反射圖像遮掩的“被遮掩面積”在圖像上變大，其結(jié)果難以進(jìn)行瞳孔檢測(cè)。另外，在上述的第三方法中，通過(guò)從作為瞳孔輪廓候補(bǔ)的邊緣像素中每次提取4點(diǎn)來(lái)生成多個(gè)平行四邊形，并將成為平行四邊形的中心的狀況最多的像素作為瞳孔中心。然而，在未觀測(cè)到位于相對(duì)瞳孔中心對(duì)稱的位置的邊緣的情況下，平行四邊形的中心很少位于瞳孔中心部分。因此，在角膜反射像遮掩了瞳孔的一半以上的情況下，難以進(jìn)行瞳孔檢測(cè)。本發(fā)明是鑒于這些方面而完成，其目的在于提供瞳孔檢測(cè)裝置和瞳孔檢測(cè)方法，即使在瞳孔的大部分被角膜反射像遮掩的情況下，也能夠穩(wěn)定地檢測(cè)瞳孔。解決問(wèn)題的方案本發(fā)明的瞳孔檢測(cè)裝置為檢測(cè)眼區(qū)域圖像內(nèi)的瞳孔圖像的瞳孔檢測(cè)裝置，包括第一檢測(cè)單元，檢測(cè)所述眼區(qū)域圖像的高亮度圖像區(qū)域即角膜反射圖像；評(píng)價(jià)值計(jì)算單元，設(shè)定以所述角膜反射圖像內(nèi)的基準(zhǔn)點(diǎn)為一端且具有規(guī)定的長(zhǎng)度的多個(gè)線段，并基于各個(gè)線段中的各個(gè)像素的亮度和基準(zhǔn)亮度，計(jì)算亮度評(píng)價(jià)值；確定單元，基于所述亮度評(píng)價(jià)值，從所述多個(gè)線段中確定通過(guò)所述瞳孔圖像的中心的瞳孔中心直線；以及第二檢測(cè)單元，基于所述瞳孔中心直線的周邊的亮度狀態(tài)，或者所述瞳孔中心直線上的亮度狀態(tài)，檢測(cè)所述瞳孔圖像。本發(fā)明的瞳孔檢測(cè)方法為檢測(cè)眼區(qū)域圖像內(nèi)的瞳孔圖像的瞳孔檢測(cè)方法，包括以下步驟檢測(cè)所述眼區(qū)域圖像的高亮度圖像區(qū)域即角膜反射圖像；設(shè)定以所述角膜反射圖像內(nèi)的基準(zhǔn)點(diǎn)為一端且具有規(guī)定的長(zhǎng)度的多個(gè)線段；基于各個(gè)線段中的各個(gè)像素的亮度和基準(zhǔn)亮度，計(jì)算亮度評(píng)價(jià)值；基于所述亮度評(píng)價(jià)值，從所述多個(gè)線段中確定通過(guò)所述瞳孔圖像的中心的瞳孔中心直線；以及基于所述瞳孔中心直線的周邊的亮度狀態(tài)，或者所述瞳孔中心直線上的亮度狀態(tài)，檢測(cè)所述瞳孔圖像。發(fā)明的效果根據(jù)本發(fā)明，能夠提供瞳孔檢測(cè)裝置和瞳孔檢測(cè)方法，即使在瞳孔的大部分被角膜反射像遮掩的情況下，通過(guò)主動(dòng)地利用角膜反射像的信息，也能夠穩(wěn)定地檢測(cè)瞳孔。圖1是表示本發(fā)明實(shí)施方式1的瞳孔檢測(cè)裝置的結(jié)構(gòu)的方框圖。圖2是表示眼區(qū)域檢測(cè)單元的結(jié)構(gòu)的方框圖。圖3是用于說(shuō)明瞳孔檢測(cè)裝置的動(dòng)作的流程圖。圖4是表示目標(biāo)圖像即臉圖像的圖。圖5是用于說(shuō)明角膜反射圖像檢測(cè)處理和亮度評(píng)價(jià)值計(jì)算處理的圖。圖6是表示一例亮度評(píng)價(jià)值和計(jì)算出該亮度評(píng)價(jià)值的輻射方向與基準(zhǔn)方向形成的角度之間的對(duì)應(yīng)關(guān)系的圖。圖7是用于說(shuō)明亮度評(píng)價(jià)值計(jì)算處理的圖。圖8是用于說(shuō)明瞳孔搜索處理的圖。圖9是表示本發(fā)明實(shí)施方式2的瞳孔檢測(cè)裝置的結(jié)構(gòu)的方框圖。圖10是用于說(shuō)明瞳孔檢測(cè)裝置的動(dòng)作的流程圖。圖11是表示本發(fā)明實(shí)施方式3的瞳孔檢測(cè)裝置的結(jié)構(gòu)的方框圖。圖12是用于說(shuō)明瞳孔檢測(cè)裝置的動(dòng)作的流程圖。圖13是表示本發(fā)明實(shí)施方式4的瞳孔檢測(cè)裝置的結(jié)構(gòu)的方框圖。圖14是表示本發(fā)明實(shí)施方式5的瞳孔檢測(cè)裝置的結(jié)構(gòu)的方框圖。圖15是用于說(shuō)明瞳孔中心直線計(jì)算單元的動(dòng)作的圖。圖16是表示本發(fā)明實(shí)施方式6的瞳孔檢測(cè)裝置的結(jié)構(gòu)的方框圖。圖17是用于說(shuō)明瞳孔搜索單元的動(dòng)作的圖。圖18是表示本發(fā)明實(shí)施方式7的瞳孔檢測(cè)裝置的結(jié)構(gòu)的方框圖。圖19是用于說(shuō)明瞳孔搜索單元的動(dòng)作的圖。標(biāo)號(hào)說(shuō)明100、600、800、1000、1100、1300、1400瞳孔檢測(cè)裝置101眼區(qū)域圖像獲取單元102角膜反射像檢測(cè)單元103瞳孔狀態(tài)預(yù)測(cè)單元104瞳孔狀態(tài)存儲(chǔ)單元105、601周邊狀態(tài)評(píng)價(jià)單元106、1001、1101瞳孔中心直線計(jì)算單元107、804、1301、1401瞳孔搜索單元111圖像輸入單元112眼區(qū)域檢測(cè)單元121臉檢測(cè)單元122臉器官檢測(cè)單元123眼區(qū)域決定單元602鞏膜平均亮度計(jì)算單元603鞏膜平均亮度存儲(chǔ)單元801照度測(cè)定單元802照明狀態(tài)存儲(chǔ)單元803照明狀態(tài)估計(jì)單元具體實(shí)施例方式以下，參照附圖詳細(xì)說(shuō)明本發(fā)明的實(shí)施方式。另外，在實(shí)施方式中，對(duì)相同的結(jié)構(gòu)要素附加相同的標(biāo)號(hào)，由于重復(fù)而省略其說(shuō)明。實(shí)施方式1[瞳孔檢測(cè)裝置100的結(jié)構(gòu)]圖1是表示本發(fā)明的實(shí)施方式1的瞳孔檢測(cè)裝置100的結(jié)構(gòu)的方框圖。瞳孔檢測(cè)裝置100例如設(shè)置在汽車的車內(nèi)，與視線檢測(cè)裝置連接而使用。該視線檢測(cè)裝置基于瞳孔檢測(cè)裝置100的檢測(cè)結(jié)果決定瞳孔位置，并檢測(cè)駕駛員的視線方向。下面，特別對(duì)將瞳孔檢測(cè)裝置100應(yīng)用于視線檢測(cè)裝置的情況進(jìn)行說(shuō)明。在圖1中，瞳孔檢測(cè)裝置100包括眼區(qū)域圖像獲取單元101、角膜反射像檢測(cè)單元102、瞳孔狀態(tài)預(yù)測(cè)單元103、瞳孔狀態(tài)存儲(chǔ)單元104、周邊狀態(tài)評(píng)價(jià)單元105、瞳孔中心直線計(jì)算單元106以及瞳孔搜索單元107。眼區(qū)域圖像獲取單元101獲取眼區(qū)域圖像，并將其輸出到角膜反射像檢測(cè)單元102。具體來(lái)說(shuō)，眼區(qū)域圖像獲取單元101具備圖像輸入單元111和眼區(qū)域檢測(cè)單元112。圖像輸入單元111對(duì)拍攝目標(biāo)(即，在此是人物)進(jìn)行拍攝。該目標(biāo)圖像數(shù)據(jù)被輸出到眼區(qū)域檢測(cè)單元112。圖像輸入單元111例如設(shè)置于車的方向盤上、或者儀表盤上等駕駛席的正面。由此，通過(guò)圖像輸入單元111拍攝駕駛中的駕駛者的臉。眼區(qū)域檢測(cè)單元112從自圖像輸入單元111接受的目標(biāo)圖像中，檢測(cè)眼區(qū)域圖像。具體來(lái)說(shuō)，如圖2所示，眼區(qū)域檢測(cè)單元112具有臉檢測(cè)單元121、臉器官檢測(cè)單元122和眼區(qū)域決定單元123。臉檢測(cè)單元121從自圖像輸入單元111接受的目標(biāo)圖像中檢測(cè)臉圖像，并將臉圖像數(shù)據(jù)輸出到臉器官檢測(cè)單元122。臉器官檢測(cè)單元122從自臉檢測(cè)單元121接受的臉圖像中檢測(cè)臉器官群(即，外眼角、內(nèi)眼角等)，并將各臉器官的位置坐標(biāo)向眼區(qū)域決定單元123輸出。眼區(qū)域決定單元123基于從臉器官檢測(cè)單元122接受的各臉器官的位置坐標(biāo)，決定眼區(qū)域圖像的位置和大小。該眼區(qū)域圖像的位置和大小作為眼區(qū)域圖像檢測(cè)結(jié)果，與從圖像輸入單元111輸出的目標(biāo)圖像一起被輸出到角膜反射像檢測(cè)單元102。此外，對(duì)左眼和右眼分別計(jì)算眼區(qū)域圖像的位置和大小。返回到圖1，角膜反射像檢測(cè)單元102從自眼區(qū)域圖像獲取單元101接受的目標(biāo)圖像數(shù)據(jù)中檢測(cè)角膜反射圖像，并將有關(guān)檢測(cè)出的角膜反射圖像的信息輸出到周邊狀態(tài)評(píng)價(jià)單元105。該有關(guān)角膜反射圖像的信息中包含角膜反射圖像區(qū)域的中心的坐標(biāo)。周邊狀態(tài)評(píng)價(jià)單元105計(jì)算以角膜反射圖像為基準(zhǔn)的、反射方向的“亮度評(píng)價(jià)值”。也就是說(shuō)，周邊狀態(tài)評(píng)價(jià)單元105計(jì)算亮度評(píng)價(jià)值與計(jì)算出該亮度評(píng)價(jià)值的輻射方向和基準(zhǔn)方向形成的角度之間的對(duì)應(yīng)關(guān)系。具體來(lái)說(shuō)，周邊狀態(tài)評(píng)價(jià)單元105在由角膜反射像檢測(cè)單元102檢測(cè)出的角膜反射圖像內(nèi)設(shè)定基準(zhǔn)點(diǎn)，并設(shè)定以該基準(zhǔn)點(diǎn)為一端且具有規(guī)定的長(zhǎng)度的多個(gè)線段。通過(guò)從基準(zhǔn)方向開始每次旋轉(zhuǎn)規(guī)定角度，依次設(shè)定該多個(gè)線段。由于這里以角膜反射圖像和瞳孔圖像重疊的情況為前提，所以線段的規(guī)定的長(zhǎng)度為估計(jì)的瞳孔圖像的直徑(以下，有時(shí)被稱為“估計(jì)瞳孔直徑”)。估計(jì)瞳孔直徑由瞳孔狀態(tài)預(yù)測(cè)單元103進(jìn)行估計(jì)。另外，在還包含角膜反射圖像和瞳孔圖像未重復(fù)的情況而進(jìn)行處理的情況下，將線段的長(zhǎng)度設(shè)定為長(zhǎng)于估計(jì)瞳孔直徑的長(zhǎng)度即可。然后，周邊狀態(tài)評(píng)價(jià)單元105基于各個(gè)線段中的各個(gè)像素的亮度和基準(zhǔn)亮度，計(jì)算亮度評(píng)價(jià)值。詳細(xì)而言，周邊狀態(tài)評(píng)價(jià)單元105將各個(gè)線段中的各個(gè)像素的亮度和基準(zhǔn)亮度進(jìn)行比較，提取具有亮度比基準(zhǔn)亮度低的像素，并計(jì)算提取出的所有像素的亮度和基準(zhǔn)亮度之差的總和作為亮度評(píng)價(jià)值。也就是說(shuō)，使用下式(1)求亮度評(píng)價(jià)值。ν=Υ(Β<55-Β:0)…(1)L其中，V為亮度評(píng)價(jià)值，S為作為基準(zhǔn)亮度使用的鞏膜平均亮度，B為線段上的各個(gè)像素的亮度，L為線段。瞳孔中心直線計(jì)算單元106基于由周邊狀態(tài)評(píng)價(jià)單元105計(jì)算出的亮度評(píng)價(jià)值，確定通過(guò)瞳孔圖像的中心的線段(以下，有時(shí)被稱為“瞳孔中心直線”)。具體來(lái)說(shuō)，瞳孔中心直線計(jì)算單元106將由周邊狀態(tài)評(píng)價(jià)單元105計(jì)算出的亮度評(píng)價(jià)值最大的線段確定為瞳孔中心直線。瞳孔搜索單元107基于瞳孔中心直線周邊的亮度狀態(tài)，搜索瞳孔圖像。具體來(lái)說(shuō)，瞳孔搜索單元107基于由瞳孔中心直線計(jì)算單元106所確定的瞳孔中心直線和包含上述的估計(jì)瞳孔直徑的直徑候補(bǔ)群，依次設(shè)定瞳孔圖像區(qū)域候補(bǔ)，并基于瞳孔圖像區(qū)域候補(bǔ)內(nèi)的亮度狀態(tài)，從瞳孔圖像區(qū)域候補(bǔ)群中檢測(cè)瞳孔圖像區(qū)域(即，瞳孔圖像區(qū)域的可能性最大的區(qū)域)，從而搜索瞳孔圖像區(qū)域。具體來(lái)說(shuō)，瞳孔搜索單元107將在瞳孔中心直線上存在中心、且以直徑候補(bǔ)群內(nèi)的一個(gè)直徑候補(bǔ)作為直徑的圓設(shè)定為瞳孔圖像區(qū)域候補(bǔ)，并計(jì)算該瞳孔圖像區(qū)域候補(bǔ)內(nèi)的亮度狀態(tài)指標(biāo)。作為該亮度狀態(tài)指標(biāo)，這里使用在所設(shè)定的瞳孔圖像區(qū)域候補(bǔ)內(nèi)的像素群中，亮度比基準(zhǔn)亮度低的像素群的平均亮度。也就是說(shuō)，使用下式(求亮度狀態(tài)指標(biāo)。^(B<S1B:0)X=^--…(2)P其中，X為瞳孔圖像區(qū)域候補(bǔ)的亮度狀態(tài)指標(biāo)，P為瞳孔圖像區(qū)域候補(bǔ)，即為在瞳孔中心直線上存在中心、且以直徑候補(bǔ)群內(nèi)的一個(gè)直徑候補(bǔ)作為直徑的圓。也就是說(shuō)，在式(2)的分母中將在瞳孔圖像區(qū)域候補(bǔ)內(nèi)的、亮度比基準(zhǔn)亮度低的像素的數(shù)進(jìn)行計(jì)數(shù)，而在分子中，求在瞳孔圖像區(qū)域候補(bǔ)內(nèi)的、亮度比基準(zhǔn)亮度低的像素的亮度的總和。對(duì)于各個(gè)瞳孔圖像區(qū)域候補(bǔ)(即，中心位置和直徑候補(bǔ)的組合不同的各個(gè)瞳孔圖像區(qū)域候補(bǔ))求該亮度狀態(tài)指標(biāo)，并將在瞳孔圖像區(qū)域候補(bǔ)群內(nèi)的、亮度狀態(tài)指標(biāo)最小的瞳孔圖像區(qū)域候補(bǔ)確定為瞳孔圖像區(qū)域。有關(guān)如上所確定的瞳孔圖像區(qū)域的信息(即，有關(guān)中心位置和直徑的信息)被存儲(chǔ)在瞳孔狀態(tài)存儲(chǔ)單元104，同時(shí)被用于后級(jí)的功能單元即視線檢測(cè)單元(未圖示)中的視線檢測(cè)處理。另外，這里雖然準(zhǔn)備了多個(gè)直徑候補(bǔ)，但是也可以僅使用估計(jì)瞳孔直徑。由此，在瞳孔直徑的變動(dòng)較少的拍攝環(huán)境中，也能夠維持瞳孔檢測(cè)的精度并降低處理量。瞳孔狀態(tài)存儲(chǔ)單元104將有關(guān)由瞳孔搜索單元107檢測(cè)出的瞳孔圖像區(qū)域的信息(即，有關(guān)中心位置和直徑的信息)與在瞳孔圖像區(qū)域的檢測(cè)中使用的目標(biāo)圖像的拍攝時(shí)刻關(guān)聯(lián)地存儲(chǔ)。瞳孔狀態(tài)預(yù)測(cè)單元103根據(jù)在瞳孔狀態(tài)存儲(chǔ)單元104中所存儲(chǔ)的過(guò)去的檢測(cè)瞳孔直徑(即，瞳孔圖像區(qū)域的直徑)，對(duì)當(dāng)前的瞳孔的直徑進(jìn)行估計(jì)。該估計(jì)瞳孔直徑被輸出到周邊狀態(tài)評(píng)價(jià)單元105和瞳孔搜索單元107。[瞳孔檢測(cè)裝置100的動(dòng)作]說(shuō)明具有以上的結(jié)構(gòu)的瞳孔檢測(cè)裝置100的動(dòng)作。圖3是用于說(shuō)明瞳孔檢測(cè)裝置100的動(dòng)作的流程圖。在圖3的流程圖中，還包含上述的視線檢測(cè)裝置中的處理流程。圖3所示的處理流程與拍攝作業(yè)同時(shí)開始。拍攝作業(yè)即可以通過(guò)用戶的操作來(lái)開始，也可以將外部的某個(gè)信號(hào)作為觸發(fā)而開始。<圖像獲取處理>在步驟S201中，圖像輸入單元111對(duì)拍攝目標(biāo)(即，在此是人物)進(jìn)行拍攝。由此，獲取目標(biāo)圖像。作為圖像輸入單元111，例如假想為具備CMOS圖像傳感器和鏡頭的數(shù)碼攝像機(jī)。因此，由圖像輸入單元111拍攝的PPM(PortablePixMapfileformat，可移植的象素映射位圖文件格式)格式的圖像等暫時(shí)被存儲(chǔ)到圖像輸入單元111所包含的未圖示的圖像存儲(chǔ)單元(例如，PC的存儲(chǔ)器空間)中之后，仍以PPM格式輸出到眼區(qū)域檢測(cè)單元112?！茨槇D像檢測(cè)處理〉在步驟S202中，臉檢測(cè)單元121從自圖像輸入單元111接受的目標(biāo)圖像中，檢測(cè)臉圖像。圖4是表示目標(biāo)圖像即臉圖像的圖。此外，在所拍攝的臉圖像中，例如將圖像橫向設(shè)為X軸、且將圖像縱向設(shè)為Y軸，1像素為1坐標(biāo)點(diǎn)。在臉區(qū)域檢測(cè)處理中，例如，從輸入圖像中提取成為特征的圖像的候補(bǔ)(即，特征圖像候補(bǔ))，通過(guò)比較所提取的特征圖像候補(bǔ)和表示預(yù)先準(zhǔn)備的臉區(qū)域的特征圖像，檢測(cè)出類似度高的特征圖像候補(bǔ)。例如，將預(yù)先獲取的平均臉的伽柏(Gabor)特征量和通過(guò)掃描輸入圖像而提取的伽柏特征量進(jìn)行對(duì)照，求兩者差分的絕對(duì)值的倒數(shù)作為類似度。在該情況下，臉檢測(cè)單元121與預(yù)先準(zhǔn)備的模板進(jìn)行比較，將在圖4的圖像400中相關(guān)度最高的區(qū)域確定為臉圖像401。此外，臉區(qū)域檢測(cè)處理即可以通過(guò)從圖像中檢測(cè)膚色區(qū)域(即，膚色區(qū)域檢測(cè))進(jìn)行，也可以通過(guò)檢測(cè)橢圓部分(即，橢圓檢測(cè))進(jìn)行，也可以通過(guò)采用統(tǒng)計(jì)學(xué)的模式識(shí)別方法進(jìn)行。此外，只要是能夠進(jìn)行上述臉檢測(cè)的技術(shù)，可以采用任何方法。<臉器官檢測(cè)處理>在步驟S203中，臉器官檢測(cè)單元122從自臉檢測(cè)單元121接受的臉圖像中檢測(cè)臉器官群(即，嘴角、外眼角、內(nèi)眼角等)，并將各臉器官的位置坐標(biāo)輸出到眼區(qū)域決定單元123。臉器官群的搜索區(qū)域是在步驟S202中所確定的臉區(qū)域401。在圖4中，分別示出臉器官群402。在臉器官群檢測(cè)處理中，例如利用分離度過(guò)濾器檢測(cè)嘴角、外眼角、內(nèi)眼角等臉器官的端點(diǎn)或鼻孔等的二維坐標(biāo)。此外，即可以是，預(yù)先使學(xué)習(xí)器學(xué)習(xí)多個(gè)臉圖像和與臉圖像對(duì)應(yīng)的臉器官的位置之間的對(duì)應(yīng)關(guān)系，臉器官檢測(cè)單元122在輸入了臉圖像401時(shí)，將與該對(duì)應(yīng)關(guān)系似然最高的部位作為臉器官來(lái)檢測(cè)?；蛘撸部梢允?，臉器官檢測(cè)單元122利用標(biāo)準(zhǔn)的臉器官的模板，從臉圖像401中搜索臉器官?！囱蹍^(qū)域決定處理〉在步驟S204中，眼區(qū)域決定單元123從自臉檢測(cè)單元121接受的臉圖像和自臉器官檢測(cè)單元122接受的臉器官群中，決定眼區(qū)域。在眼區(qū)域決定處理中，例如在左、右各個(gè)眼中，將包含外眼角、內(nèi)眼角的矩形區(qū)域403決定為眼區(qū)域，獲取矩形的左上端點(diǎn)坐標(biāo)和右下端點(diǎn)坐標(biāo)作為眼區(qū)域信息。<角膜反射圖像檢測(cè)處理>在步驟S205中，角膜反射像檢測(cè)單元102從自臉檢測(cè)單元121接受的臉圖像和自眼區(qū)域決定單元123接受的眼區(qū)域信息中，檢測(cè)角膜反射圖像。具體來(lái)說(shuō)，如圖5所示，角膜反射像檢測(cè)單元102在眼區(qū)域403內(nèi)檢測(cè)角膜反射圖像501的中心坐標(biāo)。例如，角膜反射像檢測(cè)單元102在眼區(qū)域403內(nèi)生成亮度分布，使用所生成的亮度分布，將規(guī)定的亮度以上且區(qū)域的大小在規(guī)定的大小范圍內(nèi)的區(qū)域檢測(cè)為角膜反射圖像，并將該區(qū)域的重心作為角膜反射圖像的中心。<估計(jì)瞳孔直徑計(jì)算處理>在步驟S206中，瞳孔狀態(tài)預(yù)測(cè)單元103根據(jù)在瞳孔狀態(tài)存儲(chǔ)單元104中所存儲(chǔ)的過(guò)去的檢測(cè)瞳孔直徑，計(jì)算估計(jì)瞳孔直徑作為當(dāng)前的瞳孔直徑。對(duì)于估計(jì)瞳孔直徑而言，例如，根據(jù)過(guò)去的檢測(cè)瞳孔直徑的歷史計(jì)算瞳孔直徑的變化速度，并將維持了該瞳孔直徑變化速度時(shí)的瞳孔直徑作為估計(jì)瞳孔直徑。但是，估計(jì)瞳孔直徑的計(jì)算并不限于上述方法，例如，也可以在瞳孔直徑向變小的方向變化時(shí)總是使用人的平均最大縮瞳速度，而在向變大的方向時(shí)使用最大擴(kuò)瞳速度?；蛘?，也可以通過(guò)使用卡爾曼濾波器(Kalmanfilter)等的狀態(tài)預(yù)測(cè)來(lái)求估計(jì)瞳孔直徑。<亮度評(píng)價(jià)值計(jì)算處理>在步驟S207中，周邊狀態(tài)評(píng)價(jià)單元105從包含由角膜反射像檢測(cè)單元102生成的角膜反射圖像的圖像區(qū)域的亮度分布，將亮度評(píng)價(jià)值與計(jì)算出該亮度評(píng)價(jià)值的輻射方向和基準(zhǔn)方向形成的角度之間的對(duì)應(yīng)關(guān)系進(jìn)行計(jì)算。圖6表示一例亮度評(píng)價(jià)值與計(jì)算出該亮度評(píng)價(jià)值的輻射方向和基準(zhǔn)方向形成的角度之間的對(duì)應(yīng)關(guān)系。具體來(lái)說(shuō)，首先，周邊狀態(tài)評(píng)價(jià)單元105計(jì)算在眼區(qū)域內(nèi)距角膜反射圖像的中心離開了平均的角膜半徑(例如為5mm)以上的區(qū)域的平均亮度作為鞏膜平均亮度。作為上述的基準(zhǔn)亮度使用該鞏膜平均亮度。其次，如圖5所示，周邊狀態(tài)評(píng)價(jià)單元105在由角膜反射像檢測(cè)單元102檢測(cè)出的角膜反射圖像內(nèi)設(shè)定基準(zhǔn)點(diǎn)(在此為角膜反射圖像區(qū)域的中心)，并設(shè)定以該基準(zhǔn)點(diǎn)為一端且具有估計(jì)瞳孔直徑的長(zhǎng)度的線段502。然后，周邊狀態(tài)評(píng)價(jià)單元105基于各個(gè)線段502的各個(gè)像素的亮度和基準(zhǔn)亮度，計(jì)算亮度評(píng)價(jià)值。通過(guò)提取具有亮度比基準(zhǔn)亮度低的像素，并求有關(guān)所提取的所有像素的亮度和基準(zhǔn)亮度之差的總和，作為該亮度估計(jì)值。如圖7所示，對(duì)于通過(guò)從基準(zhǔn)方向開始每次旋轉(zhuǎn)規(guī)定角度而依次設(shè)定的多個(gè)線段502的每一個(gè)，進(jìn)行該計(jì)算處理。這里，對(duì)于與角膜對(duì)應(yīng)的圖像，或者，外光映射到眼鏡或角膜上的圖像區(qū)域而言，其亮度比與瞳孔對(duì)應(yīng)的圖像的亮度高。因此，通過(guò)以與鞏膜對(duì)應(yīng)的圖像區(qū)域的亮度為基準(zhǔn)，僅提取亮度低于該基準(zhǔn)亮度的像素，能夠排除不是與瞳孔對(duì)應(yīng)的圖像區(qū)域的可能性高的像素的影響。而且，僅以與瞳孔對(duì)應(yīng)的圖像區(qū)域的可能性高的低亮度的像素為對(duì)象來(lái)計(jì)算亮度評(píng)價(jià)值，能夠獲取使瞳孔中心直線的檢測(cè)精度提高的評(píng)價(jià)值?！赐字行闹本€檢測(cè)處理〉在步驟S208中，瞳孔中心直線計(jì)算單元106基于由周邊狀態(tài)評(píng)價(jià)單元105計(jì)算出的亮度評(píng)價(jià)值，確定瞳孔中心直線。具體來(lái)說(shuō)，瞳孔中心直線計(jì)算單元106將由周邊狀態(tài)評(píng)價(jià)單元105計(jì)算出的亮度評(píng)價(jià)值最大的線段確定為瞳孔中心直線。另外，也可以通過(guò)計(jì)算規(guī)定的角度范圍內(nèi)的亮度評(píng)價(jià)值的總和最高的范圍的加權(quán)平均，檢測(cè)瞳孔中心直線相對(duì)基準(zhǔn)方向的角度。此時(shí)，將通過(guò)角膜反射圖像區(qū)域的中心、且在檢測(cè)角度方向伸延的直線作為瞳孔中心直線?！赐姿阉魈幚怼翟诓襟ES209中，如圖8所示，瞳孔搜索單元107基于由瞳孔中心直線計(jì)算單元106所確定的瞳孔中心直線和包含上述的估計(jì)瞳孔直徑的直徑候補(bǔ)群，依次設(shè)定瞳孔圖像區(qū)域候補(bǔ)，并基于瞳孔圖像區(qū)域候補(bǔ)內(nèi)的亮度狀態(tài)，從瞳孔圖像區(qū)域候補(bǔ)群中檢測(cè)瞳孔圖像區(qū)域(即，瞳孔圖像區(qū)域的可能性最大的區(qū)域)，從而搜索瞳孔圖像區(qū)域。另外，在圖8中，僅示出了估計(jì)瞳孔直徑的瞳孔圖像區(qū)域候補(bǔ)群。具體來(lái)說(shuō)，瞳孔搜索單元107將在瞳孔中心直線上存在中心、且以直徑候補(bǔ)群內(nèi)的一個(gè)直徑候補(bǔ)作為直徑的圓設(shè)定為瞳孔圖像區(qū)域候補(bǔ)，并計(jì)算該瞳孔圖像區(qū)域候補(bǔ)內(nèi)的亮度狀態(tài)指標(biāo)。在該亮度狀態(tài)指標(biāo)上，這里使用在所設(shè)定的瞳孔圖像區(qū)域候補(bǔ)內(nèi)的像素群中，亮度比基準(zhǔn)亮度低的像素群的平均亮度。<瞳孔圖像區(qū)域信息的保存方法>在步驟S210中，瞳孔狀態(tài)存儲(chǔ)單元104將有關(guān)由瞳孔搜索單元107所檢測(cè)的瞳孔圖像區(qū)域的信息(即，有關(guān)中心位置和直徑的信息)與瞳孔圖像區(qū)域的檢測(cè)中所使用的目標(biāo)圖像的拍攝時(shí)刻關(guān)聯(lián)地存儲(chǔ)。〈視線檢測(cè)處理〉在步驟S211中，視線檢測(cè)單元(未圖示)檢測(cè)視線。視線檢測(cè)，例如根據(jù)臉朝向矢量和視線方向矢量計(jì)算，該臉朝向矢量表示根據(jù)臉器官群402的坐標(biāo)計(jì)算出的臉的正面方向的朝向，該視線方向矢量為與根據(jù)外眼角、內(nèi)眼角、瞳孔中心的坐標(biāo)計(jì)算出的臉的正面方向相對(duì)的矢量。臉朝向矢量例如按下面的順序計(jì)算。首先，通過(guò)將預(yù)先獲取的駕駛者的臉器官群的三維坐標(biāo)旋轉(zhuǎn)及平移而進(jìn)行變換。然后，將變換的三維坐標(biāo)投影到瞳孔檢測(cè)中使用的目標(biāo)圖像上。之后，計(jì)算與在步驟S203中檢測(cè)的臉器官群最一致的旋轉(zhuǎn)及平移參數(shù)。此時(shí)，在預(yù)先獲取了駕駛者的臉器官群的三維坐標(biāo)時(shí)，表示駕駛者的臉朝著的方向的矢量和按照所決定的旋轉(zhuǎn)參數(shù)旋轉(zhuǎn)的矢量的組合，就是臉朝向矢量。此外，視線方向矢量例如按下面的順序計(jì)算。首先，預(yù)先存儲(chǔ)在臉朝著規(guī)定的方向的情況下，觀察與臉朝向相同的方向時(shí)的駕駛者的臉器官群和瞳孔中心的三維坐標(biāo)。瞳孔中心的檢測(cè)，例如通過(guò)在眼區(qū)域內(nèi)獲取規(guī)定的亮度以下的像素的重心來(lái)進(jìn)行。接著，計(jì)算從所檢測(cè)出的瞳孔的三維坐標(biāo)向視線方向的相反側(cè)移動(dòng)了規(guī)定的距離的位置，作為眼球中心位置。此時(shí)，作為上述規(guī)定的距離，一般的成人眼球的半徑即12mm左右較適當(dāng)，但并不限于上述值，也可以采用任意的值。接著，使用在臉朝向矢量計(jì)算時(shí)獲取的臉的旋轉(zhuǎn)及平移參數(shù)，求檢測(cè)時(shí)的眼球中心的三維坐標(biāo)。接著，假設(shè)瞳孔位于以眼球中心為中心、半徑為上述規(guī)定的距離的球上，并搜索所檢測(cè)的瞳孔中心位于上述球上的哪個(gè)位置。最后，計(jì)算將眼球中心和所搜索的球上的點(diǎn)連接起來(lái)的矢量，作為視線方向?！唇Y(jié)束判定處理〉在步驟S212中，進(jìn)行結(jié)束判定。結(jié)束判定既可以通過(guò)由人工輸入結(jié)束命令來(lái)進(jìn)行，也可以以外部的某種信號(hào)為觸發(fā)而由瞳孔檢測(cè)裝置100進(jìn)行。在步驟S212中判定為結(jié)束的情況下，結(jié)束圖3的處理。如上所述，根據(jù)本實(shí)施方式，在瞳孔檢測(cè)裝置100中，周邊狀態(tài)評(píng)價(jià)單元105設(shè)定以角膜反射圖像內(nèi)的基準(zhǔn)點(diǎn)為一端且具有規(guī)定的長(zhǎng)度的多個(gè)線段，基于各個(gè)線段中的各個(gè)像素的亮度和基準(zhǔn)亮度計(jì)算亮度評(píng)價(jià)值，瞳孔中心直線計(jì)算單元106基于亮度評(píng)價(jià)值，從多個(gè)線段中確定通過(guò)瞳孔圖像的中心的瞳孔中心直線，瞳孔搜索單元107基于瞳孔中心直線的周邊的亮度狀態(tài)，檢測(cè)瞳孔圖像。這樣，在基于以角膜反射圖像為基準(zhǔn)設(shè)定的線段中的亮度評(píng)價(jià)值確定了瞳孔中心直線之后，基于該瞳孔中心直線的周邊的亮度狀態(tài)檢測(cè)瞳孔圖像，所以能夠主動(dòng)地利用角膜反射像的信息且能夠?qū)崿F(xiàn)穩(wěn)定的瞳孔檢測(cè)。另外，周邊狀態(tài)評(píng)價(jià)單元105對(duì)于各個(gè)線段，將各個(gè)像素的亮度和所述基準(zhǔn)亮度進(jìn)行比較，提取具有亮度比基準(zhǔn)亮度低的像素，并計(jì)算所提取的所有像素的亮度和基準(zhǔn)亮度之差的總和作為亮度評(píng)價(jià)值。另外，瞳孔中心直線計(jì)算單元106將亮度評(píng)價(jià)值最大的線段確定為瞳孔中心直線。另外，作為所設(shè)定的線段的規(guī)定的長(zhǎng)度，使用由瞳孔狀態(tài)預(yù)測(cè)單元103根據(jù)過(guò)去的檢測(cè)瞳孔直徑估計(jì)出的估計(jì)瞳孔直徑。但是，作為該規(guī)定的長(zhǎng)度，也可以使用預(yù)先決定的規(guī)定值。另外，作為基準(zhǔn)亮度，使用鞏膜平均亮度。實(shí)施方式2在實(shí)施方式2中，使用基于檢測(cè)瞳孔圖像剛計(jì)算出的鞏膜平均亮度作為基準(zhǔn)亮度。圖9是表示本發(fā)明的實(shí)施方式2的瞳孔檢測(cè)裝置600的結(jié)構(gòu)的方框圖。在圖9中，瞳孔檢測(cè)裝置600包括周邊狀態(tài)評(píng)價(jià)單元601、鞏膜平均亮度計(jì)算單元602、以及鞏膜平均亮度存儲(chǔ)單元603。與周邊狀態(tài)評(píng)價(jià)單元105同樣，周邊狀態(tài)評(píng)價(jià)單元601計(jì)算亮度評(píng)價(jià)值與計(jì)算出該亮度評(píng)價(jià)值的輻射方向和基準(zhǔn)方向形成的角度之間的對(duì)應(yīng)關(guān)系。但是，這里，周邊狀態(tài)評(píng)價(jià)單元601使用由從鞏膜平均亮度存儲(chǔ)單元603接受的、基于檢測(cè)瞳孔圖像剛計(jì)算出的鞏膜平均亮度作為基準(zhǔn)亮度。鞏膜平均亮度計(jì)算單元602使用由瞳孔搜索單元107所檢測(cè)的瞳孔中心的坐標(biāo)計(jì)算鞏膜平均亮度，并將其輸出到鞏膜平均亮度存儲(chǔ)單元603。鞏膜平均亮度存儲(chǔ)單元603將由鞏膜平均亮度計(jì)算單元602計(jì)算出的鞏膜平均亮度與在該鞏膜平均亮度的計(jì)算中所使用的目標(biāo)圖像的拍攝時(shí)刻關(guān)聯(lián)地存儲(chǔ)。下面說(shuō)明具有以上的結(jié)構(gòu)的瞳孔檢測(cè)裝置600的動(dòng)作。圖10是用于說(shuō)明瞳孔檢測(cè)裝置600的動(dòng)作的流程圖。在步驟S701中，周邊狀態(tài)評(píng)價(jià)單元601使用基于檢測(cè)瞳孔圖像剛計(jì)算出的鞏膜平均亮度作為基準(zhǔn)亮度，計(jì)算亮度評(píng)價(jià)值與計(jì)算出該亮度評(píng)價(jià)值的輻射方向和基準(zhǔn)方向形成的角度之間的對(duì)應(yīng)關(guān)系。在步驟S702中，鞏膜平均亮度計(jì)算單元602根據(jù)目標(biāo)圖像、在步驟S205中計(jì)算出的角膜反射圖像、以及在步驟S209中計(jì)算出的瞳孔中心和檢測(cè)瞳孔直徑，計(jì)算目標(biāo)圖像上的鞏膜平均亮度。具體來(lái)說(shuō)，在眼區(qū)域內(nèi)，將排除了具有角膜反射圖像以上的亮度的像素和屬于以瞳孔中心為中心且以檢測(cè)瞳孔直徑為直徑的圓內(nèi)的像素之后的像素的平均亮度，作為鞏膜平均亮度。在步驟S703中，鞏膜平均亮度存儲(chǔ)單元603將在步驟S702中計(jì)算出的鞏膜平均亮度與在該鞏膜平均亮度的計(jì)算中所使用的目標(biāo)圖像的拍攝時(shí)刻關(guān)聯(lián)地存儲(chǔ)。如上所述，根據(jù)本實(shí)施方式2，在瞳孔檢測(cè)裝置600中，周邊狀態(tài)評(píng)價(jià)單元601將基于檢測(cè)瞳孔圖像剛計(jì)算出的鞏膜平均亮度作為基準(zhǔn)亮度，計(jì)算亮度評(píng)價(jià)值。由此，能夠提高瞳孔檢測(cè)精度。實(shí)施方式3在實(shí)施方式3中，根據(jù)照度來(lái)調(diào)整在瞳孔搜索處理中所設(shè)定的直徑候補(bǔ)。圖11是表示本發(fā)明的實(shí)施方式3的瞳孔檢測(cè)裝置800的結(jié)構(gòu)的方框圖。在圖11中，瞳孔檢測(cè)裝置800包括照度測(cè)定單元801、照明狀態(tài)存儲(chǔ)單元802、照明狀態(tài)估計(jì)單元803、以及瞳孔搜索單元804。照度測(cè)定單元801測(cè)定目標(biāo)圖像拍攝時(shí)的照度，并將其輸出到照明狀態(tài)存儲(chǔ)單元802和照明狀態(tài)估計(jì)單元803。照明狀態(tài)存儲(chǔ)單元802將從照度測(cè)定單元801接受的照度與拍攝時(shí)刻關(guān)聯(lián)地存儲(chǔ)。照明狀態(tài)估計(jì)單元803將從照度測(cè)定單元801接受的第一照度和在照明狀態(tài)存儲(chǔ)單元802中所存儲(chǔ)的緊靠第一照度之前測(cè)定出的第二照度進(jìn)行比較，并將比較結(jié)果輸出到瞳孔搜索單元804。與實(shí)施方式1的瞳孔搜索單元107同樣，瞳孔搜索單元804基于由瞳孔中心直線計(jì)算單元106確定出的瞳孔中心直線和包含上述的估計(jì)瞳孔直徑的直徑候補(bǔ)群，依次設(shè)定瞳孔圖像區(qū)域候補(bǔ)，并基于瞳孔圖像區(qū)域候補(bǔ)內(nèi)的亮度狀態(tài)，從瞳孔圖像區(qū)域候補(bǔ)群中檢測(cè)瞳孔圖像區(qū)域(即，瞳孔圖像區(qū)域的可能性最大的區(qū)域)，從而搜索瞳孔圖像區(qū)域。但是，瞳孔搜索單元804基于從照明狀態(tài)估計(jì)單元803接受的有關(guān)比較結(jié)果的信息，調(diào)整上述的直徑候補(bǔ)。具體來(lái)說(shuō)，瞳孔搜索單元804，在第一照度低于第二照度的情況下(即，本次的照度低于上次的照度的情況下)，使直徑候補(bǔ)變大，而在相反的情況下，使直徑候補(bǔ)變小。下面說(shuō)明具有以上的結(jié)構(gòu)的瞳孔檢測(cè)裝置800的動(dòng)作。圖12是用于說(shuō)明瞳孔檢測(cè)裝置800的動(dòng)作的流程圖。在步驟S901中，照度測(cè)定單元801測(cè)定拍攝環(huán)境的照度。在步驟S902中，照明狀態(tài)存儲(chǔ)單元802將在步驟S901中測(cè)定出的照度與目標(biāo)圖像的拍攝時(shí)刻關(guān)聯(lián)地存儲(chǔ)。在步驟S903中，瞳孔搜索單元804基于從照明狀態(tài)估計(jì)單元803接受的有關(guān)比較結(jié)果的信息調(diào)整直徑候補(bǔ)，基于由瞳孔中心直線計(jì)算單元106所確定的瞳孔中心直線和調(diào)整過(guò)的直徑候補(bǔ)，依次設(shè)定瞳孔圖像區(qū)域候補(bǔ)，并基于瞳孔圖像區(qū)域候補(bǔ)內(nèi)的亮度狀態(tài)，從瞳孔圖像區(qū)域候補(bǔ)群中檢測(cè)瞳孔圖像區(qū)域，從而搜索瞳孔圖像區(qū)域。如上所述，根據(jù)本實(shí)施方式，在瞳孔檢測(cè)裝置800中，瞳孔搜索單元804基于目標(biāo)圖像的拍攝時(shí)的照度來(lái)調(diào)整直徑候補(bǔ)。由此，能夠設(shè)定反映了目標(biāo)圖像的拍攝時(shí)的瞳孔狀態(tài)的直徑候補(bǔ)，所以能夠縮短用于瞳孔檢測(cè)的時(shí)間。實(shí)施方式4實(shí)施方式4涉及從亮度評(píng)價(jià)值與計(jì)算出該亮度評(píng)價(jià)值的輻射方向和基準(zhǔn)方向形成的角度之間的對(duì)應(yīng)關(guān)系，確定瞳孔中心直線的方法的變形。圖13是表示本發(fā)明的實(shí)施方式4的瞳孔檢測(cè)裝置1000的結(jié)構(gòu)的方框圖。在圖13中，瞳孔檢測(cè)裝置1000具有瞳孔中心直線計(jì)算單元1001。瞳孔中心直線計(jì)算單元1001基于由周邊狀態(tài)評(píng)價(jià)單元105計(jì)算出的亮度評(píng)價(jià)值，確定瞳孔中心直線。具體來(lái)說(shuō)，瞳孔中心直線計(jì)算單元1001—邊移位基準(zhǔn)角度一邊依次設(shè)定具有規(guī)定的角度范圍的平均計(jì)算范圍，并對(duì)于屬于各個(gè)平均計(jì)算范圍內(nèi)的角度，計(jì)算以上述的對(duì)應(yīng)關(guān)系關(guān)聯(lián)的亮度評(píng)價(jià)值的平均值。這里，例如，平均計(jì)算范圍是以基準(zhǔn)角度為中心的士3度左右。然后，瞳孔中心直線計(jì)算單元1001將與平均值為最大的平均計(jì)算范圍的基準(zhǔn)角度對(duì)應(yīng)的線段確定成為瞳孔中心直線。這樣，通過(guò)在具有規(guī)定的角度范圍的平均計(jì)算范圍計(jì)算亮度評(píng)價(jià)值的平均值，能夠獲取不僅考慮了基準(zhǔn)角度、還考慮了其周邊范圍的狀況的評(píng)價(jià)值。實(shí)施方式5與實(shí)施方式4同樣地，實(shí)施方式5涉及從亮度評(píng)價(jià)值與計(jì)算出該亮度評(píng)價(jià)值的輻射方向和基準(zhǔn)方向形成的角度之間的對(duì)應(yīng)關(guān)系，確定瞳孔中心直線的方法的變形。圖14是表示本發(fā)明的實(shí)施方式4的瞳孔檢測(cè)裝置1100的結(jié)構(gòu)的方框圖。在圖14中，瞳孔檢測(cè)裝置1100具有瞳孔中心直線計(jì)算單元1101。瞳孔中心直線計(jì)算單元1101基于由周邊狀態(tài)評(píng)價(jià)單元105計(jì)算出的亮度評(píng)價(jià)值，確定瞳孔中心直線。具體來(lái)說(shuō)，瞳孔中心直線計(jì)算單元1101將與如下的角度范圍的中心角度對(duì)應(yīng)的線段確定為瞳孔中心直線，即，在以上述的對(duì)應(yīng)關(guān)系中的任意的角度為中心且具有規(guī)定的角寬度的角度范圍內(nèi)的、亮度評(píng)價(jià)值作為中心基準(zhǔn)而對(duì)稱的多個(gè)角度范圍內(nèi)的、其中心的亮度評(píng)價(jià)值為最大的角度范圍的中心角度。也就是說(shuō)，瞳孔中心直線計(jì)算單元1101將與亮度評(píng)價(jià)值的分布在周邊呈對(duì)稱的多個(gè)角度中的、亮度評(píng)價(jià)值為最大的角度對(duì)應(yīng)的線段，確定為瞳孔中心直線。詳細(xì)而言，瞳孔中心直線計(jì)算單元1101對(duì)表示上述的對(duì)應(yīng)關(guān)系的曲線以角度進(jìn)行微分，并提取微分值的正負(fù)調(diào)換的角度。然后，瞳孔中心直線計(jì)算單元1101將與在所提取的角度群內(nèi)的、具有最大的亮度評(píng)價(jià)值的角度對(duì)應(yīng)的線段，確定為瞳孔中心直線。根據(jù)如上的瞳孔中心直線的確定方法，圖15中的峰值P1201被排除，而峰值P1202被選擇。這里，由于瞳孔為略圓形，所以相對(duì)于通過(guò)瞳孔中心的直線呈線對(duì)稱的形狀。因此，亮度評(píng)價(jià)值也呈以瞳孔中心直線為中心對(duì)稱的分布。如上所述，通過(guò)利用該特性確定瞳孔中心直線，能夠減輕通過(guò)瞳孔中心的直線的角度以外的角度因圖像噪聲或睫毛等誤檢測(cè)要素而具有最大的亮度評(píng)價(jià)值所造成的誤檢測(cè)。實(shí)施方式6實(shí)施方式6涉及瞳孔搜索處理的變形。圖16是表示本發(fā)明的實(shí)施方式6的瞳孔檢測(cè)裝置1300的結(jié)構(gòu)的方框圖。在圖16中，瞳孔檢測(cè)裝置1300具有瞳孔搜索單元1301。瞳孔搜索單元1301基于瞳孔中心直線上的亮度狀態(tài)，搜索瞳孔圖像。具體來(lái)說(shuō)，瞳孔搜索單元1301從由角膜反射像檢測(cè)單元102生成的圖像區(qū)域的亮度分布，計(jì)算在瞳孔中心直線上的各個(gè)點(diǎn)的亮度梯度(在離開角膜反射圖像的中心的方向上的亮度梯度)，并選擇亮度梯度最大的點(diǎn)作為瞳孔的輪廓上的點(diǎn)(即，瞳孔輪廓點(diǎn))。然后，瞳孔搜索單元1301在瞳孔中心直線上檢測(cè)如下的點(diǎn)作為瞳孔中心，S卩，從瞳孔輪廓點(diǎn)朝向角膜反射圖像的中心、距瞳孔輪廓點(diǎn)離開了估計(jì)瞳孔直徑的一半(即，估計(jì)瞳孔半徑)的點(diǎn)。也就是說(shuō)，對(duì)于亮度而言，按角膜反射圖像、角膜圖像、瞳孔圖像的順序降低。因此，如果計(jì)算在離開角膜反射圖像的中心的方向上的亮度梯度，如圖17所示，則在角膜反射圖像和瞳孔圖像的邊界處亮度梯度變低(即，亮度梯度為負(fù))，而在瞳孔圖像和角膜(角膜反射圖像部分除外)的邊界處亮度梯度最高。因此，如上所述，通過(guò)選擇亮度梯度最大的點(diǎn)，能夠確定瞳孔輪廓點(diǎn)，而且能夠根據(jù)該瞳孔輪廓點(diǎn)確定瞳孔中心。實(shí)施方式7與實(shí)施方式6同樣，實(shí)施方式7涉及瞳孔搜索處理的變形。在實(shí)施方式7中，在瞳孔搜索處理中使用分離度濾波器。圖18是表示本發(fā)明的實(shí)施方式7的瞳孔檢測(cè)裝置1400的結(jié)構(gòu)的方框圖。在圖18中，瞳孔檢測(cè)裝置1400具有瞳孔搜索單元1401。瞳孔搜索單元1401基于瞳孔中心直線周邊的亮度狀態(tài)，搜索瞳孔圖像。具體來(lái)說(shuō)，瞳孔搜索單元1401在將分離度濾波器的基準(zhǔn)點(diǎn)設(shè)置在瞳孔中心直線上的狀態(tài)下依次移動(dòng)分離度濾波器，并在基準(zhǔn)點(diǎn)所在的各個(gè)點(diǎn)計(jì)算分離度η，并檢測(cè)分離度η最大的點(diǎn)作為瞳孔中心。這里，如圖19所示，分離度濾波器由以估計(jì)瞳孔直徑為直徑的圓形的區(qū)域1和其周邊區(qū)域即區(qū)域2構(gòu)成。另外，由以下式(3)表示分離度濾波器。權(quán)利要求1.檢測(cè)眼區(qū)域圖像內(nèi)的瞳孔圖像的瞳孔檢測(cè)裝置，包括第一檢測(cè)單元，檢測(cè)所述眼區(qū)域圖像的高亮度圖像區(qū)域即角膜反射圖像；評(píng)價(jià)值計(jì)算單元，設(shè)定以所述角膜反射圖像內(nèi)的基準(zhǔn)點(diǎn)為一端且具有規(guī)定的長(zhǎng)度的多個(gè)線段，并基于各個(gè)線段中的各個(gè)像素的亮度和基準(zhǔn)亮度，計(jì)算亮度評(píng)價(jià)值；確定單元，基于所述亮度評(píng)價(jià)值，從所述多個(gè)線段中確定通過(guò)所述瞳孔圖像的中心的瞳孔中心直線；以及第二檢測(cè)單元，基于所述瞳孔中心直線的周邊的亮度狀態(tài)，或者所述瞳孔中心直線上的亮度狀態(tài)，檢測(cè)所述瞳孔圖像。2.如權(quán)利要求1所述的瞳孔檢測(cè)裝置，所述評(píng)價(jià)值計(jì)算單元對(duì)于所述各個(gè)線段，將所述各個(gè)像素的亮度和所述基準(zhǔn)亮度進(jìn)行比較，提取具有低于所述基準(zhǔn)亮度的亮度的像素，并計(jì)算提取出的所有像素的亮度和所述基準(zhǔn)亮度之差的總和作為所述亮度評(píng)價(jià)值。3.如權(quán)利要求2所述的瞳孔檢測(cè)裝置，所述確定單元將所述亮度評(píng)價(jià)值最大的線段確定為所述瞳孔中心直線。4.如權(quán)利要求1所述的瞳孔檢測(cè)裝置，所述第二檢測(cè)單元依次設(shè)定在所述瞳孔中心直線上存在中心的瞳孔圖像區(qū)域候補(bǔ)，并基于在所設(shè)定的各個(gè)瞳孔圖像區(qū)域候補(bǔ)內(nèi)的像素群中亮度比所述基準(zhǔn)亮度低的像素群的平均亮度，檢測(cè)所述瞳孔圖像。5.如權(quán)利要求1所述的瞳孔檢測(cè)裝置，還包括基于由所述第二檢測(cè)單元檢測(cè)出的所述瞳孔圖像的直徑，計(jì)算在所述瞳孔圖像外存在的鞏膜的亮度的鞏膜亮度計(jì)算單元，所述評(píng)價(jià)值計(jì)算單元將由所述鞏膜亮度計(jì)算單元?jiǎng)傆?jì)算出的所述鞏膜的亮度作為所述基準(zhǔn)亮度。6.如權(quán)利要求4所述的瞳孔檢測(cè)裝置，所述第二檢測(cè)單元根據(jù)照度來(lái)調(diào)整所述設(shè)定的瞳孔圖像區(qū)域候補(bǔ)的直徑。7.如權(quán)利要求2所述的瞳孔檢測(cè)裝置，所述確定單元每次移位具有規(guī)定的角度范圍的平均計(jì)算范圍，并基于在各個(gè)計(jì)算范圍計(jì)算出的亮度評(píng)價(jià)值的平均值，確定所述瞳孔中心直線。8.如權(quán)利要求2所述的瞳孔檢測(cè)裝置，所述確定單元將在有關(guān)各個(gè)線段計(jì)算出的亮度評(píng)價(jià)值與基準(zhǔn)方向和各個(gè)線段形成的角度之間的對(duì)應(yīng)關(guān)系中，在亮度評(píng)價(jià)值的分布在周邊呈對(duì)稱的多個(gè)角度內(nèi)的、亮度評(píng)價(jià)值最大的角度對(duì)應(yīng)的線段，確定為所述瞳孔中心直線。9.如權(quán)利要求1所述的瞳孔檢測(cè)裝置，所述第二檢測(cè)單元基于所述瞳孔中心直線上的亮度梯度檢測(cè)所述瞳孔圖像的輪廓點(diǎn)，并檢測(cè)距所述輪廓點(diǎn)離開了瞳孔半徑的點(diǎn)作為所述瞳孔圖像的中心。10.如權(quán)利要求1所述的瞳孔檢測(cè)裝置，所述第二檢測(cè)單元對(duì)所述瞳孔中心直線上的多個(gè)點(diǎn)設(shè)定分離度濾波器，并基于在各個(gè)點(diǎn)計(jì)算出的分離度，檢測(cè)所述瞳孔圖像。11.檢測(cè)眼區(qū)域圖像內(nèi)的瞳孔圖像的瞳孔檢測(cè)方法，包括以下步驟檢測(cè)所述眼區(qū)域圖像的高亮度圖像區(qū)域即角膜反射圖像；設(shè)定以所述角膜反射圖像內(nèi)的基準(zhǔn)點(diǎn)為一端且具有規(guī)定的長(zhǎng)度的多個(gè)線段；基于各個(gè)線段中的各個(gè)像素的亮度和基準(zhǔn)亮度，計(jì)算亮度評(píng)價(jià)值；基于所述亮度評(píng)價(jià)值，從所述多個(gè)線段中確定通過(guò)所述瞳孔圖像的中心的瞳孔中心直線；以及基于所述瞳孔中心直線的周邊的亮度狀態(tài)，或者所述瞳孔中心直線上的亮度狀態(tài)，檢測(cè)所述瞳孔圖像。全文摘要本發(fā)明公開了瞳孔檢測(cè)裝置和瞳孔檢測(cè)方法，即使在瞳孔的大部分被角膜反射像遮掩的情況下，通過(guò)主動(dòng)地利用角膜反射像的信息，也能夠穩(wěn)定地檢測(cè)瞳孔。在瞳孔檢測(cè)裝置(100)中，周邊狀態(tài)評(píng)價(jià)單元(105)設(shè)定以角膜反射圖像內(nèi)的基準(zhǔn)點(diǎn)為一端且具有規(guī)定的長(zhǎng)度的多個(gè)線段，基于各個(gè)線段中的各個(gè)像素的亮度和基準(zhǔn)亮度計(jì)算亮度評(píng)價(jià)值，瞳孔中心直線計(jì)算單元(106)基于亮度評(píng)價(jià)值，從多個(gè)線段中確定通過(guò)瞳孔圖像的中心的瞳孔中心直線，瞳孔搜索單元(107)基于瞳孔中心直線的周邊的亮度狀態(tài)，檢測(cè)瞳孔圖像。文檔編號(hào)G06T1/00GK102510734SQ20118000389公開日2012年6月20日申請(qǐng)日期2011年6月15日優(yōu)先權(quán)日2010年7月20日發(fā)明者岡兼司,筑澤宗太郎申請(qǐng)人:松下電器產(chǎn)業(yè)株式會(huì)社