專利名稱：瞳孔檢測裝置和虹膜認證裝置的制作方法
技術領域：
本發(fā)明涉及用于個人認證等的虹膜認證裝置，特別是涉及從包括眼睛的圖像(以下，稱為“眼睛圖像”)中檢測出瞳孔的位置的瞳孔檢測裝置。
背景技術：
一直以來，提出有從眼睛圖像中檢測出瞳孔的位置的各種方法。例如，已知有將眼睛圖像的圖像數(shù)據(jù)(以下，稱為“眼睛圖像數(shù)據(jù)”)2值化(黑白化)、并檢測低亮度區(qū)域中的圓形區(qū)域的方法。此外，已知有對于半徑為r而中心坐標為(x0，y0)的圓的弧計算圖像強度I(x，y)的環(huán)圓周積分、并計算隨著半徑r增加而與r有關的該量的部分的導函數(shù)的方法等。上述以往的結構，例如已在特表平8-504979號公報中公開。
為了使用這些方法精度良好地檢測瞳孔，需要高速地處理龐大的圖像數(shù)據(jù)，即使是使用處理能力高的大CPU、大容量存儲器等，在現(xiàn)有的狀況下，也可能難以實時地處理眼睛圖像的圖像數(shù)據(jù)。此外，如果將CPU的處理量減少到能夠實時地處理圖像數(shù)據(jù)的程度，則可能會出現(xiàn)檢測精度降低等問題。

發(fā)明內(nèi)容
本發(fā)明提供能夠高速且精度良好地進行瞳孔位置的檢測的瞳孔檢測裝置。
本發(fā)明的瞳孔檢測裝置，具備圖像數(shù)據(jù)提取部、環(huán)圓周積分部和瞳孔位置檢測部。圖像數(shù)據(jù)提取部，其將多個同心圓狀的圓分別作為積分圓設定在眼睛圖像上，并提取位于上述積分圓的圓周上的眼睛圖像的圖像數(shù)據(jù)。環(huán)圓周積分部，其沿著積分圓的每一者的圓周對圖像數(shù)據(jù)提取部所提取的圖像數(shù)據(jù)進行積分。瞳孔位置檢測部，其檢測環(huán)圓周積分部的積分值相對于積分圓的半徑階躍狀地變化的積分圓的中心坐標作為瞳孔位置坐標。此外，同心圓狀的多個積分圓以半徑越大就變得越稀疏的方式設定。


圖1是使用本發(fā)明實施例的瞳孔檢測裝置的虹膜認證裝置的電路框圖；圖2A是示出包括瞳孔的圖像的一個例子的圖示；圖2B是示出對于積分圓的半徑的積分值的圖示；圖2C是示出用積分圓的半徑對積分值進行微分后的值的圖示；圖2D是示出在眼睛圖像上移動的積分圓的圖示；圖3A是示出積分圓位于虹膜區(qū)域的情況下的眼睛圖像和此時的亮度的一個例子的圖示；圖3B是示出積分圓位于眼鏡框的情況下的眼睛圖像和此時的亮度的一個例子的圖示；圖4是同一瞳孔檢測裝置的電路框圖；圖5是同一瞳孔檢測裝置的圖像數(shù)據(jù)提取部的電路框圖；圖6是用于說明同一瞳孔檢測裝置的圖像數(shù)據(jù)提取部的動作的圖示；圖7是用于說明同一瞳孔檢測裝置的圖像數(shù)據(jù)提取部的動作的圖示；圖8是概括地示出從同一瞳孔檢測裝置的圖像數(shù)據(jù)提取部應當提取出的圖像數(shù)據(jù)的配置的圖示；圖9是同一瞳孔檢測裝置的瞳孔位置檢測部的電路框圖；圖10是用于說明同一瞳孔檢測裝置的瞳孔選擇部的動作的圖示；圖11是示出同一瞳孔檢測裝置的瞳孔選擇部的動作的流程圖；圖12A是示出對于積分圓的半徑的積分值及其差值的圖示；圖12B是示出對于積分圓的半徑的積分值及其差值的圖示；以及圖13是示出同一瞳孔檢測裝置的眼睛圖像1幀的動作的流程圖。
符號說明120 拍攝部130 照明部140 認證處理部200 瞳孔檢測裝置220 圖像數(shù)據(jù)提取部222 部分幀存儲器2241～224L行存儲器2251～225L存儲器控制部226 多路轉換器2281～228n選擇器229 選擇器控制部230 環(huán)圓周積分部240 亮度差計算部250 變化圓檢測部260 指針部270 瞳孔位置檢測部280 瞳孔候補保持部290 瞳孔選擇部具體實施方式
本發(fā)明的瞳孔檢測裝置提供可高速且精度良好地進行瞳孔位置的檢測的瞳孔檢測裝置。
本發(fā)明的瞳孔檢測裝置，具備圖像數(shù)據(jù)提取部、環(huán)圓周積分部和瞳孔位置檢測部。圖像數(shù)據(jù)提取部將同心圓狀的多個圓分別作為積分圓設定在眼睛圖像上，并提取位于積分圓的圓周上的眼睛圖像的圖像數(shù)據(jù)。環(huán)圓周積分部，沿著積分圓中的每一者的圓周對圖像數(shù)據(jù)提取部所提取的圖像數(shù)據(jù)進行積分。瞳孔位置檢測部，檢測環(huán)圓周積分部的積分值相對于積分圓的半徑階梯躍狀地變化的積分圓的中心坐標，作為瞳孔位置坐標。此外，同心圓狀的多個積分圓以半徑越大就變得越稀疏的方式來設定。采用該結構，能夠高速且精度良好地進行瞳孔位置的檢測。
此外，本發(fā)明的瞳孔檢測裝置，也可以以同心圓狀的多個積分圓的半徑的增加量相對于該積分圓的半徑按指數(shù)函數(shù)增大的方式來設定。采用該結構，也能夠高速且精度良好地進行瞳孔位置的檢測。
此外，優(yōu)選地，本發(fā)明的瞳孔檢測裝置的圖像數(shù)據(jù)提取部同時提取與各個積分圓對應的多個圖像數(shù)據(jù)。采用該結構，可以并列地進行對各個積分圓的運算，可以進行高速的瞳孔檢測。
此外，本發(fā)明的虹膜認證裝置具備本發(fā)明的瞳孔檢測裝置。采用該結構，可以提供能夠精度良好且高速地進行瞳孔位置的檢測的虹膜認證裝置。
以下，利用附圖對使用本發(fā)明實施例的瞳孔檢測裝置的虹膜認證裝置進行說明。
(實施例)圖1是使用本發(fā)明實施例的瞳孔檢測裝置200的虹膜認證裝置的電路框圖。在圖1中，除了瞳孔檢測裝置200之外，還示出構成虹膜認證裝置100所需要的拍攝部120、照明部130和認證處理部140。
本實施例的虹膜認證裝置100，具備有拍攝部120、瞳孔檢測裝置200、認證處理部140和照明部130。拍攝部120對使用者的眼睛圖像進行拍攝。瞳孔檢測裝置200從眼睛圖像中檢測出瞳孔位置及其半徑。認證處理部140將從眼睛圖像得到的虹膜代碼與已經(jīng)登記的虹膜代碼進行比較從而進行個人認證。照明部130照射適于眼睛圖像獲取的光量的近紅外線，并對使用者的眼睛及其周邊部分進行照明。
拍攝部120，具有引導反射鏡121、可見光截止濾光器122、透鏡123、拍攝元件124和前處理部125。在本實施例中，通過使用固定焦點透鏡作為透鏡123，來實現(xiàn)光學系統(tǒng)的小型、輕量化和低成本化。引導反射鏡121通過使用者映入自己的眼睛而將眼睛向正確的拍攝位置引導。然后，使用者的眼睛通過透鏡123、可見光截止濾光器122而被拍攝元件124拍攝。前處理部125，從拍攝元件124的輸出信號獲取圖像數(shù)據(jù)成分，在作為增益調(diào)整等的圖像數(shù)據(jù)進行了必要的處理的基礎上，作為使用者的眼睛圖像數(shù)據(jù)進行輸出。
瞳孔檢測裝置200，具有圖像數(shù)據(jù)提取部220、環(huán)圓周積分部230、亮度差計算部240、變化圓檢測部250、指針部260和瞳孔位置檢測部270。瞳孔檢測裝置200從眼睛圖像中檢測出瞳孔位置及其半徑，向認證處理部140進行輸出。對于瞳孔檢測裝置200的詳細情況在后面進行描述。
認證處理部140，根據(jù)瞳孔檢測裝置200檢測出的瞳孔中心坐標和瞳孔半徑，從眼睛圖像數(shù)據(jù)中分出虹膜圖像。然后，通過將虹膜圖像變換成表示虹膜的模樣的固有的虹膜代碼并與已登記的虹膜代碼進行比較，來執(zhí)行認證動作。
接著，對瞳孔檢測裝置200的瞳孔檢測方法進行說明。圖2A～2D是用來說明本發(fā)明實施例的瞳孔檢測裝置的瞳孔檢測方法的圖。圖2A示出了包括瞳孔的圖像的一個例子。圖2B示出了對于積分圓的半徑的積分值。圖2C示出了用積分圓的半徑對積分值進行微分后的值。圖2D示出了在眼睛圖像上移動的積分圓。
包括瞳孔的圖像，如圖2A所示，存在表示瞳孔的圓盤狀的低亮度區(qū)域和在其外側的表示虹膜的圓環(huán)狀的中亮度區(qū)域。因此，當以瞳孔中心的位置坐標(Xo，Yo)為中心，沿著半徑R的積分圓C的圓周對圖像數(shù)據(jù)進行環(huán)圓周積分時，如圖2B所示，形成積分值I在瞳孔半徑Ro的位置階躍狀地變化。因此，如圖2C所示，通過求出當用半徑R對積分值I進行微分后的值dI/dR超過閾值(以下稱為“差閾值”)ΔIth時的積分圓的半徑，就能夠知道瞳孔半徑Ro。
瞳孔檢測裝置200，根據(jù)以上的思考方法，檢測瞳孔的位置坐標(Xo，Yo)和瞳孔半徑Ro。首先，如圖2D所示，在眼睛圖像上假定中心坐標相等而半徑不同的n個積分圓C1～Cn，并對于各個積分圓Ci(i＝1～n)對位于其圓周上的圖像數(shù)據(jù)進行積分。實際上，計算位于各個積分圓Ci的圓周上的像素的圖像數(shù)據(jù)的平均值，或者，從位于圓周上的像素中選擇一定數(shù)量(m個)的像素并對其圖像數(shù)據(jù)進行加法運算。
在本實施例中，設同心圓狀的積分圓的數(shù)量n為20，從位于各個積分圓Ci的圓周上的像素中選擇m＝8個像素，對其圖像數(shù)據(jù)進行加法運算而作為環(huán)圓周積分的積分值I。當積分圓C1～Cn的中心與瞳孔中心一致時，如上所述，則對于各個積分圓Ci的積分值Ii階躍狀地進行變化。因此，當求積分值Ii對于半徑R的差值ΔIi時，在與瞳孔半徑Ro相等時，表示出大的極大值ΔI。
另一方面，當積分圓C1～Cn的中心與瞳孔中心不一致時，由于積分值Ii緩慢地變化，所以其差值ΔIi不表示大的值。因此，通過求出差值ΔIi表示比差閾值ΔIth大的值的積分圓Ci，就能夠求出瞳孔的位置及其半徑。
然后，使積分圓C1～Cn向眼睛圖像上的各個位置移動，反復進行上述的動作。這樣，通過求出差值ΔIi表示大的值時的積分圓Ci的中心坐標(X，Y)和此時的半徑R，就能夠求出瞳孔的位置坐標(Xo，Yo)和瞳孔半徑Ro。
然而，由于圖像的原因存在偶發(fā)性地差值ΔIi表示出大的值的可能性。當減小積分圓的數(shù)量n或在各個積分圓上選擇的像素的數(shù)量m時，能夠減少計算量，從而能夠進行高速的瞳孔檢測。相反，偶發(fā)性地差值ΔIi表示出大的值的可能性增高，而瞳孔檢測精度降低。為此，在瞳孔檢測裝置200中設置亮度差計算部240，對于積分圓Ci中的每一者求出圓周上的亮度的最大值與最小值之差Bi。通過僅僅在該差Bi小于指定的閾值(以下稱為“亮度差閾值”)Bth的情況下，使積分值Ii或其差值ΔIi有效，來防止瞳孔檢測精度的降低。
圖3A和圖3B是用于說明亮度差計算部240的動作的圖。圖3A是示出積分圓位于虹膜區(qū)域時的眼睛圖像及此時的亮度的一例的圖。圖3B是示出積分圓位于眼鏡框上時的眼睛圖像及此時的亮度的一例的圖。當積分圓C1～Cn的中心與瞳孔中心一致時，由于各個積分圓Ci位于瞳孔區(qū)域內(nèi)部、虹膜區(qū)域內(nèi)部等亮度比較均勻的區(qū)域，所以圓周上的圖像數(shù)據(jù)的亮度偏差小。在圖3A中示出位于作為圓環(huán)狀的中亮度區(qū)域的虹膜區(qū)域的積分圓。在該情況下，圓周上的亮度的最大值與最小值之差Bi小，成為小于等于亮度差閾值Bth。
但是，例如圖3B所示，當積分圓C1～Cn的中心位于黑的眼鏡框的一部分上時，由于圓周上的亮度在眼鏡框上低而在皮膚的部分上變高，所以亮度的最大值與最小值之差Bi就變大。這樣，求出各個積分圓Ci的圓周上的亮度的最大值與最小值之差Bi，并且僅僅在該差Bi比亮度差閾值Bth小的情況下，使積分值Ii或其差值ΔIi有效。由此，能夠防止將眼鏡框等誤判定為瞳孔等的誤判定，從而能夠防止瞳孔檢測精度的降低。
另外，優(yōu)選地作為亮度差閾值Bth設定得比圓周上的亮度數(shù)據(jù)的所預料的偏差稍大。就是說，設定為比虹膜的平均亮度與瞳孔的平均亮度之差大，而比皮膚的平均亮度與瞳孔的平均亮度之差小即可。例如，在256灰度級的圖像信號的情況下，由于瞳孔的平均亮度為40灰度級左右，虹膜的平均亮度為100灰度級左右，而皮膚的平均亮度為200灰度級左右，所以作為亮度差閾值Bth設定在60～160之間即可。
此外，積分圓位于瞳孔上時的積分值I大致為40×8＝320，而積分圓位于虹膜上時的積分值I大致為100×8＝800。所以，作為差閾值ΔIth，設定為其差480的一半左右，即設定為240左右即可。
圖4是本發(fā)明的實施例的瞳孔檢測裝置200的電路框圖。瞳孔檢測裝置200，具備有圖像數(shù)據(jù)提取部220、環(huán)圓周積分部230、亮度差計算部240、變化圓檢測部250、指針部260和瞳孔位置檢測部270。圖像數(shù)據(jù)提取部220，將積分圓C1～Cn設定到眼睛圖像上，并提取各個積分圓Ci的圓周上的圖像數(shù)據(jù)。環(huán)圓周積分部230，對于每個積分圓Ci對所提取的圖像數(shù)據(jù)進行環(huán)圓周積分。亮度差計算部240對各個積分圓中的每一者求出圖像數(shù)據(jù)的最大值與最小值之差Bi。變化圓檢測部250求出積分值Ii對于半徑Ri的差值ΔIi，并輸出差值的最大值ΔI大于差閾值ΔIth時的差值ΔIi和積分圓的半徑R。指針部260指示積分圓C1～Cn的中心坐標(X，Y)。瞳孔位置檢測部270，由瞳孔候補保持部280和瞳孔選擇部290構成。
瞳孔候補保持部280，在變化圓檢測部250輸出比差閾值ΔIth大的差值ΔIi時，將其看作檢測瞳孔候補的結果，并存儲多個瞳孔候補的位置坐標(X，Y)和半徑R。瞳孔選擇部290從多個瞳孔候補中選擇出1個瞳孔。這樣，瞳孔位置檢測部270就從眼睛圖像中檢測出瞳孔的位置坐標和瞳孔的半徑。
圖5是圖像數(shù)據(jù)提取部220的電路框圖。圖像數(shù)據(jù)提取部220由部分幀存儲器222和多路轉換器226構成。多路轉換器226將從部分幀存儲器222讀出的圖像數(shù)據(jù)匯總并輸出到各個積分圓Ci中的每一者。部分幀存儲器222是將多個可隨機存取的行存儲器2241～224L連接而構成的。在本實施例中，使用L＝101個行存儲器2241～224101來構成部分幀存儲器222。
存儲器控制部2251～225L，控制對應的行存儲器2241～224L的讀出、寫入。多路轉換器226由與n個積分圓C1～Cn對應的n個選擇器2281～228n和選擇器控制部229構成。選擇器228i選擇并輸出從部分幀存儲器222輸出的圖像數(shù)據(jù)之中位于對應的積分圓Ci的圓周上的圖像數(shù)據(jù)。圖像數(shù)據(jù)提取部220，對于每一個積分圓匯總而同時提取并輸出所讀出的圖像數(shù)據(jù)。
圖6和圖7是用于說明圖像數(shù)據(jù)提取部220的動作的圖。以下，為了簡單起見，假定7條行存儲器2241～2247構成部分幀存儲器222，且在其上設定3個同心圓狀的積分圓C1～C3。然后，作為分別從位于各個積分圓C1～C3的圓周上的像素中各選4個像素而提取其像素數(shù)據(jù)的情況進行說明。圖6示出了設定在部分幀存儲器222上的3個積分圓C1～C3和應當從各個積分圓上提取的12個圖像數(shù)據(jù)Di，j。在這里，圖像數(shù)據(jù)Di，j的i是用于識別行存儲器2241～2247的下標，而j是用于識別積分圓C1～C3的下標。
圖7是示出從前處理部125傳送的圖像數(shù)據(jù)Sig和從行存儲器2241～2247輸出的圖像數(shù)據(jù)的時序圖。在這里，假定在從前處理部125傳送1個圖像數(shù)據(jù)的期間Tsig期間，設置行存儲器2241～2247總共進行6次讀出寫入動作的期間T1～T6。
在最初的期間T1，各個行存儲器224i向下一行存儲器224i+1輸出已寫入的最久的圖像數(shù)據(jù)。在下一期間T2，則向已經(jīng)空出的數(shù)據(jù)區(qū)寫入從前一行存儲器224i-1輸出的圖像數(shù)據(jù)。這時，第一個行存儲器2241向空出的區(qū)域寫入從前處理部125輸出的圖像數(shù)據(jù)。如上所述，最初的2個期間T1、T2用于使行存儲器2241～2247作為部分幀存儲器222發(fā)揮作用。
接下來的4個期間T3～T6用于提取圖像數(shù)據(jù)Di，j。行存儲器2241輸出與積分圓C1對應的1個圖像數(shù)據(jù)D1，1。行存儲器2242輸出1個圖像數(shù)據(jù)D2，2。行存儲器2243輸出2個圖像數(shù)據(jù)D3，2和D3，3。然后，行存儲器2244輸出圖像數(shù)據(jù)D4，1、D4，3每者各2個，合計輸出4個數(shù)據(jù)。
行存儲器2245輸出2個圖像數(shù)據(jù)D5，2、D5，3。行存儲器2246輸出1個圖像數(shù)據(jù)D6，2。行存儲器2247輸出1個圖像數(shù)據(jù)D7，1。在圖像數(shù)據(jù)的輸出中，各個行存儲器在哪一定時輸出哪一圖像數(shù)據(jù)可某種程度自由地來設定。但是，以不在同一定時輸出與同一積分圓對應的圖像數(shù)據(jù)的方式來確定。
下面，作為各個行存儲器按照圖6所示的順序輸出各自的圖像數(shù)據(jù)的情況，對多路轉換器226的動作進行說明。與積分圓C1對應的選擇器2281，在期間T3，選擇行存儲器2244的輸出，輸出圖像數(shù)據(jù)D4，1。在期間T4，也選擇行存儲器2244的輸出，輸出另一圖像數(shù)據(jù)D4，1。在期間T5，選擇行存儲器2241的輸出，輸出圖像數(shù)據(jù)D1，1。在期間T6，選擇行存儲器2247的輸出，輸出圖像數(shù)據(jù)D7，1。
這樣，能夠從選擇器2281恰好輸出積分圓C1的圓周上的圖像數(shù)據(jù)D4，1、D4，1、D1，1、D7，1。選擇器2282，在期間T3選擇行存儲器2243的輸出。在期間T4選擇行存儲器2245的輸出。在期間T5選擇行存儲器2242的輸出。在期間T6選擇行存儲器2246的輸出。由此，輸出積分圓C2的圓周上的圖像數(shù)據(jù)D3，2、D5，2、D2，2、D6，2。
選擇器2283也同樣，在期間T3選擇行存儲器2245的輸出。在期間T4選擇行存儲器2243的輸出。在期間T5和T6選擇行存儲器2244的輸出。這樣，輸出積分圓C3的圓周上的圖像數(shù)據(jù)D5，3、D3，3、D4，3、D4，3。這樣，多路轉換器226對每一個積分圓匯總并輸出從部分幀存儲器222讀出的圖像數(shù)據(jù)。
然后，每當向部分幀存儲器222每1個像素地輸入圖像數(shù)據(jù)Sig時，存儲器控制部2251～225L，以使應當輸出的圖像數(shù)據(jù)Di，j移動一個像素的方式來控制行存儲器2241～224L的地址。其結果是，在向部分幀存儲器222輸入1幀的圖像數(shù)據(jù)期間，在眼睛圖像上，積分圓C1～Cn掃描眼睛圖像全體。這時的積分圓的中心坐標(X，Y)由X計數(shù)器262和Y計數(shù)器264的輸出表示。
在以上的說明中，雖然說明的是行存儲器的數(shù)量L＝7、積分圓的數(shù)量n＝3、從1個積分圓的圓周上應當提取出的圖像數(shù)據(jù)的數(shù)量m＝4的情況，但是，優(yōu)選地，這些數(shù)量兼顧檢測精度、處理時間、電路規(guī)模等來決定。圖8概括地示出了本實施例的眼睛圖像上的積分圓，假定行存儲器的數(shù)量L＝101、積分圓的數(shù)量n＝20、從1個積分圓的圓周上應當提取出的圖像數(shù)據(jù)的數(shù)量m＝8。
如上所述，雖然從圖像數(shù)據(jù)提取部220應當提取出的圖像數(shù)據(jù)的總數(shù)多，但是，這些圖像數(shù)據(jù)以不集中于特定的行存儲器的方式來配置。這是因為在傳送1個圖像數(shù)據(jù)的期間Tsig內(nèi)在能夠對行存儲器進行存取的次數(shù)上存在著上限，因而將所有的行存儲器的存取次數(shù)抑制到該總數(shù)以下的緣故。以上是圖像數(shù)據(jù)提取部220的結構及其動作。
環(huán)圓周積分部230具備相對于積分圓C1～Cn中的每一者獨立的加法器2301～230n，其加算位于各個積分圓Ci的圓周上的m個圖像數(shù)據(jù)，并將各自的加算結果作為積分值Ii向變化圓檢測部250輸出。
亮度差計算部240，具備相對于積分圓C1～Cn中的每一者獨立的亮度差計算器2401～240n。各個亮度差計算器240i都檢測位于積分圓Ci的圓周上的m個像素數(shù)據(jù)的最大值和最小值、對其差Bi及亮度差閾值Bth進行比較而向變化圓檢測部250輸出n個比較結果。
變化圓檢測部250，具備減法器2521～252n-1、選擇器253、比較器254。減法器252i求針對各個積分圓Ci的積分值Ii相對于半徑R的差。即，求對于積分圓C1～Cn之中的半徑一個數(shù)不同的積分圓Ci與Ci-1的積分值Ii與Ii-1的差值ΔIi。但是，在對于積分圓Ci的圖像數(shù)據(jù)的最大值與最小值之差Bi大于亮度差閾值Bth的情況下，則強制性地將差值ΔIi設為0。
然后，選擇器253和比較器254，向瞳孔候補保持部280輸出差值ΔIi大于差閾值ΔIth的積分圓C的半徑R，并且作為評價值Jo也向瞳孔候補保持部280輸出該差值ΔI。這時，在對于積分圓Ci的圖像數(shù)據(jù)的最大值與最小值之差Bi比亮度差閾值Bth大的情況下，減法器252i就強制性地將差值ΔIi設定為0。因此，在差Bi比亮度差閾值Bth大的情況下，就不會向瞳孔候補保持部280輸出半徑Ri。
如使用圖3所說明的那樣，在積分圓C1～Cn的中心與瞳孔的中心一致的情況下，圖像數(shù)據(jù)的最大值與最小值之差Bi就將小于等于某一有限的值。但是，在與瞳孔的中心不一致的情況下，差Bi將增大。因此，通過去掉差Bi比亮度差閾值Bth大的情況下的信息，就能夠減小誤檢測的可能性，從而能夠提高瞳孔檢測精度。
圖9是瞳孔位置檢測部270，即瞳孔候補保持部280與瞳孔選擇部290的電路框圖。瞳孔候補保持部280是多個最大值檢測器2801～280k分別被串聯(lián)連接。最大值檢測器280i中的每一者都具備有寄存器282i、283i、284i和285i、比較器281i及選擇器286i、287i、288i和289i。
寄存器282i、283i、284i和285i保持瞳孔候補的X坐標、Y坐標、半徑R和評價值J的最大值。比較器281i對輸入的評價值Ji-1和保持在寄存器285i內(nèi)的評價值Ji進行比較。選擇器286i、287i、288i和289i選擇輸入的X坐標、Y坐標、半徑R以及評價值J和所保持的X坐標、Y坐標、半徑R以及評價值J中的任意一者。
向開頭的最大值檢測器2801中輸入表示積分圓的坐標的X計數(shù)器262和Y計數(shù)器264的輸出Xo、Yo，并輸入變化圓檢測部250的輸出Ro。然后，當從變化圓檢測部250輸出的評價值Jo比寄存器2851所保持的評價值J1大時，則通過選擇器2861～2891向第2個最大值檢測器2802輸出到此為止保持在寄存器2821～2851中的X坐標X1、Y坐標Y1、半徑R1和評價值J1。并且，將新輸入的X坐標Xo、Y坐標Yo、半徑Ro和評價值Jo保持在寄存器2821～2851內(nèi)。
當評價值Jo小于等于評價值J1時，則通過選擇器2861～2891向第2個最大值檢測器2802輸出新輸入的X坐標Xo、Y坐標Yo、半徑Ro和評價值Jo。
第2個最大值檢測器2802，當從第1個最大值檢測器2801輸出的評價值J1大于寄存器2852所保持的評價值J2時，則向第3個最大值檢測器2803輸出到此為止保持在寄存器2822～2852中的X坐標X2、Y坐標Y2、半徑R2和評價值J2。并且，寄存器2822～2852保持新輸入的X坐標X1、Y坐標Y1、半徑R1和評價值J1。當評價值J1小于等于評價值J2時，則向第3個最大值檢測器2803輸出新輸入的X坐標X1、Y坐標Y1、半徑R1和評價值J1。
以下同樣，第i個最大值檢測器280i，當從上游側的最大值檢測器280i-1輸出的評價值Ji-1比到此為止所保持的評價值Ji大時，則向下游側的最大值檢測器280i+1輸出到此為止所保持的數(shù)據(jù)。并且，保持上游側的數(shù)據(jù)。當評價值Ji-1小于等于評價值Ji時，則向下游側輸出上游側的數(shù)據(jù)。
其結果，在開頭的最大值檢測器2801內(nèi)保持對于評價值最大的瞳孔候補的X坐標X1、Y坐標Y1、半徑R1和評價值J1，在第2個最大值檢測器2802內(nèi)保持對于第2個評價值大的瞳孔候補的X坐標X2、Y坐標Y2、半徑R2和評價值J2。并且，在第i個最大值檢測器280i內(nèi)保持對于第i個評價值大的瞳孔候補的X坐標Xi、Y坐標Yi、半徑Ri和評價值Ji。
另外，本實施例的變化圓檢測部250的選擇器253，具有選擇差值ΔIi的最大值和此時的積分圓C的半徑R的功能。但是，瞳孔候補保持部280原本就具有檢測最大值的功能。因此，作為選擇器253，也可以形成為以單純地分時的方式輸出減法器2521～252n-1的輸出和積分圓的半徑的結構。
瞳孔選擇部290，從保持在瞳孔候補保持部280內(nèi)的多個瞳孔候補中選出1個，將其位置坐標和半徑作為瞳孔的位置坐標和半徑向認證處理部140輸出。
圖10是用于說明瞳孔選擇部290的動作的圖。瞳孔候補P1、P2是錯誤地將睫毛檢測為瞳孔的瞳孔候補，瞳孔候補P3～P11是檢測出真的瞳孔的瞳孔候補。這樣，通常被誤檢測出的瞳孔候補幾乎不會密集，但卻有在真的瞳孔的周圍瞳孔候補密集的傾向。這依賴于瞳孔候補的檢測精度，檢測精度越好則密集的瞳孔候補的數(shù)量就越少。
但是，即使提高了精度，由于還會存在依賴于拍攝元件的1個像素左右的誤差，所以在與真的瞳孔的中心位置相鄰的像素位置上存在其它的瞳孔候補的中心的可能性高。此外，因照明光在角膜處反射等的影響，也存在在真的瞳孔的周圍產(chǎn)生瞳孔候補的情況。因此，通過將在周圍存在其它的瞳孔候補的瞳孔候補選擇為真的瞳孔，能夠消除錯將睫毛等檢測為瞳孔等的誤檢測，從而能夠提高瞳孔檢測精度。
在本實施例中，如下所述那樣，從多個瞳孔候補中選擇出一個瞳孔候補。對于多個瞳孔候補，將相互距離接近的瞳孔候補作為1個組來進行分組。并且，將各自的組所包含的瞳孔候補的數(shù)量多的組或所含有的瞳孔候補的評價值的總和高的組作為線索，來選擇真的瞳孔。圖11是示出根據(jù)這樣的思考方法從瞳孔候補中選擇瞳孔的動作的流程圖。
首先，瞳孔選擇部290取入1個瞳孔候補。設取入的瞳孔候補的X坐標、Y坐標、半徑和評價值分別為Xi、Yi、Ri和Ji(S71)。接著，針對X坐標、Y坐標和半徑中的每一者，查找是否存在瞳孔候補的值Xi、Yi和Ri與組的平均值Xgj、Ygj和Rgj(j是正整數(shù))之差比指定的閾值Xth、Yth和Rth小的組。
也就是說，查找是否存在滿足|Xi-Xgj|＜Xth、|Yi-Ygj|＜Yth、|Ri-Rgj|＜Rth的組(S72)。當存在時，將在步驟S71取入的瞳孔候補添加到該組中(S73)。當不存在時，則創(chuàng)建僅包括在步驟S71取入的瞳孔候補的新的組(S74)。
接著，對于在步驟S73添加了瞳孔候補的組或在步驟S74新創(chuàng)建的組，進行平均值Xgj、Ygj和Rgj的再計算(S75)。當殘存有尚未分組的瞳孔候補時，則返回步驟S71(S76)。當所有的瞳孔候補的分組結束后，對于各個組求包含在該組內(nèi)的各個瞳孔候補的評價值的總和∑J(S77)。然后，將評價值的總和∑J為最大的組的X坐標、Y坐標和半徑的平均值Xgj、Ygj和Rgj作為瞳孔的X坐標、Y坐標和半徑向認證處理部140輸出(S78)。
如果采用以上的方法，在原理上，由于瞳孔候補的順序而存在分組的結果發(fā)生變化等的不穩(wěn)定性。但是，被誤檢測出的瞳孔候補是孤立的，而包含真的瞳孔的瞳孔候補的集合是密集的。因此，只要例如將Xth、Yth的值設定為所預計的瞳孔半徑的1/2左右，實際上就不會出現(xiàn)問題。雖然瞳孔選擇部290也可以使用進行以上的動作的專用電路來構成，但在本實施例中，使用設置在認證處理部140內(nèi)的CPU(未圖示)來進行上述的處理。此外，如果采用該流程，數(shù)據(jù)處理比較簡單，從而適合于高速動作。
下面，對作為本實施例的特征的、同心圓狀的積分圓以半徑越大就變得越稀疏的方式來設定這一點，詳細地進行說明。如圖8所示，在半徑小的位置積分圓被密集地設置，隨著半徑增大，積分圓被稀疏地設置。其理由是使被拍攝的瞳孔的大小不會對瞳孔檢測精度造成影響。
圖12A、12B是用于說明該理由的圖，其示出了對于積分圓的半徑的積分值及其差值。在這里，橫軸表示積分圓的半徑R，縱軸表示積分值I和差值ΔI。在圖12A中，在半徑范圍R(1)中，由于積分圓位于瞳孔內(nèi)部的低亮度區(qū)域，所以積分值I呈現(xiàn)小的值I(1)。此外，在半徑范圍R(2)中，由于積分圓位于表示虹膜的圓環(huán)狀的中亮度區(qū)域，所以積分值I呈現(xiàn)比較大的值I(2)。然而，在半徑范圍R(3)中，由于積分圓位于瞳孔與虹膜的邊界部分，所以其積分值呈現(xiàn)I(1)與I(2)之間的值。
如上所述，在圖12A中，半徑范圍R(3)(以下稱作“邊界范圍”)對應于瞳孔與虹膜的邊界區(qū)域，邊界范圍是在拍攝眼睛圖像時未調(diào)好焦距的情況下產(chǎn)生或因光學系統(tǒng)的像差等的失真而產(chǎn)生的。此外，由于瞳孔或積分圓不是正圓，或者由于拍攝元件的像素是離散性的，所以也會因積分圓跨接瞳孔與虹膜兩個區(qū)域而產(chǎn)生。如上所述，雖然邊界范圍因各種各樣的理由而產(chǎn)生，但是，均存在著所拍攝的瞳孔越大邊界范圍就變得越寬的傾向。
標注在圖12A的橫軸上的箭頭符號表示積分圓的半徑。如上所述，在邊界范圍比由箭頭符號表示的積分圓的半徑間隔小的情況下，雖然存在著1個積分圓進入邊界范圍的可能性，但是，不會存在2個以上的積分圓進入的可能性。另一方面，如圖12B中所示，在所拍攝的瞳孔變大、邊界范圍變得比積分圓的半徑間隔寬的情況下，2個以上的積分圓進入邊界范圍的可能性升高。
在圖12A中，對于瞳孔被拍攝得較小的情況，還同時示出了積分值I的差值ΔIi。此外，在圖12B中，對于瞳孔被拍攝得較大的情況，也同時示出了積分值Ii的差值ΔIi。但是，在圖12A、12B中，為了便于說明，假定同心圓狀的積分圓C1～Cn的半徑被等間隔地設定，其位置由箭頭符號表示。
在瞳孔被拍攝得較小的情況下，如圖12A所示，差值ΔIi在瞳孔與虹膜的邊界位置處呈現(xiàn)大的值。然而，在瞳孔被拍攝得較大的情況下，則如圖12B所示，存在著差值ΔIi變小的傾向。這是因為在瞳孔被拍攝得較大時，瞳孔與虹膜的邊界區(qū)域也變寬，當在該邊界區(qū)域包含多個積分圓時，差就會涉及到、分散在這些積分圓上，從而與各個積分圓對應的差值ΔIi變小。其結果是，如圖12所示，當?shù)乳g隔地設定積分圓的半徑時，與大的瞳孔的圖像對應的差值ΔIi即評價值Jo變小，從而存在著瞳孔檢測精度降低的可能性。
于是，在本實施例中，如圖8所示，半徑小的積分圓C20～C14是半徑各差一個像素的同心圓。此外，半徑稍大的積分圓C13～C19是半徑各差二個像素的同心圓。半徑更大的積分圓C8～C1是半徑各差4個像素的同心圓。如上所述，在實施例的部分幀存儲器222上，在眼睛圖像上，同心圓狀的多個積分圓C1～C20以半徑越大就變得越稀疏的方式來設置。
因此，如上所述，存在著瞳孔越大邊界范圍就變得越寬的傾向。但是，例如在以使邊界范圍與積分圓的半徑成比例地擴展、使積分圓的半徑與積分圓的半徑間隔形成比例的方式來設置積分圓的情況下，只要以使積分圓的半徑的增加量相對于半徑按指數(shù)函數(shù)增大的方式來設置即可。這樣，通過密集地設置半徑小的積分圓，并隨著半徑增大而稀疏地設置積分圓，而使瞳孔檢測精度不受瞳孔的大小的影響。
下面，對瞳孔檢測裝置200的動作進行說明。在以下的說明中，設眼睛圖像數(shù)據(jù)是依次掃描數(shù)據(jù)，設1幀由例如480行×640像素的數(shù)字數(shù)據(jù)構成。圖13是示出本發(fā)明的實施例的瞳孔檢測裝置的眼睛圖像1幀的量的動作的流程圖。
首先，瞳孔檢測裝置200，取入1個像素量的圖像數(shù)據(jù)(S51)。如果所取入的圖像數(shù)據(jù)是1幀的開頭的數(shù)據(jù)(S52)，則使Y計數(shù)器263復位，并且使瞳孔候補保持部280的各個寄存器282～285復位(S53)。如果所取入的圖像數(shù)據(jù)是1行的開頭的數(shù)據(jù)(S54)，則使X計數(shù)器262復位，使Y計數(shù)器264加1(S55)。然后，使X計數(shù)器262加1(S56)。
接著，將所取入的圖像數(shù)據(jù)取入到部分幀存儲器222內(nèi)。之后，在眼睛圖像上，從與n個積分圓C1～Cn對應的像素之中的各個積分圓Ci中每m個地取出n×m個圖像數(shù)據(jù)。然后，與各個積分圓Ci對應的加法器230i，分別計算圖像數(shù)據(jù)的積分值Ii，亮度差計算器240i計算圖像數(shù)據(jù)的最大值與最小值之差Bi。變化圓檢測部250計算各個積分值Ii的差值ΔIi。但是，此時，當差Bi比亮度差閾值Bth大時，則強制性地使差值ΔIi為0(S57)。
然后，比較器254對差值ΔIi和差閾值ΔIth進行比較(S58)。當差值ΔIi比差閾值ΔIth大時，瞳孔候補保持部280將此時的X計數(shù)器262、Y計數(shù)器264和積分圓的半徑Ro作為瞳孔候補保持。并且，也將其差值ΔIi作為評價值Jo保持。這時，瞳孔候補保持部280，按照評價值大的順序重新排列瞳孔候補并保持最多k個瞳孔候補(S59)。接著，判定取入的數(shù)據(jù)是否是1幀的末尾的數(shù)據(jù)(S60)，如果不是末尾，則返回步驟S51。
當輸入的圖像數(shù)據(jù)到達1幀的最后的像素時，瞳孔選擇部290，針對各個瞳孔候補，計算在與其中心坐標相鄰的像素位置上存在的其它瞳孔候補的數(shù)量。此外，將該值最大的瞳孔候補的X坐標、Y坐標和半徑的值作為真的瞳孔的X坐標Xo、Y坐標Yo和瞳孔半徑Ro向認證處理部140輸出(S61)。
以上從步驟S51到步驟S60的一連串的動作，每當向部分幀存儲器222輸入1個像素的量的圖像數(shù)據(jù)后被執(zhí)行。例如，在幀頻為30Hz，眼睛圖像由640×480像素構成的情況下，是以小于等于1/(30×640×480)秒的時間執(zhí)行上述一連串的動作。然后，由于向部分幀存儲器222輸入了1個像素后，積分圓在圖像上移動1個像素的量，所以在輸入1幀的圖像的期間內(nèi)，積分圓在圖像上進行一次掃描。這樣，就能夠使用比較小規(guī)模的電路，對于由拍攝部120所拍攝的圖像數(shù)據(jù)實時地進行瞳孔檢測。
另外，在本實施例中，雖然將同心圓狀的積分圓的數(shù)量設為20，將從1個積分圓取出的圖像數(shù)據(jù)的數(shù)量設為8個，但優(yōu)選地這些數(shù)量兼顧檢測精度、處理時間、電路規(guī)模等來決定。此外，對于所有的積分圓，無需使從1個積分圓取出的圖像數(shù)據(jù)的數(shù)量都相同。在此情況下，為了進行歸一化，可以用從該積分圓取出的圖像數(shù)據(jù)的數(shù)量除各個積分圓的積分值。
此外，在本實施例中，雖然對使用行存儲器和多路轉換器構成圖像數(shù)據(jù)提取部的情況進行了說明，但是，本發(fā)明并不依賴于圖像數(shù)據(jù)提取部的具體的電路結構。例如，既可以是使用移位寄存器構成的圖像數(shù)據(jù)提取部，也可以是其它結構的圖像數(shù)據(jù)提取部。
如果采用本發(fā)明，能夠提供出能夠精度良好且高速地進行瞳孔位置的檢測的瞳孔檢測裝置和虹膜認證裝置。
工業(yè)上利用的可能性由于本發(fā)明能夠提供出能夠精度良好且高速地進行瞳孔位置的檢測的瞳孔檢測裝置，所以作為用于個人認證等的虹膜認證裝置等是有用的。
權利要求
1.一種瞳孔檢測裝置，具備圖像數(shù)據(jù)提取部，其將同心圓狀的多個圓分別作為積分圓設定在眼睛圖像上，并提取位于上述積分圓的圓周上的眼睛圖像的圖像數(shù)據(jù)；環(huán)圓周積分部，其沿著上述積分圓的每一者的圓周對上述圖像數(shù)據(jù)提取部所提取的圖像數(shù)據(jù)進行積分；以及瞳孔位置檢測部，其檢測上述環(huán)圓周積分部的積分值相對于上述積分圓的半徑階躍狀地變化的積分圓的中心坐標作為瞳孔位置坐標；其中，上述同心圓狀的多個積分圓以半徑越大就變得越稀疏的方式設定。
2.根據(jù)權利要求1所述的瞳孔檢測裝置，其中，上述同心圓狀的多個積分圓的半徑的增加量以相對于該積分圓的半徑按指數(shù)函數(shù)增大的方式設定。
3.根據(jù)權利要求1所述的瞳孔檢測裝置，其中，上述圖像數(shù)據(jù)提取部同時提取與上述積分圓的每一者對應的多個圖像數(shù)據(jù)。
4.一種虹膜認證裝置，具備權利要求1～3中任意一項所述的瞳孔檢測裝置。
全文摘要
本發(fā)明的瞳孔檢測裝置，具備將同心圓狀的多個圓分別作為積分圓C
文檔編號G06T1/00GK1842819SQ20058000081
公開日2006年10月4日 申請日期2005年5月24日 優(yōu)先權日2004年8月2日
發(fā)明者杉田守男, 若森正浩, 藤松健 申請人:松下電器產(chǎn)業(yè)株式會社