一種基于虹膜特征實(shí)現(xiàn)視線追蹤的方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及計(jì)算機(jī)視覺(jué)、圖像處理以及攝影幾何學(xué)等技術(shù)領(lǐng)域，尤其涉及一種基 于虹膜特征實(shí)現(xiàn)視線追蹤的方法。
【背景技術(shù)】
[0002] 視線追蹤是利用眼動(dòng)測(cè)量設(shè)備測(cè)量眼睛的運(yùn)動(dòng)情況，估計(jì)視線方向或者視線落 點(diǎn)位置的技術(shù)。由于對(duì)視線的直接、準(zhǔn)確估計(jì)，視線追蹤技術(shù)在人機(jī)交互、醫(yī)學(xué)診斷和殘疾 人康復(fù)等領(lǐng)域有廣泛的應(yīng)用，在虛擬現(xiàn)實(shí)和智能感知領(lǐng)域也有很好的應(yīng)用前景?，F(xiàn)有的測(cè) 量眼睛運(yùn)動(dòng)情況的方法主要有：機(jī)械記錄法、電磁記錄法、電流記錄法和光學(xué)記錄法。其中 機(jī)械記錄法和電磁記錄法需要在眼睛上附著輔助設(shè)備用于測(cè)量眼睛運(yùn)動(dòng)；電流記錄法需要 在眼睛周圍放置電極用于測(cè)量眼睛運(yùn)動(dòng)；光學(xué)記錄法則只需要用照相機(jī)或攝像機(jī)記錄被試 者的眼睛運(yùn)動(dòng)情況。光學(xué)記錄法由于其對(duì)硬件復(fù)雜度要求相對(duì)較低，而且被試體驗(yàn)更好，因 此被廣泛使用。
[0003] 現(xiàn)有的基于眼睛圖像信息的視線追蹤方法主要包括兩個(gè)步驟：相關(guān)特征提取和視 線估計(jì)。常用的特征主要包括：瞳孔輪廓、瞳孔中心、虹膜輪廓、虹膜中心、眼角以及外界光 源(一般為紅外光源)在角膜上的反射點(diǎn)(普爾欽斑)。現(xiàn)有的視線估計(jì)算法主要包括：（1)瞳 孔-角膜反射法 [1_5]、（2)虹膜-鞏膜邊緣法[6]、（3)基于外觀的方法[7]和（4)雙普金野法 M。其中，（1)瞳孔-角膜反射法首先需要檢測(cè)瞳孔中心的位置以及角膜反射點(diǎn)的位置，為 了準(zhǔn)確檢測(cè)瞳孔，一些算法使用了亮暗瞳技術(shù) [9]，但角膜反射點(diǎn)的引入對(duì)瞳孔檢測(cè)帶來(lái)影 響?；谕字行暮徒悄し瓷潼c(diǎn)的視線追蹤方法主要有：瞳孔中心與角膜反射向量法 [2,3]、 交比不變性方法[4]和基于眼球三維模型的視線估計(jì)方法 [5]。瞳孔中心與角膜反射向量法 計(jì)算簡(jiǎn)單，但頭動(dòng)對(duì)視線追蹤效果影響較大，雖然有一些補(bǔ)償算法[3]，但較好的補(bǔ)償算法往 往需要大量的標(biāo)定點(diǎn)。利用交比不變性方法 [4]也對(duì)頭動(dòng)敏感，而且需要四個(gè)角膜反射點(diǎn)，硬 件系統(tǒng)較為復(fù)雜，同時(shí)，引入四個(gè)角膜反射點(diǎn)也增加了圖像處理工作的復(fù)雜性?；谘矍蛉?維模型的視線估計(jì)方法 [5]需要計(jì)算角膜中心、瞳孔中心的空間位置并通過(guò)已標(biāo)定的光軸和 視軸夾角來(lái)計(jì)算視線，在計(jì)算角膜中心和瞳孔中心時(shí)需要確定角膜曲率半徑、眼球中心到 角膜中心的距離、房水與角膜之間的折射率等參數(shù)，這些參數(shù)也是通過(guò)標(biāo)定計(jì)算后得到的。 因此，標(biāo)定過(guò)程的計(jì)算量非常大。（2)虹膜一鞏膜邊緣法是通過(guò)檢測(cè)虹膜和鞏膜交界的圓在 相機(jī)拍攝的圖片中呈現(xiàn)的大小和橢圓（虹膜和鞏膜交界的圓在照相機(jī)中成像為橢圓）形狀， 來(lái)估計(jì)視線方向。由于虹膜和鞏膜交界的圓的上半部分和下半部分分別被上眼皮和下眼皮 遮擋，因此圖像中虹膜和鞏膜交界圓的準(zhǔn)確檢測(cè)較為困難。（3)基于外觀的方法對(duì)眼睛的整 體圖片進(jìn)行處理并估計(jì)視線方向，這種方法往往需要非常大的訓(xùn)練樣本，也就是需要非常 多的標(biāo)定點(diǎn)。（4)雙普金野法需要昂貴、復(fù)雜的硬件裝置。
[0004] 綜上所述，現(xiàn)有的基于眼睛圖像信息的視線追蹤算法的主要問(wèn)題有：（1)由于眼 睛特征選擇和引入角膜反射點(diǎn)等因素，給圖像處理帶來(lái)了困難，不易提取穩(wěn)定、準(zhǔn)確的特 征。（2) -些算法需要復(fù)雜的硬件裝置，如：雙普金野法。（3)頭部運(yùn)動(dòng)(頭部相對(duì)照相機(jī)運(yùn) 動(dòng))帶來(lái)的視線追蹤不準(zhǔn)確。（4)需要較多的標(biāo)定點(diǎn)(一些算法本身需要較多標(biāo)定點(diǎn)，如：基 于外觀的視線追蹤方法；一些算法為了補(bǔ)償頭部運(yùn)動(dòng)需要較多標(biāo)定點(diǎn))，每次視線追蹤時(shí)均 需要標(biāo)定。
[0005] [1].CoweyA.Thebasisofamethodofperimetrywithmonkeys.Quarterly JournalofExperimentalPsychology, 1963, 15(2):81-90.
[0006] [2].MerchantJ,MorrissetteR,PorterfieldJL.Remotemeasurementof eyedirectionallowingsubjectmotionoveronecubicfootofspace.IEEE TransactionsonBiomedicalEngineering, 1974(4):309-317.
[0007] [3] .MorimotoCH，MimicaMRM.Eyegazetracking techniquesforinteractiveapplications.ComputerVisionandImage Understanding，2005, 98 (1) : 4-24.
[0008] [4].YooDH,KimJH,LeeBR,etal.Non-contacteyegazetrackingsystem bymappingofcornealreflections.InProceedingsofthe5thIEEEInternational ConferenceonAutomaticFaceandGestureRecognition, 2002:94-99.
[0009] [5].GuestrinED,EizenmanM.Generaltheoryofremotegazeestimation usingthepupilcenterandcornealreflections[J].IEEETransactionson BiomedicalEngineering，2006, 53(6):1124-1133.
[0010] [6].WangJG，SungE,VenkateswarluR.Estimatingtheeyegazefromone eye.ComputerVisionandImageUnderstanding，2005,98(1):83-103.
[0011] [7].BalujaS,PomerleauD.Non-intrusivegazetrackingusingartificial neuralnetworks.CARNEGIE-MELLONUNIVPITTSBURGHPADEPTOFCOMPUTER SCIENCE, 1994.
[0012] [8].CornsweetTN,CraneHD.Accuratetwo-dimensionaleyetrackerusing firstandfourthPurkinjeimages.J0SA, 1973, 63(8):921-928.
[0013] [9].HutchinsonTE,WhiteJrKP,MartinWN,etal.Human-computer interactionusingeye-gazeinput.IEEETransactionsonSystems,ManandCybernet ics，1989, 19(6) : 1527-1534.

【發(fā)明內(nèi)容】

[0014] 本發(fā)明的目的在于提供一種基于虹膜特征實(shí)現(xiàn)視線追蹤的方法，該方法提取虹膜 內(nèi)部紋理特征，通過(guò)匹配當(dāng)前和基準(zhǔn)的虹膜圖像中的特征點(diǎn)，得到當(dāng)前虹膜平面相對(duì)基準(zhǔn) 虹膜平面的旋轉(zhuǎn)、平移向量，結(jié)合基準(zhǔn)虹膜平面的視線方向和當(dāng)前虹膜中心位置，進(jìn)而得到 視線方向。該方法能有效克服現(xiàn)有基于眼睛圖像信息的視線追蹤方法中的（1)眼睛圖像處 理困難、（2)硬件裝置復(fù)雜、（3)對(duì)頭部運(yùn)動(dòng)不魯棒、（4)標(biāo)定過(guò)程復(fù)雜的問(wèn)題。
[0015] 為了實(shí)現(xiàn)上述目的，本發(fā)明采用的技術(shù)方案如下：
[0016] 一種基于虹膜特征實(shí)現(xiàn)視線追蹤的方法，提取虹膜內(nèi)部紋理特征，通過(guò)匹配當(dāng)前 虹膜圖像和基準(zhǔn)虹膜圖像中的特征點(diǎn)，得到當(dāng)前虹膜平面相對(duì)基準(zhǔn)虹膜平面的旋轉(zhuǎn)變換關(guān) 系，結(jié)合基準(zhǔn)虹膜平面的視線方向和當(dāng)前虹膜平面中的虹膜中心位置，計(jì)算得出當(dāng)前視線。
[0017] 優(yōu)選的，所述基準(zhǔn)虹膜平面是指標(biāo)定時(shí)的虹膜平面；基準(zhǔn)虹膜圖像是指圖像采集 裝置獲得的所述基準(zhǔn)虹膜平面的圖像；所述基準(zhǔn)虹膜平面的視線方向是通過(guò)標(biāo)定確定的與 所述基準(zhǔn)虹膜平面相對(duì)應(yīng)的視線方向。
[0018] 優(yōu)選的，所述當(dāng)前虹膜圖像和所述基準(zhǔn)虹膜圖像中的特征點(diǎn)是根據(jù)虹膜紋理特征 的穩(wěn)定性，在虹膜圖像中滿足平移、尺度縮放、旋轉(zhuǎn)不變特性的像素點(diǎn)；通過(guò)三個(gè)以上特征 點(diǎn)匹配，得到所述當(dāng)前虹膜圖像和所述基準(zhǔn)虹膜圖像的對(duì)應(yīng)關(guān)系。
[0019] 優(yōu)選的，通過(guò)所述當(dāng)前虹膜圖像和所述基準(zhǔn)虹膜圖像中虹膜的大小、所述基準(zhǔn)虹