用于無(wú)校準(zhǔn)注視估計(jì)的方法和設(shè)備的制造方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及關(guān)于由觀看者觀看的圖像序列的眼睛注視估計(jì)領(lǐng)域。
【背景技術(shù)】
[0002] 人類是所有生活領(lǐng)域中的最核心因素。視覺(jué)是人類最重要的感覺(jué)；人類大腦中的 大約80-90 %的神經(jīng)元被假定牽扯到視覺(jué)感知。眼睛注視被認(rèn)為是可以揭示人類思想的有 用且確鑿信息的重要線索。眼睛注視被認(rèn)為能夠反映人在視覺(jué)環(huán)境中的注意力、行為和感 情。實(shí)際上，多種人機(jī)交互（HCI)應(yīng)用中都會(huì)涉及對(duì)眼睛注視的解釋處理，比如基于注視的 交互用戶界面、自適應(yīng)和交互的內(nèi)容展示、虛擬現(xiàn)實(shí)、人類行為研究和診斷應(yīng)用等。因此，在 過(guò)去的幾十年中，眼睛注視估計(jì)已經(jīng)成為了活躍的研究領(lǐng)域，但由于該問(wèn)題的諸多難點(diǎn)，其 仍然是一個(gè)具有挑戰(zhàn)性的課題。通常，可將眼睛注視追蹤器分成兩類：根據(jù)設(shè)備與受試者 進(jìn)行接觸的方式不同，分為侵入式系統(tǒng)和遠(yuǎn)程系統(tǒng)。最早的侵入式注視追蹤器之一基于固 定在眼睛上的允許檢測(cè)其位置的特殊接觸透鏡。這些接觸透鏡包含傳感器（鏡面或感應(yīng) 線圈），傳感器用來(lái)反射光線或用來(lái)測(cè)量高頻電磁場(chǎng)中的眼睛位置。雖然提供了高精確度， 但由于其不舒適且扎眼的使用，該方法只適合用于醫(yī)療或認(rèn)知研究?；谘蹌?dòng)電圖描記法 (E0G)的方法對(duì)眼睛轉(zhuǎn)動(dòng)時(shí)存在靜電場(chǎng)這一事實(shí)進(jìn)行利用。通過(guò)（使用電極）測(cè)量眼睛周 圍的皮膚區(qū)域中的電勢(shì)差，可以估計(jì)眼睛的位置。E0G技術(shù)使用能夠在暗環(huán)境（此時(shí)視頻眼 動(dòng)描記是沒(méi)有用的）中進(jìn)行記錄并且不需要睜眼的簡(jiǎn)單配置提供可靠的測(cè)量。主要問(wèn)題在 于，E0G信號(hào)會(huì)受到由于眨眼、面部肌肉移動(dòng)和E0G潛在漂移所帶來(lái)的噪聲（尤其是在長(zhǎng)期 記錄實(shí)驗(yàn)中）。視頻眼動(dòng)描記技術(shù)也可被分類為侵入式方法（如果它們用于頭戴式系統(tǒng)中 的話）。一般地，侵入式方法能夠?qū)崿F(xiàn)高精確度以及自由的頭部移動(dòng)，但其主要缺陷在于，其 要求只限制于實(shí)驗(yàn)室實(shí)驗(yàn)的對(duì)用戶進(jìn)行緊密接觸。
[0003] 因此，對(duì)于日常應(yīng)用，非侵入式（或遠(yuǎn)程）方法是更為優(yōu)選的。針對(duì)這一類別，基 于視頻的技術(shù)是最為廣泛使用的?？梢詫?duì)方法的兩個(gè)群組進(jìn)行區(qū)分：基于（幾何）模型的 方法和基于外觀的方法。前者使用眼睛的3D幾何模型來(lái)估計(jì)注視。將關(guān)注點(diǎn)確定為3D注 視方向（包括光軸和視軸）與屏幕平面之間的交點(diǎn)。大多數(shù)基于模型的方法基于角膜反射 技術(shù)，并使用附加光源（通常為紅外光）來(lái)照射眼睛。主要想法是根據(jù)瞳孔中心與閃光點(diǎn) (由于反射所導(dǎo)致的眼睛上的最亮光點(diǎn)）之間的相對(duì)位置估計(jì)注視。
[0004] 作為對(duì)照，基于外觀的方法認(rèn)為注視估計(jì)是眼睛的圖像特征和注視在屏幕上的位 置之間的2D映射問(wèn)題?？赏ㄟ^(guò)訓(xùn)練多層神經(jīng)網(wǎng)絡(luò)或回歸模型（比如Gaussian過(guò)程回歸） 或通過(guò)使用非線性流形嵌入技術(shù)（比如局部線性嵌入）來(lái)得到映射函數(shù)，以將高維眼睛圖 像縮減到2維并通過(guò)低維空間中的線性組合導(dǎo)出所述注視。
[0005] 基于幾何模型的方法一般來(lái)講更加準(zhǔn)確（小于一度）并且在商用眼睛追蹤器中 使用的更為廣泛。然而，它要求高清相機(jī)和附加光源。當(dāng)前的基于外觀的方法已知不太準(zhǔn) 確（準(zhǔn)確度為若干度）。還已知更為準(zhǔn)確的基于外觀的方法，這些方法可以實(shí)現(xiàn)小于一度 的準(zhǔn)確度，但代價(jià)是使用大量的校準(zhǔn)點(diǎn)，參見(jiàn)例如K.H.Tan，D.J.Kriegman，andN.Ahuja， "Appearance-basedeyegazeestimation'，，ProceedingsoftheSixthIEEEWorkshop onApplicationsofComputerVision(WACV)，pages191-195,2002。
[0006] 幾乎所有當(dāng)前的注視追蹤技術(shù)都要求校準(zhǔn)過(guò)程，以便推斷出某些人員特定的眼睛 參數(shù)（在基于幾何的方法的情況中）或?qū)ρ劬σ苿?dòng)和屏幕之間的相應(yīng)映射函數(shù)進(jìn)行回歸 (在基于外觀的方法的情況中）。這種過(guò)程是非常麻煩、不舒適的，并且難以完成。此外，在 一些消費(fèi)者家庭應(yīng)用中，比如交互游戲界面或自適應(yīng)內(nèi)容選擇界面，由于要求眼睛追蹤對(duì) 于用戶是透明的，所以主動(dòng)校準(zhǔn)幾乎是不可能的。存在不要求顯式校準(zhǔn)的眼睛注視估計(jì)方 法。然而，它們的基于模型的方法要求使用多個(gè)相機(jī)和IR光源。
[0007] 另一方法關(guān)注于使用視覺(jué)顯著性作為注視的幾率分布的先驗(yàn)信息。文獻(xiàn) Y.Sugano,Y.Matsushita，andY.Sato，''Calibration-freegazesensingusingsaliency maps'，，InProc.ofthe23rdIEEEConferenceonComputer,VisionandPattern Recognition(CVPR)，June2010提出：如果連續(xù)眼睛外觀不顯著改變，則表明用戶正在注 意相同的固定點(diǎn)。通過(guò)集群化和平均化所有訓(xùn)練視頻，獲得"固定群組"的集合，每個(gè)"固定 群組"包括平均注視幾率圖和其相應(yīng)的平均眼睛圖像。這些數(shù)據(jù)用來(lái)獲得Gaussian過(guò)程回 歸（GPR)。由于不具有注視點(diǎn)的"真實(shí)"位置（相反地，只知道注視幾率），通過(guò)Monte-Carlo 近似來(lái)實(shí)現(xiàn)GPR的訓(xùn)練過(guò)程（即根據(jù)平均注視幾率圖生成樣本）。然而，該方法受到限制。 首先，為了進(jìn)入操作模式，系統(tǒng)需要事先進(jìn)行離線且耗時(shí)的訓(xùn)練（針對(duì)10分鐘的測(cè)試，進(jìn)行 10分鐘的訓(xùn)練）。第二，方法利用許多通過(guò)經(jīng)驗(yàn)確定的參數(shù)。第三，為了使MonteCarlo近 似達(dá)到期望的準(zhǔn)確度，需要許多樣本，其代價(jià)是嚴(yán)重地增加了計(jì)算成本。然而，由于所述方 法完全基于并不總是可靠的顯著性信息，導(dǎo)致所述方法只實(shí)現(xiàn)6度的低準(zhǔn)確度。
[0008]文獻(xiàn)R.Valenti，N.Sebe，andT.Gevers，"Whatareyoulookingat?improving visualgazeestimationbysaliency''，InternationalJournalofComputerVision， 2012公開(kāi)了在隨后處理階段中使用顯著性圖來(lái)改善任何注視估計(jì)系統(tǒng)的性能。視網(wǎng)膜中 凹區(qū)域（foveatedregion)被建模為所估計(jì)的固定點(diǎn)周圍的Gaussian核。然后，計(jì)算所述 顯著性圖。使用在所述固定點(diǎn)處初始化的均值移動(dòng)窗來(lái)找到顯著性圖中的最接近的最大值 點(diǎn)，該最大值點(diǎn)被認(rèn)為是新的修正注視點(diǎn)。通過(guò)假定注視追蹤器中的誤差是相同且仿射的 (例如移位或縮放），可通過(guò)在所估計(jì)的和所修正的注視之間應(yīng)用加權(quán)的最小二乘最小化 來(lái)獲得修正矩陣。
[0009] 由于兩個(gè)主要原因，現(xiàn)有的眼睛注視感應(yīng)系統(tǒng)離在消費(fèi)者家庭應(yīng)用中廣泛使用還 有相當(dāng)?shù)木嚯x。這種系統(tǒng)的成本仍然很高并且大多數(shù)系統(tǒng)要求進(jìn)行麻煩且耗時(shí)的校準(zhǔn)過(guò) 程。

【發(fā)明內(nèi)容】

[0010] 本發(fā)明的目的是克服現(xiàn)有技術(shù)中存在的至少一個(gè)缺點(diǎn)。
[0011] 具體地，本發(fā)明的目的是在不進(jìn)行任何校準(zhǔn)的情況下確定觀看者在其所觀看的屏 幕上注視的位置。
[0012] 本發(fā)明涉及用于注視估計(jì)的方法，包括以下步驟：
[0013]-至少檢測(cè)至少眼睛的中心在正在觀看顯示在屏幕上的至少視頻圖像的觀看者的 至少眼睛圖像上的位置；
[0014]-通過(guò)使用至少所檢測(cè)到的至少眼睛的中心的位置和基于人類注視分布的中心偏 離屬性的映射函數(shù)，確定所述觀看者的注視在所述屏幕上的至少第一位置。
[0015] 根據(jù)一種具體特性，所述檢測(cè)步驟包括以下步驟：
[0016]-將所述至少眼睛圖像轉(zhuǎn)換成至少熱圖；
[0017]-確定所述至少熱圖的第一像素，所述第一像素具有大于第一預(yù)定閾值的關(guān)聯(lián) 值；
[0018]-確定位于所述第一像素附近的第二像素，所述第二像素具有大于第二預(yù)定閾值 的關(guān)聯(lián)值；
[0019]-將至少所述至少眼睛的中心的位置計(jì)算為對(duì)應(yīng)于第一和第二確定像素的位置的 加權(quán)平均。
[0020] 優(yōu)選地，所述至少熱圖在顏色空間YCb(；中被表示為所述轉(zhuǎn)換的輸出。
[0021] 根據(jù)一種具體特性，所述檢測(cè)步驟還包括對(duì)所述至少熱圖進(jìn)行Gaussian濾波，所 述第一和第二像素是在Gaussian濾波之后確定的。
[0022] 優(yōu)選地，所述方法還包括以下步驟：
[0023] _根據(jù)與所述至少視頻圖像相關(guān)聯(lián)的至少顯著性圖，確定觀看者的注視在所述屏 幕上的至少第二位置；
[0024] _確定觀看者的注視在所述屏幕上的至少第三位置，所述注視的所述至少第三位 置對(duì)應(yīng)于所述注視的所述至少第一位置和所述注視的所述至少第二位置的融合。
[0025] 根據(jù)另一特性，通過(guò)使用粒子濾波方法和在時(shí)間角度上之前確定的所述注視的至 少另一第一位置，確定所述注視的所述至少第一位置。
[0026] 優(yōu)選地，通過(guò)將粒子濾波方法用于在時(shí)間角度上之前確定的所述注視的至少另一 第一位置和所述注視的至少另一第二位置，確定所述注視的所述至少第三位置。
[0027] 根據(jù)一種具體特性，通過(guò)考慮所述觀看者的頭部的移動(dòng)，確定所述觀看者的注視 的所述至少第一位置。
[0028] 本發(fā)明還涉及一種被配置用于確定觀看者的注視的設(shè)備，所述設(shè)備包括至少一個(gè) 處理器，所述至少一個(gè)處理器被配置用于：
[0029]-檢測(cè)至少眼睛的中心在正在觀看顯示在屏幕上的至少視頻圖像的觀看者的至少 眼睛圖像上的位置；
[0030]-通過(guò)使用所檢測(cè)到的至少眼睛的中心的位置和基于人類注視分布的中心偏離屬 性的映射函數(shù)，