一種視線(xiàn)估計(jì)設(shè)備和方法
【技術(shù)領(lǐng)域】
[0001] 本申請(qǐng)涉及一種視線(xiàn)估計(jì)設(shè)備和方法，更具體地講，涉及一種使用簡(jiǎn)單標(biāo)定來(lái)確 定視線(xiàn)位置的視線(xiàn)估計(jì)設(shè)備和方法。
【背景技術(shù)】
[0002] 視線(xiàn)是眼睛注視的方向，它代表一個(gè)人關(guān)注的焦點(diǎn)。近幾十年，視線(xiàn)追蹤一直都是 比較活躍的研究課題。視線(xiàn)追蹤在人機(jī)交互領(lǐng)域存在著很大的應(yīng)用潛力。例如，當(dāng)使用者 注視顯示器屏幕時(shí)，可以通過(guò)視線(xiàn)追蹤系統(tǒng)估計(jì)出使用者在屏幕上的注視點(diǎn)。因此，視線(xiàn)可 以作為一種先進(jìn)的計(jì)算機(jī)輸入手段，其已經(jīng)被證明比傳統(tǒng)輸入設(shè)備（比如鼠標(biāo)指針）更有 效率，并且即使是身體殘障的人士也可以同樣使用這樣的視線(xiàn)追蹤系統(tǒng)實(shí)現(xiàn)輸入。此外，還 可實(shí)現(xiàn)基于視線(xiàn)追蹤技術(shù)的互動(dòng)顯示器，該顯示器的顯示畫(huà)面可隨視線(xiàn)的變化而變化，并 且視線(xiàn)追蹤技術(shù)也被認(rèn)知科學(xué)家廣泛地應(yīng)用于人類(lèi)的認(rèn)知和記憶研究。
[0003] 盡管已有大量的研究工作，但在現(xiàn)實(shí)世界中用計(jì)算機(jī)視覺(jué)的方法估計(jì)人眼視線(xiàn)的 方向依然是個(gè)難題，特別是在有光照變化，頭部旋轉(zhuǎn)角度大等情況下難以精確地估計(jì)人眼 視線(xiàn)。
[0004]目前的視線(xiàn)估計(jì)方法可以大致分為基于頭戴式設(shè)備的方法和遠(yuǎn)距離視線(xiàn)跟蹤的 方法。頭戴式方法需要在頭部佩戴一個(gè)類(lèi)似頭盔的設(shè)備，利用上面的攝像頭采集眼睛的圖 像信息，其缺點(diǎn)在于使用與攜帶不方便，為用戶(hù)帶來(lái)額外的負(fù)擔(dān)，而且由于設(shè)備比較復(fù)雜以 及成本較高，限制了其廣泛推廣的可能。與之相比較，遠(yuǎn)距離視線(xiàn)跟蹤方法是一種非接觸式 的方法，它不需要用戶(hù)佩戴額外的設(shè)備，不會(huì)影響用戶(hù)的自然使用。遠(yuǎn)距離視線(xiàn)跟蹤方法主 要是基于瞳孔-角膜反射技術(shù)，也就是利用紅外光源在人眼中產(chǎn)生反射點(diǎn)，通過(guò)追蹤瞳孔 中心與角膜反射的相對(duì)位置，根據(jù)相機(jī)的成像路徑估計(jì)人眼球的三維位置，得到視線(xiàn)方向。 這種使用遠(yuǎn)距離視線(xiàn)跟蹤方法有以下幾個(gè)優(yōu)點(diǎn)：（1)因?yàn)椴捎脦缀文Ｐ瓦M(jìn)行視線(xiàn)估計(jì)，視 線(xiàn)估計(jì)的精度不會(huì)隨著頭部運(yùn)動(dòng)而受到很大影響；（2)三維視線(xiàn)估計(jì)方法估計(jì)的是空間視 線(xiàn)方向，而不是屏幕視線(xiàn)落點(diǎn)，所以視線(xiàn)估計(jì)不依賴(lài)于屏幕位置、大小、形狀，可以計(jì)算視線(xiàn) 在任何物體上的注視點(diǎn)。但同時(shí)使用遠(yuǎn)距離視線(xiàn)跟蹤方法也存在以下幾個(gè)缺點(diǎn)：（1)因?yàn)?三維視線(xiàn)估計(jì)需要使用眼睛特征參數(shù)，增加了眼睛特征檢測(cè)和參數(shù)提取的復(fù)雜性；（2)因 為需要估計(jì)角膜球面中心的空間位置，而角膜球面中心不可見(jiàn)，需要至少兩個(gè)光源的像去 估計(jì)角膜球面中心的空間位置，所以至少需要兩個(gè)光源；（3)需要進(jìn)行光源位置標(biāo)定和屏 幕位置標(biāo)定，并且三維視線(xiàn)估計(jì)對(duì)以上位置非常敏感?，F(xiàn)有的視線(xiàn)估計(jì)方法中存在的以上 缺陷，使得基于視線(xiàn)估計(jì)的應(yīng)用難以得到推廣。
[0005] 因此，需要一種相對(duì)于現(xiàn)有的視線(xiàn)估計(jì)技術(shù)能夠更方便、準(zhǔn)確的估計(jì)人眼視線(xiàn)，同 時(shí)無(wú)需過(guò)高的設(shè)備成本的視線(xiàn)估計(jì)設(shè)備和方法。

【發(fā)明內(nèi)容】

[0006] 根據(jù)本發(fā)明的一方面，提供了一種視線(xiàn)估計(jì)設(shè)備，所述設(shè)備包括：標(biāo)定模塊，被配 置為通過(guò)使用針對(duì)屏幕上的N個(gè)預(yù)定位置而分別采集的N個(gè)眼睛圖像，來(lái)合成與屏幕上的 預(yù)設(shè)M個(gè)標(biāo)定點(diǎn)位置分別對(duì)應(yīng)的M個(gè)合成眼睛圖像，其中，M和N是自然數(shù)，并且M>N;視 線(xiàn)估計(jì)模塊，被配置為使用預(yù)設(shè)視線(xiàn)估計(jì)模型來(lái)確定待測(cè)眼睛圖像的參考視線(xiàn)位置，并使 用與確定的參考視線(xiàn)位置鄰近的多個(gè)合成眼睛圖像來(lái)確定待測(cè)眼睛圖像的最終視線(xiàn)位置。
[0007] 所述視線(xiàn)估計(jì)設(shè)備還可包括：更新模塊，被配置為基于最終視線(xiàn)位置已被確定的 待測(cè)眼睛圖像來(lái)選擇性地更新標(biāo)定模塊合成的合成眼睛圖像。
[0008] 所述標(biāo)定模塊可包括：第一合成圖像產(chǎn)生模塊，被配置為分別以采集的N個(gè)眼睛 圖像中的每個(gè)眼睛圖像作為基準(zhǔn)眼睛圖像來(lái)合成眼睛圖像，以產(chǎn)生N組合成眼睛圖像，每 組合成眼睛圖像包括M個(gè)合成眼睛圖像；第二合成圖像產(chǎn)生模塊，被配置為使用第一合成 圖像產(chǎn)生模塊產(chǎn)生的N組合成眼睛圖像來(lái)合成最終的一組合成眼睛圖像，所述最終的一組 合成眼睛圖像包括M個(gè)最終的合成眼睛圖像。
[0009] 所述第一合成圖像產(chǎn)生模塊可包括：光流計(jì)算模塊，被配置為計(jì)算采集的N個(gè)眼 睛圖像中除基準(zhǔn)眼睛圖像以外的每個(gè)眼睛圖像相對(duì)于基準(zhǔn)眼睛圖像的光流圖；插值模塊， 被配置為通過(guò)對(duì)光流計(jì)算模塊計(jì)算的光流圖進(jìn)行線(xiàn)性插值來(lái)獲得與屏幕上的每個(gè)標(biāo)定點(diǎn) 位置對(duì)應(yīng)光流圖；圖像合成模塊，被配置為使用基準(zhǔn)眼睛圖像中的像素的顏色值或灰度值 以及獲取的與每個(gè)標(biāo)定點(diǎn)位置對(duì)應(yīng)的光流圖來(lái)產(chǎn)生與屏幕上的每個(gè)標(biāo)定點(diǎn)位置對(duì)應(yīng)的合 成眼睛圖像。
[0010] 所述光流計(jì)算模塊計(jì)算的光流圖可包括水平光流圖和垂直光流圖。所述插值模塊 可對(duì)光流計(jì)算模塊計(jì)算的垂直光流圖進(jìn)行垂直方向的線(xiàn)性插值并對(duì)光流計(jì)算模塊計(jì)算的 水平光流圖進(jìn)行水平方向的線(xiàn)性插值，從而獲得與屏幕上的所述M個(gè)標(biāo)定點(diǎn)位置分別對(duì)應(yīng) 的M個(gè)垂直光流圖和M個(gè)水平光流圖。
[0011] 所述第一合成圖像產(chǎn)生模塊還可包括：修補(bǔ)模塊，被配置為對(duì)圖像合成模塊合成 的合成眼睛圖像中的空洞部分進(jìn)行填充。
[0012] 所述視線(xiàn)估計(jì)模塊可包括：粗定位模塊，被配置為提取待測(cè)眼睛圖像的表觀特征， 并基于提取的表觀特征使用所述預(yù)設(shè)視線(xiàn)估計(jì)模型來(lái)確定待測(cè)眼睛圖像的參考視線(xiàn)位置； 細(xì)定位模塊，被配置為獲取與以粗定位模塊確定的參考視線(xiàn)位置為中心的預(yù)定鄰近范圍內(nèi) 的標(biāo)定點(diǎn)位置對(duì)應(yīng)的眼睛圖像的集合，并基于所述集合中的眼睛圖像的位置的加權(quán)線(xiàn)性組 合來(lái)確定待測(cè)眼睛圖像的最終視線(xiàn)位置。
[0013] 所述細(xì)定位模塊可基于所述集合中的眼睛圖像的圖像特征以及所述待測(cè)眼睛圖 像的圖像特征來(lái)確定與所述集合中的每個(gè)眼睛圖像的位置相應(yīng)的加權(quán)系數(shù)。
[0014] N的值可以為5,M的值可以為32。
[0015]根據(jù)本發(fā)明另一方面，提供了一種視線(xiàn)估計(jì)方法，所述方法包括：(a)通過(guò)使用針 對(duì)屏幕上的N個(gè)預(yù)定位置而分別采集的N個(gè)眼睛圖像，來(lái)合成與屏幕上的預(yù)設(shè)M個(gè)標(biāo)定點(diǎn) 位置分別對(duì)應(yīng)的M個(gè)合成眼睛圖像，其中，M和N是自然數(shù)，并且M>N; (b)使用預(yù)設(shè)視線(xiàn) 估計(jì)模型來(lái)確定待測(cè)眼睛圖像的參考視線(xiàn)位置；(c)使用與確定的參考視線(xiàn)位置鄰近的多 個(gè)合成眼睛圖像來(lái)確定待測(cè)眼睛圖像的最終視線(xiàn)位置。
[0016] 所述視線(xiàn)估計(jì)方法還可包括：（d)基于步驟（C)中獲得的最終視線(xiàn)位置已被確定 的待測(cè)眼睛圖像來(lái)選擇性地更新步驟（a)中的合成眼睛圖像。
[0017] 步驟（a)可包括：（al)分別以采集的N個(gè)眼睛圖像中的每個(gè)眼睛圖像作為基準(zhǔn)眼 睛圖像來(lái)合成眼睛圖像，以產(chǎn)生N組合成眼睛圖像，每組合成眼睛圖像包括M個(gè)合成眼睛圖 像；(a2)使用步驟（al)中產(chǎn)生的N組合成眼睛圖像來(lái)合成最終的一組合成眼睛圖像，所述 最終的一組合成眼睛圖像包括M個(gè)最終的合成眼睛圖像。
[0018]步驟（al)可包括：計(jì)算采集的N個(gè)眼睛圖像中除基準(zhǔn)眼睛圖像以外的每個(gè)眼睛圖 像相對(duì)于基準(zhǔn)眼睛圖像的光流圖；通過(guò)對(duì)計(jì)算的光流圖進(jìn)行線(xiàn)性插值來(lái)獲得與屏幕上的每 個(gè)標(biāo)定點(diǎn)位置對(duì)應(yīng)光流圖；使用基準(zhǔn)眼睛圖像中的像素的顏色值或灰度值以及獲取的與每 個(gè)標(biāo)定點(diǎn)位置對(duì)應(yīng)的光流圖來(lái)產(chǎn)生與屏幕上的每個(gè)標(biāo)定點(diǎn)位置對(duì)應(yīng)的合成眼睛圖像。
[0019] 所述計(jì)算的光流圖可包括水平光流圖和垂直光流圖。對(duì)計(jì)算的光流圖進(jìn)行線(xiàn)性插 值的步驟可包括：對(duì)計(jì)算的垂直光流圖進(jìn)行垂直方向的線(xiàn)性插值并對(duì)計(jì)算的水平光流圖進(jìn) 行水平方向的線(xiàn)性插值，從而獲得與屏幕上的所述M個(gè)標(biāo)定點(diǎn)位置分別對(duì)應(yīng)的M個(gè)垂直光 流圖和M個(gè)水平光流圖。
[0020] 步驟（al)還可包括：對(duì)合成的合成眼睛圖像中的空洞部分進(jìn)行填充。
[0021] 步驟（b)可包括：提取待測(cè)眼睛圖像的表觀特征；基于提取的表觀特征使用所述 預(yù)設(shè)視線(xiàn)估計(jì)模型來(lái)確定待測(cè)眼睛圖像的參考視線(xiàn)位置；獲取與以確定的參考視線(xiàn)位置為 中心的預(yù)定鄰近范圍內(nèi)的標(biāo)定點(diǎn)位置對(duì)應(yīng)的眼睛圖像的集合，并基于所述集合中的眼睛圖 像的位置的加權(quán)線(xiàn)性組合來(lái)確定待測(cè)眼睛圖像的最終視線(xiàn)位置。
[0022] 可基于所述集合中的眼睛圖像的圖像特征以及所述待測(cè)眼睛圖像的圖像特征來(lái) 確定與所述集合中的每個(gè)眼睛圖像的位置相應(yīng)的加權(quán)系數(shù)。
[0023] 有益效果
[0024] 使用本發(fā)明的示例性實(shí)施例的視線(xiàn)估計(jì)設(shè)備和方法，能夠在無(wú)需任何紅外光源的 情況下僅利用一個(gè)普通的彩