視線跟蹤系統(tǒng)及方法
【專利摘要】公開一種視線跟蹤系統(tǒng)及方法，所述視線跟蹤系統(tǒng)包括：多個(gè)攝像頭；與所述多個(gè)攝像頭對應(yīng)的多組光源；光源控制裝置，控制所述多組光源依次發(fā)光，以便所述多個(gè)攝像頭拍攝用戶的亮瞳圖像和暗瞳圖像；視線特征檢測單元，從所述多個(gè)攝像頭拍攝的亮瞳圖像和暗瞳圖像中檢測瞳孔中心點(diǎn)的位置和反射亮斑的位置；視線估計(jì)單元，通過使用檢測到的瞳孔中心點(diǎn)的位置和反射亮斑的位置來計(jì)算角膜曲面中心點(diǎn)與瞳孔中心點(diǎn)的三維空間位置，從而跟蹤雙眼視線的方向，以確定雙眼的關(guān)注位置。
【專利說明】視線跟蹤系統(tǒng)及方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種視線跟蹤系統(tǒng)及方法，更具體地講，涉及一種基于多個(gè)攝像頭的 使用雙眼視線估計(jì)模型的高精度視線跟蹤系統(tǒng)及方法。

【背景技術(shù)】
[0002] 視線是眼睛注視的方向，它代表一個(gè)人關(guān)注的焦點(diǎn)。近幾十年，視線追跟蹤一直都 是比較活躍的研究課題。視線跟蹤在人機(jī)交互領(lǐng)域存在著很大的應(yīng)用潛力。例如，當(dāng)用戶 注視顯示器屏幕時(shí)，可以通過視線跟蹤系統(tǒng)估計(jì)出用戶在屏幕上的注視點(diǎn)。因此，視線可以 作為先進(jìn)的計(jì)算機(jī)輸入手段，其已經(jīng)被證明比傳統(tǒng)輸入設(shè)備（比如鼠標(biāo)）更有效率，而且身 體殘障人士也可以使用視線跟蹤系統(tǒng)。此外，還可以實(shí)現(xiàn)基于視線跟蹤技術(shù)的互動(dòng)顯示器， 該顯示器顯示的面面可隨視線的變化而變化。與此同時(shí)，視線跟蹤也被認(rèn)知科學(xué)家廣泛地 應(yīng)用于人類的認(rèn)知和記憶研究。
[0003] 然而，盡管已經(jīng)對視線跟蹤進(jìn)行了大量的研究工作，但是在現(xiàn)實(shí)世界中使用計(jì)算 機(jī)視覺的方法估計(jì)人眼視線的方向依然是個(gè)難題，特別是在有光照變化、頭部旋轉(zhuǎn)角度大 等情況下更加明顯。
[0004] 目前的視線跟蹤方法可以大致分為基于頭戴式設(shè)備的視線跟蹤方法和遠(yuǎn)距離視 線跟蹤方法?；陬^戴式設(shè)備的視線跟蹤方法需要在頭部佩戴一個(gè)類似頭盔的設(shè)備，利用 安裝在頭戴式設(shè)備上的攝像頭采集眼睛的圖像信息。這種方法的最大問題是使用與攜帶不 方便，為用戶帶來額外的負(fù)擔(dān)，而且由于頭戴式設(shè)備比較復(fù)雜以及成本較高，限制了廣泛推 廣的可能。與之相比較，遠(yuǎn)距離視線跟蹤方法是一種非接觸式的方法，它不需要用戶佩戴額 外的設(shè)備，不會(huì)影響用戶的自然使用。遠(yuǎn)距離視線跟蹤方法主要是基于瞳孔-角膜反射技 術(shù)的方法，也就是利用紅外光源在人眼中產(chǎn)生反射點(diǎn)，通過追蹤瞳孔中心與角膜反射的相 對位置，根據(jù)相機(jī)的成像路徑估計(jì)人眼球的三維位置，得到視線方向。這種方法有以下幾個(gè) 優(yōu)點(diǎn)：（1)因?yàn)椴捎脦缀文Ｐ瓦M(jìn)行視線估計(jì)，所以視線跟蹤的精度不會(huì)隨著頭部運(yùn)動(dòng)而受 到很大影響；（2)三維視線估計(jì)方法估計(jì)的是空間視線方向，而不是屏幕視線落點(diǎn)，所以視 線跟蹤不依賴于屏幕位置、大小、形狀，可以計(jì)算視線在任何物體上的注視點(diǎn)。然而，這種方 法同時(shí)也存在以下幾個(gè)缺點(diǎn)：（1)由于需要長焦距相機(jī)而導(dǎo)致視角狹窄；（2)無法同時(shí)支持 多個(gè)人進(jìn)行視線估計(jì)和跟蹤；（3)視線跟蹤精度有待提


【發(fā)明內(nèi)容】

[0005] 因此，為了解決現(xiàn)有技術(shù)中的以上缺點(diǎn)，本發(fā)明的目的在于提供一種能夠去除3D 圖像噪聲并且能夠提高3D圖像對比度的用于3D圖像質(zhì)量增強(qiáng)的方法和設(shè)備。
[0006] 根據(jù)本發(fā)明的一方面，提供一種視線跟蹤系統(tǒng)，包括：多個(gè)攝像頭；與所述多個(gè)攝 像頭對應(yīng)的多組光源；光源控制裝置，控制所述多組光源依次發(fā)光，以便所述多個(gè)攝像頭拍 攝用戶的亮瞳圖像和暗瞳圖像；視線特征檢測單元，從所述多個(gè)攝像頭拍攝的亮瞳圖像和 暗瞳圖像中檢測瞳孔中心點(diǎn)的位置和反射亮斑的位置；視線估計(jì)單元，通過使用檢測到的 瞳孔中心點(diǎn)的位置和反射亮斑的位置來計(jì)算角膜曲面中心點(diǎn)與瞳孔中心點(diǎn)的三維空間位 置，從而跟蹤雙眼視線的方向，以確定雙眼的關(guān)注位置。
[0007] 所述視線跟蹤系統(tǒng)還包括：關(guān)注位置修正單元，通過使用用戶觀看的屏幕上的多 個(gè)已知點(diǎn)進(jìn)行位置標(biāo)定，來修正雙眼的關(guān)注位置。
[0008] 所述多組光源是對應(yīng)于所述多個(gè)攝像頭的同軸光源。
[0009] 一組光源包括若干個(gè)紅外LED，所述若干個(gè)LED環(huán)繞與該組光源對應(yīng)的一個(gè)攝像 頭均勻地布置。
[0010] 對于一個(gè)攝像頭，當(dāng)與該攝像頭對應(yīng)的一組光源發(fā)光時(shí)，該攝像頭拍攝用戶的亮 瞳圖像，當(dāng)其他各組光源發(fā)光時(shí)，該攝像頭拍攝用戶的暗瞳圖像。
[0011] 視線特征檢測單元根據(jù)亮瞳圖像中人眼區(qū)域的灰度信息檢測瞳孔中心點(diǎn)的位置。
[0012] 視線特征檢測單元基于亮瞳圖像的灰度值進(jìn)行瞳孔區(qū)域分割，然后對分割結(jié)果進(jìn) 行橢圓擬合，并將擬合得到的橢圓的中心作為瞳孔中心點(diǎn)，從而獲得瞳孔中心點(diǎn)的位置。
[0013] 視線特征檢測單元從暗瞳圖像中相互靠近且大小近似相等的多個(gè)反射亮斑中搜 索距離瞳孔中心最近的圓形反射亮斑，將該圓形反射亮斑作為眼角膜的反射亮斑，從而獲 得反射亮斑的位置。
[0014] 視線估計(jì)單元計(jì)算左右兩眼的瞳孔中心點(diǎn)的三維坐標(biāo)以及左右兩眼的角膜曲面 中心點(diǎn)的三維坐標(biāo)，從而獲得由瞳孔中心點(diǎn)與角膜曲面中心點(diǎn)的連線表現(xiàn)的左眼視線和右 眼視線，并將左眼視線和右眼視線的交點(diǎn)確定為雙眼的關(guān)注位置。
[0015] 左眼和右眼分別滿足方程（1)至（8)，

【權(quán)利要求】
1. 一種視線跟蹤系統(tǒng)，包括： 多個(gè)攝像頭； 與所述多個(gè)攝像頭對應(yīng)的多組光源； 光源控制裝置，控制所述多組光源依次發(fā)光，以便所述多個(gè)攝像頭拍攝用戶的亮瞳圖 像和暗瞳圖像； 視線特征檢測單元，從所述多個(gè)攝像頭拍攝的亮瞳圖像和暗瞳圖像中檢測瞳孔中心點(diǎn) 的位置和反射亮斑的位置； 視線估計(jì)單元，通過使用檢測到的瞳孔中心點(diǎn)的位置和反射亮斑的位置來計(jì)算角膜曲 面中心點(diǎn)與瞳孔中心點(diǎn)的三維空間位置，從而跟蹤雙眼視線的方向，以確定雙眼的關(guān)注位 置。
2. 根據(jù)權(quán)利要求1所述的視線跟蹤系統(tǒng)，還包括： 關(guān)注位置修正單元，通過使用用戶觀看的屏幕上的多個(gè)已知點(diǎn)進(jìn)行位置標(biāo)定，來修正 雙眼的關(guān)注位置。
3. 根據(jù)權(quán)利要求1所述的視線跟蹤系統(tǒng)，其中，所述多組光源是對應(yīng)于所述多個(gè)攝像 頭的同軸光源。
4. 根據(jù)權(quán)利要求3所述的視線跟蹤系統(tǒng)，其中，一組光源包括若干個(gè)紅外LED，所述若 干個(gè)LED環(huán)繞與該組光源對應(yīng)的一個(gè)攝像頭均勻地布置。
5. 根據(jù)權(quán)利要求1所述的視線跟蹤系統(tǒng)，其中，對于一個(gè)攝像頭，當(dāng)與該攝像頭對應(yīng)的 一組光源發(fā)光時(shí)，該攝像頭拍攝用戶的亮瞳圖像，當(dāng)其他各組光源發(fā)光時(shí)，該攝像頭拍攝用 戶的暗瞳圖像。
6. 根據(jù)權(quán)利要求1所述的視線跟蹤系統(tǒng)，其中，視線特征檢測單元根據(jù)亮瞳圖像中人 眼區(qū)域的灰度信息檢測瞳孔中心點(diǎn)的位置。
7. 根據(jù)權(quán)利要求6所述的視線跟蹤系統(tǒng)，其中，視線特征檢測單元基于亮瞳圖像的灰 度值進(jìn)行瞳孔區(qū)域分割，然后對分割結(jié)果進(jìn)行橢圓擬合，并將擬合得到的橢圓的中心作為 瞳孔中心點(diǎn)，從而獲得瞳孔中心點(diǎn)的位置。
8. 根據(jù)權(quán)利要求1所述的視線跟蹤系統(tǒng)，其中，視線特征檢測單元從暗瞳圖像中相互 靠近且大小近似相等的多個(gè)反射亮斑中搜索距離瞳孔中心最近的圓形反射亮斑，將該圓形 反射亮斑作為眼角膜的反射亮斑，從而獲得反射亮斑的位置。
9. 根據(jù)權(quán)利要求1所述的視線跟蹤系統(tǒng)，其中，視線估計(jì)單元計(jì)算左右兩眼的瞳孔中 心點(diǎn)的三維坐標(biāo)以及左右兩眼的角膜曲面中心點(diǎn)的三維坐標(biāo)，從而獲得由瞳孔中心點(diǎn)與角 膜曲面中心點(diǎn)的連線表現(xiàn)的左眼視線和右眼視線，并將左眼視線和右眼視線的交點(diǎn)確定為 雙眼的關(guān)注位置。
10. 根據(jù)權(quán)利要求1所述的視線跟蹤系統(tǒng)，其中，左眼和右眼分別滿足方程（1)至（8)，

其中，X表示向量叉乘，?表示向量點(diǎn)乘，*表示數(shù)值相乘，qu表示每只眼睛的眼角膜 的光線反射點(diǎn)，表示攝像頭j的鏡頭中心點(diǎn)，每只眼睛的暗瞳圖像中的反射亮斑的位 置，表示連接每只眼睛的眼角膜的光線反射點(diǎn)與每只眼睛的暗瞳圖像中的反射亮斑的 位置的直線的斜率，c表示每只眼睛的眼角膜曲面中心點(diǎn)，R1表示眼角膜曲面所在球面的 半徑常數(shù)，li表示離軸光源的位置，h表示每只眼睛的眼角膜的光線折射點(diǎn)，\表示每只眼 睛的亮瞳圖像中的瞳孔中心點(diǎn)的位置，ky_表示連接每只眼睛的眼角膜的光線折射點(diǎn)與每 只眼睛的亮瞳圖像中的瞳孔中心點(diǎn)的位置的直線的斜率,P表示每只眼睛的瞳孔中心點(diǎn)，h 表示房水與眼角膜之間的折射系數(shù)，n2表示空氣與眼角膜之間的折射系數(shù)， 視線估計(jì)單元在滿足以下約束條件的情況下針對左眼和右眼求解方程（1)至（8)來確 定雙眼的關(guān)注位置：
其中，R表示雙眼視線關(guān)注位置，Cl表示左眼的角膜曲面中心點(diǎn)，c2表示右眼的角膜曲 面中心點(diǎn)，Pl表示左眼的瞳孔中心點(diǎn)，p2表示右眼的瞳孔中心點(diǎn)，h表示左眼視線的光軸的 斜率，k 2表示右眼視線的光軸的斜率。
11. 根據(jù)權(quán)利要求10所述的視線跟蹤系統(tǒng)，其中，如果所述多組光源的數(shù)量為N組，則 左眼和右眼分別滿足N個(gè)方程（1)至（8)，并且視線估計(jì)單元在滿足所述約束條件的情況下 針對左眼和右眼求解總共16*N個(gè)方程來確定雙眼的關(guān)注位置。
12. 根據(jù)權(quán)利要求2所述的視線跟蹤系統(tǒng)，其中，在用戶觀看的屏幕上預(yù)先設(shè)置多個(gè)已 知目標(biāo)點(diǎn)，并且視線特征檢測單元確定已知目標(biāo)點(diǎn)的位置， 其中，關(guān)注位置修正單元計(jì)算確定的已知目標(biāo)點(diǎn)的位置與已知目標(biāo)點(diǎn)的實(shí)際位置之間 的誤差，根據(jù)視線估計(jì)單元確定的雙眼的關(guān)注位置與確定的已知目標(biāo)點(diǎn)的位置之間的距離 來計(jì)算權(quán)重，并使用誤差修正模型來修正視線估計(jì)單元確定的雙眼的關(guān)注位置。
13. 根據(jù)權(quán)利要求12所述的視線跟蹤系統(tǒng)，其中，關(guān)注位置修正單元通過使用以下等 式來修正視線估計(jì)單元確定的雙眼的關(guān)注位置：
其中,Μ表示已知目標(biāo)點(diǎn)的數(shù)量,Pp_sse;d表示修正后的雙眼的關(guān)注位置,P_pute;d表示視 線估計(jì)單元確定的雙眼的關(guān)注位置，Wi表示權(quán)重，Si表示已知目標(biāo)點(diǎn)的實(shí)際位置，Pi表示視 線估計(jì)單元確定的已知目標(biāo)點(diǎn)的位置，ei表示已知目標(biāo)點(diǎn)的實(shí)際位置與視線估計(jì)單元確定 的已知目標(biāo)點(diǎn)的位置之間的誤差，φ表示視線估計(jì)單元確定的雙眼的關(guān)注位置與已知目標(biāo) 點(diǎn)的位置之間的距離。
14. 一種視線跟蹤方法，包括以下步驟： (a) 通過控制與多個(gè)攝像頭對應(yīng)的多組光源依次發(fā)光來使用所述多個(gè)攝像頭拍攝用戶 的亮瞳圖像和暗瞳圖像； (b) 從拍攝的亮瞳圖像和暗瞳圖像中檢測瞳孔中心點(diǎn)的位置和反射亮斑的位置； (c) 通過使用檢測到的瞳孔中心點(diǎn)的位置和反射亮斑的位置來計(jì)算角膜曲面中心點(diǎn)與 瞳孔中心點(diǎn)的三維空間位置，從而跟蹤雙眼視線的方向，以確定雙眼的關(guān)注位置。
15. 根據(jù)權(quán)利要求14所述的視線跟蹤方法，還包括以下步驟： (d) 通過使用用戶觀看的屏幕上的多個(gè)已知點(diǎn)進(jìn)行位置標(biāo)定，來修正雙眼的關(guān)注位置。
16. 根據(jù)權(quán)利要求14所述的視線跟蹤方法，其中，在步驟（b)中，根據(jù)亮瞳圖像中人眼 區(qū)域的灰度信息檢測瞳孔中心點(diǎn)的位置。
17. 根據(jù)權(quán)利要求14所述的視線跟蹤方法，其中，在步驟（c)中，計(jì)算左右兩眼的瞳孔 中心點(diǎn)的三維坐標(biāo)以及左右兩眼的角膜曲面中心點(diǎn)的三維坐標(biāo)，從而獲得由瞳孔中心點(diǎn)與 角膜曲面中心點(diǎn)的連線表現(xiàn)的左眼視線和右眼視線，并將左眼視線和右眼視線的交點(diǎn)確定 為雙眼的關(guān)注位置。
【文檔編號(hào)】H04N5/232GK104113680SQ201310138541
【公開日】2014年10月22日 申請日期:2013年4月19日 優(yōu)先權(quán)日:2013年4月19日
【發(fā)明者】王西穎, 高書征, 金智淵 申請人:北京三星通信技術(shù)研究有限公司, 三星電子株式會(huì)社