視線(xiàn)方向跟蹤方法及裝置的制造方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及視頻分析和眼球追蹤領(lǐng)域，具體涉及一種視線(xiàn)方向跟蹤方法及裝置。
【背景技術(shù)】
[0002] 視線(xiàn)追蹤技術(shù)早期被廣泛應(yīng)用在心理學(xué)、醫(yī)學(xué)領(lǐng)域，通過(guò)分析用戶(hù)的眼球運(yùn)動(dòng)情 況，來(lái)判斷用戶(hù)的心理狀態(tài)和健康狀態(tài)。隨著視線(xiàn)追蹤技術(shù)的發(fā)展，越來(lái)越多的日常應(yīng)用開(kāi) 始借助視線(xiàn)追蹤技術(shù)來(lái)提供大量有用和有趣的功能。如追蹤眼球的視線(xiàn)方向可以幫助定位 用戶(hù)所注視的位置，從而可以通過(guò)眼球運(yùn)動(dòng)操控鼠標(biāo)，甚至進(jìn)行輸入；眼球的視線(xiàn)方向也被 應(yīng)用到商場(chǎng)、超市等地方，幫助商家分析用戶(hù)感興趣的商品區(qū)域；此外，還有很多游戲可以 借助視線(xiàn)跟蹤的方式實(shí)現(xiàn)真實(shí)感游戲互動(dòng)。
[0003] 視線(xiàn)追蹤技術(shù)需要追蹤視線(xiàn)方向。而現(xiàn)有的視線(xiàn)方向追蹤方法通常需要兩個(gè)相對(duì) 位置固定的攝像頭，通過(guò)在三維空間中重建眼球模型，從而確定眼睛凝視的方向。這類(lèi)方法 目前已經(jīng)能夠達(dá)到幾度的精度，然而卻有重大的局限性。一方面需要兩個(gè)攝像頭，使得該類(lèi) 方法成本高、不宜佩戴、難以用于移動(dòng)應(yīng)用。同時(shí)由三維建模帶來(lái)的巨大計(jì)算開(kāi)銷(xiāo)和由雙攝 像頭帶來(lái)的電量開(kāi)銷(xiāo)也是普通個(gè)人移動(dòng)設(shè)備難以承受的。因此，此類(lèi)方法極大的局限了視 線(xiàn)方向跟蹤技術(shù)的應(yīng)用前景。目前也有少數(shù)技術(shù)能夠僅用一個(gè)攝像頭實(shí)現(xiàn)視線(xiàn)追蹤，但是 它們通常需要每個(gè)用戶(hù)針對(duì)自身特點(diǎn)和佩戴情況進(jìn)行繁瑣的訓(xùn)練和校準(zhǔn)。這樣就極大程度 地提高了該技術(shù)的使用門(mén)檻。

【發(fā)明內(nèi)容】

[0004] 本發(fā)明所要解決的技術(shù)問(wèn)題是現(xiàn)有技術(shù)成本高、不宜佩戴、不能廣泛適用于各類(lèi) 移動(dòng)設(shè)備、需要人工校準(zhǔn)和用戶(hù)訓(xùn)練的問(wèn)題。
[0005] 為此目的，本發(fā)明提出一種視線(xiàn)方向跟蹤方法，包括：
[0006] 利用單個(gè)攝像頭采集的當(dāng)前的眼球圖片構(gòu)建眼球模型，并建立所述眼球模型在攝 像頭坐標(biāo)系中的投影模型；其中，所述眼球模型包括球形眼球和圓形虹膜；
[0007] 確定出所述眼球模型所在的眼球坐標(biāo)系和所述攝像頭坐標(biāo)系之間的轉(zhuǎn)換矩陣；
[0008] 根據(jù)所述轉(zhuǎn)換矩陣確定出視線(xiàn)方向。
[0009] 本發(fā)明實(shí)施例視線(xiàn)方向跟蹤方法，利用單個(gè)攝像頭采集的當(dāng)前的眼球圖片構(gòu)建眼 球模型，并建立所述眼球模型在攝像頭坐標(biāo)系中的投影模型，確定出所述眼球模型所在的 眼球坐標(biāo)系和所述攝像頭坐標(biāo)系之間的轉(zhuǎn)換矩陣，并根據(jù)所述轉(zhuǎn)換矩陣確定出視線(xiàn)方向， 這就使得僅需要利用一個(gè)低分辨攝像頭即能實(shí)現(xiàn)用戶(hù)視線(xiàn)追蹤，成本低，佩戴方便，同時(shí)， 該方法對(duì)用戶(hù)的頭部運(yùn)動(dòng)沒(méi)有任何限制，無(wú)需人工校準(zhǔn)攝像頭，或者進(jìn)行用戶(hù)訓(xùn)練，用戶(hù)佩 戴設(shè)備即可使用，而且，計(jì)算開(kāi)銷(xiāo)小，能廣泛適用于各類(lèi)移動(dòng)設(shè)備。
[0010] 另一方面，本發(fā)明提出一種視線(xiàn)方向跟蹤裝置，包括：
[0011] 攝像頭，用于實(shí)時(shí)采集人的眼球圖片；
[0012] 構(gòu)建單元，用于根據(jù)所述攝像頭所采集的當(dāng)前的眼球圖片構(gòu)建眼球模型，并建立 所述眼球模型在攝像頭坐標(biāo)系中的投影模型；
[0013] 轉(zhuǎn)換矩陣確定單元，用于確定出所述眼球模型所在的眼球坐標(biāo)系和所述攝像頭坐 標(biāo)系之間的轉(zhuǎn)換矩陣；
[0014] 視線(xiàn)方向確定單元，用于根據(jù)所述轉(zhuǎn)換矩陣確定單元確定出的轉(zhuǎn)換矩陣確定出視 線(xiàn)方向。
[0015] 本發(fā)明實(shí)施例視線(xiàn)方向跟蹤裝置，利用單個(gè)攝像頭采集的當(dāng)前的眼球圖片構(gòu)建眼 球模型，并建立所述眼球模型在攝像頭坐標(biāo)系中的投影模型，確定出所述眼球模型所在的 眼球坐標(biāo)系和所述攝像頭坐標(biāo)系之間的轉(zhuǎn)換矩陣，并根據(jù)所述轉(zhuǎn)換矩陣確定出視線(xiàn)方向， 這就使得僅需要利用一個(gè)低分辨攝像頭即能實(shí)現(xiàn)用戶(hù)視線(xiàn)追蹤，成本低，佩戴方便，同時(shí)， 該方法對(duì)用戶(hù)的頭部運(yùn)動(dòng)沒(méi)有任何限制，無(wú)需人工校準(zhǔn)攝像頭，或者進(jìn)行用戶(hù)訓(xùn)練，用戶(hù)佩 戴設(shè)備即可使用，而且，計(jì)算開(kāi)銷(xiāo)小，能廣泛適用于各類(lèi)移動(dòng)設(shè)備。
【附圖說(shuō)明】
[0016] 圖1為本發(fā)明一種視線(xiàn)方向跟蹤方法一實(shí)施例的流程示意圖；
[0017] 圖2為本發(fā)明一種視線(xiàn)方向跟蹤方法另一實(shí)施例的部分流程示意圖；
[0018] 圖3為圖2中S320 -實(shí)施例的流程示意圖；
[0019] 圖4為本發(fā)明一種視線(xiàn)方向跟蹤裝置一實(shí)施例的方框結(jié)構(gòu)示意圖。
【具體實(shí)施方式】
[0020] 為使本發(fā)明實(shí)施例的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面將結(jié)合本發(fā)明實(shí)施例 中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚地描述，顯然，所描述的實(shí)施例是本發(fā)明 一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒(méi)有 做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。
[0021] 如圖1所示，本實(shí)施例公開(kāi)一種視線(xiàn)方向跟蹤方法，包括：
[0022] S1、利用單個(gè)攝像頭采集的當(dāng)前的眼球圖片構(gòu)建眼球模型，并建立所述眼球模型 在攝像頭坐標(biāo)系中的投影模型；其中，所述眼球模型包括球形眼球和圓形虹膜；
[0023] S2、確定出所述眼球模型所在的眼球坐標(biāo)系和所述攝像頭坐標(biāo)系之間的轉(zhuǎn)換矩 陣；
[0024] S3、根據(jù)所述轉(zhuǎn)換矩陣確定出視線(xiàn)方向。
[0025] 本發(fā)明實(shí)施例視線(xiàn)方向跟蹤方法，利用單個(gè)攝像頭采集的當(dāng)前的眼球圖片構(gòu)建眼 球模型，并建立所述眼球模型在攝像頭坐標(biāo)系中的投影模型，確定出所述眼球模型所在的 眼球坐標(biāo)系和所述攝像頭坐標(biāo)系之間的轉(zhuǎn)換矩陣，并根據(jù)所述轉(zhuǎn)換矩陣確定出視線(xiàn)方向， 這就使得僅需要利用一個(gè)低分辨攝像頭即能實(shí)現(xiàn)用戶(hù)視線(xiàn)追蹤，成本低，佩戴方便，同時(shí)， 該方法對(duì)用戶(hù)的頭部運(yùn)動(dòng)沒(méi)有任何限制，無(wú)需人工校準(zhǔn)攝像頭，或者進(jìn)行用戶(hù)訓(xùn)練，用戶(hù)佩 戴設(shè)備即可使用，而且，計(jì)算開(kāi)銷(xiāo)小，能廣泛適用于各類(lèi)移動(dòng)設(shè)備。
[0026] 可選地，在本發(fā)明視線(xiàn)方向跟蹤方法的另一實(shí)施例中，所述眼球坐標(biāo)系的原點(diǎn)為 球形眼球的中心，所述眼球坐標(biāo)系的X軸與圓形虹膜平面與水平面的交線(xiàn)平行，所述眼球 坐標(biāo)系的Z軸的方向?yàn)閺那蛐窝矍虻闹行闹赶驁A形虹膜的中心的方向，所述攝像頭坐標(biāo)系 的X軸和Y軸分別為攝像頭成像平面的X軸和Y軸，所述攝像頭坐標(biāo)系的Z軸為攝像頭光 軸，
[0027] 其中，所述確定出所述眼球模型所在的眼球坐標(biāo)系和所述攝像頭坐標(biāo)系之間的轉(zhuǎn) 換矩陣的步驟，包括：
[0028] 建立所述眼球坐標(biāo)系和所述攝像頭坐標(biāo)系之間的轉(zhuǎn)換關(guān)系Vc=RecVe+t;
[0029] 確定出圓形虹膜在攝像頭成像平面的橢圓形投影的中心橫坐標(biāo)長(zhǎng)度lx、縱坐標(biāo)長(zhǎng) 度Iy、短半軸長(zhǎng)度a、長(zhǎng)半軸長(zhǎng)度b和短軸與所述攝像頭坐標(biāo)系的X軸的夾角P;
[0030] 根據(jù)所述橢圓形投影的中心橫坐標(biāo)長(zhǎng)度IX、縱坐標(biāo)長(zhǎng)度Iy、短半軸長(zhǎng)度a、長(zhǎng)半軸 長(zhǎng)度b和短軸與所述攝像頭坐標(biāo)系的X軸的夾角P確定出圓錐參數(shù)矩陣A=STHS;
[0031] 根據(jù)所述圓錐參數(shù)矩陣A確定出投影模型方程GTAG=kQ;
[0032] 根據(jù)所述轉(zhuǎn)換關(guān)系和所述投影模型方程確定出所述Rec