的兩組解；
[0033] 識別出所述當(dāng)前的眼球圖片中的眼球區(qū)域、虹膜區(qū)域和眼角區(qū)域；
[0034] 根據(jù)所述當(dāng)前的眼球圖片中的眼球區(qū)域、虹膜區(qū)域和眼角區(qū)域確定出眼角在所述 攝像頭坐標(biāo)系中的投影坐標(biāo)；
[0035] 根據(jù)所述Rec的兩組解和所述眼角在所述攝像頭坐標(biāo)系中的投影坐標(biāo)確定出眼 角在所述攝像頭坐標(biāo)系中的兩組坐標(biāo)，并確定出該兩組坐標(biāo)對應(yīng)的兩組球形眼球的中心在 所述攝像頭坐標(biāo)系中的坐標(biāo)；
[0036] 對于該兩組坐標(biāo)中的每一組坐標(biāo)，計算該每一組坐標(biāo)對應(yīng)的兩個眼角與球形眼球 的中心的距離之差的絕對值；
[0037] 比較該兩組坐標(biāo)對應(yīng)的兩個距離之差的絕對值的大小，將該兩個距離之差的絕對 值中較小者對應(yīng)的所述Rec的解確定為從所述眼球坐標(biāo)系到所述攝像頭坐標(biāo)系轉(zhuǎn)換的轉(zhuǎn) 換矩陣；
[0038] 所述根據(jù)所述轉(zhuǎn)換矩陣確定出視線方向，包括：
[0039] 根據(jù)所述從所述眼球坐標(biāo)系到所述攝像頭坐標(biāo)系轉(zhuǎn)換的轉(zhuǎn)換矩陣確定出視線方 向；
[0040] 所述Rec= (rl，r2,r3)為從所述眼球坐標(biāo)系到所述攝像頭坐標(biāo)系轉(zhuǎn)換的轉(zhuǎn)換 矩陣，所述Ve為所述眼球坐標(biāo)系中的點，所述Vc為該點在所述攝像頭坐標(biāo)系中的坐標(biāo)，所 述t為一標(biāo)量坐標(biāo)，所述夾角p為銳角，所述
【主權(quán)項】
1. 一種視線方向跟蹤方法，其特征在于，包括： 利用單個攝像頭采集的當(dāng)前的眼球圖片構(gòu)建眼球模型，并建立所述眼球模型在攝像頭 坐標(biāo)系中的投影模型；其中，所述眼球模型包括球形眼球和圓形虹膜； 確定出所述眼球模型所在的眼球坐標(biāo)系和所述攝像頭坐標(biāo)系之間的轉(zhuǎn)換矩陣； 根據(jù)所述轉(zhuǎn)換矩陣確定出視線方向。
2. 根據(jù)權(quán)利要求1所述的視線方向跟蹤方法，其特征在于，所述眼球坐標(biāo)系的原點為 球形眼球的中心，所述眼球坐標(biāo)系的X軸與圓形虹膜平面與水平面的交線平行，所述眼球 坐標(biāo)系的Z軸的方向為從球形眼球的中心指向圓形虹膜的中心的方向，所述攝像頭坐標(biāo)系 的X軸和Y軸分別為攝像頭成像平面的X軸和Y軸，所述攝像頭坐標(biāo)系的Z軸為攝像頭光 軸， 其中，所述確定出所述眼球模型所在的眼球坐標(biāo)系和所述攝像頭坐標(biāo)系之間的轉(zhuǎn)換矩 陣的步驟，包括： 建立所述眼球坐標(biāo)系和所述攝像頭坐標(biāo)系之間的轉(zhuǎn)換關(guān)系Vc=RecVe+t; 確定出圓形虹膜在攝像頭成像平面的橢圓形投影的中心橫坐標(biāo)長度lx、縱坐標(biāo)長度Iy、短半軸長度a、長半軸長度b和短軸與所述攝像頭坐標(biāo)系的X軸的夾角供； 根據(jù)所述橢圓形投影的中心橫坐標(biāo)長度lx、縱坐標(biāo)長度Iy、短半軸長度a、長半軸長度b和短軸與所述攝像頭坐標(biāo)系的X軸的夾角P確定出圓錐參數(shù)矩陣A=STHS; 根據(jù)所述圓錐參數(shù)矩陣A確定出投影模型方程GTAG=kQ; 根據(jù)所述轉(zhuǎn)換關(guān)系和所述投影模型方程確定出所述Rec的兩組解； 識別出所述當(dāng)前的眼球圖片中的眼球區(qū)域、虹膜區(qū)域和眼角區(qū)域； 根據(jù)所述當(dāng)前的眼球圖片中的眼球區(qū)域、虹膜區(qū)域和眼角區(qū)域確定出眼角在所述攝像 頭坐標(biāo)系中的投影坐標(biāo)； 根據(jù)所述Rec的兩組解和所述眼角在所述攝像頭坐標(biāo)系中的投影坐標(biāo)確定出眼角在 所述攝像頭坐標(biāo)系中的兩組坐標(biāo)，并確定出該兩組坐標(biāo)對應(yīng)的兩組球形眼球的中心在所述 攝像頭坐標(biāo)系中的坐標(biāo)； 對于該兩組坐標(biāo)中的每一組坐標(biāo)，計算該每一組坐標(biāo)對應(yīng)的兩個眼角與球形眼球的中 心的距離之差的絕對值； 比較該兩組坐標(biāo)對應(yīng)的兩個距離之差的絕對值的大小，將該兩個距離之差的絕對值中 較小者對應(yīng)的所述Rec的解確定為從所述眼球坐標(biāo)系到所述攝像頭坐標(biāo)系轉(zhuǎn)換的轉(zhuǎn)換矩 陣； 所述根據(jù)所述轉(zhuǎn)換矩陣確定出視線方向，包括： 根據(jù)所述從所述眼球坐標(biāo)系到所述攝像頭坐標(biāo)系轉(zhuǎn)換的轉(zhuǎn)換矩陣確定出視線方向； 所述Rec= (rl，r2，r3)為從所述眼球坐標(biāo)系到所述攝像頭坐標(biāo)系轉(zhuǎn)換的轉(zhuǎn)換矩陣，所 述Ve為所述眼球坐標(biāo)系中的點，所述Vc為該點在所述攝像頭坐標(biāo)系中的坐標(biāo)，所述t為一 標(biāo)量坐標(biāo)，所述夾角P為銳角，所i
所文
，所述G= 〇'1，1'2,〇，所述1^為一常數(shù)，所太，所述r為 圓形虹膜的半徑。
3. 根據(jù)權(quán)利要求2所述的視線方向跟蹤方法，其特征在于，所述確定出圓形虹膜在攝 像頭成像平面的橢圓形投影的中心橫坐標(biāo)長度lx、縱坐標(biāo)長度Iy、短半軸長度a、長半軸長 度b和短軸與所述攝像頭坐標(biāo)系的X軸的夾角P，包括： 通過橢圓擬合，將圓形虹膜區(qū)域擬合為橢圓，提取出所述橢圓的中心橫坐標(biāo)長度lx、縱 坐標(biāo)長度Iy、短半軸長度a、長半軸長度b和短軸與所述攝像頭坐標(biāo)系的X軸的夾角供。
4. 根據(jù)權(quán)利要求2或3所述的視線方向跟蹤方法，其特征在于，所述確定出該兩組坐標(biāo) 對應(yīng)的兩組球形眼球的中心在所述攝像頭坐標(biāo)系中的坐標(biāo)，包括： 根據(jù)所述Rec的兩組解確定出所述眼球坐標(biāo)系的Z軸的兩個方向； 根據(jù)球形眼球的半徑和圓形虹膜的半徑確定出球形眼球的中心和圓形虹膜的中心之 間的距離； 根據(jù)所述眼球坐標(biāo)系的Z軸的兩個方向，以及所述球形眼球的中心和圓形虹膜的中心 之間的距離確定出該兩組坐標(biāo)對應(yīng)的兩組球形眼球的中心在所述攝像頭坐標(biāo)系中的坐標(biāo)。
5. 根據(jù)權(quán)利要求4所述的視線方向跟蹤方法，其特征在于，所述根據(jù)所述Rec的兩組解 確定出所述眼球坐標(biāo)系的Z軸的兩個方向，包括： 利用方向傳感器獲取所述攝像頭坐標(biāo)系的Z軸的方向； 根據(jù)所述Rec的兩組解和所述攝像頭坐標(biāo)系的Z軸的方向，并利用所述轉(zhuǎn)換關(guān)系確定 出所述眼球坐標(biāo)系的Z軸的兩個方向。
6. -種視線方向跟蹤裝置，其特征在于，包括： 攝像頭，用于實時采集人的眼球圖片； 構(gòu)建單元，用于根據(jù)所述攝像頭所采集的當(dāng)前的眼球圖片構(gòu)建眼球模型，并建立所述 眼球模型在攝像頭坐標(biāo)系中的投影模型； 轉(zhuǎn)換矩陣確定單元，用于確定出所述眼球模型所在的眼球坐標(biāo)系和所述攝像頭坐標(biāo)系 之間的轉(zhuǎn)換矩陣； 視線方向確定單元，用于根據(jù)所述轉(zhuǎn)換矩陣確定單元確定出的轉(zhuǎn)換矩陣確定出視線方 向。
【專利摘要】本發(fā)明公開一種視線方向跟蹤方法及裝置，能夠解決現(xiàn)有技術(shù)成本高、需要人工校準(zhǔn)和用戶訓(xùn)練的問題。所述方法包括：利用單個攝像頭采集的當(dāng)前的眼球圖片構(gòu)建眼球模型，并建立眼球模型在攝像頭坐標(biāo)系中的投影模型；確定出眼球模型所在的眼球坐標(biāo)系和攝像頭坐標(biāo)系之間的轉(zhuǎn)換矩陣；根據(jù)轉(zhuǎn)換矩陣確定出視線方向。所述裝置包括：攝像頭，用于實時采集人的眼球圖片；構(gòu)建單元，用于根據(jù)攝像頭所采集的眼球圖片構(gòu)建眼球模型，并建立眼球模型在攝像頭坐標(biāo)系中的投影模型；轉(zhuǎn)換矩陣確定單元，用于確定出眼球模型所在的眼球坐標(biāo)系和攝像頭坐標(biāo)系之間的轉(zhuǎn)換矩陣；視線方向確定單元，用于確定出視線方向。
【IPC分類】G06F3-01, G06K9-00, G06T7-00
【公開號】CN104615978
【申請?zhí)枴緾N201510037433
【發(fā)明人】張?zhí)m, 劉克彬, 劉云浩
【申請人】清華大學(xué)
【公開日】2015年5月13日
【申請日】2015年1月23日