專利名稱：用于確定注視方向的設(shè)備和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及確定眼睛的注視方向。
背景技術(shù)：
人的注視方向可以用來選擇顯示于計算機(jī)屏幕上的選項。因此可以使用提供關(guān)于 注視方向的信息的眼睛跟蹤器設(shè)備而不是計算機(jī)鼠標(biāo)例如作為指示和選擇設(shè)備。當(dāng)光撞擊眼睛時在晶狀體、角膜和視網(wǎng)膜的邊界上出現(xiàn)若干反射。這些反射提供 稱為普爾欽(Purkinje)圖像的反射斑。來自外角膜表面的反射提供第一普爾欽圖像，也稱 為反光點(glint)?？梢曰谕紫鄬τ诘谝黄諣枤J圖像的位置的位置來確定眼睛的取向。專利申請PCT/FI2006/050043公開了 一種包括衍射光束擴(kuò)展器以提供兩個照射 光束的眼睛跟蹤器設(shè)備。使用兩個普爾欽圖像使該確定過程基本上獨立于在眼睛與跟蹤器 設(shè)備之間的距離。所述申請也公開了眼睛跟蹤器設(shè)備可以與虛擬顯示單元組合使用，其中 所述虛擬顯示單元被布置成顯示虛擬圖像。

發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種用于確定注視方向的設(shè)備和方法。根據(jù)本發(fā)明的第一方面，提供一種用于確定眼睛的注視方向的設(shè)備，所述設(shè)備包 括-第一成像單元，用于獲取所述眼睛的圖像，-基本上平坦波導(dǎo)襯底，-光源，用于提供第一光束，所述第一光束被基本上校準(zhǔn)，-輸入耦合光柵，用于將所述光束的光衍射到所述襯底并且形成在所述襯底內(nèi)在 不同方向上傳播的第一輸入耦合光束和第二輸入耦合光束，-第一擴(kuò)展光柵部分，用于通過衍射所述第一輸入耦合光束的光來提供第一擴(kuò)展 內(nèi)部光束，-第二擴(kuò)展光柵部分，用于通過衍射所述第二輸入耦合光束的光來提供第二擴(kuò)展 內(nèi)部光束，-第一輸出耦合光柵部分，用于通過從所述襯底衍射輸出所述第一內(nèi)部光束的光 來形成第一基本上校準(zhǔn)的照射光束，-第二輸出耦合光柵部分，用于通過從所述襯底衍射輸出所述第二內(nèi)部光束的光 來形成第二基本上校準(zhǔn)的照射光束，所述照射光束具有相對于所述設(shè)備的不同方向，從而 所述第一照射光束在光從眼睛的表面反射時提供第一反射斑并且所述第二照射光束在光 從所述眼睛的表面反射時提供第二反射斑，所述反射斑出現(xiàn)于所述圖像中，以及_數(shù)據(jù)處理單元，用于基于所述第一反射斑在所述圖像中的位置、所述第二反射斑 在所述圖像中的位置、所述眼睛的瞳孔和/或虹膜在所述圖像中的位置和照射光束的方向 來確定眼睛相對于所述設(shè)備的注視方向。
根據(jù)本發(fā)明的第二方面，提供一種用于確定眼睛的注視方向的方法，所述方法包括_通過使用第一成像單元來獲取所述眼睛的圖像，-通過使用光源來提供基本上校準(zhǔn)的第一光束，-通過使用輸入耦合光柵來衍射所述第一光束的光以便形成在基本上平坦波導(dǎo)襯 底內(nèi)在不同方向上傳播的第一輸入耦合光束和第二輸入耦合光束，-通過第一擴(kuò)展光柵部分來衍射所述第一輸入耦合光束的光以提供在所述襯底內(nèi) 傳播的第一擴(kuò)展內(nèi)部光束，-通過第二擴(kuò)展光柵部分來衍射所述第二輸入耦合光束的光以提供在所述襯底內(nèi) 傳播的第二擴(kuò)展內(nèi)部光束，-通過第一輸出耦合光柵部分從所述襯底衍射輸出所述第一擴(kuò)展內(nèi)部光束的光以 形成第一基本上校準(zhǔn)的照射光束，-從所述襯底衍射輸出所述第二擴(kuò)展內(nèi)部光束的光以形成第二基本上校準(zhǔn)的照射 光束，所述照射光束具有不同方向，從而所述第一照射光束在光從眼睛的表面反射時提供 第一反射斑并且所述第二照射光束在光從所述眼睛的表面反射時提供第二反射斑，所述反 射斑出現(xiàn)于所述圖像中，以及_基于所述第一反射斑在所述圖像中的位置、所述第二反射斑在所述圖像中的位 置、眼睛的瞳孔和/或虹膜在所述圖像中的位置和照射光束的方向來確定眼睛的注視方 向。根據(jù)本發(fā)明的第三方面，提供一種用于顯示虛擬圖像和用于確定眼睛的注視方向 的便攜設(shè)備，所述設(shè)備包括-第一成像單元，用于獲取所述眼睛的圖像，-基本上平坦波導(dǎo)襯底，-光源，用于提供第一光束，所述第一光束被基本上校準(zhǔn)，-輸入耦合光柵，用于將所述光束的光衍射到所述襯底并且形成在所述襯底內(nèi)在 不同方向上傳播的第一輸入耦合光束和第二輸入耦合光束，-第一擴(kuò)展光柵部分，用于通過衍射所述第一輸入耦合光束的光來提供第一擴(kuò)展 內(nèi)部光束，-第二擴(kuò)展光柵部分，用于通過衍射所述第二輸入耦合光束的光來提供第二擴(kuò)展 內(nèi)部光束，-第一輸出耦合光柵部分，用于通過從所述襯底衍射輸出所述第一內(nèi)部光束的光 來形成第一基本上校準(zhǔn)的照射光束，-第二輸出耦合光柵部分，用于通過從所述襯底衍射輸出所述第二內(nèi)部光束的光 來形成第二基本上校準(zhǔn)的照射光束，所述照射光束具有不同方向，從而所述第一照射光束 在光從眼睛的表面反射時提供第一反射斑并且所述第二照射光束在光從所述眼睛的表面 反射時提供第二反射斑，所述反射斑出現(xiàn)于所述圖像中，_數(shù)據(jù)處理單元，用于基于所述第一反射斑在所述圖像中的位置、所述第二反射斑 在所述圖像中的位置、眼睛的瞳孔和/或虹膜在所述圖像中的位置和照射光束的方向來確 定眼睛相對于所述設(shè)備的注視方向，
-光學(xué)引擎，用于提供至少一個光束，以及-衍射光束擴(kuò)展器，用于擴(kuò)展所述至少一個光束，從而經(jīng)過所述衍射光束擴(kuò)展器的 觀察孔來可視地觀測虛擬圖像。根據(jù)本發(fā)明的第四方面，提供一種用于確定眼睛的注視方向的注視方向確定裝 置，所述裝置包括-第一成像裝置，用于獲取所述眼睛的圖像，-基本上平坦波導(dǎo)襯底，-光源裝置，用于提供第一光束，所述第一光束被基本上校準(zhǔn)，
-輸入耦合光柵，用于將所述光束的光衍射到所述襯底并且形成在所述襯底內(nèi)在 不同方向上傳播的第一輸入耦合光束和第二輸入耦合光束，-第一擴(kuò)展光柵部分，用于通過衍射所述第一輸入耦合光束的光來提供第一擴(kuò)展 內(nèi)部光束，-第二擴(kuò)展光柵部分，用于通過衍射所述第二輸入耦合光束的光來提供第二擴(kuò)展 內(nèi)部光束，-第一輸出耦合光柵部分，用于通過從所述襯底衍射輸出所述第一內(nèi)部光束的光 來形成第一基本上校準(zhǔn)的照射光束，-第二輸出耦合光柵部分，用于通過從所述襯底衍射輸出所述第二內(nèi)部光束的光 來形成第二基本上校準(zhǔn)的照射光束，所述照射光束具有不同方向，從而所述第一照射光束 在光從眼睛的表面反射時提供第一反射斑并且所述第二照射光束在光從所述眼睛的表面 反射時提供第二反射斑，所述反射斑出現(xiàn)于所述圖像中，以及_數(shù)據(jù)處理裝置，用于基于所述第一反射斑在所述圖像中的位置、所述第二反射斑 在所述圖像中的位置、眼睛的瞳孔和/或虹膜在所述圖像中的位置和照射光束的方向來確 定眼睛相對于所述注視方向確定裝置的注視方向。輸入耦合光柵將單個校準(zhǔn)的光束分成至少兩個部分提供一種布置眼睛照射的簡 單和穩(wěn)定方式。在一個實施例中，該設(shè)備也包括光學(xué)引擎和又一衍射光束擴(kuò)展器以顯示虛擬圖 像。相同輸出耦合光柵可以用于提供照射光束和虛擬圖像。在一個實施例中，該設(shè)備也包括光學(xué)引擎和又一衍射光束擴(kuò)展器以顯示虛擬圖 像。眼睛跟蹤器單元的第一衍射光束擴(kuò)展器和用于顯示虛擬圖像的第二衍射光束擴(kuò)展器可 以實施于相同襯底上。第一衍射光束擴(kuò)展器的輸出光柵的衍射特征可以基本上垂直于第二 衍射光束擴(kuò)展器的輸出耦合光柵的衍射特征。因而，第二衍射光束擴(kuò)展器的輸出光柵從襯 底耦合輸出僅最少量照射光束和/或第二衍射光束擴(kuò)展器的輸出光柵從襯底耦合輸出的 照射光在不干擾注視方向確定的方向上傳播。


在以下例子中將參照如下附圖更詳細(xì)地描述本發(fā)明的實施例，其中圖Ia在三維視圖中示出了眼睛以參考坐標(biāo)系為參照的注視方向，圖Ib在三維視圖中示出了眼睛的光軸以圖Ia的參考坐標(biāo)系為參照的方向，圖2在側(cè)視圖中示出了用于確定注視方向的眼睛跟蹤設(shè)備，
圖3在側(cè)視圖中示出了光線從角膜表面的反射，
圖4示出了眼睛的圖像，所述圖像包括兩個反射斑，圖5a在側(cè)視圖中示出了適合于提供第一校準(zhǔn)的照射光束和第二校準(zhǔn)的照射光束 的衍射光束擴(kuò)展器，圖5b在三維視圖中示出了適合于提供第一校準(zhǔn)的照射光束和第二校準(zhǔn)的照射光 束的衍射光束擴(kuò)展器，圖6a在三維視圖中示出了包括衍射光束擴(kuò)展器的眼睛跟蹤設(shè)備，圖6b示出了圖6a的衍射光束擴(kuò)展器，圖6c示出了在圖6a的衍射光束擴(kuò)展器上衍射特征的取向，圖7a示出了衍射光束擴(kuò)展器，圖7b示出了在圖7a的衍射光束擴(kuò)展器上衍射特征的取向，圖7c在三維視圖中示出了包括圖7a的衍射光束擴(kuò)展器的眼睛跟蹤設(shè)備，圖7d在三維視圖中示出了布置成至少在三個不同方向上衍射光的輸入耦合光 柵，圖8a示出了衍射光束擴(kuò)展器，圖8b示出了在圖8a的衍射光束擴(kuò)展器上衍射特征的取向，圖9在三維視圖中示出了包括衍射光束擴(kuò)展器的虛擬顯示設(shè)備，圖IOa在側(cè)視圖中示出了圖9的虛擬顯示設(shè)備，圖IOb示出了微型顯示器生成的圖像，圖Ila在三維視圖中示出了光線或者光束的天頂角和方位角，圖lib在俯視圖中示出了輸入耦合光束的方位角和輸出耦合光束的方位角，圖Ilc在三維視圖中示出了輸入耦合光束的天頂角和輸出耦合光束的天頂角，圖12a在俯視圖中示出了包括偏轉(zhuǎn)和恢復(fù)中間光柵部分的衍射光束擴(kuò)展器，圖12b在俯視圖中示出了在圖12a的衍射光束擴(kuò)展器上衍射特征的取向，圖12c在俯視圖中示出了在圖12a的衍射光束擴(kuò)展器上衍射特征的取向，圖13在俯視圖中示出了包括偏轉(zhuǎn)和恢復(fù)中間光柵部分的衍射光束擴(kuò)展器，圖14在三維視圖中示出了光束在圖13的衍射光束擴(kuò)展器中的傳播，圖15a在俯視圖中示出了用于顯示虛擬圖像的衍射光束擴(kuò)展器，圖15b在俯視圖中示出了用于提供兩個校準(zhǔn)照射光束的衍射光束擴(kuò)展器，圖15c在俯視圖中示出了包括用于提供兩個校準(zhǔn)照射光束的第一衍射光束擴(kuò)展 器和用于顯示虛擬圖像的第二衍射光束擴(kuò)展器的襯底，圖16a在俯視圖中示出了用于提供兩個校準(zhǔn)照射光束的衍射光束擴(kuò)展器，圖16b在俯視圖中示出了用于顯示虛擬圖像的衍射光束擴(kuò)展器，圖16c在俯視圖中示出了包括用于提供兩個校準(zhǔn)照射光束的第一衍射光束擴(kuò)展 器和用于顯示虛擬圖像的第二衍射光束擴(kuò)展器的襯底，圖17示出了眼睛跟蹤設(shè)備，圖18示出了雙目衍射光束擴(kuò)展器，圖19示出了雙目虛擬顯示設(shè)備，圖20示出了包括眼睛跟蹤單元的雙目虛擬顯示設(shè)備，
圖21示出了經(jīng)過虛擬顯示設(shè)備的觀察孔觀察的虛擬圖像，以及圖22示出了用于確定相對于外部對象的注視方向的眼睛跟蹤設(shè)備。
具體實施方式
參照圖la，可以通過注視方向GZD相對于參考坐標(biāo)系的方向SX、SY和SZ的天頂 角θ 1和方位角φ 來表達(dá)眼睛El的注視方向GZD。方向SZ定義參考坐標(biāo)系的豎直方向， 并且方向SX定義參考坐標(biāo)系的水平方向。方向SX、SY和SZ正交。關(guān)于天頂角和方位角的 定義參見圖11a。眼睛El的視網(wǎng)膜的稱為凹部FV的部分負(fù)責(zé)最明顯視覺。注視方向GZD可以由穿 過凹部FV中心和眼睛El的晶狀體LNS的主點的線定義。參考線REFl平行于參考坐標(biāo)系的方向SY。眼睛El的位置可以在方向SX、SY和/ 或SZ上移動。參考線REFl —般未穿過眼睛El的中心0。對象1002、1003位于與眼睛El相距相當(dāng)或者無窮遠(yuǎn)處。對象1002、1003可以是 物理對象(例如身體)、顯示于遠(yuǎn)處顯示屏上的圖像或者由虛擬顯示器顯示的圖像。假設(shè)已知相對于參考線REFl上的點C，對象1002、1003的角坐標(biāo)并且已知在眼睛 El與對象1002、1003之間的距離當(dāng)與在點C與眼睛中心0之間的距離相比較時為長。距 離之比可以例如大于或者等于十。因此，對象1002、1003可以與注視方向GZD關(guān)聯(lián)。因而， 通過已知注視方向GZD的天頂角θ 1和方位角φ ，可以確定眼睛El正在看著哪個對象，例 如，眼睛El是在看著星形1002還是六邊形1003。參照圖lb，眼睛El的實際形式略微為非球形，但是角膜的形式可以由球形表面近 似。這里，眼睛El的中心0是指最佳擬合球體的中心，所述球體與角膜表面擬合。這里，目艮 睛El的半徑R是指所述最佳擬合球體的半徑。眼睛El的光軸的方向DOA由穿過眼睛El的中心0和瞳孔P的最佳擬合中心的線 來定義。瞳孔由虹膜IRI包圍。也可以部分地或者完全地基于虹膜IRI的位置來確定瞳孔 P的最佳擬合中心。注視方向GZD通常從光軸的方向DOA偏離3_5度。可以例如通過校準(zhǔn)測量來建立 在方向DOA的天頂角和方位角θ ι'、φΓ與注視方向GZD的天頂角和方位角θ ι、φ1之間 的關(guān)系。所述關(guān)系可以例如表達(dá)為回歸方程。參照圖2，光軸方向DOA的天頂角Θ1'和方位角φΓ又可以由眼睛跟蹤器設(shè)備 200確定。眼睛跟蹤器設(shè)備200可以包括一個或者多個輸出耦合光柵或者光柵部分230和 成像單元400。輸出耦合光柵230提供引向眼睛El并且具有不同方向的至少兩個基本上校 準(zhǔn)的光束Β11、Β12。成像單元400提供眼睛El的圖像。第一照射光束Bll的方向可以由所述光束Bll的天頂角φι丨和方位角θ η標(biāo)識。 第二照射光束Β12的方向可以由所述光束Bll的天頂角φ 2和方位角θ12標(biāo)識。在圖2中 僅示出了天頂角θ η和θ12。光束Bll和Β12在不同方向上傳播、S卩θ n興012和/或 φ 關(guān)Cpl2。Ll表示在成像單元400與眼睛El的瞳孔P之間的距離。
成像單元400包括將光聚焦到圖像傳感器上的、可以例如是電荷耦合器件(CXD) 或者CMOS圖像傳感器的成像光學(xué)器件。成像單元400可以包括用于自動聚焦的裝置。參照圖3，光束Bll的光從提供在若干不同方向上傳播的多個反射光線的角膜表 面反射。反射光線的窄扇由成像單元400的孔接收。所述扇在這里由單個射線NC代表，該 射線是所述扇的加權(quán)平均。射線NC從眼睛El的表面上的反射點N向成像單元400的成像 光學(xué)器件的主點C反射。第二照射光束B12(圖3中未示出)也從角膜表面向成像單元400反射。第二照 射光束B12從眼睛El的表面上的點M(未示出)向成像單元400的成像光學(xué)器件的主點C 反射。圖4示出了眼睛El的如由成像單元400獲取的圖像401。第一照射光束Bll引向 眼睛E1，從而第一光束Bll的反射提供出現(xiàn)于圖像401中的第一反射斑G1。第二照射光束 B12引向眼睛E1，從而第二光束B12的反射提供出現(xiàn)于圖像401中的第二反射斑G2。圖像 分析算法可以用來確定反射斑Gl、G2在圖像401中的坐標(biāo)XI、ZU X2、Z2和瞳孔P在圖像 401中 的坐標(biāo)X3、Z3。反射斑Gl、G2、即第一普爾欽圖像應(yīng)當(dāng)區(qū)別于源于眼睛El內(nèi)部的其 它普爾欽圖像。瞳孔是指在虹膜IRI中心的圓形透明區(qū)域。正是這一黑色區(qū)域的位置可以由布置 成觀察眼睛El的相機(jī)400確定。第一反射斑Gl的角位置可以由在參考方向REFl與從成像光學(xué)器件的點C向反射 斑Gl的中心、即向圖3中所示點N繪制的線之間的水平角和豎直角定義?？梢曰讷@取的 圖像401來確定反射斑G1、G2和瞳孔P的角位置?？梢曰谠诔上窆鈱W(xué)器件與圖像傳感器 之間的已知距離來計算在像素在獲取的圖像中的位置與成像于所述像素上的特征的角位 置之間的關(guān)系。也可以在測試臺上實驗確定該關(guān)系。當(dāng)注視方向改變時，瞳孔P相對于反射斑Gl、G2進(jìn)行移動。與反射斑Gl、G2的位置之差對應(yīng)的角度差建立如下衡量標(biāo)準(zhǔn)，該標(biāo)準(zhǔn)使注視方向 的確定基本上獨立于在成像光學(xué)器件400與眼睛El之間的距離Li。例如已經(jīng)在專利出版物W02007085682A1中描述了用于基于反射斑Gl、G2和瞳孔 Pl的位置來確定注視方向GZD和/或光軸的方向DOA的算法。注視方向GZD和/或光軸的方向DOA的確定可以包括-基于反射斑G1、G2在成像單元400獲取的圖像401中的坐標(biāo)來確定反射點N、M 在眼睛El的表面上的角位置，-基于照射光束B11、B12的方向以及從成像光學(xué)器件的主點C向所述反射點N和 M繪制的矢量CN和CM的方向來計算在所述點N和M的表面法線Ni、N2的方向，所述表面 法線N1、N2垂直于眼睛El的表面，-確定與法線m和N2垂直的輔助矢量GH，-計算矢量GH、CM和CN的長度，-通過所述輔助矢量GH的中點來近似眼睛中心0的位置，-基于瞳孔P和/或虹膜在獲取的圖像401中的坐標(biāo)來確定從主點C到瞳孔中心 P的矢量CP的方向，
-計算瞳孔中心P的位置，以及
-計算從眼睛El的中心0到瞳孔中心P的矢量OP的方向，所述矢量OP的方向是 眼睛El的光軸的方向D0A。應(yīng)當(dāng)注意眼睛El的瞳孔和晶狀體未在眼睛El的表面上而是在眼睛El內(nèi)部?？?以通過校準(zhǔn)來確定由上述算法建立的在注視方向GZD與光軸的方向DOA之間的關(guān)系(參見 在圖21的上下文中的討論)。因此，可以通過使用一個或者多個回歸方程基于眼睛El的光 軸的方向DOA來確定注視方向GZD。參照圖5a，眼睛跟蹤設(shè)備200可以包括光源350和衍射光束擴(kuò)展器207以提供至 少兩個基本上校準(zhǔn)的照射光束B11、B12。眼睛跟蹤設(shè)備200也包括成像單元400和數(shù)據(jù)處 理單元550 (參見圖17)。光源350可以例如是適合于發(fā)射例如紅外光的激光器。成像單元400對光源350 的波長敏感。成像單元400可以包括光濾波器以反射其它波長的光。衍射光束擴(kuò)展器可以包括輸入耦合光柵210和輸出耦合光柵230。光柵230也可 以是相同光柵的各部分。光柵210、230可以實施于基本上平坦透明襯底7上。襯底7具有 第一基本上平坦表面和與所述第一平坦表面基本上平行的第二基本上平坦表面。襯底7是波導(dǎo)，這意味著輸入耦合光可以在所述襯底7內(nèi)傳播，從而所述傳播光可 以通過全內(nèi)反射(TIR)而受限于所述襯底7。光源350可以提供窄光束B4。窄光束B4撞擊輸入耦合光柵210，該輸入耦合光柵 將所述窄光束的光衍射到至少兩個不同方向上。輸入耦合光柵充當(dāng)提供第一輸入耦合光束 B5和第二輸入耦合光束B6的衍射分束器。在襯底7內(nèi)傳播的光束B5和B6通過全內(nèi)反射 而受限于襯底7。第一輸入耦合光束B5可以基本上對應(yīng)于-1階反射或者透射衍射，并且第二輸入 耦合光束B6可以基本上對應(yīng)于+1階反射或者透射衍射。光束B5和B6的光可以由輸出耦合光柵230從襯底7耦合輸出。輸出耦合光柵 230提供照射光束B11、B12。美國專利6，580，529公開了一種用于二維擴(kuò)展光束的衍射光束擴(kuò)展器。參照圖5b，衍射光束擴(kuò)展器207還可以包括第一擴(kuò)展光柵221和第二擴(kuò)展光柵 222。第一擴(kuò)展光柵221可以通過衍射第一輸入耦合光束B5的光來提供第一內(nèi)部光束B7。 第二擴(kuò)展光束221可以通過衍射第二輸入耦合光束B5的光來提供第二內(nèi)部光束B8。內(nèi)部 光束B7、B8在與光源350提供的原有窄光束B4相比較時已經(jīng)在方向SX上被擴(kuò)展。窄光束B4可以基本上垂直于輸入耦合光柵210。一個輸出耦合光柵、多個輸出耦合光柵或者輸出耦合光柵部分230可以通過從襯 底7衍射輸出內(nèi)部光束B7、B8的光來提供照射光束B11、B12。可以導(dǎo)引照射光束B11、B12 并且可以相對于眼睛El對跟蹤器設(shè)備200進(jìn)行定位使得照射光束B11、B12撞擊眼睛El的 角膜表面。輸出耦合光柵230可以在方向SZ上提供光束擴(kuò)展。因而，照射光束B11、B12現(xiàn) 在在與窄光束B4的維度相比較時可以在方向SX和SZ上被擴(kuò)展。光柵210、221、222和230可以具有基本上線性衍射特征，例如多個脊和/或槽。輸 入耦合光柵210的衍射特征可以基本上平行于方向SZ。輸出耦合光柵230的衍射特征可以 基本上平行于方向SX?？梢赃x擇在擴(kuò)展光柵中衍射特征的取向使得內(nèi)部光束B7、B8具有不同方位角。因此，光束B7、B8在輸出耦合光柵230處的衍射提供在不同方向上傳播的照射光束Bll和B12，盡管在與光束B7對接的第一光柵部分處的衍射特征取向與在與光束B8 對接的第二光柵部分處的衍射特征取向相同。因而，即使光柵230的相同部分也可以用來 在光束Bll的方向上和在光束B12的方向上衍射光。即使光柵230的相同點也可以在光束 Bll的方向上和在光束B12的方向上衍射光。這有助于提供在與光束擴(kuò)展器207相距預(yù)定 距離處、即在擴(kuò)展器與眼睛El之間的優(yōu)選距離處幾乎完全重疊的照射光束B11、B12。優(yōu)選 距離在護(hù)目鏡型設(shè)備(參見圖19)的情況下可以例如范圍為5至50mm。圖6a示出了眼睛跟蹤器設(shè)備200的三維視圖。成像單元400可以被布置成經(jīng)過 衍射光束擴(kuò)展器207的襯底7監(jiān)視眼睛El。圖6b示出了光柵在圖6a的眼睛跟蹤器設(shè)備200的衍射光束擴(kuò)展器207上的位置。圖6c示出了在圖6a的眼睛跟蹤設(shè)備200中光柵210、221、222和230的衍射特征 的取向。光柵210、221、222和230可以在方向SX和SZ定義的平面中。輸入耦合光柵210 的衍射特征可以基本上平行于方向SZ。輸出耦合光柵230的衍射特征可以基本上平行于方 向SZ。可以選擇擴(kuò)展光柵221、222的光柵周期d221和d222以及擴(kuò)展光柵221、222的衍射特 征的取向角P221、P 222使得內(nèi)部光束B7、B8在襯底7內(nèi)在不同方位方向上傳播。圖7a示出了光柵210、221、222、230的另一布局。從擴(kuò)展光柵221衍射的光B8可 以再次撞擊相同光柵221，由此提供在與原有輸入耦合光束B5相同的方向上傳播的輔助光 束B5'。輔助光束B5'的光可以提供在內(nèi)部光束B7的方向上傳播的更多光線。擴(kuò)展光柵 222可以用類似方式提供一個或者多個輔助光束B6'。因此，擴(kuò)展光柵221、222提供已經(jīng) 在方向SZ上擴(kuò)展的內(nèi)部光束B7、B8。從光源350發(fā)射的窄光束B4可以相對于輸入耦合光柵210傾斜使得輸入耦合光 束B5、B6在襯底7內(nèi)未在相反方向上傳播。光束B5的方位角可以例如范圍為-90度至-45 度，并且光束B6的方位角可以例如范圍為45度至90度。圖7b中的影線圖案示意地示出了光柵210、221、222、230中的衍射特征的取向?？?以根據(jù)等式(1)來選擇光柵221和222中的衍射特征的取向
=---- cos ρ+sin ΘΒ4 sin 廣 ι
2《1丨 ^im，( 1 )其中θ Β4是光束Β4在襯底7以外的天頂角，P是在光柵210的衍射特征與光柵 221的衍射特征的取向之間的角度，λ表示波長，d221表示光柵221的光柵周期，并且(121(|表 示光柵210的光柵周期。222和221的光柵線的角度P可以例如范圍為10-30度。圖7c在三維視圖中示出了圖7a和圖7b的眼睛跟蹤器設(shè)備200。參照圖7d，輸入耦合光柵可以將光束B4的光衍射到三個或者更多不同方向上。例 如，可以按照-1和+1階衍射通過衍射形成輸入耦合光束B5和B6，并且可以按照零階衍射 通過衍射來形成第三光束B9。輸入耦合光束B5和B6在襯底7內(nèi)向輸出耦合光柵230和/ 或向擴(kuò)展光柵部分221、222傳播以便形成從襯底7耦合輸出的照射光束B11、B12。與零階衍射對應(yīng)的第三光束B9以它未通過全內(nèi)反射而受限于襯底7這樣的角度 撞擊襯底的相反平面。因此，光束B9經(jīng)過襯底7透射并且從襯底7耦合輸出。
輸入耦合光柵例如也按照2階衍射來衍射光束B4的光以便提供又一輸入耦合光 束B10，該又一輸入耦合光束可以在襯底7內(nèi)向輸出耦合光柵230和/或向又一擴(kuò)展光柵部 分(未示出)傳播以便形成從襯底7向眼睛耦合輸出的第三照射光束(未示出)。也可以 按照_2階衍射通過衍射提供又一輸入耦合光束。可以使用在不同方向上傳播的三個或者更多不同照射光束來確定注視方向。在三 個照射光束的情況下，可以三次使用為兩個光束開發(fā)的注視方向檢測算法。第一次通過使 用第一照射光束和第二照射光束，第二次通過使用第一照射光束和第三照射光束，并且第 三次通過使用第二照射光束和第三照射光束?？梢岳缙骄齻€確定的注視方向的天頂角 以便提高準(zhǔn)確性。可以例如平均三個確定的注視方向的方位角以便提高準(zhǔn)確性。
圖8a示出了衍射光束擴(kuò)展器207的又一布局，其中擴(kuò)展光柵221、222的周界相對 于輸出耦合光柵230的衍射特征的方向而傾斜。從光源350發(fā)射的窄光束B4可以相對于 輸入耦合光束210傾斜以提供相對于輸出耦合光柵230的衍射特征的方向傾斜的輸入耦合 光束B5、B6。伸長的擴(kuò)展光柵221、222可以與輸入耦合光束B5、B6的方向基本上對準(zhǔn)。圖8b中的影線圖案示出了在圖8a的設(shè)備中光柵210、221、222、230中的衍射特征 的近似取向。圖9示出了虛擬顯示設(shè)備100。虛擬顯示設(shè)備200可以包括光學(xué)引擎150和衍射 光束擴(kuò)展器107。光學(xué)引擎150可以包括微型顯示器170和成像光學(xué)器件160 (圖IOa)。成 像光學(xué)器件160將由微型顯示器170形成的實際圖像605 (圖IOb)轉(zhuǎn)換成可經(jīng)過衍射光束 擴(kuò)展器107的觀察孔35來觀測的虛擬圖像1002 (圖19)。衍射光束擴(kuò)展器107可以包括輸入光柵10、至少一個光束偏轉(zhuǎn)部分21a、22a、至少 一個方向恢復(fù)部分21b、22b和輸出光柵30。光柵10、30和部分21a、21b、22a、22b可以實施 于基本上平坦波導(dǎo)襯底7上。光學(xué)引擎提供輸入光束B0。撞擊輸入光柵10的輸入光束BO可以耦合輸入襯底7 使得對應(yīng)的輸入耦合光束Bl在所述襯底內(nèi)向光束偏轉(zhuǎn)部分21a、22a傳播。波導(dǎo)襯底7的平坦表面在方向SX和SZ定義的平面中。部分輸入耦合光束Bl撞擊第一光束偏轉(zhuǎn)光柵部分21a，該第一光束偏轉(zhuǎn)光柵部分 向第一方向恢復(fù)光柵部分21b衍射光從而提供第一偏轉(zhuǎn)光束U1?；謴?fù)部分21b衍射光束 Ul的光從而提供第一恢復(fù)光束VI?；謴?fù)光束Vl相對于原有輸入耦合光束Bl已經(jīng)移位，并 且它基本上在與原有輸入耦合光束Bl相同的方向上傳播。部分輸入耦合光束Bl可以撞擊第二光束偏轉(zhuǎn)光柵部分22a，該第二光束偏轉(zhuǎn)光柵 部分可以向第二方向恢復(fù)光柵部分22b衍射光從而提供第二偏轉(zhuǎn)光束U2?；謴?fù)部分22b衍 射光束U2的光從而提供第二恢復(fù)光束V2。第二恢復(fù)光束V2相對于原有輸入耦合光束Bl 也已經(jīng)移位，并且它基本上在與原有輸入耦合光束Bl相同的方向上傳播。部分原有輸入耦合光束Bl可以在襯底7內(nèi)傳播而未由部分21a、21b、22a、22b進(jìn) 行衍射。光束Bl的未衍射部分、恢復(fù)光束Vl和/或恢復(fù)光束V2可以一起形成在與原有輸 入耦合光束Bl相同的方向上傳播的擴(kuò)大光束。擴(kuò)大光束可以隨后由輸出光柵30從襯底7耦合輸出以提供在與與輸入光束BO的 維度相比較時在兩個方向SX和SZ上擴(kuò)展的輸出光束B2。輸出光束B2可以被布置成撞擊觀測者的眼睛El。輸出光束B2的高度H2大于輸入光束BO的高度H0。因此，衍射光束擴(kuò)展器107在 方向SZ上提供光束擴(kuò)展。輸出光束B2的寬度W2可以大于輸入光束BO的寬度W0。輸出光 束B2的最大高度H2和最大寬度W2受觀察孔35的尺度限制?？梢赃x擇輸入光柵10的高 度和寬度以基本上等于或者大于輸入光束BO的尺度以便最大化將光耦合輸入到襯底7中 的效率。各光柵和光柵部分是衍射元件。各光柵和光柵部分可以例如是通過模制或者壓花 來實施于平坦表面41、42中的任一表面上的表面浮雕光柵(圖IOa)。光柵的輪廓可以例如 是正弦曲線、二元矩形或者加有標(biāo)記(blazed)。另外，光柵的輪廓可以是二元偏斜或者正 弦曲線偏斜。一個或者多個光柵和/或部分可以嵌入于襯底7內(nèi)。光柵10、30和光柵部分 21a、21b、22a、22b可以在由方向SX和SY定義的一個或者多個平面中。襯底7可以例如包括聚碳酸酯、有機(jī)玻璃(PMMA)或者玻璃等或者由聚碳酸酯、有 機(jī)玻璃(PMMA)或者玻璃等構(gòu)成。參照圖10a，光學(xué)引擎150可以包括微型顯示器170和成像光學(xué)器件160。成像光 學(xué)器件160可以包括一個或者多個光學(xué)元件，比如透鏡、鏡、棱鏡或者衍射元件。從微型顯 示器170的點PXl發(fā)出的光線由成像光學(xué)器件160基本上校準(zhǔn)以形成平行光線，這些光線 構(gòu)成由光學(xué)引擎150提供的光束B0。設(shè)置微型顯示器170與成像光學(xué)器件160之間的距離 L3,以使得微型顯示器170的像素基本上在成像光學(xué)器件160的焦距處。提供多個光束BO 以便顯示由多個像素構(gòu)成的虛擬圖像。從光學(xué)引擎150的輸出孔151發(fā)出的至少一個光束BO撞擊衍射光束擴(kuò)展器107 的輸入光柵10。輸入光束BO的光由輸入光柵10耦合輸入到波導(dǎo)襯底7中。輸入耦合光作 為輸入耦合光束Bl在襯底7內(nèi)傳播。部分輸入耦合光束Bl與第一偏轉(zhuǎn)光柵部分21a互作 用從而提供偏轉(zhuǎn)光束Ul。部分偏轉(zhuǎn)光束Ul與恢復(fù)光柵部分21b互作用從而提供第一恢復(fù) 光束VI。部分輸入耦合光束Bl可以保持未衍射(圖IOa中未示出)。輸出光柵30向觀測 者的眼睛El衍射擴(kuò)展輸出光束B2。衍射光束擴(kuò)展器107提供的擴(kuò)大光束B2為觀察者提供在與觀察者相距無窮距離 處顯示的虛擬圖像1002這一印象。然而作為一種現(xiàn)象，盡管距離為無窮，但是人類觀察者 通常感知顯示的虛擬圖像1002僅與他們相距數(shù)米。虛擬圖像1002可以例如是如圖19中 所示星形圖案。衍射光束擴(kuò)展器107可以是單目、即它可以具有僅一個輸出光柵30。輸入光柵10、 輸出光柵30和/或光柵部分21a、21b、22a、22b可以是傾斜或者有標(biāo)記表面浮雕光柵以便 最大化將光耦合到襯底7中和從襯底7耦合輸出光的效率。衍射光束擴(kuò)展器107可以包括 一個或者多個光學(xué)吸收結(jié)構(gòu)80以消除雜散光。襯底7具有第一基本上平坦表面41和與所述第一平坦表面41基本上平行的第二 基本上平坦表面42。光柵10、30和部分21a、21b、22a、22b可以處于相同平坦表面41、42上 或者在相反表面41、42上。輸入光束BO也可以在撞擊輸入光柵10之前透射經(jīng)過襯底7。微型顯示器170可以例如是液晶顯示器、微型機(jī)械可移動鏡陣列、發(fā)光二極管的 陣列或者是包括至少一個可移動和可調(diào)制發(fā)光點的單元。圖IOb示出了形成于微型顯示器170上的實際圖像605。實際圖像可以由發(fā)光像素或者發(fā)光點PXl形成。光學(xué)引擎150也可以包括用于提供光束的發(fā)光點和用于迅速地改變所述光束的 方向的光束導(dǎo)向單元，其中基于所述光束的方向來調(diào)制由所述發(fā)光點提供的光學(xué)功率。光 束導(dǎo)向單元可以例如包括一個或者多個轉(zhuǎn)動反射器以改變光束的方向。換而言之，光學(xué)引 擎150也可以通過使用掃描方法來直接地提供虛擬圖像。圖Ila示出了光線LRl在方向SX_SY_SZ定義的坐標(biāo)系中的方位角CpLRl和天頂角 em。一般而言，天頂角是在光線或者光束的方向與方向-SY之間的角度。方向-SY與方 向SY相反。方位角是在投影PRO與方向SX之間的角度，其中所述投影PRO是光線LRl在 方向SX和SZ定義的平面中的方向投影。投影PRO形成方位角的左側(cè)。參照圖11b，輸入光束BO在SX-SZ平面上的投影相對于方向SX具有方位角φ丨N。 輸入耦合光束Bl和恢復(fù)光束VI、V2的投影具有相對于方向SX的方位角。輸出光束Β2的 投影具有相對于方向SX的方位角φουτ。中間光柵21可以包括偏轉(zhuǎn)部分21a和恢復(fù)部分21b。第二中間光柵22可以包括 偏轉(zhuǎn)部分22a和恢復(fù)部分22b。參照圖11c，輸入光束BO的方向具有相對于方向-SY的天頂角θ ΙΝ。輸出光束Β2 的方向具有相對于方向-SY的天頂角Θ·?？梢赃x擇光柵10、30和光柵部分21a、21b、22a、22b的衍射特征的取向以及光柵 10、30和光柵部分21a、21b、22a、22b的光柵周期使得輸入光束BO的天頂角θ ΙΝ基本上等于 輸出光束Β2的天頂角θ ουτ并且使得輸入光束BO的方位角φ Ν基本上等于輸出光束Β2的 方位角Φουτ 在原理上，輸出光束Β2也可以在方向SY上從襯底7向上耦合輸出?？梢赃x擇光 柵10、30和光柵部分2la、2lb、22a、22b的衍射特征的取向以及光柵10、30和光柵部分21a、 21b、22a、22b的光柵周期使得輸入光束BO的方向基本上平行于輸出光束B2的方向?，F(xiàn)在，由于保留與顯示的虛擬圖像1002對應(yīng)的光束的方向，所以光束擴(kuò)展器107 可以擴(kuò)展光學(xué)引擎150的出口瞳孔。撞擊觀察者的眼睛El的多個光束B2產(chǎn)生與在觀察無 光束擴(kuò)展器107的光學(xué)引擎150提供的虛擬圖像時相同的虛擬圖像這一印象。然而由于光 束擴(kuò)展器107，觀察者具有在方向SX、SZ和SY上相對于虛擬顯示單元200移動其眼睛El的 相當(dāng)自由度。接著，將描述用于實施適合于擴(kuò)展虛擬顯示器的出口瞳孔的衍射光束擴(kuò)展器107 的數(shù)個替代方式。參照圖12a，衍射光束擴(kuò)展器107可以包括輸入光柵10、偏轉(zhuǎn)部分21a、22a、恢復(fù)部 分21b、22b和輸出光柵30。圖12b中的影線圖案示出了光柵10、30和光柵部分21a、21b、 22a、22b的衍射特征的近似取向。光柵10、30和光柵部分2la、2lb、22a、22b可以包括基本 上線性衍射特征，例如多個微觀槽和/或脊。光柵10的特征FlO和光柵30的特征F30可 以基本上平行于方向SZ。輸入光柵10和輸出光柵30的光柵周期為dQ。參照圖12c，部分 21a、21b、22a、22b 具有光柵周期分別為 d21a、(！21b、d22a、d22b 而取向角分別為 P 21a、P 21b、P 22a、 P 22b的基本上線性衍射特征F21a、F21b、F22a、F22b。取向角在這里定義衍射特征相對于光柵10 的衍射特征的方向的方向。第一偏轉(zhuǎn)光柵部分21a具有相對于方向SZ的角度P 21a的多個衍射特征F21a。第一偏轉(zhuǎn)光柵部分21a具有光柵周期d21a。第二偏轉(zhuǎn)光柵部分22a具有相對于方向SZ的角度P 22a的多個衍射特征F22a。第 二偏轉(zhuǎn)光柵部分22a具有光柵周期d22a。第一恢復(fù)光柵部分21b具有相對于方向SZ的角度P 21b的多個衍射特征F21b。第 一恢復(fù)光柵部分21b具有光柵周期d21b。第二恢復(fù)光柵部分22b具有角度相對于SZ的角度P 22b的多個衍射特征F22b。第 二恢復(fù)光柵部分22b具有光柵周期d22b。在衍射特征的取向角P與所述特征的光柵周期之間的關(guān)系由下式給出
j _ d0
"Ajcosp5(2)其中Cltl是光柵10的光柵周期，并且Atl是值范圍為1. 8至2. 2的常數(shù)。具體而言， 常數(shù)Atl可以基本上等于二。現(xiàn)在可以使用等式(2)來求解光柵部分21a、21b、22a、22b、21c、 22c的光柵周期?？梢允褂玫仁?2)來求解光柵部分21a、21b、22a、22b、21C、22C的光柵周期，從而 僅在零階衍射模式中和在一階衍射模式中允許衍射。一階衍射的符號取決于所選坐標(biāo)。在所述第一偏轉(zhuǎn)光柵部分21a的衍射特征F21a的方向與所述輸入光柵10的衍射 特征Fltl的方向SZ之間的角度P 21a可以范圍為55度至65度。具體而言，分別地，取向角 度P21a可以基本上等于60度。取向角度P22a可以基本上等于120度。第一偏轉(zhuǎn)部分21a和第一恢復(fù)部分21b可以具有衍射特征的相同取向和相同光柵 周期。第二偏轉(zhuǎn)部分22a和第二恢復(fù)部分22b可以具有衍射特征的相同取向和相同光柵周 期。第一輔助反射部分21c (參見圖15a)和第一恢復(fù)部分21b可以具有衍射特征的相同取 向和相同光柵周期。第二輔助反射部分22c (參見圖15a)和第二恢復(fù)部分22b可以具有衍 射特征的相同取向和相同光柵周期。參照圖13，線AXl可以與輸入光柵10和輸出光柵30相交。具體而言，線AX可以 穿過輸入光柵10的中心和輸出光柵30的中心。偏轉(zhuǎn)部分21a和恢復(fù)部分21b可以在線 AXl的不同側(cè)上。偏轉(zhuǎn)部分22a和恢復(fù)部分22b也可以在線AXl的不同側(cè)上。因而，偏轉(zhuǎn)光 束Ul和U2與線AXl交叉。參照圖14，線AXl事實上是平面PLNl的投影。偏轉(zhuǎn)部分21a和恢復(fù)部分21b可以 在由方向SX和SY定義的平面PLNl的不同側(cè)上。偏轉(zhuǎn)部分22a和恢復(fù)部分22b也可以在 平面PLNl的不同側(cè)上。因而，偏轉(zhuǎn)光束Ul和U2穿過平面PLNl。因此，衍射光束擴(kuò)展器107可以包括_基本上平坦波導(dǎo)襯底7，-輸入光柵10，用于通過將輸入光束BO的光衍射到所述襯底7來提供在所述襯底 7內(nèi)傳播的輸入耦合光束Bi，-第一偏轉(zhuǎn)光柵部分21a，用于通過衍射部分所述輸入耦合光束Bl來提供第一偏 轉(zhuǎn)光束Ul，從而所述第一偏轉(zhuǎn)光束Ul的方位角與所述輸入耦合光束Bl的方位角之差為負(fù)， 所述第一偏轉(zhuǎn)光柵部分21a包括基本上線性衍射特征，-第二偏轉(zhuǎn)光柵部分22a，用于通過衍射部分所述輸入耦合光束Bl來提供第二偏轉(zhuǎn)光束U2，從而所述第二偏轉(zhuǎn)光束U2的方位角與所述輸入耦合光束Bl的方位角之差為正， 所述第二偏轉(zhuǎn)光柵部分22a包括基本上線性衍射特征，所述第二偏轉(zhuǎn)光柵部分的衍射特征 具有與所述第一偏轉(zhuǎn)光柵部分21a的衍射特征不同的取向，-第一恢復(fù)光柵部分21b，用于通過衍射所述第一偏轉(zhuǎn)光束Ul的光來提供第一恢 復(fù)光束VI，-第二恢復(fù)光柵部分22b，用于提供第二恢復(fù)光束V2，所述第二恢復(fù)光束V2基本上 平行于所述第一恢復(fù)光束VI，以及-輸出光柵30，用于通過從所述襯底7衍射輸出所述第一恢復(fù)光束Vl和所述第 二恢復(fù)光束V2的光來提供輸出耦合光束B2，所述輸出光束B2基本上平行于所述輸入光束 BO。所述第一偏轉(zhuǎn)光柵部分21a和所述第二恢復(fù)光柵部分22b可以在參考平面PLNl 的第一側(cè)上，并且所述第二偏轉(zhuǎn)光柵部分22a和所述第一恢復(fù)光柵部分21b可以在所述參 考平面PLNl的第二側(cè)上，所述參考平面PLNl基本上垂直于所述輸入光柵10的平面。參照圖15a，衍射光束擴(kuò)展器107可以包括輸入光柵10、輸出光柵30、偏轉(zhuǎn)部分 21a、22a和恢復(fù)部分21b、22b。此外，光束擴(kuò)展器107可以具有輔助偏轉(zhuǎn)部分21c、22c。第 一輔助偏轉(zhuǎn)部分向第一恢復(fù)部分21b衍射輸入耦合光束Bl的光。第二輔助偏轉(zhuǎn)部分向第 二恢復(fù)部分22b衍射輸入耦合光束Bl的光。恢復(fù)部分21b、22b再次衍射光從而提供與原 有輸入耦合光束Bl以及恢復(fù)光束Vl和V2基本上平行的輔助恢復(fù)光束Vlc和V2c。部分21a、22b和22c可以在平面PLNl的第一側(cè)上，并且部分22a、21b和21c可以 在所述平面PLN的第二側(cè)上，所述平面PLNl基本上垂直于輸入光柵10的平面。線AXl是 所述平面PLNl的投影(見圖14)。參照圖15b，圖15a的襯底7也可以包括用于提供眼睛跟蹤所需照射光束B11、B12 的輸入耦合光柵210、擴(kuò)展光柵221、222和輸出耦合光柵230。光柵210、221、222和230形 成第二衍射光束擴(kuò)展器207，該擴(kuò)展器將撞擊輸入耦合光柵210的校準(zhǔn)的窄光束分成至少 兩個部分并且提供在不同方向上傳播的兩個擴(kuò)大光束B11、B12(也參見圖5b和圖7c)。圖15c中的影線通過例子示出了各光柵和光柵部分10、21a、21b、21c、22a、22b、 22c、30、210、221、222和230中的衍射特征的取向。具體而言，輸出光柵30的衍射特征可以基本上平行于輸出耦合光柵230的衍射特 征。輸出光柵30也可以具有與輸出耦合光柵230基本上相同的光柵周期。因而，輸出光柵 30和輸出耦合光柵230可以一起構(gòu)成單個光柵30。輸出光柵30和輸出耦合光柵230的共 同部分CPR可以同時貢獻(xiàn)照射光束B11、B12以及與顯示的虛擬圖像對應(yīng)的多個光束B2。成像單元400可以被布置成經(jīng)過襯底7的未包括衍射特征的部分監(jiān)視眼睛E1。這 樣的無障礙部分可以例如駐留于光柵部分21a與21b之間。圖16a、圖16b和圖16c示出了在相同襯底7上實施各光柵和光柵部分10、21a、 21b、22a、22b、30、210、221、222、230的另一方式。圖16c中的影線示出了各光柵和光柵部分 10、21a、21b、21c、22a、22b、22c、30、210、221、222 和 230 中的衍射特征的取向。具體而言， 輸出光柵30的衍射特征可以基本上垂直于輸出耦合光柵230的衍射特征。因而，輸出光柵 30從襯底7耦合輸出最少量照射光，盡管內(nèi)部光束B7和B8可以在到達(dá)實際輸出光柵230 之前撞擊輸出光柵30若干次?？梢曰旧媳苊鈱姆撬璺较蛘丈溲劬l的光束，具體為紅外光束。輸出光柵30可以對于紅外光至少部分地透明。成像單元400可以被布置成例如 經(jīng)過輸出光柵30監(jiān)視眼睛。參照圖17，眼睛跟蹤器設(shè)備200可以包括用于獲取眼睛El的圖像的成像單元 400、用于提供第一基本上校準(zhǔn)的光束BO的光源350、用于擴(kuò)展所述第一光束BO的光并且提 供至少兩個擴(kuò)大的基本上校準(zhǔn)的照射光束B11、B12的第一衍射光束擴(kuò)展器207。眼睛跟蹤 器設(shè)備200可以包括用于基于成像單元400獲取的圖像401來確定注視方向GZD的數(shù)據(jù)處 理單元550。眼睛跟蹤器設(shè)備200可以包括命令接口 570和通信單元560。命令接口 570可以是允許用戶向設(shè)備700發(fā)送命令的按鈕設(shè)備、操縱桿或者鍵盤。 命令接口 570也可以是語音命令設(shè)備或者手勢識別設(shè)備。通信單元560可以是用于與計算 機(jī)或者移動設(shè)備通信的接口模塊。通信單元560也可以是允許經(jīng)由因特網(wǎng)或者無線電網(wǎng)絡(luò) 通信的光學(xué)或者射頻發(fā)射器/接收器。眼睛跟蹤設(shè)備200可以包括用于確定設(shè)備200相對于至少一個外部參考的位置的 位置傳感器580。外部參考例如可以是實際對象或顯示在屏幕上的圖像。位置傳感器580 可以例如是相機(jī)。位置傳感器也可以是包括一個或者多個陀螺儀和/或加速計的慣性位置 傳感器。虛擬顯示設(shè)備500可以包括光學(xué)引擎150和又一衍射光束擴(kuò)展器107。用于跟蹤 注視方向的第一衍射光束擴(kuò)展器207和用于顯示虛擬圖像的第二衍射光束擴(kuò)展器107可以 實施于相同襯底7上。眼睛跟蹤設(shè)備200或者虛擬顯示設(shè)備500可以是緊湊、便攜和輕質(zhì)設(shè)備。第二衍射光束擴(kuò)展器107可以被布置成擴(kuò)展光學(xué)引擎150的出口瞳孔，比如在專 利申請US 2006/0126182中公開的擴(kuò)展器。第二衍射光束擴(kuò)展器107可以被布置成擴(kuò)展光學(xué)引擎150的出口瞳孔，比如在專 利申請PCT/FI2007/050322中公開的擴(kuò)展器。第二衍射光束擴(kuò)展器107可以被布置成擴(kuò)展光學(xué)引擎150的出口瞳孔，比如在專 利申請PCT/FI2006/050590中公開的擴(kuò)展器。參照圖18，相同襯底7可以包括各光柵或者光柵區(qū)域10、21、21' ,30,30'、210、 221、222、230以實施適合于向觀察者的雙眼顯示虛擬圖像的雙目光束擴(kuò)展器107和用于提 供照射光束B11、B12以跟蹤所述觀察者的至少一只眼的注視方向的雙目光束擴(kuò)展器207。雙目光束擴(kuò)展器107可以用來實施圖19中所示虛擬顯示設(shè)備500。輸出光柵30、 30'向觀察者的眼睛El、E2提供的輸出光束B2為觀察者提供在與觀察者相距無窮距離處 顯示的虛擬圖像1002這一印象。虛擬圖像1002可以例如是與微型顯示器170生成的實際 圖像605 (圖IOb)對應(yīng)的如圖19中所示星形圖案。虛擬圖像1002可以例如是圖形和/或 文字。虛擬顯示設(shè)備500還可以包括眼睛跟蹤器單元200以監(jiān)視眼睛El的注視方向。圖19的顯示設(shè)備還可以包括可以定位于觀察者的耳朵上以便有助于將虛擬顯示 設(shè)備500定位于觀察者的眼睛El、E2前面的耳承589。顯示設(shè)備500也可以附著到帽冠， 如頭盔。參照圖20，虛擬顯示設(shè)備500可以包括堆疊光束擴(kuò)展器107以便顯示彩色圖像。實施于第一襯底7上的第一衍射光束擴(kuò)展器107可以被布置成顯示虛擬圖像的紅色分量B2R。 實施于第二襯底7b上的第二衍射光束擴(kuò)展器107可以被布置成經(jīng)過第一光束擴(kuò)展器顯示 虛擬圖像的綠色分量B2G和藍(lán)色分量B2B。實施于第三襯底7'上的第三衍射光束擴(kuò)展器 107可以被布置成向觀察者的左眼顯示虛擬圖像的紅色分量B2R。實施于第四襯底7b'上 的第四衍射光束擴(kuò)展器107可以被布置成經(jīng)過第三光束擴(kuò)展器顯示虛擬圖像的綠色分量 B2G和藍(lán)色分量B2B。各光束擴(kuò)展器107可以具有它自己的輸入光柵10、10b、10' UOb'和 輸出光柵30、30b、30'、30b'。第五光束擴(kuò)展器207可以實施于第一襯底7上用于提供照 射光束Bll、B12。光源350也可以處于襯底7與監(jiān)視的眼睛El相同的一側(cè)上。將單獨襯底用于左眼E2和右眼El允許比實施于單個直襯底7上的雙目光束擴(kuò)展 器107、207更多的用于觀察者鼻部的空間和更佳的重量平衡。參照圖21，觀察者的眼睛El可以經(jīng)過虛擬顯示器100、500的輸出孔35看見顯示 的虛擬圖像1000。虛擬圖像1000可以包括顯示的對象1002、1003、1004、1005，例如星形 1002、六邊形 1003、符號 “0K” 1005 和問號“？” 1004。虛擬圖像1000的對象或者位置有利地與注視方向關(guān)聯(lián)。因此，當(dāng)眼睛El看著由 觀察者決定的對象或者位置時，可以基于注視方向來確定眼睛El在看著哪個對象或者位 置。另外，各對象或者位置可以與選項關(guān)聯(lián)，并且觀察者可以通過看著相應(yīng)對象或者位置來 選擇選項。用戶可以例如通過按動命令接口 570(圖17)的按鈕來確認(rèn)選擇。用戶也可以 通過眨動他的眼睛或者通過凝視預(yù)定對象或者位置持續(xù)延長時段來確認(rèn)選擇。例如，用戶可以通過導(dǎo)引他的注視在對象1002(星形)或者對象1003(六邊形) 代表的選項之間選擇。如果選擇六邊形，則設(shè)備500可以在選擇之后通過閃動來提供可視 反饋。用戶可以例如通過看著符號“0K”來確認(rèn)選擇。另外，用戶可以通過看著問號“ ？”來 詢問更多信息。虛擬圖像1000的對象1002、1003、1004、1005可以例如通過將對象的像素坐標(biāo)轉(zhuǎn)
換成角坐標(biāo)在軟件等級和/或硬件等級來與注視方向相關(guān)聯(lián)?？梢员容^顯示對象的角坐標(biāo) 與注視方向以確定用戶是否正在看著所述對象?？梢暬蛘卟豢梢暪鈽?biāo)1001可以適合于跟隨眼睛El的確定注視方向在虛擬圖像 1000之上移動。光標(biāo)1001幫助用戶理解跟蹤器設(shè)備在實際地跟隨他的注視。換而言之，光 標(biāo)1001向用戶提供可視反饋?？梢岳缤ㄟ^在虛擬圖像1000之上移動閃動光標(biāo)1001并且要求用戶看著光標(biāo) 1001來校準(zhǔn)檢測的注視方向。另外，可以要求用戶在他實際地看著光標(biāo)1001時按動命令接 口 570的按鈕。參照圖22，用戶也可以經(jīng)過光束擴(kuò)展器107、207觀察物理對象901(房屋)、 902(汽車)。設(shè)備500的位置可以相對于對象901、902固定，或者設(shè)備500可以包括位置 傳感器580(圖17)以監(jiān)視設(shè)備500相對于至少一個對象901、902的位置。因此，對象901、 902、對象的位置和/或風(fēng)景的特征可以與注視方向關(guān)聯(lián)。例如，可以確定用戶是在觀看房屋901還是汽車902。另外，對象901、902可以與 選項關(guān)聯(lián)，從而可以通過觀看相應(yīng)對象來選擇選項。設(shè)備200、500還可以例如包括數(shù)據(jù)處理單元、存儲器和通信單元以提供向移動電 話網(wǎng)絡(luò)、因特網(wǎng)或者局域網(wǎng)的接入。設(shè)備200、500可以例如選自于可連接到又一設(shè)備的
20顯示模塊、便攜設(shè)備、具有無線通信能力的設(shè)備、成像設(shè)備、移動電話、游戲設(shè)備、音樂記錄/ 播放設(shè)備(例如基于MP3格式)、遙控發(fā)射器或者接收器、導(dǎo)航儀器、測量儀器、目標(biāo)發(fā)現(xiàn)設(shè) 備、瞄準(zhǔn)設(shè)備、導(dǎo)航設(shè)備、個人數(shù)字助理(PDA)、通信器、便攜因特網(wǎng)裝置、手持計算機(jī)、移動 電話附件。 對于本領(lǐng)域技術(shù)人員而言將清楚的是，可設(shè)想根據(jù)本發(fā)明的設(shè)備和方法的修改和 變形。附圖為示意性的。上文參照附圖描述的具體實施例僅為示例性的而并非限制由所附 權(quán)利要求書限定的本發(fā)明范圍。
權(quán)利要求
一種用于確定眼睛(E1)的注視方向(GZD)的設(shè)備(200，500)，所述設(shè)備(200)包括 第一成像單元(400)，用于獲取所述眼睛(E1)的圖像(401)， 基本上平坦波導(dǎo)襯底(7)， 光源(350)，用于提供第一光束(B4)，所述第一光束(B4)基本上被校準(zhǔn)， 輸入耦合光柵(210)，用于將所述光束(B4)的光衍射到所述襯底(7)并且形成在所述襯底(7)內(nèi)在不同方向上傳播的第一輸入耦合光束(B5)和第二輸入耦合光束(B6)， 第一擴(kuò)展光柵部分(221)，用于通過衍射所述第一輸入耦合光束(B5)的光來提供第一擴(kuò)展內(nèi)部光束(B7)， 第二擴(kuò)展光柵部分(222)，用于通過衍射所述第二輸入耦合光束(B6)的光來提供第二擴(kuò)展內(nèi)部光束(B8)， 第一輸出耦合光柵部分(230)，用于通過從所述襯底(7)衍射輸出所述第一內(nèi)部光束(B7)的光來形成第一基本上校準(zhǔn)的照射光束(B11)， 第二輸出耦合光柵部分(230)，用于通過從所述襯底(7)衍射輸出所述第二內(nèi)部光束(B8)的光來形成第二基本上校準(zhǔn)的照射光束(B11)，所述照射光束(B11，B12)具有不同方向，從而所述第一照射光束(B11)在光從所述眼睛(E1)的表面反射時提供第一反射斑(G1)并且所述第二照射光束(B12)在光從所述眼睛(E1)的表面反射時提供第二反射斑(G2)，所述反射斑出現(xiàn)于所述圖像(401)中，以及 數(shù)據(jù)處理單元(550)，用于基于所述第一反射斑(G1)在所述圖像(401)中的位置、所述第二反射斑(G2)在所述圖像(401)中的位置、所述眼睛(E1)的瞳孔(P)和/或虹膜(IRI)在所述圖像(401)中的位置和所述照射光束(B11，B12)的方向來確定所述眼睛(E1)相對于所述設(shè)備(200)的注視方向(GZD)。
2.根據(jù)權(quán)利要求1所述的設(shè)備(200，500)，其中所述第一輸入耦合光束(B5)基本上對 應(yīng)于-1階反射或者透射衍射，并且所述第二輸入耦合光束(B6)基本上對應(yīng)于+1階反射或 者透射衍射。
3.根據(jù)權(quán)利要求2所述的設(shè)備(200，500)，其中所述輸入耦合光柵(210)還被布置成 按照2或者-2階衍射來衍射所述光束(B4)的光以便形成在所述襯底(7)內(nèi)傳播的第三輸 入耦合光束(BlO)。
4.根據(jù)前述權(quán)利要求1至3中的任一權(quán)利要求所述的設(shè)備(200，500)，其中所述第一 輸出耦合光柵部分(230)的衍射特征基本上平行于所述第二輸出耦合光柵部分(230)的衍 射特征。
5.根據(jù)權(quán)利要求4所述的設(shè)備(200，500)，其中所述第一輸出耦合光柵部分(230)與 所述第二輸出耦合光柵部分(230)重疊。
6.根據(jù)前述權(quán)利要求1至5中的任一權(quán)利要求所述的設(shè)備(200，500)，還包括用于確 定所述設(shè)備(500)相對于至少一個外部參考(901)的位置的位置檢測單元(580)。
7.根據(jù)前述權(quán)利要求1至6中的任一權(quán)利要求所述的設(shè)備(200，500)，適合于將實際 對象(901)或者位置與注視方向關(guān)聯(lián)。
8.根據(jù)前述權(quán)利要求1至7中的任一權(quán)利要求所述的設(shè)備(500)，還包括光學(xué)引 擎(150)，用于提供至少一個光束(BO)，以及衍射光束擴(kuò)展器(107)，用于擴(kuò)展所述至少一個光束(BO)，從而經(jīng)過所述衍射光束擴(kuò)展器(107)的觀察孔(35)來可視地觀測虛擬圖像 (1001)。
9.根據(jù)權(quán)利要求8所述的設(shè)備(500)，其中所述衍射光束擴(kuò)展器(107)的輸出光柵部 分(30)與所述第一輸出耦合部分(230)重疊。
10.根據(jù)權(quán)利要求9所述的設(shè)備(500)，其中所述衍射光束擴(kuò)展器(107)的輸出光柵 (30)基本上垂直于所述第一輸出耦合部分(230)。
11.根據(jù)前述權(quán)利要求8至10中的任一權(quán)利要求所述的設(shè)備(500)，適合于將虛擬對 象(1001)與注視方向關(guān)聯(lián)。
12.一種用于確定眼睛(El)的注視方向(GZD)的方法，所述方法包括-通過使用第一成像單元(400)來獲取所述眼睛(El)的圖像(401)，-通過使用光源(350)來提供基本上校準(zhǔn)的第一光束(B4)，-通過使用輸入耦合光柵(210)來衍射所述第一光束(B4)的光以便形成在基本上平坦 波導(dǎo)襯底(7)內(nèi)在不同方向上傳播的第一輸入耦合光束(B5)和第二輸入耦合光束(B6)，-通過第一擴(kuò)展光柵部分(221)來衍射所述第一輸入耦合光束(B5)的光以提供在所述 襯底(7)內(nèi)傳播的第一擴(kuò)展內(nèi)部光束(B7)，-通過第二擴(kuò)展光柵部分(222)來衍射所述第二輸入耦合光束(B6)的光以提供在所述 襯底(7)內(nèi)傳播的第二擴(kuò)展內(nèi)部光束(B8)，-通過第一輸出耦合光柵部分(230)從所述襯底(7)衍射輸出所述第一擴(kuò)展內(nèi)部光束 (B7)的光以形成第一基本上校準(zhǔn)的照射光束(Bll)，-從所述襯底(7)衍射輸出所述第二擴(kuò)展內(nèi)部光束(B8)的光以形成第二基本上校準(zhǔn) 的照射光束(B12)，所述照射光束(Bll，B12)具有不同方向，從而所述第一照射光束(Bll) 在光從所述眼睛(El)的表面反射時提供第一反射斑(Gl)并且所述第二照射光束(B12)在 光從所述眼睛(El)的表面反射時提供第二反射斑(G2)，所述反射斑出現(xiàn)于所述圖像(401) 中，以及_基于所述第一反射斑(Gl)在所述圖像(401)中的位置、所述第二反射斑(G2)在所述 圖像(401)中的位置、所述眼睛(El)的瞳孔⑵和/或虹膜(IRI)在所述圖像(401)中的 位置和所述照射光束(B11，B12)的方向來確定所述眼睛(El)的注視方向(GZD)。
13.根據(jù)權(quán)利要求12所述的方法，其中所述第一輸出耦合光柵部分(230)的衍射特征 基本上平行于所述第二輸出耦合光柵部分(230)的衍射特征。
14.根據(jù)權(quán)利要求13所述的方法，其中所述第一輸出耦合光柵部分(230)與所述第二 輸出耦合光柵部分(230)重疊。
15.根據(jù)任一前述權(quán)利要求所述的方法，還包括-通過使用光學(xué)引擎(150)來提供至少一個光束(BO)，-通過使用衍射光束擴(kuò)展器(107)擴(kuò)展所述至少一個光束(BO)來顯示虛擬圖像 (1001)，經(jīng)過所述衍射光束擴(kuò)展器(107)的觀察孔(35)來觀測所述虛擬圖像。
16.根據(jù)權(quán)利要求15所述的方法，其中所述衍射光束擴(kuò)展器(107)的輸出光柵(30)基 本上垂直于所述第一輸出耦合部分(230)。
17.一種便攜設(shè)備(500)，用于顯示虛擬圖像(1001)和用于確定眼睛(El)的注視方向 (GZD)，所述設(shè)備(500)包括_第一成像單元(400)，用于獲取所述眼睛(El)的圖像(401)， -基本上平坦波導(dǎo)襯底(7)，-光源(350)，用于提供第一光束(B4)，所述第一光束(B4)基本上被校準(zhǔn)， _輸入耦合光柵(210)，用于將所述光束(B4)的光衍射到所述襯底(7)并且形成在所 述襯底(7)內(nèi)在不同方向上傳播的第一輸入耦合光束(B5)和第二輸入耦合光束(B6)，-第一擴(kuò)展光柵部分(221)，用于通過衍射所述第一輸入耦合光束(B5)的光來提供第 一擴(kuò)展內(nèi)部光束(B7)，-第二擴(kuò)展光柵部分(222)，用于通過衍射所述第二輸入耦合光束(B6)的光來提供第 二擴(kuò)展內(nèi)部光束(B8)，-第一輸出耦合光柵部分(230)，用于通過從所述襯底(7)衍射輸出所述第一內(nèi)部光束 (B7)的光來形成第一基本上校準(zhǔn)的照射光束(Bll)，-第二輸出耦合光柵部分(230)，用于通過從所述襯底(7)衍射輸出所述第二內(nèi)部光束 (B8)的光來形成第二基本上校準(zhǔn)的照射光束(Bll)，所述照射光束(Bll，B12)具有不同方 向，從而所述第一照射光束(Bll)在光從所述眼睛(El)的表面反射時提供第一反射斑并且 所述第二照射光束(B12)在光從所述眼睛(El)的表面反射時提供第二反射斑(G2)，所述反 射斑出現(xiàn)于所述圖像(401)中，-數(shù)據(jù)處理單元(550)，用于基于所述第一反射斑(Gl)在所述圖像(401)中的位置、 所述第二反射斑(G2)在所述圖像(401)中的位置、所述眼睛(El)的瞳孔(P)和/或虹膜 (IRI)在所述圖像(401)中的位置和所述照射光束(B11，B12)的方向來確定所述眼睛(El) 相對于所述設(shè)備(200)的注視方向(α 1，β 1)，-光學(xué)引擎(150)，用于提供至少一個光束(BO)，以及-衍射光束擴(kuò)展器(107)，用于擴(kuò)展所述至少一個光束(BO)，從而經(jīng)過所述衍射光束擴(kuò) 展器(107)的觀察孔(35)來可視地觀測虛擬圖像(1001)。
18.根據(jù)權(quán)利要求17所述的設(shè)備(500)，其中所述衍射光束擴(kuò)展器(107)的輸出光柵 (30)基本上垂直于所述第一輸出耦合部分(230)。
19.一種用于確定眼睛(El)的注視方向(GZD)的注視方向確定裝置，所述裝置(200) 包括_第一成像裝置(400)，用于獲取所述眼睛(El)的圖像(401)， -基本上平坦波導(dǎo)襯底(7)，-光源裝置(350)，用于提供第一光束(Β4)，所述第一光束(Β4)基本上被校準(zhǔn)， _輸入耦合光柵(210)，用于將所述光束(Β4)的光衍射到所述襯底(7)并且形成在所 述襯底(7)內(nèi)在不同方向上傳播的第一輸入耦合光束(Β5)和第二輸入耦合光束(Β6)，-第一擴(kuò)展光柵部分(221)，用于通過衍射所述第一輸入耦合光束(Β5)的光來提供第 一擴(kuò)展內(nèi)部光束(Β7)，-第二擴(kuò)展光柵部分(222)，用于通過衍射所述第二輸入耦合光束(Β6)的光來提供第 二擴(kuò)展內(nèi)部光束(Β8)，-第一輸出耦合光柵部分(230)，用于通過從所述襯底(7)衍射輸出所述第一內(nèi)部光束 (Β7)的光來形成第一基本上校準(zhǔn)的照射光束(Bll)，-第二輸出耦合光柵部分(230)，用于通過從所述襯底(7)衍射輸出所述第二內(nèi)部光束(B8)的光來形成第二基本上校準(zhǔn)的照射光束(Bll)，所述照射光束(Bll，B12)具有不同方 向，從而所述第一照射光束(Bll)在光從所述眼睛(El)的表面反射時提供第一反射斑(Gl) 并且所述第二照射光束(B12)在光從所述眼睛(El)的表面反射時提供第二反射斑(G2)，所 述反射斑出現(xiàn)于所述圖像(401)中，以及-數(shù)據(jù)處理裝置(550)，用于基于所述第一反射斑(Gl)在所述圖像(401)中的位置、 所述第二反射斑(G2)在所述圖像(401)中的位置、所述眼睛(El)的瞳孔(P)和/或虹膜 (IRI)在所述圖像(401)中的位置和所述照射光束(B11，B12)的方向來確定所述眼睛(El) 相對于所述注視方向確定裝置(200)的注視方向(GZD)。
20.根據(jù)權(quán)利要求19所述的注視方向檢測裝置(500)，還包括圖像形成裝置(150)， 用于提供至少一個光束(BO)；以及衍射擴(kuò)展裝置，用于擴(kuò)展所述至少一個光束(BO)，從而 經(jīng)過所述衍射擴(kuò)展裝置的觀察孔(35)來可視地觀測虛擬圖像(1001)。
全文摘要
一種眼睛跟蹤器設(shè)備(200)包括衍射光束擴(kuò)展器(207)以提供兩個基本上校準(zhǔn)的照射光束(B11，B12)。校準(zhǔn)的光束(B11，B12)提供出現(xiàn)于眼睛的圖像中的兩個反射斑(G1，G2)。根據(jù)反射斑(G1，G2)相對于眼睛(E1)的瞳孔(P)的位置來計算注視方向(GZD)。通過將紅外激光束(B4)分成在光束擴(kuò)展器的襯底(7)中在不同方向上傳播的兩個輸入耦合光束(B5，B6)來提供兩個照射光束(B11，B12)。對輸入耦合光束(B5，B6)進(jìn)行擴(kuò)展，并且隨后通過輸出耦合光柵(230)從襯底(7)耦合輸出它們的光以照射眼睛(E1)。相同襯底(7)也可以用來實施用于向所述眼睛(E1)顯示虛擬圖像的虛擬顯示設(shè)備(100)。
文檔編號A61B3/113GK101945612SQ200880126761
公開日2011年1月12日 申請日期2008年2月14日 優(yōu)先權(quán)日2008年2月14日
發(fā)明者T·勒沃拉, T·雅旺帕 申請人:諾基亞公司