在許多情況下，用戶使用由他們的手、手指等控制的輸入設(shè)備(例如，鼠標(biāo)、鍵盤、軌跡球、觸摸屏等)來控制電子設(shè)備(例如，計算機、平板計算機、膝上型計算機、移動電話等)。在一些示例中，眼睛跟蹤系統(tǒng)可以用于控制電子設(shè)備。在這樣的示例中，電子設(shè)備可以包括或利用確定用戶的注視方向的注視檢測系統(tǒng)。

附圖說明

圖1是包括根據(jù)本公開的教導(dǎo)構(gòu)造的示例注視檢測器的注視檢測系統(tǒng)的示意圖。

圖2示出了根據(jù)本公開的教導(dǎo)的向示例注視檢測器提供信息的三個事件，其可由圖1的注視檢測器實現(xiàn)，以確定注視方向和/或用戶正在觀看的媒體的一部分。

圖3是可用于實現(xiàn)圖1的注視檢測器的示例注視檢測器的框圖。

圖4A-圖4B示出了可由圖1和/或圖3的注視檢測器使用的示例參考幀。

圖5是可由圖1和/或圖3的注視檢測器實現(xiàn)的示例參考幀管理器的框圖。

圖6示出了可以是由圖1和/或圖3的注視檢測器使用的候選參考幀的媒體幀的示例。

圖7是可由圖1和/或圖3的注視檢測器實現(xiàn)的示例圖像管理器的框圖。

圖8是可由圖1和/或圖3的注視檢測器實現(xiàn)的示例注視分析器的框圖。

圖9A-圖9C示出了可由圖1和/或圖3的注視檢測器分析的用戶的(一個或多個)眼睛的示例圖像。

圖10示出了用戶正在觀看可由圖1和/或圖3的注視檢測器使用的三個示例顯示幀。

圖11A-圖11C示出了可由圖1和/或圖3的注視檢測器使用的示例用戶頭部位置和相應(yīng)的參考幀。

圖12是表示可執(zhí)行以實現(xiàn)圖1和/或圖3的注視檢測器和/或圖5、圖7和/或圖8的注視檢測器的元素的示例機器可讀指令的流程圖。

圖13是表示可執(zhí)行以實現(xiàn)圖1和/或圖3的注視檢測器和/或圖5、圖7和/或圖8的注視檢測器元素的示例機器可讀指令的另一流程圖。

圖14是能夠執(zhí)行圖12和/或圖13的指令以實現(xiàn)圖1和/或圖3的注視檢測器110和/或圖5、圖7和/或圖8的注視檢測器元素的處理器平臺的框圖。

具體實施方式

示例眼睛跟蹤系統(tǒng)和/或注視檢測系統(tǒng)可以在相對于照相機的已知位置處、也可以在(例如設(shè)備的遠程系統(tǒng)上和/或在頭戴式裝置上的)固定的已知位置處提供固定照明點(例如，紅外發(fā)光二極管(LED))。在這樣的示例中，照相機圖像檢測用戶眼睛中的照明點的反射并且基于該照明點和/或照相機的已知位置進行計算以確定注視方向。

在本文公開的示例中，提供了一種注視檢測器，該注視檢測器能夠通過呈現(xiàn)在呈現(xiàn)設(shè)備上的參考幀來動態(tài)使用照明點。因此，本文公開的示例允許根據(jù)本公開的教導(dǎo)構(gòu)造的注視檢測器基于用戶的環(huán)境和/或頭部位置來調(diào)整照明點，以確定用戶的注視方向。本文公開的示例涉及利用正在呈現(xiàn)媒體的呈現(xiàn)設(shè)備來在呈現(xiàn)設(shè)備上呈現(xiàn)的媒體幀之間插入的參考幀上呈現(xiàn)照明點。

示例裝置包括參考幀管理器、圖像管理器和注視分析器，以確定注視方向和/或用戶正在觀看的媒體的一部分。在本文公開的示例中，參考幀管理器在媒體的媒體幀之間以某頻率將參考幀插入到媒體中，并且圖像管理器標(biāo)識由照相機捕獲的圖像，該圖像包括來自用戶的參考幀的反射。此外，在本文公開的示例中，注視分析器基于反射的圖像確定注視方向和/或用戶正在觀看的媒體的一部分。

在本文公開的一些示例中，注視檢測器分析注視檢測器的環(huán)境的條件并且調(diào)整注視檢測器和/或注視檢測器所使用的參考幀的設(shè)置，以確定用戶的注視方向和/或用戶正在觀看的媒體的一部分。在本文公開的一些示例中，注視檢測器將用戶觀看的參考幀的位置與媒體幀的對應(yīng)位置進行比較，以確定用戶正在觀看的對應(yīng)位置處的對象。在一些這樣的示例中，在媒體幀在呈現(xiàn)設(shè)備上呈現(xiàn)之前或之后立即在呈現(xiàn)設(shè)備上呈現(xiàn)參考幀。

如本文所使用的，注視方向是用戶正在看或看起來正在看的角度和/或方向。例如，如果用戶正在看地面上的對象，則注視方向可以是從用戶的眼睛(或頭部)到該對象的方向。如本文所使用的，媒體可以是在呈現(xiàn)設(shè)備上顯示的任何內(nèi)容和/或圖像。媒體的示例可以包括但不限于電子設(shè)備顯示、電影、電視節(jié)目等。例如，媒體可以是用戶觀看和/或者可訪問的計算機和/或平板計算機的顯示。如本文所使用的，媒體的幀或媒體幀是媒體的顯示幀，其可以包括圖像、圖標(biāo)、文本、視頻幀、圖像幀等。例如，以60Hz的頻率呈現(xiàn)的媒體可以每秒呈現(xiàn)60個媒體幀。

圖1是可用于確定用戶的注視方向和/或用戶正在觀看的媒體的一部分的示例注視檢測系統(tǒng)100的示意圖。圖1的注視檢測系統(tǒng)100包括示例注視檢測器110、呈現(xiàn)設(shè)備120、媒體設(shè)備130和照相機140。在圖1所示的示例中，注視檢測器110、呈現(xiàn)設(shè)備120、媒體設(shè)備130和/或照相機140可以共置在單個設(shè)備(例如，膝上型計算機、平板計算機、智能電話、臺式計算機)上和/或可以位于彼此分離的設(shè)備上。根據(jù)本公開的教導(dǎo)，注視檢測器110與呈現(xiàn)設(shè)備120、媒體設(shè)備130和/或照相機140通信以確定用戶的注視方向。

圖1的呈現(xiàn)設(shè)備120可以是任何類型的顯示設(shè)備(例如，發(fā)光二極管(LED)、有機發(fā)光二極管(0LED)、液晶顯示器(LCD)、陰極射線管顯示器(CRT)、觸摸屏、觸覺輸出設(shè)備等)。例如，呈現(xiàn)設(shè)備120可以是平板計算機的觸摸屏或臺式計算機的監(jiān)視器。如本文所公開的呈現(xiàn)設(shè)備120呈現(xiàn)來自媒體設(shè)備130的媒體和來自注視檢測器110的參考幀。在一些示例中，經(jīng)由注視檢測器110將來自媒體設(shè)備130的媒體提供給呈現(xiàn)設(shè)備120。如下面進一步所公開的，注視檢測器110在來自媒體設(shè)備130的媒體的幀之間插入(例如，交織)參考幀。

在圖1所示的示例中，媒體設(shè)備130可以是任何類型的媒體設(shè)備130，諸如膝上型計算機、平板計算機、臺式計算機、機頂盒、數(shù)字視頻記錄器(DVR)、游戲控制臺、DVD播放器、Blu-Ray^TM播放器等。在一些示例中，媒體設(shè)備130是計算機、平板計算機、智能手機等的圖形驅(qū)動。另外地或替代地，媒體設(shè)備130可以從媒體提供商(例如，有線提供商、衛(wèi)星提供商)和/或通信網(wǎng)絡(luò)(例如，因特網(wǎng))接收媒體。因此，媒體設(shè)備130生成、接收和/或提供用于在呈現(xiàn)設(shè)備120上顯示的媒體。注視檢測器110可以與呈現(xiàn)設(shè)備120并行地和/或在呈現(xiàn)設(shè)備120和媒體設(shè)備130之間串行地與媒體設(shè)備130通信地耦合。因此，注視檢測器110可以訪問媒體設(shè)備130以在媒體幀之間插入?yún)⒖紟?，使得呈現(xiàn)設(shè)備120顯示媒體幀和/或參考幀。

圖1的注視檢測系統(tǒng)100的照相機140可以是任何類型的照相機(例如、單拍(single shot)照相機、攝像機、網(wǎng)絡(luò)攝像機等)。例如，照相機140可以是膝上型計算機、平板計算機、智能電話等的照相機。如本文中由注視檢測器110使用的圖1的示例照相機140捕獲用戶的圖像。照相機140可以向注視檢測器110提供用戶的圖像，以確定注視方向和/或用戶正在觀看的媒體的一部分。如下面進一步公開的，照相機140捕獲來自用戶(例如，來自用戶的(一個或多個)眼睛，來自用戶的眼鏡等)的參考幀的反射的圖像。

因此，如本文所公開的，圖1所示的示例注視檢測器110使用呈現(xiàn)設(shè)備120、媒體設(shè)備130和/或照相機140，以確定用戶的注視方向和/或確定由媒體設(shè)備130提供的用戶正在觀看的媒體的一部分。

圖2示出了根據(jù)本公開的教導(dǎo)的可以在其中使用注視檢測系統(tǒng)100的示例環(huán)境以及所分析的示例系列事件。在圖2所示的示例中，用戶201正在觀看平板計算機200，平板計算機200可以用于實現(xiàn)圖1的注視檢測系統(tǒng)100。在圖2所示的示例中，平板計算機包括觸摸屏顯示器220(其可以用于實現(xiàn)圖1的呈現(xiàn)設(shè)備120)和照相機240(其可以用于實現(xiàn)圖1的照相機140)。此外，平板計算機200包括可用于實現(xiàn)圖1的注視檢測器110的注視檢測器110(例如，以諸如應(yīng)用，可執(zhí)行程序等的軟件的形式)，以及在觸摸屏顯示器220上渲染顯示的媒體設(shè)備(例如，平板計算機200的圖形驅(qū)動和/或媒體播放器)。

在圖2的示例中，由編號箭頭標(biāo)識的三個事件向注視檢測器110提供信息，以確定注視方向和/或用戶201正在觀看的媒體的一部分。在事件1處，用戶201正在觀看觸摸屏220。在圖2所示的示例中，觸摸屏220正在顯示參考幀250。根據(jù)本公開的教導(dǎo)，注視檢測器110在事件1之前將參考幀250插入到在呈現(xiàn)設(shè)備220上呈現(xiàn)的媒體中。在事件2處，參考幀250包括從呈現(xiàn)設(shè)備120朝向用戶201(例如，朝向用戶的眼睛)投射的照明點。在事件3處，來自觸摸屏的參考幀250的反射反射離開用戶201(例如，離開用戶的眼睛)并且由照相機240捕獲。然后，圖2的照相機240可以將所捕獲的圖像提供給注視檢測器110以用于分析。針對此背景，本公開的教導(dǎo)使注視檢測器110能夠確定注視方向和/或用戶正在觀看的媒體的一部分。

圖3是可用于實現(xiàn)圖1和/或圖2的注視檢測器110的示例注視檢測器110的框圖。圖3的注視檢測器110根據(jù)本公開的教導(dǎo)確定用戶的注視方向和/或用戶正在觀看的媒體的一部分。在圖3所示的示例中，注視檢測器110包括參考幀管理器310、圖像管理器320和注視分析器330。在圖3中，通信總線340促進參考幀管理器310、圖像管理器320和注視分析器330之間的通信。

圖3的示例參考幀管理器310管理在圖1的呈現(xiàn)設(shè)備120上顯示的參考幀。如本文中所使用的，參考幀是用于注視方向分析的顯示幀。示例參考幀400A和400B在圖4A和圖4B中示出。在圖4A和圖4B中所示示例中的參考幀400A，300B包括針對背景420的照明點410。在所示示例中，參考幀400A包括4個照明點410，并且參考幀400B包括9個照明點。示例照明點410可以是任何形狀、大小和/或顏色(包括紅外光)。參考幀管理器310可以創(chuàng)建參考幀和/或?qū)⑵洳迦氲綇拿襟w設(shè)備130接收的媒體中。在一些示例中，如下面所公開的，參考幀管理器310可以調(diào)整參考幀的設(shè)置。如本文所使用的，參考幀(例如，圖4A和圖4B的參考幀400A、400B)使用呈現(xiàn)設(shè)備(例如，呈現(xiàn)設(shè)備120)的物理特性以經(jīng)由呈現(xiàn)設(shè)備120的機構(gòu)(例如，LED、LCD等)來呈現(xiàn)照明點(例如，照明點410)。因此，例如，呈現(xiàn)設(shè)備的LED可以通過呈現(xiàn)來自參考幀的對應(yīng)的紅色照明點來形成紅外照明點。

另外或替代地，圖3的參考幀管理器310可以標(biāo)識媒體中將用作參考幀的候選參考幀，如下所述。因此，注視檢測器110使用參考幀管理器來分析在呈現(xiàn)設(shè)備120上顯示的媒體。此外，參考幀管理器310管理和/或控制(一個或多個)參考幀的照明點，以為注視檢測器110提供更準(zhǔn)確的檢測能力和/或分析。在下面結(jié)合圖5進一步更詳細地描述參考管理器310的示例實現(xiàn)。

圖3的所示示例中的圖像管理器320管理去往/來自圖1的照相機140的通信和/或數(shù)據(jù)。示例圖像管理器320從照相機130接收圖像和/或向照相機140發(fā)送控制指令。圖3的圖像管理器320分析所接收的圖像(例如，執(zhí)行圖像處理)以檢測圖像中的參考幀和/或參考幀的反射。在一些示例中，圖像管理器320可以接收圖像的流(例如，記錄的視頻)。在這樣的示例中，圖像管理器320可以過濾掉包括來自用戶的參考幀的反射的圖像。例如，圖像管理器320可以忽略不包括參考幀的反射的圖像并且保留包括參考幀在用戶的眼睛中或用戶的眼鏡中的反射的圖像。在一些示例中，圖像管理器320可以基于將參考幀插入到媒體中的頻率來分析接收的圖像。在一些示例中，圖像管理器320可以編輯(例如，裁剪、縮放、增強等)以創(chuàng)建更加詳細、實質(zhì)性的和/或清晰的圖像，以待注視分析器330分析。例如，圖像管理器320可以裁剪來自由照相機140捕獲的圖像的(一個或多個)用戶眼睛的增強圖像，以向注視分析器330提供所捕獲圖像的(一個或多個)最實質(zhì)性部分(至少用于注視檢測)。

在一些示例中，圖3的圖像管理器320可以指示照相機140調(diào)整將捕獲圖像的頻率。例如，圖像管理器320可以指示照相機以參考幀管理器310將參考幀插入到媒體中的相同頻率捕獲圖像。在這樣的示例中，當(dāng)呈現(xiàn)設(shè)備120呈現(xiàn)參考幀時以及當(dāng)照相機140將捕獲用戶的圖像時，圖像管理器320和參考幀管理器310可以協(xié)調(diào)以同步，使得用戶的(一個或多個)眼睛和/或眼鏡的圖像包括參考幀的反射。因此，圖像管理器320用作圖像處理器和/或用作照相機140的接口。下面結(jié)合圖7進一步描述圖3的圖像管理器320的示例實現(xiàn)。

圖3的示例注視分析器330分析來自參考幀管理器310和/或圖像管理器330的數(shù)據(jù)以確定用戶的注視方向。如本文所公開的，注視分析器330分析由呈現(xiàn)設(shè)備120呈現(xiàn)的參考幀。注視分析器330從參考幀管理器310接收參考幀和/或參考幀的信息(例如，(一個或多個)照明點圖案、(一個或多個)照明點顏色、(一個或多個)照明點大小、(一個或多個)照明點位置等)。圖3的注視分析器330從圖像管理器320接收由圖1的照相機140捕獲的圖像。如本文所公開的，注視分析器330將從參考幀管理器310接收的(一個或多個)參考幀(和/或信息)與從圖像管理器320接收的(一個或多個)圖像進行比較，以確定注視方向和/或用戶正在觀看的媒體的一部分。下面結(jié)合圖8進一步描述圖3的注視分析器330的示例實現(xiàn)。

雖然在圖3中示出了實現(xiàn)圖1的注視檢測器110的示例方式，但是圖3中所示的元素、過程和/或設(shè)備中的至少一個可以以任何其他方式組合、劃分、重新布置、省略、消除和/或?qū)嵤?。此外，參考幀管理?10、圖像管理器320、注視分析器330和/或更一般地，圖3的示例注視檢測器110可以通過硬件、軟件、固件和/或硬件、軟件和/或固件的任何組合來實現(xiàn)。因此，例如，參考幀管理310、圖像管理器320、注視分析器330和/或更一般地，示例注視檢測器110中的任何一個可以通過(一個或多個)模擬或數(shù)字電路、(一個或多個)邏輯電路、(一個或多個)可編程處理器、(一個或多個)專用集成電路((一個或多個)ASIC)、(一個或多個)可編程邏輯器件((一個或多個)PLD)和/或(一個或多個)現(xiàn)場可編程邏輯器件((一個或多個)FPLD)中的至少一個來實現(xiàn)。當(dāng)閱讀本專利的覆蓋純粹的軟件和/或固件實施的任何裝置或系統(tǒng)權(quán)利要求時，參考幀管理310、圖像管理器320和/或注視分析器330中的至少一個在此被明確地定義為包括有形計算機可讀存儲設(shè)備或存儲盤，諸如存儲軟件和/或固件的存儲器、數(shù)字通用盤(DVD)、光盤(CD)、藍光盤等。此外，圖3的示例注視檢測器110可以包括除了圖3所示的那些元素之外或代替那些元素的至少一個元素、過程和/或設(shè)備，和/或可以包括任何或所有的所示元素、過程和設(shè)備中的不止一個。

圖5是可用于實現(xiàn)圖3的參考幀管理器310的示例參考幀管理器310的框圖。圖5的參考幀管理器310管理由呈現(xiàn)設(shè)備120與來自媒體設(shè)備130的媒體一起和/或在來自媒體設(shè)備130的媒體內(nèi)呈現(xiàn)的參考幀。在圖5所示的示例中，參考幀管理器310包括媒體分析器510、參考幀生成器520和顯示控制器530。在圖5所示的示例中，來自媒體設(shè)備130的媒體由媒體分析器510接收并被轉(zhuǎn)發(fā)到顯示控制器530。圖5的顯示控制器530從參考幀生成器520接收媒體和/或參考幀，并將該媒體和/或參考幀作為顯示數(shù)據(jù)提供給呈現(xiàn)設(shè)備120。如本文所使用的，顯示數(shù)據(jù)和/或顯示幀指代包括由呈現(xiàn)設(shè)備(例如，呈現(xiàn)設(shè)備120)渲染和/或呈現(xiàn)的媒體幀和/或參考幀的數(shù)據(jù)和/或幀。

圖5的媒體分析器510分析從媒體設(shè)備130接收和/或取回的媒體。媒體分析器510分析該媒體以標(biāo)識該媒體的特性。例如，媒體分析器510可以確定媒體的頻率(例如，每秒的幀)。這樣的信息在確定顯示幀的比或百分比中可以是有用，顯示幀可以是相對于媒體幀的參考幀。在一些示例中，媒體分析器510將所確定的信息提供給注視分析器330用于注視檢測分析。在一些示例中，參考幀管理器310可以尋求以參考幀不是人不可檢測的方式將參考幀插入到媒體中。在這樣的示例中，如果參考幀管理器310將參考幀太頻繁地插入到由呈現(xiàn)設(shè)備120呈現(xiàn)的媒體(例如，顯示數(shù)據(jù))中，則用戶適當(dāng)?shù)赜^看媒體的能力可能受到負面影響。例如，將參考幀太頻繁地插入顯示數(shù)據(jù)中可能使用戶能夠在呈現(xiàn)設(shè)備120上檢測到參考幀的顯示，因此破壞了媒體的回放和/或清晰度。因此，使用確定的媒體頻率(例如，每秒的幀)，參考幀管理器310尋求以用戶不會意識到呈現(xiàn)了參考幀的頻率插入?yún)⒖紟?/p>

在一些示例中，圖5的媒體分析器510可以分析媒體和/或媒體幀，以標(biāo)識固有地存在于媒體和/或媒體幀內(nèi)的照明點。例如，圖6A和圖6B分別示出了示例的第一和第二媒體幀610和620。圖6A的所示示例中的第一媒體幀610包括包含明月的夜空的圖像。在這樣的示例中，媒體分析器510可以將明月標(biāo)識為照明點630。圖6B的所示示例中的第二媒體幀620包括車輛的前燈的圖像。在這樣的示例中，媒體分析器510可以將前燈標(biāo)識為照明點640。如本文所公開的，在媒體分析器510標(biāo)識候選照明點和/或?qū)⒆⒁暀z測器110配置為使用來自媒體幀的照明點的示例中，參考幀管理器310可將候選照明點630、640的位置(例如，x、y坐標(biāo))傳送到注視分析器330，以用于圖像分析和/或確定用戶的注視方向。因此，如本文所使用的，在本文中可將固有地存在于媒體幀內(nèi)的照明點稱為參考幀的照明點。因此，如本文所公開的，媒體分析器510可以分析接收到的媒體的每一幀并且使得參考幀管理器310和/或注視檢測器110能夠動態(tài)地管理參考幀，參考幀用于確定注視方向和/或用戶正在觀看的媒體的一部分。

在圖5所示的示例中，參考幀生成器520創(chuàng)建參考幀，該參考幀將由呈現(xiàn)設(shè)備120呈現(xiàn)、從用戶(例如，從用戶的(一個或多個)眼睛、眼鏡等)反射、由照相機140捕獲和/或由注視分析器330分析。參考幀生成器520生成參考幀(例如，分別為圖4A和圖4B的參考幀400A、400B)，并將生成的參考幀提供給顯示控制器530?；谟脩舻脑O(shè)置和/或來自注視分析器330的指令，參考幀生成器520基于照明點圖案、照明點大小、照明點顏色、背景類型、背景顏色等生成參考幀。如在下文中結(jié)合圖8的注視分析器330進一步詳細地公開的，在一些示例中，在注視分析器330確定對參考幀的調(diào)整將增強注視檢測時，參考幀生成器520連續(xù)不斷地等待來自注視分析器330的指令以調(diào)整參考幀的設(shè)置(例如，照明點圖案、照明點大小、照明點顏色等)。因此，圖5的參考幀生成器520生成由呈現(xiàn)設(shè)備120呈現(xiàn)的參考幀，以確定用戶的注視方向和/或用戶正在觀看的媒體的一部分。

圖5的示例顯示控制器530從接收的媒體幀和/或參考幀生成顯示數(shù)據(jù)。顯示控制器530向呈現(xiàn)設(shè)備120提供顯示數(shù)據(jù)和/或顯示幀，呈現(xiàn)設(shè)備120對顯示數(shù)據(jù)和/或顯示幀進行渲染。因此，顯示控制器530將參考幀插入到媒體中。在一些示例中，顯示控制器530通過替換至少一個媒體幀來插入?yún)⒖紟?。在一些示例中，顯示控制器530在媒體的兩個媒體幀之間插入?yún)⒖紟?。根?jù)用戶指令和/或從注視分析器330接收的指令，顯示控制器530插入?yún)⒖紟?或輸出顯示數(shù)據(jù)。例如，基于由媒體分析器510確定的媒體的頻率，注視分析器330可以指示顯示控制器530增加或減少將參考幀插入到顯示數(shù)據(jù)中的頻率。

因此，圖5的參考幀管理器310管理用于注視檢測器110的注視檢測的參考幀。經(jīng)由通信總線340，圖5的參考幀管理器310提供參考幀信息、媒體信息和/或媒體幀。

雖然在圖5中示出了實現(xiàn)圖3的參考幀管理器310的示例方式，但是圖5中所示的元素、過程和/或設(shè)備中的至少一個可以以任何其他方式組合、劃分、重新布置、省略、消除和/或?qū)嵤?。此外，媒體分析器510、參考幀生成器520、顯示控制器530和/或更一般地，圖5的示例參考幀管理器310可以通過硬件、軟件、固件、和/或硬件、軟件和/或固件的任何組合來實現(xiàn)。因此，例如媒體分析器510、參考幀生成器520、顯示控制器530和/或更一般地，示例參考幀管理器310中的任何一個可以由(一個或多個)模擬或數(shù)字電路、(一個或多個)邏輯電路、(一個或多個)可編程處理器、(一個或多個)專用集成電路((一個或多個)ASIC)、(一個或多個)可編程邏輯器件((一個或多個)PLD)和/或(一個或多個)現(xiàn)場可編程邏輯器件((一個或多個)FPLD)中的至少一個來實現(xiàn)。當(dāng)閱讀本專利的覆蓋純粹的軟件和/或固件實現(xiàn)的任何裝置或系統(tǒng)權(quán)利要求時，媒體分析器510，參考幀生成器520和/或顯示控制器530中的至少一個在此被明確地定義為包括有形計算機可讀存儲設(shè)備或存儲盤，諸如存儲軟件和/或固件的存儲器、數(shù)字通用盤(DVD)、光盤(CD)、藍光盤等。此外，圖5的示例參考幀管理器310可以包括除了圖5所示的那些之外或代替那些的至少一個元素、過程和/或設(shè)備，和/或可以包括任何或所有所示元素、過程和設(shè)備中的不止一個。

圖7是可用于實現(xiàn)圖3的圖像管理器320的示例圖像管理器320的框圖。圖7的圖像管理器320管理由照相機140捕獲的圖像和/或促進與照相機140的通信。在圖5的所示示例中，圖像管理器320包括照相機接口710、圖像過濾器720和圖像編輯器730。在圖7的所示示例中，來自照相機的圖像由照相機接口710接收。在圖7的所示示例中，照相機接口710將圖像轉(zhuǎn)發(fā)到圖像過濾器720，圖像過濾器720將過濾的圖像轉(zhuǎn)發(fā)到圖像編輯器730。

圖7的示例照相機接口710可以向照相機140(和/或照相機140的控制器)提供指令以用于捕獲用戶的圖像。例如，響應(yīng)于經(jīng)由通信總線340從注視分析器330接收指令，照相機接口710可以指示照相機140以指定頻率(例如，與參考幀管理器310正向媒體(或顯示數(shù)據(jù))中插入?yún)⒖紟念l率相同的頻率或更快的頻率)捕獲圖像。在一些示例中，照相機接口710可以指示照相機140流傳輸捕獲的圖像(例如，記錄和/或提供視頻)。在一些示例中，照相機接口710可以向照相機140提供更詳細的捕獲指令。例如，照相機接口710可以指示照相機140使用運動檢測和/或面部識別來捕獲聚焦和/或集中在用戶或用戶的面部和/或(一個或多個)眼睛上的圖像。如在下文中結(jié)合圖8進一步詳細描述的，在一些示例中，照相機接口710可以將照相機140捕獲的所有圖像提供給注視分析器330，用于分析用戶環(huán)境的條件。

圖7的所示示例的圖像過濾器720分析圖像以標(biāo)識可由注視分析器330針對注視檢測進行分析的圖像。因此，圖像過濾器720標(biāo)識來自照相機140的圖像，該圖像包括來自用戶(例如，來自用戶的(一個或多個)眼睛和/或眼鏡)的參考幀的反射。因此，圖像過濾器720可以接收過濾器指令以標(biāo)識來自參考幀管理器310和/或注視分析器330的特定照明點和/或參考幀特性。在一些示例中，可以將時間同步信息包括在過濾指令中，該過濾指令指示在其期間圖像過濾器720將開始和/或結(jié)束過濾圖像的時段，以基于何時將參考幀插入到媒體中來標(biāo)識參考幀?；诮邮盏降闹噶睿瑘D像過濾器720在從照相機140接收的圖像中標(biāo)識來自用戶的反射的對應(yīng)圖像。例如，圖像過濾器720確定將在來自用戶的眼睛的反射中標(biāo)識特定照明點和/或照明點圖案。圖7的圖像過濾器720可以刪除、移除和/或忽略不包括參考幀的反射的圖像。在一些示例中，圖像過濾器720將包括參考幀的反射的圖像轉(zhuǎn)發(fā)到圖像編輯器730。另外或替代地，圖像過濾器720可經(jīng)由通信總線340向注視分析器330提供包括參考幀的反射的圖像。

在圖7的所示示例中，圖像編輯器730可以提煉(refine)來自圖像過濾器720的圖像。在一些示例中，圖像編輯器730可以接收由照相機140捕獲和/或由照相機接口710接收的所有圖像。示例圖像編輯器730可以對圖像裁剪、放大、增強以進行分析。例如，圖像編輯器730可以執(zhí)行圖像處理以標(biāo)識對于注視檢測而言感興趣的圖像的部分(例如，用戶的(一個或多個)眼睛和/或面部)。然后，圖像編輯器730可以從由照相機140捕獲的圖像的裁剪部分生成新圖像。這樣的新圖像可以由圖像編輯器730放大、增強(例如聚焦)等。因此，圖像編輯器730可以針對在分析來自用戶的參考幀和/或照明點的反射的中的增加的準(zhǔn)確度來向注視分析器330提供增強的圖像。

雖然在圖7中示出了實現(xiàn)圖3的圖像管理器320的示例方式，但是圖7中所示的元素、過程和/或設(shè)備中的至少一個可以以任何其他方式組合、劃分、重新布置、省略、消除和/或?qū)嵤?。此外，照相機接710，圖像過濾器720，圖像編輯器730和/或更一般地，圖7的示例圖像管理器320可以通過硬件、軟件、固件和/或硬件、軟件和/或固件的任何組合來實現(xiàn)。因此，例如照相機接口710、圖像過濾器720，圖像編輯器730和/或更一般地，示例圖像管理器320中的任一個可以由(一個或多個)模擬或數(shù)字電路，(一個或多個)邏輯電路，(一個或多個)可編程處理器，(一個或多個)專用集成電路(一個或多個)ASIC)，(一個或多個)可編程邏輯器件((一個或多個)PLD)和/或(一個或多個)現(xiàn)場可編程邏輯器件((一個或多個)FPLD)中的至少一個來實現(xiàn)。當(dāng)閱讀本專利的覆蓋純粹的軟件和/或固件實現(xiàn)的任何裝置或系統(tǒng)權(quán)利要求時，照相機接口710、圖像過濾器720和/或圖像編輯器730中的至少一個被清楚地定義以包括存儲軟件和/或固件的有形計算機可讀存儲設(shè)備或存儲盤，諸如存儲器、數(shù)字通用盤(DVD)、光盤(CD)、藍光盤等。此外，圖7的示例圖像管理器320可以包括：除了圖7中所示的那些之外或代替那些的至少一個元素、過程和/或設(shè)備，和/或可以包括任何或所有所示元素、過程和設(shè)備中的不止一個。

圖8是可用于實現(xiàn)圖3的注視分析器330的示例注視分析器330的框圖。通過使用來自圖3和/或圖5的參考幀管理器310和/或圖3和/或圖7的圖像管理器320，圖8的注視分析器330確定用戶的注視方向和/或用戶正在觀看的媒體的一部分。在圖8的所示示例中，注視分析器330包括圖像分析器810、注視方向計算器820、媒體比較器830和條件分析器840。在圖8中，通信總線850促進圖像分析器810、注視方向計算器820、媒體比較器830和條件分析器840之間的通信。

圖8的圖像分析器810分析由照相機140捕獲和/或從圖像管理器320接收的圖像。圖像分析器810分析圖像以標(biāo)識照明點、參考點和/或用戶特性。例如，圖像分析器810可以標(biāo)識與用戶的瞳孔和/或虹膜有關(guān)的(一個或多個)照明點?，F(xiàn)在參考圖9A-圖9C，圖像分析器810執(zhí)行在由照相機140捕獲的圖像中標(biāo)識的用戶的(一個或多個)眼睛900的聚焦分析。在圖9A中，圖像分析器810標(biāo)識用戶的眼睛900中的兩個照明點910的反射、用戶的瞳孔920和虹膜930。在圖9B中，圖像分析器810標(biāo)識四個照明點910的反射、用戶的瞳孔920和用戶的虹膜930。在圖9C中，圖像分析器810標(biāo)識用戶的八個照明點910、兩個瞳孔920和兩個虹膜930。在圖9A-圖9C的所示示例中，照明點910對應(yīng)于由用戶的(一個或多個)眼睛900觀看的呈現(xiàn)設(shè)備(例如，呈現(xiàn)設(shè)備120)呈現(xiàn)的參考幀的照明點。圖像分析器810還可以從圖像(例如，基于照相機的設(shè)置、來自圖像管理器320的編輯等)標(biāo)識和/或確定縮放信息。然后，圖像分析器810可以向注視方向計算器820提供圖像中的標(biāo)識出的感興趣點的坐標(biāo)和/或其他圖像信息。在一些示例中，圖像分析器810和/或注視分析器330可以向照相機140提供指令以增加光學(xué)和/或數(shù)字變焦的水平。

在一些示例中，圖8的圖像分析器810標(biāo)識注視檢測系統(tǒng)100和/或用戶的環(huán)境的條件。例如，圖像分析器810可以從照相機140和/或圖像管理器320接收圖像的流(例如，視頻)并標(biāo)識環(huán)境的特性。例如，圖像分析器810可以標(biāo)識圖像中的(一個或多個)對比度(contrast)(例如，在反射的照明點和用戶的眼睛之間、已標(biāo)識的圖像對象之間等)。在下面結(jié)合條件分析器840進一步描述這樣的示例。

圖8的所示示例中的注視方向計算器820分析由圖像分析器820在圖像中標(biāo)識的感興趣的(一個或多個)點來計算用戶的注視方向。在一些示例中，注視方向計算器820標(biāo)識對應(yīng)于圖像分析器810分析的圖像的參考幀，該圖像呈現(xiàn)在呈現(xiàn)設(shè)備120上。因此，在這樣的示例中，注視方向計算器820可將由呈現(xiàn)設(shè)備120呈現(xiàn)的參考幀與分析的圖像中來自用戶的參考幀的反射進行比較，以確定注視方向。例如，注視方向計算器820可以標(biāo)識參考幀中的照明點圖案和在用戶的眼睛中反射的對應(yīng)照明點的位置，以確定用戶的注視方向。此外，注視方向計算器820使用用戶的特征或參考點(例如，用戶的(一個或多個)眼睛和/或眼鏡)來確定注視方向。例如，基于反射的照明點相對于(一個或多個)參考點的位置，注視方向計算器820可以標(biāo)識用戶的至少一個參考點(例如，用戶的瞳孔、用戶的虹膜等)以計算注視方向。在一些示例中，注視方向計算器820可以計及用戶的眼睛和/或眼鏡的曲率。注視方向計算器可以使用各種數(shù)學(xué)公式，以使用從本文公開的反射的圖像確定的變量(例如，照明點、參考點之間的距離等)來計算注視方向和/或呈現(xiàn)設(shè)備的位置。

參考作為示例的圖4A和圖9B，假設(shè)呈現(xiàn)設(shè)備120顯示參考幀400A，并且照相機140捕獲到圖9B的眼睛900的圖像，該圖像包括參考幀400A的反射。在這樣的示例中，圖4A的照明點410對應(yīng)于圖9B的照明點910。因此，基于照明點910相對于眼睛910的瞳孔和/或虹膜930的位置，注視方向計算器820可以確定圖9B的眼睛900正在以向下的角度注視并且注視照相機140的左側(cè)。示例注視方向計算器820可以向媒體比較器830提供注視方向信息以確定用戶正在觀看的媒體的一部分。在一些示例中，基于分析的圖像中的反射的照明點的位置，注視方向計算器820可以計算呈現(xiàn)設(shè)備120的對應(yīng)位置。例如，基于照明點910相對于眼睛900的瞳孔920和/或虹膜930的位置，注視方向計算器820可以將圖9的照明點910的位置轉(zhuǎn)化(translate)到參考幀400A上的位置。因此，注視方向計算器820可基于照明點910、瞳孔920和/或虹膜930的位置來計算數(shù)學(xué)公式。

圖8的所示示例的媒體比較器830確定用戶正在觀看的媒體的一部分。媒體比較器830將從注視方向計算器820接收的注視方向信息與在用于計算注視方向的參考幀之前或之后呈現(xiàn)的媒體幀進行比較。例如，根據(jù)注視方向計算器820的計算，注視分析器330可以確定用戶正在觀看的參考幀的位置。然后，媒體比較器830可以將所計算的位置與在參考幀之前或之后呈現(xiàn)的媒體幀的對應(yīng)位置進行比較，以確定正在觀看的媒體的部分。

針對由媒體比較器830執(zhí)行的示例分析，圖10示出了用戶1000在媒體設(shè)備1030(例如，平板計算機)的呈現(xiàn)設(shè)備1020上觀看三個順序顯示的幀1002、1004、1006的示例。媒體設(shè)備1030可以包括注視檢測器110和/或與注視檢測器110通信。在圖10的示例中，第一幀1002在時間T₁呈現(xiàn)、第二幀1004在時間T₂呈現(xiàn)、并且第三幀在時間T₃呈現(xiàn)，使得T₁在T₂之前并且T₂在時間上T₃之前。在圖10的所示示例中，第一幀1002是包括對象1008(例如，人的圖像)的媒體幀，并且第三幀1006是包括對象1008的媒體幀。然而，第二幀1004是包括照明點1010的參考幀。在圖10中，基于對用戶的眼睛中反射的參考幀的圖像的分析，其指示用戶1000正在觀看呈現(xiàn)設(shè)備1020的特定位置1050，注視檢測器110的媒體比較器830確定用戶1000正在觀看對象1008。因此，由于對象1008在觀看參考幀(盡管用戶1000可能不知道他/她觀看了該參考幀)時呈現(xiàn)在用戶觀看的呈現(xiàn)設(shè)備1020的相同位置中，所以媒體比較器830可以確定用戶正在觀看對象1008。

在一些示例中，圖8的媒體比較器830可以標(biāo)識在對應(yīng)位置(例如，圖10的位置1050)處的對象(例如，圖標(biāo)、文本、圖像、超鏈接、按鈕、標(biāo)簽等)。在這樣的示例中，注視分析器330和/或注視檢測器110可以向與注視檢測器110相關(guān)聯(lián)的處理器(例如，圖14的處理器1412)提供信息以用于設(shè)備的控制。在一些示例中，這種標(biāo)識的對象可以用于控制注視檢測系統(tǒng)100和/或與注視檢測系統(tǒng)100相關(guān)聯(lián)的設(shè)備(例如，計算機、平板計算機、智能電話等)。例如，注視分析器330可以確定用戶已經(jīng)選擇了對象(例如，基于用戶觀看該對象的時間長度、基于在觀看對象時的眨眼數(shù)量等)。

圖8的條件分析器840監(jiān)視注視檢測器110和/或用戶的環(huán)境的條件。示例條件分析器840可以向參考幀管理器310和/或圖像管理器320提供反饋，以調(diào)整用于確定用戶的注視方向和/或用戶正在觀看的媒體的一部分的對應(yīng)設(shè)置。

在一些示例中，圖8的條件分析器840監(jiān)視用戶的頭部位置。如本文所使用的，用戶的頭部位置指的是用戶頭部在頭框(headbox)中相對于呈現(xiàn)設(shè)備120和/或照相機140的位置。如本文所使用的，頭框是與呈現(xiàn)設(shè)備(例如，呈現(xiàn)設(shè)備120)有關(guān)的觀看空間，其可由照相機(例如，照相機140)捕獲。例如，基于從圖像管理器320和/或照相機140接收和/或取回的圖像，條件分析器840可以執(zhí)行運動檢測和/或面部識別。

圖11A-圖11C示出了由條件分析器840執(zhí)行的示例分析以及由參考管理器310基于來自條件分析器840的反饋生成的對應(yīng)參考幀。在圖11A中，用戶的頭部1100位于頭框1110的中央。因此，在圖11A中，基于來自條件分析器840和/或注視分析器330的指令，參考幀管理器310生成并插入包括居中照明點1130的第一參考幀1120。在圖11B中，用戶的頭部被移動(shift)到頭框1110的左側(cè)。因此，在圖11B中，基于來自條件分析器840和/或注視分析器330的指示頭部位置中的對應(yīng)移動的指令，參考幀管理器310生成和/或插入包括移動到參考幀1130的右邊的照明點的第二參考幀1130。在圖11B中，照明點移動到參考幀1130的右側(cè)，因為參考幀的右側(cè)由于用戶1100和照相機140的相對的視點(perspective)而是與頭部位置的相同的物理側(cè)。在圖11C中，用戶的頭部移動到頭框1110的右側(cè)。因而，在圖11C中，基于來自條件分析器840和/或注視分析器330的指示頭部位置中的對應(yīng)移動的指令，參考幀管理器310生成和/或插入包括向參考幀1140的左側(cè)移動的照明點的第三參考幀1140。

在一些示例中，圖8的條件分析器840監(jiān)視注視檢測器110和/或用戶的環(huán)境的環(huán)境光。例如，條件分析器可以標(biāo)識對象之間的對比度(或其不存在)，以確定在來自圖像管理器320和/或照相機140的圖像中存在亮光或暗光?；诖_定的照明，條件分析器840可以指示參考幀管理器310調(diào)整所生成和/或插入的參考幀的設(shè)置。例如，條件分析器840和/或注視分析器330可以確定參考幀管理器310應(yīng)當(dāng)生成并插入具有不同顏色的照明點、不同大小的照明點和/或不同照明點圖案的參考幀。

因此，圖8的條件分析器840使得注視檢測器能夠動態(tài)地適配照明點位置、顏色和/或圖案以計及用戶和/或注視檢測器110的環(huán)境的條件。在一些示例中，在注視檢測器110在用戶的反射中標(biāo)識每個參考幀之后，條件分析器840可以基于所分析的環(huán)境條件來確定是否要針對后續(xù)的參考幀調(diào)整設(shè)置。在一些示例中，條件分析器840連續(xù)監(jiān)視從圖像管理器320和/或照相機140流傳輸?shù)膱D像以分析環(huán)境的條件。

雖然在圖8中示出了實現(xiàn)圖3的注視分析器330的示例方式，但是圖8中所示的元素、過程和/或設(shè)備中的至少一個可以以任何其他方式組合、劃分、重新布置、省略、消除和/或?qū)嵤?。此外，圖像分析器810、注視方向計算器820、媒體比較器830、條件分析器840和/或更一般地，圖8的示例注視分析器330可以通過硬件、軟件、固件和/或硬件、軟件和/或固件的任何組合來實現(xiàn)。因此，例如，圖像分析器810、注視方向計算器820、媒體比較器830、條件分析器840和/或更一般地，示例注視分析器330中的任何一個可以通過(一個或多個)模擬或數(shù)字電路、(一個或多個)邏輯電路、(一個或多個)可編程處理器、(一個或多個)專用集成電路((一個或多個)ASIC)、(一個或多個)可編程邏輯器件((一個或多個)PLD)和/或(一個或多個)現(xiàn)場可編程邏輯器件((一個或多個)FPLD)中的至少一個來實現(xiàn)。當(dāng)閱讀本專利的覆蓋純軟件和/或固件實現(xiàn)的任何裝置或系統(tǒng)權(quán)利要求時，圖像分析器810、注視方向計算器820、媒體比較器830和/或條件分析器840中的至少一個由此明確地定義為包括存儲軟件和/或固件的有形計算機可讀存儲設(shè)備或存儲盤，諸如存儲器、數(shù)字通用盤(DVD)、光盤(CD)、藍光盤等。此外，圖8的示例注視分析器330可以包括除了圖8所示的那些之外或代替那些的至少一個元素、過程和/或設(shè)備，和/或可以包括任何或所有的所示元素、過程和設(shè)備中不止一個。

因此，結(jié)合圖1、圖3、圖5、圖7和/或圖8公開的注視檢測器110可以確定用戶的注視方向和/或用戶正在觀看的媒體的一部分。在一些示例中，注視檢測器110可用于設(shè)備(例如，計算機、平板計算機、智能電話等)的控制，該設(shè)備與注視檢測器110相關(guān)聯(lián)和/或與注視檢測器110通信地耦合。

在圖12和/或圖13中示出了表示用于實現(xiàn)圖3的注視檢測器110和/或圖5、圖7和/或圖8的注視檢測器110的元素示例機器可讀指令的流程圖。在這些示例中，機器可讀指令包括用于由處理器執(zhí)行的(一個或多個)程序，處理器諸如下面結(jié)合圖14討論的示例處理器平臺1400中所示的處理器1412。程序可以在存儲在有形計算機可讀存儲介質(zhì)上的軟件中來實現(xiàn)，有形計算機可讀存儲介質(zhì)諸如CD-ROM、軟盤、硬盤驅(qū)動器、數(shù)字通用盤(DVD)、藍光盤、或與處理器1412相關(guān)聯(lián)的存儲器，但是整個程序和/或其部分也可以替代地由除了處理器1412之外的設(shè)備來執(zhí)行和/或在固件或?qū)Ｓ糜布袑崿F(xiàn)。此外，盡管參考圖12和/或圖13中所示的流程圖描述了示例程序，但是可以替代地使用實現(xiàn)圖3的注視檢測器110和/或圖5、圖7和/或圖8的注視檢測器110的元素的示例的許多其他方法。例如，可以改變塊的執(zhí)行的順序，和/或可以改變、消除或組合所描述的塊中的一些。

(例如，響應(yīng)于來自用戶的指令、響應(yīng)于啟動、響應(yīng)于對與注視檢測器110相關(guān)聯(lián)和/或包括注視檢測器110的設(shè)備通電等)，圖12的程序1200從圖1和/或圖3的注視檢測器110的啟動開始。執(zhí)行程序1200以檢測用戶的注視方向和/或確定用戶正在觀看的媒體的一部分。

在圖12的所示示例的框1210處，圖3和/或圖5的示例參考幀管理310在顯示器上呈現(xiàn)的媒體的幀之間插入?yún)⒖紟?。在呈現(xiàn)設(shè)備(例如，呈現(xiàn)設(shè)備120)上在媒體幀之間呈現(xiàn)框1210的參考幀。如本文所公開的，參考幀的圖像從用戶反射，并且在框1220處，注視分析器330分析參考幀的反射的圖像。

在圖12的框1230處，注視分析器1230基于參考幀的反射確定用戶觀看的媒體的一部分。如本文所公開的，基于計算出的用戶的注視方向和/或?qū)⒆⒁暦较蚺c在圖12的參考幀框1210之前和/或之后呈現(xiàn)的媒體幀進行比較，注視分析器1230可以確定媒體的該部分。

在一些示例中，可以迭代地執(zhí)行圖12的程序1200以實現(xiàn)圖1和/或圖3的注視檢測器110。例如，程序1200的第一迭代可以包括在框1210處插入第一參考幀、在框1220處對第一參考幀的反射的第一圖像的分析以及基于第一圖像的在框1230處的第一確定。在這樣的例子中，程序1200的第二迭代可包括在框1210處插入第二參考幀、在框1220處對第二參考幀的反射的第二圖像的分析以及基于第二圖像在框1230處的第二確定。因此，程序1200的迭代可以用于連續(xù)監(jiān)視用戶的注視方向和/或監(jiān)視用戶正在觀看的媒體的一部分。

圖13的另一程序1300開始于圖1和/或圖3的注視檢測器110的啟動。圖13的程序1300使得注視檢測器110能夠監(jiān)視的環(huán)境并且動態(tài)地調(diào)整注視檢測器110的設(shè)置。例如，程序1300可以根據(jù)照相機140記錄/監(jiān)視注視檢測系統(tǒng)100的環(huán)境來執(zhí)行，以確定注視檢測器110的設(shè)置，這些設(shè)置可以增加確定用戶的注視方向和/或確定用戶正在觀看的媒體的一部分的準(zhǔn)確度。圖13的程序1300可以在圖12的程序1200之前、之后執(zhí)行和/或與圖12的程序1200同時執(zhí)行。在一些示例中，圖13的程序1300可以在圖12的程序1200的迭代之之間執(zhí)行。

在框1310處，條件分析器840分析注視檢測器110的環(huán)境?？山?jīng)由照相機140捕獲的環(huán)境的圖像來分析框1310的示例環(huán)境。在一些示例中，框1310的分析圖像是從圖像管理器320接收的圖像，該圖像包括來自用戶的參考幀的反射。在一些示例中，框1310的已分析圖像可以是由照相機140捕獲和/或從圖像管理器320接收的視頻流的圖像。例如，在框1310處，條件分析器840可以確定用戶的頭部位置和/或環(huán)境的照明條件。

在框1330處，條件分析器840基于所分析的環(huán)境來確定是否需要對注視檢測器110的調(diào)整。例如，在框1330處，條件分析器840可以基于環(huán)境的條件(例如，頭部位置正在阻礙準(zhǔn)確的注視檢測，和/或光條件正在妨礙能夠標(biāo)識用戶的(一個或多個)眼睛中反射的照明點，等等)來確定不能進行注視檢測。在一些示例中，在框1330處，條件分析器840基于圖像的對比度和/或先前圖像的分析來確定是否需要調(diào)整。如果條件分析器840確定不需要調(diào)整，則控制前進到框1360。如果在框1320處，條件分析器840確定需要調(diào)整，則條件分析器840和/或注視分析器330基于所分析的環(huán)境確定針對注視檢測器110的適當(dāng)調(diào)整(框1340)。將對注視檢測器110進行的調(diào)整的示例包括但不限于，調(diào)整下一參考幀的設(shè)置(例如，照明點圖案、照明點位置、照明點顏色、照明點大小、背景顏色等)，該下一參考幀將由參考幀管理器310插入到媒體中并由將由照相機140捕獲、調(diào)整照相機140的照相機設(shè)置(例如，運動檢測、面部識別、縮放、聚焦、顏色影響等)、向用戶發(fā)信號以調(diào)整設(shè)置。

在框1350處，參考幀管理器310生成待插入到媒體中的下一參考幀。在一些示例中，在框1350處，基于所確定的框1340的適當(dāng)調(diào)整來調(diào)整所生成的下一參考幀(例如，不同照明點圖案、不同照明點位置等)。在一些示例中，生成的下一幀相對由參考幀管理310生成的之前的參考幀基本上不改變。如本文中所公開的，在框1360處，參考幀管理器310將下一參考幀插入到媒體中。

在圖13的所示示例中，注視檢測器110確定是否針對動態(tài)調(diào)整繼續(xù)監(jiān)視。如果注視檢測器110將針對動態(tài)調(diào)整繼續(xù)監(jiān)視，則控制返回到框1310。如果在框1370處，注視檢測器110不針對動態(tài)調(diào)整繼續(xù)監(jiān)視(例如，基于用戶指令、注視檢測器的關(guān)閉等)，則程序1300結(jié)束。

如上所述，圖12和/或圖13的示例過程可以使用存儲在有形計算機可讀存儲介質(zhì)上的編碼指令(例如，計算機和/或機器可讀指令)來實現(xiàn)，有形的計算機可讀存儲介質(zhì)諸如硬盤驅(qū)動器、閃存、只讀存儲器(ROM)、光盤(CD)、數(shù)字通用盤(DVD)、高速緩存、隨機存取存儲器(RAM)和/或任何其他存儲設(shè)備或存儲盤，信息在其中存儲持續(xù)任何持續(xù)時間(例如，持續(xù)延長的時段、永久地、持續(xù)短暫時刻、用于臨時緩沖和/或用于信息的高速緩存)。如本文所使用的，術(shù)語有形計算機可讀存儲介質(zhì)被明確定義為包括任何類型的計算機可讀存儲設(shè)備和/或存儲盤，并且排除傳播信號以及排除傳輸媒體。如本文所使用的，“有形計算機可讀存儲介質(zhì)”和“有形機器可讀存儲介質(zhì)”可互換使用。另外或替代地，可以使用存儲在非暫時性計算機和/或機器可讀介質(zhì)上的編碼指令(例如，計算機和/或機器可讀指令)來實現(xiàn)圖12和/或圖13的示例過程，所述非暫時性計算機和/或機器可讀介質(zhì)諸如是硬盤驅(qū)動器、閃存、只讀存儲器、光盤、數(shù)字通用盤、高速緩存、隨機存取存儲器和/或任何其他存儲設(shè)備或存儲盤，信息在其中存儲持續(xù)任何持續(xù)時間(例如，持續(xù)延長的時間段、永久地、持續(xù)短暫的時刻、用于臨時緩沖和/或用于信息的高速緩存)。如本文所使用的，術(shù)語非暫時性計算機可讀介質(zhì)被明確定義為包括任何類型的計算機可讀存儲設(shè)備和/或存儲盤，并且排除傳播信號以及排除傳輸媒體。如本文所使用的，當(dāng)短語“至少”用作權(quán)利要求的前序中的過渡術(shù)語時，其以與術(shù)語“包括”是開放式的相同的方式是開放式的。此外，如本文所使用的，使用“一”或“一個”可以暗示“至少一個”。

圖14是能夠執(zhí)行圖12和/或13的指令以實現(xiàn)圖1和圖3的注視檢測器110和/或圖5、圖7和/或圖8的注視檢測器元素的示例處理器平臺1400的框圖。處理器平臺1400可以是例如服務(wù)器、個人計算機、移動設(shè)備(例如，蜂窩電話、智能電話，諸如iPad^TM的平板計算機)、個人數(shù)字助理(PDA)、因特網(wǎng)設(shè)備、DVD播放器、CD播放器、數(shù)字視頻記錄器、藍光播放器、游戲控制臺、個人視頻記錄器、機頂盒或任何其他類型的計算設(shè)備。

圖14的所示示例的處理器平臺1400包括處理器1412。所示示例的處理器1412是硬件。例如，處理器1412可以由來自任何期望的族或制造商的至少一個集成電路、邏輯電路、微處理器或控制器來實現(xiàn)。

所示示例的處理器1412包括本地存儲器1413(例如，高速緩存)。所示示例的處理器1412經(jīng)由總線1418與包括易失性存儲器1414和非易失性存儲器1416的主存儲器通信。易失性存儲器1414可以由同步動態(tài)隨機存取存儲器(SDRAM)、動態(tài)隨機存取存儲器(DRAM)、RAMBUS動態(tài)隨機存取存儲器(RDRAM)和/或任何其他類型的隨機存取存儲器設(shè)備實現(xiàn)。非易失性存儲器1416可以由閃存和/或任何其他期望類型的存儲器設(shè)備來實現(xiàn)。對主存儲器1414、1416的訪問由存儲器控制器控制。

所示示例的處理器平臺1400還包括接口電路1420。接口電路1420可以通過任何類型的接口標(biāo)準(zhǔn)來實現(xiàn)，接口標(biāo)準(zhǔn)諸如以太網(wǎng)接口、通用串行總線(USB)和/或PCI快速接口。

在所示示例中，至少一個輸入設(shè)備1422連接到接口電路1420。(一個或多個)輸入設(shè)備1422允許用戶將數(shù)據(jù)和命令輸入到處理器1412中?？梢酝ㄟ^例如音頻傳感器、麥克風(fēng)、照相機(靜止或視頻)、鍵盤、按鈕、鼠標(biāo)、觸摸屏、軌跡板、軌跡球、isopoint和/或語音識別系統(tǒng)來實現(xiàn)(一個或多個)輸入設(shè)備。

至少一個輸出設(shè)備1424還連接到所示示例的接口電路1420。(一個或多個)輸出設(shè)備1424可以例如由顯示設(shè)備(例如，發(fā)光二極管(LED)、有機發(fā)光二極管(0LED)、液晶顯示器、陰極射線管顯示器(CRT)、觸摸屏、觸覺輸出設(shè)備、發(fā)光二極管(LED)、打印機和/或揚聲器)來實現(xiàn)。因此，所示示例的接口電路1420通常包括圖形驅(qū)動卡、圖形驅(qū)動芯片或圖形驅(qū)動處理器。

所示示例的接口電路1420還包括通信設(shè)備，諸如發(fā)射機、接收機、收發(fā)機、調(diào)制解調(diào)器和/或網(wǎng)絡(luò)接口卡，以促進經(jīng)由網(wǎng)絡(luò)1426(例如，以太網(wǎng)連接、數(shù)字用戶線(DSL)、電話線、同軸電纜、蜂窩電話系統(tǒng)等)與外部機器(例如，任何類型的計算設(shè)備)的數(shù)據(jù)交換。

所示示例的處理器平臺1400還包括用于存儲軟件和/或數(shù)據(jù)的至少一個大容量存儲設(shè)備1428。這種(一個或多個)大容量存儲設(shè)備1428的示例包括軟盤驅(qū)動器、硬盤驅(qū)動器盤、壓縮盤驅(qū)動器、藍光盤驅(qū)動器、RAID系統(tǒng)和數(shù)字通用盤(DVD)驅(qū)動器。

圖12和/或圖13的編碼指令1432可以存儲在大容量存儲設(shè)備1428中、易失性存儲器1414中的本地存儲器1413中、非易失性存儲器1416中和/或諸如CD或DVD的可移動有形計算機可讀存儲介質(zhì)上。

根據(jù)上述內(nèi)容，將理解，上文中公開的方法、裝置和制品提供注視檢測系統(tǒng)和/或注視檢測器，其利用與媒體幀交織的參考幀來確定注視方向和/或用戶觀看的媒體的一部分。此外，本文所公開的示例提供了動態(tài)地調(diào)整照明點，以在基于環(huán)境條件和/或用戶位置來確定用戶的注視方向中使用，如本文所公開的那樣。因此，使用呈現(xiàn)參考幀和由照相機捕獲的參考幀的反射的圖像的呈現(xiàn)設(shè)備，而不是使用固定照明點(和對應(yīng)的固定照明點硬件)和/或頭戴式照明點單元，本文公開的注視檢測器可以實現(xiàn)標(biāo)識用戶注視方向中的增加的準(zhǔn)確度。

盡管本文已經(jīng)公開了某些示例方法、裝置和制品，但是本專利的覆蓋范圍不限于此。相反，本專利覆蓋了完全落入本專利的權(quán)利要求的范圍內(nèi)的所有方法、裝置和制品。