專利名稱：基于被跟蹤的眼睛運動的圖像操作的制作方法
技術領域：
本公開涉及圖像處理的方法、系統和計算機程序。
背景技術：
許多計算機應用(application)利用計算機圖形向用戶顯示對象(object)的圖 像。舉例而言，可以在應用中采用計算機圖形來顯示實際對象(例如，房子或汽車)的計算 機生成的模型。同樣，可以在計算機應用中建模并顯示更多抽象對象(例如，球形的世界 地圖)?？梢栽诙S空間中定義這些對象，或者將這些對象定義為三維模型，其隨后被呈現 (render)到二維觀察區(qū)(例如計算機屏幕)上。此外，計算機應用可以提供用戶接口，其允許用戶修改在顯示的圖像中的對象的 視圖，以便提供更好的觀察體驗。用戶接口可以包括例如鼠標或鍵盤的某些輸入設備，這些 輸入設備由用戶操縱以使得更容易觀察所顯示的對象的不同部分。然而，身體殘疾的人會 發(fā)現難以使用這些類型的輸入設備操縱圖像。

發(fā)明內容
在本公開中描述了一種方法，包括步驟使顯示設備在預定義的觀察區(qū)中顯示對 象的第一圖像；獲得表示被跟蹤的眼睛注視(gaze)關于該觀察區(qū)的位置的數據；處理所獲 得的數據，以確定該第一圖像的修正；以及，使該顯示設備顯示包括該修正的該對象的第二 圖像。根據此方法，關于下列至少一個而對該第一圖像進行修正該對象的觀察方向、該對 象的視角、以及該對象關于該觀察區(qū)的空間位置。根據本公開，可以在包含于計算機可讀介質中的計算機程序的指導下，由計算設 備執(zhí)行前述方法或其任何部分。此外，本公開描述了一個系統。該系統包括顯示設備，用于在二維觀察區(qū)中顯示圖 像。該系統還包括一個或多個計算機處理器，其被編程以使該顯示設備在預定義的觀察 區(qū)中顯示對象的第一圖像；獲得表示被跟蹤的眼睛注視關于該觀察區(qū)的位置；處理所獲得 的數據，以確定關于下列至少一個而對該第一圖像的修正該對象的觀察方向、該對象的視 角、以及該對象關于該觀察區(qū)的空間位置。還可以對一個或多個計算機處理器進行編程，以 使該顯示設備顯示包括該修正的該對象的第二圖像。上文是概括，因此必要地包含簡化、概要以及細節(jié)的省略；因此，本領域技術人員 將理解，該概括僅是說明性的，而非意在以任何方式進行限制。這里描述的設備和/或處理 器和/或其它主題的其它方面、特征和優(yōu)點將在這里闡述的教導中變得顯而易見。提供該 概括以引入簡化形式的概念選擇，該概念將進一步在下面的具體實施方式
中描述。此概括 非意在識別所請求保護的主題的關鍵特征或本質特征，也非意在被用作幫助確定所請求保 護的主題的范圍。


依據結合附圖的下列描述和所附的權利要求書，本公開的上述及其它特征將變得 更加明顯。理解到這些附圖僅描繪根據本公開的一些實施例，從而不被認為限制其范圍，將 通過使用附圖、利用附加的特征和細節(jié)來描述本公開。圖1是圖示根據示例實施例被安排為基于被跟蹤的眼睛注視而顯示和修正圖像 的系統的框圖；圖2圖示了根據示例實施例的、可以實施圖1的系統的環(huán)境；圖3A是圖示根據示例實施例的、被安排為根據被跟蹤的眼睛注視而修正顯示圖 像的計算設備的結構示例的框圖；圖3B是圖示根據示例實施例的、被安排為跟蹤眼睛注視的眼睛跟蹤設備的結構 示例的框圖；圖4A-4E是圖示根據示例實施例的用于基于被跟蹤的眼睛注視修正顯示圖像的 方法的流程圖；圖5A和5B圖示了對顯示對象的空間位置的修正的示例；圖6A-6D圖示了對顯示對象的視角的修正的示例；以及圖7A和7B圖示了對在三維空間中定義了表面的對象的觀察方向的修正的示例。
具體實施例方式在下面詳細的說明書中，參考形成該說明書一部分的附圖。在附圖中，類似的符號 通常標識類似的組件，除非上下文做出不同的表示。在詳細的說明書、附圖和權利要求書中 描述的說明性實施例不意在進行限制。在不違背這里給出的主題的精神和范圍的情況下， 可以采用其它實施例，并且可以進行其它改變。將易于理解，可以以多種不同的結構安排、 替代、組合以及設計在這里一般描述并且在附圖中圖示的本公開的各個方面，明確預料了 所有這些方面，并且這些方面構成了本公開的一部分。尤其對于與基于被跟蹤的觀察者的眼睛運動而控制和操縱顯示設備上的對象圖 像相關的方法、設備、計算機程序和系統而提出本公開。具體地，因為根據初始視圖而顯示 對象，所以跟蹤并分析觀察者的眼睛運動，以便確定觀察者在圖像上關注或注視的焦點。此 后，可以修正所顯示的圖像以提供觀察者最感興趣的對象的一部分的更好視圖。這可以通 過修正對象在觀察區(qū)內的空間定位、對象的視角或對象的觀察方向來實現。例如，被跟蹤的觀察者的注視可以使對象的被注視部分移動至觀察區(qū)的中心，從 而修正對象在觀察區(qū)中的空間定位。此外，如果觀察者的注視針對于圖像的集中部分，則可 以對圖像的此部分執(zhí)行放大，從而改變視角。另一方面，如果被跟蹤的注視指示注視位置寬 散，則可以執(zhí)行縮小以增大對象的視角。此外，根據示例實施例，所顯示的圖像可以是三維模型，并且同樣，可以在三維空 間中用幾何學定義對象的表面，例如，使用(x，y，z)坐標。在這樣的實施例中，可以將被跟 蹤的注視轉化為三維空間，以便確定由觀察者觀看的對象的特定表面區(qū)域。因此，通過旋轉 對象，可以改變觀察方向以面對此表面區(qū)域。圖1是圖示根據示例實施例被安排為基于被跟蹤的眼睛注視而顯示和修正圖像 的系統100的框圖。如圖1中所示，系統100可以包括眼睛跟蹤設備110、通信地連接于眼睛跟蹤設備110的計算設備120、以及由計算設備120控制的顯示設備130。即使將眼睛跟蹤設備110、計算設備120以及顯示設備130圖示為圖1中的單獨單 元，這也非意在進行限制。雖然可以將眼睛跟蹤設備110和計算設備120實施為單獨的硬件 裝置，但是還可以預料到可以將眼睛跟蹤設備110和計算設備120集成到一個裝置中。此外， 眼睛跟蹤設備110具有某些處理能力，來執(zhí)行在下面關于計算設備120而描述的某些功能。以類似的方式，可以在一個實施例中將顯示設備130實施為獨立設備，或者可以 將該顯示設備130與計算設備120和/或眼睛跟蹤設備110集成在相同裝置中(例如，將該 顯示設備130與計算設備120集成在筆記本或膝上型計算機中)?？梢栽赥OBII TECHNOLOGY AB制造的T60/T120眼睛跟蹤器中找到集成到顯示設備130中的眼睛跟蹤設備110的示例。圖2圖示了可以實施圖1的系統的環(huán)境。具體地，該圖示出了顯示設備130的觀 察區(qū)220、觀察者注視觀察區(qū)220的眼睛200、以及在某種意義上被置于檢測觀察者的眼睛 200的移動的眼睛跟蹤設備110的透視圖。如上所述，即使將眼睛跟蹤設備110圖示為圖2 中的獨立設備，其也可以可替換地被集成到顯示設備130和/或計算設備120中。眼睛跟蹤設備110可以是當前市場上可得到的多種類型的眼睛跟蹤設備的任何 類型。同樣，眼睛跟蹤設備110可以利用用于執(zhí)行對眼睛運動的檢測和記錄的不同操作原 理。作為示例，由TOBII TECHNOLOGY AB提供的眼睛跟蹤器之一可以用作圖1和圖2中圖 示的眼睛跟蹤設備110。同樣，眼睛跟蹤設備110可以利用光源(例如，一系列發(fā)光二極 管)向每個觀察者發(fā)射紅外或近紅外光，以及利用被配置為檢測從觀察者的眼睛200的角 膜反射的紅外或近紅外光的圖案(pattern)的圖像傳感器，類似于TOBII T/X系列眼睛跟 蹤器。這樣的眼睛跟蹤設備110可以利用一個或多個處理器來執(zhí)行用于識別來自觀察者的 眼睛200的反射圖案、基于所識別的反射圖案而檢測眼睛200的注視方向的處理，并且將所 檢測的注視方向算術變換為表示觀察區(qū)220上的注視位置的數據點(例如，χ和y坐標)。 眼睛跟蹤設備110可以根據例如50-60HZ的預定采樣速率(雖然一些眼睛跟蹤器能夠達到 120Hz的采樣速率)來生成這些數據點。此外，可以在眼睛跟蹤設備110中執(zhí)行校準，以便 獲知特定觀察者的眼睛200的特征，從而便于在準確辨識來自該觀察者的眼睛200的反射 圖案中的圖像處理。然而，預料到可以使用本領域已知的其它類型的眼睛跟蹤設備110。例如，這樣的 眼睛跟蹤設備110不需要通過檢測和處理紅外或近紅外光來操作。預料到可以將眼睛跟蹤 設備110配置為感測并處理可見光譜中的光信號。此外，將顯示設備130的觀察區(qū)220圖示為二維圖像平面。例如，觀察區(qū)220可以 表示計算機監(jiān)視器的屏幕?；蛘?，如果顯示設備130是計算機/視頻投影機，則觀察區(qū)220 可以表示在其上投影圖像的屏幕(或其它平整表面)。然而，上文并非意在限制顯示設備 130和觀察區(qū)220。例如，預料到還可以使用將圖像投影到三維觀察區(qū)(例如，全息圖像) 上的顯示設備130。再次參考圖2，將對象210的圖像示出為顯示在觀察區(qū)220中。根據圖2的特定示 例，將對象210在觀察區(qū)220上呈現為圓形，在空間上將其中心置于觀察區(qū)220的坐標(X。， Y0)。在此特定示例中，對象210可以被二維地定義為圓，或者可替換地，可以在三維空間中 定義該對象210為球體。如果在三維空間中定義對象210 (例如，作為三維模型的一部分)， 則圖像可以包含一些附加成像效果(未示出)，以強調例如采光和陰影的三維特性。
下面將結合圖4A-4E，提供用于呈現并修正對象210的圖像的處理示例的更加詳 細的描述。在此公開中的術語“圖像”的使用非意在限制為特定文件類型或數據格式。相反， 此公開中使用的術語“圖像”可以包括來自任何圖像文件類型或數據格式(JPEG、BMP等)、 任何圖形呈現的文檔(例如，網頁或HTML文檔)、計算機輔助設計(CAD)應用、掃描的照片 或文檔(例如，以PDF格式)、或任何其它類型的計算機生成圖像的內容。此外，在此公開 中使用的術語“修正(modification)”可以(但不是必須)指對用于在顯示區(qū)中呈現對象 210的基本圖像數據的修正。圖3A是圖示被安排為用于根據被跟蹤的眼睛注視而修正顯示圖像的示例計算設 備120的框圖。在非常基本的結構301中，計算設備120通常包括一個或多個處理器310 和系統存儲器320。存儲器總線330可以用于在處理器310與系統存儲器320之間通信。取決于期望的結構，處理器310可以為包括但不限于微處理器(μ P)、微控制器 (μ C)、數字信號處理器(DSP)或它們的任何組合的任何類型。處理器310可以包括一個或 更多級別的高速緩存(例如級別1高速緩存器311和級別2高速緩存器312)、處理器內核 313、以及寄存器314。處理器內核313可以包括算術邏輯單元(ALU)、浮點單元(FPU)、數字 信號處理內核(DSP內核)、或它們的任何組合。存儲器控制器315可以與處理器310 —起 使用，或者在一些實施中，存儲器控制器315可以是處理器310內部的一部分。取決于期望的結構，系統存儲器320可以為包括但不限于易失性存儲器(例如 RAM)、非易失性存儲器(例如，ROM、閃存等)或它們的任何組合的任何類型。系統存儲器 320通常包括操作系統321、一個或多個應用322以及程序數據324。應用322可以包括圖 像修正算法323，其被安排為處理從眼睛跟蹤設備110獲得的數據點，并且確定對所顯示的 對象210的圖像的一個或多個適當修正。程序數據324可以包括數據325，其定義某些變 量參數(例如，用戶定義的參數)和/或用于修正對象210的圖像的某些規(guī)則。通過虛線 301中的這些組件，在圖3A中圖示了在此描述的基本結構。下面將結合圖4A-4E，更加詳細地描述涉及基本結構301中的圖像修正算法324的 示例實施例。再次參考圖3A，計算設備120可以具有附加特征或功能、以及附加接口，以便于在 基本結構301和任何所需設備和接口之間的通信。例如，總線/接口控制器340可以用于 經由存儲設備接口總線341來便于基本結構301和一個或多個數據存儲設備350之間的通 信。數據存儲設備350可以為可移動存儲設備351、不可移動存儲設備352或它們的組合。 可移動存儲設備和不可移動存儲設備的示例包括例如軟盤驅動器和硬盤驅動器(HDD)的 磁盤設備、例如光盤(⑶)驅動器或數字通用盤(DVD)驅動器的光盤驅動器、固態(tài)硬盤(SSD) 和磁帶驅動器來命名一些。示例計算機存儲介質可以包括以任何用于存儲例如計算機可讀 指令、數據結構、程序模塊或其它數據的信息的方法或技術實施的易失性和非易失性、可移 動和不可移動介質。系統存儲器320、可移動存儲設備351和不可移動存儲設備352是計算機存儲介 質的所有示例。計算機存儲介質包括但不限于RAM、ROM、EEPR0M、閃存或其它存儲器技術、 CD-ROM、數字通用盤(DVD)或其它光存儲設備、磁卡帶、磁帶、磁盤存儲設備或其它磁性存 儲設備、或任何其它可以用于存儲所期望的信息并且可以由計算設備120訪問的介質。任何這樣的計算機存儲介質可以是設備120的一部分。計算設備120還可以包括接口總線342，用于便于經由總線/接口控制器340從各 種接口設備(例如，輸出接口、外設接口以及通信接口)到基本結構301的通信。示例輸出 設備360包括可被配置為經由一個或多個A/V端口 363與顯示設備130通信的圖形處理單 元361、以及可被配置為經由一個或多個A/V端口 363與揚聲器通信的音頻處理單元362。 示例外設接口 370包括串行接口控制器371或并行接口控制器372，其可被配置為經由一個 或多個I/O端口 373與諸如輸入設備(例如，鍵盤、鼠標、筆、聲音輸入設備、觸摸輸入設備 等)或其它外設設備(例如，打印機、掃描儀等)的外部設備通信。示例通信設備380包括 網絡控制器381，其可以被安排為便于經由一個或多個通信端口 382、通過網絡通信而與一 個或多個其它計算設備390的通信。通信連接是通信介質的一個示例。通?？梢酝ㄟ^計算 機可讀指令、數據結構、程序模塊、或例如載波或其它傳輸機制的調制的數據信號中的其它 數據來實現通信介質，并且通信介質包括任何信息傳遞介質?！罢{制的數據信號”可以是具 有以對信號中的信息進行編碼這樣的方式所設置或改變的一個或多個特性的信號。通過舉 例而非限制，通信介質可以包括例如有線網絡或直接有線連接的有線介質、以及例如聲音、 射頻(RF)、紅外(IF)和其它無線介質的無線介質。這里使用的術語“計算機可讀介質”可 以包括存儲介質和通信介質二者。根據示例實施例，可以將眼睛跟蹤設備110配置為計算設備120的外圍輸入設備。 根據這樣的實施例，計算設備120可以經由I/O端口 373從眼睛跟蹤設備110接收數據點。 在可替換實施例中，計算設備120可以經由通信端口 382與眼睛跟蹤設備110通信。用于 建立計算設備120與眼睛跟蹤設備110之間的通信的其它選擇也是可能的，例如，將眼睛跟 蹤設備110實施為計算設備120中的一個或多個功能單元，其經由接口總線342與基本結 構301通信?？梢詫⒂嬎阍O備120實施為小型便攜式(或移動)電子設備的一部分，該小型便 攜式(或移動)電子設備例如是移動電話、個人數字助理(PDA)、個人媒體播放設備、無線網 絡瀏覽設備、個人頭戴式耳機設備、專用設備、或包括任何上述功能的混合設備。還可以將 計算設備120實施為包括膝上型計算機和非膝上型計算機結構兩者的個人計算機。此外， 如先前描述的，可以將計算設備120與眼睛跟蹤設備110集成，或者可以將計算設備120實 施為眼睛跟蹤設備110的一部分。根據示例實施例，眼睛跟蹤設備110可以包括具有與圖3A中圖示的計算設備120 相同或類似結構的處理能力。這被示出在圖3B中，其中眼睛跟蹤設備110具有與圖3A的 計算設備120類似的結構，主要差異為圖3B的眼睛跟蹤設備110還包括傳感器395，用于檢 測來自指示觀察者的眼睛注視的觀察環(huán)境(例如，紅外或紅外反射圖案)的信號。如圖3B 中所示，傳感器395可以將這樣的信號經由I/O端口 373傳送至(多個)處理器310，從而 (多個)處理器采用必要的算法來將所檢測的信號變換為數據點。圖4A-4E是圖示用于基于被跟蹤的眼睛注視來修正對象210的圖像的方法示例的 流程圖。根據示例實施例，圖4A-4E的流程圖中描述的處理可以對應于在計算設備120中 實施的應用322的圖像處理算法323。然而，眼睛跟蹤設備110中的任何(多個)處理器還 可能被配置為執(zhí)行在這些流程圖中圖示的步驟或處理的至少一些。圖4A圖示了根據示例實施例的用于修正對象210的圖像的方法的高級流程圖。如
9步驟S40中所示，最初控制顯示設備130在觀察區(qū)220中顯示對象210的圖像。在此步驟 中，可以選擇對象210的任意視圖來顯示?；蛘?，可以基于現有技術而自動選擇步驟S40中 最初顯示的對象210的視圖。例如，如果在三維空間中用幾何學來定義對象210，則可以使用網格顯著性方法來 選擇步驟S40中的對象的初始視圖。此方法被描述于Lee等人的“Mesh Saliency (網格顯著 性)，，，ACM Transactions on Graphics,Proceedings of ACM SIGGRAPH 2006，pp. 659—666 中，其內容通過引用被合并于此。具體地，網格顯著性方法基于對象210的幾何形狀(尤其 是曲率)，對于對象210的三維網格的不同區(qū)域確定重要性或顯著性的測定。根據此方法， 將認為幾何學上不同于其周圍區(qū)域的區(qū)域具有比幾何學上類似于其周圍的區(qū)域更強的顯 著性或對觀察者的吸引。根據網格顯著性方法，可以使用為不同區(qū)域定義的顯著性來計算 針對對象210的各種可能視點的顯著性值，從而將具有最大顯著性值的視點認為是顯示對 象210的“最佳”視點。然而，可以使用用于建立三維對象210的初始視點的其它處理，其包括視點熵方法。此外，即使將對象210定義為二維圖像，也存在用于基于各個區(qū)域的色彩和/或亮 度而計算這樣的對象的區(qū)域的顯著性的已知方法?？梢酝ㄟ^選擇適當空間定位(例如，觀 察區(qū)220的中心)和擴大級別，在步驟S40的初始呈現中強調二維對象210的最顯著區(qū)域。再次參考圖4A，在最初顯示了對象210的圖像之后，步驟S42從眼睛跟蹤設備110 獲得被跟蹤的眼睛注視的數據點。如上所述，可以將眼睛跟蹤設備110配置為將這些數據 點計算為觀察者的眼睛200的注視位置關于觀察區(qū)220的坐標(例如，X和y坐標)。眼睛 跟蹤設備110可以根據預定采樣率而跟蹤眼睛運動，以便對每個采樣間隔記錄數據點。例 如，在每個采樣間隔，眼睛跟蹤設備110可以檢測觀察者的眼睛200的注視方向，并且執(zhí)行 任何必要計算以將注視方向轉化為顯示設備130的觀察區(qū)220上的相應注視點。然而，應當注意，眼睛跟蹤設備110或許不總能在采樣間隔期間獲得可用數據點。 例如，觀察者的眼睛200或許在某些采樣間隔期間眨眼或從觀察區(qū)220轉開。根據示例實 施例，眼睛跟蹤設備110或計算設備120可以包括濾除不能用的或無意義的數據點的一些 功能。如此公開中先前描述的，顯示設備130的觀察區(qū)220可以表示用于觀察對象210 的圖像的二維平面。因此，由眼睛跟蹤設備110獲得的每個數據點可以包括代表二維平面 中的特定點的笛卡爾X和y坐標。然而，數據點的格式并不重要。例如，數據點可以對應于 不同的坐標系統(例如，極坐標)，或者使用用于識別觀察區(qū)220內的具體位置或像素位置 的一些其它慣例。再次參考圖4A，步驟S44分析由眼睛跟蹤設備110獲得的數據點，以便確定對對 象210的顯示圖像的修正。具體地，分析數據點以確定觀察者將他/她的注視聚焦在觀察 區(qū)220 (或者尤其是其中顯示對象210)的哪個區(qū)域上?？梢允褂眠@樣的信息來確定顯示的 對象210的哪部分受到觀察者最多的關注，從而可以修正圖像以更清晰地顯示那部分。此 外，可以從觀察者在觀察區(qū)220上將他/她的注視所聚焦的位置推斷出觀察者操縱或控制 圖像的意圖。根據示例實施例，可以通過對所獲得的數據點應用不同規(guī)則來執(zhí)行步驟S44，以便確定應當修正對象210的當前視圖的哪方面(例如，觀察方向、視角、或觀察區(qū)220內的空 間位置)。例如，可以將這樣的規(guī)則編程到應用322中，作為圖3A中圖示的圖像修正算法 323的一部分?；蛘?，程序數據324可以包括定義這些規(guī)則的數據325，從而允許在不必修 正應用程序322的情況下改變規(guī)則。下面將結合圖4B-4E描述根據步驟S44的用于分析數據點并確定修正的處理示例 的更加詳細的描述。再次參考圖4A，步驟S46控制顯示設備130用根據步驟S44中所進行的確定而修 正的圖像取代對象210的當前顯示的圖像。此后，處理可以返回至步驟S42，以跟蹤觀察者 關于所修正的圖像的注視，并且基于被跟蹤的眼睛注視而確定對圖像的進一步修正。應當 注意，對步驟S44的執(zhí)行或許不總導致確定應當修正圖像。在這樣的例子中，步驟S46可以 簡單地使顯示設備130在將處理返回至步驟S42之前繼續(xù)顯示相同圖像。根據一個示例實施例，可以以預定時間段(或預定采樣間隔數量)的周期重復圖 4A的步驟S42-S46。換句話說，在每個周期(例如，每兩秒)期間，分析一組新數據點以確 定是否應當對所顯示的圖像進行修正、以及應當對所顯示的圖像進行何種類型的修正。此 外，觀察者或許能夠經由任何不同類型的輸入設備(例如，計算機鍵盤、電子鼠標、或聲音/ 注視激活控制)輸入參數到計算設備120中，以便定義每個周期的時間段。然而，根據可替換示例實施例，可以根據跨越預定時間段的“移動窗口，，來分析所 跟蹤的眼睛注視的數據點。例如，當從眼睛跟蹤設備Iio獲得每個數據點時，步驟S44可以 分析對于最后η個采樣間隔(η等于在預定時間段期間出現的采樣間隔數量)所獲得的數 據點，以便確定是否應當對圖像進行修正、以及應當對圖像進行何種類型的修正。同樣，例 如通過經由輸入設備輸入這樣的參數到計算設備120中，可允許觀察者定義對應于移動窗 口的時間段。此外，可以根據不同預定時間段來分析數據點，以分別實現不同類型的圖像修正。 例如，為了實現圖像的放大，會需要觀察者在比用于實現對象210移位所必需的更長時間 段內將他/她的注視聚焦在觀察區(qū)220的特定位置。此外，預料到觀察者可以通過將一個 或多個定義這樣的(多個)時間段的參數輸入到計算設備120中來定義這樣的時間段。圖4Β是圖示用以實施圖4Β中的分析數據點以確定對圖像的修正的步驟S44的算 法的流程圖。應當注意，圖4Β僅僅圖示了示例實施例，而非意在限制。不必遵循特定步驟順 序。同樣，不必執(zhí)行圖4Β中的所有步驟。例如，如果不期望實施相應類型的圖像修正(移 位、縮放或旋轉)，則可以省略步驟S442、S444和S448的任何步驟。根據圖4Β，步驟S440在特定時間段內將從眼睛跟蹤設備110獲得的數據點映射 到顯示設備130的觀察區(qū)220中定義的一組區(qū)域。根據從各個像素位置起始的任意粒度級 別，可以定義觀察區(qū)220的區(qū)域。此外，這些區(qū)域可以取決于被顯示的特定對象210。舉例 而言，在該映射中定義的觀察區(qū)220的每個區(qū)域對應于對象210的特定特征。再次參考圖4Β，步驟S442分析數據點的映射，以確定是否應當通過移動或移位在 其中顯示的對象210而修正當前圖像。步驟S444分析該映射，以便確定是否應當通過執(zhí)行 放大或縮小操作來修正圖像。此外，如果在三維空間中用幾何學定義對象210 (步驟S446)， 則步驟S448分析該映射以確定是否應當旋轉對象210。圖4C是圖示用于實施圖4Β中步驟S442的分析的處理示例的流程圖。具體地，此處理可以應用用于確定是否應當通過移位對象來修正當前圖像的規(guī)則的下列示例如果數 據點的映射表示觀察者對圖像中對象210的還未在觀察區(qū)220的中心的特定部分最感興 趣，則應當通過將對象210的該部分移動至觀察區(qū)220的中心而修正圖像。參考圖4C，步驟S4420基于映射(S卩，被映射了大部分數據點的區(qū)域)來確定觀察 區(qū)220中接受最高程度眼睛關注的區(qū)域。舉例而言，步驟S4420可以簡單地選擇被映射了 大多數數據點的區(qū)域?；蛘?，步驟S4420可以在進行此確定時應用附加準則，例如，通過要 求將某一數量或百分比的數據點映射到該區(qū)域。在圖4C的步驟S4422中，判斷所確定的區(qū)域是否已經處于觀察區(qū)220的中心。如 果答案是“是”，則確定不必通過移位對象210來修正圖像，因為觀察者所感興趣的對象210 的該部分處于觀察區(qū)220的中心。然而，如果答案是“否”，則處理進行至步驟S4424，在其 中，將觀察區(qū)的所確定區(qū)域映射到對象210的相應部分(即，觀察者所感興趣的部分)。因 此，步驟S4426確定圖像修正應當包括移動圖像，從而對象210的相應部分被移動至觀察區(qū) 的中心。圖5A和5B圖示了根據圖4C的處理而修正所顯示的對象210相對于觀察區(qū)220 的空間位置的示例。在圖5A和圖5B中，圖示了人作為觀察區(qū)220中顯示的對象210。根據圖5A的示例，觀察者的注視在特定時間段內集中在區(qū)域500(在人的軀干 處)。因此，不同的“X”符號圖示了數據點至觀察區(qū)220的相應區(qū)域的映射(注意，圖5A是 簡化的示例，并且不必代表在實際實施中被映射的數據點數量)。因此，圖5A示出了確定修 正圖像，從而將人210的軀干移動至觀察區(qū)的中心。關于圖5B的示例，這示出了人210已經被顯示在觀察區(qū)220中，從而使得軀干位 于中心。然而，圖5B示出了觀察者的眼睛200的注視集中于人210的頭部中的區(qū)域500。 因此，可以基于數據點的映射(“χ”)而確定頭部是觀察者對人210最感興趣的部分。因 此，圖5B示出了通過將頭部移動至觀察區(qū)220的中心而修正人210的空間位置。圖4D是圖示用于實施圖4B中步驟S444的分析的處理示例的流程圖。具體地，此 處理應用一些規(guī)則，這些規(guī)則表示取決于在預定時間段內接受觀察者的眼睛關注的觀察 區(qū)220的范圍而實現放大和縮小修正。根據這些規(guī)則，大范圍(例如，注視位置的寬散)將導致縮小。相反，小范圍(注 視位置的全部或大部分彼此非常接近)將導致放大。參考圖4D，步驟S4440基于數據點的映射來確定觀察區(qū)220上的眼睛關注范圍。 此步驟可以分析在預定時間段(例如，兩秒)上采樣的一系列數據點?；诖朔治觯梢詫?眼睛關注范圍確定為觀察區(qū)220中被映射了預定密集度的數據點的范圍。可以將此預定密 集度定義為在該時間段期間由眼睛跟蹤設備110采樣的可用數據點的某一百分比，或者簡 單地定義為數據點的特定數量。根據圖4D的步驟S4442，判斷眼睛關注范圍是否小于第一預定范圍。如果答案是 “是”，則確定觀察者的意圖是放大對象210，從而，根據步驟S4444，應當通過執(zhí)行放大操作 來修正圖像?；跀祿c的映射，可以將這種放大集中到對象210中接受最高程度眼睛關注的 區(qū)域500?；蛘撸绕淙绻麍D4C的處理已經將區(qū)域500移動至觀察區(qū)220的中心，則可以將 該放大集中到圖像的中心。同樣，放大操作可以導致對所顯示對象210的擴大。
再次參考圖4D，如果步驟S4442確定眼睛關注范圍不小于第一預定范圍，則步驟 S4446判斷眼睛關注范圍是否大于第二預定范圍。如果答案是“是”，則確定觀察者的意圖 是看對象210的更寬視圖，從而，根據步驟S4448而對圖像執(zhí)行縮小操作。此縮小會導致所 顯示的對象210的收縮。相反，如果步驟S4446判斷眼睛關注范圍不大于第二預定范圍，則 確定既不需要放大也不需要縮小。應當注意，圖4D中的步驟S4442-S4448的順序不重要?？梢孕薷奶幚硪愿淖冞@些 步驟的順序，例如，在確定是否放大之前確定是否縮小。同樣，不必關于放大和縮小兩者進 行確定。例如，如果僅僅向觀察者提供放大功能，則可以將圖4D修改為省略S4446和S4448。 相反，如果僅僅提供縮小功能，則可以省略步驟S4442和S4444。此外，根據示例實施例，可以由觀察者經由輸入設備來定義為縮放目的而采用的 第一預定范圍和/或第二預定范圍。然而，根據可選實施例，可以根據視角或高度/寬度參 數來定義第一和第二預定范圍。首先考慮將第一和第二預定范圍分別定義為預定視角的示例實施例。在這樣的實 施例中，在進行步驟S4442和S4446的比較之前，可以將眼睛關注范圍轉化為相應視角，假 設已知觀察者的眼睛200與觀察區(qū)220之間的距離。例如，通過眼睛跟蹤設備110中采用 的圖像處理技術，這樣的距離可以是可確定的。此外，相對于觀察者對應于整個觀察區(qū)220 的視角，可以建立對應于第一和第二預定范圍的視角。此實施例的具體示例如下。如果觀察者對整個觀察區(qū)220的視角是30度，則當用 戶在2秒的時段內將他/她的眼睛關注范圍縮小到5度或更小的視角時，圖4D的處理可以 確定要執(zhí)行放大操作?；蛘?，當觀察者的眼睛關注范圍已經在2秒的時段內增加到大于25 度的視角時，處理可以確定應當執(zhí)行縮小操作?，F在考慮根據各組高度和寬度參數來定義第一和第二預定范圍的可替換示例實 施例。同樣，在執(zhí)行對圖4D中的步驟S4442與S4446的比較之前，也可以將眼睛關注范圍 轉化為垂直和水平方向上的相應長度。同樣，可以設計步驟S4442和S4446的每一個為將 眼睛關注段的最大長度(垂直或水平)與預定范圍的相應高度或寬度參數比較。例如，如 果眼睛關注范圍的水平長度長于垂直長度，那么水平長度將分別與第一和第二預定范圍的 寬度參數比較。相反，如果眼睛關注范圍的垂直長度長于水平長度，則垂直長度將分別與第 一和第二預定范圍的高度參數比較。此外，在此實施例中，可以相對于顯示設備130的整個 觀察區(qū)220的高度和寬度來建立第一和第二預定范圍中的每一個的高度和寬度參數。此可替換實施例的具體示例如下。當觀察者的眼睛關注范圍的最大長度(垂直或 水平)在2秒的時段內短于觀察區(qū)220的相應高度/寬度參數的1/6時，圖4D的處理可以 確定應當執(zhí)行放大操作?；蛘撸斢脩舻难劬τ^注范圍的最大長度(垂直或水平)在2秒 的時段內長于屏幕的相應邊長的2/3時，該處理可以確定要執(zhí)行縮小操作。在圖4D的處理中，可以由觀察者通過使用輸入設備來設置下列參數中的任何一 個測量觀察者的眼睛關注范圍的時間段、放大和縮小操作的縮放比率、以及對應于第一和 第二預定范圍的任何閾值參數。或者，例如，通過在計算設備120中實施的訓練處理，可以 自動確定任何或全部的前述參數。圖6A和6B圖示了如何根據圖4C的處理中執(zhí)行的縮放操作修正觀察者對所顯示 的對象210的視角。具體地，在圖6A和6B中，圖示了觀察者的眼睛注視的原點為點600(這是簡化，因為每個眼睛200的注視發(fā)起于稍有不同的點)。如這些附圖中所示，視角(“A0V”) 基于對象210 (圖示為圓形或球形)的擴大(縮放)級別。作為比較，圖6A和6B示出了對 象210上的較小擴大(縮放)級別比較大擴大(縮放)級別導致更小的視角(“A0V”)。 因此，清楚的是，根據縮放操作而收縮或擴大圖像中的對象210導致該對象210的修正的視圖6C圖示了根據放大操作修正圖像的示例，如由圖4D的處理所確定的。在圖 6C的示例中，在預定長度的時間內，將被跟蹤的眼睛注視的數據點集中在對象210的區(qū)域 500。虛線示出了確定的觀察者眼睛關注范圍，其被定義為視角。圖6C示出了此眼睛關注 范圍小于圖4D的第一預定范圍，其導致圖像的放大。圖6D圖示了根據縮小操作而修正圖像的示例，如由圖4D的處理所確定的。在圖 6D中，在預定長度的時間內，被跟蹤的眼睛注視的數據點穿過觀察區(qū)220而分散在區(qū)域500 中。此附圖的虛線示出了被定義為視角的眼睛關注范圍。圖6D示出了眼睛關注范圍大于 圖4D的第二預定范圍，其導致圖像的縮小。圖4E是圖示了用于實施圖4B中的步驟S448的分析的處理示例的流程圖。當在 三維坐標空間中(例如，根據x、y和ζ軸)用幾何學定義對象210的表面、從而可以根據不 同觀察方向而顯示時，圖4E的處理可適用。例如，計算設備120可以控制顯示設備130顯 示對象210的三維模型(或者對象210為其一部分的三維模型)。具體地，圖4E的處理定義了用于通過改變所顯示對象210的觀察方向(即，通過 旋轉)來確定對當前圖像的修正的規(guī)則。請注意，圖4E非意在進行限制。因此，可以改變 其中的不同步驟的順序，并且可以省略一些步驟，以實施用于旋轉對象210的期望規(guī)則。參考圖4E，步驟S4480基于圖4B的步驟S440中的數據點的映射，確定觀察區(qū)220 的哪個區(qū)域在某一長度時間內接受最高程度的眼睛關注。具體地，步驟S4480可以選擇觀 察區(qū)220中映射了大多數數據點的區(qū)域作為確定的區(qū)域。然后，步驟S4481判斷所確定的 區(qū)域是否位于所顯示對象210的邊界的外部。如果答案是“是”，則步驟S4482指示應當通 過向所確定的區(qū)域旋轉對象210來修正圖像。因此，作為規(guī)則，當觀察者在預定長度時間內注視觀察區(qū)220的邊界上的一個位 置時，這被圖4E的處理解釋為觀察者具有在相應方向上旋轉對象210的意圖。再次參考圖4E，步驟S4483利用逆投影(impro jection)處理來將映射的數據點轉 化為在其中定義了對象表面的三維空間。基本上，每個數據點定義從觀察者的眼睛200到 觀察區(qū)220的觀察射線。步驟S4483的逆投影處理計算這樣的觀察射線與三維空間中定義 的對象210的表面的相交(interception)。這可以通過將每個數據點的x、y坐標與逆投 影矩陣相乘來實現，得到對象210的三維表面上的相應點的x、y、z坐標。例如，可以作為用 于在顯示設備130的二維圖像平面(屏幕)上呈現對象210的三維表面的投影矩陣的逆， 來計算逆投影矩陣。另外注意，開放圖形庫(OpenGL)提供了用于直接在二維數據點上應用 逆投影處理的函數。因此，在步驟S4483中，將一組數據點轉化為對象的三維表面上的一組眼睛關注 點。這些眼睛關注點可以用于確定對象表面的哪個區(qū)域是觀察者最感興趣的，如將在下面 更詳細討論的。根據示例實施例，可以將眼睛跟蹤設備110配置為將步驟S4483的逆投影處理應用到采樣的數據點，并且將所得的眼睛關注點傳送到計算設備120，用于進一步確定如何修 正圖像。然而，在可替換實施例中，計算設備120可以被編程為對從眼睛跟蹤設備110接收 的數據點執(zhí)行逆投影處理。再次參考圖4E，步驟S4484使用眼睛關注點來確定三維對象表面的多個定義區(qū)域 中哪個具有最高程度的顯著性或重要性。對象210的表面可以基于表面的幾何形狀而劃分為多個區(qū)域。舉例而言，如果根 據多邊形網格而在三維空間中定義對象210，則可以根據這樣的網格的面(face)而定義表 面區(qū)域。然而，不需要基于這樣的網格定義表面區(qū)域?？梢曰趯ο?10的可感知的重要 特征或其它準則而對表面劃分區(qū)域。根據示例實施例，步驟S4484可以簡單地通過將眼睛關注點映射到它們相應的表 面區(qū)域、并且選擇具有最多數量的眼睛關注點的表面區(qū)域，確定最顯著的表面區(qū)域。在可替換實施例中，可以將涉及顯著性的其它因素與映射的眼睛關注點結合來確 定最顯著的表面區(qū)域。舉例而言，可以基于Lee等人的“Mesh Saliency (網格顯著性)”， ACM Transactions on Graphics,Proceedings of ACM SIGGRAPH 2006,pp. 659-666 (Jt^ 容通過引用被合并于此)中描述的網格顯著性方法，初步對每個表面區(qū)域分配顯著性值。 網格顯著性方法基于三維網格的不同區(qū)域的相對幾何形狀(特別是曲率)來計算該三維 網格的不同區(qū)域的顯著性。使用網格顯著性方法，在幾何形狀上獨特于其周圍區(qū)域的對象 210的表面區(qū)域將被分配比幾何形狀上類似于它們周圍區(qū)域的表面區(qū)域將被分配的初步顯 著性值更高的初步顯著性值。隨后可以將這些初步顯著性值與基于其中映射的眼睛關注 點數量而分配給相應表面區(qū)域的“權重”相結合。具體地，可以對每個表面區(qū)域分配在0與 1之間的權重，從而具有較高數量的眼睛關注點的表面區(qū)域具有較接近1的權重，而具有較 低數量的眼睛關注點的表面區(qū)域具有較接近0的權重。對于每個表面區(qū)域，可以將所分配 的權重和初步顯著性值相乘。然后，可以將對應于最高相乘結果的表面區(qū)域選擇為對象210 的最顯著的表面區(qū)域。當然，可以將眼睛關注點與其它參數相結合，或者以其它方式使用眼睛關注點，以 根據步驟S4484確定對象210的最顯著的表面區(qū)域。再次參考圖4E，在步驟S4485中，判斷圖像的當前觀察方向是否已經面向在步驟 S4484中確定的最顯著區(qū)域。如果否，則步驟S4486確定要通過旋轉對象210來修正當前圖 像，從而使其觀察方向面向被確定為最顯著的表面區(qū)域。同樣，修正對象210的觀察方向以 提供最顯著表面區(qū)域的更好視圖。圖7A和圖7B圖示了根據圖4E的處理來修正對象的觀察方向的示例。在圖7A和 圖7B中，將人的頭部圖示為觀察區(qū)220中顯示的對象210。具體地，圖7A圖示了對應于人臉的表面區(qū)域700被確定為人的頭部210的最顯著 表面區(qū)域的情形。因此，通過旋轉人的頭部210來修正圖像，從而根據圖4E的步驟S4485， 觀察方向直接向著人臉。關于圖7B，這圖示了觀察者向觀察區(qū)220中左手邊與人的頭部210相鄰的區(qū)域 710聚焦他/她的注視的情形。因此，通過向左旋轉人的頭部210來修正圖像，從而根據圖 4E的步驟S4482而改變觀察方向。如圖7B中所示，此功能還可以用于修正觀察方向以面向 更加顯著的表面區(qū)域，如類似地圖7A中所示。
在用硬件和軟件實施系統的各方面之間幾乎沒有差別；硬件或軟件的使用通常為 代表成本對效率權衡的設計選擇(但不總是，因為在某些情形中，在硬件與軟件之間的選 擇可變得很顯著)。存在不同的手段(vehicle)，通過其可以實現這里描述的處理和/或系 統和/或其它技術(例如，硬件、軟件和/或固件)，并且優(yōu)選的手段將隨采用處理和/或系 統和/或其它技術的情形而變化。例如，如果一個實施方式確定速度和準確性是極為重要 的，則該實施方式可以主要選擇硬件和/或固件手段；如果靈活性是極為重要的，則該實施 方式可主要選擇軟件實現；或者，仍再次可替換地，該實施方式可以選擇硬件、軟件和/或 固件的一些結合。上述詳細說明已經使用框圖、流程圖和/或示例而描述了設備和/或處理的不同 實施例。在如這樣的框圖、流程圖和/或示例包含一個或多個功能和/或操作的范圍內，本 領域技術人員將理解，可以通過寬范圍的硬件、軟件、固件、或實質上它們的任何組合，分別 地和/或共同地實施這種框圖、流程圖或示例中的每個功能和/或操作。在一個實施例中， 可以經由專用集成電路(ASIC)、現場可編程門陣列(FPGA)、數字信號處理器(DSP)或其它 集成形式來實施這里描述的主題的若干部分。然而，本領域技術人員將認識到可以完整地 或部分地在集成電路中等效地實現這里公開的實施例的一些方面，作為在一個或多個計算 機上運行的一個或多個計算機程序(例如，作為在一個或多個計算機系統上運行的一個或 多個程序)、作為在一個或多個處理器上運行的一個或多個程序(例如，作為在一個或多個 微處理器上運行的一個或多個程序)、作為固件、或作為實質上它們的任何組合；以及依據 此公開，針對軟件和/或固件設計電路和/或編寫代碼在本領域技術人員中是公知的。另 外，本領域技術人員將理解，這里描述的主題的機制能夠被發(fā)布為(distribute)各種形式 的程序產品，以及這里描述的主題的說明性實施例不管用以實際上進行發(fā)布的特定類型的 信號承載介質而適用。信號承載介質的示例包括但不限于下列可記錄類型介質，例如軟 盤、硬盤驅動器、光盤(CD)、數字視頻盤(DVD)、數字帶、計算機存儲器等；以及傳送類型介 質，例如，數字和/或模擬通信介質(例如，光纖、波導、有線通信鏈路、無線通信鏈路等)。本領域技術人員將認識到，在本領域中通常以這里提出的方式描述設備和/或處 理，并且之后通常使用工程實踐來將這種描述的設備和/或處理集成到數據處理系統中。 就是說，可以經由合理數量的實驗而將這里描述的設備和/或處理的至少一部分集成到數 據處理系統中。本領域技術人員將認識到，典型的數據處理系統通常包括下列中的一個或 多個系統單元機架、視頻顯示設備、諸如易失性和非易失性存儲器的存儲器、諸如微處理 器和數字信號處理器的處理器、諸如操作系統、驅動器、圖形用戶界面和應用程序的計算實 體、一個或多個諸如觸摸墊或屏幕的交互設備、和/或包括反饋環(huán)和控制電機的控制系統 (例如，用于感測位置和/或速率的反饋、用于移動和/或調節(jié)組件和/或數量的控制電 機)?？梢岳萌魏魏线m的商業(yè)上可獲得的組件來實現典型的數據處理系統，例如典型地在 數據計算/通信和/或網絡計算/通信系統中發(fā)現的那些商業(yè)上可獲得的組件。這里描述的主題有時說明了不同的其它組件中包含的不同組件、或與不同其它組 件連接的不同組件。要理解，這種描繪的體系結構僅僅是示例，實際上可以實施實現相同功 能的許多其它體系結構。在概念意義上，對用以實現相同功能的組件的任何安排是有效地 “關聯”，從而實現期望的功能。因此，不考慮體系結構或中間的組件，這里結合實現特定功 能的任何兩個組件可以被看作為彼此“相關聯”，從而實現期望的功能。同樣，如此關聯的任何兩個組件也可以被看作為彼此“可操作連接”或“可操作耦接”，以實現期望功能，并且，能 夠如此關聯的任何兩個組件也可以被看作為彼此“可操作地可耦接”，以實現期望的功能。 可操作地可耦接的具體示例包括但不限于物理上可成對的(mateable)和/或物理上交互 的組件、和/或可無線交互的和/或無線交互的組件、和/或邏輯上交互的和/或邏輯上可 交互的組件。關于這里實質上任何復數和/或單數術語的使用，本領域技術人員可以隨著適合 于情境和/或應用而從復數轉化到單數、和/或從單數轉化到復數。為了清楚起見，這里明 確提出不同的單數/復數置換。本領域技術人員將理解，通常這里使用的術語、以及尤其是在所附權利要求書 (例如，所附權利要求書的主體)中使用的術語通常意指為“開放”術語(例如，術語“包括” 應當解釋為“包括但不限于”，術語“具有”應當解釋為“具有至少”，術語“包含”應當解釋為 “包含但不限于”，等等)。本領域技術人員應進一步理解，如果計劃了引入的權利要求特征 (recitation)的具體數量，則將在權利要求中明確地敘述這種意圖，并且，在不存在這種敘 述時則不存在這種意圖。例如，作為幫助理解，下列所附權利要求可包含通過引語“至少一 個”和“一個或多個”的使用來引入權利要求的特征。然而，即使當相同權利要求包括引語 “一個或多個”或“至少一個”以及諸如“一”或“一個”的不定冠詞時，也不應將這種短語的 使用解釋為暗示通過不定冠詞“一”或“一個”對權利要求特征的引入，將任何包含這種引 入的權利要求特征的特定權利要求限制于僅包含一個這種特征的公開(例如，“一”和/或 “一個”通常應當被解釋為是指“至少一個”或“一個或多個”)；對于用于引入權利要求特征 的定冠詞的使用，也是如此。另外，即使明確敘述了具體數量的被引入的權利要求特征，本 領域技術人員也將認識到，通常應當將這種敘述解釋為是指至少所敘述的數量(例如，對 于“兩個特征”的無限定敘述而無其他修飾語，通常意味著至少兩個特征、或兩個或多個特 征)。在使用類似于“A、B或C等中至少一個”的慣例的這些實例中，通常這種造句在某種 意義上意在使本領域技術人員理解該慣例(例如，“具有A、B或C中至少一個的系統”包括 但不限于僅具有A的、僅具有B的、僅具有C的、具有A和B —起的、具有A和C 一起的、具 有B和C 一起的、和/或具有A、B和C 一起的等等的系統)。本領域技術人員將進一步理 解的是，實質上表示兩個或多個可選術語的任何轉折詞和/或短語(無論在說明書、權利要 求書或附圖中)應當被理解為預期了包括術語中之一、術語中任一、或兩個術語的可能性。 例如，短語“A或B”將被理解為包括“A”或“B”或“A和B”的可能性。雖然這里已經公開了各個方面和實施例，但是其它方面和實施例對于本領域中技 術人員是顯而易見的。依據所附權利要求書所指示的真實范圍和精神，這里公開的不同方 面和實施例是為了說明性的目的，而非意在進行限制。
1權利要求
一種方法，包括使顯示設備在預定義的觀察區(qū)中顯示對象的第一圖像；獲得表示被跟蹤的眼睛注視關于所述觀察區(qū)的位置的數據；處理所獲得的數據，以確定關于下列至少一個而對所述第一圖像的修正所述對象的觀察方向、所述對象的視角、以及所述對象關于所述觀察區(qū)的空間位置；以及使所述顯示設備顯示包括所述修正的所述對象的第二圖像。
2.如權利要求1所述的方法，還包括當顯示所述第一圖像時，以規(guī)則的采樣間隔跟蹤所述眼睛注視；以及 在相應采樣間隔獲得被跟蹤的眼睛注視的數據點，所述數據點的至少一個表示在所述 觀察區(qū)內的檢測到的所述眼睛注視的位置。
3.如權利要求2所述的方法，還包括分析所述數據點，以基于被跟蹤的眼睛注視來識別對應于高程度的眼睛關注的所述對 象的區(qū)域；以及通過移動所述對象來修正所述第一圖像，使得在所述第二圖像中，所述對象的所識別 區(qū)域被移動至所述觀察區(qū)的不同位置。
4.如權利要求3所述的方法，其中，所述修正步驟將所述對象的所識別區(qū)域移動至所 述觀察區(qū)的中心。
5.如權利要求2所述的方法，還包括 分析在預定時間段期間獲得的所述數據點；確定預定密集度的所分析數據點所位于的所述觀察區(qū)的范圍； 當確定的范圍小于第一預定范圍時，修正所述第一圖像，使得在所述第二圖像中，根據 放大操作來擴大所述對象；以及當確定的范圍大于第二預定范圍時，修正所述第一圖像，使得在所述第二圖像中，根據 縮小操作來收縮所述對象。
6.如權利要求5所述的方法，其中，分別根據預定視角來定義所述第一和第二預定范圍。
7.如權利要求6所述的方法，還包括基于被跟蹤的眼睛注視來計算整個觀察區(qū)的視角，其中相對于所計算的整個觀察區(qū)的視角，建立所述第一和第二預定范圍。
8.如權利要求5所述的方法，其中，根據第一組高度和寬度參數來定義所述第一預定 范圍，根據第二組高度和寬度參數來定義所述第二預定范圍。
9.如權利要求2所述的方法，其中，在所述觀察區(qū)上三維地顯示所述對象的表面，所述 方法還包括通過應用逆投影處理以將所獲得的數據點的至少一個轉化為所述對象的三維顯示表 面上的點，識別所述對象的表面上的眼睛關注點；以及基于所識別的眼睛關注點來確定對所述第一圖像的修正。
10.如權利要求9所述的方法，還包括將所識別的眼睛關注點映射到所述對象的多個表面區(qū)域；以及 基于所述映射來確定具有高程度顯著性的表面區(qū)域；以及其中，基于所確定的表面區(qū)域來確定對所述第一圖像的修正。
11.如權利要求10所述的方法，還包括通過旋轉所述對象來修正所述第一圖像，使得在所述第二圖像中，所述對象的觀察方 向面向所確定的表面區(qū)域。
12.如權利要求10所述的方法，其中，通過將逆投影矩陣與二維注視位置的坐標相乘 來應用所述逆投影處理，其中基于用于將所述對象的表面投影到所述觀察區(qū)上的投影矩陣 來計算所述逆投影矩陣。
13.如權利要求2所述的方法，其中，在所述觀察區(qū)上三維地顯示所述對象的表面，所 述方法還包括基于所獲得的數據點來將眼睛關注的程度映射到所述觀察區(qū)的多個區(qū)域；以及 當具有最高程度的眼睛關注的所述觀察區(qū)的區(qū)域在所顯示的對象外部時，通過向具有 最高程度眼睛關注的所述觀察區(qū)的區(qū)域旋轉所述對象來修正所述第一圖像。
14.一種計算機可讀介質，在其上包含計算機程序，當執(zhí)行所述計算機程序時，所述計 算機程序使計算機執(zhí)行下列步驟使顯示設備在預定義的觀察區(qū)中顯示對象的第一圖像； 獲得表示被跟蹤的眼睛注視關于所述觀察區(qū)的位置的數據；處理所獲得的數據，以確定關于下列至少一個而對所述第一圖像的修正所述對象的 觀察方向、所述對象的視角、以及所述對象關于所述觀察區(qū)的空間位置；以及 使所述顯示設備顯示包括所述修正的所述對象的第二圖像。
15.如權利要求14所述的計算機可讀介質，所述程序使所述計算機進一步執(zhí)行下列步驟當顯示所述第一圖像時，以規(guī)則的采樣間隔跟蹤所述眼睛注視；以及 在相應采樣間隔獲得被跟蹤的眼睛注視的數據點，所述數據點的每個表示在所述觀察 區(qū)內的檢測到的所述眼睛注視的位置。
16.如權利要求15所述的計算機可讀介質，所述計算機程序使所述計算機進一步執(zhí)行 下列步驟分析所述數據點，以基于被跟蹤的眼睛注視而識別對應于高程度的眼睛關注的所述對 象的區(qū)域；以及通過移動所述對象來修正所述第一圖像，使得在所述第二圖像中，所述對象的所確定 區(qū)域被移動至所述觀察區(qū)的中心。
17.如權利要求15所述的計算機可讀介質，所述計算機程序使所述計算機進一步執(zhí)行 下列步驟分析在預定時間段期間獲得的所述數據點； 確定預定密集度的所分析數據點所位于的所述觀察區(qū)的范圍； 如果確定的范圍在第一預定范圍內，則修正所述第一圖像，使得在所述第二圖像中，根 據放大操作來擴大所述對象；以及如果確定的范圍延伸超過第二預定范圍，則修正所述第一圖像，使得在所述第二圖像 中，根據縮小操作來收縮所述對象。
18.一種系統，包括顯示設備，被配置為在二維觀察區(qū)上顯示圖像；以及一個或多個計算機處理器，可操作連接至所述顯示設備，所述一個或多個計算機處理 器被編程為使所述顯示設備在預定義的觀察區(qū)中顯示對象的第一圖像； 獲得表示被跟蹤的眼睛注視關于所述觀察區(qū)的位置的數據；處理所獲得的數據，以確定關于下列至少一個而對所述第一圖像的修正所述對象的 觀察方向、所述對象的視角、以及所述對象關于所述觀察區(qū)的空間位置；以及 使所述顯示設備顯示包括所述修正的所述對象的第二圖像。
19.如權利要求18所述的系統，所述一個或多個計算機處理器還被編程為 當顯示所述第一圖像時，以規(guī)則的采樣間隔跟蹤所述眼睛注視；以及在相應采樣間隔獲得被跟蹤的眼睛注視的數據點，所述數據點的至少一個表示在所述 觀察區(qū)內的檢測到的所述眼睛注視的位置。
20.如權利要求19所述的系統，其中，在所述觀察區(qū)上三維地顯示所述對象的表面，所 述一個或多個計算機處理器進一步被編程為通過應用逆投影處理以將所獲得的數據點的每個轉化為所述三維空間內的點，識別所 述對象的表面上的眼睛關注點；以及基于所識別的眼睛關注點來確定對所述第一圖像的修正。
全文摘要
本發(fā)明公開涉及基于觀察者的被跟蹤的眼睛運動來控制和操縱顯示設備上的對象的圖像。當根據初始視圖而顯示該對象時，跟蹤并處理該觀察者的眼睛運動，以便確定觀察者的關注或注視在該圖像上的焦點。此后，修正所顯示的圖像以提供該對象上觀察者最感興趣的部分的更好視圖。這通過觀察區(qū)內對象的空間定位、對象的視角、以及對象的觀察方向中的至少一個來實現。
文檔編號G06F3/048GK101943982SQ20091013991
公開日2011年1月12日 申請日期2009年7月10日 優(yōu)先權日2009年7月10日
發(fā)明者袁曉如 申請人:北京大學