基于眼睛跟蹤的視覺增強(qiáng)的制作方法
【專利說明】
【背景技術(shù)】
[0001]在圖形用戶界面上顯示的項(xiàng)目有時可能對于用戶而言難以感知。例如，文本可能以具有相對于背景顏色的低對比度的顏色顯示，或者以對于特定顯示屏大小而言小的字體顯示。其它類型的顯示信息可能遭受類似的問題。照此，計(jì)算設(shè)備可以為用戶供給各種方式來修改顯示項(xiàng)目的外觀。例如，用戶可以能夠增加文本的大小，把鏡頭移近到顯示圖像，改變顯示項(xiàng)目的顏色，以及采取其它這樣的動作來增強(qiáng)用戶界面項(xiàng)目的可視性。

【發(fā)明內(nèi)容】

[0002]公開了涉及自動視覺增強(qiáng)顯示在顯示設(shè)備上的項(xiàng)目的實(shí)施例。例如，一個所公開的實(shí)施例提供了一種方法，包括跟蹤用戶的凝視與項(xiàng)目交叉的凝視地點(diǎn)，以及在檢測到凝視模式滿足指示感知凝視地點(diǎn)處的項(xiàng)目方面的困難的經(jīng)定義的凝視模式時，經(jīng)由與凝視地點(diǎn)處的項(xiàng)目分離顯示的用戶界面對象以視覺增強(qiáng)的形式顯示凝視地點(diǎn)處的項(xiàng)目。
[0003]提供本
【發(fā)明內(nèi)容】
來以簡化形式引入以下在【具體實(shí)施方式】中進(jìn)一步描述的概念的選擇。本
【發(fā)明內(nèi)容】
不意圖標(biāo)識所要求保護(hù)的主題的關(guān)鍵特征或必要特征，也不意圖用于限制所要求保護(hù)的主題的范圍。此外，所要求保護(hù)的主題不限于解決本公開內(nèi)容的任何部分中所指出的任何或全部缺點(diǎn)的實(shí)現(xiàn)方式。
【附圖說明】
[0004]圖1示意性地示出依照本公開的實(shí)施例的示例顯示設(shè)備和圖形用戶界面。
[0005]圖2-5示意性地示出依照本公開的實(shí)施例的視覺增強(qiáng)圖1的圖形用戶界面的項(xiàng)目的示例。
[0006]圖6是描繪選擇性地增強(qiáng)顯示在顯示設(shè)備上的用戶界面項(xiàng)目的方法的實(shí)施例的流程圖。
[0007]圖7示出依照本公開的實(shí)施例的示例顯示設(shè)備的框圖。
[0008]圖8示意性地示出依照本公開的另一實(shí)施例的示例顯示設(shè)備和圖形用戶界面。
[0009]圖9示意性地示出依照本公開的實(shí)施例的視覺增強(qiáng)圖8的圖形用戶界面的用戶界面項(xiàng)目的示例。
[0010]圖10示意性地示出依照本公開的實(shí)施例的視覺增強(qiáng)物理對象的視圖的示例。
[0011]圖11示出計(jì)算系統(tǒng)的示例實(shí)施例。
【具體實(shí)施方式】
[0012]如以上提到的，計(jì)算設(shè)備可以為用戶供給各種方式來修改顯示在圖形用戶界面上的項(xiàng)目的外觀。用于做出這樣的修改的工具一般由用戶有意地調(diào)用。例如，如果膝上型計(jì)算機(jī)的用戶正在為閱讀小文本而掙扎，則用戶可以從菜單選擇字體大小調(diào)節(jié)工具。同樣地，如果智能電話的用戶正在為查看用戶界面項(xiàng)目而掙扎，則用戶可以使用拉伸手勢等來以較高放大率查看項(xiàng)目。
[0013]當(dāng)用戶為查看用戶界面項(xiàng)目而掙扎時，視覺掙扎可以具有經(jīng)由凝視跟蹤可檢測的相關(guān)聯(lián)的凝視移動特性。因而，公開了涉及基于經(jīng)由凝視跟蹤所檢測的眼睛凝視運(yùn)動特性而自動增強(qiáng)顯示在顯示設(shè)備上的用戶界面項(xiàng)目的實(shí)施例。
[0014]圖1示出包括顯示圖形用戶界面104的計(jì)算設(shè)備102的示例使用環(huán)境100。雖然在圖1中的頭部安裝顯示設(shè)備的上下文中示出，但是要理解的是，可以使用任何其它合適的計(jì)算設(shè)備，包括但不限于智能電話、個人計(jì)算機(jī)、游戲控制臺、移動計(jì)算設(shè)備、服務(wù)器計(jì)算設(shè)備、平板等。同樣地，雖然將圖形用戶界面104以全息用戶界面的形式示出，但是頭部安裝顯示器還可以用于擴(kuò)充顯示在分離顯示設(shè)備(例如計(jì)算機(jī)監(jiān)視器、電視、智能電話、平板、膝上型計(jì)算機(jī)屏幕等)上的圖形用戶界面的外觀。圖1還示出經(jīng)由凝視與圖形用戶界面104交互的用戶108。圖示了頭部安裝顯示設(shè)備的視場110內(nèi)的項(xiàng)目，如通過頭部安裝顯示設(shè)備所看到的那樣。
[0015]如以下更加詳細(xì)描述的，計(jì)算設(shè)備102可以包括凝視檢測子系統(tǒng)，其被配置成檢測用戶108的凝視112并且確定用戶的凝視112與圖形用戶界面104交叉的地點(diǎn)。凝視檢測子系統(tǒng)可以周期性地執(zhí)行這些操作以輸出周期性更新的位置信號。出于示例的目的而將圖形用戶界面104示出為顯示視頻項(xiàng)目114、圖像項(xiàng)目116和文本項(xiàng)目118，但是將理解到的是，圖形用戶界面可以顯示任何其它合適的一個或多個項(xiàng)目。將理解到的是，術(shù)語“用戶界面項(xiàng)目”等等是指顯示在顯示設(shè)備上的可以如本文所描述的那樣視覺增強(qiáng)的任何項(xiàng)目。
[0016]來自凝視跟蹤子系統(tǒng)的周期性更新的位置信號隨時間的改變可以允許檢測所識別的凝視模式。例如，如以上提到的，凝視模式可以用于檢測用戶是否正在為查看用戶界面項(xiàng)目而掙扎。作為更加具體的示例，用戶可能在相同句子之上閱讀多次，在相對較長的持續(xù)時間內(nèi)停留在圖像的一部分處，在閱讀時以比往常低的速度移動，和/或執(zhí)行可檢測為指示用戶正在為查看用戶界面項(xiàng)目而掙扎的運(yùn)動條件的其它這樣的眼睛凝視行為。因此，可以分析用戶的凝視路徑以標(biāo)識與感知方面的困難相關(guān)聯(lián)的凝視模式。任何合適的方法可以用于標(biāo)識這樣的凝視模式。示例包括但不限于，比較凝視路徑數(shù)據(jù)與預(yù)定義的凝視模式，比較凝視路徑數(shù)據(jù)與當(dāng)前用戶的在先模式(如經(jīng)由日常使用期間的校準(zhǔn)和/或觀察知悉的)，和/或經(jīng)由分類功能的使用來評估凝視路徑數(shù)據(jù)，所述分類功能利用包括對應(yīng)于已知條件的凝視模式的訓(xùn)練數(shù)據(jù)來訓(xùn)練。
[0017]計(jì)算設(shè)備102還可以被配置成確定與凝視地點(diǎn)處的(多個)項(xiàng)目相關(guān)聯(lián)的上下文特征，并且將上下文信息用作確定用戶是否具有查看用戶界面項(xiàng)目方面的困難時的一個或多個篩選器?？梢岳萌魏魏线m的上下文信息。例如，計(jì)算設(shè)備可以確定凝視地點(diǎn)中的用戶界面項(xiàng)目的類型。項(xiàng)目類型的示例包括但不限于，文本、視頻項(xiàng)目、圖像項(xiàng)目、可執(zhí)行項(xiàng)目、圖標(biāo)、動作項(xiàng)目(例如用戶界面控制項(xiàng)目)和/或任何合適類型的項(xiàng)目。
[0018]作為上下文信息可以如何用于辨別眼睛模式的示例，可以指示閱讀項(xiàng)目方面的困難的前后眼睛模式可能不指示針對其它類型內(nèi)容的類似困難。作為更具體的示例，可以預(yù)計(jì)到觀看視頻項(xiàng)目的用戶展現(xiàn)出跟隨視頻內(nèi)的一個或多個對象的凝視模式。在所圖示的示例中，視頻項(xiàng)目114包括網(wǎng)球比賽。照此，當(dāng)用戶從選手向選手改變觀看時，用戶的凝視可能多次橫貫相同的地點(diǎn)。在該示例中，重復(fù)凝視模式不太可能指示感知項(xiàng)目方面的掙扎。也可以以其它方式利用上下文信息。例如，可以取決于凝視地點(diǎn)處的項(xiàng)目類型而應(yīng)用不同的視覺增強(qiáng)。
[0019]作為另一示例，當(dāng)用戶凝視在文本項(xiàng)目118處時，可以評估文本項(xiàng)目以確定諸如字體、字體大小、字體顏色、背景顏色、字體樣式(例如粗體、斜體、下劃線、下標(biāo)/上標(biāo)、刪除線、浮凸、外框、漸變等)和其它這樣的格式化之類的特性。還可以評估文本項(xiàng)目以確定文本內(nèi)容的特性，諸如凝視地點(diǎn)中的文字?jǐn)?shù)目、凝視地點(diǎn)中的文字復(fù)雜性等。
[0020]可以針對除文本之外的不同特性集而評估除文本之外的其它類型項(xiàng)目。例如，可以針對諸如所顯示的視頻內(nèi)容的總體大小、內(nèi)容的分辨率和/或與其中描繪的移動圖像相關(guān)聯(lián)的復(fù)雜性水平之類的因素來評估視頻項(xiàng)目。作為更具體的示例，具有高得多的空間頻率圖像數(shù)據(jù)和/或幀之間的圖像數(shù)據(jù)中的大變化的視頻可以被確定為具有比缺少這樣的特征的視頻更高的復(fù)雜性水