用于生成顯示覆蓋的系統(tǒng)和方法以及顯示系統(tǒng)的制作方法
【專利說明】用于生成顯示覆蓋的系統(tǒng)和方法w及顯示系統(tǒng)
[0001] 相關(guān)申請的交叉引用
[0002] 本申請要求2014年3月31日遞交的標(biāo)題為"Generation of Display Overlay Parameters化ilizing Touch I噸uts"、序列號為61/973, 152的美國臨時申請的優(yōu)先權(quán)和 權(quán)益，該里通過引用并入該美國臨時申請的全部內(nèi)容。
技術(shù)領(lǐng)域
[0003] 本發(fā)明的實(shí)施例設(shè)及具有觸摸輸入設(shè)備的顯示設(shè)備，更具體而言設(shè)及用于減小觸 摸輸入設(shè)備與顯示設(shè)備之間的顯示滯后（display lag)的系統(tǒng)和方法。
【背景技術(shù)】
[0004] 包含或禪合到覆蓋的觸摸傳感器面板的顯示面板為諸如移動電話、平板計算機(jī)、 膝上型計算機(jī)和桌面型計算機(jī)之類的能夠觸摸的計算設(shè)備提供了交互系統(tǒng)。在該種計算 設(shè)備中，圖形被顯示在顯示面板上，并且用戶可通過觸摸屏幕（例如利用主動式觸控筆、被 動式觸控筆或者諸如手指之類的身體部位）來與該些設(shè)備交互，從而提供了直觀的用戶界 面。
[0005] 由觸摸傳感器面板檢測到的觸摸事件通常由在設(shè)備的應(yīng)用處理器（a卵lication processor, A巧上運(yùn)行的高級別應(yīng)用軟件來處理。觸摸傳感器面板與AP之間的許多處理 步驟W及AP上的非確定處理時間（包括由于AP執(zhí)行的其他計算任務(wù)引起的延遲）引入了 較高水平的延時（例如70至150毫秒），而該種延時降低了計算設(shè)備對用戶的觸摸輸入的 響應(yīng)性。
[0006] -些經(jīng)驗(yàn)研究表明，大多數(shù)人類可察覺到諸如觸覺和視覺之類的感覺之間的甚至 30毫秒的不同步（例如參見倫敦集團(tuán)出版的M. M. Murray和M. T. Wallace 編車茸的 Frontiers in the neural basis of multisensory processes (147-177 頁）中的 Keetels, M.和 Vroomen, J.所著的 Perception of Synchrony Between the Senses (2012 年））。50至150毫秒的延遲對于該些計算設(shè)備的大多數(shù)用戶來說將是可察覺的，該可導(dǎo)致 由于計算設(shè)備未能立即對用戶的輸入提供反饋而引起的用戶挫敗感的增加。

【發(fā)明內(nèi)容】

[0007] 本發(fā)明的實(shí)施例的一些方面設(shè)及減小觸摸事件與對此觸摸事件的顯示響應(yīng)之間 的延時。根據(jù)本發(fā)明的實(shí)施例的一方面，通過降低對于觸摸輸入設(shè)備的組件之間的緊密集 成的需求，可W減小該延時。
[0008] 此外，本發(fā)明的實(shí)施例的一些方面設(shè)及；檢測視頻圖像中的移動線條的位置，該線 條對應(yīng)于觸摸事件的連續(xù)序列；確定移動線條的特性，比如顏色和寬度；W及從所確定的 特性生成覆蓋參數(shù)。根據(jù)一實(shí)施例，覆蓋參數(shù)用于減小表觀顯示延時。
[0009] 根據(jù)本發(fā)明的實(shí)施例，一種系統(tǒng)包括：第一模塊，被配置為接收視頻圖像并且記錄 視頻圖像的與觸摸事件位置相對應(yīng)的圖像片段；第二模塊，被配置為基于對視頻圖像的圖 像片段的比較來確定每個圖像片段的前景色信息和背景色信息；w及第=模塊，被配置為 基于前景色信息和背景色信息輸出覆蓋信息。
[0010] 視頻圖像可包括前景色和背景色，前景色對應(yīng)于顯示的線條。
[0011] 前景色信息可包括視頻圖像的前景色和前景均勻性因子，該前景均勻性因子是圖 像片段包含前景色的百分比，并且背景色信息包括視頻圖像的背景色和背景均勻性因子， 該背景均勻性因子是圖像片段包含背景色的百分比。
[0012] 覆蓋信息可包括覆蓋的顏色，并且第=模塊還可被配置為基于對前景均勻性因子 和前景闊值的比較來禁用覆蓋或者輸出圖像片段的前景色作為覆蓋的顏色。
[0013] 第=模塊還可被配置為基于對背景均勻性因子和背景闊值的比較來禁用覆蓋或 者確定覆蓋的邊界。
[0014] 覆蓋的邊界可通過比較第一圖像片段的背景色和第二圖像片段的背景色來確定。
[0015] 第S模塊還可被配置為當(dāng)?shù)谝粓D像片段的背景色不同于第二圖像片段的背景色 時輸出與第一圖像片段相對應(yīng)的坐標(biāo)。
[0016] 覆蓋信息可包括覆蓋的尺寸，并且第=模塊還可被配置為基于每個圖像片段的前 景均勻性因子來確定覆蓋的線條的寬度。
[0017] 第二模塊還可被配置為通過向每個圖像片段應(yīng)用加權(quán)因子來使每個圖像片段偏 向于包含更多前景色或更多背景色。
[0018] 第一模塊、第二模塊和第S模塊可W是顯示驅(qū)動器接口控制器的組件，顯示驅(qū)動 器接口控制器被配置為從應(yīng)用處理器接收視頻圖像并且向顯示面板輸出覆蓋信息。
[0019] 根據(jù)本發(fā)明的另一實(shí)施例，一種用于生成顯示覆蓋的方法包括：接收多個觸摸事 件和一視頻圖像；記錄視頻圖像的與觸摸事件的位置相對應(yīng)的圖像片段；將記錄的圖像片 段相互比較W確定每個圖像片段的前景色信息和背景色信息；W及基于前景色信息和背景 色信息提供覆蓋信息。
[0020] 視頻圖像可包括前景色和背景色，前景色對應(yīng)于顯示的線條。
[0021] 前景色信息可包括視頻圖像的前景色和前景均勻性因子，該前景均勻性因子是圖 像片段包含前景色的百分比，并且背景色信息可包括視頻圖像的背景色和背景均勻性因 子，該背景均勻性因子是圖像片段包含背景色的百分比。
[0022] 覆蓋信息可包括覆蓋的顏色，并且該方法還可包括；比較前景均勻性因子和前景 闊值；W及基于該比較來禁用覆蓋或者提供圖像片段的前景色作為覆蓋的顏色。
[0023] 該方法還可包括；比較背景均勻性因子和背景闊值；W及基于該比較禁用覆蓋或 者確定覆蓋的邊界。
[0024] 確定覆蓋的邊界可包括比較第一圖像片段的背景色和第二圖像片段的背景色。
[00巧]該方法還可包括：當(dāng)?shù)谝粓D像片段的背景色不同于第二圖像片段的背景色時，提 供與第一圖像片段相對應(yīng)的坐標(biāo)。
[0026] 覆蓋信息可包括覆蓋的尺寸，并且該方法還可包括；基于每個圖像片段的前景均 勻性因子來確定覆蓋的線條的寬度。
[0027] 該方法還可包括：向每個圖像片段應(yīng)用加權(quán)因子W使每個圖像片段偏向于包含更 多前景色或更多背景色。
[0028] 在時間上更早的圖像片段可被偏向?yàn)榘嗲熬吧⑶以跁r間上更晚的圖像 片段可被偏向?yàn)榘啾尘吧?br>【附圖說明】
[0029] 附圖與說明書一起闡明了本發(fā)明的示例實(shí)施例并且與描述一起用來說明本發(fā)明 的原理。
[0030] 圖1A圖示出包括傳統(tǒng)的觸摸輸入處理設(shè)備的設(shè)備的響應(yīng)，并且圖1B圖示出包括 根據(jù)本發(fā)明的實(shí)施例的觸摸輸入處理設(shè)備的設(shè)備的響應(yīng)。
[0031] 圖2是根據(jù)本發(fā)明的實(shí)施例的一方面的低延時反饋路徑和傳統(tǒng)反饋路徑兩者的 示意性圖示。
[0032] 圖3是圖示出包括根據(jù)本發(fā)明的一個實(shí)施例的低延時覆蓋系統(tǒng)的設(shè)備的框圖。
[0033] 圖4是圖示出根據(jù)本發(fā)明的一個實(shí)施例的低延時覆蓋系統(tǒng)內(nèi)的組件的框圖。
[0034] 圖5是根據(jù)本發(fā)明的一個實(shí)施例的將視頻圖像數(shù)據(jù)、覆蓋數(shù)據(jù)和觸摸路徑信息相 組合來生成第一組合顯示圖像的示意性圖示。
[0035] 圖6是根據(jù)本發(fā)明的一個實(shí)施例的將視頻圖像數(shù)據(jù)、覆蓋數(shù)據(jù)和觸摸路徑信息相 組合來生成第二組合顯示圖像的示意性圖示。
[0036] 圖7是圖示出根據(jù)本發(fā)明的一個實(shí)施例的用于確定覆蓋數(shù)據(jù)的應(yīng)用并將覆蓋數(shù) 據(jù)與視頻圖像相組合的方法的流程圖。
[0037]圖8是圖示出根據(jù)本發(fā)明的另一實(shí)施例的包括覆蓋系統(tǒng)和檢測系統(tǒng)的設(shè)備的框 圖。
[003引圖9是圖示出根據(jù)本發(fā)明的一個實(shí)施例的檢測系統(tǒng)的組件的框圖。
[0039] 圖10A是圖示出根據(jù)本發(fā)明的一個實(shí)施例的檢測系統(tǒng)的選擇模塊的過程的流程 圖。圖10B是根據(jù)本發(fā)明的一個實(shí)施例的內(nèi)插的觸摸點(diǎn)的示意性圖示。圖10C是根據(jù)本發(fā) 明的一個實(shí)施例的選擇的視頻圖像片段的示意性圖示。圖10D是根據(jù)本發(fā)明的一個實(shí)施例 的映射的坐標(biāo)的表格。圖10E是根據(jù)本發(fā)明的一個實(shí)施例的按線定時的坐標(biāo)的表格。
[0040] 圖11A是圖示出根據(jù)本發(fā)明的一個實(shí)施例的檢測系統(tǒng)的圖像解析模塊的框圖。圖 11B是根據(jù)本發(fā)明的一個實(shí)施例的視頻圖像的示意性圖示。
[0041] 圖12是圖示出根據(jù)本發(fā)明的一個實(shí)施例的檢測系統(tǒng)的圖像比較模塊的框圖。
[0042]圖13A是圖示出根據(jù)本發(fā)明的一個實(shí)施例的檢測系統(tǒng)的參數(shù)模塊的一部分的框 圖。
[0043]圖13B是圖示出根據(jù)本發(fā)明的一個實(shí)施例的檢測系統(tǒng)的參數(shù)模塊的另一部分的 框圖。
【具體實(shí)施方式】
[0044] 在W下詳細(xì)描述中，只是W舉例說明的方式示出和描述了本發(fā)明的某些示例實(shí)施 例。正如本領(lǐng)域技術(shù)人員將會認(rèn)識到的，本發(fā)明可許多不同的形式來實(shí)現(xiàn)，而不應(yīng)當(dāng)被 解釋為限于本文記載的實(shí)施例。當(dāng)稱一元素"連接到"或"禪合到"另一元素時，其可直接 連接到另一元素，或者其可間接連接到另一元素，有一個或多個居間的元素介于其間。貫穿 說明書各處，相似的標(biāo)號指代相似的元素。
[0045] 本發(fā)明的實(shí)施例通過在應(yīng)用處理器擅染圖像之前基于觸摸位置顯示圖像來允許 用戶感知到更快的觸摸響應(yīng)。
[0046] 為觸摸界面設(shè)計的軟件經(jīng)常利用對偽"真實(shí)世界"物體的直接物理操縱的比擬和/ 或屏幕上路徑的描繪來提供視覺反饋（例如，對于在揮掃型或基于手勢的屏上鍵盤上的手 指的蹤跡、對于繪畫或速寫應(yīng)用中的路徑的蹤跡、W及對于在游戲中描繪的路徑）。
[0047] 移動電話的常見抱怨是用戶界面（user interface，UI)的滯后。當(dāng)前的移動電話 響應(yīng)于觸摸動作通常要花50至150毫秒來更新顯示。例如，基于60帖每秒（化ames per second,FP巧的刷新率，在Samsung飯Gala巧No化⑥2電話上測量到的對觸摸事件的典 型顯示響應(yīng)時間可大于100毫秒或者可大致超過6帖視頻圖像，該是大部分用戶可W注意 到的。
[0048] 圖1A圖示出包括作為對比的觸摸輸入處理設(shè)備的設(shè)備的響應(yīng)，其中顯示的線條 100在手指的位置與顯示線條100的最后描繪部分之間具有間隙102,從而導(dǎo)致了用戶的觸 摸與顯示的線條之間的明顯顯示滯后。當(dāng)使用觸控筆一-無論是主動式還是被動式一-的 時候，也通常會遇到類似的顯示滯后。
[0049] 本發(fā)明的實(shí)施例通過提前于AP擅染圖像在觸摸路徑中覆蓋圖像來允許了用戶感 知到更快的觸摸響應(yīng)。通過閉合用戶的觸摸點(diǎn)（無論是使用手指、觸控筆還是其他工具） 與屏幕上線條的描繪之間的間隙，可W減小感知到的顯示滯后。就本文使用而言，術(shù)語"覆 蓋"(overlay)當(dāng)用作動詞時指的是將視頻圖像（例如AP擅染圖像）與附加圖像數(shù)據(jù)相組 合，W使得該附加圖像數(shù)據(jù)替換（或"覆蓋"）原始視頻圖像的某個部分。術(shù)語"覆蓋"當(dāng)用 作名詞時也可W指該附加圖像數(shù)據(jù)在組合顯示圖像中的出現(xiàn)。
[0050] 此外，通過使用覆蓋方法，應(yīng)用軟件還可控制所顯示的對觸摸事件的響應(yīng)的區(qū)域 (例如在顯示器上的位置）、顏色和擅染操作。
[0051] 圖1B圖示出包括根據(jù)本發(fā)明的實(shí)施例的觸摸輸入處理設(shè)備的設(shè)備的顯示響應(yīng)， 其中顯示的線條包括由根據(jù)本發(fā)明的實(shí)施例的低延時覆蓋系統(tǒng)描繪的估計或計算出的部 分104,從而減小了用戶感知到的顯示滯后。
[0052] 參考圖2,在計算設(shè)備250中，作為對對比系統(tǒng)的替換，本發(fā)明的實(shí)施例設(shè)及一種 低延時覆蓋系統(tǒng)（其也可稱為"加速器"或"視覺反饋加速器"），其在通過觸摸控制器200 和顯示驅(qū)動器接口控制器（display化