用于感知具有多形態(tài)反饋的圖像的系統(tǒng)和方法
【技術領域】
[0001] 本申請大體上涉及圖像感知，更具體地說，涉及感知具有多形態(tài)（multimodal)反 饋的圖像。
【背景技術】
[0002] 圖像，諸如圖片、圖形和背景，通常僅通過對靜態(tài)圖像的查看而在電子設備的用戶 界面上被感知到。當前使用的越來越多的消費者電子設備包括觸摸屏、揚聲器、以及提供觸 覺反饋的能力。觸覺反饋是通過感應使用諸如振動或運動的移動的觸摸而提供給用戶的反 饋。
[0003] 因此，存在對于通過使用多形態(tài)反饋來增強圖像感知的需要。

【發(fā)明內(nèi)容】

[0004] 技術問題
[0005] 本公開的實施例提供用于感知具有多形態(tài)反饋的圖像的系統(tǒng)和方法。
[0006] 在一個實施例中，提供了一種用于提供用于圖像的反饋效果的方法。所述方法包 括在圖像的區(qū)域中識別一個或多個特征。所述方法還包括將一個或多個所識別的特征映射 到反饋效果的多個形態(tài)中的至少一個。另外，所述方法包括生成用于反饋效果輸出的參數(shù) 并且將所生成的參數(shù)與圖像相關聯(lián)地存儲，從而響應于與圖像的區(qū)域相對應的用戶的輸入 坐標，與圖像相關聯(lián)的用戶界面被配置為向用戶提供反饋效果的多個形態(tài)中的至少一個。 反饋效果的多個形態(tài)包括一個或多個視覺反饋效果、一個或多個觸覺反饋效果、和一個或 多個音頻反饋效果。
[0007] 在另一實施例中，提供了一種用于提供用于圖像的反饋效果的系統(tǒng)。所述系統(tǒng)包 括至少一個處理器和被配置為存儲程序代碼的至少一個存儲設備。處理器被配置為運行程 序代碼，以在圖像的區(qū)域中識別一個或多個特征；將一個或多個所識別的特征映射到反饋 效果的多個形態(tài)中的至少一個；以及生成用于反饋效果輸出的參數(shù)并將所生成的參數(shù)與圖 像相關聯(lián)地存儲，從而響應于與圖像的區(qū)域相對應的用戶的輸入坐標，與圖像相關聯(lián)的用 戶界面被配置為向用戶提供反饋效果的多個形態(tài)中的至少一個。
[0008] 在又一個實施例中，提供一種非暫態(tài)計算機可讀介質，其包含用于提供用于圖像 的反饋效果的程序代碼。計算機可讀介質包括用于在圖像的區(qū)域中識別一個或多個特征的 程序代碼。計算機可讀介質還包括用于將一個或多個所識別的特征映射到反饋效果的多個 形態(tài)中的至少一個的程序代碼。另外，計算機可讀介質包括用于以下各項的程序代碼：用于 生成用于反饋效果輸出的參數(shù)并且用于將所生成的參數(shù)與圖像相關聯(lián)地存儲，從而響應于 與圖像的區(qū)域相對應的用戶的輸入坐標，與圖像相關聯(lián)的用戶界面被配置為向用戶提供反 饋效果的多個形態(tài)中的至少一個。
[0009] 在下面進行詳細描述之前，對貫穿本專利文件中所使用的某些詞匯和短語的定義 進行闡述會是有利的：術語"包括"和"包含"及其派生詞意指沒有限制的包括；術語"或" 是包括性的，意指和/或；短語"與…相關聯(lián)"和"與其相關聯(lián)"及其派生詞的可以意指包 括、被包括在內(nèi)、與…互連、包含、被包含在內(nèi)、連接到或與…連接、耦接到或者與…耦接、可 與…通信、與…合作、交織、并列、接近于、綁定到或與…綁定、具有、具有…的性質等等；并 且術語"控制器"意指控制至少一個操作的任意設備、系統(tǒng)或它們的部件，這樣的設備可以 在硬件、固件或軟件或者硬件、固件或軟件中的至少兩個的某種組合中實現(xiàn)。應當注意到， 與任意特定控制器相關聯(lián)的功能可以是集中的或者分布式的，或者在本地或在遠程的。提 供特定詞匯和短語的定義以用于本專利文件的通篇文檔，本領域普通技術人員應當理解， 即便不是在大多數(shù)情況下，那么也在許多情況下，這些定義也適用于現(xiàn)有的以及將來的對 這些所定義詞匯和短語的使用。
【附圖說明】
[0010] 為了更完整地理解本公開及其優(yōu)點，現(xiàn)參考下列結合附圖的描述，在附圖中，同樣 的參考標記表示同樣的部件：
[0011] 圖1圖示了在實現(xiàn)本公開的各種實施例時可使用的電子設備；
[0012] 圖2圖示了依照本公開的各種實施例的，用于生成用于圖像的反饋效果的系統(tǒng)；
[0013] 圖3圖示了圖2中圖示的系統(tǒng)中的再平衡模塊的示例性實施例；
[0014] 圖4圖示了依據(jù)本公開的各種實施例的，基于基礎（underlying)紋理值來對圖像 塊進行歸類的過程的流程圖；
[0015] 圖5圖示了依照本公開的說明性實施例的，來自根據(jù)粗糙度、對比度和梯度的平 均值而歸類的不同聚類（cluster)的塊；
[0016] 圖6圖示了依照本公開的說明性實施例的，被提取到紋理映射、強度映射、和顏色 映射中的輸入圖像的一個示例；
[0017] 圖7A和7B圖示了依照本公開的說明性實施例的，響應于用戶在圖像上觸摸而提 供的反饋效果；
[0018] 圖8A圖示了依照本公開的說明性實施例的圖像中的波紋（ripple)效果；
[0019] 圖8B圖示了依照本公開的說明性實施例的圖像中的輝光（glow)效果；
[0020] 圖8C圖示了依照本公開的說明性實施例的圖像中的運動模糊效果；
[0021] 圖9圖示了依照本公開的說明性實施例的，在提取的圖像特征和反饋效果之間的 示例性映射；
[0022] 圖10圖示了依照本公開的說明性實施例的，用于移動電話的用戶界面中顯示的 圖像；
[0023] 圖11圖示了依照本公開的各種實施例的，用于生成用于圖像的反饋效果的過程； 以及
[0024] 圖12圖示了依照本公開的各種實施例的，用于向用戶提供圖像反饋效果的過程。
【具體實施方式】
[0025] 下面討論的圖1到圖12以及本專利文檔中用來描述本公開原理的各種實施例僅 是說明性的，并不應當將其解釋為以任何方式來限制本公開的范圍。本領域技術人員將會 理解本公開的原理可以以任意適當安排的系統(tǒng)或設備來實現(xiàn)。
[0026] 通過本公開的各種實施例認識到觸覺反饋可以例如在尤其是嘈雜環(huán)境中提供提 高的生產(chǎn)率（productivity)。通過本公開的各種實施例還認識到觸覺反饋可以延伸到諸如 圖像的視覺內(nèi)容的情境中，以傳達沉浸式感官體驗。圖像在視覺媒體中保存當前的感官體 驗，這使得能在需要時實現(xiàn)喚回體驗。然而，在場景中的聽覺、觸摸及其它感官內(nèi)容在此過 程中被丟棄。某些部分的感官體驗可以通過視覺、音頻和觸覺效果的集中施加來在查看圖 像時被再創(chuàng)建。例如，本公開的實施例基于探針的形狀、用戶跨越虛擬表面而正在移動探針 的速度、和虛擬表面的形狀來認識觸覺反饋的強度。通過本公開的實施例認識到在圖像上 合并觸覺反饋的現(xiàn)有途徑的限制包括：除了觸覺之外缺少同時合并的視覺和音頻效果，并 且缺少用于評價不同類型的觸覺反饋合并的有效性的用戶學習。
[0027] 通過本公開的各種實施例還認識到音頻反饋可以增強圖像感知。例如，音頻反饋 涉及在用戶正在屏幕上觸摸特定種類的紋理時生成特定聲音的系統(tǒng)。通過本公開的實施例 認識到這樣的系統(tǒng)的限制是所涉及的計算復雜性。例如，計算復雜性可以限制所生成的聲 音的多樣性。通過本公開的各種實施例還認識到視覺反饋涉及到涉及用于提高圖像感知的 對視覺內(nèi)容的更改的途徑。通過本公開的實施例認識到如同觸覺和音頻一樣，視覺反饋系 統(tǒng)可能要求大量人工干預。
[0028] 因此，本