用于生成與音頻信號(hào)中的包絡(luò)相關(guān)聯(lián)的觸覺(jué)效果的系統(tǒng)和方法
【專(zhuān)利摘要】本發(fā)明涉及用于生成與音頻信號(hào)中的包絡(luò)相關(guān)聯(lián)的觸覺(jué)效果的系統(tǒng)和方法。用于輸出觸覺(jué)效果的一種公開(kāi)的系統(tǒng)包括處理器，其被配置成：接收音頻信號(hào)；確定與該音頻信號(hào)有關(guān)的包絡(luò)；至少部分基于該包絡(luò)，確定觸覺(jué)效果；以及輸出與觸覺(jué)效果相關(guān)聯(lián)的觸覺(jué)信號(hào)。
【專(zhuān)利說(shuō)明】用于生成與音頻信號(hào)中的包絡(luò)相關(guān)聯(lián)的觸覺(jué)效果的系統(tǒng)和方法
[0001]相關(guān)申請(qǐng)的交叉引用
[0002]本申請(qǐng)要求于2013年9月6日提交的并且標(biāo)題為“Aud1 to Haptics”的美國(guó)臨時(shí)申請(qǐng)N0.61/874,933的優(yōu)先權(quán)，其全部?jī)?nèi)容通過(guò)引用被包含在此。
[0003]本申請(qǐng)涉及與本申請(qǐng)同一天提交的并且標(biāo)題為“Systems and Methods forGenerating Haptic Effects Associated with Transit1ns in Aud1 Signals，，(代理人案號(hào):N0.1MM477 (51851-879623))的美國(guó)專(zhuān)利申請(qǐng)N0.14/078，438，其全部?jī)?nèi)容通過(guò)引用被包含在此。
[0004]本專(zhuān)利申請(qǐng)涉及與本申請(qǐng)同一天提交的并且標(biāo)題為“Systems and Methodsfor Generating Haptic Effects Associated with Aud1 Signals，，(代理人案號(hào):N0.1MM479 (51851-879622))的美國(guó)專(zhuān)利申請(qǐng)N0.14/078，445，其全部?jī)?nèi)容通過(guò)引用被包含在此。

【技術(shù)領(lǐng)域】
[0005]本發(fā)明一般涉及觸覺(jué)反饋，更具體地，涉及生成音頻信號(hào)中的包絡(luò)相關(guān)聯(lián)的觸覺(jué)效果的系統(tǒng)和方法。

【背景技術(shù)】
[0006]觸摸使能設(shè)備已經(jīng)日益變得普遍。例如，移動(dòng)和其它設(shè)備可以配置有觸敏顯示器，使得用戶能通過(guò)觸摸顯示器的部分提供輸入。作為另一例子，與顯示器分離的觸覺(jué)使能表面可以用于輸入，諸如觸控板、鼠標(biāo)或其它設(shè)備。此外，一些觸摸使能設(shè)備利用觸覺(jué)效果，例如，配置成模擬觸摸表面上的紋理或摩擦的觸覺(jué)效果。在一些設(shè)備中，這些觸覺(jué)效果可以與由設(shè)備輸出的音頻或其它效果相關(guān)。然而，由于處理和輸出音頻和觸覺(jué)效果的延遲，所以這些效果可能不太引人注目。由此，需要與音頻效果相關(guān)聯(lián)的改進(jìn)的觸覺(jué)效果。


【發(fā)明內(nèi)容】

[0007]本公開(kāi)內(nèi)容的實(shí)施例包括以在觸摸區(qū)上感受并且與音頻信號(hào)相關(guān)聯(lián)的觸覺(jué)效果為特征的設(shè)備。這些觸覺(jué)效果可以包括但不限于紋理的變化、摩擦系數(shù)的變化和/或通過(guò)使用與表面接觸的物體可以感知的觸摸表面中的邊界、障礙或其它不連續(xù)的模擬。
[0008]在一個(gè)實(shí)施例中，本公開(kāi)內(nèi)容的系統(tǒng)可以包括處理器，其被配置成:接收音頻信號(hào)；確定與音頻信號(hào)相關(guān)聯(lián)的包絡(luò)；至少部分基于該包絡(luò)，確定觸覺(jué)效果，以及輸出與觸覺(jué)效果相關(guān)聯(lián)的觸覺(jué)信號(hào)。
[0009]所述的該示例性實(shí)施例不限制或限定本主題的范圍，而是提供幫助其理解的例子。在詳細(xì)描述中論述了示例性實(shí)施例，并提供了進(jìn)一步描述。通過(guò)檢驗(yàn)本說(shuō)明書(shū)和/或通過(guò)實(shí)施所要求的主題的一個(gè)或多個(gè)實(shí)施例，可以進(jìn)一步理解由各個(gè)實(shí)施例提供的優(yōu)點(diǎn)。

【專(zhuān)利附圖】

【附圖說(shuō)明】
[0010]在說(shuō)明書(shū)的剩余部分中，更具體地闡述全面和詳盡的公開(kāi)內(nèi)容。本說(shuō)明書(shū)參考下述附圖。
[0011]圖1A示出生成與音頻信號(hào)中的包絡(luò)相關(guān)聯(lián)的觸覺(jué)效果的示例性系統(tǒng)；
[0012]圖1B示出圖1A中所示的系統(tǒng)的一個(gè)實(shí)施例的外部視圖；
[0013]圖1C示例圖1A中所示的系統(tǒng)的另一實(shí)施例的外部視圖；
[0014]圖2A示例生成與音頻信號(hào)中的包絡(luò)相關(guān)聯(lián)的觸覺(jué)效果的示例性實(shí)施例；
[0015]圖2B示例生成與音頻信號(hào)中的包絡(luò)相關(guān)聯(lián)的觸覺(jué)效果的示例性實(shí)施例；
[0016]圖3示例根據(jù)一個(gè)實(shí)施例的生成與音頻信號(hào)中的包絡(luò)相關(guān)聯(lián)的觸覺(jué)效果的示例性實(shí)施例；
[0017]圖4示例根據(jù)一個(gè)實(shí)施例的生成與音頻信號(hào)中的包絡(luò)相關(guān)聯(lián)的觸覺(jué)效果的方法的流程圖；
[0018]圖5示例根據(jù)一個(gè)實(shí)施例的確定音頻信號(hào)的包絡(luò)的方法的流程圖；
[0019]圖6示例音頻信號(hào)和時(shí)域中的相同音頻信號(hào)的頻譜的圖；
[0020]圖7示例根據(jù)一個(gè)實(shí)施例的確定音頻信號(hào)的包絡(luò)的方法的流程圖；
[0021]圖8示例根據(jù)圖7所述的方法700確定的包絡(luò)的圖；
[0022]圖9示例根據(jù)一個(gè)實(shí)施例的清除所確定的包絡(luò)信號(hào)的方法的流程圖；以及
[0023]圖10示例被清除的包絡(luò)信號(hào)的圖。

【具體實(shí)施方式】
[0024]現(xiàn)在，將詳細(xì)地參考各個(gè)和替代示例性實(shí)施例和附圖。通過(guò)說(shuō)明，提供每一例子，而不是限制。對(duì)本領(lǐng)域的技術(shù)人員來(lái)說(shuō)，能做出改進(jìn)和變化是顯而易見(jiàn)的。例如，示例或描述為一個(gè)實(shí)施例的部分的特征可以用在另一實(shí)施例上來(lái)產(chǎn)生又一實(shí)施例。因此，期望該公開(kāi)內(nèi)容包括落在所附權(quán)利要求及其等同物的范圍內(nèi)的改進(jìn)和變化。
[0025]生成與音頻信號(hào)中的包絡(luò)相關(guān)聯(lián)的觸覺(jué)效果的設(shè)備的示例性例子
[0026]本公開(kāi)內(nèi)容的一個(gè)示例性實(shí)施例包括計(jì)算系統(tǒng)，諸如智能電話、平板電腦或便攜式音樂(lè)設(shè)備。在一些實(shí)施例中，計(jì)算系統(tǒng)可以包括可穿戴設(shè)備，或嵌入家具或衣服中，或具有嵌入式致動(dòng)器的任何其它設(shè)備。計(jì)算系統(tǒng)能包括一個(gè)或多個(gè)傳感器和/或可以與一個(gè)或多個(gè)傳感器，諸如加速度計(jì)，以及用于確定相對(duì)于該例子中對(duì)應(yīng)于設(shè)備的屏幕的顯示區(qū)的觸摸位置的傳感器(例如光學(xué)、電阻或電容式)通信。
[0027]當(dāng)用戶與設(shè)備交互時(shí)，一個(gè)或多個(gè)觸覺(jué)輸出設(shè)備，例如致動(dòng)器被用來(lái)提供觸覺(jué)效果。例如，可以輸出觸覺(jué)效果來(lái)模擬設(shè)備的表面上的紋理的存在。在一個(gè)這種實(shí)施例中，當(dāng)用戶的手指跨表面移動(dòng)時(shí)，可以輸出振動(dòng)、電場(chǎng)或其它效果來(lái)模擬設(shè)備的表面上的紋理感。類(lèi)似地，在另一實(shí)施例中，當(dāng)用戶移動(dòng)手指跨過(guò)設(shè)備時(shí)，基于手指的位置、速度和/或加速度或手指已經(jīng)與設(shè)備接觸的時(shí)間長(zhǎng)度，能改變(例如，增加或減小)所感知的屏幕的摩擦系數(shù)。在其它實(shí)施例中，移動(dòng)設(shè)備可以輸出諸如振動(dòng)、上托、點(diǎn)擊或表面變形的觸覺(jué)效果。在一些實(shí)施例中，當(dāng)某一事件發(fā)生時(shí)，可以在一定時(shí)間段(例如50ms)內(nèi)輸出觸覺(jué)效果。在其它實(shí)施例中，觸覺(jué)效果可以隨固定周期改變，例如，在實(shí)施例中，可以輸出以10Hz速率，例如10Hz正弦曲線改變的紋理。
[0028]在示例性實(shí)施例中，觸覺(jué)效果包括與音頻信號(hào)相關(guān)聯(lián)的效果。例如，在一些實(shí)施例中，觸覺(jué)效果可以包括與音頻軌相關(guān)聯(lián)的觸覺(jué)效果。在一些實(shí)施例中，在確定觸覺(jué)效果時(shí)，用戶可能正收聽(tīng)音頻軌(例如使用耳機(jī)、揚(yáng)聲器或一些其它類(lèi)型的音頻輸出設(shè)備)。在其它實(shí)施例中，可以預(yù)先確定觸覺(jué)效果，作為“觸覺(jué)軌(haptic track)”的一部分?？梢耘c音頻文件一起，分發(fā)該觸覺(jué)軌，以便其隨音頻軌播放。在一些實(shí)施例中，可以使觸覺(jué)軌與音頻軌同步，使得觸覺(jué)效果對(duì)應(yīng)于音頻軌中的事件。在其它實(shí)施例中，觸覺(jué)效果可以與音頻-視覺(jué)(“AV”)軌，例如視頻文件的音頻部分相關(guān)聯(lián)。
[0029]本公開(kāi)內(nèi)容的一個(gè)示例性實(shí)施例包括用于確定用于觸覺(jué)效果生成的音頻信號(hào)的包絡(luò)的系統(tǒng)和方法。在這種實(shí)施例中，包絡(luò)可以包括緊密地跟隨音頻信號(hào)的時(shí)間和頻率內(nèi)容的曲線。然后，這種系統(tǒng)可以將該包絡(luò)乘以另一信號(hào)。確定音頻信號(hào)的包絡(luò)可以使音頻至觸覺(jué)系統(tǒng)定位其中音頻信號(hào)接近噪聲或幅度非常低的區(qū)域。這種示例性系統(tǒng)可以基于觸覺(jué)信號(hào)自動(dòng)地生成觸覺(jué)效果，但可以使用包絡(luò)確定來(lái)定位接近噪聲的信號(hào)的區(qū)域，然后避免在那些區(qū)域中或附近生成觸覺(jué)效果。
[0030]此外，在一些實(shí)施例中，只要系統(tǒng)確定與音頻信號(hào)相關(guān)聯(lián)的包絡(luò)，然后，該系統(tǒng)結(jié)合其它觸覺(jué)效果確定算法(例如頻移)使用該信號(hào)以便確定觸覺(jué)效果。在一些實(shí)施例中，可以以協(xié)同或同步的方式，與音頻文件一起輸出觸覺(jué)效果。在其它實(shí)施例中，這些觸覺(jué)效果可以存儲(chǔ)在可以與音頻文件分開(kāi)存儲(chǔ)的觸覺(jué)軌中。然后，觸覺(jué)軌可以與音頻文件分開(kāi)播放。在一些實(shí)施例中，可以與音頻文件一起，將觸覺(jué)軌分發(fā)為用于內(nèi)容作者的紅利，或額外的收來(lái)源。
[0031]如在下文進(jìn)一步詳細(xì)所述，可以在音頻信號(hào)中找到任何數(shù)量的特征。本公開(kāi)內(nèi)容的實(shí)施例提供用于識(shí)別這些特征，然后確定和輸出與這些特征相關(guān)聯(lián)的觸覺(jué)效果的系統(tǒng)和方法。此外，在一些實(shí)施例中，在此所述的系統(tǒng)和方法可以用來(lái)確定與其它類(lèi)型的信號(hào)，例如壓力、加速度、速度或溫度信號(hào)相關(guān)聯(lián)的觸覺(jué)效果。
[0032]生成與音頻信號(hào)中的包絡(luò)相關(guān)聯(lián)的觸覺(jué)效果的示例性系統(tǒng)
[0033]圖1A示出用于生成與音頻信號(hào)中的包絡(luò)相關(guān)聯(lián)的觸覺(jué)效果的示例性系統(tǒng)100。具體地，在該例子中，系統(tǒng)100包括具有經(jīng)由總線106與其它硬件對(duì)接的處理器102的計(jì)算設(shè)備101。能包括諸如RAM、ROM、EEPROM等等的任何適當(dāng)?shù)挠行?且非瞬時(shí))計(jì)算機(jī)可讀介質(zhì)的存儲(chǔ)器104實(shí)施構(gòu)成計(jì)算設(shè)備的操作的程序部件。在該例子中，計(jì)算設(shè)備101進(jìn)一步包括一個(gè)或多個(gè)網(wǎng)絡(luò)接口設(shè)備110、輸入/輸出(I/O)接口部件112和附加存儲(chǔ)114。
[0034]網(wǎng)絡(luò)接口 110能表示便于網(wǎng)絡(luò)連接的任何部件的一個(gè)或多個(gè)。例子包括但不限于諸如以太網(wǎng)、USB、IEEE1394的有線接口，和/或諸如IEEE802.11、藍(lán)牙、或用于接入蜂窩電話網(wǎng)絡(luò)的無(wú)線電接口(例如用于接入CDMA、GSM、UMTS或其它移動(dòng)通信網(wǎng)絡(luò)的收發(fā)器/天線)的無(wú)線接口。
[0035]I/O部件112可以用來(lái)便于與諸如一個(gè)或多個(gè)顯示器、鍵盤(pán)、鼠標(biāo)、揚(yáng)聲器、麥克風(fēng)、照相機(jī)和/或用來(lái)輸入數(shù)據(jù)或輸出數(shù)據(jù)的其它硬件的設(shè)備連接。例如，在一些實(shí)施例中，I/O部件112可以包括配置成播放由處理器102提供的音頻信號(hào)的揚(yáng)聲器。存儲(chǔ)114表示非易失存儲(chǔ)器，諸如磁、光或包括在設(shè)備101中的其它存儲(chǔ)介質(zhì)。在一些實(shí)施例中，存儲(chǔ)114可以被配置成存儲(chǔ)音頻文件，其被配置成經(jīng)由I/O部件112向用戶播放。
[0036]系統(tǒng)100進(jìn)一步包括觸摸表面116，在該例子中，被集成到設(shè)備101中。觸摸表面116表示被配置成感測(cè)用戶的觸摸輸入的任何表示。一個(gè)或多個(gè)傳感器108被配置成當(dāng)物體接觸觸摸表面時(shí)檢測(cè)觸摸區(qū)中的觸摸，并且提供適當(dāng)?shù)臄?shù)據(jù)，用于由處理器102使用。能使用任何適當(dāng)數(shù)量、類(lèi)型、或排列的傳感器。例如，可以將電阻和/或電容傳感器嵌入觸摸表面116中，并且用來(lái)確定觸摸的位置和其它信息，諸如壓力。作為另一例子，可以使用以觸摸表面為目的的光傳感器來(lái)確定觸摸位置。在一些實(shí)施例中，傳感器108和觸摸表面116可以包括觸摸屏或觸摸板。例如，在一些實(shí)施例中，觸摸表面116和傳感器108可以包括安裝在被配置成接收顯示信號(hào)和向用戶輸出圖像的顯示器的上面的觸摸屏。在其它實(shí)施例中，傳感器108可以包括LED檢測(cè)器。例如，在一個(gè)實(shí)施例中，觸摸表面116可以包括安裝在顯示器的側(cè)面上的LED手指檢測(cè)器。在一些實(shí)施例中，處理器與單個(gè)傳感器108通信，在其它實(shí)施例中，處理器與多個(gè)傳感器108，例如第一觸摸屏和第二觸摸屏通信。傳感器108被配置成檢測(cè)用戶交互，并且基于該用戶交互，將信號(hào)傳送到處理器102。在一些實(shí)施例中，傳感器108可以被配置成檢測(cè)用戶交互的多個(gè)方面。例如，傳感器108可以檢測(cè)用戶交互的速度和壓力，以及將該信息包含到接口信號(hào)中。
[0037]設(shè)備101進(jìn)一步包括觸覺(jué)輸出設(shè)備118。在圖1A所不的例子中，觸覺(jué)輸出設(shè)備118與處理器102通信并且耦接到觸摸表面116。在一些實(shí)施例中，觸覺(jué)輸出設(shè)備118被配置成響應(yīng)于觸覺(jué)信號(hào)，輸出模擬觸摸表面上的紋理的觸覺(jué)效果。另外或者替代地，觸覺(jué)輸出設(shè)備118可以提供以受控方式，移動(dòng)觸摸表面的振動(dòng)觸覺(jué)效果。一些觸覺(jué)效果可以利用耦接到設(shè)備的外殼的致動(dòng)器，以及一些觸覺(jué)效果可以依次和/或共同地使用多個(gè)致動(dòng)器。例如，在一些實(shí)施例中，可以通過(guò)以不同頻率振動(dòng)表面，模擬表面紋理。在這種實(shí)施例中，觸覺(jué)輸出設(shè)備118可以包括例如壓電致動(dòng)器、電動(dòng)機(jī)、電磁致動(dòng)器、音圈、形狀記憶合金、電活性聚合物、螺線管、偏心旋轉(zhuǎn)質(zhì)量電動(dòng)機(jī)(ERM)，或線性諧振致動(dòng)器(LRA)中的一個(gè)或多個(gè)。在一些實(shí)施例中，觸覺(jué)輸出設(shè)備118可以包括多個(gè)致動(dòng)器，例如ERM和LRA。在一些實(shí)施例中，觸覺(jué)設(shè)備118可以包括或嵌入在可穿戴設(shè)備、家具或衣服中。
[0038]盡管在此示出了單個(gè)觸覺(jué)輸出設(shè)備118，但實(shí)施例可以使用相同或不同類(lèi)型的多個(gè)觸覺(jué)輸出設(shè)備來(lái)輸出觸覺(jué)效果，例如模擬表面紋理或改變所感知的觸摸表面的摩擦系數(shù)。例如，在一個(gè)實(shí)施例中，壓電致動(dòng)器可以用來(lái)以超聲頻率垂直和/或水平地位移一些或全部觸摸表面116，諸如在一些實(shí)施例中，通過(guò)使用以大于20-25kHz的頻率移動(dòng)的致動(dòng)器。在一些實(shí)施例中，多個(gè)致動(dòng)器，諸如偏心旋轉(zhuǎn)質(zhì)量電動(dòng)機(jī)和線性諧振致動(dòng)器能單獨(dú)或共同使用來(lái)提供不同的紋理、摩擦系數(shù)的變化或其它觸覺(jué)效果。
[0039]還在其它的實(shí)施例中，觸覺(jué)輸出設(shè)備118可以例如，通過(guò)使用靜電表面致動(dòng)器，應(yīng)用靜電摩擦或吸引，來(lái)模擬觸摸表面116的表面上的紋理。類(lèi)似地，在一些實(shí)施例中，觸覺(jué)輸出設(shè)備118可以使用靜電吸引來(lái)改變用戶在觸摸表面116的表面上感受到的摩擦。例如，在一個(gè)實(shí)施例中，觸覺(jué)輸出設(shè)備118可以包括靜電顯示器或應(yīng)用電壓和電流，而不是機(jī)械運(yùn)動(dòng)來(lái)生成觸覺(jué)效果的任何其它設(shè)備。在這種實(shí)施例中，靜電致動(dòng)器可以包括導(dǎo)電層和絕緣層。在這種實(shí)施例中，導(dǎo)電層可以是任何半導(dǎo)體或其它導(dǎo)電材料，諸如銅、鋁、金或銀。并且絕緣層可以是玻璃、塑料、聚合物或任何其它絕緣材料。此外，處理器102可以通過(guò)將電信號(hào)施加到導(dǎo)電層來(lái)操作靜電致動(dòng)器。電信號(hào)可以是AC信號(hào)，其在一些實(shí)施例中，通過(guò)在觸摸表面116附近或接觸觸摸表面116的物體，與導(dǎo)電層電容耦合。在一些實(shí)施例中，由高壓放大器生成AC信號(hào)。在其它實(shí)施例中，電容稱(chēng)合可以模擬觸摸表面116的表面上的摩擦系數(shù)或紋理。例如，在一個(gè)實(shí)施例中，觸摸表面116的表面可以是平滑的，但電容耦合可以在觸摸表面116的表面附近的物體之間產(chǎn)生吸引力。在一些實(shí)施例中，改變物體和導(dǎo)電層之間的吸引水平會(huì)改變跨觸摸表面116的表面移動(dòng)的物體上的模擬紋理或改變當(dāng)物體跨觸摸表面116的表面移動(dòng)時(shí)感受到的摩擦系數(shù)。此外，在一些實(shí)施例中，靜電致動(dòng)器可以結(jié)合傳統(tǒng)的致動(dòng)器一起使用來(lái)改變觸摸表面116的表面上的模擬紋理。例如，致動(dòng)器可以振動(dòng)來(lái)模擬觸摸表面116的表面的紋理的變化，同時(shí)，靜電致動(dòng)器可以模擬觸摸表面116的表面上的不同紋理或其它效果。
[0040]本領(lǐng)域的普通技術(shù)人員將意識(shí)到除改變摩擦系數(shù)外，能使用其它技術(shù)或方法來(lái)例如模擬表面上的紋理。在一些實(shí)施例中，可以使用被配置成基于與表面可重構(gòu)觸覺(jué)基板(包括但不限于例如光纖、納米管、電活化聚合物、壓電元件或形狀記憶合金)或磁流變液的接觸，改變其紋理的柔性表面層，模擬或輸出紋理。在另一實(shí)施例中，可以通過(guò)提高或降低一個(gè)或多個(gè)表面特征，例如，通過(guò)變形機(jī)構(gòu)、空氣或液體袋、材料的局部變形、諧振機(jī)械元件、壓電材料、微機(jī)電系統(tǒng)(“MEMS”)元件、熱流體袋、MEMS泵、可變多孔性膜或?qū)恿髡{(diào)制，改變表面紋理。
[0041]在一些實(shí)施例中，可以使用靜電致動(dòng)器來(lái)通過(guò)刺激觸摸面116附近或與其接觸的本體的部分，生成觸覺(jué)效果。例如，在一些實(shí)施例中，靜電致動(dòng)器可以刺激能響應(yīng)于靜電致動(dòng)器的用戶的手指的皮膚的神經(jīng)末梢或尖筆中的部件。例如，皮膚中的神經(jīng)末梢可以被刺激并且感測(cè)靜電致動(dòng)器(例如電容耦合)，作為振動(dòng)或一些更具體的感覺(jué)。例如，在一個(gè)實(shí)施例中，靜電致動(dòng)器的導(dǎo)電層可以接收與用戶的手指的導(dǎo)電部分耦合的AC電壓信號(hào)。當(dāng)用戶觸摸該觸摸表面116并且在觸摸表面上移動(dòng)他或她的手指時(shí)，用戶可以感測(cè)多刺、粒狀、凸凹、粗糙、粘性的紋理或一些其它紋理。
[0042]此外，在一些實(shí)施例中，可以使用多個(gè)致動(dòng)器來(lái)輸出觸覺(jué)效果。這可以用來(lái)增加觸覺(jué)輸出設(shè)備118能輸出的效果的范圍。例如，在一些實(shí)施例中，可以協(xié)同靜電致動(dòng)器一起，使用振動(dòng)致動(dòng)器來(lái)生成寬范圍的效果。在另外的實(shí)施例中，另外類(lèi)型的觸覺(jué)輸出設(shè)備，諸如配置成使觸摸表面變形的設(shè)備可以協(xié)同其它觸覺(jué)輸出設(shè)備，諸如振動(dòng)致動(dòng)器一起使用。
[0043]轉(zhuǎn)到存儲(chǔ)器104，描繪了示例性程序部件124、126和128來(lái)示例如何將設(shè)備配置成生成與音頻信號(hào)中的包絡(luò)相關(guān)聯(lián)的觸覺(jué)效果。在該例子中，檢測(cè)模塊124配置處理器102來(lái)經(jīng)由傳感器108監(jiān)視觸摸表面116來(lái)確定觸摸的位置。例如，模塊124可以采樣傳感器108以便跟蹤存在或不存在觸摸，如果觸摸存在，則跟蹤位置、路徑、速度、加速度、壓力和/或隨時(shí)間的觸摸的其它特性的一個(gè)或多個(gè)。
[0044]觸覺(jué)效果確定模塊126表示分析音頻數(shù)據(jù)，諸如來(lái)自音頻效果的數(shù)據(jù)來(lái)選擇要生成的觸覺(jué)效果的程序部件。具體地，模塊126包括基于音頻數(shù)據(jù)，確定要輸出的觸覺(jué)效果的類(lèi)型的代碼。
[0045]觸覺(jué)效果生成模塊128表示使處理器102生成觸覺(jué)信號(hào)并且將其傳送到觸覺(jué)輸出設(shè)備118，使得觸覺(jué)輸出設(shè)備118生成所選擇的觸覺(jué)效果的編程。例如，生成模塊128可以訪問(wèn)所存儲(chǔ)的波形或命令來(lái)發(fā)送到觸覺(jué)輸出設(shè)備118。作為另一例子，觸覺(jué)效果生成模塊128可以接收所期望效果類(lèi)型并且利用信號(hào)處理算法來(lái)生成發(fā)送到觸覺(jué)輸出設(shè)備118的適當(dāng)信號(hào)。一些實(shí)施例可以共同利用多個(gè)觸覺(jué)輸出設(shè)備來(lái)輸出觸覺(jué)效果。在一些實(shí)施例中，處理器102可以流傳輸觸覺(jué)信號(hào)或?qū)⑵鋫魉偷接|覺(jué)輸出設(shè)備118。
[0046]取決于計(jì)算系統(tǒng)的具體結(jié)構(gòu)，觸摸表面可以或可以不覆蓋(或者另外對(duì)應(yīng)于)顯示器。在圖1B中，示出了計(jì)算系統(tǒng)100B的外部視圖。計(jì)算設(shè)備101包括結(jié)合觸摸表面和設(shè)備的顯示器的觸摸使能顯示器116。觸摸表面可以對(duì)應(yīng)于顯示器外部或?qū)嶋H顯示部件上的一個(gè)或多個(gè)材料層。
[0047]圖1C示例其中觸摸表面不覆蓋顯示器的觸摸使能計(jì)算系統(tǒng)100C的另一例子。在該例子中，計(jì)算設(shè)備101包括觸摸表面116，該觸摸表面116被映射到在與設(shè)備101對(duì)接的計(jì)算系統(tǒng)120中包括的顯示器122中提供的圖形用戶界面。例如，計(jì)算設(shè)備101可以包括鼠標(biāo)、觸控板或其它設(shè)備，而計(jì)算系統(tǒng)120可以包括臺(tái)式或膝上型計(jì)算機(jī)、機(jī)頂盒(例如，DVD播放器、DVR、閉路電視盒)，或其它計(jì)算系統(tǒng)。作為另一例子，觸摸表面116和顯示器122可以位于同一設(shè)備中，諸如包括顯示器122的膝上型計(jì)算機(jī)中的觸摸使能的觸控板。不管是否與顯示器一體化，在此的例子中的平面觸摸表面的描述不意味著限制。其它實(shí)施例包括進(jìn)一步被配置成提供基于表面的觸覺(jué)效果的彎曲或不規(guī)則觸摸使能表面。
[0048]圖2A-2B示例可以生成與音頻信號(hào)中的包絡(luò)相關(guān)聯(lián)的觸覺(jué)效果的設(shè)備的例子。圖2A是示例由包括觸摸使能顯示器202的計(jì)算設(shè)備201組成的系統(tǒng)200的外部視圖的圖。圖2B示出設(shè)備201的截面圖。設(shè)備201可以被配置成與圖1A的設(shè)備101類(lèi)似，盡管為了清楚起見(jiàn)，在該視圖中，未示出諸如處理器、存儲(chǔ)器、傳感器等等的部件。
[0049]如在圖2B看到的，設(shè)備201的特征在于多個(gè)觸覺(jué)輸出設(shè)備218和附加觸覺(jué)輸出設(shè)備222。觸覺(jué)輸出設(shè)備218-1可以包括被配置成將垂直力施加到顯示器202的致動(dòng)器，而218-2可以橫向移動(dòng)顯示器202。在該例子中，觸覺(jué)輸出設(shè)備218和222被直接耦接到顯示器，但應(yīng)當(dāng)理解到觸覺(jué)輸出設(shè)備218和222能耦接到另一觸摸表面，諸如顯示器202的頂部上的材料層。此外，應(yīng)當(dāng)理解到，如上所述，一個(gè)或多個(gè)觸覺(jué)輸出設(shè)備218或222可以包括靜電致動(dòng)器。此外，觸覺(jué)輸出設(shè)備222可以耦接到包含設(shè)備201的部件的外殼。在圖2A-2B的例子中，顯示器202的區(qū)域?qū)?yīng)于觸摸區(qū)域，盡管該原理能應(yīng)用于與顯示器完全分離的觸摸表面。
[0050]在一個(gè)實(shí)施例中，觸覺(jué)輸出設(shè)備218每個(gè)包括壓電致動(dòng)器，而附加觸覺(jué)輸出設(shè)備222包括偏心旋轉(zhuǎn)質(zhì)量電動(dòng)機(jī)、線性諧振致動(dòng)器，或另一壓電致動(dòng)器。觸覺(jué)輸出設(shè)備222能被配置成響應(yīng)于來(lái)自處理器的觸覺(jué)信號(hào)，提供振動(dòng)觸覺(jué)效果。振動(dòng)觸覺(jué)效果能與基于表面的觸覺(jué)效果結(jié)合，和/或用于其它目的。例如，可以協(xié)同輸出振動(dòng)、模擬紋理或改變顯示器202的表面的摩擦系數(shù)，使用每一致動(dòng)器。
[0051]在一些實(shí)施例中，觸覺(jué)輸出設(shè)備218-1和218-2的每一個(gè)或兩者能包括除壓電致動(dòng)器外的致動(dòng)器。致動(dòng)器的任何一個(gè)可以包括例如壓電致動(dòng)器、電磁致動(dòng)器、電活化聚合物、形狀記憶合金、柔性復(fù)合壓電致動(dòng)器(例如，由柔性材料組成的致動(dòng)器)、靜電和/或磁致伸縮致動(dòng)器。另外，示出了觸覺(jué)輸出設(shè)備222，盡管多個(gè)其它觸覺(jué)輸出設(shè)備能耦接到設(shè)備201的外殼和/或在另外的地方耦接觸覺(jué)輸出設(shè)備222。設(shè)備201還可以包括在不同位置處耦接到觸摸表面的多個(gè)觸覺(jué)輸出設(shè)備218-1/218-2。
[0052]現(xiàn)在轉(zhuǎn)到圖3，圖3示出用于根據(jù)本公開(kāi)內(nèi)容，生成與音頻信號(hào)中的包絡(luò)相關(guān)聯(lián)的觸覺(jué)效果的系統(tǒng)的一個(gè)實(shí)施例。圖3中所示的系統(tǒng)300包括計(jì)算設(shè)備301，其具有示出包括火車(chē)304的視頻的顯示器302。在一些實(shí)施例中，計(jì)算設(shè)備301可以包括手持計(jì)算設(shè)備，例如移動(dòng)電話、平板電腦、音樂(lè)播放器或膝上型計(jì)算機(jī)。在另一實(shí)施例中，計(jì)算設(shè)備301可以包括多功能控制器。例如，在公用電話亭、ATM或其它計(jì)算設(shè)備中使用的控制器。此外，在一個(gè)實(shí)施例中，計(jì)算設(shè)備301可以包括在車(chē)輛中使用的控制器。
[0053]視頻304可以進(jìn)一步包括由耦接到計(jì)算設(shè)備301的音頻輸出設(shè)備(例如揚(yáng)聲器或耳機(jī))(圖3中未示出)播放的可聽(tīng)效果。本公開(kāi)內(nèi)容的實(shí)施例包括用于基于音頻信號(hào)，確定觸覺(jué)效果的方法。例如，一些實(shí)施例可以將音頻信號(hào)與視頻信號(hào)分離，然后執(zhí)行如在下文進(jìn)一步詳細(xì)所述的各種操作，確定隨音頻軌輸出的觸覺(jué)效果。
[0054]在一些實(shí)施例中，顯示器302可以包括觸摸使能顯示器。此外，除了顯示視頻之夕卜，顯示器302可以為用戶提供圖形用戶界面，例如，用于公用電話亭、ATM、立體聲系統(tǒng)、汽車(chē)儀表盤(pán)、電話、計(jì)算機(jī)、音樂(lè)播放器的圖形用戶界面或本領(lǐng)域已知的一些其它圖形用戶界面。在這種實(shí)施例中，計(jì)算設(shè)備301可以基于與圖形用戶界面相關(guān)聯(lián)的音頻信號(hào)，確定觸覺(jué)效果。例如，在一些實(shí)施例中，圖形用戶界面可以包括當(dāng)用戶與圖標(biāo)、按鈕或其它界面元件交互時(shí)輸出的音頻效果。在一些實(shí)施例中，計(jì)算設(shè)備301可以進(jìn)一步確定與這些音頻效果的一個(gè)或多個(gè)相關(guān)聯(lián)的觸覺(jué)效果。在一些實(shí)施例中，計(jì)算設(shè)備301可以從音頻信號(hào)中的包絡(luò)或任何其它傳感器導(dǎo)出信號(hào)，例如，來(lái)自諸如用戶接口、加速度計(jì)、陀螺儀、慣性測(cè)量單元等等的傳感器的信號(hào)，導(dǎo)出觸覺(jué)效果。
[0055]在一些實(shí)施例中，可以不包括視頻信號(hào)。例如，在一些實(shí)施例中，可以隨不與視頻關(guān)聯(lián)的音頻軌，播放觸覺(jué)效果。在這種實(shí)施例中，當(dāng)正播放信號(hào)或在正播放的信號(hào)前的時(shí)間，在此公開(kāi)的系統(tǒng)和方法可以實(shí)時(shí)地操作音頻信號(hào)。例如，在一些實(shí)施例中，可以處理音頻信號(hào)來(lái)確定存儲(chǔ)在數(shù)據(jù)存儲(chǔ)中，用于未來(lái)播放的觸覺(jué)軌。在這種實(shí)施例中，可以由播放觸覺(jué)軌的計(jì)算設(shè)備，確定觸覺(jué)軌。在其它實(shí)施例中，可以由音頻軌的作者或發(fā)布者創(chuàng)建觸覺(jué)軌。在這種實(shí)施例中，作者或發(fā)布者可以與音頻軌一起發(fā)布觸覺(jué)軌。
[0056]用于生成與音頻信號(hào)中的包絡(luò)相關(guān)聯(lián)的觸覺(jué)效果的示例性方法
[0057]圖4是示出用于生成與音頻信號(hào)中的包絡(luò)相關(guān)聯(lián)的觸覺(jué)效果的示例性方法400的流程圖。在一些實(shí)施例中，流程圖400中的步驟可以用由處理器，例如通用計(jì)算機(jī)、移動(dòng)設(shè)備或服務(wù)器中的處理器執(zhí)行的程序代碼來(lái)實(shí)現(xiàn)。在一些實(shí)施例中，這些步驟可以由一組處理器來(lái)實(shí)現(xiàn)。在一些實(shí)施例中，圖4中所示的步驟可以以不同的順序來(lái)執(zhí)行?？商娲?，在一些實(shí)施例中，可以跳過(guò)圖4中所示的一個(gè)或多個(gè)步驟，或可以執(zhí)行圖4中未示出的另外的步驟。就音頻信號(hào)而言，描述圖4中的步驟。然而，在一些實(shí)施例中，可以使用上述方法來(lái)確定與其它類(lèi)型的信號(hào)，例如壓力、加速度、速度或溫度信號(hào)相關(guān)聯(lián)的觸覺(jué)效果。參考就關(guān)于圖1A中所示的系統(tǒng)100所述的部件，描述下述步驟。
[0058]當(dāng)處理器102接收音頻信號(hào)402時(shí)，方法400開(kāi)始。在一些實(shí)施例中，音頻信號(hào)可以包括與正在計(jì)算設(shè)備101上播放的視頻相關(guān)聯(lián)的信號(hào)。在其它實(shí)施例中，音頻信號(hào)可以包括與目前正在計(jì)算設(shè)備101上播放的音頻文件相關(guān)聯(lián)的信號(hào)。在其它實(shí)施例中，音頻信號(hào)可以與在計(jì)算設(shè)備101上本地存儲(chǔ)或在遠(yuǎn)程服務(wù)器上存儲(chǔ)的音頻文件相關(guān)聯(lián)。例如，在一些實(shí)施例中，音頻信號(hào)可以包括存儲(chǔ)在服務(wù)器上并且按需下載到用戶的音頻文件。
[0059]當(dāng)處理器102確定與音頻信號(hào)404相關(guān)聯(lián)的包絡(luò)時(shí)，方法400繼續(xù)。在這種實(shí)施例中，包絡(luò)可以包括緊密地跟隨音頻信號(hào)的時(shí)間和頻率內(nèi)容的曲線。然后，這種系統(tǒng)可以使該包絡(luò)與另一信號(hào)相乘。確定音頻信號(hào)的包絡(luò)可以使音頻至觸覺(jué)系統(tǒng)定位其中音頻信號(hào)接近噪聲或幅度非常低的區(qū)域。在下文中，將進(jìn)一步詳細(xì)地描述用于確定音頻信號(hào)的包絡(luò)的實(shí)施例。
[0060]當(dāng)處理器102基于包絡(luò)406確定觸覺(jué)效果時(shí)，方法400繼續(xù)。在一些實(shí)施例中，觸覺(jué)效果可以包括由一個(gè)或多個(gè)觸覺(jué)輸出設(shè)備118輸出的振動(dòng)。在一些實(shí)施例中，該振動(dòng)可以用來(lái)增強(qiáng)在計(jì)算設(shè)備101上播放的音頻軌的用戶感知。類(lèi)似地，在一些實(shí)施例中，第一觸覺(jué)效果可以包括觸摸表面116上摩擦系數(shù)的變化。在其它實(shí)施例中，觸覺(jué)效果可以包括觸摸表面116的表面上的模擬紋理(例如，水、草、冰、金屬、沙灘、碎石、磚塊、毛皮、皮革、皮膚、織物、橡膠、樹(shù)葉或任何其它可用紋理中的一個(gè)或多個(gè)紋理)。
[0061]在一些實(shí)施例中，處理器102可以依賴(lài)于包含在觸覺(jué)效果確定模塊126中的編程來(lái)確定該觸覺(jué)效果。例如，處理器102可以訪問(wèn)在存儲(chǔ)器104中存儲(chǔ)的并且與特定觸覺(jué)效果相關(guān)聯(lián)的驅(qū)動(dòng)信號(hào)。作為另一例子，可以通過(guò)訪問(wèn)所存儲(chǔ)的算法和輸入與效果相關(guān)聯(lián)的參數(shù)，生成信號(hào)。例如，算法可以輸出用在基于振幅和頻率參數(shù)生成驅(qū)動(dòng)信號(hào)中的數(shù)據(jù)。作為另一例子，觸覺(jué)信號(hào)可以包括發(fā)送到致動(dòng)器以便由致動(dòng)器解碼的數(shù)據(jù)。例如，致動(dòng)器本身可以響應(yīng)于指定諸如振幅和頻率的參數(shù)的命令。
[0062]此外，在一些實(shí)施例中，用戶能選擇與音頻文件相關(guān)聯(lián)的振動(dòng)、紋理、摩擦系數(shù)的變化或其它觸覺(jué)效果以便定制計(jì)算設(shè)備101。例如，在一些實(shí)施例中，用戶可以選擇諸如允許觸摸界面的感覺(jué)的個(gè)性化的表面紋理的觸覺(jué)效果。在一些實(shí)施例中，該觸覺(jué)效果可以與例如，用于來(lái)電呼叫、電子郵件、文本消息、警報(bào)或其它事件的鈴聲相關(guān)聯(lián)。在一些實(shí)施例中，用戶可以通過(guò)修改設(shè)定或下載與特定效果相關(guān)聯(lián)的軟件，選擇這些個(gè)性化的觸覺(jué)效果或表面紋理。在其它實(shí)施例中，用戶可以通過(guò)所檢測(cè)的與設(shè)備的交互指定效果。在一些實(shí)施例中，該個(gè)性化的觸覺(jué)效果會(huì)增加用戶的擁有感以及用戶和他或她的設(shè)備之間的連接。
[0063]還在其它實(shí)施例中，設(shè)備制造商、藝術(shù)家、電視錄像制作人或軟件開(kāi)發(fā)商可以選擇諸如表面紋理的不同觸覺(jué)效果來(lái)在他們的設(shè)備、用戶界面或藝術(shù)作品(例如歌曲、視頻或音頻軌)上加品牌。在一些實(shí)施例中，這些觸覺(jué)效果對(duì)品牌設(shè)備是唯一的并且與可以增加品牌意識(shí)的其它不同要素類(lèi)似。例如，許多移動(dòng)設(shè)備和平板電腦包括定制或品牌主屏環(huán)境。例如，在一些實(shí)施例中，由不同制造商生產(chǎn)的設(shè)備可以包括相同操作系統(tǒng)，然而，制造商可以通過(guò)修改該主屏環(huán)境區(qū)分他們的設(shè)備。類(lèi)似地，由某一公司生產(chǎn)的視頻或音頻軌可以包括特定類(lèi)型的觸覺(jué)效果。由此，在一些實(shí)施例中，一些設(shè)備制造商、生產(chǎn)公司或軟件開(kāi)發(fā)人員可以使用觸覺(jué)效果，諸如基于紋理或摩擦的效果來(lái)創(chuàng)建唯一和可區(qū)分的用戶體驗(yàn)。
[0064]在一些實(shí)施例中，可以使用包絡(luò)來(lái)確定是否輸出觸覺(jué)效果。例如，在一些實(shí)施例中，可以從音頻軌自動(dòng)地生成觸覺(jué)效果。然而，可期望將觸覺(jué)效果僅與某些可聽(tīng)效果關(guān)聯(lián)。例如，在一些實(shí)施例中，對(duì)話框、背景噪聲、主題音樂(lè)或一些其它類(lèi)型的可聽(tīng)效果可以不與觸覺(jué)效果關(guān)聯(lián)。包絡(luò)確定可以被用來(lái)確定這些類(lèi)型的可聽(tīng)效果，然后確保無(wú)觸覺(jué)效果與它們關(guān)聯(lián)。例如，背景噪聲可能低于包絡(luò)中的閾值水平。由此，自動(dòng)觸覺(jué)變換單元可以確定不輸出與該背景噪聲相關(guān)聯(lián)的觸覺(jué)效果。類(lèi)似地，自動(dòng)觸覺(jué)變換單元可以確定不輸出與由某一源(例如，樂(lè)器、說(shuō)話者、效果單元等等)生成的語(yǔ)音、特效或可聽(tīng)效果相關(guān)聯(lián)的觸覺(jué)效果O
[0065]在一些實(shí)施例中，處理器102可以通過(guò)將包絡(luò)乘以已知頻率，確定觸覺(jué)效果。在一些實(shí)施例中，這取決于致動(dòng)器的類(lèi)型。例如，在LRA的情況下，包絡(luò)能乘以例如125、150、175或200Hz的頻率來(lái)確定觸覺(jué)信號(hào)。此外，在一些實(shí)施例中，包絡(luò)本身可以輸出為觸覺(jué)信號(hào)。例如，在ERM的情況下，包絡(luò)能被原樣地發(fā)送到觸覺(jué)效果。此外，如上所述，包絡(luò)信號(hào)能用于其它類(lèi)型的觸覺(jué)效果，例如，能基于用戶的手指的速度或加速度，修改包絡(luò)信號(hào)，以便輸出觸摸表面上的紋理。類(lèi)似地，包絡(luò)能由被配置成改變觸摸表面上的感知的摩擦系數(shù)的致動(dòng)器使用。
[0066]當(dāng)處理器102輸出與觸覺(jué)效果408相關(guān)聯(lián)的觸覺(jué)信號(hào)時(shí)，方法400繼續(xù)。處理器102將觸覺(jué)信號(hào)輸出到被配置成輸出觸覺(jué)效果的觸覺(jué)輸出設(shè)備118。在一些實(shí)施例中，觸覺(jué)輸出設(shè)備118可以將觸覺(jué)效果輸出到觸摸表面116上。在一些實(shí)施例中，觸覺(jué)輸出設(shè)備118可以包括耦接到觸摸表面116的傳統(tǒng)的致動(dòng)器，諸如壓電致動(dòng)器或電動(dòng)機(jī)，或計(jì)算設(shè)備101內(nèi)的其它部件。在其它實(shí)施例中，觸覺(jué)輸出設(shè)備118可以包括被配置成模擬紋理或使用電場(chǎng)改變摩擦系數(shù)的靜電致動(dòng)器。在一些實(shí)施例中，處理器102可以控制多個(gè)觸覺(jué)輸出設(shè)備來(lái)模擬多個(gè)觸覺(jué)效果。例如，在一個(gè)實(shí)施例中，處理器102可以控制靜電致動(dòng)器來(lái)模擬觸摸表面116的表面上的紋理以及處理器102可以進(jìn)一步控制其它觸覺(jué)輸出設(shè)備118來(lái)模擬其它特征。例如，觸覺(jué)輸出設(shè)備118可以包括被配置成輸出諸如被配置成模擬障礙物、止動(dòng)器、運(yùn)動(dòng)的其它效果或?qū)τ|摸表面116的影響的致動(dòng)器。在一些實(shí)施例中，處理器102可以協(xié)調(diào)效果，使得用戶當(dāng)與觸摸表面116交互時(shí)能一起感到多種效果。
[0067]然后，處理器102輸出音頻信號(hào)410。在一些實(shí)施例中，處理器102可以將音頻信號(hào)輸出到音頻輸出設(shè)備，諸如揚(yáng)聲器、耳機(jī)或耳塞。在一些實(shí)施例中，音頻輸出設(shè)備可以集成在計(jì)算設(shè)備101中。在其它實(shí)施例中，音頻輸出設(shè)備可以耦接到計(jì)算設(shè)備101。此外，在一些實(shí)施例中，音頻信號(hào)可以與觸覺(jué)效果同步，例如，在一些實(shí)施例中，觸覺(jué)效果可以被基本上同時(shí)輸出為相應(yīng)的音頻效果。
[0068]用于識(shí)別音頻信號(hào)中的包絡(luò)的示例性方法
[0069]圖5是示出用于識(shí)別可以用于確定與音頻信號(hào)相關(guān)聯(lián)的觸覺(jué)效果的音頻信號(hào)中的包絡(luò)的示例性方法500的流程圖。在一些實(shí)施例中，圖5中所示的步驟可以用由處理器，例如通用計(jì)算機(jī)、移動(dòng)設(shè)備或服務(wù)器中的處理器執(zhí)行的程序代碼實(shí)現(xiàn)。在一些實(shí)施例中，這些步驟可以由一組處理器實(shí)現(xiàn)。在一些實(shí)施例中，圖5中所示的步驟可以以不同的順序執(zhí)行?？商娲?，在一些實(shí)施例中，圖5中的一個(gè)或多個(gè)步驟可以被跳過(guò)或，可以執(zhí)行圖5中未示出的附加的步驟。就音頻信號(hào)而言，描述圖5中的步驟。然而，在一些實(shí)施例中，該方法可以用來(lái)確定與其它類(lèi)型的信號(hào)，例如壓力、加速度、速度或溫度信號(hào)相關(guān)聯(lián)的觸覺(jué)效果。
[0070]如圖5所示，在步驟502處，當(dāng)處理器102確定音頻信號(hào)內(nèi)的一個(gè)或多個(gè)段或時(shí)間窗的快速傅立葉變換(FFT)時(shí)，方法500開(kāi)始。在一些實(shí)施例中，段可以對(duì)應(yīng)于特定時(shí)間窗中的音頻信號(hào)的采樣。此外，在一些實(shí)施例中，段可以不同或者可替代地可以重疊。在小的時(shí)間窗中提取的音頻信號(hào)的快速傅立葉變換(FFT)是音頻信號(hào)的頻譜的基礎(chǔ)。在一些實(shí)施例中，頻譜可以用具有一軸為時(shí)間、另一軸為頻率以及另一軸為特定頻率的振幅的3D制圖表示。用于音頻信號(hào)的頻譜示為圖6中的制圖600，在下文中進(jìn)一步詳細(xì)地描述。
[0071]接著，在步驟504處，處理器從每一段或每一時(shí)間窗的FFT，確定幅度。在一些實(shí)施例中，處理器102可以確定對(duì)數(shù)標(biāo)度的幅度。此外，在一些實(shí)施例中，這可以是所有FFT頻率幅度的和或所有這些值的平均值。
[0072]然后，在步驟506處，處理器102對(duì)幅度歸一化。在一些實(shí)施例中，處理器102可以對(duì)負(fù)I和I之間的值歸一化。歸一化的信號(hào)在圖6中示為制圖650中的信號(hào)654。
[0073]接著，在步驟508處，處理器102確定正值。例如，處理器可以將低于O的所有值設(shè)置成0，然后，僅分析非零值。得到的正值對(duì)應(yīng)于信號(hào)的包絡(luò)。
[0074]圖6示例音頻信號(hào)的頻譜和同一音頻信號(hào)的時(shí)域的圖。如圖6所示，音頻信號(hào)的頻譜示為圖600。頻譜包括小時(shí)間窗中的音頻信號(hào)的段的短時(shí)傅立葉變換(STFT)的繪圖。在一些實(shí)施例中，用一軸為時(shí)間、另一軸為頻率，以及第三軸為特定頻率的振幅的三維繪圖表示頻譜。繪圖600包括音頻信號(hào)的二維頻譜的例子。在繪圖600中，由繪圖的暗度表示第三維，較暗的顏色表示較高的幅度。如該繪圖中所示，在較低頻率處存在較高強(qiáng)度，由低幅度處的暗圖表示(由箭頭602高亮)。當(dāng)頻率增加時(shí)，強(qiáng)度降低，由此，顏色變得越亮(由箭頭604高亮)
[0075]此外，如圖6所不,繪圖650包括由暗線652表不的音頻信號(hào)的時(shí)域。由灰線654表不歸一化的音頻信號(hào)。由亮灰線656表不包絡(luò)信號(hào)。在一些實(shí)施例中，該包絡(luò)將對(duì)應(yīng)于音頻信號(hào)中的事件。在一些實(shí)施例中，處理器102可以使用這些事件來(lái)確定與音頻信號(hào)相關(guān)聯(lián)的觸覺(jué)效果的位置。
[0076]現(xiàn)在轉(zhuǎn)到圖7，圖7示例根據(jù)一個(gè)實(shí)施例，確定音頻信號(hào)的包絡(luò)的方法700的流程圖。圖7是示出用于識(shí)別可以用來(lái)確定與音頻信號(hào)相關(guān)聯(lián)的觸覺(jué)效果的音頻信號(hào)中的包絡(luò)的示例性方法700的流程圖。在一些實(shí)施例中，圖7中所示的步驟可以用由處理器，例如，通用計(jì)算機(jī)、移動(dòng)設(shè)備或服務(wù)器中的處理器執(zhí)行的程序代碼實(shí)現(xiàn)。在一些實(shí)施例中，這些步驟可以由一組處理器實(shí)現(xiàn)。在一些實(shí)施例中，圖7中所示的步驟可以以不同順序執(zhí)行?？商娲?，在一些實(shí)施例中，可以跳過(guò)圖7中的一個(gè)或多個(gè)步驟，或可以執(zhí)行圖7中未示出的另外步驟。關(guān)于音頻信號(hào)，描述圖7中的步驟。然而，在一些實(shí)施例中，該方法可以用來(lái)確定與其它類(lèi)型的信號(hào)，諸如壓力、加速度、速度或溫度信號(hào)相關(guān)聯(lián)的觸覺(jué)效果。
[0077]如圖7所示，在702處，當(dāng)處理器102確定音頻信號(hào)的一個(gè)或多個(gè)段的功率譜密度時(shí)，方法700開(kāi)始。在一些實(shí)施例中，處理器102可以確定用于音頻信號(hào)的連續(xù)時(shí)間窗的每一個(gè)、用于覆蓋音頻信號(hào)中的大多數(shù)頻率的頻率范圍的功率譜密度。在其它實(shí)施例中，處理器102可以對(duì)音頻信號(hào)中的更窄范圍的頻率確定功率譜密度。
[0078]在步驟704處，處理器102通過(guò)對(duì)每一時(shí)段的功率譜密度值求和，確定和信號(hào)。在一些實(shí)施例中，時(shí)間窗可以包括可變時(shí)間長(zhǎng)度。在一些實(shí)施例中，該時(shí)間長(zhǎng)度可以包括小于10ms0在一些實(shí)施例中，處理器102可以對(duì)每一時(shí)間窗，將頻率范圍中的所有頻率的功率譜密度值求和。在一些實(shí)施例中，對(duì)每一時(shí)間窗的功率譜密度值求和使每一時(shí)間窗表示為單個(gè)值。例如，在一些實(shí)施例中，每一窗可以表不為單個(gè)數(shù)值。此外，在一些實(shí)施例中，處理器102可以確定表示這些值的信號(hào)S，例如，表示功率譜密度值的和的信號(hào)。
[0079]然后，在步驟706處，處理器102重新采樣和信號(hào)。在一些實(shí)施例中，處理器102可以對(duì)指定長(zhǎng)度的時(shí)間窗米樣信號(hào)S。在一些實(shí)施例中，米樣頻率可以至少部分基于每一時(shí)間窗的長(zhǎng)度。例如，在一個(gè)實(shí)施例中，如果時(shí)間窗為Xms以及采樣頻率為Fs，則由(X*Fs/1000)值代替/采樣每個(gè)值。
[0080]接著，在步驟708處，處理器102對(duì)采樣信號(hào)插值和歸一化。處理器102可以使用許多已知的用于插值的傳統(tǒng)技術(shù)中的一個(gè)，例如，線性、多項(xiàng)式、樣條、最近。在一些實(shí)施例中，使用不同插值方法將導(dǎo)致不同值，并且由此導(dǎo)致不同觸覺(jué)軌。在一些實(shí)施例中，處理器102可以插值以便匹配音頻信號(hào)的采樣頻率。此外，在一些實(shí)施例中，然后處理器102可以確定插值信號(hào)的平方根。在一些實(shí)施例中，得到的信號(hào)表示原始音頻信號(hào)的包絡(luò)。
[0081]圖8示例根據(jù)關(guān)于圖7所示的步驟702至708所述的方法700確定的包絡(luò)800的繪圖。如圖8所示，繪圖800將音頻信號(hào)示為灰線802，以及將所確定的該音頻信號(hào)的包絡(luò)示為暗線804。
[0082]用于清除所識(shí)別的包絡(luò)信號(hào)的示例性方法
[0083]圖9是示出用于清除可以用來(lái)確定與音頻信號(hào)相關(guān)聯(lián)的觸覺(jué)效果的包絡(luò)信號(hào)的示例性方法900的流程圖。在一些實(shí)施例中，圖9中所示的步驟可以用由處理器，例如通用計(jì)算機(jī)、移動(dòng)設(shè)備或服務(wù)器中的處理器執(zhí)行的程序代碼實(shí)現(xiàn)。在一些實(shí)施例中，這些步驟可以由一組處理器實(shí)現(xiàn)。在一些實(shí)施例中，圖9中所示的步驟可以以不同順序執(zhí)行?？商娲兀谝恍?shí)施例中，可以跳過(guò)圖9中的一個(gè)或多個(gè)步驟，或可以執(zhí)行圖9中未示出的另外的步驟。就音頻信號(hào)而言，描述圖9中的步驟。然而，在一些實(shí)施例中，可以使用該方法來(lái)確定與其它類(lèi)型的信號(hào)，諸如壓力、加速度、速度或溫度信號(hào)相關(guān)聯(lián)的觸覺(jué)效果。
[0084]如圖9所示，在步驟902處，當(dāng)處理器102使用閾值對(duì)包絡(luò)信號(hào)濾波時(shí)，方法900開(kāi)始。該閾值可以包括包絡(luò)的下限，低于該下限，信號(hào)被忽略或設(shè)置成O。在一些實(shí)施例中，閾值可以包括在O和I之間的值。例如，在一些實(shí)施例中，閾值可以包括0.1或0.2的值。在一些實(shí)施例中，閾值可以包括預(yù)定閾值。在一些實(shí)施例中，在濾波期間，處理器102廢棄低于該閾值的所有或基本上所有值。例如，在一個(gè)實(shí)施例中，音頻文件中的背景噪聲可能低于包絡(luò)中的閾值水平。由此，自動(dòng)觸覺(jué)變換單元可以確定不輸出與該背景噪聲相關(guān)聯(lián)的觸覺(jué)效果。類(lèi)似地，自動(dòng)觸覺(jué)變換單元可以確定不輸出與某一源(例如樂(lè)器、說(shuō)話者、效果單元)生成的語(yǔ)音、特效或可聽(tīng)效果相關(guān)聯(lián)的觸覺(jué)效果。
[0085]接著，在步驟904處，處理器102使用靜音水平，濾波包絡(luò)信號(hào)。在一些實(shí)施例中，靜音水平可以包括由用戶或設(shè)計(jì)者設(shè)定為音頻至觸覺(jué)變換的參數(shù)的百分比值。例如，在一些實(shí)施例中，靜音水平可以包括例如30 %、40 %或50 %的百分比。在一些實(shí)施例中，該百分比對(duì)應(yīng)于在觸覺(jué)軌中要被過(guò)濾出(廢棄)的觸覺(jué)信號(hào)采樣的百分比。在這種實(shí)施例中，可以移除低于對(duì)應(yīng)于該百分比的閾值的采樣值。例如，在一個(gè)實(shí)施例中，可以按升序排序包絡(luò)信號(hào)采樣的采樣值。能將對(duì)應(yīng)于靜音水平(例如X%)的閾值估算為包絡(luò)信號(hào)中以(X/100)*樣本總數(shù)分級(jí)的值。然后，過(guò)濾(廢棄)低于該值的樣本。例如，對(duì)于60%的觸覺(jué)靜音值，處理器102可以廢棄具有小于對(duì)應(yīng)于60%觸覺(jué)靜音水平的閾值的值的所有采樣。
[0086]圖10示例被清除的包絡(luò)信號(hào)的繪圖1000。如圖10所示，繪圖1000包括示為灰線1002的音頻信號(hào)。被清除的包絡(luò)信號(hào)示為暗線1004。如圖10所示，被清除的包絡(luò)信號(hào)包括60%觸覺(jué)靜音閾值，由此，處理器102可以廢棄小于60%閾值的所有值。
[0087]生成與音頻信號(hào)中的包絡(luò)相關(guān)聯(lián)的觸覺(jué)效果的系統(tǒng)和方法的優(yōu)點(diǎn)
[0088]生成與音頻信號(hào)中的包絡(luò)相關(guān)聯(lián)的觸覺(jué)效果的系統(tǒng)和方法具有許多優(yōu)點(diǎn)。過(guò)去，通過(guò)取特定持續(xù)時(shí)間上的音頻信號(hào)的絕對(duì)值，然后低通濾波該信號(hào)或取最大值，計(jì)算包絡(luò)。然而，該方法在音頻信號(hào)非常小或嘈雜的地方產(chǎn)生觸覺(jué)效果。由此，觸覺(jué)效果是不期望的，例如，因?yàn)樗鼈冑|(zhì)量低或不與音頻文件中的適當(dāng)事件相關(guān)聯(lián)。
[0089]在一些實(shí)施例中，包絡(luò)包含與音頻事件、時(shí)序和噪聲層的幅度相關(guān)聯(lián)的重要信息。這可以用于信號(hào)的自動(dòng)觸覺(jué)變換，因?yàn)闇?zhǔn)確地確定包絡(luò)允許自動(dòng)變換來(lái)具有更干凈的信號(hào)。此外，適當(dāng)確定的包絡(luò)可以包括更大對(duì)比，使得觸覺(jué)效果與音頻信號(hào)中的重要事件一起輸出，而不與不太重要的事件，例如背景噪聲一起輸出。在此所述的系統(tǒng)和方法能確定能用來(lái)確定引人注目的觸覺(jué)效果的對(duì)比的適當(dāng)水平。此外，上述的系統(tǒng)和方法允許設(shè)計(jì)者/用戶選擇觸覺(jué)靜音閾值，這使得設(shè)計(jì)者/用戶控制如何將生成觸覺(jué)效果。這會(huì)再次導(dǎo)致更引人注目的觸覺(jué)效果。
[0090]一般考慮
[0091]上述方法、系統(tǒng)和設(shè)備是示例性的。適當(dāng)時(shí)，各種配置可以省略、替代或添加不同的過(guò)程或部件。例如，在替代配置中，可以以不同于上述的順序，執(zhí)行方法，和/或可以添力口、省略和/或組合不同的步驟。同時(shí)，參考某些配置所述的特征可以結(jié)合在不同的其它配置中。可以以類(lèi)似的方式組合配置的不同方面和要素。同時(shí)，技術(shù)在發(fā)展，由此，許多的要素是示例性的，不限制本公開(kāi)內(nèi)容或權(quán)利要求的范圍。
[0092]在說(shuō)明書(shū)中給出具體的細(xì)節(jié)以便提供示例性結(jié)構(gòu)(包括實(shí)現(xiàn))的全面理解。然而，在沒(méi)有這些具體細(xì)節(jié)的情況下，也可以實(shí)施配置。例如，在沒(méi)有非必要細(xì)節(jié)的情況下，已經(jīng)示出了非常公知的電路、過(guò)程、算法、結(jié)構(gòu)和技術(shù)，以避免混淆配置。本說(shuō)明書(shū)僅提供示例性配置，以及不限制權(quán)利要求的范圍、可用性或配置。相反，配置的前述描述將為本領(lǐng)域的技術(shù)人員提供用于實(shí)現(xiàn)所述技術(shù)的開(kāi)放描述。在不背離本公開(kāi)內(nèi)容的精神或范圍的情況下，可以在要素的功能或排列方面做出各種改變。
[0093]同時(shí)，配置可以描述為圖示為流程圖或框圖的過(guò)程。盡管每一配置可以將操作描述為順序過(guò)程，但可以并行或同時(shí)地執(zhí)行許多操作。此外，可以重新排列操作的次序。過(guò)程可以具有未包括在圖中的另外的步驟。此外，可以由硬件、軟件、固件、中間件、微代碼、硬件描述語(yǔ)言或其任意組合來(lái)實(shí)現(xiàn)方法的例子。當(dāng)用軟件、固件、中間件或微代碼實(shí)現(xiàn)時(shí)，可以將執(zhí)行必要任務(wù)的程序代碼或代碼段存儲(chǔ)在非瞬時(shí)計(jì)算機(jī)可讀介質(zhì)，諸如存儲(chǔ)介質(zhì)中。處理器可以執(zhí)行所述任務(wù)。
[0094]已經(jīng)描述了若干示例結(jié)構(gòu)，在不背離本公開(kāi)內(nèi)容的精神的情況下，可以使用各種改進(jìn)、替代結(jié)構(gòu)和等同物。例如，上述要素可以是較大系統(tǒng)的部件，其中，其它規(guī)則可以?xún)?yōu)先于或者另外修改本發(fā)明的應(yīng)用。同時(shí)，在考慮上述要素前、期間或之后，可以進(jìn)行許多步驟。因此，上述描述不限定權(quán)利要求書(shū)的范圍。
[0095]在此使用“用來(lái)”或“被配置成”意為不排除用來(lái)或被配置成執(zhí)行另外的任務(wù)或步驟的設(shè)備的開(kāi)放和包含性語(yǔ)言。此外，使用“基于”是指開(kāi)放和包含性的，即，“基于”一個(gè)或多個(gè)所述條件或值的過(guò)程、步驟、計(jì)算或其它動(dòng)作實(shí)際上可以基于除那些所述的外的另外的條件或值。其中所包括的標(biāo)題、列表和編號(hào)僅為了易于說(shuō)明而不打算限制。
[0096]能在數(shù)字電子電路中、計(jì)算機(jī)硬件、固件、軟件中或前述的組合中實(shí)現(xiàn)根據(jù)本主題的方面的實(shí)施例。在一個(gè)實(shí)施例中，計(jì)算機(jī)可以包括一個(gè)處理器或多個(gè)處理器。處理器包括或能夠存取計(jì)算機(jī)可讀介質(zhì)，諸如耦接到處理器的隨機(jī)存取存儲(chǔ)器(RAM)。處理器執(zhí)行在存儲(chǔ)器中存儲(chǔ)的計(jì)算機(jī)可執(zhí)行程序指令，諸如執(zhí)行包括傳感器采樣例程、選擇例程和執(zhí)行上述方法的其它例程的一個(gè)或多個(gè)計(jì)算機(jī)程序。
[0097]這些處理器可以包括微處理器、數(shù)字信號(hào)處理器(DSP)、專(zhuān)用集成電路(ASIC)、現(xiàn)場(chǎng)可編程門(mén)陣列(FPGA)和狀態(tài)機(jī)。這些處理器可以進(jìn)一步包括可編程電子設(shè)備，諸如PLC、可編程中斷控制器(PIC)、可編程邏輯器件(PLD)、可編程只讀存儲(chǔ)器(PROM)、電可編程只讀存儲(chǔ)器(EPR0M或EEPR0M)或其它類(lèi)似的設(shè)備。
[0098]這些處理器可以包括可以存儲(chǔ)當(dāng)由處理器執(zhí)行時(shí)，能使處理器執(zhí)行如由處理器執(zhí)行或輔助的在此所述的步驟的介質(zhì)，例如有形計(jì)算機(jī)可讀介質(zhì)或可以與其通信。計(jì)算機(jī)可讀介質(zhì)的實(shí)施例可以包括但不限于能為諸如網(wǎng)絡(luò)服務(wù)器中的處理器的處理器提供計(jì)算機(jī)可讀指令的所有電子、光學(xué)、磁性或其它存儲(chǔ)設(shè)備。介質(zhì)的其它例子包括但不限于軟盤(pán)、CD-ROM、磁盤(pán)、存儲(chǔ)器芯片、ROM、RAM、ASIC、結(jié)構(gòu)處理器、所有光學(xué)介質(zhì)、所有磁帶或其它磁性介質(zhì)、或計(jì)算機(jī)處理器能讀取的任何其它介質(zhì)。同時(shí)，各種其它設(shè)備可以包括計(jì)算機(jī)可讀介質(zhì)，諸如路由器、專(zhuān)用或公用網(wǎng)絡(luò)，或其它傳輸設(shè)備。所述的處理器或處理可以在一個(gè)或多個(gè)結(jié)構(gòu)中，以及可以分散在一個(gè)或多個(gè)結(jié)構(gòu)中。處理器可以包括用于執(zhí)行在此所述的一個(gè)或多個(gè)方法(或部分方法)的代碼。
[0099]盡管已經(jīng)參考具體實(shí)施例詳細(xì)地描述了本主題，但將意識(shí)到本領(lǐng)域的技術(shù)人員在完成上文的理解后，可以易于產(chǎn)生對(duì)這些實(shí)施例的變更、變形和等同物。因此，應(yīng)理解到為了示例性而不是限制目的給出了本公開(kāi)內(nèi)容，以及對(duì)本領(lǐng)域的普通技術(shù)人員來(lái)說(shuō)，不排除包括對(duì)本領(lǐng)域的技術(shù)人員顯而易見(jiàn)的本主題的這些改進(jìn)、變形和/或增加。
【權(quán)利要求】
1.一種用于輸出觸覺(jué)效果的系統(tǒng)，包括: 處理器，所述處理器被配置成: 接收音頻信號(hào)； 確定與所述音頻信號(hào)相關(guān)聯(lián)的包絡(luò)信號(hào)； 至少部分基于所述包絡(luò)信號(hào)，來(lái)確定觸覺(jué)效果；以及 輸出與所述觸覺(jué)效果相關(guān)聯(lián)的觸覺(jué)信號(hào)。
2.如權(quán)利要求1所述的系統(tǒng)，進(jìn)一步包括: 音頻輸出設(shè)備，所述音頻輸出設(shè)備被配置成接收所述音頻信號(hào)和輸出可聽(tīng)效果；以及與所述處理器通信的觸覺(jué)輸出設(shè)備，所述觸覺(jué)輸出設(shè)備被配置成接收所述觸覺(jué)信號(hào)和輸出所述觸覺(jué)效果。
3.如權(quán)利要求1所述的系統(tǒng)，進(jìn)一步包括數(shù)據(jù)存儲(chǔ)，所述數(shù)據(jù)存儲(chǔ)被配置成接收所述觸覺(jué)信號(hào)并且將所述觸覺(jué)效果存儲(chǔ)在觸覺(jué)軌中。
4.如權(quán)利要求1所述的系統(tǒng)，其中，所述觸覺(jué)效果包括下述中的一個(gè)或多個(gè):摩擦系數(shù)的變化、模擬紋理或振動(dòng)。
5.如權(quán)利要求1所述的系統(tǒng)，其中，確定與所述音頻信號(hào)相關(guān)聯(lián)的包絡(luò)信號(hào)包括: 確定在兩個(gè)或更多個(gè)時(shí)間窗內(nèi)的所述音頻信號(hào)的快速傅立葉變換； 確定每一時(shí)間窗的快速傅立葉變換的幅度； 通過(guò)對(duì)所述幅度歸一化，來(lái)確定歸一化的信號(hào)；以及 從所述歸一化的信號(hào)確定正值。
6.如權(quán)利要求6所述的系統(tǒng)，其中，所述時(shí)間窗是重疊的。
7.如權(quán)利要求6所述的系統(tǒng)，其中，所述包絡(luò)信號(hào)是所述歸一化的信號(hào)的正值。
8.如權(quán)利要求1所述的系統(tǒng)，其中，確定與所述音頻信號(hào)相關(guān)聯(lián)的包絡(luò)信號(hào)包括: 確定在兩個(gè)或更多個(gè)時(shí)間窗內(nèi)的所述音頻信號(hào)的功率譜密度； 通過(guò)對(duì)每一時(shí)間窗的功率譜密度值求和，來(lái)確定和信號(hào)； 對(duì)所述和信號(hào)采樣以確定采樣信號(hào)；以及 對(duì)所述采樣信號(hào)插值和歸一化。
9.如權(quán)利要求8所述的系統(tǒng)，其中，所述包絡(luò)信號(hào)是所插值和歸一化的采樣信號(hào)。
10.如權(quán)利要求1所述的系統(tǒng)，其中，所述處理器被進(jìn)一步配置成對(duì)所述包絡(luò)信號(hào)濾波。
11.如權(quán)利要求10所述的系統(tǒng)，其中，對(duì)所述包絡(luò)信號(hào)濾波包括下述中的一個(gè)或多個(gè):使用閾值對(duì)所述包絡(luò)信號(hào)濾波和使用觸覺(jué)靜音水平對(duì)所述包絡(luò)信號(hào)濾波。
12.一種用于輸出觸覺(jué)效果的方法，包括: 接收音頻信號(hào)； 確定與所述音頻信號(hào)相關(guān)聯(lián)的包絡(luò)信號(hào)； 至少部分基于所述包絡(luò)信號(hào)，來(lái)確定觸覺(jué)效果；以及 輸出與所述觸覺(jué)效果相關(guān)聯(lián)的觸覺(jué)信號(hào)。
13.如權(quán)利要求12所述的方法，進(jìn)一步包括: 輸出可聽(tīng)效果；以及 輸出所述觸覺(jué)效果。
14.如權(quán)利要求12所述的方法，進(jìn)一步包括將所述觸覺(jué)信號(hào)存儲(chǔ)在觸覺(jué)軌中。
15.如權(quán)利要求12所述的方法，其中，所述觸覺(jué)效果包括下述中的一個(gè)或多個(gè):摩擦系數(shù)的變化、模擬紋理或振動(dòng)。
16.如權(quán)利要求12所述的方法，其中，確定與所述音頻信號(hào)相關(guān)聯(lián)的包絡(luò)信號(hào)包括: 確定在兩個(gè)或更多個(gè)時(shí)間窗內(nèi)的所述音頻信號(hào)的快速傅立葉變換； 確定每一時(shí)間窗的快速傅立葉變換的幅度； 通過(guò)對(duì)所述幅度歸一化，來(lái)確定歸一化的信號(hào)；以及 從所述歸一化的信號(hào)確定正值。
17.如權(quán)利要求16所述的方法，其中，所述時(shí)間窗是重疊的。
18.如權(quán)利要求16所述的方法，其中，所述包絡(luò)信號(hào)是所述歸一化的信號(hào)的正值。
19.如權(quán)利要求12所述的方法，其中，確定與所述音頻信號(hào)相關(guān)聯(lián)的包絡(luò)信號(hào)包括: 確定在兩個(gè)或更多個(gè)時(shí)間窗內(nèi)的所述音頻信號(hào)的功率譜密度； 通過(guò)對(duì)每一時(shí)間窗的功率譜密度值求和，來(lái)確定和信號(hào)； 對(duì)所述和信號(hào)采樣以確定采樣信號(hào)；以及 對(duì)所述采樣信號(hào)插值和歸一化。
20.如權(quán)利要求19所述的方法，其中，所述包絡(luò)信號(hào)是所插值和歸一化的采樣信號(hào)。
21.如權(quán)利要求12所述的方法，其中，所述處理器被進(jìn)一步配置成對(duì)所述包絡(luò)信號(hào)濾波。
22.如權(quán)利要求21所述的方法，其中，對(duì)所述包絡(luò)信號(hào)濾波包括下述中的一個(gè)或多個(gè):使用閾值對(duì)所述包絡(luò)信號(hào)濾波和使用觸覺(jué)靜音水平對(duì)所述包絡(luò)信號(hào)濾波。
23.一種非瞬時(shí)計(jì)算機(jī)可讀介質(zhì)，包括程序代碼，所述程序代碼在被處理器執(zhí)行時(shí)被配置成使所述處理器: 接收音頻信號(hào)； 確定與所述音頻信號(hào)相關(guān)聯(lián)的包絡(luò)信號(hào)； 至少部分基于所述包絡(luò)信號(hào)，來(lái)確定觸覺(jué)效果；以及 輸出與所述觸覺(jué)效果相關(guān)聯(lián)的觸覺(jué)信號(hào)。
24.如權(quán)利要求23所述的非瞬時(shí)計(jì)算機(jī)可讀介質(zhì)，進(jìn)一步包括程序代碼，所述程序代碼在被處理器執(zhí)行時(shí)被配置成使所述處理器: 輸出可聽(tīng)效果；以及 輸出所述觸覺(jué)效果。
25.如權(quán)利要求23所述的非瞬時(shí)計(jì)算機(jī)可讀介質(zhì)，進(jìn)一步包括程序代碼，所述程序代碼在被處理器執(zhí)行時(shí)被配置成使所述處理器將所述觸覺(jué)信號(hào)存儲(chǔ)在觸覺(jué)軌中。
26.如權(quán)利要求23所述的非瞬時(shí)計(jì)算機(jī)可讀介質(zhì)，其中，所述觸覺(jué)效果包括下述中的一個(gè)或多個(gè):摩擦系數(shù)的變化、模擬紋理或振動(dòng)。
27.如權(quán)利要求23所述的非瞬時(shí)計(jì)算機(jī)可讀介質(zhì)，其中，確定與所述音頻信號(hào)相關(guān)聯(lián)的包絡(luò)信號(hào)包括: 確定在兩個(gè)或更多個(gè)時(shí)間窗內(nèi)的所述音頻信號(hào)的快速傅立葉變換； 確定每一時(shí)間窗的快速傅立葉變換的幅度； 通過(guò)對(duì)所述幅度歸一化，來(lái)確定歸一化的信號(hào)；以及 從所述歸一化的信號(hào)確定正值。
28.如權(quán)利要求27所述的非瞬時(shí)計(jì)算機(jī)可讀介質(zhì)，其中，所述時(shí)間窗是重疊的。
29.如權(quán)利要求27所述的非瞬時(shí)計(jì)算機(jī)可讀介質(zhì)，其中，所述包絡(luò)信號(hào)是所述歸一化的信號(hào)的正值。
30.如權(quán)利要求23所述的非瞬時(shí)計(jì)算機(jī)可讀介質(zhì)，其中，確定與所述音頻信號(hào)相關(guān)聯(lián)的包絡(luò)信號(hào)包括: 確定在兩個(gè)或更多個(gè)時(shí)間窗內(nèi)的所述音頻信號(hào)的功率譜密度； 通過(guò)對(duì)每一時(shí)間窗的功率譜密度值求和，來(lái)確定和信號(hào)； 對(duì)所述和信號(hào)采樣以確定采樣信號(hào)；以及 對(duì)所述采樣信號(hào)插值和歸一化。
31.如權(quán)利要求30所述的非瞬時(shí)計(jì)算機(jī)可讀介質(zhì)，其中，所述包絡(luò)信號(hào)是所插值和歸一化的包絡(luò)信號(hào)。
32.如權(quán)利要求23所述的非瞬時(shí)計(jì)算機(jī)可讀介質(zhì)，其中，所述處理器被進(jìn)一步配置成對(duì)所述包絡(luò)信號(hào)濾波。
33.如權(quán)利要求32所述的非瞬時(shí)計(jì)算機(jī)可讀介質(zhì)，其中，對(duì)所述包絡(luò)信號(hào)濾波包括下述中的一個(gè)或多個(gè):使用閾值對(duì)所述包絡(luò)信號(hào)濾波和使用觸覺(jué)靜音水平對(duì)所述包絡(luò)信號(hào)濾波。
【文檔編號(hào)】G06F3/01GK104423592SQ201410452984
【公開(kāi)日】2015年3月18日 申請(qǐng)日期:2014年9月5日 優(yōu)先權(quán)日:2013年9月6日
【發(fā)明者】君·曼扭爾·克魯斯-赫南德斯, 賈邁勒·沙博恩 申請(qǐng)人:意美森公司