專利名稱：用于將觸覺(jué)信號(hào)嵌入媒體傳輸流中的設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及觸覺(jué)學(xué)領(lǐng)域。更具體地，本發(fā)明涉及在媒體傳輸流中編碼的觸覺(jué)效果 (haptic effect)0
背景技術(shù)：
為了改進(jìn)用戶和機(jī)器之間的界面，近年來(lái)，將觸覺(jué)效果連同音頻/視頻媒體一起結(jié)合到該界面內(nèi)已變得越來(lái)越普遍。諸如振動(dòng)的觸覺(jué)效果可以被用戶感知并且通?？膳c事件觸發(fā)器(諸如壓下裝置上的按鍵、或者播放鈴音以通知手機(jī)上有來(lái)話呼叫或者收到文本信息等)相關(guān)。通常，媒體的回放可以被補(bǔ)充有振動(dòng)。然而，在播放觸覺(jué)信號(hào)以及媒體信號(hào)一段時(shí)間時(shí)，傳統(tǒng)的實(shí)現(xiàn)媒體效果的方法存在一些問(wèn)題。一種問(wèn)題是需要在觸覺(jué)信號(hào)和諸如視頻和/或音頻信號(hào)的其他媒體信號(hào)之間同步回放。通常，音頻引擎、視頻引擎和觸覺(jué)引擎在不同的時(shí)鐘上進(jìn)行操作。通常，在回放觸覺(jué)、視頻、和音頻信號(hào)過(guò)程中不存在內(nèi)置同步機(jī)構(gòu)。例如，盡管在回放開(kāi)始時(shí)，觸覺(jué)信號(hào)和媒體信號(hào)可能在彼此相差幾毫秒內(nèi)起動(dòng)并因而被充分同步，但是這些信號(hào)通?？赡軙?huì)在一段相當(dāng)短的時(shí)間內(nèi)偏離同步。另一種問(wèn)題在于，可能很難隨機(jī)地存取在既具有媒體信號(hào)又具有觸覺(jué)信號(hào)的媒體傳輸流中的一個(gè)點(diǎn)。換句話說(shuō)，當(dāng)用戶在任意點(diǎn)處開(kāi)始回放一部分媒體傳輸流而不存取出現(xiàn)在媒體傳輸流中的該任意點(diǎn)之前的任何數(shù)據(jù)時(shí)，很難使觸覺(jué)信號(hào)與媒體信號(hào)同步。因而，需要一種提供使觸覺(jué)信號(hào)與其他媒體(例如，音頻和視頻)同步的機(jī)構(gòu)的解決方案，該機(jī)構(gòu)可以在既包含觸覺(jué)信息又包含媒體信息的媒體傳輸流中的任意點(diǎn)進(jìn)行操作或者從任意點(diǎn)開(kāi)始進(jìn)行操作。

發(fā)明內(nèi)容
本發(fā)明披露了一種用于使觸覺(jué)效果與其他媒體成分(即，視頻和音頻)同步的方法和設(shè)備。因此，識(shí)別在媒體傳輸流中的一連串幀中的觸覺(jué)信息，并根據(jù)嵌入媒體傳輸流中的主時(shí)間碼信號(hào)來(lái)確定與該觸覺(jué)信息相對(duì)應(yīng)的時(shí)間戳。隨后向包含觸覺(jué)信息的每個(gè)媒體傳輸流幀分配一個(gè)時(shí)間戳，以便在對(duì)應(yīng)于該時(shí)間戳的適當(dāng)時(shí)間啟動(dòng)執(zhí)行機(jī)構(gòu)，從而根據(jù)觸覺(jué)信息來(lái)生成觸覺(jué)效果。根據(jù)以下闡述的詳細(xì)描述、附圖和權(quán)利要求將顯而易見(jiàn)本發(fā)明的其他特征和優(yōu)
點(diǎn)ο


結(jié)合到說(shuō)明書中并構(gòu)成說(shuō)明書一部分的附圖示出了本發(fā)明的一個(gè)或多個(gè)實(shí)施例，并且連同詳細(xì)描述一起用于闡述本發(fā)明的原理和實(shí)現(xiàn)。在附圖中圖1是示出了根據(jù)本發(fā)明的一個(gè)實(shí)施例的用于編碼、傳送和解碼包括觸覺(jué)信息的媒體傳輸流的系統(tǒng)的框圖；圖2是示出了根據(jù)本發(fā)明的一個(gè)實(shí)施例的用于從媒體傳輸流中識(shí)別出媒體和觸覺(jué)成分的系統(tǒng)的框圖；圖3是示出了根據(jù)本發(fā)明的一個(gè)實(shí)施例的用于使觸覺(jué)成分與其他媒體成分同步的裝置的框圖；圖4是示出了根據(jù)本發(fā)明的一個(gè)實(shí)施例的使視頻、音頻和觸覺(jué)信號(hào)的回放同步的方法的時(shí)序圖；圖5是示出了根據(jù)本發(fā)明的一個(gè)實(shí)施例的被分解成連續(xù)幀的觸覺(jué)信號(hào)的示圖；圖6是示出了根據(jù)本發(fā)明的一個(gè)實(shí)施例的包含觸覺(jué)信息的觸覺(jué)幀的框圖；圖7是示出了根據(jù)本發(fā)明的一個(gè)實(shí)施例的引起觸覺(jué)效果的波形的示圖；以及圖8是示出了根據(jù)本發(fā)明的一個(gè)實(shí)施例的用于使觸覺(jué)效果與媒體成分同步的處理的流程圖。
具體實(shí)施例方式本文中，在用于傳送包括觸覺(jué)信息的媒體傳輸流的方法、系統(tǒng)和設(shè)備的上下文中描述了本發(fā)明的實(shí)施例。本領(lǐng)域的普通技術(shù)人員會(huì)理解本發(fā)明的以下詳細(xì)描述僅是示例性的而并不用于以任何方式下進(jìn)行限制。理解本披露的本領(lǐng)域技術(shù)人員將會(huì)容易地聯(lián)想到本發(fā)明的其他實(shí)施例。現(xiàn)在將詳細(xì)參考附圖所示的本發(fā)明的實(shí)施。貫穿附圖和以下的詳細(xì)描述，使用相同的參考標(biāo)號(hào)來(lái)表示相同或相似的部件。為了清楚，在本文中沒(méi)有示出和描述所有所描述的實(shí)施例的常規(guī)特征。當(dāng)然，應(yīng)該理解在任何這樣的實(shí)際實(shí)施的開(kāi)發(fā)過(guò)程中，為了達(dá)到開(kāi)發(fā)者的特定目標(biāo)，例如，適應(yīng)于與應(yīng)用或商業(yè)有關(guān)的限制，必須做出許多實(shí)施特定的決定，并且這些特定目標(biāo)將隨從一個(gè)實(shí)施到另一個(gè)實(shí)施以及從一個(gè)開(kāi)發(fā)者到另一個(gè)開(kāi)發(fā)者的不同而不同。此外，應(yīng)該理解這樣的開(kāi)發(fā)努力是復(fù)雜且費(fèi)時(shí)的，但是對(duì)得益于本公開(kāi)的本領(lǐng)域的普通技術(shù)人員來(lái)說(shuō)，這只是常規(guī)的工程工作。根據(jù)本發(fā)明，可以使用各種類型的操作系統(tǒng)、計(jì)算平臺(tái)、計(jì)算機(jī)程序、和/或通用機(jī)器來(lái)實(shí)現(xiàn)本文中所述的成分、處理步驟、和/或數(shù)據(jù)結(jié)構(gòu)。另外，本領(lǐng)域的普通技術(shù)人員將認(rèn)識(shí)到在不背離本文中所披露的本發(fā)明概念的范圍和精神的情況下，還可以使用諸如硬連線裝置、現(xiàn)場(chǎng)可編程門陣列(FPGA)、專用集成電路等較少的通用性裝置。在通過(guò)計(jì)算機(jī)或機(jī)器來(lái)實(shí)現(xiàn)包含一連串處理步驟的方法并且可以將那些處理步驟存儲(chǔ)作為可被機(jī)器讀取的一連串指令的情況下，它們可以被存儲(chǔ)在諸如計(jì)算機(jī)存儲(chǔ)器件(例如，ROM(只讀存儲(chǔ)器)、PR0M(可編程只讀存儲(chǔ)器)、EEPROM(電可擦可編程只讀存儲(chǔ)器)、FLASH存儲(chǔ)器、跳轉(zhuǎn)驅(qū)動(dòng)(Jump Drive)等)、磁性存儲(chǔ)介質(zhì)(例如，磁帶、磁盤驅(qū)動(dòng)等)、光學(xué)存儲(chǔ)介質(zhì)(例如， ⑶-ROM、DVD-ROM、紙卡和紙帶等)和其他已知類型的程序存儲(chǔ)器的實(shí)體介質(zhì)上。本發(fā)明通常涉及用于使包含在多軌道媒體傳輸流中的觸覺(jué)效果軌道與其他媒體軌道同步以生成同步多媒體效果的機(jī)構(gòu)。識(shí)別在媒體傳輸流中的一連串幀中的觸覺(jué)信息，并根據(jù)嵌入媒體傳輸流中的主時(shí)間碼信號(hào)來(lái)確定與觸覺(jué)信息相對(duì)應(yīng)的時(shí)間戳。隨后向包含觸覺(jué)信息的每個(gè)媒體傳輸流分配一個(gè)時(shí)間戳，以便在對(duì)應(yīng)于該時(shí)間戳的適當(dāng)時(shí)間啟動(dòng)執(zhí)行機(jī)構(gòu)，從而根據(jù)觸覺(jué)信息來(lái)生成觸覺(jué)效果。 圖1是示出了根據(jù)本發(fā)明的一個(gè)實(shí)施例的用于編碼、傳送和解碼媒體傳輸流的系統(tǒng)100的框圖。系統(tǒng)100包括發(fā)送器102、接收器104、和通信介質(zhì)106。在一個(gè)實(shí)例中，發(fā)送器102是電話、個(gè)人數(shù)字助理(“PDA”)、個(gè)人計(jì)算機(jī)(“PC”)或能夠通過(guò)網(wǎng)絡(luò)發(fā)送媒體幀的任意其他數(shù)字處理裝置。在一個(gè)實(shí)施例中，發(fā)送器102是通過(guò)移動(dòng)電話無(wú)線網(wǎng)絡(luò)發(fā)送數(shù)據(jù)的媒體服務(wù)器。媒體幀包括但不限于視頻、音頻、和/或觸覺(jué)幀。在一個(gè)實(shí)施例中，發(fā)送器102包括編碼器116、視頻塊110、音頻塊112、和觸覺(jué)塊114。視頻塊110提供(source) 一連串視頻幀以及音頻塊112提供一連串音頻幀。觸覺(jué)塊114提供一連串觸覺(jué)幀。對(duì)于一個(gè)實(shí)例，編碼器116能夠編碼或生成來(lái)自視頻塊110的視頻幀、來(lái)自音頻塊 112的音頻幀、和來(lái)自觸覺(jué)塊114的觸覺(jué)幀，并且例如，根據(jù)市場(chǎng)上可用的媒體傳輸協(xié)議(例如，運(yùn)動(dòng)圖像專家組壓縮標(biāo)準(zhǔn)版本4( “MPEG-4”)等)將它們結(jié)合成媒體傳輸流。換句話說(shuō)，視頻幀、音頻幀和觸覺(jué)幀被編碼或打包成媒體傳輸流，并且隨后該媒體傳輸流通過(guò)通信介質(zhì)106被發(fā)送給用戶指定的目的地。應(yīng)注意，將定時(shí)的觸覺(jué)信息結(jié)合到各種幀中可以應(yīng)用于任意的媒體傳輸流格式并且不限于特定的文件類型、協(xié)議或媒體播放器硬件環(huán)境。通信介質(zhì)106可以是線(或有線)通信介質(zhì)、無(wú)線通信介質(zhì)、或混合的有線和無(wú)線通信介質(zhì)。來(lái)自視頻塊110的視頻幀和來(lái)自音頻塊112的音頻幀分別形成視頻成分和音頻成分，或者共同形成媒體傳輸流的媒體成分。觸覺(jué)幀形成媒體傳輸流的觸覺(jué)成分。可以是諸如電話或PC的媒體播放器的接收器104能夠經(jīng)由通信介質(zhì)106接收媒體傳輸流。在一個(gè)實(shí)施例中，在被接收器104接收之前，媒體傳輸流被存儲(chǔ)在諸如傳統(tǒng)數(shù)字錄像機(jī)、網(wǎng)絡(luò)消息中心等的存儲(chǔ)器中。在另一個(gè)實(shí)施例中，通過(guò)媒體傳輸流傳輸?shù)挠|覺(jué)信號(hào)被壓縮或加密， 以提高數(shù)據(jù)安全性。接收器104包括解碼器126、視頻塊120、音頻塊122、和觸覺(jué)塊124，在一個(gè)實(shí)施例中，視頻塊120、音頻塊122、和觸覺(jué)塊124被分別用于存儲(chǔ)視頻幀、音頻幀、和觸覺(jué)幀。接收器104可以是能夠經(jīng)由通信介質(zhì)106接收媒體傳輸流的便攜式電話、智能電話、PDA、PC、發(fā)送器/接收器裝置等。當(dāng)接收到媒體傳輸流時(shí)，接收器104從媒體傳輸流中分解出視頻幀、 音頻幀、和觸覺(jué)幀，并將視頻幀發(fā)送給視頻塊120，將音頻幀發(fā)送給音頻塊122，以及將觸覺(jué)幀發(fā)送給觸覺(jué)塊124。應(yīng)注意，視頻塊110中的視頻幀、音頻塊112中的音頻幀、和觸覺(jué)塊 114中的觸覺(jué)幀包含分別與視頻塊120中的視頻幀、音頻塊122中的音頻幀、和觸覺(jué)塊124 中的觸覺(jué)幀基本上類似的信息。還應(yīng)注意，雖然包含了類似的信息，但是視頻塊110中的視頻幀、音頻塊112中的音頻幀、和觸覺(jué)塊114中的觸覺(jué)幀可以適當(dāng)?shù)鼐哂信c對(duì)應(yīng)的視頻塊 120中的視頻幀、音頻塊122中的音頻幀、和觸覺(jué)塊124中的觸覺(jué)幀不同的數(shù)據(jù)格式。還應(yīng)注意，發(fā)送器102和接收器104可以是都包含用于發(fā)送和接收的類似能力的類似裝置。圖2是示出了根據(jù)本發(fā)明的一個(gè)實(shí)施例的用于識(shí)別媒體傳輸流的媒體成分和觸覺(jué)成分的系統(tǒng)200的框圖。系統(tǒng)200包括媒體播放器202、媒體同步層204、和數(shù)據(jù)220?？偩€230用于在媒體播放器202和數(shù)據(jù)庫(kù)220之間傳輸數(shù)據(jù)，以及總線232用于在媒體播放器202和媒體同步層204之間傳遞信息。媒體同步層204還經(jīng)由總線234-238連接至視頻編解碼器206、音頻編解碼器208、和觸覺(jué)單元210。視頻編解碼器206和音頻編解碼器208 可以是用于壓縮和解壓數(shù)字信息的軟件模塊、硬件裝置、或硬件和軟件成分的組合。在一個(gè)實(shí)施例中，媒體同步層204分離或提取視頻、音頻和觸覺(jué)成分并將所提取的成分放入其對(duì)應(yīng)的編解碼器中。媒體同步層204可以被編程或選擇，以處理特定的媒體傳輸流格式或諸如MP3、MPEG4等的多個(gè)預(yù)定流。在操作過(guò)程中，媒體同步層204通過(guò)在由主時(shí)間碼或時(shí)序表指定的時(shí)間將每個(gè)媒體類型的幀傳遞給適當(dāng)?shù)木幗獯a器或播放器來(lái)使不相同的媒體同步。表示完整時(shí)間線的一組幀經(jīng)由媒體傳輸流被發(fā)送給媒體播放器202。當(dāng)接收到媒體傳輸流時(shí)，媒體播放器202從媒體傳輸流中估計(jì)并分離出視頻、音頻和觸覺(jué)數(shù)據(jù)或幀。媒體同步層204隨后根據(jù)主時(shí)間碼來(lái)向每個(gè)觸覺(jué)幀分配時(shí)間戳或初始時(shí)間，從而，時(shí)間戳可以用于將觸覺(jué)效果時(shí)序和定義發(fā)送給觸覺(jué)單元210，其可以在適當(dāng)時(shí)間啟動(dòng)執(zhí)行機(jī)構(gòu)(或多個(gè)執(zhí)行機(jī)構(gòu))。圖3是示出了根據(jù)本發(fā)明的一個(gè)實(shí)施例的用于使觸覺(jué)成分與媒體成分同步的裝置300的框圖。裝置300包括應(yīng)用編程接口( “API”)306、內(nèi)核308、和觸覺(jué)電路314。內(nèi)核308還包括感應(yīng)生成器(“VG”)312和觸覺(jué)回放引擎(“HPE”)310。在一個(gè)實(shí)施例中， VG 312用于根據(jù)從API 306接收到的觸覺(jué)信息來(lái)合成觸覺(jué)事件，而HPE 310用于根據(jù)經(jīng)由總線358通過(guò)API 306從觸覺(jué)單元210接收到的數(shù)據(jù)來(lái)確定觸覺(jué)事件的時(shí)間。內(nèi)核308還經(jīng)由連接件360連接至觸覺(jué)電路314。在一個(gè)實(shí)例中，觸覺(jué)電路314是被配置為經(jīng)由連接件 362驅(qū)動(dòng)執(zhí)行機(jī)構(gòu)346的放大器。API 306的功能是用于在正確的時(shí)間引進(jìn)觸覺(jué)效果，這是因?yàn)槊總€(gè)觸覺(jué)幀均是不依賴于其他幀的獨(dú)立觸覺(jué)效果。具有獨(dú)立觸覺(jué)幀的優(yōu)點(diǎn)在于，其允許用戶在使用媒體播放器202時(shí)隨意存取觸覺(jué)幀或媒體幀并確保系統(tǒng)仍然能夠生成包括圖像、聲音、和觸覺(jué)效果的同步多媒體輸出。圖4是示出了根據(jù)本發(fā)明的一個(gè)實(shí)施例的使視頻、音頻和觸覺(jué)信號(hào)的回放同步的方法的時(shí)序圖400。時(shí)序圖400示出了嵌入媒體傳輸流中的主時(shí)間碼402、媒體傳輸流的視頻成分404、媒體傳輸流的音頻成分406、和媒體傳輸流的觸覺(jué)成分408。主時(shí)間碼402嵌入媒體傳輸流中并可以從媒體傳輸流中提取出來(lái)。例如，音頻成分406被用作主時(shí)間碼402。 在一個(gè)實(shí)施例中，主時(shí)間碼402是具有一連串時(shí)間戳(諸如t0、tl、t2等)的時(shí)間線。視頻成分404包括多個(gè)連續(xù)視頻幀(例如，幀40V)的流。音頻成分406包括多個(gè)連續(xù)音頻幀(例如，幀40A和42A)的流。觸覺(jué)成分408還包括多個(gè)連續(xù)觸覺(jué)幀(例如，幀 40H、42H等)的流。雖然視頻、音頻和觸覺(jué)幀之間的幀格式可以不同，但是在成分內(nèi)的幀應(yīng)該根據(jù)共同的協(xié)議來(lái)進(jìn)行配置。例如，觸覺(jué)幀40H的大小基本上與觸覺(jué)幀42H的大小相同。 在另一個(gè)實(shí)施例中，例如，由40H和42H覆蓋的時(shí)間范圍各為200ms，但是它們的物理內(nèi)存足跡(footprint)通常是不同的。應(yīng)注意，在一個(gè)實(shí)施例中，與物理容量相反，觸覺(jué)幀大小由時(shí)間的長(zhǎng)度決定。再參考圖4，在時(shí)間戳t0，觸覺(jué)幀40H、音頻幀40A和視頻幀40V在基本上相同的時(shí)間開(kāi)始回放。雖然觸覺(jué)幀40H在時(shí)間戳tl完成播放，但是在幀40H中定義的觸覺(jué)效果在時(shí)間tl之后仍然可以播放。在時(shí)間戳tl，觸覺(jué)幀42H開(kāi)始被處理以進(jìn)行播放。應(yīng)注意，在其處播放觸覺(jué)幀42H的初始時(shí)間或時(shí)間戳對(duì)應(yīng)于根據(jù)主時(shí)間碼確定的時(shí)間。將時(shí)間戳分配給觸覺(jué)幀使得諸如幀42H的觸覺(jué)幀能夠與前一觸覺(jué)幀(諸如幀40H)完成播放的時(shí)間無(wú)關(guān)地開(kāi)始回放。因此，如果觸覺(jué)幀40H在時(shí)間戳tl之前已完成播放，那么在時(shí)間戳tl播放觸覺(jué)幀42H之前將不播放觸覺(jué)效果。在時(shí)間戳t2，將播放觸覺(jué)幀44H和音頻幀42A。在時(shí)間戳 t3，將播放觸覺(jué)幀46H、視頻幀40V、和音頻幀42A。對(duì)在觸覺(jué)幀內(nèi)的時(shí)間戳編碼使得用戶能夠隨機(jī)地存取觸覺(jué)幀，這還能夠使其觸覺(jué)效果與其他媒體成分同步。例如，如果用戶快進(jìn)到例如時(shí)間tn，那么在播放下一個(gè)觸覺(jué)幀 nH之前，播放器將一直等待直到時(shí)間tH。在此之前，將不播放任何觸覺(jué)效果。同樣，在播放下一個(gè)音頻幀nA之前，播放器將一直等待直到tA (在此實(shí)例中等于tH)。同樣，播放器將一直等待直到tV才播放下一個(gè)視頻幀nV。除此之外，一個(gè)實(shí)施例允許媒體同步層204確切地指定在時(shí)間tn開(kāi)始播放，在此情況下，媒體同步層204發(fā)送觸覺(jué)幀(n-l)H并將tn-(t-l)H 的時(shí)間偏移量指定給觸覺(jué)單元210。然后，當(dāng)試圖回放觸覺(jué)幀(n-l)H時(shí)，觸覺(jué)單元210將此時(shí)間偏移量傳送給API 306。

每個(gè)觸覺(jué)幀被允許包含多個(gè)觸覺(jué)效果。定義這些觸覺(jué)效果并且確定其時(shí)間的參數(shù)能夠使將回放的觸覺(jué)效果在幀內(nèi)偏移。換句話說(shuō)，在觸覺(jué)效果之間的時(shí)間偏移是相對(duì)于該幀的開(kāi)始，而不是相對(duì)于文件或媒體傳輸流的開(kāi)始。確定各個(gè)效果在幀內(nèi)的時(shí)間是播放聲音、圖像、和觸覺(jué)效果的裝置的責(zé)任。由于裝置的同步層確定視頻、音頻、和觸覺(jué)幀的回放的時(shí)間，所以在每個(gè)幀的開(kāi)始處可以校正在不同媒體之間的任何偏離。圖5是示出了根據(jù)本發(fā)明的一個(gè)實(shí)施例的被分解成連續(xù)幀的觸覺(jué)信號(hào)的示圖 500。示圖500包括主時(shí)間碼510和觸覺(jué)成分512。觸覺(jué)成分512還包括諸如幀502和504 的多個(gè)觸覺(jué)幀。每個(gè)觸覺(jué)幀表示并占據(jù)固定的時(shí)間長(zhǎng)度，并且將與該固定的時(shí)間長(zhǎng)度相關(guān)聯(lián)的多個(gè)觸覺(jué)效果打包。通過(guò)嵌入媒體傳輸流中的主時(shí)間碼512來(lái)確定時(shí)間線和諸如t0 和tl的時(shí)間戳。媒體傳輸流可以包括觸覺(jué)信息以及諸如音頻和視頻信息的其他媒體信息。媒體播放器使用主時(shí)間碼510以調(diào)整其接收的關(guān)于文件的所有幀或數(shù)據(jù)包的接收和回放。在正常操作期間，可以選擇并固定在時(shí)間方面的幀長(zhǎng)度。在一個(gè)實(shí)施例中，根據(jù)數(shù)據(jù)的類型(nature)和用戶的優(yōu)選來(lái)使用在IOOms至300ms (毫秒)之間的幀長(zhǎng)度的范圍。在一些特定操作中，Ims的幀長(zhǎng)度可以用于滿足一些特別緊密的同步需求。應(yīng)注意，與 Ims的幀長(zhǎng)度相關(guān)聯(lián)的成本可能由于其需要使用明顯增加的帶寬而變高。通常，較長(zhǎng)的幀長(zhǎng)度意味著需要使較少的幀與媒體效果同步，這暗示著更有可能使觸覺(jué)效果與媒體效果不同步。媒體效果表示除觸覺(jué)效果之外的效果，例如，視頻和/或音頻效果。另一方面，雖然較短的幀長(zhǎng)度提供了與其他媒體效果更好和更緊密的同步，但是卻需要更高的處理能力和更多的網(wǎng)絡(luò)寬帶來(lái)處理在觸覺(jué)和媒體效果之間增加的同步處理。本文中所提到的媒體傳輸流可以是任意適當(dāng)?shù)拿襟w傳輸流，例如，MP3(MP3)或MPEG4(MP4)等。每個(gè)觸覺(jué)幀均被分配有初始時(shí)間或在其處應(yīng)根據(jù)主時(shí)間碼510在適當(dāng)時(shí)間播放相關(guān)觸覺(jué)效果的時(shí)間戳520。如前所述，主時(shí)間碼510可以嵌入媒體傳輸流中。在一個(gè)實(shí)施例中，響應(yīng)于用戶的輸入生成與觸覺(jué)信息相關(guān)聯(lián)的時(shí)間戳520。在另一個(gè)實(shí)施例中，基于其他媒體成分并根據(jù)預(yù)定算法來(lái)生成與觸覺(jué)信息相關(guān)聯(lián)的時(shí)間戳520。在又一個(gè)實(shí)施例中，可以鑒于其他媒體成分、根據(jù)來(lái)自用戶的組合輸入以及預(yù)定算法來(lái)生成與觸覺(jué)信息相關(guān)聯(lián)的時(shí)間戳520。在一個(gè)實(shí)施例中，時(shí)間戳520被分配給不包含觸覺(jué)信息的幀。例如，如果在一個(gè)幀內(nèi)不包含觸覺(jué)信息，則數(shù)據(jù)(庫(kù))會(huì)忽略該幀。在一個(gè)實(shí)施例中，取決于觸覺(jué)效果的復(fù)雜度，觸覺(jué)幀或觸覺(jué)樣本的大小可以是8、16、25、32、64、或1 字節(jié)。例如，一些觸覺(jué)幀包括分別與特定聲音和/或視頻幀相關(guān)的振動(dòng)聲音和/或振動(dòng)視頻數(shù)據(jù)。在一個(gè)實(shí)施例中，觸覺(jué)幀包含呈現(xiàn)至少一個(gè)觸覺(jué)效果所需的信息以及表示觸覺(jué)效果的開(kāi)始時(shí)間的時(shí)間戳。應(yīng)注意，如果在一個(gè)幀中不存在觸覺(jué)信息，那么可以忽略該觸覺(jué)幀。圖6是示出了根據(jù)本發(fā)明的一個(gè)實(shí)施例的包含觸覺(jué)信息的觸覺(jué)幀600的框圖。在一個(gè)實(shí)施例中，觸覺(jué)信息用于定義幀內(nèi)待播放的每個(gè)觸覺(jué)效果。觸覺(jué)信息包括各種參數(shù)，例如，強(qiáng)度/幅度、持續(xù)時(shí)間、周期性、開(kāi)始延遲、沖擊(attack)強(qiáng)度、沖擊時(shí)刻、消退(fade) 強(qiáng)度、消退時(shí)刻等，它們是在幀長(zhǎng)度的持續(xù)時(shí)間內(nèi)實(shí)現(xiàn)觸覺(jué)效果或一連串觸覺(jué)效果所必需的。持續(xù)時(shí)間參數(shù)指定觸覺(jué)效果播放的時(shí)間。觸覺(jué)效果的開(kāi)始延遲參數(shù)表示從幀或時(shí)間戳的開(kāi)始將等待播放觸覺(jué)效果的時(shí)間。在一個(gè)實(shí)例中，觸覺(jué)效果可以是周期性的并且周期性的參數(shù)限定了這種周期性。在另一個(gè)實(shí)施例中，觸覺(jué)效果信息使用非參數(shù)編碼。在一個(gè)實(shí)施例中，這種編碼可以包括將施加給脈沖寬度調(diào)制器的一連串8位執(zhí)行機(jī)構(gòu)控制值，該脈沖寬度調(diào)制器控制施加在執(zhí)行機(jī)構(gòu)上的瞬時(shí)電壓而導(dǎo)致每8位值持續(xù)5ms。如果每個(gè)觸覺(jué)幀表示200ms的觸覺(jué)回放時(shí)間，那么每個(gè)觸覺(jué)幀將完全包含40字節(jié)數(shù)據(jù)。觸覺(jué)信息還可以包括用于通過(guò)設(shè)置一些觸覺(jué)效果的邊界來(lái)控制觸覺(jué)效果的包絡(luò)(envelope)信息。觸覺(jué)幀600是包含觸覺(jué)效果定義610和一連串調(diào)用(call)觸覺(jué)效果指令612-616 的幀的示例性布局。在一個(gè)實(shí)施例中，觸覺(jué)效果定義610包括諸如持續(xù)時(shí)間參數(shù)和開(kāi)始延遲參數(shù)的控制信息。每個(gè)調(diào)用觸覺(jué)效果指令可以包含關(guān)于幅度、沖擊強(qiáng)度、消退強(qiáng)度、和指定類型的觸覺(jué)效果的信息。應(yīng)注意，觸覺(jué)幀能夠引進(jìn)多個(gè)觸覺(jué)效果。還應(yīng)注意，觸覺(jué)效果可以超出幀長(zhǎng)度或幀的時(shí)間范圍而繼續(xù)播放。在一個(gè)實(shí)施例中，調(diào)用觸覺(jué)效果指令指定將要播放的觸覺(jué)效果定義(包含在610內(nèi))以及控制幀回放開(kāi)始到什么程度的幀時(shí)間偏移參數(shù)。圖7是示出了根據(jù)本發(fā)明的一個(gè)實(shí)施例的引起觸覺(jué)效果的波形701的示圖700。 波形701使用幾個(gè)不同的頻率使用戶感覺(jué)到觸覺(jué)。波形701的觸覺(jué)效果持續(xù)了持續(xù)時(shí)間 702，在持續(xù)時(shí)間702期間，存在沖擊時(shí)間704、正常時(shí)間703和消退時(shí)間706。觸覺(jué)效果在其開(kāi)始處的強(qiáng)度由“沖擊水平” 709指定。觸覺(jué)效果的強(qiáng)度在正常時(shí)間708的開(kāi)始處變?yōu)椤胺取彼?10并且在消隱時(shí)間706的結(jié)束處變?yōu)橄怂?12。可選地，還可以從零觸覺(jué)效果開(kāi)始測(cè)量消退水平712。頻率周期或周期類型可以是恒力、矩形波、三角形波、正弦波、鋸齒形波、反向鋸齒形波、或上述波形的任意組合。應(yīng)注意，不同的頻率周期提供不同的觸覺(jué)反饋。例如，波形 701可以在0. IHertz至IOOOHertz的范圍內(nèi)，其中，不同的頻率提供不同的觸覺(jué)感覺(jué)。在操作中，根據(jù)其沖擊水平709、沖擊時(shí)間704、消退水平712和消退時(shí)間706來(lái)定義波形701引起的觸覺(jué)效果。當(dāng)?shù)竭\(yùn)行波形701的時(shí)間時(shí)，運(yùn)行處理指定觸覺(jué)效果的基礎(chǔ)強(qiáng)度或“幅度”、其持續(xù)時(shí)間、是否將周期性地播放觸覺(jué)效果，如果是這樣，多久重新開(kāi)始該觸覺(jué)效果。在一個(gè)實(shí)施例中，將定義特定觸覺(jué)效果的信息按照每幀周期性地下載到播放裝置中。應(yīng)注意，波形701僅是實(shí)例，并且本領(lǐng)域的普通技術(shù)人員會(huì)了解到可以許多方式定義這些觸覺(jué)效果。本發(fā)明包括以下描述的各個(gè)處理步驟。本文中所述的步驟可以嵌入機(jī)器或計(jì)算機(jī)可執(zhí)行指令中。而這些指令可以用于使利用這些指令編程的通用或?qū)Ｓ孟到y(tǒng)執(zhí)行本文中所述的步驟。可選地，本文中所述的步驟可以通過(guò)包含用于執(zhí)行步驟的硬連線邏輯的特定硬件部件、或通過(guò)編程的計(jì)算機(jī)部件和定制硬件部件的任意組合來(lái)執(zhí)行。雖然將參考無(wú)線通信網(wǎng)絡(luò)來(lái)描述本發(fā)明的實(shí)施例，但是本文中所述的方法和設(shè)備同樣可應(yīng)用于其他網(wǎng)絡(luò)基礎(chǔ)設(shè)施或包括接線的其他數(shù)據(jù)通信環(huán)境。圖8是示出了根據(jù)本發(fā)明的一個(gè)實(shí)施例的用于使觸覺(jué)效果與其他媒體成分同步的處理的流程圖。在框802中，該處理識(shí)別在媒體傳輸流中的至少一個(gè)觸覺(jué)幀中的觸覺(jué)信息。在一個(gè)實(shí)施例中，該處理識(shí)別一連串視頻、音頻、和觸覺(jué)幀，其中，觸覺(jué)幀包括力反饋信息。視頻幀包括圖像信息以及音頻幀包括聲音信息。該處理能夠根據(jù)圖像信息和聲音信息使力反饋信息同步。該處理還能夠生成包括沖擊和消退水平的觸覺(jué)效果 。一旦識(shí)別到觸覺(jué)信息，處理就移至框804。在框804中，處理根據(jù)嵌入媒體傳輸流中的主時(shí)間碼來(lái)確定時(shí)間戳。在一個(gè)實(shí)施例中，時(shí)間戳是取決于主時(shí)間碼的時(shí)間線上的一個(gè)時(shí)間點(diǎn)，并且用于觸發(fā)在觸覺(jué)幀中所定義的觸覺(jué)效果的執(zhí)行。根據(jù)本發(fā)明的一個(gè)實(shí)施例，將時(shí)間戳分配給觸覺(jué)幀，以便在由該時(shí)間戳指示的時(shí)間處運(yùn)行該觸覺(jué)幀。然后，處理移至下一個(gè)框。在框806中，處理將各個(gè)時(shí)間戳分配給各個(gè)觸覺(jué)幀，其中，時(shí)間戳表示什么時(shí)候啟動(dòng)一個(gè)或多個(gè)執(zhí)行機(jī)構(gòu)以根據(jù)存儲(chǔ)在觸覺(jué)幀中的觸覺(jué)信息來(lái)生成觸覺(jué)效果。在一個(gè)實(shí)施例中，根據(jù)音頻和視頻信息來(lái)分配時(shí)間戳。同樣，該處理能夠分配在單個(gè)觸覺(jué)幀內(nèi)作為該時(shí)間戳的偏移的副時(shí)間戳(sub-time stamp) 0在框806之后，處理進(jìn)行到下一個(gè)框。在框808中，處理響應(yīng)于在觸覺(jué)幀中的觸覺(jué)信息來(lái)定義每個(gè)觸覺(jué)效果的觸覺(jué)效果信息。在一個(gè)實(shí)施例中，該處理響應(yīng)于諸如視頻和/或音頻信號(hào)的其他媒體信息來(lái)對(duì)觸覺(jué)效果信息編碼。在另一個(gè)實(shí)施例中，該處理響應(yīng)于用戶所選的幾個(gè)預(yù)定算法中的一個(gè)來(lái)對(duì)觸覺(jué)效果信息編碼。應(yīng)注意，每個(gè)觸覺(jué)幀均可以包含在不同時(shí)間開(kāi)始的多個(gè)觸覺(jué)效果。還應(yīng)注意，該處理能夠根據(jù)觸覺(jué)效果信息來(lái)啟動(dòng)執(zhí)行機(jī)構(gòu)，并且還能夠根據(jù)相關(guān)聯(lián)的時(shí)間戳來(lái)維持觸覺(jué)效果。雖然已示出并描述了本發(fā)明的實(shí)施例和應(yīng)用，但是得益于本披露的本領(lǐng)域的技術(shù)人員應(yīng)了解，在不背離本文中的本發(fā)明的概念的情況下，可以進(jìn)行許多比以上所述更進(jìn)一步的修改。因此，除了在所附權(quán)利要求的精神內(nèi)之外，本發(fā)明不受任何限制。
權(quán)利要求
1.一種用于將觸覺(jué)信號(hào)嵌入媒體傳輸流中的設(shè)備，包括用于將所述觸覺(jué)信號(hào)分解成具有相同的固定時(shí)間長(zhǎng)度的一個(gè)或多個(gè)幀的裝置； 用于向所述幀分配用于播放的初始時(shí)間的裝置，所述用于播放的初始時(shí)間與關(guān)于所述媒體傳輸流的主時(shí)間碼相關(guān)聯(lián)；以及用于定義用于在每個(gè)幀的時(shí)間范圍內(nèi)將要播放的每個(gè)觸覺(jué)效果的效果信息的裝置。
2.根據(jù)權(quán)利要求1所述的設(shè)備，還包括用于將所述幀編碼為所述媒體傳輸流中的觸覺(jué)成分的裝置； 用于傳輸所述媒體傳輸流的裝置； 用于在回放裝置處接收所述媒體傳輸流的裝置； 用于提取媒體成分和所述觸覺(jué)成分的裝置； 用于播放所述媒體成分的裝置；以及用于通過(guò)在向其分配的用于播放的初始時(shí)間處播放每個(gè)幀來(lái)使所述觸覺(jué)成分與所述媒體成分同步的裝置。
全文摘要
本發(fā)明提供了一種用于將觸覺(jué)信號(hào)嵌入媒體傳輸流中的設(shè)備，包括用于將所述觸覺(jué)信號(hào)分解成具有相同的固定時(shí)間長(zhǎng)度的一個(gè)或多個(gè)幀的裝置；用于向所述幀分配用于播放的初始時(shí)間的裝置，所述用于播放的初始時(shí)間與關(guān)于所述媒體傳輸流的主時(shí)間碼相關(guān)聯(lián)；以及用于定義用于在每個(gè)幀的時(shí)間范圍內(nèi)將要播放的每個(gè)觸覺(jué)效果的效果信息的裝置。
文檔編號(hào)G06F3/01GK102184012SQ201110117830
公開(kāi)日2011年9月14日 申請(qǐng)日期2006年10月19日 優(yōu)先權(quán)日2005年10月19日
發(fā)明者克里斯托夫·J·烏爾里希, 圖·埃爾韋·蒂莫內(nèi), 安德里亞娜伊沃·拉貝米亞里索阿, 恩里克·D·達(dá)科斯塔, 斯蒂芬·D·蘭克, 羅伯特·A·拉克魯瓦 申請(qǐng)人:伊默生公司