專利名稱：多媒體音視頻與說明文字的同步驅(qū)動技術(shù)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明是實現(xiàn)音頻，視頻和文字同步顯示的一門技術(shù)，不需要特殊的視頻文件格式或改變視頻文件格式，而是通過一個記錄時間和其他信息的文件(打點文件)實現(xiàn)的。
2技術(shù)背景在軟件技術(shù)飛速發(fā)展的今天，多媒體技術(shù)也在不斷的提高和完善，尤其在音頻和視頻領(lǐng)域已達到了一定的水平，但在多媒體某些領(lǐng)域仍舊缺乏一些技術(shù)。
比如圖文并貌技術(shù)，很少有技術(shù)能實現(xiàn)在播放音頻/視頻流的同時能夠瀏覽文字。雖然播放器在播放高級流格式(以下簡稱ASF)的視頻文件時能夠?qū)崿F(xiàn)圖文并貌，但它采用的技術(shù)是在音頻/視頻流中間插入一些標(biāo)志，然而不是所有的音頻/視頻流都可以在中間插入標(biāo)志的，這樣此技術(shù)適用范圍比較小?，F(xiàn)在需要的是不用改音頻/視頻流，而且適合在播放任何格式音頻/視頻流時都能實現(xiàn)圖文并貌的技術(shù)，本發(fā)明就實現(xiàn)了這樣的技術(shù)。

發(fā)明內(nèi)容音頻/視頻流打點的方法是在音頻/視頻流作標(biāo)志，但標(biāo)志不是寫入音頻/視頻流中而是寫入一個文件(打點文件)的方法。
音頻/視頻流打點文件的格式是文件的開頭是統(tǒng)一資源地(以下簡稱URL)，接著是時間和對應(yīng)的存儲文字的文件的列表。
音頻/視頻流和文字的同步方法是播放器在請求音頻/視頻流的同時請求打點文件。具體地，播放進程有一個請求音頻/視頻流線程和一個請求打點文件線程，在請求打點文件線程中解析打點文件寫入鏈表(時間列表)，通過時鐘消息檢索時間列表，察看是否有時間節(jié)點在當(dāng)前播放位置(時間)前一秒之內(nèi)，如果有便觸發(fā)一個事件。同時在IE瀏覽器中捕獲該事件，而后通過IE瀏覽器鏈接該事件傳出的URL地址進行文字瀏覽?；诖思夹g(shù)所有格式的音頻/視頻流都能實現(xiàn)和文字的同步。


圖1為打點文件的格式。
圖2給出了音頻/視頻流和文字的同步實現(xiàn)的過程。
圖3為解析打點文件。
圖4為IE瀏覽器捕獲事件并瀏覽文字的過程。
具體實施方式
本發(fā)明是通過一系列的處理方法實現(xiàn)在播放音頻/視頻流的同時瀏覽文字，并且不需改變音頻/視頻流。其實現(xiàn)的基本思想是產(chǎn)生一個文件(打點文件)存儲應(yīng)該在音頻/視頻流中作的標(biāo)志；
在播放器中同時請求音頻/視頻流和打點文件，并作一定的處理，在音頻/視頻流播放到需要顯示文字的時候產(chǎn)生一個事件作為外界接口；通過IE瀏覽器捕獲此事件作相應(yīng)處理瀏覽文字。
要想實現(xiàn)音頻/視頻流和文字同步，首先應(yīng)該在音頻/視頻流中作標(biāo)志，這樣在播放器播放音頻/視頻流的過程中播放器才能知道什么時候該顯示文字。ASF視頻文件格式就是如此，在它的流中在該顯示文字的地方作了標(biāo)志，整個視頻文件就是一段視頻流一段標(biāo)志。這樣在播放器播放此格式視頻文件時就可以實現(xiàn)音頻/視頻流和文字同步。但并不是所有格式的音頻/視頻流文件都能改成此格式，即使可改也會降低播放效果的。基于此我們把這些標(biāo)志寫到另一個地方，寫到一個文件中，此文件被稱為打點文件，這樣就不需改變音頻/視頻流，因此不論何種格式的視頻文件都可以實現(xiàn)音頻/視頻流和文字的同步。
打點文件不是什么格式非常復(fù)雜的文件，它只不過是一個文本文件。格式如圖1包括URL地址、時間標(biāo)志和WEB文件名或文本文件(存儲文字)名。
真正實現(xiàn)音頻/視頻流和文字同步是播放器。在程序中，播放器進程分兩個請求線程，一個線程請求音頻/視頻流，另一個請求打點文件如圖2。
請求打點文件線程主要處理解析打點文件(當(dāng)然在播放器進程中要檢查有沒有打點文件，如果沒有就沒必要啟動此線程)。首先檢查打點文件信息是否有錯，如果有錯結(jié)束線程不進行解析，如果無誤把解析結(jié)果存入鏈表(這里稱時間列表)，在鏈表內(nèi)其中兩個字串如下字串1＝時間字串2＝HTTP//WEB服務(wù)器IP地址/WEB虛擬目錄/文件名字串1是播放器處理同步時所需的時間(是以秒為最小單位)，字串2是同步顯示時播放器通過事件傳出的URL地址，并通過IE瀏覽器連接此URL地址瀏覽文字。
在請求音頻/視頻流線程中，只是讀入流并不作任何處理。讀入流后開始播放如圖2，在此播放進程中處理整個同步過程。
在播放進程中設(shè)置了時鐘(由于時間列表中的時間是以秒為最小單位的，所以設(shè)置時鐘間隔為一秒，否則會產(chǎn)生同步偏差或多次激活事件)，在它的回調(diào)函數(shù)中進行同步處理。首先判斷是否有音頻/視頻流正在播放，如果沒有不作任何處理函數(shù)返回，因為節(jié)目流播放停止再作任何處理都沒有什么意義；如果節(jié)目流正在播放那么就進一步判斷有沒有時間列表，如果有，則判斷時間列表是否為空；若不為空，則從播放器獲得當(dāng)前的播放位置(時間)，每次允許在前面一秒以內(nèi)觸發(fā)事件，不包括剛好等于當(dāng)前位置前一秒。檢查時間列表的當(dāng)前節(jié)點是否在此范圍，如果在，則觸發(fā)事件；如果此節(jié)點大于當(dāng)前的播放位置，那么就向前檢索時間列表，直到檢索到符合要求的節(jié)點并將當(dāng)前節(jié)點指針指向該節(jié)點觸發(fā)事件，如果沒有便不觸發(fā)事件節(jié)點指針不動；如果此節(jié)點小于當(dāng)前的播放位置減一秒，那么就向后搜索第一個比當(dāng)前位置減一秒大的節(jié)點并將當(dāng)前節(jié)點指針指向該節(jié)點觸發(fā)事件，如果搜索不到后一個節(jié)點就一直不觸發(fā)事件。在此過程中音頻/視頻流不停的向前播放，只是觸發(fā)事件，不管事件有沒有被接收也不處理事件。這個事件就是一個外部接口，向外傳出一個參數(shù)，此參數(shù)為鏈表中的URL地址串。
在此把播放器進程寫成一個組件，在IE瀏覽器中調(diào)用該組件并隨時捕獲組件觸發(fā)的事件。當(dāng)播放器正在播放音頻/視頻流的時候，IE瀏覽器一直在等待著事件的發(fā)生，當(dāng)播放器產(chǎn)生事件時IE瀏覽器將捕獲到該事件，因為事件傳出的參數(shù)是URL地址，IE瀏覽器將連接到此URL地址，便可在瀏覽器中瀏覽文字信息。
整個過程就是音頻/視頻流和文字的同步的實現(xiàn)，此技術(shù)原理與播放ASF格式的視頻流相似，但區(qū)別是它是ASF格式音頻/視頻流和文字的同步技術(shù)的升華，播放器不用依賴于某種格式的音頻/視頻流就可實現(xiàn)音頻/視頻流和文字的同步。
這種技術(shù)可用在多媒體網(wǎng)絡(luò)教學(xué)，通過它，可以實現(xiàn)在網(wǎng)絡(luò)教學(xué)中音頻、視頻及說明文字同步顯示和播放，從而可以使網(wǎng)絡(luò)教學(xué)更加生動和有效。
權(quán)利要求
1.音頻/視頻流和文字的同步是通過一定的方法使得各種格式的音頻/視頻流與文字同步顯示。該方法的步驟是通過一個特殊的文件打點文件記錄需在音頻/視頻流中間應(yīng)該作的一些標(biāo)志，這些標(biāo)志是為了播放器在播放音頻/視頻流的過程中什么時候應(yīng)該觸發(fā)一個事件。在播放器進程中實現(xiàn)同步的過程。播放器請求分兩個線程進行，一個是打點文件請求，在請求過程中解析文件并把解析內(nèi)容存入鏈表。另一個是音頻/視頻流請求，在播放進程中設(shè)有時鐘，當(dāng)播放音頻/視頻流同時，在時鐘的回調(diào)函數(shù)中檢索鏈表尋找在當(dāng)前播放位置(時間)前一秒內(nèi)的時間節(jié)點，如有播放器便觸發(fā)事件，作為外部接口。IE瀏覽器捕獲播放器觸發(fā)的事件，并連接事件傳出的URL地址串瀏覽文字。
2.根據(jù)權(quán)利要求1的方法，其中音頻/視頻流打點的方法是把應(yīng)該在音頻/視頻流中作的標(biāo)志寫入了一個文件(打點文件)中。不需改變原有音頻/視頻流的格式，不對音頻/視頻流的格式有特殊的要求。
3.根據(jù)權(quán)利要求2的方法，其中打點文件就是有著自己的格式的文本文件，文件首是URL地址串，接著是時間和文件名列表。文件解析后字串重組存入鏈表。
全文摘要
音頻、視頻和說明文字的同步驅(qū)動技術(shù)是通過播放器同時請求音頻/視頻流和打點文件，在播放音頻/視頻流的同時通過播放進程中的時鐘消息不斷獲得播放位置(時間)，并與由打點文件解析得到的鏈表(時間列表)中的時間比較，如有符合要求的播放器便觸發(fā)一個事件通過IE瀏覽器捕獲事件進行處理瀏覽文字信息實現(xiàn)的。音頻，視頻和說明文字的同步驅(qū)動技術(shù)與音頻/視頻文件的格式無關(guān)，只與打點文件記錄的信息有關(guān)。也就是說把應(yīng)該在音頻/視頻流中作的標(biāo)志寫入了另一個文件(打點文件)中，這樣一來同步技術(shù)適用范圍廣而且不影響播放效果。這種技術(shù)可用在多媒體網(wǎng)絡(luò)教學(xué)，通過它，可以實現(xiàn)在網(wǎng)絡(luò)教學(xué)中音頻、視頻及說明文字同步顯示和播放，從而可以使網(wǎng)絡(luò)教學(xué)更加生動和有效。
文檔編號H04N5/04GK1471305SQ0212532
公開日2004年1月28日 申請日期2002年7月25日 優(yōu)先權(quán)日2002年7月25日
發(fā)明者梁肇新 申請人:梁肇新