專利名稱：一種網(wǎng)絡(luò)實時播放多媒體數(shù)據(jù)的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像通信，尤其是涉及一種網(wǎng)絡(luò)實時播放多媒體數(shù)據(jù)的方法。
背景技術(shù)：
在傳統(tǒng)的實時流媒體應(yīng)用中，使用最為廣泛的為MMS(MicrosoftMedia Server)和RTSP(Real Time Streaming Protocol)流媒體協(xié)議，如果想在同一應(yīng)用系統(tǒng)中使用這兩種協(xié)議來做流媒體服務(wù)，那么就必須分別處理MMS和RTSP，在接收端需要分別打開Media Player播放器和Real Player播放器，當(dāng)作為服務(wù)端的播放格式發(fā)生轉(zhuǎn)變(由ASF格式轉(zhuǎn)變?yōu)镽MVB格式)，接收端不能做到使用同一播放器播放，且對播放的實時多媒體源的限制比較多。針對不同種類多媒體源的發(fā)布要求，以及考慮到統(tǒng)一多種不同格式文件的實時播放和接收端的兼容性、習(xí)慣性，傳統(tǒng)的實時流媒體有以下缺點(1)多媒體源的單一性，很難引入其它外部的源。(2)多媒體源的相互兼容性差，ASF和RM格式相互切換對接收端處理不靈活。(3)協(xié)議的擴展性不夠強，很難添加用戶需要的協(xié)議。

發(fā)明內(nèi)容
本發(fā)明所要解決的技術(shù)問題是彌補現(xiàn)有技術(shù)的缺陷，提出一種能解決多種多媒體源的兼容性問題以及傳統(tǒng)的MMS和RTSP播放的兼容性問題的網(wǎng)絡(luò)實時播放多媒體數(shù)據(jù)的發(fā)送與接收方法。
本發(fā)明的技術(shù)問題通過以下技術(shù)方案予以解決一種網(wǎng)絡(luò)實時播放多媒體數(shù)據(jù)的發(fā)送方法，包括如下步驟步驟一將包括不同格式的本地多媒體文件、本地視頻采集的多媒體文件、外部多媒體源的URL地址引入的多媒體文件作為多媒體源文件的發(fā)布源，步驟二通過多媒體數(shù)據(jù)發(fā)送裝置Source Filter1將所述發(fā)布源的多媒體文件打包成多媒體包頭、多媒體音頻包、和多媒體視頻包，通過網(wǎng)絡(luò)發(fā)送。
所述網(wǎng)絡(luò)實時播放多媒體數(shù)據(jù)的發(fā)送方法，是以播放的形式分離出媒體數(shù)據(jù)流中的音視頻數(shù)據(jù)流，再打包為多媒體音頻包和多媒體視頻包。
所述打包的媒體音頻包和媒體視頻包包括包的類型、當(dāng)前時間戳、依次遞加的包序號、以及流的時間戳和流的屬性。
所述的網(wǎng)絡(luò)發(fā)送是采用SOCKET服務(wù)偵聽，當(dāng)偵聽到有多媒體接收裝置連接成功后，首先發(fā)送指定的多媒體包頭，然后依次發(fā)送從當(dāng)前開始的多媒體音頻包、多媒體視頻包。
一種網(wǎng)絡(luò)實時播放多媒體數(shù)據(jù)的接收方法，包括如下步驟步驟一通過一個注冊有接收多媒體數(shù)據(jù)發(fā)送裝置連接協(xié)議的多媒體數(shù)據(jù)接收裝置Source Filter2接收所述多媒體發(fā)送裝置發(fā)送的數(shù)據(jù)包；步驟二當(dāng)接收到多媒體包頭后，按照裝置指定的協(xié)議分為多媒體數(shù)據(jù)包頭、多媒體數(shù)據(jù)音頻包、多媒體數(shù)據(jù)視頻包；步驟三根據(jù)多媒體包頭信息，建立Source Filter2的播放鏈路，同時，按不同的多媒體頭類型，選擇音頻流或視頻流，作為參考來同步音頻和視頻，當(dāng)沒有音頻或視頻時，以單獨的視頻流或音頻流同步參考；步驟四對同步的音視頻流進(jìn)行播放。
所述注冊有接收多媒體數(shù)據(jù)發(fā)送裝置連接協(xié)議是指直接指定多媒體發(fā)送裝置的地址和端口，或生成URL的形式(請仔細(xì)審查這里的表達(dá)方式)。
所述步驟二還包括將拆分為音頻包和視頻包的多媒體數(shù)據(jù)分別推到音頻數(shù)據(jù)緩沖區(qū)和視頻數(shù)據(jù)緩沖區(qū)，對接收緩沖區(qū)中的數(shù)據(jù)包按照包的序號進(jìn)行排序的步驟。
所述同步音視頻參考包括如下步驟步驟五在同步音視頻時，設(shè)定一個接收音視頻數(shù)據(jù)的緩沖區(qū)；步驟六從第一個音頻包的到來開始播放音頻，同時記錄第一個音頻包的時間戳，并記住當(dāng)前系統(tǒng)中的媒體時間；步驟七開啟視頻播放，且視頻包的流時間戳不小于第一個音頻包的流時間戳，否則要丟棄之前的視頻包；步驟八計算出當(dāng)前系統(tǒng)的媒體時間與第一個音頻包的時間間隔，以后順序到來的每一個音視頻包都需要通過當(dāng)前包的流時間加上間隔時間來調(diào)整流的時間戳后才送入播放。
采用上述技術(shù)方案，本發(fā)明有益的技術(shù)效果是由于將各種多媒體文件都打包成多媒體包頭、多媒體音頻包、和多媒體視頻包，進(jìn)行發(fā)送和接收，所以可以兼容多種多媒體源，能夠支持本地視頻采集、本地多媒體文件播放、外部URL地址的引入，多媒體源的相互兼容性增強。由于數(shù)據(jù)包完全以自定義的協(xié)議傳輸，所以ASF和RM格式數(shù)據(jù)相互切換對接收端處理沒有影響，具有很強的擴展性。設(shè)置數(shù)據(jù)緩沖區(qū)可以使播放連續(xù)。視頻播放時視頻包的流時間戳小于第一個音頻包的流時間戳，則要丟棄之前的視頻包，保證了視頻和音頻的同步。整個過程中，接收端對實時流的播放統(tǒng)一使用Media Player，兼容了傳統(tǒng)的習(xí)慣，對不同格式的本地媒體文件播放的實時傳輸，直接使用原始文件的壓縮后的流數(shù)據(jù)，不需要附加其它的編解碼操作，大大的提高了系統(tǒng)的效率。


圖1是網(wǎng)絡(luò)播放多媒體方法的整體框圖。
圖2是多媒體發(fā)送裝置的示意圖。
圖3是發(fā)送裝置的Source Filter對數(shù)據(jù)處理的示意圖。
圖4是接收裝置的Source Filter示意圖。
圖5是接收裝置的Source Filter對數(shù)據(jù)處理的示意圖。
具體實施例方式
下面通過具體的實施例并結(jié)合附圖對本發(fā)明作進(jìn)一步詳細(xì)的描述。
實施例一種網(wǎng)絡(luò)實時播放多媒體數(shù)據(jù)的方法，如圖2、圖3所示，包括如下步驟將包括不同格式的本地多媒體文件、本地視頻采集的多媒體文件、外部多媒體源的URL地址引入的多媒體文件作為多媒體源文件的發(fā)布源，通過多媒體數(shù)據(jù)發(fā)送裝置Source Filter1將所述發(fā)布源的多媒體文件打包成多媒體包頭、多媒體音頻包、和多媒體視頻包，通過網(wǎng)絡(luò)發(fā)送。
發(fā)送方法，是以播放的形式分離出媒體數(shù)據(jù)流中的音視頻數(shù)據(jù)流，再打包為多媒體音頻包和多媒體視頻包。打包的媒體音頻包和媒體視頻包包括包的類型、當(dāng)前時間戳、依次遞加的包序號、以及流的時間戳和流的屬性。
服務(wù)器采用SOCKET偵聽，當(dāng)偵聽到有多媒體接收裝置連接成功后，首先發(fā)送指定的多媒體包頭，然后依次發(fā)送從當(dāng)前開始的多媒體音頻包、多媒體視頻包。
一種網(wǎng)絡(luò)實時播放多媒體數(shù)據(jù)的接收方法，如圖4、圖5所示包括如下步驟通過一個注冊有接收多媒體數(shù)據(jù)發(fā)送裝置連接協(xié)議的多媒體數(shù)據(jù)接收裝置Source Filter2接收所述多媒體發(fā)送裝置發(fā)送的數(shù)據(jù)包；當(dāng)接收到多媒體包頭后，按照裝置指定的協(xié)議分為多媒體數(shù)據(jù)包頭、多媒體數(shù)據(jù)音頻包、多媒體數(shù)據(jù)視頻包；根據(jù)多媒體包頭信息，建立Source Filter2的播放鏈路，同時，按不同的多媒體頭類型，選擇音頻流或視頻流，作為參考來同步音頻和視頻，當(dāng)沒有音頻或視頻時，以單獨的視頻流或音頻流同步參考；對同步的音視頻流進(jìn)行播放。
注冊有接收多媒體數(shù)據(jù)發(fā)送裝置連接協(xié)議是指直接指定多媒體發(fā)送裝置的地址和端口，或生成URL的形式。如VNET:\\127.0.0.1:9000\ABC，其中“VNET”這個標(biāo)志是多媒體接收裝置注冊時指定的，可以是其它任何的標(biāo)志；“ABC”是任意指定的，也可以是其它標(biāo)志。
建立Source Filter2的播放鏈路時還包括將拆分為音頻包和視頻包的多媒體數(shù)據(jù)分別推到音頻數(shù)據(jù)緩沖區(qū)和視頻數(shù)據(jù)緩沖區(qū)，對接收緩沖區(qū)中的數(shù)據(jù)包按照包的序號進(jìn)行排序的步驟。
同步音視頻參考包括如下步驟在同步音視頻時，設(shè)定一個接收音視頻數(shù)據(jù)的緩沖區(qū)；當(dāng)收到音視頻包后，分別拆分，同時利用緩沖隊列緩沖30s的數(shù)據(jù)之后，選擇音頻流，作為參考來同步音視頻，當(dāng)緩沖隊列中的數(shù)據(jù)少于10s，則暫停播放，開始接收緩沖，直到緩沖的數(shù)據(jù)不少于30s。從第一個音頻包的到來開始播放音頻，同時記錄第一個音頻包的時間戳，并記住當(dāng)前系統(tǒng)中的媒體時間；開啟視頻播放，且視頻包的流時間戳不小于第一個音頻包的流時間戳，否則要丟棄之前的視頻包；同步音視頻的時候，如果當(dāng)前包的包序號是連續(xù)，但是時間戳跳動大于10幀(相當(dāng)于0.5s左右)，則進(jìn)行跳幀處理；如果當(dāng)前包的包序號不連續(xù)則進(jìn)行丟幀處理；如果屬性中有斷點，且流的時間戳跳動大于10幀(相當(dāng)于0.5s左右)，則可以重新置位參考時間，清除緩沖數(shù)據(jù)，重新接收。對于正常的有序流則打上標(biāo)準(zhǔn)的流時間、流屬性進(jìn)行播放處理。
計算出當(dāng)前系統(tǒng)的媒體時間與第一個音頻包的時間間隔，以后順序到來的每一個音視頻包都需要通過當(dāng)前包的流時間加上間隔時間來調(diào)整流的時間戳后才送入播放。用戶統(tǒng)一使用Media Player播放器就是收看，不用切換播放器。
權(quán)利要求
1.一種網(wǎng)絡(luò)實時播放多媒體數(shù)據(jù)的發(fā)送方法，包括如下步驟步驟一將包括不同格式的本地多媒體文件、本地視頻采集的多媒體文件、外部多媒體源的URL地址引入的多媒體文件作為多媒體源文件的發(fā)布源，步驟二通過多媒體數(shù)據(jù)發(fā)送裝置Source Filter1將所述發(fā)布源的多媒體文件打包成多媒體包頭、多媒體音頻包、和多媒體視頻包，通過網(wǎng)絡(luò)發(fā)送。
2.根據(jù)權(quán)利要求1所述的網(wǎng)絡(luò)實時播放多媒體數(shù)據(jù)的發(fā)送方法，其特征在于是以播放的形式分離出媒體數(shù)據(jù)流中的音視頻數(shù)據(jù)流，再打包為多媒體音頻包和多媒體視頻包。
3.根據(jù)權(quán)利要求1或2所述的網(wǎng)絡(luò)實時播放多媒體數(shù)據(jù)的發(fā)送方法，其特征在于所述打包的媒體音頻包和媒體視頻包包括包的類型、當(dāng)前時間戳、依次遞加的包序號、以及流的時間戳和流的屬性。
4.根據(jù)權(quán)利要求3所述的網(wǎng)絡(luò)實時播放多媒體數(shù)據(jù)的發(fā)送方法，其特征在于所述的網(wǎng)絡(luò)發(fā)送是采用SOCKET服務(wù)偵聽，當(dāng)偵聽到有多媒體接收裝置連接成功后，首先發(fā)送指定的多媒體包頭，然后依次發(fā)送從當(dāng)前開始的多媒體音頻包、多媒體視頻包。
5.一種網(wǎng)絡(luò)實時播放多媒體數(shù)據(jù)的接收方法，包括如下步驟步驟一通過一個注冊有接收多媒體數(shù)據(jù)發(fā)送裝置連接協(xié)議的多媒體數(shù)據(jù)接收裝置Source Filter2接收所述多媒體發(fā)送裝置發(fā)送的數(shù)據(jù)包；步驟二當(dāng)接收到多媒體包頭后，按照裝置指定的協(xié)議分為多媒體數(shù)據(jù)包頭、多媒體數(shù)據(jù)音頻包、多媒體數(shù)據(jù)視頻包；步驟三根據(jù)多媒體包頭信息，建立Source Filter2的播放鏈路，同時，按不同的多媒體頭類型，選擇音頻流或視頻流，作為參考來同步音頻和視頻，當(dāng)沒有音頻或視頻時，以單獨的視頻流或音頻流同步參考；步驟四對同步的音視頻流進(jìn)行播放。
6.根據(jù)權(quán)利要求5所述的網(wǎng)絡(luò)實時播放多媒體數(shù)據(jù)的接收方法，其特征在于所述注冊有接收多媒體數(shù)據(jù)發(fā)送裝置連接協(xié)議是指直接指定多媒體發(fā)送裝置的地址和端口，或生成URL的形式。
7.根據(jù)權(quán)利要求5所述的網(wǎng)絡(luò)實時播放多媒體數(shù)據(jù)的接收方法，其特征在于所述步驟二還包括將拆分為音頻包和視頻包的多媒體數(shù)據(jù)分別推到音頻數(shù)據(jù)緩沖區(qū)和視頻數(shù)據(jù)緩沖區(qū)，對接收緩沖區(qū)中的數(shù)據(jù)包按照包的序號進(jìn)行排序的步驟。
8.根據(jù)權(quán)利要求5所述的網(wǎng)絡(luò)實時播放多媒體數(shù)據(jù)的接收方法，其特征在于所述同步音視頻參考包括如下步驟步驟五在同步音視頻時，設(shè)定一個接收音視頻數(shù)據(jù)的緩沖區(qū)；步驟六從第一個音頻包的到來開始播放音頻，同時記錄第一個音頻包的時間戳，并記住當(dāng)前系統(tǒng)中的媒體時間；步驟七開啟視頻播放，且視頻包的流時間戳不小于第一個音頻包的流時間戳，否則要丟棄之前的視頻包；步驟八計算出當(dāng)前系統(tǒng)的媒體時間與第一個音頻包的時間間隔，以后順序到來的每一個音視頻包都需要通過當(dāng)前包的流時間加上間隔時間來調(diào)整流的時間戳后才送入播放。
全文摘要
本發(fā)明涉及一種網(wǎng)絡(luò)實時播放多媒體數(shù)據(jù)的發(fā)送與接收方法，其發(fā)送方法包括如下步驟步驟一將包括不同格式的本地多媒體文件、本地視頻采集的多媒體文件、外部多媒體源的URL地址引入的多媒體文件作為多媒體源文件的發(fā)布源，步驟二通過多媒體數(shù)據(jù)發(fā)送裝置Source Filter1將所述發(fā)布源的多媒體文件打包成多媒體包頭、多媒體音頻包、和多媒體視頻包，通過網(wǎng)絡(luò)發(fā)送。本發(fā)明還公開了對上述發(fā)送數(shù)據(jù)的接收方式。采用本發(fā)明解決了多種多媒體源的兼容性問題，以及傳統(tǒng)的MMS和RTSP播放的兼容性問題，接收端對實時流的播放統(tǒng)一使用Media Player，兼容了傳統(tǒng)的習(xí)慣。
文檔編號H04N7/24GK101064669SQ200610035380
公開日2007年10月31日 申請日期2006年4月29日 優(yōu)先權(quán)日2006年4月29日
發(fā)明者朱常濤, 王素云 申請人:互聯(lián)天下科技發(fā)展(深圳)有限公司