一種異構(gòu)網(wǎng)絡(luò)下的多媒體時(shí)鐘協(xié)調(diào)同步方法
【專利摘要】本發(fā)明提供了一種異構(gòu)網(wǎng)絡(luò)下的多媒體時(shí)鐘協(xié)調(diào)同步方法，該方法針對(duì)現(xiàn)有多媒體系統(tǒng)和協(xié)議缺乏多時(shí)鐘兼容的機(jī)制，造成異構(gòu)融合網(wǎng)絡(luò)中無法精確整合不同網(wǎng)絡(luò)中內(nèi)容和服務(wù)的問題，采用數(shù)據(jù)封裝模塊、數(shù)據(jù)發(fā)送模塊、數(shù)據(jù)接收模塊、數(shù)據(jù)解析與呈現(xiàn)模塊，通過增加多媒體時(shí)鐘協(xié)調(diào)同步機(jī)制實(shí)現(xiàn)異構(gòu)網(wǎng)絡(luò)下兼容多種網(wǎng)絡(luò)時(shí)鐘同步機(jī)制，采用統(tǒng)一的封裝格式多媒體數(shù)據(jù)，提供不同時(shí)鐘的對(duì)應(yīng)關(guān)系的信令表，既利于整合多種網(wǎng)絡(luò)資源，提高異構(gòu)融合網(wǎng)絡(luò)下多媒體服務(wù)的豐富性和穩(wěn)定性，也便于多媒體內(nèi)容的統(tǒng)一管理，減少因時(shí)鐘同步機(jī)制不同而造成的數(shù)據(jù)重復(fù)封裝和處理的時(shí)間和資源浪費(fèi)，給用戶帶來更好的服務(wù)體驗(yàn)。
【專利說明】
一種異構(gòu)網(wǎng)絡(luò)下的多媒體時(shí)鐘協(xié)調(diào)同步方法
技術(shù)領(lǐng)域
[0001 ] 本發(fā)明涉及一種在異構(gòu)網(wǎng)絡(luò)中實(shí)現(xiàn)多媒體時(shí)鐘協(xié)調(diào)同步的機(jī)制，更具體的說，涉 及一種在雙向網(wǎng)與單向網(wǎng)組成的混合、異構(gòu)網(wǎng)絡(luò)中實(shí)現(xiàn)全網(wǎng)的多媒體時(shí)鐘協(xié)調(diào)與同步的機(jī) 制。
【背景技術(shù)】
[0002] 隨著數(shù)字多媒體技術(shù)的成熟和普遍應(yīng)用，尤其是高清晰度、高分辨率數(shù)字視頻業(yè) 務(wù)的廣泛深入發(fā)展，用戶體驗(yàn)到了更好的數(shù)字媒體服務(wù)的同時(shí)，也對(duì)數(shù)字媒體業(yè)務(wù)提出了 更高的要求。由于數(shù)字媒體技術(shù)的廣泛應(yīng)用，多媒體節(jié)目中流間同步和流內(nèi)同步問題也日 益凸顯。更為重要的是，在現(xiàn)有的以廣播電視網(wǎng)絡(luò)為代表的單向網(wǎng)與以寬帶網(wǎng)絡(luò)為代表的 雙向網(wǎng)中，采用了不同的多媒體時(shí)間同步機(jī)制和協(xié)議，造成兩種網(wǎng)絡(luò)多媒體服務(wù)不兼容，使 用戶不能享受到異構(gòu)融合網(wǎng)絡(luò)業(yè)務(wù)帶來的優(yōu)勢(shì)和便利。
[0003] 當(dāng)前大多數(shù)多媒體協(xié)議都定義了各自的一套完整的時(shí)間同步機(jī)制，能夠在可接受 范圍內(nèi)比較成功地解決協(xié)議內(nèi)多媒體系統(tǒng)時(shí)鐘同步問題，如數(shù)字電視領(lǐng)域常用的MPEG2-TS 協(xié)議采用27M系統(tǒng)時(shí)鐘STC(System Time Clock)結(jié)合媒體流中PCR(Program Clock Reference)與PTS(Presentation Time Stamp)信息進(jìn)行多媒體業(yè)務(wù)的時(shí)鐘同步；寬帶網(wǎng) 絡(luò)中常見的HTTP、RTP協(xié)議中采用協(xié)調(diào)世界時(shí)UTC(Coordinated Universal Time)結(jié)合統(tǒng) 一的網(wǎng)絡(luò)時(shí)間協(xié)議NTP(Network Time Protocol)時(shí)戳完成多媒體業(yè)務(wù)的時(shí)鐘同步。雖然如 此，考慮到大眾用戶不關(guān)心多媒體業(yè)務(wù)的具體技術(shù)，只關(guān)注服務(wù)質(zhì)量和效果，所以在實(shí)際情 況中用戶往往處于異構(gòu)混合網(wǎng)絡(luò)中，并且希望享受到無差別、穩(wěn)定的多媒體服務(wù)。問題在于 不同網(wǎng)絡(luò)系統(tǒng)，或者說不同協(xié)議中時(shí)鐘同步機(jī)制的不兼容性，造成用戶同一時(shí)間只能享受 某一種業(yè)務(wù)，而無法享受異構(gòu)混合網(wǎng)絡(luò)帶來的更廣泛的媒體業(yè)務(wù)和更高質(zhì)量的媒體服務(wù)。 多網(wǎng)融合已經(jīng)成為趨勢(shì)，不同網(wǎng)絡(luò)具有各自優(yōu)勢(shì)、相輔相成，異構(gòu)融合網(wǎng)絡(luò)本應(yīng)為用戶提供 更好的服務(wù)，然而不同的時(shí)鐘同步機(jī)制使得這一目標(biāo)難以實(shí)現(xiàn)，多媒體系統(tǒng)難以精確匹配、 整合不同網(wǎng)絡(luò)中的內(nèi)容和服務(wù)。
[0004] 另一方面，數(shù)字媒體資源的豐富性滿足了用戶日益增長的媒體消費(fèi)需求，媒體資 源之間的內(nèi)容關(guān)聯(lián)也為媒體資源的整合提供了基礎(chǔ)。如今多媒體服務(wù)已經(jīng)不再受物理網(wǎng)絡(luò) 的限制，在不同網(wǎng)絡(luò)中都可以享受到比較高質(zhì)量的多媒體業(yè)務(wù)，但是相應(yīng)產(chǎn)生了另一個(gè)問 題，相同的數(shù)據(jù)內(nèi)容在不同網(wǎng)絡(luò)不同協(xié)議中需要封裝成不同的媒體格式，不僅增加了額外 的工作量，并且不同的媒體格式由于時(shí)鐘信息相互不兼容造成用戶必須依賴物理?xiàng)l件才能 獲取多媒體服務(wù)，不符合數(shù)字媒體消費(fèi)隨時(shí)、隨地、任何終端、任何內(nèi)容的趨勢(shì)。
[0005] 更好的方法是，多媒體數(shù)據(jù)采用統(tǒng)一的封裝格式，該封裝格式能夠兼容現(xiàn)有多種 時(shí)鐘信息，同時(shí)異構(gòu)網(wǎng)絡(luò)的多媒體系統(tǒng)中應(yīng)該兼容雙向網(wǎng)與單向網(wǎng)的時(shí)間同步機(jī)制，媒體 發(fā)送端都使用基于IP (Internet Protocol)的傳輸協(xié)議發(fā)送數(shù)據(jù)、標(biāo)定時(shí)戳，同時(shí)提供不同 時(shí)鐘的對(duì)應(yīng)關(guān)系的信令表，客戶端能夠根據(jù)需要調(diào)整所采用的時(shí)鐘協(xié)議和機(jī)制。例如，在寬 帶網(wǎng)絡(luò)斷開時(shí)，用戶無法使用NTP協(xié)議完成時(shí)鐘同步，但是仍然可以借助其他時(shí)鐘同步協(xié) 議使用廣播網(wǎng)絡(luò)觀看電視節(jié)目。其困難在于：現(xiàn)有多媒體系統(tǒng)一般都是對(duì)應(yīng)于某種特定網(wǎng) 絡(luò)，需要設(shè)計(jì)合理的異構(gòu)混合網(wǎng)絡(luò)下的多媒體系統(tǒng)，用以兼容不同網(wǎng)絡(luò)特性；現(xiàn)有成熟協(xié)議 都沒有考慮異構(gòu)網(wǎng)絡(luò)的需求，需要按照兼容不同時(shí)鐘機(jī)制的要求重新設(shè)計(jì)媒體封裝格式和 傳輸協(xié)議。

【發(fā)明內(nèi)容】

[0006] 針對(duì)現(xiàn)有技術(shù)中的缺陷，本發(fā)明的目的是提供一種異構(gòu)網(wǎng)絡(luò)下的多媒體時(shí)鐘協(xié)調(diào) 同步方法，從而增加了現(xiàn)有多媒體系統(tǒng)和協(xié)議缺乏的多時(shí)鐘關(guān)聯(lián)機(jī)制，解決了現(xiàn)有多媒體 系統(tǒng)和協(xié)議由于同步時(shí)鐘不兼容而無法提供異構(gòu)融合網(wǎng)絡(luò)關(guān)聯(lián)服務(wù)的問題，并且為新一代 基于IP的異構(gòu)網(wǎng)絡(luò)提供了時(shí)鐘同步解決方案。
[0007] 為實(shí)現(xiàn)上述目的，本發(fā)明采用以下技術(shù)方案：
[0008] -種異構(gòu)網(wǎng)絡(luò)下的多媒體時(shí)鐘協(xié)調(diào)同步方法，所述方法采用四個(gè)模塊處理：數(shù)據(jù) 封裝模塊、數(shù)據(jù)發(fā)送模塊、數(shù)據(jù)接收模塊、數(shù)據(jù)解析與呈現(xiàn)模塊，其中：
[0009] 所述數(shù)據(jù)封裝模塊，該模塊將原始的多媒體數(shù)據(jù)進(jìn)行統(tǒng)一的格式封裝成為MPU數(shù) 據(jù)，MPU數(shù)據(jù)包含幀級(jí)別時(shí)間戳信息，將所有媒體相關(guān)的信息封裝于文件中，包括多媒體 封裝文件和信令文件，為數(shù)據(jù)解析與呈現(xiàn)模塊提供必要信息，特別是標(biāo)準(zhǔn)的兼容時(shí)間戳信 息；
[0010] 所述數(shù)據(jù)發(fā)送模塊，該模塊發(fā)送的數(shù)據(jù)包含時(shí)鐘相關(guān)描述信令、標(biāo)記時(shí)間戳的媒 體數(shù)據(jù)，數(shù)據(jù)包字段格式與數(shù)據(jù)封裝模塊的數(shù)據(jù)格式相對(duì)應(yīng)，保證數(shù)據(jù)封裝模塊生成的文 件必要信息能夠正確傳送到客戶端，同時(shí)為數(shù)據(jù)接收與恢復(fù)模塊解包與數(shù)據(jù)恢復(fù)操作提供 標(biāo)準(zhǔn)格式；
[0011] 所述數(shù)據(jù)接收與恢復(fù)模塊，該模塊接收、恢復(fù)媒體數(shù)據(jù)與信令信息，校準(zhǔn)接收端本 地時(shí)鐘，將數(shù)據(jù)封裝模塊與發(fā)送模塊提供的各種媒體信息在本地進(jìn)行正確恢復(fù)，指導(dǎo)數(shù)據(jù) 解析與呈現(xiàn)模塊實(shí)現(xiàn)正確地輸出與呈現(xiàn)；
[0012] 所述數(shù)據(jù)解析與呈現(xiàn)模塊，該模塊解析信令表時(shí)鐘相關(guān)信息，引導(dǎo)解碼器正確解 碼與瀏覽器呈現(xiàn)，通過數(shù)據(jù)發(fā)送模塊和數(shù)據(jù)接收與恢復(fù)模塊，該模塊將數(shù)據(jù)封裝模塊包含 的文件內(nèi)容以及相關(guān)信令控制由接收端完整正確呈現(xiàn)，將本系統(tǒng)的優(yōu)勢(shì)直觀地展現(xiàn)給用 戶。
[0013] 優(yōu)選的，所述數(shù)據(jù)封裝模塊，其中：MPU格式基于ISOBMFF(ISO Base Media File Format)，在此基礎(chǔ)上增加新的盒子類型，同時(shí)分為時(shí)序數(shù)據(jù)和非時(shí)序數(shù)據(jù)，對(duì)所有的原始 數(shù)據(jù)類型進(jìn)行統(tǒng)一格式的封裝，其中時(shí)序數(shù)據(jù)主要封裝音視頻源數(shù)據(jù)，除了媒體軌道外添 加新的提示軌道，并在提示軌道樣本中提供媒體內(nèi)容的PTS時(shí)鐘信息，而非時(shí)序數(shù)據(jù)的編 碼和呈現(xiàn)與時(shí)鐘不相關(guān)，所以不需要設(shè)置PTS時(shí)鐘信息；PTS時(shí)鐘信息由編碼器時(shí)鐘源計(jì)算 得到，這樣在媒體數(shù)據(jù)封裝成MPU格式時(shí)已經(jīng)在數(shù)據(jù)幀級(jí)別對(duì)應(yīng)PTS時(shí)鐘信息。
[0014] 優(yōu)選的，所述數(shù)據(jù)發(fā)送模塊，其中MMT的傳輸協(xié)議部分各字段都與統(tǒng)一媒體封裝 格式MPU的時(shí)序數(shù)據(jù)字段相一致，達(dá)到多媒體數(shù)據(jù)存儲(chǔ)與傳輸?shù)囊恢滦院涂焖俎D(zhuǎn)換，傳送 多媒體數(shù)據(jù)的同時(shí)，NTP服務(wù)也在進(jìn)行，接收端本地時(shí)鐘被進(jìn)行周期性校正，能夠防止誤差 時(shí)間的累積效應(yīng)，保證多媒體服務(wù)的質(zhì)量。
[0015] 優(yōu)選的，所述數(shù)據(jù)發(fā)送模塊，在接收端不滿足NTP服務(wù)運(yùn)行的條件時(shí)，利用MMT協(xié) 議中的CRI信令表，提供NTP與PCR的對(duì)應(yīng)關(guān)系，接收端通過接受流中的NTP時(shí)戳依據(jù)此表 換算出PCR信息，從而校正本地的時(shí)鐘，達(dá)到時(shí)鐘同步與多媒體同步，CRI信令表周期性更 新，保證全網(wǎng)絡(luò)時(shí)鐘的精確同步。
[0016] 優(yōu)選的，所述數(shù)據(jù)接收與恢復(fù)模塊，用得到的媒體流中的ΝΤΡ時(shí)鐘或者時(shí)鐘時(shí)間 戳用來校正接收端的時(shí)鐘，使全網(wǎng)的時(shí)間同步，同時(shí)，媒體數(shù)據(jù)中的幀級(jí)別呈現(xiàn)時(shí)間戳引導(dǎo) 解碼器進(jìn)行正確地解碼。
[0017] 優(yōu)選的，所述數(shù)據(jù)解析與呈現(xiàn)模塊，在處于斷網(wǎng)狀態(tài)時(shí)，按照STC機(jī)制進(jìn)行時(shí)鐘同 步：解析CRI信令表得到PCR信息，校正本地的系統(tǒng)時(shí)鐘，同時(shí)利用媒體數(shù)據(jù)中的幀級(jí)別 PTS信息知道解碼器解碼；若處于聯(lián)網(wǎng)狀態(tài)，則忽略數(shù)據(jù)中的PCR與PTS信息，采用ΝΤΡ協(xié) 議進(jìn)行時(shí)鐘同步：接收端利用ΝΤΡ服務(wù)定期校正本地時(shí)鐘，利用媒體流中的時(shí)間線管理機(jī) 制引導(dǎo)解碼器解碼。
[0018] 與現(xiàn)有技術(shù)相比，本發(fā)明具有如下的有益效果：
[0019] 采用本發(fā)明的技術(shù)方案，可以針對(duì)現(xiàn)有多媒體系統(tǒng)和協(xié)議缺乏多時(shí)鐘兼容的機(jī) 制，造成異構(gòu)融合網(wǎng)絡(luò)中無法精確整合不同網(wǎng)絡(luò)中內(nèi)容和服務(wù)的問題，通過增加多媒體時(shí) 鐘協(xié)調(diào)同步機(jī)制實(shí)現(xiàn)異構(gòu)網(wǎng)絡(luò)下兼容多種網(wǎng)絡(luò)時(shí)鐘同步機(jī)制，采用統(tǒng)一的封裝格式多媒體 數(shù)據(jù)，提供不同時(shí)鐘的對(duì)應(yīng)關(guān)系的信令表，既利于整合多種網(wǎng)絡(luò)資源，提高異構(gòu)融合網(wǎng)絡(luò)下 多媒體服務(wù)的豐富性和穩(wěn)定性，也便于多媒體內(nèi)容的統(tǒng)一管理，減少因時(shí)鐘同步機(jī)制不同 而造成的數(shù)據(jù)重復(fù)封裝和處理的時(shí)間和資源浪費(fèi)，給用戶帶來更好的服務(wù)體驗(yàn)。
【附圖說明】
[0020] 通過閱讀參照以下附圖對(duì)非限制性實(shí)施例所作的詳細(xì)描述，本發(fā)明的其它特征、 目的和優(yōu)點(diǎn)將會(huì)變得更明顯：
[0021] 圖1是多媒體系統(tǒng)中時(shí)鐘協(xié)調(diào)同步示意圖；
[0022] 圖 2 是通用 MPU (Media Processing Unit)封裝格式；
[0023] 圖3是接收端時(shí)鐘同步流程圖；
[0024] 圖4為與統(tǒng)一媒體封裝格式MPU的時(shí)序數(shù)據(jù)字段相一致修改示意圖。
【具體實(shí)施方式】
[0025] 下面結(jié)合具體實(shí)施例對(duì)本發(fā)明進(jìn)行詳細(xì)說明。以下實(shí)施例將有助于本領(lǐng)域的技術(shù) 人員進(jìn)一步理解本發(fā)明，但不以任何形式限制本發(fā)明。應(yīng)當(dāng)指出的是，對(duì)本領(lǐng)域的普通技術(shù) 人員來說，在不脫離本發(fā)明構(gòu)思的前提下，還可以做出若干變形和改進(jìn)。這些都屬于本發(fā)明 的保護(hù)范圍。
[0026] 如今，網(wǎng)絡(luò)融合已經(jīng)成為趨勢(shì)，利用全網(wǎng)的資源進(jìn)行優(yōu)勢(shì)整合，其中需要解決的關(guān) 鍵性問題在于設(shè)計(jì)全網(wǎng)的時(shí)鐘協(xié)調(diào)同步機(jī)制?？紤]到對(duì)現(xiàn)有網(wǎng)絡(luò)的兼容性，該全網(wǎng)時(shí)鐘機(jī) 制應(yīng)該能夠兼容現(xiàn)有的時(shí)鐘協(xié)議和機(jī)制。
[0027] 現(xiàn)有主流的時(shí)鐘系統(tǒng)和協(xié)議主要有兩個(gè)，一個(gè)是廣播電視系統(tǒng)中使用的MPEG2-TS 標(biāo)準(zhǔn)，其中的時(shí)鐘同步部分使用了 STC/PCR/PTS機(jī)制，采用流內(nèi)傳輸定期校正方式；另一個(gè) 是互聯(lián)網(wǎng)系統(tǒng)中使用的NTP(Network Time Protocol)協(xié)議，采用流外傳輸定期校正的方 式。所以異構(gòu)網(wǎng)絡(luò)下的多媒體時(shí)鐘同步機(jī)制應(yīng)兼容以上兩種時(shí)鐘協(xié)議，并且兩種時(shí)鐘應(yīng)在 全局相互映射，根據(jù)實(shí)際需求和條件確定真正使用的時(shí)鐘協(xié)議。
[0028] 下面以MMT (MPEG Media Transport)標(biāo)準(zhǔn)為例，介紹異構(gòu)網(wǎng)絡(luò)下的多媒體時(shí)鐘協(xié) 調(diào)同步機(jī)制。當(dāng)然，此機(jī)制不限于MMT標(biāo)準(zhǔn)，也可以應(yīng)用于其他標(biāo)準(zhǔn)和方案。MMT全稱為MPEG 多媒體傳輸協(xié)議，由國際標(biāo)準(zhǔn)組MPEG制定，能夠?qū)⒚襟w進(jìn)行統(tǒng)一封裝，允許媒體數(shù)據(jù)在雙 向網(wǎng)和單向網(wǎng)上傳輸，并且針對(duì)新興的媒體應(yīng)用場景重新定義了傳輸方法和呈現(xiàn)機(jī)制。
[0029] 在多媒體系統(tǒng)的不同環(huán)節(jié)都需要對(duì)現(xiàn)有系統(tǒng)和協(xié)議進(jìn)行修改，下面以一套基本的 多媒體系統(tǒng)為例，如圖1所示，分為數(shù)據(jù)封裝、數(shù)據(jù)發(fā)送、數(shù)據(jù)接收、數(shù)據(jù)解析與呈現(xiàn)模塊4 個(gè)模塊對(duì)時(shí)鐘協(xié)調(diào)同步機(jī)制分別進(jìn)行描述。
[0030] 數(shù)據(jù)封裝：
[0031] 生成統(tǒng)一的MPU (Media Processing Unit)文件，包含幀級(jí)別時(shí)間戳信息
[0032] 經(jīng)過編碼器，生成原始的音頻、視頻流，進(jìn)行統(tǒng)一的格式封裝成為MPU數(shù)據(jù)。MPU 格式基于IS0BMFF(IS0 Base Media File Format)，在此基礎(chǔ)上增加新的盒子類型，同時(shí) 分為時(shí)序數(shù)據(jù)和非時(shí)序數(shù)據(jù)，對(duì)所有的原始數(shù)據(jù)類型進(jìn)行統(tǒng)一格式的封裝，如圖2所示。 其中時(shí)序數(shù)據(jù)主要封裝音視頻源數(shù)據(jù)，除了媒體軌道外添加新的提示軌道，并在提示軌道 樣本中提供媒體內(nèi)容的PTS時(shí)鐘信息，而非時(shí)序數(shù)據(jù)的編碼和呈現(xiàn)與時(shí)鐘不相關(guān)，所以不 需要設(shè)置PTS信息。PTS時(shí)鐘信息由編碼器27M時(shí)鐘源計(jì)算得到，這樣在媒體數(shù)據(jù)封裝成 MPU格式時(shí)已經(jīng)在數(shù)據(jù)幀級(jí)別對(duì)應(yīng)PTS時(shí)鐘信息。PTS信息在MPU文件位置圖2所示，具體 MMTHSample的設(shè)計(jì)如下：
[0033]
[0034] 新增加的字段語義如下，其他字段語義參考IS0/IEC 23008-1 :
[0035] PTS(presentation_time_stamp)-此33比特字段為所引用訪問單元的呈現(xiàn)時(shí)間 戳。
[0036] PTS字段的編碼語義描述參考IS0/IEC 13818-1。
[0037] reserved -保留位。
[0038] 數(shù)據(jù)發(fā)送：
[0039] 包含時(shí)鐘相關(guān)描述信令的發(fā)送以及標(biāo)記時(shí)戳的媒體數(shù)據(jù)的發(fā)送
[0040] 由于IP協(xié)議的廣泛應(yīng)用，未來的異構(gòu)融合網(wǎng)絡(luò)應(yīng)該也是基于IP協(xié)議的，無論何種 應(yīng)用層協(xié)議傳輸多媒體數(shù)據(jù)時(shí)都會(huì)為數(shù)據(jù)包打上當(dāng)前的時(shí)間戳，接收端可以根據(jù)該時(shí)間戳 與本地時(shí)鐘對(duì)比完成時(shí)序多媒體的準(zhǔn)確呈現(xiàn)。而當(dāng)前應(yīng)用層協(xié)議一般都固定一種時(shí)鐘協(xié) 議，其中MMT的傳輸協(xié)議部分也只考慮了 NTP時(shí)戳的標(biāo)記，在異構(gòu)網(wǎng)絡(luò)的時(shí)序多媒體應(yīng)用 中，必須要考慮不滿足與NTP時(shí)鐘源通信條件時(shí)多媒體系統(tǒng)的同步機(jī)制，并且要兼容多種 網(wǎng)絡(luò)時(shí)鐘協(xié)議，需要修改此部分內(nèi)容，在原有時(shí)序數(shù)據(jù)MFU的包頭之后添加33位的PTS字 段，記錄該幀數(shù)據(jù)的呈現(xiàn)時(shí)間戳，和7位保留字段，為未來擴(kuò)展預(yù)留，如圖4所示。圖4各字 段都與統(tǒng)一媒體封裝格式MPU的時(shí)序數(shù)據(jù)字段相一致，可以達(dá)到多媒體數(shù)據(jù)存儲(chǔ)與傳輸?shù)?一致性和快速轉(zhuǎn)換。傳送多媒體數(shù)據(jù)的同時(shí)，NTP服務(wù)也在進(jìn)行，接收端本地時(shí)鐘被進(jìn)行周 期性校正，能夠防止誤差時(shí)間的累積效應(yīng)，保證多媒體服務(wù)的質(zhì)量。
[0041] 若接收端不滿足NTP服務(wù)運(yùn)行的條件，上述機(jī)制將不能解決時(shí)鐘同步與多媒體同 步的問題。此時(shí)可以利用MMT協(xié)議中的CRI信令表，提供NTP與PCR的對(duì)應(yīng)關(guān)系，接收端可 以通過接受流中的NTP時(shí)戳依據(jù)此表換算出PCR信息，從而校正本地的27M時(shí)鐘，達(dá)到時(shí)鐘 同步與多媒體同步。CRI信令表周期性更新，保證全網(wǎng)絡(luò)時(shí)鐘的精確同步。MMT中NTP與 PCR對(duì)應(yīng)關(guān)系如下表，STC_sample對(duì)應(yīng)PCR值，NTP_timestamp_sample對(duì)應(yīng)NTP值，具體詳 見 IS0/IEC 23008-1。
[00421
[0043] 數(shù)據(jù)接收與恢復(fù)：
[0044] 接收、恢復(fù)媒體數(shù)據(jù)與信令信息，校準(zhǔn)接收端本地時(shí)鐘
[0045] 無論接收端采取主動(dòng)獲取或者被動(dòng)接收數(shù)據(jù)，都應(yīng)正確恢復(fù)出媒體數(shù)據(jù)和信令信 息。得到的媒體流中的NTP時(shí)鐘或者27M系統(tǒng)時(shí)鐘時(shí)間戳用來校正接收端的時(shí)鐘，使全網(wǎng) 的時(shí)間同步。同時(shí)，媒體數(shù)據(jù)中的幀級(jí)別呈現(xiàn)時(shí)間戳引導(dǎo)解碼器進(jìn)行正確地解碼。
[0046] 數(shù)據(jù)解析與呈現(xiàn)：
[0047] 解析信令表時(shí)鐘相關(guān)信息，引導(dǎo)解碼器正確解碼與瀏覽器呈現(xiàn)
[0048] 由于客戶端有很多表現(xiàn)形式，多媒體系統(tǒng)中以瀏覽器為例，說明數(shù)據(jù)解析和呈 現(xiàn)模塊時(shí)鐘協(xié)調(diào)同步機(jī)制的處理過程，同理可以應(yīng)用至專用軟件客戶端、專用播放器等 等。接收端首先通過終端聯(lián)網(wǎng)檢測模塊，確認(rèn)本地的聯(lián)網(wǎng)狀態(tài)，同時(shí)將接口參數(shù)和結(jié)果反 饋給瀏覽器內(nèi)部。瀏覽器判斷本地是否聯(lián)網(wǎng)，若聯(lián)網(wǎng)，則保持與NTP服務(wù)器周期性通信， 以校正本地UTC時(shí)鐘，同時(shí)不斷接收和讀取MMTP流，忽略數(shù)據(jù)中的PCR與PTS信息，利用 Cl (Composition Information)和MPU中的NTP時(shí)間，指導(dǎo)解碼器正確解碼及瀏覽器正確呈 現(xiàn)；若不聯(lián)網(wǎng)，則首先讀取發(fā)送端周期性發(fā)送的CRI信令表，通過其中STC_sample字段得到 服務(wù)器端正確的UTC時(shí)間，校準(zhǔn)本地的系統(tǒng)時(shí)鐘，同時(shí)也不斷接收和讀取MMTP流，得到MPU 數(shù)據(jù)和元數(shù)據(jù)信息，其中元數(shù)據(jù)MFU頭中包含數(shù)據(jù)幀的PTS信息，然后以本地系統(tǒng)時(shí)鐘為基 準(zhǔn)，參照PTS時(shí)間信息指導(dǎo)播放器正確解碼，及瀏覽器正確呈現(xiàn)，具體流程圖見圖3。MMT中 除了 CRI信令表還有幾種其他類型的信令表如Cl (Composition Information)，通過CRI的 時(shí)鐘對(duì)應(yīng)關(guān)系描述，接收端可以獲得全網(wǎng)的同步，從而更好地利用各種信令控制瀏覽器的 渲染和呈現(xiàn)，為用戶帶來全新的體驗(yàn)。
[0049] 本發(fā)明既利于整合多種網(wǎng)絡(luò)資源，提高異構(gòu)融合網(wǎng)絡(luò)下多媒體服務(wù)的豐富性和穩(wěn) 定性，也便于多媒體內(nèi)容的統(tǒng)一管理，減少因時(shí)鐘同步機(jī)制不同而造成的數(shù)據(jù)重復(fù)封裝和 處理的時(shí)間和資源浪費(fèi)，給用戶帶來更好的服務(wù)體驗(yàn)。
[0050] 以上對(duì)本發(fā)明的具體實(shí)施例進(jìn)行了描述。需要理解的是，本發(fā)明并不局限于上述 特定實(shí)施方式，本領(lǐng)域技術(shù)人員可以在權(quán)利要求的范圍內(nèi)做出各種變形或修改，這并不影 響本發(fā)明的實(shí)質(zhì)內(nèi)容。
【主權(quán)項(xiàng)】
1. 一種異構(gòu)網(wǎng)絡(luò)下的多媒體時(shí)鐘協(xié)調(diào)同步方法，其特征在于，所述方法采用四個(gè)模塊 處理：數(shù)據(jù)封裝模塊、數(shù)據(jù)發(fā)送模塊、數(shù)據(jù)接收模塊、數(shù)據(jù)解析與呈現(xiàn)模塊，其中： 所述數(shù)據(jù)封裝模塊，該模塊將原始的多媒體數(shù)據(jù)進(jìn)行統(tǒng)一的格式封裝成為MPU數(shù)據(jù)， MHJ數(shù)據(jù)包含幀級(jí)別時(shí)間戳信息，將所有媒體相關(guān)的信息封裝于文件中，包括多媒體封裝文 件和信令文件，為數(shù)據(jù)解析與呈現(xiàn)模塊提供必要信息，特別是標(biāo)準(zhǔn)的兼容時(shí)間戳信息； 所述數(shù)據(jù)發(fā)送模塊，該模塊發(fā)送的數(shù)據(jù)包含時(shí)鐘相關(guān)描述信令、標(biāo)記時(shí)間戳的媒體數(shù) 據(jù)，其中數(shù)據(jù)包字段格式與數(shù)據(jù)封裝模塊的數(shù)據(jù)格式相對(duì)應(yīng)，保證數(shù)據(jù)封裝模塊生成的文 件必要信息能夠正確傳送到客戶端，同時(shí)為數(shù)據(jù)接收與恢復(fù)模塊解包與數(shù)據(jù)恢復(fù)操作提供 標(biāo)準(zhǔn)格式； 所述數(shù)據(jù)接收與恢復(fù)模塊，該模塊接收、恢復(fù)媒體數(shù)據(jù)與信令信息，校準(zhǔn)接收端本地時(shí) 鐘，將數(shù)據(jù)封裝模塊與發(fā)送模塊提供的各種媒體信息在本地進(jìn)行正確恢復(fù)，指導(dǎo)數(shù)據(jù)解析 與呈現(xiàn)模塊實(shí)現(xiàn)正確地輸出與呈現(xiàn)； 所述數(shù)據(jù)解析與呈現(xiàn)模塊，該模塊解析信令表時(shí)鐘相關(guān)信息，引導(dǎo)解碼器正確解碼與 瀏覽器呈現(xiàn)，通過數(shù)據(jù)發(fā)送模塊和數(shù)據(jù)接收與恢復(fù)模塊，該模塊將數(shù)據(jù)封裝模塊包含的文 件內(nèi)容以及相關(guān)信令控制由接收端完整正確呈現(xiàn)，將本系統(tǒng)的優(yōu)勢(shì)直觀地展現(xiàn)給用戶。2. 根據(jù)權(quán)利要求1所述的一種異構(gòu)網(wǎng)絡(luò)下的多媒體時(shí)鐘協(xié)調(diào)同步方法，其特征在于， 所述數(shù)據(jù)封裝模塊，其中：MPU格式基于ISOBMFF，在此基礎(chǔ)上增加新的盒子類型，同時(shí)分為 時(shí)序數(shù)據(jù)和非時(shí)序數(shù)據(jù)，對(duì)所有的原始數(shù)據(jù)類型進(jìn)行統(tǒng)一格式的封裝，其中時(shí)序數(shù)據(jù)主要 封裝音視頻源數(shù)據(jù)，除了媒體軌道外添加新的提示軌道，并在提示軌道樣本中提供媒體內(nèi) 容的PTS時(shí)鐘信息，而非時(shí)序數(shù)據(jù)的編碼和呈現(xiàn)與時(shí)鐘不相關(guān)，所以不需要設(shè)置PTS時(shí)鐘信 息；PTS時(shí)鐘信息由編碼器時(shí)鐘源計(jì)算得到，這樣在媒體數(shù)據(jù)封裝成MPU格式時(shí)已經(jīng)在數(shù)據(jù) 幀級(jí)別對(duì)應(yīng)PTS時(shí)鐘信息。3. 根據(jù)權(quán)利要求1所述的一種異構(gòu)網(wǎng)絡(luò)下的多媒體時(shí)鐘協(xié)調(diào)同步方法，其特征在于， 所述數(shù)據(jù)發(fā)送模塊，其中MMT的傳輸協(xié)議部分各字段都與統(tǒng)一媒體封裝格式MPU的時(shí)序數(shù) 據(jù)字段相一致，達(dá)到多媒體數(shù)據(jù)存儲(chǔ)與傳輸?shù)囊恢滦院涂焖俎D(zhuǎn)換，傳送多媒體數(shù)據(jù)的同時(shí)， NTP服務(wù)也在進(jìn)行，接收端本地時(shí)鐘被進(jìn)行周期性校正，能夠防止誤差時(shí)間的累積效應(yīng)。4. 根據(jù)權(quán)利要求1所述的一種異構(gòu)網(wǎng)絡(luò)下的多媒體時(shí)鐘協(xié)調(diào)同步方法，其特征在于， 所述數(shù)據(jù)發(fā)送模塊，在接收端不滿足NTP服務(wù)運(yùn)行的條件時(shí)，利用MMT協(xié)議中的CRI信令 表，提供NTP與PCR的對(duì)應(yīng)關(guān)系，接收端通過接受流中的NTP時(shí)戳依據(jù)此表換算出PCR信息， 從而校正本地的時(shí)鐘，達(dá)到時(shí)鐘同步與多媒體同步，CRI信令表周期性更新，保證全網(wǎng)絡(luò)時(shí) 鐘的精確同步。5. 根據(jù)權(quán)利要求1-4任一項(xiàng)所述的一種異構(gòu)網(wǎng)絡(luò)下的多媒體時(shí)鐘協(xié)調(diào)同步方法，其特 征在于，所述數(shù)據(jù)接收與恢復(fù)模塊，用得到的媒體流中的NTP時(shí)鐘或者時(shí)鐘時(shí)間戳用來校 正接收端的時(shí)鐘，使全網(wǎng)的時(shí)間同步，同時(shí)，媒體數(shù)據(jù)中的幀級(jí)別呈現(xiàn)時(shí)間戳引導(dǎo)解碼器進(jìn) 行正確地解碼。6. 根據(jù)權(quán)利要求1-4任一項(xiàng)所述的一種異構(gòu)網(wǎng)絡(luò)下的多媒體時(shí)鐘協(xié)調(diào)同步方法，其特 征在于，所述數(shù)據(jù)解析與呈現(xiàn)模塊，在處于斷網(wǎng)狀態(tài)時(shí)，按照STC機(jī)制進(jìn)行時(shí)鐘同步：解析 CRI信令表得到PCR信息，校正本地的系統(tǒng)時(shí)鐘，同時(shí)利用媒體數(shù)據(jù)中的幀級(jí)別PTS信息知 道解碼器解碼；若處于聯(lián)網(wǎng)狀態(tài)，則忽略數(shù)據(jù)中的PCR與PTS信息，采用NTP協(xié)議進(jìn)行時(shí)鐘 同步：接收端利用NTP服務(wù)定期校正本地時(shí)鐘，利用媒體流中的時(shí)間線管理機(jī)制引導(dǎo)解碼 器解碼。
【文檔編號(hào)】H04L29/06GK105991586SQ201510080558
【公開日】2016年10月5日
【申請(qǐng)日】2015年2月13日
【發(fā)明人】張文軍, 徐異凌, 孫軍, 管云峰, 張小云, 柳寧, 陳浩
【申請(qǐng)人】上海交通大學(xué)