亚洲狠狠干,亚洲国产福利精品一区二区,国产八区,激情文学亚洲色图

一種異構(gòu)網(wǎng)絡(luò)下的多媒體時(shí)鐘協(xié)調(diào)同步方法

文檔序號(hào):10626852閱讀:400來源:國知局
一種異構(gòu)網(wǎng)絡(luò)下的多媒體時(shí)鐘協(xié)調(diào)同步方法
【專利摘要】本發(fā)明提供了一種異構(gòu)網(wǎng)絡(luò)下的多媒體時(shí)鐘協(xié)調(diào)同步方法,該方法針對(duì)現(xiàn)有多媒體系統(tǒng)和協(xié)議缺乏多時(shí)鐘兼容的機(jī)制,造成異構(gòu)融合網(wǎng)絡(luò)中無法精確整合不同網(wǎng)絡(luò)中內(nèi)容和服務(wù)的問題,采用數(shù)據(jù)封裝模塊、數(shù)據(jù)發(fā)送模塊、數(shù)據(jù)接收模塊、數(shù)據(jù)解析與呈現(xiàn)模塊,通過增加多媒體時(shí)鐘協(xié)調(diào)同步機(jī)制實(shí)現(xiàn)異構(gòu)網(wǎng)絡(luò)下兼容多種網(wǎng)絡(luò)時(shí)鐘同步機(jī)制,采用統(tǒng)一的封裝格式多媒體數(shù)據(jù),提供不同時(shí)鐘的對(duì)應(yīng)關(guān)系的信令表,既利于整合多種網(wǎng)絡(luò)資源,提高異構(gòu)融合網(wǎng)絡(luò)下多媒體服務(wù)的豐富性和穩(wěn)定性,也便于多媒體內(nèi)容的統(tǒng)一管理,減少因時(shí)鐘同步機(jī)制不同而造成的數(shù)據(jù)重復(fù)封裝和處理的時(shí)間和資源浪費(fèi),給用戶帶來更好的服務(wù)體驗(yàn)。
【專利說明】
一種異構(gòu)網(wǎng)絡(luò)下的多媒體時(shí)鐘協(xié)調(diào)同步方法
技術(shù)領(lǐng)域
[0001 ] 本發(fā)明涉及一種在異構(gòu)網(wǎng)絡(luò)中實(shí)現(xiàn)多媒體時(shí)鐘協(xié)調(diào)同步的機(jī)制,更具體的說,涉 及一種在雙向網(wǎng)與單向網(wǎng)組成的混合、異構(gòu)網(wǎng)絡(luò)中實(shí)現(xiàn)全網(wǎng)的多媒體時(shí)鐘協(xié)調(diào)與同步的機(jī) 制。
【背景技術(shù)】
[0002] 隨著數(shù)字多媒體技術(shù)的成熟和普遍應(yīng)用,尤其是高清晰度、高分辨率數(shù)字視頻業(yè) 務(wù)的廣泛深入發(fā)展,用戶體驗(yàn)到了更好的數(shù)字媒體服務(wù)的同時(shí),也對(duì)數(shù)字媒體業(yè)務(wù)提出了 更高的要求。由于數(shù)字媒體技術(shù)的廣泛應(yīng)用,多媒體節(jié)目中流間同步和流內(nèi)同步問題也日 益凸顯。更為重要的是,在現(xiàn)有的以廣播電視網(wǎng)絡(luò)為代表的單向網(wǎng)與以寬帶網(wǎng)絡(luò)為代表的 雙向網(wǎng)中,采用了不同的多媒體時(shí)間同步機(jī)制和協(xié)議,造成兩種網(wǎng)絡(luò)多媒體服務(wù)不兼容,使 用戶不能享受到異構(gòu)融合網(wǎng)絡(luò)業(yè)務(wù)帶來的優(yōu)勢(shì)和便利。
[0003] 當(dāng)前大多數(shù)多媒體協(xié)議都定義了各自的一套完整的時(shí)間同步機(jī)制,能夠在可接受 范圍內(nèi)比較成功地解決協(xié)議內(nèi)多媒體系統(tǒng)時(shí)鐘同步問題,如數(shù)字電視領(lǐng)域常用的MPEG2-TS 協(xié)議采用27M系統(tǒng)時(shí)鐘STC(System Time Clock)結(jié)合媒體流中PCR(Program Clock Reference)與PTS(Presentation Time Stamp)信息進(jìn)行多媒體業(yè)務(wù)的時(shí)鐘同步;寬帶網(wǎng) 絡(luò)中常見的HTTP、RTP協(xié)議中采用協(xié)調(diào)世界時(shí)UTC(Coordinated Universal Time)結(jié)合統(tǒng) 一的網(wǎng)絡(luò)時(shí)間協(xié)議NTP(Network Time Protocol)時(shí)戳完成多媒體業(yè)務(wù)的時(shí)鐘同步。雖然如 此,考慮到大眾用戶不關(guān)心多媒體業(yè)務(wù)的具體技術(shù),只關(guān)注服務(wù)質(zhì)量和效果,所以在實(shí)際情 況中用戶往往處于異構(gòu)混合網(wǎng)絡(luò)中,并且希望享受到無差別、穩(wěn)定的多媒體服務(wù)。問題在于 不同網(wǎng)絡(luò)系統(tǒng),或者說不同協(xié)議中時(shí)鐘同步機(jī)制的不兼容性,造成用戶同一時(shí)間只能享受 某一種業(yè)務(wù),而無法享受異構(gòu)混合網(wǎng)絡(luò)帶來的更廣泛的媒體業(yè)務(wù)和更高質(zhì)量的媒體服務(wù)。 多網(wǎng)融合已經(jīng)成為趨勢(shì),不同網(wǎng)絡(luò)具有各自優(yōu)勢(shì)、相輔相成,異構(gòu)融合網(wǎng)絡(luò)本應(yīng)為用戶提供 更好的服務(wù),然而不同的時(shí)鐘同步機(jī)制使得這一目標(biāo)難以實(shí)現(xiàn),多媒體系統(tǒng)難以精確匹配、 整合不同網(wǎng)絡(luò)中的內(nèi)容和服務(wù)。
[0004] 另一方面,數(shù)字媒體資源的豐富性滿足了用戶日益增長的媒體消費(fèi)需求,媒體資 源之間的內(nèi)容關(guān)聯(lián)也為媒體資源的整合提供了基礎(chǔ)。如今多媒體服務(wù)已經(jīng)不再受物理網(wǎng)絡(luò) 的限制,在不同網(wǎng)絡(luò)中都可以享受到比較高質(zhì)量的多媒體業(yè)務(wù),但是相應(yīng)產(chǎn)生了另一個(gè)問 題,相同的數(shù)據(jù)內(nèi)容在不同網(wǎng)絡(luò)不同協(xié)議中需要封裝成不同的媒體格式,不僅增加了額外 的工作量,并且不同的媒體格式由于時(shí)鐘信息相互不兼容造成用戶必須依賴物理?xiàng)l件才能 獲取多媒體服務(wù),不符合數(shù)字媒體消費(fèi)隨時(shí)、隨地、任何終端、任何內(nèi)容的趨勢(shì)。
[0005] 更好的方法是,多媒體數(shù)據(jù)采用統(tǒng)一的封裝格式,該封裝格式能夠兼容現(xiàn)有多種 時(shí)鐘信息,同時(shí)異構(gòu)網(wǎng)絡(luò)的多媒體系統(tǒng)中應(yīng)該兼容雙向網(wǎng)與單向網(wǎng)的時(shí)間同步機(jī)制,媒體 發(fā)送端都使用基于IP (Internet Protocol)的傳輸協(xié)議發(fā)送數(shù)據(jù)、標(biāo)定時(shí)戳,同時(shí)提供不同 時(shí)鐘的對(duì)應(yīng)關(guān)系的信令表,客戶端能夠根據(jù)需要調(diào)整所采用的時(shí)鐘協(xié)議和機(jī)制。例如,在寬 帶網(wǎng)絡(luò)斷開時(shí),用戶無法使用NTP協(xié)議完成時(shí)鐘同步,但是仍然可以借助其他時(shí)鐘同步協(xié) 議使用廣播網(wǎng)絡(luò)觀看電視節(jié)目。其困難在于:現(xiàn)有多媒體系統(tǒng)一般都是對(duì)應(yīng)于某種特定網(wǎng) 絡(luò),需要設(shè)計(jì)合理的異構(gòu)混合網(wǎng)絡(luò)下的多媒體系統(tǒng),用以兼容不同網(wǎng)絡(luò)特性;現(xiàn)有成熟協(xié)議 都沒有考慮異構(gòu)網(wǎng)絡(luò)的需求,需要按照兼容不同時(shí)鐘機(jī)制的要求重新設(shè)計(jì)媒體封裝格式和 傳輸協(xié)議。

【發(fā)明內(nèi)容】

[0006] 針對(duì)現(xiàn)有技術(shù)中的缺陷,本發(fā)明的目的是提供一種異構(gòu)網(wǎng)絡(luò)下的多媒體時(shí)鐘協(xié)調(diào) 同步方法,從而增加了現(xiàn)有多媒體系統(tǒng)和協(xié)議缺乏的多時(shí)鐘關(guān)聯(lián)機(jī)制,解決了現(xiàn)有多媒體 系統(tǒng)和協(xié)議由于同步時(shí)鐘不兼容而無法提供異構(gòu)融合網(wǎng)絡(luò)關(guān)聯(lián)服務(wù)的問題,并且為新一代 基于IP的異構(gòu)網(wǎng)絡(luò)提供了時(shí)鐘同步解決方案。
[0007] 為實(shí)現(xiàn)上述目的,本發(fā)明采用以下技術(shù)方案:
[0008] -種異構(gòu)網(wǎng)絡(luò)下的多媒體時(shí)鐘協(xié)調(diào)同步方法,所述方法采用四個(gè)模塊處理:數(shù)據(jù) 封裝模塊、數(shù)據(jù)發(fā)送模塊、數(shù)據(jù)接收模塊、數(shù)據(jù)解析與呈現(xiàn)模塊,其中:
[0009] 所述數(shù)據(jù)封裝模塊,該模塊將原始的多媒體數(shù)據(jù)進(jìn)行統(tǒng)一的格式封裝成為MPU數(shù) 據(jù),MPU數(shù)據(jù)包含幀級(jí)別時(shí)間戳信息,將所有媒體相關(guān)的信息封裝于文件中,包括多媒體 封裝文件和信令文件,為數(shù)據(jù)解析與呈現(xiàn)模塊提供必要信息,特別是標(biāo)準(zhǔn)的兼容時(shí)間戳信 息;
[0010] 所述數(shù)據(jù)發(fā)送模塊,該模塊發(fā)送的數(shù)據(jù)包含時(shí)鐘相關(guān)描述信令、標(biāo)記時(shí)間戳的媒 體數(shù)據(jù),數(shù)據(jù)包字段格式與數(shù)據(jù)封裝模塊的數(shù)據(jù)格式相對(duì)應(yīng),保證數(shù)據(jù)封裝模塊生成的文 件必要信息能夠正確傳送到客戶端,同時(shí)為數(shù)據(jù)接收與恢復(fù)模塊解包與數(shù)據(jù)恢復(fù)操作提供 標(biāo)準(zhǔn)格式;
[0011] 所述數(shù)據(jù)接收與恢復(fù)模塊,該模塊接收、恢復(fù)媒體數(shù)據(jù)與信令信息,校準(zhǔn)接收端本 地時(shí)鐘,將數(shù)據(jù)封裝模塊與發(fā)送模塊提供的各種媒體信息在本地進(jìn)行正確恢復(fù),指導(dǎo)數(shù)據(jù) 解析與呈現(xiàn)模塊實(shí)現(xiàn)正確地輸出與呈現(xiàn);
[0012] 所述數(shù)據(jù)解析與呈現(xiàn)模塊,該模塊解析信令表時(shí)鐘相關(guān)信息,引導(dǎo)解碼器正確解 碼與瀏覽器呈現(xiàn),通過數(shù)據(jù)發(fā)送模塊和數(shù)據(jù)接收與恢復(fù)模塊,該模塊將數(shù)據(jù)封裝模塊包含 的文件內(nèi)容以及相關(guān)信令控制由接收端完整正確呈現(xiàn),將本系統(tǒng)的優(yōu)勢(shì)直觀地展現(xiàn)給用 戶。
[0013] 優(yōu)選的,所述數(shù)據(jù)封裝模塊,其中:MPU格式基于ISOBMFF(ISO Base Media File Format),在此基礎(chǔ)上增加新的盒子類型,同時(shí)分為時(shí)序數(shù)據(jù)和非時(shí)序數(shù)據(jù),對(duì)所有的原始 數(shù)據(jù)類型進(jìn)行統(tǒng)一格式的封裝,其中時(shí)序數(shù)據(jù)主要封裝音視頻源數(shù)據(jù),除了媒體軌道外添 加新的提示軌道,并在提示軌道樣本中提供媒體內(nèi)容的PTS時(shí)鐘信息,而非時(shí)序數(shù)據(jù)的編 碼和呈現(xiàn)與時(shí)鐘不相關(guān),所以不需要設(shè)置PTS時(shí)鐘信息;PTS時(shí)鐘信息由編碼器時(shí)鐘源計(jì)算 得到,這樣在媒體數(shù)據(jù)封裝成MPU格式時(shí)已經(jīng)在數(shù)據(jù)幀級(jí)別對(duì)應(yīng)PTS時(shí)鐘信息。
[0014] 優(yōu)選的,所述數(shù)據(jù)發(fā)送模塊,其中MMT的傳輸協(xié)議部分各字段都與統(tǒng)一媒體封裝 格式MPU的時(shí)序數(shù)據(jù)字段相一致,達(dá)到多媒體數(shù)據(jù)存儲(chǔ)與傳輸?shù)囊恢滦院涂焖俎D(zhuǎn)換,傳送 多媒體數(shù)據(jù)的同時(shí),NTP服務(wù)也在進(jìn)行,接收端本地時(shí)鐘被進(jìn)行周期性校正,能夠防止誤差 時(shí)間的累積效應(yīng),保證多媒體服務(wù)的質(zhì)量。
[0015] 優(yōu)選的,所述數(shù)據(jù)發(fā)送模塊,在接收端不滿足NTP服務(wù)運(yùn)行的條件時(shí),利用MMT協(xié) 議中的CRI信令表,提供NTP與PCR的對(duì)應(yīng)關(guān)系,接收端通過接受流中的NTP時(shí)戳依據(jù)此表 換算出PCR信息,從而校正本地的時(shí)鐘,達(dá)到時(shí)鐘同步與多媒體同步,CRI信令表周期性更 新,保證全網(wǎng)絡(luò)時(shí)鐘的精確同步。
[0016] 優(yōu)選的,所述數(shù)據(jù)接收與恢復(fù)模塊,用得到的媒體流中的ΝΤΡ時(shí)鐘或者時(shí)鐘時(shí)間 戳用來校正接收端的時(shí)鐘,使全網(wǎng)的時(shí)間同步,同時(shí),媒體數(shù)據(jù)中的幀級(jí)別呈現(xiàn)時(shí)間戳引導(dǎo) 解碼器進(jìn)行正確地解碼。
[0017] 優(yōu)選的,所述數(shù)據(jù)解析與呈現(xiàn)模塊,在處于斷網(wǎng)狀態(tài)時(shí),按照STC機(jī)制進(jìn)行時(shí)鐘同 步:解析CRI信令表得到PCR信息,校正本地的系統(tǒng)時(shí)鐘,同時(shí)利用媒體數(shù)據(jù)中的幀級(jí)別 PTS信息知道解碼器解碼;若處于聯(lián)網(wǎng)狀態(tài),則忽略數(shù)據(jù)中的PCR與PTS信息,采用ΝΤΡ協(xié) 議進(jìn)行時(shí)鐘同步:接收端利用ΝΤΡ服務(wù)定期校正本地時(shí)鐘,利用媒體流中的時(shí)間線管理機(jī) 制引導(dǎo)解碼器解碼。
[0018] 與現(xiàn)有技術(shù)相比,本發(fā)明具有如下的有益效果:
[0019] 采用本發(fā)明的技術(shù)方案,可以針對(duì)現(xiàn)有多媒體系統(tǒng)和協(xié)議缺乏多時(shí)鐘兼容的機(jī) 制,造成異構(gòu)融合網(wǎng)絡(luò)中無法精確整合不同網(wǎng)絡(luò)中內(nèi)容和服務(wù)的問題,通過增加多媒體時(shí) 鐘協(xié)調(diào)同步機(jī)制實(shí)現(xiàn)異構(gòu)網(wǎng)絡(luò)下兼容多種網(wǎng)絡(luò)時(shí)鐘同步機(jī)制,采用統(tǒng)一的封裝格式多媒體 數(shù)據(jù),提供不同時(shí)鐘的對(duì)應(yīng)關(guān)系的信令表,既利于整合多種網(wǎng)絡(luò)資源,提高異構(gòu)融合網(wǎng)絡(luò)下 多媒體服務(wù)的豐富性和穩(wěn)定性,也便于多媒體內(nèi)容的統(tǒng)一管理,減少因時(shí)鐘同步機(jī)制不同 而造成的數(shù)據(jù)重復(fù)封裝和處理的時(shí)間和資源浪費(fèi),給用戶帶來更好的服務(wù)體驗(yàn)。
【附圖說明】
[0020] 通過閱讀參照以下附圖對(duì)非限制性實(shí)施例所作的詳細(xì)描述,本發(fā)明的其它特征、 目的和優(yōu)點(diǎn)將會(huì)變得更明顯:
[0021] 圖1是多媒體系統(tǒng)中時(shí)鐘協(xié)調(diào)同步示意圖;
[0022] 圖 2 是通用 MPU (Media Processing Unit)封裝格式;
[0023] 圖3是接收端時(shí)鐘同步流程圖;
[0024] 圖4為與統(tǒng)一媒體封裝格式MPU的時(shí)序數(shù)據(jù)字段相一致修改示意圖。
【具體實(shí)施方式】
[0025] 下面結(jié)合具體實(shí)施例對(duì)本發(fā)明進(jìn)行詳細(xì)說明。以下實(shí)施例將有助于本領(lǐng)域的技術(shù) 人員進(jìn)一步理解本發(fā)明,但不以任何形式限制本發(fā)明。應(yīng)當(dāng)指出的是,對(duì)本領(lǐng)域的普通技術(shù) 人員來說,在不脫離本發(fā)明構(gòu)思的前提下,還可以做出若干變形和改進(jìn)。這些都屬于本發(fā)明 的保護(hù)范圍。
[0026] 如今,網(wǎng)絡(luò)融合已經(jīng)成為趨勢(shì),利用全網(wǎng)的資源進(jìn)行優(yōu)勢(shì)整合,其中需要解決的關(guān) 鍵性問題在于設(shè)計(jì)全網(wǎng)的時(shí)鐘協(xié)調(diào)同步機(jī)制??紤]到對(duì)現(xiàn)有網(wǎng)絡(luò)的兼容性,該全網(wǎng)時(shí)鐘機(jī) 制應(yīng)該能夠兼容現(xiàn)有的時(shí)鐘協(xié)議和機(jī)制。
[0027] 現(xiàn)有主流的時(shí)鐘系統(tǒng)和協(xié)議主要有兩個(gè),一個(gè)是廣播電視系統(tǒng)中使用的MPEG2-TS 標(biāo)準(zhǔn),其中的時(shí)鐘同步部分使用了 STC/PCR/PTS機(jī)制,采用流內(nèi)傳輸定期校正方式;另一個(gè) 是互聯(lián)網(wǎng)系統(tǒng)中使用的NTP(Network Time Protocol)協(xié)議,采用流外傳輸定期校正的方 式。所以異構(gòu)網(wǎng)絡(luò)下的多媒體時(shí)鐘同步機(jī)制應(yīng)兼容以上兩種時(shí)鐘協(xié)議,并且兩種時(shí)鐘應(yīng)在 全局相互映射,根據(jù)實(shí)際需求和條件確定真正使用的時(shí)鐘協(xié)議。
[0028] 下面以MMT (MPEG Media Transport)標(biāo)準(zhǔn)為例,介紹異構(gòu)網(wǎng)絡(luò)下的多媒體時(shí)鐘協(xié) 調(diào)同步機(jī)制。當(dāng)然,此機(jī)制不限于MMT標(biāo)準(zhǔn),也可以應(yīng)用于其他標(biāo)準(zhǔn)和方案。MMT全稱為MPEG 多媒體傳輸協(xié)議,由國際標(biāo)準(zhǔn)組MPEG制定,能夠?qū)⒚襟w進(jìn)行統(tǒng)一封裝,允許媒體數(shù)據(jù)在雙 向網(wǎng)和單向網(wǎng)上傳輸,并且針對(duì)新興的媒體應(yīng)用場景重新定義了傳輸方法和呈現(xiàn)機(jī)制。
[0029] 在多媒體系統(tǒng)的不同環(huán)節(jié)都需要對(duì)現(xiàn)有系統(tǒng)和協(xié)議進(jìn)行修改,下面以一套基本的 多媒體系統(tǒng)為例,如圖1所示,分為數(shù)據(jù)封裝、數(shù)據(jù)發(fā)送、數(shù)據(jù)接收、數(shù)據(jù)解析與呈現(xiàn)模塊4 個(gè)模塊對(duì)時(shí)鐘協(xié)調(diào)同步機(jī)制分別進(jìn)行描述。
[0030] 數(shù)據(jù)封裝:
[0031] 生成統(tǒng)一的MPU (Media Processing Unit)文件,包含幀級(jí)別時(shí)間戳信息
[0032] 經(jīng)過編碼器,生成原始的音頻、視頻流,進(jìn)行統(tǒng)一的格式封裝成為MPU數(shù)據(jù)。MPU 格式基于IS0BMFF(IS0 Base Media File Format),在此基礎(chǔ)上增加新的盒子類型,同時(shí) 分為時(shí)序數(shù)據(jù)和非時(shí)序數(shù)據(jù),對(duì)所有的原始數(shù)據(jù)類型進(jìn)行統(tǒng)一格式的封裝,如圖2所示。 其中時(shí)序數(shù)據(jù)主要封裝音視頻源數(shù)據(jù),除了媒體軌道外添加新的提示軌道,并在提示軌道 樣本中提供媒體內(nèi)容的PTS時(shí)鐘信息,而非時(shí)序數(shù)據(jù)的編碼和呈現(xiàn)與時(shí)鐘不相關(guān),所以不 需要設(shè)置PTS信息。PTS時(shí)鐘信息由編碼器27M時(shí)鐘源計(jì)算得到,這樣在媒體數(shù)據(jù)封裝成 MPU格式時(shí)已經(jīng)在數(shù)據(jù)幀級(jí)別對(duì)應(yīng)PTS時(shí)鐘信息。PTS信息在MPU文件位置圖2所示,具體 MMTHSample的設(shè)計(jì)如下:
[0033]
[0034] 新增加的字段語義如下,其他字段語義參考IS0/IEC 23008-1 :
[0035] PTS(presentation_time_stamp)-此33比特字段為所引用訪問單元的呈現(xiàn)時(shí)間 戳。
[0036] PTS字段的編碼語義描述參考IS0/IEC 13818-1。
[0037] reserved -保留位。
[0038] 數(shù)據(jù)發(fā)送:
[0039] 包含時(shí)鐘相關(guān)描述信令的發(fā)送以及標(biāo)記時(shí)戳的媒體數(shù)據(jù)的發(fā)送
[0040] 由于IP協(xié)議的廣泛應(yīng)用,未來的異構(gòu)融合網(wǎng)絡(luò)應(yīng)該也是基于IP協(xié)議的,無論何種 應(yīng)用層協(xié)議傳輸多媒體數(shù)據(jù)時(shí)都會(huì)為數(shù)據(jù)包打上當(dāng)前的時(shí)間戳,接收端可以根據(jù)該時(shí)間戳 與本地時(shí)鐘對(duì)比完成時(shí)序多媒體的準(zhǔn)確呈現(xiàn)。而當(dāng)前應(yīng)用層協(xié)議一般都固定一種時(shí)鐘協(xié) 議,其中MMT的傳輸協(xié)議部分也只考慮了 NTP時(shí)戳的標(biāo)記,在異構(gòu)網(wǎng)絡(luò)的時(shí)序多媒體應(yīng)用 中,必須要考慮不滿足與NTP時(shí)鐘源通信條件時(shí)多媒體系統(tǒng)的同步機(jī)制,并且要兼容多種 網(wǎng)絡(luò)時(shí)鐘協(xié)議,需要修改此部分內(nèi)容,在原有時(shí)序數(shù)據(jù)MFU的包頭之后添加33位的PTS字 段,記錄該幀數(shù)據(jù)的呈現(xiàn)時(shí)間戳,和7位保留字段,為未來擴(kuò)展預(yù)留,如圖4所示。圖4各字 段都與統(tǒng)一媒體封裝格式MPU的時(shí)序數(shù)據(jù)字段相一致,可以達(dá)到多媒體數(shù)據(jù)存儲(chǔ)與傳輸?shù)?一致性和快速轉(zhuǎn)換。傳送多媒體數(shù)據(jù)的同時(shí),NTP服務(wù)也在進(jìn)行,接收端本地時(shí)鐘被進(jìn)行周 期性校正,能夠防止誤差時(shí)間的累積效應(yīng),保證多媒體服務(wù)的質(zhì)量。
[0041] 若接收端不滿足NTP服務(wù)運(yùn)行的條件,上述機(jī)制將不能解決時(shí)鐘同步與多媒體同 步的問題。此時(shí)可以利用MMT協(xié)議中的CRI信令表,提供NTP與PCR的對(duì)應(yīng)關(guān)系,接收端可 以通過接受流中的NTP時(shí)戳依據(jù)此表換算出PCR信息,從而校正本地的27M時(shí)鐘,達(dá)到時(shí)鐘 同步與多媒體同步。CRI信令表周期性更新,保證全網(wǎng)絡(luò)時(shí)鐘的精確同步。MMT中NTP與 PCR對(duì)應(yīng)關(guān)系如下表,STC_sample對(duì)應(yīng)PCR值,NTP_timestamp_sample對(duì)應(yīng)NTP值,具體詳 見 IS0/IEC 23008-1。
[00421
[0043] 數(shù)據(jù)接收與恢復(fù):
[0044] 接收、恢復(fù)媒體數(shù)據(jù)與信令信息,校準(zhǔn)接收端本地時(shí)鐘
[0045] 無論接收端采取主動(dòng)獲取或者被動(dòng)接收數(shù)據(jù),都應(yīng)正確恢復(fù)出媒體數(shù)據(jù)和信令信 息。得到的媒體流中的NTP時(shí)鐘或者27M系統(tǒng)時(shí)鐘時(shí)間戳用來校正接收端的時(shí)鐘,使全網(wǎng) 的時(shí)間同步。同時(shí),媒體數(shù)據(jù)中的幀級(jí)別呈現(xiàn)時(shí)間戳引導(dǎo)解碼器進(jìn)行正確地解碼。
[0046] 數(shù)據(jù)解析與呈現(xiàn):
[0047] 解析信令表時(shí)鐘相關(guān)信息,引導(dǎo)解碼器正確解碼與瀏覽器呈現(xiàn)
[0048] 由于客戶端有很多表現(xiàn)形式,多媒體系統(tǒng)中以瀏覽器為例,說明數(shù)據(jù)解析和呈 現(xiàn)模塊時(shí)鐘協(xié)調(diào)同步機(jī)制的處理過程,同理可以應(yīng)用至專用軟件客戶端、專用播放器等 等。接收端首先通過終端聯(lián)網(wǎng)檢測模塊,確認(rèn)本地的聯(lián)網(wǎng)狀態(tài),同時(shí)將接口參數(shù)和結(jié)果反 饋給瀏覽器內(nèi)部。瀏覽器判斷本地是否聯(lián)網(wǎng),若聯(lián)網(wǎng),則保持與NTP服務(wù)器周期性通信, 以校正本地UTC時(shí)鐘,同時(shí)不斷接收和讀取MMTP流,忽略數(shù)據(jù)中的PCR與PTS信息,利用 Cl (Composition Information)和MPU中的NTP時(shí)間,指導(dǎo)解碼器正確解碼及瀏覽器正確呈 現(xiàn);若不聯(lián)網(wǎng),則首先讀取發(fā)送端周期性發(fā)送的CRI信令表,通過其中STC_sample字段得到 服務(wù)器端正確的UTC時(shí)間,校準(zhǔn)本地的系統(tǒng)時(shí)鐘,同時(shí)也不斷接收和讀取MMTP流,得到MPU 數(shù)據(jù)和元數(shù)據(jù)信息,其中元數(shù)據(jù)MFU頭中包含數(shù)據(jù)幀的PTS信息,然后以本地系統(tǒng)時(shí)鐘為基 準(zhǔn),參照PTS時(shí)間信息指導(dǎo)播放器正確解碼,及瀏覽器正確呈現(xiàn),具體流程圖見圖3。MMT中 除了 CRI信令表還有幾種其他類型的信令表如Cl (Composition Information),通過CRI的 時(shí)鐘對(duì)應(yīng)關(guān)系描述,接收端可以獲得全網(wǎng)的同步,從而更好地利用各種信令控制瀏覽器的 渲染和呈現(xiàn),為用戶帶來全新的體驗(yàn)。
[0049] 本發(fā)明既利于整合多種網(wǎng)絡(luò)資源,提高異構(gòu)融合網(wǎng)絡(luò)下多媒體服務(wù)的豐富性和穩(wěn) 定性,也便于多媒體內(nèi)容的統(tǒng)一管理,減少因時(shí)鐘同步機(jī)制不同而造成的數(shù)據(jù)重復(fù)封裝和 處理的時(shí)間和資源浪費(fèi),給用戶帶來更好的服務(wù)體驗(yàn)。
[0050] 以上對(duì)本發(fā)明的具體實(shí)施例進(jìn)行了描述。需要理解的是,本發(fā)明并不局限于上述 特定實(shí)施方式,本領(lǐng)域技術(shù)人員可以在權(quán)利要求的范圍內(nèi)做出各種變形或修改,這并不影 響本發(fā)明的實(shí)質(zhì)內(nèi)容。
【主權(quán)項(xiàng)】
1. 一種異構(gòu)網(wǎng)絡(luò)下的多媒體時(shí)鐘協(xié)調(diào)同步方法,其特征在于,所述方法采用四個(gè)模塊 處理:數(shù)據(jù)封裝模塊、數(shù)據(jù)發(fā)送模塊、數(shù)據(jù)接收模塊、數(shù)據(jù)解析與呈現(xiàn)模塊,其中: 所述數(shù)據(jù)封裝模塊,該模塊將原始的多媒體數(shù)據(jù)進(jìn)行統(tǒng)一的格式封裝成為MPU數(shù)據(jù), MHJ數(shù)據(jù)包含幀級(jí)別時(shí)間戳信息,將所有媒體相關(guān)的信息封裝于文件中,包括多媒體封裝文 件和信令文件,為數(shù)據(jù)解析與呈現(xiàn)模塊提供必要信息,特別是標(biāo)準(zhǔn)的兼容時(shí)間戳信息; 所述數(shù)據(jù)發(fā)送模塊,該模塊發(fā)送的數(shù)據(jù)包含時(shí)鐘相關(guān)描述信令、標(biāo)記時(shí)間戳的媒體數(shù) 據(jù),其中數(shù)據(jù)包字段格式與數(shù)據(jù)封裝模塊的數(shù)據(jù)格式相對(duì)應(yīng),保證數(shù)據(jù)封裝模塊生成的文 件必要信息能夠正確傳送到客戶端,同時(shí)為數(shù)據(jù)接收與恢復(fù)模塊解包與數(shù)據(jù)恢復(fù)操作提供 標(biāo)準(zhǔn)格式; 所述數(shù)據(jù)接收與恢復(fù)模塊,該模塊接收、恢復(fù)媒體數(shù)據(jù)與信令信息,校準(zhǔn)接收端本地時(shí) 鐘,將數(shù)據(jù)封裝模塊與發(fā)送模塊提供的各種媒體信息在本地進(jìn)行正確恢復(fù),指導(dǎo)數(shù)據(jù)解析 與呈現(xiàn)模塊實(shí)現(xiàn)正確地輸出與呈現(xiàn); 所述數(shù)據(jù)解析與呈現(xiàn)模塊,該模塊解析信令表時(shí)鐘相關(guān)信息,引導(dǎo)解碼器正確解碼與 瀏覽器呈現(xiàn),通過數(shù)據(jù)發(fā)送模塊和數(shù)據(jù)接收與恢復(fù)模塊,該模塊將數(shù)據(jù)封裝模塊包含的文 件內(nèi)容以及相關(guān)信令控制由接收端完整正確呈現(xiàn),將本系統(tǒng)的優(yōu)勢(shì)直觀地展現(xiàn)給用戶。2. 根據(jù)權(quán)利要求1所述的一種異構(gòu)網(wǎng)絡(luò)下的多媒體時(shí)鐘協(xié)調(diào)同步方法,其特征在于, 所述數(shù)據(jù)封裝模塊,其中:MPU格式基于ISOBMFF,在此基礎(chǔ)上增加新的盒子類型,同時(shí)分為 時(shí)序數(shù)據(jù)和非時(shí)序數(shù)據(jù),對(duì)所有的原始數(shù)據(jù)類型進(jìn)行統(tǒng)一格式的封裝,其中時(shí)序數(shù)據(jù)主要 封裝音視頻源數(shù)據(jù),除了媒體軌道外添加新的提示軌道,并在提示軌道樣本中提供媒體內(nèi) 容的PTS時(shí)鐘信息,而非時(shí)序數(shù)據(jù)的編碼和呈現(xiàn)與時(shí)鐘不相關(guān),所以不需要設(shè)置PTS時(shí)鐘信 息;PTS時(shí)鐘信息由編碼器時(shí)鐘源計(jì)算得到,這樣在媒體數(shù)據(jù)封裝成MPU格式時(shí)已經(jīng)在數(shù)據(jù) 幀級(jí)別對(duì)應(yīng)PTS時(shí)鐘信息。3. 根據(jù)權(quán)利要求1所述的一種異構(gòu)網(wǎng)絡(luò)下的多媒體時(shí)鐘協(xié)調(diào)同步方法,其特征在于, 所述數(shù)據(jù)發(fā)送模塊,其中MMT的傳輸協(xié)議部分各字段都與統(tǒng)一媒體封裝格式MPU的時(shí)序數(shù) 據(jù)字段相一致,達(dá)到多媒體數(shù)據(jù)存儲(chǔ)與傳輸?shù)囊恢滦院涂焖俎D(zhuǎn)換,傳送多媒體數(shù)據(jù)的同時(shí), NTP服務(wù)也在進(jìn)行,接收端本地時(shí)鐘被進(jìn)行周期性校正,能夠防止誤差時(shí)間的累積效應(yīng)。4. 根據(jù)權(quán)利要求1所述的一種異構(gòu)網(wǎng)絡(luò)下的多媒體時(shí)鐘協(xié)調(diào)同步方法,其特征在于, 所述數(shù)據(jù)發(fā)送模塊,在接收端不滿足NTP服務(wù)運(yùn)行的條件時(shí),利用MMT協(xié)議中的CRI信令 表,提供NTP與PCR的對(duì)應(yīng)關(guān)系,接收端通過接受流中的NTP時(shí)戳依據(jù)此表換算出PCR信息, 從而校正本地的時(shí)鐘,達(dá)到時(shí)鐘同步與多媒體同步,CRI信令表周期性更新,保證全網(wǎng)絡(luò)時(shí) 鐘的精確同步。5. 根據(jù)權(quán)利要求1-4任一項(xiàng)所述的一種異構(gòu)網(wǎng)絡(luò)下的多媒體時(shí)鐘協(xié)調(diào)同步方法,其特 征在于,所述數(shù)據(jù)接收與恢復(fù)模塊,用得到的媒體流中的NTP時(shí)鐘或者時(shí)鐘時(shí)間戳用來校 正接收端的時(shí)鐘,使全網(wǎng)的時(shí)間同步,同時(shí),媒體數(shù)據(jù)中的幀級(jí)別呈現(xiàn)時(shí)間戳引導(dǎo)解碼器進(jìn) 行正確地解碼。6. 根據(jù)權(quán)利要求1-4任一項(xiàng)所述的一種異構(gòu)網(wǎng)絡(luò)下的多媒體時(shí)鐘協(xié)調(diào)同步方法,其特 征在于,所述數(shù)據(jù)解析與呈現(xiàn)模塊,在處于斷網(wǎng)狀態(tài)時(shí),按照STC機(jī)制進(jìn)行時(shí)鐘同步:解析 CRI信令表得到PCR信息,校正本地的系統(tǒng)時(shí)鐘,同時(shí)利用媒體數(shù)據(jù)中的幀級(jí)別PTS信息知 道解碼器解碼;若處于聯(lián)網(wǎng)狀態(tài),則忽略數(shù)據(jù)中的PCR與PTS信息,采用NTP協(xié)議進(jìn)行時(shí)鐘 同步:接收端利用NTP服務(wù)定期校正本地時(shí)鐘,利用媒體流中的時(shí)間線管理機(jī)制引導(dǎo)解碼 器解碼。
【文檔編號(hào)】H04L29/06GK105991586SQ201510080558
【公開日】2016年10月5日
【申請(qǐng)日】2015年2月13日
【發(fā)明人】張文軍, 徐異凌, 孫軍, 管云峰, 張小云, 柳寧, 陳浩
【申請(qǐng)人】上海交通大學(xué)
網(wǎng)友詢問留言 已有0條留言
  • 還沒有人留言評(píng)論。精彩留言會(huì)獲得點(diǎn)贊!
1