專利名稱：多媒體屬性實(shí)時(shí)交互的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種多媒體屬性交互的方法，主要用于在實(shí)時(shí)傳輸RTP/RTCP 系統(tǒng)中，進(jìn)行視頻，音頻屬性的交互。
背景技術(shù)：
在多媒體系統(tǒng)軟件設(shè)計(jì)中， 一般將整個(gè)系統(tǒng)分為兩個(gè)子系統(tǒng)(1)媒體控 審U子系統(tǒng)MCS (Media Control SubSystera); (2)媒體處理子系統(tǒng)MPS(Media Process Subsystem)。其中MCS子系統(tǒng)主要實(shí)現(xiàn)兩個(gè)功能(1)與外部多媒體 系統(tǒng)的會(huì)話協(xié)商控制(SIP， H. 323); (2)對(duì)MPS的媒體處理資源進(jìn)行管理。MPS 子系統(tǒng)主要實(shí)現(xiàn)實(shí)時(shí)數(shù)據(jù)流的(RTP/RTCP)的接收和發(fā)送，以及對(duì)媒體數(shù)據(jù)流 的處理(包括視頻、音頻的編解碼，對(duì)于不同的編碼格式還會(huì)涉及到轉(zhuǎn)碼處理)。眾所周知，在多媒體領(lǐng)域，音視頻的編解碼，特別是不同格式的視頻轉(zhuǎn)碼 過(guò)程中，如果需要達(dá)到優(yōu)異的處理性能，在處理之前，需要知道一些先驗(yàn)的媒 體屬性信息(比如待處理的碼流編碼類型，尺寸大小，幀率，碼率等)，這些信 息往往需要由MCS子系統(tǒng)來(lái)提供，這使得MPS子系統(tǒng)對(duì)MCS子系統(tǒng)具有很強(qiáng)的 依賴性。參見(jiàn)附圖1，它是兩個(gè)多媒體系統(tǒng)通信的示意圖。從圖1可以看出，在媒 體控制子系統(tǒng)MCS中， 一般通過(guò)采用SIP或者H. 323協(xié)議與對(duì)端進(jìn)行會(huì)話建立 協(xié)商，對(duì)于多媒體屬性的描述，首先采用會(huì)話描述協(xié)議SDP，或者多媒體通信 控制協(xié)議H.245描述，然后將描述后消息體掛載在SIP報(bào)文或者H.323中進(jìn)行 交互。MCS協(xié)商結(jié)束后，將多媒體屬性信息下發(fā)給下面的MPS子系統(tǒng)，MPS子 系統(tǒng)啟動(dòng)相應(yīng)的音視頻媒體處理操作，并且負(fù)責(zé)將數(shù)據(jù)進(jìn)行傳輸，在數(shù)據(jù)傳輸 那塊，目前通用的做法是釆用RTP/RTCP協(xié)議進(jìn)行傳輸以及傳輸控制。由此可知，MPS媒體處理子系統(tǒng)對(duì)MCS媒體控制子系統(tǒng)具有很強(qiáng)的依賴性。 要使得MPS正常高效的工作，MCS必須實(shí)時(shí)準(zhǔn)確的對(duì)MPS提供關(guān)于音視頻媒體 屬性的信息。但一方面來(lái)講，雖然SDP、 H. 245協(xié)議中定義了關(guān)于媒體屬性的描述，但并沒(méi)有做到完整而精確，兩個(gè)協(xié)議的會(huì)話交互更多的在于多媒體音視頻 屬性最大能力的交互，而不是即將實(shí)時(shí)傳輸?shù)亩嗝襟w音視頻屬性的交互；另一 方面在帶寬資源有限而復(fù)雜的現(xiàn)實(shí)網(wǎng)絡(luò)中，為了實(shí)現(xiàn)多媒體音視頻的可靠傳輸， MPS必須主動(dòng)的改變其編碼屬性(比如說(shuō)降低碼率，幀率等)， 一旦發(fā)生變化， 它必須及時(shí)的通過(guò)MCS子系統(tǒng)來(lái)告訴對(duì)端，從消息流程來(lái)看，這需要在MCS、 MPS之間進(jìn)行多次通信，在軟件設(shè)計(jì)方面凸顯的比較復(fù)雜。那么是否能夠找到 一種好的方法，能夠直接在雙方MPS子系統(tǒng)進(jìn)行動(dòng)態(tài)的多媒體屬性交互，既能 簡(jiǎn)化軟件處理流程又能及時(shí)準(zhǔn)確的交互媒體屬性信息。作為一種傳輸協(xié)議，RTP/RTCP得到了廣泛的應(yīng)用。國(guó)際標(biāo)準(zhǔn)化組織分別在 RFC3016/RFC2190/RFC3984等一系列協(xié)議中定義了 MPEG4/H263/H264等媒體格 式的RTP傳輸方法。但從目前運(yùn)用情況來(lái)看，在視頻會(huì)議，視頻監(jiān)控等產(chǎn)品應(yīng) 用中，各個(gè)廠家還是選擇在傳輸數(shù)據(jù)中添加了一些私有的信息頭。追其原因， 一方面或許有行業(yè)保護(hù)的含有，另一方面也是因?yàn)椴幌肴ラ_(kāi)發(fā)繁瑣的上層MCS 協(xié)議，希望通過(guò)自身定義的私有信息來(lái)實(shí)時(shí)的獲得處理需要的音視頻屬性信息。 這種做法破壞了傳輸?shù)臉?biāo)準(zhǔn)性。因此，設(shè)計(jì)一種新的方法，使得能夠在不破壞 現(xiàn)有的RTP/RTCP多媒體數(shù)據(jù)傳輸標(biāo)準(zhǔn)的前提下，實(shí)時(shí)、精確、方便地進(jìn)行音視 頻多媒體屬性交互實(shí)為必要。


圖1是兩個(gè)多媒體系統(tǒng)通信示意圖；圖2是本發(fā)明實(shí)施例多媒體屬性實(shí)時(shí)交互方法的流程圖。發(fā)明內(nèi)容為了克服現(xiàn)有技術(shù)存在的不足，本發(fā)明提供一種實(shí)時(shí)、精確、方便地進(jìn)行多媒體音視頻屬性的通信交互的方法。為達(dá)到上述發(fā)明目的，本發(fā)明所采用的技術(shù)方案是提供一種多媒體屬性實(shí)時(shí)交互的方法，其特征在于步驟如下(1) 對(duì)RTP/RTCP協(xié)議棧進(jìn)行初始化處理；(2) 獲取本端多媒體音視頻屬性信息；(3) 將本端多媒體屬性按照下列三種多媒體音視頻屬性描述方法中的任 意一種格式，形成信息字段，填寫(xiě)到RTCP的APP包內(nèi)容中A、 按照SDP協(xié)議中定義的關(guān)于音視頻媒體屬性的描述；B、 按照H.245協(xié)議中能力交互消息中關(guān)于音視頻媒體屬性的描述；C、 定義一套私有的多媒體音視頻屬性描述的語(yǔ)法。(4) 將生成的APP報(bào)文通過(guò)RTCP告訴給對(duì)端，與對(duì)端進(jìn)行交互。(5) 如果本端多媒體屬性發(fā)生改變，重復(fù)步驟(3)和(4)。本發(fā)明的主要思想是利用現(xiàn)存的RTP/RTCP協(xié)議棧所定義的APP (Application-defined RTCP packet)包結(jié)構(gòu)，將多媒體音視頻屬性信息掛載 在APP包內(nèi)容中，通過(guò)正常的RTCP通信交互方式來(lái)實(shí)現(xiàn)雙方的多媒體音視頻屬 性通信交互。而且由于在RTCP協(xié)議定義中，APP包結(jié)構(gòu)本身是用戶可定義的， 所以不會(huì)破壞現(xiàn)有的RTP/RTCP協(xié)議結(jié)構(gòu)，使得傳輸本身還是具有標(biāo)準(zhǔn)化。 本發(fā)明具有以下明顯優(yōu)點(diǎn)(1) 精確、實(shí)時(shí)、方便地實(shí)現(xiàn)多媒體音視頻屬性通信交互，提高媒體處 理性能。(2) 可以利用現(xiàn)有的基于RTCP的帶寬檢測(cè)技術(shù)，及時(shí)的將帶寬信息進(jìn)行 通信交互，提高音視頻多媒體在復(fù)雜網(wǎng)絡(luò)環(huán)境下的可靠性應(yīng)用。(3) 利用這種多媒體音視頻通信交互方法，終端設(shè)備可以無(wú)需開(kāi)發(fā)繁瑣 的上層MCS媒體控制子系統(tǒng)中關(guān)于媒體會(huì)話描述的協(xié)議，減少軟件開(kāi)發(fā)工作量。(4) 利用這種方法不破壞現(xiàn)有的RTP/RTCP協(xié)議，以及各種視頻，音頻流 的傳輸標(biāo)準(zhǔn)，對(duì)各廠商產(chǎn)品的互通沒(méi)有影響。
具體實(shí)施方式
下面結(jié)合附圖和實(shí)施例對(duì)本發(fā)明作進(jìn)一步描述 實(shí)施例1:參見(jiàn)附圖2，本實(shí)施例技術(shù)方案的步驟如下-步驟1: MPS媒體處理子系統(tǒng)進(jìn)行RTP/RTCP的初始化創(chuàng)建。 步驟2:在進(jìn)行多媒體音視頻數(shù)據(jù)傳輸之前，獲取本端多媒體音視頻屬性。 獲取方法有兩種， 一是通過(guò)媒體處理參數(shù)獲得，二是從待傳輸?shù)拿襟w數(shù)據(jù)包中獲得。步驟3:將獲得的本端多媒體音視頻屬性信息進(jìn)行APP報(bào)文封裝，它可以 運(yùn)用以下三種不同的方法實(shí)現(xiàn)(A) 按照SDP協(xié)議中定義的關(guān)于音視頻媒體屬性的描述方法，直接生成信 息字段寫(xiě)入到APP包內(nèi)容中。比如說(shuō)采用"b="、 "m=" 、 "a=fmtP:"、 "a =rtpmap: " 、 " a=f ramerate:"等描述關(guān)于網(wǎng)絡(luò)帶寬大小，編碼屬性(MPEG4, H. 263, H. 264等)，尺寸大小(QCIF， CIF， 4CIF， Dl)，碼率，幀率等倍息；(B) 按照H. 245協(xié)議中關(guān)于能力交互消息中音視頻媒體屬性的描述方法的 定義生成消息字段，寫(xiě)入到APP包內(nèi)容中；(C) 定義一套私有的多媒體音視頻屬性描述的語(yǔ)法，將描述后的信息字段 填入APP包內(nèi)容中。步驟4:將生成的APP報(bào)文通過(guò)RTCP告訴給對(duì)端，與對(duì)端進(jìn)行交互。 步驟5:開(kāi)始進(jìn)行正常的RTP/RTCP多媒體音視頻數(shù)據(jù)傳輸。 步驟6:如果發(fā)現(xiàn)本端多媒體音視頻屬性發(fā)生改變，或者網(wǎng)絡(luò)帶寬發(fā)生改 變，重復(fù)步驟3和4，及時(shí)通知對(duì)端。上述三種多媒體音視頻屬性描述方法各有特點(diǎn)，(A)、 (B)兩種方法利用現(xiàn) 有的協(xié)議規(guī)范定義多媒體音視頻屬性信息，具有通用性。但在SDP， H.245協(xié)議 中，針對(duì)多媒體音視頻信息的描述，更多在于多媒體音視頻屬性最大能力的交 互，而不是即將實(shí)時(shí)傳輸?shù)亩嗝襟w音視頻屬性的交互。因此說(shuō)(A)、 (B)兩種 方法無(wú)法準(zhǔn)確的描述當(dāng)前傳輸?shù)拿襟w屬性，方法(C)由于是自己可定義的，所 以不存在這種缺點(diǎn)，但是通用性上略顯不足。在實(shí)際運(yùn)用中，可以考慮不同的 應(yīng)用環(huán)境選擇不同的方法。RTCP協(xié)議的作用是進(jìn)行傳輸可靠性控制，本發(fā)明巧妙的運(yùn)用了其中的APP 報(bào)文字段，進(jìn)行多媒體屬性的協(xié)商，使得協(xié)議本身增加了多媒體協(xié)商的功能。 另外由于RTP/RTCP協(xié)議模塊負(fù)責(zé)多媒體音視頻數(shù)據(jù)的傳輸，因此在RTP/RTCP 模塊中可以非常準(zhǔn)確的把握每一個(gè)數(shù)據(jù)包的內(nèi)容， 一旦多媒體音視頻屬性發(fā)生 變化，RTP/RTCP模塊可以馬上知曉。所以采用這種將多媒體音視頻屬性掛載在 RTCP APP包內(nèi)通信交互的方法可以精確、及時(shí)地進(jìn)行多媒體音視頻屬性的交互。同時(shí)也可以利用現(xiàn)有的基于RTCP的帶寬檢測(cè)的方法，及時(shí)將帶寬信息包含在 APP包中，使得本地MPS子系統(tǒng)能夠及時(shí)動(dòng)態(tài)的調(diào)整編碼參數(shù)(碼率，幀率等)， 以及傳輸策略，滿足在復(fù)雜網(wǎng)絡(luò)下多媒體音視頻應(yīng)用的可靠性要求。
權(quán)利要求
1. 一種多媒體屬性實(shí)時(shí)交互的方法，其特征在于步驟如下(1)對(duì)RTP/RTCP協(xié)議棧進(jìn)行初始化處理；(2)獲取本端多媒體音視頻屬性信息；(3)將本端多媒體屬性按照下列三種多媒體音視頻屬性描述方法中的任意一種格式，形成信息字段，填寫(xiě)到RTCP的APP包內(nèi)容中A、按照SDP協(xié)議中定義的關(guān)于音視頻媒體屬性的描述；B、按照H.245協(xié)議中能力交互消息中關(guān)于音視頻媒體屬性的描述；C、定義一套私有的多媒體音視頻屬性描述的語(yǔ)法。(4)將生成的APP報(bào)文通過(guò)RTCP告訴給對(duì)端，與對(duì)端進(jìn)行交互。(5)如果本端多媒體屬性發(fā)生改變，重復(fù)步驟(3)和(4)。
全文摘要
本發(fā)明涉及一種多媒體屬性交互的方法。先對(duì)RTP/RTCP協(xié)議棧進(jìn)行初始化處理，并獲取本端多媒體音視頻屬性信息；按照SDP協(xié)議中定義的關(guān)于音視頻媒體屬性的描述、H.245協(xié)議中能力交互消息中關(guān)于音視頻媒體屬性的描述或定義一套私有的多媒體音視頻屬性描述的語(yǔ)法，形成信息字段，填寫(xiě)到RTCP的APP包內(nèi)容中。將生成的APP報(bào)文通過(guò)RTCP告訴給對(duì)端進(jìn)行交互。利用這種多媒體音視頻通信交互方法，終端設(shè)備可以無(wú)需開(kāi)發(fā)繁瑣的上層MCS媒體控制子系統(tǒng)中關(guān)于媒體會(huì)話描述的協(xié)議，減少軟件開(kāi)發(fā)工作量，同時(shí)，不破壞現(xiàn)有的RTP/RTCP協(xié)議及各種視音頻流的傳輸標(biāo)準(zhǔn)，可精確、實(shí)時(shí)、方便地實(shí)現(xiàn)多媒體音視頻屬性通信交互，提高媒體處理性能。
文檔編號(hào)H04L29/06GK101267432SQ200810036718
公開(kāi)日2008年9月17日 申請(qǐng)日期2008年4月28日 優(yōu)先權(quán)日2008年4月28日
發(fā)明者姚維堅(jiān) 申請(qǐng)人:艾諾通信系統(tǒng)(蘇州)有限責(zé)任公司