專利名稱：基于索引的多媒體數(shù)據(jù)的監(jiān)測方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種多媒體信息傳輸和處理技術(shù)，具體說，涉及一種基于索 引的多媒體數(shù)據(jù)的監(jiān)測方法。
背景技術(shù)：
隨著有線網(wǎng)絡(luò)和無線網(wǎng)絡(luò)的發(fā)展和用戶需求的驅(qū)動，多媒體技術(shù)和相關(guān) 的應(yīng)用得到了越來越多的關(guān)注，被認為是未來高速網(wǎng)絡(luò)的主流應(yīng)用之一。多
媒體應(yīng)用包括^L頻應(yīng)用和音頻應(yīng)用，相對于Internet的傳統(tǒng)應(yīng)用如WWW、 E-mail等，對帶寬的需求更大。現(xiàn)有的視頻和音頻等多媒體數(shù)據(jù)傳輸采取了 高壓縮率的編碼技術(shù)，這些編碼技術(shù)利用了視頻和音頻等多媒體信息在時 間、空間和統(tǒng)計上的相關(guān)性來進行數(shù)據(jù)壓縮。壓縮后的多^ 某體數(shù)據(jù)對傳輸錯 誤非常敏感，特別是現(xiàn)有的有線或者無線網(wǎng)絡(luò)不提供傳輸?shù)腝oS ( Quality of Serverices)保證，數(shù)據(jù)包的丟失或者延遲不可避免，這都會造成接收端的 用戶體驗質(zhì)量下降。因此對多媒體服務(wù)性能進行監(jiān)測成為多媒體通信領(lǐng)域的
研究熱點。
在傳統(tǒng)的多媒體服務(wù)性能監(jiān)測方法中，服務(wù)器端對多媒體數(shù)據(jù)進行打 包，并將其發(fā)送到接收端，期間要經(jīng)過若干個網(wǎng)絡(luò)節(jié)點。在多媒體數(shù)據(jù)的傳 送過程中，多媒體數(shù)據(jù)包可能會發(fā)生延遲或者丟失，造成接收端不能正確接 收所有的數(shù)據(jù)包。此時，接收端通過多媒體解碼處理，找到多媒體內(nèi)容中的 錯誤信息，并將其反饋至服務(wù)器端。監(jiān)測服務(wù)器再根據(jù)接收到的反饋錯誤信 息，利用多媒體解碼器估計出被監(jiān)測的接收端多媒體數(shù)據(jù)。將被監(jiān)測的多媒 體數(shù)據(jù)與參考多媒體數(shù)據(jù)進行比較，實現(xiàn)多々某體服務(wù)性能的監(jiān)測。
上述方法存在的缺點包括
一、需要在接收端進行多媒體解碼處理，才能將由于網(wǎng)絡(luò)傳輸錯誤引起 的多媒體內(nèi)容中的錯誤信息反饋給服務(wù)器端，不利于數(shù)字版權(quán)的保護。二、在服務(wù)器端進行多媒體服務(wù)性能評價時，需要對每個被監(jiān)測的接收 端進行完整的多媒體解碼處理。因此當(dāng) 一個服務(wù)器端對多個接收端同時進行 監(jiān)測時，會占用大量的計算資源。

發(fā)明內(nèi)容
本發(fā)明所解決的技術(shù)問題是提供一種基于索引的多媒體數(shù)據(jù)的監(jiān)測方 法，能夠方便地實現(xiàn)多媒體服務(wù)性能的監(jiān)測和評價。
技術(shù)方案如下
一種基于索引的多媒體數(shù)據(jù)的監(jiān)測方法，步驟如下
(1 )在服務(wù)器端建立發(fā)送的多媒體數(shù)據(jù)標(biāo)識號與對應(yīng)的多媒體特征數(shù) 據(jù)之間的索引；所述索引中包含數(shù)據(jù)包號、數(shù)據(jù)類型或者索引數(shù)據(jù)；所述數(shù) 據(jù)包號表示接收或者發(fā)送的多媒體數(shù)據(jù)標(biāo)識號，所述數(shù)據(jù)類型表示多媒體數(shù) 據(jù)包類型，所述索引數(shù)據(jù)表示與數(shù)據(jù)包號對應(yīng)的多媒體特征數(shù)據(jù)；
(2 )接收端將錯誤多媒體數(shù)據(jù)包對應(yīng)的多媒體數(shù)據(jù)標(biāo)識號反饋到服務(wù) 器端后，在服務(wù)器端的所述索引中查找與所述多媒體數(shù)據(jù)標(biāo)識號對應(yīng)的多媒 體特征數(shù)據(jù)，依據(jù)所述多媒體特征數(shù)據(jù)進行多媒體服務(wù)性能進行監(jiān)測。
進一步，步驟(l)中，所述發(fā)送的多媒體數(shù)據(jù)標(biāo)識號是編碼后多媒體 數(shù)據(jù)發(fā)送的序號，在RTP協(xié)議中，發(fā)送的多媒體數(shù)據(jù)標(biāo)識號是RTP包序號； 或者，在TCP/IP協(xié)議中，發(fā)送的多媒體數(shù)據(jù)標(biāo)識號是IP包序號；或者，在 H.324M協(xié)議中，發(fā)送的多J 某體數(shù)據(jù)標(biāo)識號是數(shù)據(jù)幀序號。
進一步，步驟(l)中，所述多媒體特征數(shù)據(jù)包括壓縮后的視頻數(shù)據(jù)或 者音頻數(shù)據(jù)。
進一步，步驟(l)中，所述索引數(shù)據(jù)包括視頻數(shù)據(jù)或者音頻數(shù)據(jù)；與 之相對應(yīng)，所述數(shù)據(jù)類型為視頻或者音頻。
進一步，步驟(l)中，所述視頻數(shù)據(jù)包括視頻參數(shù)、視頻圖像幀的幀 號、宏塊信息或者殘差信息，所述視頻參數(shù)是指視頻序列編碼參數(shù)信息，所 述視頻圖像幀的幀號是指當(dāng)前多媒體數(shù)據(jù)包對應(yīng)的視頻圖像幀的序號，所述 宏塊信息是指用于重建視頻圖像幀的圖像塊特征數(shù)據(jù)，所述殘差信息是指圖像塊內(nèi)部象素點的預(yù)測值和解碼值之間的差分數(shù)據(jù)；所述音頻數(shù)據(jù)包括音頻 參數(shù)或者音頻數(shù)據(jù)幀的幀號，所述音頻參數(shù)是指音頻數(shù)據(jù)的編碼參數(shù)，所述 音頻數(shù)據(jù)幀的幀號是指當(dāng)前多媒體數(shù)據(jù)包對應(yīng)的音頻數(shù)據(jù)幀的序號。
進一步，步驟(i)中，所述視頻參數(shù)包括圖像高、圖像寬、視頻幀速 率或者視頻格式；所述宏塊信息包括圖像塊的類型、圖像塊的編號、圖像塊 的運動信息或者參考幀信息；所述音頻參數(shù)包括語音編碼的采樣率和采樣間隔。
進一步，步驟(2)中，所述多媒體數(shù)據(jù)標(biāo)識號為數(shù)據(jù)包的序號。 進一步，步驟(2)包括 (21)根據(jù)錯誤數(shù)據(jù)包的序號檢索所述索引；
(22 )在所述索引中查找和所述錯誤數(shù)據(jù)包的序號對應(yīng)的數(shù)據(jù)包號，以 及與所述數(shù)據(jù)包號對應(yīng)的多媒體特征數(shù)據(jù)；
(23 )基于所述多媒體特征數(shù)據(jù)進行多媒體數(shù)據(jù)的評價和監(jiān)測。
本發(fā)明方法將重建后多媒體數(shù)據(jù)與參考多媒體數(shù)據(jù)進行比較，得到多媒 體服務(wù)性能的評價指標(biāo)，通過評價指標(biāo)能夠方便地實現(xiàn)多媒體服務(wù)性能的監(jiān) 測和評價。該方法通過建立發(fā)送的數(shù)據(jù)標(biāo)識號和多媒體數(shù)據(jù)之間的索引，從 而簡化了多媒體服務(wù)質(zhì)量評價時的多媒體數(shù)據(jù)的重建過程，有利于在服務(wù)器 端同時對多個接收端進行多^某體服務(wù)性能監(jiān)測。


圖l是索引的結(jié)構(gòu)示意圖2是H.264中的塊劃分示意圖3是差錯視頻序列的重建過程示意圖。
具體實施例方式
本發(fā)明通過建立發(fā)送的數(shù)據(jù)標(biāo)識號和多々某體數(shù)據(jù)之間的索引，從而簡化 了多媒體服務(wù)質(zhì)量評價時的多媒體數(shù)據(jù)的重建過程，有利于在服務(wù)器端對多個接收端進行多媒體服務(wù)性能監(jiān)測。
下面參照附圖，對本發(fā)明的優(yōu)選實施例作詳細描述。
第一步，建立發(fā)送的多媒體數(shù)據(jù)標(biāo)識號與對應(yīng)的多媒體信息之間的索引。
發(fā)送的多媒體數(shù)據(jù)標(biāo)識號是編碼后多媒體數(shù)據(jù)發(fā)送的序號，在RTP協(xié) 議中，發(fā)送的多媒體數(shù)據(jù)標(biāo)識號是RTP包序號；在TCP/IP協(xié)議中，發(fā)送的 多媒體數(shù)據(jù)標(biāo)識號是IP包序號；在H,324M協(xié)議中，發(fā)送的多媒體數(shù)據(jù)標(biāo) 識號是數(shù)據(jù)幀序號。
多媒體信息可以是壓縮后的視頻或者音頻數(shù)據(jù)，或者其它數(shù)據(jù)類型。
如圖l所示，建立的索引應(yīng)包含(不限于)以下信息'
1、 數(shù)據(jù)包號(PacketNo.):表示接收或者發(fā)送的多媒體數(shù)據(jù)標(biāo)識號， 該數(shù)據(jù)包號可以作為索引的檢索關(guān)鍵字，檢索出需要的多媒體數(shù)據(jù)。
2、 數(shù)據(jù)類型(Packet Type):表示當(dāng)前索引的多媒體數(shù)據(jù)包類型，該 數(shù)據(jù)類型可以是視頻或者音頻(Video Type/Audio Type )。
3、 索引數(shù)據(jù)(IndexData):表示與數(shù)據(jù)包號對應(yīng)的多々某體數(shù)據(jù)。對于 不同的多媒體數(shù)據(jù)類型(視頻或者音頻)，索引數(shù)據(jù)的內(nèi)容也不同。
A、對于視頻類型的索引數(shù)據(jù)，索引數(shù)據(jù)應(yīng)包括視頻參數(shù)、視頻圖像幀 的幀號、宏塊信息以及殘差信息等。其中宏塊信息和殘差信息可以作為可選 的索引數(shù)據(jù)內(nèi)容。
(1 )視頻參數(shù)(Video Parameters)是指視頻序列編碼參數(shù)信息，例如 圖像高、圖像寬、視頻幀速率、視頻格式等內(nèi)容。
(2 )視頻圖像幀的幀號(Video Frame No.)是指當(dāng)前多媒體數(shù)據(jù)包對 應(yīng)的視頻圖像幀的序號。
當(dāng) 一個視頻數(shù)據(jù)包中包含有多個圖像幀時，索引數(shù)據(jù)應(yīng)包含有多個圖像 幀的幀號。
(3)宏塊信息(Macro_block Information)是指用于重建視頻圖像幀的 圖像塊特征數(shù)據(jù)，例如圖像塊的類型、圖像塊的編號、圖像塊的運動信息、參考幀信息等。
當(dāng) 一個視頻數(shù)據(jù)包中包含有多個宏塊時，宏塊信息應(yīng)包含有多個宏塊的 特征數(shù)據(jù)。 一幀圖像由多個宏塊組成。
(4)殘差信息(Residual Information)是指用于重建視頻圖像幀的特征 數(shù)據(jù)，包括圖像塊內(nèi)部的每個象素點的預(yù)測值和解碼值之間的差分數(shù)據(jù)。
如圖2所示，以R264為例， 一幀圖像(Picture)包含多個條帶(Slice),
每個條帶包含多個宏塊(Macroblock)。其中每個宏塊大小為16 x 16象素，
它又分為16個4x4象素的子塊(Block)。在存儲宏塊信息時需要記錄每
個宏塊在圖像中的位置，以及每個子塊的運動矢量、子塊類型以及參考幀信 自
以R264為例，當(dāng)一個宏塊包含有16個4x4象素子塊時，需要記錄每 個4x4子塊中的16個象素的殘差信息。
B、對于音頻類型，索引數(shù)據(jù)應(yīng)包括音頻參數(shù)和音頻數(shù)據(jù)幀的幀號。
(1) 音頻參數(shù)(Audio Parameters )是指音頻數(shù)據(jù)的編碼參數(shù)。例如語 音編碼的采樣率和采樣間隔等。
(2) 音頻數(shù)據(jù)幀的幀號(Audio Frame No.)是指當(dāng)前多媒體數(shù)據(jù)包對 應(yīng)的音頻數(shù)據(jù)幀的序號。當(dāng)一個音頻數(shù)據(jù)包中包含有多個音頻幀時，索引數(shù) 據(jù)應(yīng)包含有多個音頻幀的幀號。
第二步，基于索引數(shù)據(jù)的多媒體數(shù)據(jù)的重建。
在索引中，建立了索引數(shù)據(jù)與多媒體數(shù)據(jù)標(biāo)識號之間的對應(yīng)關(guān)系，因此 可以根據(jù)索引數(shù)據(jù)重建多媒體數(shù)據(jù)。當(dāng)接收端將接收到的數(shù)據(jù)狀態(tài)信息，該 數(shù)據(jù)狀態(tài)信息包含錯誤數(shù)據(jù)包的多媒體數(shù)據(jù)標(biāo)識號(本實施例中為錯誤數(shù)據(jù) 包的序號)，將錯誤數(shù)據(jù)包的序號反饋給服務(wù)器端后，就可以按照索引數(shù)據(jù) 檢索出對應(yīng)的多媒體信息，從而進行多媒體數(shù)據(jù)的重建。將重建的多媒體數(shù) 據(jù)與參考多媒體數(shù)據(jù)進行比較，得到多媒體服務(wù)性能評價指標(biāo)，參考多媒體
數(shù)據(jù)為正確解碼的多々某體數(shù)據(jù)。
具體的多J 某體數(shù)據(jù)重建方法如下
1、服務(wù)器端獲取多媒體數(shù)據(jù)包的數(shù)據(jù)狀態(tài)信息。如果接收端出現(xiàn)丟包情況，該數(shù)據(jù)狀態(tài)信息包含所丟數(shù)據(jù)包的序號。
2、 然后根據(jù)該所丟數(shù)據(jù)包的序號查找索引中的數(shù)據(jù)包號，根據(jù)索引的 數(shù)據(jù)包號檢索出對應(yīng)的索引數(shù)據(jù)。多媒體數(shù)據(jù)包的狀態(tài)信息可以通過反饋信 道獲取。
3、 根據(jù)索引數(shù)據(jù)，重新構(gòu)建出錯的多媒體數(shù)據(jù)。 若當(dāng)前數(shù)據(jù)為視頻類型，則進行視頻圖像重建。
(1 )根據(jù)視頻索引數(shù)據(jù)確定非受損區(qū)域和受損區(qū)域。
如圖3所示，假設(shè)兩個I幀之間的視頻幀(包含前一個I幀，不包含后 一個I幀)作為一個GOP (Group Of Picture) , II, P2, P3， B4， P5,… 到下一個I幀之前為一個GOP。根據(jù)索引數(shù)據(jù)和丟包信息在當(dāng)前GOP中找 到該GOP中的第一個丟包所在的幀(如圖3中的P3 ),從該GOP的I幀到 該丟包所在幀之前的所有幀沒有錯誤(如圖3中的II和P2),是非受損區(qū) 域。在丟包所在幀(P3)中，受損區(qū)域為黑色部分，對應(yīng)于丟失數(shù)據(jù)包所在 的位置，P3中的空白部分為非受損區(qū)域。對受該錯誤影響的后續(xù)幀中，如 B4、 P5，直到當(dāng)前GOP結(jié)束，根據(jù)其中相應(yīng)塊的運動矢量和參考幀信息， 判斷受損區(qū)域，如B4、 P5中的條紋部分所示。其它的空白部分為非受損區(qū) 域。
(2) 對非受損區(qū)域的視頻圖像進行重建，可以直接從參考視頻序列中 的對應(yīng)位置復(fù)制得到。
(3) 對受損區(qū)域的視頻圖像進行重建，可以對受損區(qū)域直接賦值為0; 也可以從參考視頻序列中的對應(yīng)位置復(fù)制得到；也可以根據(jù)圖像特征數(shù)據(jù)
(宏塊信息和殘差信息)按照運動補償方法得到；或者按照其它視頻差錯掩 蓋方法得到。
若當(dāng)前數(shù)據(jù)為音頻類型，則按照音頻重建方法進行音頻數(shù)據(jù)重建。 (1 )根據(jù)音頻索引數(shù)據(jù)確定非受損數(shù)據(jù)和受損數(shù)據(jù)。
(2) 對非受損數(shù)據(jù)進行重建，可以直接從參考音頻數(shù)據(jù)中復(fù)制得到。
(3) 對受損數(shù)據(jù)進行重建，可以對受損區(qū)域直接賦值為0;或者按照 其它丟包補償方法得到。第三步，將重建后的多媒體數(shù)據(jù)與參考多媒體數(shù)據(jù)進行比較，得到多媒 體服務(wù)性能的評價指標(biāo)。
在得到重建的多媒體數(shù)據(jù)后，可以將其與參考多媒體數(shù)據(jù)進行比較，得 到多媒體服務(wù)性能的評價指標(biāo)。例如，在對視頻服務(wù)性能進行評價時，可以
使用重建圖像和參考圖像的峰值信噪比(Peak Signal to Noise Ratio )作為評
價指標(biāo)。
權(quán)利要求
1、一種基于索引的多媒體數(shù)據(jù)的監(jiān)測方法，步驟如下(1)在服務(wù)器端建立發(fā)送的多媒體數(shù)據(jù)標(biāo)識號與對應(yīng)的多媒體特征數(shù)據(jù)之間的索引；所述索引中包含數(shù)據(jù)包號、數(shù)據(jù)類型或者索引數(shù)據(jù)；所述數(shù)據(jù)包號表示接收或者發(fā)送的多媒體數(shù)據(jù)標(biāo)識號，所述數(shù)據(jù)類型表示多媒體數(shù)據(jù)包類型，所述索引數(shù)據(jù)表示與數(shù)據(jù)包號對應(yīng)的多媒體特征數(shù)據(jù)；(2)接收端將錯誤多媒體數(shù)據(jù)包對應(yīng)的多媒體數(shù)據(jù)標(biāo)識號反饋到服務(wù)器端后，在服務(wù)器端的所述索引中查找與所述多媒體數(shù)據(jù)標(biāo)識號對應(yīng)的多媒體特征數(shù)據(jù)，依據(jù)所述多媒體特征數(shù)據(jù)進行多媒體服務(wù)性能進行監(jiān)測。
2、 根據(jù)權(quán)利要求1所述的基于索引的多媒體數(shù)據(jù)的監(jiān)測方法，其特征 在于，步驟(l)中，所述發(fā)送的多媒體數(shù)據(jù)標(biāo)識號是編碼后多媒體數(shù)據(jù)發(fā) 送的序號，在RTP協(xié)議中，發(fā)送的多媒體數(shù)據(jù)標(biāo)識號是RTP包序號；或者， 在TCP/IP協(xié)議中，發(fā)送的多媒體數(shù)據(jù)標(biāo)識號是IP包序號；或者，在H,324M 協(xié)議中，發(fā)送的多媒體數(shù)據(jù)標(biāo)識號是數(shù)據(jù)幀序號。
3、 根據(jù)權(quán)利要求1所述的基于索引的多媒體數(shù)據(jù)的監(jiān)測方法，其特征 在于，步驟(l)中，所述多媒體特征數(shù)據(jù)包括壓縮后的視頻數(shù)據(jù)或者音頻 數(shù)據(jù)。
4、 根據(jù)權(quán)利要求1所述的基于索引的多媒體數(shù)據(jù)的監(jiān)測方法，其特征 在于，步驟(l)中，所述索引數(shù)據(jù)包括-現(xiàn)頻數(shù)據(jù)或者音頻數(shù)據(jù)；與之相對 應(yīng)，所述數(shù)據(jù)類型為視頻或者音頻。
5、 根據(jù)權(quán)利要求4所述的基于索引的多媒體數(shù)據(jù)的監(jiān)測方法，其特征 在于，步驟(1)中，所述視頻數(shù)據(jù)包括視頻參數(shù)、視頻圖像幀的幀號、宏 塊信息或者殘差信息，所述視頻參數(shù)是指視頻序列編碼參數(shù)信息，所述視頻 圖像幀的幀號是指當(dāng)前多媒體數(shù)據(jù)包對應(yīng)的視頻圖像幀的序號，所述宏塊信 息是指用于重建視頻圖像幀的圖像塊特征數(shù)據(jù)，所述殘差信息是指圖像塊內(nèi) 部象素點的預(yù)測值和解碼值之間的差分數(shù)據(jù)；所述音頻數(shù)據(jù)包括音頻參數(shù)或者音頻數(shù)據(jù)幀的幀號，所述音頻參數(shù)是指音頻數(shù)據(jù)的編碼參數(shù)，所述音頻數(shù) 據(jù)幀的幀號是指當(dāng)前多媒體數(shù)據(jù)包對應(yīng)的音頻數(shù)據(jù)幀的序號。
6、 根據(jù)權(quán)利要求5所述的基于索引的多媒體數(shù)據(jù)的監(jiān)測方法，其特征 在于，步驟(l)中，所述視頻參數(shù)包括圖像高、圖像寬、視頻幀速率或者視頻格式；所述宏塊信息包括圖像塊的類型、圖像塊的編號、圖像塊的運動 信息或者參考幀信息；所述音頻參數(shù)包括語音編碼的采樣率和采樣間隔。
7、 根據(jù)權(quán)利要求1所述的基于索引的多媒體數(shù)據(jù)的監(jiān)測方法，其特征 在于，步驟(2)中，所述多媒體數(shù)據(jù)標(biāo)識號為數(shù)據(jù)包的序號。
8、 根據(jù)權(quán)利要求7所述的基于索引的多媒體數(shù)據(jù)的監(jiān)測方法，其特征 在于，步驟(2)包括(21) 根據(jù)錯誤數(shù)據(jù)包的序號檢索所述索引；(22) 在所述索引中查找和所述錯誤數(shù)據(jù)包的序號對應(yīng)的數(shù)據(jù)包號，以 及與所述數(shù)據(jù)包號對應(yīng)的多媒體特征數(shù)據(jù)；(23 )基于所述多媒體特征數(shù)據(jù)進行多媒體數(shù)據(jù)的評價和監(jiān)測。
全文摘要
本發(fā)明公開了一種基于索引的多媒體數(shù)據(jù)的監(jiān)測方法，步驟如下在服務(wù)器端建立發(fā)送的多媒體數(shù)據(jù)標(biāo)識號與對應(yīng)的多媒體特征數(shù)據(jù)之間的索引；所述索引中包含數(shù)據(jù)包號、數(shù)據(jù)類型或者索引數(shù)據(jù)；所述數(shù)據(jù)包號表示接收或者發(fā)送的多媒體數(shù)據(jù)標(biāo)識號，所述數(shù)據(jù)類型表示多媒體數(shù)據(jù)包類型，所述索引數(shù)據(jù)表示與數(shù)據(jù)包號對應(yīng)的多媒體特征數(shù)據(jù)；接收端將錯誤多媒體數(shù)據(jù)包對應(yīng)的多媒體數(shù)據(jù)標(biāo)識號反饋到服務(wù)器端后，在服務(wù)器端的所述索引中查找與所述多媒體數(shù)據(jù)標(biāo)識號對應(yīng)的多媒體特征數(shù)據(jù)，依據(jù)所述多媒體特征數(shù)據(jù)進行多媒體服務(wù)性能進行監(jiān)測。本發(fā)明通過建立索引，簡化了多媒體數(shù)據(jù)的重建過程，有利于在服務(wù)器端同時對多個接收端進行多媒體服務(wù)性能的監(jiān)測。
文檔編號H04L1/00GK101316198SQ20071011164
公開日2008年12月3日 申請日期2007年6月1日 優(yōu)先權(quán)日2007年6月1日
發(fā)明者戴志軍, 寧 王, 王志英, 郭秀江, 睿 陳 申請人:中興通訊股份有限公司