專利名稱：重構(gòu)媒體的方法和裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及但不限于重構(gòu)媒體的一種方法和裝置，更具體地說，涉及一種方法和媒體接收器，它能夠在因特網(wǎng)多媒體裝置中重構(gòu)包括媒體信息的數(shù)據(jù)包。
下面將簡短描述在因特網(wǎng)上進(jìn)行電話呼叫的一種方法。第一個用戶通過計算機(jī)鍵盤輸入第二個用戶的號碼。應(yīng)用程序，例如INTERNETPHONE，將撥號信號傳遞給公共電話交換中心開始呼叫。在用戶之間建立起這一呼叫以后，這個應(yīng)用程序以數(shù)字方式對第一個用戶的話音信號進(jìn)行采樣，將這些樣本暫時貯存在一個緩沖器中，將這些樣本封裝成數(shù)據(jù)包，并且用IP協(xié)議將這些數(shù)據(jù)包發(fā)送給第二個用戶。第二個用戶的應(yīng)用程序，例如INTEPNET PHONE，收到這些數(shù)據(jù)包，從每個數(shù)據(jù)包中剝?nèi)f(xié)議報頭，獲得壓縮話音數(shù)據(jù)樣本，將這些樣本轉(zhuǎn)換成話音信號。在兩邊同時采用上面描述的通過因特網(wǎng)傳輸話音信號的方法。
但是，通過因特網(wǎng)發(fā)送媒體流的時候，例如這些媒體流包括音頻信號和/或視頻信號，這些數(shù)據(jù)包到達(dá)的時間和順序就不同于它們被發(fā)送的時間和順序。在發(fā)送的每個數(shù)據(jù)包中有一個特殊的參數(shù)用于在接收器處重構(gòu)數(shù)據(jù)包。
上面提到的特殊參數(shù)的一個實例是一個序列號，這個序列號被添加到每個數(shù)據(jù)包中，用于幫助計數(shù)器重構(gòu)數(shù)據(jù)包的順序。另一個實例是在每個數(shù)據(jù)包中添加一個時間標(biāo)記，這個時間標(biāo)記反映這個數(shù)據(jù)包中第一個字節(jié)的采樣時刻，用于按照采樣時間在接收器中重構(gòu)媒體流。
利用時間標(biāo)記參數(shù)的缺點是會增大數(shù)據(jù)包的長度，因而需要增大通過這個網(wǎng)絡(luò)發(fā)送媒體的比特率。
需要一種方法和裝置，用來發(fā)送數(shù)據(jù)包，它能夠克服以上缺點。
發(fā)明簡述一方面，本發(fā)明提供一種方法，用于在接收器處從媒體流中重構(gòu)媒體。這個媒體流包括多個數(shù)據(jù)包，其中每個數(shù)據(jù)包都包括至少一個媒體字段。該方法包括以下步驟監(jiān)視所述媒體流，研究這個媒體流的包模式，估計丟失的至少一個數(shù)據(jù)包的至少一個媒體參數(shù)，以便在所述接收器那里重構(gòu)媒體信息。
這一方法能夠重構(gòu)數(shù)據(jù)包大小不斷變化的媒體流的媒體，而不需要每個數(shù)據(jù)包提供的媒體時間標(biāo)記信息。這樣就能夠在接收器處估計時間標(biāo)記參數(shù)，不需要每個數(shù)據(jù)包都發(fā)送時間標(biāo)記。于是就降低了通過網(wǎng)絡(luò)發(fā)送媒體所需要的帶寬。
在本發(fā)明的優(yōu)選實施方案中，估計步驟還包括識別至少一種媒體模式的步驟，按照所述媒體模式類型采用一種方法估計至少一個媒體參數(shù)的步驟。
在這種方式中，所述媒體參數(shù)是一個媒體長度，它是所述媒體流中所述數(shù)據(jù)包媒體幀長度的總和。
在這種方式中，所述媒體模式是媒體流的一種媒體長度模式。
在這種方式中，所述媒體模式實際上是一種固定模式和/或可變模式。
在本發(fā)明的優(yōu)選實施方案中，重構(gòu)媒體的方法包括以下步驟為所述流的每個數(shù)據(jù)包提供一個序列號，按照所述流的模式估計所述媒體長度，將隨后收到的數(shù)據(jù)包的序列號減去收到的前一個數(shù)據(jù)包的序列號，計算出已經(jīng)丟失的數(shù)據(jù)包的個數(shù)，并按照丟失的數(shù)據(jù)包的個數(shù)重構(gòu)媒體。
在本發(fā)明的另外一個優(yōu)選實施方案中，重構(gòu)媒體的步驟包括以下步驟按照第一個實質(zhì)上固定的模式估計所述媒體長度，提供媒體長度的第一個估計值，按照第二個實質(zhì)上固定的模式估計所述媒體長度，提供給媒體長度的第二個估計值，在這兩個媒體長度估計值之間選擇最大值的媒體長度，用于重構(gòu)丟失的至少一個數(shù)據(jù)包的媒體信息。
另一方面，本發(fā)明提供一種裝置，用于在接收器處從媒體流重構(gòu)媒體。這個媒體流包括多個數(shù)據(jù)包，其中的每個數(shù)據(jù)包都至少包括一個媒體字段。這個裝置包括一個監(jiān)視器，用于監(jiān)視所述媒體流，還包括一個處理裝置，用于研究這個媒體流的數(shù)據(jù)包模式，并估計丟失的至少一個數(shù)據(jù)包的媒體長度，還包括一個重構(gòu)裝置，用于在所述接收器那里重構(gòu)媒體信息。
在這一方式中，處理裝置還包括一個識別器，用于識別至少一種數(shù)據(jù)包模式，還包括一個估計器，用于按照這種數(shù)據(jù)包模式估計所述媒體長度。
在本發(fā)明的優(yōu)選實施方案中，處理裝置至少采用兩種方法按照所述流模式來重構(gòu)媒體。
在這種方式中，第一種方法包括以下步驟為所述流的每個數(shù)據(jù)包提供一個序列號，按照這個流模式估計所述媒體長度，從隨后收到的數(shù)據(jù)包的序列號減去收到的前一個數(shù)據(jù)包的序列號，計算出已經(jīng)丟失的數(shù)據(jù)包的個數(shù)，并按照丟失的數(shù)據(jù)包的個數(shù)重構(gòu)媒體信息。
在本發(fā)明的優(yōu)選實施方案中，用于重構(gòu)媒體的第二種方法包括以下步驟按照第一種流模式估計所述媒體長度，提供媒體長度的第一個估計值；按照第二種流模式估計所述媒體時間，提供媒體長度的第二個估計值，在媒體長度的兩個估計值之間選擇最大值的媒體長度，重構(gòu)丟失的至少一個數(shù)據(jù)包的媒體信息。
這一重構(gòu)裝置最好利用第一個媒體幀信息和第二個媒體幀信息進(jìn)行內(nèi)插，提供丟失的媒體長度的媒體信息內(nèi)插結(jié)果。重構(gòu)出來的媒體插入丟失的媒體的位置。
下面將利用實例來描述優(yōu)選實施方案，同時參考附圖。
發(fā)明簡述首先參考

圖1，多個媒體收發(fā)器2、3、4和5跟一個廣域網(wǎng)(WAN)1連接，例如跟因特網(wǎng)連接。每個收發(fā)器5都包括一個發(fā)送器6和一個接收器7。媒體收發(fā)器2、3、4和5通過因特網(wǎng)協(xié)議(IP)，例如TCP/IP，互相通信。媒體收發(fā)器2、3、4和5發(fā)送和接收包括多個數(shù)據(jù)包的媒體流。下面將參考圖2詳細(xì)描述數(shù)據(jù)包結(jié)構(gòu)。
圖2是符合實時協(xié)議(RTP)，RFC 1889，的一個數(shù)據(jù)包20。數(shù)據(jù)包20包括多個32比特的字段。
前5個字段，也就是版本字段(V)、填充符字段(P)、擴(kuò)充字段(X)、CSRC計數(shù)字段(CC)和標(biāo)記字段(M)，不屬于本發(fā)明的范圍，因此不做描述。下面給出其它字段的一個簡單描述。
有效負(fù)荷類型(PT)字段22說明RTP媒體數(shù)據(jù)的格式，并決定應(yīng)用程序解釋它的方式。
每發(fā)送一個RTP數(shù)據(jù)包，序列號字段24就增加1，接收器可以利用它來檢測是否有數(shù)據(jù)包丟失，并恢復(fù)數(shù)據(jù)包序列。這個序列號字段24是一個16比特字段。
時間標(biāo)記字段27有32比特，它反映當(dāng)前數(shù)據(jù)包第一個字段的采樣時刻。采樣時刻信息必須來源于一個時鐘，這個時鐘的時間隨著時間單調(diào)線性地增長，從而能夠?qū)崿F(xiàn)同步并計算媒體樣本的抖動。在本發(fā)明的優(yōu)選實施方案中不使用這個字段，數(shù)據(jù)包序列的重構(gòu)是用序列號字段24來完成的。
同步源標(biāo)識符字段28包括32比特，說明同步源的身份。
最后一個字段是有效負(fù)荷字段29，它包括壓縮媒體樣本。壓縮媒體樣本可以是音頻或者視頻樣本。在一個優(yōu)選實施方案中，以每秒6400比特的比特率使用一個G.723編解碼器。音頻樣本被劃分成幀。每一幀包括240個音頻樣本，它們被壓縮成24個字節(jié)，其中每個字節(jié)都包括8個比特。媒體幀的個數(shù)隨著網(wǎng)絡(luò)1的帶寬和負(fù)荷而變化。
參考圖3，其中畫出了媒體流模式的實例30a、30b和30c。媒體流30可以用幾個媒體模式發(fā)送。媒體模式30a采用240和480個樣本的媒體長度可變的數(shù)據(jù)包。媒體模式30a中的數(shù)據(jù)包20采用一個媒體幀或者兩個媒體幀。媒體模式30b采用每個數(shù)據(jù)包兩個媒體幀的固定模式。媒體模式30c采用每個數(shù)據(jù)包一個媒體幀的固定模式。媒體流31是具有固定媒體模式的流的一個實例，其中有一個丟失了的數(shù)據(jù)包32。流31包括多個數(shù)據(jù)包。數(shù)據(jù)包34是在丟失的數(shù)據(jù)包32之前收到的數(shù)據(jù)包，數(shù)據(jù)包33是在數(shù)據(jù)包34之后收到的數(shù)據(jù)包。媒體流35采用一種可變媒體模式，其中有一個丟失的數(shù)據(jù)包36?？勺兠襟w模式通常都包括具有可變媒體幀數(shù)的數(shù)據(jù)包，并給媒體流產(chǎn)生一個隨機(jī)模式。例如，媒體流35模式包括媒體幀上的三個連續(xù)數(shù)據(jù)包和兩個媒體幀的一個數(shù)據(jù)包。上面描述的流中每個數(shù)據(jù)包都包括一個序列號“n”，以及壓縮音頻樣本的個數(shù)。例如，在媒體模式30a中，數(shù)據(jù)包“n＋3”包括480個壓縮樣本。
下面將參考圖4描述本發(fā)明的一個優(yōu)選實施方案。其中畫出了在接收器7那里從媒體流30重構(gòu)媒體的一個裝置40。裝置40包括一個監(jiān)視器裝置42，用于監(jiān)視所述媒體流30，還包括一個處理裝置44，用于研究或者評估所述媒體流30的媒體模式30a，估計丟失的至少一個數(shù)據(jù)包32的媒體長度，還包括一個重構(gòu)裝置45，用于在接收器7那里重構(gòu)媒體。通常情況下，媒體長度是數(shù)據(jù)包20中媒體幀長度的總和。處理裝置44還包括一個識別器46，用于識別至少一種媒體模式30a，還包括一個估計器47，用于按照這種媒體模式30a估計媒體長度。媒體模式的一個實例是媒體模式30a，它實際上是固定的。每一個實例是一種變化的媒體模式35，它在每個數(shù)據(jù)包中采用變化的媒體長度。
在工作的時候，監(jiān)視器42監(jiān)視網(wǎng)絡(luò)1的媒體流。處理裝置44研究流的媒體模式，標(biāo)識符46說明媒體模式類型。媒體流31有一個數(shù)據(jù)包32丟失的時候，估計器按照流的模式估計丟失的數(shù)據(jù)包32的媒體長度。估計器47利用丟失的數(shù)據(jù)包的媒體長度重構(gòu)媒體幀。重構(gòu)裝置45至少可以采用一種方法來重構(gòu)丟失的媒體信息。例如，插入具有丟失的媒體的長度的舒適噪聲，替換丟失的媒體信息，利用第一個媒體幀信息和第二個媒體幀信息進(jìn)行內(nèi)插，獲得內(nèi)插媒體信息，其長度跟丟失的媒體一樣。第一個媒體幀34是在丟失的媒體之前收到的幀，第二個媒體幀34是在丟失的媒體32之后收到的幀。處理裝置44采用一種方法重構(gòu)媒體，如圖5所示。
現(xiàn)在參考圖5，其中給出了重構(gòu)媒體的一個方法流程圖。第一個步驟100是監(jiān)視媒體流30。下一步驟100是研究或者評估數(shù)據(jù)包20的媒體模式。步驟120是識別模式類型。如果模式類型實際上是固定模式，例如30a、30b或者30c，處理裝置就執(zhí)行步驟130～136。如果模式類型是變化模式，例如媒體模式35，處理裝置44就執(zhí)行步驟170～190。
首先參考步驟130～160，這些步驟說明重構(gòu)固定模式媒體的方法。處理裝置44從數(shù)據(jù)包20讀序列號字段24，將序列號提供給估計器47，如同步驟130所示。在下一步驟140中，估計器47通過將隨后收到的數(shù)據(jù)包33的序列號減去收到的前一個數(shù)據(jù)包34的序列號加1，計算丟失的數(shù)據(jù)包32的大小。以上計算的結(jié)果就是已經(jīng)丟失的數(shù)據(jù)包的個數(shù)。估計器47按照一種編解碼器類型估計媒體長度，如同步驟150所示。例如，用G.723編解碼器壓縮的音頻樣本的音頻幀長度是24個字節(jié)，它包括240個樣本。這一幀中音頻信號的時間長度是30毫秒。一個更加特別的實例中媒體流模式30b采用兩個丟失了的媒體幀。因此，估計出來的媒體長度是480個樣本或者48個字節(jié)。下一步160是按照丟失的媒體幀的個數(shù)重構(gòu)媒體。重構(gòu)裝置45可以通過拷貝最后收到的媒體字段，然后將它插入丟失的媒體字段的位置，或者通過插入舒適噪聲，來重構(gòu)丟失的媒體。重構(gòu)丟失的媒體信息的另外一個實例是利用第一個媒體幀信息和第二個媒體幀信息進(jìn)行內(nèi)插，獲得長度為丟失的媒體的長度的內(nèi)插媒體信息。
簡而言之，接收器7通過查看收到的幾個數(shù)據(jù)包并在它的序列號的基礎(chǔ)之上預(yù)測每個數(shù)據(jù)包的長度來識別媒體流30的模式。例如，如果丟失了一個數(shù)據(jù)包，數(shù)據(jù)包32沒有到達(dá)，接收器7就可以預(yù)測丟失的數(shù)據(jù)包32的長度，從而能夠估計丟失了多少媒體，進(jìn)而估計丟失了多少毫秒的音頻信息。當(dāng)數(shù)據(jù)包丟失字段32的時候，接收器7發(fā)現(xiàn)丟失了一個字段。這樣，接收器7就能夠估計實際上固定模式媒體流每個數(shù)據(jù)包的媒體長度。
現(xiàn)在參考圖5中的步驟170～190來描述變化流模式的媒體重構(gòu)方法。在步驟170中估計收到的每個數(shù)據(jù)包的數(shù)據(jù)包大小，如同步驟130～140中所描述的一樣。在步驟180中從估計出來的以上數(shù)據(jù)包大小中選擇最大的數(shù)據(jù)包尺寸。在最后一步190中按照上面描述的方式重構(gòu)媒體。但是，在步驟170中可以按照第一個固定流模式估計媒體長度，例如，流模式30b，以便提供估計出來的第一個媒體長度。按照第二個固定流模式估計媒體長度，例如，流模式30c，是為了提供估計出來的第二個媒體時間。
以上方法可以描述為空缺大小=MAX(空缺大小1，空缺大小2)；其中空缺大小1是利用第一個媒體模式30b估計出來的；和空缺大小2是利用第二個媒體模式30c估計出來的。
當(dāng)以上估計發(fā)生錯誤的時候，預(yù)測出來的空缺大小總是大于實際空缺大小。這就使得接收器7重構(gòu)比需要的還要多的媒體，會導(dǎo)致延遲增大，以及接收器抖動緩沖器中媒體的量增多。有幾種技術(shù)來處理抖動緩沖器中的媒體。這種方法的一個實例在美國專利5825771中進(jìn)行了描述，這里將它引入作為參考。
上面描述的方法和裝置能夠用于估計變化數(shù)據(jù)包長度的丟失的媒體長度，從而影響媒體收發(fā)器2、3、4或者5的性能。這樣，媒體長度的估計可以在接收器7中完成，時間標(biāo)記字段27可以不跟每個數(shù)據(jù)包20一起發(fā)送。這樣能夠減少通過網(wǎng)絡(luò)1發(fā)送媒體所需要的帶寬。
權(quán)利要求
1.在接收器處從包括多個數(shù)據(jù)包的媒體流中重構(gòu)媒體的一種方法，其中每個數(shù)據(jù)包都包括至少一個媒體字段，該方法包括以下步驟用所述接收器的監(jiān)視裝置監(jiān)視所述媒體流；用接收器處的處理裝置分析所述媒體流的媒體模式；和用所述處理裝置估計丟失的至少一個數(shù)據(jù)包的至少一個媒體參數(shù)；以及在所述接收器中重構(gòu)丟失的媒體信息。
2.權(quán)利要求1的方法，其中的估計步驟還包括以下步驟識別所述媒體流的至少一種媒體模式；其中所述估計步驟中至少一個媒體參數(shù)是按照所述媒體模式類型估計的。
3.權(quán)利要求1和2的方法，其中的媒體參數(shù)是媒體長度。
4.權(quán)利要求1、2和3的方法，其中的媒體長度是所述媒體流中所述數(shù)據(jù)包媒體幀長度的總和。
5.權(quán)利要求1～4的方法，其中的媒體長度是所述媒體流中所述數(shù)據(jù)包媒體幀長度的總和。
6.權(quán)利要求1～5的方法，其中的媒體模式是所述媒體流的媒體幀模式。
7.權(quán)利要求的1～6的方法，其中的媒體模式是實際上的固定模式。
8.以上權(quán)利要求的方法，其中的媒體模式是變化模式。
9.權(quán)利要求1～4的方法，其中重構(gòu)丟失的媒體信息的步驟包括以下步驟為所述媒體流的每個數(shù)據(jù)包提供一個序列號；從隨后收到的數(shù)據(jù)包的序列號中減去前面收到的數(shù)據(jù)包的序列號，計算出已經(jīng)丟失的數(shù)據(jù)包的個數(shù)；按照一種媒體模式估計所述媒體長度；和按照丟失的媒體長度重構(gòu)丟失的媒體信息。
10.權(quán)利要求1～4的方法，其中重構(gòu)丟失的媒體信息的步驟包括以下步驟按照第一個實際固定的媒體模式估計媒體時間，提供估計出來的第一個媒體時間；按照第二個實際固定的媒體模式估計所述媒體時間，提供估計出來的第二個媒體時間；和從第一個和第二個媒體時間估計值選擇具有最大值的媒體時間，重構(gòu)丟失的至少一個媒體的信息。
11.權(quán)利要求1～4的方法，其中重構(gòu)丟失的媒體信息的步驟包括以下步驟插入具有丟失的媒體的長度的舒適噪聲，替換丟失的媒體信息。
12.權(quán)利要求1～4的方法，其中的重構(gòu)步驟包括以下步驟利用第一個媒體幀信息和第二個媒體幀信息進(jìn)行內(nèi)插，提供具有丟失的媒體的長度的媒體信息。
13.在接收器那里從包括多個數(shù)據(jù)包的媒體流重構(gòu)媒體的一種裝置，其中每個數(shù)據(jù)包都包括至少一個媒體字段，該裝置包括一個監(jiān)視器裝置，用于監(jiān)視所述媒體流；一個處理裝置，用于研究媒體流模式，并估計至少一個丟失數(shù)據(jù)包的媒體長度；和一個重構(gòu)裝置，用于在所述接收器那里重構(gòu)丟失的媒體信息。
14.權(quán)利要求13的裝置，其中的處理裝置包括一個識別器，用于識別所述媒體流的至少一種媒體模式；和一個估計器，用于按照所述媒體模式類型，估計所述數(shù)據(jù)包的媒體長度。
15.權(quán)利要求13和14的裝置，其中的媒體模式是一個實際上固定的模式。
16.權(quán)利要求13、14和15的裝置，其中的處理裝置為所述流的每個數(shù)據(jù)包提供一個序列號；從隨后收到的數(shù)據(jù)包的序列號中減去前面收到的數(shù)據(jù)包的序列號，計算丟失的數(shù)據(jù)包的個數(shù)；和按照所述媒體模式估計所述媒體長度；和所述重構(gòu)裝置按照丟失的數(shù)據(jù)包的個數(shù)重構(gòu)媒體。
17.權(quán)利要求13～16的裝置，其中的處理裝置按照第一種媒體模式類型估計媒體長度，提供估計出來的第一個媒體時間；按照第二個媒體模式類型估計所述媒體長度，給出估計出來的第二個媒體長度；和從估計出來的第二個媒體長度和第一個媒體長度中選擇具有最大值的媒體長度，重構(gòu)丟失的至少一個數(shù)據(jù)包的媒體。
18.以上權(quán)利要求中每一個的裝置，其中的媒體長度是所述媒體流中所述數(shù)據(jù)包的媒體幀長度的總和。
19.以上權(quán)利要求中任意一個的裝置，其中的重構(gòu)裝置插入具有丟失的媒體長度的舒適噪聲，替換丟失的媒體信息
20.以上權(quán)利要求中每一個的裝置，其中的重構(gòu)裝置利用第一個媒體幀信息和第二個媒體幀信息進(jìn)行內(nèi)插，提供具有丟失的媒體的長度的內(nèi)插媒體信息。
全文摘要
在接收器(7)那里從包括多個數(shù)據(jù)包的媒體流(31)重構(gòu)媒體的一種方法和裝置(40),其中每個數(shù)據(jù)包(20)都包括至少一個媒體字段(29)。用一個監(jiān)視裝置(42)監(jiān)視媒體流(30)。用一個處理器(44)評估媒體流(31)的數(shù)據(jù)包模式。估計裝置(47)估計丟失的至少一個數(shù)據(jù)包(32)的媒體時間,在接收器(7)那里用一個重構(gòu)裝置(45)重構(gòu)媒體。
文檔編號H04L12/64GK1339212SQ99816498
公開日2002年3月6日 申請日期1999年11月1日 優(yōu)先權(quán)日1999年1月19日
發(fā)明者V·波格雷賓斯基 申請人:聲音技術(shù)通訊有限公司