專利名稱：內(nèi)容提供裝置和方法以及記錄介質(zhì)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及內(nèi)容提供裝置和方法以及記錄介質(zhì)。更具體地說，本發(fā)明涉及內(nèi)容提供裝置和方法以及記錄介質(zhì)，其適于在如磁光盤或磁帶的記錄介質(zhì)上記錄運(yùn)動(dòng)圖像信號、讀取信號并在顯示裝置上顯示信號；適于通過傳輸信道從傳輸側(cè)向接收側(cè)傳輸運(yùn)動(dòng)圖像信號，其中接收側(cè)以與電話會(huì)議系統(tǒng)、電視電話系統(tǒng)、廣播系統(tǒng)、多媒體數(shù)據(jù)庫搜索系統(tǒng)以及類似系統(tǒng)相同的方式接收并顯示信號；并適于編輯和記錄運(yùn)動(dòng)圖像信號。
在用于向遠(yuǎn)程地點(diǎn)傳輸運(yùn)動(dòng)圖像信號的系統(tǒng)中，如電話會(huì)議系統(tǒng)或電視電話系統(tǒng)，為了有效地利用傳輸信道，通過視頻信號間的行相關(guān)和幀間相關(guān)對圖像信號壓縮和解碼。
運(yùn)動(dòng)圖像專家組(MPEG)系統(tǒng)是一個(gè)存儲運(yùn)動(dòng)圖像編碼系統(tǒng)，是一個(gè)典型的高效運(yùn)動(dòng)圖像編碼系統(tǒng)。該系統(tǒng)已經(jīng)在ISO-IEC/JTC1/SC2/WG11標(biāo)準(zhǔn)下討論過，并已經(jīng)作為該標(biāo)準(zhǔn)的草案提出。該系統(tǒng)使用一種混合系統(tǒng)，該系統(tǒng)結(jié)合運(yùn)動(dòng)補(bǔ)償預(yù)測編碼和離散余弦變換(DCT)編碼。
在MPEG中，為了適應(yīng)于各種應(yīng)用和功能，定義了一些輪廓(profile)和級別(level)。最基本的輪廓/級別是在主級別的主輪廓(MP@ML)。
參考

圖1，描述使用MPEG系統(tǒng)、符合主級別上的主輪廓(MP@ML)的編碼器結(jié)構(gòu)的一個(gè)例子。
輸入圖像信號被輸入到幀存儲器組1并以預(yù)定順序被編碼。
被編碼的圖像數(shù)據(jù)被輸入到宏塊單元內(nèi)的運(yùn)動(dòng)矢量檢測電路2。運(yùn)動(dòng)矢量檢測電路2根據(jù)事先設(shè)定的預(yù)定次序處理每一幀中的圖象數(shù)據(jù)，如任一個(gè)I畫面、P畫面、或B畫面。在每一幀中順序地輸入圖象的次序如I、P或B畫面被事先確定(例如，按I、B、P、B、P…B、P的次序處理圖象)。
運(yùn)動(dòng)矢量檢測電路2參照事先確定的預(yù)定基準(zhǔn)幀并執(zhí)行運(yùn)動(dòng)位移補(bǔ)償以檢測運(yùn)動(dòng)矢量。運(yùn)動(dòng)位移補(bǔ)償(幀間預(yù)測)包括三種模式，即，正向預(yù)測、反向預(yù)測、和雙向預(yù)測。P圖畫僅適應(yīng)正向預(yù)測模式。對于B圖畫，有三種預(yù)測模式，即，正向預(yù)測、反向預(yù)測、和雙向預(yù)測。運(yùn)動(dòng)矢量檢測電路2選擇最小化預(yù)測誤差的預(yù)測模式并產(chǎn)生預(yù)測模式。
同時(shí)，預(yù)測誤差與例如要被編碼的宏塊偏差進(jìn)行比較。當(dāng)宏塊偏差小于預(yù)測誤差時(shí)，不使用宏塊執(zhí)行預(yù)測。而是執(zhí)行幀內(nèi)編碼。在這種情況下，使用圖象內(nèi)編碼預(yù)測模式(內(nèi)部)。運(yùn)動(dòng)矢量和預(yù)測模式被輸入到一個(gè)可變長度編碼電路6和一個(gè)運(yùn)動(dòng)位移補(bǔ)償電路12。
運(yùn)動(dòng)位移補(bǔ)償電路12基于預(yù)定運(yùn)動(dòng)矢量產(chǎn)生一個(gè)預(yù)測圖象，并將該預(yù)測圖象輸入到運(yùn)算電路3。運(yùn)算電路3把要被編碼的宏塊的值和預(yù)測圖象之間的差分信號輸出到DCT電路4。在一個(gè)內(nèi)部宏塊的情況下，運(yùn)算電路3直接把要被編碼的宏塊信號輸出到DCT電路4。
DCT電路4執(zhí)行輸入數(shù)據(jù)的離散余弦變換(DCT)并將其轉(zhuǎn)換成DCT系數(shù)。DCT系數(shù)被輸入到一個(gè)量化電路5，并通過對應(yīng)于發(fā)送緩沖器7的數(shù)據(jù)存儲量(緩沖器存儲量)的量化步驟被量化。量化的數(shù)據(jù)被輸入到可變長度編碼電路6。
根據(jù)量化電路5提供的量化步驟(比例)，可變長度編碼電路6把量化電路5提供的圖象數(shù)據(jù)(在該例中，是I-圖畫數(shù)據(jù))轉(zhuǎn)換成可變長度的編碼如霍夫曼碼等，并且可變長度編碼電路6把可變長度的編碼輸出到發(fā)送緩沖器7。
量化步驟(比例)被從量化電路5輸入到可變長度編碼電路6。預(yù)測模式(表示圖象內(nèi)部預(yù)測、正向預(yù)測、反向預(yù)測和雙向預(yù)測模式中已經(jīng)被設(shè)置的一種模式)和運(yùn)動(dòng)矢量也被從運(yùn)動(dòng)矢量檢測電路2輸入到可變長度編碼電路6。這些數(shù)據(jù)也是被變長度編碼的。
發(fā)送緩沖器7臨時(shí)存儲輸入的數(shù)據(jù)并把對應(yīng)于存儲量的數(shù)據(jù)輸出到量化電路5。
當(dāng)數(shù)據(jù)余量增加到一個(gè)上限時(shí)，發(fā)送緩沖器7通過量化控制信號放大量化電路5的量化比例，從而減小量化數(shù)據(jù)的量。相反，當(dāng)數(shù)據(jù)的余量降低到下限時(shí)，發(fā)送緩沖器7通過量化控制信號減小量化電路5的量化比例，從而增加量化數(shù)據(jù)的量。以此方式，防止了發(fā)送緩沖器7上溢或下溢。
存儲在發(fā)送緩沖器7內(nèi)的數(shù)據(jù)在預(yù)定時(shí)間被讀取并輸出到發(fā)送信道。
從量化電路5輸出的數(shù)據(jù)被輸入到去量化電路8并根據(jù)量化電路5提供的量化步驟被去量化。去量化電路8的輸出被輸入到反離散變換(IDCT)電路9并被反-DCT處理，并通過運(yùn)算裝置10依次被存儲在幀存儲器組11。
參考圖2，描述MPEG內(nèi)MP@ML解碼器結(jié)構(gòu)的一個(gè)例子。通過發(fā)送信道發(fā)送的編碼圖象數(shù)據(jù)被接收電路(未圖示)接收或被讀取裝置讀取。該數(shù)據(jù)被臨時(shí)存儲在接收緩沖器31內(nèi)，然后被提供到可變長度解碼電路32。可變長度解碼電路32執(zhí)行對接收緩沖器31提供的數(shù)據(jù)的可變長度解碼，并把運(yùn)動(dòng)矢量和預(yù)測模式輸出到運(yùn)動(dòng)位移補(bǔ)償電路37，把量化步長輸出到去量化電路33。此外，可變長度解碼電路32把解碼的圖象數(shù)據(jù)輸出到去量化電路33。
去量化電路33根據(jù)可變長度解碼電路32提供的量化步長對可變長度解碼電路32提供的數(shù)據(jù)去量化，并把數(shù)據(jù)輸出到IDCT電路34。去量化電路33輸出的數(shù)據(jù)(DCT系數(shù))通過IDCT電路34被反-DCT處理并被提供到運(yùn)算裝置35。
當(dāng)自IDCT電路34提供的圖象數(shù)據(jù)是I-圖畫數(shù)據(jù)時(shí)，該數(shù)據(jù)被從運(yùn)算裝置35輸出。為了產(chǎn)生稍后輸入到運(yùn)算裝置35的圖象數(shù)據(jù)(P或B圖畫數(shù)據(jù))的預(yù)測-圖象數(shù)據(jù)，該圖象數(shù)據(jù)被提供到幀存儲器組36并被存儲在幀存儲器組36。該數(shù)據(jù)被直接作為讀取圖象輸出。
當(dāng)輸入位流是P或B圖畫時(shí)，運(yùn)動(dòng)位移補(bǔ)償電路37根據(jù)可變長度解碼電路32提供的運(yùn)動(dòng)矢量和預(yù)測模式產(chǎn)生預(yù)測圖象，并把預(yù)測圖象輸出到運(yùn)算裝置35。運(yùn)算裝置35添加從IDCT電路34輸入的圖象數(shù)據(jù)和運(yùn)動(dòng)位移補(bǔ)償電路37提供的預(yù)測圖象數(shù)據(jù)，并輸出生成的圖象。當(dāng)輸入位流是P圖畫時(shí)，運(yùn)算裝置35的輸出被輸入到幀存儲器組36并被存儲在幀存儲器組36內(nèi)，從而該數(shù)據(jù)能夠被用做要被解碼的隨后圖象信號的基準(zhǔn)圖象。
在MPEG中，定義了了各種輪廓(profile)和級別(level)，而不是MP@ML。還準(zhǔn)備了各種工具?？煽s放性(scalability)是MPEG中的工具之一。
在MPEG中，引入一種可縮放編碼系統(tǒng)，用于實(shí)現(xiàn)對應(yīng)于不同圖象大小和幀速率的可縮放性。例如，在空間可縮放性(space scalability)的情況下，當(dāng)只解碼下層的一個(gè)位流時(shí)，小圖象尺寸的一個(gè)圖象信號被解碼。當(dāng)解碼下層和上層的一個(gè)位流時(shí)，大圖象尺寸的一個(gè)圖象信號被解碼。
參考圖3，描述用于空間可縮放性的一個(gè)解碼器。在空間可縮放性的情況下，下層對應(yīng)于小圖象尺寸的圖象信號，上層對應(yīng)于大圖象尺寸的圖象信號。
下層的圖象信號被輸入到幀存儲器組1并像在MP@ML中一樣被編碼。運(yùn)算裝置10的輸出被提供到幀存儲器組11。該輸出不僅被用做下層的預(yù)測基準(zhǔn)圖象，而且在該圖象被圖象放大電路41放大到上層圖象尺寸之后被用做上層預(yù)測基準(zhǔn)圖象。
上層圖象信號被輸入到幀存儲器組51。運(yùn)動(dòng)矢量檢測電路52測定預(yù)定矢量和預(yù)測模式，象在MP@ML中一樣。
運(yùn)動(dòng)位移補(bǔ)償電路62根據(jù)運(yùn)動(dòng)矢量檢測電路52確定的預(yù)定矢量和預(yù)測模式產(chǎn)生一個(gè)預(yù)測圖象，并把預(yù)測圖象輸出到加權(quán)電路44。加權(quán)電路44用加權(quán)(系數(shù))W乘以預(yù)測圖象并把結(jié)果輸出到運(yùn)算裝置43。
如上所述，運(yùn)算裝置10的輸出被輸入到幀存儲器組11和圖象放大電路41。圖象放大電路41把運(yùn)算裝置10產(chǎn)生圖象信號放大到上層圖象大小的尺寸，并把該圖象信號輸出到加權(quán)電路42。加權(quán)電路42用加權(quán)系數(shù)(1-W)乘以圖象放大電路41的輸出，并把結(jié)果輸出到運(yùn)算裝置43。
運(yùn)算裝置43加上從加權(quán)電路42和44的輸出并把總和作為預(yù)測圖象輸出到運(yùn)算裝置53。運(yùn)算裝置43的輸出也被輸入到運(yùn)算裝置60并被加到IDCT電路59的輸出。然后，該總和被輸入到幀存儲器組61并被用做被編碼的最后的圖象信號的預(yù)測基準(zhǔn)幀。
運(yùn)算裝置53計(jì)算被編碼圖象信號和運(yùn)算裝置43的輸出之間差值并輸出該差值。在幀內(nèi)編碼的宏塊的情況下，運(yùn)算裝置53直接輸出被編碼的圖象信號到DCT電路54。
DCT電路54對運(yùn)算裝置53的輸出執(zhí)行離散余玄變換，產(chǎn)生DCT系數(shù)，并把DCT系數(shù)輸出到量化電路55。象在MP@ML中一樣，量化電路55根據(jù)基于發(fā)送緩沖器57的數(shù)據(jù)存儲量等確定的量化比例量化DCT系數(shù)，并把量化的DCT系數(shù)輸出到可變長度編碼電路56?？勺冮L度編碼電路56對量化的DCT系數(shù)執(zhí)行可變長度編碼并經(jīng)發(fā)送緩沖器57把結(jié)果作為上層位流輸出。
量化電路58根據(jù)量化電路55使用的量化比例對量化電路55的輸出進(jìn)行量化。IDCT電路59執(zhí)行量化結(jié)果的反離散余玄變換，并依次輸入到運(yùn)算裝置60。運(yùn)算裝置60把運(yùn)算裝置43的輸出和IDCT電路59的輸出相加，并把總和輸入到幀存儲器組61。
運(yùn)動(dòng)矢量檢測電路52確定運(yùn)動(dòng)矢量和預(yù)測模式、量化電路55使用的量化比例、和加權(quán)電路42和44使用的加權(quán)系數(shù)被輸入到可變長度編碼電路56，并且都被編碼并發(fā)送。
在常規(guī)運(yùn)動(dòng)圖象編碼器和解碼器中，假定這些裝置是一一對應(yīng)的。例如，在電話會(huì)議系統(tǒng)中，發(fā)送方和接收方總是一一對應(yīng)的。發(fā)送端和接收端的處理容量和規(guī)范預(yù)先確定。在如DVD或類似介質(zhì)的存儲介質(zhì)中，解碼器的規(guī)范和處理容量被事先嚴(yán)格確定，在假定只使用符合規(guī)范的解碼器的基礎(chǔ)上，編碼器對運(yùn)動(dòng)-圖象信號編碼。當(dāng)編碼器編碼圖象信號從而解碼器根據(jù)預(yù)定規(guī)范能夠?qū)崿F(xiàn)最佳圖象品質(zhì)時(shí)，總是能夠發(fā)送具有光學(xué)圖象品質(zhì)的圖象。
然而，當(dāng)發(fā)送運(yùn)動(dòng)圖象到發(fā)送信道如根據(jù)時(shí)間或路徑改變可變發(fā)送容量的互聯(lián)網(wǎng)時(shí)，或，當(dāng)發(fā)送運(yùn)動(dòng)圖象到?jīng)]有事先確定規(guī)范并具有各種處理容量的未規(guī)定數(shù)量的接收端時(shí)，難以知道什么是最佳圖象品質(zhì)。因此，難以有效地發(fā)送運(yùn)動(dòng)圖象。
由于終端的規(guī)范不統(tǒng)一，端子之間的用于編碼器和解碼器的編碼系統(tǒng)可以不同。在這種情況下，需要把編碼的位流轉(zhuǎn)換成預(yù)定的格式。但是，目前還沒有建立最佳轉(zhuǎn)換方法。
從上述觀點(diǎn)來看，本發(fā)明的一個(gè)目的是通過具有各種發(fā)送容量的發(fā)送信道有效地發(fā)送圖象信號，并把最佳運(yùn)動(dòng)圖像發(fā)送到具有各種處理容量的接收端。
根據(jù)本發(fā)明的一個(gè)方面，提供一種內(nèi)容提供裝置，用于根據(jù)其他裝置的請求向其他裝置提供內(nèi)容，該裝置包括第一獲取裝置，用于獲取與其他裝置的功能有關(guān)的第一信息。第二獲取裝置獲取與內(nèi)容有關(guān)的第二信息，第二信息對應(yīng)于第一獲取裝置獲得的第一信息。第三獲取裝置獲取內(nèi)容。轉(zhuǎn)換裝置根據(jù)第二獲取裝置獲取的第二信息轉(zhuǎn)換第三獲取裝置獲取的內(nèi)容。提供裝置把轉(zhuǎn)換裝置轉(zhuǎn)換的內(nèi)容提供到其他裝置。
第二信息可以包括用于轉(zhuǎn)換內(nèi)容的一個(gè)轉(zhuǎn)換參數(shù)和內(nèi)容的編碼難度。第二獲取裝置可以從描述符獲取第二信息，描述符是從內(nèi)容單獨(dú)發(fā)送的。
轉(zhuǎn)換裝置可以包括一個(gè)用于解碼編碼內(nèi)容的解碼裝置，和用于根據(jù)解碼裝置執(zhí)行解碼時(shí)所使用的解碼參數(shù)和描述符內(nèi)描述的第二信息編碼被解碼裝置解碼的內(nèi)容的編碼裝置。
根據(jù)本發(fā)明的另一方面，提供一種用于內(nèi)容提供裝置的內(nèi)容提供方法，該內(nèi)容提供裝置用于根據(jù)其他裝置的請求向其他裝置提供內(nèi)容，該方法包括，獲取關(guān)于其他裝置功能的第一信息的第一獲取步驟。在第二獲取步驟中，獲取與內(nèi)容有關(guān)的第二信息，第二信息對應(yīng)于在第一獲取步驟中獲取的第一信息。在第三獲取步驟中，獲取內(nèi)容。在轉(zhuǎn)換步驟中，根據(jù)第二獲取步驟中獲取的第二信息轉(zhuǎn)換在第三獲取步驟中獲取的內(nèi)容。提供步驟將在轉(zhuǎn)換步驟中轉(zhuǎn)換的內(nèi)容提供到其他裝置。
根據(jù)本發(fā)明的另一方面，提供一種其上記錄有程序的記錄介質(zhì)，該程序用于內(nèi)容提供裝置，內(nèi)容提供裝置根據(jù)其他裝置的請求向其他裝置提供內(nèi)容。該程序包括，獲取關(guān)于其他裝置功能的第一信息的第一獲取步驟。在第二獲取步驟中，獲取與內(nèi)容有關(guān)的第二信息，第二信息對應(yīng)于在第一獲取步驟中獲取的第一信息。在第三獲取步驟中，獲取內(nèi)容。在轉(zhuǎn)換步驟中，根據(jù)第二獲取步驟中獲取的第二信息轉(zhuǎn)換在第三獲取步驟中獲取的內(nèi)容。提供步驟將在轉(zhuǎn)換步驟中轉(zhuǎn)換的內(nèi)容提供到其他裝置。
根據(jù)本發(fā)明的另一方面，提供一種信號產(chǎn)生裝置，用于根據(jù)內(nèi)容產(chǎn)生與內(nèi)容有關(guān)的內(nèi)容-信息信號。該信號產(chǎn)生裝置包括一個(gè)編碼難度分析電路，用于分析內(nèi)容的編碼難度并把結(jié)果作為內(nèi)容-信息信號輸出。一個(gè)存儲器，存儲內(nèi)容和內(nèi)容-信息信號。
編碼難度分析電路可以包括用于分析內(nèi)容的運(yùn)動(dòng)位移補(bǔ)償難度的第一分析電路。
編碼難度分析電路可以包括用于分析空間域中內(nèi)容的壓縮難度的第二分析電路。
根據(jù)本發(fā)明的另一方面，提供一種轉(zhuǎn)換裝置，用于把內(nèi)容轉(zhuǎn)換成預(yù)定格式的內(nèi)容。該裝置包括，用于存儲內(nèi)容和與內(nèi)容有關(guān)的內(nèi)容-信息信號的存儲器。第一獲取裝置，獲取用于讀取內(nèi)容的終端上的信息。轉(zhuǎn)換裝置，根據(jù)內(nèi)容-信息信號把內(nèi)容轉(zhuǎn)換成適合于終端的格式。該內(nèi)容-信息信號包括編碼難度信息，編碼難度信息表示內(nèi)容的編碼難度。轉(zhuǎn)換裝置，根據(jù)編碼難度信息轉(zhuǎn)換內(nèi)容。
根據(jù)本發(fā)明的另一方面，提供一種讀取終端，用于把內(nèi)容轉(zhuǎn)換成預(yù)定格式并讀取該內(nèi)容，該讀取終端包括，一個(gè)用于存儲內(nèi)容和與內(nèi)容有關(guān)的內(nèi)容-信息信號的存儲器。一個(gè)轉(zhuǎn)換裝置，根據(jù)內(nèi)容-信息信號把內(nèi)容轉(zhuǎn)換成適合于該讀取終端的格式。一個(gè)讀取裝置，讀取該內(nèi)容。該內(nèi)容-信息信號包括編碼難度信息，編碼難度信息表示內(nèi)容的編碼難度。轉(zhuǎn)換裝置，根據(jù)編碼難度信息轉(zhuǎn)換內(nèi)容。
根據(jù)本發(fā)明，獲取的內(nèi)容根據(jù)第二信息被轉(zhuǎn)換并提供到其他裝置。因此能夠執(zhí)行內(nèi)容的高效發(fā)送，發(fā)送到具有各種發(fā)送容量的發(fā)送信道和具有各種處理容量的裝置。此外，能夠響應(yīng)其他裝置的請求來發(fā)送內(nèi)容和關(guān)于該內(nèi)容的信息，因此實(shí)現(xiàn)能夠根據(jù)其他裝置的容量提供內(nèi)容的系統(tǒng)。
圖1是常規(guī)MPEG編輯碼器的結(jié)構(gòu)方框圖；圖2是常規(guī)MPEG解碼器的結(jié)構(gòu)方框圖；圖3是另一個(gè)常規(guī)MPEG編碼器的結(jié)構(gòu)方框圖；圖4是根據(jù)本發(fā)明一個(gè)實(shí)施例的系統(tǒng)的結(jié)構(gòu)方框圖；圖5是圖4所示多媒體內(nèi)容服務(wù)器的結(jié)構(gòu)方框圖；圖6是圖4所示數(shù)據(jù)訪問服務(wù)器的結(jié)構(gòu)方框圖7是圖6所示代碼轉(zhuǎn)換裝置的結(jié)構(gòu)方框圖；圖8A和8B是描述代碼轉(zhuǎn)換的曲線圖；圖9A到9D是描述代碼轉(zhuǎn)換的曲線圖；圖10示出了在圖4所示多媒體內(nèi)容服務(wù)器中進(jìn)行的記錄；圖11A和11B是圖10所示編碼難度分析電路的結(jié)構(gòu)方框圖；圖12A到12D示出了內(nèi)容-信息信號的結(jié)構(gòu)；圖13示出了TranscodingHint描述符的結(jié)構(gòu)；圖14示出了MediaInformation的結(jié)構(gòu)；圖15示出了Segment的結(jié)構(gòu)；圖16示出了全部MPEG-7數(shù)據(jù)結(jié)構(gòu)；圖17示出了圖10所示編碼難度分析電路的結(jié)構(gòu)的另一個(gè)例子的方框圖；圖18是一個(gè)流程圖，示出了圖17所示內(nèi)容-信息信號產(chǎn)生電路執(zhí)行的處理；圖19A到19C示出了Media TranscodingHint Ds的結(jié)構(gòu)；圖20是描述DifficultyType的表；圖21示出了Media TranscodingHint描述符的結(jié)構(gòu)；圖22示出了MediaInformation的結(jié)構(gòu)；圖23示出了視頻數(shù)據(jù)和Segment之間的關(guān)系；和圖24是個(gè)人計(jì)算機(jī)結(jié)構(gòu)的一個(gè)例子的方框圖。
第一實(shí)施例圖4示出了根據(jù)本發(fā)明第一實(shí)施例的系統(tǒng)的結(jié)構(gòu)。
多媒體內(nèi)容服務(wù)器101在諸如硬盤等(例如圖5所示內(nèi)容存儲裝置112，將在后面對其描述)的存儲介質(zhì)中記錄并存儲諸如移動(dòng)圖像等多媒體內(nèi)容。多媒體內(nèi)容被解壓縮或以壓縮位流格式被記錄，壓縮位流格式如MPEG-1、MPEG-2或MPEG-4(以下縮寫為MPEG-1/2/4或類似形式)。
接收端(客戶)103請求接收并顯示多媒體內(nèi)容。用戶使用接收端103獲取內(nèi)容。接收端103發(fā)送請求預(yù)定內(nèi)容的內(nèi)容請求信號1和客戶信息信號，客戶信息信號表示其擁有的處理容量，如存儲器大小、圖象顯示裝置分別率、計(jì)算容量、緩沖器大小、可解碼位流格式等。
內(nèi)容請求信號1是包括請求的內(nèi)容的語義內(nèi)容，如電影標(biāo)題。內(nèi)容請求信號1被MPEG-7編碼系統(tǒng)編碼。
數(shù)據(jù)訪問存儲器102通過網(wǎng)絡(luò)或預(yù)定發(fā)送信道從接收端103接收內(nèi)容請求信號1和客戶信息信號。數(shù)據(jù)訪問存儲器102通過網(wǎng)絡(luò)或預(yù)定發(fā)送信道向多媒體服務(wù)器101發(fā)送內(nèi)容-信息請求信號，用于請求關(guān)于根據(jù)內(nèi)容請求信號1請求的內(nèi)容的信息。
多媒體內(nèi)容服務(wù)器101記錄多媒體內(nèi)容和在內(nèi)置存儲介質(zhì)內(nèi)記錄的有關(guān)多媒體內(nèi)容的信息。當(dāng)多媒體服務(wù)器101接收內(nèi)容-信息請求信號時(shí)，多媒體服務(wù)器101基于接收的內(nèi)容-信息請求信號向數(shù)據(jù)訪問存儲器102發(fā)送預(yù)定的內(nèi)容-信息信號。
內(nèi)容-信息信號包括關(guān)于記錄在多媒體服務(wù)器101內(nèi)的多媒體內(nèi)容的信息。內(nèi)容-信息信號包括信息如文件名、內(nèi)容標(biāo)題、作者、演員表、以及類似內(nèi)容。內(nèi)容-信息信號包括語義信息和物理信息，并通過MPEG-7被編碼。物理信息包括，例如，記錄在存儲介質(zhì)內(nèi)的文件名和表明位流內(nèi)預(yù)定位置的指針。語義信息包括，例如，內(nèi)容的標(biāo)題和演員表。
數(shù)據(jù)訪問存儲器102基于內(nèi)容-信息信號、內(nèi)容請求信號1、和客戶信息信號定義預(yù)定的內(nèi)容，并向多媒體服務(wù)器101發(fā)送一個(gè)用于請求內(nèi)容的內(nèi)容請求信號2。
內(nèi)容請求信號2包括，例如，文件名。內(nèi)容請求信號2包括物理信息，如文件名或表明位流內(nèi)的預(yù)定位置的指針。內(nèi)容請求信號2通過例如MPEG-7被編碼。
多媒體服務(wù)器101向數(shù)據(jù)訪問存儲器102發(fā)送內(nèi)容請求信號2請求的多媒體(MM)內(nèi)容。
數(shù)據(jù)訪問存儲器102從多媒體服務(wù)器101接收內(nèi)容-信息信號和多媒體內(nèi)容。數(shù)據(jù)訪問存儲器102根據(jù)客戶信息信號和內(nèi)容-信息信號把多媒體內(nèi)容轉(zhuǎn)換成最佳格式(通過被稱為“代碼轉(zhuǎn)換”的處理)。數(shù)據(jù)訪問存儲器102把轉(zhuǎn)換的多媒體內(nèi)容發(fā)送到接收端103。
繼續(xù)參考圖4，數(shù)據(jù)訪問存儲器102和接收端103通過發(fā)送信道隔開，數(shù)據(jù)訪問存儲器102和多媒體服務(wù)器101通過發(fā)送信道隔開。多媒體服務(wù)器101、數(shù)據(jù)訪問存儲器102、和接收端103標(biāo)明為獨(dú)立的裝置?；蛘?，這些裝置可以安裝在單個(gè)的終端中。例如，多媒體服務(wù)器101、數(shù)據(jù)訪問存儲器102、和接收端103可以設(shè)置在一個(gè)單個(gè)的終端內(nèi)。多媒體服務(wù)器101和數(shù)據(jù)訪問存儲器102可以設(shè)置在一單個(gè)的終端內(nèi)，接收端103可以設(shè)置為被網(wǎng)絡(luò)隔離的單獨(dú)終端。類似地，多媒體服務(wù)器101可以被設(shè)置為一個(gè)被網(wǎng)絡(luò)隔離的單獨(dú)終端，數(shù)據(jù)訪問存儲器102和接收端103可以設(shè)置在一單個(gè)的終端內(nèi)。在下面的描述中，為了簡化描述，這些裝置被描述為獨(dú)立的裝置。但是，下面的描述應(yīng)用于所有裝置被設(shè)置在單個(gè)終端內(nèi)的情況。
參考圖5，示出了圖4所示多媒體服務(wù)器101的結(jié)構(gòu)的一個(gè)例子。中間數(shù)據(jù)存儲裝置111記錄描述內(nèi)容信息的內(nèi)容-信息信號和其他中間數(shù)據(jù)。內(nèi)容存儲裝置112記錄包括移動(dòng)圖像的多媒體內(nèi)容。
涉及內(nèi)容的內(nèi)容-信息信號和其他中間數(shù)據(jù)包括語義和物理信息。語義信息包括，例如，電影標(biāo)題和導(dǎo)演姓名。物理信息包括，例如，文件名、URL和表明位流中預(yù)定位置的指針。內(nèi)容-信息信號和中間數(shù)據(jù)通過例如MPEG-7被編碼并被記錄。
多媒體內(nèi)容本身通過各種格式如MPEG-1/2/4被編碼，并被記錄在內(nèi)容存儲裝置112內(nèi)。
數(shù)據(jù)訪問存儲器102輸入的內(nèi)容-信息請求信號被輸入到中間數(shù)據(jù)管理器113。中間數(shù)據(jù)管理器113管理記錄在中間數(shù)據(jù)存儲裝置111內(nèi)的中間數(shù)據(jù)和內(nèi)容-信息信號。中間數(shù)據(jù)管理器113向中間數(shù)據(jù)存儲裝置111提供內(nèi)容-信息請求信號。
中間數(shù)據(jù)存儲裝置111根據(jù)提供的內(nèi)容-信息請求信號搜索預(yù)定的中間數(shù)據(jù)或內(nèi)容-信息信號，并向中間數(shù)據(jù)管理器113提供搜索結(jié)果。中間數(shù)據(jù)管理器113把內(nèi)容-信息信號輸出到圖4所示數(shù)據(jù)訪問存儲器102。
從數(shù)據(jù)訪問存儲器102輸入的內(nèi)容請求信號2被輸入到多媒體內(nèi)容管理器114。多媒體內(nèi)容管理器114管理記錄在內(nèi)容存儲裝置112內(nèi)的多媒體內(nèi)容。多媒體內(nèi)容管理器114向內(nèi)容存儲裝置112提供內(nèi)容請求信號2。
內(nèi)容存儲裝置112根據(jù)提供的內(nèi)容請求信號2搜索預(yù)定的多媒體(MM)內(nèi)容，并把搜索結(jié)果輸出到多媒體內(nèi)容管理器114。多媒體內(nèi)容管理器114把多媒體內(nèi)容輸出到圖4所示的數(shù)據(jù)訪問存儲器102。
圖6示出了圖4所示數(shù)據(jù)訪問存儲器102的結(jié)構(gòu)的一個(gè)例子。數(shù)據(jù)訪問存儲器102包括代碼轉(zhuǎn)換管理器121、代碼轉(zhuǎn)換裝置122、和代碼轉(zhuǎn)換資料庫123。
從圖4所示接收端103輸入的客戶信息信號被輸入到代碼轉(zhuǎn)換管理器121。從圖4所示多媒體服務(wù)器101輸入的內(nèi)容-信息信號被輸入到代碼轉(zhuǎn)換管理器121。
代碼轉(zhuǎn)換管理器121根據(jù)客戶信息信號和內(nèi)容-信息信號確定多媒體內(nèi)容的輸出格式。代碼轉(zhuǎn)換管理器121把代碼轉(zhuǎn)換類型信息輸出到代碼轉(zhuǎn)換裝置122。代碼轉(zhuǎn)換類型信息表示多媒體內(nèi)容的輸出格式和代碼轉(zhuǎn)換裝置122的代碼轉(zhuǎn)換方法。
代碼轉(zhuǎn)換管理器121把內(nèi)容有效性信息和內(nèi)容-信息信號輸出到圖4所示接收端103。當(dāng)在多媒體服務(wù)器101內(nèi)沒有檢測到請求的內(nèi)容時(shí)，代碼轉(zhuǎn)換管理器121把內(nèi)容有效性信息設(shè)置為“0”。當(dāng)在多媒體服務(wù)器101內(nèi)檢測到請求的內(nèi)容時(shí)，代碼轉(zhuǎn)換管理器121把內(nèi)容有效性信息設(shè)置為“1”。
代碼轉(zhuǎn)換裝置122根據(jù)代碼轉(zhuǎn)換類型信息轉(zhuǎn)換輸入的內(nèi)容。
代碼轉(zhuǎn)換裝置122可以以在中央處理器(CPU)或數(shù)字信號處理器(DSP)上運(yùn)行的軟件模塊來實(shí)現(xiàn)。在這種情況下，代碼轉(zhuǎn)換裝置122根據(jù)代碼轉(zhuǎn)換類型信息使用記錄在代碼轉(zhuǎn)換資料庫123內(nèi)予置的代碼轉(zhuǎn)換工具，并執(zhí)行代碼轉(zhuǎn)換(內(nèi)容的轉(zhuǎn)換)。根據(jù)代碼轉(zhuǎn)換類型信息，代碼轉(zhuǎn)換裝置122把工具請求信號輸出到代碼轉(zhuǎn)換資料庫123。代碼轉(zhuǎn)換資料庫123把請求的軟件模塊(代碼轉(zhuǎn)換工具)輸出到代碼轉(zhuǎn)換裝置122。代碼轉(zhuǎn)換裝置122預(yù)備必須的存儲器或類似裝置用于執(zhí)行軟件模塊，并使用該軟件模塊執(zhí)行代碼轉(zhuǎn)換。
參考圖7，描述代碼轉(zhuǎn)換裝置122的結(jié)構(gòu)的一個(gè)例子。實(shí)現(xiàn)代碼轉(zhuǎn)換裝置122最簡單的方法是解碼該內(nèi)容(位流)然后通過在預(yù)定格式使用下一個(gè)編碼器再次編碼該內(nèi)容。
在圖7所示的代碼轉(zhuǎn)換裝置122中，多媒體服務(wù)器101提供的位流被輸入到解碼器131并被解碼。解碼的圖象信號被提供到一格式下的編碼器132，在該格式下接收端103能夠接收數(shù)據(jù)，并且該信號被編碼。
當(dāng)位流被解碼器131解碼時(shí)，如運(yùn)動(dòng)矢量、量化系數(shù)、和編碼模式之類的編碼參數(shù)被解碼，被提供到編碼器132，并且當(dāng)編碼器132編碼一個(gè)圖象信號時(shí)該編碼參數(shù)被使用。編碼器132根據(jù)解碼器131提供的編碼參數(shù)和代碼轉(zhuǎn)換管理器121提供代碼轉(zhuǎn)換類型信息對解碼的圖象進(jìn)行編碼，產(chǎn)生預(yù)定格式下的位流，并輸出該位流。
參考圖8A和8B，描述代碼轉(zhuǎn)換裝置122通過內(nèi)容-信息信號執(zhí)行的代碼轉(zhuǎn)換方法的一個(gè)例子。
當(dāng)編碼預(yù)定的內(nèi)容時(shí)，即使在相同的比特率下進(jìn)行，圖象品質(zhì)也會(huì)根據(jù)幀大小、幀速率等而不同。圖8B中示出了這樣的一個(gè)例子。當(dāng)使用三個(gè)不同的幀大小和幀速率對相同圖象編碼時(shí)，該曲線示出了比特率(圖8B中的橫坐標(biāo))和圖象品質(zhì)(圖8B中的縱坐標(biāo))之間的關(guān)系。當(dāng)比特率足夠高時(shí)，當(dāng)圖象為高幀速率(30HZ)時(shí)的大幀(ITU-R建議601)時(shí)圖象品質(zhì)最佳。在低比特率時(shí)，圖象品質(zhì)開始突然惡化。
在預(yù)定的比特率RB2或更低處，當(dāng)圖象尺寸Rec.601縱向和橫向縮短到一半時(shí)以及當(dāng)幀速率被降低(降低到10Hz)時(shí)，被編碼的圖象的圖象品質(zhì)提高。在預(yù)定的比特率RB1或更低，當(dāng)圖象尺寸SIF縱向和橫向進(jìn)一步縮短到一半時(shí)(QSIF)，被編碼的圖象的圖象品質(zhì)提高。在每個(gè)比特率獲得最佳圖象質(zhì)量的圖象尺寸和幀速率取決于圖象參數(shù)。圖8B所示關(guān)系對每一內(nèi)容是不同的。
本實(shí)施例中的內(nèi)容-信息信號例如是在每個(gè)比特率對內(nèi)容進(jìn)行編碼的最佳編碼參數(shù)。圖8A示出了這樣的一個(gè)例子。對于在比特率RA1或更低時(shí)的內(nèi)容-信息信號，使用1/4-大小幀和10Hz幀速率進(jìn)行編碼。在比特率范圍RA1到RA2，使用1/2-大小幀進(jìn)行編碼。在比特率RA2或更高時(shí)，使用Rec601-大小和30Hz幀速率進(jìn)行編碼。
下面詳細(xì)描述在這種情況下內(nèi)容-信息信號的方法。
參考圖9A到9D，描述代碼轉(zhuǎn)換裝置122通過內(nèi)容-信息信號執(zhí)行的代碼轉(zhuǎn)換方法的改進(jìn)。發(fā)送預(yù)定的多媒體內(nèi)容的發(fā)送信道包括兩種類型，即，具有允許比特率隨時(shí)間變化的可變比特率的發(fā)送信道和具有固定比特率的發(fā)送信道。編碼系統(tǒng)包括兩種類型，即，適于以可變比特率編碼的編碼系統(tǒng)和以固定比特率編碼的編碼系統(tǒng)。
例如，在電話會(huì)議系統(tǒng)中，當(dāng)通過無線發(fā)送聯(lián)接進(jìn)行廣播時(shí)，以固定比特率編碼位流。相反，在DVD或類似裝置中，以可變比特率編碼位流。在編碼系統(tǒng)如MPEG-1和H.263中，只能以固定比特率進(jìn)行編碼。在MPRG-2和MPEG-4中，能夠以可變比特率進(jìn)行編碼。
當(dāng)對內(nèi)容進(jìn)行編碼時(shí)，當(dāng)以與固定比特率相反的可變比特率對內(nèi)容進(jìn)行編碼時(shí)，圖象質(zhì)量通常更好。內(nèi)容的編碼效率取決于圖象的參數(shù)。如果內(nèi)容不同，編碼效率也會(huì)不同。單條內(nèi)容具有隨時(shí)間不同的編碼效率。圖9A示出了時(shí)間-變化的編碼難度的一個(gè)例子。時(shí)間為橫坐標(biāo)，編碼難度為縱坐標(biāo)。在低編碼難度的情況下，能夠在低比特率實(shí)現(xiàn)好的圖象質(zhì)量。相反，在高編碼難度的情況下，難以在高比特率實(shí)現(xiàn)足夠的圖象質(zhì)量。
圖9B示出了當(dāng)以固定比特率對運(yùn)動(dòng)圖像編碼時(shí)的時(shí)間-變化的圖象質(zhì)量曲線。對比圖9A和圖9B，顯然，當(dāng)以固定比特率進(jìn)行編碼時(shí)，在低編碼難度情況下圖象質(zhì)量提高，而在高編碼難度情況下圖象質(zhì)量下降。因此，圖象隨時(shí)間較大地變化。
圖9C示出了當(dāng)以可變比特率對圖9A所示情況下使用的運(yùn)動(dòng)圖像進(jìn)行編碼時(shí)的時(shí)間-變化的比特率曲線。在高編碼難度的情況下，分配更高的比特率。在低編碼難度的情況下，分配相對小量的比特。結(jié)果，圖象質(zhì)量改變，如圖9D所示。通過比較，當(dāng)以固定比特率進(jìn)行編碼時(shí)(圖9B)，即使內(nèi)容產(chǎn)生的比特?cái)?shù)相同，可變比特率情況下的平均圖象質(zhì)量更好。在可變比特-率編碼中，圖象質(zhì)量隨時(shí)間的變化很小。
為了有效地執(zhí)行可變比特-率編碼，需要分析全部運(yùn)動(dòng)圖像的編碼難度并事先確定特性，如圖9A所示?？梢詼?zhǔn)備一個(gè)較大容量的緩沖器并在緩沖器可允許的范圍內(nèi)測量編碼難度。在該方法中，在容量范圍內(nèi)進(jìn)行最優(yōu)化。不意味著進(jìn)行全部內(nèi)容的最優(yōu)化。
為了解決上述問題，在多媒體內(nèi)容服務(wù)器101輸出的內(nèi)容-信息信號中描述如圖9A所示內(nèi)容編碼難度信息。代碼轉(zhuǎn)換裝置122通過編碼難度信息以可變比特率對以固定比特率編碼的位流進(jìn)行編碼。
具體地，在圖7所示例子的代碼轉(zhuǎn)換裝置122中，編碼器132根據(jù)多媒體內(nèi)容服務(wù)器101提供的內(nèi)容-信息信號對位流進(jìn)行編碼并輸出該位流。
相反，參考圖10，當(dāng)在圖4所示媒體內(nèi)容服務(wù)器101內(nèi)記錄預(yù)定的多媒體內(nèi)容時(shí)，從外面提供位流到媒體內(nèi)容服務(wù)器101。該位流被輸入到編碼難度分析電路141。雖然在該例中位流被輸入，能夠直接輸入一個(gè)未壓縮的運(yùn)動(dòng)圖像。
編碼難度分析電路141分析內(nèi)容的編碼難度，獲得一個(gè)如圖9A所示的編碼難度特性。編碼難度分析電路141把該特性作為內(nèi)容-信息信號輸出到中間數(shù)據(jù)存儲裝置111，并把輸入的內(nèi)容位流輸出到內(nèi)容存儲裝置112。
圖11A和11B示出了編碼難度分析電路141的結(jié)構(gòu)的一個(gè)例子。參考圖11A，一個(gè)輸入位流首先被輸入到分析電路(分析程序)151，并從位流提取編碼參數(shù)(如量化系數(shù)和比特?cái)?shù))。提示發(fā)生器152獲得每一幀中的量化系數(shù)平均數(shù)Q和在該幀中產(chǎn)生的比特B的數(shù)量。此外，提示發(fā)生器152計(jì)算Q×B以獲得該幀的編碼難度，并把該編碼難度作為內(nèi)容-信息信號提供到中間數(shù)據(jù)存儲裝置111。中間數(shù)據(jù)存儲裝置111記錄該內(nèi)容-信息信號。
圖11B示出了編碼難度分析電路141的改進(jìn)。在該例中，通過解碼器161解碼輸入的位流。解碼的圖象被輸入到編碼器162。編碼器162在固定的量化比如Q=1對圖象編碼。在Q=1時(shí)編碼的每一個(gè)幀內(nèi)產(chǎn)生的比特?cái)?shù)就是該幀的編碼難度，編碼難度被作為內(nèi)容信息提供到中間數(shù)據(jù)存儲裝置111。中間數(shù)據(jù)存儲裝置111記錄該內(nèi)容信息。
參考圖12A到12D，示出了描述內(nèi)容-信息信號的格式的一個(gè)例子。在圖12A到12D所示的例子中，在圖12A所示的TranscodingHint內(nèi)描述了內(nèi)容-信息信號，TranscodingHint是包含可以給出關(guān)于代碼轉(zhuǎn)換的提示的信息的描述符。在圖12A所示的例子中，TranscodingHint包括一個(gè)ID、一個(gè)TranscodingParameterSet描述符、和一個(gè)TranscodingComplexityHint描述符。該ID是一個(gè)用于標(biāo)識描述符的標(biāo)識號。
參考圖12B，當(dāng)以每一個(gè)比特率進(jìn)行編碼和代碼轉(zhuǎn)換時(shí)，TranscodingParameterSet是用于描述最佳編碼參數(shù)的描述符。TranscodingParameterSet包括一個(gè)ID、MinBitRate、MaxBitRate、FrameRate、和FrameSize。
MinBitRate是一個(gè)表示最小比特率的標(biāo)記，在該比特率時(shí)描述符內(nèi)的信息有效。
MaxBitRate是一個(gè)表示最大比特率的標(biāo)記，在該比特率時(shí)描述符內(nèi)的信息有效。
FrameRate是表示當(dāng)在從MinBitRate到MaxBitRate的比特率范圍內(nèi)編碼特殊圖象時(shí)獲得最佳圖象質(zhì)量的幀速率。
FrameSize是表示當(dāng)在從MinBitRate到MaxBitRate的比特率范圍內(nèi)編碼特殊圖象時(shí)獲得最佳圖象質(zhì)量的幀大小。
TranscodingComplexityHint是描述對內(nèi)容編碼和代碼轉(zhuǎn)換的復(fù)雜性的描述符。圖12C示出了TranscodingComplexityHint的結(jié)構(gòu)。StartMediaLocator是指示位流的標(biāo)題的指針，在該位流中，描述符內(nèi)的信息是有效的。
EndMediaLocator是指示位流的末端的指針，在該位流中，描述符內(nèi)的信息是有效的。Complexity是表示位流的StartMediaLocator和EndMediaLocator之間部分的編碼難度的標(biāo)記。
圖12D示出了TranscodingComplexityHint的結(jié)構(gòu)的另一個(gè)例子。StartFrameNumber是指示標(biāo)題幀的幀號的指針，在該標(biāo)題幀中，描述符內(nèi)的信息是有效的。
EndFrameNumber是指示最后幀的幀號的指針，在該最后幀中，描述符內(nèi)的信息是有效的。
Complexity是表示位流的StartFrameNumber和EndFrameNumber之間部分的編碼難度的標(biāo)記。
圖13示出了圖12A所示以常規(guī)模型化語言(UML)寫成的TranscodingHint描述符的數(shù)據(jù)結(jié)構(gòu)。TranscodingHint包括至少一個(gè)TranscodingParameterSet和至少一個(gè)TranscodingComplexityHint。TranscodingParameterSet的副本數(shù)為零或更多。而且，TranscodingComplexityHint的副本數(shù)為零或更多。
MPEG-7是用于描述內(nèi)容信息的中間數(shù)據(jù)的一個(gè)標(biāo)志。MPEG-7包括多個(gè)描述符。ISO/IEC SC29/WG11 N3112、N3113和N3114中描述了MPEG-7的詳細(xì)規(guī)范。TranscodingHint描述符可以構(gòu)造為MPEG-7中的中間數(shù)據(jù)的一種類型。
圖14示出了MPEG-7中MediaInformation(包括MediaIdentification、MediaFormat、MediaCoding、MediaTranscodingHint和MediaInstance)的數(shù)據(jù)結(jié)構(gòu)的一個(gè)例子，上述TranscodingHint描述符被添加到MediaInformation。MediaInformation是用于描述內(nèi)容的介質(zhì)的描述符，如編碼系統(tǒng)等。在MediaInformation中描述了零或一個(gè)TranscodingHint。
MediaInformation被添加到全部內(nèi)容或部分內(nèi)容。在該例中，TranscodingHint也被添加到全部內(nèi)容或部分內(nèi)容。
圖15示出了描述MPEG-7內(nèi)Segment中的TranscodingHint的數(shù)據(jù)結(jié)構(gòu)的一個(gè)例子。Segment是用于描述當(dāng)內(nèi)容被分成多個(gè)分區(qū)(division)或場景(scene)時(shí)每一個(gè)分區(qū)上的信息的描述符。在該例中，在VisualSegment和AudioSegment中描述了零或一個(gè)TranscodingHint。
Segment被添加到部分內(nèi)容。在該例中，TranscodingHint也被添加到部分內(nèi)容。
圖16示出了當(dāng)TranscodingHint被添加到圖14所示MPEG-7中MediaInformation時(shí)整個(gè)MPEG-7數(shù)據(jù)結(jié)構(gòu)。
第二實(shí)施例下面描述根據(jù)本發(fā)明的第二實(shí)施例的系統(tǒng)。根據(jù)第二實(shí)施例，形成內(nèi)容-信息信號的編碼難度包括表示運(yùn)動(dòng)位移補(bǔ)償難度的信息和表示內(nèi)部編碼難度的信息?；谶@兩條信息，難以獲得第一實(shí)施例的內(nèi)容中的預(yù)定場景的編碼難度，如圖9A所示。圖17示出了在這種情況下圖10所示編碼難度分析電路141的結(jié)構(gòu)的一個(gè)例子。
如果需要，通過解碼器201對輸入的位流解碼，并且解碼的位流被提供到編碼器202到205。編碼器202使用量化比例如Q=1對從解碼器201輸入的圖象數(shù)據(jù)執(zhí)行內(nèi)部編碼。當(dāng)以Q=1進(jìn)行編碼時(shí)每一幀中產(chǎn)生的比特?cái)?shù)是編碼該幀的內(nèi)部編碼難度，并被一次輸入到內(nèi)容-信息信號產(chǎn)生電路208。
編碼器203使用固定的量化比例例如Q=1執(zhí)行編碼(Ⅰ和P圖畫的編碼)。編碼器204使用固定的量化比例例如Q=1和m=2(在相鄰兩個(gè)P圖畫之間插入一個(gè)單幀B圖畫)執(zhí)行編碼。編碼器205使用固定的量化比例例如Q=1和m=3(在相鄰兩個(gè)P圖畫之間的兩幀中插入B圖畫)執(zhí)行編碼。
平均值電路206計(jì)算編碼器203到205的輸出平均值。該平均值被作為運(yùn)動(dòng)位移補(bǔ)償編碼難度提供到差分電路207。
差分電路207從編碼器202的輸出減去平均值電路206的輸出，并把該差分值提供到內(nèi)容-信息信號產(chǎn)生電路208。該段(segment)的開始時(shí)間和結(jié)束時(shí)間被從外部裝置(未圖示)提供到內(nèi)容-信息信號產(chǎn)生電路208。內(nèi)容-信息信號產(chǎn)生電路208根據(jù)編碼器202的輸出和差分電路207的輸出產(chǎn)生由該開始時(shí)間和結(jié)束時(shí)間規(guī)定的段的內(nèi)容-信息信號。該內(nèi)容-信息信號被提供到中間數(shù)據(jù)存儲裝置111。
在操作中，如果需要，對輸入位流解碼并把解碼的位流提供到編碼器202到205。編碼器202僅使用Q=1執(zhí)行內(nèi)部編碼。每一幀中產(chǎn)生的比特?cái)?shù)表示編碼該幀的內(nèi)部編碼難度。內(nèi)部編碼難度被提供到內(nèi)容-信息信號產(chǎn)生電路208和差分電路207。
在TextureHint(圖19C)中描述了內(nèi)部編碼難度，這將在后面進(jìn)行描述。
編碼器203使用Q=1和m=1對解碼器201提供的圖象數(shù)據(jù)進(jìn)行編碼。編碼器204使用使用Q=1和m=2對從解碼器201輸出的圖象數(shù)據(jù)進(jìn)行編碼。編碼器205使用Q=1和m=3對解碼器201提供的圖象數(shù)據(jù)進(jìn)行編碼。編碼器203到205輸出每一幀中產(chǎn)生的比特?cái)?shù)到平均值電路206。
平均值電路206計(jì)算編碼器203和205提供的每一幀中產(chǎn)生的比特?cái)?shù)的平均值。該平均值被作為運(yùn)動(dòng)位移補(bǔ)償難度提供到差分電路207。
差分電路207從編碼器202提供的表示內(nèi)部編碼難度的內(nèi)部編碼難度減去平均值電路206提供的運(yùn)動(dòng)位移補(bǔ)償難度。余數(shù)被作為運(yùn)動(dòng)位移補(bǔ)償難度提供到內(nèi)容-信息信號產(chǎn)生電路208。
在MotionHint(圖19B)中描述了運(yùn)動(dòng)位移補(bǔ)償難度，這將在后面描述。
內(nèi)容-信息信號產(chǎn)生電路208根據(jù)編碼器202提供的內(nèi)部編碼難度和差分電路207提供的運(yùn)動(dòng)位移補(bǔ)償難度產(chǎn)生內(nèi)容-信息信號，并把內(nèi)容-信息信號提供到中間數(shù)據(jù)存儲裝置111。中間數(shù)據(jù)存儲裝置111記錄提供的內(nèi)容-信息信號。
圖18是一個(gè)流程圖，示出了內(nèi)容-信息信號產(chǎn)生電路208執(zhí)行的內(nèi)容-信息信號產(chǎn)生過程。
在步驟S1，內(nèi)容-信息信號產(chǎn)生電路208計(jì)算由開始時(shí)間和結(jié)束時(shí)間規(guī)定的段中所有幀內(nèi)的內(nèi)部編碼難度的總數(shù)。
段代表時(shí)間域內(nèi)視頻信號的預(yù)定間隔。視頻內(nèi)容包括單個(gè)或多個(gè)段。下面參考圖22描述段的一個(gè)具體例子。
在步驟S2，內(nèi)容-信息信號產(chǎn)生電路208計(jì)算全部序列中所有幀的內(nèi)部編碼難度的總數(shù)。
在步驟S3，內(nèi)容-信息信號產(chǎn)生電路208使用下面的等式執(zhí)行標(biāo)準(zhǔn)化，計(jì)算TextureHint中的Difficulty(難度)，如下述Difficulty(難度)=(段中內(nèi)部編碼難度的和÷段中的幀數(shù))÷(全部序列中內(nèi)部編碼難度的和÷全部序列中幀數(shù))獲得每一段的Difficulty(難度)。
在步驟S4，內(nèi)容-信息信號產(chǎn)生電路208計(jì)算段中內(nèi)部編碼難度的總數(shù)。在步驟S5，計(jì)算全部序列的編碼難度。在步驟S6，內(nèi)容-信息信號產(chǎn)生電路208使用下面的等式執(zhí)行每一段的標(biāo)準(zhǔn)化，計(jì)算MotionHint的MotionHint_uncompensability，如下述MotionHint_uncompensability=(段中運(yùn)動(dòng)位移補(bǔ)償難度的和÷段中的幀數(shù))÷(全部序列中內(nèi)部編碼難度的和÷全部序列中幀數(shù))獲得每一段的MotionHint_uncompensability。
在步驟S7，內(nèi)容-信息信號產(chǎn)生電路208根據(jù)步驟S3和S6中的計(jì)算結(jié)果產(chǎn)生MediaTranscodingHint，作為內(nèi)容-信息信號。
MediaTranscodingHint是用于描述執(zhí)行代碼轉(zhuǎn)換的最佳編碼參數(shù)的描述符。圖19A示出了本發(fā)明第二實(shí)施例中的MediaTranscodingHint描述符。
參考圖19A,MediaTranscoding包括一個(gè)ID、UtilityScaling()、MotionHint()、和TextureHint()。
UtilityScaling是用于描述每一比特率時(shí)內(nèi)容的圖象質(zhì)量的描述符。
參考圖19B,MotionHint是用于描述內(nèi)容的運(yùn)動(dòng)位移補(bǔ)償難度的描述符。MotionHint包括一個(gè)ID、Motion_uncompensability、Motion_rang_x_left、Motion_rang_x_right、Motion_rang_y_left、和Motion_rang_y_right。
當(dāng)幀間相關(guān)為低時(shí)，能夠通過運(yùn)動(dòng)位移補(bǔ)償提高的編碼效率不是很高。因此需要向幀間相關(guān)為低的部分分配更多的比特。Motion_uncompensability是從0到1取值的參數(shù)。值0表示幀相同，值1表示在幀間檢測到不相關(guān)。從差分電路207輸出的運(yùn)動(dòng)位移補(bǔ)償難度在Motion_uncompensability中被描述。
Motion_rang_x_left和Motion_rang_x_right表示運(yùn)動(dòng)位移補(bǔ)償造成的在水平方向上運(yùn)動(dòng)變化最大量。類似地，Motion_rang_y_left、和Motion_rang_y_right表示運(yùn)動(dòng)位移補(bǔ)償造成的在豎直方向上運(yùn)動(dòng)變化最大量。這表示運(yùn)動(dòng)矢量檢測在水平和豎直方向上最大搜索范圍。通過事先規(guī)定運(yùn)動(dòng)矢量最大值，在維持圖象質(zhì)量的同時(shí)代碼轉(zhuǎn)換要求的計(jì)算量降低。
TextureHint是描述空間域中內(nèi)容的壓縮難度的描述符。在TextureHint中描述圖17所示的編碼器202輸出的內(nèi)部編碼難度。參考圖19C,TextureHint包括一個(gè)ID、Difficulty、和DifficultyType。
Difficulty是表示內(nèi)容的內(nèi)部編碼難度的標(biāo)記，即，表示不執(zhí)行運(yùn)動(dòng)位移補(bǔ)償?shù)木幋a難度。
DifficultyType是表示難度處理的標(biāo)志，即，表示如何測量描述符中描述的Difficulty。參考圖20,DifficultyType中的值“0”表示Encoding Difficulty。
圖21示出了UML表示的圖19A中的MediaTranscodingHint的數(shù)據(jù)結(jié)構(gòu)。
MediaTranscodingHint描述符包括零和一個(gè)UtilityScaling描述符、零或一個(gè)MotionHint描述符、和零或一個(gè)TextureHint描述符。
參考圖22，圖21所示MediaTranscoding包括MediaIdentification、MediaFormat、MediaInstance、和MediaInformation,MediaInformation描述內(nèi)容的介質(zhì)，如編碼系統(tǒng)等。
MediaInformation被添加到整個(gè)內(nèi)容或部分內(nèi)容。因此，MediaTranscodingHint也被添加到整個(gè)內(nèi)容或部分內(nèi)容。
圖23簡單示出了MediaTranscodingHint與視頻數(shù)據(jù)的關(guān)系。視頻內(nèi)容211包括至少一個(gè)序列。場景(段)212是部分序列，由開始時(shí)間和結(jié)束時(shí)間來定義。在Segment描述符213中描述與段212有關(guān)的信息(開始時(shí)間、結(jié)束時(shí)間等)。單個(gè)MediaInformation描述符214可以針對單個(gè)內(nèi)容或單個(gè)Segment描述符來定義。當(dāng)定義MediaInformation描述符214為Segment描述符213的子描述符時(shí)，由于MediaTranscodingHint描述符215是MediaInformation描述符214的子描述符，MediaTranscodingHint描述符215被針對每一個(gè)段(場景)定義。MediaTranscodingHint描述符215包括子描述符，即，UtilityScaling描述符216、MotionHint描述符217、TextureHint描述符218。
MediaInformation描述符214及其子描述符成為Segment描述符213的子描述符。該描述符的內(nèi)容僅在從開始時(shí)間到結(jié)束時(shí)間的時(shí)間段內(nèi)有效，由母描述符Segment描述符213來定義。
可以通過硬件或軟件來執(zhí)行上述處理。當(dāng)通過軟件執(zhí)行處理系列時(shí)，程序從網(wǎng)絡(luò)或記錄介質(zhì)裝入通過安裝各種程序能夠執(zhí)行各種功能的個(gè)人計(jì)算機(jī)內(nèi)或?qū)Ｓ糜布械挠?jì)算機(jī)內(nèi)。
圖24示出了執(zhí)行上述處理的個(gè)人計(jì)算機(jī)結(jié)構(gòu)的一個(gè)例子。中央處理器(CPU)221根據(jù)存儲在只讀存儲器(ROM)222內(nèi)的程序或從存儲裝置228裝入到隨機(jī)存取存儲器(RAM)223的程序執(zhí)行各種處理。隨著需要，RAM223存儲CPU221需要的數(shù)據(jù)以執(zhí)行各種處理。
CPU221、ROM222、RAM223通過總線224互聯(lián)。輸入/輸出接口225被連接到總線224。
輸入裝置226包括一個(gè)鍵盤和鼠標(biāo)；輸入裝置227包括一個(gè)顯示裝置，例如陰極射線管(CRT)或液晶顯示器(LCD)，和一個(gè)揚(yáng)聲器；存儲裝置228包括一個(gè)硬盤；包括一個(gè)調(diào)制解調(diào)器和終端適配器的通信裝置229被連接到輸入/輸出接口225。通信裝置229通過網(wǎng)絡(luò)執(zhí)行通信處理。
如果需要，驅(qū)動(dòng)器230可以連接到輸入/輸出接口225?？梢哉_地插入磁盤241、光盤242、磁光盤243、和/或半導(dǎo)體存儲器244?？梢詮倪@些記錄介質(zhì)讀取計(jì)算機(jī)程序并能夠根據(jù)環(huán)境需要安裝在存儲裝置228內(nèi)。
為了向用戶提供程序，記錄有程序的記錄介質(zhì)與計(jì)算機(jī)分離配置。記錄介質(zhì)包括封裝的介質(zhì)如磁盤241(包括軟盤)、光盤242(包括密致盤只讀存儲器(CD-ROM)和數(shù)字通用盤(DVD))、磁光盤243(包括迷你盤(MD))、和半導(dǎo)體存儲器244。此外，記錄介質(zhì)包括記錄有程序的ROM222或包括在存儲裝置228內(nèi)的硬盤，它們被預(yù)先裝在計(jì)算機(jī)內(nèi)然后分配給用戶。
在當(dāng)前描述中，寫入記錄在記錄介質(zhì)上的程序的步驟不僅包括根據(jù)描述的次序執(zhí)行的時(shí)間序列處理，還包括不是必須按時(shí)間序列執(zhí)行的并行或單獨(dú)處理。
在當(dāng)前的描述中，該系統(tǒng)代表由多個(gè)裝置形成的整個(gè)裝置。此外，雖然以圖象信號為例簡明地描述了內(nèi)容，但內(nèi)容并不局限于圖象信號。內(nèi)容包括聲頻信號、程序、文本信號等。
權(quán)利要求
1．一種內(nèi)容提供裝置，用于根據(jù)其他裝置的請求向另一個(gè)裝置提供內(nèi)容，該裝置包括第一獲取裝置，用于獲取與所述其他裝置的功能的有關(guān)第一信息；第二獲取裝置，用于獲取與內(nèi)容有關(guān)的第二信息，第二信息對應(yīng)于由所述第一獲取裝置獲得的第一信息；第三獲取裝置，用于獲取內(nèi)容；轉(zhuǎn)換裝置，用于根據(jù)所述第二獲取裝置獲取的第二信息轉(zhuǎn)換所述第三獲取裝置獲取的內(nèi)容；和提供裝置，用于把所述轉(zhuǎn)換裝置轉(zhuǎn)換的內(nèi)容提供到所述其他裝置。
2．根據(jù)權(quán)利要求1的內(nèi)容提供裝置，其中第二信息包括用于轉(zhuǎn)換內(nèi)容的一個(gè)轉(zhuǎn)換參數(shù)和該內(nèi)容的編碼難度。
3．根據(jù)權(quán)利要求1的內(nèi)容提供裝置，其中第二獲取裝置從描述符獲取第二信息，描述符是從內(nèi)容單獨(dú)發(fā)送的。
4．根據(jù)權(quán)利要求3的內(nèi)容提供裝置，其中所述轉(zhuǎn)換裝置包括解碼裝置，用于解碼編碼的內(nèi)容；和編碼裝置，用于根據(jù)所述解碼裝置執(zhí)行解碼時(shí)所使用的解碼參數(shù)和描述符內(nèi)描述的第二信息對被解碼裝置解碼的內(nèi)容進(jìn)行編碼。
5．一種用于內(nèi)容提供裝置的內(nèi)容提供方法，該內(nèi)容提供裝置用于根據(jù)其他裝置的請求向另一個(gè)裝置提供內(nèi)容，該方法包括第一獲取步驟，用于獲取與所述其他裝置的功能有關(guān)的第一信息；第二獲取步驟，用于獲取與內(nèi)容有關(guān)的第二信息，第二信息對應(yīng)于在所述第一獲取步驟中獲取的第一信息；第三獲取步驟，用于獲取內(nèi)容；轉(zhuǎn)換步驟，用于根據(jù)在所述第二獲取步驟中獲取的第二信息轉(zhuǎn)換在所述第三獲取步驟中獲取的內(nèi)容；提供步驟，用于將在所述轉(zhuǎn)換步驟中轉(zhuǎn)換的內(nèi)容提供到所述其他裝置。
6．一種其上記錄有程序的記錄介質(zhì)，該程序用于內(nèi)容提供裝置，內(nèi)容提供裝置根據(jù)所述其他裝置的請求向另一個(gè)裝置提供內(nèi)容，該程序包括第一獲取步驟，用于獲取與所述其他裝置的功能有關(guān)的第一信息；第二獲取步驟，用于獲取與內(nèi)容有關(guān)的第二信息，第二信息對應(yīng)于在所述第一獲取步驟中獲取的第一信息；第三獲取步驟，用于獲取內(nèi)容；轉(zhuǎn)換步驟，用于根據(jù)在所述第二獲取步驟中獲取的第二信息轉(zhuǎn)換在所述第三獲取步驟中獲取的內(nèi)容；提供步驟，用于把在轉(zhuǎn)換步驟中轉(zhuǎn)換的內(nèi)容提供到其他裝置。
7．一種信號產(chǎn)生裝置，用于根據(jù)內(nèi)容產(chǎn)生與內(nèi)容有關(guān)的內(nèi)容-信息信號，該信號產(chǎn)生裝置包括一編碼難度分析電路，用于分析內(nèi)容的編碼難度并把結(jié)果作為內(nèi)容-信息信號輸出；和一存儲器，用于存儲內(nèi)容和內(nèi)容-信息信號。
8．根據(jù)權(quán)利要求7的信號產(chǎn)生裝置，其中所述編碼難度分析電路包括用于分析內(nèi)容的運(yùn)動(dòng)位移補(bǔ)償難度的第一分析電路。
9．根據(jù)權(quán)利要求8的信號產(chǎn)生裝置，其中所述第一分析電路輸出一個(gè)表示內(nèi)容的幀間相關(guān)的參數(shù)。
10．根據(jù)權(quán)利要求8的信號產(chǎn)生裝置，其中所述第一分析電路輸出一個(gè)關(guān)于內(nèi)容的運(yùn)動(dòng)位移補(bǔ)償?shù)倪\(yùn)動(dòng)搜索范圍。
11．根據(jù)權(quán)利要求7的信號產(chǎn)生裝置，其中所述編碼難度分析電路包括用于分析空間域中內(nèi)容的壓縮難度的第二分析電路。
12．根據(jù)權(quán)利要求11的信號產(chǎn)生裝置，其中所述第二分析電路在內(nèi)容的每一個(gè)幀被內(nèi)部編碼時(shí)輸出一個(gè)內(nèi)部編碼難度。
13．根據(jù)權(quán)利要求7的信號產(chǎn)生裝置，其中所述編碼難度分析電路分析段裝置內(nèi)的編碼難度，通過分隔內(nèi)容獲得段。
14．根據(jù)權(quán)利要求7的信號產(chǎn)生裝置，其中所述編碼難度分析電路分析編碼難度、標(biāo)準(zhǔn)化編碼難度、并將標(biāo)準(zhǔn)化后的編碼難度作為內(nèi)容-信息信號輸出。
15．根據(jù)權(quán)利要求7的信號產(chǎn)生裝置，其中內(nèi)容和內(nèi)容-信息信號被分別存儲在單獨(dú)的存儲器中。
16．一種信號產(chǎn)生方法，用于根據(jù)內(nèi)容產(chǎn)生與內(nèi)容有關(guān)的內(nèi)容-信息信號，該方法包括一個(gè)編碼難度分析步驟，用于分析內(nèi)容的編碼難度并把結(jié)果作為內(nèi)容-信息信號輸出；和一個(gè)存儲步驟，在存儲器中存儲內(nèi)容和內(nèi)容-信息信號。
17．一種轉(zhuǎn)換裝置，用于把內(nèi)容轉(zhuǎn)換成預(yù)定格式的內(nèi)容，該裝置包括存儲器，用于存儲內(nèi)容和與內(nèi)容有關(guān)的內(nèi)容-信息信號；第一獲取裝置，獲取用于讀取內(nèi)容的終端上的信息；轉(zhuǎn)換裝置，根據(jù)內(nèi)容-信息信號把內(nèi)容轉(zhuǎn)換成適合于所述終端的格式；其中該內(nèi)容-信息信號包括編碼難度信息，編碼難度信息表示內(nèi)容的編碼難度；和所述轉(zhuǎn)換裝置根據(jù)編碼難度信息轉(zhuǎn)換內(nèi)容。
18．根據(jù)權(quán)利要求17的轉(zhuǎn)換裝置，其中編碼難度信息包括表示內(nèi)容的運(yùn)動(dòng)位移補(bǔ)償難度的信息。
19．根據(jù)權(quán)利要求17的轉(zhuǎn)換裝置，其中編碼難度信息包括表示內(nèi)容的幀間相關(guān)的參數(shù)。
20．根據(jù)權(quán)利要求17的轉(zhuǎn)換裝置，其中編碼難度信息包括表示關(guān)于內(nèi)容的運(yùn)動(dòng)位移補(bǔ)償?shù)倪\(yùn)動(dòng)搜索范圍。
21．根據(jù)權(quán)利要求17的轉(zhuǎn)換裝置，其中編碼難度信息包括表示空間域內(nèi)的內(nèi)容壓縮難度的信息。
22．根據(jù)權(quán)利要求17的轉(zhuǎn)換裝置，其中編碼難度信息包括表示當(dāng)內(nèi)容的每一個(gè)幀被內(nèi)部編碼時(shí)的內(nèi)部編碼難度。
23．根據(jù)權(quán)利要求17的轉(zhuǎn)換裝置，其中編碼難度信息包括段裝置中的編碼難度信息，通過分隔內(nèi)容獲得段。
24．根據(jù)權(quán)利要求17的轉(zhuǎn)換裝置，其中編碼難度信息包括標(biāo)準(zhǔn)化的編碼難度信息。
25．一種轉(zhuǎn)換方法，用于把內(nèi)容轉(zhuǎn)換成預(yù)定格式的內(nèi)容，該方法包括存儲步驟，用于把內(nèi)容和與內(nèi)容有關(guān)的內(nèi)容-信息信號存儲在存儲器內(nèi)；獲取步驟，獲取用于讀取內(nèi)容的終端上的信息；轉(zhuǎn)換步驟，根據(jù)內(nèi)容-信息信號把內(nèi)容轉(zhuǎn)換成適合于所述終端的格式；其中該內(nèi)容-信息信號包括編碼難度信息，編碼難度信息表示內(nèi)容的編碼難度；和在所述轉(zhuǎn)換步驟中，根據(jù)編碼難度信息轉(zhuǎn)換內(nèi)容。
26．一種讀取終端，用于把內(nèi)容轉(zhuǎn)換成預(yù)定格式并讀取該內(nèi)容，該讀取終端包括一個(gè)存儲器，用于存儲內(nèi)容和與內(nèi)容有關(guān)的內(nèi)容-信息信號；一個(gè)轉(zhuǎn)換裝置，根據(jù)內(nèi)容-信息信號把內(nèi)容轉(zhuǎn)換成適合于所述讀取終端的格式；一個(gè)讀取裝置，讀轉(zhuǎn)換的內(nèi)容；其中內(nèi)容-信息信號包括編碼難度信息，編碼難度信息表示內(nèi)容的編碼難度；以及所述轉(zhuǎn)換裝置根據(jù)編碼難度信息轉(zhuǎn)換內(nèi)容。
27．一種用于讀取終端的讀取方法，該讀取終端把內(nèi)容轉(zhuǎn)換成預(yù)定格式并讀取該內(nèi)容，該讀取方法包括一個(gè)存儲步驟，用于把內(nèi)容和與內(nèi)容有關(guān)的內(nèi)容-信息信號存儲在存儲器內(nèi)；一個(gè)轉(zhuǎn)換步驟，根據(jù)內(nèi)容-信息信號把內(nèi)容轉(zhuǎn)換成適合于所述讀取終端的格式；一個(gè)讀取步驟，讀轉(zhuǎn)換的內(nèi)容；其中內(nèi)容-信息信號包括編碼難度信息，編碼難度信息表示內(nèi)容的編碼難度；以及在所述轉(zhuǎn)換步驟中，根據(jù)編碼難度信息轉(zhuǎn)換內(nèi)容。
全文摘要
一種內(nèi)容提供裝置,包括多媒體內(nèi)容服務(wù)器,多媒體內(nèi)容服務(wù)器以預(yù)定比特率保持編碼參數(shù)的列表。根據(jù)基于編碼參數(shù)列表的發(fā)送容量確定用于發(fā)送位流的編碼參數(shù)。根據(jù)獲得的編碼參數(shù),位流被轉(zhuǎn)換并被發(fā)送到發(fā)送信道。
文檔編號H04N7/26GK1321945SQ0111730
公開日2001年11月14日 申請日期2001年3月13日 優(yōu)先權(quán)日2000年3月13日
發(fā)明者鈴木輝彥, 彼得·庫恩 申請人:索尼公司