專利名稱：視頻尺度轉(zhuǎn)換及從mpeg－2到mpeg－4的編碼轉(zhuǎn)換的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及多媒體數(shù)據(jù)壓縮，尤其涉及一種視頻編碼轉(zhuǎn)換器，以允許通用的MPEG-4解碼器將MPEG-2比特流解碼。還提供了時(shí)間與空間尺度變換(縮小化)。
背景技術(shù)：
本文采用以下列縮寫字與術(shù)語CBP-編碼塊圖案DCT-離散余弦變換DTV-數(shù)字電視DVD-數(shù)字視頻光盤HDTV-高清晰度電視FLC-固定長(zhǎng)度編碼IP-因特網(wǎng)協(xié)議MB-宏塊ME-運(yùn)動(dòng)估計(jì)ML-主要級(jí)別(Main Level)MP-主輪廓(Main profile)MPS-MPEG-2節(jié)目流MTS-MPEG-2傳輸流MV-運(yùn)動(dòng)向量QP-量化參數(shù)PMV-預(yù)測(cè)運(yùn)動(dòng)向量RTP-實(shí)時(shí)傳輸協(xié)議(RFC 1889)SDTV-標(biāo)準(zhǔn)清晰度電視SIF-標(biāo)準(zhǔn)中間格式SVCD-超級(jí)視頻壓縮光盤
VLC-可變長(zhǎng)度編碼VLD-可變長(zhǎng)度解碼VOP-視頻對(duì)象平面多媒體編碼標(biāo)準(zhǔn)MPEG-4可提供多種功能，以支持包括因特網(wǎng)應(yīng)用在內(nèi)的各種不同應(yīng)用，例如流媒體、廣告、交互式游戲、虛擬旅行等。預(yù)期在因特網(wǎng)最流行的因特網(wǎng)視頻流(多點(diǎn)廣播)也適用于視覺MPEG-4視覺標(biāo)準(zhǔn)(ISO/IEC 14496-2國(guó)際標(biāo)準(zhǔn)最終草案(MPEG-4)“Information Technology-Generic coding of audiovisualobjects，Part2visual”，1998年12月)。
MPEG-4視覺可同時(shí)處理合成視頻與自然視頻，而且適用于多個(gè)視覺對(duì)象類型，例如視頻、臉部、與網(wǎng)狀物體。MPEG-4視覺亦允許對(duì)任意形狀物體進(jìn)行編碼，所以多重物體可根據(jù)用戶的需要而顯示或加以處理。而且，MPEG-4視覺從編碼與顯示結(jié)構(gòu)的觀點(diǎn)來看，非常具有靈活性，因?yàn)樗嗽鰪?qiáng)的特性，例如多重輔助(阿爾法)平面、可變幀率及幾何變換(子畫面)。
然而，預(yù)期作為視頻流目標(biāo)的大多數(shù)視頻材料(例如，電影、運(yùn)動(dòng)、音樂會(huì)等)可通過MPEG-2系統(tǒng)壓縮，并且儲(chǔ)存在例如DVD、計(jì)算機(jī)內(nèi)存(例如，服務(wù)器硬盤)等存儲(chǔ)介質(zhì)中。MPEG-2系統(tǒng)規(guī)格(ISO/IEC 13818-2國(guó)際標(biāo)準(zhǔn)(MPEG-2)名為“Information Technology-Generic coding of Moving Pictures and Associated AudioPart2-Video”，1995)定義了兩種系統(tǒng)流格式MPEG-2傳輸流(MTS)與MPEG-2節(jié)目流(MPS)。MTS可調(diào)整而用于通信或儲(chǔ)存一個(gè)或多個(gè)MPEG-2壓縮數(shù)據(jù)節(jié)目，或用于其他處于相對(duì)容易出錯(cuò)環(huán)境中的數(shù)據(jù)。MTS的典型應(yīng)用是DTV。MPS的調(diào)整可用于相對(duì)不容易出錯(cuò)環(huán)境。這種流行的應(yīng)用包括DVD和SVCD。
有關(guān)這一問題的處理至今仍不能令人滿意。例如，MPEG-4節(jié)目輪廓(1999年10月由O.Sunchara和Y.Yagasaki發(fā)表的名稱“The draftof MPEG-4 Studio Profile Amendment Working Draft 2.0，”ISO/IECJTC1/SC29/WG11 MPEG99/5135)已建議一種MPEG-2到MPEG-4編碼轉(zhuǎn)換器，但是該處理不能應(yīng)用于另一MPEG-4版本1輪廓，其包括自然視覺輪廓(Simple、Simple Scaleable、Core、Main、N-Bit)、合成視覺輪廓(Scaleable Texture、Simple Face Animation)、及合成/自然混合視覺(Hybrid、Basic Animated Texture)。因?yàn)樗薷牧苏Z法，所以節(jié)目輪廓不能應(yīng)用在MPEG-4版本1的主輪廓，而且解碼器處理不能與其余MPEG-4版本1輪廓兼容。
MPEG標(biāo)準(zhǔn)采用二維分級(jí)排序來指定幾組限定參數(shù)。其中的一個(gè)維稱為“輪廓”系列，它指定了所支持的編碼特征。另一維，稱為“級(jí)別”，指定可適用的圖像的分辨率、比特率等等。
對(duì)于MPEG-2而言，在主要級(jí)別的主輪廓，或MP@ML可支持4∶2∶0彩色子采樣率以及I、P、和B圖像。簡(jiǎn)單輪廓類似于主輪廓，但是沒有B圖像。主要級(jí)別是為ITU-R601視頻而定義，而簡(jiǎn)單級(jí)別是為SIF視頻而定義的。
同樣地，對(duì)于MPEG-4而言，簡(jiǎn)單輪廓包含SIF處理視頻(而且沒有B-VOP或交織視頻)。主輪廓允許B-VOP與交織視頻。
因此，想要通過使用MPEG-2視頻到MPEG-4視頻編碼轉(zhuǎn)換及/或MPEG-4視頻到MPEG-2視頻編碼轉(zhuǎn)換而在不同類型終端系統(tǒng)之中實(shí)現(xiàn)可相互操作性。不同類型終端系統(tǒng)可包括傳輸交互工作單元(TIU)通過使用一個(gè)本地RTP為基礎(chǔ)的系統(tǒng)層(例如一以IP為基礎(chǔ)的交互工作)從一個(gè)本地MTS(或MPS)系統(tǒng)接收MPEG-2視頻及編碼轉(zhuǎn)換成MPEG-4視頻，并且在打包網(wǎng)絡(luò)上分配。示例中包括一實(shí)時(shí)編碼器、一連接到因特網(wǎng)的MTS衛(wèi)星以及具有MPS編碼的來源材料的一視頻服務(wù)器。
接收交互工作單元(RIU)從一以RTP為基礎(chǔ)的網(wǎng)絡(luò)實(shí)時(shí)接收MPEG-4視頻，然后(如可能)編碼轉(zhuǎn)換成MPEG-2視頻，并且轉(zhuǎn)送給一本地MTS(或MPS)環(huán)境。示例包括一以因特網(wǎng)為基礎(chǔ)的視頻服務(wù)器到以MTS為基礎(chǔ)的電纜分布設(shè)備。
傳輸因特網(wǎng)終端系統(tǒng)(TIES)傳輸MPEG-2或MPEG-4視頻可產(chǎn)生或儲(chǔ)存在因特網(wǎng)終端系統(tǒng)本身內(nèi)，或從以因特網(wǎng)為基礎(chǔ)的計(jì)算機(jī)網(wǎng)絡(luò)接收。示例中包括一視頻服務(wù)器。
接收因特網(wǎng)終端系統(tǒng)(RIES)在以RTP為基礎(chǔ)的因特網(wǎng)上接收MPEG-2或MPEG-4視頻，供在因特網(wǎng)終端系統(tǒng)使用，或轉(zhuǎn)送給傳統(tǒng)計(jì)算機(jī)網(wǎng)絡(luò)。示例中包括可檢視一連串視頻的桌上型個(gè)人計(jì)算機(jī)或工作站。
希望能夠確定在MPEG-2與MPEG-4系統(tǒng)之間的相似點(diǎn)與不同點(diǎn)，并且提供可產(chǎn)生一種復(fù)雜度較低且誤差小的編碼轉(zhuǎn)換器結(jié)構(gòu)。
編碼轉(zhuǎn)換器結(jié)構(gòu)可用于使用B幀(例如，主輪廓)的系統(tǒng)，也可用于當(dāng)B幀不使用(簡(jiǎn)單輪廓)時(shí)的一種簡(jiǎn)化結(jié)構(gòu)中。
應(yīng)該提供格式(MPEG-2到MPEG-4)及/或尺度編碼轉(zhuǎn)換。
而且希望提供從MPEG-2到MPEG-4語法的有效映射，其包括標(biāo)頭的映射。
系統(tǒng)應(yīng)該包括尺度編碼轉(zhuǎn)換，其包括空間與時(shí)間編碼轉(zhuǎn)換。
系統(tǒng)應(yīng)該允許在編碼轉(zhuǎn)換器的輸入比特流或輸出比特流上的尺度轉(zhuǎn)換。
尺度編碼轉(zhuǎn)換器應(yīng)該可將使用MPEG-2 MP@ML的ITU-R 601交織視頻編碼的比特流轉(zhuǎn)換成簡(jiǎn)單輪廓MPEG-4比特流，其包含例如適用于視頻流應(yīng)用的SIF處理視頻。
系統(tǒng)應(yīng)該提供可適用于視頻流應(yīng)用(例如，少于1Mbps)實(shí)際頻寬的輸出比特流。
本發(fā)明可提供具有上述及其他優(yōu)點(diǎn)的一種系統(tǒng)。

發(fā)明內(nèi)容
本發(fā)明有關(guān)于格式編碼轉(zhuǎn)換(MPEG-2到MPEG-4)與尺度(空間與時(shí)間)編碼轉(zhuǎn)換。
一種建議的編碼轉(zhuǎn)換器中可包括一尺度轉(zhuǎn)換，雖然這些參數(shù)可在輸入比特流或輸出比特流上編碼轉(zhuǎn)換。然而，因?yàn)榫幋a轉(zhuǎn)換器彼此共享處理組件(例如一比特流讀取器)，所以在編碼轉(zhuǎn)換器的產(chǎn)品中包括各種編碼轉(zhuǎn)換器能夠更為有效地減少?gòu)?fù)雜度。
本發(fā)明研究編碼轉(zhuǎn)換器的最關(guān)鍵需求，例如，系統(tǒng)的復(fù)雜度及處理所產(chǎn)生的損失。
在一實(shí)施例中，所建議的編碼轉(zhuǎn)換器結(jié)構(gòu)可減少?gòu)?fù)雜度，因?yàn)椴恍枰獔?zhí)行運(yùn)動(dòng)補(bǔ)償。
在一特定實(shí)施例中，編碼轉(zhuǎn)換器能使用可變的5位QP表示，而且可免除AC/DC預(yù)測(cè)與非線性DC定標(biāo)器。
本發(fā)明可選擇性用于比率控制與改變尺度。
在一種特殊方法中，其用來將以第一視頻編碼格式提供的預(yù)壓縮輸入比特流進(jìn)行編碼轉(zhuǎn)換，包括下列步驟恢復(fù)該輸入比特流的標(biāo)頭信息；提供第二不同視頻編碼格式的對(duì)應(yīng)標(biāo)頭信息；部分解壓縮該輸入比特流，以部分提供解壓縮的數(shù)據(jù)；及根據(jù)該第二格式的標(biāo)頭信息而將部分解壓縮的數(shù)據(jù)重新壓縮，以提供該輸出比特流。
在視頻數(shù)據(jù)上執(zhí)行2∶1縮小化的一種方法中，包括下列步驟通過組合4個(gè)N/2×N/2場(chǎng)模式DCT塊而從視頻數(shù)據(jù)形成N×N(例如，N＝16)離散余弦變換(DCT)系數(shù)的其中至少一輸入矩陣；執(zhí)行該輸入矩陣的垂直下采樣及解交織，以獲得兩N/2×N/2幀模式DCT塊；從兩幀模式DCT塊形成一N×N/2輸入矩陣；并且對(duì)該N×N/2矩陣的水平下采樣，以獲得一N/2×N/2幀模式DCT塊。
較好情況下，垂直與水平下采樣可使用相對(duì)的稀疏矩陣。特別是，可使用0.5[I8I8]的一垂直下采樣矩陣，其中I8是一8×8恒等矩陣。實(shí)質(zhì)上是垂直像素平均?？墒褂糜善鏀?shù)“O”與偶數(shù)“E”組成的水平下采樣矩陣。
本發(fā)明還提供了相應(yīng)的裝置。


圖1顯示一個(gè)MPEG-2視頻解碼器。
圖2顯示沒有任何可縮放特征的MPEG-4視頻解碼器。
圖3顯示根據(jù)本發(fā)明而描述的從MPEG-2到MPEG-4的一低復(fù)雜編碼轉(zhuǎn)換器(B幀無效)。
圖4顯示根據(jù)本發(fā)明而描述的減少漂移誤差(具致能B幀)之一編碼轉(zhuǎn)換器結(jié)構(gòu)。
圖5顯示根據(jù)本發(fā)明而描述的尺度編碼轉(zhuǎn)換器。
圖6顯示根據(jù)本發(fā)明而描述的4個(gè)場(chǎng)模式DCT塊到一幀模式DCT塊的下采樣。
具體實(shí)施例方式
本發(fā)明有關(guān)于格式編碼轉(zhuǎn)換(MPEG-2到MPEG-4)與尺度(空間和時(shí)間)編碼轉(zhuǎn)換。
本發(fā)明可提供比特率編碼轉(zhuǎn)換，以便以一不同的比特率將一預(yù)壓縮比特流轉(zhuǎn)換成另一壓縮的比特流。比特率編碼轉(zhuǎn)換很重要，例如對(duì)于視頻流應(yīng)用，因?yàn)榫W(wǎng)絡(luò)頻寬不固定，而且有時(shí)視頻服務(wù)器需要減少比特率以處理網(wǎng)絡(luò)路由要求?；诩?jí)聯(lián)方式的編碼轉(zhuǎn)換器可重復(fù)使用來自輸入流的MV，并且因而可免除運(yùn)動(dòng)估計(jì)(ME)，它屬于最有效率的比特率編碼轉(zhuǎn)換器之一?；诩?jí)聯(lián)方式的編碼轉(zhuǎn)換器可對(duì)輸入的比特流解碼，以獲得MV，并且形成參考幀。然后可使用一比特率控制機(jī)構(gòu)而將此信息編碼，以便以想要的比特率產(chǎn)生一輸出比特流。
空間分辨率編碼轉(zhuǎn)換對(duì)于將來HDTV與SDTV的共存來說是個(gè)重要課題。因?yàn)橐蛱鼐W(wǎng)頻寬大小可能無法適用于廣播質(zhì)量圖像，所以該編碼轉(zhuǎn)換對(duì)于視頻流應(yīng)用是非常有益的。因此，將廣播質(zhì)量比特流下采樣成可處理分辨率比特流是人們所希望的。因?yàn)樗黠@減少了系統(tǒng)的復(fù)雜度，所以空間分辨率編碼轉(zhuǎn)換通?？稍趬嚎s(DCT)領(lǐng)域執(zhí)行。在壓縮域的下采樣處理中包括對(duì)兩個(gè)參數(shù)的處理，即是DCT系數(shù)與MV。一種下采樣過濾器及其快速算法可建議用來執(zhí)行DCT系數(shù)下采樣。MV再采樣可在實(shí)際的產(chǎn)品中用來找到下采樣視頻的MV，以避免漂移，其余的運(yùn)動(dòng)補(bǔ)償應(yīng)該重新轉(zhuǎn)換，以便從輸入比特流取代近似DCT系數(shù)。
1.高級(jí)別比較結(jié)構(gòu)MPEG-2與MPEG-4可采用類似視頻壓縮算法?；旧?，兩標(biāo)準(zhǔn)是采用運(yùn)動(dòng)預(yù)測(cè)，以便在DCT域中利用時(shí)間相關(guān)性與量化，以便在一幀內(nèi)使用時(shí)間相關(guān)性。此部分在高級(jí)別上描述MPEC-2與MPEG-4解碼器的結(jié)構(gòu)，然后描述在兩標(biāo)準(zhǔn)之間的不同。
1.1MPEG-2圖1顯示MPEG-2的簡(jiǎn)化視頻解碼處理。在解碼器100中，編碼的視頻數(shù)據(jù)可提供給一可變長(zhǎng)度解碼功能110，以便提供一維空間數(shù)據(jù)QFS[n]，其中n是在0-63范圍內(nèi)的系數(shù)索引。在逆向掃描功能120中，QFS[n]可轉(zhuǎn)換成由QF[v][u]表示的系數(shù)二維空間數(shù)組，其中數(shù)組索引u和v是在0到7的范圍內(nèi)。反量化功能130可應(yīng)用適當(dāng)?shù)姆戳炕阈g(shù)，以便提供最后重建的頻域DCT系數(shù)F[v][u]。逆向DCT功能140可產(chǎn)生像素(空間)域值f[y][x]。運(yùn)動(dòng)補(bǔ)償功能150可響應(yīng)幀存儲(chǔ)160，及用以產(chǎn)生解碼像素d[y][x]的值f[y][x]，其中y和x是像素域中的笛卡爾坐標(biāo)。
MPEG-2可在宏塊級(jí)別上進(jìn)行運(yùn)動(dòng)補(bǔ)償，在塊級(jí)別上進(jìn)行DCT變換，在系數(shù)級(jí)別上進(jìn)行行程和無損編碼。而且，MPEG-2允許采用三類型的圖像，即I-、P-、和B-圖像。所允許的運(yùn)動(dòng)預(yù)測(cè)模式(向前、向后、雙向)可指定為P-和B-圖像。MPEG-2采用交織編碼工具，以便更有效地處理交織視頻源。
1.2MPEG-4圖2顯示沒有任何可縮放特征的MPEG-4視頻解碼處理。
在解碼器200上，來自一信道的數(shù)據(jù)可從解復(fù)用210輸出。形狀數(shù)據(jù)的編碼比特流可連同MPEG-4項(xiàng)video_object_layer_shape(其表示例如目前的圖像是否為矩形、僅為二進(jìn)制或灰度圖像)而提供給開關(guān)215。如果video_object_layer_shape是等于“00”，那么不需要二進(jìn)制形狀解碼。否則，要進(jìn)行二進(jìn)制形狀解碼。
如果執(zhí)行二進(jìn)制形狀解碼，形狀解碼功能220可接收先前重建的VOP230(其可儲(chǔ)存在存儲(chǔ)器)，并且將形狀解碼的輸出提供給運(yùn)動(dòng)補(bǔ)償功能240。運(yùn)動(dòng)補(bǔ)償功能240可接收來自運(yùn)動(dòng)解碼功能235的輸出，其隨后可從解復(fù)用210接收運(yùn)動(dòng)編碼比特流。運(yùn)動(dòng)補(bǔ)償功能240亦可接收先前重建的VOP230，以便將輸出提供給VOP重建功能245。
除了來自形狀解碼功能220的輸出之外，VOP重建功能245亦可從結(jié)構(gòu)解碼功能250接收數(shù)據(jù)，接著可從解復(fù)用210接受紋理編碼流。結(jié)構(gòu)解碼功能250包括可變長(zhǎng)度解碼功能255、逆向掃描功能260、逆向DC與AC預(yù)測(cè)功能270、反量化功能280、及逆向DCT(IDCT)功能290。
相比MPEG-2，在MPEG-4中可使用幾個(gè)新工具，以增加特征及相互影響，例如，子畫面編碼、形狀編碼、靜態(tài)紋理編碼、可縮放性、與錯(cuò)誤彈性。而且，在類似MPEG-2的MPEG-4中的運(yùn)動(dòng)補(bǔ)償與紋理編碼工具可被修改，以改善編碼工具的編碼效率，例如直接模式運(yùn)動(dòng)補(bǔ)償、無限制運(yùn)動(dòng)補(bǔ)償、及高級(jí)預(yù)測(cè)。
特別是，直接模式運(yùn)動(dòng)補(bǔ)償可用于B-VOP。明確地說，它可通過采用I-或P-VOP宏塊MV以及將他們定標(biāo)以取得在B-VOP中宏塊的順向及逆向MV的雙向運(yùn)動(dòng)補(bǔ)償。每個(gè)宏塊只允許一個(gè)ΔMV。實(shí)際的MV可從Δ向量計(jì)算，而且定標(biāo)的MV可從共同的宏塊計(jì)算。
無限制運(yùn)動(dòng)補(bǔ)償允許每個(gè)宏塊有1或4個(gè)MV。4個(gè)MV模式只可在直接模式的B-VOP中使用。注意，色度宏塊的MV是來自它相關(guān)亮度宏塊的4個(gè)MV的平均。此外，無限制運(yùn)動(dòng)補(bǔ)償允許MV指出該參考幀(外部結(jié)構(gòu)從邊緣像素填補(bǔ))。
高級(jí)預(yù)測(cè)為MV與DCT系數(shù)規(guī)定了預(yù)測(cè)方法。MV預(yù)測(cè)器是根據(jù)其三個(gè)相鄰MV的中間值而設(shè)定。內(nèi)部DCT系數(shù)的預(yù)測(cè)遵循內(nèi)部AC/DC預(yù)測(cè)程序(Graham規(guī)則)。
2.編碼轉(zhuǎn)換器結(jié)構(gòu)圖3根據(jù)本發(fā)明，且具有失效B幀的低復(fù)雜度的從MPEG-2到MPEG-4編碼轉(zhuǎn)換器。
在MPEG-2與MPEG-4結(jié)構(gòu)之間的類似允許實(shí)現(xiàn)低復(fù)雜度的(從MPEG-2到MPEG-4)編碼轉(zhuǎn)換器。MPEG-2到MPEG-4編碼轉(zhuǎn)換器300使用DCT系數(shù)與MV來產(chǎn)生MPEG-4比特流，而無需實(shí)際執(zhí)行運(yùn)動(dòng)估計(jì)處理過程，而不是將MPEG-2比特流整個(gè)解碼成空間(像素)域級(jí)別。不利因素是此結(jié)構(gòu)會(huì)造成重建幀的漂移，而且不允許比特率控制。但是，因?yàn)樵贛PEG-2與MPEG-4解碼器之間的大部分不同是在無損失編碼部分，所以漂移問題很小。
編碼轉(zhuǎn)換器300中包含一個(gè)級(jí)聯(lián)MPEG-2比特流讀取器(解碼器)(310-330)以及一個(gè)MPEG-4標(biāo)頭與紋理編碼器(340-370)，并具有一標(biāo)頭解碼功能304、一查找表308、及一通信路徑312。編碼轉(zhuǎn)換器300可讀取一輸入MPEG-2比特流，其可在DCT系數(shù)與剩余MV上的功能310中執(zhí)行可變長(zhǎng)度解碼(VLD)，然后遵循MPEG-2邏輯以找出在幀中每一塊的DCT系數(shù)及/或MV。
標(biāo)頭解碼功能304可解碼MEPG-2標(biāo)頭，并且將它們提供給查找表(或類似功能)308，其可使用下列詳述的表格以獲得相應(yīng)MPEG-4標(biāo)頭。
通過標(biāo)頭、DCT系數(shù)及/或MV的信息，編碼轉(zhuǎn)換器300可將此信息編碼成MPEG-4格式。注意，參考幀在此結(jié)構(gòu)中不需要。
編碼轉(zhuǎn)換器300可從輸入比特流讀取MPEG-4標(biāo)頭，并且在一輸出比特流的固定位置寫入相應(yīng)MPEG-4標(biāo)頭。
在VLD310處理之后，可將數(shù)據(jù)提供給逆向掃描功能320、及一反量化功能330。其次，隨著經(jīng)由路徑312提供的MPEG-4標(biāo)頭信息，解碼的DCT系數(shù)數(shù)據(jù)可在MPEG-4標(biāo)頭及包括一量化功能340的紋理編碼器、及用以將量化DCT系數(shù)不同編碼的AC/DC預(yù)測(cè)功能350上進(jìn)行處理。特別是，AC/DC預(yù)測(cè)處理可通過減去DC系數(shù)及AC系數(shù)的第一列或第一行而在一個(gè)內(nèi)部MB中產(chǎn)生一剩余DC與ACDCT系數(shù)。預(yù)測(cè)器可適當(dāng)選取。注意，AC/DC預(yù)測(cè)功能350不需要MPEG-4標(biāo)頭信息。
隨后，一個(gè)掃描/游程長(zhǎng)度編碼功能360及一可變長(zhǎng)度編碼功能370可提供MPEG-4比特流。
圖4顯示一種編碼轉(zhuǎn)換器結(jié)構(gòu)，它根據(jù)本發(fā)明，并使能B幀，而將漂移誤差最小化。
相同編號(hào)的組件于對(duì)應(yīng)的圖中是表示類似組件。
為了解決在重建幀中的漂移，及缺乏比特率控制的問題，可采用像編碼轉(zhuǎn)換器400那樣更為復(fù)雜的結(jié)構(gòu)，它是圖3中編碼轉(zhuǎn)換器300一個(gè)擴(kuò)展。此結(jié)構(gòu)實(shí)際可計(jì)算紋理/剩余數(shù)據(jù)的DCT系數(shù)，因此需要運(yùn)動(dòng)補(bǔ)償。因?yàn)榇司幋a轉(zhuǎn)換器的編碼器中包括一解碼處理，所以可減少漂移誤差。
而且，因?yàn)镸PEG-4不允許B幀的內(nèi)部模式，所以編碼轉(zhuǎn)換器400可使用B幀將比特流編碼轉(zhuǎn)換。編碼轉(zhuǎn)換器400可在內(nèi)部模式中處理B幀(在MPEG-2)中的一個(gè)塊，當(dāng)作在中間模式(在MPEC-4)中具有一個(gè)零MV的塊。因?yàn)镸V是與PMV相反的預(yù)測(cè)編碼，所以它可以是一個(gè)零剩余MV(PMV)或零MV(其可產(chǎn)生一非零MV碼)。
特別是，編碼轉(zhuǎn)換器400中包括一可變長(zhǎng)度解碼功能405，其可將MV殘留數(shù)據(jù)提供給MV解碼器425，而且可將DCT系數(shù)數(shù)據(jù)提供給逆向掃描功能320。DCT數(shù)據(jù)可通過反量化功能330及逆向DCT功能420處理，以獲得像素域數(shù)據(jù)。內(nèi)部編碼像素?cái)?shù)據(jù)可經(jīng)由路徑422而提供給緩沖器，而內(nèi)部編碼像素?cái)?shù)據(jù)可經(jīng)由路徑424而提供給加法器435。
在路徑424上的像素(不同)路徑448可從運(yùn)動(dòng)補(bǔ)償功能430(響應(yīng)MV解碼器425)而加入?yún)⒖枷袼財(cái)?shù)據(jù)，以便經(jīng)由路徑448將中間編碼數(shù)據(jù)提供給緩沖器450。
對(duì)于例如MPEG-4格式的重新編碼而言，緩沖器450可將內(nèi)部像素?cái)?shù)據(jù)直接輸出給DCT功能455，或?qū)?nèi)部像素?cái)?shù)據(jù)輸出給減法器445，其中與有關(guān)來自運(yùn)動(dòng)補(bǔ)償功能440(響應(yīng)MV解碼器425)輸出不同的數(shù)據(jù)可提供給DCT功能455。
DCT系數(shù)從DCT功能455提供給量化功能340，而且然后將量化后的DCT數(shù)據(jù)提供給AC/DC(DCT系數(shù))預(yù)測(cè)功能350，其中數(shù)據(jù)流MB的AC與DC剩余可產(chǎn)生。DCT系數(shù)的這些剩余可被熵編碼。輸出數(shù)據(jù)可提供給掃描/游程長(zhǎng)度編碼功能360，而且其輸出可提供給該可變長(zhǎng)度編碼功能370，以獲得與MPEG-4兼容的比特流。
量化DCT系數(shù)亦可從量化功能340輸出給反量化功能495，其輸出可提供給逆向DCT功能490，其輸出是在加法器485與運(yùn)動(dòng)補(bǔ)償功能440的輸出的和。加法器485的輸出可提供給緩沖器480，而且隨后提供給運(yùn)動(dòng)補(bǔ)償功能440。
標(biāo)頭解碼功能304與查找表308及路徑312可如圖3的討論而操作，以便在功能340-370上控制MPEG-4格式的重新編碼。
3.格式編碼轉(zhuǎn)換器的實(shí)現(xiàn)此部分是描述例如上述圖3和4及稍后在圖5實(shí)現(xiàn)的格式編碼轉(zhuǎn)換。未明確討論的實(shí)現(xiàn)細(xì)節(jié)(例如，時(shí)間記錄與類似使用的系統(tǒng)相關(guān)細(xì)節(jié))對(duì)于本領(lǐng)域中的技術(shù)人員來說應(yīng)該是不言自明的。
在一特別實(shí)施例中，本發(fā)明的編碼轉(zhuǎn)換器可用來將主輪廓、主要級(jí)別(MP@ML)MPEG-2比特流轉(zhuǎn)換成主輪廓MPEG-4比特流。假設(shè)MPEG-2比特流是在幀圖像結(jié)構(gòu)中使用B視頻編碼法(沒有雙重主要預(yù)測(cè))編碼。通常，使用在MPEG-2編碼的相同編碼模式應(yīng)該保持。此模式在MPEG-4可能是最適宜的，因此可避免模式?jīng)Q定處理的復(fù)雜度。在MPEG-4的透明圖案始終是1(在一個(gè)VOP中具有與VOP相同大小的一矩形物體)。也就是說，MPEG-4允許通過一非零透明圖案所定義的一個(gè)任意形狀物體。此特征在MPEG-2中并不存在，所以可安全地假設(shè)編碼轉(zhuǎn)換物體的所有透明圖案是1。
3.1MPEG-2比特流讀取器根據(jù)本發(fā)明的一編碼轉(zhuǎn)換器可從MPEG-2比特流獲得比特流標(biāo)頭、DCT系數(shù)與MV。此信息可與比特流混合在一起。MPEG-2與MPEG-4比特流皆采用由數(shù)層所組成的一種等級(jí)結(jié)構(gòu)。每層以標(biāo)頭開始，隨后是其多個(gè)子層。在如表1所示的這種實(shí)現(xiàn)中，除了未使用在MPEG-4而在MPEG-2的子層之外，MPEG-2層可直接轉(zhuǎn)換成MPEG-4層。MPEG-4的DC系數(shù)與預(yù)測(cè)MV是在該子層開始的塊上重新設(shè)定。
然而，一些MPEG-4標(biāo)頭是不同于MPEG-2標(biāo)頭，反之亦然。幸運(yùn)地，MPEG-2的限制與MPEG-2標(biāo)頭信息足夠指定MPEG-4標(biāo)頭。表2至6是列出MPEG-4標(biāo)頭及其有關(guān)一MPEG-2標(biāo)頭、或每層的限制。表1.在MPEG-2與MPEG-4層之間的關(guān)系

表2.MPEG-4標(biāo)頭及其衍生(VOS和VO)


表3.MPEG-4標(biāo)頭及其衍生(VOL)




表4.MPEG-4標(biāo)頭及其衍生(VOP)


表5.MPEG-4標(biāo)頭及其衍生(宏塊與MV)


表6.MPEG-4標(biāo)頭及其衍生(塊及交織信息)


表7.MPEG-2的frame_rate_code映射到MPEG-4的vop_time_increment_resolution和fixed_vop_time_increment。

MV數(shù)據(jù)儲(chǔ)存在宏塊層。具有多達(dá)4個(gè)MV可用于每個(gè)宏塊。而且，一個(gè)MV可以是場(chǎng)類型或幀類型，而且具有整個(gè)像素或半像素分辨率。MPEG-2MV解碼處理過程可用來確定motion_code(VLC)與motion_residual(FLC)以及Δ。結(jié)合對(duì)MV的組合的預(yù)測(cè)，Δ可提供場(chǎng)/幀MV。跳越宏塊的MV可設(shè)定成零。
DCT數(shù)據(jù)儲(chǔ)存在塊層。它先從比特流(VLC)解碼，使用曲折或交互掃描模式而逆向掃描，然后反量化。內(nèi)部DC系數(shù)可從dct_dc_differential和預(yù)測(cè)器(預(yù)測(cè)器可根據(jù)MPEG-2規(guī)格而重新設(shè)定)決定。在跳越宏塊中的DCT系數(shù)設(shè)定成零。
3.2紋理編碼根據(jù)本發(fā)明的一編碼轉(zhuǎn)換器可重復(fù)使用DCT系數(shù)(有關(guān)中間幀)。要采用如下準(zhǔn)則1.將q_scale_type(線性比例)用于MPEG-2量化中。
2.MPEG量化方法只可(非H.263)在MPEG-4量化中使用，以減少在重建幀MPEG-2與MPEG-4之間的不匹配。
3.MPEG-2QP的差值可決定在MPEG-4的dquant。每當(dāng)差別值大于±2時(shí)，dquant便可設(shè)定成±2。dquant是一個(gè)2位碼，它指定在量化器、quant有關(guān)I-和P-VOP的變化。
4.量化矩陣應(yīng)該隨著MPEG-2比特流的矩陣變化而改變。
5.編碼轉(zhuǎn)換器在VOL級(jí)別上允許一種交替垂直掃描方法(用于交織序列)，從而具有靈活性。
6.內(nèi)部AC/DC預(yù)測(cè)(當(dāng)目前塊的QP不同于預(yù)測(cè)塊時(shí)便包括定標(biāo))應(yīng)該在一宏塊級(jí)別上關(guān)閉，以減少在AC量化的復(fù)雜度與不匹配。
7.可使用intra_dc_vlc_thr獲得較高效率，以選取用以編碼內(nèi)部DC系數(shù)的適當(dāng)VLC表(AC/DC)，例如，當(dāng)作量化參數(shù)的一功能(除了當(dāng)intra_dc_vlc_thr是0或7之外，這些臨界值將強(qiáng)迫使用內(nèi)部DC或AC表，而不管QP)。
8.跳過的宏塊編碼為not_coded宏塊(所有DCT系數(shù)是零)。
9.cbpy和cbpc(CBP)根據(jù)code_block_pattern_420(CBP_420)設(shè)定。注意，在MPEG-4的CBP與一內(nèi)部宏塊MPEG-2的CBP_420之間有微小的非一致性。明確地說，當(dāng)CBP_420設(shè)定時(shí)，它表示在該塊中至少有一個(gè)DCT系數(shù)不為零。CBP包含類似的信息，除了它不對(duì)應(yīng)在一個(gè)內(nèi)部宏塊(亦因intra_dc_vlc_thr而定)的DC系數(shù)之外。因此，當(dāng)CBP_420在內(nèi)部宏塊(此情況會(huì)在I-VOP和P-VOP發(fā)生，但是不會(huì)在B-VOP發(fā)生)為零時(shí)，CBP可能會(huì)不是零。
在紋理編碼中有3個(gè)損失來源，它們是QP編碼、DC預(yù)測(cè)、與DC量化的非線性定標(biāo)器。MPEG-4使用不同編碼來將QP編碼。MPEG-2在5位的使用上允許所有可能32個(gè)QP值。然而，不同值可采用多達(dá)±2(以QP值單元)，因此，大于±2的一差值會(huì)損失。此損失能通過MPEG-2率控制算法限制在宏塊中的QP變動(dòng)而減少。所有內(nèi)部宏塊可執(zhí)行適合的DC預(yù)測(cè)，其可采用不同于先前宏塊(MPEG-2DC預(yù)測(cè))的預(yù)測(cè)，從而造成量化的不同DC剩余。因?yàn)榉蔷€性定標(biāo)器，所以在MPEG-4中所有內(nèi)部宏塊的DC系數(shù)也要以不同于MPEG-2的方式量化。因此，MPEG-2與MPEG-4編碼的量化DC系數(shù)可能不同于一內(nèi)部宏塊。
3.3MV編碼編碼轉(zhuǎn)換器可將MV編碼成MPEG-4格式。然而，因?yàn)镸V編碼是無損處理，所以從MPEG-2到MPEG-4的MV編碼轉(zhuǎn)換沒有誤差。下列限制將施加在MPEG-4編碼器中1.無限制運(yùn)動(dòng)補(bǔ)償模式無效，其表示在幀邊界外是沒有MV指標(biāo)。
2.可采用高級(jí)預(yù)測(cè)模式。在MPEG-4比特流中使用了不同的預(yù)測(cè)器(一中間值)，但用于8×8像素塊的MV是相同的。也就是說，高級(jí)預(yù)測(cè)模式允許8×8MV與非線性(中央濾波器)預(yù)測(cè)器。在我們的格式編碼轉(zhuǎn)換器中只采用了一種非線性預(yù)測(cè)器(我們?nèi)匀槐３?6×16MV)。
3.直接模式是不允許用于MPEG-4比特流，這表示只有有關(guān)B-VOP的4個(gè)MV類型，亦即，16×16正向與反向向量及16×8正向與反向場(chǎng)向量。
4.每當(dāng)使用16×8場(chǎng)向量(維持模式)時(shí)，便可應(yīng)用場(chǎng)運(yùn)動(dòng)補(bǔ)償。
5.跳過的宏塊可編碼為not_coded宏塊(具有零MV的運(yùn)動(dòng)補(bǔ)償)。
6.單一f_code允許在MPEG-4使用。因此，在MPEG-2的兩方向(垂直、水平)之間的較大f_code可根據(jù)f_code(MPEG-4)＝f_code(MPEG-2)-1關(guān)系式而轉(zhuǎn)換成在MPEG-4的f_code。
7.因?yàn)檎麄€(gè)參考幀的紋理是已知的，所以不使用填補(bǔ)處理。
8.每當(dāng)兩個(gè)主要算法啟動(dòng)時(shí)，可使用場(chǎng)運(yùn)動(dòng)補(bǔ)償。向量(參考場(chǎng)與預(yù)測(cè)幀場(chǎng))可保留。場(chǎng)MV可根據(jù)以MPEG-2比特流編碼的向量
[10]而產(chǎn)生。當(dāng)相同核對(duì)的預(yù)測(cè)使用(例如，頂端場(chǎng)到頂端場(chǎng)、或底部場(chǎng)到底部場(chǎng))時(shí)，兩場(chǎng)MV都是向量
[10]。當(dāng)奇數(shù)核對(duì)的預(yù)測(cè)使用(例如，頂端場(chǎng)到底部場(chǎng)、或底部場(chǎng)到頂端場(chǎng))時(shí)，頂端場(chǎng)MV可使用向量[2]
[10]，而且底部場(chǎng)MV可使用向量[3]
[10]。r＝2，3的向量[r]
可依下式計(jì)算(a)Vector[r]
[01＝(vector
×m[parity_ref][parity_pred]//2)+dmvector
。
(b)Vector[r]
[1](vector
[1]×m[parity_ref][parity_pred]//2)+e[parity_ref][parity_pred]+dmvector[1]。
注意，(m[parity_ref][parity_pred]和e[parity_ref][parity_pred]是分別在MPEG-2規(guī)格(ISO/IEC 13818-2)的表7-11和7-12中定義。
而且，“r”表示MV的順序，例如，第一、第二、及其他等。r＝0表示MV的第一組，而且r＝1表示MV的第二組。雙主要預(yù)測(cè)使用r＝2和r＝3以識(shí)別兩額外組的MV。
“//”表示整數(shù)除法四舍五入到近似整數(shù)值。
3.4B-VOP的內(nèi)部MB編碼當(dāng)編碼在MPEG-2比特流(例如，如圖4顯示)的B幀中的一內(nèi)部MB進(jìn)行時(shí)，必需要額外轉(zhuǎn)換。對(duì)于B-VOP，MPEG-4可用直接模式取代內(nèi)部模式，從而在B幀中的一內(nèi)部MB必須在MPEG-4語法中不同編碼。此問題有兩實(shí)際解決方法。
第一個(gè)解決方法采用類似圖3(整個(gè)參考幀沒有緩沖器)的MPEG-2到MPEG-4編碼轉(zhuǎn)換器的結(jié)構(gòu)。在此MB非常接近它參考MB(它的未壓縮版本)的假設(shè)下，MC在相同VOP中的執(zhí)行可不同于先前的MB，而無需使用一MB大小的額外內(nèi)存補(bǔ)償剩余結(jié)構(gòu)。內(nèi)部MB的MV等于偏移它MB距離之先前MB的MV。
第二解決方法采使用類似在圖4中所顯示的結(jié)構(gòu)。它可保存所有I-及P-VOP的參考幀。注意，MC在此解決方法中必須在所有P-VOP上執(zhí)行。內(nèi)部MB的MV是與預(yù)測(cè)的MV(它3個(gè)相鄰的中位數(shù))相同，而且MC的執(zhí)行與所取得的MV所指出的參考MB相反。
4.壓縮域的視頻縮小化通常，視頻縮小化與尺度編碼轉(zhuǎn)換具有相同的意義。下采樣表示使用一個(gè)抗混疊(低通)濾波器的子采樣，但是子采樣與下采樣在此可交互使用。
當(dāng)尺度編碼轉(zhuǎn)換的輸入與輸出是在壓縮域時(shí)，尺度編碼轉(zhuǎn)換便需要密集計(jì)算。在壓縮域中限制操作(而且，可有效避免解碼及編碼處理)的視頻縮小化處理可大大降低復(fù)雜度。然而，在壓縮域的縮小化中出現(xiàn)兩個(gè)新問題，亦即，DCT系數(shù)與MV數(shù)據(jù)的下采樣。
最近，在壓縮域的視頻縮小化算法已得到討論，但是討論中并未說明在MPEG-2與MPEG-4之間的整個(gè)編碼轉(zhuǎn)換，包括場(chǎng)到幀去隔行問題。本發(fā)明將解決這個(gè)問題。
第4.1和4.2節(jié)可將解決方法運(yùn)用于下采樣處理的上述兩新問題。根據(jù)本發(fā)明的建議，尺度編碼轉(zhuǎn)換器實(shí)施是在圖5和6的第6節(jié)中描述。
4.1DCT塊的子采樣在以幀為基礎(chǔ)的視頻縮小化中，需要將4個(gè)8×8DCT塊合并成一個(gè)新的8×8DCT塊(包括一個(gè)場(chǎng)塊的具體細(xì)節(jié)將在稍后描述)。而且，輸出塊應(yīng)該是輸入塊的一個(gè)低通版本。此處理可通過將輸入矩陣乘以一子采樣矩陣(最好使用一低通濾波器)而在空間域中實(shí)施。在空間域中乘以子采樣矩陣相當(dāng)于在DCT領(lǐng)域中乘以一矩陣的DCT系數(shù)，因?yàn)檎蛔儞Q的分布特性。然而，在一些下采樣濾波器的DCT領(lǐng)域中的下采樣處理的運(yùn)算(計(jì)算)次數(shù)可以是在空間域相對(duì)運(yùn)算的總數(shù)。此問題的解決方法是采用稀疏下采樣矩陣(例如，一個(gè)只有小部分元素為非零值的矩陣，例如，大約30％或更低)。
稀疏下采樣矩陣基于在DCT基向量與DCT基向量對(duì)稱結(jié)構(gòu)之間的正交屬性。在R.Dugad和N.Ahuja的“A Fast Scheme ForDownsampling And Upsampling In The DCT Domain，”InternationalConference on Image Processing(ICIP)99中討論了一個(gè)方法，在此僅列出供參考，該方法來自4個(gè)處理塊的較低4×4DCT系數(shù)，將4×4IDCT應(yīng)用到每個(gè)DCT子塊，形成一新的8×8像素塊，并且應(yīng)用在一8×8DCT中，以獲得一個(gè)輸出塊。因?yàn)橄虏蓸邮枪潭?，所以下采樣矩陣可預(yù)先計(jì)算。通過將8×8DCT矩陣分成左與右半部，下采樣矩陣的值大約一半是零，因?yàn)樵?×4IDCT矩陣的欄與兩左與右8×4DCT矩陣的列之間是正交的。這種運(yùn)算(一維空間)可依下列算術(shù)表示B=Tb=Tb1…b2=[TL...TR]T4tB1…T4tB2=TLT4tB1+TRT4tB2]]>
其中b是8×1空間輸入向量，B是它相對(duì)的8×1DCT向量，b1和b2是子子采樣的4×1向量，B1和B2是較低的4×1DCT向量，T是8×8DCT變換矩陣，T4是4×4DCT矩陣，TL和TR是T的左與右半部。上標(biāo)“t”表示一矩陣轉(zhuǎn)置。Dugad的算法亦采用以DCT基向量的對(duì)稱屬性，以減少下采樣處理的復(fù)雜度。因?yàn)門的奇數(shù)列是非對(duì)稱的，而T的偶數(shù)列是對(duì)稱的，所以 和 的大小是相同(TLT4t(i,j)=(-1)i+jTRT4t(i,j),0≤i≤7,0≤j≤3).]]>“i”是一矩陣行索引，而且“j”是一矩陣列索引。因此， 和 可根據(jù)相同的組件計(jì)算，亦即，一對(duì)稱部分E(i+j是偶數(shù)的索引)、及一非對(duì)稱部分O(i+j是奇數(shù)的索引)(TLT4t=E+O]]>及TRT4t=E-O]]>)。當(dāng)下采樣處理完成時(shí)，此配置便可有效減少2個(gè)因子的乘算數(shù)值B=TLT4tB1+TRT4tB2=(E+O)B1+(E-O)B2=E(B1+B2)+O(B1-B2)]]>將4個(gè)場(chǎng)塊轉(zhuǎn)換成一幀塊的Dugad方法實(shí)施上不簡(jiǎn)單。此情況(一維空間)中，下采樣處理的擴(kuò)展可如下所示B=T(STT4tBT+SBT4tBB)]]>其中BT和BB是較低的4×1場(chǎng)向量，ST和SB是分別對(duì)應(yīng)它頂端ST及底端SB的一個(gè)8×4解交織矩陣DCT值?；蛘?，如果(j＝2i，0≤i≤3)及SB(i，j)＝0，ST的組件ST(i，j)＝1?；蛘?，如果(j＝2i+1，O≤j≤3)及SB(i，j)＝0，SB的組件SB(i，j)＝1。
為此，根據(jù)本發(fā)明用以下采樣及解交織的Dugad算法修改。
因?yàn)镾和T不是彼此正交，所以縮小化與解交織處理的操作會(huì)更復(fù)雜，因此，下采樣矩陣不是稀疏矩陣。在此僅列出供參考的于1999年8月于IEEE Trans.Circ.and Syst.For Video Technol.，第9冊(cè)，第696-700頁，由C.Yim和M.A.Isnardi發(fā)表的名稱“An EfficientMethod For DCT_Domain Image Resizing With Mixed Field/Frame-ModeMacroblocks”中建議一個(gè)場(chǎng)塊下采樣的有效方法。一個(gè)低通濾波器(其下采樣矩陣(S＝0.5[I8I8])是稀疏的)整合在解交織矩陣中。
I8表示一8×8恒等矩陣，而且[I8I8]表示包含連結(jié)成兩恒等矩陣的一16×8矩陣。當(dāng)然，恒等矩陣在對(duì)角線全部是1，而其他全是零。
該方法是使用4個(gè)8×8IDCT場(chǎng)塊開始，然后應(yīng)用下采樣矩陣S，并且執(zhí)行8×8DCT，以獲得輸出塊。注意，8×8IDCT是使用在此方法，以取代4×4IDCT。此運(yùn)算是如下式(在一維空間)所示D=TSTt00Tt=12T[I8...I8]Tt00Tt=12[I8...I8]]]>4.2MV數(shù)據(jù)的子采樣ME是整個(gè)視頻編碼處理的瓶頸。因此，可通過使用4個(gè)最初MB的MV而估計(jì)改變尺度MD的MV，而無需實(shí)際執(zhí)行ME(假設(shè)所有MB是以中間模式編碼)。注意，假設(shè)有一MPEG-2比特流，因?yàn)槊總€(gè)MB具有一輸入(只有一MPEG-4比特流對(duì)于每個(gè)塊可具有一MV)，所以MV數(shù)據(jù)的子采樣可采用4個(gè)MB的MV。最簡(jiǎn)單解決是將4個(gè)MV一起平均，以獲得新的MV，但是當(dāng)這些4個(gè)MV是不同時(shí)，便會(huì)出現(xiàn)不佳的估計(jì)。在1999年9月于IEEE Trans.Circ.and ForVideo Technol.，第9冊(cè)，第929-936頁，由B.Shen，I.K.Sethi和B.Vasudev發(fā)表名為“Adaptive Motion-Vector Resampling For CompressedVideo Downscaling”的文章中顯示一較好結(jié)果，其中可通過將更多加權(quán)提供給最壞預(yù)測(cè)MV而獲得。對(duì)每個(gè)MV的一個(gè)匹配精確A可通過在該MB的非零AC系數(shù)的數(shù)量表示。通過使用Shen等人的技術(shù)，下采樣MB的新MV可依下式計(jì)算MV′=12Σi=14MViAiΣi=14Ai]]>M.R.Hashemi、L.Winger、和S.Panchanathan發(fā)表的名為“Compressed Domain Motion Vector Resampling For Downscaling OfMPEG Video，”ICIP 99中建議一種非線性方法，可用來估計(jì)改變尺度MB的MV。類似Shen等人的算法，Hashemi的技術(shù)采用處理MB的空間運(yùn)動(dòng)而估計(jì)新的MV。在Hashemi方法中使用了稱為最大平均相關(guān)性(MAC)的一種啟發(fā)式測(cè)量，以在輸出MV的該等4個(gè)最初MV中識(shí)別出其中一個(gè)。通過使用MAC，縮小化MB的新MV可依下列計(jì)算MV=maxΣi=14Aiρdi]]>其中ρ是空間相關(guān)性，并且設(shè)定成0.85，而且di是在第i輸入MV(MVi)與輸出MV之間的歐氏距離。
5.尺度編碼轉(zhuǎn)換器的實(shí)施圖5是根據(jù)本發(fā)明而描述的尺度編碼轉(zhuǎn)換器。B幀可出現(xiàn)在輸入比特流中，但是可通過編碼轉(zhuǎn)換器被丟棄，因此不會(huì)出現(xiàn)在輸出比特流中。
在編碼轉(zhuǎn)換器500中，可加入MV定標(biāo)功能510、DCT定標(biāo)功能520、及空間定標(biāo)功能540。開關(guān)530和535可協(xié)調(diào)運(yùn)作，所以在第一設(shè)定中，DCT功能455的輸出可導(dǎo)入量化功能340，而且開關(guān)535可關(guān)閉，以允許空間定標(biāo)功能540的一輸出可輸入加法器445。在開關(guān)530和535的第二設(shè)定中，DCT定標(biāo)功能520的輸出可導(dǎo)入量化功能340，而且開關(guān)535可打開。
編碼轉(zhuǎn)換器500可將MPEG-2比特流轉(zhuǎn)換成對(duì)應(yīng)較小尺度視頻圖像的MPEG-4比特流內(nèi)，例如，從ITU-R601(720×480)到SIF(352×240)。
若要實(shí)現(xiàn)MPEG-4比特流的頻寬需求，編碼轉(zhuǎn)換器500可在水平與垂直方向(在空間定標(biāo)功能540)對(duì)兩視頻子采樣，并且跳過所有B幀(在時(shí)間定標(biāo)功能545和546)，藉此減少時(shí)間分辨率。注意，時(shí)間定標(biāo)功能546可在DCT定標(biāo)功能520之后選擇性提供。在執(zhí)行縮小化之前的B幀跳越可減少?gòu)?fù)雜度。
而且，在子采樣之前的低通濾波器(可在空間定標(biāo)功能540)將可改善視頻質(zhì)量。
可略加修改，使本發(fā)明擴(kuò)充，包括其他下采樣因子與B-VOPs。明確地說，可實(shí)現(xiàn)MV縮小化變化與模式?jīng)Q定。B-VOP的MV縮小化是包括逆向MV的一直接擴(kuò)展。B-VOP的模式?jīng)Q定能以P-VOP(例如，通過將單向MV轉(zhuǎn)換成雙向MV，同樣可在一P-VOP將內(nèi)部MB轉(zhuǎn)換成中間MB)的類似方式處理。
下面，我們討論有關(guān)尺度編碼轉(zhuǎn)換器500的6個(gè)問題。同樣假設(shè)輸入影像是704×480像素分辨率，而且使用MP@ML MPEG-2編碼器編碼，而且希望輸出是包含SIF處理影像(使用N的一幀率減少)的簡(jiǎn)單輪廓MPEG-4比特流。然而，本發(fā)明可擴(kuò)展到其他輸入與輸出格式、及分辨率。
5.1逐行掃描視頻MV縮小化處理(亮度)當(dāng)所有4個(gè)MB以中間模式編碼、及使用幀預(yù)測(cè)時(shí)，此問題便會(huì)出現(xiàn)。在這些MES的每個(gè)MV是在每個(gè)方向(水平與垂直)以2縮小，以決定4個(gè)塊MPEG-4(MPEG-4允許每個(gè)8×8塊有一MV塊)的MV。定標(biāo)的MV然后可通過使用正常MPEG-4程序而預(yù)測(cè)性編碼(使用一中央濾波器)。
注意，每個(gè)MB(包含4個(gè)塊)必須在MPEG-2與MPEG-4中以相同模式編碼。隨著視頻縮小化，輸出MB(4個(gè)塊)對(duì)應(yīng)4個(gè)輸入MB。
5.2隔行掃描視頻MV下采樣(亮度)當(dāng)所有4個(gè)MB以中間模式編碼并使用場(chǎng)預(yù)測(cè)時(shí)，此問題便會(huì)存在。需要在每個(gè)MB中將兩個(gè)場(chǎng)MV組合，以符合改變塊的一幀MV。建議的編碼轉(zhuǎn)換器可根據(jù)它相鄰的MV而取得新的MV，以取代根據(jù)空間運(yùn)動(dòng)而設(shè)定新的MV。所有8個(gè)周圍MB的MV可用來找到一預(yù)測(cè)器(場(chǎng)MV可在MB具場(chǎng)預(yù)測(cè)的情況而平均)。來自這些8個(gè)MV的中間值可變成一預(yù)測(cè)器，而且從歐氏距離接近的目前MB的場(chǎng)MV在水平方向是以2定標(biāo)，以變成新的MV。
5.3MV下采樣(色度)當(dāng)所有4個(gè)MB以中間模式編碼、及使用幀或場(chǎng)預(yù)測(cè)(MPEG-4能以相同方式處理有關(guān)一色度塊的兩預(yù)測(cè)模式)時(shí)，此問題便會(huì)發(fā)生。該處理遵循MPEG-4方法，以便從亮度MV獲得一色度MV，亦即，一色度MV是4個(gè)對(duì)應(yīng)8×8亮度MV平均的縮小版。
5.4DCT下采樣(亮度逐行掃描、色度)當(dāng)所有4個(gè)亮度MB內(nèi)部或相互間模式編碼、使用幀MD結(jié)構(gòu)、及它們的8個(gè)色度塊(4個(gè)用于Cr，而且4個(gè)用于Cb)使用幀或場(chǎng)結(jié)構(gòu)時(shí)，此問題便會(huì)發(fā)生。Dugad的方法可通過在每一方向的2因子而用來縮小化亮度與色度DCT塊。
5.5交織DCT下采樣(亮度)此問題會(huì)以兩方法之中任一個(gè)出現(xiàn)。首先，相關(guān)MB使用場(chǎng)預(yù)測(cè)，其次，它的相關(guān)MD使用幀預(yù)測(cè)。在任何情況下，希望將4個(gè)8x8場(chǎng)DCT塊(2個(gè)用于頂端場(chǎng)，而且2個(gè)用于底部場(chǎng))縮小成一8×8幀DCT塊。第一種情況的解決方法是要使用相同場(chǎng)DCT塊，當(dāng)作MC的選取之一。第二種情況包括解交織，而且建議將上述的Dugad和Yim方法組合。
明確地說，編碼轉(zhuǎn)換器可根據(jù)Yim算法而在垂直方向(而且同時(shí)執(zhí)行解交織)先將4個(gè)場(chǎng)塊縮小，以獲得兩幀塊。編碼轉(zhuǎn)換器然后可在水平方向?qū)⑦@些兩幀塊縮小，以便通過使用Dugad算法而獲得輸出塊。
在圖6中，4個(gè)8×8系數(shù)場(chǎng)模式DCT塊是在600顯示，兩個(gè)8×8幀模式DCT塊是在610顯示，而且1個(gè)8×8幀模式DCT塊是在620顯示。
根據(jù)本發(fā)明的DCT縮小化程序可概述如下1.通過如在600的顯示將4個(gè)場(chǎng)塊組合而形成16×16系數(shù)輸入矩陣。
2.對(duì)于垂直縮小化與濾波而言，根據(jù)Yim的算法而將一低通(LP)濾波器D應(yīng)用到輸入矩陣的每一列。LP輸入矩陣如610的顯示目前是16×8像素。
3.從LP矩陣([B1B2])可形成B1和B2 8×8矩陣。
4.根據(jù)Dugad的算法執(zhí)行B1和B2的每一欄的水平縮小化運(yùn)算，以獲得輸出矩陣(8×8)。(620)可依下列計(jì)算B=B1(TLT4t)t+B2(TRT4t)t=(B1+B2)E+(B1-B2)O]]>其中E和O表示如上述的偶數(shù)與奇數(shù)列。
特別是，由如下示的奇數(shù)“O”與偶數(shù)“E”矩陣組成的一水平下采樣矩陣可使用(忽略定標(biāo)因素)E＝[ e(0) 0 0 0，0e(1) 0 e(2)，00 0 0，0e(3) 0 e(4)，
0 0 e(5) 0，0 e(6) 0 e(7)，0 0 0 0，0 e(8) 0 e(9)].
O＝[0 0 0 0，o(0) 0 o(1) 0，0 o(2) 0 0，o(3) 0 o(4) 0，0 0 0 0，o(5) 0 o(6) 0，0 0 0 o(7)，o(8) 0 o(9) 0].
下列系數(shù)可使用e(0)＝4 o(0)＝2.56915448e(1)＝0.831469612 o(1)＝-0.149315668e(2)＝0.045774654 o(2)＝2e(3)＝1.582130167 o(3)＝-0.899976223e(4)＝-0.195090322o(4)＝1.026559934e(5)＝2 o(5)＝0.601344887e(6)＝-0.704885901o(6)＝1.536355513e(7)＝0.980785280 o(7)＝2e(8)＝0.906127446 o(8)＝-0.509795579e(9)＝1.731445835 o(9)＝-0.750660555.
本質(zhì)上，一DCT稀疏矩陣的乘積是當(dāng)作下采樣矩陣使用。
該技術(shù)通?？蓴U(kuò)充用于一N×N塊的2∶1縮小，其包括4個(gè)N/2×N/2系數(shù)場(chǎng)模式塊。其他縮小比率亦可適用。
5.6特殊情況當(dāng)所有4個(gè)MB不是以相同模式(不落下在任何一五個(gè)先前情況)編碼時(shí)，特殊情況便會(huì)發(fā)生。我們始終假設(shè)在其他內(nèi)部MB之中任何內(nèi)部或跳過MB是在具零MV的中間模式。場(chǎng)MV可根據(jù)第5.2節(jié)而合并，以獲得幀MV，然后應(yīng)用第5.1節(jié)的技術(shù)。MC建議決定內(nèi)部方塊的結(jié)構(gòu)，其可通過編碼轉(zhuǎn)換器而當(dāng)作具有一零MV的內(nèi)部塊處理。
6.結(jié)論可以理解，本發(fā)明可提供一種編碼轉(zhuǎn)換器結(jié)構(gòu)，它具有較小誤差且具有最低可能復(fù)雜度。此誤差會(huì)在MPEG-4紋理編碼處理(QP編碼、DC預(yù)測(cè)、非線性DC定標(biāo)器)產(chǎn)生。這些處理過程應(yīng)該在未來的MPEG-4中移除，以建立一近似無損的編碼轉(zhuǎn)換系統(tǒng)。
本發(fā)明亦可提供一尺度編碼轉(zhuǎn)換器的整個(gè)細(xì)節(jié)，以便將由MPEG-2 MP@ML編碼的ITU-R 601交織視頻編碼比特流轉(zhuǎn)換成簡(jiǎn)單輪廓MPEG-4比特流，其包含適用于一種視頻流應(yīng)用的SIF處理視頻。
對(duì)于場(chǎng)模式DCT塊的空間縮小化而言，建議以一種新的方式中將垂直與水平縮小化技術(shù)組合，以使稀疏下采樣矩陣可用于垂直與水平方向，藉此減少編碼轉(zhuǎn)換器的交換。
而且，對(duì)于MV縮小化而言，建議使用來自它8個(gè)相鄰MV的中間值。因?yàn)樗A(yù)測(cè)的MV可與全局的MV使用，所以此建議比4.2節(jié)的算法較好。它亦能與只具有兩MV的一交織MB，而不是每個(gè)ME的4個(gè)MV。
雖然本發(fā)明已描述各種不同的較佳具體實(shí)施例，但可以理解，在本發(fā)明所附的權(quán)利要求范圍內(nèi)，可作各種不同修訂與改編。
權(quán)利要求
1.一種對(duì)預(yù)壓縮的輸入比特流進(jìn)行編碼轉(zhuǎn)換的方法，該輸入比特流為第一視頻編碼格式，該方法包含下列步驟恢復(fù)該輸入比特流的標(biāo)頭信息；以第二不同視頻編碼格式提供相應(yīng)的標(biāo)頭信息；部分解壓縮該輸入比特流，以提供部分解壓縮的數(shù)據(jù)；及根據(jù)第二格式的標(biāo)頭信息而將部分解壓縮的數(shù)據(jù)重新壓縮，以提供一輸出比特流。
2.如權(quán)利要求1所述方法，其中該第一及第二視頻編碼格式分別包含一MPEG-2格式及一MPEG-4格式。
3.如權(quán)利要求1所述方法，其中該第一視頻編碼格式中包括MPEG-2主要級(jí)別的主輪廓；及該第二視頻編碼格式包括具標(biāo)準(zhǔn)中間格式(SIF)逐行掃描視頻的簡(jiǎn)單輪廓MPEG-4比特流。
4.如權(quán)利要求1所述方法，其中該部分解壓縮的數(shù)據(jù)中包含運(yùn)動(dòng)向量及離散余弦變換(DCT)系數(shù)；及該第二格式中包含一新模式?jīng)Q定、AC/DC預(yù)測(cè)、與運(yùn)動(dòng)補(bǔ)償三者中至少之一。
5.如權(quán)利要求1所述方法，其中至少有一查找表可用來提供該第二視頻編碼格式的對(duì)應(yīng)標(biāo)頭信息。
6.如權(quán)利要求1所述方法，其中縮小化是通過下采樣DCT系數(shù)與運(yùn)動(dòng)向量數(shù)據(jù)而在部分解壓縮的數(shù)據(jù)上執(zhí)行。
7.如權(quán)利要求1所述方法，其中通過執(zhí)行垂直下采樣及解交織而，在部分解壓縮數(shù)據(jù)的4個(gè)場(chǎng)模式離散余弦變換(DCT)塊的至少一組中，進(jìn)行2∶1縮小化，以獲得一個(gè)兩幀模式DCT塊的對(duì)應(yīng)組，及執(zhí)行兩幀模式DCT塊的水平下采樣，以獲得一幀模式DCT塊。
8.如權(quán)利要求7所述方法，其中該垂直下采樣亦可實(shí)現(xiàn)4個(gè)場(chǎng)模式DCT塊的低通濾波。
9.如權(quán)利要求7所述方法，其中該垂直與水平下采樣采用各自的稀疏矩陣。
10.如權(quán)利要求1所述方法，其中在重新壓縮步驟中，用于指定量化器變化的一個(gè)編碼(DQUANT)可根據(jù)部分解壓縮數(shù)據(jù)的量化參數(shù)的差值而設(shè)定。
11.如權(quán)利要求1所述方法，其中對(duì)于重新壓縮內(nèi)部編碼宏塊而言，編碼塊圖案(CBP)可根據(jù)該部分解壓縮數(shù)據(jù)的相應(yīng)值而設(shè)定。
12.如權(quán)利要求1所述方法，其中對(duì)于重新壓縮非內(nèi)部編碼宏塊而言，該部分解壓縮數(shù)據(jù)中的被跳過的宏塊被編碼為not_coded(未編碼)宏塊，其中所有離散余弦變換(DCT)系數(shù)具有一零值。
13.如權(quán)利要求1所述方法，其中在重新壓縮步驟中，該部分解壓縮數(shù)據(jù)中被預(yù)測(cè)的運(yùn)動(dòng)向量可根據(jù)該第二格式而重新設(shè)定。
14.如權(quán)利要求1所述方法，其中在重新壓縮步驟中，該部分解壓縮數(shù)據(jù)的雙主要模式宏塊可轉(zhuǎn)換成場(chǎng)編碼宏塊。
15.一種用以在視頻數(shù)據(jù)上執(zhí)行2∶1縮小化的方法，其包含下列步驟通過組合4個(gè)N/2×N/2場(chǎng)模式DCT塊，而從該視頻數(shù)據(jù)形成N×N離散余弦變換(DCT)系數(shù)輸入矩陣中的至少一個(gè)；執(zhí)行該輸入矩陣的垂直下采樣及解交織，以獲得兩N/2×N/2幀模式DCT塊；可由兩幀模式DCT塊形成一N×N/2輸入矩陣；及執(zhí)行該N×N/2矩陣的水平下采樣，以獲得一N/2×N/2幀模式DCT塊。
16.如權(quán)利要求15所述方法，其中N＝16。
17.如權(quán)利要求15所述方法，其中該垂直下采樣亦可實(shí)現(xiàn)該N×N輸入矩陣的低通濾波。
18.如權(quán)利要求15所述方法，其中該垂直下采樣使用一稀疏下采樣矩陣。
19.如權(quán)利要求18所述方法，其中該稀疏下采樣矩陣＝0.5[I8I8]，其中I8是8×8恒等矩陣。
20.如權(quán)利要求15所述的方法，其中該水平下采樣使用奇數(shù)“O”與偶數(shù)“E”所組成的一稀疏下采樣矩陣。
21.如權(quán)利要求20所述的方法，其中該偶數(shù)矩陣具有下列格式E＝[e(0) 0 0 0，0 e(1)0 e(2)，0 0 0 0，0 e(3)0 e(4)，0 0 e(5)0，0 e(6)0 e(7)，0 0 0 0，0 e(8)0 e(9)]其中e(1)至e(9)是非零系數(shù)；及該奇數(shù)矩陣具有下列格式O＝[ 0 0 0 0，o(0) 0 o(1)0，0 o(2) 0 0，o(3) 0 o(4)0，0 0 0 0，o(5) 0 o(6)0，0 0 0 o(7)，o(8) 0 o(9)0]其中o(1)至o(9)是非零系數(shù)。
22.一種用于對(duì)預(yù)壓縮輸入比特流編碼轉(zhuǎn)換的裝置，該輸入比特流為第一視頻編碼格式，該裝置包括用以恢復(fù)該輸入比特流的標(biāo)頭信息的裝置；以第二種不同視頻編碼格式提供相應(yīng)標(biāo)頭信息的裝置；用以部分解壓縮該輸入比特流，以提供部分解壓縮的數(shù)據(jù)的裝置；及用來根據(jù)第二格式的標(biāo)頭信息而將部分解壓縮的數(shù)據(jù)重新壓縮，以提供一輸出比特流的裝置。
23.一種用以在視頻數(shù)據(jù)上執(zhí)行2∶1縮小化的裝置，其包括一種裝置，該裝置通過組合4個(gè)N/2×N/2場(chǎng)模式DCT塊，而從該視頻數(shù)據(jù)形成N×N離散余弦變換(DCT)系數(shù)輸入矩陣中的至少一個(gè)；用來執(zhí)行該輸入矩陣的垂直下采樣及解交織，以獲得兩N/2×N/2幀模式DCT塊的裝置；用來可由兩幀模式DCT塊形成一N×N/2輸入矩陣的裝置；及用來執(zhí)行該N×N/2矩陣的水平下采樣，以獲得一N/2×N/2幀模式DCT塊的裝置。
全文摘要
一種編碼轉(zhuǎn)換器結(jié)構(gòu)，其具有最低可能的復(fù)雜度及較小誤差，例如可用來將MPEG－2比特流轉(zhuǎn)換成MPEG－4比特流。該編碼轉(zhuǎn)換器可從一輸入比特流讀取標(biāo)頭信息，并且以新格式提供輸出比特流的一個(gè)相應(yīng)標(biāo)頭。在一具體實(shí)施例中(圖3)，具有低復(fù)雜度的MPEG－2到MPEG－4編碼轉(zhuǎn)換器(具無效B幀)可避免需要運(yùn)動(dòng)補(bǔ)償處理過程。在另一具體實(shí)施例中(圖4)，提供一種減少漂移誤差(具致能B幀)的編碼轉(zhuǎn)換器結(jié)構(gòu)。在另一具體實(shí)施例中(圖5)，例如，提供一尺度編碼轉(zhuǎn)換器(B幀有效)以便將使用MPEG－2 MP  ML編碼的ITU-R601隔行掃描視頻編碼轉(zhuǎn)換成一簡(jiǎn)單輪廓的MPEG－4比特流，該MPEG－4比特流中包含SIF逐行掃描視頻，適用于流視頻應(yīng)用。對(duì)于場(chǎng)模式DCT塊的空間縮小化，可結(jié)合垂直的和水平的縮小化技術(shù)，使用稀疏矩陣來減少計(jì)算量。
文檔編號(hào)G06T9/00GK1435056SQ01810849
公開日2003年8月6日 申請(qǐng)日期2001年5月25日 優(yōu)先權(quán)日2000年6月9日
發(fā)明者K·帕努索蓬, 陳學(xué)敏 申請(qǐng)人:通用儀器公司