專(zhuān)利名稱(chēng)：退色補(bǔ)償?shù)膮?shù)化的制作方法
技術(shù)領(lǐng)域：
描述在視頻處理應(yīng)用中用于對(duì)退色補(bǔ)償參數(shù)化的技術(shù)和工具。例如視頻編碼器根據(jù)退色參數(shù)在參考圖象上進(jìn)行退色補(bǔ)償。
背景技術(shù)：
數(shù)字視頻占用大量的存儲(chǔ)和發(fā)送能力。典型的原始數(shù)字視頻序列每秒包括15或30幀。每幀能包括數(shù)萬(wàn)至數(shù)十萬(wàn)個(gè)象素(稱(chēng)為象元)，每個(gè)象素表示圖的細(xì)小單元。以原始形式，計(jì)算機(jī)通常用24數(shù)據(jù)位表示一個(gè)象素。因此，通常原始數(shù)據(jù)視頻序列的每秒的位數(shù)，或位速率能是5百萬(wàn)位/秒或更多。
大多數(shù)計(jì)算機(jī)和計(jì)算機(jī)網(wǎng)絡(luò)缺乏處理原始數(shù)字視頻的資源。為此原因，工程師使用壓縮(也稱(chēng)編碼)來(lái)減少數(shù)字視頻的位速率。壓縮能是無(wú)損的，其中質(zhì)量不受影響，但由于視頻的復(fù)雜性在速率方面的減少是有限的。或者，壓縮能是有損的，其中視頻的質(zhì)量受影響，但在位速率方面的減少是驚人的。解壓縮逆轉(zhuǎn)壓縮。
通常，視頻壓縮包括幀內(nèi)壓縮及幀間壓縮。幀內(nèi)壓縮技術(shù)壓縮單獨(dú)的幀，常稱(chēng)為I-幀或.關(guān)鍵幀。幀間壓縮技術(shù)參考以前幀或后續(xù)幀壓縮幀，它們通常稱(chēng)為預(yù)計(jì)幀，P-幀，或B-幀。
微軟公司的Windows Media Video，Version 8“WMV8”包括視頻編碼器和視頻解碼器。WMV8編碼器使用幀內(nèi)及幀間壓縮，而WMV8解碼器使用幀內(nèi)及幀間解壓縮。
A、WMV8中的幀內(nèi)壓縮圖1示出在WMV8編碼器中在關(guān)鍵幀中象素的塊(105)的基于塊的幀內(nèi)壓縮的例子，例如，WMV8編碼器將關(guān)鍵視頻幀分割成象素8×8的圖素塊(105)轉(zhuǎn)換成8×8塊的DCT系統(tǒng)(115)。編碼器量化(120)了DCT系數(shù)，導(dǎo)致量化DCT系統(tǒng)的8×8塊(125)，然后編碼器使其為熵編碼作好準(zhǔn)備。
編碼器將DC系數(shù)(126)編碼成從被編碼的塊的以前編碼的鄰區(qū)(如相鄰塊(135))的DC系數(shù)(136)來(lái)的差分。該編碼器熵編碼該差分(140)。圖1示出編碼成從相鄰(到左邊)塊(135)的左列(137)來(lái)的差分(147)的AC系數(shù)的左列(127)。余下的AC系數(shù)從量化的DCT系統(tǒng)的塊(125)而來(lái)。
編碼器將預(yù)測(cè)的量化的AC DCT系數(shù)的8×8塊(145)掃描(150)成一維數(shù)組(155)并隨后使用游程長(zhǎng)度編碼(160)的變化熵編碼該掃描的AC系數(shù)。編碼器從一個(gè)或多個(gè)游程/層/最近(rum/level/last)表(165)熵編碼，并輸出該熵碼(170)。
B、WMV8中的幀間壓縮在WMV8編碼器中的幀間壓縮起使用基于塊移動(dòng)的補(bǔ)償預(yù)測(cè)編碼隨后是殘留誤差的轉(zhuǎn)換碼。圖2和3示出在WMV8編碼器中對(duì)預(yù)測(cè)幀的基于塊的幀間壓縮。特別是，圖2示出對(duì)預(yù)測(cè)幀(210)的移動(dòng)估計(jì)而圖3示出對(duì)預(yù)測(cè)幀的移動(dòng)估計(jì)塊的預(yù)測(cè)殘留的壓縮。
例如，WMV8編碼器將預(yù)測(cè)分割成象素的8×8的塊。4個(gè)8×8塊的組形成宏塊。對(duì)每個(gè)宏塊，完成移動(dòng)估計(jì)處理。移動(dòng)估計(jì)近似于象素的宏塊相對(duì)于如以前已編碼的前一幀那樣的采考幀的移動(dòng)。在圖2中，WMV8編碼器計(jì)算在預(yù)測(cè)幀(210)中宏塊215的移動(dòng)向量。為計(jì)算此移動(dòng)向量，編碼器在參考幀(230)的搜索區(qū)域(235)中搜索。在搜索區(qū)域(235)中，編碼器將從預(yù)測(cè)幀(210)來(lái)的宏塊(215)與各種后選的宏塊比較以找到很好匹配的后選宏塊。在編碼器找到很好匹配的宏塊之后，編碼器輸出指定對(duì)匹配宏塊的移動(dòng)向量(編碼的熵)的信息，使得解碼器在解碼過(guò)程中能找到匹配的宏塊。當(dāng)解碼帶著移動(dòng)補(bǔ)償?shù)念A(yù)測(cè)幀(210)時(shí)，解碼器使用移動(dòng)向量對(duì)采用從參考幀(230)來(lái)的信息的宏塊(215)計(jì)算預(yù)測(cè)幀。宏塊(215)來(lái)的信息的宏塊(215)計(jì)算預(yù)測(cè)幀。宏塊(215)的預(yù)測(cè)難以完美，所以解碼器通常編碼在預(yù)測(cè)宏塊和宏塊(215)本身之間的象素差(也稱(chēng)為誤差或殘留塊)的8×8的塊。
圖3示出在WMV8編碼器中誤差塊(335)的計(jì)算和編碼的例子。誤差塊(335)是預(yù)測(cè)塊(315)和原始當(dāng)前塊(325)之間的差。編碼器應(yīng)用DCT(340)于誤差塊(335)，導(dǎo)致8×8系數(shù)塊(345)。然后編碼器量化(350)DCT系統(tǒng)，導(dǎo)致8×8的量化DCT系數(shù)塊(355)。量化步長(zhǎng)是可調(diào)節(jié)的。量化導(dǎo)致精確損失，但不完全損失系數(shù)的信息。
然后編碼器使8×8的量化DCT系數(shù)塊(335)為熵編碼化好準(zhǔn)備。編碼器將8×8的塊(355)掃描成64元素的一維數(shù)組(365)，使得系數(shù)通常從最低頻排序到最高頻，這通常建立零值的長(zhǎng)游程。
編碼器使用游程長(zhǎng)度編碼(370)的變種熵編碼該掃描的系數(shù)。編碼器從一個(gè)或多個(gè)游程/層/最后表(375)中選擇熵碼并輸出該熵碼。
圖4示出對(duì)幀間編碼(inter-coded)的塊的對(duì)應(yīng)解碼過(guò)程(400)的例子。由于DCT系數(shù)的量化，重構(gòu)的塊(475)不同于對(duì)應(yīng)的原始?jí)K。壓縮是有損的。
綜觀圖4，解碼器使用帶一個(gè)或多個(gè)游程/層/最后表(415)的可變長(zhǎng)度解碼(410)和游程長(zhǎng)度解碼(420)解碼(410，420)表示預(yù)測(cè)殘留的熵編碼信息。解碼器逆向掃描(430)一維數(shù)組(425)將熵解碼信息存入二維塊(435)。解碼器逆向量化并逆向離散余弦變換(一起，440)數(shù)據(jù)，導(dǎo)致重構(gòu)的誤差塊(445)在分別的移動(dòng)補(bǔ)償路徑中，解碼器使用對(duì)于從參考幀的位移的移動(dòng)向量信息(445)計(jì)算預(yù)測(cè)塊(465)。解碼器將預(yù)測(cè)塊(465)于重構(gòu)誤差塊(445)相結(jié)合(470)以形成重構(gòu)的塊(475)。
在原始和重構(gòu)的幀之間的改變量稱(chēng)為失真，編碼幀所需要的位數(shù)稱(chēng)為對(duì)幀的速率。失真的量粗略地反比于速率。換言之，用更少的位編碼一個(gè)幀(更大的壓縮)導(dǎo)致更大的失真，反之亦然。
C、傳統(tǒng)的基于移動(dòng)的視頻壓縮的局限性帶有如退色，幻影化，和混合效果的視頻序列需要相當(dāng)大量的數(shù)據(jù)位去編碼，因?yàn)閭鹘y(tǒng)局域移動(dòng)的視頻壓縮方法通常對(duì)那樣的幀不起作用。例如，考慮一個(gè)視頻序列，其中一幀中的一個(gè)對(duì)象從一幀到下一幀在一個(gè)方向熵稍有移動(dòng)。在通常的塊一匹配移動(dòng)估計(jì)技術(shù)中，在沒(méi)有退色的視頻序列中對(duì)在當(dāng)前幀中的一個(gè)塊找到在以前幀中的匹配，并編碼最終的移動(dòng)向量可能是簡(jiǎn)單的事情。但是例如若“退色到黑”發(fā)生在視頻序列中，在當(dāng)前幀中的每個(gè)亮度值可以相對(duì)于前一幀改變，使得視頻編碼器不能對(duì)該塊我們很好的匹配。退色也能由于自然的亮度變化在序列中。如混合和幻影化那樣的其他漸變效應(yīng)也降低了直接移動(dòng)估計(jì)/補(bǔ)償?shù)挠行浴?br> 1、視頻壓縮和解壓縮的標(biāo)準(zhǔn)除WMV8之外，若干國(guó)際標(biāo)準(zhǔn)關(guān)系到視頻壓縮和解壓縮。這些標(biāo)準(zhǔn)包括Motion Picture Experts Group“MPEG”1、2、和4標(biāo)準(zhǔn)以及從InternationalTelecommunication Union“ITU”來(lái)的H.261，H.262，和H.263標(biāo)準(zhǔn)。類(lèi)似WMV8，這些標(biāo)準(zhǔn)使用幀內(nèi)及幀間幀間壓縮的組合，雖然該標(biāo)準(zhǔn)通常在所使用的壓縮技術(shù)的細(xì)節(jié)上不同于WMV8。例如，H.263標(biāo)準(zhǔn)的附錄P描述了Reference Pictgur Resampling方式(參考圖形重采樣方式)，用于在編碼期間適當(dāng)?shù)馗淖儓D形的分辨率的預(yù)測(cè)。
給出對(duì)數(shù)字視頻的視頻壓縮和解壓縮的關(guān)鍵的重要性，不會(huì)人驚訝地感到，視頻的壓縮和解壓縮有很大發(fā)展余地。無(wú)論以前的視頻壓縮和解壓縮技術(shù)有多少益處，但是他們沒(méi)有下列技術(shù)和工具的優(yōu)點(diǎn)。

發(fā)明內(nèi)容
視頻壓縮的一個(gè)目的是改善速率一失真的性能—換言之，使用較少的位得到同樣的質(zhì)量，或使用同樣的位數(shù)達(dá)到更高的質(zhì)量。達(dá)到此目標(biāo)的一個(gè)方法是識(shí)別出需要相當(dāng)大量的位來(lái)編碼的視頻序列的部分，并隨后找到更好壓縮那些部分的方法。帶有如退色，幻影化，和混合效果的視頻序的部分是不常見(jiàn)的，但當(dāng)發(fā)生時(shí)需要大量的位來(lái)編碼，因?yàn)閭鹘y(tǒng)的基于移動(dòng)視頻壓縮方法通常在那些部分無(wú)效。
因而，總之，詳細(xì)的描述針對(duì)改善對(duì)視頻序列的速率—失真的性能的各種技術(shù)及工具。那些視頻序列包括漸強(qiáng)顯示，漸弱顯示，交叉退色或其他退色，混合或幻影化效果。例如，視頻編碼器通過(guò)根據(jù)退色參數(shù)調(diào)節(jié)參考幀實(shí)現(xiàn)對(duì)當(dāng)前幀的退色補(bǔ)償。這使得更有效地使用參考幀作移動(dòng)補(bǔ)償。視頻解碼器通過(guò)調(diào)節(jié)參考幀實(shí)現(xiàn)退色補(bǔ)償。尤其是詳細(xì)的描述提及參數(shù)化參考幀調(diào)節(jié)的有效方法。
在第一組技術(shù)和工具中，視頻編碼器或解碼器獲得包括縮放參數(shù)和移位參數(shù)的退色參數(shù)。視頻編碼器或解碼器通過(guò)重映射在參考視頻圖象(如幀，域，或?qū)ο笃矫?中的象素值(如色度或亮度值)，借助退色參數(shù)進(jìn)行退色補(bǔ)償，那些參數(shù)能使用如固定長(zhǎng)或可變長(zhǎng)碼編碼。例如，退色參數(shù)指定象素范圍的線(xiàn)性變換，包括使用縮放參數(shù)的縮放象素值(如色度或亮度值)。在某些情況中，象素范圍的線(xiàn)性變換還包括使用移位參數(shù)移位被縮放的象素值。視頻編碼器或解碼器對(duì)相對(duì)于重映射的參考視頻圖象的當(dāng)前視頻圖象的至少一部分進(jìn)行移動(dòng)補(bǔ)償。
在第二組技術(shù)和工具中，視頻編碼器或解碼器獲得包括縮放參數(shù)和移位參數(shù)的整體亮度改變補(bǔ)償參數(shù)。視頻編碼器或解碼器通過(guò)重映射對(duì)一個(gè)參考視頻幀的所有象素值，借助整體亮度改變補(bǔ)償參數(shù)，進(jìn)行整體亮度改變補(bǔ)償。視頻編碼器或解碼器對(duì)相對(duì)于重映射的參考視頻幀的當(dāng)前視頻幀的至少一部分進(jìn)行移動(dòng)補(bǔ)償。
各種技術(shù)和工具能組合地或單獨(dú)地使用。不同實(shí)施例實(shí)施一個(gè)或多個(gè)所描述的技術(shù)和工具。
從下面參考附圖對(duì)不同實(shí)施的描述，另外的特征和優(yōu)點(diǎn)將變得一清二楚。


圖1是示出按以前技術(shù)的基于塊的幀內(nèi)壓縮的原理圖。
圖2是示出按以前技術(shù)在視頻編碼器中移動(dòng)估計(jì)的原理圖。
圖3是示出按以前技術(shù)基于塊的幀間壓縮的原理圖。
圖4是示出按以前技術(shù)基于塊的幀間解壓縮的原理圖。
圖5是能實(shí)現(xiàn)若干所述諸實(shí)施例的合適的計(jì)算環(huán)境的原理框圖。
圖6是用于若干所述實(shí)施例的普通的視頻編碼器系統(tǒng)的原理框圖。
圖7是用于若干所述實(shí)施例的普通的視頻解碼器系統(tǒng)的原理框圖。
圖8是流程圖，示出使用退色估計(jì)和補(bǔ)償編碼視頻的技術(shù)。
圖9是流程圖，示出使用退色補(bǔ)償界面經(jīng)編碼的視頻的技術(shù)。
圖10是能實(shí)現(xiàn)退色估計(jì)和補(bǔ)償?shù)囊曨l編碼系統(tǒng)的原理框圖。
圖11是能實(shí)現(xiàn)退色補(bǔ)償?shù)囊曨l解碼系統(tǒng)的原理框圖。
圖12是流程圖，示出用于退色估計(jì)和參數(shù)提取的技術(shù)。
圖13是示出發(fā)信號(hào)方案的圖表，用于指出對(duì)一個(gè)幀是否使用退色補(bǔ)償。
具體實(shí)施例方式
描述的實(shí)施例涉及退色估計(jì)的/或補(bǔ)償?shù)募夹g(shù)和工具。沒(méi)有退色補(bǔ)償/估計(jì)功能，具有如退色，幻影化，和混合現(xiàn)象的視頻序列需要相當(dāng)大量的數(shù)據(jù)位來(lái)編碼，因?yàn)閭鹘y(tǒng)的基于移動(dòng)的視頻壓縮方法在那樣的幀上一般不起作用。描述的實(shí)施例通過(guò)在那樣幀中做出退色估計(jì)/補(bǔ)償改善速率—失真性能。各種實(shí)施例涉及用于估計(jì)，應(yīng)用，編碼和/或解碼整體亮度改變參數(shù)的技術(shù)和工具。
在某些實(shí)施例的退色補(bǔ)償包括對(duì)一個(gè)或多個(gè)參考幀做出整體亮度改變，它們可以是一幀，一幀的一部分(如幀中的單獨(dú)塊或宏塊或幀中的一組宏塊)，或要編碼或解碼的另外特定部分。然后通過(guò)從北調(diào)節(jié)的一個(gè)或多個(gè)參考幀來(lái)的移動(dòng)估計(jì)/補(bǔ)償預(yù)測(cè)當(dāng)前幀。另外，退色補(bǔ)償包括整體改變到參考幀，以補(bǔ)償如混合或幻影那樣的現(xiàn)象。通常，退色補(bǔ)償包括度地退色(即退色到黑或從黑色退色)，混合，幻影化或其他影響像素值強(qiáng)度的自然或合成光照效果的補(bǔ)償。然而，不失一般性，術(shù)語(yǔ)整體亮度改變及退色這里可交換的使用，除非上下文另作明確表示。
除了在幀上完成了退色補(bǔ)償，某些實(shí)施例在域，對(duì)象層或其他圖象上完成退色補(bǔ)償。
在某些實(shí)施例中，通過(guò)在YUV顏色空間中調(diào)節(jié)參考幀在亮度和色度通道中得值發(fā)生退色補(bǔ)償。調(diào)節(jié)包括縮放及移位亮度象素值和縮放及移位色調(diào)象素值。另外，顏色空間可以不同(如YIQ或RGB)和/或補(bǔ)償不使用其他調(diào)節(jié)技術(shù)。
編碼器/解碼器在逐幀的基礎(chǔ)上完成退色估計(jì)/補(bǔ)償。另外，編碼器/解碼器可在某個(gè)另外基礎(chǔ)上或載入一個(gè)或多個(gè)塊或宏塊的部分上實(shí)現(xiàn)退色估計(jì)/補(bǔ)償。
各種技術(shù)和工具能組合地或單獨(dú)的使用。不同的實(shí)施例實(shí)現(xiàn)一個(gè)或多個(gè)所述技術(shù)和工具。雖然這些技術(shù)的操作通常為了表示的緣故以特定順序次序描述，應(yīng)該理解，描述的方式包含在操作次序中的次要的重排序，除非需要特定的排序。例如，在某些情況順序描述的操作能重排序或同時(shí)執(zhí)行。此外，為簡(jiǎn)單起見(jiàn)，流程圖通常示出特定技術(shù)能結(jié)合其他技術(shù)使用的各種途徑。
在某些實(shí)施例中，視頻編碼器和解碼器使用位流中的各種特征及信號(hào)。雖然敘述了特定標(biāo)志及信號(hào)，應(yīng)明白，此描述方式包括對(duì)標(biāo)志和信號(hào)的不同傳統(tǒng)(如0而不是1)I.計(jì)算環(huán)境圖5示出其中能實(shí)現(xiàn)若干所述實(shí)施例的合適的計(jì)算環(huán)境(500)的普通的例子。該計(jì)算環(huán)境不試圖作為使用或功能范圍的任何限止，因?yàn)榧夹g(shù)和工具能在各種通用或當(dāng)用計(jì)算環(huán)境中實(shí)現(xiàn)。
參考圖5，計(jì)算環(huán)境(500)包括至少一個(gè)處理單元(510)和存儲(chǔ)器(520)。在圖5中，最基本的配量(530)包括在虛線(xiàn)之中。處理單元(510)執(zhí)行計(jì)算機(jī)可執(zhí)行指令并能是真實(shí)的或虛擬的處理器。在多處理系統(tǒng)中，多個(gè)處理單元執(zhí)行計(jì)算機(jī)可執(zhí)行指令以增加處理能力。存儲(chǔ)器(520)能是易失存儲(chǔ)器(如寄存器，緩沖器，RAM)，非易失存儲(chǔ)器(如ROM，EEPROM，卡存為)，或兩者的組合。存儲(chǔ)器(520)存儲(chǔ)實(shí)現(xiàn)如視頻編碼器或解碼器那樣的編碼器或解碼器的軟件(580)。
計(jì)算環(huán)境可具有另外特征。例如，計(jì)算環(huán)境(500)包括存儲(chǔ)器(540)，一個(gè)或多個(gè)輸入設(shè)備(550)，一個(gè)或多個(gè)輸出設(shè)備(560)，和一個(gè)或多個(gè)通訊連接(570)。如總線(xiàn)，控制器，或網(wǎng)絡(luò)等互聯(lián)機(jī)構(gòu)(未示出)互聯(lián)該計(jì)算環(huán)境(500)設(shè)備部件。通常，操作系統(tǒng)軟件為在該計(jì)算環(huán)境(500)中執(zhí)行的其他軟件提供運(yùn)行環(huán)境，并協(xié)調(diào)計(jì)算環(huán)境(500)各部件的活動(dòng)。
存儲(chǔ)器(540)能是可取走活不可能取走的，并磁盤(pán)，磁帶或盒帶，CD-ROM，DVD，或任何其他能用于存儲(chǔ)信息并在該計(jì)算環(huán)境(500)中能被訪(fǎng)問(wèn)的其他介質(zhì)。存儲(chǔ)器(540)存儲(chǔ)實(shí)現(xiàn)編碼器活結(jié)碼器的軟件的指令。
輸入設(shè)備(550)能是如鍵盤(pán)，鼠標(biāo)，筆，或跟蹤就那樣的接觸輸入設(shè)備，語(yǔ)音輸入設(shè)備，掃描設(shè)備，或另外向計(jì)算環(huán)境(500)提供輸入的設(shè)備，對(duì)聲頻或視頻編碼，輸入設(shè)備(550)能是聲卡，視頻卡，TV調(diào)諧卡，或以模擬方式接收聲頻或視頻輸入的類(lèi)似設(shè)備，或?qū)⒙曨l或視頻樣本讀入計(jì)算環(huán)境(500)的CD-ROM或CD-RW。輸出設(shè)備(560)可以是置示器，打印機(jī)，揚(yáng)聲器，CD-寫(xiě)入器，或從計(jì)算環(huán)境(500)提供輸出得其他設(shè)備。
通訊連接(570)使能經(jīng)通訊介質(zhì)通訊另外計(jì)算實(shí)體。通訊介質(zhì)傳遞入計(jì)算機(jī)可執(zhí)行指令，聲頻或視頻輸入或輸出，或以調(diào)制數(shù)據(jù)信號(hào)方式的其他數(shù)據(jù)。調(diào)制數(shù)據(jù)信號(hào)是那樣的信號(hào)。他是有一個(gè)或多個(gè)特征組或以在信號(hào)中編碼信息的方式改變。作為例子，通訊合介質(zhì)包括用電，光，RF，紅外，聲頻或其他載體實(shí)現(xiàn)的有線(xiàn)或無(wú)線(xiàn)技術(shù)，但不限于這些。
能以計(jì)算機(jī)可讀介質(zhì)的一般情況描述技術(shù)和工具。計(jì)算機(jī)可讀介質(zhì)是任何在計(jì)算環(huán)境中能訪(fǎng)問(wèn)的可用介質(zhì)。作為例子，對(duì)計(jì)算機(jī)環(huán)境(500)，計(jì)算機(jī)可讀介質(zhì)包括內(nèi)存(520)，存儲(chǔ)器(540)通訊介質(zhì)和上述的任何組合，但不限于這些。
技術(shù)和工具能以計(jì)算機(jī)可執(zhí)行指令的一般情況描述，使得包括在程序模塊的那些在目標(biāo)的真實(shí)的或虛擬的處理器上的計(jì)算環(huán)境中執(zhí)行。通常，程序模塊包括例行程序，程序，庫(kù)，對(duì)象，類(lèi)，組體，數(shù)據(jù)結(jié)構(gòu)等，它們完成特定任務(wù)或?qū)崿F(xiàn)特定抽象數(shù)據(jù)類(lèi)型。在各種實(shí)施例中，程序模塊的功能在程序模塊之間按需要分割獲組合。程序模塊的計(jì)算機(jī)可執(zhí)行指令能在當(dāng)?shù)氐幕蚍植际接?jì)算環(huán)境中執(zhí)行。
為表示方便，詳細(xì)描述使用術(shù)語(yǔ)“估計(jì)”，“信號(hào)”，“編碼”，“解碼”來(lái)描述在計(jì)算機(jī)環(huán)境中的操作。這些術(shù)語(yǔ)對(duì)由計(jì)算機(jī)完成的操作是高級(jí)抽象，應(yīng)不會(huì)和人完成的動(dòng)作混淆。對(duì)應(yīng)于這些術(shù)語(yǔ)的實(shí)際計(jì)算機(jī)操作根據(jù)實(shí)現(xiàn)而變化。
II.普通的視頻編碼器和解碼器圖6是普通的視頻編碼器(600)的原理框圖，圖7是普通的視頻解碼器(700)的原理框圖。
所示在編碼器和解碼器中各模塊之間的關(guān)系指出了在編碼器和解碼器中只要信息流，為簡(jiǎn)單起見(jiàn)不示出其他關(guān)系。尤其是，圖6和7通常不示出提示視頻序列，幀，宏塊，塊等的編碼器設(shè)置，模式，表格等的周邊信息。那樣的周邊信息通常在周邊信息作熵編碼之后在輸出位流中發(fā)出。輸出位流的格式能是WindowsMedia Video格式或其他格式。
編碼器(600)和解碼器(700)是基于塊的，并使用4:2:0宏塊格式，每個(gè)宏塊包括4個(gè)亮度8×8亮度塊(時(shí)常處理成16×16宏塊)和2個(gè)8×8色度塊。另外，編碼器(600)和解碼器(700)可以是基于對(duì)象的，使用不同的宏塊或塊的格式，或在不同于8×8塊及16×16宏塊的尺寸與配量的象素組上完成操作。
根據(jù)所需的實(shí)現(xiàn)和壓縮類(lèi)型，編碼或解碼模塊能加入，忽略，分割成多個(gè)模塊，與其他模塊組合，和/或用類(lèi)擬模塊替代。在另選實(shí)施例中，帶不同模塊和/或模塊的另外配置的編碼器及解碼器實(shí)現(xiàn)一個(gè)或多個(gè)所述技術(shù)。
A.視頻編碼器圖6是普通視頻編碼系統(tǒng)(600)的原理框圖。編碼器(600)接收包括當(dāng)前幀(605)的一系列視頻幀，并產(chǎn)生壓縮的視頻信息(695)作為輸出。特定的視頻編碼器地實(shí)施例通常使用普通編碼器(600)的變種或補(bǔ)充版本。
邊碼器系統(tǒng)(600)壓縮預(yù)測(cè)幀及關(guān)鍵幀。為表示起見(jiàn)，圖6示出關(guān)鍵幀通過(guò)解碼器系統(tǒng)(600)的路徑和進(jìn)到預(yù)測(cè)幀的路徑。使用編碼器系統(tǒng)(600)的許多部件壓縮關(guān)鍵幀和預(yù)測(cè)幀。由那些部件完成的確切操作，根據(jù)要壓縮的信息的類(lèi)型而變化。
預(yù)測(cè)幀[也稱(chēng)為雙向預(yù)測(cè)的p-幀，b-幀，或編碼之間幀]借助一個(gè)或多個(gè)其它幀的預(yù)測(cè)(或差)表示。預(yù)測(cè)殘留是預(yù)測(cè)幀和原始幀之間的差。相反，關(guān)鍵[也稱(chēng)i-幀，編碼內(nèi)部幀]不參考其它幀的被壓縮。
若當(dāng)前幀(605)是前向預(yù)測(cè)幀，移動(dòng)估計(jì)器(610)估計(jì)當(dāng)前幀(605)的宏塊或其他像素組相對(duì)于參考幀的移動(dòng)，參考幀是緩存在幀存儲(chǔ)器(620)的重構(gòu)的以前幀(625)。在另外的實(shí)施例中，參考幀是后讀幀，或當(dāng)前幀被雙向預(yù)測(cè)。移動(dòng)估計(jì)器(610)作為周邊信息輸出如移動(dòng)向量那樣的移動(dòng)信息(615)。移動(dòng)補(bǔ)償器(630)應(yīng)用移動(dòng)信息(615)到重構(gòu)的以前幀(625)以形成移動(dòng)補(bǔ)償當(dāng)前幀(635)和原始當(dāng)前幀(605)之間的差是預(yù)測(cè)殘留(645)。另外，移動(dòng)估計(jì)器和移動(dòng)補(bǔ)償器應(yīng)用另外類(lèi)型和移動(dòng)估計(jì)/補(bǔ)償。
頻率轉(zhuǎn)換器(660)將空間域視頻信息轉(zhuǎn)換成頻率域(即頻)數(shù)據(jù)。對(duì)基于塊的視頻幀，頻率轉(zhuǎn)換器(660)應(yīng)用離散余位轉(zhuǎn)換[“DCT”]或DCT的變化到移動(dòng)預(yù)測(cè)殘留數(shù)據(jù)的塊，產(chǎn)生DCT系數(shù)塊。另外，頻率轉(zhuǎn)換器(660)應(yīng)用如付主葉變換那樣的另外傳統(tǒng)頻率轉(zhuǎn)換，或使用子波或子波段分析。在某些實(shí)施例中，頻率轉(zhuǎn)換器(660)應(yīng)用頻率轉(zhuǎn)換到對(duì)關(guān)鍵幀的空間預(yù)測(cè)殘留的塊。頻率轉(zhuǎn)換器(660)能應(yīng)用8×8，8×4，4×8或其他大小的頻率轉(zhuǎn)換。
然后，量化器(670)量化頻譜數(shù)據(jù)系數(shù)的塊。量化器應(yīng)用均勻的標(biāo)量的量化于遂幀變化或根據(jù)其他變化的變步長(zhǎng)譜數(shù)據(jù)。另外，量化器應(yīng)用另外類(lèi)型的量化于譜數(shù)據(jù)系數(shù)，如非均勻的，向量的，或非適應(yīng)性量化，或者在不使用頻率轉(zhuǎn)換的編碼系統(tǒng)中直接量化空間域數(shù)據(jù)。除了適應(yīng)的量化，編碼器(600)能使用幀丟失(frame droppins)，適應(yīng)的濾波，或其他技術(shù)于速率制。
當(dāng)需要重構(gòu)的當(dāng)前幀用于后續(xù)的移動(dòng)估計(jì)/補(bǔ)償時(shí)，逆向量化器(676)對(duì)量化的譜數(shù)據(jù)系數(shù)完成逆向量化。然后逆向頻率轉(zhuǎn)換器(666)完成頻率轉(zhuǎn)換(660)的逆向操作，產(chǎn)生重構(gòu)的預(yù)測(cè)殘留(對(duì)預(yù)測(cè)幀)或重構(gòu)的關(guān)健幀。若當(dāng)前幀(605)是關(guān)鍵幀，將重構(gòu)的關(guān)鍵幀取作重構(gòu)的當(dāng)前幀(未示出)。若當(dāng)前幀(605)是關(guān)鍵幀，重構(gòu)的預(yù)測(cè)殘留被加到移動(dòng)-補(bǔ)償當(dāng)前幀(635)，以形成重構(gòu)的當(dāng)前幀。幀存儲(chǔ)(620)緩存了重構(gòu)的當(dāng)前幀，用于預(yù)測(cè)下一個(gè)幀。在某些實(shí)施例，解碼器應(yīng)用解塊(deblocking)濾波器到重構(gòu)幀，以適應(yīng)的光順在幀的塊中的不連續(xù)性。
熵編碼器(680)壓縮了量化器(670)的輸出和某些周邊信息[如移動(dòng)信息(615)，量化步長(zhǎng)]。典型的熵編碼技術(shù)包括算術(shù)編碼，差分編碼，Huffman編碼，游程長(zhǎng)度編碼，LI編碼，詞典編碼，和上述的組合。熵編碼器(680)通常使用不同編碼技術(shù)與不同類(lèi)型的信息(如DC系數(shù)，AC系數(shù)，不同類(lèi)型的周邊信息，)并能從特定編碼技術(shù)中的多個(gè)編碼表選擇。
熵編碼器(680)將壓縮的視頻信息(695)放入緩存器(690)。緩存級(jí)指示器反饋給位速率適應(yīng)的模塊。壓縮的視頻信息(695)從緩存器(694)以定?；蛳喈?dāng)定常的位速率例出，并對(duì)后續(xù)的流，以那個(gè)位速率存儲(chǔ)。另外，編碼器系統(tǒng)(600)在壓縮后主即流出壓縮的視頻信息。
在緩存(690)的前后，壓縮的視頻信息(695)能通道編碼，用于在網(wǎng)絡(luò)上發(fā)送。通道編碼能應(yīng)用誤差檢測(cè)和校正數(shù)據(jù)于壓縮的視頻信息(695)。
B.視頻解碼器圖7是普通視頻解碼器系統(tǒng)(700)的原理框圖。解碼器系統(tǒng)(700)接收用于壓縮的視頻幀序列的信息(795)，并產(chǎn)生包括-重構(gòu)幀(705)的輸出。視頻解碼器的特定實(shí)施例通常使用普通解碼器(700)的變種或補(bǔ)充版本。
解碼器系統(tǒng)(700)解壓縮預(yù)測(cè)幀和關(guān)鍵幀。為表示方便，圖7示出關(guān)鍵幀通過(guò)解碼系統(tǒng)(700)的路程以及對(duì)前向預(yù)測(cè)幀的路徑。使用許多解碼器系統(tǒng)(700)的部件于解壓縮關(guān)鍵幀和預(yù)測(cè)幀。由那些部件完成的確定操作能根據(jù)被壓縮的信息類(lèi)型而變化。
緩存器(790)接收對(duì)壓縮的視頻序列的信息(795)，并使接收的信息對(duì)熵解碼器(780)可用。緩存器(790)通常以隨時(shí)間非常固定的速率接收信息，并包括抖動(dòng)(jitter)緩存器，以平滑在帶寬或發(fā)送中的短促變化。緩存器(790)能包括回放緩存器和其他緩沖器。另外，緩存器(790)以變化的速率接收信息。在緩存器(790)前后，壓縮的視頻信息能被通道解碼，并為誤差檢測(cè)及校正而處理。
熵解碼器(780)熵解碼經(jīng)熵編碼的數(shù)據(jù)以及熵編碼的周邊信息(如移動(dòng)信息(715)，量化步長(zhǎng))，通常應(yīng)用在編碼器中實(shí)現(xiàn)的熵編碼的逆向操作。熵解碼技術(shù)包括算術(shù)解碼，差分解碼，Huffman解碼，游程長(zhǎng)度解碼，LZ解碼，詞典解碼，和上述的組合。熵解碼器(780)頻繁地對(duì)不同類(lèi)型的信息(如DC系數(shù)，AC系數(shù)，不同類(lèi)型的周邊信息)使用不同的解碼結(jié)束，并能從特定解碼技術(shù)的多個(gè)編碼表中選擇。
若要重構(gòu)的幀(705)是前向預(yù)測(cè)幀，移動(dòng)補(bǔ)償器(730)將移動(dòng)信息(715)施加到參考幀(725)，以形成要重構(gòu)的幀(705)的預(yù)測(cè)(735)。例如，移動(dòng)補(bǔ)償器(730)使用宏塊移動(dòng)向量尋找在參考幀(725)中的宏塊。幀緩存(720)存儲(chǔ)以前重構(gòu)的幀，用作參考幀。另外，移動(dòng)補(bǔ)償器能應(yīng)用其他類(lèi)型的移動(dòng)補(bǔ)償。由移動(dòng)補(bǔ)償器作出的預(yù)測(cè)難以完美，所以解碼器(700)也重構(gòu)預(yù)測(cè)殘留。
當(dāng)解碼器需要重構(gòu)幀，用于后續(xù)的移動(dòng)補(bǔ)償，幀存儲(chǔ)器(720)緩存重構(gòu)之幀，用于預(yù)測(cè)下一幀。在某些實(shí)施例中，編碼器應(yīng)用解塊濾波器于重構(gòu)的幀，以適應(yīng)地光順在幀的塊中的不連續(xù)性。
逆向量化器(770)逆向量化熵解碼數(shù)據(jù)。通常，逆向量化器應(yīng)用均勻的標(biāo)量逆向量化于帶有逐幀變化或根據(jù)其他而變化的步長(zhǎng)的熵解碼數(shù)據(jù)。另外，逆向量化器應(yīng)用其他類(lèi)型的數(shù)據(jù)逆向量化，例如，非均勻的，向量的，或非適應(yīng)性量化，或在不使用逆向頻率轉(zhuǎn)換的解碼系統(tǒng)中直接逆向量化空間域數(shù)據(jù)。
逆向頻率轉(zhuǎn)換器(760)轉(zhuǎn)換量化的頻率域數(shù)據(jù)成空間域視頻信息。對(duì)基于塊的視頻幀，逆向頻率轉(zhuǎn)換器(760)應(yīng)用逆向DCTIDCT，或IDCT的變化于DCT系數(shù)的塊，產(chǎn)生移動(dòng)預(yù)測(cè)殘留數(shù)據(jù)。另外，頻率轉(zhuǎn)換器(760)應(yīng)用另外傳統(tǒng)的逆向頻率轉(zhuǎn)換(如付立葉變換)或使用子波或子頻帶綜合。在某些實(shí)施例中，逆向頻率轉(zhuǎn)換器(760)應(yīng)用逆向頻率轉(zhuǎn)換到關(guān)鍵幀的空間預(yù)測(cè)殘留塊。逆向頻率轉(zhuǎn)換器(760)能應(yīng)用8×8，8×4，4×8或其他大小的逆向頻率轉(zhuǎn)換。
III、整體亮度改變估計(jì)/補(bǔ)償某些描述的實(shí)施例包括用于估計(jì)，應(yīng)用，編碼和/或解碼由少量參數(shù)描述的整體亮度改變。該工具與技術(shù)使重構(gòu)視頻的主觀和客觀質(zhì)量在更低的位速率達(dá)到。每個(gè)單獨(dú)的工具或技術(shù)實(shí)現(xiàn)下列中一個(gè)或多個(gè)1)整體亮度改變補(bǔ)償方案；2)整體亮度參數(shù)的參數(shù)化；3)計(jì)算上有效地估計(jì)/提取整體亮度參數(shù)；4)低代價(jià)地對(duì)帶整體亮度改變的幀取信號(hào)；和5)低代價(jià)地對(duì)整體亮度參數(shù)發(fā)信號(hào)通知。對(duì)一個(gè)幀，一個(gè)域，如單獨(dú)塊那樣的幀/域的一部分，單獨(dú)的宏塊，或宏塊組，或圖象的另外特定部分，亮度改變可以是整體的。雖然下面描述讀到在整個(gè)幀上亮度改變的參數(shù)化和補(bǔ)償，能使用亮度改變補(bǔ)償?shù)南嗤蚣苡?a)判定在圖象一部分(如單獨(dú)塊或宏塊)存在退色，(b)計(jì)算在此部分內(nèi)的退色參數(shù)，和(c)參數(shù)化及發(fā)送這些對(duì)圖象的給定部分的退色參數(shù)。這些技術(shù)對(duì)圖象的多個(gè)部分能重復(fù)使用。
整體亮度改變(也稱(chēng)為“退色”)能是視景的亮度和/或?qū)Ρ榷鹊母淖?。通常，改變是線(xiàn)性的，但退色也能定義位包括在同一框架內(nèi)的任何光順，非線(xiàn)性映射。退色，幻影化和混合廣泛地用于建立視頻內(nèi)容，以便光順在視景遷移中視頻幀的演變。而且，某些序列由于亮度的改變自然地展現(xiàn)出退色。帶著如退色，幻影化和混合效果的視頻幀需大量數(shù)字位來(lái)用傳統(tǒng)的基于移動(dòng)的視頻壓縮方法編碼，這通常對(duì)那樣幀是不可行的。
A、整體亮度改變補(bǔ)償方案圖8示出使用整體亮度改變補(bǔ)償編碼視頻的技術(shù)(800)。如圖6所示的編碼器(600)那樣的編碼器能實(shí)現(xiàn)該技術(shù)(800)。
首先，編碼器檢驗(yàn)在如在視頻序列中要編碼的當(dāng)前幀那樣的要編碼的幀中的退色(801)。若編碼器檢測(cè)到該幀的退色(810)，編碼器獲得退色參數(shù)。例如，編碼器如下面章節(jié)C中所述檢測(cè)到退色并獲得退色參數(shù)?；蛘撸幋a器使用不同技術(shù)檢測(cè)退色和/或獲得參數(shù)。編碼器發(fā)信號(hào)通知退色補(bǔ)償是打開(kāi)或是關(guān)閉，若是打開(kāi)則信號(hào)發(fā)信號(hào)通知退色參數(shù)。
若對(duì)該幀檢測(cè)到退色，則如下面章節(jié)B所述編碼器對(duì)該幀(830)在一個(gè)或多個(gè)參考幀上實(shí)現(xiàn)退色補(bǔ)償。當(dāng)編碼器在多個(gè)參考幀上完成退色補(bǔ)償時(shí)，這些多個(gè)參考幀可以是要編碼幀之前或之后(以回放的次序)。編碼器信號(hào)通知，從多個(gè)參考幀的哪一個(gè)補(bǔ)償要編碼的哪部分。對(duì)此信號(hào)通知，編碼器能使用在那樣系統(tǒng)已經(jīng)用于參考幀選擇的信號(hào)通知。在某些實(shí)施例中，編碼器能既使用原始幀，又使用在移動(dòng)估計(jì)/補(bǔ)償中的重映射參考幀于要編碼的幀。例如，編碼器能這樣地編碼既有退色的內(nèi)容又有未退色的當(dāng)前幀。
退色補(bǔ)償后，編碼器使用從調(diào)節(jié)的參考幀來(lái)的移動(dòng)估計(jì)/補(bǔ)償來(lái)編碼該幀(840)。若編碼器未檢測(cè)到退色，編碼器不去獲得退色參數(shù)或不去完成退色補(bǔ)償?shù)鼐幋a該幀(840)。當(dāng)編碼做完(850)，過(guò)程結(jié)束。
圖9示出使用退色補(bǔ)償解碼已編碼的視頻的技術(shù)(900)。如圖7所示的解碼器(700)能實(shí)現(xiàn)該技術(shù)(900)。
首先，解碼器檢驗(yàn)(910)，對(duì)要解碼的幀退色是否已打開(kāi)或關(guān)閉。完成此檢驗(yàn)的一個(gè)方法是校驗(yàn)由編碼器發(fā)出的信號(hào)信息。若解碼器判定，對(duì)該幀退色是打開(kāi)的(910)，解碼器完成退色補(bǔ)償(920)。例如，解碼器得到由編碼器送出的退色參數(shù)并對(duì)要解碼的幀在一個(gè)或多個(gè)參考幀上完成退色補(bǔ)償(如在編碼中那樣)。
然后解碼器使用如從調(diào)節(jié)的參考幀來(lái)的移動(dòng)補(bǔ)償解碼幀(930)。若退色關(guān)閉，解碼器解碼該幀(930)而不必完成退色補(bǔ)償。當(dāng)解碼完成(940)，過(guò)程結(jié)束。
圖10示出用于完成整體亮度改變補(bǔ)償?shù)氖纠跃幋a器框架(1000)。在此框架(1000)中，編碼器使用由退色估計(jì)獲得的參數(shù)有條件地重映射參考幀。當(dāng)編碼器以經(jīng)過(guò)幀的很好程度的可靠性與一致性檢測(cè)到退色，解碼器完成重映射或退色補(bǔ)償。否則退色補(bǔ)償是等同操作(即輸出＝輸入)。
參考圖10，編碼器將當(dāng)前幀(1010)與參考幀(1020)比較，使用退色檢測(cè)模塊(1030)判定是否發(fā)生退色。在某些實(shí)施例中，參考幀是視頻序列中在當(dāng)前幀之前的幀。另外，參考幀可以是早于以前幀或在當(dāng)前幀之后。當(dāng)使用多個(gè)參考幀時(shí)，解碼器能檢驗(yàn)每個(gè)參考幀中的退色。編碼器根據(jù)退色檢測(cè)的結(jié)果產(chǎn)生“退色打開(kāi)”或“退色關(guān)閉”信號(hào)(1040)。
若退色打開(kāi)，退色估計(jì)模塊(1050)根據(jù)對(duì)當(dāng)前幀(1010)和參考幀(1020)完成的計(jì)算估計(jì)退色參數(shù)(1060)(在下面章節(jié)C中討論某些實(shí)施例中退色估計(jì)的細(xì)節(jié))。
退色補(bǔ)償模塊(1070)使用退色參數(shù)(1060)來(lái)重映射參考幀(1020)(或者多個(gè)參考幀)。然后編碼器能使用其他編碼器模塊(1080)(如移動(dòng)估計(jì)和補(bǔ)償，頻率轉(zhuǎn)換器，和量化模塊)來(lái)壓縮該幀。編碼器輸出編碼的當(dāng)前幀(1010)定義的移動(dòng)向量，殘留和其他信息(1090)。除了從用平移移動(dòng)向量的移動(dòng)估計(jì)/補(bǔ)償以外，對(duì)整體亮度改變補(bǔ)償?shù)目蚣芸蓱?yīng)用于各種基于移動(dòng)補(bǔ)償?shù)囊曨l碼。
圖11示出用于實(shí)現(xiàn)整體亮度改變補(bǔ)償?shù)氖纠越獯a器框架(1100)。解碼器產(chǎn)生經(jīng)解碼的當(dāng)前幀(1110)。為解碼經(jīng)編碼的退色一補(bǔ)償?shù)膸獯a器使用退色補(bǔ)償模塊(1130)在以前解碼的參考幀(1120)上(或者多個(gè)參考幀)，完成退色補(bǔ)償。
若退色打開(kāi)/關(guān)閉信號(hào)(1140)指出，對(duì)編碼的當(dāng)前幀(1110)退色是打開(kāi)，解碼器在參考幀(1120)上完成退色補(bǔ)償。解碼器通過(guò)使用在退色估計(jì)期間獲得的退色參數(shù)(1150)完成退色補(bǔ)償(如在編碼器那樣)。否則(若對(duì)當(dāng)前幀退色被關(guān)閉)，退色補(bǔ)償是等同操作(即輸出＝輸入)。
然后解碼器能使用其他解碼器模塊(如移動(dòng)補(bǔ)償，逆向頻率轉(zhuǎn)換，和逆向量化模塊)采用由編碼器提供的移動(dòng)向量，殘留和其他信息(1170)來(lái)解壓縮經(jīng)編碼的幀。
B、參數(shù)化和補(bǔ)償在視頻編輯中，有時(shí)借助應(yīng)用簡(jiǎn)單的象素范圍的到亮度和色度通道的線(xiàn)性轉(zhuǎn)換實(shí)現(xiàn)合成的退色。相似地，交叉—退色有時(shí)作為隨時(shí)間合成改變的兩個(gè)視頻序列的線(xiàn)性和實(shí)現(xiàn)。因而在某些實(shí)施例中，如圖10的框架(1000)示出的編碼器將退色(不論是自然的或合成的)參數(shù)化成象素范圍的線(xiàn)性轉(zhuǎn)換，并將交叉—退色參數(shù)化成線(xiàn)性和，而如在圖11的框架(1110)中所示的解碼器完成對(duì)應(yīng)轉(zhuǎn)換。
令I(lǐng)(n)是幀n處的圖象，而I(n-1)是在前一幀的圖象。在移動(dòng)小的地方，通過(guò)在等式1中的一階關(guān)系模型化簡(jiǎn)單的退色(由于在視頻序列中的可能移動(dòng)，等式1的關(guān)系是近似的。)I(n)≈CI(n-1)+B (1)其中退色參數(shù)B和C分別對(duì)應(yīng)于亮度和對(duì)比度。當(dāng)發(fā)生非線(xiàn)退色時(shí)，第一階分量通常考基本的改變。
從一個(gè)圖象系列U(n)到一個(gè)圖象系列V(n)的交叉退色能借助等式2的關(guān)系模型化。等式2中的關(guān)系是近似的，因?yàn)樵谛蛄兄锌赡苡幸苿?dòng)。
I(n)≈αnV+(1-αn)U≈I(n-1)+α(V-U)＝/(1-α)I(n-1) n≈0 (2)
\(1+α)I(n-1) n≈1/αn≈0表示交叉—退色的開(kāi)始，n≈1/α表示交叉退色的結(jié)束。對(duì)延伸若干幀的交叉退色，α是小的。在交叉—退色起點(diǎn)，若n幀接近于n-1幀的衰減(對(duì)比度＜1)版本。趨向終點(diǎn)，第n幀是第n-1幀的放大(對(duì)比度＞1)版本。換言之，在交叉—退色的起點(diǎn)，第n幀能模型化成第n-1幀乘以對(duì)比度值1-α，而在交叉—退色的終點(diǎn)。第n幀能模型化成第n-1幀乘以對(duì)比度值1+α。等式2示出，在交叉—退色的起點(diǎn)和終點(diǎn)，編碼器能使用線(xiàn)性規(guī)則(如在下面等式3和4中所示)通過(guò)重映射參考幀(如n-1幀)獲得第n幀。
編碼器通過(guò)重映射參考幀完成整體亮度改變的補(bǔ)償。編碼器在逐個(gè)圖素的基礎(chǔ)上或在某些其他基礎(chǔ)上重映射參考幀。原始的未重映射的參考幀基本上被舍棄(雖然在多參考幀的情況，未重映射的參考幀也能被使用)。
根據(jù)等式1，下面的線(xiàn)性規(guī)則借助兩個(gè)參數(shù)B和C(對(duì)應(yīng)于視景的輝度和對(duì)比度)將參考幀R的亮度值映射到重映射的參考幀 R^≈CR+B---(3)]]>參考幀的亮度值用對(duì)比度縮放(或“加權(quán)”)并用輝度值移位(即加上偏移量)。對(duì)色度，重映射遵照下列規(guī)則R^≈C(R-μ)+μ---(4)]]>其中μ是色度值的均值。在一個(gè)實(shí)施例中，128認(rèn)為是色度值的無(wú)符號(hào)8-位表示的均值。此色度重映射的規(guī)則不使用輝度分量。
在某些實(shí)施例中，在等式3和4中使用的二參數(shù)線(xiàn)性重映射擴(kuò)展到高階項(xiàng)。例如，等式5是重映射R的亮度值到 的二階等式R^≈C1R2+C2R+B---(5)]]>其他實(shí)施例使用其他重映射規(guī)則。在對(duì)非線(xiàn)性退色的那樣重映射規(guī)則的一個(gè)類(lèi)別中，線(xiàn)性映射用非線(xiàn)性映射替代。
C、退色參數(shù)的估計(jì)退色估計(jì)是在編碼過(guò)程期間計(jì)算退色參數(shù)的過(guò)程。如在圖10的框架(1000)中示出的編碼器能在編碼過(guò)程中計(jì)算輝度(B)和對(duì)比度(C)參數(shù)。
在某些實(shí)施例中，為了精確地并以立即方式估計(jì)參數(shù)，編碼器使用圖12中示出的技術(shù)(1200)。在圖示的技術(shù)中，只分析亮度通道。另外，當(dāng)有更多計(jì)算資源可用時(shí)，編碼器在分析中包括色度。例如，解碼器在等式3和4(不只是等式3)對(duì)C求解，使C更可靠。
在圖12中示出的實(shí)施例中，在退色估計(jì)過(guò)程中視景的移動(dòng)是不顧的。這是基于下列觀察(a)退色和交叉退色通常發(fā)生在靜止或低一移動(dòng)的視景，和(b)在高運(yùn)動(dòng)視景中對(duì)整體亮度改變補(bǔ)償?shù)男в檬呛艿偷?。另外，解碼器對(duì)退色參數(shù)和移動(dòng)信息聯(lián)合地求解。然后使用移動(dòng)信息在技術(shù)(1200)的較后的階段或在某些其他時(shí)間細(xì)化退化參數(shù)的精確度。使用移動(dòng)信息的一個(gè)方法是在退色估計(jì)計(jì)算中忽略參考幀的那些部分，在那里檢測(cè)移動(dòng)。
在技術(shù)(1200)的各種部分，∑abs(I(n)-R)或 的絕對(duì)誤差之和作為判定退色的存在和參數(shù)的量度。另外，編碼器可使用其他或附加的量度，如在同一誤差項(xiàng)上的平方誤差的和“SSE”或平均平方誤差“MSE”，或者編碼器使用不同的誤差項(xiàng)。
在技術(shù)(1200)期間的各個(gè)點(diǎn)上，編碼器在滿(mǎn)足退出條件后能結(jié)束技術(shù)(1200)。圖12示出若干退出條件。作為另外的退出條件(圖12中未示出)，編碼器檢驗(yàn)在技術(shù)(1200)的開(kāi)始及中間階段對(duì)比度參數(shù)是否接近1(在一個(gè)實(shí)施例中，99＜C＜1.02)若是，結(jié)束該技術(shù)。
編碼器通過(guò)間隔采樣當(dāng)前幀和參考幀(1210)開(kāi)始過(guò)程(1200)。在一個(gè)實(shí)施例中，解碼器用因子4水平和垂直地間隔采樣。另外，編碼器能用任何因子間隔采樣，或完全不間隔地采樣。
然后解碼器在當(dāng)前幀和參考幀的低分辨率版本只(由下標(biāo)d指出)計(jì)算絕對(duì)誤差和∑abs(Id(n)-Rd)。絕對(duì)誤差和測(cè)量在間隔采樣當(dāng)前幀和間隔采樣參考幀之間的象素值的差。若該絕對(duì)誤差和小于某個(gè)閾值(1230)(如在間隔采樣的當(dāng)前幀和參考幀的象素的亮度值之間預(yù)定的差值量度)，編碼器得出結(jié)論，未發(fā)生退色，并且不進(jìn)行退色補(bǔ)償(1235)。
另外，編碼器估計(jì)亮度(B)和對(duì)比度(C)參數(shù)(1240)。對(duì)B和C的第一截?cái)喙烙?jì)借助Rd由模型Id(n)獲得。在一個(gè)實(shí)施例中，亮度和對(duì)比度通過(guò)整個(gè)間隔采樣幀的線(xiàn)性回歸分析獲得。在另外實(shí)施例中，編碼器為了更可靠的分析使用其他形式的統(tǒng)計(jì)分析，如整體最小平方，最小平方均值等。例如解碼器最小化誤差項(xiàng)Id(n)-Rd的MSE或SSE。在某些情況，MSE和SSE不可靠，所以編碼器還測(cè)試對(duì)該誤差項(xiàng)的絕對(duì)誤差。編碼器舍棄對(duì)特定點(diǎn)(可能由于移動(dòng)而非退色)的高誤差值。
然后編碼器通過(guò)量化及解量化B和C計(jì)算Bf和Cf(1250)。第一截?cái)鄥?shù)被量化及解量化，給出Bf和Cf，以保證它們落入允許的范圍，并測(cè)試一致性。在某些實(shí)施例中，對(duì)通常8-位深度的成象，B和C每個(gè)量化到6位。B取從-32到31的整數(shù)值，表示成有符號(hào)的5-位整數(shù)。表示成Cq的C的量化值從0.515625以0.015625(1/64)的相同步長(zhǎng)變化到1.484375，對(duì)應(yīng)于1到63的量化值。通過(guò)將B和C舍入到最近的合法解量化值，并選取合適的二進(jìn)制索引而完成量化。
然后編碼器計(jì)算原始的有界誤差和(Sorgbnd)以及重映射的有界絕地誤差和(SRpmpbnd)(1270)。在某些實(shí)施例中，編碼器使用擬合優(yōu)良度分析計(jì)算該和。對(duì)于在原始分辨率處隨和的或偽隨機(jī)的圖素組，編碼器計(jì)算重映射的有界絕地誤差和∑babs(I(n)-CfR-Bf)，其中對(duì)某個(gè)界限M，babs(x)＝min(abs(x)，M)。在一個(gè)實(shí)現(xiàn)中，是要編碼的幀的量化參數(shù)的倍數(shù)。當(dāng)量化參數(shù)是粗略的，界限M較高，當(dāng)量化參數(shù)是精確的，它較低。編碼器還累計(jì)原始有界絕對(duì)誤差和∑babs(I(n)-R)。若計(jì)算資源足夠，編碼器能計(jì)算整個(gè)幀的有界誤差和。
然后，根據(jù)原始的和重映射的有界絕對(duì)誤差和的相對(duì)值，編碼器判定是否使用退色補(bǔ)償(1280)。例如在某些實(shí)施例，編碼器不進(jìn)行退色補(bǔ)償，除非重映射有界絕對(duì)誤差和小于或等于原始有界絕對(duì)誤差和某個(gè)閾值的百分比σ。在一個(gè)實(shí)現(xiàn)中，σ＝0.95。若編碼器完成退色補(bǔ)償，這次根據(jù)滿(mǎn)分辨率下在I(n)和R之間的線(xiàn)性回歸分析，重新計(jì)算退色參數(shù)(1290)。為節(jié)省計(jì)算時(shí)間，編碼器能在幀的隨機(jī)或偽隨機(jī)采樣上進(jìn)行重復(fù)線(xiàn)性回歸分析。而且為了更可靠的分析，編碼器能另選地使用其他形式的統(tǒng)計(jì)分析(如總的最小平方，最小平方均值等)。當(dāng)編碼完成(1295)，過(guò)程結(jié)束。
在一個(gè)實(shí)施例中，編碼器允許在等式3和4中C＝-1的特殊情況。此特殊情況用位流中Cq＝0發(fā)信號(hào)。在此“逆向”方式，在由B移位前參考幀被反轉(zhuǎn)，而B(niǎo)的范圍是以相同步長(zhǎng)2從193到319。
D、信號(hào)通知如圖10的框架(1000)所示的編碼器發(fā)送退色打開(kāi)/關(guān)閉信號(hào)信息和退色參數(shù)。如圖11的框架(1100)所示的解碼器接收信號(hào)信息和退色參數(shù)。
在某些實(shí)施例中，在序列級(jí)上編碼器發(fā)送一位，指示對(duì)該序列整體亮度改變補(bǔ)償是否使能用于序列。編碼器還能信號(hào)通知在幀級(jí)上的整體亮度改變和/或信號(hào)通知對(duì)幀的一部分，如幀中單獨(dú)塊或宏塊，的整體亮度改變。
在通常的視頻序列的幀中，整體亮度改變或退色的發(fā)生是少見(jiàn)的。有可能通過(guò)增加一位信號(hào)通知退色(或等價(jià)地不存在退色)。例如，編碼器能通過(guò)使用一位信號(hào)通知在幀級(jí)上退色(或等價(jià)地不存在退色)。然而，與其他信息一起信號(hào)通知退色(或等價(jià)地不存在退色)更經(jīng)濟(jì)。例如，編碼器使用在對(duì)移動(dòng)方式的可變長(zhǎng)度碼(VLC)中的換碼序列(即移動(dòng)向量的數(shù)和配置，子象素內(nèi)插方案)完成幀級(jí)的信號(hào)通知。在那樣的實(shí)施例中，編碼器連帶地信號(hào)通知最少見(jiàn)的移動(dòng)方式和退色補(bǔ)償?shù)募せ睢?br> 令事件F表示存在退色，G表示對(duì)該幀挑選最少見(jiàn)的移動(dòng)方式。令VLC＜MVMODE>表示dangG為假時(shí)的移動(dòng)方式。VLC表設(shè)計(jì)成帶有用于信號(hào)通知何時(shí)F和/或G為真時(shí)的換碼符號(hào)<ESC>。表1示出F和移動(dòng)方式的聯(lián)合編碼，其后是當(dāng)退色補(bǔ)償被激活時(shí)的退色參數(shù)B和C。

表1最少見(jiàn)移動(dòng)方式和退色信號(hào)的聯(lián)合編碼若對(duì)某個(gè)幀整體亮度改變激活，跟隨另外的VLC(<MVMODE>或<ESC>)以指出移動(dòng)方式。然后，使用對(duì)B和C的二個(gè)6-位固定長(zhǎng)碼字，分別發(fā)信號(hào)通知這些參數(shù)。另外，使用VLC信號(hào)通知參數(shù)。當(dāng)應(yīng)用于如會(huì)或宏塊那樣的幀的單獨(dú)部分，編碼器能對(duì)那部分單獨(dú)地信號(hào)通知退色參數(shù)。例如，若退色只應(yīng)用于視頻幀的一個(gè)宏塊，退色信息能通過(guò)聯(lián)合熵編碼與如編碼塊樣式或轉(zhuǎn)換類(lèi)型那樣的宏塊級(jí)信息發(fā)信號(hào)通知。
圖13是示出編碼安排(對(duì)應(yīng)于表1，對(duì)一個(gè)實(shí)現(xiàn))的樹(shù)形圖，其中編碼器聯(lián)合地編碼最少見(jiàn)的移動(dòng)方式和退色的存在。(退色參數(shù)編碼的細(xì)節(jié)被省略。)編碼器使用VLC表示每個(gè)其他移動(dòng)方式(如碼“0”，“10”，和“110”分別表示移動(dòng)方式0，1，和2)。當(dāng)退色未被激活，編碼器使用換碼的碼(如“111))后跟”0“表示最少見(jiàn)的移動(dòng)方式。編碼器使用換碼的碼后跟“1“，表示退色被激活。
應(yīng)該理解，這里敘述的程序、過(guò)程、或方法不涉及也不限于任何特定類(lèi)型的計(jì)算環(huán)境，除非另作說(shuō)明。各類(lèi)通用或?qū)Ｓ糜?jì)算環(huán)境能使用或的操作。以軟件示出的實(shí)施例的單元能以硬件實(shí)現(xiàn)，反之亦然。
考慮到我們的發(fā)明的原理能應(yīng)用的許多可能的實(shí)施例，我們要求所有可能落入下面的權(quán)利要求及其等價(jià)的范圍及精神的實(shí)施例為我們的發(fā)明。
權(quán)利要求
1.一個(gè)存儲(chǔ)計(jì)算機(jī)可執(zhí)行指令的計(jì)算機(jī)可讀介質(zhì)，使計(jì)算機(jī)可編程，從而完成處理一個(gè)或多個(gè)視頻圖象的計(jì)算機(jī)實(shí)現(xiàn)方法，其特征在于，該方法包括獲取包括縮放參數(shù)和移位參數(shù)的退色參數(shù)；通過(guò)對(duì)重映射參考視頻圖象計(jì)算多個(gè)重映射象素值進(jìn)行退色補(bǔ)償，其中多個(gè)重映射象素值至少部分地根據(jù)借助于退色參數(shù)對(duì)在原始參考視頻圖象中使用的多個(gè)象素值作的重映射；和對(duì)相對(duì)于重映射的參考視頻圖象的至少部分當(dāng)前視頻圖象進(jìn)行移動(dòng)補(bǔ)償。
2.如權(quán)利要求1的計(jì)算機(jī)可讀介質(zhì)，其特征在于，退色參數(shù)只包括縮放參數(shù)和移位參數(shù)，并其中縮放參數(shù)是對(duì)比度參數(shù)而移位參數(shù)是輝度參數(shù)。
3.如權(quán)利要求2的計(jì)算機(jī)可讀介質(zhì)，其特征在于，所述退色參數(shù)指定象素范圍的線(xiàn)性轉(zhuǎn)換，包括使用對(duì)比度參數(shù)縮放多個(gè)原始象素值的亮度值；和使用輝度參數(shù)移位縮放的亮度值。
4.如權(quán)利要求2的計(jì)算機(jī)可讀介質(zhì)，其特征在于，對(duì)比度參數(shù)大于約.5且小于約1.5，且輝度參數(shù)大于約-32，小于約31。
5.如權(quán)利要求2的計(jì)算機(jī)可讀介質(zhì)，其特征在于，所述退色參數(shù)指定線(xiàn)性轉(zhuǎn)換，包括使用對(duì)比度參數(shù)縮放多個(gè)原始象素值的亮度值，其中對(duì)比度參數(shù)是-1；和使用輝度參數(shù)移位縮放的亮度值。
6.如權(quán)利要求1的計(jì)算機(jī)可讀介質(zhì)，其特征在于，縮放參數(shù)是對(duì)比度參數(shù)。
7.如權(quán)利要求6的計(jì)算機(jī)可讀介質(zhì)，其特征在于，退色參數(shù)指定象素范圍線(xiàn)性轉(zhuǎn)換，包括使用對(duì)比度參數(shù)縮放多個(gè)原始象素值的色度值。
8.如權(quán)利要求1的計(jì)算機(jī)可讀介質(zhì)，其特征在于，退色補(bǔ)償包括由縮放參數(shù)乘以象素值并將移位參數(shù)加到結(jié)果上。
9.如權(quán)利要求1的計(jì)算機(jī)可讀介質(zhì)，其特征在于，縮放參數(shù)是加權(quán)參數(shù)且移位參數(shù)是編置參數(shù)。
10.如權(quán)利要求1的計(jì)算機(jī)可讀介質(zhì)，其特征在于，所述方法在視頻解碼其間完成。
11.如權(quán)利要求1的計(jì)算機(jī)可讀介質(zhì)，其特征在于，所述方法在視頻編碼其間完成。
12.如權(quán)利要求1的計(jì)算機(jī)可讀介質(zhì)，其特征在于，所述退色參數(shù)被固定長(zhǎng)編碼。
13.如權(quán)利要求1的計(jì)算機(jī)可讀介質(zhì)，其特征在于，所述退色參數(shù)被可變長(zhǎng)編碼。
14.一個(gè)存儲(chǔ)計(jì)算機(jī)可執(zhí)行指令的計(jì)算機(jī)可讀介質(zhì)，使計(jì)算機(jī)可編程，從而完成處理在視頻序列中當(dāng)前視頻的計(jì)算機(jī)實(shí)現(xiàn)方法，該方法包括對(duì)當(dāng)前視頻幀獲得整體亮度的變補(bǔ)償參數(shù)；通過(guò)對(duì)重映射參考視頻幀計(jì)算重映射象素值進(jìn)行整體亮度改變補(bǔ)償，其中重映射象素值至少部分地根據(jù)借助當(dāng)前視頻幀的整體亮度改變補(bǔ)償參數(shù)對(duì)在原始參考視頻幀中使用的原始象素值的重映射，其中整體亮度改變補(bǔ)償參數(shù)包括縮放參數(shù)和移位參數(shù)，且其中重映射的象素值用于整個(gè)參考視頻幀；和對(duì)相對(duì)于重映射的參考視頻的當(dāng)前視頻幀的至少一部分進(jìn)行移動(dòng)補(bǔ)償。
15.如權(quán)利要求14的計(jì)算機(jī)可讀介質(zhì)，其特征在于，縮放參數(shù)是對(duì)比度參數(shù)，而移位參數(shù)是輝度參數(shù)。
16.如權(quán)利要求15的計(jì)算機(jī)可讀介質(zhì)，其特征在于，整體亮度改變參數(shù)指定象素范圍的線(xiàn)性轉(zhuǎn)換，包括使用對(duì)比度參數(shù)的原始象素值縮放亮度值；和使用輝度參數(shù)移位經(jīng)縮放的亮度值。
17.如權(quán)利要求14的計(jì)算機(jī)可讀介質(zhì)，其特征在于，縮放參數(shù)是對(duì)比度參數(shù)。
18.如權(quán)利要求17的計(jì)算機(jī)可讀介質(zhì)，其特征在于，整體亮度改變補(bǔ)償參數(shù)指定象素范圍的線(xiàn)性轉(zhuǎn)換，包括使用對(duì)比度參數(shù)縮放原始象素值的色度值。
19.如權(quán)利要求14的計(jì)算機(jī)可讀介質(zhì)，其特征在于，該方法在視頻解碼期間完成。
20.如權(quán)利要求14的計(jì)算機(jī)可讀介質(zhì)，其特征在于，該方法在視頻編碼期間完成。
21.如權(quán)利要求14的計(jì)算機(jī)可讀介質(zhì)，其特征在于，所述整體亮度補(bǔ)償參數(shù)是固定長(zhǎng)度編碼的。
22.一個(gè)處理視頻圖象的計(jì)算機(jī)化系統(tǒng)，其特征在于，該計(jì)算機(jī)化系統(tǒng)包括檢測(cè)在相對(duì)于視頻序列中的參考圖象的視頻序列中的當(dāng)前圖象中整體亮度改變的裝置；估計(jì)整體亮度改變的縮放參數(shù)和移位采納數(shù)的裝置；通過(guò)根據(jù)估計(jì)的縮放參數(shù)和估計(jì)的移位參數(shù)調(diào)節(jié)參考圖象的象素值，進(jìn)行整體亮度改變補(bǔ)償?shù)难b置；和根據(jù)參考圖象的調(diào)節(jié)的象素值對(duì)當(dāng)前圖象的至少一部分進(jìn)行移動(dòng)補(bǔ)償?shù)难b置。
23.一個(gè)存儲(chǔ)計(jì)算機(jī)可執(zhí)行指令的計(jì)算機(jī)可讀介質(zhì)，使得計(jì)算機(jī)可編程，從而完成計(jì)算機(jī)實(shí)現(xiàn)的方法，包括獲得對(duì)當(dāng)前視頻幀的一部分的退色參數(shù)；通過(guò)對(duì)重映射的參考視頻幀的相應(yīng)部分計(jì)算多個(gè)重映射象素值進(jìn)行退色補(bǔ)償，其中多個(gè)重映射象素值至少部分地根據(jù)借助退色參數(shù)對(duì)在原始參考視頻幀中使用的多個(gè)原始象素值的重映射，且其中退色參數(shù)包括縮放參數(shù)和移位參數(shù)；和對(duì)相對(duì)于重映射的參考視頻幀的對(duì)應(yīng)部分的當(dāng)前視頻幀的部分進(jìn)行移動(dòng)補(bǔ)償。
24.如權(quán)利要求23的計(jì)算機(jī)可讀介質(zhì)，其特征在于，當(dāng)前視頻幀的部分包括一個(gè)或多個(gè)塊。
25.如權(quán)利要求23的計(jì)算機(jī)可讀介質(zhì)，其特征在于，當(dāng)前視頻幀的部分包括一個(gè)或多個(gè)宏塊。
全文摘要
描述了在視頻處理應(yīng)用中進(jìn)行退色補(bǔ)償?shù)募夹g(shù)和工具。例如在編碼期間，視頻編碼器使用包括在一個(gè)或多個(gè)參考圖象上的縮放參數(shù)和移位參數(shù)進(jìn)行退色補(bǔ)償。在解碼期間，視頻解碼器在一個(gè)或多個(gè)參考圖象上進(jìn)行對(duì)應(yīng)的退色補(bǔ)償。
文檔編號(hào)H04N7/26GK1487408SQ0312416
公開(kāi)日2004年4月7日 申請(qǐng)日期2003年4月30日 優(yōu)先權(quán)日2002年5月3日
發(fā)明者S·斯里尼瓦桑, S 斯里尼瓦桑, S·雷格納塔恩, 衲傷 申請(qǐng)人:微軟公司