專利名稱：退色估計/補償?shù)闹谱鞣椒?br> 本專利宣布得到美國臨時性專利序號為NO.60/377,628，2002年5月3號申請的美國臨時性專利的利益，它加入到這里作為參考。本專利涉及同時申請的名為“Parameterization for Fading Compensation”，序號為aa/bbb,ccc的美國專利和同時申請的名為“Signaling for Fading Compensation”，序號為aa/bbb,ccc的美國專利，它們揭示的內(nèi)容合并到這里作為參考。
大多數(shù)計算機和計算機網(wǎng)絡缺乏處理原始數(shù)字視頻的資源。為此原因，工程師使用壓縮位速率(也稱編碼)來減少數(shù)字視頻的位速率。壓縮能是無損的，其中質(zhì)量不受影響，但由于視頻的復雜性，在速率方面的減少是有限的?；蛘撸瑝嚎s能是有損的，其中視頻的質(zhì)量受影響，但在位速率方面的減少是驚人的。解壓縮逆被壓縮。
通常，視頻壓縮包括幀內(nèi)壓縮及幀間壓縮。幀內(nèi)壓縮技術(shù)壓縮單獨的幀，常稱為I-幀或關(guān)鍵幀。幀間壓縮技術(shù)參考的前幀或后續(xù)幀來壓縮幀，它們通常稱為預計幀，P-幀，或B-幀。
微軟公司的Windows Media Video，Version 8[“WMV8”]包括視頻編碼器和視頻解碼器。WMV8編碼器使用幀內(nèi)及幀間壓縮，而WMV8解碼器使用幀內(nèi)及幀間解壓縮。
A.WMV8中的幀內(nèi)壓縮

圖1示出在WMV8編碼器中在關(guān)鍵幀中象素的塊(105)的基于塊的幀內(nèi)壓縮(100)的例子。例如，WMV8編碼器將關(guān)鍵視頻幀分割成象素質(zhì)8×8的塊，并應用8×8的離散全經(jīng)變換[“Dcr”-Discrete Cosins Transform](110)到單獨的塊，將8×8的圖素塊(105)轉(zhuǎn)換成8×8塊的DCT系統(tǒng)(115)。編碼器量化(102)了DCT系數(shù)，導致量化DCT系統(tǒng)的8×8塊(125)，然后編碼器使其為熵編碼做好準備。
編碼器將DC系數(shù)(126)編碼成從被編碼的塊的以前編碼的鄰區(qū)(如相鄰塊(135))的DC系數(shù)(136)來的差分。該編碼器熵編碼該差分(140)。圖1示出編碼成從相鄰(到左邊)塊(135)的左列(137)來的差分(147)的AC系數(shù)的左列(127)。余下的AC系數(shù)從量化的DCT系統(tǒng)的塊(125)而來。
編碼器將預測的量化的AC DCT系數(shù)的8×8塊(145)掃描(150)成一維數(shù)組(155)并隨后使用游程長度編碼(160)的變化熵編碼該掃描的AC系數(shù)。編碼器從一個或多個游程/層/最后(run/level/last)表(1650)熵編碼，并輸出該熵碼(170)。
B.WMV8中的幀間壓縮在WMV8編碼器中的幀間壓縮器使用基于塊移動的補償預測編碼，隨后是殘留誤差的轉(zhuǎn)換碼。圖2和3示出在WMV8編碼中對預測的基于塊的幀間壓縮。特列是，圖2示出對預測幀(210)的移動估計而圖3示出對預測幀的移動估計塊的預測殘留的壓縮。
例如，WMV8編碼器將預測幀的分割成象素8×8的塊。4個8×8塊的組形成宏塊。對每個宏塊，完成移動估計處理.移動估計近似于像素的宏塊相對于如以前已編碼的前一幀那樣的參考的移動。在圖2中，WMV8編碼器計算在預測幀(210)中宏塊(215)的移動向量。為計算此移動向量，編碼器在參考幀(230)的搜索區(qū)域(235)中搜索。在搜索區(qū)域(235)中，編碼器將從預測幀(210)來的宏塊(215)與各種后選的宏塊比較以找到很好的匹配的后選宏塊。在編碼器找到很好匹配的宏塊之后，編碼器輸出指定對匹配宏塊的移動向量編碼的熵的信息，使得解碼器在解碼過程中能找到匹配的宏塊。當解碼帶著移動補償?shù)念A測幀(210)時，解碼器使用移動向量對采用從參考幀(230)來的信息的宏塊(215)計算預測幀。宏塊(215)的預測難以完美，所以解碼器通常編碼在預測宏塊(215)本身之間的象素差(也稱為誤差或殘留塊)的8×8的塊。
圖3示出在WMV8編碼器誤差塊(335)的計算和編碼的例子。誤差塊(335)是預測塊(315)和原始當前塊(335)之差。編碼器將DCT(340)應用到誤差塊(335)，產(chǎn)生8×8的系數(shù)塊(345)。然后，編碼器量化(350)DCT系數(shù)，產(chǎn)生8×8的量化DCT系數(shù)塊(355)。量化步長是可以調(diào)節(jié)的。量化導致精度損失，但不完全損失系數(shù)的信息量。
然后編碼器使8×8的量化DCT系數(shù)塊(355)為熵編碼做好準備。編碼器將8×8的塊(355)掃描(360)成64元素的一維數(shù)組(365)，使得系數(shù)通常從最低頻排序到最高頻，這通常建立零值的長游程。
編碼器使用游程長度編碼(370)的變種熵編碼該掃描的系數(shù)。編碼器從一個或多個游程/層/最后表(375)中選擇熵碼并輸出該熵碼。
圖4示出對幀間編碼(inter-coded)塊的對應解碼過程(400)的例子。由于DCT系數(shù)的量化，重構(gòu)的塊(475)不同于對應的原始塊。壓縮是有損的。
綜觀圖4，解碼器使用帶一個或多個游程/層/最后表(415)的可變長度解碼(410)和游程長度解碼(420)，解碼(410，420)表示預測殘留的熵編碼信息。解碼器逆向掃描(430)一維數(shù)組(425)，將熵解碼信息存入二維塊(435)。解碼器逆向量化并逆向離散全經(jīng)變換(一起，440)數(shù)據(jù)，導致重構(gòu)的誤差塊(445)。在分別的移動補償路程中，解碼器使用對于從參考幀的位移的移動向量信息(445)計算預測塊(465)。解碼器將預測塊(465)與重構(gòu)誤差塊(445)相結(jié)合(470)以形成重構(gòu)的塊(475)。
在原始的和重構(gòu)的幀之間改變量稱為失真，解碼幀所需要的位數(shù)稱為對幀的速率。失真的量粗略地反比于速率。換言之，用更少的位編碼一個幀(更大的壓縮)導致更大的失真，反之亦然。
C.傳統(tǒng)的基于移動的視頻壓縮的局限性帶有如退色，幻影化，和混合效果的視頻序列需要相當大量的數(shù)據(jù)位去解碼，因為傳統(tǒng)給移動的視頻壓縮方法通常隊那樣的幀不起作用。例如，考慮一個視頻序列，其中一幀中的一個對象從一幀的下一幀在一個方向上稍有移動。在通常的塊—匹配移動估計技術(shù)中，在較有退色的視頻序列中對在當前幀中的一個塊找到在以前幀中的匹配，并解碼最近的移動向量可能是簡單的事情。但是例如若“退色的黑”發(fā)生在視頻序列中，在當前的幀中的每個亮度值可以相對于前一幀改變，使得視頻解碼器不能對該塊找到很好的匹配。退色也能由于自然的亮度變化發(fā)生在序列中。如混合和幻影化那樣的其他漸變效應也降低了直接移動估計/補償?shù)挠行浴?br> D.視頻壓縮和解壓縮的標準除WMV8之外，若干國際標準關(guān)系到視頻壓縮和解壓縮。這些標準包括Motion Picture Experts Group[“MPEG”]1，2和4標準以及從InternationalTelecommunication Union[“ITU”]來的H.261，H.262，和H.263標準。類似WMV8，這些標準使用的壓縮技術(shù)的細節(jié)上不同于WMV8。例如，H.263標準的附錄P描述了Reference Picture Resampling方式(參考圖形重系樣方式)，用于在編碼期間適當?shù)母淖儓D形的分辨率的預測。
給出對數(shù)字視頻的視頻壓縮和解壓縮的關(guān)鍵的重要性，無需驚奇，視頻的壓縮和解壓縮有很大的發(fā)展余地。無論以前的視頻壓縮和解壓縮技術(shù)有多少益處，但是他們沒有下列技術(shù)和工具的優(yōu)點。
因而，總之，詳細地描述針對改善對視頻序列的速率—失真的性能的各種技術(shù)及工具，那些視頻序列包括漸強量示，漸弱量示，交叉退色或其他退色，混合或幻影化效果。例如，視頻編碼器通過根據(jù)退色參數(shù)調(diào)節(jié)參考幀實現(xiàn)對當前幀的退色補償。視頻解碼器通過調(diào)節(jié)參考幀實現(xiàn)退色補償。
在第一組技術(shù)的工具中，視頻解碼器或解碼器借助退色參數(shù)通過在參考視頻幀中(如幀，域或?qū)ο笃矫?重能映射象素值(如色調(diào)或亮度值)獲得退色參數(shù)，并完成退色補償。例如，退色參數(shù)指定象素范圍的線性或非線性，一階，二階或更重階的變換。視頻編碼器或解碼器相對于重新映射的參考視頻圖象至少當前視頻圖像的部分做出移動補償。在某些情況，編碼器完成退色檢測以判斷是否獲得退色參數(shù)。退色檢測能包括對當前圖象相對原始參考視頻圖象計算誤差測量，且將此誤差測量與閾值比較，并能在間隔系樣(downsampled)的圖象上實現(xiàn)。在某些情況，為獲得退色參數(shù)，解碼器例如通過借助重新映射的參考視頻圖像模型化當前視頻圖像來估計這些參數(shù)。
在第二組技術(shù)和工具中，視頻編碼器或解碼器獲得對當前幀的整體亮度改變補償參數(shù)，并借助整體亮度改變補償參數(shù)，通過對所有參考視頻幀編碼器或解碼器對至少部分當前視頻幀重新映射的參考視頻做出移動補償。
在第三組技術(shù)和工具中，視頻編碼器在檢測到在一個或多個視頻幀中的退色后提取退色參數(shù)。此提取包括根據(jù)在間隔系樣的當前幀和一個或多個間隔系樣的參考幀之間的象素的差獲得初步的退色參數(shù)。該退色參數(shù)被量化及解量化。解量化的退色參數(shù)可用于(如通過比較重新映射的和原始有界的絕對誤差和)確定，是否根據(jù)載滿分辨率的當前幀和一個或多個滿分辨率參考幀之間象素值的差獲得最終的退色參數(shù)。視頻編碼器通過載滿分辨率上如完成回歸分析或某些其他分析獲得最經(jīng)的退色參數(shù)。
各種技術(shù)和工具能組合地或單獨的使用。不同實施例實現(xiàn)一個或多個所描述的技術(shù)工具。
從下面參考附圖對不同實施例的描述，另外的特征和優(yōu)點將變得一清二楚。
圖2是示出按現(xiàn)有技術(shù)在視頻便碼器中移動估計的原理圖。
圖3是示出按現(xiàn)有技術(shù)的基于塊的幀間壓縮的原理圖。
圖4是示出按現(xiàn)有技術(shù)的基于塊的幀間解壓縮的原理圖。
圖5是能實現(xiàn)若干所述諸實施例的合適的計算環(huán)境的原理圖。
圖6是用于若干所述實施例的普通的視頻編碼器系統(tǒng)的原理圖。
圖7是用于若干所述實施例的普通的視頻解碼器系統(tǒng)的原理圖。
圖8是流程圖，示出使用退色估計和補償編碼的視頻技術(shù)。
圖9是流程圖，示出使用退色補償解碼的視頻技術(shù)。
圖10是能實現(xiàn)退色估計和補償?shù)囊曨l編碼系統(tǒng)的原理框圖。
圖11是能實現(xiàn)退色補償?shù)囊曨l解碼系統(tǒng)的原理框圖。
圖12是流程圖，示出用于退色估計和參數(shù)程序的技術(shù)。
圖13是示出發(fā)信號方案的圖表，用于指出對一個幀是否使用退色補償。
在某些實施例的退色補償包括對一個或多個參考幀做出整體亮度改變，它們可以是一幀，一幀的一部分(如幀中的單獨塊或宏塊或幀中的一組宏塊)，或要編碼或解碼的另外特定部分。然后通過從北調(diào)節(jié)的一個或多個參考幀來的移動估計/補償預測當前幀。另外，退色補償包括整體改變到參考幀，以補償如混合或幻影那樣的現(xiàn)象。通常，退色補償包括度地退色(即退色到黑或從黑色退色)，混合，幻影化或其他影響像素值強度的自然或合成光照效果的補償。然而，不失一般性，術(shù)語整體亮度改變及退色這里可交換的使用，除非上下文另作明確表示。
除了在幀上完成了退色補償，某些實施例在域，對象層或其他圖象上完成退色補償。
在某些實施例中，通過在YUV顏色空間中調(diào)節(jié)參考幀在亮度和色度通道中得值發(fā)生退色補償。調(diào)節(jié)包括縮放及移位亮度象素值和縮放及移位色調(diào)象素值。另外，顏色空間可以不同(如YIQ或RGB)和/或補償不使用其他調(diào)節(jié)技術(shù)。
編碼器/解碼器在逐幀的基礎上完成退色估計/補償。另外，編碼器/解碼器可在某個另外基礎上或載入一個或多個塊或宏塊的部分上實現(xiàn)退色估計/補償。
各種技術(shù)和工具能組合地或單獨的使用。不同的實施例實現(xiàn)一個或多個所述技術(shù)和工具。雖然這些技術(shù)的操作通常為了表示的緣故以特定順序次序描述，應該理解，描述的方式包含在操作次序中的次要的重排序，除非需要特定的排序。例如，在某些情況順序描述的操作能重排序或同時執(zhí)行。此外，為簡單起見，流程圖通常示出特定技術(shù)能結(jié)合其他技術(shù)使用的各種途徑。
在某些實施例中，視頻編碼器和解碼器使用位流中的各種特征及信號。雖然敘述了特定標志及信號，應明白，此描述方式包括對標志和信號的不同傳統(tǒng)(如0而不是1)I.計算環(huán)境圖5示出其中能實現(xiàn)若干所述實施例的合適的計算環(huán)境(500)的普通的例子。該計算環(huán)境不試圖作為使用或功能范圍的任何限止，因為技術(shù)和工具能在各種通用或當用計算環(huán)境中實現(xiàn)。
參考圖5，計算環(huán)境(500)包括至少一個處理單元(510)和存儲器(520)。在圖5中，最基本的配量(530)包括在虛線之中。處理單元(510)執(zhí)行計算機可執(zhí)行指令并能是真實的或虛擬的處理器。在多處理系統(tǒng)中，多個處理單元執(zhí)行計算機可執(zhí)行指令以增加處理能力。存儲器(520)能是易失存儲器(如寄存器，緩沖器，RAM)，非易失存儲器(如ROM，EEPROM，卡存為)，或兩者的組合。存儲器(520)存儲實現(xiàn)如視頻編碼器或解碼器那樣的編碼器或解碼器的軟件(580)。
計算環(huán)境可具有另外特征。例如，計算環(huán)境(500)包括存儲器(540)，一個或多個輸入設備(550)，一個或多個輸出設備(560)，和一個或多個通訊連接(570)。如總線，控制器，或網(wǎng)絡等互聯(lián)機構(gòu)(未示出)互聯(lián)該計算環(huán)境(500)設備部件。通常，操作系統(tǒng)軟件為在該計算環(huán)境(500)中執(zhí)行的其他軟件提供運行環(huán)境，并協(xié)調(diào)計算環(huán)境(500)各部件的活動。
存儲器(540)能是可取走活不可能取走的，并磁盤，磁帶或盒帶，CD-ROM，DVD，或任何其他能用于存儲信息并在該計算環(huán)境(500)中能被訪問的其他介質(zhì)。存儲器(540)存儲實現(xiàn)編碼器活結(jié)碼器的軟件的指令。
輸入設備(550)能是如鍵盤，鼠標，筆，或跟蹤就那樣的接觸輸入設備，語音輸入設備，掃描設備，或另外向計算環(huán)境(500)提供輸入的設備，對聲頻或視頻編碼，輸入設備(550)能是聲卡，視頻卡，TV調(diào)諧卡，或以模擬方式接收聲頻或視頻輸入的類似設備，或?qū)⒙曨l或視頻樣本讀入計算環(huán)境(500)的CD-ROM或CD-RW。輸出設備(560)可以是置示器，打印機，揚聲器，CD-寫入器，或從計算環(huán)境(500)提供輸出得其他設備。
通訊連接(570)使能經(jīng)通訊介質(zhì)通訊另外計算實體。通訊介質(zhì)傳遞入計算機可執(zhí)行指令，聲頻或視頻輸入或輸出，或以調(diào)制數(shù)據(jù)信號方式的其他數(shù)據(jù)。調(diào)制數(shù)據(jù)信號是那樣的信號。他是有一個或多個特征組或以在信號中編碼信息的方式改變。作為例子，通訊合介質(zhì)包括用電，光，RF，紅外，聲頻或其他載體實現(xiàn)的有線或無線技術(shù)，但不限于這些。
能以計算機可讀介質(zhì)的一般情況描述技術(shù)和工具。計算機可讀介質(zhì)是任何在計算環(huán)境中能訪問的可用介質(zhì)。作為例子，對計算機環(huán)境(500)，計算機可讀介質(zhì)包括內(nèi)存(520)，存儲器(540)通訊介質(zhì)和上述的任何組合，但不限于這些。
技術(shù)和工具能以計算機可執(zhí)行指令的一般情況描述，使得包括在程序模塊的那些在目標的真實的或虛擬的處理器上的計算環(huán)境中執(zhí)行。通常，程序模塊包括例行程序，程序，庫，對象，類，組體，數(shù)據(jù)結(jié)構(gòu)等，它們完成特定任務或?qū)崿F(xiàn)特定抽象數(shù)據(jù)類型。在各種實施例中，程序模塊的功能在程序模塊之間按需要分割獲組合。程序模塊的計算機可執(zhí)行指令能在當?shù)氐幕蚍植际接嬎悱h(huán)境中執(zhí)行。
為表示方便，詳細描述使用術(shù)語“估計”，“信號”，“編碼”，“解碼”來描述在計算機環(huán)境中的操作。這些術(shù)語對由計算機完成的操作是高級抽象，應不會和人完成的動作混淆。對應于這些術(shù)語的實際計算機操作根據(jù)實現(xiàn)而變化。
II.普通的視頻編碼器和解碼器圖6是普通的視頻編碼器(600)的原理框圖，圖7是普通的視頻解碼器(700)的原理框圖。
所示在編碼器和解碼器中各模塊之間的關(guān)系指出了在編碼器和解碼器中只要信息流，為簡單起見不示出其他關(guān)系。尤其是，圖6和7通常不示出提示視頻序列，幀，宏塊，塊等的編碼器設置，模式，表格等的周邊信息。那樣的周邊信息通常在周邊信息作熵編碼之后在輸出位流中發(fā)出。輸出位流的格式能是WindowsMedia Video格式或其他格式。
編碼器(600)和解碼器(700)是基于塊的，并使用4∶2∶0宏塊格式，每個宏塊包括4個亮度8×8亮度塊(時常處理成16×16宏塊)和2個8×8色度塊。另外，編碼器(600)和解碼器(700)可以是基于對象的，使用不同的宏塊或塊的格式，或在不同于8×8塊及16×16宏塊的尺寸與配量的象素組上完成操作。
根據(jù)所需的實現(xiàn)和壓縮類型，編碼或解碼模塊能加入，忽略，分割成多個模塊，與其他模塊組合，和/或用類擬模塊替代。在另選實施例中，帶不同模塊和/或模塊的另外配置的編碼器及解碼器實現(xiàn)一個或多個所述技術(shù)。
A.視頻編碼器圖6是普通視頻編碼系統(tǒng)(600)的原理框圖。編碼器(600)接收包括當前幀(605)的一系列視頻幀，并產(chǎn)生壓縮的視頻信息(695)作為輸出。特定的視頻編碼器地實施例通常使用普通編碼器(600)的變種或補充版本。
邊碼器系統(tǒng)(600)壓縮預測幀及關(guān)鍵幀。為表示起見，圖6示出關(guān)鍵幀通過解碼器系統(tǒng)(600)的路徑和進到預測幀的路徑。使用編碼器系統(tǒng)(600)的許多部件壓縮關(guān)鍵幀和預測幀。由那些部件完成的確切操作，根據(jù)要壓縮的信息的類型而變化。
預測幀[也稱為雙向預測的p-幀，b-幀，或編碼之間幀]借助一個或多個其它幀的預測(或差)表示。預測殘留是預測幀和原始幀之間的差。相反，關(guān)鍵[也稱i-幀，編碼內(nèi)部幀]不參考其它幀的被壓縮。
若當前幀(605)是前向預測幀，移動估計器(610)估計當前幀(605)的宏塊或其他像素組相對于參考幀的移動，參考幀是緩存在幀存儲器(620)的重構(gòu)的以前幀(625)。在另外的實施例中，參考幀是后讀幀，或當前幀被雙向預測。移動估計器(610)作為周邊信息輸出如移動向量那樣的移動信息(615)。移動補償器(630)應用移動信息(615)到重構(gòu)的以前幀(625)以形成移動補償當前幀(635)和原始當前幀(605)之間的差是預測殘留(645)。另外，移動估計器和移動補償器應用另外類型和移動估計/補償。
頻率轉(zhuǎn)換器(660)將空間域視頻信息轉(zhuǎn)換成頻率域(即頻)數(shù)據(jù)。對基于塊的視頻幀，頻率轉(zhuǎn)換器(660)應用離散余位轉(zhuǎn)換[“DCT”]或DCT的變化到移動預測殘留數(shù)據(jù)的塊，產(chǎn)生DCT系數(shù)塊。另外，頻率轉(zhuǎn)換器(660)應用如付主葉變換那樣的另外傳統(tǒng)頻率轉(zhuǎn)換，或使用子波或子波段分析。在某些實施例中，頻率轉(zhuǎn)換器(660)應用頻率轉(zhuǎn)換到對關(guān)鍵幀的空間預測殘留的塊。頻率轉(zhuǎn)換器(660)能應用8×8，8×4，4×8或其他大小的頻率轉(zhuǎn)換。
然后，量化器(670)量化頻譜數(shù)據(jù)系數(shù)的塊。量化器應用均勻的標量的量化于遂幀變化或根據(jù)其他變化的變步長譜數(shù)據(jù)。另外，量化器應用另外類型的量化于譜數(shù)據(jù)系數(shù)，如非均勻的，向量的，或非適應性量化，或者在不使用頻率轉(zhuǎn)換的編碼系統(tǒng)中直接量化空間域數(shù)據(jù)。除了適應的量化，編碼器(600)能使用幀丟失(frame droppins)，適應的濾波，或其他技術(shù)于速率制。
當需要重構(gòu)的當前幀用于后續(xù)的移動估計/補償時，逆向量化器(676)對量化的譜數(shù)據(jù)系數(shù)完成逆向量化。然后逆向頻率轉(zhuǎn)換器(666)完成頻率轉(zhuǎn)換(660)的逆向操作，產(chǎn)生重構(gòu)的預測殘留(對預測幀)或重構(gòu)的關(guān)健幀。若當前幀(605)是關(guān)鍵幀，將重構(gòu)的關(guān)鍵幀取作重構(gòu)的當前幀(未示出)。若當前幀(605)是關(guān)鍵幀，重構(gòu)的預測殘留被加到移動-補償當前幀(635)，以形成重構(gòu)的當前幀。幀存儲(620)緩存了重構(gòu)的當前幀，用于預測下一個幀。在某些實施例，解碼器應用解塊(deblocking)濾波器到重構(gòu)幀，以適應的光順在幀的塊中的不連續(xù)性。
熵編碼器(680)壓縮了量化器(670)的輸出和某些周邊信息[如移動信息(615)，量化步長]。典型的熵編碼技術(shù)包括算術(shù)編碼，差分編碼，Huffman編碼，游程長度編碼，LI編碼，詞典編碼，和上述的組合。熵編碼器(680)通常使用不同編碼技術(shù)與不同類型的信息(如DC系數(shù)，AC系數(shù)，不同類型的周邊信息，)并能從特定編碼技術(shù)中的多個編碼表選擇。
熵編碼器(680)將壓縮的視頻信息(695)放入緩存器(690)。緩存級指示器反饋給位速率適應的模塊。壓縮的視頻信息(695)從緩存器(694)以定常或相當定常的位速率例出，并對后續(xù)的流，以那個位速率存儲。另外，編碼器系統(tǒng)(600)在壓縮后主即流出壓縮的視頻信息。
在緩存(690)的前后，壓縮的視頻信息(695)能通道編碼，用于在網(wǎng)絡上發(fā)送。通道編碼能應用誤差檢測和校正數(shù)據(jù)于壓縮的視頻信息(695)。
B.視頻解碼器圖7是普通視頻解碼器系統(tǒng)(700)的原理框圖。解碼器系統(tǒng)(700)接收用于壓縮的視頻幀序列的信息(795)，并產(chǎn)生包括-重構(gòu)幀(705)的輸出。視頻解碼器的特定實施例通常使用普通解碼器(700)的變種或補充版本。
解碼器系統(tǒng)(700)解壓縮預測幀和關(guān)鍵幀。為表示方便，圖7示出關(guān)鍵幀通過解碼系統(tǒng)(700)的路程以及對前向預測幀的路徑。使用許多解碼器系統(tǒng)(700)的部件于解壓縮關(guān)鍵幀和預測幀。由那些部件完成的確定操作能根據(jù)被壓縮的信息類型而變化。
緩存器(790)接收對壓縮的視頻序列的信息(795)，并使接收的信息對熵解碼器(780)可用。緩存器(790)通常以隨時間非常固定的速率接收信息，并包括抖動(jitter)緩存器，以平滑在帶寬或發(fā)送中的短促變化。緩存器(790)能包括回放緩存器和其他緩沖器。另外，緩存器(790)以變化的速率接收信息。在緩存器(790)前后，壓縮的視頻信息能被通道解碼，并為誤差檢測及校正而處理。
熵解碼器(780)熵解碼經(jīng)熵編碼的數(shù)據(jù)以及熵編碼的周邊信息(如移動信息(715)，量化步長)，通常應用在編碼器中實現(xiàn)的熵編碼的逆向操作。熵解碼技術(shù)包括算術(shù)解碼，差分解碼，Huffman解碼，游程長度解碼，LZ解碼，詞典解碼，和上述的組合。熵解碼器(780)頻繁地對不同類型的信息(如DC系數(shù)，AC系數(shù)，不同類型的周邊信息)使用不同的解碼結(jié)束，并能從特定解碼技術(shù)的多個編碼表中選擇。
若要重構(gòu)的幀(705)是前向預測幀，移動補償器(730)將移動信息(715)施加到參考幀(725)，以形成要重構(gòu)的幀(705)的預測(735)。例如，移動補償器(730)使用宏塊移動向量尋找在參考幀(725)中的宏塊。幀緩存(720)存儲以前重構(gòu)的幀，用作參考幀。另外，移動補償器能應用其他類型的移動補償。由移動補償器作出的預測難以完美，所以解碼器(700)也重構(gòu)預測殘留。
當解碼器需要重構(gòu)幀，用于后續(xù)的移動補償，幀存儲器(720)緩存重構(gòu)之幀，用于預測下一幀。在某些實施例中，編碼器應用解塊濾波器于重構(gòu)的幀，以適應地光順在幀的塊中的不連續(xù)性。
逆向量化器(770)逆向量化熵解碼數(shù)據(jù)。通常，逆向量化器應用均勻的標量逆向量化于帶有逐幀變化或根據(jù)其他而變化的步長的熵解碼數(shù)據(jù)。另外，逆向量化器應用其他類型的數(shù)據(jù)逆向量化，例如，非均勻的，向量的，或非適應性量化，或在不使用逆向頻率轉(zhuǎn)換的解碼系統(tǒng)中直接逆向量化空間域數(shù)據(jù)。
逆向頻率轉(zhuǎn)換器(760)轉(zhuǎn)換量化的頻率域數(shù)據(jù)成空間域視頻信息。對基于塊的視頻幀，逆向頻率轉(zhuǎn)換器(760)應用逆向DCTIDCT，或IDCT的變化于DCT系數(shù)的塊，產(chǎn)生移動預測殘留數(shù)據(jù)。另外，頻率轉(zhuǎn)換器(760)應用另外傳統(tǒng)的逆向頻率轉(zhuǎn)換(如付立葉變換)或使用子波或子頻帶綜合。在某些實施例中，逆向頻率轉(zhuǎn)換器(760)應用逆向頻率轉(zhuǎn)換到關(guān)鍵幀的空間預測殘留塊。逆向頻率轉(zhuǎn)換器(760)能應用8×8，8×4，4×8或其他大小的逆向頻率轉(zhuǎn)換。
III、整體亮度改變估計/補償某些描述的實施例包括用于估計，應用，編碼和/或解碼由少量參數(shù)描述的整體亮度改變。該工具與技術(shù)使重構(gòu)視頻的主觀和客觀質(zhì)量在更低的位速率達到。每個單獨的工具或技術(shù)實現(xiàn)下列中一個或多個1)整體亮度改變補償方案；2)整體亮度參數(shù)的參數(shù)化；3)計算上有效地估計/提取整體亮度參數(shù)；4)低代價地對帶整體亮度改變的幀取信號；和5)低代價地對整體亮度參數(shù)發(fā)信號通知。對一個幀，一個域，如單獨塊那樣的幀/域的一部分，單獨的宏塊，或宏塊組，或圖象的另外特定部分，亮度改變可以是整體的。雖然下面描述讀到在整個幀上亮度改變的參數(shù)化和補償，能使用亮度改變補償?shù)南嗤蚣苡?a)判定在圖象一部分(如單獨塊或宏塊)存在退色，(b)計算在此部分內(nèi)的退色參數(shù)，和(c)參數(shù)化及發(fā)送這些對圖象的給定部分的退色參數(shù)。這些技術(shù)對圖象的多個部分能重復使用。
整體亮度改變(也稱為“退色”)能是視景的亮度和/或?qū)Ρ榷鹊母淖?。通常，改變是線性的，但退色也能定義位包括在同一框架內(nèi)的任何光順，非線性映射。退色，幻影化和混合廣泛地用于建立視頻內(nèi)容，以便光順在視景遷移中視頻幀的演變。而且，某些序列由于亮度的改變自然地展現(xiàn)出退色。帶著如退色，幻影化和混合效果的視頻幀需大量數(shù)字位來用傳統(tǒng)的基于移動的視頻壓縮方法編碼，這通常對那樣幀是不可行的。
A、整體亮度改變補償方案圖8示出使用整體亮度改變補償編碼視頻的技術(shù)(800)。如圖6所示的編碼器(600)那樣的編碼器能實現(xiàn)該技術(shù)(800)。
首先，編碼器檢驗在如在視頻序列中要編碼的當前幀那樣的要編碼的幀中的退色(801)。若編碼器檢測到該幀的退色(810)，編碼器獲得退色參數(shù)。例如，編碼器如下面章節(jié)C中所述檢測到退色并獲得退色參數(shù)?；蛘撸幋a器使用不同技術(shù)檢測退色和/或獲得參數(shù)。編碼器發(fā)信號通知退色補償是打開或是關(guān)閉，若是打開則信號發(fā)信號通知退色參數(shù)。
若對該幀檢測到退色，則如下面章節(jié)B所述編碼器對該幀(830)在一個或多個參考幀上實現(xiàn)退色補償。當編碼器在多個參考幀上完成退色補償時，這些多個參考幀可以是要編碼幀之前或之后(以回放的次序)。編碼器信號通知，從多個參考幀的哪一個補償要編碼的哪部分。對此信號通知，編碼器能使用在那樣系統(tǒng)已經(jīng)用于參考幀選擇的信號通知。在某些實施例中，編碼器能既使用原始幀，又使用在移動估計/補償中的重映射參考幀于要編碼的幀。例如，編碼器能這樣地編碼既有退色的內(nèi)容又有未退色的當前幀。
退色補償后，編碼器使用從調(diào)節(jié)的參考幀來的移動估計/補償來編碼該幀(840)。若編碼器未檢測到退色，編碼器不去獲得退色參數(shù)或不去完成退色補償?shù)鼐幋a該幀(840)。當編碼做完(850)，過程結(jié)束。
圖9示出使用退色補償解碼已編碼的視頻的技術(shù)(900)。如圖7所示的解碼器(700)能實現(xiàn)該技術(shù)(900)。
首先，解碼器檢驗(910)，對要解碼的幀退色是否已打開或關(guān)閉。完成此檢驗的一個方法是校驗由編碼器發(fā)出的信號信息。若解碼器判定，對該幀退色是打開的(910)，解碼器完成退色補償(920)。例如，解碼器得到由編碼器送出的退色參數(shù)并對要解碼的幀在一個或多個參考幀上完成退色補償(如在編碼中那樣)。
然后解碼器使用如從調(diào)節(jié)的參考幀來的移動補償解碼幀(930)。若退色關(guān)閉，解碼器解碼該幀(930)而不必完成退色補償。當解碼完成(940)，過程結(jié)束。
圖10示出用于完成整體亮度改變補償?shù)氖纠跃幋a器框架(1000)。在此框架(1000)中，編碼器使用由退色估計獲得的參數(shù)有條件地重映射參考幀。當編碼器以經(jīng)過幀的很好程度的可靠性與一致性檢測到退色，解碼器完成重映射或退色補償。否則退色補償是等同操作(即輸出＝輸入)。
參考圖10，編碼器將當前幀(1010)與參考幀(1020)比較，使用退色檢測模塊(1030)判定是否發(fā)生退色。在某些實施例中，參考幀是視頻序列中在當前幀之前的幀。另外，參考幀可以是早于以前幀或在當前幀之后。當使用多個參考幀時，解碼器能檢驗每個參考幀中的退色。編碼器根據(jù)退色檢測的結(jié)果產(chǎn)生“退色打開”或“退色關(guān)閉”信號(1040)。
若退色打開，退色估計模塊(1050)根據(jù)對當前幀(1010)和參考幀(1020)完成的計算估計退色參數(shù)(1060)(在下面章節(jié)C中討論某些實施例中退色估計的細節(jié))。
退色補償模塊(1070)使用退色參數(shù)(1060)來重映射參考幀(1020)(或者多個參考幀)。然后編碼器能使用其他編碼器模塊(1080)(如移動估計和補償，頻率轉(zhuǎn)換器，和量化模塊)來壓縮該幀。編碼器輸出編碼的當前幀(1010)定義的移動向量，殘留和其他信息(1090)。除了從用平移移動向量的移動估計/補償以外，對整體亮度改變補償?shù)目蚣芸蓱糜诟鞣N基于移動補償?shù)囊曨l碼。
圖11示出用于實現(xiàn)整體亮度改變補償?shù)氖纠越獯a器框架(1100)。解碼器產(chǎn)生經(jīng)解碼的當前幀(1110)。為解碼經(jīng)編碼的退色一補償?shù)膸?，解碼器使用退色補償模塊(1130)在以前解碼的參考幀(1120)上(或者多個參考幀)，完成退色補償。
若退色打開/關(guān)閉信號(1140)指出，對編碼的當前幀(1110)退色是打開，解碼器在參考幀(1120)上完成退色補償。解碼器通過使用在退色估計期間獲得的退色參數(shù)(1150)完成退色補償(如在編碼器那樣)。否則(若對當前幀退色被關(guān)閉)，退色補償是等同操作(即輸出＝輸入)。
然后解碼器能使用其他解碼器模塊(如移動補償，逆向頻率轉(zhuǎn)換，和逆向量化模塊)采用由編碼器提供的移動向量，殘留和其他信息(1170)來解壓縮經(jīng)編碼的幀。
B、參數(shù)化和補償在視頻編輯中，有時借助應用簡單的象素范圍的到亮度和色度通道的線性轉(zhuǎn)換實現(xiàn)合成的退色。相似地，交叉-退色有時作為隨時間合成改變的兩個視頻序列的線性和實現(xiàn)。因而在某些實施例中，如圖10的框架(1000)示出的編碼器將退色(不論是自然的或合成的)參數(shù)化成象素范圍的線性轉(zhuǎn)換，并將交叉-退色參數(shù)化成線性和，而如在圖11的框架(1110)中所示的解碼器完成對應轉(zhuǎn)換。
令I(n)是幀n處的圖象，而I(n-1)是在前一幀的圖象。在移動小的地方，通過在等式1中的一階關(guān)系模型化簡單的退色(由于在視頻序列中的可能移動，等式1的關(guān)系是近似的。)I(n)≈CI(n-1)+B (1)其中退色參數(shù)B和C分別對應于亮度和對比度。當發(fā)生非線退色時，第一階分量通?？蓟镜母淖儭?br> 從一個圖象系列U(n)到一個圖象系列V(n)的交叉退色能借助等式2的關(guān)系模型化。等式2中的關(guān)系是近似的，因為在序列中可能有移動。
I(n)≈αnV+(1-αn)U≈I(n-1)+α(V-U)＝/(1-α)I(n-1)n≈0(2)\(1+α)I(n-1)n≈1/αn≈0表示交叉-退色的開始，n≈1/α表示交叉退色的結(jié)束。對延伸若干幀的交叉退色，α是小的。在交叉-退色起點，若n幀接近于n-1幀的衰減(對比度＜1)版本。趨向終點，第n幀是第n-1幀的放大(對比度＞1)版本。換言之，在交叉-退色的起點，第n幀能模型化成第n-1幀乘以對比度值1-α，而在交叉-退色的終點。第n幀能模型化成第n-1幀乘以對比度值1+α。等式2示出，在交叉-退色的起點和終點，編碼器能使用線性規(guī)則(如在下面等式3和4中所示)通過重映射參考幀(如n-1幀)獲得第n幀。
編碼器通過重映射參考幀完成整體亮度改變的補償。編碼器在逐個圖素的基礎上或在某些其他基礎上重映射參考幀。原始的未重映射的參考幀基本上被舍棄(雖然在多參考幀的情況，未重映射的參考幀也能被使用)。
根據(jù)等式1，下面的線性規(guī)則借助兩個參數(shù)B和C(對應于視景的輝度和對比度)將參考幀R的亮度值映射到重映射的參考幀 R^≈CR+B---(3)]]>參考幀的亮度值用對比度縮放(或“加權(quán)”)并用輝度值移位(即加上偏移量)。對色度，重映射遵照下列規(guī)則R^≈C(R-μ)+μ---(4)]]>其中μ是色度值的均值。在一個實施例中，128認為是色度值的無符號8-位表示的均值。此色度重映射的規(guī)則不使用輝度分量。
在某些實施例中，在等式3和4中使用的二參數(shù)線性重映射擴展到高階項。例如，等式5是重映射R的亮度值到 的二階等式R^≈C1R2+C2R+B---(5)]]>其他實施例使用其他重映射規(guī)則。在對非線性退色的那樣重映射規(guī)則的一個類別中，線性映射用非線性映射替代。
C、退色參數(shù)的估計退色估計是在編碼過程期間計算退色參數(shù)的過程。如在圖10的框架(1000)中示出的編碼器能在編碼過程中計算輝度(B)和對比度(C)參數(shù)。
在某些實施例中，為了精確地并以立即方式估計參數(shù)，編碼器使用圖12中示出的技術(shù)(1200)。在圖示的技術(shù)中，只分析亮度通道。另外，當有更多計算資源可用時，編碼器在分析中包括色度。例如，解碼器在等式3和4(不只是等式3)對C求解，使C更可靠。
在圖12中示出的實施例中，在退色估計過程中視景的移動是不顧的。這是基于下列觀察(a)退色和交叉退色通常發(fā)生在靜止或低一移動的視景，和(b)在高運動視景中對整體亮度改變補償?shù)男в檬呛艿偷?。另外，解碼器對退色參數(shù)和移動信息聯(lián)合地求解。然后使用移動信息在技術(shù)(1200)的較后的階段或在某些其他時間細化退化參數(shù)的精確度。使用移動信息的一個方法是在退色估計計算中忽略參考幀的那些部分，在那里檢測移動。
在技術(shù)(1200)的各種部分，∑abs(I(n)-R)或Σabs(I(n)-R^)]]>的絕對誤差之和作為判定退色的存在和參數(shù)的量度。另外，編碼器可使用其他或附加的量度，如在同一誤差項上的平方誤差的和“SSE”或平均平方誤差“MSE”，或者編碼器使用不同的誤差項。
在技術(shù)(1200)期間的各個點上，編碼器在滿足退出條件后能結(jié)束技術(shù)(1200)。圖12示出若干退出條件。作為另外的退出條件(圖12中未示出)，編碼器檢驗在技術(shù)(1200)的開始及中間階段對比度參數(shù)是否接近1(在一個實施例中，99＜C＜1.02)若是，結(jié)束該技術(shù)。
編碼器通過間隔采樣當前幀和參考幀(1210)開始過程(1200)。在一個實施例中，解碼器用因子4水平和垂直地間隔采樣。另外，編碼器能用任何因子間隔采樣，或完全不間隔地采樣。
然后解碼器在當前幀和參考幀的低分辨率版本只(由下標d指出)計算絕對誤差和∑abs(Id(n)-Rd)。絕對誤差和測量在間隔采樣當前幀和間隔采樣參考幀之間的象素值的差。若該絕對誤差和小于某個閾值(1230)(如在間隔采樣的當前幀和參考幀的象素的亮度值之間預定的差值量度)，編碼器得出結(jié)論，未發(fā)生退色，并且不進行退色補償(1235)。
另外，編碼器估計亮度(B)和對比度(C)參數(shù)(1240)。對B和C的第一截斷估計借助Rd由模型Id(n)獲得。在一個實施例中，亮度和對比度通過整個間隔采樣幀的線性回歸分析獲得。在另外實施例中，編碼器為了更可靠的分析使用其他形式的統(tǒng)計分析，如整體最小平方，最小平方均值等。例如解碼器最小化誤差項Id(n)-Rd的MSE或SSE。在某些情況，MSE和SSE不可靠，所以編碼器還測試對該誤差項的絕對誤差。編碼器舍棄對特定點(可能由于移動而非退色)的高誤差值。
然后編碼器通過量化及解量化B和C計算Bf和Cf(1250)。第一截斷參數(shù)被量化及解量化，給出Bf和Cf，以保證它們落入允許的范圍，并測試一致性。在某些實施例中，對通常8-位深度的成象，B和C每個量化到6位。B取從-32到31的整數(shù)值，表示成有符號的5-位整數(shù)。表示成Cq的C的量化值從0.515625以0.015625(1/64)的相同步長變化到1.484375，對應于1到63的量化值。通過將B和C舍入到最近的合法解量化值，并選取合適的二進制索引而完成量化。
然后編碼器計算原始的有界誤差和(Sorgbnd)以及重映射的有界絕地誤差和(SRpmpbnd)(1270)。在某些實施例中，編碼器使用擬合優(yōu)良度分析計算該和。對于在原始分辨率處隨和的或偽隨機的圖素組，編碼器計算重映射的有界絕地誤差和∑babs(I(n)-CfR-Bf)，其中對某個界限M，babs(x)＝min(abs(x)，M)。在一個實現(xiàn)中，是要編碼的幀的量化參數(shù)的倍數(shù)。當量化參數(shù)是粗略的，界限M較高，當量化參數(shù)是精確的，它較低。編碼器還累計原始有界絕對誤差和∑babs(I(n)-R)。若計算資源足夠，編碼器能計算整個幀的有界誤差和。
然后，根據(jù)原始的和重映射的有界絕對誤差和的相對值，編碼器判定是否使用退色補償(1280)。例如在某些實施例，編碼器不進行退色補償，除非重映射有界絕對誤差和小于或等于原始有界絕對誤差和某個閾值的百分比σ。在一個實現(xiàn)中，σ＝0.95。若編碼器完成退色補償，這次根據(jù)滿分辨率下在I(n)和R之間的線性回歸分析，重新計算退色參數(shù)(1290)。為節(jié)省計算時間，編碼器能在幀的隨機或偽隨機采樣上進行重復線性回歸分析。而且為了更可靠的分析，編碼器能另選地使用其他形式的統(tǒng)計分析(如總的最小平方，最小平方均值等)。當編碼完成(1295)，過程結(jié)束。
在一個實施例中，編碼器允許在等式3和4中C＝-1的特殊情況。此特殊情況用位流中Cq＝0發(fā)信號。在此“逆向”方式，在由B移位前參考幀被反轉(zhuǎn)，而B的范圍是以相同步長2從193到319。
D、信號通知如圖10的框架(1000)所示的編碼器發(fā)送退色打開/關(guān)閉信號信息和退色參數(shù)。如圖11的框架(1100)所示的解碼器接收信號信息和退色參數(shù)。
在某些實施例中，在序列級上編碼器發(fā)送一位，指示對該序列整體亮度改變補償是否使能用于序列。編碼器還能信號通知在幀級上的整體亮度改變和/或信號通知對幀的一部分，如幀中單獨塊或宏塊，的整體亮度改變。
在通常的視頻序列的幀中，整體亮度改變或退色的發(fā)生是少見的。有可能通過增加一位信號通知退色(或等價地不存在退色)。例如，編碼器能通過使用一位信號通知在幀級上退色(或等價地不存在退色)。然而，與其他信息一起信號通知退色(或等價地不存在退色)更經(jīng)濟。例如，編碼器使用在對移動方式的可變長度碼(VLC)中的換碼序列(即移動向量的數(shù)和配置，子象素內(nèi)插方案)完成幀級的信號通知。在那樣的實施例中，編碼器連帶地信號通知最少見的移動方式和退色補償?shù)募せ睢?br> 令事件F表示存在退色，G表示對該幀挑選最少見的移動方式。令VLC<MVMODE>表示dangG為假時的移動方式。VLC表設計成帶有用于信號通知何時F和/或G為真時的換碼符號<ESC>。表1示出F和移動方式的聯(lián)合編碼，其后是當退色補償被激活時的退色參數(shù)B和C。
表1最少見移動方式和退色信號的聯(lián)合編碼若對某個幀整體亮度改變激活，跟隨另外的VLC(<MVMODE>或<ESC>)以指出移動方式。然后，使用對B和C的二個6-位固定長碼字，分別發(fā)信號通知這些參數(shù)。另外，使用VLC信號通知參數(shù)。當應用于如會或宏塊那樣的幀的單獨部分，編碼器能對那部分單獨地信號通知退色參數(shù)。例如，若退色只應用于視頻幀的一個宏塊，退色信息能通過聯(lián)合熵編碼與如編碼塊樣式或轉(zhuǎn)換類型那樣的宏塊級信息發(fā)信號通知。
圖13是示出編碼安排(對應于表1，對一個實現(xiàn))的樹形圖，其中編碼器聯(lián)合地編碼最少見的移動方式和退色的存在。(退色參數(shù)編碼的細節(jié)被省略。)編碼器使用VLC表示每個其他移動方式(如碼“0”，“10”，和“110”分別表示移動方式0，1，和2)。當退色未被激活，編碼器使用換碼的碼(如“111))后跟”0“表示最少見的移動方式。編碼器使用換碼的碼后跟“1“，表示退色被激活。
應該理解，這里敘述的程序、過程、或方法不涉及也不限于任何特定類型的計算環(huán)境，除非另作說明。各類通用或?qū)Ｓ糜嬎悱h(huán)境能使用或的操作。以軟件示出的實施例的單元能以硬件實現(xiàn)，反之亦然。
考慮到我們的發(fā)明的原理能應用的許多可能的實施例，我們要求所有可能落入下面的權(quán)利要求及其等價的范圍及精神的實施例為我們的發(fā)明。
權(quán)利要求
1.存儲計算機可執(zhí)行指令的計算機可讀介質(zhì)，用于計算機系統(tǒng)被編程，從而實現(xiàn)處理一個或多個視頻圖象的計算機實現(xiàn)方法，其特征在于，該方法包括獲得退色參數(shù)；通過對重映射的參考視頻圖象計算多個重映射的象素值實現(xiàn)退色補償，其中多個重映射象素值至少部分地根據(jù)借助退色參數(shù)在原始視頻圖象中使用的多個原始象素的值重映射；和對相對于重映射的參考視頻圖象的當前視頻圖象的至少部分完成移動補償。
2.如權(quán)利要求1的計算機可讀介質(zhì)，其特征在于，該方法還包括在編碼期間和在獲得參數(shù)之前，檢測在相對于原始參考視頻圖的當前視頻圖象的退色。
3.如權(quán)利要求2的計算機可讀介質(zhì)，其特征在于，該檢測包括對相對于原始參考視頻圖象的當前視頻圖象計算誤差量度；將該誤差量度與退色檢測閾值比較；和根據(jù)此比較判定是否獲得退色參數(shù)。
4.如權(quán)利要求3的計算機可讀介質(zhì)，其特征在于，該方法還包括，在計算誤差量度之前間隔采樣當前視頻圖象和原始參考視頻圖象。
5.如權(quán)利要求3的計算機可讀介質(zhì)，其特征在于，該誤差量度是絕對誤差之和。
6.如權(quán)利要求1的計算機可讀介質(zhì)，其特征在于，獲得退色參數(shù)的操作包括在編碼期間估計退色參數(shù)。
7.如權(quán)利要求6的計算機可讀介質(zhì)，其特征在于，該估計操作包括使用線性回歸分析，借助于重映射的參考視頻圖象，通過模型化當前的視頻圖象對退色參數(shù)求解。
8.如權(quán)利要求6的計算機可讀介質(zhì)，其特征在于，該估計操作包括使用使用當前視頻圖象和重映射的參考視頻圖象的多分辨率分解，對退色參數(shù)求解。
9.如權(quán)利要求6的計算機可讀介質(zhì)，其特征在于，該估計操作包括使用采樣當前視頻圖象重映射的參考視頻圖象的部分象素，對退色參數(shù)求解。
10.如權(quán)利要求1的計算機可讀介質(zhì)，其特征在于，該獲得操作包括在解碼期間接收退色參數(shù)。
11.如權(quán)利要求1的計算機可讀介質(zhì)，其特征在于，退色參數(shù)規(guī)定象素范圍的線性變換。
12.如權(quán)利要求1的計算機可讀介質(zhì)，其特征在于，退色參數(shù)規(guī)定象素范圍的非線性變換。
13.如權(quán)利要求1的計算機可讀介質(zhì)，其特征在于，多個重映射象素值用于整個視頻幀。
14.如權(quán)利要求1的計算機可讀介質(zhì)，其特征在于，多個重映射象素值用于部分視頻幀。
15.如權(quán)利要求1的計算機可讀介質(zhì)，其特征在于，該退色參數(shù)用于整個視頻圖象，其中至少部分當前視頻圖象是整個當前視頻圖象。
16.如權(quán)利要求1的計算機可讀介質(zhì)，其特征在于，該退色參數(shù)用于小于整個視頻圖象的一部分，而至少部分當前視頻圖象是該部分。
17.如權(quán)利要求16的計算機可讀介質(zhì)，其特征在于，該部分是一個塊。
18.如權(quán)利要求16的計算機可讀介質(zhì)，其特征在于，該部分是宏塊。
19.如權(quán)利要求16的計算機可讀介質(zhì)，其特征在于，該部分是多個宏塊的組。
20.如權(quán)利要求14的計算機可讀介質(zhì)，其特征在于，該部分包括幀中一個域或幀中一個對象層。
21.如權(quán)利要求1的計算機可讀介質(zhì)，其特征在于，退色補償包括亮度的改變。
22.如權(quán)利要求1的計算機可讀介質(zhì)，其特征在于，退色補償包括色度的改變。
23.如將要求1的計算機可讀介質(zhì)，其特征在于，該退色補償包括在一個視頻視景和另一個視頻視景之間的交叉退色。
24.如權(quán)利要求1的計算機可讀介質(zhì)，其特征在于，該退色補償包括幻影化一個視頻對象。
25.如權(quán)利要求1的計算機可讀介質(zhì)，其特征在于，該退色參數(shù)規(guī)定二階或更高階變換。
26.如權(quán)利要求1的計算機可讀介質(zhì)，其特征在于，該方法在視頻解碼期間完成。
27.如權(quán)利要求1的計算機可讀介質(zhì)，其特征在于，該方法在視頻編碼期間完成。
28.存儲計算機可執(zhí)行指令的計算機可讀介質(zhì)，用于使計算機被編程，從而實現(xiàn)處理在視頻序列中的當前視頻幀，其特征在于，該方法包括對當前視頻幀獲得整體亮度改變補償參數(shù)；通過對重映射的參考視頻幀計算重映射的象素值實現(xiàn)整體亮度改變補償，其中重映射的象素值至少部分地根據(jù)借助對當前視譜幀的整體亮度改變補償參數(shù)，在原始參考視頻幀中使用的原始象素值的重映射，其中該重映射的象素值是對整個參考視頻幀的；且對相對于重映射的參考視頻幀的當前視頻幀的至少部分完成移動補償。
29.如權(quán)利要求28的計算機可讀介質(zhì)，其特征在于，該整體亮度改變補償參數(shù)規(guī)定象素范圍的線性變換。
30.如權(quán)利要求28的方法，其特征在于，該整體亮度改變補償參數(shù)包括在亮度和/或色度方面的改變。
31.如權(quán)利要求28的計算機可讀介質(zhì)，其特征在于，該方法在視頻解碼期間完成。
32.如權(quán)利要求28的計算機可讀介質(zhì)，其特征在于，該方法在視頻編碼期間完成。
33.用于處理視頻圖象的計算機化系統(tǒng)，其特征在于，該計算機化系統(tǒng)包括用于檢測相對于視頻序列中參考圖象的視頻序列的當前圖象中的整體亮度變化的裝置；用于估計在當前圖象中整體亮度變化的參數(shù)的裝置；用于通過根據(jù)估計的參數(shù)調(diào)節(jié)參考圖象的象素值進行整體亮度改變補償?shù)难b置；和用于從調(diào)節(jié)的參考圖象的象素值對至少當前圖象的一部分進行移動補償?shù)难b置。
34.用于處理視頻圖象的計算機化系統(tǒng)，其特征在于，該計算機化系統(tǒng)包括用于根據(jù)估計的退色參數(shù)調(diào)節(jié)視頻序列中一個或多個參考圖象的象素值的裝置，其中估計的退色參數(shù)在退色估計中計算模塊，并是根據(jù)在相對于一個或多個參考圖象的視頻序列中的當前圖象中的退色的檢測計算的；和用于從調(diào)節(jié)一個或多個參考圖象的象素值對至少當前圖象的一部分進行移動補償?shù)难b置。
35.在一個計算機系統(tǒng)處理一個或多個視頻幀的計算機實現(xiàn)方法，其特征在于，該方法包括提取對退色補償?shù)耐松珔?shù)，其中提取是在檢測在一個或多個視頻幀中的退色之后進行的，并其中提取操作包括根據(jù)在間隔采樣的當前幀和一個和多個間隔采樣的參考幀之間象素值之差獲得初步的退色參數(shù)；量化該初步退色參數(shù)；和解量化該初步退色參數(shù)。
36.如權(quán)利要求35的方法，其特征在于，該提取操作還包括使用解量化的初步退色參數(shù)以判定是否根據(jù)在滿分辨率的當前幀和一個或多個滿分辨率參考幀之間的象素值的差獲得最終的退色參數(shù)；和獲得最終的退色參數(shù)。
37.如權(quán)利要求36的方法，其特征在于，獲得最終退色參數(shù)的操作包括在滿分辨率的當前幀和一個或多個滿分辨率參考幀上進行線性回歸分析。
38.如權(quán)利要求36的方法，其特征在于，使用解量化的初步退色參數(shù)的步驟包括根據(jù)解量化的初步退色參數(shù)計算重映射的有界絕對誤差和；計算原始的有界絕對誤差和；和將重映射有界絕對誤差和原始的有界絕對誤差和作比較。
39.如權(quán)利要求35的方法，其特征在于，獲得初步退色參數(shù)的操作包括在間隔采樣的當前幀和一個或多個間隔采樣的參考幀上進行線性回歸分析。
40.如權(quán)利要求35的方法，其特征在于，獲得初步退色參數(shù)的操作包括在間隔采樣的當前幀和一個或多個間隔采樣的參考幀上進行總的最小平方分析。
41.如權(quán)利要求35的方法，其特征在于，獲得初步退色參數(shù)的操作包括在間隔采樣的當前幀和一個或多個間隔采樣的參考幀上進行最小平方均值分析。
42.存儲計算機可執(zhí)行指令的計算機可讀介質(zhì)，用于使計算機系統(tǒng)實現(xiàn)權(quán)利要求35的方法。
43.存儲計算機可執(zhí)行指令的計算機可讀介質(zhì)，用于使計算機系統(tǒng)被編程，從而實現(xiàn)計算機實施方法，其特征在于，該方法包括對當前視頻幀的一部分獲得退色參數(shù)；通過對重映射的參考視頻幀的對應部分計算多個重映射的象素值，借助退色參數(shù)實現(xiàn)退色補償，其中多個重映射的象素值至少部分地根據(jù)在原始的參考視頻圖象中對相對于重映射參考視頻的對應部分的當前視頻幀的部分進行移動補償。使用的多個原始的象素值的重映射。
44.如權(quán)利要求43的計算機可讀介質(zhì)，其特征在于，當前幀的部分包括一個或多個宏塊。
45.如權(quán)利要求43的計算機可讀介質(zhì)，其特征在于，當前幀的部分包括在重映射的參考幀中一個或多個宏塊。
全文摘要
描述用于實現(xiàn)在視頻處理應用中退色估計和補償?shù)募夹g(shù)和工具。例如，視頻編碼器在一個或多個參考圖象上完成退色補償一編碼其中檢測到退色的圖象。視頻解碼器在一個或多個參考圖象上實現(xiàn)對應的退色補償。
文檔編號H04N7/26GK1460924SQ03124160
公開日2003年12月10日 申請日期2003年4月30日 優(yōu)先權(quán)日2002年5月3日
發(fā)明者S·斯里尼瓦桑, S·雷格納塔恩 申請人:微軟公司