專利名稱：用于精細可伸縮性增強層的基于活動的頻率加權方法及系統(tǒng)的制作方法
技術領域：
本發(fā)明涉及在壓縮期間特別是在MPEG-4視頻壓縮期間對視頻進行處理的方法和系統(tǒng)，其中在自適應過程中利用基于活動的頻率加權方法為基本層增加若干增強層，從而允許以高優(yōu)先級的位平面數量對視頻幀中更加視覺敏感的組件進行編碼，進而在解壓縮時期提供高視覺質量。
MPEG4視頻壓縮標準允許各種時間和空間分辨率的任意形狀視頻對象平面(VOP)的基于內容的訪問或傳輸。MPEG4支持對象和質量的可伸縮性。精細可伸縮性(“FGS”)是MPEG4標準所采用的一種可伸縮編碼方案。FGS編碼方案允許在以下兩層中對MPEG4比特流編碼基本層，它用固定的較低范圍比特率對各幀進行編碼；以及增強層，它對原始畫面和重構基本層畫面之間的差異進行編碼。通過位平面編碼方案對增強層進行編碼，因此在增強層的任意(精細)數量位平面能夠根據傳輸帶寬被傳輸到解碼器這個意義上，增強層比特流是可伸縮的。FGS編碼方案已由MPEG4第四版定稿。
在標準化FGS方案中，頻率加權是用于視覺質量改進的一種特征。通過為各個編碼塊的元素提供不同的權，根據增強層殘差對視覺輸出質量的重要性對這些元素進行加權和編碼。
MPEG-4解碼器可以只對基本層或基本層以及FGS增強層的任何子集進行解碼。當解碼裝置具有有限或不同帶寬并用于存儲目的時，這樣做是有用的。
在某些情況下，僅對基本層進行解碼，這允許觀看不太精細的視頻圖像。當編碼和解碼之間的帶寬不同時，或當用于比特流存儲的空間有限時，對基本層進行解碼，并且能夠在基本層之上增加與帶寬或存儲空間所允許的那樣多的FGS增強層。
MPEG-4標準首先對壓縮場景的基本層進行編碼。此基本層是較低質量、低帶寬的壓縮圖像。基本層由多個諸如離散余弦變換編碼(“DCT”)塊的編碼塊表示。FGS增強層由多個殘差塊表示。接下來，FGS增強層生成除基本層比特流之外的比特流。根據傳輸信道的帶寬和解碼器的復雜度，將需要對截斷的FGS層比特流進行解碼。
在MPEG-4編碼標準中，為了FGS增強層編碼，對兩種質量改進方法進行標準化。這兩種方法是頻率加權和選擇性增強。在本文中只說明頻率加權方法。
FGS增強層用于對來自基本層的量化殘差進行編碼，因此編碼序列的整體質量是基本層信息和傳輸的FGS增強層信息的組合。理論上，FGS方法無損耗地對基本層殘差進行編碼。但是，通常的情況是由于有限的傳輸帶寬，只有部分FGS增強層能夠通過傳輸信道并到達解碼器。當出現帶寬變化時，從編碼器側傳輸到解碼器側的FGS增強層的比特數是不同的，它取決于傳輸瞬間的帶寬。同時，由于FGS增強層編碼的特性，它能夠以任何期望質量水平放置在存儲器中。因此傳輸/存儲信號的視覺質量很大程度上受到被解碼的FGS層的數量的影響。
為了改進輸出序列的視覺質量，頻率加權允許在位平面編碼之前對殘差塊的元素進行不一致的加權(這是用于FGS層編碼的方法)。由于某些頻率分量在視覺上更為重要，所以應該對它們進行更多地增強(即應該通過提供高頻率權來對它們進行高精確度的編碼)，從而改進主觀圖像質量。位平面移位將正在通過位平面編碼而進行編碼的對象從最高有效位(“MSB”)到最低有效位(“LSB”)進行排序。位平面移位描述了將與塊中特定值對應的位平面向MSB移動一個或多個比特的操作。這樣做在殘差塊的情況下有提高或增加對象編碼的優(yōu)先級的作用。量化殘差當基本層系數被編碼或“量化”時，量化函數具有相關損耗。因此，量化數據的精確度取決于量化步驟。量化殘差作為基本層的非編碼部分被省去并且不可在解碼器側的基本層恢復。精細度精細度指的是一種編碼方法，其中以漸進方式(逐個位平面)從MSB到LSB對視頻數據進行編碼。隨后，可以在任何位平面水平截斷編碼比特流，盡管一直確保更可能發(fā)送更有意義的數據。
頻率加權(“FW”)利用FW矩陣來選擇性地對各個編碼塊內各增強層系數的重要性進行重新加權，以便通過加權矩陣重新區(qū)分位平面編碼的各個系數的有效位的優(yōu)先秩序。FW矩陣的各個元素表示塊內對應FGS系數的位平面移位的數量。一個位平面移位相當于FGS系數乘以冪2。盡管MPEG-4確實標準化了FGS工具，但是它并沒有提供適當的FW矩陣。FW矩陣的定義作為各個生產商獨立設置的編碼器優(yōu)化參數被留下。
對于8×8DCT塊，利用基于DCT的編解碼器作為例示，DC系數和較低的功率分量一般對視覺質量影響更大。因此，應該對較低頻率分量和DC系數進行高優(yōu)先級編碼。但是，FGS編解碼器的設計是這樣的增強層只根據殘差的大小逐個位平面的對殘差進行編碼，而不是根據頻率分量的重要性。另一方面，基本層編碼通過利用更小的量化參數來對DC和較低頻率分量進行更高精確度編碼，這將導致較小的增強層殘差。因此，與基本層DCT系數特征相比，重要的DC和較低頻率分量在增強層中可能具有更小的值，并且將不會由FGS將其編碼在更有效位平面中。當目標數量的傳輸位平面為低時，由于比特流截斷而可能損失重要的頻率分量。為了防止這種情況，應該用更高優(yōu)先級將更重要的系數編碼在更高位平面中。這可以通過在FW矩陣中的那個頻率位置給出更大的權來實現。FW矩陣被設計為將更重要的頻率分量提到更高的位平面。
當前FW實現的一個問題是，以這樣一種方式實施FW方法整個序列利用同一加權矩陣。如從測試序列觀察到的，各個序列可具有多個場景，這些場景可包括不同的運動活動和亮度信息。在慢運動或穩(wěn)定場景中，高頻損失更加令人苦惱。此外，阻塞和閃爍噪聲在更亮的畫面上更加令人苦惱。帶有更多運動活動的畫面趨向于在增強層中具有更大的殘差，特別是在更高頻率部分。這是由運動預測誤差導致的。對于包括更多詳細信息的畫面，高頻殘差太重要，不能被忽略。
如下所述，為了解決先有技術中各序列使用單個固定FW矩陣的問題，FW矩陣被設計為在編碼期間根據場景特征變化而變化。
本發(fā)明解決先有技術的要求，它在一個實施例中提供一種處理包括一個或多個視頻幀的視頻流的方法，其中通過為包括多個編碼塊的各個幀創(chuàng)建基本層以及增加增強層來對視頻流進行編碼，其中基本層的量化殘差形成將要進一步編碼的殘差塊以提高精細度。
在這種方法中，定義了多個頻率加權矩陣，每個矩陣指定應用于殘差塊的系數的位平面移位數量，其中一個或多個矩陣指定高的權和高的寬度。權與位平面移位數量相關，而寬度是從頻率加權矩陣的左上角沿之字形到頻率加權矩陣最后一個非零權的范圍。附加的一個或多個所述矩陣指定更高的權和中等寬度，一個或多個所述矩陣指定低的權和低的寬度，一個或多個所述矩陣指定中等權和高的寬度，而一個或多個矩陣指定中等權和中等的寬度。
接下來，對視頻幀的基本層和增強層進行編碼。增強層由多個編碼殘差塊表示。用所選頻率加權矩陣對編碼殘差塊進行頻率加權。
如果視頻幀包括大量活動，則高的權和高的寬度的頻率加權矩陣(HH)被選為用于位平面移位的頻率矩陣，圖3a中描述了HH的例示。
否則，如果視頻幀包括大量運動，則高的權和中等寬度的頻率加權矩陣(HM)被選為用于位平面移位的頻率矩陣，圖3b中描述了HM的例示。
否則，如果視頻幀包括少量運動和少量活動，那么低的權和低的寬度的頻率加權矩陣(LL)被選為用于位平面移位的頻率矩陣，圖3e中描述了LL的例示。
否則，如果視頻幀包括少量亮度，那么中等權、高的寬度的頻率加權矩陣(MH)被選為用于位平面移位的頻率矩陣，圖3c中描述了MH的例示。
否則，中等權和中等寬度的矩陣(MM)被用于確定應用于視頻幀的塊的位平面移位，圖3d中描述了MM的例示。
本發(fā)明還涉及一種用于處理視頻流的系統(tǒng)，其中視頻流包括多個視頻幀。這種系統(tǒng)包括視頻流的視頻信號源；處理器，它在工作時連接到視頻信號源；以及用于編碼視頻的輸出端。
處理器被配置為定義多個頻率加權矩陣，每個矩陣指定應用于殘差塊的系數的位平面移位的數量，其中一個或多個矩陣指定高的權和高的寬度，一個或多個所述矩陣指定更高的權和中等寬度，一個或多個所述矩陣指定低的權和低的寬度，一個或多個所述矩陣指定中等權和高的寬度，以及一個或多個所述矩陣指定中等權和中等寬度。接下來，對視頻幀的基本層和增強層進行編碼。用頻率加權矩陣對增強層的殘差編碼塊進行頻率加權。如果視頻幀包括大量活動，則利用高的權和高的寬度的頻率加權矩陣來確定應用于視頻幀的塊的位平面移位。否則，如果視頻幀包括大量運動，則利用高的權和中等寬度的頻率加權矩陣來確定應用于視頻幀的塊的位平面移位。否則，如果視頻幀包括少量運動和少量活動，則利用低的權和低的寬度的頻率加權矩陣來確定應用于視頻幀的塊的位平面移位。否則，如果視頻幀包括少量亮度，則利用中等權和高的寬度的矩陣來確定應用于視頻幀的塊的位平面移位。否則，中等高度和中等寬度的矩陣被用于確定應用于視頻幀的塊的位平面移位。
本發(fā)明在先有技術之上提供的其它改進將被看作闡述本發(fā)明的優(yōu)選實施例的以下描述的結果。描述并不以任何方式限制本發(fā)明的范圍，而是僅僅提供所出現的優(yōu)選實施例的工作例示。本發(fā)明的范圍將在所附權利要求中指出。
圖2是進一步說明在本發(fā)明的一個實施例中對MPEG-4視頻進行編碼的過程中的組成步驟圖。
圖3是說明各種FW加權矩陣的曲線圖，其中的坐標為加權和DCT系數偏移。
本發(fā)明解決先有技術中各個序列利用單個固定FW矩陣的問題。


圖1中描述了根據MPEG-4標準對運動視頻進行編碼的各種步驟。運動視頻輸入序列1進入到壓縮的第一階段，基本層的編碼，其中在幀存儲器4和圖像累加器5的幫助下執(zhí)行運動估計2和運動補償3。
圖像累加器6將運動補償3的結果應用于運動視頻輸入序列1。圖像累加器6的輸出還被處理為生成離散余弦變換塊7，然后對該離散余弦變換塊7進行量化8。接下來，量化8的輸出被發(fā)送到反量化9并且之后到反離散余弦變換10，進而到圖像累加器5。量化8的輸出還被發(fā)送到熵編碼器11。
當生成DCT塊7之后，圖像累加器12對來自基本層編碼器的輸出進行抽頭，并且從反量化步驟9開始FGS增強層編碼過程。圖像累加器12向DCT殘差圖像處理14發(fā)送視頻信號。發(fā)送這個過程的輸出以用于位平面的頻率加權15、FGS位平面DCT掃描以及熵編碼16，以及最終出現編碼比特流17。
圖2中描述了根據MPEG-4標準利用當前發(fā)明對運動視頻進行編碼的各種步驟的圖，其中不太側重于基本層編碼。運動視頻輸入序列1進入壓縮的第一階段，基本層的編碼19。輸出序列1也被傳遞到運動估計器20，在那里計算運動矢量。基本層編碼19的輸出被傳送21到圖像累加器28，還被傳送22到增強層編碼。生成DCT殘差圖像24，并且將其與基本層編碼器19和運動估計器20的輸出一起發(fā)送到FW矩陣選擇25和場景變化檢測26。FW矩陣選擇25和場景變化檢測26的結果被發(fā)送到頻率加權27，然后到位平面編碼15，最終將其傳遞到圖像累加器28，該圖像累加器將這些結果合成為輸出編碼比特流29。
FW矩陣選擇25和場景變化檢測26的步驟是本發(fā)明的目的。
現在參考圖3，示意了五個(5)樣本FW矩陣的圖示，它們描述了作為DCT系數偏移的函數的相關加權(即8×8DCT塊的0到63)。矩陣(a)是高的權，高的寬度的FW矩陣30。矩陣(b)是高的權、中等寬度的FW矩陣31，其中帶有更重加權的較低偏移DCT系數。矩陣(c)是中等權、高的寬度的FW矩陣32，其中用非零權對相對更多的系數進行加權。矩陣(d)是中等權、中等寬度的FW矩陣33，矩陣(e)是低的權、低的寬度的FW矩陣34，其中只對少量系數輕微地加權。
在一個實施例中，采用了諸如圖3(a)30所示的具有大量活動，高的權和高的寬度的FW加權矩陣的視頻序列。
在另一個實施例中，利用了諸如圖3(b)31所示的具有大量運動，高的權和中等寬度的FW矩陣的視頻序列。
在再一個實施例中，利用了諸如圖3(c)32所示的包括少量亮度、中等權、高的寬度的頻率加權矩陣的視頻序列。
在又一個實施例中，利用了諸如圖3(e)34所示的包括少量運動和少量活動，低的權和低的寬度的頻率加權矩陣的視頻序列。否則，中等權和中等寬度矩陣、圖3(d)33所述的一個例示被用于確定應用于視頻幀的塊的位平面移位。
因此，雖然我們描述了什么是本發(fā)明的優(yōu)選實施例，但是本領域的技術人員能夠作出進一步的變化和修改，并不背離本發(fā)明的真實精神，并且它旨在包括下述權利要求書的范圍內的所有這樣的變化和修改。例如，這種方法能夠被應用在諸如3D子波編碼的其它位平面編碼方案中。
權利要求
1.一種處理包括多個視頻幀的視頻流(1)的方法，其中通過為各個所述幀創(chuàng)建基本層以及增加增強層來對所述視頻流(1)進行編碼，其中所述基本層包括多個編碼塊，所述基本層的量化殘差形成將被進一步編碼的殘差塊以提高精細度，所述方法包括定義多個頻率加權矩陣，各個所述矩陣指定應用于所述殘差塊的系數的位平面移位的數量，其中一個或多個所述矩陣指定高的權和高的寬度(30)，以及一個或多個所述矩陣指定高的權和中等寬度(31)，一個或多個所述矩陣指定低的權和低的寬度(34)，一個或多個所述矩陣指定中等權和高的寬度(32)，以及一個或多個所述矩陣指定中等權和中等寬度(33)；以及對所述基本層和所述增強層進行編碼，其中所述增強層由多個編碼殘差塊表示，其中利用所述頻率加權矩陣對所述編碼殘差塊進行頻率加權；以及當所述視頻幀包括大量運動時，利用所述高的權和中等寬度頻率加權矩陣(31)來確定應用于所述視頻幀的所述塊的所述位平面移位；或者當所述視頻幀包括大量活動時，利用所述高的權和高的寬度的頻率加權矩陣(30)來確定應用于所述視頻幀的所述塊的所述位平面移位；或者當所述視頻幀包括少量運動和少量活動時，利用所述低的權和低的寬度的頻率加權矩陣(34)來確定應用于所述視頻幀的所述塊的所述位平面移位；或者當所述視頻幀包括少量亮度時，利用所述中等權和高的寬度的頻率加權矩陣(32)來確定應用于所述視頻幀的所述塊的所述位平面移位；或者否則，利用所述中等權和中等寬度的頻率加權矩陣(33)來確定應用于所述視頻幀的所述塊的所述位平面移位。
2.如權利要求1所述的方法，其特征在于利用MPEG-4視頻壓縮標準對所述視頻流進行壓縮。
3.如權利要求1所述的方法，其特征在于所述編碼視頻流的所述增強層是MPEG-4的精細可伸縮性增強層編碼。
4.一種用于處理視頻流(1)的系統(tǒng)，其中所述視頻流包括多個視頻幀，其中通過為各個所述視頻幀創(chuàng)建基本層并且增加增強層來對所述視頻流進行編碼，其中所述基本層的量化殘差形成將要進一步編碼的殘差塊，從而提高精細度，并且所述處理包括多個離散余弦變換(“DCT”)編碼塊，所述系統(tǒng)包括所述視頻流(1)的視頻信號源；以及處理器，在工作時連接到所述視頻信號源，以及用于編碼視頻(29)的輸出端，所述處理器被配置為定義多個頻率加權矩陣，各個所述矩陣指定應用于所述殘差塊的系數的位平面移位的數量，其中一個或多個所述矩陣指定高的權和高的寬度(30)，以及一個或多個所述矩陣指定高的權和中等寬度(31)，一個或多個所述矩陣指定低的權和低的寬度(34)，一個或多個所述矩陣指定中等權和高的寬度(32)，一個或多個所述矩陣指定中等權和中等寬度(33)；以及對所述基本層和所述增強層進行編碼，其中所述增強層由多個殘差編碼塊表示，其中用所述頻率加權矩陣對所述殘差編碼塊進行頻率加權；以及當所述視頻幀包括大量運動時，利用所述高的權和中等寬度的頻率加權矩陣(31)來確定應用于所述視頻幀的所述塊的所述位平面移位；或者當所述視頻幀包括大量活動時，利用所述高的權和高的寬度的頻率加權矩陣(30)來確定應用于所述視頻幀的所述塊的所述位平面移位；或者當所述視頻幀包括少量運動和少量活動時，利用所述低的權和低的寬度的頻率加權矩陣(34)來確定應用于所述視頻幀的所述塊的所述位平面移位；或者當所述視頻幀包括較少量亮度時，利用所述中等權和高的寬度的頻率加權矩陣(32)來確定應用于所述視頻幀的所述塊的所述位平面移位；或者否則，利用所述中等權和中等寬度的頻率加權矩陣(33)來確定應用于所述視頻幀的所述塊的所述位平面移位；以及將編碼增強層視頻流放置在所述編碼基本層之上以形成視頻輸出(29)。
5.如權利要求4所述的系統(tǒng)，其特征在于利用MPEG-4視頻壓縮標準對所述視頻流(1)進行壓縮。
6.如權利要求4所述的系統(tǒng)，其特征在于所述編碼視頻流的所述增強層是MPEG-4的精細可伸縮性增強層編碼。
全文摘要
本發(fā)明提供確定將在MPEG4 FGS增強層編碼期間提供最佳圖像質量的頻率加權矩陣，并且根據場景特征變化來改變這種確定，從而優(yōu)化所得到的輸出畫面質量的方法和系統(tǒng)，特別用于缺乏帶寬的應用中。
文檔編號H04N7/26GK1462555SQ02801622
公開日2003年12月17日 申請日期2002年5月15日 優(yōu)先權日2001年5月16日
發(fā)明者S·彭, M·范德沙爾 申請人:皇家菲利浦電子有限公司