對視頻編碼進行編碼模式判定的系統(tǒng)和方法

文檔序號：7640421閱讀：211來源：國知局

專利名稱：對視頻編碼進行編碼模式判定的系統(tǒng)和方法
技術領域：
本發(fā)明一般涉及視頻編碼，并且更具體地，涉及一種為視頻幀的宏塊選擇編碼方法的系統(tǒng)和方法。
背景技術：
高級視頻編碼(AVC)標準包括高級壓縮技術，該高級視頻編碼 (AVC)標準為MPEG 4 (運動圖像專家組)的部分10，另外己知為 H.264,其中開發(fā)該高級壓縮技術以能夠以較低的比特率傳輸視頻信號或利用較少的存儲空間來存儲視頻信號。為了以較低的比特率支持較高質量的流式視頻以及能夠進行基于因特網的視頻和無線應用等，較新的標準勝過之前的標準的視頻壓縮技術。該標準沒有定義CODEC (編碼器/解碼器對)，而是定義了編碼后的視頻比特流的語法連同對比特流進行解碼的方法。每一個視頻幀在宏塊(MB)級上被細分并進行編碼，其中每一個MB都是16x16像素塊。按"幀內"模式對每一個MB進行編碼，其中以當前幀內重建的MB為基礎形成預測MB，或者按"幀間"模式對每一個MB進行編碼，其中以參考幀的MB為基礎形成預測MB。幀內編碼模式應用了當前的幀內的空間信息，其中由之前己經進行了編碼、解碼和重建的當前的幀內的取樣來形成預測 MB。幀間編碼模式運用來自之前和/或將來參考幀的時間信息來估計運動，用以形成預測MB。
諸如根據ISO/ITU的JVT (聯(lián)合視頻組)的JM85的所謂"參考 CODEC"包括一種為編碼器進行編碼模式判定的方法。由于該參考 CODEC執(zhí)行幀間與幀內編碼，對每一個編碼結果計算比特率和失真，
并選擇具有優(yōu)越比特率和失真的編碼方法，所以它在計算上強度較大。該參考CODEC編碼處理包括為了每一個幀間和幀內編碼方法而對剩余塊或差異塊進行計算強度較大的塊變換和量化。該參考CODEC編碼處理還要求對每一種方法進行真實比率和失真計算，其中通過重建的 MB來確定失真，且該比率是對MB編碼所必需的比特率。盡管這潛在的實現(xiàn)了優(yōu)化結果，但是參考CODEC編碼處理消耗了昂貴的資源，而且并不認為它是對于許多應用的可行解決方案。例如，即使在拒絕了幀內編碼方法時，也對每一個MB執(zhí)行在計算上昂貴的幀內預測處理。
編碼器的復雜性是使用視頻的多媒體應用的瓶頸，尤其是在其中限制了計算和電力資源的無線和移動設備中。這要求簡化模式判定和平衡幀間編碼和幀內編碼判定以節(jié)約資源同時提供可接受的編碼效率和視覺質量。這要求提供一種適當的模式判定處理，它平衡了編碼效率、視頻質量和計算性能。還要求有利地釆用跳過模式以在特定條件下繞過MB的編碼處理，比如說，當MB是較大運動對象的一部分時

本發(fā)明的益處、特征和優(yōu)勢將根據以下的描述和附圖而變得更好理解，其中
圖1是表示根據現(xiàn)有技術的利用參考CODEC執(zhí)行的示范性編碼處理的簡化流程圖2是表示根據本發(fā)明實施例所執(zhí)行的示范性編碼處理的簡化流
程圖3和4是表示圖2中流程圖的部分的可供選擇實施例的流程圖；圖5是表示根據本發(fā)明實施例所執(zhí)行的編碼器的簡化方框圖；圖6是表示根據本發(fā)明實施例的圖5的模式判定電路的示范性實施例的簡化方框圖。
具體實施例方式
提供以下描述來使本領域普通技術人員能夠在特定應用范圍及其必要條件內實現(xiàn)和使用所提供的本發(fā)明。然而，對優(yōu)選實施例的各種修改對本領域技術人員而言將會是顯而易見，而且可以將此處所定義的普遍原理應用到其他實施例中。因此，本發(fā)明并不打算受此處所示和所述特定實施例的限制，但將與符合在此公開的原理和新穎特征的最大范圍一致。
圖1是表示根據現(xiàn)有技術的利用參考CODEC執(zhí)行的示范性編碼處理的簡化流程圖。在第一個模塊101處，對正在被進行編碼的當前幀的當前宏塊(MB)執(zhí)行運動估計處理。本領域技術人員知道該運動估計處理，所以不對其進行更詳細的描述。例如，從最后或之前的編碼的幀中識別參考MB，而且傳統(tǒng)的運動估計處理在參考MB與當前 MB之間確定至少一個運動矢量(MV)。此外，該運動估計處理的副產品是中值MV，它是當前幀的已經編碼的鄰近或相鄰MB的運動矢量的中值。正如本領域技術人員已知的，相鄰宏塊通常包括關于當前MB 的右上MB、中上MB、左上MB和左邊MB。以所示實施例中的運動估計為目的，僅使用"亮度"或光亮信息?？梢栽谡w水平上(例如，下至像素級別)識別該參考MB，或為了更大的精確度可選擇在諸如 1/2或1/4像素分辨率的亞像素級別上識別該參考MB。對于亞像素分辨率，根據周圍的像素信息對MB的像素進行內插。在下一個模塊103 處，對參考MB執(zhí)行運動補償處理，并確定運動補償后的預測MB。以所示實施例中的運動補償為目的，包括當前MB的色度信息。由于在運動估計處理過程中，如果需要則已經執(zhí)行了內插，所以在運動補償過程中，將內插(interpolation)應用到色度信息，用以提供運動補償后的預測MB。
在下一個模塊105處，從當前MB中減去運動補償后的MB，用以提供作為結果的剩余MB，由于利用來自于另一個幀的信息來確定剩余MB，所以將其稱為幀間剩余MB。在下一個模塊107處，對幀間剩余MB例如利用離散余弦變換(DCT)或其他任何適當的變換函數來執(zhí)行塊變換。在下一個模塊109處，對變換后的結果執(zhí)行量化處理以提供量化的變換系數。量化處理是一種會導致一些精確度損失的數字舍入(rounding)處理。然后可以對量化后的變換系數進行熵編碼來形成壓縮后的比特流，用以進行存儲或傳輸。
在下一個模塊111處，對量化后的變換系數執(zhí)行反量化和逆變換
函數以獲得失真的或"估計的"幀間剩余MB，然后在下一個模塊133 處將它添加到運動補償后的預測MB以提供幀間重建的MB。在下一個模塊115處，將幀間重建的MB與當前的MB進行比較來分別為幀間編碼處理計算比率(R)和失真(D)值i^^和D，M。
在下一個模塊117處執(zhí)行幀內預測處理來提供幀內預測MB。該幀內預測MB類似于用于幀內編碼處理的運動補償后的預測MB，除了以當前幀內重建的MB為基礎之外。在下一個模塊119處，從當前MB 中減去幀內預測MB來提供幀內剩余MB，然后分別在模塊121和123 處執(zhí)行塊變換和量化處理。然后可以對量化后的變換系數進行熵編碼來形成壓縮后的比特流，用以進行存儲或傳輸。在下一個模塊125處，對量化后的變換系數執(zhí)行反量化和逆變換函數以獲得估計的幀內剩余 MB,然后在下一個模塊127處將它添加到幀內預測MB以提供幀內重建的MB。在下一個模塊129處，將幀內重建的MB與當前MB進行比
較來分別為幀內編碼處理計算比率和失真值A^^和i),^。在下一個模塊131處，比較用于幀間編碼的人^^和Z)^^值與用于幀內編碼的 i ,w和Z)，/M值，而且僅選擇其中一種編碼方法來對當前MB進行編碼。在下一個模塊133處，詢問是否存在多個要編碼的宏塊。如果要對多個MB進行編碼，操作就返回到模塊101，其中下一個MB變成當前MB,并重復該處理。如果完成當前幀，則當前幀就變成在之前幀，而下一個幀如果存在就變成要編碼的當前的幀。然后對重建的幀進行濾波(例如，去塊濾波器(deblocking filter))，然后以幀間編碼為目的而將其存儲在參考幀數據庫內。
如上所述，由于參考CODEC的編碼處理執(zhí)行幀間和幀內編碼，計算每一個編碼的比特率和失真，并選擇提供了優(yōu)越比特率和失真結果的編碼方法的結果，所以它在計算上強度較大。該參考編碼處理要求真實比率和失真計算，其中根據重建的MB來確定失真，且該比率
是對MB編碼所需要的比特率。盡管這可以獲得全面的優(yōu)化結果，但是根據參考CODEC的執(zhí)行消耗了昂貴的資源，而且并不認為是用于許多應用的可行方案。例如，即使在丟棄結果的情況下沒有選擇時，也對每一個MB執(zhí)行在計算上昂貴的幀內預測處理?？梢酝ㄟ^包括其中可由相同的函數模塊與來自各個編碼方法的不同數據來執(zhí)行多個函數的環(huán)路等，來優(yōu)化參考CODEC的軟件或代碼執(zhí)行過程這些不同數據例如幀間剩余MB和幀內剩余MB 。
圖2是表示根據本發(fā)明實施例所執(zhí)行的示范性編碼處理的簡化流程圖。在第一個模塊201處執(zhí)行運動估計處理，其中確定參考MB、至少一個運動矢量和中值MB。如上所述，如果要求亞像素精確度，則參考MB可以從內插的信息得到。而且，以當前MB和參考MB為基礎來計算幀間絕對差值之和(或"INTERSAD"值)。為了確定INTERSAD 值，從當前MB的相應像素中減去參考MB的每一個像素值來確定差值，由該差值來確定絕對值，而且所有差值之和相加到一起。照這樣， INTERSAD值表示在參考MB與當前MB之間的差異。
操作進行到下一個模塊203，在其中詢問是否可以跳過當前MB 而無需進行編碼，比如說，在當前MB形成較大移動對象的一部分時。 H.264提供了這樣一種跳過模式來高效地進行編碼，用以處理全局運動
(global motion)。如果確定當前MB為16x16運動模式，如果 INTERSAD與量化值相比較小，如果MB等于中值MV,且如果僅一個參考幀(1)用于幀間編碼(而且它是以跳過為目的的之前幀)，就可以在稍后的編碼處理中跳過對當前MB的編碼。如果只有最后一個幀是以編碼為目的的參考幀，則標記1RF為真。H.264標準支持從16x16
(其中為整個MB提供單個MV)下至4x4的亮度取樣的范圍內的不同運動補償塊尺寸，在該范圍內包括多種選擇(包括16x8、 8x16，以及各禾中8x8的風味(flavor)，包括8x4、 4x8禾口 4x4)。將INTERSAD 值與F3*QP值進行對比，其中QP是由比率控制器提供的量化參數，在對MB或幀進行編碼之后，比率控制器估計比特流內所要求的比特數量。F3是預定的常量或變量，其有效地歸一化INTERSAD值和QP 用于進行對比，而且星號"*"表示乘法。在實施例中，F(xiàn)3是等于32 的常量。來自比率控制器的QP的增加表示例如當與利用有限帶寬的復雜場景"斗爭"時的編碼器的重壓。
如果模塊203內所列出的其中任何一個條件不為真，則操作進行到模塊205，在其中計算或另外確定兩個不同的絕對差(SAD)值之和，包括MEANSAD值和SADM值。利用各種不同方法中的任何一種來確定MEANSAD值。在一個實施例中，MEANSAD是整個之前幀的 INTERSAD值的平均值。由于在對每一個MB進行的運動估計過程中確定了 INTERSAD值，所以在完成對該幀的編碼之后，將所有MB的 INTERSAD值一同求平均，而且該結果是該幀的MEANSAD值?？晒?選擇地，在編碼過程中保持運行平均值(running average)(例如，利用每一個新的MB進行調整)，最終平均后的INTERSAD值是該幀的 MEANSAD。在一個可供選擇的實施例中，MEANSAD僅僅是之前編碼后的幀的相鄰的MB的平均INTERSAD。因此，不是對整個之前幀的INTERSAD求平均，而是僅使用之前幀的相鄰MB的平均 INTERSAD。由于已經完成對之前幀的編碼，所以相鄰塊可以包括全部 8個相鄰的MB (即，左上、中上、右上、左邊、右邊、左下、中下、右下)，或其任何的選擇的子集。在另一個可供選擇的實施例中， MEANSAD是當前幀的INTERSAD的運行平均值。如上所述，保持 INTERSAD的運行平均值，并利用每一個新的INTERSAD來更新該運行平均值，其中當前幀的運行平均值用作MEANSAD。在又一個可供選擇的實施例中，MEANSAD是當前幀的相鄰MB的INTERSAD的平均值。
SADM值是當前MB的所有16x16像素的SAD值，它與當前MB 的平均像素值有關。SADM值是MB方差的近似值，并表示當前MB 的相對均勻性。較大的SADM值表示不均勻的MB，它最有可能位于
1區(qū)域邊界上。如果SADM相對較大，就認為幀間編碼更有可能導致更好的視覺質量，這是因為在幀內模式中存在較小的空間相關性。
然后操作進行到模塊207，在其中將T值設置成等于第一函數Fl 乘MEANSAD、第二函數F2乘SADM、以及第三函數F3乘QP的最小值。函數Fl-F3是預定的常量或變量，其有效地歸一化并轉換 MEANSAD、 SADM和QP值以與IMTERSAD值進行對比。在實施例中，如上所述，F(xiàn)l是等于1.5的常量，F(xiàn)2是等于1.0的常量，且F3是等于32的常量。分別表示時間、空間和比特率的MEANSAD、 SADM 和QP值通常是選定的用于確定相對INTERSAD值的視頻特性。正如以下還要描述的，以比較為目的而選擇其中任何一個或多個視頻特性。以其中任何一個視頻特性為基礎的編碼模式判定導致相對于無模式判
決確定的改進。相對于忽略任何視頻特性，對全部三個視頻特性進行對比提供了最佳的總體編碼模式判定。
在下一個模塊209處，詢問INTERSAD是否小于或等于T， T為上述模塊207中所列出的三個不同視頻特性中的最小值。函數F1、 F2 和F3為相應的視頻特性確定了閾值或"范圍"。如果在高斯模型中映射該INTERSAD的分布，就將閾值設置成能夠確定并提取該幀內較大的INTERSAD值。一般來說，來自于運動估計處理的相對較大的 INTERSAD值表示，ME處理會由于連續(xù)幀內的場景變化或非平移運動而失敗。有效地將INTERSAD定義為統(tǒng)計意義上的運動"異常 (outlier)"。當前MB的INTERSAD值應當在宏塊INTERSAD值的平均值的預定偏差內，用以指示平滑或相對均勻的運動模式(例如，相對于之前幀的平均值來檢驗當前的INTERSAD值，或相對于之前幀內相鄰MB的平均值或當前幀內MB的運行平均值等來檢驗當前的 INTERSAD值)。從幀到幀(或在幀內)的INTERSAD值的平均值表示在場景內無明顯變化時的平滑和相對均勻的運動模式。在 INTERSAD相對于SADM之間的較大差異指示不均勻的MB，它有可能位于該幀內的區(qū)域的邊界上，因此在該MB及其相鄰MB內較少存在空間相關性。在此情況下，判定認為運用了時間相關性的幀間編碼模式更有可能獲得當前MB的優(yōu)越視覺質量。來自比率控制器的QP 的增加指示編碼器例如當與具有有限帶寬的復雜場景進行"斗爭"時的重壓。在此情況下，認為幀內編碼模式導致了較高的比特率，并因此導致情況更壞。
如果如在模塊209處所判斷的，INTERSAD大于T，操作就進行到模塊211，在其中執(zhí)行幀內預測處理來以之前已經被編碼的當前幀內的相鄰MB為基礎確定幀內預測MB。并且，確定INTERSAD值，其是在當前MB與預測MB之間的SAD。然后操作進行到模塊213，在其中將INTERSAD與INTRASAD進行對比。在模塊213處執(zhí)行的比較表示在幀間和幀內編碼之間的相對編碼"成本"。如果INTERSAD大于INTRASAD，就選擇幀內預測模式，以致選擇幀內預測MB作為預測MB。操作從模塊215進行到下述的模塊219。如果在模塊203中所有的條件都為真，或者如果在模塊209處確定INTERSAD小于或等于 T，或者如果在模塊213處確定INTERSAD小于或等于INTRASAD，操作則進行到模塊217，在其中對參考MB執(zhí)行運動補償以提供運動補償(MC)后的預測MB。
當在模塊215中選擇幀內預測MB作為預測MB之后，或當在模塊217中選擇MC預測MB作為預測MB之后，操作進行到模塊219，在其中以選擇的預測MB為基礎來計算剩余MB。注意，對于剩余MB 不必區(qū)分幀間和幀內，這是因為僅選擇一個剩余MB作為預測MB，并從當前MB中減去選擇的預測MB來確定剩余MB。然后操作進行到模塊221，在其中如上所述地對剩余MB執(zhí)行塊變換。然后操作進行到模塊223，在其中執(zhí)行對來自模塊221的變換結果的量化以提供量化的變換系數。然后，操作進行到模塊225來提供反量化和逆變換，用以提供估計的剩余MB。然后，操作進行到模塊227，在其中將估計的剩余 MB添加到選擇的預測MB以提供重建的MB。如上所述，通過去塊濾波器對重建的幀進行濾波，并將其存儲在參考幀數據庫內。另外，如下所述，未濾波的重建的MB形成該重建的幀的一部分，其用于幀內預測處理。
圖3是表示替換在虛線所示的模塊203、 211和217之間的圖2中模塊205、 207和209的可供選擇實施例的流程圖。理解到，圖2所示的模塊描述了通用的功能方面，而且可以按照許多可供選擇的方式來獲得用于執(zhí)行這些功能的實際實現(xiàn)。圖3的流程圖執(zhí)行了相同的功能，但允許提高用于軟件編碼和/或電路實現(xiàn)的計算性能。如圖3所示，比如說，在模塊203之后，操作可以代之以進行到模塊301，在其中詢問 INTERSAD值是否大于F3*QP。如果是，就不必進一步確定SADM或 MEANSAD，操作直接進行到模塊211。在該情況下，QP值是可從比率控制器容易獲得的，因此它是最簡單的檢驗條件。如果INTERSAD 值不大于？3*(^>，操作就進行到模塊303，在其中確定MEANSAD值，然后操作進行到模塊305，在其中詢問INTERSAD值是否大于 F1*MEANSAD。在此情況下，認為計算MEANSAD要比計算SADM 更容易，以致于只有在需要時才確定SADM。如果INTERSAD值大于 F1*MEANSAD，如前所述，操作就直接進行到模塊211，并跳過對于 SADM的計算。如果INTERSAD值不大于F1*MEANSAD，則操作代之以進行到模塊307，在其中確定SADM值，然后操作進行到模塊309，在其中詢問INTERSAD值是否大于F2*SADM。如果INTERSAD值大于？2*3八0^1，操作就直接進行到模塊211，如果不是，操作就進行到模塊217。圖3所示視頻特性比較的特殊順序只是示意性的，而且如果能獲得更好的結果可以改變。比如說，如果確定計算SADM要比計算 MEANSAD更容易，所以可以在MEANSAD比較之前執(zhí)行SADM值和比較。
圖4是表示替換在再次以虛線示出的模塊203、 211和217之間的圖2的模塊205、 207和209的另一個可供選擇實施例的流程圖，且示出對視頻特性和優(yōu)先權的選擇。在此情況下，操作從模塊203進行到模塊401，其中首先確定MEANSAD值，然后操作進行到模塊403以判斷INTERSAD值是否小于或等于F1*MEANSAD。在此情況下，認為MEANSAD確定和與INTERSAD值的比較具有超出與QP和SADM 進行比較的優(yōu)先權，以致于首先確定MEANSAD。如果INTERSAD值小于或等于F1*MEANSAD，操作就直接進行到模塊217，并選擇幀間編碼，且繞過對于QP、 SADM和INTRASAD的另外比較。如果 INTERSAD值大于F1*MEANSAD，操作就代之以進行到模塊405，在其中詢問INTERSAD是否小于或等于？3*(^ ，在該實例中認為它是次最高優(yōu)先權的判斷。如果INTERSAD值小于或等于F3fQP，操作就直接進行到模塊217，并選擇幀間編碼，且繞過對于SADM和INTRASAD 的另外比較。如果INTERSAD值大于F3-QP，操作則代之以進行到模塊407，在其中計算SADM，然后操作進行到模塊409，在其中詢問 INTERSAD值是否小于或等于？2*3八01^，在該實例中認為它是最低優(yōu) 先級的判斷。如果INTERSAD值小于或等于F2*SADM，操作就進行到模塊217，或者反之則操作直接進行到模塊211。在該實例中，改變模塊205、 207和209的功能以區(qū)分這些對比的優(yōu)先權。
可能且預期進行許多其他的變化。比如說，返回參考圖2的模塊 207，可以用MAX函數來代替MIN功能，以致于只要INTERSAD值小于或等于F1*MEANSAD、 F2*SADM或F3*QP中的任何一個，就選擇幀間編碼方法。圖4包括用點線表示的幾種可供選擇的路徑來表示功能的多種變化。比如說，如果要求只選擇MEANSAD值來進行對比，可供選擇的路徑411表示如果INTERSAD值大于F1*MEANSAD，則操作直接進行到模塊211?；蛘哒f，如果要求只選擇QP值來進行對比，可供選擇的路徑413就繞過MEANSAD對比并直接從模塊203進行到模塊405。另外，提供可供選擇的路徑415來繞過SADM對比，以致于操作代之以直接進行到模塊211?；蛘哒f，如果要求只選擇SADM 值來進行對比，可供選擇的路徑417就繞過MEANSAD和QP比較而直接從模塊203進行到模塊407。理解到，可以根據特定配置按照任何適當的順序來區(qū)分這些對比的優(yōu)先權，而且可以選擇或跳過其中任何一個或多個視頻特性對比。選擇全部的三個視頻特性來進行對比提供了在比特率和失真方面的最佳結果。
圖5是表示根據本發(fā)明實施例所執(zhí)行的編碼器500的簡化方框圖。幀存儲器501提供了用于編碼的當前幀F(xiàn)給運動估計(ME)電路503 的一個輸入端、幀內預測電路505的一個輸入端、組合器507 (例如，加法器或減法器等)的正輸入端、運動補償(MC)電路511的一個輸入端、模式判定電路513的輸入端。另一個幀存儲器509向ME電路 503的另一個輸入端以及MC電路511的另一個輸入端提供參考幀 (REFF)。該參考幀包括一個或多個之前編碼和解碼的幀。ME電路 503在其輸出端提供運動估計信息，該輸出端連接到MC電路511的另一個輸入端和模式判定電路513的另一個輸入端。模式判定電路513 具有一個輸出端，其向幀內預測電路505的使能輸入端提供幀內使能信號INTRAE;還具有另一個輸出端，其向MC電路511的使能輸入端提供運動補償使能信號MCE。 MC電路511向選擇器開關515的第一輸入端S1提供運動補償后的預測信息(例如，幀間預測MB) MC，如圖所示選擇器開關515是單刀雙擲(SPDT),具有輸入端S1和S2、控制輸入端C和共有端口 CP，該共有端口 CP提供選擇的輸入作為其輸出。幀內預測電路505向模式判定電路513的輸入端和開關515的輸入端S2提供幀內預測信息(例如，幀內預測MB) IP。模式判定電路513向開關515的控制端C提供選擇信號MSEL以在MC (運動補償幀間MB)或IP (幀內預測MB)之間進行選擇。
開關515的CP端向組合器507的負輸入端和另一個組合器517 的正輸入端提供選擇的預測MB，如符號P所示，在所示實施例中，組合器517為加法器。組合器507從當前幀F(xiàn)的當前MB中減去選擇的預測MBP，用以向變換電路519的輸入端提供剩余MB,如符號R所示。變換電路519執(zhí)行塊變換，例如上述的DCT，并輸出變換結果，如符號B所示。向量化電路521提供該變換結果B，量化電路521輸出量化后的變換系數，如符號X所示。向熵編碼電路525的輸入端提供該X系數，該熵編碼電路525提供壓縮后的比特流來進行傳輸或存儲。熵編碼的具體細節(jié)超出了目前公開內容的范圍，將不對其進行進一步的描述。
向反量化電路527的輸入端提供X系數，該反量化電路527輸出估計的變換后的信息，如符號B'所示，它表示變換結果B的估計或重建后的版本。向逆變換電路529的輸入端提供該估計的變換后的信息B'，該逆變換電路529輸出估計的剩余信息，如符號R'所示，它表示剩余MB R的重建后的版本。向組合器517的另一個正輸入端提供該重建后的剩余MBR'。在所示實施例中，組合器517向R，添加P 以生成未濾波的重建的MB，它變成重建后的幀信息RF的一部分。向幀內預測電路505的另一個輸入端和濾波電路531提供該重建后的幀信息RF。濾波電路531是一種去塊濾波器(例如，每個H.264規(guī)范)，它對重建后的幀RF信息進行濾波，并向RF存儲器533提供濾波后的重建的幀。向幀存儲器509提供一個或兩個來自于RF存儲器533且之前編碼和解碼的幀，用以充當參考幀，如本領域技術人員公知以供編碼所用。
由圖2的流程圖來描述編碼器500的操作(根據需要利用圖3或4 的流程圖進行修改)。開始，MCE和INTRAE使能信號為假或否定低電平，直至進行模式判定。該MSEL可以默認為二中選一位置(選擇端口S1或S2)或者可能位于中間位置(未顯示)直至進行模式判定。運動估計電路503如針對模塊201所述執(zhí)行運動估計，并向模式判定電路513和MC電路511提供運動估計的結果。如針對模塊203所述，模式判定電路513判斷用于模塊跳過的條件成立還是用于早期退出的條件成立。如果是，模式判定電路513就肯定(assert)該MCE信號，并且MC電路511被激活以執(zhí)行上面針對模塊217所述的運動補償功能。另外，肯定該MSEL信號來選擇MC電路511的MC輸出端。在該情況下，選擇幀間編碼模式，并完全跳過幀內編碼處理。如果模塊 203中任何一種條件不為真，則如上所述，模式判定電路513就執(zhí)行模塊205、 207和209 (或301、 303、 305、 307和309、或401、 403、 405、407和409)的功能，以選擇、確定和比較所選擇的視頻特性(例如， MEANSAD、 SADM、 QP)。如果選擇幀間編碼，則模式判定電路513 就肯定MCE信號來激活MC電路511，使其執(zhí)行上面針對模塊217描述的運動補償功能，并確定肯定MSEL信號來選擇該MC電路511的 MC輸出端。在此情況下，完全跳過幀內編碼處理。
否則，如果INTERSAD不在選擇的視頻特性的異常值內，則如上所述地，模式判定電路513肯定INTRAE信號，并且?guī)瑑阮A測電路505 被激活以執(zhí)行幀內預測和確定INTRASAD。向模式判定電路513提供 INTRASAD值，如針對模塊213所述，該模式判定電路513將 INTERSAD (來自于運動估計電路503)和來自幀內預測電路505的 INTRASAD進行對比。如果INTERSAD值小于或等于INTRASAD,則模式判定電路513肯定該MCE信號來激活MC電路511，并肯定MSEL 信號來選擇該MC電路511的MC輸出端。盡管在稍后的情況中初始化該幀內預測處理的初始部分，對結果不進行編碼，且跳過剩余的的幀內編碼模式處理。然而，如果INTERSAD值大于INTRASAD,則模式判定電路513就肯定MSEL信號來選擇幀內預測電路505的IP輸出。如果選擇幀內編碼方法，就不激活運動補償電路511 (或拒絕其輸出)，以致于繞過或忽略另外的運動補償處理。如針對模塊219所述，從當前的幀F(xiàn)的當前MB中減去選擇的預測MB P，這導致生成剩余MB R。電路519、 521、 527和529執(zhí)行模塊221、 223和225的功能，并利用組合器517向預測塊P添加估計的剩余MBR'，并如上所述地向幀內預測電路505和濾波器531提供結果生成的重建后且未濾波的幀信息 RF。理解到，在實際編碼處理之前，編碼器500的模式判定電路513 在幀內編碼和幀間編碼之間進行初步(preliminary)模式判定，以致于為每一個當前的MB僅對一個預測MB進行編碼。
圖6是表示根據本發(fā)明實施例的模式判定電路513的示范性實施例的簡化方框圖。向求平均值電路601提供每一個MB的每一個 INTERSAD值，求平均值電路601對該選擇的INTERSAD值求平均以提供MEANSAD值。如前所述，可以根據之前幀或當前幀對所選擇的 INTERSAD值求平均，來確定MEANSAD值。向計算電路603提供來自于當前幀F(xiàn)的當前MB，其中計算電路603利用當前MB的每個像素值的平均值，來計算當前MB的每一個像素值的絕對差之和，用以確定SADM值，如之前所述。向范圍電路605提供MEANAD、 SADM 和QP值，該范圍電路605將MEANSAD乘以Fl，將SADM乘以F2 并將QP乘以F3。向模式選擇電路607的相應輸入端提供 F1*MEANSAD、 F2*SADM和F3*QP值，該模式選擇電路607還接收 INTERSAD值和選擇信號VIDEO CHAR SEL。如上所述，該VIDEO CHAR SEL信號激活一個或多個視頻特性對比，同時還可選地表示優(yōu) 先權。模式選擇電路607提供MSEL、 MCE和INTRAE信號。
跳過電路609接收運動模式(MOTION MODE)信號、運動矢量 MV、中值MV、 1RF標記、F3本QP值和當前的INTERSAD值，并如上所述地執(zhí)行模塊203的功能。跳過電路609向模式選擇電路607提供 SKIP信號。如果肯定該SKIP信號，模式選擇信號就肯定該MCE信號來激活運動補償，并肯定MSEL信號來選擇幀間編碼方法。否則，模式選擇電路607就執(zhí)行視頻特性對比(例如，模塊207，或301、 305、 309，或403、405、409)，并判斷是否選擇幀間編碼方法。如果INTERSAD 是選擇的視頻特性的異常值，則模式選擇電路607就肯定INTRAE信號來激活幀內預測電路505以執(zhí)行幀內預測處理。還提供INTRAE信號來激活比較器電路611，比較器電路611對INTERSAD值與來自于幀內預測電路505的INTRASAD值進行對比。該比較器電路611向模式選擇電路607返回提供信號COST,該模式選擇電路607肯定MSEL 信號來如上所述地選擇適當的編碼模式。
根據本發(fā)明實施例所述的模式判定的多種益處和優(yōu)勢相對于參考 CODEC編碼處理是顯而易見的。在兩種判定處理中的運動估計處理基本相同。如果當前MB是如在模塊203處所確定的用于跳過的侯選者，或者INTERSAD正如在模塊209中所判斷的那樣足夠小，就完全跳過幀內編碼處理的步驟，同時減少大量處理，選擇幀間編碼，該操作直
接進行到模塊217的運動補償處理。如果INTERSAD并非如模塊209 中所判定的那樣小，就執(zhí)行幀內預測來確定INTRASAD值，然后將它與INTERSAD值進行對比。因此，只有在變?yōu)檩^可能選擇幀內編碼方法時，才執(zhí)行在計算上相對昂貴的幀內預測處理。然而，如果以該對比為基礎選擇了幀間編碼方法，操作就直接進行到運動補償。否則，如果選擇了幀內編碼方法，就完全繞過運動補償處理，同時再次保留處理循環(huán)，并選擇幀間預測MB來進行編碼。通過剩余確定、塊變換、量化、逆變換和反量化處理僅對選擇的預測MB P進行進一步的處理。換言之，與其對兩個單獨的數據集執(zhí)行剩余的和編碼處理，并在對于兩者的處理之后進行編碼判定，還不如在編碼處理之前就預先確定該模式判定。另外，由于在編碼之前做出該編碼判定，所以為了模式判定的目的不再需要進一步處理結果生成的估計的剩余MB (例如，不再需要確定比率和失真值)。在示范性的H.264編碼器中執(zhí)行初步的模式判定，并獲得相對于無編碼判定的編碼器的平均峰值信噪比(PSNR) 的提高。
根據本發(fā)明實施例實現(xiàn)的編碼器充分減少了編碼器的復雜性，并顯著地減少了在編碼處理過程中消耗的編碼處理周期，其中該編碼器包括在編碼處理之前的初步模式判定。該編碼器的特殊優(yōu)勢是用于無線和移動設備中，其中限制了計算和電力資源，盡管它可以用在廣泛的視頻應用中以提高性能。該編碼器簡化了模式判定，平衡了幀間編碼和幀內編碼判定以在提供了可接受的編碼效率和視覺質量的同時節(jié) 約資源。該編碼器提供了一種適當的模式判定處理，同時平衡了編碼效率、視頻質量和計算性能。該編碼器還有利地采用了跳過模式以在某些條件下，諸如當MB是較大運動對象的一部分時，能夠繞過MB 的編碼處理。
根據本發(fā)明實施例的對當前視頻幀的當前宏塊進行編碼模式判定的方法包括確定INTERSAD值(它是在當前宏塊與來自于之前視頻幀的參考宏塊之間的幀間差之和)，選擇與當前視頻幀相關聯(lián)的至少
一個視頻特性，將INTERSAD值與每一個選擇的視頻特性的對應范圍進行對比，如果INTERSAD值在每一個選擇的視頻特性的對應范圍內，就選擇幀間編碼，如果INTERSAD值是任何一個選擇的視頻特性的異常值，就執(zhí)行幀內預測以提供幀內預測宏塊，并確定INTRASAD值(它是在當前宏塊與幀內預測宏塊之間的幀內差之和)，如果INTERSAD 值大于INTRASAD值就選擇幀內編碼，否則就選擇幀間編碼。
該方法可以包括對當前宏塊與參考宏塊的對應像素值之間的絕對差進行求和，用以確定INTERSAD值。該方法還包括選擇和確定 MEANSAD值(它是幀間差之和的平均值)，該MEANSAD值可以基于之前視頻幀的宏塊或當前視頻幀的宏塊。該方法還包括選擇和確定 SADM值(它是在當前宏塊的每一個像素值與當前宏塊的平均像素值之間的絕對差之和)。該方法可以包括選擇量化參數。
在一個更全面的實施例中，該方法包括選擇和確定MEANSAD 值，選擇和確定SADM值，選擇量化參數，將MEANSAD值乘以第一范圍值以提供第一參數，將SADM乘以第二范圍值以提供第二參數，將量化值乘以第三范圍值以提供第三參數，確定第一、第二和第三參數中的最小值，并將INTERSAD值與該最小值進行對比。
該方法還包括執(zhí)行運動估計，并確定來自于之前視頻幀的參考宏塊和至少一個對應的運動矢量。該方法還包括如果當前宏塊只具有一個運動矢量，如果INTERSAD值小于量化參數，如果當前宏塊的運動矢量等于當前幀的相鄰宏塊的中值運動矢量，如果之前視頻幀只是參考幀，則選擇幀間編碼。該方法還包括執(zhí)行參考宏塊的運動補償來提供運動補償后的宏塊，如果選擇了幀間編碼的話，則選擇該運動補償后的宏塊作為預測宏塊，而如果選擇了幀內編碼，就選擇幀內預測宏塊作為預測宏塊，并從當前宏塊中減去該選擇的預測宏塊以提供剩余宏塊以供變換。根據本發(fā)明實施例的用于對當前視頻幀的當前宏塊進行編碼模式判定的視頻編碼器電路包括選擇器開關、運動估計電路、運動補償電路、幀內預測電路和模式判定電路。該選擇器開關具有第一和第二輸入端、輸出端和控制輸入端，該控制輸入端接收模式信號以在第一和第二輸入端之間進行選擇。運動估計電路在當前宏塊與之前視頻幀之
間執(zhí)行運動估計以提供INTERSAD值，并在運動估計電路的輸出端處提供參考宏塊。該運動補償電路響應于第一信號而對參考宏塊執(zhí)行運動補償，用以在該運動補償電路的輸出端處提供幀間預測宏塊。幀內預測電路響應于第二信號的肯定而執(zhí)行幀內預測，用以提供幀內預測宏塊并在幀內預測電路的輸出端處提供INTRASAD值。該模式判定電路選擇與當前視頻幀相關聯(lián)的至少一個視頻特性，將INTERSAD值與每一個選擇的視頻特性的對應范圍進行對比，如果所述INTERSAD值在每一個選擇的視頻特性的相應范圍內，則肯定第一信號和模式信號以選擇幀間編碼，如果INTERSAD值是任何一個選擇的視頻特性的異常值，則肯定第二信號，以及肯定模式信號以在幀內編碼和幀間編碼進行選擇如果INTERSAD值大于INTRASAD值，則選擇幀內編碼；如果INTERSAD值小于或等于INTRASAD值，則選擇幀間編碼。
模式判定電路可以包括第一、第二和第三電路以及第一和第二比較器。第一電路確定MEANSAD值，第二電路確定SADM值，而第三電路將MEANSAD值乘以第一范圍值以提供第一視頻特性，將SADM 值乘以第二范圍值以提供第二視頻特性，并將量化參數乘以第三范圍值以提供第三視頻特性。第一比較器電路將INTERSAD值與第一、第二和第三視頻特性進行對比，并提供第一、第二和模式信號。第二比較器電路將INTERSAD值與INTRASAD值進行對比。
用于對當前視頻幀的當前宏塊進行編碼模式判定的視頻編碼器的模式判定電路包括用于選擇與當前視頻幀相關聯(lián)的至少一個視頻特性的裝置，用于將來自于運動估計的INTERSAD值與每一個選擇的視頻特性的相應范圍進行對比的裝置，用于如果INTERSAD值是所述至少一個視頻特性中任何一個的異常值則起動幀內預測的裝置，用于將 INTERSAD值與INTRASAD值進行對比的裝置，以及用于如果 INTERSAD值在所述每一個選擇的視頻特性的相應范圍內或如果 INTERSAD值小于或等于所述INTRASAD值則選擇幀間編碼的裝置，以及如果INTERSAD值大于INTRASAD值則選擇幀內編碼的裝置。該模式判定單元可以進一步包括裝置，該裝置用于確定單個運動模式，
將運動矢量與中值運動模式矢量進行對比，并確定單個參考幀計數和提供跳過信號，該跳過信號指示可以對當前宏塊跳過編碼的可能性。
盡管已經顯示和描述了本發(fā)明的優(yōu)選實施例，但是本領域技術人員明白可以基于此處的教導，在不脫離本發(fā)明的廣泛方面的情況下進行進一步的變化和修改，因此所附的權利要求意圖將所有的這些變化和修改涵蓋在其范圍內，這些變化和修改落在本發(fā)明的真實精神和范圍內。
權利要求
1.一種對當前視頻幀的當前宏塊進行編碼模式判定的方法，包括確定INTERSAD值，該INTERSAD值包括在所述當前宏塊與來自于之前視頻幀的參考宏塊之間的幀間差之和；選擇與所述當前視頻幀相關聯(lián)的至少一個視頻特性；將所述INTERSAD值與每一個選擇的視頻特性的相應范圍進行對比；如果所述INTERSAD值在每一個選擇的視頻特性的相應范圍內，則選擇幀間編碼；如果所述INTERSAD值是任何選擇的視頻特性的異常值，則執(zhí)行幀內預測以提供幀內預測宏塊，并確定INTRASAD值，該INTRASAD值包括在所述當前宏塊與所述幀內預測宏塊之間的幀內差之和；以及如果所述INTERSAD值大于所述INTRASAD值，則選擇幀內編碼，否則選擇幀間編碼。
2. 根據權利要求1的所述方法，其中所述確定INTERSAD值包括對所述當前宏塊與所述參考宏塊的相應像素值之間的絕對差求和。
3. 根據權利要求1的所述方法，其中所述選擇至少一個視頻特性包括選擇和確定MEANSAD值，所述MEANSAD值包括幀間差之和的平均值。
4. 根據權利要求3的所述方法，其中所述確定MEANSAD值包括確定所述之前視頻幀的多個宏塊的幀間絕對差之和的平均值。
5. 根據權利要求4的所述方法，其中所述確定之前視頻幀的多個宏塊的幀間絕對差之和的平均值包括確定所述之前視頻幀的全部宏塊的幀間絕對差之和的平均值。
6. 根據權利要求4的所述方法，其中所述確定之前視頻幀的多個宏塊的幀間絕對差之和的平均值包括確定所述之前視頻幀的相鄰宏塊的幀間絕對差之和的平均值。
7. 根據權利要求3的所述方法，其中所述確定MEANSAD值包括確定所述當前視頻幀的多個宏塊的幀間絕對差之和的平均值。
8. 根據權利要求l的所述方法，其中所述選擇至少一個視頻特性包括選擇和確定SADM值，所述SADM值包括所述當前宏塊的每一個像素值與所述當前宏塊的平均像素值之間的絕對差之和。
9. 根據權利要求1的所述方法，其中所述選擇至少一個視頻特性包括選擇量化參數。
10. 根據權利要求1的所述方法，進一步包括所述選擇至少一個視頻特性包括選擇和確定MEANSAD值，所述MEANSAD值包括幀間差之和的平均值；選擇和確定SADM值，所述SADM包括所述當前宏塊的每一個像素值與所述當前宏塊的平均像素值之間的絕對差之和；以及，選擇量化參數；將所述MEANSAD值乘以第一范圍值以提供第一參數；將所述SADM值乘以第二范圍值以提供第二參數；將所述量化值乘以第三范圍值以提供第三參數；確定所述第一、第二和第三參數中的最小值；以及所述比較所述INTERSAD值包括將所述INTERSAD值與所述最小值進行對比。
11. 根據權利要求1的所述方法，在所述選擇至少一個視頻特性之前，進一步包括執(zhí)行運動估計，并確定來自于所述之前視頻幀的參考宏塊和至少一個相應的運動矢量。
12. 根據權利要求11的所述方法，在所述選擇至少一個視頻特性之前，進一步包括如果所述當前宏塊只具有一個運動矢量，如果所述INTERSAD值小于量化參數，如果所述當前宏塊的運動矢量等于所述當前幀的相鄰宏塊的中值運動矢量，且如果所述之前視頻幀是唯一的參考幀，則選擇幀間編碼。
13. 根據權利要求1的所述方法，進一步包括如果選擇幀間編碼，則執(zhí)行所述參考宏塊的運動補償以提供運動補償后的宏塊，并選擇所述運動補償后的宏塊作為預測宏塊；以及如果選擇幀內編碼，則選擇所述幀內預測宏塊作為所述預測宏塊；以及從所述當前宏塊減去所述選擇的預測宏塊以提供剩余宏塊以供變換。
14. 一種對當前視頻幀的當前宏塊進行編碼模式判定的視頻編碼器電路，包括選擇器開關，具有第一和第二輸入端、輸出端和控制輸入端，所述控制輸入端接收模式信號以在所述第一和第二輸入端之間進行選擇；運動估計電路，具有用于接收所述當前幀和至少一個之前幀的輸入端和輸出端，其中，所述運動估計電路在所述當前宏塊與之前視頻幀之間執(zhí)行運動估計，以在所述運動估計電路的所述輸出端處提供INTERSAD值并且提供參考宏塊，其中所述INTERSAD值包括所述當前宏塊與來自于所述之前視頻幀的所述參考宏塊之間的幀間差之和；運動補償電路，具有連接到所述運動估計電路的所述輸出端的輸入端以及連接到所述開關的所述第一輸入端的輸出端，其中，所述運動補償電路響應于第一信號而對所述參考宏塊執(zhí)行運動補償，以在所述運動補償電路的所述輸出端處提供幀間預測宏塊；幀內預測電路，具有用于接收所述當前幀的輸入端以及連接到所述開關的所述第二輸入端的輸出端，其中，所述幀內預測電路響應于對第二信號的肯定而執(zhí)行幀內預測，以在所述幀內預測電路的所述輸出端處提供幀內預測宏塊并且提供INTRASAD值，其中所述 INTRASAD值包括所述當前宏塊與所述幀內預測宏塊之間的幀內差之和；以及模式判定電路，具有用于提供所述第一信號的第一輸出端、用于提供所述第二信號的第二輸出端和用于提供所述模式選擇信號的第三輸出端，其中，所述模式判定電路選擇與所述當前視頻幀相關聯(lián)的至少一個視頻特性，將所述INTERSAD值與每一個選擇的視頻特性的相應范圍進行對比，如果所述INTERSAD值在所述每一個選擇的視頻特性的相應范圍內，則肯定所述第一信號和所述模式信號以選擇幀間編碼；如果所述INTERSAD值是任何選擇的視頻特性的異常值，則肯定所述第二信號，以及肯定所述模式信號以在幀內編碼和幀間編碼之間進行選擇，如果所述INTERSAD值大于所述INTRASAD值則選擇幀內編碼，而如果所述INTERSAD值小于或等于所述INTRASAD值則選擇幀間編碼。
15. 根據權利要求14的所述視頻編碼器電路，進一步包括減法器，具有用于接收所述當前視頻幀的第一輸入端、連接到所述開關的所述輸出端的第二輸入端以及輸出端，其中，所述減法器從所述當前宏塊中減去選擇的預測宏塊以提供剩余宏塊；以及轉換電路，具有連接到所述減法器的所述輸出端的第一輸入端、用于提供編碼后的信息的第一輸出端以及用于提供重建的宏塊的第二輸出端。
16. 根據權利要求15的所述視頻編碼器電路，其中所述轉換電路包括變換電路，具有連接到所述減法器的所述輸出端的輸入端，并且具有輸出端；量化電路，具有連接到所述變換宏塊的所述輸出端的輸入端，并且具有輸出端；反量化電路，具有連接到所述量化電路的所述輸出端的輸入端，并且具有輸出端；以及加法器，具有連接到所述反量化電路的所述輸出端的第一輸入端、連接到所述開關的所述輸出端的第二輸入端以及用于提供所述重建的宏塊的輸出端。
17. 根據權利要求14的所述視頻編碼器電路，其中所述模式判定電路包括第一電路，該第一電路確定MEANSAD值，所述MEANSAD值包括幀間差之和的平均值；第二電路，該第二電路確定SADM值，所述SADM值包括所述當前宏塊的每一個像素值與所述當前宏塊的平均像素值之間的絕對差之和；第三電路，該第三電路將所述MEANSAD值乘以第一范圍值以提供第一視頻特性，將所述SADM值乘以第二范圍值以提供第二視頻特性，并將量化參數乘以第三范圍值以提供第三視頻特性；第一比較器電路，該第一比較器電路將所述INTERSAD值與所述第一、第二和第三視頻特性進行對比，并提供所述第一、第二和模式信號；以及第二比較器電路，該第二比較器電路將所述INTERSAD值與所述 INTRASAD值進行對比。
18. 根據權利要求14的所述視頻編碼器電路，進一步包括比較器電路，該比較器電路比較運動模式信號、運動矢量、中值運動模式矢量和參考幀計數，并提供跳過信號，所述跳過信號表示可以對所述當前宏塊跳過編碼的可能性。
19. 一種對當前視頻幀的當前宏塊進行編碼模式判定的視頻編碼器的模式判定單元，包括用于選擇與所述當前視頻幀相關聯(lián)的至少一個視頻特性的裝置-,用于將來自于運動估計的INTERSAD值與每一個選擇的視頻特性的相應范圍進行對比的裝置；用于如果所述INTERSAD值是所述至少一個視頻特性的任何一個的異常值則起動幀內預測的裝置；用于將所述INTERSAD值與所述INTRASAD值進行對比的裝置；以及用于如果所述INTERSAD值在所述每一個選擇的視頻特性的相應范圍內或如果所述INTERSAD值小于或等于所述INTRASAD值則選擇幀間編碼的裝置，該裝置還用于如果所述INTERSAD值大于所述 INTRASAD值則選擇幀內編碼。
20.根據權利要求19的所述模式判定單元，進一步包括裝置，該裝置用于確定單個運動模式，將運動矢量與中值運動模式矢量進行對比，并且用于確定單個參考幀計數以及用于提供跳過信號，該跳過信號表示可以對所述當前宏塊跳過編碼的可能性。
全文摘要
一種對當前視頻幀(501)的當前宏塊進行編碼模式判定的方法，該方法包括確定INTERSAD值，選擇至少一個與當前視頻幀相關聯(lián)的視頻特性，將INTERSAD值與每一個選擇的視頻特性的相應范圍進行對比，如果INTERSAD值在每一個選擇的視頻特性的相應范圍內則選擇幀間編碼，如果INTERSAD值是任何一個選擇的視頻特性的異常值執(zhí)行幀內預測(505)以提供幀內預測宏塊并確定INTRASAD值，如果INTERSAD值大于INTRASAD值則選擇幀內編碼，否則選擇幀間編碼。這些視頻特性可以基于幀間差之和的平均值、在當前宏塊的每一個像素值與當前宏塊的平均像素值之間的絕對差之和以及量化參數的任何組合。
文檔編號H04N7/12GK101305610SQ200680039193
公開日2008年11月12日申請日期2006年10月11日優(yōu)先權日2005年10月19日
發(fā)明者勇晏申請人:飛思卡爾半導體公司

完整全部詳細技術資料下載