專利名稱：實現(xiàn)運動估計的視頻編碼器與其運動估計方法
技術(shù)領(lǐng)域：
本發(fā)明關(guān)于視頻編碼，特別是關(guān)于視頻編碼器與運動估計方法。
背景技術(shù)：
以塊(block)為基礎(chǔ)的視頻編碼標準(例如MPEG 1/2/4與H.26x )，主要通過 減少多個視頻幀之間的時間冗余以及視頻幀內(nèi)的空間冗余來實現(xiàn)數(shù)據(jù)壓縮。符 合某一標準的編碼器所產(chǎn)生的比特流，可通過符合其它標準的譯碼器解碼。這 些視頻編碼標準提供給編碼器靈活性，來開拓最佳技術(shù)以增進視頻質(zhì)量。
上述提供給編碼器的靈活性之一是幀的類型。對于以塊為基礎(chǔ)的^L頻編碼 器，可編碼三種類型幀，即I、 P與B幀。I幀是幀內(nèi)編碼幀，不需要任何運動 才卜償予貞測(motion-compensated prediction, MCP )。 P幀是利用先前參考幀的運 動補償預(yù)測的預(yù)測幀，B幀是利用先前參考幀與將來參考幀的運動補償預(yù)測的雙 向預(yù)測幀。通常來說，I幀與P幀是運動補償預(yù)測的參考幀。
幀間編碼幀，包含P幀與B幀，經(jīng)由先前編碼幀的運動補償來預(yù)測以減少 時間冗余，因此，獲得高的補償效率。每一視頻幀包含像素陣列(array of pixel )。 宏塊(macroblock， MB)是一組像素，例如16x16, 16x8, 8x16,與8x8像素塊。8x8 像素塊可進一步分塊成8x4， 4x8，或者4x4尺寸的像素塊。因此，共支持7種塊 類型。通常情況下，估計在多個幀之間圖像如何運動(以宏塊為基礎(chǔ))，即運動 估計。運動估計通常包含比較當前幀的宏塊與多個來自其它參考幀的宏塊的相 似性。當前視頻幀的宏塊與參考幀的最相似的宏塊之間的空間位移是運動向量 (Motion vector)?？捎煞謹?shù)像素來估計運動向量，其中該分數(shù)像素可通過將來 自參考幀的像素進行內(nèi)插得到。
圖la與圖lb繪示了現(xiàn)有的運動估計程序，搜索(先前)參考幀13的搜索 窗口 (search window) 14以尋找當前幀11的圖像塊12的匹配圖像塊15，其中 圖像塊16根據(jù)運動向量17從先前位置15運動至新位置16。運動向量代表圖像 塊從參考幀至當前幀的位移?？衫脡K匹配度量(block matching metric)來判斷當前塊與參考幀的圖像塊的相似度，例如利用絕對誤差總和(Sum of Absolute Differences, SAD)或者均方誤差(Mean Squared Error, MSE)。產(chǎn)生最小絕對誤差 總和或者均方誤差的參考幀位置作為最佳匹配位置，并且最小絕對誤差總和或 者均方誤差作為運動向量。當前幀的圖像塊是宏塊。
除了利用搜索窗口來減少空間冗余，MPEG 4編碼也利用多個參考幀來減少 運動估計的時間冗余。因此，需要一種通過多個參考幀與搜索窗口的自適應(yīng)組 合來進行運動估計的視頻編碼器及其方法。

發(fā)明內(nèi)容
為了解決現(xiàn)有技術(shù)中需要通過多個參考幀與搜索窗口的自適應(yīng)組合來進行 運動估計的技術(shù)問題，本發(fā)明提供一種實現(xiàn)運動估計的視頻編碼器及其運動估 計方法。
依據(jù)本發(fā)明的一方面，其提供一種實現(xiàn)運動估計的視頻編碼器，包含存 儲單元，用來接收當前圖像塊以及自至少兩個參考幀接收多個搜索窗口；以及 整數(shù)像素運動估計單元，耦接至存儲單元，用來依據(jù)當前圖像塊與多個搜索窗 口計算多個整數(shù)運動向量；其中上述參考幀的數(shù)量與上述搜索窗口的尺寸可以 自適應(yīng)的改變，使得其空間需求小于或者等于存儲單元的可用空間。
依據(jù)本發(fā)明另一方面，其提供一種運動估計方法，包含提供存儲單元， 來接收當前圖像塊以及從至少兩個參考幀接收多個搜索窗口 ；以及提供整數(shù)像 素運動估計單元，依據(jù)當前圖像塊與多個搜索窗口計算多個整數(shù)運動向量；其 中上述參考幀的數(shù)量與上述搜索窗口的尺寸可以自適應(yīng)的改變，使得其空間需 求小于或者等于存儲單元的可用空間。
本發(fā)明提供的實現(xiàn)運動估計的視頻編碼器及其運動估計方法，通過自適應(yīng) 的改變參考幀的數(shù)量與搜索窗口的尺寸，能夠在硬件資源有限的情況下，實現(xiàn) 視頻編碼的運動估計，因此可產(chǎn)生緊湊的電路設(shè)計并且減少制造成本。


圖la與圖lb繪示了現(xiàn)有的運動估計程序。 圖2繪示了在MPEG編碼中幀模式與場模式的運動估計程序。 圖3a與圖3b為依據(jù)本發(fā)明的實施方式的實現(xiàn)運動估計的視頻編碼器的方 框圖。圖4a與圖4b為依據(jù)本發(fā)明的另一個實施方式的實現(xiàn)運動估計的視頻編碼 器的方框圖。
圖5a與圖5b為依據(jù)本發(fā)明的又一個實施方式的實現(xiàn)運動估計的視頻編碼 器的方框圖。
圖6a與圖6b為依據(jù)本發(fā)明的再一個實施方式的實現(xiàn)運動估計的視頻編碼 器的方框圖。
具體實施例方式
圖3a與圖3b為依據(jù)本發(fā)明的實施方式的實現(xiàn)運動估計的視頻編碼器的方 框圖。該視頻編碼器包含存儲單元30、整數(shù)像素運動估計(integer motion estimation, IME )單元32以及分凄史寸象素運動4古i十(fractional motion estimation, FME)單元34，其中存儲單元30耦接至整數(shù)像素運動估計單元(IME單元)32, 并且隨后耦接至分數(shù)像素運動估計單元(FME單元)34。
存儲單元30包含存儲器300,用來接收當前圖像塊CB;以及存儲器302, 用來接收來自參考幀RefO與Refl (至少兩個參考幀)的搜索窗口 SWO與SWl (或多個搜索窗口)。盡管圖3a中只繪示兩個搜索窗口與兩個參考幀，但其中 也可包含多個參考幀與多個搜索窗口。當前圖像塊CB是宏塊，可為包含需要搜 索64個像素的8x8的宏塊。搜索窗口 SWO與SWl包含搜索的像素，以得到與 當前圖像塊CB匹配的圖像塊。存儲器300與存儲器302可為任何計算器可存取 的存儲器，例如動態(tài)隨機存取存儲器(DRAM )、靜態(tài)隨機存取存儲器(SRAM ) 或者快閃存儲器(Flashmemory)。
array) 320，用來接收當前圖像塊CB與搜索窗口 SWO與SW1，從而計算整數(shù) 運動向量MV0與MV1 (也可為多個運動向量)。每一處理元件是最小處理單 元，從當前圖像塊CB接收需要搜索的像素、從搜索窗口接收搜索范圍、并且計 算絕對誤差總和。每一處理元件中的搜索范圍可與臨近處理元件中的搜索范圍 相差1個像素。處理元件陣列320通過計算當前圖像塊CB與搜索窗口 SWO與 SWl中的搜索范圍之間的絕對誤差總和，來獲得每一處理元件的失真值，并且 將每一纟叟索窗口的最小絕對:蔽差總和作為整lt運動向量。處理元件陣列320計 算搜索窗口 SWO與SWl的絕對誤差總和以輸出整數(shù)運動向量MV0與MVl。 參考幀的數(shù)量與搜索窗口的尺寸可以自適應(yīng)的改變，使得所有參考幀內(nèi)的搜索窗口的空間需求小于或者等于存儲單元30內(nèi)的可用空間。例如，當參考幀的數(shù) 量小時，搜索窗口的尺寸可以自適應(yīng)的改變以覆蓋較大的范圍；而當參考幀的 數(shù)量大時，搜索窗口的尺寸可以自適應(yīng)的改變以覆蓋較小的范圍。
分凄"象素運動估計單元(FME單元)34包含處理元件陣列340,通過將產(chǎn) 生整數(shù)運動向量的搜索范圍內(nèi)的像素與其臨近像素進行內(nèi)插(interpolate)，來 計算分數(shù)運動向量，以估計內(nèi)插搜索范圍，以及計算當前圖像塊CB與每一內(nèi)插 搜索范圍的像素之間的絕對誤差總和，以決定其最小絕對誤差總和作為分數(shù)運 動向量MV。每一處理元件接收來自當前圖像塊CB與具有不同內(nèi)插位置的內(nèi)插 搜索范圍內(nèi)的像素，以計算絕對誤差總和。處理元件陣列340計算搜索窗口 SW0 與SW1的絕對誤差總和，并選擇其最小值來作為輸出的分數(shù)運動向量MV。
圖3a與圖3b所示的一見頻編碼器與傳統(tǒng)(legacy)的MPEG標準(例如 MPEG2)回溯兼容(back-compatible)。如圖3b所示，其中只利用單一參考幀 來進行預(yù)測編碼。存儲單元30自存儲器300的當前幀Cf接收當前圖像塊CB并 自存儲器302的參考幀RefD接收搜索窗口 SW。整數(shù)^象素運動估計單元(IME 單元)32自當前圖像塊CB與搜索窗口 SW接收像素，以決定整數(shù)運動向量MV。 然后分數(shù)像素運動估計單元(FME單元)34將產(chǎn)生整數(shù)運動向量的搜索范圍內(nèi) 的像素進行內(nèi)插以計算分數(shù)運動向量MV。由于存儲器302內(nèi)僅存儲一個搜索窗 口 SW,搜索窗口 SW的最大尺寸大于搜索窗口 SWO以及搜索窗口 SW1的尺寸。
圖3a與圖3b所示的^L頻編碼器也與MPEG編碼的場;漠式(field mode )兼 容。圖2繪示了在MPEG編碼中幀模式與場模式的運動估計程序。圖2的左手 邊繪示了幀模式運動估計，其中當前圖像幀20包含兩個隔行掃描場(interlaced field)，即奇凄t場(odd field) 204與偶凄t場(even field) 206。在4叟索窗口 202 中進行以幀為基礎(chǔ)的(frame based)搜索，該搜索從以幀為基礎(chǔ)的具有最低絕對 誤差總和的位置的參考圖像幀開始，其中該絕對誤差總和代表與當前圖像塊200 以幀為基礎(chǔ)的最佳匹配圖像塊。如圖2的右手邊所示的場it式運動估計，當前 圖像幀的宏塊分成兩個塊22與塊24,每一塊僅包含偶數(shù)場(塊22)或者僅 包含奇數(shù)場(塊24)。搜索窗口 202也分為參考圖像塊222與242，其中之一 僅包含偶數(shù)場行，另一僅包含奇數(shù)場行，以分別進行運動估計處理。即圖3a與 圖3b所示的視頻編碼器進行運動估計，以自偶數(shù)參考圖像塊222搜索偶數(shù)當前 圖像塊220,自奇數(shù)參考圖像塊242搜索奇數(shù)當前圖像塊240。并且整數(shù)像素運 動估計單元(IME單元)依據(jù)當前圖像塊與偶數(shù)場計算偶數(shù)整數(shù)運動向量，并依據(jù)當前圖像塊與奇數(shù)場計算奇數(shù)整數(shù)運動向量，以及計算偶數(shù)整數(shù)運動向量 以及奇數(shù)整數(shù)運動向量的平均值作為每一參考幀的整數(shù)運動向量。在一個實施
方式中，存儲器300接收當前圖像塊CB中的偶數(shù)場塊與奇數(shù)場塊(圖示中未顯 示)，并且存儲器302自參考幀接收偶數(shù)場塊與奇數(shù)場塊的搜索窗口 SWO與 SW1。整數(shù)像素運動估計單元(IME單元)32的每一處理元件計算并輸出偶數(shù) 場塊與奇數(shù)場塊的最小絕對誤差總和以作為運動向量MVO與MV1。并且分數(shù) 像素運動估計單元(FME單元)34更通過內(nèi)插來計算分數(shù)運動向量，以產(chǎn)生所 有計算中的最小絕對誤差總和以作為最終運動向量MV。
圖4a與圖4b為依據(jù)本發(fā)明的另一個實施方式的實現(xiàn)運動估計的視頻編碼 器的方框圖。該視頻編碼器包含存儲單元40、整數(shù)像素運動估計單元(IME單 元)42以及分數(shù)像素運動估計單元(FME單元)44,其中存儲單元40是耦接 至整數(shù)像素運動估計單元(IME單元)42，并且隨后耦接至分數(shù)像素運動估計 單元(FME單元)44。
圖4a與圖4b所示的視頻編碼器能夠在硬件資源有限的條件下，針對多參 考幀與大搜索窗口尺寸進行預(yù)測編碼。例如，在多參考幀的情況下，搜索窗口 SWO與SW1分別順序地進入存儲單元40、整數(shù)像素運動估計單元(IME單元) 42以及分凄t像素運動估計單元(FME單元)44。然后，針對搜索窗口 SWO與 SW1依次進行數(shù)據(jù)緩沖(databuffering)、整數(shù)運動向量估計以及分數(shù)運動向量 估計，以輸出當前圖像塊CB的分數(shù)運動向量MV。由于僅需要圖3a與圖3b所 示的視頻編碼器的一半的硬件，因此可產(chǎn)生緊湊的電路設(shè)計并且減少制造成本。 同樣的，當搜索窗口尺寸超出存儲單元40、整數(shù)像素運動估計單元(IME單元) 42與分數(shù)像素運動估計單元(FME單元)44的可用空間時，存儲單元40、整 數(shù)像素運動估計單元(IME單元)42與分數(shù)像素運動估計單元(FME單元)44 可依次接收搜索窗口 SWa與SWb的一半的像素，然后依次進行數(shù)據(jù)緩沖、整 數(shù)運動向量估計以及分數(shù)運動向量估計，以輸出當前圖像塊CB的分數(shù)運動向量 MV。硬件資源需求減少的代價為增加數(shù)據(jù)處理時間。
圖5a與圖5b為依據(jù)本發(fā)明的又一個實施方式的實現(xiàn)運動估計的視頻編碼 器的方框圖。該視頻編碼器包含如同圖3a與圖3b中所示的存儲單元30、整數(shù) 像素運動估計單元(IME單元)32以及分數(shù)-像素運動估計單元(FME單元)34。 圖5a中的視頻編碼器與圖3a中所示的視頻編碼器相同，其中當前圖像塊CB以 及至少來自兩個參考幀的兩個搜索窗口 SWO與SW1存儲在存儲單元30,然后整數(shù)像素運動估計單元(IME單元)32依據(jù)當前圖像塊CB與搜索窗口 SW0與 SW1來計算多個整數(shù)運動向量MVs (例如上述MVO與MV1 ),接著分數(shù)像素 運動估計單元(FME單元)34將整數(shù)運動向量MVs進行內(nèi)插以獲得分數(shù)運動 向量MV。參閱圖5b,由于較小的搜索窗口尺寸，存儲單元30接收搜索窗口 SW, 該搜索窗口 SW僅占用存儲器302的可用空間的一半。與利用了全部硬件的圖 3a與圖3b相比，圖5a與圖5b僅僅利用了存儲單元30、整數(shù)像素運動估計單元 (IME單元)32以及分數(shù)像素運動估計單元(FME單元)34的一半石更件資源， 使得分數(shù)像素運動估計單元(FME單元)34進行快速分數(shù)運動向量計算。
圖6a與圖6b為依據(jù)本發(fā)明的再一個實施方式的實現(xiàn)運動估計的視頻編碼 器的方框圖。該視頻編碼器包含如同圖3a與圖3b中所示的存儲單元30、整數(shù) 像素運動估計單元(IME單元)32以及分數(shù)像素運動估計單元(FME單元)34。 圖6a是多個參考MPEG編碼的例子。參考幀RefD與Refl包含具有不同搜索窗 口尺寸的搜索窗口 SW0與SW1。搜索窗口 SWO的尺寸超出搜索窗口 SW1的尺 寸。因此，與圖3a以及圖3b相比，存儲器302與處理元件陣列320以及處理 元件陣列340需要更多的空間與處理單元，來并行地處理搜索窗口 SWO與SW1 中的所有像素，并輸出當前圖像塊CB的分數(shù)運動向量MV。圖6b繪示了利用 較大搜索窗口 SW (相當于圖3b所示的搜索窗口 SW)來編碼—見頻幀Cf的視頻 編碼器的實施方式。由于較大搜索窗口 SW包含較多的圖像像素，因此需要存 儲器302具有較大的存儲空間，并且需要整數(shù)像素運動估計單元(IME單元) 32以及分數(shù)4象素運動估計單元(FME單元)34具有較多的處理元件來計算當前 塊CB與搜索窗口 SW的數(shù)據(jù)之間絕對誤差總和。編碼器依據(jù)搜索窗口尺寸來配 置搜索窗口中的像素數(shù)據(jù)需要的存儲空間與處理元件的數(shù)量。
圖3a至圖6b中所示的處理元件是可重構(gòu)的。上述處理元件可并行地處理 多幀，共同地處理一幀，或者以適應(yīng)不同情況的其它方式工作。
盡管上文所描述的實施方式4吏用MPEG標準，本領(lǐng)域技術(shù)人員可以得知只 要做出適當?shù)男薷?，上述視頻編碼器與運動估計方法在其它視頻編碼標準(例 如H.263與H.264 )下同樣適用。
以上所述僅為本發(fā)明的較佳實施方式，凡依本發(fā)明權(quán)利要求所做的均等變 化與修飾，都應(yīng)屬于本發(fā)明的涵蓋范圍。
權(quán)利要求
1. 一種實現(xiàn)運動估計的視頻編碼器，包含存儲單元，用來接收當前圖像塊以及從至少兩個參考幀接收多個搜索窗口；以及整數(shù)像素運動估計單元，耦接至上述存儲單元，用來依據(jù)上述當前圖像塊與上述多個搜索窗口計算多個整數(shù)運動向量；其中上述參考幀的數(shù)量與上述搜索窗口的尺寸可以自適應(yīng)的改變，使得其空間需求小于或者等于上述存儲單元的可用空間。
2. 根據(jù)權(quán)利要求1所述的實現(xiàn)運動估計的視頻編碼器，其中上述整數(shù)像素運 動估計單元計算上述當前圖像塊與上述搜索窗口的每一參考圖^^塊之間的多個絕 對誤差總和，并且決定每一搜索窗口的最小絕對誤差總和作為上述整數(shù)運動向量。
3. 根據(jù)權(quán)利要求2所述的實現(xiàn)運動估計的視頻編碼器，更包含分數(shù)像素運動 估計單元，耦接至上述整數(shù)像素運動估計單元，其中上述分數(shù)像素運動估計單元 將相對應(yīng)于上述整數(shù)運動向量的上述參考圖像塊內(nèi)的上述像素與其鄰近的多個像 素進行內(nèi)插，以估計多個內(nèi)插參考圖像塊，并且計算上述當前圖像塊與上述每一 內(nèi)插參考圖像塊之間的多個絕對誤差總和，并決定每一搜索窗口的絕對誤差總和 的最小值作為分數(shù)運動向量。
4. 根據(jù)權(quán)利要求l所述的實現(xiàn)運動估計的視頻編碼器，其特征在于，上述整 數(shù)像素運動估計單元同時地或者順序地計算上述整數(shù)運動向量。
5. 根據(jù)權(quán)利要求1所述的實現(xiàn)運動估計的視頻編碼器，其特征在于，上述搜 索窗口具有相同的或者不同的尺寸，使得上述存儲單元的可用空間超出或者等于 上述當前圖像塊與上述搜索窗口的空間需求。
6. 根據(jù)權(quán)利要求1所述的實現(xiàn)運動估計的視頻編碼器，其特征在于，每一參 考幀的上述搜索窗口包含多個偶數(shù)場與多個奇數(shù)場，并且上述整數(shù)像素運動估計 單元依據(jù)上述當前圖像塊與上述偶數(shù)場計算多個偶數(shù)整數(shù)運動向量，并且依據(jù)上 述當前圖像塊與上述奇數(shù)場計算多個奇數(shù)整數(shù)運動向量，以及計算上述偶數(shù)整數(shù) 運動向量以及上述奇數(shù)整數(shù)運動向量的平均值作為每一參考幀的整數(shù)運動向量。
7. 根據(jù)權(quán)利要求1所述的實現(xiàn)運動估計的視頻編碼器，其特征在于，上述存 儲單元包含多個子存儲單元并且上述整數(shù)像素運動估計單元包含多個子整數(shù)像素運動估計單元，每一子存儲單元接收上述當前圖像塊或者自每一參考幀接收每一 搜索窗口 ，并且每一子整數(shù)像素運動估計單元依據(jù)上述當前圖像塊與每一搜索窗 口計算上述整數(shù)運動向量。
8. —種運動估計方法，包含提供存儲單元，接收當前圖像塊以及從至少兩個參考幀接收多個搜索窗口 ；以及提供整數(shù)像素運動估計單元，依據(jù)上述當前圖像塊與上述搜索窗口計算多個 整數(shù)運動向量；其中上述參考幀的數(shù)量與上述搜索窗口的尺寸可以自適應(yīng)的改變，使得其空 間需求小于或者等于上述存儲單元的可用空間。
9. 根據(jù)權(quán)利要求8所述的運動估計方法，其特征在于，提供整數(shù)像素運動估 計單元的步驟包含計算上述當前圖像塊與上述搜索窗口的每一參考圖像塊之間 的多個絕對誤差總和，并且決定每一搜索窗口的最小絕對誤差總和作為上述整數(shù) 運動向量。
10. 根據(jù)權(quán)利要求9所述的運動估計方法，其特征在于，更包含提供分數(shù)像 素運動估計單元，來將相對應(yīng)于上述整數(shù)運動向量的上述參考圖像塊內(nèi)的上述像 素與其鄰近多個像素進行內(nèi)插，并且計算上述當前圖像塊與每一 內(nèi)插參考圖像塊 之間的多個絕對誤差總和，并決定每一搜索窗口的絕對誤差總和的最小值來作為 分數(shù)運動向量。
11. 根據(jù)權(quán)利要求8所述的運動估計方法，其特征在于，提供整數(shù)像素運動 估計單元的步驟包含同時地或者順序地計算上述整數(shù)運動向量。
12. 根據(jù)權(quán)利要求8所述的運動估計方法，其特征在于，上述搜索窗口具有 相同的或者不同的尺寸，使得上述存儲單元的可用空間超出或者等于上述當前圖 像塊與上述搜索窗口的空間需求。
13. 根據(jù)權(quán)利要求8所述的運動估計方法，其特征在于，每一參考幀的上述 搜索窗口包含多個偶數(shù)場與多個奇數(shù)場，并且提供整數(shù)像素運動估計單元的步驟 包含依據(jù)上述當前圖像塊與上述偶數(shù)場計算多個偶數(shù)整數(shù)運動向量，并且依據(jù)上 述當前圖像塊與上述奇數(shù)場計算多個奇數(shù)整數(shù)運動向量，以及計算上述偶數(shù)整數(shù) 運動向量以及上述奇數(shù)整數(shù)運動向量的平均值作為每一參考幀的上述整數(shù)運動向 量。
全文摘要
本發(fā)明提供一種實現(xiàn)運動估計的視頻編碼器與運動估計方法，視頻編碼器包含存儲單元，用來接收當前圖像塊以及從至少兩個參考幀接收多個搜索窗口；以及整數(shù)像素運動估計單元，耦接至存儲單元，用來依據(jù)當前圖像塊與多個搜索窗口計算多個整數(shù)運動向量；其中參考幀的數(shù)量與搜索窗口的尺寸可以自適應(yīng)的改變，使得其空間需求小于或者等于存儲單元的可用空間。本發(fā)明提供的實現(xiàn)運動估計的視頻編碼器及其運動估計方法，能夠在硬件資源有限的情況下，實現(xiàn)視頻編碼的運動估計，因此可產(chǎn)生緊湊的電路設(shè)計并且減少制造成本。
文檔編號H04N7/26GK101547354SQ20081012662
公開日2009年9月30日 申請日期2008年6月17日 優(yōu)先權(quán)日2008年3月26日
發(fā)明者徐志瑋, 郭志輝, 陳拓維, 黃毓文 申請人:聯(lián)發(fā)科技股份有限公司