專利名稱：多種塊模式的快速整像素運動估計方法
技術領域：
本發(fā)明屬于信息處理的視頻編碼領域，主要針對H.264視頻編碼國際標準中最新提出的多種塊模式運動補償方法，提出了新的利用各種塊模式的相關性和中途截止(half stop)準則的快速運動估計方法，在保證視頻編碼原有率失真的條件下，大大提高了各種塊模式的搜索速度，且算法簡單，有利于軟硬件實現(xiàn)。
背景技術：
目前，視頻編碼技術已趨于成熟，國際標準H.261、H.263、H.264、MPEG-1、MPEG-2、MPEG-4等的制定大大推動了多媒體技術的應用。即將制定完成的H.264視頻編碼標準其編碼效率比以前的編碼標準大大提高，從而廣受業(yè)界的關注。
以上視頻編碼的國際標準都采用混合編碼框架，即綜合考慮預測、變換、熵編碼等因素提高編碼效率。預測包括幀內(nèi)預測與幀間預測，幀內(nèi)預測后可去除幀內(nèi)編碼的空間冗余，而幀間的預測則可去除時間上的冗余度。
由于運動圖像時間上的連續(xù)性，去除時間上的冗余可獲得更大的壓縮效率，所以通過運動估計方法去除幀間的冗余，一直是視頻編碼研究的熱點。傳統(tǒng)的運動估計方法是基于塊匹配的，這與編碼方法有關。現(xiàn)有的視頻編碼標準都是基于DCT(或類DCT)變換的，通常將一幀圖像按16×16的圖像塊進行編碼。比如在編碼某一P幀中的一個宏塊M時，在參考幀相應位置的一定范圍內(nèi)搜索最為匹配的塊R作為宏塊M的參考塊，將當前宏塊M減去參考宏塊R即可得到運動估計后的殘余矩陣，將此殘余矩陣經(jīng)過變換、量化、熵編碼即得到該宏塊編碼后的碼流。
在搜索匹配塊時要用到匹配準則，目前最為通用的匹配函數(shù)是SAD(Sum ofAbsolute Difference)函數(shù)，其定義如下SAD(x,y,n)=Σi=0M-1Σj=0N-1abs(f(i,j,t)-f(i-x,j-y,t-n))]]>公式(1)這里假設采用多參考幀，其中匹配塊大小為M×N，H.263，MPEG-4有16×16和8×8兩種塊模式，H.264包括7種塊匹配模式，如16×16、16×8、8×16、8×8、8×4、4×8、4×4，參見附圖1。其中f(i，j，t)表示t時刻當前圖像幀塊坐標位置的亮度值，函數(shù)abs()表示絕對值，SAD(x，y，n)代表運動向量為(x，y)及參考幀為n時的運動估計代價函數(shù)。假設當前塊矩陣為C，P(x，y，n)表示第n個參考幀中相對當前圖像塊運動向量為(x，y)的參考塊矩陣，則殘余矩陣E(x，y，n)為E(x，y，n)＝C-P(x，y，n)公式(2)H.264采用了與以前編碼標準類似的混合編碼框架，不同的是在預測、變換、熵編碼上都采用了新的技術，進一步提高了編碼效率。H.264幀間預測技術主要包括運動補償?shù)钠叻N塊模式(如圖1)、各種塊模式的運動向量預測、精確到1/4的亞像素插值等。實驗證實H.264的運動補償方法對其編碼效率提高作用最大，且采用不同大小的塊模式的整像素運動補償，可以比僅采用16X16的模式提高15％左右的編碼效率，若與現(xiàn)有的率失真優(yōu)化(RDO)塊模式?jīng)Q策模型相結合，可得到更高的編碼效率。
但是其編碼的高效性是以增加計算的復雜度為代價的。如果每個塊模式獨立搜索，即使采用目前最快的搜索方法，其計算量也可想而知。要想達到實時編碼，對系統(tǒng)硬件要求過高，成本可能會成倍地提高。如果采用全搜索法，且每種塊模式進行獨立搜索，其整像素搜索復雜度將增加7倍以上。因而減小不同塊模式搜索的計算量將對發(fā)揮H.264編碼效率的優(yōu)勢起著致關重要的作用。為提高H.264整像素搜索的速度，必須綜合考慮其整數(shù)變換、量化方法、向量預測等方法及其各個塊模式之間的相關性。

發(fā)明內(nèi)容
本發(fā)明在現(xiàn)有的運動估計方法基礎上，針對H.264等視頻編碼標準提出一種適應多種塊模式運動估計的方法。在保證原有編碼率失真特性的條件下極大地降低了運算量，大大提高了編碼的速度，且算法思想簡單，易于實現(xiàn)。本方法不僅適用于H.264國際標準，在編碼中可視具體情況與亞像素搜索方法以及率失真優(yōu)化(RDO)塊模式?jīng)Q策模型結合使用。
本發(fā)明從各種塊模式的相關性出發(fā)，結合起始點的預測以及提前截止退出等方法進行各種塊模式的搜索。本發(fā)明采用的技術方案如下多種塊模式的快速整像素運動估計方法，其特征在于包括以下四個部分起始點的確定及跳過宏塊(skipped macroblock)的檢測；最小塊模式的菱形帶搜索方法；其它塊模式的搜索方法；搜索截止準則，各個部分實現(xiàn)步驟如下a.起始點的確定及跳過宏塊(skipped macroblock)的檢測起始點設定為可能成為跳過宏塊的位置，并在起始點檢測該宏塊是否為跳過宏塊。如該宏塊為跳過宏塊，則不再進塊匹配搜索與宏塊編碼，直接進行下一個宏塊的塊匹配搜索與編碼；否則開始下一步搜索；b.最小塊模式的菱形環(huán)搜索方法這一步提出兩種菱形環(huán)搜索方法菱形環(huán)環(huán)擴散搜索法和基于方向校正的菱形環(huán)環(huán)擴散搜索法。這兩種方法以菱形區(qū)域作為搜索區(qū)域，并按以下公式歸類菱形環(huán)N＝abs(MV_X)+abs(MV_Y)搜索時，按菱形環(huán)的順序，一個菱形環(huán)一個菱形環(huán)地搜索，直到中途截止或完成搜索區(qū)域內(nèi)的搜索，第二種方法提出了一種基于方向校正的菱形環(huán)環(huán)擴散搜索法，方向校正是通過統(tǒng)計SAD值，逐步放棄最大統(tǒng)計SAD值方向的搜索，直到搜索到SAD值最小的匹配塊，速度較前一個快，但精度稍差一點；中途截止必須符合以下其中一個條件1)Ncur-Nmin＞＝2Ncur為當前搜索菱形環(huán)號，Nmin最小SAD所在菱形環(huán)號，2)當前搜索菱形環(huán)SAD最小的參考塊符合第四部分搜索截止準則；c.其它塊模式的搜索方法其它塊模式搜索法是基于由較小塊模式到較大塊模式搜索的一種搜索方法，由較小塊運動向量決定較大塊模式搜索范圍的左上角、右上角、左下角、右下角，即決定其搜索的方形搜索范圍，并在此范圍進行全搜索或快速搜索，由此來減小較大模式的搜索范圍的方法來減小計算量；d.搜索截止準則本搜索截止準則參考H.264國際標準整數(shù)變換與量化方法，以4×4塊大小為檢測單位，通過對每個4×4塊的運動估計殘余矩陣經(jīng)整數(shù)變換并校正后，根據(jù)其16個系數(shù)是否都小于閾值H1，決定每一個4×4塊搜索是否截止，本截止準則用于第一步跳過宏塊(skipped macroblock)的檢測和第二步最小塊模式搜索截止的檢測。
下面對以上四個部分作進一步的說明跳過宏塊(skipped macroblock)的檢測及起始點的確定H.264標準規(guī)定跳過宏塊必須符合以下三個準則1)16×16的塊模式。
2)如附圖2所示，A塊為當前編碼宏塊，L塊與T塊分別是左邊與上邊最小塊模式。如果L塊與T塊任一塊運動向量水平與垂直都為零，即零向量，且A塊運動向量為零向量；如果L塊與T塊的運動向量都不為零向量，且A塊運動向量為其16×16塊模式的預測向量。
3)幀間預測后的殘余矩陣經(jīng)整數(shù)變換與量化后全為0。
本發(fā)明第一步首先檢測是否為跳過宏塊。如為跳過宏塊，那么整個宏塊無需再進行匹配搜索和宏塊編碼，直接進入下一宏塊的運動估計與編碼；否則，進行第二步搜索。搜索具體步驟如下1)首先以上述準則2)確定A塊運動運動向量作為運動估計的起始點。
2)獲得起始點處經(jīng)幀間預測后的的殘余矩陣，采用本說明第四部分搜索截止(half stop)準則檢測該殘余矩陣是否符合以上跳過宏塊準則。
3)如符合跳過宏塊準則，則退出當前宏塊運動估計；否則開始第二步搜索。
2.最小塊模式的菱形環(huán)搜索法最小塊模式可能是4×4塊模式，也可能是8×8的塊模式。值得強調(diào)的是，最小塊模式搜索的準確度往往直接影響到其它塊模式的搜索精度，所以盡量采用搜索精度較高的搜索方法，我們提出兩種菱形環(huán)搜索法，其特征如下(1)搜索范圍不再是傳統(tǒng)的方形范圍，而直接采用菱形范圍，簡化了軟硬件實現(xiàn)；(2)固定的搜索模式，和良好的可擴展性，易于軟硬件的實現(xiàn)；(3)由于H.264運動向量編碼采用UVLC變長碼編碼方法，運動向量殘差數(shù)據(jù)(MVD)越大，其碼長越長。菱形環(huán)搜索法采用從較短碼長運動向量位置向較長碼長運動向量位置搜索的策略，更容易搜索到最接近當前宏塊位置的最匹配塊。這也是本方法的一個最大的特點。
菱形環(huán)搜索法可參看附圖3，圖中是-7~+7的菱形搜索范圍，其中a為搜索起始點，搜索位置所屬菱形環(huán)由以下公式確定N＝abs(MV_X)+abs(MV_Y) 公式3假設菱形環(huán)搜索起始點a為第0個菱形環(huán)，b~h分別是第1~7個菱形環(huán)，以此類推。以上公式中N為菱形環(huán)編號，MV_X，MV_Y分別為運動向量的水平和垂直分量。附圖3中字母旁的數(shù)字表示菱形環(huán)方向，如b1，b2，b3，b4表示b環(huán)的四個方向。
1)菱形環(huán)環(huán)擴散搜索法前面基本介紹了菱形環(huán)的搜索區(qū)域設置，最簡單的菱形環(huán)搜索法按以下步驟進行(1)搜索位置a，完成跳過宏塊檢測后，如不符合跳過宏塊準則，則沿b環(huán)路線開始搜索匹配塊(如附圖3所示)。
(2)完成b環(huán)搜索后，如當前搜索到的最小SAD值在b環(huán)中，檢測最小SAD值的4×4塊是否符合截止準則(本說明第四部分闡述)，如符合則停止此4×4塊搜索，開始下一4×4塊的搜索；如不符合，則開始c環(huán)的搜索。
(3)如此一個一個環(huán)往下搜索，直到符合以下公式或搜索完規(guī)定搜索范圍時，此4×4塊搜索停止，開始下一個4×4塊搜索Ncur-Nmin＞＝2公式4Ncur為當前搜索菱形環(huán)號，Nmin最小SAD所在菱形環(huán)號。
2)基于方向校正的菱形環(huán)環(huán)擴散搜索法前一方法對于靜止塊較多或多為大塊運動的序列可快速準確地搜索到匹配塊，但對運動塊較小，且運動不易預測的序列，則要消耗很多的時間，基于上一種方法，這里提出一種更快的搜索方法。步驟如下(1)如上一方法搜索b，c，d菱形環(huán)，并分別計算四個方向的總的SAD值SAD1sum、SAD2sum、SAD3sum、SAD4sum，其中SAD1sum＝SADb1+SADc1+SADd1SAD2sum＝SADb2+SADc2+SADd2SAD3sum＝SADb3+SADc3+SADd3公式5SAD4sum＝SADb4+SADc4+SADd4SADb1，SADb2，SADb3，SADb4分別為b環(huán)四個方向總的SAD值，SADc1，SADc2，SADc3，SADc4分別為c環(huán)四個方向總的SAD值，SADd1，SADd2，SADd3，SADd4分別為d環(huán)四個方向總的SAD值。如在搜索b，c，d過程中滿足如第一種方法截止條件時，搜索截止；否則比較SAD1sumSAD2sumSAD3sumSAD4sum四個值，并找出最大值和標出最大值所在方向，在下一步放棄此方向的匹配塊搜索。
(2)如搜索還未停止，繼續(xù)e菱形環(huán)其它三個方向的搜索，并將此三個方向所有SAD加入其相應方向SADXsum(X表示某方向)，在f菱形環(huán)搜索時，放棄最大SADXsum方向的搜索，如此搜索下去，在以上搜索過程中，按第一種方法的搜索截止方法截止搜索，直到只有一個方向。如搜索沒有停止，按此一個方向完成搜索。
以上兩種方法都基于一個假設最接近預測值處的SAD最小值即為最佳匹配值。第二種方法還基于如下假設接近最小SAD值周圍SAD要小于其它SAD值。對于絕大多數(shù)情況這兩個假設是成立的，也有些時候并不成立。實驗發(fā)現(xiàn)，雖有時并不能找到最佳匹配，但可在保證較高的搜索速度的同時，最大程度上保證原有率失真特性。
以上兩種方法最大的特點是每一步中以及步驟之間獨立性較好，易并行實現(xiàn)，有利于硬件和DSP實現(xiàn)。傳統(tǒng)的搜索方法多采用中心偏離(center bias)方法，如鉆石搜索法(Diamond search)，六邊形搜索法(hexagon search)等，其每一步之間相關性大，不易并行實現(xiàn)。
3.其它塊模式的搜索本搜索法采用從較小塊模式到較大塊模式的策略，逐步搜索。在此以最小塊模式4×4為例進行闡述。完成一個宏塊中16個最小塊模式搜索后，開始4×8塊模式的搜索。每個4×8塊由兩個4×4塊組成，由此可產(chǎn)生該4×8塊的矩形搜索范圍(如附圖4所示)，假設兩個4×4塊運動向量分別為(MV0_X，MV0_Y)、(MV1_X，MV1_Y)搜索范圍產(chǎn)生公式如下(如圖4所示)LT坐標為(min(MV0_X，MV1_X)，min(MV0_Y，MV1_Y))LB坐標為(min(MV0_X，MV1_X)，max(MV0_Y，MV1_Y))公式6RT坐標為(max(MV0_X，MV1_X)，min(MV0_Y，MV1_Y))RB坐標為(max(MV0_X，MV1_X)，max(MV0_Y，MV1_Y))通常，由于圖像在空間上運動具有一定的連續(xù)性，特別是在同一運動物體上的塊，由此所得出來的搜索范圍極小，而且可極準確地找到匹配塊，因此可在此范圍內(nèi)采用全搜索，并不會對搜索速度影響太大，當然也可以采用更為快速的搜索策略。
完成當前宏塊4×8塊模式的搜索之后，可采用類似方法完成8×4，8×8等更大塊模式的搜索，極大地減小了匹配塊搜索的計算量。
完成各種塊模式的搜索之后，再配合其它亞像素搜索法，及其率失真(RD0)模型完成當前宏塊最佳宏塊類型的決策。
4.搜索截止(half stop)準則搜索截止準則用在第一步跳過宏塊的檢測和第二步最小塊模式搜索截止。第一步跳過宏塊的檢測以一個4×4的塊為單位進行判斷，直到完成16個塊檢測。如遇其中一個塊不符合截止準則，即退出檢測，進行下一步搜索。第二步最小塊模式搜索時，每一個菱形環(huán)進行一次搜索截止檢測。
由于H.264采用類DCT的整數(shù)變換，變換會帶來一定的失真，而采用量化方法，對變換系數(shù)進行補償。為了簡化量化后零系數(shù)的檢測方法，首先要對其變換后的系數(shù)進行校正，公式如下Y＝(CECT)T公式7其中T=0.2560.1600.2560.1600.1600.1000.1600.1000.2560.1600.2560.1600.1600.1000.1600.100,]]>C=111121-1-21-1-111-22-1]]>T為統(tǒng)一校正矩陣，E為4×4亮度塊預測后殘差矩陣，C為類DCT變換矩陣，表示矩陣對應元素相乘，Y即為校正后矩陣。首先求出量化后值為1所對應的量化前的校正系數(shù)H1，并將其作為檢測的閾值。即小于H1值時，則將其視為零系數(shù)。
H1＝0.256×(2q_bits-qp_const)/quant_coeff[qp_rem]公式8其中qp_per＝QP/6，qp_rem＝QP％6，q_bits＝15+qp_per，qp_const＝(2q-bits)/6。QP最大值為51，qp_rem為整數(shù)0~5，quant_coeff[6]＝{13107，11916，10082，9362，8192，7282}。
搜索截止檢測按如下步驟進行1)按上述方法，對4×4塊差值矩陣進行整數(shù)變換，并校正矩陣；2)逐一檢測16個系數(shù)是否大于閾值H1，一旦有大于H1的系數(shù)，則退出。搜索截止準則實施依據(jù)1)H.264整數(shù)變換很大程度上簡化了運算復雜度，在此進行整數(shù)變換，只要不太頻繁的判斷，不會增加太多計算量；2)截止判斷不能過于頻繁，如每一個搜索位置進行一次判斷，其運動算量太大，一般一個菱形環(huán)進行一次判斷；3)檢測過程中，還可通過忽略一些行程過長的，量化后其值(Level)為1的系數(shù)，從而提高編碼速度與編碼效率。
本發(fā)明的特點與效果本發(fā)明提出了一種適應多種塊模式快速整像素運動估計方法。本方法最大程度上保證了已有編碼率失真特性，極大地降低了運動估計的計算量。其搜索精度由最小塊模式搜索精度決定；其運動估計速度與編碼器目標碼率有關，通常目標碼率越低，平均量化參數(shù)越大，運動估計速度越快。與亞像素搜索方法與率失真優(yōu)化(RDO)宏塊類型決策模型結合使用，獲得最佳編碼率失真特性。本發(fā)明不限于H.264國際標準，可考慮具體情況適當應用。


圖1為H.264標準規(guī)定七種幀間運動補償塊模式示意圖；圖2為H.264標準規(guī)定16×16塊模式運動向量預測示意圖；圖3為菱形環(huán)運動估計方法搜索范圍示意圖；圖4為除最小塊模式外其它塊模式搜索范圍示意圖。
具體實施例方式
本發(fā)明提出的適應于多種塊模式的整像素運動估計搜索法主要適用于具有多種塊模式的視頻編碼標準，如H.264等，主要按如下步驟進行1.起始點的確定及跳過宏塊(skipped macroblock)的檢測搜索首先確定起始點，以可能成為跳過宏塊(skipped macroblock)的位置作為起始點開始搜索。這一步與視頻編碼標準有關。如確定為可跳過宏塊，則不再進行塊匹配搜索與與編碼，繼續(xù)下一宏塊搜索，否則開始第二步的搜索。
2.最小塊模式的菱形環(huán)搜索法這一步是運動估計的關鍵，其搜索精度直接影響下一步其它塊模式搜索精度。塊越小，往往匹配越困難，特別是4×4大小的塊模式，最小SAD值匹配塊也不一定是最佳匹配塊。這一步本發(fā)明提供兩個搜索方法，即菱形環(huán)環(huán)擴散搜索法和基于方向校正的菱形環(huán)環(huán)擴散搜索法，可配合搜索截止準則，精確地完成4×4塊模式的匹配。
3.其它塊模式的搜索較大塊模式其塊匹配位置與較小塊模式相關，所以先完成較小塊模式搜索，然后按較大塊模式搜索。大的塊模式在相關的小的塊模式范圍內(nèi)搜索。由于通常其范圍較小，可在其范圍全搜索。也可考慮具體情況，在此范圍內(nèi)采用快速算法。
4.搜索截止(half stop)準則搜索截止準則主要用于第一步跳過宏塊檢測和第二步最小塊模式的搜索截止。截止準則參考了H.264整數(shù)變換與量化方法，本方法以一個4×4的塊為檢測單位，首先將估計后殘余量作整數(shù)變換，然后校正變換系數(shù)，將校正矩陣與閾值H1逐一比較，如遇大于閾值H1的系數(shù)則退出檢測。
本截止準則判斷準確但運算量較大，不宜每個搜索點都判斷，如采用菱形環(huán)搜索法，一般一個菱形環(huán)搜索完成后作截止判斷。
本發(fā)明已在發(fā)明人自主開發(fā)的H.264編碼器上測試通過。該編碼器采用了H.264中如下技術1)參考幀個數(shù)1個2)幀類型I幀、P幀3)率失真優(yōu)化(RD0)4)CAVLC熵編碼5)整像素運動估計范圍326)運動估計塊模式包括7種塊模式7)1/4像素搜索精度通過該技術的應用，在1GHz CPU的PC機上，對foreman，mobile，paris，bus等CIF序列編碼可達6-10幀/秒，對foreman等QCIF序列可達20-40幀/秒。在沒有用MMX、SSE等多媒體擴展指令的條件下，QCIF序列在PC機上可實現(xiàn)實時編碼。并且經(jīng)編碼的圖像保持了原有的率失真特性。
權利要求
1.多種塊模式的快速整像素運動估計方法，其特征在于包括以下四個部分起始點的確定及跳過宏塊(skipped macroblock)的檢測；最小塊模式的菱形帶搜索方法；其它塊模式的搜索方法；搜索截止準則，各個部分實現(xiàn)步驟如下a.起始點的確定及跳過宏塊(skipped macroblock)的檢測起始點設定為可能成為跳過宏塊的位置，并在起始點檢測該宏塊是否為跳過宏塊。如該宏塊為跳過宏塊，則不再進塊匹配搜索與宏塊編碼，直接進行下一個宏塊的塊匹配搜索與編碼；否則開始下一步搜索；b.最小塊模式的菱形環(huán)搜索方法這一步提出兩種菱形環(huán)搜索方法菱形環(huán)環(huán)擴散搜索法和基于方向校正的菱形環(huán)環(huán)擴散搜索法。這兩種方法以菱形區(qū)域作為搜索區(qū)域，并按以下公式歸類菱形環(huán)N＝abs(MV_X)+abs(MV_Y)搜索時，按菱形環(huán)的順序，一個菱形環(huán)一個菱形環(huán)地搜索，直到中途截止或完成搜索區(qū)域內(nèi)的搜索。第二種方法提出了一種基于方向校正的菱形環(huán)環(huán)擴散搜索法，方向校正是通過統(tǒng)計SAD值，逐步放棄最大統(tǒng)計SAD值方向的搜索，直到搜索到SAD值最小的匹配塊，速度較前一個快，但精度稍差一點；中途截止必須符合以下其中一個條件1)Ncur-Nmin＞＝2Ncur為當前搜索菱形環(huán)號，Nmin最小SAD所在菱形環(huán)號，2)當前搜索菱形環(huán)SAD最小的參考塊符合第四部分搜索截止準則；c.其它塊模式的搜索方法其它塊模式搜索法是基于由較小塊模式到較大塊模式搜索的一種搜索方法，由較小塊運動向量決定較大塊模式搜索范圍的左上角、右上角、左下角、右下角，即決定其搜索的方形搜索范圍，并在此范圍進行全搜索或快速搜索，由此來減小較大模式的搜索范圍的方法來減小計算量；d.搜索截止準則本搜索截止準則參考H.264國際標準整數(shù)變換與量化方法，以4×4塊大小為檢測單位，通過對每個4×4塊的運動估計殘余矩陣經(jīng)整數(shù)變換并校正后，根據(jù)其16個系數(shù)是否都小于閾值H1，決定每一個4×4塊搜索是否截止，本截止準則用于第一步跳過宏塊(skipped macroblock)的檢測和第二步最小塊模式搜索截止的檢測。
全文摘要
本發(fā)明涉及多種塊模式的快速整像素運動估計方法。搜索中，首先以較小塊模式搜索，由較小塊模式運動向量確定較大塊模式搜索范圍，進一步按較大模式搜索，直到完成整像素搜索。本方法不僅保證了編碼器原有的率失真特征，而且相對于各種塊模式單獨搜索大幅度降低了計算量，使編碼速度大大提高，且方法簡單，易于軟硬件實現(xiàn)。本方法致力于解決H.264視頻編碼器中多種塊模式運動估計方法上的問題，但并不限于H.264國際標準，可與現(xiàn)有亞像素搜索方法和率失真優(yōu)化(RDO)塊模式?jīng)Q策模型相結合使用。
文檔編號H04N7/32GK1492687SQ0315076
公開日2004年4月28日 申請日期2003年9月4日 優(yōu)先權日2003年9月4日
發(fā)明者曹文鋒, 張穎, 張兆楊 申請人:上海大學