專利名稱：一種分樣本插值濾波方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻及圖像編解碼的技術(shù)領(lǐng)域，特別是涉及一種分樣本插值濾波方法，尤其是視頻幀間圖像基于時(shí)間預(yù)測的編解碼技術(shù)。
背景技術(shù)：
在視頻編碼中，常把圖像分為幀內(nèi)圖像和幀間圖像兩種。其中，幀間圖像需要采用運(yùn)動(dòng)估計(jì)編碼方法，這主要是因?yàn)橄噜張D像塊的像素具有很大的時(shí)間相關(guān)性。這種編碼方法的主要思想是在參考圖像中找到和編碼塊最匹配的塊作為編碼塊的預(yù)測值(預(yù)測塊)，進(jìn)行編碼。編碼塊和預(yù)測塊匹配程度越高，編碼的效率越高。為了提高二者的匹配程度，就需要提高運(yùn)動(dòng)估計(jì)的精度。MPEG1采用的是整樣本精度，MPEG2和H.263采用的是1/2樣本精度，在MPEG4中采用了1/4樣本精度，從而可以提高編碼效率。但1/4精度運(yùn)動(dòng)估計(jì)需要對參考圖像進(jìn)行1/4插值。
在數(shù)字圖像處理領(lǐng)域，1/4插值通過數(shù)字濾波器實(shí)現(xiàn)。數(shù)字濾波器的原理是通過一組濾波器系數(shù)作用于參考樣本值，將得到結(jié)果作為未知樣本的預(yù)測值插入到相應(yīng)位置上。
在MPEG4中，1/4插值過程計(jì)算復(fù)雜度高，欲對一個(gè)整樣本進(jìn)行插值需要對該樣本周圍的6x6個(gè)整樣本進(jìn)行6階線性插值和雙線性插值。如圖1所示，一個(gè)圖像塊經(jīng)過1/4插值后大小變?yōu)樵瓉淼?6倍。在原圖像塊中的一個(gè)整樣本經(jīng)過1/4插值后變?yōu)?6個(gè)樣本。另外，從空間復(fù)雜度上說，欲插值一個(gè)n行n列的樣本塊，需要用到(n+5)行(n+5)列的整樣本。我們經(jīng)過對插值過程的仔細(xì)分析發(fā)現(xiàn)存在以下一些問題(1)對原始樣本圖像進(jìn)行1/2插值的過程中，需要對水平或垂直方向上離插值樣本最近的6個(gè)樣本應(yīng)用濾波器(1/32，-5/32，20/32，20/32，-5/32，1/32)進(jìn)行6階濾波，計(jì)算復(fù)雜度高。
(2)插值過程中涉及的樣本點(diǎn)多。
(3)進(jìn)行1/4插值只采用兩個(gè)樣本進(jìn)行線性平均，難以保證插值預(yù)測精度。
針對以上問題，我們提出了一套新的1/4插值方法。該方法的優(yōu)點(diǎn)是(1)采用4階濾波器F1對原始樣本進(jìn)行水平和垂直方向1/2插值濾波，在保證插值準(zhǔn)確度的條件下，降低了運(yùn)算復(fù)雜度和參與運(yùn)算的樣本數(shù)，欲插值一個(gè)n行n列的數(shù)據(jù)塊，只需(n+4)行(n+4)列整樣本，可有效的解決圖像編解碼過程中訪存的瓶頸問題。
(2)采用4階濾波器F2對1/2插值的結(jié)果進(jìn)行水平和垂直方向1/4插值濾波，在保證不增加運(yùn)算復(fù)雜度的條件下，提高了插值預(yù)測的準(zhǔn)確度。
(3)對特殊位置的四分之一樣本做單獨(dú)處理，有效地解決樣本旋轉(zhuǎn)運(yùn)動(dòng)過程中插值預(yù)測結(jié)果失真的問題。
例如，當(dāng)4階濾波器F2l系數(shù)選用(1/8，3/8，3/8，1/8)，每次插值的單位為8行8列時(shí)，本方法與MPEG4中的插值方法相比MPEG4的平均PSNR值比本方法低0.04dB，MPEG4計(jì)算量比本方法大11.6％，同時(shí)MPEG4訪存數(shù)據(jù)量要比本方法多17.6％。

發(fā)明內(nèi)容
本發(fā)明提出一種一種分樣本插值濾波方法，目的在于可有效的解決視頻圖像編解碼過程中訪存的瓶頸問題。
發(fā)明的技術(shù)方案一種分樣本插值濾波方法，本方法利用4階濾波器F1首先對原始樣本進(jìn)行水平和垂直方向1/2插值濾波，然后對得到的結(jié)果應(yīng)用4階濾波器F2進(jìn)行水平和垂直方向1/4插值濾波，對特殊位置的1/4樣本進(jìn)行單獨(dú)處理，其步驟如下(1)采用4階濾波器F1對原始樣本進(jìn)行水平和垂直方向1/2插值濾波；(2)采用4階濾波器F2對1/2插值的結(jié)果進(jìn)行水平和垂直方向1/4插值濾波；(3)對特殊位置的1/4樣本進(jìn)行單獨(dú)處理。
采用4階濾波器F1對原始樣本進(jìn)行水平和垂直方向1/2插值濾波。
采用4階濾波器F2對1/2插值的結(jié)果進(jìn)行水平和垂直方向1/4插值濾波。
對處于整樣本和該整樣本周圍的3個(gè)1/2樣本，這3個(gè)1/2樣本，距離該整樣本最近，并能夠與該整樣本構(gòu)成一個(gè)正方形，所構(gòu)成的正方形中心位置的1/4樣本，例如圖2中的e，g，p和r樣本，進(jìn)行單獨(dú)處理，用距離該1/4樣本最近的1/2樣本和整樣本做線性加權(quán)平均得到最終插值結(jié)果。
濾波器F1和濾波器F2作用于距離當(dāng)前插值樣本最近的已經(jīng)存在的水平方向的4個(gè)樣本或者垂直方向的4個(gè)樣本。
濾波器F1選用(-1/8，5/8，5/8，-1/8)。
濾波器F2選用符合以下條件的系數(shù)(x/2n+1，y/2n+1，y/2n+1，x/2n+1)
其中(x+y)＝2n(n＝2，3，4，5，...，10)并且x＞0，y＞＝2n-1。
濾波器F2選用以下任何一組系數(shù)(1/128，63/128，63/128，1/128)(2/128，62/128，62/128，2/128)(3/128，61/128，61/128，3/128)(4/128，60/128，60/128，4/128)(5/128，59/128，59/128，5/128)(6/128，58/128，58/128，6/128)(7/128，57/128，57/128，7/128)(8/128，56/128，56/128，8/128)(9/128，55/128，55/128，9/128)(10/128，54/128，54/128，10/128)(11/128，53/128，53/128，11/128)(12/128，52/128，52/128，12/128)(13/128，51/128，51/128，13/128)(14/128，50/128，50/128，14/128)(15/128，49/128，49/128，15/128)
(16/128，48/128，48/128，16/128)(17/128，47/128，47/128，17/128)(18/128，46/128，46/128，18/128)(19/128，45/128，45/128，19/128)(20/128，44/128，44/128，20/128)(21/128，43/128，43/128，21/128)(22/128，42/128，42/128，22/128)(23/128，41/128，41/128，23/128)(24/128，40/128，40/128，24/128)(25/128，39/128，39/128，25/128)(26/128，38/128，38/128，26/128)(27/128，37/128，37/128，27/128)(28/128，36/128，36/128，28/128)(29/128，35/128，35/128，29/128)(30/128，34/128，34/128，30/128)(31/128，33/128，33/128，31/128)(32/128，32/128，32/128，32/128)。
濾波器F2選用系數(shù)(1/8，3/8，3/8，1/8)。
以下內(nèi)容規(guī)定了圖像亮度分量的1/2樣本和1/4樣本的插值過程。
如果在插值過程中所參考的整樣本在參考圖像外，應(yīng)該用該圖像內(nèi)距離參考整樣本最近的整樣本(邊緣或角樣本)代替，即允許運(yùn)動(dòng)矢量指向參考圖像外的樣本。


圖1是數(shù)據(jù)塊1/4插值過程示意圖；圖2是本發(fā)明的整樣本(大寫字母)、1/2和1/4樣本位置(小寫字母)的示意圖；如圖1所示，一個(gè)圖像塊經(jīng)過1/4插值后大小變?yōu)樵瓉淼?6倍。在原圖像塊中的一個(gè)整樣本經(jīng)過1/4插值后變?yōu)?6個(gè)樣本。
插值過程參見圖2，圖2中用大寫字母標(biāo)記的陰影塊為參考圖像的整樣本位置，用小寫字母標(biāo)記的透明塊為參考圖像的1/2和1/4樣本位置。
在以下過程中，Clip1(w)定義為max(0，min(255，w))，4階濾波器F2的系數(shù)用符合權(quán)利要求7，8或9的系數(shù)(x，y，y，x)表示，用“*”表示乘法運(yùn)算，用“/”表示除法運(yùn)算。
1/2樣本位置的亮度預(yù)測值通過4階濾波器F1(-1/8，5/8，5/8，-1/8)計(jì)算得到。1/4樣本位置的亮度預(yù)測值通過4階濾波器F2計(jì)算得到。
1/2樣本和1/4樣本插值處理過程分別如下1.標(biāo)記為b的1/2樣本值由以下得到●首先將水平方向上最近的4個(gè)整樣本值利用4階濾波器F1進(jìn)行濾波，得到其中間值b’，如下b’＝((-1/8)*C+(5/8)*D+(5/8)*E-(1/8)*F+1/2)，●最終的預(yù)測值b按下式計(jì)算得到b＝Clip1(b’)。
2.標(biāo)記為h的1/2樣本值由以下得到●首先將垂直方向上最近的4個(gè)整樣本值利用4階濾波器F1進(jìn)行濾波，并得到其中間值h’，如下h’＝((-1/8)*A+(5/8)*D+(5/8)*H-(1/8)*K+1/2)，●最終的預(yù)測值h按下式計(jì)算得到h＝Clip1(h’)。
3.標(biāo)記為j的1/2樣本值由以下得到●首先在水平或垂直方向上對最近的4個(gè)1/2樣本值利用4階濾波器F1進(jìn)行濾波，并得到其中間值j’，如下j’＝((-1/8)*bb+(5/8)*h+(5/8)*m-(1/8)*cc+1/2)，或者j’＝((-1/8)*aa+(5/8)*b+(5/8)*s-(1/8)*dd+1/2)。
其中，標(biāo)記為aa，dd和s的1/2樣本值可通過水平方向上利用4階濾波器F1進(jìn)行濾波得到(與求b的過程相同)；標(biāo)記為bb，cc和m的1/2樣本值可通過垂直方向上利用4階濾波器F1進(jìn)行濾波得到(與求h的過程相同)。
●最終的預(yù)測值j按下式計(jì)算得到j(luò)＝Clip1(j’)。
采用水平方向或垂直方向上的濾波處理得到的值相同。
4.標(biāo)記為a的1/4樣本值由以下得到●首先在水平方向上對標(biāo)記為ee，D，b和E的四個(gè)樣本值利用4階濾波器F2進(jìn)行濾波，并得到其中間值a’，如下a’＝(x*ee+y*D+y*b+x*E+1/2)，●最終的預(yù)測值a按下式計(jì)算得到a＝Clip1(a’)。
其中，ee和b是1/2樣本值，D和E是整樣本值。
標(biāo)記為c的1/4樣本值的計(jì)算過程與求a的過程相同。
5.標(biāo)記為d的1/4樣本值由以下得到●首先在垂直方向上對標(biāo)記為ff，D，h和H四個(gè)樣本值利用4階濾波器F2進(jìn)行濾波，并得到其中間值d’，如下d’＝(x*ff+y*D+y*h+x*H+1/2)，●最終的預(yù)測值d按下式計(jì)算得到d＝Clip1(d’)。
其中，ff和h是1/2樣本值，D和H是整樣本值。
標(biāo)記為n的1/4樣本值的計(jì)算過程與求d的過程相同。
6.標(biāo)記為i的1/4樣本值由以下得到●首先在水平方向上對標(biāo)記為gg，h，j和m四個(gè)樣本值利用4階濾波器F2進(jìn)行濾波，并得到其中間值i’，如下i’＝(x*gg+y*h+y*j+x*m+1/2)，●最終的預(yù)測值i按下式計(jì)算得到
i＝Clip1(i’)。
其中，gg，h，j和m是1/2樣本值。
標(biāo)記為k的1/4樣本值的計(jì)算過程與求d的過程相同。
7.標(biāo)記為f的1/4樣本值由以下得到●首先在垂直方向上對標(biāo)記為hh，b，j和s四個(gè)樣本值利用4階濾波器F2進(jìn)行濾波，并得到其中間值f’，如下f’＝(x*hh+y*b+y*j+x*s+1/2)，●最終的預(yù)測值f按下式計(jì)算得到f＝Clip1(f’)。
其中，hh，b，j和s是1/2樣本值。
標(biāo)記為q的1/4樣本值的計(jì)算過程與求f的過程相同。
8.要得到標(biāo)記為e，g，p和r的1/4樣本值，計(jì)算過程如下e＝(D+j+1)/2，g＝(E+j+1)/2，p＝(H+j+1)/2，r＝(I+j+1)/2。
本方法的特點(diǎn)是插值預(yù)測的準(zhǔn)確度高，時(shí)間復(fù)雜度和空間復(fù)雜度低。本方法應(yīng)用于視頻及圖像編解碼系統(tǒng)的設(shè)計(jì)中。
權(quán)利要求
1.一種分樣本插值濾波方法，本方法利用4階濾波器F1首先對原始樣本進(jìn)行水平和垂直方向1/2插值濾波，然后對得到的結(jié)果應(yīng)用4階濾波器F2進(jìn)行水平和垂直方向1/4插值濾波，對特殊位置的1/4樣本進(jìn)行單獨(dú)處理，其步驟如下(1)采用4階濾波器F1對原始樣本進(jìn)行水平和垂直方向1/2插值濾波；(2)采用4階濾波器F2對1/2插值的結(jié)果進(jìn)行水平和垂直方向1/4插值濾波；(3)對特殊位置的1/4樣本進(jìn)行單獨(dú)處理。
2.按照權(quán)利要求1所述的方法，其特征在于采用4階濾波器F1對原始樣本進(jìn)行水平和垂直方向1/2插值濾波。
3.按照權(quán)利要求1所述的方法，其特征在于采用4階濾波器F2對1/2插值的結(jié)果進(jìn)行水平和垂直方向1/4插值濾波。
4.按照權(quán)利要求1所述的方法，其特征在于對處于整樣本和該整樣本周圍的3個(gè)1/2樣本，這3個(gè)1/2樣本，距離該整樣本最近，并能夠與該整樣本構(gòu)成一個(gè)正方形，所構(gòu)成的正方形中心位置的1/4樣本。
5.按照權(quán)利要求1所述的方法，其特征在于濾波器F1和濾波器F2作用于距離當(dāng)前插值樣本最近的已經(jīng)存在的水平方向的4個(gè)樣本或者垂直方向的4個(gè)樣本。
6.按照權(quán)利要求1所述的方法，其特征在于濾波器F1選用(-1/8，5/8，5/8，-1/8)。
7.按照權(quán)利要求1所述的方法，其特征在于濾波器F2選用符合以下條件的系數(shù)(x/2n+1，y/2n+1，y/2n+1，x/2n+1)其中(x+y)＝2n(n＝2，3，4，5，...，10)并且x＞0，y＞＝2n-1。
8.按照權(quán)利要求7所述的方法，其特征在于濾波器F2選用以下任何一組系數(shù)(1/128，63/128，63/128，1/128)(2/128，62/128，62/128，2/128)(3/128，61/128，61/128，3/128)(4/128，60/128，60/128，4/128)(5/128，59/128，59/128，5/128)(6/128，58/128，58/128，6/128)(7/128，57/128，57/128，7/128)(8/128，56/128，56/128，8/128)(9/128，55/128，55/128，9/128)(10/128，54/128，54/128，10/128)(11/128，53/128，53/128，11/128)(12/128，52/128，52/128，12/128)(13/128，51/128，51/128，13/128)(14/128，50/128，50/128，14/128)(15/128，49/128，49/128，15/128)(16/128，48/128，48/128，16/128)(17/128，47/128，47/128，17/128)(18/128，46/128，46/128，18/128)(19/128，45/128，45/128，19/128)(20/128，44/128，44/128，20/128)(21/128，43/128，43/128，21/128)(22/128，42/128，42/128，22/128)(23/128，41/128，41/128，23/128)(24/128，40/128，40/128，24/128)(25/128，39/128，39/128，25/128)(26/128，38/128，38/128，26/128)(27/128，37/128，37/128，27/128)(28/128，36/128，36/128，28/128)(29/128，35/128，35/128，29/128)(30/128，34/128，34/128，30/128)(31/128，33/128，33/128，31/128)(32/128，32/128，32/128，32/128)。
9.按照權(quán)利要求7所述的方法，其特征在于濾波器F2選用系數(shù)(1/8，3/8，3/8，1/8)。
全文摘要
本發(fā)明涉及視頻及圖像編解碼的技術(shù)領(lǐng)域的分樣本插值濾波方法，對整樣本進(jìn)行1/2樣本插值和1/4樣本插值，在對整樣本進(jìn)行1/2插值的過程中首先采用4階濾波器F
文檔編號(hào)H04N7/32GK1492689SQ03156678
公開日2004年4月28日 申請日期2003年9月5日 優(yōu)先權(quán)日2003年9月5日
發(fā)明者黃晁, 王榮剛, 李錦濤, 沈燕飛, 黃 晁 申請人:中國科學(xué)院計(jì)算技術(shù)研究所