專利名稱：使用塊匹配處理的視頻編碼方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于壓縮以接連的幀的組(GOF)的形式組構(gòu)的視頻序列的編碼方法，所述方法包括借助三維(3D)小波變換的分解步驟，以便得出給定數(shù)目的接連的分辨率級(jí)別；借助在每個(gè)分解級(jí)別上執(zhí)行的運(yùn)動(dòng)補(bǔ)償操作的運(yùn)動(dòng)補(bǔ)償步驟；以及編碼步驟。
本發(fā)明也涉及考慮到為了實(shí)施所述編碼方法而在計(jì)算機(jī)可執(zhí)行的處理步驟中被組構(gòu)的、并且被存儲(chǔ)在計(jì)算機(jī)可讀的貯存媒體中的一組指令，以及涉及到通過實(shí)施所述編碼方法或所述處理步驟而得到的編碼的信號(hào)。
近年來，通過把時(shí)間域包括在子帶分解內(nèi)，二維子帶編碼技術(shù)已被擴(kuò)展到視頻數(shù)據(jù)。在首先提出的解決方案中(諸如在C.I.Podilchuk等的“Three-dimensional subband video coding of video(視頻的三維子帶視頻編碼)”，IEEE Transactions on Image Processing，vol.4，pp.125-139，F(xiàn)eb.1995中描述的那樣)并不包括運(yùn)動(dòng)補(bǔ)償，它利用這樣的事實(shí)在小的運(yùn)動(dòng)的情形下，信號(hào)能量很好地集中在低頻時(shí)間子帶中(或近似子帶)中。這樣的沒有運(yùn)動(dòng)補(bǔ)償?shù)木幋a方案具有某些優(yōu)點(diǎn)，諸如低的計(jì)算復(fù)雜性，很少的運(yùn)動(dòng)人為產(chǎn)物(除了出現(xiàn)模糊(blurring)以外)，或有限的錯(cuò)誤傳播。然而，在對(duì)象具有大的位移的情形下，空間頻率沿著時(shí)間軸被共享，以及高頻時(shí)間子帶(或詳細(xì)的子帶)包含高的能量。而且，較低的時(shí)間子帶非?？赡茏兊媚：?，這在以時(shí)間可縮放性為要想達(dá)到的目標(biāo)的情況下(從單個(gè)編碼的比特流中產(chǎn)生具有多個(gè)幀速率的視頻)是主要的缺點(diǎn)。
所以，運(yùn)動(dòng)估值和運(yùn)動(dòng)補(bǔ)償可被看作為在設(shè)計(jì)有效的可縮放視頻編碼方案時(shí)的關(guān)鍵的部件。大多數(shù)已知的運(yùn)動(dòng)補(bǔ)償?shù)淖訋Ь幋a方案可以實(shí)施基于塊的運(yùn)動(dòng)估值(塊匹配算法(即BMA)其原理在S.R.Ely，“MPEG video codinga basic tutorial introduction(MPEG視頻編碼基礎(chǔ)性導(dǎo)論)”，Research and Development Report，BBC-RD-1996/3中被這樣描述當(dāng)前的圖象It中的每個(gè)塊與參考圖象It-1中的搜索區(qū)域相匹配，以及在屬于同一個(gè)塊的所有的象素之間共享的被保持的運(yùn)動(dòng)矢量相應(yīng)于在測(cè)量窗口中導(dǎo)致最高相關(guān)值(通過對(duì)絕對(duì)差值求和而測(cè)量出的)的運(yùn)動(dòng)矢量)。
還存在其他的方法，例如，包括基于可變尺寸塊的運(yùn)動(dòng)估值的方法，它產(chǎn)生更密集的接近連續(xù)的運(yùn)動(dòng)區(qū)，但無論哪種方法，運(yùn)動(dòng)分析的精確度是重要的，因?yàn)檫\(yùn)動(dòng)補(bǔ)償?shù)臑V波操作提供較低的幀速率子帶，這些子帶將被進(jìn)一步編碼。因此，在這些子帶中任何運(yùn)動(dòng)人工產(chǎn)物將損害重新構(gòu)建的低的幀速率視頻的質(zhì)量。對(duì)于運(yùn)動(dòng)估值和補(bǔ)償技術(shù)的主要折衷要求是提供良好的時(shí)間預(yù)測(cè)(真實(shí)運(yùn)動(dòng))，而同時(shí)保持運(yùn)動(dòng)信息附加開銷(預(yù)測(cè)錯(cuò)誤和運(yùn)動(dòng)參量)相當(dāng)?shù)?，以便不?huì)劇烈地減小對(duì)于組織結(jié)構(gòu)編碼可供使用的比特預(yù)算。
當(dāng)利用基于固定的尺寸的塊的運(yùn)動(dòng)估值時(shí)，通常產(chǎn)生兩種運(yùn)動(dòng)矢量。例如，在16×16象素的宏塊的情形下，可產(chǎn)生一個(gè)或四個(gè)運(yùn)動(dòng)矢量(在宏塊中每個(gè)8×8象素塊一個(gè)運(yùn)動(dòng)矢量)

圖1的左面部分相應(yīng)于第一種情形，其中四個(gè)塊共享同一個(gè)運(yùn)動(dòng)矢量(16×16宏塊運(yùn)動(dòng)矢量)，而圖1的右面部分相應(yīng)于第二種情形，其中四個(gè)8×8象素塊的每個(gè)象素塊具有它自己的運(yùn)動(dòng)矢量(8×8象素塊運(yùn)動(dòng)矢量)。通常通過查看失真(例如，由在從參考幀的運(yùn)動(dòng)預(yù)測(cè)的宏塊與要被預(yù)測(cè)的當(dāng)前的幀中原先的宏塊之間的絕對(duì)差值的和值(SAD)給出的失真)，可作出在這兩個(gè)模式之間的決定。如果8×8象素塊通常產(chǎn)生一個(gè)較好的運(yùn)動(dòng)區(qū)，則它們產(chǎn)生的、必須被編碼和發(fā)送的運(yùn)動(dòng)矢量比起16×16象素宏塊大四倍。這在低比特速率應(yīng)用的情形下會(huì)導(dǎo)致有害于組織結(jié)構(gòu)的相當(dāng)大的信息附加開銷。
所以，本發(fā)明的一個(gè)目的是提出一種更好地適合于低比特速率的視頻編碼的方法，其中運(yùn)動(dòng)矢量信息的總量相對(duì)于組織結(jié)構(gòu)信息來說，保持為相當(dāng)?shù)汀?br> 為此，本發(fā)明涉及諸如在本說明的引言部分中規(guī)定的編碼方法，并且其特征在于，所述運(yùn)動(dòng)補(bǔ)償步驟被應(yīng)用到可被劃分成宏塊的幀上，所述宏塊本身又可被再劃分成塊，對(duì)于每個(gè)接連的幀的組，所述步驟本身包括以下子步驟(A)首先，對(duì)當(dāng)前的GOF執(zhí)行時(shí)間上的強(qiáng)濾波，而不使用任何運(yùn)動(dòng)估值和補(bǔ)償；(B)然后，把運(yùn)動(dòng)補(bǔ)償?shù)臅r(shí)間濾波應(yīng)用到所述GOF上，其中包括以下操作
(1)對(duì)于這樣得到的高頻時(shí)間子帶的每個(gè)宏塊，把它的均方誤差(MSE)與整個(gè)子帶的均方誤差進(jìn)行比較，并且只對(duì)于其MSE大于所述整個(gè)子帶的MSE的那些宏塊作出標(biāo)記；(2)對(duì)于所述GOF的每對(duì)幀，對(duì)帶有標(biāo)記的宏塊的每個(gè)塊執(zhí)行基于塊的運(yùn)動(dòng)估值，以及對(duì)不帶有標(biāo)記的宏塊執(zhí)行基于宏塊的運(yùn)動(dòng)估值；(3)鑒于最后的運(yùn)動(dòng)補(bǔ)償子步驟，執(zhí)行以下的選擇步驟(a)對(duì)帶有標(biāo)記的宏塊，根據(jù)最小的絕對(duì)差值的和值(SAD)，按照宏塊與塊運(yùn)動(dòng)矢量之間的最后判決來選擇運(yùn)動(dòng)矢量；(b)對(duì)不帶有任何標(biāo)記的宏塊，按照基于宏塊的運(yùn)動(dòng)估值來選擇運(yùn)動(dòng)矢量。
這個(gè)方法首先對(duì)于不進(jìn)行運(yùn)動(dòng)補(bǔ)償而得出的高頻時(shí)間子帶進(jìn)行初步分析，以便識(shí)別不需要詳盡地處理以及不需要非常精確地說明運(yùn)動(dòng)信息的圖象部分。然后，考慮到這個(gè)初步信息，按常規(guī)施加運(yùn)動(dòng)估值和補(bǔ)償，以便促成在塊或宏塊運(yùn)動(dòng)估值之間的判決。判決準(zhǔn)則是根據(jù)高頻時(shí)間濾波后的子帶的能量。這個(gè)判決導(dǎo)致-由于允許對(duì)較小的塊執(zhí)行較少的基于塊的運(yùn)動(dòng)估值步驟，從而減小運(yùn)動(dòng)估值的計(jì)算負(fù)荷；-通過減小要被編碼的運(yùn)動(dòng)矢量的數(shù)目，從而增加用于組織結(jié)構(gòu)編碼的比特預(yù)算。
這樣提出的技術(shù)解決方案允許分配更多的比特來用于在不需要真正的運(yùn)動(dòng)區(qū)的圖象區(qū)域(也就是非運(yùn)動(dòng)區(qū)域)中的組織結(jié)構(gòu)，而不用對(duì)于需要對(duì)更小的塊(例如運(yùn)動(dòng)對(duì)象的邊界)進(jìn)行更精確的運(yùn)動(dòng)分析的區(qū)域的處理進(jìn)行修正。
本發(fā)明的另一個(gè)目的是提出在能夠編碼視頻序列的計(jì)算機(jī)可執(zhí)行的處理步驟中組構(gòu)的一組指令，該指令被存儲(chǔ)在計(jì)算機(jī)可讀取的貯存媒體中。
為此，本發(fā)明涉及在視頻編碼器(該視頻編碼器接收以接連的幀的組的形式組構(gòu)的視頻序列以便對(duì)其進(jìn)行壓縮)中使用的、用于編碼所述幀的計(jì)算機(jī)可執(zhí)行的處理步驟，這些處理步驟被存儲(chǔ)在計(jì)算機(jī)可讀取的貯存媒體中，并且其中包括借助三維(3D)小波變換以便得出給定數(shù)目的接連的分辨率級(jí)別的分解步驟；借助在每個(gè)分解級(jí)別上執(zhí)行的運(yùn)動(dòng)補(bǔ)償操作的運(yùn)動(dòng)補(bǔ)償步驟；以及編碼步驟，所述運(yùn)動(dòng)補(bǔ)償步驟被應(yīng)用到可被劃分成宏塊的幀上，所述宏塊本身又被再劃分成塊，對(duì)于每個(gè)接連的幀組，所述步驟本身包括以下子步驟(A)首先，對(duì)當(dāng)前的GOF執(zhí)行時(shí)間上的強(qiáng)濾波，而不使用任何運(yùn)動(dòng)估值；(B)然后，把運(yùn)動(dòng)補(bǔ)償?shù)臅r(shí)間濾波應(yīng)用到所述GOF上，其中包括以下操作(1)對(duì)于這樣得到的高頻時(shí)間子帶的每個(gè)宏塊，把它的均方誤差(MSE)與整個(gè)子帶的均方誤差進(jìn)行比較，并且只對(duì)于其MSE大于所述整個(gè)子帶的MSE的那些宏塊作出標(biāo)記；(2)對(duì)于所述GOF的每對(duì)幀，對(duì)帶有標(biāo)記的宏塊的每個(gè)塊執(zhí)行基于塊的運(yùn)動(dòng)估值，以及對(duì)不帶有標(biāo)記的宏塊執(zhí)行基于宏塊的運(yùn)動(dòng)估值；(3)鑒于最后的運(yùn)動(dòng)補(bǔ)償子步驟，執(zhí)行以下的選擇步驟(a)對(duì)帶有標(biāo)記的宏塊，根據(jù)最小的絕對(duì)差值的和值(SAD)，按照宏塊與塊運(yùn)動(dòng)矢量之間的最后判決來選擇運(yùn)動(dòng)矢量；(b)對(duì)不帶有任何標(biāo)記的宏塊，按照基于宏塊的運(yùn)動(dòng)估值來選擇運(yùn)動(dòng)矢量。
現(xiàn)在參照附圖，作為例子來描述本發(fā)明，其中圖1顯示對(duì)于同一個(gè)16×16象素的宏塊，16×16和8×8象素塊的運(yùn)動(dòng)矢量之間的比較(分別為所述圖1的左面和右面部分)；圖2顯示在按照本發(fā)明的編碼方法中使用的、不具有運(yùn)動(dòng)估值和補(bǔ)償?shù)臅r(shí)間濾波的原理對(duì)在這種情形下得到的高頻時(shí)間子帶(LLH，LH，H)進(jìn)行分析以便作出判決對(duì)于每個(gè)宏塊，是否需要基于8×8象素塊的運(yùn)動(dòng)估值；圖3顯示在不具有運(yùn)動(dòng)補(bǔ)償?shù)臅r(shí)間濾波步驟后得到的高頻時(shí)間子帶的分析中所導(dǎo)出的8×8判決變換(decision map)的例子；圖4給出按照本發(fā)明的編碼方法的總的流程圖。
在按照本發(fā)明的編碼方法中實(shí)施的技術(shù)解決方案包含把動(dòng)態(tài)預(yù)選擇準(zhǔn)則引入到塊或宏塊的判決中，這允許在選擇運(yùn)動(dòng)矢量時(shí)選擇如圖1所示的兩種模式中的一種模式。圖2上顯示借助對(duì)視頻信息進(jìn)行時(shí)間子帶分解的分解處理過程。將具有運(yùn)動(dòng)補(bǔ)償?shù)姆纸鈶?yīng)用到幀的組(GOF)，這些幀被標(biāo)記為F1到F8輸入的視頻中的每個(gè)GOF首先被運(yùn)動(dòng)補(bǔ)償(MC)，然后通過使用Haar子波進(jìn)行時(shí)間濾波(TF)(在圖中，點(diǎn)線箭頭相應(yīng)于高通時(shí)間濾波，而其他箭頭相應(yīng)于低通時(shí)間濾波)。在圖2上，顯示了三級(jí)分解(L和H＝第一級(jí)；LL和LH＝第二級(jí)；LLL和LLH＝第三級(jí)；)。在本例中，首先對(duì)輸入的幀的組實(shí)行不具有運(yùn)動(dòng)估值和補(bǔ)償?shù)臅r(shí)間濾波運(yùn)行(即，不執(zhí)行圖2上標(biāo)記為MC的操作)，運(yùn)動(dòng)矢量被任意地設(shè)置為零，所述操作導(dǎo)致產(chǎn)生一個(gè)高頻時(shí)間子帶(一個(gè)圖象的大多數(shù)部分通常仍舊處在兩個(gè)接連的原先的幀It，It-1之間，因此不需要精確的運(yùn)動(dòng)估值)。建議的預(yù)選擇準(zhǔn)則就是基于這個(gè)高頻時(shí)間濾波的子帶的能量。對(duì)于這樣的子帶的每個(gè)16×16象素宏塊，計(jì)算均方誤差。然后，對(duì)于其MSE大于整個(gè)子帶的MSE的那一個(gè)宏塊(也就是說，對(duì)于代表具有高的運(yùn)動(dòng)活動(dòng)性的圖象區(qū)域的宏塊)，設(shè)置一個(gè)能夠執(zhí)行塊判決(在本例中，是8×8判決)的標(biāo)志。如圖3的例子所示，8×8判決變換關(guān)系是基于這樣得到的所有的基于8×8象素塊的運(yùn)動(dòng)估值標(biāo)志(用打叉符號(hào)表示)而組成的只有與這樣的標(biāo)志相聯(lián)系的那些宏塊才利用8×8象素塊來進(jìn)行估值。
由于提供了以8×8判決變換關(guān)系的形式的這種附加信息，于是可對(duì)輸入的GOP進(jìn)行修正的運(yùn)動(dòng)補(bǔ)償?shù)臅r(shí)間濾波操作。對(duì)于每對(duì)原先的幀(It-1，It)，按照8×8判決變換關(guān)系利用8×8或16×16象素BMA執(zhí)行運(yùn)動(dòng)估值。對(duì)于一個(gè)在其上執(zhí)行8 8象素BMA的宏塊，在16×16和8×8象素塊運(yùn)動(dòng)矢量之間的最后判決被保持為相同的(根據(jù)SAD=1NΣi=1NΣj=1N|It-1(i+m,j+n)-It(i,j)|,]]>對(duì)于N×N象素(宏)塊，其中(m，n)是該(宏)塊的運(yùn)動(dòng)矢量，以及It-1，It分別是在時(shí)間t-1的參考圖象和在時(shí)間t的當(dāng)前的圖象的亮度函數(shù))。最后，所被保持的運(yùn)動(dòng)代表是給出最小SAD的運(yùn)動(dòng)代表。
測(cè)試表明，8×8判決標(biāo)志被設(shè)置在最后判決期間利用8×8象素BMA來進(jìn)行計(jì)算的宏塊上。這些宏塊的最后的數(shù)目總是小于利用經(jīng)典的運(yùn)動(dòng)補(bǔ)償時(shí)間濾波時(shí)的數(shù)目。在最終的圖象中，由于運(yùn)動(dòng)分析和預(yù)測(cè)，只有較少的白和黑的區(qū)域是引人注意的。對(duì)于那些在其上由于8×8判決變換關(guān)系因而只處理16×16象素BMA的其他的宏塊，不使用無用的8×8象素BMA，它可以減小運(yùn)動(dòng)估值運(yùn)算的計(jì)算復(fù)雜性(確實(shí)可以認(rèn)為相應(yīng)于不具有運(yùn)動(dòng)補(bǔ)償?shù)臅r(shí)間濾波的高頻時(shí)間子帶的附加計(jì)算和8×8判決變換關(guān)系的負(fù)荷將是很低的)。
圖4上給出按照本發(fā)明的視頻編碼方法的總的流程圖由GOF組成的輸入視頻信號(hào)首先被時(shí)間分析級(jí)40接收，以便用來執(zhí)行不具有運(yùn)動(dòng)補(bǔ)償(FWMC)的時(shí)間濾波步驟41，接著是步驟42(DMC)，在此期間可構(gòu)成8×8判決變換關(guān)系。根據(jù)這個(gè)信息，利用8×8或16×16象素BMA執(zhí)行運(yùn)動(dòng)估值43(EST)，然后這個(gè)運(yùn)動(dòng)估值允許對(duì)于輸入視頻信號(hào)(當(dāng)前的GOF)執(zhí)行修正的時(shí)間濾波步驟44，其中包括運(yùn)動(dòng)補(bǔ)償(MCTF)。與傳統(tǒng)的編碼方案一樣，然后對(duì)這樣地得到的已濾波的信號(hào)執(zhí)行分析步驟45(SPA)(例如，執(zhí)行DCT變換和量化步驟)，以及在空間分析的后面最終執(zhí)行編碼步驟46(COD)，對(duì)已處理的輸入視頻信號(hào)和借助運(yùn)動(dòng)估值步驟43而得到的運(yùn)動(dòng)矢量執(zhí)行編碼操作。已編碼的信號(hào)然后被發(fā)送到信道50，或被存儲(chǔ)。
執(zhí)行所述流程的步驟的視頻編碼器也可以是這樣的類型其中相應(yīng)于以接連的幀的組的形式組構(gòu)的視頻序列的輸入的幀信號(hào)在頻率上被劃分成子帶，以便可以把所述輸入信號(hào)的頻譜分級(jí)分割成多個(gè)頻帶，以及在該序列的各幀之間的運(yùn)動(dòng)補(bǔ)償操作之后，為了進(jìn)行傳輸或存儲(chǔ)操作而執(zhí)行可變長(zhǎng)度的編碼。在這種編碼器中，對(duì)于每個(gè)接連的GOF，施加到被劃分成宏塊(該宏塊本身再被劃分成塊)的幀的運(yùn)動(dòng)補(bǔ)償步驟包括以下子步驟(A)首先，對(duì)當(dāng)前的GOF執(zhí)行時(shí)間上的強(qiáng)濾波，而不用任何運(yùn)動(dòng)估值和補(bǔ)償；(B)然后，把運(yùn)動(dòng)補(bǔ)償?shù)臅r(shí)間濾波應(yīng)用到所述GOF上，其中包括以下運(yùn)行(1)對(duì)于這樣得到的高頻時(shí)間子帶的每個(gè)宏塊，把它的均方誤差(MSE)與整個(gè)子帶的均方誤差進(jìn)行比較，并且只對(duì)于其MSE大于所述整個(gè)子帶的MSE的那些宏塊作出標(biāo)記；(2)對(duì)于所述GOF的每對(duì)幀，對(duì)帶有標(biāo)記的宏塊的每個(gè)塊執(zhí)行基于塊的運(yùn)動(dòng)估值，以及對(duì)不帶有標(biāo)記的宏塊執(zhí)行基于宏塊的運(yùn)動(dòng)估值；(3)鑒于最后的運(yùn)動(dòng)補(bǔ)償子步驟，執(zhí)行以下的選擇步驟(a)對(duì)帶有標(biāo)記的宏塊，根據(jù)最小的絕對(duì)差值的和值(SAD)，按照宏塊與塊運(yùn)動(dòng)矢量之間的最后判決來選擇運(yùn)動(dòng)矢量；(b)對(duì)不帶有任何標(biāo)記的宏塊，按照基于宏塊的運(yùn)動(dòng)估值來選擇運(yùn)動(dòng)矢量。
本發(fā)明顯然不限于所描述的實(shí)施例。所提出的時(shí)間預(yù)分析可以應(yīng)用到任何為了進(jìn)行運(yùn)動(dòng)補(bǔ)償而使用BMA的視頻壓縮方案。無論哪種實(shí)施例類型，按照本發(fā)明的方法允許得到在需要真正的運(yùn)動(dòng)區(qū)與要被編碼的最終的運(yùn)動(dòng)信息的規(guī)模之間的良好折衷。
權(quán)利要求
1.用于壓縮以接連的幀的組(GOF)的形式組構(gòu)的視頻序列的方法，所述方法包括借助三維(3D)小波變換以便得出給定數(shù)目的接連的分辨率級(jí)別的分解步驟；借助在每個(gè)分解級(jí)別上執(zhí)行的運(yùn)動(dòng)補(bǔ)償操作的運(yùn)動(dòng)補(bǔ)償步驟，以及編碼步驟，所述運(yùn)動(dòng)補(bǔ)償步驟被應(yīng)用到可被劃分成宏塊的幀上，所述宏塊本身又被再劃分成塊，對(duì)于每個(gè)接連的幀的組，所述步驟本身包括以下子步驟(A)首先，對(duì)當(dāng)前的GOF執(zhí)行時(shí)間上的強(qiáng)濾波，而不使用任何運(yùn)動(dòng)估值和補(bǔ)償；(B)然后，把運(yùn)動(dòng)補(bǔ)償?shù)臅r(shí)間濾波應(yīng)用到所述GOF上，其中包括以下運(yùn)行(1)對(duì)于這樣得到的高頻時(shí)間子帶的每個(gè)宏塊，把它的均方誤差(MSE)與整個(gè)子帶的均方誤差進(jìn)行比較，并且只對(duì)于其MSE大于所述整個(gè)子帶的MSE的那些宏塊作出標(biāo)記；(2)對(duì)于所述GOF的每對(duì)幀，對(duì)帶有標(biāo)記的宏塊的每個(gè)塊執(zhí)行基于塊的運(yùn)動(dòng)估值，以及對(duì)不帶有標(biāo)記的宏塊執(zhí)行基于宏塊的運(yùn)動(dòng)估值；(3)鑒于最后的運(yùn)動(dòng)補(bǔ)償子步驟，執(zhí)行以下的選擇步驟(a)對(duì)帶有標(biāo)記的宏塊，根據(jù)最小的絕對(duì)差值的和值(SAD)，按照宏塊與塊運(yùn)動(dòng)矢量之間的最后判決來選擇運(yùn)動(dòng)矢量；(b)對(duì)不帶有任何標(biāo)記的宏塊，按照基于宏塊的運(yùn)動(dòng)估值來選擇運(yùn)動(dòng)矢量。
2.按照權(quán)利要求1的編碼方法，其中所述宏塊具有16×16象素的規(guī)模，而所述塊具有8×8象素的規(guī)模。
3.視頻編碼器，其中相應(yīng)于以接連的幀的組(GOF)的形式組構(gòu)的視頻序列的輸入幀信號(hào)，在頻率上被分割成子帶，以便把所述輸入信號(hào)的頻譜分級(jí)分割成多個(gè)頻帶，以及在該序列的各幀之間進(jìn)行運(yùn)動(dòng)補(bǔ)償操作后，為了進(jìn)行傳輸或存儲(chǔ)操作而執(zhí)行可變長(zhǎng)度的編碼，所述運(yùn)動(dòng)補(bǔ)償步驟被應(yīng)用到可被劃分成宏塊的幀上，所述宏塊本身再被劃分成塊，對(duì)于每個(gè)接連的GOF，所述步驟包括以下子步驟(A)首先，對(duì)當(dāng)前的GOF執(zhí)行時(shí)間上的強(qiáng)濾波，而不使用任何運(yùn)動(dòng)估值和補(bǔ)償；(B)然后，把運(yùn)動(dòng)補(bǔ)償?shù)臅r(shí)間濾波應(yīng)用到所述GOF上，其中包括以下操作(1)對(duì)于這樣得到的高頻時(shí)間子帶的每個(gè)宏塊，把它的均方誤差(MSE)與整個(gè)子帶的均方誤差進(jìn)行比較，并且只對(duì)于其MSE大于所述整個(gè)子帶的MSE的那些宏塊作出標(biāo)記；(2)對(duì)于所述GOF的每對(duì)幀，對(duì)帶有標(biāo)記的宏塊的每個(gè)塊執(zhí)行基于塊的運(yùn)動(dòng)估值，以及對(duì)不帶有標(biāo)記的宏塊執(zhí)行基于宏塊的運(yùn)動(dòng)估值；(3)鑒于最后的運(yùn)動(dòng)補(bǔ)償子步驟，執(zhí)行以下的選擇步驟(a)對(duì)帶有標(biāo)記的宏塊，根據(jù)最小的絕對(duì)差值的和值(SAD)，按照宏塊與塊運(yùn)動(dòng)矢量之間的最后判決來選擇運(yùn)動(dòng)矢量；(b)對(duì)不帶有標(biāo)記的宏塊，按照基于宏塊的運(yùn)動(dòng)估值來選擇運(yùn)動(dòng)矢量。
4.在視頻編碼器中使用的用于編碼所述幀的計(jì)算機(jī)可執(zhí)行的處理步驟，該視頻編碼器接收以接連的幀的組(GOF)的形式組構(gòu)的視頻序列以便對(duì)其進(jìn)行壓縮，這些處理步驟被存儲(chǔ)在計(jì)算機(jī)可讀取的貯存媒體中，并且其中包括借助三維(3D)小波變換以便得出給定數(shù)目的接連的分辨率級(jí)別的分解步驟；借助在每個(gè)分解級(jí)別上執(zhí)行的運(yùn)動(dòng)補(bǔ)償操作的運(yùn)動(dòng)補(bǔ)償步驟；以及編碼步驟，所述運(yùn)動(dòng)補(bǔ)償步驟被應(yīng)用到可被劃分成宏塊的幀上，所述宏塊本身又被再劃分成塊，對(duì)于每個(gè)接連的GOF，所述步驟包括以下子步驟(A)首先，對(duì)當(dāng)前的GOF執(zhí)行時(shí)間上的強(qiáng)濾波，而不使用任何運(yùn)動(dòng)估值和補(bǔ)償；(B)然后，把運(yùn)動(dòng)補(bǔ)償時(shí)間濾波應(yīng)用到所述GOF上，其中包括以下操作(1)對(duì)于這樣得到的、高頻時(shí)間子帶的每個(gè)宏塊，把它的均方誤差(MSE)與整個(gè)子帶的均方誤差進(jìn)行比較，并且只對(duì)于其MSE大于所述整個(gè)子帶的MSE的那些宏塊作出標(biāo)記；(2)對(duì)于所述GOF的每對(duì)幀，對(duì)帶有標(biāo)記的宏塊的每個(gè)塊執(zhí)行基于塊的運(yùn)動(dòng)估值，以及對(duì)不帶有標(biāo)記的宏塊執(zhí)行基于宏塊的運(yùn)動(dòng)估值；(3)鑒于最后的運(yùn)動(dòng)補(bǔ)償子步驟，執(zhí)行以下的選擇步驟(a)對(duì)帶有標(biāo)記的宏塊，根據(jù)最小的絕對(duì)差值的和值(SAD)，按照宏塊與塊運(yùn)動(dòng)矢量之間的最后判決來選擇運(yùn)動(dòng)矢量；(b)對(duì)不帶有任何標(biāo)記的宏塊，按照基于宏塊的運(yùn)動(dòng)估值來選擇運(yùn)動(dòng)矢量。
5.用于視頻編碼器的計(jì)算機(jī)程序產(chǎn)品，該視頻編碼器接收以接連的幀的組的形式組構(gòu)的視頻序列以便進(jìn)行壓縮，該程序產(chǎn)品包括一組指令，它們?cè)诒谎b載到所述編碼器時(shí)，執(zhí)行如權(quán)利要求4中要求的處理過程。
6.通過按照一種編碼方法壓縮以接連的幀的組的形式組構(gòu)的視頻序列而產(chǎn)生的可發(fā)送的編碼信號(hào)，該編碼方法包括借助三維(3D)小波變換從而得出給定數(shù)目的接連的分辨率級(jí)別的分解步驟；借助在每個(gè)分解級(jí)別上執(zhí)行的運(yùn)動(dòng)補(bǔ)償操作的運(yùn)動(dòng)補(bǔ)償步驟；以及編碼步驟，所述運(yùn)動(dòng)補(bǔ)償步驟被應(yīng)用到被劃分成宏塊的幀上，所述宏塊本身又被再劃分成塊，對(duì)于每個(gè)接連的幀的組，所述步驟包括以下子步驟(A)首先，對(duì)當(dāng)前的GOF執(zhí)行時(shí)間上的強(qiáng)濾波，而不用任何運(yùn)動(dòng)估值；(B)然后，把運(yùn)動(dòng)補(bǔ)償?shù)臅r(shí)間濾波應(yīng)用到所述GOF上，其中包括以下操作(1)對(duì)于這樣得到的高頻時(shí)間子帶的每個(gè)宏塊，把它的均方誤差(MSE)與整個(gè)子帶的均方誤差進(jìn)行比較，并且只對(duì)于其MSE大于所述整個(gè)子帶的MSE的那些宏塊作出標(biāo)記；(2)對(duì)于所述GOF的每對(duì)幀，對(duì)帶有標(biāo)記的宏塊的每個(gè)塊執(zhí)行基于塊的運(yùn)動(dòng)估值，以及對(duì)不帶有標(biāo)記的宏塊執(zhí)行基于宏塊的運(yùn)動(dòng)估值；(3)鑒于最后的運(yùn)動(dòng)補(bǔ)償子步驟，執(zhí)行以下的選擇步驟(a)對(duì)帶有標(biāo)記的宏塊，根據(jù)最小的絕對(duì)差值的和值(SAD)，按照宏塊與塊運(yùn)動(dòng)矢量之間的最后判決來選擇運(yùn)動(dòng)矢量；(b)對(duì)不帶有標(biāo)記的宏塊，按照基于宏塊的運(yùn)動(dòng)估值來選擇運(yùn)動(dòng)矢量。
全文摘要
本發(fā)明涉及二維子帶編碼技術(shù)的領(lǐng)域，該技術(shù)通過使用運(yùn)動(dòng)估值和補(bǔ)償在分解中包括時(shí)間域而被擴(kuò)展到視頻數(shù)據(jù)。本發(fā)明涉及一種方法，該方法允許保持運(yùn)動(dòng)矢量信息的總量相當(dāng)?shù)氐?，以及把更多的比特分配給非運(yùn)動(dòng)區(qū)域中的組織結(jié)構(gòu)。所述方法首先執(zhí)行初步分析，這允許識(shí)別圖象的一些部分而不需要對(duì)運(yùn)動(dòng)信息的精確說明，接著根據(jù)這個(gè)初步信息進(jìn)行運(yùn)動(dòng)估值。然后，在最后的運(yùn)動(dòng)補(bǔ)償操作之前，根據(jù)高頻時(shí)間濾波的子帶的能量，為了選擇最適合的運(yùn)動(dòng)矢量而作出判決。
文檔編號(hào)H04N7/32GK1451238SQ01815060
公開日2003年10月22日 申請(qǐng)日期2001年11月12日 優(yōu)先權(quán)日2000年11月17日
發(fā)明者V·博特雷奧 申請(qǐng)人:皇家菲利浦電子有限公司