專(zhuān)利名稱(chēng)：利用小波變換的視頻編碼方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于壓縮分成幀或幀組的視頻序列的編碼方法，該幀或幀組通過(guò)小波變換分解，該小波變換導(dǎo)出對(duì)應(yīng)于所述變換分解等級(jí)的給定的連續(xù)分辨率等級(jí)數(shù)，所述編碼方法根據(jù)稱(chēng)為“用分級(jí)樹(shù)分割集合”(SPIHT)的分級(jí)子頻帶編碼處理、并且從視頻序列的原始像素集合導(dǎo)出用二進(jìn)制格式編碼的小波變換系數(shù)；所述系數(shù)成樹(shù)形組織并且按次序排列成對(duì)應(yīng)于各重要性等級(jí)的分集；所述分集通過(guò)振幅測(cè)試來(lái)定義，該振幅測(cè)試促成“重要性”信息劃分成三個(gè)有序表非重要集合表(LIS)、非重要像素表(LIP)、重要像素表(LSP)；進(jìn)行所述測(cè)試以便隨著分劃處理將所述原始像素集合分解成所述分集，直至所述二進(jìn)制表示中每個(gè)重要系數(shù)都被編碼。
可認(rèn)為傳統(tǒng)視頻壓縮方案包括四大模塊運(yùn)動(dòng)估計(jì)和補(bǔ)償、系數(shù)變換(例如，離散余弦變換或小波分解)、系數(shù)量化和編碼、以及平均信息編碼。當(dāng)一視頻編碼器可升級(jí)時(shí)，這意味著它須能從低比特率到高比特率編碼圖像，以隨比特率增加提高視頻信號(hào)質(zhì)量。小波分解的變換方法自然提供圖像的分級(jí)顯示，顯然比傳統(tǒng)的離散余弦變換(DCT)更適合于可升級(jí)的方案。
小波分解允許原始輸入信號(hào)由子頻帶信號(hào)集合描述。每個(gè)子頻帶實(shí)際上代表給定分辨率等級(jí)的、一定頻率范圍內(nèi)的原始信號(hào)。通常采用一套一維濾波器組將圖像分解成互不關(guān)聯(lián)的子頻帶，該濾波器組先濾波當(dāng)前圖像行，再濾波濾波后的圖像列。該操作的例子描述見(jiàn)S.S.Goh著的“圖像的小波分解置換”，Signal Processing，卷44，No.1，1995年6月，27頁(yè)至38頁(yè)。實(shí)際采用兩個(gè)濾波器------低通和高通濾波器來(lái)分離圖像的低頻和高頻。首先對(duì)圖像行進(jìn)行該操作，再用因數(shù)2進(jìn)行二次抽樣操作，接著對(duì)二次抽樣后的圖像列進(jìn)行該操作，再用因數(shù)2對(duì)取得的圖像進(jìn)行下降抽樣。這樣就取得4個(gè)比原圖像小4倍的圖像一個(gè)低頻子圖像(或“平滑圖像”)，它包括相關(guān)的原始圖像的初始內(nèi)容的主要部分，因此顯示了所述圖像的近似性；三個(gè)高頻子圖像，它們僅包括所述原始圖像的水平、垂直及對(duì)角細(xì)節(jié)。該分解處理過(guò)程一直持續(xù)到顯然不再有有用信息從上一平滑圖像中導(dǎo)出。
有一種采用二維(2D)小波分解的計(jì)算上更為簡(jiǎn)單的圖像壓縮技術(shù)，描述見(jiàn)A.Said和W.A.Pearlman著的“基于分級(jí)樹(shù)分割集合(SPIHT)的新型、快速而有效的圖像編解碼器”，IEEE Transactions on Circuitsand Systems for Video Technology，卷6，No.3，1996年6月，第243頁(yè)至250頁(yè)。如所述文件中解釋的，原始圖像可用一組像素值p(x，y)定義(其中x和y是像素坐標(biāo))，并通過(guò)分級(jí)子頻帶變換編碼，表示為以下公式(1)c(x，y)＝Ω(p(x，y))(1)其中，Ω表示變換，而每個(gè)元素c(x，y)稱(chēng)為“像素坐標(biāo)(x，y)的轉(zhuǎn)換系數(shù)”。
主要目的是選最重要的信息先發(fā)送，這樣就可使這些變換系數(shù)按照它們的振幅排序(具備大振幅的系數(shù)包含較多信息內(nèi)容，應(yīng)優(yōu)先發(fā)送，或至少將它們的最高有效位先發(fā)送)。如果該排序信息以顯式的方式發(fā)送給解碼器，那么發(fā)送相對(duì)小部分的像素坐標(biāo)，便可恢復(fù)較好質(zhì)量的圖像。如果該排序信息未能以顯式的方式發(fā)送，那么可設(shè)想該編碼算法的執(zhí)行路徑由關(guān)于其分支點(diǎn)的比較結(jié)果定義，并且采用同樣分類(lèi)算法的解碼器如果收到該振幅比較結(jié)果便能復(fù)制該編碼器的這一執(zhí)行路徑。然后可從該執(zhí)行路徑中恢復(fù)該排序信息。
所述排序算法中重要一點(diǎn)是不必對(duì)所有系數(shù)排序，只需排如2n≤|cx，y|＜2n+1(n按每個(gè)通道遞減)的系數(shù)。給定n，如果|cx，y|≥2n(n稱(chēng)為重要性等級(jí))，那么某系數(shù)便是重要系數(shù)；否則就不重要。該排序算法將像素集合分成分隔子集Tm并執(zhí)行振幅測(cè)試(2)max(x,y)∈Tm{|cx,y|}≥2n ---(2)]]>如果解碼器收到信息“否”(所有相關(guān)子集不重要)，就知子集Tm的系數(shù)不重要。如果答案是“是”(所述子集是重要的)，那么編碼器和解碼器所分享的預(yù)定規(guī)則用于將Tm分成新子集Tm，∈，重要性測(cè)試?yán)^續(xù)用于這些新子集。該集合分割處理一直持續(xù)到對(duì)所有單坐標(biāo)重要子集都進(jìn)行了振幅測(cè)試，以便標(biāo)示每一個(gè)重要系數(shù)，并允許對(duì)其進(jìn)行二進(jìn)制編碼。
為減少發(fā)送的振幅比較(即、關(guān)于信息位)的次數(shù)，可定義集合分割規(guī)則，它采用子頻帶金字塔所定義的期待的分級(jí)排序。目的是要?jiǎng)?chuàng)建新的分割使認(rèn)為不重要的分集包含大量元素，而使認(rèn)為重要的分集只包含一個(gè)元素。為弄清楚振幅比較與信息位之間的關(guān)系，可采用以下公式 來(lái)表示坐標(biāo)子集T的重要性。
另外，曾觀察到子頻帶間存在空間自相似性。若沿同樣空間方向在金字塔上向下移，可期望系數(shù)有更好的振幅排序。例如，如果期望低活動(dòng)率區(qū)在金字塔最高等級(jí)上標(biāo)示出，那么它們會(huì)以較低級(jí)別復(fù)制在相同空間位置，但具備更高分辨率。稱(chēng)為空間定向樹(shù)的樹(shù)結(jié)構(gòu)自然定義小波分解的分級(jí)子頻帶金字塔的空間關(guān)系。

圖1顯示出在由遞歸的4-子頻帶分割構(gòu)成的金字塔中如何定義空間定向樹(shù)。樹(shù)的每個(gè)節(jié)點(diǎn)或者沒(méi)有子節(jié)點(diǎn)(葉)或者有4子節(jié)點(diǎn)(其常形成2×2相鄰像素組)，它們由此與有相同空間指向的像素相對(duì)應(yīng)。圖1中，箭頭從母節(jié)點(diǎn)指向其子節(jié)點(diǎn)。金字塔最高級(jí)別的像素是樹(shù)的根部，并且按2×2相鄰像素進(jìn)行分組。然而，它們的子節(jié)點(diǎn)分支規(guī)則是不同的，并且每一組中，它們中間的一個(gè)(圖1中以墨點(diǎn)表示)沒(méi)有后代。
以下坐標(biāo)集合用以表示該編碼方法，(x，y)表示系數(shù)位置O(x，y)節(jié)點(diǎn)(x，y)的所有子節(jié)點(diǎn)的坐標(biāo)集合；D(x，y)節(jié)點(diǎn)(x，y)的所有后代節(jié)點(diǎn)的坐標(biāo)集合；H所有空間定向樹(shù)根(金字塔最高級(jí)別節(jié)點(diǎn))的坐標(biāo)集合；L(x，y)＝D(x，y)-O(x，y)。
正如所觀察到的，測(cè)試子集重要性等級(jí)所遵循的順序是重要的，實(shí)際操作時(shí)“重要性”信息存儲(chǔ)在三個(gè)有序表中，稱(chēng)為非重要集合表(LIS)、非重要像素表(LIP)、重要像素表(LSP)。所有這些表中，每個(gè)條目都由坐標(biāo)(x，y)標(biāo)識(shí)，在LIP和LSP中該坐標(biāo)表示各個(gè)像素，在LIS中或者表示集合D(x，y)或者表示集合L(x，y)(稱(chēng)表示D(x，y)的LIS條目為A類(lèi)，表示L(x，y)的為B類(lèi)，以示區(qū)別)。SPIHT算法實(shí)際上是以操縱LIS、LIP和LSP三個(gè)表為基礎(chǔ)的。
對(duì)于平均信息編碼模塊來(lái)說(shuō)，算術(shù)編碼技術(shù)比Huffmann編碼對(duì)視頻壓縮更有效，因?yàn)槿〉玫拇a長(zhǎng)非常接近于最佳長(zhǎng)度，該方法尤其適用于自適應(yīng)模塊(高速評(píng)估源統(tǒng)計(jì)數(shù)字)，并且可分為兩個(gè)獨(dú)立的模塊(建模模塊和編碼模塊)。下面主要介紹建模模塊，包括某些源串操作(source-string)事件及其上下文的確定，和估計(jì)相關(guān)統(tǒng)計(jì)數(shù)字的方法。
上下文用來(lái)捕捉相關(guān)的整個(gè)源串操作集合的冗余。在原始視頻序列中，像素值實(shí)際上取決于其周?chē)南袼刂?。小波分解后，所有子頻帶仍保持同樣的“地理”互依性。如果系數(shù)發(fā)送的順序保持著這種互依性，那么就有可能利用有界記憶樹(shù)源的通用編碼框架中的“地理”信息，例子描述見(jiàn)M.J.Weinberger等的《通用有限記憶源》，IEEE Transactions on Information Theory，卷41，No.3，1995年5月，643頁(yè)至652頁(yè)。有限記憶樹(shù)源有這樣的特點(diǎn)，即下一符號(hào)概率取決于最近符號(hào)的實(shí)際值。有限記憶樹(shù)源的二進(jìn)制順序通用源編碼處理經(jīng)常采用上下文樹(shù)，在給定考慮的上下文的情況下它包括每個(gè)串(上下文)中0和1出現(xiàn)的次數(shù)。在給定d個(gè)先前的比特的情況下，該樹(shù)允許估計(jì)符號(hào)概率^P(Xn|xn-1···xn-d)，其中，xn是所檢查的比特值，xn-1···xn-d表示上下文，即先前的比特序列。當(dāng)條件事件因上下文稀度問(wèn)題或模型成本而增多時(shí)，評(píng)估任務(wù)會(huì)比較艱巨。
解決這一問(wèn)題，一個(gè)辦法是上下文樹(shù)加權(quán)，詳見(jiàn)F.M.J.Willems等的《上下文樹(shù)加權(quán)方法基本特性》，IEEE Transactions on InformationTheory，卷41，No.3，1995年5月，653頁(yè)至664頁(yè)。該法的主旨是采用所檢查的比特的最有效上下文估計(jì)來(lái)加權(quán)概率。實(shí)際上，有時(shí)采用更短的上下文來(lái)對(duì)某比特位編碼(如果上下文中后面的比特位對(duì)當(dāng)前比特位沒(méi)有影響，可以不予考慮)會(huì)更有效。該技術(shù)縮短了最終碼長(zhǎng)。因此在算術(shù)編碼中，有效模型和上下文的確定是關(guān)鍵一步。
2D SPIHT算法主要是拿與不同分辨率的同一圖像區(qū)對(duì)應(yīng)的像素集與先前稱(chēng)為“重要性等級(jí)”的值作比較，它的基礎(chǔ)是一重要概念利用原始圖像中固有的自相似性預(yù)測(cè)小波分解范圍的重要信息的缺席。這意味著如果小波分解最低等級(jí)的系數(shù)不重要，那么同區(qū)域其他等級(jí)的系數(shù)也極可能不重要。不幸的是，利用子頻帶之間冗余的SPIHT算法“破壞”了每個(gè)子頻帶內(nèi)相鄰像素間的互依性。
因此，本發(fā)明第一目的是改進(jìn)SPIHT算法的掃描順序，以重建每個(gè)子頻帶內(nèi)像素間的相鄰關(guān)系。
為此目的，本發(fā)明涉及用于壓縮包含連續(xù)幀的視頻序列的編碼方法，每個(gè)幀通過(guò)二維(2D)小波變換分解，該小波變換導(dǎo)出對(duì)應(yīng)于所述變換的分解等級(jí)的給定的連續(xù)分辨率等級(jí)數(shù)；所述編碼方法基于稱(chēng)為“用分級(jí)樹(shù)分割集合”(SPIHT)的分級(jí)子頻帶編碼處理，從視頻序列的原始像素集合導(dǎo)出用二進(jìn)制格式編碼的小波變換系數(shù)；所述系數(shù)組織成空間定向樹(shù)，該樹(shù)起植于最低頻率，或空間近似性、子頻帶，結(jié)束于高頻子頻帶的某子集；所述樹(shù)中的系數(shù)被進(jìn)一步排序成為對(duì)應(yīng)于各重要性等級(jí)的分集，并通過(guò)振幅測(cè)試來(lái)定義；該振幅測(cè)試促成把“重要性”信息劃分為三個(gè)有序表非重要集合表(LIS)、非重要像素表(LIP)、重要像素表(LSP)；所述測(cè)試根據(jù)分解過(guò)程將所述原始像素集合分解成所述分集，該分解過(guò)程持續(xù)至對(duì)所述二進(jìn)制表示中每個(gè)重要系數(shù)進(jìn)行了編碼；所述方法的特征還在于包括以下步驟(A)初始化步驟，所有坐標(biāo)為(x，y)的像素分別從0變化到_x，從0變化到_y，用所述空間相似子頻帶的系數(shù)(坐標(biāo)為x＝0(模2)和y＝0(模2)的除外)將所述LIS表初始化，初始化順序如下所述(a) 把所有x＝1(模2)和y＝0(模2)的像素列入所述表中，先是亮度分量Y接著是色度分量U和V；(b) 把所有x＝1(模2)和y＝1(模2)的像素列入所述表中，先是亮度分量Y接著是色度分量U和V；(c) 把所有x＝0(模2)和y＝1(模2)的像素列入所述表中，先是亮度分量Y接著是色度分量U和V；(B)開(kāi)發(fā)步驟，從最低分辨率到最高分辨率開(kāi)發(fā)定義小波分解的分級(jí)子頻帶金字塔空間關(guān)系的空間定向樹(shù)，同時(shí)保持相鄰像素在一起，并兼顧圖像細(xì)節(jié)的定向；多虧子系數(shù)的鋸齒掃描順序，所述子系數(shù)得以開(kāi)發(fā)；對(duì)于水平和對(duì)角的細(xì)節(jié)子頻帶，圖7顯示出4子系數(shù)組及該組沿水平方向?qū)蛳乱唤M的路徑，圖8顯示出4子系數(shù)組及該組沿豎直方向?qū)蛳乱唤M的路徑，圖9和圖10分別顯示最差分辨率和較好分辨率的情況。
本發(fā)明的又一目的是用三維(3D)SPIHT算法貫徹同樣的原理。
為此目的，本發(fā)明涉及用于壓縮包含連續(xù)幀組的視頻序列的編碼方法，每個(gè)幀組通過(guò)三維(3D)小波變換分解，該小波變換導(dǎo)出對(duì)應(yīng)于所述變換分解等級(jí)的給定的連續(xù)分辨率等級(jí)數(shù)；所述編碼方法基于稱(chēng)為“用分級(jí)樹(shù)分割集合”(SPIHT)的分級(jí)子頻帶編碼處理，從視頻序列的原始像素集合導(dǎo)出用二進(jìn)制編碼的小波變換系數(shù)；所述系數(shù)組織成時(shí)空定向樹(shù)，該樹(shù)起植于最低頻率，或時(shí)空近似性、子頻帶，結(jié)束于高頻子頻帶的某子集；所述樹(shù)中的系數(shù)被進(jìn)一步排序成為對(duì)應(yīng)于各重要性等級(jí)的分集，并由振幅測(cè)試來(lái)定義；該振幅測(cè)試促成把“重要性”信息劃分為三個(gè)有序表非重要集合表(LIS)、非重要像素表(LIP)、重要像素表(LSP)；所述測(cè)試根據(jù)分解過(guò)程將所述原始像素集合分解成所述分集，該分解過(guò)程持續(xù)至對(duì)所述二進(jìn)制表示中每個(gè)重要系數(shù)進(jìn)行了編碼；所述方法的特征還在于包括以下步驟(A)初始化步驟，3D小波變換導(dǎo)致的時(shí)空相似子頻帶包括時(shí)間相似子頻帶中兩幀的空間相似子頻帶，以z＝0和z＝1標(biāo)記，同時(shí)，所有坐標(biāo)為(x，y，z)的像素的x和y分別從0變化到_x，從0變化到_y，用所述時(shí)空相似子頻帶的系數(shù)(坐標(biāo)為z＝0(模2)、x＝0(模2)和y＝0(模2)的除外)將所述LIS表初始化，初始化順序如下所述(a)把所有x＝0(模2)、y＝0(模2)和z＝1的像素列入所述表中，先是亮度分量Y接著是色度分量U和V；(b)把所有x＝1(模2)、y＝0(模2)和z＝0的像素列入所述表中，先是亮度分量Y接著是色度分量U和V；(c)把所有x＝1(模2)、y＝1(模2)和z＝0的像素列入所述表中，先是亮度分量Y接著是色度分量U和V；(d)把所有x＝0(模2)、y＝1(模2)和z＝0的像素列入所述表中，先是亮度分量Y接著是色度分量U和V；(B)開(kāi)發(fā)步驟，從最低分辨率到最高分辨率開(kāi)發(fā)定義小波分解的分級(jí)子頻帶金字塔時(shí)空關(guān)系的時(shí)空定向樹(shù)，同時(shí)保持相鄰像素在一起，并兼顧圖像細(xì)節(jié)的定向；多虧子系數(shù)的鋸齒掃描順序，所述子系數(shù)得以開(kāi)發(fā)；對(duì)于水平和對(duì)角的細(xì)節(jié)子頻帶，圖7顯示出4子系數(shù)組及該組沿水平方向?qū)蛳乱唤M的路徑，圖8顯示出4子系數(shù)組及該組沿豎直方向?qū)蛳乱唤M的路徑，圖9和圖10分別顯示最差分辨率和較好分辨率的情況。
LIS初始化在該算法中扮演重要角色。該表的特殊組織、子系數(shù)的特殊掃描及原始算法的細(xì)小改動(dòng)都可深層探測(cè)所述樹(shù)，同時(shí)保持相鄰像素在一起，并兼顧圖像細(xì)節(jié)的定向。
下面參照附圖更詳細(xì)地描述本發(fā)明，附圖中圖1顯示2D情況下空間定向樹(shù)的母-子互依性的實(shí)例；圖2顯示在水平細(xì)節(jié)子頻帶中具有子系數(shù)的根子頻帶系數(shù)的建議的掃描順序；圖3顯示在對(duì)角細(xì)節(jié)子頻帶中具有子系數(shù)的根子頻帶系數(shù)的建議的掃描順序；圖4顯示在豎直細(xì)節(jié)子頻帶中具有子系數(shù)的根子頻帶系數(shù)的建議的掃描順序；圖5顯示對(duì)細(xì)節(jié)子頻帶有組織的定向掃描；圖6顯示時(shí)空定向樹(shù)(3D SPIHT)的母-子互依性的實(shí)例；圖7顯示具有4子系數(shù)的組的建議的掃描順序及從一個(gè)組水平導(dǎo)向另一組的路徑(子頻帶細(xì)節(jié)在水平或?qū)欠较?；圖8顯示具有4子系數(shù)的組的建議的掃描順序及從一個(gè)組豎直導(dǎo)向另一組的路徑(子頻帶細(xì)節(jié)在豎直方向)；圖9顯示最低分辨率子頻帶系數(shù)的掃描順序；圖10顯示對(duì)具有水平取向細(xì)節(jié)的子頻帶兩種分辨率等級(jí)的掃描順序(在像素附近，特別注意從一像素組導(dǎo)向另一像素組的路徑)。
可以看得出，將算術(shù)編碼有效插入SPIHT算法的主要挑戰(zhàn)在于保持上下文中的相鄰。LIS的初始組織和讀取子集的特殊順序允許部分重建系數(shù)的地理掃描，這在僅限于亮度分量的2D SPIHT算法中首先解釋?zhuān)笥衷谧鳛閿U(kuò)展的包含色度分量的3D SPIHT算法中解釋。
2D SPIHT算法掃描所有采用母-子互依性的空間子頻帶的像素，以原先儲(chǔ)存在LIP表的根子頻帶系數(shù)(一部分儲(chǔ)存在LIS中)作為起點(diǎn)。通過(guò)對(duì)空間子樹(shù)的根的不同排序，可以一個(gè)接一個(gè)地重建較高水平子頻帶的連貫檢查順序，甚至兼顧細(xì)節(jié)的空間取向(當(dāng)考慮用最佳方向掃描時(shí)可以更好開(kāi)發(fā)細(xì)節(jié)的取向)。
因此，建議采用以下掃描方法用相近子頻帶(坐標(biāo)為(x，y)的像素，x從0變化到_x，y從0變化到_y)的系數(shù)將LIS初始化(a)通過(guò)水平掃描子頻帶，將所有x＝1(模2)和y＝0(模2)的像素(x，y)列入所述表中(第一例對(duì)應(yīng)于圖2)；(b)通過(guò)水平掃描子頻帶，將所有x＝1(模2)和y＝1(模2)的像素(x，y)列入所述表中(第二例對(duì)應(yīng)于圖3)；(c)通過(guò)豎直掃描子頻帶，把所有x＝0(模2)和y＝1(模2)的像素(x，y)列入所述表中，該例對(duì)應(yīng)于圖4的第三種情況(x＝0(模2)和y＝0(模2)的像素(x，y)未插入LIS)。多虧LIS如此組織，2D算法以規(guī)定的細(xì)節(jié)檢查順序掃描子頻帶先讀取包含水平細(xì)節(jié)的子頻帶，再讀取包含對(duì)角細(xì)節(jié)(順序?qū)ζ洳皇呛苤匾?的子頻帶，最后讀取包含豎直細(xì)節(jié)的子頻帶，從最低分辨率到最高分辨率，如圖5所示(R＝根；D＝細(xì)節(jié))。
依據(jù)本發(fā)明的技術(shù)措施可擴(kuò)展至三維的情況。3D SPIHT算法的描述見(jiàn)例如“采用三維的分級(jí)樹(shù)分割集合(SPIHT)的嵌入式小波視頻編碼器”，B.J.Kim和W.A.Pearlman所著，Proceedings of DCC’97，1997年3月25-27，Snowbird，Utah，USA，251頁(yè)到260頁(yè)，它與之前二維的情況差別不大。對(duì)幀組(GOF)進(jìn)行3D小波分解操作。按照所述時(shí)間方向?qū)崿F(xiàn)運(yùn)動(dòng)補(bǔ)償和時(shí)間濾波。3D時(shí)空集合代替空間集合(2D)，也可定義系數(shù)樹(shù)具備同樣的時(shí)空取向并依賴(lài)母-子關(guān)系連結(jié)。3D情況下的這些連結(jié)見(jiàn)圖6。樹(shù)根由最低分辨率的相近子頻帶的像素組成(“根子頻帶”)。3D SPIHT算法中，除葉子外的所有子頻帶中，每個(gè)像素有8個(gè)子像素，相應(yīng)地，每個(gè)像素有一個(gè)母像素。該規(guī)則的一個(gè)例外是樹(shù)根中，8個(gè)像素有一個(gè)沒(méi)有子像素。
2D的情況下，時(shí)空定向樹(shù)自然定義分級(jí)小波分解的時(shí)空關(guān)系，采用了以下系數(shù)集合O(x，y，z chroma)節(jié)點(diǎn)(x，y，z chroma)的所有子節(jié)點(diǎn)的系數(shù)集合；D(x，y，z chroma)節(jié)點(diǎn)(x，y，z chroma)的所有后代節(jié)點(diǎn)的系數(shù)集合；H(x，y，z chroma)所有時(shí)空定向樹(shù)根(最高金字塔級(jí)別的節(jié)點(diǎn))的系數(shù)集合；L(x，y，z chroma)＝D(x，y，z chroma)-O(x，y，z chroma)；其中，(x，y，z)表示系數(shù)位置，“chroma”表示Y、U或V。有三個(gè)有序表LIS(非重要集合表)、LIP(非重要像素表)、LSP(重要像素表)。所有這些有序表用坐標(biāo)(x，y，z chroma)標(biāo)示每個(gè)條目，它在LIP和LSP中表示個(gè)體像素，而在LIS中表示D(x，y，z chroma)或L(x，y，z chroma)集合。將表示D(x，y，z，chroma)的LIS條目稱(chēng)為A類(lèi)，表示L(x，y，z，chroma)的LIS條目稱(chēng)為B類(lèi)，以示區(qū)別。同先前2D的情況一樣，3D SPIHT算法也以操縱LIS、LIP和LSP三個(gè)表為基礎(chǔ)。
根據(jù)本發(fā)明對(duì)該方法的3D擴(kuò)展沒(méi)有對(duì)時(shí)間軸進(jìn)行任何特別的初始化。時(shí)間近似子頻帶的兩個(gè)幀用z＝0和z＝1標(biāo)記，現(xiàn)建議以下初始化順序(a)將所有x＝0(模2)、y＝0(模2)和z＝1的像素列入所述表中，先是亮度分量Y接著是色度分量U和V；(b)將所有x＝1(模2)、y＝0(模2)和z＝0的像素列入所述表中，先是亮度分量Y接著是色度分量U和V；(c)將所有x＝1(模2)、y＝1(模2)和z＝0的像素列入所述表中，先是亮度分量Y接著是色度分量U和V；(d)將所有x＝0(模2)、y＝1(模2)和z＝0的像素列入所述表中，先是亮度分量Y接著是色度分量U和V。
(d)是豎直掃描，而其他是水平掃描。
本方法的第二主要方面是子系數(shù)的不同的校驗(yàn)順序。大致原則是沿每個(gè)子頻帶的細(xì)節(jié)取向掃描。這使得大量使用1S和2S的幾率增大，算術(shù)編碼器能容易地壓縮這些1S和2S。每種分辨率等級(jí)掃描兩個(gè)4子系數(shù)集合(或圖中GOC指定的子集合)，圖7顯示出水平和對(duì)角的細(xì)節(jié)子頻帶的情況，圖8顯示出豎直的細(xì)節(jié)子頻帶的情況。圖9描述像素電平的掃描順序，舉例說(shuō)明最低分辨率等級(jí)的掃描。像素的掃描以4個(gè)組來(lái)進(jìn)行，圖6描述一個(gè)組指向另一個(gè)組的路徑(該路徑方向亦沿每個(gè)子頻帶的細(xì)節(jié)取向(見(jiàn)1、2、3點(diǎn)))。較好分辨率的掃描順序參照“地理”近似性，即可以盡可能的不從一行跳至另一行。取而代之的是，可以采用圖10給出的掃描順序。4像素的組的掃描同以前一樣。圖10描述一個(gè)組指向另一個(gè)組的路徑，圖6描述組等級(jí)的情況(4、5、6點(diǎn))。
需要注意的是，根據(jù)所描述的編碼方法，可提出任何不超越本發(fā)明范疇的修正或改進(jìn)。例如，很顯然可以用有線(xiàn)電路實(shí)現(xiàn)本編碼方法，也可以通過(guò)一套儲(chǔ)存在電子、磁或光學(xué)計(jì)算機(jī)可讀介質(zhì)或其它類(lèi)型存儲(chǔ)器中的指令來(lái)實(shí)現(xiàn)，所述指令應(yīng)至少取代所述電路的一部分，而且在合適的計(jì)算機(jī)、數(shù)據(jù)處理器、中央處理單元、專(zhuān)用集成電路或任何其他類(lèi)型處理器的控制下可以實(shí)施，以便執(zhí)行被代替電路所實(shí)現(xiàn)的相同的功能。本發(fā)明也可采用這樣一種計(jì)算機(jī)可讀介質(zhì)，該介質(zhì)包括含有計(jì)算機(jī)可執(zhí)行指令的軟件模塊，用以執(zhí)行所述方法的步驟或部分步驟。
根據(jù)以上提及的文件“新型、快速而有效的圖像編解碼器......”中描述的編碼方法和相關(guān)軟件，以3D的情況為例，根據(jù)本發(fā)明所修改的算法如下所示1.初始化輸出n＝「log2(max(x，y，z，chroma){|Cx，y，zchroma|})」，設(shè)置LSP為空表，以預(yù)定的順序，把坐標(biāo)(x，y，z，chroma)εH加到LIP，并且把那些有后代的也加到LIS，作為A類(lèi)條目。
2.排序掃描
2.1對(duì)于LIP中的每個(gè)(x，y，z，chroma)條目進(jìn)行2.1.1 輸出比特＝Sn(x，y，z，chroma)；2.1.2 如果(bit＝1)，那么將(x，y，z，chroma)移到LSP，并輸出比特＝sign(x，y，z，chroma)；2.2對(duì)于LIS中的每個(gè)(x，y，z，chroma)條目進(jìn)行2.2.1 如果該條目屬A類(lèi)，那么輸出比特＝Sn(D(x，y，z，chroma))；如果(bit＝1)，那么a)對(duì)于每個(gè)(x’，y’，z’，chroma)εO(x，y，z，chroma)進(jìn)行輸出比特＝Sn(x’，y’，z’，chroma)；如果(bit＝1)，那么將(x’，y’，z’，chroma)移到LSP末尾，并輸出比特＝sign(x’，y’，z’，chroma)；或者將(x’，y’，z’，chroma)移到LIP末尾b)如果L(x，y，z，chroma)≠0，將(x，y，z，chroma)作為B類(lèi)移到LIS末尾，重復(fù)步驟2.2.2，或者將條目(x，y，z，chroma)從LIS中清除；如果該條目是B類(lèi)條目，那么輸出比特＝Sn(L(x，y，z，chroma))；如果(bit＝1)，那么a) 將每個(gè)(x’，y’，z’，chroma)εO(x，y，z，chroma)作為A類(lèi)條目添加到LIS列尾；b) 從LIS中清除(x，y，z，chroma)。
3.提純對(duì)于LSP的每個(gè)條目(x，y，z，chroma)，除去那些最近的排序掃描所包含的條目(即有相同n的條目)外，輸出C(x，y，z，chroma)的第n個(gè)最重要比特；4.更新量化步驟n減去1，回到步驟2。
權(quán)利要求
1.一種用于壓縮包含連續(xù)幀的視頻序列的編碼方法，每個(gè)幀通過(guò)二維(2D)小波變換分解，所述小波變換導(dǎo)出對(duì)應(yīng)于所述變換的分解等級(jí)的給定的連續(xù)分辨率等級(jí)數(shù)；所述編碼方法基于稱(chēng)為“用分級(jí)樹(shù)分割集合”(SPIHT)的分級(jí)子頻帶編碼操作，從視頻序列的原始像素集合導(dǎo)出用二進(jìn)制編碼的小波變換系數(shù)；所述系數(shù)組織成空間定向樹(shù)，所述樹(shù)起植于最低頻率，或空間近似性、子頻帶，結(jié)束于高頻子頻帶的某子集；所述樹(shù)中的系數(shù)被進(jìn)一步排序成為對(duì)應(yīng)于各重要性等級(jí)的分集，并通過(guò)振幅測(cè)試來(lái)定義；所述振幅測(cè)試促成把“重要性”信息劃分為三個(gè)有序表非重要集合表(LIS)、非重要像素表(LIP)、重要像素表(LSP)；所述測(cè)試根據(jù)分解過(guò)程將所述原始像素集合分解成所述分集，所述分解過(guò)程持續(xù)至對(duì)所述二進(jìn)制表示中每個(gè)重要系數(shù)進(jìn)行了編碼；所述方法的特征在于包括以下步驟(A)初始化步驟，所有坐標(biāo)為(x，y)的像素分別從0變化到_x，從0變化到_y，用所述空間相似子頻帶的系數(shù)(坐標(biāo)為x＝0(模2)和y＝0(模2)的除外)將所述LIS表初始化，初始化順序如下所述(a)把所有x＝1(模2)和y＝0(模2)的像素列入所述表中，先是亮度分量Y接著是色度分量U和V；(b)把所有x＝1(模2)和y＝1(模2)的像素列入所述表中，先是亮度分量Y接著是色度分量U和V；(c)把所有x＝0(模2)和y＝1(模2)的像素列入所述表中，先是亮度分量Y接著是色度分量U和V；(B)開(kāi)發(fā)步驟，從最低分辨率到最高分辨率開(kāi)發(fā)定義小波分解的分級(jí)子頻帶金字塔空間關(guān)系的空間定向樹(shù)，同時(shí)保持相鄰像素在一起，并兼顧圖像細(xì)節(jié)的定向；多虧子系數(shù)的鋸齒掃描順序，所述子系數(shù)得以開(kāi)發(fā)；對(duì)于水平和對(duì)角的細(xì)節(jié)子頻帶，圖7顯示出4子系數(shù)組及所述組沿水平方向?qū)蛳乱唤M的路徑，圖8顯示出4子系數(shù)組及所述組沿豎直方向?qū)蛳乱唤M的路徑，圖9和圖10分別顯示最差分辨率和較好分辨率的情況。
2.一種用于壓縮包含連續(xù)幀組的視頻序列的編碼方法，每個(gè)幀組通過(guò)三維(3D)小波變換分解，所述小波變換導(dǎo)出對(duì)應(yīng)于所述變換分解等級(jí)的給定的連續(xù)分辨率等級(jí)數(shù)；所述編碼方法基于稱(chēng)為“用分級(jí)樹(shù)分割集合”(SPIHT)的分級(jí)子頻帶編碼操作，從視頻序列的原始像素集合導(dǎo)出用二進(jìn)制編碼的小波變換系數(shù)；所述系數(shù)組織成時(shí)空定向樹(shù)，所述樹(shù)起植于最低頻率，或時(shí)空近似性、子頻帶，結(jié)束于高頻子頻帶的某子集；所述樹(shù)中的系數(shù)被進(jìn)一步排序成為對(duì)應(yīng)于各重要性等級(jí)的分集，并由振幅測(cè)試來(lái)定義；所述振幅測(cè)試促成把“重要性”信息劃分為三個(gè)有序表非重要集合表(LIS)、非重要像素表(LIP)、重要像素表(LSP)；所述測(cè)試根據(jù)分解過(guò)程將所述原始像素集合分解成所述分集，所述分解過(guò)程持續(xù)至對(duì)所述二進(jìn)制表示中每個(gè)重要系數(shù)進(jìn)行了編碼；所述方法的特征在于包括以下步驟(A) 初始化步驟，3D小波變換導(dǎo)致的時(shí)空相似子頻帶包括時(shí)間相似子頻帶中兩幀的空間相似子頻帶，以z＝0和z＝1標(biāo)記，同時(shí)，所有坐標(biāo)為(x，y，z)的像素的x和y分別從0變化到_x，從0變化到_y，用所述時(shí)空相似子頻帶的系數(shù)(坐標(biāo)為z＝0(模2)、x＝0(模2)和y＝0(模2)的除外)將所述LIS表初始化，初始化順序如下所述(a) 把所有x＝0(模2)、y＝0(模2)和z＝1的像素列入所述表中，先是亮度分量Y接著是色度分量U和V；(b) 把所有x＝1(模2)、y＝0(模2)和z＝0的像素列入所述表中，先是亮度分量Y接著是色度分量U和V；(c) 把所有x＝1(模2)、y＝1(模2)和z＝0的像素列入所述表中，先是亮度分量Y接著是色度分量U和V；(d) 把所有x＝0(模2)、y＝1(模2)和z＝0的像素列入所述表中，先是亮度分量Y接著是色度分量U和V；(B) 開(kāi)發(fā)步驟，從最低分辨率到最高分辨率開(kāi)發(fā)定義小波分解的分級(jí)子頻帶金字塔時(shí)空關(guān)系的時(shí)空定向樹(shù)，同時(shí)保持相鄰像素在一起，并兼顧圖像細(xì)節(jié)的定向；多虧子系數(shù)的鋸齒掃描順序，所述子系數(shù)得以開(kāi)發(fā)；對(duì)于水平和對(duì)角的細(xì)節(jié)子頻帶，圖7顯示出4子系數(shù)組及所述組沿水平方向?qū)蛳乱唤M的路徑，圖8顯示出4子系數(shù)組及所述組沿豎直方向?qū)蛳乱患系穆窂?，圖9和圖10分別顯示最差分辨率和較好分辨率的情況。
3.一種為對(duì)包含連續(xù)幀的視頻序列進(jìn)行編碼而設(shè)置的計(jì)算機(jī)可執(zhí)行程序步驟，所述程序步驟存儲(chǔ)在計(jì)算機(jī)可讀介質(zhì)中并且是為實(shí)施根據(jù)權(quán)利要求1的編碼方法而設(shè)置的。
4.一種包含一個(gè)或一個(gè)以上為實(shí)施根據(jù)權(quán)利要求1的編碼方法而設(shè)置的軟件程序的計(jì)算機(jī)可讀介質(zhì)。
5.一種為對(duì)包含連續(xù)幀的視頻序列進(jìn)行編碼而設(shè)置的計(jì)算機(jī)可執(zhí)行程序步驟，所述程序步驟存儲(chǔ)在計(jì)算機(jī)可讀介質(zhì)中并且是為實(shí)施根據(jù)權(quán)利要求2的編碼方法而設(shè)置的。
6.一種包含一個(gè)或一個(gè)以上為實(shí)施根據(jù)權(quán)利要求2的編碼方法而設(shè)置的軟件程序的計(jì)算機(jī)可讀介質(zhì)。
全文摘要
本發(fā)明涉及用于壓縮視頻序列的編碼方法,該視頻序列劃分成通過(guò)小波變換分解的幀。所述方法基于稱(chēng)為“用分級(jí)樹(shù)分割集合”(SPIHT)的分級(jí)子頻帶編碼過(guò)程,從視頻序列的原始象素集合導(dǎo)出用二進(jìn)制編碼的小波變換系數(shù)。這些系數(shù)成樹(shù)形組織,通過(guò)振幅測(cè)試排序成為對(duì)應(yīng)于各重要性等級(jí)的分集,該振幅測(cè)試促成三個(gè)有序表的劃分:非重要集合表(LIS)、非重要象素表(LIP)、重要象素表(LSP)。本發(fā)明提出特殊的LIS初始化順序。而且,描述小波分解的分級(jí)金字塔關(guān)系的定向樹(shù)從最低分辨率開(kāi)發(fā)至最高分辨率,同時(shí)保持相鄰象素在一起,并兼顧圖象細(xì)節(jié)的取向。
文檔編號(hào)H03M7/30GK1381146SQ01801568
公開(kāi)日2002年11月20日 申請(qǐng)日期2001年3月26日 優(yōu)先權(quán)日2000年4月4日
發(fā)明者B·菲爾茨, B·佩斯奎特－波佩斯庫(kù) 申請(qǐng)人:皇家菲利浦電子有限公司