提升硬件效率的環(huán)路濾波方法以及環(huán)路濾波裝置的制造方法
【專利摘要】供視訊編碼系統(tǒng)進(jìn)行重建視訊資料的環(huán)路濾波器處理的裝置或方法。視訊系統(tǒng)接收一影像單元的重建視訊資料。環(huán)狀濾波器用于當(dāng)前編碼樹單元一去區(qū)塊邊界上方重建像素。為了降低行緩沖器需求以及/或減少影像單元的環(huán)路濾波器切換，樣值偏移補(bǔ)償(SAO)參數(shù)邊界以及亮度以及色度內(nèi)容的空間環(huán)路濾波器限縮邊界經(jīng)全面考量后決定。在一種實(shí)施方式中，SAO參數(shù)邊界以及空間環(huán)路濾波器限縮邊界分亮度以及色度內(nèi)容對(duì)齊。另一種實(shí)施方式中，亮度以及色度內(nèi)容的SAO參數(shù)邊界以及空間環(huán)路濾波器限縮邊界全數(shù)對(duì)齊。
【專利說(shuō)明】
提升硬件效率的環(huán)路濾波方法以及環(huán)路濾波裝置
技術(shù)領(lǐng)域
[0001] 本發(fā)明關(guān)于視訊編碼系統(tǒng)。特別是，本發(fā)明關(guān)于環(huán)路濾波(loop filter)方法與裝 置，其中包括去塊濾波器(Deblocking Filter，縮寫DF)、樣值偏移補(bǔ)償(Sample Adaptive Offset，縮寫SAO)、樣本濾波補(bǔ)償(Adaptive Loop Filter，縮寫ALF)或其他環(huán)路濾波器的 結(jié)合，提升視訊編碼系統(tǒng)的重建視訊資料的視覺(jué)質(zhì)量。
【背景技術(shù)】
[0002] 動(dòng)作估算(motion estimation)是一種有效的幀間編碼（Inter-frame coding)技 術(shù)，利用視訊序列中的時(shí)間冗余信息（temporal redundancy )。動(dòng)作補(bǔ)償（mot ion compensation)的幀間編碼已廣泛應(yīng)用在各種國(guó)際視訊編碼標(biāo)準(zhǔn)。應(yīng)用在各種編碼標(biāo)準(zhǔn)的 動(dòng)作估算常是以區(qū)塊(block)為基礎(chǔ)，使用的動(dòng)作信息(motion information)(如，編碼模 式(coding mode)以及動(dòng)作矢量(motion vector))對(duì)應(yīng)每一宏塊(macroblock)或類似區(qū)塊 結(jié)構(gòu)判斷得出。此外，幀內(nèi)編碼（Intra-coding)也是適應(yīng)性采用(adaptively applied)，其 中圖片的處理不參考其他圖片。幀間預(yù)測(cè)或幀內(nèi)預(yù)測(cè)殘值（Inter-predicted or Intra-predicted residues)通常進(jìn)一步進(jìn)行車專換（transformation)、量化（quantization)以及 熵編碼（entropy coding)，以產(chǎn)生壓縮的視訊位元流。在編碼過(guò)程中，編碼損傷（coding artifacts)發(fā)生，特別是在量化程序中。為了降低編碼損傷，較新的編碼系統(tǒng)需在重建的視 訊上進(jìn)行額外的處理，以提升圖片質(zhì)量。額外的處理常設(shè)計(jì)成環(huán)路內(nèi)操作（in-loop operation)，以使得編碼器和解碼器可導(dǎo)出同樣的參考圖片，提升系統(tǒng)效能。
[0003] 圖1A為結(jié)合環(huán)路內(nèi)處理的幀間/幀內(nèi)視訊編碼系統(tǒng)的一種實(shí)施方式。對(duì)于幀間預(yù) 測(cè)（Inter predict ion)而言，動(dòng)作估算(Mot ion Estimation，縮寫ME)/動(dòng)作補(bǔ)償(Mot ion Compensation，縮寫MC)112用于基于其他單一畫面或多個(gè)畫面提供預(yù)測(cè)資料。切換器114選 擇幀內(nèi)預(yù)測(cè)（Intra Prediction) 110或幀間預(yù)測(cè)資料，且選定的預(yù)測(cè)資料供應(yīng)至加法器116 形成預(yù)測(cè)誤差（prediction error)，又稱殘值（residues )。預(yù)測(cè)誤差再由轉(zhuǎn)換器 (Transformat ion，縮寫T) 118以及其后的量化器(Quant izat ion，縮寫Q) 120處理。轉(zhuǎn)換以及 量化后的殘值再由熵編碼器(Entropy Encoder)122編碼，以形成對(duì)應(yīng)壓縮的視訊資料的視 訊位元流。轉(zhuǎn)換參數(shù)（transform coefficients)相關(guān)的位元流再填入輔助信息（side information)(如，動(dòng)作(motion)、模式(mode)、或其他與影像區(qū)域先關(guān)的信息）。輔助信息 亦可用于熵編碼，以減少頻寬需求。因此，輔助信息相關(guān)的資料可如圖1A所示供應(yīng)給熵編碼 器122。使用幀間預(yù)測(cè)模式時(shí)，單一參考圖片或多個(gè)參考圖片也必須于編碼器端重建。因此， 轉(zhuǎn)換以及量化后的殘值交由反量化器（Inverse Quantization，縮寫IQ) 124以及反轉(zhuǎn)換器 (Inverse Transformation，縮寫IT) 126處理，使殘值復(fù)原(recover)。復(fù)原后的殘值再由重 建器(Reconstruetion，縮寫REC) 128加回預(yù)測(cè)資料136，以重建視訊資料（reconstruct video data)。重建的視訊資料可存入?yún)⒖紙D片緩沖器(Refernce Picture Biffer) 134、且 用于預(yù)測(cè)其他畫面。
[0004] 如圖1A所示，接收的視訊資料在編碼系統(tǒng)內(nèi)經(jīng)一連串的處理。來(lái)自重建器128的重 建視訊資料可能因一連串的處理有多種損壞（impairment)。因此，重建的視訊資料在存入 參考圖片緩沖器134之前，更被施以多種環(huán)路內(nèi)處理，提升視訊質(zhì)量。在高效視訊編碼(High Efficiency Video Coding，縮寫HEVC)標(biāo)準(zhǔn)的發(fā)展中，去塊濾波器(Deblocking Filter，縮 寫DF) 130、樣值偏移補(bǔ)償（Sample Adaptive Off set，縮寫SA0) 131、以及樣本濾波補(bǔ)償 (Adaptive Loop Filter，縮寫ALF)132已發(fā)展來(lái)提升圖片質(zhì)量。環(huán)路內(nèi)濾波器信息（;[11-loop filter information)可能需并入位元流中，使得譯碼器可適當(dāng)?shù)貜?fù)原所需信息。因 此，出自樣值偏移補(bǔ)償(SA0)以及樣本濾波補(bǔ)償(ALF)的環(huán)路內(nèi)濾波器信息將供應(yīng)給熵編碼 器122，結(jié)合至位元流。圖1A中，去塊濾波器130首先施用于重建視訊（reconstructed video)，樣值偏移補(bǔ)償(SA0)131再施用于去塊濾波(DF)處理后的視訊，樣本濾波補(bǔ)償(ALF) 132再施用于樣值偏移補(bǔ)償（SA0)處理后的視訊。然而，去塊濾波器（DF)、樣值偏移補(bǔ)償 (SA0)、以及樣本濾波補(bǔ)償(ALF)的順序可調(diào)。圖1A所示系統(tǒng)可對(duì)應(yīng)高效視訊編碼(HEVC)系 統(tǒng)(樣本濾波補(bǔ)償(ALF)除外）、或視訊編碼標(biāo)準(zhǔn)AVS2(此由中國(guó)團(tuán)隊(duì)發(fā)展的視訊與音訊編碼 標(biāo)準(zhǔn)）。高效視訊編碼(HEVC)發(fā)展中已評(píng)估過(guò)樣本濾波補(bǔ)償(ALF)，但樣本濾波補(bǔ)償(ALF)在 目前高效視訊編碼(HEVC)尚未被采用。
[0005]圖1B為系統(tǒng)方塊圖，其對(duì)應(yīng)包括去塊濾波器(DF)、樣值偏移補(bǔ)償(SA0)以及樣本濾 波補(bǔ)償(ALF)的視訊譯碼器。由于編碼器可包括用于視訊資料重建的本地譯碼器（local decoder)，因此部分譯碼器元件（除了熵譯碼器142)已經(jīng)使用在編碼器中。此外，譯碼器端 尚需求動(dòng)作補(bǔ)償144。切換器146選擇幀間預(yù)測(cè)或幀內(nèi)預(yù)測(cè)，且選定的預(yù)測(cè)資料用于重建器 (REC)128,以與復(fù)原的殘值結(jié)合。除了對(duì)壓縮視訊資料執(zhí)行熵譯碼，熵譯碼器142也負(fù)責(zé)輔 助信息的熵譯碼，為對(duì)應(yīng)區(qū)塊提供輔助信息。例如，幀內(nèi)模式信息供應(yīng)至幀內(nèi)預(yù)測(cè)110、幀間 模式信息供應(yīng)至動(dòng)作補(bǔ)償144、調(diào)適偏移信息供應(yīng)至樣值偏移補(bǔ)償(SA0)131、樣本濾波補(bǔ)償 信息供應(yīng)至樣本濾波補(bǔ)償(ALF)132、且殘值供應(yīng)至反量化器（IQ)124。殘值經(jīng)反量化（IQ) 124、反轉(zhuǎn)換（IT) 126以及接續(xù)的重建程序處理，重建出視訊資料。再一次地，重建器(REC) 128提供的重建視訊資料是經(jīng)過(guò)如圖1B所示的包括反量化（IQ) 124、反轉(zhuǎn)換（IT) 126的一連 串處理后，存在強(qiáng)度偏移（intensity shift)。重建視訊資料更由去塊(DF)130、樣值偏移補(bǔ) 償(SA0) 131、以及樣本濾波補(bǔ)償(ALF) 132處理。
[0006] 高效視訊編碼(HEVC)的編碼程序系根據(jù)最大編碼單元(Logic Coding Unit，縮寫 LCU，又稱編碼樹單元（Coding Tree Unit，縮寫CTU))施行。最大編碼單元采四分樹 (quadtree)適應(yīng)性地分割成（adaptively partitioned)多個(gè)編碼單元。高效視訊編碼 (HEVC)中，去塊濾波(DF)作用在8x8區(qū)塊范圍。對(duì)每個(gè)8x8區(qū)塊，跨垂直區(qū)塊邊界的水平濾波 首先施行，接著施行跨水平區(qū)塊邊界的垂直濾波。圖2A舉例說(shuō)明高效視訊編碼(HEVC)亮度 (luma)部分的去塊(DF)濾波處理。區(qū)塊邊界210兩側(cè)各需考慮4個(gè)邊界像素。邊界可對(duì)應(yīng)垂 直邊界或水平邊界。邊界像素標(biāo)號(hào)為q〇、ql、q2與q3以及p0、pl、p2與ρ34〇與p0兩個(gè)像素緊 鄰該邊界。亮度區(qū)塊邊界的處理過(guò)程中，各側(cè)的四個(gè)像素用于濾波參數(shù)推導(dǎo)，且各側(cè)多達(dá)3 個(gè)像素（即，P〇、pl、p2或q0、ql、q2)可經(jīng)濾波修正。關(guān)于跨垂直區(qū)塊邊界的水平濾波，未濾波 的重建像素用于濾波器參數(shù)推導(dǎo)，且也用作濾波的原始像素。關(guān)于跨水平區(qū)塊邊界的垂直 濾波，去塊濾波(DF)處理過(guò)的中繼像素（即，水平濾波后的像素)于濾波器參數(shù)推導(dǎo)，且也用 作濾波的原始像素。高效視訊編碼(HEVC)色度(chroma)部份的去塊濾波(DF)處理中，區(qū)塊 邊界各側(cè)使用到兩個(gè)邊界像素，且各側(cè)僅一像素(即，P〇或q〇)被修正。
[0007] 圖2B舉例說(shuō)明視訊編碼標(biāo)準(zhǔn)AVS2亮度內(nèi)容（luma component)的去塊濾波(DF)處 理，其中涉及區(qū)塊邊界220各側(cè)三個(gè)邊界像素。邊界像素標(biāo)號(hào)為q0、ql、q2以及p0、pl與p2,兩 個(gè)像素 q〇與P〇緊鄰該邊界。至于色度區(qū)塊邊界的去塊濾波(DF)處理，各側(cè)的兩個(gè)像素用于 濾波器參數(shù)推導(dǎo)。對(duì)應(yīng)視訊編碼標(biāo)準(zhǔn)AVS2,去塊濾波(DF)程序可修正涉及的所有邊界像素。 換句話說(shuō)，區(qū)塊邊界各側(cè)的三個(gè)亮度像素以及兩個(gè)色度像素可被調(diào)整。
[0008] 根據(jù)高效視訊編碼(HEVC)以及視訊編碼標(biāo)準(zhǔn)AVS2所作的樣值偏移補(bǔ)償(SA0)型式 圖解于第3圖，有四種樣值偏移補(bǔ)償(SA0)型式對(duì)應(yīng)0度、90度、135度以及45度四種指向。樣 值偏移補(bǔ)償(SA0)對(duì)每個(gè)像素作環(huán)路內(nèi)濾波(per-pixel in-loop filtering)。樣值偏移補(bǔ) 償(SA0)參數(shù)系對(duì)應(yīng)各最大編碼單元(LCU)或編碼樹單元(CTU)作更新。對(duì)應(yīng)取樣適應(yīng)偏移 (SA0)的指向型式，首先實(shí)施像素分類，將像素歸類為多組（groups，又稱為種類 (categories)或等級(jí)（classes))，如根據(jù)表格1的分類狀況。分類后，每個(gè)重建并去塊濾波 (DF)的像素基于選定的指向型式以及分類結(jié)果由一偏移數(shù)值補(bǔ)償。
[0009] 表格 1
[0010]
[0011] ~如表格1所示，樣值偏移補(bǔ)償(SA0)分類狀況的實(shí)施可將中央像素(C)與兩個(gè)相鄰, 像素分開比較。分類狀況檢查中央像素是否大于、小于或等于所對(duì)應(yīng)的相鄰像素。三階比較 結(jié)果可用兩位元(2-bit)數(shù)據(jù)表示。
[0012] 樣值偏移補(bǔ)償(SA0)參數(shù)(如，像素偏移數(shù)值(pixel offset)以及樣值偏移補(bǔ)償型 式（SA0 type))可對(duì)應(yīng)各編碼樹單元(CTU)適應(yīng)決定。對(duì)于高效視訊編碼(HEVC)而言，樣值 偏移補(bǔ)償（SA0)參數(shù)范圍與編碼樹單元(CTU)相同。參數(shù)邊界(parameter boundary)內(nèi)，所 有像素的樣值偏移補(bǔ)償(SA0)程序共享同樣的樣值偏移補(bǔ)償(SA0)型式以及偏移數(shù)值。因?yàn)?樣值偏移補(bǔ)償(SA0)應(yīng)用于去塊濾波(DF)后的像素，當(dāng)前編碼樹單元(CTU)的樣值偏移補(bǔ)償 程序(SA0 process)必須等到當(dāng)前編碼樹單元(CTU)的去塊濾波(DF)程序完成后。然而，編 碼樹單元(CTU)邊界周遭的像素不能作去塊濾波(DF)處理，直至編碼樹單元(CTU)邊界旁位 于該編碼樹單元(CTU)邊界另一側(cè)的重建視訊資料備妥。基于如此資料相依性，視訊編碼標(biāo) 準(zhǔn)AVS2使用偏移的樣值偏移補(bǔ)償(SA0)參數(shù)邊界。圖4根據(jù)視訊編碼標(biāo)準(zhǔn)AVS2舉例說(shuō)明樣值 偏移補(bǔ)償(SA0)參數(shù)邊界的偏移。樣值偏移補(bǔ)償(SA0)參數(shù)邊界的實(shí)施例410對(duì)應(yīng)高效視訊 編碼(HEVC)，對(duì)應(yīng)編碼樹單元(CTU)邊界。樣值偏移補(bǔ)償(SA0)參數(shù)邊界420對(duì)應(yīng)視訊編碼標(biāo) 準(zhǔn)AVS2，其中樣值偏移補(bǔ)償(SA0)參數(shù)邊界相對(duì)編碼樹單元(CTU)邊界向左位移xS、且向上 位移yS。進(jìn)一步而言，視訊編碼標(biāo)準(zhǔn)AVS2中，xS = 4且yS = 4。
[0013] 樣本濾波補(bǔ)償(ALF)132為視訊編碼工具，用于提升圖片質(zhì)量。樣本濾波補(bǔ)償(ALF) 已在高效視訊編碼(HEVC)發(fā)展階段做過(guò)評(píng)估。然而，樣本濾波補(bǔ)償(ALF)并未使用在目前高 效視訊編碼(HEVC)標(biāo)準(zhǔn)上，卻已被結(jié)合入視訊編碼標(biāo)準(zhǔn)AVS2。特別是如圖5所示，17抽頭 (17-tap)對(duì)稱樣本濾波補(bǔ)償(ALF)用于視訊編碼標(biāo)準(zhǔn)AVS2。17抽頭對(duì)稱樣本濾波補(bǔ)償(ALF) 意味當(dāng)前像素的濾波操作可能需要下方三行（lines)的資料。若該些行來(lái)自另一個(gè)編碼樹 單元(CTU)(特別是接續(xù)的編碼樹單元列（CTU row)的該編碼樹單元(CTU))，樣本濾波補(bǔ)償 (ALF)程序必須延遲，直至獲得后續(xù)的相關(guān)資料。以上特征意味著需配置行緩沖器（line buffer)，以瞬時(shí)儲(chǔ)存當(dāng)前編碼樹單元(CTU)的相關(guān)資料，供接續(xù)程序使用。為了應(yīng)付資料相 依議題，視訊編碼標(biāo)準(zhǔn)AVS2采用樣本濾波補(bǔ)償(ALF)虛擬邊界(virtual boundary)，以限制 樣本濾波補(bǔ)償(ALF)程序不跨越該虛擬邊界。圖6根據(jù)視訊編碼標(biāo)準(zhǔn)AVS2舉例說(shuō)明亮度內(nèi)容 的樣本濾波補(bǔ)償(ALF)虛擬邊界，其中是關(guān)于選定像素(如，像素 a、b、c與d)的樣本濾波補(bǔ)償 (ALF)程序。行（line)610為編碼樹單元（CTU)X與編碼樹單元（CTU)Y之間的編碼樹單元 (CTU)邊界。行620為亮度的樣本濾波補(bǔ)償(ALF)虛擬邊界（即yC-4)，根據(jù)視訊編碼標(biāo)準(zhǔn)AVS2 位于編碼樹單元(CTU)邊界（即yC)上方，距離四行（即位于yC-4)。關(guān)于色度內(nèi)容，根據(jù)視訊 編碼標(biāo)準(zhǔn)AVS2(參閱：Information Technology-Advanced Media Coding Part2: Video Final Committee Draft,Audio and Video Coding Standard Workgroup of China, Feb. 7，2015，Document: N2120. D3)，樣本濾波補(bǔ)償(ALF)虛擬邊界位于編碼樹單元(CTU)邊 界上方，距離3行（即位于yC-3)。像素 a、b與c的樣本濾波補(bǔ)償(ALF)程序在編碼樹單元(CTU) X處理階施行。此外，像素 a、b與c的樣本濾波補(bǔ)償(ALF)程序僅使用虛擬邊界上方的信息。至 于虛擬邊界下方的像素 d，其樣本濾波補(bǔ)償(ALF)程序是在編碼樹單元(CTU)Y處理階實(shí)施， 且僅使用虛擬邊界下方的信息。虛擬邊界的使用將抑制資料相依性，降低行緩沖的容量需 求。
[0014] 如上述內(nèi)容，去塊濾波器(DF)、樣值偏移補(bǔ)償(SA0)以及樣本濾波補(bǔ)償(ALF)程序 涉及鄰資料。在高效視訊編碼(HEVC)以及視訊編碼標(biāo)準(zhǔn)(AVS2)，編碼樹單元(CTU)已用作編 碼程序單元。去塊濾波器(DF)、樣值偏移補(bǔ)償(SA0)以及樣本濾波補(bǔ)償(ALF)程序跨編碼樹 單元(CTU)邊界施行時(shí)，資料相依性必須被謹(jǐn)慎管理，最小化行緩沖器。因?yàn)槿K濾波器 (DF)、樣值偏移補(bǔ)償(SA0)以及樣本濾波補(bǔ)償(ALF)程序相繼施行在各跨編碼樹單元(CTU)， 對(duì)應(yīng)的硬件實(shí)踐必須設(shè)計(jì)為管線化(pipeline)型式。圖7對(duì)應(yīng)視訊編碼標(biāo)準(zhǔn)AVS2譯碼器，舉 例說(shuō)明去塊濾波器(DF)、樣值偏移補(bǔ)償(SA0)以及樣本濾波補(bǔ)償(ALF)程序的資料相依性。 采用編碼樹單元（CTU)的程序順序700圖解于圖7,且編碼樹單元（CTU)X以及編碼樹單元 (CTU)Y之間的編碼樹單元(CTU)邊界標(biāo)號(hào)705。如第7圖所示，來(lái)自重建方塊710的重建視訊 由去塊濾波器(DF)720、樣值偏移補(bǔ)償(SA0)730以及樣本濾波補(bǔ)償(ALF)740處理。樣本濾波 補(bǔ)償(ALF)740的輸出儲(chǔ)存于譯碼畫面緩沖器。
[0015] 去塊濾波器(DF)720、樣值偏移補(bǔ)償（SA0)730以及樣本濾波補(bǔ)償(ALF)740程序?qū)?應(yīng)的處理狀態(tài)分別標(biāo)號(hào)725、735以及745。圖形725顯示編碼樹單元（CTU)X的去塊濾波器 (DF)處理階結(jié)束時(shí)的去塊濾波(DF)處理狀態(tài)。行722上方的亮度像素以及行724上方的色度 像素已完成去塊濾波(DF)。行722下方的亮度像素以及行724下方的色度像素?zé)o法在編碼樹 單元(CTU)X的去塊濾波器(DF)處理階中被處理，因?yàn)閰^(qū)塊邊界另一側(cè)的像素（即編碼樹單 元(CTU)邊界以下）尚不可得。圖形735顯示編碼樹單元(CTU)X的樣值偏移補(bǔ)償(SA0)處理階 結(jié)束時(shí)的樣值偏移補(bǔ)償（SA0)處理狀態(tài)。行732上方的亮度像素以及行734上方的色度像素 已完成樣值偏移補(bǔ)償（SA0)，其中行732與行734對(duì)齊。圖形745顯示編碼樹單元(CTU)X的樣 本濾波補(bǔ)償(ALF)處理階結(jié)束時(shí)的樣本濾波補(bǔ)償(ALF)處理狀態(tài)。類似地，行732下方的亮度 像素以及行734下方的色度像素尚無(wú)法作編碼樹單元(CTU)X的樣值偏移補(bǔ)償(SAO)，因?yàn)槠?中涉及編碼樹單元（CTU)Y標(biāo)志的樣值偏移補(bǔ)償（SA0)參數(shù)，其尚未由可變長(zhǎng)度譯碼 (variable length decode，VLD)處理。行742(亮度的樣本濾波補(bǔ)償(ALF)虛擬邊界)上方的 亮度像素經(jīng)樣本濾波補(bǔ)償(ALF)處理。行744(色度的樣本濾波補(bǔ)償(ALF)虛擬邊界)上方的 色度像素基于視訊編碼標(biāo)準(zhǔn)AVS2草案可經(jīng)樣本濾波補(bǔ)償(ALF)處理。然而，色度內(nèi)容的樣本 濾波補(bǔ)償(ALF)不能在編碼樹單元(CTU)X處理階中對(duì)色度行A至D執(zhí)行。例如，像素746的樣 本濾波補(bǔ)償(ALF)程序?qū)⑹褂孟袼?48。因?yàn)橄袼?48位在樣值偏移補(bǔ)償(SA0)邊界734下方， 色度像素748在編碼樹單元(CTU)X處理階尚未作樣值偏移補(bǔ)償(SA0)處理。因此，雖然位于 色度的樣本濾波補(bǔ)償(ALF)虛擬邊界上方，色度像素746仍無(wú)法作樣本濾波補(bǔ)償(ALF)處理。 因此，像素748上方（即行D上方)已作過(guò)樣值偏移補(bǔ)償(SA0)處理的六行必須儲(chǔ)存至緩沖器， 稍后在編碼樹單元(CTU)Y處理階作行A至D的樣本濾波補(bǔ)償(ALF)程序時(shí)使用，其中，行A上 方三行已經(jīng)在編碼樹單元(CTU)X處理階作過(guò)樣本濾波補(bǔ)償(ALF)，但也需要使用在行A的樣 本濾波補(bǔ)償(ALF)程序。
[0016] 硬件實(shí)踐上，圖片寬度的六行色度取樣必須儲(chǔ)存于行緩沖器，一般使用嵌入式存 儲(chǔ)器實(shí)現(xiàn)，且如此應(yīng)用可能需要高芯片成本。因此，期望發(fā)展一種方法與裝置，用于降低環(huán) 路濾波程序(如去塊濾波器(DF)、樣值偏移補(bǔ)償(SA0)、樣本濾波補(bǔ)償(ALF)程序、其他環(huán)路 濾波程序或其組合)需要的行緩沖器數(shù)量。此外，針對(duì)不同的樣值偏移補(bǔ)償(SA0)參數(shù)邊界， 系統(tǒng)將在不同的樣值偏移補(bǔ)償(SA0)參數(shù)間切換。如此一來(lái)會(huì)增加系統(tǒng)復(fù)雜度以及耗電量。 因此，期望發(fā)展出具有適當(dāng)系統(tǒng)參數(shù)設(shè)計(jì)的環(huán)路濾波程序(去塊濾波器(DF)、樣值偏移補(bǔ)償 (SA0)、樣本濾波補(bǔ)償(ALF)程序其他環(huán)路濾波程序或其組合），降低行緩沖需求、系統(tǒng)復(fù)雜 度以及系統(tǒng)耗電量或獲得以上任何改良的結(jié)合好處。在另一觀點(diǎn)中，本領(lǐng)域期望發(fā)展出一 種方法與裝置，以高效以及節(jié)省成本的方式作包括去塊濾波器(DF)、樣值偏移補(bǔ)償(SA0)、 樣本濾波補(bǔ)償(ALF)、其他環(huán)路濾波程序或其組合的環(huán)路濾波處理，供結(jié)合如此環(huán)路濾波處 理的視訊編碼系統(tǒng)應(yīng)用。

【發(fā)明內(nèi)容】

[0017] 供視訊編碼系統(tǒng)進(jìn)行重建視訊資料的環(huán)路濾波器處理的方法以及裝置。視訊編碼 系統(tǒng)接收影像單元對(duì)應(yīng)的重建視訊資料、并逐一影像單元地對(duì)重建視訊資料作環(huán)路濾波處 理。環(huán)狀濾波器處理施行在當(dāng)前影像單元一去塊邊界上方的重建像素。去塊濾波器(DF)程 序施行在重建像素上。去塊濾波(DF)處理在兩個(gè)影像單元之間的一影像單元邊界對(duì)應(yīng)的一 水平邊線的各側(cè)修正多達(dá)Μ個(gè)亮度像素以及N個(gè)色度像素。根據(jù)樣值偏移補(bǔ)償(SA0)參數(shù)，對(duì) 去塊濾波(DF)處理過(guò)的亮度像素以及去塊濾波(DF)處理過(guò)的色度像素進(jìn)行樣值偏移補(bǔ)償 (SA0)處理。樣值偏移補(bǔ)償(SA0)參數(shù)邊界內(nèi)的全數(shù)或部分像素共享同樣的樣值偏移補(bǔ)償參 數(shù)(SA0)。當(dāng)前影像單元的亮度樣值偏移補(bǔ)償(SA0)參數(shù)邊界由當(dāng)前影像單元的底邊向上位 移yS行，且當(dāng)前影像單元的色度樣值偏移補(bǔ)償（SA0)參數(shù)邊界由當(dāng)前影像單元的底邊向上 位移ySC行。根據(jù)一或多個(gè)亮度空間環(huán)路濾波器參數(shù)，對(duì)一亮度空間環(huán)路濾波器限縮邊界上 方已經(jīng)樣值偏移補(bǔ)償處理(SA0)過(guò)的亮度像素作空間環(huán)路濾波器處理。亮度空間環(huán)路濾波 器限縮邊界自當(dāng)前影像單元的底邊向上位移yV行。根據(jù)一或多個(gè)色度空間環(huán)路濾波器參數(shù) 對(duì)一色度空間環(huán)路濾波器限縮邊界上方已經(jīng)樣值偏移補(bǔ)償(SA0)處理過(guò)的色度像素作空間 環(huán)路濾波器處理。該色度空間環(huán)路濾波器限縮邊界自當(dāng)前影像單元的底邊向上位移yVC行。 為了降低樣值偏移補(bǔ)償(SAO)參數(shù)切換的計(jì)算復(fù)雜度、并減少行緩沖器需求，yS、ySC、yV以 及yVC系根據(jù)Μ與N設(shè)定，yS與yV大于M，ySC與yVC大于N，yS等于yV，且ySC等于yVC。
[0018]各影像單元可對(duì)應(yīng)一編碼樹單元(CTU)?？臻g環(huán)路濾波器程序可對(duì)應(yīng)樣本濾波補(bǔ) 償(ALF)程序。
[0019]在一種實(shí)施方式中，yS與yV等于(M+1)且ySC與yVC等于(N+1)。在另一種實(shí)施方式 中，yS、yV、ySC以及yVC等于(1^^(1少)+1)。在更另一種實(shí)施方式中，75以及7￥等于(1+111)且 ySC以及yVC等于(N+n)，且m以及η為大于1的整數(shù)。在更另一種實(shí)施方式中，yS、yV、ySC以及 yVC等于(Max(M，N)+m)且m為大于1的整數(shù)。例如，以下以M = 3以及N = 2為例。一種實(shí)施方式 中，yS以及yV等于4且ySC以及yVC等于3。另一種實(shí)施方式中，yS、yV、ySC以及yVC等于4。更另 一種實(shí)施方式中，yS以及yV等于(3+m)且ySC以及yVC等于(2+n)，且m以及η為大于1的整數(shù)。 更另一種實(shí)施方式中，yS、yV、ySC以及yVC等于(3+m)，且m為大于1的整數(shù)。
【附圖說(shuō)明】
[0020]圖1A舉例說(shuō)明一幀間/幀內(nèi)視訊編碼系統(tǒng)，其中結(jié)合環(huán)路濾波器，所述環(huán)路濾波器 包括去塊濾波器(DF)、樣值偏移補(bǔ)償(SA0)以及樣本濾波補(bǔ)償(ALF)用以處理重建的視訊資 料；
[0021 ]圖1B為系統(tǒng)方塊圖，圖解包括去塊濾波器(DF)、樣值偏移補(bǔ)償(SA0)以及樣本濾波 補(bǔ)償(ALF)的視訊譯碼器；
[0022]圖2A圖解根據(jù)高效視訊編碼(HEVC)對(duì)亮度內(nèi)容作去塊濾波器(DF)處理所涉及的 一區(qū)塊邊界兩側(cè)的像素；
[0023]圖2B圖解根據(jù)視訊編碼標(biāo)準(zhǔn)AVS2對(duì)亮度內(nèi)容作去塊濾波器(DF)處理所涉及的一 區(qū)塊邊界兩側(cè)的像素；
[0024]圖3圖解基于3x3視窗所作的像素分類，有四種指向形式，對(duì)應(yīng)0度、90度、135度以 及45度；
[0025]圖4根據(jù)視訊編碼標(biāo)準(zhǔn)AVS2舉例說(shuō)明樣值偏移補(bǔ)償(SA0)邊界位移；
[0026]圖5圖解用于視訊編碼標(biāo)準(zhǔn)AVS2的17抽頭（17-tap)對(duì)稱樣本濾波補(bǔ)償(ALF);
[0027] 圖6根據(jù)視訊編碼標(biāo)準(zhǔn)AVS2圖解亮度內(nèi)容的樣本濾波補(bǔ)償(ALF)虛擬邊界；
[0028] 圖7根據(jù)視訊編碼標(biāo)準(zhǔn)AVS2舉例說(shuō)明去塊濾波器(DF)、樣值偏移補(bǔ)償(SA0)以及樣 本濾波補(bǔ)償(ALF)的資料相依性；
[0029]圖8舉例說(shuō)明去塊濾波器(DF)、樣值偏移補(bǔ)償(SA0)以及樣本濾波補(bǔ)償(ALF)程序 的處理狀態(tài)，其中標(biāo)示環(huán)路濾波器相關(guān)的邊界參數(shù)；
[0030] 圖9根據(jù)本案第一種實(shí)施方式舉例說(shuō)明一當(dāng)前編碼樹單元(CTU)處理階結(jié)束時(shí)去 塊濾波器(DF)、樣值偏移補(bǔ)償(SA0)以及樣本濾波補(bǔ)償(ALF)程序的處理狀態(tài)；
[0031] 圖10根據(jù)本案第二種實(shí)施方式舉例說(shuō)明一當(dāng)前編碼樹單元(CTU)處理階結(jié)束時(shí)去 塊濾波器(DF)、樣值偏移補(bǔ)償(SA0)以及樣本濾波補(bǔ)償(ALF)程序的處理狀態(tài)；
[0032]圖11根據(jù)本案第三種實(shí)施方式舉例說(shuō)明一當(dāng)前編碼樹單元(CTU)處理階結(jié)束時(shí)去 塊濾波器(DF)、樣值偏移補(bǔ)償(SA0)以及樣本濾波補(bǔ)償(ALF)程序的處理狀態(tài)；
[0033]圖12根據(jù)本案第四種實(shí)施方式舉例說(shuō)明一當(dāng)前編碼樹單元(CTU)處理階結(jié)束時(shí)去 塊濾波器(DF)、樣值偏移補(bǔ)償(SAO)以及樣本濾波補(bǔ)償(ALF)程序的處理狀態(tài)；以及
[0034] 圖13結(jié)合本案一種實(shí)施例舉例說(shuō)明一視訊編碼系統(tǒng)的流程圖，所述視訊系統(tǒng)系對(duì) 齊環(huán)路濾波器相關(guān)邊界，以降低行緩沖器需求。
[0035] 圖中，
[0036] 110~幀內(nèi)預(yù)測(cè)；112~動(dòng)作估算/動(dòng)作補(bǔ)償；
[0037] 114~切換器；116~加法器；
[0038] 118~轉(zhuǎn)換；120~量化；
[0039] 122~熵編碼；124~反量化；
[0040] 126~反轉(zhuǎn)換；128~重建器；
[00411 130~去塊濾波(DF) ;131~樣值偏移補(bǔ)償(SA0);
[0042] 132~樣本濾波補(bǔ)償(ALF); 134~參考圖片緩沖器；
[0043] 136~預(yù)測(cè)資料；142~熵譯碼；
[0044] 144~動(dòng)作補(bǔ)償;210、220~區(qū)塊邊界；
[0045] 4ΠΚ420~樣值偏移補(bǔ)償(SA0)參數(shù)邊界；
[0046] 610~編碼樹單元(CTU)邊界；
[0047] 620~亮度樣本濾波補(bǔ)償(ALF)虛擬邊界；
[0048] 700~采用編碼樹單元(CTU)的程序順序；
[0049] 705~編碼樹單元(CTU)邊界;710~重建；
[0050] 720~去塊濾波(DF);722、724~邊界；
[00511 725~去塊濾波(DF)后處理狀態(tài)；
[0052] 730~樣值偏移補(bǔ)償(SA0) ;732、734~邊界；
[0053] 735~樣值偏移補(bǔ)償(SA0)后處理狀態(tài)；
[0054] 740~樣本濾波補(bǔ)償(ALF); 742、744~邊界；
[0055] 745~樣本濾波補(bǔ)償(ALF)后處理狀態(tài)；
[0056] 746、748 ~像素；
[0057] 805~編碼樹單元(CTU)邊界；822、824~邊界；
[0058] 825~去塊濾波(DF)后處理狀態(tài)；832、834~邊界；
[0059] 835~樣值偏移補(bǔ)償(SA0)后處理狀態(tài)；
[0060] 842、844~邊界；
[00611 845~樣本濾波補(bǔ)償(ALF)后處理狀態(tài)；
[0062] 925~去塊濾波(DF)后處理狀態(tài)；934~邊界；
[0063] 935~樣值偏移補(bǔ)償(SA0)后處理狀態(tài)；
[0064] 945~樣本濾波補(bǔ)償(ALF)后處理狀態(tài)；
[0065] 1025~去塊濾波(DF)后處理狀態(tài)；
[0066] 1035~樣值偏移補(bǔ)償(SA0)后處理狀態(tài)；
[0067] 1044~邊界；1045~樣本濾波補(bǔ)償(ALF)后處理狀態(tài)；
[0068] 1125~去塊濾波(DF)后處理狀態(tài)；
[0069] 1132、1134~邊界；1135~樣值偏移補(bǔ)償(SA0)后處理狀態(tài)；
[0070] 1142、1144~邊界；1145~樣本濾波補(bǔ)償(ALF)后處理狀態(tài)；
[0071] 1225~去塊濾波(DF)后處理狀態(tài)；
[0072] 1232、1234~邊界；1235~樣值偏移補(bǔ)償(SA0)后處理狀態(tài)；
[0073] 1242、1244~邊界；1245~樣本濾波補(bǔ)償(ALF)后處理狀態(tài)；
[0074] 1310 …1360 ~步驟；
[0075] a、b、c、d~像素；
[0076] A."G~txA."G;M、N ~像素量；
[0077] 卩0...卩3、9〇..43~像素；以及
[0078] 5^、5^〇、5^、5^(]~~位移量。
【具體實(shí)施方式】
[0079] 以下敘述列舉本發(fā)明的較佳實(shí)施方式。以下敘述目的是介紹本發(fā)明的基本概念， 并非意圖限制本
【發(fā)明內(nèi)容】
。實(shí)際發(fā)明范圍應(yīng)依照申請(qǐng)專利范圍來(lái)界定。
[0080] 為了方便討論不同環(huán)路處理階之間的資料相依性，本揭露書介紹邊界參數(shù)相關(guān)的 環(huán)路濾波器。圖8再現(xiàn)圖7的去塊濾波器(Deblocking Filter，DF)、樣值偏移補(bǔ)償(Sample Adaptive 0ffset，SA0)以及樣本濾波補(bǔ)償(Adaptive Loop Filter，ALF)程序相關(guān)處理狀 態(tài)，其中環(huán)路濾波器相關(guān)的邊界參數(shù)標(biāo)示其中。去塊濾波器(DF)、樣值偏移補(bǔ)償(SA0)以及 樣本濾波補(bǔ)償(ALF)的處理狀態(tài)分別標(biāo)號(hào)825、835以及845。圖形825顯示編碼樹單元(CTU)X 于去塊濾波器(DF)處理階末端的去塊濾波(DF)處理狀況。行822(即亮度去塊濾波器邊界） 上方的亮度像素以及行824(即色度去塊濾波器邊界)上方的色度像素經(jīng)去塊濾波器(DF)處 理。區(qū)塊邊界各側(cè)可在去塊濾波器(DF)程序中更新的亮度像素最大數(shù)量為M，區(qū)塊邊界各側(cè) 可在去塊濾波器(DF)程序中更新的色度像素最大數(shù)量為N。圖8中，編碼樹單元(CTU)界線 805也是區(qū)塊邊界。圖形835顯示編碼樹單元(CTU)X于樣值偏移補(bǔ)償（SA0)處理階末端的樣 值偏移補(bǔ)償（SA0)處理狀況。行832(即亮度的樣值偏移補(bǔ)償（SA0)邊界)上方的亮度像素以 及行834(即色度的樣值偏移補(bǔ)償（SA0)邊界)上方的色度像素經(jīng)樣值偏移補(bǔ)償（SA0)處理。 基于視訊編碼標(biāo)準(zhǔn)AVS2提出的樣值偏移補(bǔ)償(SA0)參數(shù)邊界位移技術(shù)，行832與行834對(duì)齊。 為了避免在各編碼樹單元(CTU)的處理階中發(fā)生樣值偏移補(bǔ)償(SA0)參數(shù)切換，樣值偏移補(bǔ) 償(SA0)參數(shù)邊界在亮度部分位移(xS，yS)，且在色度部分位移(xSC，ySC)。換句話說(shuō)，對(duì)應(yīng) 左上方點(diǎn)為(xC，yC)的編碼樹單元(CTU)，樣值偏移補(bǔ)償（SA0)參數(shù)的上方邊界為亮度內(nèi)容 位移至（yC-yS)、并為色度內(nèi)容位移至（yC-ySC)，詳細(xì)參閱第8圖。類似地，樣值偏移補(bǔ)償 (SA0)參數(shù)邊界位移也實(shí)施在X方向。圖形845顯示編碼樹單元(CTU)X于樣本濾波補(bǔ)償(ALF) 處理階末端的樣本濾波補(bǔ)償(ALF)處理狀況。行842(即亮度的樣本濾波補(bǔ)償(ALF)虛擬邊 界)上方的亮度像素經(jīng)樣本濾波補(bǔ)償(ALF)處理。行844(即色度的樣本濾波補(bǔ)償(ALF)虛擬 邊界）上方的色度像素可經(jīng)樣本濾波補(bǔ)償(ALF)處理。然而，色度行D無(wú)法在編碼樹單元 (CTU)X處理階實(shí)施色度部分的樣本濾波補(bǔ)償(ALF)處理。對(duì)應(yīng)亮度部分的樣本濾波補(bǔ)償 (ALF)虛擬邊界為(yC-yV)、對(duì)應(yīng)色度部分的樣本濾波補(bǔ)償(ALF)虛擬邊界為（yC-yVC)，其 中，yV與yVC分別對(duì)應(yīng)亮度及色度內(nèi)容的邊界垂直位移。對(duì)視訊編碼標(biāo)準(zhǔn)AVS2草案而言，亮 度以及色度內(nèi)容的邊界像素?cái)?shù)量（即Μ與N)分別更新為3與2。亮度以及色度部分的樣值偏移 補(bǔ)償(SA0)參數(shù)邊界垂直位移皆設(shè)為4。另一方面，亮度以及色度內(nèi)容的樣本濾波補(bǔ)償(ALF) 虛擬邊界的垂直位移(即yV與yVC)分別設(shè)為4與3。
[0081] 以下敘述第一實(shí)施例。為了同時(shí)調(diào)降行緩沖器的尺寸需求、并調(diào)降一編碼樹單元 的處理階中樣值偏移補(bǔ)償(SA0)參數(shù)切換的運(yùn)算復(fù)雜度，環(huán)路濾波器相關(guān)邊界需要作以下 式(1)與(2)全面考量：
[0082] xs = yS = yV=M+l，且（1)
[0083] xSC = ySC = yVC = N+l〇 (2)
[0084] 換句話說(shuō)，關(guān)于樣值偏移補(bǔ)償(SA0)以及樣本濾波補(bǔ)償(ALF)程序，對(duì)應(yīng)亮度內(nèi)容 的邊界垂直位移是(M+1)、且對(duì)應(yīng)色度內(nèi)容的邊界垂直位移是(N+1)。編碼樹單元X處理階末 端的去塊濾波器(DF)、樣值偏移補(bǔ)償(SA0)以及樣本濾波補(bǔ)償(ALF)程序的處理狀態(tài)分別在 圖9標(biāo)號(hào)為925、935以及945。環(huán)路處理邊界大致與圖8相同，除了色度內(nèi)容的樣值偏移補(bǔ)償 (SA0)參數(shù)邊界934在圖8色度內(nèi)容的樣值偏移補(bǔ)償(SA0)參數(shù)邊界834下方一行。與圖8相同 的環(huán)路濾波器相關(guān)邊界采同樣標(biāo)號(hào)。如圖9所示，相對(duì)于第8圖色度部分的樣值偏移補(bǔ)償 (SA0)參數(shù)邊界834,色度部分的樣值偏移補(bǔ)償(SA0)參數(shù)邊界934向下位移一行。因此，色度 行A至D的色度樣本濾波補(bǔ)償(ALF)處理可被執(zhí)行，色度行D為根據(jù)圖9設(shè)計(jì)作樣值偏移補(bǔ)償 (SA0)處理。由于色度行D的該行的樣值偏移補(bǔ)償(SA0)處理資料不可得問(wèn)題解決，因此不再 需要原本配置來(lái)儲(chǔ)存樣值偏移補(bǔ)償（SA0)處理后資料的六行空間。此外，編碼樹單元(CTU) 之中的樣值偏移補(bǔ)償(SA0)參數(shù)切換頻率也被降低。
[0085]在以上討論中，一影像劃分為多個(gè)編碼樹單元，且各編碼樹單元?jiǎng)澐譃橐换蚨鄠€(gè) 編碼單元(CUs)。去塊濾波器(DF)、樣值偏移補(bǔ)償(SA0)以及樣本濾波補(bǔ)償(ALF)程序施行在 區(qū)塊邊界內(nèi)，降低區(qū)塊邊界上、或附近的偽像(artifacts)。對(duì)其中編碼樹單元(CTUs)以水 平掃描順序作處理編碼系統(tǒng)而言，編碼樹單元（CTU，又稱區(qū)塊范圍）為界的去塊濾波器 (DF)、樣值偏移補(bǔ)償(SA0)以及樣本濾波補(bǔ)償(ALF)程序?qū)⑿枰芯彌_器儲(chǔ)存跨編碼樹單元 列(CTU row)邊界的信息。然而，影像也可被劃分作其他影像單元，如宏塊(macroblock)或 磁磚狀(tile)，以作編碼程序。影像單元邊界（image unit boundary)同樣面臨編碼樹單元 (CTU)邊界面臨的行緩沖器議題。
[0086] 如上述的樣本濾波補(bǔ)償(ALF)使用例子，本發(fā)明可應(yīng)用在任何空間環(huán)路濾波器 (spatial loop filter)。例如，具有一組空間環(huán)路濾波器參數(shù)的二維有限沖激響應(yīng) (finite impulse response，縮寫FIR)濾波器可用于取代樣本濾波補(bǔ)償(ALF)。為了降低空 間環(huán)路濾波處理的行緩沖器需求，限縮的空間環(huán)路濾波邊界可用于限制空間環(huán)路濾波處理 僅使用一影像單元處理階的限縮空間環(huán)路濾波邊界中經(jīng)樣值偏移補(bǔ)償（SA0)處理過(guò)的資 料。例如，限縮的空間環(huán)路濾波器邊界可位于編碼樹單元(CTU)邊界上方，距離y行?？臻g環(huán) 路濾波器將應(yīng)用于限縮的空間環(huán)路濾波器邊界上方經(jīng)樣值偏移補(bǔ)償（SA0)處理過(guò)的像素， 且將僅會(huì)使用限縮的空間環(huán)路濾波器邊界上方經(jīng)樣值偏移補(bǔ)償(SA0)處理過(guò)的像素作為空 間環(huán)路濾波器的輸入。
[0087] 以下敘述第二種實(shí)施方式。常見(jiàn)的視訊編碼系統(tǒng)中，環(huán)路濾波器獲得的結(jié)果可輸 出至外部存儲(chǔ)器，作為參考畫面或顯示畫面。為了利于一般存儲(chǔ)器存取行為，更提升存儲(chǔ)器 存取效能，傾向采以下式(3)設(shè)定環(huán)路濾波器：
[0088] xS = yS = yV = xSC = ySC = VC=MAX(M,N)+l (3)
[0089] 換句話說(shuō)，無(wú)論亮度或色度內(nèi)容，樣值偏移補(bǔ)償(SA0)以及樣本濾波補(bǔ)償(ALF)程 序的邊界垂直位移均設(shè)定為(MAX(M，N) + 1)。其中，MAX(M，N)指的是M、N中數(shù)值較大者。去塊 濾波器(DF)、樣值偏移補(bǔ)償(SAO)以及樣本濾波補(bǔ)償(ALF)程序的處理狀態(tài)分別在圖10標(biāo)號(hào) 1025、1035以及1045。環(huán)路濾波器相關(guān)邊界與圖8所示內(nèi)容大致相同，除了色度內(nèi)容的樣本 濾波補(bǔ)償(ALF)虛擬邊界1044位于圖8色度內(nèi)容的色度樣本濾波補(bǔ)償(ALF)虛擬邊界844上 方一行。與圖8所示相同的環(huán)路濾波器相關(guān)邊界也采同樣編號(hào)。如圖10所示，亮度以及色度 內(nèi)容的樣值偏移補(bǔ)償(SA0)參數(shù)邊界以及樣本濾波補(bǔ)償(ALF)虛擬邊界彼此對(duì)齊。因此，為 了應(yīng)付色度行D不可得的樣值偏移補(bǔ)償(SA0)處理資料而配置來(lái)儲(chǔ)存樣值偏移補(bǔ)償(SA0)處 理資料的六行空間沒(méi)有存在的必要，且編碼樹單元(CTU)內(nèi)的樣值偏移補(bǔ)償(SA0)切換次數(shù) 也將減少。此外，對(duì)齊的亮度與色度邊界可導(dǎo)向規(guī)律的存儲(chǔ)器存取，提升存儲(chǔ)器存取效能。
[0090] 以下描述第三種實(shí)施例，用作進(jìn)階樣值偏移補(bǔ)償(SA0)程序，為一處理像素的各側(cè) 采用越來(lái)越多鄰行，回路濾波器相關(guān)邊界如以下式(4)、（5)設(shè)定：
[0091] xs = yS = yV=M+m，其中m>l，且（4)
[0092] xSC = ySC = yVC = N+n，其中 η>1。 （5)
[0093] 第三種實(shí)施例為第一種實(shí)施例變形。替代xS = yS = yV=M+l，環(huán)路處理邊界位移對(duì) 應(yīng)亮度內(nèi)容擴(kuò)大為13 = 5^ = }^=]\1+111，111>1。替代130 = 5^0 = 5^ =糾1，環(huán)路處理邊界位移對(duì) 應(yīng)色度內(nèi)容擴(kuò)大為130 = 5^0 = 5^0 =糾]1，其中11>1。第一種實(shí)施例中，1]1=1、且11 = 1，在處理 像素的各側(cè)僅采用一個(gè)鄰像素作樣值偏移補(bǔ)償(SA0)處理。圖11所示實(shí)施例對(duì)應(yīng)m = 2以及η =2。去塊濾波器(DF)、樣值偏移補(bǔ)償(SA0)以及樣本濾波補(bǔ)償(ALF)程序的處理狀態(tài)分別標(biāo) 號(hào)1125、1135以及1145。亮度方面，樣值偏移補(bǔ)償（SA0)參數(shù)邊界1132對(duì)齊樣本濾波補(bǔ)償 (ALF)虛擬邊界1142。色度方面，樣值偏移補(bǔ)償(SA0)參數(shù)邊界1134對(duì)齊樣本濾波補(bǔ)償(ALF) 虛擬邊界1144。因此，為了應(yīng)付不可得的樣值偏移補(bǔ)償(SA0)處理后資料而配置來(lái)儲(chǔ)存樣值 偏移補(bǔ)償(SA0)處理后資料的六行空間沒(méi)有存在的必要。此外，編碼樹單元(CTU)內(nèi)的樣值 偏移補(bǔ)償(SA0)切換也將抑制。
[0094] 以下描述第四種實(shí)施例。為了更提升第三種實(shí)施例的存儲(chǔ)器存取效能，回路濾波 器相關(guān)邊界設(shè)定如以下式(6):
[0095] xS = yS = yV = xSC = ySC = yVC=MAX(M,N)+m,m>l (6)
[0096] 第四種實(shí)施例為第二實(shí)施例變形。取代xS = yS = yV = xSC = ySC = yVC=MAX(M，N) + 1，亮度與色度內(nèi)容的環(huán)路濾波器相關(guān)邊界位移擴(kuò)大到xS = yS = yV = xSC = ySC = yVC = MAX (M，N)+m，其中m>l。第二實(shí)施例是m=l。圖12圖例為m = 2。去塊濾波器(DF)、樣值偏移補(bǔ)償 (SA0)以及樣本濾波補(bǔ)償(ALF)程序的處理狀態(tài)分別標(biāo)號(hào)1225、1235以及1245。亮度與色度 內(nèi)容的樣值偏移補(bǔ)償（SA0)參數(shù)邊界1232以及1234以及樣本濾波補(bǔ)償(ALF)虛擬邊界1242 以及1244全數(shù)對(duì)齊。因此，為了應(yīng)付不可得的樣值偏移補(bǔ)償(SA0)處理后資料而配置來(lái)儲(chǔ)存 樣值偏移補(bǔ)償（SA0)處理后資料的六行空間沒(méi)有存在的必要。此外，編碼樹單元(CTU)內(nèi)的 樣值偏移補(bǔ)償(SA0)切換也將抑制。此外，外接式存儲(chǔ)器存取效能可提升。
[0097]表格2比較視訊編碼標(biāo)準(zhǔn)AVS2以及本發(fā)明實(shí)施例的行緩沖器需求。如前述內(nèi)容，以 上所有實(shí)施方式對(duì)亮度與色度內(nèi)容各需要三行儲(chǔ)存資料，緊鄰去塊濾波器(DF)的編碼樹單 元(CTU)邊界上方。對(duì)應(yīng)樣值偏移補(bǔ)償(SA0)處理，所有系統(tǒng)需要儲(chǔ)存去區(qū)塊濾波(DF)結(jié)果 的兩亮度行以及兩色度行，作下一個(gè)編碼樹單元列(CTU row)的處理階的第一行樣值偏移 補(bǔ)償（SA0)處理。根據(jù)傳統(tǒng)的視訊音訊編碼標(biāo)準(zhǔn)AVS2,樣值偏移補(bǔ)償（SA0)處理后的六行結(jié) 果應(yīng)該加以儲(chǔ)存，用作色度內(nèi)容的樣本濾波補(bǔ)償(ALF)處理。包含任何本案實(shí)施例的系統(tǒng)可 不再需要為色度內(nèi)容的樣本濾波補(bǔ)償(ALF)而設(shè)的六條行緩沖器。在表2例子中，傳統(tǒng)視訊 編碼標(biāo)準(zhǔn)AVS2的樣本濾波補(bǔ)償(ALF)色度虛擬邊界為yC-3,樣值偏移補(bǔ)償(SAO)位移像素量 (由參數(shù)SAO_SHIFT_PIX_NUM表達(dá))為4;第一實(shí)施例對(duì)色度采用的樣值偏移補(bǔ)償(SAO)位移 像素量（由參數(shù)SAO_SHIFT_PIX_NUM表達(dá))為3;且第二實(shí)施例的樣本濾波補(bǔ)償(ALF)色度虛 擬邊界為yC-4。
[0098] 表格 2
[0099]
[0100] 對(duì)應(yīng)傳統(tǒng)視訊編碼標(biāo)準(zhǔn)AVS2、第一實(shí)施例以及第二實(shí)施例，去塊濾波器(DF)、樣值 偏移補(bǔ)償（SA0)以及樣本濾波補(bǔ)償(ALF)所需要的行緩沖器總數(shù)分別為16、9與10。換句話 說(shuō)，第一與第二實(shí)施例可分別縮減7與6條行緩沖器。
[0101] 圖13結(jié)合本案一種實(shí)施例舉例說(shuō)明一視訊編碼系統(tǒng)的流程圖，所述視訊系統(tǒng)系對(duì) 齊環(huán)路濾波器相關(guān)邊界，以降低行緩沖器需求。步驟1310,視訊系統(tǒng)接收對(duì)應(yīng)一影像單元的 重建資料。重建的視訊資料可取自存儲(chǔ)器(例如，計(jì)算機(jī)存儲(chǔ)器、緩沖器（隨機(jī)存取存儲(chǔ)器 (RAM)或動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器(DRAM)或其他媒體），或取自處理器。步驟1320,去塊濾波器 (DF)程序接著施行在影像單元的去塊邊界上方的重建像素。去塊濾波器(DF)程序修正兩個(gè) 影像單元之間的一影像單元邊界對(duì)應(yīng)的一水平邊界各側(cè)多達(dá)Μ個(gè)亮度像素以及N個(gè)色度像 素。步驟1330,基于樣值偏移補(bǔ)償（SA0)參數(shù)，樣值偏移補(bǔ)償（SA0)程序施行在去塊濾波器 (DF)處理過(guò)的亮度像素以及去塊濾波器(DF)處理過(guò)的色度像素，其中樣值偏移補(bǔ)償(SA0) 參數(shù)邊界內(nèi)的像素全數(shù)或部分共享同樣的樣值偏移補(bǔ)償(SA0)參數(shù)，且當(dāng)前影像單元的亮 度樣值偏移補(bǔ)償（SAO)參數(shù)邊界自當(dāng)前影像單元的底邊向上位移yS行，且當(dāng)前影像單元的 色度樣值偏移補(bǔ)償(SA0)參數(shù)邊界自當(dāng)前影像單元的底邊向上位移ySC行。步驟1340,根據(jù) 一或多個(gè)亮度的空間環(huán)路濾波器參數(shù)，對(duì)亮度空間環(huán)路濾波器的限縮邊界上方經(jīng)樣值偏移 補(bǔ)償(SA0)處理過(guò)的亮度像素施行空間環(huán)路濾波器程序，其中自當(dāng)前影像單元的底邊向上 位移yV行獲得所述亮度空間環(huán)路濾波器的限縮邊界。步驟1350,根據(jù)一或多個(gè)色度的空間 環(huán)路濾波器參數(shù)，對(duì)色度空間環(huán)路濾波器的限縮邊界上方經(jīng)樣值偏移補(bǔ)償（SA0)處理過(guò)的 色度像素施行空間環(huán)路濾波器程序，其中自當(dāng)前影像單元的底邊向上位移yVC行獲得所述 色度空間環(huán)路濾波器的限縮邊界。為了降低行緩沖器需求且/或減少環(huán)路濾波器處理切換， 步驟1360,環(huán)路濾波器相關(guān)邊界為根據(jù)正整數(shù)M、N、yS、ySC、yV&&yV(M5S，yS、ySC、yVW& yVC是根據(jù)Μ與N設(shè)定，且yS與yV大于M，ySC與yVC大于N、yS等于yV、且ySC等于yVC。
[0102] 上面所示的流程圖旨在根據(jù)本發(fā)明來(lái)說(shuō)明環(huán)路濾波器處理的例子。本領(lǐng)域的技術(shù) 人員可以修改各步驟，重新排列步驟順序，分割步驟，或結(jié)合步驟來(lái)實(shí)施本發(fā)明而不脫離本 發(fā)明的精神實(shí)質(zhì)。在本公開，特定的語(yǔ)法和語(yǔ)義已被用來(lái)說(shuō)明實(shí)施例。本領(lǐng)域技術(shù)人員可通 過(guò)等效替換語(yǔ)法和語(yǔ)義不脫離本發(fā)明的精神的前提實(shí)施本發(fā)明。
[0103] 以上說(shuō)明使本技術(shù)領(lǐng)域人員得以依照所揭露的特定應(yīng)用的內(nèi)文以及條件實(shí)現(xiàn)本 發(fā)明。本案技術(shù)人員當(dāng)可以多種方式變動(dòng)以上實(shí)施例內(nèi)容，且本說(shuō)明書定義的一般原則可 能應(yīng)用在其他實(shí)施例中。因此，本案并不意圖限定于以上顯示與描述的特定實(shí)施例，而應(yīng)符 合所描述的原理以及新穎特征授予最廣范圍。以上詳細(xì)說(shuō)明中，多種具體細(xì)節(jié)的描述用于 幫助徹底理解本案。本領(lǐng)域技術(shù)人員應(yīng)理解本發(fā)明可以實(shí)踐。
[0104] 如上述的本發(fā)明的實(shí)施例可由各種硬件、軟件代碼、或兩者的組合來(lái)實(shí)現(xiàn)。例如， 一個(gè)本發(fā)明的實(shí)施例可以是一個(gè)或一個(gè)以上電子電路集成到一個(gè)視頻壓縮芯片、或程序代 碼集成到視頻壓縮軟件來(lái)執(zhí)行此處描述的處理程序。本發(fā)明的一個(gè)實(shí)施方案也可以是程序 代碼，由數(shù)位信號(hào)處理器(DSP)執(zhí)行，以執(zhí)行本文描述的處理程序。本案也可能涉及若干數(shù) 量的功能方快，由計(jì)算機(jī)處理器、數(shù)位信號(hào)處理器、微處理器、或場(chǎng)效可編程邏輯陣列 (FPGA)執(zhí)行。這些處理器可根據(jù)本案被配置來(lái)執(zhí)行特定任務(wù)，其中執(zhí)行機(jī)器可讀軟件代碼、 或執(zhí)行定義由本發(fā)明所體現(xiàn)的具體方法的韌體代碼。軟件代碼或韌體代碼可由不同的編程 語(yǔ)言和不同的格式或樣式開發(fā)。該軟件代碼也針對(duì)不同的目標(biāo)平臺(tái)作編譯。然而，根據(jù)本案 技術(shù)執(zhí)行任務(wù)的不同的編碼格式，風(fēng)格和的軟件代碼語(yǔ)言和其他編碼裝置將不脫離本發(fā)明 的精神和范圍。
[0105] 本發(fā)明可以以其它具體形式實(shí)施，不背離其精神或本質(zhì)特征。實(shí)施例在所有方面 都僅是說(shuō)明性的而不是限制性描述。因而，本發(fā)明的范圍由所附申請(qǐng)專利范圍界定、而非前 面的描述限定之。申請(qǐng)專利范圍的等效含義和范圍的所有變化據(jù)信是在其范圍之內(nèi)。
【主權(quán)項(xiàng)】
1. 一種方法，供一視訊編碼系統(tǒng)進(jìn)行重建視訊資料的環(huán)路濾波器處理，其中上述重建 視訊資料劃分為多個(gè)影像單元，且所述方法包括： 接收一影像單元的重建視訊資料； 對(duì)重建像素實(shí)施去塊濾波處理，其中，去塊濾波處理在兩個(gè)影像單元之間的一影像單 元邊界對(duì)應(yīng)的一水平邊線的各側(cè)修正多達(dá)M個(gè)亮度像素以及N個(gè)色度像素； 根據(jù)一或多個(gè)樣值偏移補(bǔ)償參數(shù)，對(duì)去塊濾波處理過(guò)的亮度像素以及去塊濾波處理過(guò) 的色度像素進(jìn)行樣值偏移補(bǔ)償處理，其中樣值偏移補(bǔ)償參數(shù)邊界內(nèi)的全數(shù)或部分像素共享 同樣的上述一或多個(gè)樣值偏移補(bǔ)償參數(shù)，其中當(dāng)前影像單元的亮度樣值偏移補(bǔ)償參數(shù)邊界 由當(dāng)前影像單元的底邊向上位移yS行，且當(dāng)前影像單元的色度樣值偏移補(bǔ)償參數(shù)邊界由當(dāng) 前影像單元的底邊向上位移ySC行； 根據(jù)一或多個(gè)亮度空間環(huán)路濾波器參數(shù)對(duì)一亮度空間環(huán)路濾波器限縮邊界上方已經(jīng) 樣值偏移補(bǔ)償處理過(guò)的亮度像素作空間環(huán)路濾波器處理，其中該亮度空間環(huán)路濾波器限縮 邊界自當(dāng)前影像單元的底邊向上位移y V行;且 根據(jù)一或多個(gè)色度空間環(huán)路濾波器參數(shù)對(duì)一色度空間環(huán)路濾波器限縮邊界上方已經(jīng) 樣值偏移補(bǔ)償處理過(guò)的色度像素作空間環(huán)路濾波器處理，其中該色度空間環(huán)路濾波器限縮 邊界自當(dāng)前影像單元的底邊向上位移yVC行，其中，M、N、yS、ySC、yV以及yVC為正整數(shù)，yS、 ySC、yV以及yVC根據(jù)M與N設(shè)定，yS與yV大于M，ySC與yVC大于N，yS等于yV，且ySC等于yVC。2. 如權(quán)力要求1所述的方法，其中各影像單元對(duì)應(yīng)一編碼樹單元。3. 如權(quán)力要求1所述的方法，其中空間環(huán)路濾波器程序?qū)?yīng)樣本濾波補(bǔ)償程序。4. 如權(quán)力要求1所述的方法，其中yS與yV等于(M+1)且ySC與yVC等于(N+1)。5. 如權(quán)力要求1所述的方法，其中73、7￥、75(：以及7￥(：等于(1&?(1，1'〇+1)。6. 如權(quán)力要求1所述的方法，其中yS以及yV等于(M+m)且ySC以及yVC等于(N+n)，且m以 及η為大于1的整數(shù)。7. 如權(quán)力要求1所述的方法，其中yS、yV、ySC以及yVC等于(Max(M，N)+m)且m為大于1的 整數(shù)。8. 如權(quán)力要求1所述的方法，其中M等于3且N等于2。9. 如權(quán)力要求8所述的方法，其中yS以及yV等于4且ySC以及yVC等于3。10. 如權(quán)力要求8所述的方法，其中yS、yV、ySC以及yVC等于4。11. 如權(quán)力要求8所述的方法，其中yS以及yV等于（3+m)且ySC以及yVC等于(2+n)，且m以 及η為大于1的整數(shù)。12. 如權(quán)力要求8所述的方法，其中，yS、yV、ySC以及yVC等于(3+m)，且m為大于1的整數(shù)。13. -種裝置，供一視訊編碼系統(tǒng)進(jìn)行重建視訊資料的環(huán)路濾波器處理，其中上述重建 視訊資料劃分為多個(gè)影像單元，且所述裝置包括： 一或多個(gè)電子電路，耦接一行緩沖器，且為設(shè)置做： 接收一影像單元的重建視訊資料； 對(duì)重建像素實(shí)施去塊濾波處理，其中，去塊濾波處理在兩個(gè)影像單元之間的一影像單 元邊界對(duì)應(yīng)的一水平邊線的各側(cè)修正多達(dá)M個(gè)亮度像素以及N個(gè)色度像素； 根據(jù)一或多個(gè)樣值偏移補(bǔ)償參數(shù)，對(duì)去塊濾波處理過(guò)的亮度像素以及去塊濾波處理過(guò) 的色度像素進(jìn)行樣值偏移補(bǔ)償處理，其中樣值偏移補(bǔ)償參數(shù)邊界內(nèi)的全數(shù)或部分像素共享 同樣的上述一或多個(gè)樣值偏移補(bǔ)償參數(shù)，其中當(dāng)前影像單元的亮度樣值偏移補(bǔ)償參數(shù)邊界 由當(dāng)前影像單元的底邊向上位移yS行，且當(dāng)前影像單元的色度樣值偏移補(bǔ)償參數(shù)邊界由當(dāng) 前影像單元的底邊向上位移ySC行； 根據(jù)一或多個(gè)亮度空間環(huán)路濾波器參數(shù)對(duì)一亮度空間環(huán)路濾波器限縮邊界上方已經(jīng) 樣值偏移補(bǔ)償處理過(guò)的亮度像素作空間環(huán)路濾波器處理，其中該亮度空間環(huán)路濾波器限縮 邊界自當(dāng)前影像單元的底邊向上位移y V行;且 根據(jù)一或多個(gè)色度空間環(huán)路濾波器參數(shù)對(duì)一色度空間環(huán)路濾波器限縮邊界上方已經(jīng) 樣值偏移補(bǔ)償處理過(guò)的色度像素作空間環(huán)路濾波器處理，其中該色度空間環(huán)路濾波器限縮 邊界自當(dāng)前影像單元的底邊向上位移yVC行， 其中，M、N、yS、ySC、yV以及yVC為正整數(shù)，yS、ySC、yV以及yVC根據(jù)M與N設(shè)定，yS與yV大于 ]\1，}^(]與5^(]大于1'1，5^等于5^，且5^(]等于5^〇。14. 如權(quán)力要求13所述的裝置，其中各影像單元對(duì)應(yīng)一編碼樹單元。15. 如權(quán)力要求13所述的裝置，其中空間環(huán)路濾波器程序?qū)?yīng)樣本濾波補(bǔ)償程序。16. 如權(quán)力要求13所述的裝置，其中yS與yV等于(M+1)且ySC與yVC等于(N+1)。17. 如權(quán)力要求13所述的裝置，其中yS、yV、ySC以及yVC等于(Max(M，N)+l)。18. 如權(quán)力要求13所述的裝置，其中yS以及yV等于(M+m)且ySC以及yVC等于(N+n)，且m 以及η為大于1的整數(shù)。19. 如權(quán)力要求13所述的裝置，其中yS、yV、ySC以及yVC等于(Max(M，N)+m)且m為大于1 的整數(shù)。20. 如權(quán)力要求13所述的裝置，其中M等于3且N等于2。21. 如權(quán)力要求20所述的裝置，其中yS以及yV等于4且ySC以及yVC等于3。22. 如權(quán)力要求20所述的裝置，其中yS、yV、ySC以及yVC等于4。23. 如權(quán)力要求20所述的裝置，其中yS以及yV等于（3+m)且ySC以及yVC等于（2+n)，且m 以及η為大于1的整數(shù)。24. 如權(quán)力要求20所述的裝置，其中，yS、yV、ySC以及yVC等于（3+m)，且m為大于1的整 數(shù)。
【文檔編號(hào)】H04N19/13GK105898335SQ201610084479
【公開日】2016年8月24日
【申請(qǐng)日】2016年2月14日
【發(fā)明人】趙屏, 林惠敏, 王智鳴, 張永昌
【申請(qǐng)人】聯(lián)發(fā)科技股份有限公司