專利名稱：使用基于多格稀疏性的濾波來進行去偽像濾波的方法和設備的制作方法
技術領域：
本發(fā)明原理總體上涉及視頻編碼和解碼，更具體地，涉及使用基于多格稀疏性的 濾波來進行去偽像濾波的方法和設備。
背景技術：
視頻編碼標準典型地采用基于塊的變換(例如但不限于，離散余弦變換，也被稱 作DCT)和運動補償來實現(xiàn)壓縮效率。變換系數(shù)的粗量化以及在運動補償預測中相鄰塊對 不同參考位置和不同參考畫面的使用會引起視覺上造成干擾的偽像，例如邊緣、紋理和塊 不連續(xù)點周圍的失真。通常在視頻編碼中應用濾波策略來衰減壓縮偽像和提高解碼視頻信號的質量。在 國際標準化組織/國際電工委員會(IS0/IEC)運動圖像專家組-4(MPEG-4)部分10高級視 頻編碼(AVC)標準/國際電信聯(lián)盟電信部(ITU-T)H. 264推薦標準(下文中為“MPEG-4AVC 標準”)中，引入自適應去塊濾波來克服關于第一現(xiàn)有方法描述的沿著塊邊界出現(xiàn)的偽像。 更一般地，已經(jīng)提出去偽像方法，以當如關于第二現(xiàn)有技術方法和第三現(xiàn)有技術方法描述 的出現(xiàn)偽像時不僅克服塊不連續(xù)點上的偽像還克服圖像奇異點(例如，邊緣和/和紋理) 周圍的偽像。然而，為了最大化性能，并且根據(jù)第二現(xiàn)有技術方法，去偽像濾波器必須考慮 視頻編碼過程所施加的局部編碼條件。例如，在單個幀內，MPEG-4AVC標準提供多種預測模 式(幀內、幀間、跳過等等)，每個預測模式有不同的量化噪聲統(tǒng)計以及相應的濾波要求。此 外，時間信號變化以及畫面內容隨時間的變化可以影響在畫面中出現(xiàn)的量化噪聲的統(tǒng)計。因此，關于一般用在視頻編碼中以衰減壓縮偽像并提高解碼視頻信號質量的濾波 策略，可以將所應用的濾波器部署在后處理步驟中或集成到混合視頻編碼器/解碼器的回 路中。作為后處理步驟，濾波器在編碼回路外部(回路外)操作，并且不影響參考幀。因此 解碼器能夠根據(jù)需要自由采用后處理步驟。另一方面，當被應用在編碼回路內(回路中) 時，濾波器可以改善隨后用作參考幀的畫面。改善的參考幀然后可以為運動補償提供更高 質量的預測，從而允許更高的壓縮性能。在MPEG-4AVC標準中，采用了關于第一現(xiàn)有技術方法描述的回路中去塊濾波器。 濾波器用于衰減沿著塊邊界出現(xiàn)的偽像。這樣的偽像由變換(例如，DCT)系數(shù)的粗量化以 及運動補償?shù)念A測引起。通過自適應地對塊邊緣應用低通濾波器，去塊濾波器可以同時改 善主觀和客觀視頻質量。濾波器通過對塊邊緣周圍的采樣執(zhí)行分析來進行操作，并且改變 濾波強度，以衰減可能由于分塊偽像而引起的小強度差而同時保留屬于實際圖像內容的一 般更大的強度差。若干塊編碼模式和條件還用于指示應用濾波器的強度。這些包括幀間/幀內預測判定，相鄰塊之間編碼殘差和運動差異的存在。除了在塊級的自適應性以外，去塊 濾波器在片級和采樣級也是自適應的。在片級，可以針對視頻序列的各個單獨特性來調整 濾波強度。在采樣級，可以根據(jù)采樣值和基于量化器的閾值在每個單獨采樣處停止濾波。MPEG-4AVC標準去塊濾波器所去除的分塊偽像不是壓縮視頻中僅有的偽像。粗量 化也是諸如形成環(huán)、邊緣失真和/或紋理惡化等其他偽像。去塊濾波器不能夠減少由出現(xiàn) 在塊內的量化誤差引起的偽像。此外，在去塊中采用的低通濾波技術采用平滑圖像模型，并 且不適于處理諸如邊緣或紋理等圖像奇異點。為了克服MPEG-4AVC標準去塊濾波器的限制，最近已經(jīng)提出了一種去噪類型非線 性回路中濾波器，例如，關于第二現(xiàn)有技術方法描述的濾波器。該非線性去噪濾波器使用過 完備非線性變換集合以及閾值處理操作來適應采用稀疏圖像模型的非固定圖像統(tǒng)計。非線 性去噪濾波器根據(jù)濾波器所作用的區(qū)域自動變成高通、或低通、或帶通等。非線性去噪濾波 器是廣泛可應用的，為包括圖像奇異點在內的區(qū)域提供了魯棒的解決方案。關于第二現(xiàn)有技術方法描述的去噪回路中濾波器使用由過完備變換集合提供的 去噪估計集合。該實現(xiàn)方式通過使用給定二維(2D)正交變換H(例如，小波或DCT)的所有 可能平移Hi來產(chǎn)生過完備變換集合。因此，在給定圖像I的情況下，通過應用各種變換Hi 來創(chuàng)建圖像I的一系列不同變換版本Y”然后每個變換版本Yi經(jīng)過典型地包括閾值處理 操作在內的去噪過程，從而產(chǎn)生Y’ i序列。然后將變換和閾值處理后的系數(shù)Y’ 變換回 到空間域中，從而得到去噪估計I’ ”在過完備設置中，期望一些去噪估計提供比其他去噪 估計更好的性能，并且最后的濾波后版本受益于通過對這種去噪估計進行平均而獲得的組 合。關于第二現(xiàn)有技術方法描述的去噪濾波器提出對去噪估計Fi進行加權平均，其中，對 權重進行優(yōu)化以強調最佳去噪估計。加權方法可以不同，并且它們可以取決于要被濾波的 數(shù)據(jù)、所使用的變換、以及與噪聲有關的統(tǒng)計假定。當使用塊變換時，第二現(xiàn)有技術方法提 出了一種實際加權方法，該實際加權方法基于這種變換所提供的分解的稀疏度量。此外，關 于第二現(xiàn)有技術方法描述的方案通過以下操作來適應時間編碼幀應用使所選像素不經(jīng)過 濾波的掩蔽函數(shù)，以及根據(jù)編碼條件和編解碼器量化參數(shù)(QP)局部地確定濾波閾值。盡管廣泛可應用，但是第二現(xiàn)有技術方法的去噪濾波器有三個主要限制。首先，給 定正交變換的平移版本Hi的使用將過完備變換集合的分析方向排他地限于垂直和水平分 量。這種對結構分析方向的限制會影響具有與垂直或水平方向不同的方向的信號結構的正 確濾波。其次，一些變換Hi類似于或等同于用于在視頻編碼過程中對殘差信號進行編碼的 變換。在編碼中使用的變換通常用于減少可用于重構的系數(shù)的數(shù)目。這種減少可以改變 稀疏度量并且在濾波之后允許偽像的存在，該稀疏度量用于計算針對第二現(xiàn)有技術方法中 的去噪估計組合的最優(yōu)權重。第三，不管適應時間編碼幀的機制(掩蔽函數(shù)和空間局部閾 值)，閾值選擇在時間上不適于信號結構、編碼模型和/或量化噪聲統(tǒng)計。第三現(xiàn)有技術方法的方向自適應去偽像濾波器是一種高性能非線性回路中濾波 器，使得可以減少各種偽像類型(包括分塊偽像以及塊內或圖像奇異點周圍出現(xiàn)的偽像)。 該濾波器基于過完備變換集合所提供的去噪估計的加權組合。然而，與第二現(xiàn)有技術方法 的去噪濾波器不同，第三現(xiàn)有技術方法的方向自適應去偽像濾波器使用要濾波的畫面的不 同子格采樣，以便將分析方向擴展為不僅限于垂直和水平分量。此外，方向自適應去偽像濾 波器從加權的組合中排除源自變換的去噪估計，這些變換類似于或緊密地對準于在編碼殘
5差中使用的變換。通過在圖像的不同在采樣上應用給定變換H的平移Hi來實現(xiàn)濾波器的方向自適 應性。定向子采樣圖案可以改變變換分解的方向。例如，轉向圖1，將矩形網(wǎng)格分解成兩個 互補五點梅花格通常由參考數(shù)字100指示。兩個互補五點梅花格分別由黑點集合和白點集 合來表示。然后在格子采樣信號上應用適合于矩形網(wǎng)格的任何變換，擴展分析方向擴展為 不僅限于垂直和水平?？梢酝ㄟ^以下變換、閾值處理、逆變換方法以及將來自互補子采樣的 結果重新布置成原始格，來獲得去噪估計I’ i。如關于第三現(xiàn)有技術方法描述的，提出了多 格處理，從而與兩個五點梅花子采樣格相結合來使用原始采樣網(wǎng)格。然后通過加權組合來 組合源自多格中每一個格的去噪估計。與較大稀疏的變換分解有關的去噪估計的權重具有 較高值。這來自于稀疏分解包括最少量噪聲的假定。轉向圖2，方向自適應去偽像濾波器總體由參考數(shù)字200指示。濾波器200于第三 現(xiàn)有技術方法相對應。應當注意，去噪稀疏模塊212、214、和216需要知道濾波閾值。下采樣和采樣重新布置模塊202的輸出以信號通信的方式與前向變換模塊(利用 冗余變換集合B) 208的輸入相連接。下采樣和采樣重新布置模塊204的輸出以信號通信的 方式與前向變換模塊(利用冗余變換集合B) 210的輸入相連接。前向變換模塊(利用冗余變換集合A) 206的輸出以信號通信的方式與去噪系數(shù)模 塊212相連接。前向變換模塊(利用冗余變換集合B) 208的輸出以信號通信的方式與去噪 系數(shù)模塊214相連接。前向變換模塊(利用冗余變換集合B) 210的輸出以信號通信的方式 與去噪系數(shù)模塊216相連接。去噪系數(shù)模塊212的輸出以信號通信的方式與用于計算作用于每個像素的非零 系數(shù)數(shù)目的計算模塊226的輸入以及逆變換模塊(利用冗余變換集合A) 218的輸入相連 接。去噪系數(shù)模塊214的輸出以信號通信的方式與用于計算作用于每個像素的非零系數(shù)數(shù) 目的計算模塊230的輸入以及逆變換模塊(具有冗余變換集合B) 220的輸入相連接。去噪 系數(shù)模塊216的輸出以信號通信的方式與用于計算作用于每個像素的非零系數(shù)數(shù)目的計 算模塊232的輸入以及逆變換模塊(利用冗余變換集合B) 222的輸入相連接。逆變換模塊(利用冗余變換集合A) 218的輸出以信號通信的方式與組合模塊236 的第一輸入相連接。逆變換模塊(利用冗余變換集合B) 220的輸出以信號通信的方式與上 采樣、采樣重新布置和合并陪集模塊224的第一輸入相連接。逆變換模塊(利用冗余變換 集合B) 222的輸出以信號通信的方式與上采樣、采樣重新布置和合并陪集模塊224的第二 輸入相連接。針對每個變換計算作用于每個像素的非零系數(shù)數(shù)目的計算模塊230的輸出以信 號通信的方式與上采樣、采樣重新布置和合并陪集模塊228的第一輸入相連接。針對每個 變換計算作用于每個像素的非零系數(shù)數(shù)目的計算模塊232的輸出以信號通信的方式與上 采樣、采樣重新布置和合并陪集模塊228的第二輸入相連接。上采樣、采樣重新布置和合并陪集模塊228的輸出以信號通信的方式與一般組合 權重計算模塊234的第一輸入相連接。用于計算作用于每個像素的非零系數(shù)數(shù)目的計算模 塊226的輸出以信號通信的方式與一般組合權重計算模塊234的第二輸入相連接。一般組 合權重計算模塊234的輸出以信號通信的方式與組合模塊236的第二輸入相連接。上采樣、采樣重新布置和合并陪集模塊224的輸出以信號通信的方式與組合模塊
6236的第三輸入相連接。前向變換模塊(利用冗余變換集合A) 206的輸入、下采樣和采樣重新布置模塊202 的輸入、以及下采樣和采樣重新布置模塊204的輸入分別可用作濾波器200的輸入，以接收 輸入圖像。組合模塊236的輸出可用作濾波器的輸出，以提供輸出圖像。轉向圖3，進行方向自適應去偽像濾波的方法總體由參考數(shù)字300來指示。方法 300與第三現(xiàn)有技術方法相對應。方法300包括開始框305，開始框300將控制傳遞至功能 框310。功能框310設置子格圖像分解的可能族的形狀和數(shù)目，并將控制傳遞至循環(huán)限制框 315。循環(huán)限制框315開始對每個(子)格族進行循環(huán)j，并將控制傳遞至功能框320。功 能框320根據(jù)子格族j對圖像進行下采樣并將該圖像分成N個子格(其中，子格的總數(shù)取 決于每個族j)，并將控制傳遞至循環(huán)限制框325。循環(huán)限制框325開始針對每個子格(其 中，總數(shù)取決于族j)的循環(huán)i，并將控制傳遞至功能框330。功能框330對采樣進行重新布 置(例如，從布置A(j，K)到B)，并將控制傳遞至功能框335。功能框335選擇哪種變換被 允許用于給定的子格族j，并將控制傳遞至循環(huán)限制框340。循環(huán)限制框340開始針對每個 允許的變換(根據(jù)子格族j所選擇的變換，例如，一些平移對于給定的j是不被允許的)的 循環(huán)i，并將控制傳遞至功能框345。功能框345利用變換矩陣i執(zhí)行變換，并將控制傳遞 至功能框350。功能框350對系數(shù)去噪，并將控制傳遞至功能框355。功能框355利用逆變 換矩陣i執(zhí)行逆變換，并將控制傳遞至循環(huán)限制框360。循環(huán)限制框360結束循環(huán)i，并將 控制傳遞至功能框365。功能框365對采樣進行重新布置(例如，從布置B到A(j，k))，并 將控制傳遞至循環(huán)限制框370。循環(huán)限制框370結束循環(huán)k，并將控制傳遞至功能框375。 功能框375根據(jù)子格族j對子格進行上采樣和合并，并將控制傳遞至循環(huán)限制框380。循環(huán) 限制框380結束循環(huán)j，并將控制傳遞至功能框385。功能框385組合(例如，局部自適應 加權求和)去噪系數(shù)圖像的不同逆變換版本，并將控制傳遞至結束框390。方向自適應去偽像濾波器考慮使用4X4DCT或整數(shù)MPEG-4AVC標準變換或整數(shù) MPEG-4AVC標準變換，從而產(chǎn)生這些變換的總共16種可能平移。當應用在原始采樣網(wǎng)格上 時，若干平移后的變換可以與在殘差編碼中使用的變換交疊或幾乎交疊。在這種情況下， 會發(fā)生量化噪聲/偽像和信號均落在基函數(shù)的相同子空間內的情況，從而導致有偽像的大 稀疏度量。為了避免這些缺陷，第三現(xiàn)有技術方法提出從與在殘差編碼中使用的編碼對準 或幾乎對準的變換(例如，沿著水平或垂直方向中的至多一個方向具有1個不對準像素的 變換)中排除去噪估計。第三現(xiàn)有技術方法的原理也應用于其他變換，例如，8X8DCT或 MPEG-4AVC標準的整數(shù)8X8變換。在基于去噪估計的加權組合的濾波方法(例如，在第二和第三現(xiàn)有技術方法中公 開的那些方法)中，濾波閾值的選擇很重要。對于控制濾波器的去噪能力以及計算用于強 調更好去噪估計的平均權重，所應用的閾值起到至關重要的作用。不充分的閾值選擇可以 導致過于平滑的重構畫面，或者可以允許偽像的存留。在第三現(xiàn)有技術方法的去偽像架構 中，將公共閾值應用于與權重計算相關聯(lián)的變換系數(shù)和稀疏度量的全部去噪。在圖2的框 圖內，這些濾波閾值直接包括在去噪系數(shù)模塊212、214和216，以及用于計算作用于每個像 素的非零系數(shù)數(shù)目的計算模塊226、230和232中。針對第三現(xiàn)有技術方法的方向自適應去偽像濾波器結果證明了多格分析的功效， 然而，使用唯一且統(tǒng)一的閾值的使用會限制濾波潛能。例如，閾值取決于信號特性，并且這
7些信號特性可以隨空間和時間而變化。對多視頻幀進行處理會說明這一點，即使在幀內編 碼模式下也是如此，因此考慮針對閾值自適應性的方法。此外，第三現(xiàn)有技術方法沒有解決 針對時間編碼內容的閾值選擇。這種情況很受關注并提出了新的挑戰(zhàn)，這是由于各種預測 模式(幀內、幀間、跳過等等)可以共同存在于單個幀內。這些模式中的每一個呈現(xiàn)唯一量 化噪聲統(tǒng)計并需要專用濾波策略?？傊诙虻谌F(xiàn)有技術方法都不能解決濾波過程中 量化噪聲統(tǒng)計的聯(lián)合空時變化。轉向圖4，能夠根據(jù)MPEG-4AVC標準執(zhí)行視頻編碼的視頻編碼器總體由參考數(shù)字 400來指示。視頻編碼器400包括幀排序緩沖器410，幀排序緩沖器410具有與組合器485的非 反相輸入信號通信的輸出。組合器485的輸出以信號通信的方式與變換器和量化器425的 第一輸入相連接。變換器和量化器425的輸出以信號通信的方式與熵編碼器445的第一輸 入以及逆變換器和逆量化器450的第一輸入相連接。熵編碼器445的輸出以信號通信的方 式與組合器490的第一非反相輸入相連接。組合器490的輸出以信號通信的方式與輸出緩 沖器435的第一輸入相連接。編碼器控制器405的第一輸出以信號通信的方式與幀排序緩沖器410的第二輸 入、逆變換器和逆量化器450的第二輸入、畫面類型判定模塊415的輸入、宏塊類型(MB類 型)判定模塊420的第一輸入、幀內預測模塊460的第二輸入、去塊濾波器465的第二輸入、 運動補償器470的第一輸入、運動估計器475的第一輸入、以及參考畫面緩沖器480的第二 輸入相連接。編碼器控制器405的第二輸出以信號通信的方式與補充增強信息(SEI)插入器 430的第一輸入、變換器和量化器425的第二輸入、熵編碼器445的第二輸入、輸出緩沖器 435的第二輸入、以及序列參數(shù)集(SPS)和畫面參數(shù)集(PPS)插入器440的輸入相連接。SEI插入器430的輸出以信號通信的方式與組合器490的第二非反相輸入相連接。畫面類型判定模塊415的第一輸出以信號通信的方式與幀排序緩沖器410的第三 輸入相連接。畫面類型判定模塊415的第二輸出以信號通信的方式與宏塊類型判定模塊 420的第二輸入相連接。序列參數(shù)集和畫面參數(shù)集插入器440的輸出以信號通信的方式與組合器490的第 三非反相輸入相連接。逆量化器和逆變換器450的輸出以信號通信的方式與組合器419的第一非反相輸 入相連接。組合器419的輸出以信號通信的方式與幀內預測模塊460的第一輸入和去塊濾 波器465的第一輸入相連接。去塊濾波器465的輸出以信號通信的方式與參考畫面緩沖器 480的第一輸入相連接。參考畫面緩沖器480的輸出以信號通信的方式與運動估計器475 的第二輸入以及運動補償器470的第三輸入相連接。運動估計器475的第一輸出以信號通 信的方式與運動補償器470的第二輸入相連接。運動估計器475的第二輸出以信號通信的 方式與熵編碼器445的第三輸入相連接。運動補償器470的輸出以信號通信的方式與開關497的第一輸入相連接。幀內預 定模塊460的輸出以信號通信的方式與開關497的第二輸入相連接。宏塊類型判定模塊 420的輸出以信號通信的方式與開關497的第三輸入相連接。開關497的第三輸入確定開 關的“數(shù)據(jù)”輸入(與控制輸入相比，即，第三輸入)由運動補償器470提供還是由幀內預
8測模塊460來提供。開關497的輸出以信號通信的方式與組合器419的第二非反相輸入以 及組合器485的反相輸入相連接。幀排序緩沖器410的第一輸入和編碼器控制器405的輸入可用作編碼器400的輸 入，以接收輸入畫面。此外，補充增強信息(SEI)插入器430的第二輸入可用作編碼器400 的輸入，以接收元數(shù)據(jù)。輸出緩沖器435的輸出可用作編碼器400的輸出，以輸出比特流。轉向圖5，能夠根據(jù)MPEG-4AVC標準執(zhí)行視頻解碼的視頻解碼器總體由參考數(shù)字 500來指示。視頻解碼器500包括輸入緩沖器510，輸入緩沖器510具有以信號通信的方式與熵 解碼器545的第一輸入相連接的輸出。熵解碼器545的第一輸出以信號通信的方式與逆變 換器和逆量化器550的第一輸入相連接。逆變換器和逆量化器550的輸出以信號通信的方 式與組合器525的第二非反相輸入相連接。組合器525的輸出以信號通信的方式與去塊濾 波器565的第二輸入以及幀內預測模塊560的第一輸入相連接。去塊濾波器565的第二輸 出以信號通信的方式與參考畫面緩沖器580的第一輸入相連接。參考畫面緩沖器580的輸 出以信號通信的方式與運動補償器570的第二輸入相連接。熵解碼器545的第二輸出以信號通信的方式與運動補償器570的第三輸入以及去 塊濾波器565的第一輸入相連接。熵解碼器545的第三輸出以信號通信的方式與解碼器控 制器505的輸入相連接。解碼器控制器505的第一輸出以信號通信的方式與熵解碼器545 的第二輸入相連接。解碼器控制器505的第二輸出以信號通信的方式與逆變換器和逆量化 器550的第二輸入相連接。解碼器控制器505的第三輸出以信號通信的方式與去塊濾波器 565的第三輸入相連接。解碼器控制器505的第四輸出以信號通信的方式與幀內預測模塊 560的第二輸入、運動補償器570的第一輸入、以及參考畫面緩沖器580的第二輸入相連接。運動補償器570的輸出以信號通信的方式與開關597的第一輸入相連接。幀內預 測模塊560的輸出以信號通信的方式與開關597的第二輸入相連接。開關597的輸出以信 號通信的方式與組合器525的第一非反相輸入相連接。輸入緩沖器510的輸入可用作解碼器500的輸入，以接收輸入比特流。去塊濾波 器565的第一輸出可用作解碼器500的輸出，以輸出輸出畫面。

發(fā)明內容
本發(fā)明原理能夠解決現(xiàn)有技術的這些和其他缺陷和缺點，本發(fā)明原理涉及使用基 于多格稀疏性的濾波來進行去偽像濾波的方法和設備。根據(jù)本發(fā)明原理的一個方面，提供了一種設備。該設備包括用于對畫面的畫面數(shù) 據(jù)進行去偽像濾波的基于稀疏性的濾波器。畫面數(shù)據(jù)包括畫面的不同子格采樣。濾波器的 基于稀疏性的濾波閾值在時間上改變。根據(jù)本發(fā)明原理的另一方面，提供了一種方法。該方法包括對畫面的畫面數(shù)據(jù)進 行去偽像濾波。該畫面數(shù)據(jù)包括畫面的不同子格采樣。針對濾波的基于稀疏性的濾波閾值 在時間上改變。根據(jù)結合附圖閱讀的示例實施例的以下詳細描述，本發(fā)明原理的這些和其他方 面、特征和優(yōu)點將變得顯而易見。
9


根據(jù)以下示例附圖可以更好地理解本發(fā)明原理，在附圖中圖1是示出了根據(jù)現(xiàn)有技術的將矩形網(wǎng)格分解成兩個互補五點梅花格的圖；圖2是根據(jù)現(xiàn)有技術的方向自適應去偽像濾波器的框圖；圖3是根據(jù)現(xiàn)有技術的方向自適應去偽像濾波方法的流程圖；圖4是能夠執(zhí)行視頻編碼的示例編碼器的框圖；圖5是能夠執(zhí)行視頻解碼的示例解碼器的框圖；圖6是根據(jù)本發(fā)明原理實施例的用于編碼器的示例回路外方向自適應去偽像濾 波器的框圖；圖7是根據(jù)本發(fā)明原理實施例的在編碼器處進行回路外方向自適應去偽像濾波 的示例方法的流程圖；圖8是根據(jù)本發(fā)明原理實施例的用于解碼器的示例回路外方向自適應去偽像濾 波器的框圖；圖9是根據(jù)本發(fā)明原理實施例的在解碼器處進行回路外方向自適應去偽像濾波 的示例方法的流程圖；圖10示出了根據(jù)本發(fā)明原理實施例的被擴展與本發(fā)明原理一同使用的、能夠執(zhí) 行視頻編碼的示例視頻編碼器的框圖；圖11示出了根據(jù)本發(fā)明原理實施例的被擴展與本發(fā)明原理一同使用的、能夠執(zhí) 行視頻解碼的示例視頻解碼器的框圖；圖12示出了根據(jù)本發(fā)明原理實施例的用于編碼器的示例回路中方向自適應去偽 像濾波器的框圖；圖13示出了根據(jù)本發(fā)明原理實施例的在編碼器處進行回路中方向自適應去偽像 濾波的示例方法的流程圖；圖14示出了根據(jù)本發(fā)明原理實施例的用于解碼器的示例回路中方向自適應去偽 像濾波器的框圖；圖15是根據(jù)本發(fā)明原理實施例的在解碼器處進行回路中方向自適應去偽像濾波 的示例方法的流程圖；圖16示出了根據(jù)本發(fā)明原理實施例的被擴展與本發(fā)明原理一同使用的、能夠執(zhí) 行視頻編碼的另一示例視頻編碼器的框圖；以及圖17示出了根據(jù)本發(fā)明原理實施例的被擴展與本發(fā)明原理一同使用的、能夠執(zhí) 行視頻解碼的另一示例視頻解碼器的框圖。
具體實施例方式本發(fā)明原理涉及使用基于多格稀疏性的濾波來進行去偽像濾波的方法和設備。本說明書示意了本發(fā)明原理。因此將理解的是，盡管這里沒有明確描述或示出，本 領域的技術人員將能夠設想體現(xiàn)本發(fā)明原理并包括在本發(fā)明精神和范圍內的各種布置。這里所記載的所有示例和條件性語言均為了教導的目的，以幫助讀者理解本發(fā)明 原理以及發(fā)明人對現(xiàn)有技術做出貢獻的構思，而不應被視為限于這里具體記載的示例和條 件。
10
此外，這里對本發(fā)明的原理、方面、實施例及其特定示例做出記載的所有聲明意在 包括其結構和功能上的等同物。另外，該等同物將包括當前已知的等同物以及將來開發(fā)出 的等同物，即，所開發(fā)出來的無論結構如何都執(zhí)行相同功能的任何組件。因此，本領域的技術人員可以理解，例如這里所表示的框圖表示體現(xiàn)本發(fā)明原理 的示意性電路的概念圖。類似地，將理解，任何流程、流程圖、狀態(tài)轉移圖、偽碼等都表示各 種過程，這些過程實質上可以表示在計算機可讀介質上并且由計算機或處理器來執(zhí)行，無 論是否明確示出該計算機或處理器?？梢酝ㄟ^使用專用硬件和與適當軟件相結合的能夠執(zhí)行軟件的硬件來實現(xiàn)圖中 所示各個組件的功能。當由處理器來提供時，這些功能可以由單個的專用處理器、單個的共 享處理器、或多個單獨的處理器來提供，其中所述多個單獨處理器中的一些可以是被共享 的。此外，術語“處理器”或“控制器”的顯式使用不應被解釋為排他性地指代能夠執(zhí)行軟 件的硬件，而是可以隱式地包括而不限于數(shù)字信號處理器(“DSP”)硬件、用于存儲軟件的 只讀存儲器(“ROM”)、隨機存取存儲器(“RAM”)以及非易失性存儲器。還可以包括常規(guī)和/或定制的其它硬件。類似地，圖中所示的任何開關僅是概念 上的。這些開關的功能可以通過程序邏輯的操作、通過專用邏輯、通過程序控制與專用邏輯 的交互、或甚至以手動方式來實現(xiàn)，如從上下文中更具體理解的，具體技術可以由實施者來 選擇。在權利要求書中，表示為用于執(zhí)行指定功能的裝置的任何組件意在包括執(zhí)行該功 能的任何方式，例如包括a)執(zhí)行該功能的電路元件的組合，或b)任意形式的軟件，包括固 件、微代碼等，與用于執(zhí)行該軟件的電路相組合以執(zhí)行該功能。由權利要求所限定的本發(fā) 明原理在于如下事實將各個記載的裝置所提供的功能以權利要求所要求的方式組合在一 起。因此，可以把能夠提供這些功能的任意裝置看作與這里所示的裝置相等同。在說明書中提到的本發(fā)明原理的“一個實施例”或“實施例”及其其他變型是指: 結合實施例描述的特定特征、結構、特性等包括在本發(fā)明的至少一個實施例中。因此，貫穿 說明書在不同地方出現(xiàn)的短語“在一個實施例中”或“在實施例中”以及任何其他變型不一 定均指相同的實施例。應當理解的是，以下“/”、“和/或”以及“......中的至少一個”的使用(例如“A/
B”、“A和/或B”以及“A和B中的至少一個”)意在包括只選擇第一所列項目(A)、或只選 擇第二所列項目(B)、或選擇兩個項目(A和B)。作為另一示例，在“A、B和/或C”和“A、B 和C中的至少一個”的情況下，這樣的表示意在包括只選擇第一所列項目(A)、或只選擇第 二所列項目(B)、或只選擇第三所列項目(C)、或只選擇第一和第二所列項目(A和B)、或只 選擇第一和第三所列項目(A和C)、或只選擇第二和第三所列項目(B和C)、或選擇所有三 個項目(A和B和C)。對于本領域和相關領域的普通技術人員來說顯而易見的是，對于所列 的許多項目，上述內容是可以擴展的。這里所使用的術語“畫面”是指包括與靜止和運動視頻有關的圖像和/或畫面在 內的圖像和/或畫面。此外，這里所使用的術語“稀疏性”是指信號在變換域中具有幾個非零系數(shù)的情 況。作為示例，采用具有5個非零系數(shù)的變換表示的信號與使用相同變換架構具有10個非 零系數(shù)的另一信號相比具有更稀疏的表示。
11
此外，如這里所使用的，如關于畫面的子采樣所使用的術語“格”或“基于格”以及 等同地“子格采樣”的是指可以根據(jù)空間連續(xù)和/或不連續(xù)采樣的給定結構圖案來選擇采 樣的子采樣。在示例中，這樣的圖案可以是諸如矩形圖案等幾何圖案。同樣，這里所使用的術語“局部”是指，感興趣項目(包括但不限于，平均幅度測 量、平均噪聲能量、或權重測量的偏離)與像素位置級別的關系，和/或感興趣項目與畫面 內的像素或像素的局部鄰域的對應關系。此外，這里所使用的術語“全局”是指感興趣項目(包括但不限于，平均幅度測 量、平均噪聲能量、或權重測量的偏離)與畫面級別的關系，和/或感興趣項目與畫面或序 列的總像素的對應關系。此外，這里所使用的“高級語法”是指分級駐留在宏塊層之上、存在于比特流中的 語法。例如，這里所使用的高級語法是指，但不限于，片首部級別、補充增強信息(SEI)級 別、畫面參數(shù)集(PPS)級別、序列參數(shù)集(SPS)級別以及網(wǎng)絡抽象層(NAL)單元首部級別處 的語法。此外，應當認識到，盡管這里關于MPEG-4AVC標準描述了本發(fā)明原理的一個或多 個實施例，但是本發(fā)明原理僅不限于該標準，因此可以關于其他視頻編碼標準、推薦標準及 其擴展(包括MPEG-4AVC標準的擴展)來使用本發(fā)明原理，而同時保持本發(fā)明原理的精神。如上所述，本發(fā)明原理涉及使用基于多格稀疏性的濾波來進行去偽像濾波的方法 和設備。有利地，本發(fā)明原理的一個或多個實施例涉及通過使用針對濾波的空時自適應閾 值對畫面的不同子格采樣進行基于稀疏性的濾波，來實現(xiàn)高性能去偽像濾波。例如，在一個 實施例中，濾波基于若干基于稀疏性的濾波步驟的加權組合，這些基于稀疏性的濾波步驟 被應用于要進行濾波的畫面的不子格采樣。針對基于稀疏性的濾波步驟的閾值在空間和時 間上改變，以便最佳地適合量化噪聲的統(tǒng)計和/或其他參數(shù)。例如，本發(fā)明原理根據(jù)以下中 的至少一個(但不限于)來適配濾波閾值信號特性；編碼配置(回路中濾波和/或回路外 濾波)；預測模式；量化噪聲統(tǒng)計；解碼畫面和原始信號的局部編碼模式；壓縮參數(shù)；壓縮 要求；編碼性能；用戶選擇(例如，更尖銳的圖像或更平滑的圖像)；以及質量度量和/或編 碼成本度量。當然，適配濾波器閾值所基于的預測參數(shù)僅是示意性的，在給出這里提供的本 發(fā)明原理的教導的情況下，本領域普通技術人員能夠設想適配濾波閾值所基于的這些和各 種其他參數(shù)，而同時保持本發(fā)明原理的精神。本發(fā)明原理擴展了適用性，并改善了用于對解碼視頻畫面進行去偽像的基于稀疏 性的濾波器的性能。使用過完備變換的基于稀疏性的濾波技術提供了用于減小具體邊緣、 紋理以及其他奇異點周圍的量化噪聲的魯棒機制。然而，這些技術的性能很大程度上取決 于適當濾波閾值的選擇，這種選擇必須反映出大范圍的信號、編碼以及濾波特征。有利地， 本發(fā)明原理提供的靈活性在于，可以將本發(fā)明原理實現(xiàn)為回路中濾波器配置，以及后濾波 和/或回路外濾波器配置。對所選閾值進行編碼并且可以將其作為輔助信息傳送至解碼 器。本發(fā)明原理的使用提供了顯著的比特率節(jié)約以及視覺質量增強?；芈吠鉃V波后濾波策略已經(jīng)普遍應用于增強解碼視頻信號。被稱作“回路之外”或“回路外” 的后濾波器被置于混合視頻編碼回路外部。本發(fā)明原理將第三現(xiàn)有技術方法的方向自適應去偽像濾波器修改為解碼視頻的回路外濾波。為此，視頻序列的高效編碼包括濾波閾值的 自適應選擇。根據(jù)本發(fā)明原理，本發(fā)明在空間和/或時間上適配濾波閾值。由于回路外濾波器不參與視頻編碼回路，因此在時間預測中使用的參考幀仍不被 濾波結果的改變。與回路中濾波策略(例如在MPEG-4AVC標準中出現(xiàn)的那些策略)不同， 回路外濾波允許減小編碼回路的處理延遲。實際上，不需要對參考幀進行濾波操作，以便對 后續(xù)編碼幀進行解碼。在典型的編碼情況下，以幀內模式編碼的第一幀遭遇噪聲和壓縮偽 像。后續(xù)幀的編碼針對運動補償預測使用有噪和偽像傾向數(shù)據(jù)。無論通過幀內編碼引入的 偽像還是通過重復破壞參考數(shù)據(jù)固有的偽像在解碼視頻序列的每個幀中都普遍存在，而不 管編碼模式如何。已經(jīng)證明第三現(xiàn)有技術方法的方向自適應去偽像濾波器能夠高效地對幀內編碼 的幀進行操作。如上所述，當抑制回路中濾波時，可以將與量化噪聲以及在幀內出現(xiàn)的偽像 的假定擴展至時間編碼的幀。在這樣的情況下，方向自適應去偽像濾波器在適合于回路外 濾波時有可能成功克服解碼視頻序列的每個幀內的壓縮偽像。在被稱作回路外方向自適應去偽像濾波器的實施例中，考慮非固定信號特性。例 如，場景內容隨時間的變化可以包括不同的濾波閾值，以便保持性能。因此在編碼時針對每 個幀產(chǎn)生并分別選擇閾值。轉向圖6，用于編碼器的示例回路外方向自適應去偽像濾波器總體由參考數(shù)字 600來指示。濾波器600包括閾值產(chǎn)生器610，閾值產(chǎn)生器610具有以信號通信的方式與方 向自適應去偽像濾波器605的第一輸入以及閾值選擇器615的第一輸入相連接的輸出。方 向自適應去偽像濾波器605的輸出以信號通信的方式與閾值選擇器615的第二輸入相連 接。方向自適應去偽像濾波器605的第二輸入可用作濾波器600的輸入，以接收輸入畫面。 閾值產(chǎn)生器610的輸入可用作濾波器600的輸入，以接收控制數(shù)據(jù)。閾值選擇器615的第 三輸入可用作濾波器600的輸入，以接收原始畫面。閾值選擇器615的輸出可用作濾波器 600的輸出，以輸出最優(yōu)閾值。轉向圖7，在編碼器處進行回路外方向自適應去偽像濾波的示例方法總體由參考 數(shù)字700來指示。方法700包括開始框705，開始框705將控制傳遞至功能框710。功能框 710為當前幀設置濾波閾值集合，并將控制傳遞至循環(huán)限制框715。循環(huán)限制框715執(zhí)行針 對每個濾波閾值(th)的循環(huán)，并將控制傳遞至功能框720。功能框720對輸入畫面應用方 向自適應去偽像濾波器，并將控制傳遞至功能框725。功能框725選擇最優(yōu)閾值(例如，最 大峰值信噪比(PSNR))，更新去偽像后的畫面，并將控制傳遞至循環(huán)限制框730。循環(huán)限制 框730結束針對每個濾波閾值的循環(huán)，并將控制傳遞至功能框735。功能框735向比特流輸 出最優(yōu)閾值，并將控制傳遞至結束框799。再次參照圖6，閾值產(chǎn)生器610使用控制數(shù)據(jù)來選擇用于從中選擇出最優(yōu)閾值的 集合，例如通過使編碼質量度量、編碼成本或聯(lián)合編碼質量和成本中的至少一個最大化，來 從所述集合中選擇最優(yōu)閾值?？刂茢?shù)據(jù)可以考慮但不限于壓縮參數(shù)(例如，QP)、用戶偏好 和/或信號結構和統(tǒng)計。應當認識到，關于控制數(shù)據(jù)考慮的前述項目僅是示意性的，在給出 這里提供的本發(fā)明原理的教導的情況下，本領域以及相關領域的普通技術人員將設想與控 制數(shù)據(jù)有關的這些和各種其他項目，而同時保持本發(fā)明原理的精神。由于閾值選擇器615 使用僅在編碼器側可用的信息(原始圖像I)，因此在視頻編碼方案的比特流中傳輸所選閾
13值。解碼器然后從比特流中提取該信息，以便利用正確的回路外濾波器對解碼信號進行去 偽像。轉向圖8，用于解碼器的示例回路外方向自適應去偽像濾波器總體由參考數(shù)字 800來指示。濾波器800包括方向自適應去偽像濾波器805。方向自適應去偽像濾波器805 的第一輸入可用作濾波器800的輸入，以接收輸入畫面。方向自適應去偽像濾波器805的 第二輸入可用作濾波器800的輸入，以接收最優(yōu)閾值。方向自適應去偽像濾波器805的輸 出可用作濾波器800的輸出，以輸出去偽像后的畫面。轉向圖9，在解碼器處進行回路外方向自適應去偽像濾波的示例方法總體由參考 數(shù)字900來指示。方法900包括開始框905，開始框905將控制傳遞至功能框910。功能框910取回 最優(yōu)濾波閾值，并將控制傳遞至功能915。功能框915對輸入畫面應用方向自適應去偽像濾 波器，并將控制傳遞至功能框920。功能框920輸出去偽像后的畫面，并將控制傳遞至結束 框 999。可以在視頻流的不同級別的數(shù)據(jù)單元處進行濾波閾值的編碼、傳輸以及解碼。閾 值可以應用于畫面區(qū)域、畫面、和/或整個序列。可以使用例如但不限于一個或多個高級語 法元素在比特流中弓丨入定義上述的機制。在實施例中，可以對每片閾值進行編碼。可以利用簡單的均勻碼(但不限于這樣 的方式)對該閾值進行編碼。例如，可以相對于先前片和/或視頻幀差分地對閾值進行編 碼。此外，在編碼器和解碼器處可以已知平均閾值，平均閾值取決于例如但不限于編碼設 置、編碼簡檔和/或量化參數(shù)。可以相對于該平均閾值差分地對自適應閾值進行編碼。然 后，可以使用例如但不限于均勻碼、可變長碼(VLC)和/或算術編碼(例如，上下文自適應 算術二進制編碼(CABAC))，對均勻編碼值和/或差分值進行編碼。在實施例中，在編碼視頻 比特流中，傳輸與針對每個片/幀/序列的所選閾值有關的信息，作為補充增強信息數(shù)據(jù)和 /或某種(些)其他高級語法元素。在實施例中，針對重構數(shù)據(jù)的后濾波器可以應用于MPEG-4AVC標準。在這樣的實 施例中，當回路外方向自適應去偽像濾波器操作時，可以禁用在分別關于圖4和5所示和描 述的標準編碼器和解碼器內的MPEG-4AVC標準去塊濾波器。轉向圖10，被擴展與本發(fā)明原理一同使用、能夠根據(jù)MPEG-4AVC標準執(zhí)行視頻編 碼的示例視頻編碼器總體由參考數(shù)字1000來指示。應用于視頻編碼器1000的擴展提供對 回路外方向自適應去偽像濾波的支持。視頻編碼器1000包括幀排序緩沖器1010，幀排序緩沖器1010具有與組合器1085 的非反相輸入進行信號通信的輸出。組合器1085的輸出以信號通信的方式與變換器和量 化器1025的第一輸入相連接。變換器和量化器1025的輸出以信號通信的方式與上編碼器 1045的第一輸入以及逆變換器和逆量化器1050的第一輸入相連接。熵編碼器1045的輸出 以信號通信的方式與組合器1090的第一非反相輸入相連接。組合器1090的輸出以信號通 信的方式與輸出緩沖器1035的第一輸入相連接。具有擴展(以控制回路外方向自適應去偽像濾波器1047的)編碼器控制器1005 的第一輸出以信號通信的方式與幀排序緩沖器1010的第二輸入、逆變換器和逆量化器 1050的第二輸入、畫面類型判定模塊1015的輸入、宏塊類型(MB類型)判定模塊1020的第一輸入、幀內預測模塊1060的第二輸入、運動補償器1070的第一輸入、運動估計器1075 的第一輸入、參考畫面緩沖器1080的第二輸入、以及回路外方向自適應去偽像濾波器1047 的第三輸入相連接。具有擴展(以控制回路外方向自適應去偽像濾波器1047的)編碼器控制器1005 的第二輸入以信號通信的方式與補充增強信息(SEI)插入器1030的第一輸入、變換器和量 化器1025的第二輸入、熵編碼器1045的第二輸入、輸出緩沖器1035的第二輸入、以及序列 參數(shù)集(SPS)和畫面參數(shù)集(PPS)插入器1040的輸入相連接。SEI插入器1030的輸出以信號通信的方式與組合器1090的第二非反相輸入相連接。畫面類型判定模塊1015的第一輸出以信號通信的方式與幀排序緩沖器1010的第 三輸入相連接。畫面類型判定模塊1015的第二輸出以信號通信的方式與宏塊類型判定模 塊1020的第二輸入相連接。序列參數(shù)集和畫面參數(shù)集插入器1040的輸出以信號通信的方式與組合器1090的 第三非反相輸入相連接。逆量化器和逆變換器1050的輸出以信號通信的方式組合器1019的第一非反相輸 入相連接。組合器1019的輸出以信號通信的方式與幀內預測模塊1060的第一輸入、回路 外方向自適應去偽像濾波器1047的的第一輸入、以及參考畫面緩沖器1080的第一輸入相 連接。參考畫面緩沖器1080的輸出以信號通信的方式與運動估計器1075的第二輸入以及 運動補償器1070的第三輸入相連接。運動估計器1075的第一輸出以信號通信的方式與運 動補償器1070的第二輸入相連接。運動估計器1075的第二輸出以信號通信的方式與熵編 碼器1045的第三輸入相連接?；芈吠夥较蜃赃m應去偽像濾波器1047的第二輸出以信號通 信方式與SEI插入器1030的第三輸入相連接。運動補償器1070的輸出以信號通信的方式與開關1097的第一輸入相連接。幀內 預測模塊1060的輸出以信號通信的方式與開關1097的第二輸入相連接。宏塊類型判定模 塊1020的輸出以信號通信的方式與開關1097的第三輸入相連接。開關1097的第三輸入 確定開關的“數(shù)據(jù)”輸入(與控制輸入相比，即，第三輸入)由運動補償器1070提供還是由 幀內預測模塊1060來提供。開關1097的輸出以信號通信的方式與組合器1019的第二非 反相輸入以及組合器1085的反相輸入相連接。幀排序緩沖器1010的第一輸入、具有擴展(以控制回路外方向自適應去偽像濾波 器1047的)編碼器控制器1005的輸入、以及回路外方向自適應去偽像濾波器1047的第二 輸入可用作編碼器1000的輸入，以接收輸入畫面。此外，補充增強信息(SEI)插入器1030 的第二輸入可用作編碼器1000的輸入，以接收元數(shù)據(jù)。輸出緩沖器1035的輸出可用作編 碼器1000的輸出，以輸出比特流?；芈吠夥较蜃赃m應去偽像濾波器1047的第一輸出可用 作編碼器1000的輸出，以輸出濾波后的畫面。轉向圖11，被擴展與本發(fā)明原理一同使用、能夠根據(jù)MPEG-4AVC標準執(zhí)行視頻解 碼的示例視頻解碼器總體由參考數(shù)字1100來指示。應用于視頻解碼器1100的擴展提供了 對回路外方向自適應去偽像濾波的支持。視頻解碼器1100包括輸入緩沖器1110，輸入緩沖器1110具有以信號通信的方式 與熵解碼器1145的第一輸入以及回路外方向自適應去偽像濾波器1147的第三輸入相連接
15的輸出。熵解碼器1145的第一輸出以信號通信的方式與逆變換器和逆量化器1150的第一 輸入相連接。逆變換器和逆量化器1150的輸出以信號通信的方式與組合器1125的第二非 反相輸入相連接。組合器1125的輸出以信號通信的方式與幀內預測模塊1160的第一輸入 以及參考畫面緩沖器1180的第一輸入相連接。參考畫面緩沖器1180的輸出以信號通信的 方式與運動補償器1170的第二輸入相連接。熵解碼器1145的第二輸出以信號通信的方式與運動補償器1170的第三輸入以及 回路外方向自適應去偽像濾波器1147的第一輸入相連接。熵解碼器1145的第三輸出以信 號通信的方式與具有擴展(以控制回路外方向自適應去偽像濾波器1147的)解碼器控制 器1105的輸入相連接。具有擴展(以控制回路外方向自適應去偽像濾波器1147的)解碼 器控制器1105的第一輸出以信號通信的方式與熵解碼器1145的第二輸入相連接。具有擴 展(以控制回路外方向自適應去偽像濾波器1147的)解碼器控制器1105的第二輸出以信 號通信的方式與逆變換器和逆量化器1150的第二輸入相連接。具有擴展(以控制回路外 方向自適應去偽像濾波器1147的)解碼器控制器1105的第三輸出以信號通信的方式與回 路外方向自適應去偽像濾波器1147的第二輸入相連接。具有擴展(以控制回路外方向自 適應去偽像濾波器1147的)解碼器控制器1105的第四輸出以信號通信的方式與幀內預測 模塊1160的第二輸入、運動補償器1170的第一輸入、以及參考畫面緩沖器1180的第二輸 入相連接。運動補償器1170的輸出以信號通信的方式與開關1197的第一輸入相連接。幀內 預測模塊1160的輸出以信號通信的方式與開關1197的第二輸入相連接。開關1197的輸 出以信號通信的方式與組合器1125的第一非反相輸入相連接。輸入緩沖器1110的輸入可用作解碼器1100的輸入，以接收輸入比特流?；芈吠?方向自適應去偽像濾波器1147的輸出可用作解碼器1100的輸出，以輸出畫面?；芈吠夥?向自適應去偽像濾波器1147的第三輸入可用作解碼器1100的輸入，以接收來自于SEI數(shù) 據(jù)的最優(yōu)閾值。分別修改與圖8和9有關的編碼器控制器805和解碼器控制905，以獲得具有擴展 以控制回路外方向自適應濾波器(即，分別為濾波器1047和1147)的編碼器控制器1005和 解碼器控制器1105。這會影響針對最高效操作來設置、配置以及適配回路外濾波器的塊級 語法和/或高級語法的可能要求。為此，可以在不同級別處定義若干語法字段。表1示出 了根據(jù)實施例的針對回路外和回路中方向自適應去偽像濾波的示例畫面參數(shù)集語法數(shù)據(jù)。 表2示出了根據(jù)實施例的針對回路外和回路中方向自適應去偽像濾波的示例片首部數(shù)據(jù)。 當然，其他高級語法元素也可以用于設置、配置以及適配回路外濾波器，而同時保持本發(fā)明 原理的精神。在實施例中，可以將編碼閾值嵌入到片首部中，以便正確設置解碼器側的濾波
ο表1
表2 現(xiàn)在根據(jù)實施例描述表1和2中所示的一些語法元素。deart_filter_present_flag 如果等于1，則指定在片首部中存在對方向自適應 去偽像濾波器的特性加以控制的語法元素集合。如果等于0，則指示在片首部中不存在對方 向自適應去偽像濾波器的特性加以控制的語法元素集合，而這些語法元素的引用值是有效 的。selection_filter_type 指定在去偽像中使用的濾波器配置。如果等于0，則指 定應當禁用方向自適應去偽像濾波。如果等于1，則指定使用回路外方向自適應去偽像濾 波。如果等于2，則指定使用回路中方向自適應去偽像濾波。enable_threshold—generation_type、enable_selection_type 是會邑夠處于例如 但不限于序列參數(shù)集和/或畫面參數(shù)集級別的高級語法值。在實施例中，這些值使得能夠 改變?yōu)V波器類型的缺省值、閾值產(chǎn)生形式以及閾值選擇方法。thresho 1 d_generation_type 指定在方向自適應去偽像濾波中使用哪個閾值集 合。例如，在實施例中，該集合可以取決于壓縮參數(shù)、用戶偏好、和/或信號特性。threshold_selection_type 指定在利用方向自適應去偽像濾波的編碼中使用哪 個最優(yōu)閾值選擇方法。例如，在實施例中，可以最大化編碼質量、編碼成本、或聯(lián)合編碼質量 和成本?；芈分袨V波回路中濾波的一個優(yōu)點是視頻編碼器能夠使用濾波的參考幀來進行運動估計和 補償。與回路外濾波備選方式相比，這種濾波配置可以改善視頻流的客觀和主觀質量。然 而，不加以區(qū)分的濾波意味著從先前濾波的參考幀開始重復的圖像區(qū)域。為了避免對這種 區(qū)域的可能過濾波，方向自適應去偽像濾波器的回路中實現(xiàn)方式必須是關于在塊級以及像 素級的編碼差異而局部自適應的。在典型混合視頻編碼器內的時間編碼塊經(jīng)過各種局部編碼模式和條件，這些局部 編碼模式和條件對不同量化噪聲統(tǒng)計作出貢獻。三種不同的塊編碼模式或條件可以定義 為(1)幀內編碼；(2)編碼殘差的幀間編碼；以及(3)不編碼殘差的幀間編碼。前兩種情況包括不同模式的預測編碼以及它們的量化效應。此外，這種塊之間的 邊界遭受變化劇烈的分塊偽像?；贛PEG-4AVC標準去塊濾波器的濾波強度觀察，不編碼 殘差的幀間編碼塊的邊界同樣受到塊偽像的影響，該邊界呈現(xiàn)多于一個像素的塊運動的差 異或來自不同參考幀的運動補償。以上描述的條件可以用于識別和隔離需要專用濾波策略的圖像區(qū)域。根據(jù)局部編
18碼條件將亮度圖像的每個像素分組成特定類別。在示例實施例中，對條件進行全面評估，從 而指示所選塊內或沿著這種塊的邊界的像素。在本實施例中，注意，如果像素與塊邊緣相距 距離d以內，則認為該像素屬于塊的邊界。分類獲得濾波圖，濾波圖提供了具有不同量化效應的圖像區(qū)域的局部區(qū)分。在實 施例中，被稱作回路中方向自適應去偽像濾波器的圖創(chuàng)建模塊用于執(zhí)行以上分類并針對視 頻序列的每個幀提供濾波圖。經(jīng)由亮度的子采樣來獲得針對圖像的色度分量的濾波圖。轉向圖12，用于編碼器的示例回路中方向自適應去偽像濾波器總體由參考數(shù)字 200來指示。濾波器1200包括方向自適應去偽像濾波器1205，方向自適應去偽像濾波器 1205具有與閾值選擇器(針對每個類別)1215的第二輸入以及濾波圖像構造器1225的第 三輸入的進行信號通信的輸出。閾值選擇器1215的輸出以信號通信的方式與濾波圖像構 造器1225的第二輸入相連接。閾值產(chǎn)生器1210的輸出以信號通信的方式閾值選擇器1215 的第一輸入以及方向自適應去偽像濾波器1205的第二輸入相連接。圖創(chuàng)建器1220的輸出 以信號通信的方式與閾值選擇器1215的第四輸入以及濾波圖像構造器1225的第一輸入相 連接。方向自適應去偽像濾波器1205的第一輸入可用作濾波器1200的輸入，以接收輸入 畫面。閾值產(chǎn)生器1210的輸入可用作濾波器1200的輸入，以接收控制數(shù)據(jù)。閾值選擇器 1215的第三輸入可用作濾波器1200的輸入，以接收原始畫面。圖創(chuàng)建器1220的輸入可用 作濾波器1200的輸入，以接收編碼信息。閾值選擇器1215的輸出還可用作濾波器1200的 輸出，以輸出針對每個類別的最優(yōu)閾值。濾波圖像重構1225的輸出可用作濾波器1200的 輸出，以輸出去偽像的畫面。轉向圖13，在編碼器處進行回路中方向自適應去偽像濾波的示例方法總體由參考 數(shù)字1300來指示。方法1300包括開始框1305，開始框1305將控制傳遞至功能框1310。功 能框1310設置針對當前幀的濾波閾值集合和濾波圖，并將控制傳遞至循環(huán)限制框1315。循 環(huán)限制框1315執(zhí)行針對每個濾波閾值(th)的循環(huán)，并將控制傳遞至功能框1320。功能框 1320對輸入畫面應用方向自適應去偽像濾波，并將控制傳遞至循環(huán)限制框1325。循環(huán)限制 框1325執(zhí)行針對濾波圖的每個類別的循環(huán)，并將控制傳遞至功能框1330。功能框1330選 擇最優(yōu)閾值(例如，最大PSNR)，利用每個類別中的濾波像素來更新去偽像的畫面，并將控 制傳遞至循環(huán)限制框1335。循環(huán)限制框1335結束針對每個類別的循環(huán)，并將控制傳遞至循 環(huán)限制框1340。循環(huán)限制框1340結束針對每個濾波閾值(th)的循環(huán)，并將控制傳遞至功 能框1345。功能框1345將針對每個類別的最優(yōu)閾值輸出至比特流，輸出去偽像的畫面，并 將控制傳遞至結束框1399。在實施例中，借助于濾波圖，在每個指定類別內的像素去偽像中應用專用濾波閾 值。再次參照圖12，閾值產(chǎn)生器1210使用控制數(shù)據(jù)來定義閾值集合，該閾值集合在編碼過 程期間應用于圖像的方向自適應去偽像濾波?？刂茢?shù)據(jù)可以考慮但不限于，壓縮參數(shù)(例 如，量化參數(shù)(QP))、用戶偏好、局部和/或全局信號特性、和/或局部和/或全局噪聲/失 真特性。閾值可以被自適應地設置為使例如但不限于視頻質量度量、編碼成本度量、以及聯(lián) 合質量中的至少一個最優(yōu)化。例如，對于每個類別，選擇最優(yōu)閾值，使得類別內濾波后的像 素與原始像素之間的PSNR最大化。應認識到，可以以并行方式來實現(xiàn)各個閾值下的濾波操 作。在實施例中，可以使用若干獨立濾波操作，其中每個濾波操作使用可應用于每個類別的 可能閾值之一，以便產(chǎn)生畫面的不同濾波版本。這種情況下的濾波器是基于與要濾波畫面的不同子格采樣有關的若干基于稀疏性的濾波步驟的加權組合。在實施例中，(例如，通過 濾波圖像構造器1225)構造包括針對每個類別的最優(yōu)濾波數(shù)據(jù)在內的合成圖像，并使其可 用于其余的編碼模塊。由于閾值選擇器1215使用僅在編碼器處可用的信息(原始圖像)， 因此在視頻編碼方案的比特流中傳輸針對每個類別的所選閾值。在實施例中，可以對每片所選閾值進行編碼。這是閾值可以是但不限于利用簡單 的均勻碼進行編碼。例如，可以相對于先前片和/或視頻幀差分地對這些閾值進行編碼。此 外，在編碼器和解碼器處可以已知例如取決于編碼設置、編碼簡檔和/或量化參數(shù)的某種 平均閾值?？梢韵鄬τ谠撈骄撝挡罘值貙ψ赃m應閾值進行編碼。然后，可以使用例如但 不限于均勻碼、可用長度碼(VLC)、和/或算術編碼(例如，上下文自適應算術二進制編碼 (CABAC))對均勻編碼的值和/或差分值進行編碼。在實施例中，在編碼視頻比特流內傳輸 與針對每個片/幀/序列的所選閾值有關的信息作為SEI (補充增強信息)數(shù)據(jù)。本領域 普通技術人員將認識到，諸如任何高級語法參數(shù)集合等其他數(shù)據(jù)單元和/或首部(例如，片 參數(shù)集合、畫面參數(shù)集合、序列參數(shù)集合等)也可以用于閾值傳輸。解碼器還構造濾波圖，并且利用從比特流中提取的最優(yōu)閾值信息相應地繼續(xù)對每 個類別內像素進行去偽像。方向自適應去偽像濾波結果用于產(chǎn)生濾波后的圖像，在濾波后 的圖像中，每個類別中的像素已經(jīng)經(jīng)過特定濾波閾值的處理。轉向圖14，用于解碼器的示例回路中方向自適應去偽像濾波器總體由參考數(shù)字 1400來指示。濾波器1400包括方向自適應去偽像濾波器1405，方向自適應去偽像濾波器 1405具有以信號通信方式與濾波圖像構造器1415的第三輸入相連接的輸出。圖創(chuàng)建器 1410的輸出以信號通信方式與濾波圖像構造器1415的第一輸入相連接。方向自適應去偽 像濾波器1405的輸入可用作濾波器1400的輸入，以接收輸入畫面。方向自適應去偽像濾 波器1405的第二輸入以及濾波圖像構造器1415的第二輸入可用作濾波器1400的輸入，以 接收針對每個類別的最優(yōu)閾值。圖創(chuàng)建器1410的輸入可用作濾波器1400的輸入，以接收 編碼信息。濾波圖像構造器1415的輸出可用作濾波器1400的輸出，以輸出去偽像的畫面。轉向圖15，在解碼器處進行回路中方向自適應去偽像濾波的示例方法總體由參考 數(shù)字1500來指示。方法1500包括開始框1505，開始框1505將控制傳遞至功能框1510。 功能框1510取回最優(yōu)濾波閾值并設置針對當前幀的濾波圖，并將控制傳遞至循環(huán)限制框 1515。循環(huán)限制框1515執(zhí)行針對每個濾波閾值(th)的循環(huán)，并將控制傳遞至功能框1520。 功能框1520對輸入畫面應用方向自適應去偽像濾波器，并將控制傳遞至功能框1525。功能 框1525利用針對濾波圖的每個類別的濾波像素來更新去偽像的畫面，并將控制傳遞至循 環(huán)限制框1530。循環(huán)限制框1530結束針對每個濾波閾值(th)的循環(huán)，并將控制傳遞至功 能框1535。功能框1535輸出去偽像的畫面，并將控制傳遞至結束框1599。具有空時自適應閾值的回路中方向自適應去偽像濾波器嵌入在混合視頻編碼器/ 解碼器的回路中。例如視頻編碼器/解碼器可以作為MPEG-4AVC標準視頻編碼器/解碼器 的擴展。在這種情況下，在回路中方向自適應去偽像濾波器進行操作時可以代替、補充和/ 或禁用MPEG-4AVC標準去塊濾波器?？梢栽诰幋a視頻比特流中傳輸與針對幀內每個類別的 所選閾值有關的信息作為例如但不限于SEI (補充增強信息)數(shù)據(jù)。在實施例中，用于重構數(shù)據(jù)的回路中濾波器可以應用于MPEG-4AVC標準。在這種 情況下，當回路中方向自適應去偽像濾波器正在操作時，可以禁用圖8和9所示的標準編碼器和解碼器內的MPEG-4AVC標準去塊濾波器。轉向圖16，被擴展與本發(fā)明原理一同使用的、能夠根據(jù)MPEG-4AVC標準執(zhí)行視頻 編碼的另一示例視頻編碼器總體由參考數(shù)字1600來指示。應用于視頻編碼器1600的擴展 提供對回路中方向自適應去偽像濾波的支持。視頻編碼器1600包括幀排序緩沖器1610，幀排序緩沖器1610具有與組合器1685 的非反相輸入進行信號通信的輸出。組合器1685的輸出以信號通信方式與變換器和量化 器1625的第一輸入相連接。變換器和量化器1625的輸出以信號通信方式與熵編碼器1645 的第一輸入以及逆變換器和逆量化器1650的第一輸入相連接。熵編碼器1645的輸出以信 號通信方式與組合器1690的第一非反相輸入相連接。組合器1690的輸出以信號通信方式 與輸出緩沖器1635的第一輸入相連接。具有擴展(以控制回路中方向自適應去偽像濾波器1647的)編碼器控制器1605 的第一輸出以信號通信的方式與幀排序緩沖器1610的第二輸入、逆變換器和逆量化器 1650的第二輸入、畫面類型判定模塊1615的輸入、宏塊類型(MB類型)判定模塊1620的 第一輸入、幀內預測模塊1660的第二輸入、回路中方向自適應去偽像濾波器1647的第二輸 入、運動補償器1670的第一輸入、運動估計器1675的第一輸入、以及參考畫面緩沖器1680 的第二輸入相連接。具有擴展(以控制回路中方向自適應去偽像濾波器1647的)編碼器控制器1605 的第二輸出以信號通信的方式與補充增強信息(SEI)插入器1630的第一輸入、變換器和量 化器1625的第二輸入、熵編碼器1645的第二輸入、輸出緩沖器1635的第二輸入、以及序列 參數(shù)集(SPS)和畫面參數(shù)集(PPS)插入器1640的輸入相連接。SEI插入器1630的輸出以信號通信的方式與組合器1690的第二非反相輸入相連接。畫面類型判定模塊1615的第一輸出以信號通信的方式與幀排序緩沖器1610的第 三輸入相連接。畫面類型判定模塊1615的第二輸出以信號通信的方式與宏塊類型判定模 塊1620的第二輸入相連接。序列參數(shù)集(SPS)和畫面參數(shù)集(PPS)插入器1640的輸出以信號通信的方式與 組合器1690的第三非反相輸入相連接。逆量化器和逆變換器1650的輸出以信號通信的方式組合器1619的第一非反相輸 入相連接。組合器1619的輸出以信號通信的方式與幀內預測模塊1660的第一輸入、以及 回路中方向自適應去偽像濾波器1647的第一輸入相連接?；芈分蟹较蜃赃m應去偽像濾波 器1665的第一輸出以信號通信方式與參考畫面緩沖器1680的第一輸入相連接。參考畫面 緩沖器1680的輸出以信號通信的方式與運動估計器1675的第二輸入以及運動補償器1670 的第三輸入相連接。運動估計器1675的第一輸出以信號通信的方式與運動補償器1670的 第二輸入相連接。運動估計器1675的第二輸出以信號通信的方式與熵編碼器1645的第三 輸入相連接。回路中方向自適應去偽像濾波器1647的第二輸出以信號通信方式與SEI插 入器1630的第三輸入相連接。運動補償器1670的輸出以信號通信的方式與開關1697的第一輸入相連接。幀內 預測模塊1660的輸出以信號通信的方式與開關1697的第二輸入相連接。宏塊類型判定模 塊1620的輸出以信號通信的方式與開關1697的第三輸入相連接。開關1697的第三輸入確定開關的“數(shù)據(jù)”輸入(與控制輸入相比，即，第三輸入)由運動補償器1670提供還是由 幀內預測模塊1660來提供。開關1697的輸出以信號通信的方式與組合器1619的第二非 反相輸入以及組合器1685的反相輸入相連接。幀排序緩沖器1610的第一輸入、(具有擴展以控制回路中方向自適應去偽像濾波 器1647的)編碼器控制器1605的輸入、以及回路中方向自適應去偽像濾波器1647的第三 輸入可用作編碼器1600的輸入，以接收輸入畫面。此外，補充增強信息(SEI)插入器1630 的第二輸入可用作編碼器1600的輸入，以接收元數(shù)據(jù)。輸出緩沖器1635的輸出可用作編 碼器1600的輸出，以輸出比特流。轉向圖17，被擴展與本發(fā)明原理一同使用、能夠根據(jù)MPEG-4AVC標準執(zhí)行視頻解 碼的示例視頻解碼器總體由參考數(shù)字1700來指示。應用于視頻解碼器1700的擴展提供對 回路中方向自適應去偽像濾波的支持。視頻解碼器1700包括輸入緩沖器1710，輸入緩沖器1710具有以信號通信的方式 與熵解碼器1745的第一輸入以及回路中方向自適應去偽像濾波器1747的第四輸入相連接 的輸出。熵解碼器1745的第一輸出以信號通信的方式與逆變換器和逆量化器1750的第一 輸入相連接。逆變換器和逆量化器1750的輸出以信號通信的方式與組合器1725的第二非 反相輸入相連接。組合器1725的輸出以信號通信的方式與回路中方向自適應去偽像濾波 器1747的第二輸入以及幀內預測模塊1760的第一輸入相連接。回路中方向自適應去偽像 濾波器1747的第二輸出以信號通信方式與參考畫面緩沖器1780的第一輸入相連接。參考 畫面緩沖器1780的輸出以信號通信的方式與運動補償器1770的第二輸入相連接。熵解碼器1745的第二輸出以信號通信的方式與運動補償器1770的第三輸入以及 回路中方向自適應去偽像濾波器1747的第一輸入相連接。熵解碼器1745的第三輸出以信 號通信的方式與解碼器控制器1705的輸入相連接。解碼器控制器1705的第一輸出以信號 通信的方式與熵解碼器1745的第二輸入相連接。解碼器控制器1705的第二輸出以信號通 信的方式與逆變換器和逆量化器1750的第二輸入相連接。解碼器控制器1705的第三輸 出以信號通信的方式與回路中方向自適應去偽像濾波器1747的第三輸入相連接。解碼器 控制器1705的第四輸出以信號通信的方式與幀內預測模塊1760的第二輸入、運動補償器 1770的第一輸入、以及參考畫面緩沖器1780的第二輸入相連接。運動補償器1770的輸出以信號通信的方式與開關1797的第一輸入相連接。幀內 預測模塊1760的輸出以信號通信的方式與開關1797的第二輸入相連接。開關1797的輸 出以信號通信的方式與組合器1725的第一非反相輸入相連接。輸入緩沖器1710的輸入可用作解碼器1700的輸入，以接收輸入比特流?；芈分?方向自適應去偽像濾波器1747的第一輸出可用作解碼器1700的輸出，以輸出輸出畫面。修改分別與圖8和9有關的編碼器控制器805和解碼器控制905，以獲得具有擴展 以控制回路中方向自適應濾波器(即，分別為濾波器1647和1747)的編碼器控制器1605和 解碼器控制器1705。這會影響針對最高效操作來設置、配置以及適配回路中濾波器的塊級 語法和/或高級語法的可能要求。為此，可以在不同級別處定義若干語法字段。表1示出 了根據(jù)實施例的針對回路外和回路中方向自適應去偽像濾波的示例畫面參數(shù)集語法數(shù)據(jù)。 表2示出了根據(jù)實施例的針對回路外和回路中方向自適應去偽像濾波的示例片首部數(shù)據(jù)。 當然，其他高級語法元素也可以用于設置、配置以及適配回路外濾波器，而同時保持本發(fā)明原理的精神。現(xiàn)在根據(jù)實施例描述表1和2中所示的一些語法元素。。enab 1 e_map_creation_type 是例如能夠位于序列參數(shù)集和/或畫面參數(shù)集級別 處的高級語法元素。在實施例中，該元素的值使得能夠改變針對濾波圖類型的缺省值。map_creation_type 指定在回路中方向自適應去偽像濾波中使用的濾波圖的類 型。例如，在實施例中，其可以用于設置類別的數(shù)目以及濾波圖的邊界大小?，F(xiàn)在將對本發(fā)明的許多附加優(yōu)點/特征給出描述，其中的一些以上已經(jīng)提及。例 如，一個優(yōu)點/特征是一種設備，該設備具有用于對畫面的畫面數(shù)據(jù)進行去偽像濾波的基 于稀疏性的濾波器。畫面數(shù)據(jù)包括畫面的不同子格采樣。用于濾波器的基于稀疏性的濾波 閾值在時間上改變。另一優(yōu)點/特征是如上所述具有基于稀疏性的濾波器的設備，其中，基于稀疏性 的濾波閾值在空間上改變。又一優(yōu)點/特征是如上所述具有基于稀疏性的濾波器的設備，其中，基于稀疏性 的濾波閾值響應于以下中的至少一個而改變局部信號統(tǒng)計、全局信號統(tǒng)計、局部噪聲、全 局噪聲、局部失真、全局失真、壓縮參數(shù)、預測模式、用戶選擇、視頻質量度量、以及編碼成本度量。又一優(yōu)點/特征是如上所述具有基于稀疏性的濾波器的設備，其中，創(chuàng)建與多個 類別相對應的類別圖，并且針對多個類別中的每一個類別選擇相應閾值。多個類別中的每 一個類別與特定編碼條件集合相對應。又一優(yōu)點/特征是如上所述具有基于稀疏性的濾波器的設備，其中，使用均勻編 碼值、相對于先前閾值差分地編碼的值、以及平均閾值中的至少一個，來對基于稀疏性的濾 波閾值進行編碼。平均閾值取決于至少一個編碼設置、至少一個編碼簡檔、以及至少一個量 化參數(shù)中的至少一個。使用均勻碼、可變長碼以及算術碼中的至少一個對均勻編碼值和差 分值中的至少一個進行編碼。此外，另一優(yōu)點/特征是如上所述具有基于稀疏性的濾波器的設備，其中，使用至 少一個高級語法元素在編碼視頻比特流中傳輸濾波閾值信息。此外，另一優(yōu)點/特征是如上所述具有基于稀疏性的濾波器的設備，其中，濾波器 被配置對畫面數(shù)據(jù)進行回路中處理和回路外處理中的至少一個。同樣，另一優(yōu)點/特征是如上所述具有基于稀疏性的濾波器的設備，其中，濾波器 包括在視頻編碼器和視頻解碼器中的至少一個中。此外，另一優(yōu)點/特征是如上所述具有基于稀疏性的濾波器的設備，其中，基于稀 疏性的濾波閾值被有選擇地對與畫面數(shù)據(jù)相對應的整個畫面或部分畫面。此外，另一優(yōu)點/特征是如上所述具有基于稀疏性的濾波器的、其中有選擇地應 用基于稀疏性的濾波閾值的設備，其中，獨立或聯(lián)合地適配基于稀疏性的濾波閾值。此外，另一優(yōu)點/特征是如上所述具有基于稀疏性的濾波器的設備，其中，能夠對 濾波器所執(zhí)行的基于稀疏性的濾波操作進行組合、適配、啟用以及禁用中的至少一個。同樣，另一優(yōu)點/特征是如上所述具有基于稀疏性的濾波器的設備，其中，濾波器 包括在視頻編碼器中，使用至少一個高級語法元素向相應解碼器信號通知是否對任何去偽 像操作進行了組合、適配、啟用以及禁用中的至少一個。
此外，另一優(yōu)點/特征是如上所述具有基于稀疏性的濾波器的設備，其中，濾波器 包括在視頻解碼器中，根據(jù)至少一個高級語法元素來確定是否對任何去偽像操作進行了組 合、適配、啟用以及禁用中的至少一個?；谶@里的教導，本領域的普通技術人員可以容易地確定本發(fā)明的這些以及其它 特征和優(yōu)點。應理解的是，本發(fā)明的教導可以以硬件、軟件、固件、專用處理器或其組合的各 種形式來實現(xiàn)。最優(yōu)選地，將本發(fā)明的教導實現(xiàn)為硬件和軟件的組合。此外，可以將軟件實現(xiàn)為在 程序存儲單元上具體體現(xiàn)的應用程序?？蓪⒃搼贸绦蛏陷d到包括任何適合架構在內的機 器并由該機器執(zhí)行。優(yōu)選地，在具有硬件(如，一個或多個中央處理單元(“CPU”)、隨機訪 問存儲器(“RAM”)以及輸入/輸出(“I/O”)接口)的計算機平臺上實現(xiàn)該機器。該計 算機平臺還可以包括操作系統(tǒng)和微指令代碼。這里描述的各種處理和功能可以是可由CPU 執(zhí)行的微指令代碼的一部分或應用程序的一部分或其組合。此外，可將其它各種外圍單元 連接到計算機平臺，如附加的數(shù)據(jù)存儲單元和打印單元。還應理解的是，由于在附圖中描述的一些構成系統(tǒng)組件和方法優(yōu)選地以軟件來實 現(xiàn)，系統(tǒng)組件或處理功能塊之間的實際連接可以根據(jù)對本發(fā)明原理編程的方式而有所不 同。在這里給出教導的情況下，本領域的普通技術人員將能夠想到本發(fā)明的這些以及類似 的實現(xiàn)方式或配置。雖然這里參考附圖描述了示意性的實施例，但是應理解的是，本發(fā)明并不限于這 些確定的實施例，在不背離本發(fā)明的范圍或精神的情況下，本領域的普通技術人員可以實 現(xiàn)各種變化和修改。所有這些變化和修改旨在包括在如所附權利要求中所闡述的本發(fā)明的 范圍內。
權利要求
一種設備，包括用于對畫面的畫面數(shù)據(jù)進行去偽像濾波的基于稀疏性的濾波器(600、800、1047、1147、1200、1400、1647、1747)，所述畫面數(shù)據(jù)包括畫面的不同子格采樣，其中濾波器的基于稀疏性的濾波閾值在時間上改變。
2.根據(jù)權利要求1所述的設備，其中，基于稀疏性的濾波閾值在空間上改變(1210、 1220)。
3.根據(jù)權利要求2所述的設備，其中，基于稀疏性的濾波閾值響應于以下中的至少一 個而改變局部信號統(tǒng)計、全局信號統(tǒng)計、局部噪聲、全局噪聲、局部失真、全局失真、壓縮參 數(shù)、預測模式、用戶選擇、視頻質量度量、以及編碼成本度量(1215)。
4.根據(jù)權利要求1所述的設備，其中，創(chuàng)建與多個類別相對應的類別圖，并且針對多 個類別中的每一個選擇相應閾值，多個類別中的每一個與特定編碼條件集合相對應(1210、 1215,1220)。
5.根據(jù)權利要求1所述的設備，其中，使用均勻編碼值、相對于先前閾值差分地編碼的 值、以及平均閾值中的至少一個來對基于稀疏性的濾波閾值進行編碼，其中，平均閾值取決 于至少一個編碼設置、至少一個編碼簡檔、以及至少一個量化參數(shù)中的至少一個，使用均勻 碼、可變長碼以及算術碼中的至少一個對均勻編碼值和差分值中的至少一個進行編碼。
6.根據(jù)權利要求1所述的設備，其中，使用至少一個高級語法元素在編碼視頻比特流 中傳輸濾波閾值信息(1030)。
7.根據(jù)權利要求1所述的設備，其中，所述基于稀疏性的濾波器(600、800、1047、1147、 1200、1400、1647、1747)被配置為對畫面數(shù)據(jù)進行回路中處理以及回路外處理中的至少一 個。
8.根據(jù)權利要求1所述的設備，其中，所述基于稀疏性的濾波器(600、800、1047、1147、 1200、1400、1647、1747)包括在視頻編碼器和視頻解碼器中的至少一個中。
9.根據(jù)權利要求1所述的設備，其中，基于稀疏性的濾波閾值被有選擇地應用于與畫 面數(shù)據(jù)相對應的整個畫面或部分畫面(800)。
10.根據(jù)權利要求9所述的設備，其中，獨立或聯(lián)合地適配基于稀疏性的濾波閾值。
11.根據(jù)權利要求1所述的設備，其中，能夠對所述基于稀疏性的濾波器(600、800、 1047、1147、1200、1400、1647、1747)所執(zhí)行的基于稀疏性的濾波操作進行組合、適配、啟用 以及禁用中的至少一個。
12.根據(jù)權利要求11所述的設備，其中，基于稀疏性的濾波器(600、800、1047、1147、 1200、1400、1647、1747)包括在視頻編碼器中，使用至少一個高級語法元素向相應解碼器信 號通知是否對任何去偽像操作進行了組合、適配、啟用以及禁用中的至少一個。
13.根據(jù)權利要求11所述的設備，其中，基于稀疏性的濾波器(600、800、1047、1147、 1200、1400、1647、1747)包括在視頻解碼器中，根據(jù)至少一個高級語法元素來確定是否對任 何去偽像操作進行了組合、適配、啟用以及禁用中的至少一個。
14.一種方法，包括用于對畫面的畫面數(shù)據(jù)進行去偽像濾波，所述畫面數(shù)據(jù)包括畫面的不同子格采樣，其 中，針對濾波的基于稀疏性的濾波閾值在時間上改變(725、910、1130、1510)。
15.根據(jù)權利要求14所述的方法，其中，基于稀疏性的濾波閾值在空間上改變(1330、1510)。
16.根據(jù)權利要求15所述的方法，其中，基于稀疏性的濾波閾值響應于以下中的至少 一個而改變局部信號統(tǒng)計、全局信號統(tǒng)計、局部噪聲、全局噪聲、局部失真、全局失真、壓縮 參數(shù)、預測模式、用戶選擇、視頻質量度量、以及編碼成本度量(1215)。
17.根據(jù)權利要求14所述的方法，還包括創(chuàng)建與多個類別相對應的類別圖(1310、1510)；以及針對多個類別中的每一個選擇相應閾值，多個類別中的每一個與特定編碼條件集合相 對應(1330、1510)。
18.根據(jù)權利要求14所述的方法，其中，使用均勻編碼值、相對于先前閾值差分地編 碼的值、以及平均閾值中的至少一個來對基于稀疏性的濾波閾值進行編碼，其中，平均閾值 取決于至少一個編碼設置、至少一個編碼簡檔、以及至少一個量化參數(shù)中的至少一個，使用 均勻碼、可變長碼以及算術碼中的至少一個對均勻編碼值和差分值中的至少一個進行編碼 (1345,1510)。
19.根據(jù)權利要求14所述的方法，還包括使用至少一個高級語法元素在編碼視頻比 特流中傳輸濾波閾值信息(1345、1510)。
20.根據(jù)權利要求14所述的方法，還包括進行基于稀疏性的濾波，以對畫面數(shù)據(jù)進行 回路中處理以及回路外處理中的至少一個(700、900、1300、1500)。
21.根據(jù)權利要求14所述的方法，其中，基于稀疏性的濾波在視頻編碼器和視頻解碼 器中的至少一個中執(zhí)行(700、900、1300、1500)。
22.根據(jù)權利要求14所述的方法，其中，將基于稀疏性的濾波閾值有選擇地應用于與 畫面數(shù)據(jù)相對應的整個畫面或部分畫面(710、915、1345、1510)。
23.根據(jù)權利要求22所述的方法，其中，獨立或聯(lián)合地適配基于稀疏性的濾波閾值。
24.根據(jù)權利要求14所述的方法，其中，所述基于稀疏性的濾波步驟包括對畫面數(shù)據(jù) 應用至少一個基于稀疏性的濾波操作，其中能夠對基于稀疏性的濾波操作進行組合、適配、 啟用以及禁用中的至少一個。
25.根據(jù)權利要求24所述的方法，其中，基于稀疏性的濾波在視頻編碼器中執(zhí)行，所述 方法還包括使用至少一個高級語法元素向相應解碼器信號通知是否對任何去偽像操作進 行了組合、適配、啟用以及禁用中的至少一個。
26.根據(jù)權利要求24所述的方法，其中，基于稀疏性的濾波在視頻解碼器中執(zhí)行，所述 方法還包括根據(jù)至少一個高級語法元素來確定是否對任何去偽像操作進行了組合、適配、 啟用以及禁用中的至少一個。
全文摘要
提供了使用基于多格稀疏的濾波來進行去偽像濾波的方法和設備。該設備包括用于對畫面的畫面數(shù)據(jù)進行去偽像濾波的基于稀疏性的濾波器(600)。畫面數(shù)據(jù)包括畫面的不同子格采樣。用于濾波器的基于稀疏性的濾波閾值在時間上改變。
文檔編號H04N7/46GK101911704SQ200980102170
公開日2010年12月8日 申請日期2009年1月12日 優(yōu)先權日2008年1月14日
發(fā)明者卡米洛·昌·多雷亞, 奧斯卡·迪沃拉·埃斯科達, 尹鵬 申請人:湯姆森許可貿易公司