技術領域
本公開涉及圖像處理裝置和圖像處理方法。
背景技術:
H.264/AVC作為圖像編碼方案的標準規(guī)范之一,以例如各自包含4×4像素的塊為單位對塊邊界應用解塊濾波,從而減輕由于編碼圖像時產(chǎn)生的塊效應導致的圖像質(zhì)量劣化。解塊濾波需要很大的計算量,并且在解碼圖像時會占用整個處理負載的例如50%。
根據(jù)JCTVC-A119,高效視頻編碼(HEVC)的標準作業(yè)作為下一代的圖像編碼方案,提出了以各自包含8×8像素或以上的塊為單位應用解塊濾波(參見非專利文獻1)。JCTVC-A119中提出的技術增加了應用解塊濾波的最小單位的塊尺寸。該技術與H.264/AVC類似,也確定需要逐塊應用解塊濾波。
引證列表
非專利文獻
非專利文獻1:K.Ugur(Nokia),K.R.Andersson(LM Ericsson),A.Fuldseth(Tandberg Telecom),"JCTVC-A119:Video coding technology proposal by Tandberg,Nokia,and Ericsson",Documents of the first meeting of the Joint Collaborative Team on Video Coding(JCT-VC),Dresden,Germany,15-23April,2010.
技術實現(xiàn)要素:
技術問題
然而,由塊效應引起的圖像劣化未必在塊內(nèi)均勻呈現(xiàn)。換句話說,在被判定需要應用解塊濾波的塊的一部分內(nèi)可能圖像質(zhì)量已經(jīng)良好。類似地,在被判定無需應用解塊濾波的塊的一部分內(nèi)可能圖像質(zhì)量實際上是劣化的。對具有良好圖像質(zhì)量的部分應用解塊濾波事實上會損害該部分的圖像質(zhì)量。同時,如果不對圖像質(zhì)量劣化的部分應用解塊濾波,那么將無法改善圖像質(zhì)量。
因此,期望提供一種能夠更為恰當?shù)嘏卸☉媒鈮K濾波的范圍的圖像處理裝置和圖像處理方法。
所要解決的問題
根據(jù)一個實施方式,提供了一種圖像處理裝置,包括對編碼流進行解碼以生成圖像的解碼部;判定是否需要對在由解碼部生成的圖像內(nèi)隔著邊界相鄰的鄰接塊內(nèi)的、與該邊界垂直的每個線應用解塊濾波的線判定部;以及對線判定部判定為應用解塊濾波的每個線應用解塊濾波的濾波部。
圖像處理裝置可以典型地被實現(xiàn)為解碼圖像的圖像解碼設備。
根據(jù)另一個實施方式,提供了一種圖像處理方法,包括對編碼流進行解碼以生成圖像;判定是否需要對在生成的圖像內(nèi)隔著邊界相鄰的鄰接塊內(nèi)的、與該邊界垂直的每個線應用解塊濾波;以及對被判定為應用解塊濾波的每個線應用解塊濾波。
此外,根據(jù)另一個實施方式,提供了一種圖像處理裝置,包括:線判定部,在編碼待編碼圖像之時判定是否需要對在局部解碼圖像內(nèi)隔著邊界相鄰的鄰接塊內(nèi)的、與該邊界垂直的每個線應用解塊濾波;濾波部,對線判定部判定應用解塊濾波的每個線應用解塊濾波;以及編碼部,通過使用由濾波部濾波的圖像對待編碼圖像進行編碼。
圖像處理裝置可以典型地被實現(xiàn)為編碼圖像的圖像編碼設備。
此外,根據(jù)另一個實施方式,提供了一種圖像處理方法,包括:在編碼待編碼圖像之時判定是否需要對在局部解碼圖像內(nèi)隔著邊界相鄰的鄰接塊內(nèi)的、與該邊界垂直的每個線應用解塊濾波;對被判定為應用解塊濾波的每個線應用解塊濾波;以及通過使用經(jīng)濾波的圖像對待編碼圖像進行編碼。
本發(fā)明的有益效果
根據(jù)依據(jù)本公開的圖像處理裝置和圖像處理方法,有可能更為恰當?shù)嘏卸☉媒鈮K濾波的范圍。
附圖說明
圖1是例示了根據(jù)一個實施例的圖像編碼裝置的示例性構成的框圖。
圖2是例示了根據(jù)一個實施例的圖像解碼裝置的示例性構成的框圖。
圖3是例示了隔著邊界相鄰的像素的例子的說明圖。
圖4是解釋在現(xiàn)有技術中濾波要否判定處理的說明圖。
圖5是解釋在現(xiàn)有技術中濾波處理的說明圖。
圖6是例示了根據(jù)第一實施例的解塊濾波器的示例性詳細構成的框圖。
圖7是例示了由根據(jù)第一實施例的解塊濾波器進行的處理的示例性流程的流程圖。
圖8是例示了根據(jù)第二實施例的解塊濾波器的詳細構成的框圖。
圖9是例示了由根據(jù)第二實施例的解塊濾波器進行的處理的示例性流程的流程圖。
圖10是例示了根據(jù)第三實施例的解塊濾波器的詳細構成的框圖。
圖11A是用于解釋在根據(jù)第三實施例的解塊濾波器中進行的參數(shù)估計處理的第一個例子的說明圖。
圖11B是用于解釋在根據(jù)第三實施例的解塊濾波器中進行的參數(shù)估計處理的第二個例子的說明圖。
圖11C是用于解釋在根據(jù)第三實施例的解塊濾波器中進行的參數(shù)估計處理的第三個例子的說明圖。
圖12是例示了由根據(jù)第三實施例的解塊濾波器進行的處理的示例性流程的流程圖。
圖13是例示了電視的概略構成的框圖。
圖14是例示了移動電話的概略構成的框圖。
圖15是例示了記錄和回放裝置的概略構成的框圖。
圖16是例示了成像裝置的概略構成的框圖。
具體實施方式
其后,將參考附圖詳細描述本公開的優(yōu)選實施方式。注意到,在此說明書和附圖中,具有基本相同功能和結構的元件由相同的參考編號所指示,并由此省略對其的重復解釋。
描述將以如下順序進行。
1.裝置概要
1-1.圖像編碼裝置
1-2.圖像解碼裝置
2.現(xiàn)有技術
3.第一實施例
3-1.解塊濾波器的構成例
3-2.處理流程
4.第二實施例
4-1.解塊濾波器的構成例
4-2.處理流程
5.第三實施例
5-1.解塊濾波器的構成例
5-2.處理流程
6.示例應用
7.結論
1.裝置概要
參考圖1和圖2,隨后將描述在本說明書中所公開技術可以應用的示例性裝置的概要。在本說明書中公開的技術例如可以應用于圖像編碼裝置和圖像解碼裝置。
[1-1.圖像編碼裝置]
圖1是例示了根據(jù)一個實施例的圖像編碼裝置10的示例性構成的框圖。參見圖1,圖像編碼裝置10包括模數(shù)(A/D)轉(zhuǎn)換部11、重定序緩沖器12、減法部13、正交變換部14、量化部15、無損編碼部16、累積緩沖器17、速率控制部18、解量化部21、逆正交變換部22、加法部23、解塊濾波器24a、幀存儲器25、選擇器26、幀內(nèi)預測部30、運動估計部40、以及模式選擇部50。
A/D轉(zhuǎn)換部11將以模擬格式輸入的圖像信號轉(zhuǎn)換成數(shù)字格式的圖像數(shù)據(jù),并將數(shù)字圖像數(shù)據(jù)序列輸出到重定序緩沖器12。
重定序緩沖器12對從A/D轉(zhuǎn)換部11輸入的圖像數(shù)據(jù)序列內(nèi)包括的圖像進行重新排序。在根據(jù)由編碼處理給出的圖片組(GOP)結構對圖像進行重新排序之后,重定序緩沖器12將經(jīng)重新排序的圖像數(shù)據(jù)輸出到減法部13、幀內(nèi)預測部30和運動估計部40。
減法部13被供應有從重定序緩沖器12輸入的圖像數(shù)據(jù)以及由隨后描述的模式選擇部50選擇的預測圖像數(shù)據(jù)。減法部13計算作為從重定序緩沖器12輸入的圖像數(shù)據(jù)和從模式選擇部50輸入的預測圖像數(shù)據(jù)之間的差異的預測誤差數(shù)據(jù),并將該計算出的預測誤差數(shù)據(jù)輸出至正交變換部14。
正交變換部14對從減法部13輸入的預測誤差數(shù)據(jù)執(zhí)行正交變換。由正交變換部14執(zhí)行的正交變換例如可以是離散余弦變換(DCT)或是Karhunen-Loeve變換。正交變換部14將通過正交變換處理獲取的變換系數(shù)數(shù)據(jù)輸出至量化部15。
量化部15被供應有從正交變換部14輸入的正交系數(shù)數(shù)據(jù)以及來自隨后描述的速率控制部18的速率控制信號。量化部15量化變換系數(shù)數(shù)據(jù),并將經(jīng)量化的正交系數(shù)數(shù)據(jù)(其后稱為量化數(shù)據(jù))輸出至無損編碼部16和解量化部21。同樣地,量化部15基于來自速率控制部18的速率控制信號切換量化參數(shù)(量化標度),藉此改變要被輸入到無損編碼部16中的量化數(shù)據(jù)的比特率。
無損編碼部16被供應有從量化部15輸入的量化數(shù)據(jù)、以及隨后描述的與由幀內(nèi)預測部30或運動估計部40生成并由模式選擇部50選擇的幀內(nèi)預測或幀間預測有關的信息。與幀內(nèi)預測有關的信息可以包括例如指示每個塊的最優(yōu)幀內(nèi)預測模式的預測模式信息。同樣地,與幀間預測有關的信息可以包括例如用于預測每個塊的運動矢量的預測模式信息、差分運動矢量信息、參考圖像信息等。
無損編碼部16通過對量化數(shù)據(jù)執(zhí)行無損編碼處理生成編碼流。由無損編碼部16進行的無損編碼例如可以是長度可變編碼或算術編碼。此外,無損編碼部16可以將以上提及的與幀內(nèi)預測有關的信息或與幀間預測有關的信息多路復用至編碼流的頭部(例如,塊頭部、片段頭部等)。于是,無損編碼部16將由此生成的編碼流輸出至累積緩沖器17。
累積緩沖器17臨時緩沖從無損編碼部16輸入的編碼流。隨后,累積緩沖器17依據(jù)傳輸信道(或來自圖像編碼裝置10的輸出線)的帶寬以一定速率輸出所緩沖的編碼流。
速率控制部18監(jiān)視累積緩沖器17內(nèi)的空閑容量。隨后,速率控制部18依據(jù)累積緩沖器17內(nèi)的空閑容量生成速率控制信號,并將生成的速率控制信號輸出至量化部15。例如,當累積緩沖器17內(nèi)沒有什么空閑容量時,速率控制部18生成用于降低量化數(shù)據(jù)的比特率的速率控制信號。同樣地,例如,當累積緩沖器17內(nèi)有充足空閑容量時,速率控制部18生成用于提升量化數(shù)據(jù)的比特率的速率控制信號。
解量化部21對從量化部15輸入的量化數(shù)據(jù)執(zhí)行解量化處理。然后,解量化部21將通過解量化處理獲取的變換系數(shù)數(shù)據(jù)輸出至逆正交變換部22。
逆正交變換部22對從解量化部21輸入的變換系數(shù)數(shù)據(jù)執(zhí)行逆正交變換處理,藉此恢復預測誤差數(shù)據(jù)。隨后,逆正交變換部22將恢復的預測誤差數(shù)據(jù)輸出至加法部23。
加法部23將從逆正交變換部22輸入的經(jīng)恢復的預測誤差數(shù)據(jù)與從模式選擇部50輸入的預測的圖像數(shù)據(jù)相加,藉此生成解碼圖像數(shù)據(jù)。隨后,加法部23將由此生成的解碼圖像數(shù)據(jù)輸出至解塊濾波器24a和幀存儲器25。
解塊濾波器24a執(zhí)行濾波處理以減少在圖像編碼期間生成的塊效應。更具體地,解塊濾波器24a判定是否需要對從加法部23輸入的解碼圖像數(shù)據(jù)內(nèi)的每個塊邊界執(zhí)行逐線濾波。解塊濾波器24a隨后對任何被判定為需要應用濾波的線應用解塊濾波。在塊邊界是垂直邊界的情況下,上述線等同于與垂直邊界垂直的行。在塊邊界是水平邊界的情況下,上述線等同于與水平邊界垂直的列。除了來自加法部23的解碼圖像數(shù)據(jù)之外,還將用于判定是否需要濾波的信息(諸如模式信息、變換系數(shù)信息和運動矢量信息等)輸入到解塊濾波器24a內(nèi)。其后,解塊濾波器24a將塊效應(blocking artifacts)被移除的經(jīng)濾波的解碼圖像數(shù)據(jù)輸出至幀存儲器25。隨后將詳細描述由解塊濾波器24a進行的處理。
幀存儲器25存儲從加法部23輸入的解碼圖像數(shù)據(jù)以及從解塊濾波器24a輸入的濾波之后的解碼圖像數(shù)據(jù)。
選擇器26從幀存儲器25中讀取要被用于幀內(nèi)預測的未經(jīng)濾波的解碼圖像數(shù)據(jù),并將由此讀取的解碼圖像數(shù)據(jù)作為參考圖像數(shù)據(jù)供應至幀內(nèi)預測部30。同樣地,選擇器26從幀存儲器25中讀取要被用于幀間預測的經(jīng)濾波的解碼圖像數(shù)據(jù),并將由此讀取的解碼圖像數(shù)據(jù)作為參考圖像數(shù)據(jù)供應至運動估計部40。
幀內(nèi)預測部30基于從重定序緩沖器12輸入的要被編碼的圖像數(shù)據(jù)以及經(jīng)由選擇器26供應的解碼圖像數(shù)據(jù)而在各個幀內(nèi)預測模式下執(zhí)行幀內(nèi)預測處理。例如,幀內(nèi)預測部30使用預先確定的成本函數(shù)評估每個幀內(nèi)預測模式的預測結果。于是,幀內(nèi)預測部30選擇產(chǎn)生最小成本函數(shù)值的幀內(nèi)預測模式(即,產(chǎn)生最高壓縮率的幀內(nèi)預測模式)作為最優(yōu)幀內(nèi)預測模式。此外,幀內(nèi)預測部30還連同所預測的圖像數(shù)據(jù)和成本函數(shù)值一起,把與幀內(nèi)預測有關的信息輸出給模式選擇部50,該信息包括指示最優(yōu)幀內(nèi)預測模式的預測模式信息。
運動估計部40基于從重定序緩沖器12輸入的要被編碼的圖像數(shù)據(jù)以及經(jīng)由選擇器26供應的解碼圖像數(shù)據(jù)而執(zhí)行幀間預測處理(在多個幀之間的預測處理)。例如,運動估計部40使用預先確定的成本函數(shù)評估每個預測模式的預測結果。然后,運動估計部40選擇產(chǎn)生最小成本函數(shù)值的預測模式(即,產(chǎn)生最高壓縮率的預測模式)作為最優(yōu)預測模式。運動估計部40根據(jù)該最優(yōu)預測模式生成預測的圖像數(shù)據(jù)。運動估計部40還連同所預測的圖像數(shù)據(jù)和成本函數(shù)值一起,把與幀間預測有關的信息輸出到模式選擇部50,該信息包括指示最優(yōu)幀間預測模式的預測模式信息。
模式選擇部50將從幀內(nèi)預測部30輸入的有關幀內(nèi)預測的成本函數(shù)值與從運動估計部40輸入的有關幀間預測的成本函數(shù)值相比較。隨后,模式選擇部50在幀內(nèi)預測和幀間預測之中選擇具有較小成本函數(shù)值的預測方法。在選擇幀內(nèi)預測的情況下,模式選擇部50將與幀內(nèi)預測有關的信息輸出至無損編碼部16,并將預測圖像數(shù)據(jù)輸出至減法部13和加法部23。同樣地,在選擇幀間預測的情況下,模式選擇部50將與上述幀間預測有關的信息輸出至無損編碼部16,并將預測圖像數(shù)據(jù)輸出至減法部13和加法部23。
[1-2.圖像解碼裝置]
圖2是例示了根據(jù)一個實施例的圖像解碼裝置60的示例性構成的框圖。參考圖2,圖像解碼裝置60包括累積緩沖器61、無損解碼部62、解量化部63、逆正交變換部64、加法部65、解塊濾波器24b、重定序緩沖器67、數(shù)模(D/A)轉(zhuǎn)換部68、幀存儲器69、選擇器70和71、幀內(nèi)預測部80和運動補償部90。
累積緩沖器61臨時緩沖經(jīng)由傳輸信道輸入的編碼流。
無損解碼部62根據(jù)在編碼時使用的編碼方法解碼從累積緩沖器61輸入的編碼流。同樣地,無損解碼部62解碼被多路復用至編碼流頭部區(qū)域內(nèi)的信息。被多路復用至編碼流頭部區(qū)域內(nèi)的信息可以包括例如在塊頭部內(nèi)的與幀內(nèi)預測有關的信息以及與幀間預測有關的信息。無損解碼部62將與幀內(nèi)預測有關的信息輸出至幀內(nèi)預測部80。同樣地,無損解碼部62將與幀間預測有關的信息輸出至運動補償部90。
解量化部63對已由無損解碼部62解碼的量化數(shù)據(jù)進行解量化。逆正交變換部64通過依據(jù)在編碼時使用的正交變換方法對從解量化部63輸入的變換系數(shù)數(shù)據(jù)執(zhí)行逆正交變換來生成預測誤差數(shù)據(jù)。隨后,逆正交變換部64將生成的預測誤差數(shù)據(jù)輸出至加法部65。
加法部65將從逆正交變換部64輸入的預測誤差數(shù)據(jù)與從選擇器71輸入的預測圖像數(shù)據(jù)相加,藉此生成解碼圖像數(shù)據(jù)。隨后,加法部65將由此生成的解碼圖像數(shù)據(jù)輸出至解塊濾波器24b和幀存儲器69。
解塊濾波器24b執(zhí)行濾波處理以減少在解碼圖像中出現(xiàn)的塊效應。更具體地,解塊濾波器24b判定是否需要對從加法部65輸入的解碼圖像數(shù)據(jù)內(nèi)的每個塊邊界執(zhí)行逐線濾波。解塊濾波器24b隨后對任何被判定為需要應用濾波的線執(zhí)行解塊濾波。除了來自加法部65的解碼圖像數(shù)據(jù)之外,還將用于判定是否需要濾波的信息輸入至解塊濾波器24b內(nèi)。其后,解塊濾波器24b將塊效應已被移除的由此被濾波的解碼圖像數(shù)據(jù)輸出至重定序緩沖器67及幀存儲器69。隨后將詳細描述由解塊濾波器24b進行的處理。
重定序緩沖器67通過對從解塊濾波器24b輸入的圖像進行重新排序而生成按時間順序的圖像數(shù)據(jù)序列。隨后,重定序緩沖器67將生成的圖像數(shù)據(jù)輸出至D/A轉(zhuǎn)換部68。
D/A轉(zhuǎn)換部68將從重定序緩沖器67輸入的數(shù)字格式的圖像數(shù)據(jù)轉(zhuǎn)換成模擬格式的圖像信號。然后,D/A轉(zhuǎn)換部68就通過將模擬圖像信號輸入至例如連接至圖像解碼裝置60的顯示器(未示出)而實現(xiàn)圖像的顯示。
幀存儲器69存儲從加法部65輸入的未經(jīng)濾波的解碼圖像數(shù)據(jù)以及從解塊濾波器24b輸入的經(jīng)濾波的解碼圖像數(shù)據(jù)。
選擇器70根據(jù)由無損解碼部62獲取的模式信息為圖像內(nèi)的每個塊在幀內(nèi)預測部80和運動補償部90之間選擇來自幀存儲器69的圖像數(shù)據(jù)的輸出目的地。例如,在幀內(nèi)預測模式被指定的情況下,選擇器70將從幀存儲器69供應的未經(jīng)濾波的解碼圖像數(shù)據(jù)作為參考圖像數(shù)據(jù)輸出至幀內(nèi)預測部80。同樣地,在幀間預測模式被指定的情況下,選擇器70將從幀存儲器69供應的經(jīng)濾波的解碼圖像數(shù)據(jù)作為參考圖像數(shù)據(jù)輸出至運動補償部90。
選擇器71根據(jù)由無損解碼部62獲取的模式信息為圖像內(nèi)的每個塊在幀內(nèi)預測部80和運動補償部90之間選擇要被供應至加法部65的預測圖像數(shù)據(jù)的輸出源。例如,在幀內(nèi)預測模式被指定的情況下,選擇器71為加法部65供應從幀內(nèi)預測部80輸出的預測圖像數(shù)據(jù)。在幀間預測模式被指定的情況下,選擇器71為加法部65供應從運動補償部90輸出的預測圖像數(shù)據(jù)。
基于與從無損解碼部62輸入的幀內(nèi)預測有關的信息以及來自幀存儲器69的參考圖像數(shù)據(jù),幀內(nèi)預測部80執(zhí)行像素值的圖片內(nèi)預測,并且生成預測圖像數(shù)據(jù)。隨后,幀內(nèi)預測部80將由此生成的預測圖像數(shù)據(jù)輸出至選擇器71。
基于從無損解碼部62輸入的與幀間預測有關的信息以及來自幀存儲器69的參考圖像數(shù)據(jù),運動補償部90執(zhí)行運動補償處理,并且生成預測圖像數(shù)據(jù)。隨后,運動補償部90將由此生成的預測圖像數(shù)據(jù)輸出至選擇器71。
2.現(xiàn)有技術
一般而言,在諸如H.264/AVC或HEVC的現(xiàn)有圖像編碼方案中使用解塊濾波的處理包括兩種類型的處理,即濾波必要性判定處理和濾波處理。隨后將以HEVC為例描述這兩種處理。
(1)濾波必要性判定處理
濾波必要性判定處理判定是否需要對輸入圖像內(nèi)的各個塊邊界應用解塊濾波。塊邊界包括水平鄰接塊之間的垂直邊界以及垂直鄰接塊之間的水平邊界。JCTVC-A119使用8×8像素的塊尺寸作為最小處理單位。例如,16×16像素的宏塊包括四個8×8像素的塊。處理被應用至每個塊的一個(左)垂直邊界和一個(上)水平邊界,即,四個邊界加上四個邊界,共八個邊界。在本說明書中,術語宏塊涵蓋HEVC情境下的編碼單位(CU)。
圖3是例示了隔著邊界相鄰的兩個塊Ba和Bb中的像素的例子的說明圖。在本說明書中,以此方式隔著邊界彼此相鄰的塊被稱為鄰接塊。雖然下文描述了垂直邊界作為例子,但是在此描述的事項顯然適用于水平邊界。圖3中的例子使用符號pij表示塊Ba中的像素。在此符號中,i指示列下標,而j指示行下標。列下標i從最接近垂直邊界的那一列起被順序編號為0、1、2和3(從右到左)。行下標j則被從上到下地編號為0,1,2,...,7。應該注意到圖中省略了塊Ba的左半部分。同時,符號qkj被用來表示塊Bb中的像素。在此符號中,k指示列下標,而j指示行下標。列下標k從最接近垂直邊界的那一列起被順序編號為0、1、2和3(從左到右)。應該注意到圖中省略了塊Bb的右半部分。
如下條件可被用來判定是否要對圖3中例示的塊Ba和Bb之間的垂直邊界應用解塊濾波。
輝度分量(luma)的判定條件。如果條件A和B皆為真,則應用解塊濾波。
條件A:
(A1)塊Ba或Bb是幀內(nèi)預測模式;
(A2)塊Ba或Bb具有非零的正交變換系數(shù);或者
(A3)|MVAx-MVBx|≥4或者|MVAy-MVBy|≥4
條件B:
|p22-2p12+p02|+|q22-2q12+q02|+|p25-2p15+p05|+|q25-2q15+q05|<β
條件A3以Qpel(四分之一像素)的精度假設塊Ba的運動矢量為(MVAx,MVAy)而塊Bb的運動矢量為(MVBx,MVBy)。在條件B中,β是邊緣判定閾值。β的默認值則依據(jù)量化參數(shù)給出。β的值是可使用片段頭部中的參數(shù)而由用戶指定的。
顏色分量(chroma)的判定條件。如果條件A1為真,則應用解塊濾波。
條件A1:塊Ba或Bb是幀內(nèi)預測模式。
換句話說,在針對垂直邊界的典型濾波必要性判定處理中(更具體地,對輝度分量判定條件B的判定),參照每個塊的第二和第五行中的像素(以最上一行為第0行),如圖4中的虛線框L2和L5所指示的。解塊濾波隨后被應用于依據(jù)上述判定條件被判定為需要應用解塊濾波的垂直邊界的左右的塊。類似地,在針對水平邊界的濾波必要性判定處理中,參照每個塊的第二和第五列中的像素(圖4中未示出)。解塊濾波隨后被應用于依據(jù)上述判定條件被判定為需要應用解塊濾波的水平邊界的上下的塊。
(2)濾波處理
如果判定需要向邊界應用解塊濾波,則對垂直邊界左右的像素或?qū)λ竭吔缟舷碌南袼貓?zhí)行濾波處理。對于輝度分量,則依據(jù)像素值在強濾波和弱濾波之間切換濾波強度。
輝度分量的濾波
選擇強度。為每一行或列選擇濾波強度。如果下述條件C1-C3全都滿足,則選擇強濾波。如果由任一條件未被滿足,則選擇弱濾波。
(C1)d<(β>>2)
(C2)(|p3j-p0j|+|q0j-q3j|)<(β>>3)
(C3)|p0j-q0j|<((5tC+1)>>1)
其中j指示垂直邊界的行下標或水平邊界的列下標,而d則表示:
d=|p22-2p12+p02|+|q22-2q12+q02|+|p25-2p15+p05|+|q25-2q15+q05|
弱濾波:
Δ=Clip(-tC,tC,(13(q0j-p0j)+4(q1j-p1j)-5(q2j-p2j)+16)>>5))
p0j=Clip0-255(p0j+Δ)
q0j=Clip0-255(q0j-Δ)
p1j=Clip0-255(p1j+Δ/2)
q1j=Clip0-255(q1j-Δ/2)
強濾波:
p0j=Clip0-255((p2j+2p1j+2p0j+2q0j+q1j+4)>>3)
q0j=Clip0-255((p1j+2p0j+2q0j+2q1j+q2j+4)>>3)
p1j=Clip0-255((p2j+p1j+p0j+q0j+2)>>2)
q1j=Clip0-255((p0j+q0j+q1j+q2j+2)>>2)
p2j=Clip0-255((2p3j+3p2j+p1j+p0j+q0j+4)>>3)
q2j=Clip0-255((p0j+q0j+q1j+3q2j+2q3j+4)>>3)
在此,Clip(a,b,c)指示在范圍a≤c≤b內(nèi)裁剪值c的處理,而Clip0-255(c)則指示在范圍0≤c≤255內(nèi)裁剪值c的處理。
顏色分量的濾波:
Δ=Clip(-tC,tC,((((q0j-p0j)<<2)+p1j-q1j+4)>>3))
p0j=Clip0-255(p0j+Δ)
q0j=Clip0-255(q0j-Δ)
對塊Ba和Bb的所有行或列(也就是說,針對所有整數(shù)j,其中0≤j≤7)進行顏色分量和輝度分量的濾波。換句話說,如果判定一垂直邊界需要濾波,則如圖5所示更新與該垂直邊界垂直的所有線L0至L7上的一個或多個像素值。類似地,如果判定一水平邊界需要濾波,則更新與該水平邊界垂直的所有線L0至L7上的一個或多個像素值。
正如這些解釋所例證的,現(xiàn)有技術需要對位于圖像中兩個鄰接塊之間的每個邊界進行是否需要濾波的判定。在本說明書中,這一判定被稱為逐塊判定。對于一給定邊界,并不判定是否是需要部分濾波。由此,能夠做出的僅僅是濾波整個塊或不濾波整個塊的二元選擇,即便在由塊效應引起的圖像質(zhì)量劣化僅在塊內(nèi)的某些像素中出現(xiàn)的情況下亦是如此。這必將伴隨有兩類缺陷:由于對圖像質(zhì)量良好部分應用不必要的解塊濾波而導致的圖像質(zhì)量降低,以及由于未對圖像質(zhì)量劣化的部分應用解塊濾波而導致的圖像質(zhì)量改善機會的錯失。于是,在下文描述的解塊濾波的兩個實施例中,以更為細化的粒度來判定應用解塊濾波的范圍,由此解決上述缺陷。
3.第一實施例
[3-1.解塊濾波器的構成例]
該部分描述與圖1中例示的圖像編碼裝置10中的解塊濾波器24a和圖2中例示的圖像解碼裝置60的解塊濾波器24b相關的示例性構成。注意到解塊濾波器24a和解塊濾波器24b的構成可以享有共同的結構。于是,在其后的描述中,在不對解塊濾波器24a和解塊濾波器24b做出具體區(qū)分的情況下,解塊濾波器24a和解塊濾波器24b將被并稱為解塊濾波器24。
圖6是例示了根據(jù)第一實施例的解塊濾波器24的詳細構成的框圖。參見圖6,解塊濾波器24包括塊判定部110、線判定部120、強度選擇部130、濾波部140和判定控制部150。
(1)塊判定部
塊判定部110對逐塊判定條件進行判定,作為線判定部120進行的逐線判定的預處理。逐塊判定條件典型地基于邊界任一側(cè)的兩個鄰接塊的變換系數(shù)和編碼參數(shù)中的至少一種。變換系數(shù)例如可以是正交變換系數(shù)。編碼參數(shù)則例如可以是預測模式和運動矢量之一或兩者。逐塊判定條件例如可以是在前討論的現(xiàn)有技術中的來自輝度判定條件的判定條件A及顏色分量判定條件A1。
換句話說,塊判定部110被供應有與隔著各個邊界相鄰的鄰接塊相關的判定信息。此處供應的判定信息例如可以包括模式信息、變換系數(shù)信息和運動矢量信息。隨后,作為針對每個邊界的逐塊輝度分量判定,塊判定部110判定以下條件A是否被滿足。
條件A:
(A1)塊Ba或Bb是幀內(nèi)預測模式;
(A2)塊Ba或Bb具有非零的正交變換系數(shù);或者
(A3)|MVAx-MVBx|≥4或者|MVAy-MVBy|≥4
塊判定部110隨后使得線判定部120對滿足條件A的邊界額外進行逐線判定。另一方面,塊判定部110使得線判定部120跳過對不滿足條件A的邊界的逐線判定。
同樣地,作為針對每個邊界的逐塊顏色分量判定,塊判定部110判定以下條件A1是否被滿足。
條件A1:塊Ba或Bb是幀內(nèi)預測模式。
可以不對顏色分量進行由線判定部120執(zhí)行的逐線判定。在此情況下,對于滿足條件A1的邊界,濾波部140對該邊界處的所有線上的顏色分量進行濾波。對于不滿足條件A1的邊界,該邊界處的所有線上的顏色分量不被濾波。
應該注意到,此處描述的塊判定部110的逐塊判定僅僅是一個例子。換句話說,也可以使用與上述討論的判定條件不同的逐塊判定條件。例如,可以省略判定條件A1至A3中的任意條件,并且還可以添加其他的條件。此外,接下來將描述的逐線判定也可以對顏色分量執(zhí)行,而非被省略。
(2)線判定部
線判定部120為垂直于每個邊界的每個線判定是否對隔著該邊界相鄰的兩個鄰接塊應用解塊濾波。逐線判定條件例如可以是下列的判定條件B’。
條件B':
d=|p2i-2p1i+p0i|+|q2i-2q1i+q0i|
其中
d<(β>>1)
在這里,d是判定參數(shù),而β是在前討論的邊緣判定閾值。同樣地,i是線下標。如果每個塊的塊尺寸是8×8像素,則i是整數(shù),其中0≤i≤7。
換句話說,當針對一具體線做出判定時,線判定部120遵循條件B’并且僅根據(jù)屬于兩個鄰接塊Ba和Bb中的該線的參考像素值計算判定參數(shù)d的值。線判定部120于是將算出的判定參數(shù)d的值與判定閾值(β>>1)相比較。以此方式,通過在針對當前線做出判定時僅參考該線,能夠?qū)崿F(xiàn)以相對簡單的構成來順序訪問每個線的逐線判定。
針對例如滿足條件B’的線,線判定部120使得強度選擇部130選擇濾波強度并使得濾波部140應用濾波。另一方面,針對不滿足條件B’的線,線判定部120使得強度選擇部130跳過濾波強度選擇并使得濾波部140跳過濾波。
(3)強度選擇部
強度選擇部130為每個線選擇濾波部140將對該線應用的解塊濾波的強度。更具體地,強度選擇部130為由線判定部120判定為需要解塊濾波的每個線如下選擇濾波強度。
選擇所述強度。為每個線選擇濾波強度。如果下述條件C1-C3全都滿足,則選擇強濾波。如果由任一條件未被滿足,則選擇弱濾波。
(C1')d<(β>>3)
(C2)(|p3i-p0i|+|q0i-q3i|)<(β>>3)
(C3)|p0i-q0i|<((5tC+1)>>1)
在這里,d是在前討論的條件B’判定過程中算出的判定參數(shù)。應該注意到,這類濾波強度選擇可以僅對輝度分量進行。強度選擇部130隨后針對每個線將表達所選濾波強度的信息(諸如指示強濾波或弱濾波的標志)輸出至濾波部140。
(4)濾波部
濾波部140依據(jù)來自塊判定部110和線判定部120的判定結果,對隔著對應邊界相鄰的兩個鄰接塊中的每個線應用解塊濾波。濾波部140的濾波器構成可以與在前討論的現(xiàn)有技術中的構成相類似。例如,濾波部140可以為由線判定部120判定為需要解塊濾波的每個線如下計算經(jīng)濾波的像素值。
輝度分量的濾波
選擇弱濾波的情況下:
Δ=Clip(-tC,tC,(13(q0i-p0i)+4(q1i-p1i)-5(q2i-p2i)+16)>>5))
p0i=Clip0-255(p0i+Δ)
q0j=Clip0-255(q0i-Δ)
p1i=Clip0-255(p1i+Δ/2)
q1i=Clip0-255(q1i-Δ/2)
選擇強濾波的情況下:
p0i=Clip0-255((p2i+2p1i+2p0i+2q0i+q1i+4)>>3)
q0i=Clip0-255((p1i+2p0i+2q0i+2q1i+q2i+4)>>3)
p1i=Clip0-255((p2i+p1i+p0i+q0i+2)>>2)
q1i=Clip0-255((p0i+q0i+q1i+q2i+2)>>2)
p2i=Clip0-255((2p3i+3p2i+p1i+p0i+q0i+4)>>3)
q2i=Clip0-255((p0i+q0i+q1i+3q2i+2q3i+4)>>3)
顏色分量的濾波:
Δ=Clip(-tC,tC,((((q0i-p0i)<<2)+p1i-q1i+4)>>3))
p0i=Clip0-255(p0i+Δ)
q0i=Clip0-255(q0i-Δ)
然后,濾波部140在輸出來自輸入圖像的其他像素的像素值的同時,相繼輸出應用了濾波的像素的經(jīng)濾波像素值,作為輸出圖像的像素值。
(5)判定控制部
判定控制部150控制對是否由塊判定部110和線判定部120應用解塊濾波的判定。例如,判定控制部150可以使得線判定部120跳過針對一個邊界的全部線的判定,其中由塊判定部110基于鄰接塊的變換系數(shù)或編碼參數(shù)而被判定為不對該邊界應用解塊濾波。
另舉一例,判定控制部150還可以動態(tài)切換判定粒度,或者換句話說,判定單位的大小。更具體地,判定控制部150可以僅使得塊判定部110對給定圖像進行逐塊判定。同樣地,判定控制部150可以使得線判定部120進行逐線判定,而不依賴于來自塊判定部110的逐塊判定結果。
在進行逐線判定的情況下,即使未經(jīng)濾波的圖像質(zhì)量在塊內(nèi)是不均勻的并且在各線上是有差別的,也可以根據(jù)圖像質(zhì)量逐線地開關濾波。由此,濾波圖像中的圖像質(zhì)量得到改善。另一方面,在僅進行逐塊判定的情況下,避免了對未被濾波的邊界的所有線的訪問,由此降低了整體處理負載,潛在地改善了處理速度。結果,在處理速度優(yōu)先的情況下,判定控制部150可以僅選擇逐塊判定。
判定控制部150還可以基于例如包括在順序參數(shù)集、圖片參數(shù)集或片段頭部內(nèi)的參數(shù),動態(tài)切換判定粒度。例如,可以在上述頭部內(nèi)指定一個參數(shù),該參數(shù)用于指定逐塊判定或逐線判定。該參數(shù)還可以例如根據(jù)裝置開發(fā)人員的單獨要求而被指定。作為替換,判定控制部150還可以根據(jù)其他條件(諸如,輸入圖像的尺寸)來切換判定粒度。
[3-2.處理流程]
圖7是例示了由根據(jù)第一實施例的解塊濾波器24進行的示例性處理流程的流程圖。對輸入圖像內(nèi)的所有邊界(包括垂直邊界和水平邊界)單獨重復圖7中步驟S102至步驟S112的處理。
首先,塊判定部110判定要被處理的單個邊界(其后稱為當前邊界)是否滿足逐塊判定條件(諸如在前討論的判定條件A)(步驟S102)。在此處,如果逐塊判定條件未被滿足,則跳過后續(xù)處理步驟S104至S110。另一方面,如果逐塊判定條件被滿足,則處理行進至步驟S104。
為被判定滿足逐塊判定條件的各邊界處的所有線單獨重復從步驟S104至步驟S110的處理。在步驟S104,線判定部120判定要被處理的單個線(其后稱為當前線)是否滿足逐線判定條件(諸如在前討論的判定條件B')(步驟S104)。在此,如果逐線判定條件未被滿足,則跳過步驟S106和步驟S108中的后續(xù)處理。另一方面,如果逐線判定條件被滿足,則處理行進至步驟S106。
在步驟S106,強度選擇部130例如依據(jù)在前討論的條件C1’至C3選擇應用于當前線的濾波強度(步驟S106)。
濾波部140然后將解塊濾波應用于當前線(步驟S108)。
其后,在當前邊界處仍存在未經(jīng)處理的線的情況下,設置新的當前線,并且處理返回到步驟S104(步驟S110)。同時,在當前邊界處不存在未經(jīng)處理的線的情況下,處理行進至步驟S112。
在步驟S112,在當前輸入圖像中仍存在未經(jīng)處理的邊界的情況下,設置新的當前邊界,并且處理返回到步驟S102(步驟S112)。在不存在未經(jīng)處理的邊界的情況下,針對該輸入圖像的處理結束。
應該注意到,在僅進行逐塊判定的情況下,圖7流程圖中的步驟S104可被省略。此外,對于彩色分量,圖7流程圖中的步驟S104和步驟S106則可被跳過。
4.第二實施例
[4-1.解塊濾波器的構成例]
圖8是例示了根據(jù)第二實施例的解塊濾波器24的詳細構成的框圖。參見圖8,解塊濾波器24包括塊判定部110、線判定組220、強度選擇組230、濾波組240和判定控制部150。
(1)線判定組
由線判定組220進行的處理可以對在塊判定部110中判定為滿足逐塊判定條件的每個邊界做出。線判定組220包括多個線判定部222-1至222-n。在每個塊的尺寸是8×8像素的情況下,n的值可以是n=8(諸如n=2或n=4的值也是可接受的)。線判定部222-1至222-n可以并行處理單個邊界。
第一線判定部222-1依據(jù)例如在前討論的判定條件B’,判定是否需要向與一具體邊界垂直的各線中的第一線應用解塊濾波。然后,在判定第一線滿足判定條件B’的情況下,第一線判定部222-1使得第一強度選擇部232-1選擇濾波強度,并且使得第一濾波部242-1對該第一線應用濾波。
類似地,第二線判定部222-2依據(jù)例如在前討論的判定條件B’,判定是否需要向與一具體邊界垂直的各線中的第二線應用解塊濾波。于是,在判定第二線滿足判定條件B’的情況下,第二線判定部222-2使得第二強度選擇部232-2選擇濾波強度,并且使得第二濾波部242-2對該第二線應用濾波。
類似地,第n線判定部222-n依據(jù)例如在前討論的判定條件B’,判定是否需要向與一具體邊界垂直的各線中的第n線應用解塊濾波。于是,在判定第n線滿足判定條件B’的情況下,第n線判定部222-n使得第n強度選擇部232-n選擇濾波強度,并且使得第n濾波部242-n對該第n線應用濾波。
(2)強度選擇組
強度選擇組230包括多個強度選擇部232-1至232-n。每個強度選擇部232依據(jù)例如在前討論的條件C1’至C3,選擇應用于對應線的解塊濾波的強度。每個強度選擇部232隨后將表達所選濾波強度的信息(諸如指示強濾波或弱濾波的標志)輸出至濾波組240中的對應濾波部242。強度選擇部232-1至232-n可以并行處理單個邊界。
(3)濾波組
濾波組240包括多個濾波部242-1至242-n。每個濾波部242依據(jù)來自塊判定部110和對應線判定部222的判定結果,對隔著對應邊界相鄰的兩個鄰接塊中的對應線應用解塊濾波。每個濾波部242的濾波器構成可以與在前討論的現(xiàn)有技術中的構成相類似。然后,每個濾波部242在輸出來自輸入圖像的其他像素的像素值的同時,輸出應用了濾波的像素的經(jīng)濾波像素值,作為輸出圖像的像素值。濾波部242-1至242-n可以并行處理單個邊界。
應該注意到,在第二實施例中,塊判定部110和線判定組220對是否應用解塊濾波的判定也可與第一實施例相似地由判定控制部150類似地控制。例如,判定控制部150可以控制線判定組220,以并行判定是否需要對鄰接塊中的多個線應用解塊濾波。
[4-2.處理流程]
圖9是例示了由根據(jù)第二實施例的解塊濾波器24進行的示例性處理流程的流程圖。為輸入圖像中的所有邊界(包括垂直邊界和水平邊界)單獨重復圖9中步驟S202至步驟S212的處理。
首先,塊判定部110判定當前邊界是否滿足逐塊判定條件(諸如在前討論的判定條件A)(步驟S202)。在此處,如果逐塊判定條件未被滿足,則跳過后續(xù)處理步驟S204至S208。另一方面,如果逐塊判定條件被滿足,則處理行進至步驟S204。
接下來,線判定部222-1至222-n判定當前邊界處的每個線是否滿足逐線判定條件(諸如在前討論的判定條件B’)(步驟S204)。
接下來,強度選擇部232-1至232-n依據(jù)例如在前討論的條件C1’至C3,選擇單獨應用于當前邊界處的多個線中由線判定部222-1至222-n判定為需要濾波的各線的解塊濾波強度(步驟S206)。
濾波部242-1至242-n然后將解塊濾波單獨應用于當前邊界處的多個線中由線判定部222-1至222-n判定為需要濾波的線(步驟S208)。
其后,在輸入圖像中仍存在未經(jīng)處理的邊界的情況下,設置新的當前邊界,并且處理返回到步驟S202(步驟S212)。在不存在未經(jīng)處理的邊界的情況下,針對該輸入圖像的處理結束。
應該注意到,在僅進行逐塊判定的情況下,圖9流程圖中的步驟S204可被省略。此外,對于彩色分量,圖9流程圖中的步驟S204和步驟S206則可被跳過。
5.第三實施例
[5-1.解塊濾波器的構成例]
在前述的第一和第二實施例中,是否需要對每個線應用解塊濾波是通過將根據(jù)屬于該線(即,每一個待判定的線)的參考像素值計算出的參數(shù)值與判定閾值相比較來判定的。相比之下,在此部分描述的第三實施例引入了估計參數(shù)值的概念,由此降低與參數(shù)值的重復計算相關聯(lián)的處理成本。在此實施例中,濾波強度選擇可以類似地使用估計的參數(shù)值來進行。
圖10是例示了根據(jù)第三實施例的解塊濾波器24的詳細構成的框圖。參見圖10,解塊濾波器24包括塊判定部110、線判定部320、強度選擇部330、濾波部140、控制部350和參數(shù)估計部360。
(1)參數(shù)估計部
參數(shù)估計部360根據(jù)線判定部320進行逐線判定時使用的判定參數(shù)計算與每個邊界垂直的至少一個線的判定參數(shù)的值。參數(shù)估計部360隨后根據(jù)針對所述至少一個線計算出的值,估計剩余線的判定參數(shù)的值。此外,與判定參數(shù)類似,參數(shù)估計部360計算并估計在強度選擇部330選擇濾波強度時使用的強度選擇參數(shù)的值。在隨后的描述中,用作估計其他線的參數(shù)值的基礎的所述至少一個線將被指定為基線(或多個基線),而其參數(shù)值被估計的線則將被指定為估計線。依據(jù)基線而對估計線參數(shù)值的估計例如可以根據(jù)線的位置而通過線性或非線性內(nèi)插或外插進行。其后,圖11A-11C將被用于描述由參數(shù)估計部360進行的參數(shù)估計處理的三個例子。
(1-1)第一個例子
圖11A例示了隔著邊界相鄰的兩個塊Ba和Bb。在圖11A的例子中,基線是在邊界中央部分中垂直于該邊界的兩個線L3和L4。估計線則是除基線之外的其他線,即L0、L1、L2、L5、L6和L7。
參數(shù)估計部360例如根據(jù)如下公式計算用于評估在前討論的逐線判定條件B’的判定參數(shù)d1i(其中i等于3或4):
d1i=|p2i-2p1i+p0i|+|q2i-2q1i+q0i|
參數(shù)估計部360隨后例如根據(jù)如下公式使用所計算的兩個判定參數(shù)d13和d14的值來估計估計線的判定參數(shù)d1j(其中j等于0-2及5-7):
d10=4d13-3d14
d11=3d13-2d14
d12=2d13-1d14
d15=2d14-1d13
d16=3d14-2d13
d17=4d14-3d13
應該注意到,對于其估計值根據(jù)上述估計公式變?yōu)樨撝档墓烙嬀€,為靠近該估計線的基線所計算的參數(shù)值可被直接用作估計值,以代替上述負值的估計值。
類似地,參數(shù)估計部360例如根據(jù)如下公式計算在先前討論的濾波強度選擇過程中的相應的評估條件C2和C3的參數(shù)d2i和d3i(其中i等于3或4):
d2i=|p3i-p0i|+|q0j-q3j|
d3i=|p0i-q0i|
參數(shù)估計部360隨后使用所計算的強度選擇參數(shù)d23和d24的值為每個估計線估計參數(shù)值d2j(其中j等于0-2和5-7)。此外,參數(shù)估計部360還使用所計算的強度選擇參數(shù)d33和d34的值來估計每個估計線的估計參數(shù)值d3j(其中j等于0-2和5-7)。
(1-2)第二個例子
在圖11B的例子中,基線是每隔一條線設置的線L0、L2、L4和L6。估計線則是除基線之外的其他線,即L1、L3、L5和L7。
參數(shù)估計部360例如根據(jù)上述結合第一個例子的公式計算判定參數(shù)d1i(其中i等于0、2、4或6)以評估在前討論的逐線判定條件B’。參數(shù)估計部360隨后通過使用所計算的判定參數(shù)值進行內(nèi)插或外插來估計每個估計線的判定參數(shù)d1j(其中j等于1、3、5或7)。參數(shù)估計部360類似地計算用于選擇基線的濾波強度的參數(shù)d2i和d3i。參數(shù)估計部360隨后通過使用所計算的強度選擇參數(shù)值進行內(nèi)插或外插來估計每個估計線的強度選擇參數(shù)d2j和d3j。
(1-3)第三個例子
在圖11C的例子中,基線是線L0、L3、L4和L7。估計線則是除基線之外的其他線,即L1、L2、L5和L6。
參數(shù)估計部360例如根據(jù)上述結合第一個例子討論的公式計算判定參數(shù)d1i(其中i等于0、3、4或7)以評估在前討論的逐線判定條件B’。參數(shù)估計部360隨后通過使用算出的判定參數(shù)值進行內(nèi)插來估計每個估計線的判定參數(shù)d1j(其中j等于1、2、5或6)。參數(shù)估計部360類似地計算用于選擇基線的濾波強度的參數(shù)d2i和d3i。參數(shù)估計部360隨后通過使用算出的強度選擇參數(shù)值進行內(nèi)插來估計每個估計線的強度選擇參數(shù)d2j和d3j。
參數(shù)估計部360例如向線判定部320輸出根據(jù)上述三個例子中的任一例算出和估計的判定參數(shù)值。此外,參數(shù)估計部360還例如向強度選擇部330輸出類似計算和估計的強度選擇參數(shù)值。
此處,在第一個例子中設定的基線是在邊界中央部分與邊界垂直的線。屬于這些基線的像素的像素值不會通過沿著與該邊界相同方向上應用的解塊濾波而更新。通過使用這類基線上的像素值計算或估計與邊界垂直的各線的參數(shù),就可以與用于其他邊界的濾波處理并行地逐線判定是否進行濾波并選擇濾波強度。此外,濾波要否判定和濾波強度選擇也可以并行進行。同時,根據(jù)與第二個例子或第三個例子類似的基線設置,基線和估計線之間的線位置差較小,由此能夠更為精確地估計參數(shù)值。根據(jù)第三個例子,因為最外的線被設為基線,所以通過僅用內(nèi)插來估計估計線的參數(shù)值能夠進一步地改善估計精度。
(2)線判定部
線判定部320為垂直于每個邊界的每個線判定是否對隔著該邊界相鄰的兩個鄰接塊應用解塊濾波。在第三實施例中,線判定部320通過使用由參數(shù)估計部360計算和估計的判定參數(shù)來進行判定。逐線判定條件可以是與在前討論的判定條件B’相類似的條件。
條件B':
d1i<(β>>1)
如果每個塊的塊尺寸是8×8像素,則i是整數(shù),其中0≤i≤7。
線判定部320還可以使得強度選擇部330僅為例如滿足條件B’的線選擇濾波強度。作為替換,線判定部320進行的判定和強度選擇部330進行的濾波強度選擇還可以并行進行。線判定部320使得濾波部140跳過對不滿足條件B’的線的濾波。
(3)強度選擇部
強度選擇部330為每個線選擇濾波部140將應用至該線的解塊濾波強度。在第三實施例中,線判定部330通過使用由參數(shù)估計部360計算和估計的強度選擇參數(shù)來選擇強度。如果如下條件C1’至C3都滿足,則強度選擇部330選擇強濾波;如果任一條件不被滿足,則選擇弱濾波。
(C1')d1i<(β>>3)
(C2)d2i<(β>>3)
(C3)dei<((5tC+1)>>1)
如條件C1’所例證的,上述判定參數(shù)d1i在此情況下還是強度選擇參數(shù)。
強度選擇部330隨后為每個線向濾波部140輸出表達所選濾波強度的信息。
(5)控制部
控制部350除了如上關于第一和第二實施例的判定控制部150描述的控制之外,還控制由參數(shù)估計部360進行的參數(shù)估計處理。例如,控制部350識別待處理的線的線位置,標識每個線是基線還是估計線。此外,控制部350根據(jù)來自基線的像素值首先使得參數(shù)估計部360分別計算基線的判定參數(shù)d1的值并計算強度選擇參數(shù)d2和d3的值。其后,控制部350使得參數(shù)估計部360根據(jù)針對基線計算的參數(shù)值分別估計估計線的判定參數(shù)d1的值以及估計線的強度選擇參數(shù)d2和d3的值。
[5-2.處理流程]
圖12是例示了由根據(jù)第三實施例的解塊濾波器24進行的示例性處理流程的流程圖。對輸入圖像中的所有邊界(包括垂直邊界和水平邊界)單獨重復圖12中步驟S302至步驟S318的處理。
首先,塊判定部110判定當前邊界是否滿足逐塊判定條件(諸如在前討論的判定條件A)(步驟S302)。在此,如果逐塊判定條件未被滿足,則跳過后續(xù)處理步驟S304至S316。另一方面,如果逐塊判定條件被滿足,則處理行進至步驟S304。
在步驟S304,參數(shù)估計部360使用屬于基線(所述基線與當前邊界垂直)的像素的像素值來為所述基線計算判定參數(shù)和強度選擇參數(shù)。此處的基線可以是例如圖11A至11C所示三個例子的任一例中所設定的一個或多個線。
針對每個當前線重復步驟S306至步驟S316的處理,其中與當前邊界垂直的每個線都被單獨作為當前線處理。在步驟S306,控制部350識別當前線的線位置,并且確定當前線是否是估計線(步驟S306)。隨后,如果當前線是估計線,則參數(shù)估計部360就使用為基線算出的參數(shù)來分別估計當前線的判定參數(shù)和強度選擇參數(shù)(步驟S308)。另一方面,如果當前線是基線,則跳過步驟S308中的處理。
接下來,線判定部320使用由參數(shù)估計部360計算或估計的判定參數(shù)來判定當前線是否滿足逐線判定條件(諸如在前討論的判定條件B’)(步驟S310)。在此,如果逐線判定條件未被滿足,則跳過步驟S312和S314中的后續(xù)處理。另一方面,如果逐線判定條件被滿足,則處理行進至步驟S312。
在步驟S312,強度選擇部330使用由參數(shù)估計部360計算或估計的強度選擇參數(shù),依據(jù)例如在前討論的條件C1’至C3來選擇要應用于當前線的濾波強度(步驟S312)。
濾波部140隨后以強度選擇部330所選的濾波強度對當前線進行解塊濾波(步驟S314)。
其后,在當前邊界處仍存在未經(jīng)處理的線的情況下,設置新的當前線,并且處理返回到步驟S306(步驟S316)。同時,在當前邊界處不存在未經(jīng)處理的線的情況下,處理行進至步驟S318。
在步驟S318,在當前輸入圖像中仍存在未經(jīng)處理的邊界的情況下,設置新的當前邊界,并且處理返回到步驟S302(步驟S318)。在不存在未經(jīng)處理的邊界的情況下,針對該輸入圖像的處理結束。
6.應用例
根據(jù)上述實施方式的圖像編碼裝置10和圖像解碼裝置60可被應用于各種電子設備,諸如用于衛(wèi)星廣播、諸如有線電視的有線廣播、因特網(wǎng)上的分發(fā)、經(jīng)由蜂窩通信向客戶機裝置分發(fā)等的發(fā)射機和接收機;將圖像記錄在諸如光盤、磁盤或閃存的介質(zhì)上的記錄裝置;以及從這類存儲介質(zhì)中回放圖像的回放裝置。如下將討論四種應用示例。
[6-1.第一應用例]
圖13是例示了采用上述實施方式的電視的概略構成的框圖。電視900包括天線901、調(diào)諧器902、解復用器903、解碼器904、視頻信號處理部905、顯示部906、音頻信號處理部907、揚聲器908、外部接口909、控制部910、用戶接口911和總線912。
調(diào)諧器902從經(jīng)由天線901接收的廣播信號中提取期望的頻道的信號,并且解調(diào)所提取的信號。隨后,調(diào)諧器902將通過解調(diào)獲得的編碼比特流輸出至解復用器903。也就是說,調(diào)諧器902用作電視900接收圖像被編碼的編碼流的傳輸裝置。
解復用器903從編碼的比特流分離出要被觀看的節(jié)目的視頻流和音頻流,并將分離的流輸出至解碼器904。同樣地,解復用器903從編碼的比特流中提取諸如電子節(jié)目指南(EPG)的輔助數(shù)據(jù),并將所提取的數(shù)據(jù)供應至控制部910。此外,解復用器903還可以在編碼比特流被加擾的情況下執(zhí)行解擾。
解碼器904對從解復用器903輸入的視頻流和音頻流進行解碼。其后,解碼器904將通過解碼處理生成的視頻數(shù)據(jù)輸出至視頻信號處理部905。其后,解碼器904將通過解碼處理生成的音頻數(shù)據(jù)輸出至音頻信號處理部907。
視頻信號處理部905回放從解碼器904輸入的視頻數(shù)據(jù),并使得顯示部906顯示所述視頻。視頻信號處理部905還使得顯示部顯示經(jīng)由網(wǎng)絡供應的應用屏幕。其后,視頻信號處理部905可以根據(jù)設置對視頻數(shù)據(jù)執(zhí)行諸如噪聲移除的附加處理。此外,視頻信號處理部905可以生成諸如菜單、按鈕或光標的圖形用戶界面(GUI)圖像,并將所生成的圖像疊加在輸出圖像上。
顯示部906由驅(qū)動信號(由視頻信號處理部905供應)驅(qū)動,并且在顯示裝置(例如液晶顯示器、等離子顯示器或OLED顯示器)的視頻屏幕上顯示視頻或圖像。
音頻信號處理部907對從解碼器904輸入的音頻數(shù)據(jù)執(zhí)行諸如D/A轉(zhuǎn)換和放大的回放處理,并將音頻輸出到揚聲器908。同樣地,音頻信號處理部907也對音頻數(shù)據(jù)執(zhí)行諸如噪聲移除的附加處理。
外部接口909是用于將電視900連接至外部設備或網(wǎng)絡的接口。例如,經(jīng)由外部接口909接收到的視頻流或音頻流可由解碼器904解碼。也就是說,外部接口909用作電視900接收圖像被編碼的編碼流的傳輸裝置。
控制部910包括諸如中央處理單位(CPU)的處理器和諸如隨機存取存儲器(RAM)和只讀存儲器(ROM)的存儲器。存儲器存儲待由CPU執(zhí)行的程序、程序數(shù)據(jù)、EPG數(shù)據(jù)、經(jīng)由網(wǎng)絡獲取的數(shù)據(jù)等等。存儲器中存儲的程序例如在電視900啟動時由CPU讀取并執(zhí)行。通過執(zhí)行程序,CPU根據(jù)例如從用戶接口911輸入的操作信號控制電視900的操作。
用戶接口911連接至控制部910。用戶接口911例如包括由用戶使用以操作電視900的按鈕和開關,以及遙控信號接收器。用戶接口911檢測用戶經(jīng)由這些結構元件所進行的操作,生成操作信號,并將生成的操作信號輸出至控制部910。
總線912把調(diào)諧器902、解復用器903、解碼器904、視頻信號處理部905、音頻信號處理部907、外部接口909和控制部910相互連接。
在以此方式構成的電視900中,解碼器904用作根據(jù)上述實施方式的圖像解碼裝置60。因此,當在電視900中解碼圖像時,同樣能夠更為恰當?shù)卮_定應用解塊濾波的范圍并改善圖像質(zhì)量。
[6-2.第二應用例]
圖14是例示了采用上述實施方式的移動電話的概略構成的框圖。移動電話920包括天線921、通信部922、音頻編解碼器923、揚聲器924、麥克風925、相機部926、圖像處理部927、多路復用/解復用(mux/demux)部928、記錄和回放部929、顯示部930、控制部931、可操作部932和總線933。
天線921連接至通信部922。揚聲器924和麥克風925連接至音頻編解碼器923。可操作部932連接至控制部931。總線933把通信部922、音頻編解碼器923、相機部926、圖像處理部927、mux/demux部928、記錄和回放部929、顯示部930和控制部931相互連接。
移動電話920以包括音頻通信模式、數(shù)據(jù)通信模式、成像模式和視頻電話模式在內(nèi)的各種操作模式執(zhí)行諸如發(fā)送和接收音頻信號、發(fā)送和接收電子郵件或圖像數(shù)據(jù)、拍攝圖像及記錄數(shù)據(jù)的操作。
在音頻通信模式中,由麥克風925生成的模擬音頻數(shù)據(jù)被供應至音頻編解碼器923。音頻編解碼器923將模擬音頻信號轉(zhuǎn)換成音頻數(shù)據(jù),并且對經(jīng)轉(zhuǎn)換的音頻數(shù)據(jù)進行A/D轉(zhuǎn)換和壓縮。隨后,音頻編解碼器923將經(jīng)壓縮的音頻數(shù)據(jù)輸出至通信部922。通信部922對音頻數(shù)據(jù)進行編碼和調(diào)制,并且生成發(fā)送信號。隨后,通信部922將生成的發(fā)送信號經(jīng)由天線921發(fā)送至基站(未示出)。同樣地,通信部922放大經(jīng)由天線921接收到的無線信號,轉(zhuǎn)換該無線信號的頻率,并獲取接收到的信號。隨后,通信部922解調(diào)并解碼接收到的信號,生成音頻數(shù)據(jù),并將生成的音頻數(shù)據(jù)輸出至音頻編解碼器923。音頻編解碼器923對音頻數(shù)據(jù)進行解壓縮和D/A轉(zhuǎn)換,并生成模擬音頻信號。隨后,音頻編解碼器923將生成的音頻信號供應至揚聲器924并使得音頻被輸出。
同樣地,在數(shù)據(jù)通信模式中,控制部931根據(jù)例如用戶經(jīng)由可操作部932進行的操作而生成構成電子郵件的文本數(shù)據(jù)。此外,控制部931使得該文本在顯示部930上顯示。此外,控制部931根據(jù)用戶經(jīng)由可操作部932輸入的發(fā)送指令生成電子郵件數(shù)據(jù),并將生成的電子郵件數(shù)據(jù)輸出至通信部922。通信部922編碼并調(diào)制電子郵件數(shù)據(jù),并且生成發(fā)送信號。隨后,通信部922將生成的發(fā)送信號經(jīng)由天線921發(fā)送至基站(未示出)。同樣地,通信部922放大經(jīng)由天線921接收到的無線信號,轉(zhuǎn)換該無線信號的頻率,并獲取接收到的信號。隨后,通信部922解調(diào)并解碼接收到的信號,重構電子郵件數(shù)據(jù),并將重構的電子郵件數(shù)據(jù)輸出至控制部931??刂撇?31使得顯示部930顯示電子郵件的內(nèi)容,并且還使得該電子郵件數(shù)據(jù)被存儲在記錄和回放部929的存儲介質(zhì)中。
記錄和回放部929包括任意可讀和可寫存儲介質(zhì)。例如,存儲介質(zhì)可以是諸如RAM或閃存的內(nèi)建存儲介質(zhì),或者是諸如硬盤、磁盤、磁光盤、光盤、USB存儲器或存儲卡之類的外部安裝的存儲介質(zhì)。
此外,在成像模式中,相機部926拍攝被攝體的圖像,生成圖像數(shù)據(jù),并將生成的圖像數(shù)據(jù)輸出至例如圖像處理部927。圖像處理部927編碼從相機部926輸入的圖像數(shù)據(jù),并且使得編碼流被存儲在記錄和回放部929的存儲介質(zhì)中。
此外,在視頻電話模式中,mux/demux部928多路復用由圖像處理部927編碼的視頻流以及從音頻編解碼器923輸入的音頻流,并且將經(jīng)多路復用的流輸出至例如通信部922。通信部922編碼并調(diào)制所述流,并且生成發(fā)送信號。隨后,通信部922將生成的發(fā)送信號經(jīng)由天線921發(fā)送至基站(未示出)。同樣地,通信部922放大經(jīng)由天線921接收到的無線信號,轉(zhuǎn)換該無線信號的頻率,并獲取接收到的信號。發(fā)送信號和接收到的信號可以包括經(jīng)編碼的比特流。隨后,通信部922解調(diào)并解碼接收到的信號,重構所述流,并將重構的流輸出至mux/demux部928。mux/demux部928從輸入流中分理出視頻流和音頻流,并將視頻流輸出至圖像處理部927而將音頻流輸出至音頻編解碼器923。圖像處理部927解碼視頻流并生成視頻數(shù)據(jù)。視頻數(shù)據(jù)被供應給顯示部930,并由顯示部930顯示一系列圖像。音頻編解碼器923對音頻流進行解壓縮和D/A轉(zhuǎn)換,并生成模擬音頻信號。隨后,音頻編解碼器923將生成的音頻信號供應至揚聲器924并使得音頻被輸出。
在以此方式構成的移動電話920中,圖像處理部927用作根據(jù)上述實施方式的圖像編碼裝置10和圖像解碼裝置60。因此,當在移動電話920中編碼和解碼圖像時,同樣能夠更為恰當?shù)卮_定應用解塊濾波的范圍并改善圖像質(zhì)量。
[6-3.第三應用例]
圖15是例示了采用上述實施方式的記錄和回放裝置的概略構成的框圖。記錄和回放裝置940對例如接收到的廣播節(jié)目的音頻數(shù)據(jù)和視頻數(shù)據(jù)進行編碼,并將其記錄到記錄介質(zhì)上。記錄和回放裝置940還可以對例如從其他裝置獲取的音頻數(shù)據(jù)和視頻數(shù)據(jù)進行編碼,并將其記錄到記錄介質(zhì)上。此外,記錄和回放裝置940還根據(jù)例如來自用戶的指令,經(jīng)由監(jiān)視器和揚聲器回放在記錄介質(zhì)上記錄的數(shù)據(jù)。在這些時刻,記錄和回放裝置940解碼音頻數(shù)據(jù)和視頻數(shù)據(jù)。
記錄和回放裝置940包括調(diào)諧器941、外部接口942、編碼器943、硬盤驅(qū)動器(HDD)944、盤驅(qū)動器945、選擇器946、解碼器947、屏上顯示器(OSD)948、控制部949和用戶接口950。
調(diào)諧器941從經(jīng)由天線(未示出)接收的廣播信號中提取期望的信道的信號,并且解調(diào)所提取的信號。隨后,調(diào)諧器941將通過解調(diào)獲得的編碼比特流輸出至選擇器946。也就是說,調(diào)諧器941用作記錄和回放裝置940的傳輸裝置。
外部接口942是用于將記錄和回放裝置940連接至外部設備或網(wǎng)絡的接口。例如,外部接口942可以是IEEE 1394接口、網(wǎng)絡接口、USB接口、閃存接口等。例如,由外部接口942接收到的視頻數(shù)據(jù)和音頻數(shù)據(jù)輸入至編碼器943。也就是說,外部接口942用作記錄和回放裝置940的傳輸裝置。
在從外部接口942輸入的視頻數(shù)據(jù)和音頻數(shù)據(jù)未被編碼的情況下,編碼器943對所述視頻數(shù)據(jù)和音頻數(shù)據(jù)進行編碼。隨后,編碼器943將經(jīng)編碼的比特流輸出至選擇器946。
HDD 944將編碼的比特流(作為經(jīng)壓縮的內(nèi)容數(shù)據(jù),諸如視頻或音頻、各種節(jié)目和其他數(shù)據(jù))記錄在內(nèi)部硬盤上。同樣地,HDD 944在回放視頻和音頻時從硬盤讀取這些數(shù)據(jù)。
盤驅(qū)動器945相對插入的記錄介質(zhì)記錄或讀取數(shù)據(jù)。插入到盤驅(qū)動器945內(nèi)的記錄介質(zhì)可以是DVD盤(諸如,DVD-視頻、DVD-RAM、DVD-R、DVD-RW、DVD+或DVD+RW盤)、藍光(注冊商標)盤等。
當記錄視頻和音頻時,選擇器946選擇從調(diào)諧器941或從解碼器943輸入的編碼比特流,并將所選的編碼比特流輸出至HDD 944或盤驅(qū)動器945。同樣地,當回放視頻和音頻時,選擇器946將從HDD 944或從盤驅(qū)動器945輸入的編碼比特流輸出至解碼器947。
解碼器947解碼經(jīng)編碼的比特流,并生成視頻數(shù)據(jù)和音頻數(shù)據(jù)。隨后,解碼器947將生成的視頻數(shù)據(jù)輸出至OSD 948。同樣地,解碼器904將生成的音頻數(shù)據(jù)輸出至外部揚聲器。
OSD 948回放從解碼器947輸入的視頻數(shù)據(jù),并且顯示視頻。同樣地,OSD 948可以將諸如菜單、按鈕或光標的GUI圖像疊加在所顯示的視頻上。
控制部949包括諸如CPU的處理器,以及諸如RAM或ROM的存儲器。存儲器存儲要被CPU執(zhí)行的程序、程序數(shù)據(jù)等。存儲器中存儲的程序例如在記錄和回放裝置940啟動時由CPU讀取并執(zhí)行。通過執(zhí)行程序,CPU根據(jù)例如從用戶接口950輸入的操作信號控制記錄和回放裝置940的操作。
用戶接口950連接至控制部949。用戶接口950例如包括由用戶使用以操作記錄和回放裝置940的按鈕和開關,以及遙控信號接收器。用戶接口950檢測用戶經(jīng)由這些結構元件所進行的操作,生成操作信號,并將生成的操作信號輸出至控制部949。
在以此方式構成的記錄和回放裝置940中,編碼器943用作根據(jù)上述實施方式的圖像編碼裝置10。同樣地,解碼器947用作根據(jù)上述實施方式的圖像解碼裝置60。因此,當在記錄和回放裝置940中編碼和解碼圖像時,同樣能夠更為恰當?shù)卮_定應用解塊濾波的范圍并改善圖像質(zhì)量。
[6-4.第四應用例]
圖16是例示了采用上述實施方式的成像裝置的概略構成示例的框圖。成像裝置960拍攝被攝體的圖像,生成圖像,編碼圖像數(shù)據(jù),并將圖像數(shù)據(jù)記錄到記錄介質(zhì)上。
成像裝置960包括光學塊961、成像部962、信號處理部963、圖像處理部964、顯示部965、外部接口966、存儲器967、介質(zhì)驅(qū)動器968、OSD 969、控制部970、用戶接口971和總線972。
光學塊961連接至成像部962。成像部962連接至信號處理部963。顯示部965連接至信號處理部964。用戶接口971連接至控制部970??偩€972把圖像處理部964、外部接口966、存儲器967、介質(zhì)驅(qū)動器968、OSD 969和控制部970相互連接。
光學塊961包括聚焦透鏡和孔徑光闌機構等。光學塊961在成像部962的成像表面上形成被攝體的光學圖像。成像部962包括諸如CCD或CMOS傳感器的圖像傳感器,并將在成像表面上形成的光學圖像光電轉(zhuǎn)換成作為電信號的圖像信號。隨后,成像部962將圖像信號輸出至信號處理部963。
信號處理部963對從成像部962輸入的圖像信號執(zhí)行各種相機信號處理,諸如拐點校正、伽馬校正和顏色校正。信號處理部963將經(jīng)處理的圖像數(shù)據(jù)輸出至圖像處理部964。
圖像處理部964對從信號處理部963輸入的圖像數(shù)據(jù)進行編碼,并生成經(jīng)編碼的數(shù)據(jù)。隨后,圖像處理部964將由此生成的經(jīng)編碼數(shù)據(jù)輸出至外部接口966或介質(zhì)驅(qū)動器968。同樣地,圖像處理部964解碼從外部接口966或介質(zhì)驅(qū)動器968輸入的經(jīng)編碼數(shù)據(jù),并生成圖像數(shù)據(jù)。隨后,圖像處理部964將生成的圖像數(shù)據(jù)輸出至顯示部965。同樣地,圖像處理部964可以將從信號處理部963輸入的圖像數(shù)據(jù)輸出至顯示部965,并使得圖像被顯示。此外,圖像處理部964可以將從OSD 969獲取的顯示數(shù)據(jù)疊加到要被輸出至顯示部965的圖像上。
OSD 969生成諸如菜單、按鈕或光標的GUI圖像,并將生成的圖像輸出至圖像處理部964。
外部接口966被構造成例如USB輸入/輸出端子。外部接口966在例如打印圖像時將成像裝置960連接至打印機。同樣地,驅(qū)動器在需要時連接至外部接口966。諸如磁盤或光盤的可移動介質(zhì)被插入驅(qū)動器,從可移除介質(zhì)中讀取的程序則可被安裝在成像裝置960內(nèi)。此外,外部接口966還可被構造為用于連接諸如LAN或因特網(wǎng)的網(wǎng)絡的網(wǎng)絡接口。也就是說,外部接口966用作圖像捕捉裝置960的發(fā)送裝置。
插入介質(zhì)驅(qū)動器968的記錄介質(zhì)可以是任意的可讀和可寫的可移除介質(zhì),諸如磁盤、磁光盤、光盤或半導體存儲器。同樣地,記錄介質(zhì)可被永久性地安裝在介質(zhì)驅(qū)動器968內(nèi),由此構成諸如內(nèi)部硬盤驅(qū)動器或固態(tài)驅(qū)動器(SSD)的非便攜式存儲部。
控制部970包括諸如CPU的處理器,以及諸如RAM或ROM的存儲器。存儲器存儲要被CPU執(zhí)行的程序、程序數(shù)據(jù)等。存儲器中存儲的程序例如在成像裝置960啟動時由CPU讀取并執(zhí)行。通過執(zhí)行程序,CPU根據(jù)例如從用戶接口971輸入的操作信號控制成像裝置960的操作。
用戶接口971連接至控制部970。用戶接口971例如可包括用戶用來操作成像裝置960的按鈕和開關等。用戶接口971檢測用戶經(jīng)由這些結構元件所進行的操作,生成操作信號,并將生成的操作信號輸出至控制部970。
在以此方式構成的成像裝置960中,圖像處理部964用作根據(jù)上述實施方式的圖像編碼裝置10和圖像解碼裝置60。因此,在于圖像捕捉裝置960中編碼和解碼圖像的情況下,能夠更為恰當?shù)卮_定應用解塊濾波的范圍并改善圖像質(zhì)量。
7.結論
前述使用圖1-16詳細描述了根據(jù)實施方式的圖像編碼裝置10和圖像解碼裝置60中的解塊濾波的兩個實施例。根據(jù)這兩個實施例,以逐線為基礎判定是否對在圖像內(nèi)隔著邊界相鄰的兩個相鄰塊應用解塊濾波,并且根據(jù)判定結果對各個線應用解塊濾波。結果,相比于判定要逐塊應用解塊濾波的情況,能夠以更為精細的粒度實現(xiàn)判定。于是就能夠降低對已經(jīng)具有良好圖像質(zhì)量的部分應用解塊濾波而不對具有劣化圖像質(zhì)量的部分應用解塊濾波的可能性。換句話說,能夠改善經(jīng)濾波的圖像質(zhì)量。
同樣地,根據(jù)本實施方式,可以對逐塊判定無需應用解塊濾波的邊界跳過逐線判定。這一配置避免了對總體無需濾波的邊界處的所有線的訪問,由此抑制了處理負載的增加。
此外,根據(jù)第一和第二實施例,如下判定是否對每一個線應用解塊濾波:將根據(jù)僅屬于該線的參考像素的值計算出的判定參數(shù)的值與判定閾值相比較。結果,就能夠以順序訪問每個線的簡單配置實現(xiàn)逐線判定。
同樣地,根據(jù)第二實施例,可以對邊界處的多個線并行判定是否需要應用解塊濾波。結果,能夠總體上縮短逐線判定所需的處理時間。
此外,根據(jù)第三實施例,根據(jù)針對一個或多個基線計算出的參數(shù)來估計用于為垂直于邊界的多個線中的估計線判定是否要濾波或選擇濾波強度的參數(shù)值。結果,能夠降低與參數(shù)值的重復計算相關聯(lián)的處理成本。在此,通過將在邊界中央部分與該邊界垂直的一個或多個線設置為基線,就能夠與對其他邊界的濾波處理并行地對邊界逐線進行是否濾波的判定和濾波強度的選擇。此外,使得基線和估計線之間的線位置差異更小能夠?qū)崿F(xiàn)更為精確的參數(shù)值估計。
此外,根據(jù)本實施方式,在指定逐線判定的參數(shù)被包括在順序參數(shù)集、圖片參數(shù)集或片段頭部的情況下,可以逐線判定是否需要應用解塊濾波。根據(jù)這一配置,裝置開發(fā)人員就能夠經(jīng)由參數(shù)指定是更希望通過進行逐線判定改善圖像質(zhì)量,還是更希望通過進行逐塊判定來實現(xiàn)快速處理。
雖然已經(jīng)參考附圖描述了本發(fā)明的優(yōu)選實施方式,但是本發(fā)明顯然不受上述例子所限。本領域技術人員可以在所附權利要求范圍內(nèi)發(fā)現(xiàn)各種修改和變更,并且應該理解這些修改和變更自然地位于本發(fā)明的技術范圍內(nèi)。
注意到解塊濾波處理的單位大小和宏塊大小不限于本說明書中描述的例子,并且還可以是其他尺寸。例如,盡管H.264/AVC宏塊尺寸被固定為16×16像素,但是可以為每個序列動態(tài)指定HEVC編碼單位的尺寸。HEVC編碼單位還可被稱為編碼樹塊,其中具有最大尺寸的編碼單位被稱為最大編碼單位(LCU),具有最小尺寸的編碼單位則被稱為最小編碼單位(SCU)??捎镁幋a單位的尺寸范圍則通過在形成圖像壓縮信息的一部分的順序參數(shù)集中指定LCU和SCU尺寸來定義。此外,通過指定split_flag的值指定各個序列中使用的編碼單位尺寸。應該注意到,編碼單位的形狀通常為方形,一個邊的尺寸可被表達為2的冪。編碼單位可被附加地分割成預測單位(PU),其是用于幀內(nèi)預測和幀間預測處理的單位。編碼單位還可被分割成變換單位(TU),其是用于正交變換處理的單位。在HEVC中,除了4×4像素和8×8像素之外,還可以使用具有16×16像素和32×32像素尺寸的變換單位。在本說明書中,術語塊涵蓋宏塊、編碼單位、預測單位、變換單位和各種其他單位的概念。塊尺寸可以是固定的,但是也可以動態(tài)改變。
用于從編碼側(cè)到解碼側(cè)發(fā)送用于解塊濾波處理的信息的技術不限于將信息多路復用至編碼流頭部的技術。例如,該信息可被發(fā)送或記錄為與經(jīng)編碼比特流相關聯(lián)的分離數(shù)據(jù),而無需被多路復用至經(jīng)編碼比特流。術語“關聯(lián)”指的是使得包含在比特流中的圖像(或圖像的一部分,諸如片段或塊)與對應于該圖像的信息在解碼時鏈接的動作。即,該信息可以經(jīng)由與圖像(或比特流)所使用的不同的傳輸路徑而被發(fā)送。該信息可被記錄在與圖像(或比特流)所使用的不同的記錄介質(zhì)(或相同記錄介質(zhì)的不同記錄區(qū)域)上。信息和圖像(或比特流)可以以諸如多個幀、單個幀、幀內(nèi)一部分等的任意單位彼此關聯(lián)。
雖然已經(jīng)參考附圖描述了本發(fā)明的優(yōu)選實施方式,但是本發(fā)明顯然不受上述例子所限。本領域技術人員可以在所附權利要求范圍內(nèi)發(fā)現(xiàn)各種修改和變更,并且應該理解這些修改和變更自然地位于本發(fā)明的技術范圍內(nèi)。
參考標記列表
10,60 圖像處理裝置
120,222-1至222-n,320 線判定部
130,232-1至232-n,330 強度選擇部
140,242-1至242-n 濾波部
150,350 控制部
360 參數(shù)估計部