自適應(yīng)邊緣增強(qiáng)的制作方法
【專利摘要】本發(fā)明涉及自適應(yīng)邊緣增強(qiáng)。在本發(fā)明的至少一個實(shí)施例中，用于視頻信號的自適應(yīng)邊緣增強(qiáng)的設(shè)備包括瞬態(tài)改善模塊。瞬態(tài)改善模塊被配置為基于初始地具有輸入像素值的關(guān)注像素周圍的像素的像素值窗口產(chǎn)生第一調(diào)整像素值。所述設(shè)備包括被配置為基于第一調(diào)整像素值和輸入像素值產(chǎn)生第二調(diào)整像素值的自適應(yīng)峰化模塊。在所述設(shè)備的至少一個實(shí)施例中，自適應(yīng)峰化模塊包含被配置為基于第一調(diào)整像素值產(chǎn)生像素調(diào)整的高通濾波器。在所述設(shè)備的至少一個實(shí)施例中，自適應(yīng)峰化模塊還包括被配置為向像素調(diào)整施加至少一個自適應(yīng)增益值以產(chǎn)生自適應(yīng)調(diào)整值的增益路徑。
【專利說明】自適應(yīng)邊緣增強(qiáng)
【技術(shù)領(lǐng)域】
[0001]本申請涉及視頻處理系統(tǒng)，更特別地，涉及視頻信號的邊緣增強(qiáng)。
【背景技術(shù)】
[0002]一般地，圖像處理系統(tǒng)和視頻處理系統(tǒng)執(zhí)行邊緣增強(qiáng)技術(shù)以改善圖像或以下稱為“圖像”的視頻信號幀(即，視頻幀、視頻圖像)的表觀銳度。典型的邊緣增強(qiáng)濾波器(例如，瞬態(tài)改善濾波器)被設(shè)計為改善圖像或視頻巾貞的亮度(Iuma)的邊緣過渡(edge transition)。例如，邊緣增強(qiáng)濾波器識別幀中的銳化邊緣邊界，例如主體與對比色的背景之間的邊緣，并且增加緊挨著邊緣周圍區(qū)域中的對比度。但是，邊緣增強(qiáng)濾波器會過沖(overshoot)或欠沖(undershoot),從而產(chǎn)生視覺不自然或噪聲調(diào)整邊緣。

【發(fā)明內(nèi)容】

[0003]在本發(fā)明的至少一個實(shí)施例中，用于視頻信號的自適應(yīng)邊緣增強(qiáng)的設(shè)備包括瞬態(tài)改善模塊。瞬態(tài)改善模塊被配置為基于初始地具有輸入像素值的關(guān)注像素周圍的像素的像素值窗口產(chǎn)生第一調(diào)整像素值。所述設(shè)備包括被配置為基于第一調(diào)整像素值和輸入像素值產(chǎn)生第二調(diào)整像素值的自適應(yīng)峰化模塊。在所述設(shè)備的至少一個實(shí)施例中，自適應(yīng)峰化模塊包含被配置為基于第一調(diào)整像素值產(chǎn)生像素調(diào)整的高通濾波器。在所述設(shè)備的至少一個實(shí)施例中，自適應(yīng)峰化模塊還包括被配置為向像素調(diào)整施加至少一個自適應(yīng)增益值以產(chǎn)生自適應(yīng)調(diào)整值的增益路徑。
[0004]在本發(fā)明的至少一個實(shí)施例中，用于視頻信號的邊緣增強(qiáng)的方法包括基于關(guān)注像素周圍的像素的像素值窗口產(chǎn)生關(guān)注像素的瞬態(tài)調(diào)整像素值。所述關(guān)注像素初始地具有輸入像素值。所述方法包括基于至少一個自適應(yīng)增益值、像素值窗口的高通濾波和瞬態(tài)調(diào)整像素值產(chǎn)生關(guān)注像素的輸出調(diào)整像素值。
[0005]在本發(fā)明的至少一個實(shí)施例中，用于視頻信號的自適應(yīng)邊緣增強(qiáng)的設(shè)備包括被配置為基于具有輸入色度值和輸入亮度值的關(guān)注像素周圍的像素的色度值窗口產(chǎn)生第一調(diào)整色度值的第一色度瞬態(tài)調(diào)整模塊。所述設(shè)備包括被配置為基于第一調(diào)整色度值、輸入色度值和輸入亮度值產(chǎn)生關(guān)注像素的輸出調(diào)整色度值的第一控制模塊。
【專利附圖】

【附圖說明】
[0006]通過參照附圖，可以更好地理解本發(fā)明，并且對于本領(lǐng)域技術(shù)人員來說，其大量的目標(biāo)、特征和優(yōu)點(diǎn)將變得十分明顯。
[0007]圖1示出示例性視頻處理系統(tǒng)的功能框圖。
[0008]圖2A和圖2B示出符合本發(fā)明的各種實(shí)施例的自適應(yīng)邊緣增強(qiáng)視頻處理模塊的功能框圖。
[0009]圖3示出符合本發(fā)明的至少一個實(shí)施例的圖2A和圖2B的瞬態(tài)改善模塊的功能框圖。[0010]圖4示出符合本發(fā)明的至少一個實(shí)施例的圖3的亮度瞬態(tài)改善模塊的功能框圖。
[0011]圖5A和圖5B示出符合本發(fā)明的至少一個實(shí)施例的分別通過圖4的查找表402和410實(shí)現(xiàn)的示例性函數(shù)。
[0012]圖6示出符合本發(fā)明的至少一個實(shí)施例的圖2A和圖2B的具有環(huán)控制(ringingcontrol)的二維自適應(yīng)峰化模塊204的功能框圖。
[0013]圖7示出符合本發(fā)明的至少一個實(shí)施例的圖6的環(huán)控制模塊804的功能框圖。
[0014]圖8示出符合本發(fā)明的至少一個實(shí)施例的圖2A和圖2B的色度成分瞬態(tài)改善模塊206的功能框圖。
[0015]圖9示出符合本發(fā)明的至少一個實(shí)施例的圖8的色度成分瞬態(tài)改善模塊504的功能框圖。
[0016]圖1OA和圖1OB示出符合本發(fā)明的至少一個實(shí)施例的分別由圖6的軟核心化模塊946和查找表910實(shí)現(xiàn)的示例性函數(shù)。
[0017]圖1OC示出符合本發(fā)明的至少一個實(shí)施例的圖9的用于產(chǎn)生加權(quán)因子k的控制路徑。
[0018]在不同的附圖中，用相同的附圖標(biāo)記表示類似或相同的項目。
【具體實(shí)施方式】
[0019]參照圖1，示例性視頻片上系統(tǒng)(SOC)集成電路(例如，視頻SOC 102)通過存儲器104從外部源接收一個或多個視頻數(shù)據(jù)流。視頻處理器108和110從存儲器104取回未壓縮的視頻數(shù)據(jù)。視頻處理器108和110—次僅取回視頻數(shù)據(jù)的單個幀的多個部分。視頻處理器108和110可包括下述中的一個或多個:巾貞速率轉(zhuǎn)換器、顯示器、去隔行器(deinterlacer)、排字機(jī)、定標(biāo)器(scaler)、邊緣增強(qiáng)模塊、顏色操作模塊、面部或?qū)ο笞R別模塊、對比度增強(qiáng)器、超限分辨定標(biāo)器(superresolution scaler)、去塊器(deblocker)、時間和/或空間減噪器、其它適當(dāng)?shù)囊曨l處理模塊或它們的任意的組合。視頻處理器108和110將處理的、未壓縮的視頻數(shù)據(jù)重新存儲到存儲器104以供隨后的使用，或者將處理的視頻數(shù)據(jù)直接提供給片上緩沖器、直接提供給另一視頻處理器或提供給片外電路(未示出)。
[0020]雖然解壓縮器106和視頻處理器108和110被示為直接與存儲器控制器112耦合，但是在SOC的其它的實(shí)施例中，解壓縮器106和視頻處理器108和110與一個或多個共享的存儲器總線耦合。典型的存儲器104是雙數(shù)據(jù)速率同步動態(tài)隨機(jī)存取存儲器(即，DDRSDRAM存儲器或DDR存儲器)。在至少一個實(shí)施例中，存儲器104是符合DDR SDRAM存儲器標(biāo)準(zhǔn)、DDR2SDRAM存儲器標(biāo)準(zhǔn)、DDR3SDRAM存儲器標(biāo)準(zhǔn)、其它的DDR SDRAM標(biāo)準(zhǔn)或其它適當(dāng)?shù)拇鎯ζ鳂?biāo)準(zhǔn)的DDR存儲器。
[0021]參照圖1和圖2，在視頻系統(tǒng)100的至少一個實(shí)施例中，視頻處理器108和110是對圖像執(zhí)行邊緣增強(qiáng)技術(shù)以提高圖像的表觀銳度的自適應(yīng)邊緣增強(qiáng)模塊(例如，自適應(yīng)增強(qiáng)模塊200)。圖像的特定像素一般由亮度值(Y)和兩個色度值(例如，(；和Ck)表示。如這里提到的那樣，“像素值”指的是亮度值或色度成分值，例如，用于圖像的特定像素的Y、CB或CK。對于至少一種復(fù)合視頻編碼系統(tǒng)，亮度值代表圖像中的亮度(即，圖像的黑白或非彩色部分)。色度信號與亮度信號分離地傳送圖像的顏色信息。一般地，色度信號一般由兩個顏色差成分U = 0.492X (B' -Y) (B卩，藍(lán)-亮度)和V = 0.877Χ (R' -Y) (B卩，紅-亮度)表示。在復(fù)合視頻信號中，U和V信號調(diào)制顏色子載波信號。結(jié)果被稱為色度信號。調(diào)制的色度信號的相位和振幅大致與顏色的色調(diào)和飽和度對應(yīng)。在復(fù)合視頻系統(tǒng)的至少一個實(shí)施例中，不使用視頻信號的藍(lán)色和紅色成分的絕對值(例如，B'和R')，而使用顏色差成分(例如，分別是Cb和CK)。在至少一個實(shí)施例中，自適應(yīng)增強(qiáng)模塊200增強(qiáng)圖像的亮度值和色度值。但是，符合這里描述的技術(shù)的自適應(yīng)增強(qiáng)模塊增強(qiáng)亮度值、Cb色度值、Ck色度值或它們的任意的組合。
[0022]參照圖2A和圖2B，在自適應(yīng)增強(qiáng)模塊200的至少一個實(shí)施例中，瞬態(tài)改善模塊(例如，亮度瞬態(tài)改善模塊202)對于圖像的亮度值(例如，Yin)執(zhí)行邊緣增強(qiáng)技術(shù)，并且對于圖像的各亮度值產(chǎn)生調(diào)整的亮度值(例如，Zi (x，y))。但是，亮度瞬態(tài)改善模塊202將高頻引入圖像的亮度中。附加的增強(qiáng)模塊(例如，具有環(huán)控制的二維自適應(yīng)峰化模塊204)增強(qiáng)圖像的亮度的這些新引入的高頻成分以產(chǎn)生圖像的輸出調(diào)整亮度值(例如，YotX附加的瞬態(tài)改善模塊(例如，色度瞬態(tài)改善模塊208)對于色度成分(例如，Cb和Ck)中的每一個執(zhí)行邊緣增強(qiáng)技術(shù)以產(chǎn)生輸出調(diào)整色度成分值(例如，分別是Cbtot和C_T)。一般地，圖像的色度成分由于高的壓縮量因此是噪聲信號，從而使得與在圖像的相應(yīng)亮度中相比，更難以在圖像的色度成分中檢測到邊緣。與圖像的亮度和色度中的邊緣相比，單獨(dú)的色度成分(例如，Cb)中的邊緣不可能被人眼檢測到。由于邊緣增強(qiáng)技術(shù)會引入噪聲偽信號，因此在自適應(yīng)增強(qiáng)模塊200的至少一個實(shí)施例中，色度成分瞬態(tài)改善模塊206的邊緣增強(qiáng)技術(shù)由圖像的相關(guān)亮度值的函數(shù)(例如，Yin)控制。例如，當(dāng)對于相應(yīng)亮度值檢測到邊緣時，僅通過色度成分瞬態(tài)改善模塊206調(diào)整圖像的色度成分值。在自適應(yīng)邊緣增強(qiáng)模塊200的至少一個實(shí)施例中，色度成分的邊緣增強(qiáng)由圖像的相應(yīng)亮度值的延遲形式的函數(shù)(Y1/ )控制。
[0023]參照圖3，在亮度瞬態(tài)改善模塊202的至少一個實(shí)施例中，像素值窗口(例如，亮度值窗口)被存儲于緩沖器302中。注意，窗口 302是不對稱的，行數(shù)小于列數(shù)。7X9窗口僅是示例性的，并且以相應(yīng)的關(guān)注像素(即，當(dāng)前像素或輸入像素)為中心的具有不同尺寸和/或?qū)ΨQ性的其它窗口(例如，3 X 3、4 X 4、9 X 9 )符合這里描述的技術(shù)。亮度值窗口包括關(guān)注像素周圍的那些像素的亮度值，其中關(guān)注像素以窗口為中心。像素數(shù)據(jù)可直接從存儲器104被取回，或者可被存儲于視頻SOC 102的幀緩沖器或其它適當(dāng)?shù)木彌_器中。
[0024]在亮度瞬態(tài)改善模塊202的至少一個實(shí)施例中，四個方向?yàn)V波器模塊(例如，水平邊緣增強(qiáng)濾波器模塊304、垂直邊緣增強(qiáng)濾波器模塊306、正對角邊緣增強(qiáng)濾波器模塊308和負(fù)對角邊緣增強(qiáng)濾波器模塊310)中的每一個通過向與關(guān)注像素相關(guān)的亮度值窗口施加二維非線濾波來確定相應(yīng)方向(例如，分別為水平、垂直、正對角和負(fù)對角)的瞬態(tài)改善值。如這里提到的那樣，“改善值”或“增強(qiáng)值”指的是要改善圖像的視覺的調(diào)整值。
[0025]在至少一個實(shí)施例中，方向?yàn)V波器模塊304、306、308和310中的每一個包含基于來自以關(guān)注像素為中心的窗口的亮度值的線性濾波產(chǎn)生相應(yīng)的平滑化的像素值(例如，分別為Xsh(0:8)、Xsv(0:6)、xs+45(0:6)、xs_45(0:6))的相應(yīng)的平滑濾波器(例如，平滑濾波器314、316、318和320)。平滑化的像素值沿要被改善的邊緣具有減少的瞬態(tài)噪聲。在至少一個實(shí)施例中，平滑濾波器單元分別向不強(qiáng)調(diào)使用相同取向或關(guān)注方向的亮度信息的那些亮度值施加濾波器矩陣。在亮度瞬態(tài)改善模塊202的至少一個實(shí)施例中，平滑濾波器314、316、318和320是輸出三個共線值的3 X 3濾波器。在2009年12月16日提交的以BradleyArthur Wallace和James C.Lynch作為發(fā)明人的美國專利申請N0.12/639，353中描述了3X3像素窗口的水平、垂直、正對角和負(fù)對角方向的示例性濾波器技術(shù)，在此加入該申請作為參考。這些教導(dǎo)可被擴(kuò)展到以具有位于像素窗口的第3行第4列上的關(guān)注像素(即，X34)的關(guān)注像素為中心的7X9窗口。
[0026]在亮度瞬態(tài)改善模塊202的至少一個實(shí)施例中，平滑濾波器314是輸出九個平滑的共線值的7X9濾波器，并且平滑濾波器316、318和320是輸出七個平滑的共線值的7X9
濾波器。例如，如果亮度值的窗口是
[0027]
【權(quán)利要求】
1.一種用于視頻信號的自適應(yīng)邊緣增強(qiáng)的設(shè)備，包括:被配置為基于初始地具有輸入像素值的關(guān)注像素周圍的像素的像素值窗口產(chǎn)生第一調(diào)整像素值的瞬態(tài)改善模塊；和被配置為基于自適應(yīng)調(diào)整值、第一調(diào)整像素值和輸入像素值產(chǎn)生第二調(diào)整像素值的自適應(yīng)峰化模塊。
2.如權(quán)利要求1所述的設(shè)備，其中，自適應(yīng)峰化模塊包含被配置為基于第一調(diào)整像素值產(chǎn)生像素調(diào)整的高通濾波器，以及其中，自適應(yīng)峰化模塊還包含被配置為向像素調(diào)整施加至少一個自適應(yīng)增益值以產(chǎn)生自適應(yīng)調(diào)整值的增益路徑。
3.如權(quán)利要求2所述的設(shè)備，還包括:被配置為產(chǎn)生所述至少一個自適應(yīng)增益值的控制路徑，所述控制路徑包含:被配置為產(chǎn)生第一調(diào)整像素值的低通濾波形式的二維低通濾波器；被配置為放大第一調(diào)整像素值的低通濾波形式中在至少第一方向上的邊緣的至少一個二維高通濾波器，其中，所述至少一個自適應(yīng)增益值基于所述至少一個二維高通濾波器的至少一個相應(yīng)的輸出；可選地，所述控制路徑還包含:被配置為基于低通濾波輸入像素的強(qiáng)度提供第一自適應(yīng)增益值的增益控制模塊；其中，所述至少一個二維高通濾波器包含:被配置為放大二維低通濾波器的輸出中在水平方向上的邊緣的第一二維高通濾波器；被配置為放大二維低通濾波器的輸出中在垂直方向上的邊緣的第二二維高通濾波器；其中，第二自適應(yīng)增益值基于第一和第二二維高通濾波器的輸出。
4.如權(quán)利要求2或3所述的設(shè)備，其中，自適應(yīng)峰化模塊還包含被配置為組合自適應(yīng)增益調(diào)整值與第一調(diào)整像素值以產(chǎn)生第二調(diào)整像素值的求和模塊。
5.如前述權(quán)利要求中任意一項所述的設(shè)備，還包括:被配置為基于第二調(diào)整像素值產(chǎn)生輸出調(diào)整像素值的環(huán)控制模塊，所述輸出調(diào)整像素值處于基于最小像素值和最大像素值的范圍內(nèi)。
6.如前述權(quán)利要求中任意一項所述的設(shè)備，其中，瞬態(tài)改善模塊是亮度瞬態(tài)改善模塊，并且所述設(shè)備還包括:被配置為基于包含關(guān)注像素的輸入色度值的色度像素值的窗口產(chǎn)生至少一個調(diào)整色度像素值的色度瞬態(tài)改善模塊，以及所述輸入像素值是相應(yīng)的亮度值。
7.如前述權(quán)利要求中任意一項所述的設(shè)備，其中，亮度瞬態(tài)改善模塊和色度瞬態(tài)改善模塊中的至少一個還包含沖擊抑制模塊，其中，沖擊抑制模塊被配置為在瞬態(tài)調(diào)整像素值大于最大調(diào)整像素值時選擇最大調(diào)整像素值作為第一調(diào)整像素值，其中，沖擊抑制模塊被配置為在瞬態(tài)調(diào)整像素值小于最大調(diào)整像素值時選擇最小調(diào)整像素值作為第一調(diào)整像素值，以及其中，沖擊抑制模塊被配置為在瞬態(tài)調(diào)整像素值小于等于最大調(diào)整像素值并且瞬態(tài)調(diào)整像素值大于等于最小調(diào)整像素值時選擇瞬態(tài)調(diào)整像素值作為第一調(diào)整像素值。
8.如前述權(quán)利要求中任意一項所述的設(shè)備，其中，瞬態(tài)改善模塊被配置為:組合對應(yīng)于多個水平方向、垂直方向、+45度對角方向和-45度對角方向的調(diào)整與輸入像素值，以產(chǎn)生第一調(diào)整像素值；和/或組合沿第一方向共線的像素的共線像素值的第一近似值、共線像素的第二近似值和基于像素值的平均亮度值的增益控制值，以產(chǎn)生調(diào)整值，其中所述第一調(diào)整像素值基于調(diào)整值。
9.一種用于視頻信號的邊緣增強(qiáng)的方法，包括:基于關(guān)注像素周圍的像素的像素值窗口產(chǎn)生關(guān)注像素的瞬態(tài)調(diào)整像素值，所述關(guān)注像素初始地具有輸入像素值；和基于至少一個自適應(yīng)增益值、像素值窗口的高通濾波器和瞬態(tài)調(diào)整像素值產(chǎn)生關(guān)注像素的輸出調(diào)整像素值。
10.如權(quán)利要求9所述的方法，其中:產(chǎn)生輸出調(diào)整像素值包含減少由線性鈍化遮罩濾波引入的環(huán)效應(yīng)；產(chǎn)生輸出調(diào)整像素值包含當(dāng)調(diào)整形式的瞬態(tài)調(diào)整像素值處于像素值的范圍之外時，提供輸出調(diào)整像素值的上限或輸出調(diào)整像素值的下限作為輸出調(diào)整像素值，所述像素值的范圍由上限和下限限定，所述上限和下限基于像素的窗口和瞬態(tài)調(diào)整像素值；和/或所述至少一個自適應(yīng)增益被配置`為限制輸出調(diào)整像素值的變化率。
11.如權(quán)利要求9或10所述的方法，還包括:低通濾波關(guān)注像素周圍的像素的像素值的第二窗口和瞬態(tài)調(diào)整像素值；和基于低通濾波的輸出產(chǎn)生至少一個自適應(yīng)增益值；可選地，產(chǎn)生至少一個自適應(yīng)增益值包含:二維高通濾波低通濾波的輸出以產(chǎn)生第一增益值，所述二維高通濾波放大第一方向上的任意邊緣；二維高通濾波低通濾波的輸出以產(chǎn)生第二增益值，所述二維高通濾波放大第二方向上的任意邊緣，所述第二方向與所述第一方向不同；以及基于第一和第二增益值產(chǎn)生所述至少一個自適應(yīng)增益。
12.如權(quán)利要求9、10或11所述的方法，其中，產(chǎn)生瞬態(tài)調(diào)整像素值包含:當(dāng)?shù)谝凰矐B(tài)調(diào)整像素值大于最大瞬態(tài)調(diào)整像素值時，選擇最大瞬態(tài)調(diào)整值作為瞬態(tài)調(diào)整像素值；當(dāng)?shù)谝凰矐B(tài)調(diào)整像素值小于最小調(diào)整像素值時，選擇最小瞬態(tài)調(diào)整值作為瞬態(tài)調(diào)整像素值；和當(dāng)?shù)谝凰矐B(tài)調(diào)整像素值小于等于最大瞬態(tài)調(diào)整像素值并且第一瞬態(tài)調(diào)整像素值大于等于最小調(diào)整像素值時，選擇第一瞬態(tài)調(diào)整像素值作為瞬態(tài)調(diào)整像素值。
13.如權(quán)利要求9~12中的任一項所述的方法，其中:瞬態(tài)調(diào)整像素值是瞬態(tài)調(diào)整亮度值，并且輸入像素值是亮度像素值，并且所述方法還包括基于亮度像素值產(chǎn)生瞬態(tài)調(diào)整色度值；或者瞬態(tài)調(diào)整像素值是瞬態(tài)調(diào)整色度值，以及所述輸入像素值是色度像素值。
14.如權(quán)利要求9~13中的任一項所述的方法，其中，瞬態(tài)調(diào)整值基于關(guān)于水平方向、垂直方向、+45度對角方向或-45度對角方向中的至少一個的多個調(diào)整值；可選地，產(chǎn)生瞬態(tài)調(diào)整像素值包含:組合對應(yīng)于多個水平方向、垂直方向、+45度對角方向和-45度對角方向的調(diào)整與輸入像素值以產(chǎn)生瞬態(tài)調(diào)整像素值。
15.如權(quán)利要求9~14中的任一項所述的方法，還包括:基于沿第一方向共線的像素的共線像素值的第一近似值、共線像素值的第二近似值和基于平均亮度值的增益控制值，產(chǎn)生 瞬態(tài)調(diào)整像素值。
【文檔編號】H04N5/208GK103517048SQ201210209570
【公開日】2014年1月15日 申請日期:2012年6月20日 優(yōu)先權(quán)日:2012年6月20日
【發(fā)明者】B·A·華萊士 申請人:Vixs系統(tǒng)公司