專利名稱：在視頻清晰度增強(qiáng)中改善時(shí)間一致性的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種提高數(shù)字視頻信號質(zhì)量的系統(tǒng)和方法。具體而言，本發(fā)明的系統(tǒng)和方法改善了清晰度提高算法中的時(shí)間一致性。
背景技術(shù)：
高質(zhì)量多媒體設(shè)備(比如機(jī)頂盒，高端電視，數(shù)字電視，個(gè)人電視，存儲產(chǎn)品，PDA，無線網(wǎng)絡(luò)設(shè)備等等)正在向多種結(jié)構(gòu)體系的方向發(fā)展并且正在向?qū)τ糜谶@些設(shè)備的新的功能部件更加開放的方向發(fā)展。而且，這些新產(chǎn)品及其顯示任意格式視頻數(shù)據(jù)的能力的發(fā)展，已經(jīng)導(dǎo)致了對視頻處理和視頻增強(qiáng)算法的新的需求和機(jī)會。
MPEG(運(yùn)動圖像專家組)視頻壓縮正被用在許多當(dāng)前的和新興的產(chǎn)品中。MPEG是數(shù)字電視機(jī)頂盒、DSS、HDTV解碼器、DVD播放器、視頻會議、網(wǎng)絡(luò)視頻和其它應(yīng)用系統(tǒng)的核心。由于僅需要較小的存儲空間來保存視頻信息、較窄的帶寬來實(shí)現(xiàn)從一個(gè)點(diǎn)到另一個(gè)點(diǎn)的視頻信息傳送、或者二者的結(jié)合，視頻壓縮使這些應(yīng)用系統(tǒng)獲益菲淺。這些設(shè)備的大部分接收和/或存儲MPEG-2格式的視頻數(shù)據(jù)。將來它們可以接收和/或存儲MPEG-4格式的視頻數(shù)據(jù)。這些MPEG源的圖像質(zhì)量可能大大不同。
通過對人的視覺系統(tǒng)進(jìn)行研究，我們發(fā)現(xiàn)，眼睛對亮度的變化比對色度的變化更敏感。MPEG對彩色空間進(jìn)行操作，有效地利用了眼睛對亮度和色度信息的不同敏感度。這樣，MPEG使用YCbCr彩色空間代替RGB來表示數(shù)據(jù)值，其中Y表示亮度分量，通過實(shí)驗(yàn)方法確定為Y＝0.299R+0.587G+0.144B，Cb是藍(lán)色差分量，此處Cb＝B-Y，Cr是紅色差分量，此處Cr＝R-Y。
將MPEG設(shè)置成多層層次，以助于誤差處理、隨機(jī)搜索和編輯以及同步，例如與音頻比特流同步。第一層或者頂層，稱為視頻序列層，它是任意的完備的比特流，例如經(jīng)編碼的電影、廣告或者卡通片。
第二層，在第一層之下，是圖像組(GOP)層，由一組或多組內(nèi)幀(I)和/或非幀內(nèi)(P和/或B)圖像組成。I幀被嚴(yán)格幀內(nèi)壓縮。它們的目的是為視頻提供隨機(jī)訪問點(diǎn)。P幀是運(yùn)動補(bǔ)償前向預(yù)測編碼幀。P幀是幀間壓縮的，通常比I幀壓縮程度更大。B幀是運(yùn)動補(bǔ)償雙向預(yù)測編碼幀。B幀是幀間壓縮的，通常壓縮程度最大。
第三層，在第二層之下，是圖像層本身。第三層之下的第四層稱為像條層。每個(gè)像條是按光柵順序排列的宏塊的鄰接序列，在典型的視頻應(yīng)用系統(tǒng)中，最常以行為基礎(chǔ)。該像條結(jié)構(gòu)用來在出現(xiàn)錯(cuò)誤時(shí)實(shí)現(xiàn)解碼。每個(gè)像條由宏塊(亮度像素的16*16陣列)或者圖像數(shù)據(jù)元素組成，并且具有2個(gè)8*8陣列(依賴于格式)色度像素。宏塊可以進(jìn)一步分成不同的8*8塊，用于進(jìn)行進(jìn)一步處理，比如轉(zhuǎn)換編碼。當(dāng)涉及YCbCr彩色空間時(shí)，宏塊可用幾個(gè)不同方式表示。通常使用的三種格式為4:4:4，4:2:2，4:2:0視頻。4:2:2包含的色度信息是4:4:4的一半，4:4:4是全帶寬YcbCr視頻，4:2:0包含4:4:4色度信息的四分之一。由于亮度和色度表示法的有效方式，4:2:0表示法使得數(shù)據(jù)能夠直接從12塊/宏塊減少到6塊/宏塊。
與P幀和B幀相比，I幀只提供中等程度的壓縮，而在P幀和B幀中MPEG獲得了其最大壓縮效率。該效率通過一種稱為基于運(yùn)動補(bǔ)償?shù)念A(yù)測技術(shù)獲得，該技術(shù)使用了時(shí)間冗余。由于幀是非常相關(guān)的，所以假設(shè)當(dāng)前圖像可被模擬為前一時(shí)刻的圖像的變換。于是能夠根據(jù)前一幀的數(shù)據(jù)精確預(yù)測當(dāng)前幀的數(shù)據(jù)。在P幀中，每個(gè)16*16大小的宏塊是由預(yù)先編碼的I或P圖像的宏塊預(yù)測得到的。由于幀是運(yùn)動對象的瞬態(tài)圖，兩幀之間的宏塊可能不會對應(yīng)于相同的空間位置。編碼器將會以半個(gè)像素為增量搜索前面的幀(對P幀而言，或者對B幀而言是之前和之后的幀)來尋找與包含在當(dāng)前宏塊中的信息是最接近匹配的其它宏塊的位置。最匹配宏塊與相同位置宏塊(cositedmacroblock)在水平和垂直方向上的位移稱為運(yùn)動矢量。當(dāng)前塊和匹配塊之間的差值以及運(yùn)動矢量被編碼。運(yùn)動矢量也可以被用于出現(xiàn)損壞數(shù)據(jù)時(shí)的運(yùn)動預(yù)測，精密完善的解碼器算法可使用這些矢量進(jìn)行誤差消除。對B幀而言，基于運(yùn)動補(bǔ)償?shù)念A(yù)測和內(nèi)插使用每一幀之前或之后的參考幀執(zhí)行。
下一代存儲設(shè)備，比如基于藍(lán)色激光的數(shù)字錄像機(jī)(DVR)具有一定程度的HD(高清晰)(ATSC)能力，并且該錄像機(jī)是一個(gè)具有圖像增強(qiáng)的新方法的設(shè)備的實(shí)例。HD節(jié)目通常以20Mb/s速率進(jìn)行廣播，并且按照MPEG-2視頻標(biāo)準(zhǔn)編碼?？紤]DVR的大約25Gb存儲容量，這表示每張盤有大約兩小時(shí)的HD視頻數(shù)據(jù)記錄時(shí)間。為了增加記錄時(shí)間，可以定義幾個(gè)長播放模式，比如長播放(LP)和擴(kuò)展長播放(ELP)模式。
對于LP模式，平均存儲比特率假設(shè)為接近10Mb/s，實(shí)現(xiàn)了HD的兩倍記錄時(shí)間。因此，代碼轉(zhuǎn)換是視頻處理鏈路的必備部分，它將20Mb/s的廣播比特率減少到10Mb/s的存儲比特率。在MPEG-2代碼轉(zhuǎn)換中，非常有可能降低視頻的圖像質(zhì)量(比如清晰度)。但是，對于LP模式，圖像質(zhì)量不會損害太多。因此，對于LP模式，后處理在改善感知的圖像質(zhì)量重起到重要作用。
當(dāng)前，用于模擬視頻傳輸標(biāo)準(zhǔn)比如NTSC(全國電視系統(tǒng)委員會)、PAL(逐行倒相)和SECAM(順序與存儲彩色電視)的大部分已有的清晰度增強(qiáng)算法已經(jīng)得到了發(fā)展和優(yōu)化。通常，圖像增強(qiáng)算法減少圖像中某些不想要的方面(比如噪聲減少)或者改善圖像的某些想要的特性(比如清晰度增強(qiáng))。對這些新出現(xiàn)的存儲設(shè)備，由于這些源的不同特性，傳統(tǒng)的清晰度增強(qiáng)算法可以會對MPEG編碼的或代碼轉(zhuǎn)換的視頻數(shù)據(jù)次優(yōu)地執(zhí)行。
由于圖像質(zhì)量將為高端視頻產(chǎn)品保持區(qū)別因素，執(zhí)行圖像增強(qiáng)的新的方法，尤其適用于由這些源使用的方法，將是有用的。在C-JTsai、P.Karunaratne、N.P.Galatsanos和A.K.Katsagge1os所著的《A Compressed Video Enhancement Algorithm》(一種壓縮視頻增強(qiáng)算法)(IEEE會報(bào)，ICIP’99，1999年10月25-28日，日本神戶)中，作者建議了一種用于增強(qiáng)被低比特率編碼的視頻序列的迭代算法。對于MPEG源，圖像質(zhì)量的降低大部分源自量化函數(shù)。因此，作者使用的迭代梯度投影算法使用編碼信息，比如量化級大小、宏塊類型和價(jià)值函數(shù)中的前向運(yùn)動矢量。該算法為低比特率視頻信號給出了希望結(jié)果，但是，該方法具有很高的計(jì)算復(fù)雜性。
在B.Martins和S.Forchammer所著的《Improved Decoding ofMPEG-2 Coded Video》(MPEG-2編碼視頻的改善解碼)(IBC’2000會報(bào)，2000年9月7-12日，荷蘭阿姆斯特丹，第109-115頁)中，作者描述了一種改善MPEG-2編碼視頻信號的解碼的新思想。具體來講，建議了一種結(jié)合在解碼處理中的解交織和格式轉(zhuǎn)換的一體方法。該技術(shù)獲得了明顯高于常規(guī)解碼的圖像質(zhì)量。但是當(dāng)前它的計(jì)算復(fù)雜性妨礙了其在消費(fèi)產(chǎn)品中的應(yīng)用。
上述文章都介紹了使用MPEG編碼信息和價(jià)值函數(shù)的視頻增強(qiáng)算法。但是，上述情況除了不實(shí)用外，還組合了增強(qiáng)和價(jià)值函數(shù)。價(jià)值函數(shù)確定增強(qiáng)可被應(yīng)用的程度和圖像中的位置。價(jià)值函數(shù)和增強(qiáng)函數(shù)的組合帶來的問題是價(jià)值函數(shù)只能使用一種算法。

發(fā)明內(nèi)容
本發(fā)明的目的和優(yōu)點(diǎn)將在下面的說明中得以闡明，并且通過下面的說明，這些目的和優(yōu)點(diǎn)將是顯而易見的，同時(shí)將會通過本發(fā)明的實(shí)踐得以認(rèn)知。借助本文所寫出的說明書和權(quán)利要求書中所明確指出的系統(tǒng)和方法，并且從附圖中，將會認(rèn)識并獲得本發(fā)明的其它優(yōu)點(diǎn)。
因此本發(fā)明的一個(gè)目的是提供一種在清晰度增強(qiáng)算法中改善視頻信號時(shí)間一致性的系統(tǒng)和方法。本發(fā)明用獨(dú)立權(quán)利要求加以定義。從屬權(quán)利要求定義了有利實(shí)施例。
為了獲得這些和其它優(yōu)點(diǎn)，并且根據(jù)本發(fā)明的目的，如實(shí)施例所述，本發(fā)明包括一種使用清晰度增強(qiáng)算法通過增強(qiáng)增益來改善表示至少一幀的增強(qiáng)信號的時(shí)間一致性的方法，所述方法包括如下步驟接收包括至少一幀的增強(qiáng)信號，為幀中每個(gè)像素獲得與清晰度增強(qiáng)算法相關(guān)的增強(qiáng)增益，為所述幀中每個(gè)像素的增強(qiáng)增益確定一個(gè)更新增強(qiáng)增益。該方法進(jìn)一步包括步驟將所述更新增強(qiáng)增益存儲到增益存儲器，將更新增強(qiáng)增益應(yīng)用到清晰度增強(qiáng)算法，改善增強(qiáng)信號的時(shí)間一致性。
所述系統(tǒng)包括濾波器，用于濾波視頻信號和產(chǎn)生高通信號；乘法器，用于將高通信號與通過本發(fā)明的方法產(chǎn)生的更新增強(qiáng)增益相乘，產(chǎn)生一個(gè)增益控制信號；加法器，將視頻信號與增益控制信號相加，該加法器產(chǎn)生一個(gè)增強(qiáng)的時(shí)間一致視頻信號。
應(yīng)該理解，前面的概要描述和下文中的詳細(xì)描述是示范性的，并且是為了對本發(fā)明的權(quán)利要求作進(jìn)一步的解釋。
并入說明書并作為說明書的一部分的附圖被用于舉例說明，并對本發(fā)明的方法和系統(tǒng)作了進(jìn)一步的說明。與說明書相結(jié)合，附圖用于解釋本發(fā)明的原理。


附圖1是包含本發(fā)明的系統(tǒng)和方法的數(shù)字電視機(jī)的實(shí)施例的框圖；附圖2是描述在本發(fā)明中使用的清晰度增強(qiáng)算法的框圖；附圖3是描述本發(fā)明操作的方法的一個(gè)實(shí)施例的流程圖。
具體實(shí)施例方式
現(xiàn)在將詳細(xì)給出本發(fā)明的優(yōu)選實(shí)施方式，這些優(yōu)選實(shí)施方式的一個(gè)例子在附圖中進(jìn)行了圖解說明。本發(fā)明的方法和相應(yīng)的步驟將結(jié)合系統(tǒng)的詳細(xì)說明進(jìn)行描述。
下面所討論的附圖1到3和用于描述本發(fā)明的系統(tǒng)和方法的原理的各個(gè)實(shí)施例，只是為了說明之用，而在任何情況下都不應(yīng)解釋為對本發(fā)明的范圍進(jìn)行限制。本發(fā)明的系統(tǒng)和方法將被描述為一種在數(shù)字電視機(jī)中提高編碼數(shù)字視頻信號的圖像質(zhì)量的系統(tǒng)和方法。重要的是，應(yīng)該認(rèn)識到本發(fā)明的系統(tǒng)和方法并不限于數(shù)字電視機(jī)。本領(lǐng)域普通技術(shù)人員很容易理解本發(fā)明的原理可被成功地用于任何類型的數(shù)字視頻系統(tǒng)，包括但不限于電視接收器、機(jī)頂盒、存儲設(shè)備、計(jì)算機(jī)視頻顯示系統(tǒng)以及使用或處理數(shù)字視頻信號的任何類型的電子設(shè)備。術(shù)語“數(shù)字視頻系統(tǒng)”指現(xiàn)在和今后可用的這些和其它相同類型的設(shè)備。在下面的描述中，采用了一個(gè)數(shù)字電視機(jī)作為數(shù)字視頻系統(tǒng)的一個(gè)代表性的例子。
附圖1是使用本發(fā)明的裝置和方法的數(shù)字電視機(jī)100的框圖。數(shù)字電視機(jī)100包括電視接收器110和顯示單元115。顯示單元115可以是陰極射線管或者平板顯示器或者用于顯示視頻圖像的任何設(shè)備。電視接收器110包括天線105，用于接收電視信號。天線105耦合到調(diào)諧器120。調(diào)諧器120耦合到中頻(“IF”)處理器125。如這里所具體實(shí)施的，IF處理器125耦合到解碼器130。盡管本發(fā)明描述了一個(gè)MPEG解碼器，但本發(fā)明并不限于MPEG類型的編碼/解碼。按照本發(fā)明的其它實(shí)施例，可以利用任何基于塊的壓縮方案，比方說，例如JPEG(靜止圖像壓縮標(biāo)準(zhǔn))、MPEG-1，2，4(數(shù)字視頻標(biāo)準(zhǔn))、H.261，H.263(視頻會議標(biāo)準(zhǔn))等等。按照這些標(biāo)準(zhǔn)，對所壓縮的圖像中的8×8像素塊應(yīng)用二維(2D)DCT(離散余弦變換)。
另外，按照本發(fā)明的其它實(shí)施例，從IF處理器接收的視頻信號不一定必須進(jìn)行編碼，因此不需要MPEG解碼器。
MPEG解碼器130的輸出耦合到后處理電路135。后處理電路135可以包括一個(gè)自適應(yīng)峰值單元(adaptive peaking unit)140。自適應(yīng)峰值單元140可位于后處理電路135中的適當(dāng)位置。后處理電路135的輸出被輸入到顯示單元115。
如這里所具體實(shí)施的，自適應(yīng)峰值單元140對從MPEG解碼器130接收到的視頻信號進(jìn)行處理。自適應(yīng)峰值單元140產(chǎn)生一個(gè)用在諸如清晰度增強(qiáng)算法這樣的自適應(yīng)峰值處理中的增益值。應(yīng)該理解，本發(fā)明的系統(tǒng)和方法并不限于自適應(yīng)峰值的處理。本發(fā)明可由不止一種的視頻增強(qiáng)算法采用。
自適應(yīng)峰值單元140的輸出是用于自適應(yīng)峰值單元140從MPEG解碼器130接收的視頻信號的增強(qiáng)亮度信號。與現(xiàn)有技術(shù)中的自適應(yīng)峰值單元相比，自適應(yīng)峰值單元140確定的亮度信號提供更精確、視覺更清晰和時(shí)間更一致的視頻圖像。自適應(yīng)峰值單元140傳送增強(qiáng)亮度信號到后處理電路135中的其它電路。后處理電路135能夠使用增強(qiáng)亮度信號來增強(qiáng)視頻信號的質(zhì)量。
后處理電路135可以執(zhí)行幾種不同類型的視頻信號處理。例如，一些視頻信號處理應(yīng)用包括(a)噪聲電平自適應(yīng)噪聲減少算法、(b)噪聲電平自適應(yīng)清晰度增強(qiáng)、(c)噪聲電平自適應(yīng)亮度色度分離、(d)噪聲電平自適應(yīng)運(yùn)動檢測、(e)噪聲電平自適應(yīng)運(yùn)動估計(jì)和補(bǔ)償、(f)噪聲電平自適應(yīng)上變換、(g)噪聲電平自適應(yīng)特征增強(qiáng)以及(h)基于噪聲電平自適應(yīng)對象的算法。
附圖2描述了依照本發(fā)明一個(gè)有益實(shí)施例的自適應(yīng)峰值單元140的系統(tǒng)和方法的框圖。附圖2描述了按照本發(fā)明的方法計(jì)算得到的增益如何被應(yīng)用到自適應(yīng)峰值算法進(jìn)行清晰度增強(qiáng)。自適應(yīng)峰值算法使輸入亮度信號210的瞬時(shí)幅度增加。
上述系統(tǒng)使用自適應(yīng)峰值算法進(jìn)行清晰度增強(qiáng)。另外，本發(fā)明所采用的清晰度增強(qiáng)算法可以是(例如)空間域算法或者其它已知的算法。
本發(fā)明考慮視頻信號的運(yùn)動信息來計(jì)算在清晰度增強(qiáng)算法中使用的增強(qiáng)增益。使用運(yùn)動矢量獲得有關(guān)將被增強(qiáng)的視頻信號的時(shí)間特性的信息。也可以使用存在于MPEG比特流中的運(yùn)動矢量或從其它運(yùn)動估算方法得到的運(yùn)動矢量。
附圖2中的自適應(yīng)峰值清晰度增強(qiáng)算法中，表明輸入亮度信號210首先通過峰值濾波器220，該濾波器通常是高通濾波器(HPF)。高通濾波信號隨后與表示可允許的峰值量的增強(qiáng)增益相乘。
附圖2也表示按照本發(fā)明改善視頻信號一致性的系統(tǒng)。該系統(tǒng)包括一個(gè)高通濾波器220，用于對輸入視頻信號210進(jìn)行濾波；一個(gè)乘法器230，用于將高通濾波信號225與更新增強(qiáng)增益235相乘，上述更新增強(qiáng)增益是用本發(fā)明的任何方法確定的。這一相乘產(chǎn)生一個(gè)增益控制信號245。該系統(tǒng)進(jìn)一步包括一個(gè)加法器240，用于將輸入視頻信號210同增益控制信號245相加，并產(chǎn)生輸出視頻信號250，與輸入信號相比，該輸出視頻信號250改善了清晰度。另外，與現(xiàn)有技術(shù)的清晰度增強(qiáng)算法所產(chǎn)生的輸出信號相比，增強(qiáng)輸出信號的時(shí)間一致性得到了改善。
按照本發(fā)明的優(yōu)選實(shí)施例，提供了一種使用清晰度增強(qiáng)算法通過增強(qiáng)增益來改善表示至少一幀的增強(qiáng)信號的時(shí)間一致性的方法。該方法包括如下步驟接收包括至少一幀的增強(qiáng)信號，為幀中每個(gè)像素獲得與清晰度增強(qiáng)算法相關(guān)的增強(qiáng)增益，為幀中每個(gè)像素的增強(qiáng)增益確定一個(gè)經(jīng)更新的增強(qiáng)增益。
按照本發(fā)明的優(yōu)選實(shí)施例，幀中像素的更新增強(qiáng)增益根據(jù)下述等式計(jì)算gain_update＝α*gainSEA+(1-α)*gainREF 等式(1)其中，gain_update是在清晰度增強(qiáng)算法中使用的更新增強(qiáng)增益，gainSEA是在所述清晰度增強(qiáng)算法中先前定義的增強(qiáng)增益，gainREF是參考幀中運(yùn)動矢量所指的參考像素的增益值，α是范圍在0到1之間(0≤α≤1)的系數(shù)。
等式1考慮兩個(gè)值為清晰度增強(qiáng)算法所考慮的特定幀中的同一像素所預(yù)先計(jì)算出來的或其它與該像素相關(guān)的原始增益(gainSEA)、計(jì)算出運(yùn)動矢量的參考幀中的像素的增益值(gainREF)。如果阿爾法(α)是0，則gain_update等于gainREF，而如果阿爾法(α)是1，則gain_update等于gainSEA。gainSEA是在現(xiàn)有的清晰度增強(qiáng)算法中慣常使用的像素增強(qiáng)增益，也就是，它是將按照本發(fā)明的優(yōu)選實(shí)施例進(jìn)行改善的增益。
按照本發(fā)明的優(yōu)選實(shí)施例，該方法進(jìn)一步包括以下步驟存儲更新增強(qiáng)增益到增益存儲器并將該更新增強(qiáng)增益應(yīng)用到清晰度增強(qiáng)算法中，以改善增強(qiáng)信號的時(shí)間一致性。
任何給定像素增益的突然的幀到幀變化，可以導(dǎo)致不需要的時(shí)間不一致清晰度增強(qiáng)。上述變化也可以增大瞬時(shí)可見和惱人的人工產(chǎn)物比如蚊式噪聲(mosquito)。
為了補(bǔ)償該效果，根據(jù)根發(fā)明的另一方面，清晰度增強(qiáng)算法中視頻信號的時(shí)間一致性可使用對增益映射進(jìn)行的運(yùn)動自適應(yīng)時(shí)間無限脈沖響應(yīng)(IIR)濾波來改善。在優(yōu)選實(shí)施例中，一個(gè)可能的IIR濾波器可根據(jù)以下等式定義gain_final＝K*gainSEA+(1-K)*gain_prev 等式(2)其中，gain_final是在清晰度增強(qiáng)算法中使用的經(jīng)改善的增強(qiáng)增益，gainSEA是先前為清晰度增強(qiáng)算法所定義的增強(qiáng)增益，gain_prev是在前一幀相同位置的像素的增益值，K是基于整體運(yùn)動估算而計(jì)算得到的因數(shù)。
整體運(yùn)動通過如下方法估算。首先，逐個(gè)像素地計(jì)算當(dāng)前幀和前一幀之間的差值的絕對值。接著比較絕對值與固定預(yù)定閾值。接著，計(jì)數(shù)大于閾值的絕對值的數(shù)目。結(jié)果，根據(jù)下述等式定義整體運(yùn)動motion_global＝count_over/count_hum 等式(3)其中，count_num是所計(jì)算的差值的總數(shù)，count_over是大于預(yù)定閾值的絕對值的數(shù)目，motion_global是等式2中使用的K因數(shù)。根據(jù)本發(fā)明的優(yōu)選實(shí)施例，為了減少計(jì)算復(fù)雜性，當(dāng)前幀和前一幀之間的逐個(gè)像素的差值可以在幀中每四行或其它希望的行數(shù)計(jì)算。
按照本發(fā)明的另一方面，IIR濾波器可與依照等式1的增強(qiáng)增益算法結(jié)合應(yīng)用，與單獨(dú)應(yīng)用到視頻信號不同。
按照本發(fā)明的其它方面，可以通過區(qū)分MPEG編碼序列的不同圖像類型比如I，P，B幀來計(jì)算增強(qiáng)增益。I(幀內(nèi)編碼)幀使用DCT編碼僅壓縮單獨(dú)幀，而不參考序列中的任何其它幀。P(或者預(yù)測)幀編碼為與上一個(gè)I或P幀的差值。新的P幀首先通過采集最近的I或P幀并且預(yù)測每個(gè)新像素的值而得以預(yù)測出來。結(jié)果P幀通常提供比I幀更大的壓縮率。B(或雙向)幀被編碼為與上一個(gè)或者下一個(gè)I或P幀的差值。B幀使用與P幀類似的預(yù)測方法，但是對每一塊，使用先前的I或/和P幀或者以后的I或/和P幀或者兩者都使用。P和B幀均使用運(yùn)動預(yù)測和DCT編碼，但是，通常B幀比P幀具有更好的壓縮，因?yàn)樗梢詾槊恳缓陦K選擇是前一幀還是后一幀用于比較。
為了舉例但不是限定，附圖3描述了本發(fā)明的這些附加組合方面。
例如，并且作為本文的實(shí)施例，本方法可以包括步驟確定(315)幀是否為I幀和計(jì)算(320)在清晰度增強(qiáng)算法中使用的增益映射，其中如果該幀是I幀類型，每個(gè)像素的更新增強(qiáng)增益等于先前確定在清晰度增強(qiáng)算法中使用的增強(qiáng)增益。
同樣的，作為本文的另一個(gè)實(shí)施例，本方法進(jìn)一步包括步驟(340)確定幀是否是P幀或B幀類型，使用運(yùn)動矢量從增益存儲器(325)獲得(335)參考幀中的每個(gè)像素的增強(qiáng)增益值，并根據(jù)等式1計(jì)算更新增強(qiáng)增益。
解碼后，接收到代表一組I，P，B幀的視頻信號，基于當(dāng)前輸入視頻幀(305)和前一視頻幀(300)，根據(jù)等式3來估算(310)整體運(yùn)動。整體運(yùn)動估算的結(jié)果被輸入到運(yùn)動自適應(yīng)IIR濾波器(330)。與整體運(yùn)動估算同時(shí)，基于該幀類型來計(jì)算輸入視頻幀的更新增強(qiáng)增益。如果輸入視頻幀是I幀，根據(jù)已有技術(shù)計(jì)算幀的增益映射(幀中每個(gè)像素的增益)，并存儲到增益存儲器(325)。幀中每個(gè)像素的增益計(jì)算對本領(lǐng)與普通技術(shù)人員來說是已知的。如果輸入視頻幀是P幀或B幀，使用等式1計(jì)算該幀的更新增強(qiáng)增益值并將其存儲到存儲器。由于等式1使用參考幀和前一幀的增益值，從增益存儲器獲得必要的增益值。另外，代替使用等式1，如果輸入視頻幀是B幀，更新增強(qiáng)增益值可通過簡單復(fù)制(345)前一參考幀的增益映射得到(從增益存儲器獲得增益值)，并將值存儲到增益存儲器。對于幀內(nèi)塊(I幀)，所使用的運(yùn)動矢量值是零(0)，但是對B幀，如上所述，可使用前一參考幀的增益映射。按照本發(fā)明的一個(gè)方面，相同的計(jì)算更新增強(qiáng)增益的方法可被用于P幀和B幀。
在為每一幀計(jì)算更新增強(qiáng)增益之后，如上所述，視頻信號可通過前面所述的時(shí)間自適應(yīng)IIR濾波器(330)被進(jìn)一步改善，因此進(jìn)一步調(diào)整更新增強(qiáng)增益。最終經(jīng)改善的增益值隨后被存儲回增益存儲器。
原始增強(qiáng)增益(gainSEA)的確定在現(xiàn)有技術(shù)中是公知的，本領(lǐng)域普通技術(shù)人員可以設(shè)計(jì)他們自己的等式來計(jì)算增益。本發(fā)明可被用于修改原始增強(qiáng)增益來獲得時(shí)間一致清晰度增強(qiáng)。
本發(fā)明也可被應(yīng)用到高清晰度(HD)和標(biāo)準(zhǔn)清晰度(SD)序列，比如存在于具有高清晰度(HD)性能并且能夠?qū)崿F(xiàn)長播放(LP)模式的視頻存儲應(yīng)用系統(tǒng)中的高清晰度(HD)和標(biāo)準(zhǔn)清晰度(SD)序列。大部分上述視頻序列從廣播MPEG-2比特流代碼轉(zhuǎn)換為較低的存儲比特率。對于這種應(yīng)用系統(tǒng)的長播放(LP)模式，在代碼轉(zhuǎn)換期間也可以進(jìn)行格式改變。標(biāo)準(zhǔn)清晰度(SD)或者高清晰度(HD)視頻序列被編碼、解碼并且隨后用按照本發(fā)明的清晰度增強(qiáng)算法進(jìn)行處理，以提供更好的視頻質(zhì)量。
圖2所示的清晰度增強(qiáng)算法的結(jié)果如下out_pixel＝input_pixel+mpeg_gain*convolution_result， 等式(4)其中，output_pixel是像素所用的最終亮度值，input-pixel是輸入像素的亮度值，mpeg_gain是通過以上任何一種方法(更新增強(qiáng)增益或者改善增強(qiáng)增益中的任何一種)計(jì)算得到的增強(qiáng)增益，convolution_result是高通濾波輸出。
如上所述并如圖所示，本發(fā)明的系統(tǒng)和方法提供了一種通過使用清晰度增強(qiáng)算法來提高數(shù)字視頻信號質(zhì)量的改善方法。特別是，獲得了清晰度增強(qiáng)算法的時(shí)間一致性。
對于本領(lǐng)域的普通技術(shù)人員而言，顯而易見，可以在不脫離本發(fā)明的情況下對本發(fā)明的方法和系統(tǒng)進(jìn)行各種修改和變化。因此，我們期望，本發(fā)明包括了在所附的權(quán)利要求書及其等價(jià)內(nèi)容的范圍之內(nèi)所包含的修改和變化方案。
權(quán)利要求
1.一種使用清晰度增強(qiáng)算法通過增強(qiáng)增益來改善表示至少一幀的增強(qiáng)信號的時(shí)間一致性的方法，所述方法包括如下步驟接收包括至少一幀的增強(qiáng)信號(210)；為幀中每個(gè)像素獲得與清晰度增強(qiáng)算法相關(guān)的增強(qiáng)增益；為所述幀中每個(gè)像素的增強(qiáng)增益確定一個(gè)更新增強(qiáng)增益(235)；將所述更新增強(qiáng)增益(235)存儲到增益存儲器(325)；和將更新增強(qiáng)增益(235)應(yīng)用到所述清晰度增強(qiáng)算法，以改善所述增強(qiáng)信號(210)的時(shí)間一致性。
2.根據(jù)權(quán)利要求1的方法，進(jìn)一步包括確定幀是否是I幀(315)的步驟；和所述確定步驟包括計(jì)算在清晰度增強(qiáng)算法中使用的增益映射的步驟，其中如果幀是I幀類型，每個(gè)像素的更新增強(qiáng)增益(235)等于先前獲得的在清晰度增強(qiáng)算法中使用的增強(qiáng)增益。
3.根據(jù)權(quán)利要求1的方法，進(jìn)一步包括確定幀是否是P幀類型(340)或B幀類型(355)的步驟；并且，如果幀是P幀類型或B幀類型，則基于運(yùn)動矢量從增益存儲器(325)中的參考幀獲得(375)每個(gè)像素的增強(qiáng)增益值；其中所述確定步驟包括根據(jù)以下等式來計(jì)算更新增強(qiáng)增益(235)gain_update＝α*gainSEA+(1-α)*gainREF，其中g(shù)ain_update是要在所述清晰度增強(qiáng)算法中使用的更新增強(qiáng)增益，gainSEA是在所述清晰度增強(qiáng)算法中先前定義的增強(qiáng)增益，gainREF是在所述參考幀中由運(yùn)動矢量所指的參考像素的增強(qiáng)增益值，而α是范圍在0到1之間的系數(shù)。
4.根據(jù)權(quán)利要求1的方法，進(jìn)一步包括確定幀是否是B幀類型(355)的步驟；和所述確定步驟包括計(jì)算在清晰度增強(qiáng)算法中使用的增益映射的步驟，其中如果幀是B幀類型，則每個(gè)像素的更新增強(qiáng)增益等于來自先前參考幀的增強(qiáng)增益。
5.根據(jù)權(quán)利要求1的方法，進(jìn)一步包括步驟通過對存儲在所述增益存儲器(325)中的更新增強(qiáng)增益應(yīng)用運(yùn)動自適應(yīng)時(shí)間IIR濾波(330)，計(jì)算幀中像素經(jīng)改善的增強(qiáng)增益，所述經(jīng)改善的增強(qiáng)增益由下述等式確定gain_final＝K*gain_update+(1-K)*gain_prev，其中，gain_final是在清晰度增強(qiáng)算法中使用的經(jīng)改善的增強(qiáng)增益，gain_update是先前存儲在所述增益存儲器(325)中的更新增強(qiáng)增益，gain_prev是前一幀中相同位置的像素的增強(qiáng)增益，K是基于整體運(yùn)動估算(310)而計(jì)算得到的因數(shù)，和將所述經(jīng)改善的增強(qiáng)增益存儲到增益存儲器(325)。
6.根據(jù)權(quán)利要求5的方法，其中所述用于確定K因數(shù)的幀的整體運(yùn)動估算(310)包括步驟逐個(gè)像素地計(jì)算當(dāng)前幀和前一幀之間的差值的絕對值；比較所述絕對值與預(yù)定閾值；計(jì)數(shù)大于所述閾值的絕對值的數(shù)目；和根據(jù)等式motion_global＝count_over/count_num來估算整體運(yùn)動，其中motion_global用作K因數(shù)，count_over是大于所述閾值的絕對值的數(shù)目，count_num是所計(jì)算的差值的總數(shù)。
7.一種使用清晰度增強(qiáng)算法通過增強(qiáng)增益來改善表示至少一幀的增強(qiáng)信號(210)的時(shí)間一致性的方法，所述方法包括如下步驟接收包括至少一幀的增強(qiáng)信號；為幀中每個(gè)像素獲得與清晰度增強(qiáng)算法相關(guān)的增強(qiáng)增益；通過對所述增強(qiáng)增益應(yīng)用運(yùn)動自適應(yīng)時(shí)間IIR濾波(330)，計(jì)算幀中像素的經(jīng)改善的增強(qiáng)增益(235)，所述經(jīng)改善的增強(qiáng)增益(235)由以下等式確定gain_final＝K*gain_SEA+(1-K)*gain_prev，其中，gain_final是要在清晰度增強(qiáng)算法中使用的經(jīng)改善的增強(qiáng)增益，gain_SEA是先前在所述清晰度增強(qiáng)算法中定義的增強(qiáng)增益，gain_prev是在前一幀(300)中相同位置的像素的增強(qiáng)增益，而K是基于整體運(yùn)動估算(310)而計(jì)算得到的因數(shù)；將所述經(jīng)改善的增強(qiáng)增益(235)存儲到增益存儲器(325)；和將經(jīng)改善的增強(qiáng)增益(235)應(yīng)用到所述清晰度增強(qiáng)算法中，以改善所述增強(qiáng)信號(210)的時(shí)間一致性。
8.根據(jù)權(quán)利要求7的方法，其中所述用于確定K因數(shù)的幀的整體運(yùn)動估算(310)包括步驟逐個(gè)像素地計(jì)算當(dāng)前幀(305)和前一幀(300)之間的差值的絕對值；比較所述絕對值與預(yù)定閾值；計(jì)數(shù)大于所述閾值的絕對值的數(shù)目；和根據(jù)等式motion_global＝count_over/count_num來估算整體運(yùn)動，其中motion_global用作K因數(shù)，count_over是大于閾值的絕對值的數(shù)目，count_num是所計(jì)算的差值的總數(shù)。
9.一種使用清晰度增強(qiáng)算法通過增強(qiáng)增益來改善表示至少一幀的增強(qiáng)信號的時(shí)間一致性的系統(tǒng)，所述系統(tǒng)包括用于接收包括至少一幀的增強(qiáng)信號的裝置；用于為幀中每個(gè)像素獲得與清晰度增強(qiáng)算法相關(guān)的增強(qiáng)增益的裝置；用于通過對所述增強(qiáng)增益應(yīng)用運(yùn)動自適應(yīng)時(shí)間IIR濾波器(330)來計(jì)算幀中像素經(jīng)改善的增強(qiáng)增益(235)的裝置(135)，所述經(jīng)改善的增強(qiáng)增益由以下等式確定gain_final＝K*gain_SEA+(1-K)*gain_prev，其中，gain_final是要在清晰度增強(qiáng)算法中使用的經(jīng)改善的增強(qiáng)增益，gain_SEA是先前在清晰度增強(qiáng)算法中定義的增強(qiáng)增益，gain_prev是在前一幀(300)相同位置的像素的增強(qiáng)增益，而K是使用整體運(yùn)動估算裝置計(jì)算得到的因數(shù)；用于將所述經(jīng)改善的增強(qiáng)增益存儲到增益存儲器(325)的裝置；和用于將經(jīng)改善的增強(qiáng)增益(235)應(yīng)用到所述清晰度增強(qiáng)算法以改善所述增強(qiáng)信號(210)的時(shí)間一致性的裝置。
10.根據(jù)權(quán)利要求9的系統(tǒng)，其中所述用于確定K因數(shù)的整體運(yùn)動估算裝置包括用于逐個(gè)像素地計(jì)算當(dāng)前幀(305)和前一幀(300)之間的差值的絕對值的裝置；用于比較所述絕對值與預(yù)定閾值的裝置；用于計(jì)數(shù)大于所述閾值的絕對值的數(shù)目的裝置；和用于根據(jù)等式motion_global＝count_over/count_num來估算整體運(yùn)動的裝置，其中motion_global被用作K因數(shù)，count_over是大于閾值的絕對值的數(shù)目，count_num是所計(jì)算的差值的總數(shù)。
11.一種使用清晰度增強(qiáng)算法通過增強(qiáng)增益來改善表示至少一幀的增強(qiáng)信號(210)的時(shí)間一致性的系統(tǒng)，所述系統(tǒng)包括用于接收包括至少一幀的增強(qiáng)信號的裝置；用于為幀中每個(gè)像素獲得與清晰度增強(qiáng)算法相關(guān)的增強(qiáng)增益的裝置；用于基于運(yùn)動矢量從增益存儲器(325)中的參考幀得到每個(gè)像素的增強(qiáng)增益值的裝置；用于確定幀是否是I、P或B幀類型的裝置；用于通過計(jì)算在清晰度增強(qiáng)算法中使用的增益映射(320)為I幀類型確定更新增強(qiáng)增益(235)的裝置，其中每個(gè)像素的更新增強(qiáng)增益等于先前確定的在清晰度增強(qiáng)算法中使用的增強(qiáng)增益；用于根據(jù)以下等式為P幀或B幀類型確定更新增強(qiáng)增益(335)的裝置gain_update＝α*gainSEA+(1-α)*gainREF，其中g(shù)ain_update是要在所述清晰度增強(qiáng)算法中使用的更新增強(qiáng)增益(235)，gainSEA是在所述清晰度增強(qiáng)算法中先前定義的增強(qiáng)增益，gainREF是參考幀中運(yùn)動矢量所指出的參考像素的增益值，而α是范圍在0到1之間的系數(shù)；用于將所述更新增強(qiáng)增益存儲到增益存儲器(325)的裝置。
12.根據(jù)權(quán)利要求11的系統(tǒng)，進(jìn)一步包括用于通過對所述更新增強(qiáng)增益應(yīng)用運(yùn)動自適應(yīng)時(shí)間IIR濾波(330)來計(jì)算幀中像素經(jīng)改善的增強(qiáng)增益的裝置，所述經(jīng)改善的增強(qiáng)增益由以下等式確定gain_final＝K*gain_update+(1-K)*gain_prev，其中，gain_final是要在清晰度增強(qiáng)算法中使用的經(jīng)改善的增強(qiáng)增益，gain_update是先前為所述清晰度增強(qiáng)算法而計(jì)算的更新增強(qiáng)增益，gain_prev是前一幀相同位置的像素的增強(qiáng)增益，而K是使用整體運(yùn)動估算裝置計(jì)算得到的因數(shù)；和用于將所述經(jīng)改善的增強(qiáng)增益存儲到增益存儲器(325)的裝置；和用于將經(jīng)改善的增強(qiáng)增益應(yīng)用到所述清晰度增強(qiáng)算法中以改善所述增強(qiáng)信號(210)的時(shí)間一致性的裝置。
13.根據(jù)權(quán)利要求12的系統(tǒng)，其中所述用于確定K因數(shù)的整體運(yùn)動估算裝置包括用于逐個(gè)像素地計(jì)算當(dāng)前幀(305)和前一幀(300)之間的差值的絕對值的裝置；用于比較所述絕對值與預(yù)定閾值的裝置；用于計(jì)數(shù)大于所述閾值的絕對值的數(shù)目的裝置；和用于根據(jù)以下等式估算整體運(yùn)動的裝置motion_global＝count_over/count_num，其中motion_global被用作K因數(shù)，count_over是大于閾值的絕對值的數(shù)目，count_num是所計(jì)算的差值的總數(shù)。
全文摘要
提供了一種使用清晰度增強(qiáng)算法通過增強(qiáng)增益來改善表示至少一幀的增強(qiáng)信號(210)的時(shí)間一致性的方法和系統(tǒng)。所述方法包括如下步驟接收包括至少一幀的增強(qiáng)信號(210)；為幀中每個(gè)像素獲得一個(gè)增強(qiáng)增益；使用運(yùn)動矢量從增益存儲器獲得參考幀中的每個(gè)像素的增強(qiáng)增益值，確定幀是否是I、P或B幀類型，并通過計(jì)算在清晰度增強(qiáng)算法中使用的增益映射為I幀類型確定更新增強(qiáng)增益(235)。每個(gè)像素的更新增強(qiáng)增益等于先前確定的在清晰度增強(qiáng)算法中使用的增強(qiáng)增益。另外，該方法包括將更新增強(qiáng)增益存儲到增益存儲器；和將更新增強(qiáng)增益應(yīng)用到所述清晰度增強(qiáng)算法，以改善所述增強(qiáng)信號(210)的時(shí)間一致性。
文檔編號H04N7/26GK1608378SQ02826211
公開日2005年4月20日 申請日期2002年12月9日 優(yōu)先權(quán)日2001年12月27日
發(fā)明者Y·楊, L·博羅茨基, J·G·W·M·揚(yáng)森 申請人:皇家飛利浦電子股份有限公司