專利名稱：視頻信號的時(shí)間濾波的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及顯示設(shè)備并且具體地涉及雙調(diào)制顯示設(shè)備以及用于減少在這樣的設(shè) 備上顯示的圖像中的贗像(artifact)的過程和結(jié)構(gòu)。
背景技術(shù)：
動態(tài)范圍是場景的最高亮度部分與場景的最低亮度部分的強(qiáng)度比。例如，視頻投 射系統(tǒng)投射的圖像可以具有300 1的最大動態(tài)范圍。人類視覺系統(tǒng)能夠識別具有很高動態(tài)范圍的場景中的特征。例如，人可以在日光 照亮的白天觀察未照亮的車庫的陰影并且看見陰影中的對象的細(xì)節(jié)，即使相鄰的日光照亮 區(qū)域中的亮度可能是場景的陰影部分中的亮度的數(shù)以千倍計(jì)。為了建立這樣的場景的逼真 表現(xiàn)，可能需要動態(tài)范圍超過1000 1的顯示器。術(shù)語“高動態(tài)范圍”意味著800 1或 者更大的動態(tài)范圍?，F(xiàn)代數(shù)字成像系統(tǒng)能夠捕獲和記錄其中保留場景動態(tài)范圍的場景的數(shù)字表示。計(jì) 算機(jī)成像系統(tǒng)能夠合成具有高動態(tài)范圍的圖像。近來，顯示系統(tǒng)已經(jīng)開始將雙調(diào)制系統(tǒng)用 于以更真實(shí)地再現(xiàn)高動態(tài)范圍的方式來表現(xiàn)圖像。

發(fā)明內(nèi)容
本發(fā)明的發(fā)明人已經(jīng)認(rèn)識到需要減少在高動態(tài)范圍的顯示系統(tǒng)中出現(xiàn)的贗像，并 且特別是為由于雙調(diào)制系統(tǒng)并入不同分辨率的調(diào)制器而產(chǎn)生的贗像。在一個(gè)實(shí)施例中，本 發(fā)明提供一種包括以下步驟的方法接收視頻的當(dāng)前幀；計(jì)算當(dāng)前幀的后調(diào)制信號；計(jì)算 在當(dāng)前幀的后調(diào)制信號與先前幀的后調(diào)制信號之間的強(qiáng)度差；并且用濾波限制R修改當(dāng)前 幀的后調(diào)制信號以獲得當(dāng)前幀的實(shí)際后調(diào)制信號。濾波限制例如是視頻將顯示于其上的顯 示器的性能特性和/或視頻信號的特性。在一個(gè)實(shí)施例中，如果檢測到視頻信號中的場景 改變，則不修改后調(diào)制信號。在另一實(shí)施例中，本發(fā)明是一種高動態(tài)范圍顯示器，該顯示器包括前調(diào)制器單 元；后調(diào)制單元，包括分辨率比前調(diào)制單元的分辨率更低的單獨(dú)可控背光陣列，并且配置 成向前調(diào)制單元上投射調(diào)制光；以及控制器，耦合到后調(diào)制單元并且配置成預(yù)備和向后調(diào) 制單元發(fā)送后調(diào)制信號，所述后調(diào)制信號根據(jù)閃亮速率和變暗速率中的至少一個(gè)速率來限制。在一個(gè)實(shí)施例中，控制器還被配置成確定待顯示的視頻中的場景改變并且在場景改變 期間預(yù)備無限制的后調(diào)制信號。在又一實(shí)施例中，本發(fā)明是一種控制器，該控制器被配置成向光元件陣列的每個(gè) 單獨(dú)可控光元件提供控制信號，所述控制信號包括根據(jù)視頻信號導(dǎo)出的并且如果超過閃亮 速率閾值和變暗速率閾值中的至少一個(gè)閾值則強(qiáng)度受限制的光量。在一個(gè)實(shí)施例中，對視 頻圖像逐個(gè)區(qū)域地進(jìn)行強(qiáng)度限制，從而視頻圖像的一個(gè)區(qū)域可能在強(qiáng)度上受限制而另一區(qū) 域不受限制，并且動態(tài)地確定至少一個(gè)閾值?？梢栽谕ㄓ糜?jì)算機(jī)或者聯(lián)網(wǎng)計(jì)算機(jī)上用編程便利地實(shí)現(xiàn)體現(xiàn)本發(fā)明的任何設(shè)備 或者方法的部分，并且結(jié)果可以顯示于連接到任何通用聯(lián)網(wǎng)計(jì)算機(jī)的輸出設(shè)備上或者發(fā)送 到遠(yuǎn)程設(shè)備以供輸出或者顯示。此外，本發(fā)明的以計(jì)算機(jī)程序、數(shù)據(jù)序列和/或控制信號表 示的任何部件均可以表現(xiàn)為在任何媒介中按任何頻率來廣播(或者傳送)的電子信號，該 媒介包括但不限于無線廣播以及通過銅線、光纖線纜和同軸線纜等的傳送。


將容易獲得對本發(fā)明及其諸多附帶優(yōu)點(diǎn)的更完整認(rèn)識，因?yàn)樵撜J(rèn)識通過參照在結(jié) 合以下附圖考慮時(shí)的下文具體描述變得更好理解，其中圖1是圖示了背光運(yùn)動混疊和“步行(Walking) ”LED問題成因的背光范例的圖 示；圖2是根據(jù)本發(fā)明一個(gè)實(shí)施例的過程的流程圖；圖3A是布置成實(shí)施根據(jù)本發(fā)明一個(gè)實(shí)施例的過程的電子和/或計(jì)算機(jī)部件的框 圖；圖3B是布置成實(shí)施根據(jù)本發(fā)明一個(gè)實(shí)施例的過程的電子和/或計(jì)算機(jī)部件的框 圖；圖4是根據(jù)本發(fā)明一個(gè)實(shí)施例的衰減過程的圖形圖示；并且圖5是來自針對棋盤圖案的背光驅(qū)動電平計(jì)算的結(jié)果的圖示。
具體實(shí)施例方式本發(fā)明涉及一種用于處理將在雙調(diào)制顯示系統(tǒng)上顯示的圖像數(shù)據(jù)的方法，并且具 體地涉及一種用于通過向視頻幀序列的后調(diào)制信號應(yīng)用時(shí)間濾波來減少(時(shí)間)噪聲和圖 像贗像的方法。運(yùn)用低分辨率調(diào)制背光以照射IXD面板向顯示器引入非所需的圖像贗像。例如， 由于LCD不能完全地阻擋光，所以照射由暗區(qū)域包圍的亮特征的背光在特征周圍造成暗淡 光暈而邊緣對比度限于面板的對比度。如果光暈關(guān)于特征未對稱，則效應(yīng)可能變得明顯 并且光暈贗像在對象移動時(shí)加劇，因?yàn)楣鈺灨淖冃螤畈⑶矣捎诒彻獾牡头直媛识桓S 對象的準(zhǔn)確運(yùn)動。光暈可以被感知成在對象移動時(shí)保持于背景上、在對象后面拖動、然后 突然跳躍至對象前面以在開始再次在后面拖動之前跟上。光暈沿著它的可變形狀的斷續(xù) (stuttering)運(yùn)動可以類似于舉步或者“步行”的動作。圖1示出了分別在背光10A、20A 和30A之上疊加的形狀(攝影10B、20B和30B)以及光暈(參見攝影20B和30B)的進(jìn)展。 如果未為移動特征保留背光的功率，則這一圖像贗像可能尤其明顯，因?yàn)樗餐鶗}動(pulse)和變暗。步行效應(yīng)的根本起因可以追溯至背光信號中的空間混疊。一些當(dāng)代技術(shù)(例如Dolby Contrast 顯示器)使用光幕照明的概念以隱藏光暈 贗像。經(jīng)過黑IXD像素泄漏的光被設(shè)計(jì)成低于由光幕照明引起的感知限制，從而觀測不到 顯示器的對比度限制。然而僅有光幕照明方法無法完全地解決步行LED問題，因?yàn)檫@一贗 像的根本起因與背光信號中的空間混疊有聯(lián)系。因此，為了使這一明顯效應(yīng)最小化，需要以 頻帶受限的方式計(jì)算背光驅(qū)動電平(例如防止或者減少從鄰近背光傳送更高空間頻率)， 該方式就特征位置、定向和強(qiáng)度在單幀中以及隨時(shí)間的少量改變而言是穩(wěn)定的。用于運(yùn)用 下采樣方法和空間平滑/濾波來確定后調(diào)制信號的方式(例如Dolby Contrast 經(jīng)許可的 顯示器)可以用來使背光與LCD之間分辨率差異的明顯效應(yīng)最小化。本發(fā)明公開一種用于通過向?qū)⒃陔p調(diào)制顯示系統(tǒng)上顯示的視頻幀序列的后調(diào)制 信號應(yīng)用時(shí)間濾波來減少噪聲和時(shí)間贗像(例如步行LED)的方法。在使用單獨(dú)調(diào)制光源 作為背光以照射LCD面板的雙調(diào)制顯示系統(tǒng)中，濾波限制(例如閃亮速率Rfl_和變暗速率 Rdiffl)被確定并且用來控制連續(xù)視頻幀之間任何單個(gè)背光元件(或者背光元件簇)的強(qiáng)度的 最大改變以便隨時(shí)間平滑背光梯度。優(yōu)選地在檢測到場景改變幀時(shí)忽略時(shí)間限制。例如通 過比較連續(xù)視頻幀的總照明強(qiáng)度差與可調(diào)閾值T來檢測場景改變?？商孢x地，視頻流中的 元數(shù)據(jù)也可以用于具體地指向場景改變。已知有用于檢測場景改變的多種方法。多數(shù)工作 已經(jīng)投入于視頻壓縮和視頻處理。無論所用方法如何，對于其中輸出圖像中的總改變明顯 地減少或者消除對衰減效應(yīng)的需要的場景改變或者任何其它幀集，可以繞過本發(fā)明的衰減 過程。一般而言，全局地或者在整個(gè)背光內(nèi)應(yīng)用場景改變檢測和在適當(dāng)時(shí)應(yīng)用衰減的過 程。然而相同類型的過程可以局部地應(yīng)用于也可以隨時(shí)間改變的場景部分。向場景的部分 所應(yīng)用的場景改變算法可以基于在幀之間的場景部分比較、幀或者局部區(qū)域的試探以及可 能基于視頻流中的元數(shù)據(jù)。也可注意到，基于背光元件的數(shù)目，時(shí)間衰減的計(jì)算成本增加或者減少。更小顯示 器或者具有更少背光(例如200個(gè)背光元件——比如LED或者LED簇)的更大顯示器可能 需要比具有許多(例如1400個(gè)或者更多)背光元件的類似尺寸的顯示器明顯更少的計(jì)算 能力。然而，對時(shí)間衰減的需要隨著背光數(shù)目更小而增加，因?yàn)榕c分辨率減小的背光關(guān)聯(lián)的 混疊效應(yīng)和其它問題可能在背光分辨率比較低的顯示器中加強(qiáng)(從而產(chǎn)生權(quán)衡，因?yàn)檫@主 要地依賴于光經(jīng)過光學(xué)器件的空間分布(例如很寬的點(diǎn)擴(kuò)展函數(shù)(PSF)可以減輕贗像，很 窄的PSF將允許最大化局部對比度))。根據(jù)本發(fā)明的一種示例時(shí)間衰減方式包括以下步驟(1)接收當(dāng)前幀。幀例如是來自視頻數(shù)據(jù)流的待顯示的幀。視頻數(shù)據(jù)流例如源于 相機(jī)、記錄的媒體源(0￥0、皿-0￥0"1、藍(lán)光1￥等)、數(shù)字或者其它廣播(例如地面、衛(wèi)星、無線 網(wǎng)絡(luò)等)。(2)計(jì)算當(dāng)前幀的后調(diào)制信號。后調(diào)制信號例如包括用于對顯示器的背光中的各 個(gè)燈(或燈簇)的強(qiáng)度級進(jìn)行設(shè)置的數(shù)據(jù)。(3)用當(dāng)前幀的調(diào)制信號和先前一幀或者多幀的調(diào)制信號的平均值(例如加權(quán)平 均值)修改當(dāng)前幀的后調(diào)制信號。上述修改步驟、即步驟(3)使用可以按不同形式體現(xiàn)的平均值。所言平均值是兩幀(當(dāng)前幀和先前幀)之間的平均值?？商孢x地，可以利用先前η幀和當(dāng)前幀(η+1)的加 權(quán)平均值。在另一實(shí)施例中，本發(fā)明可以體現(xiàn)為一種包括以下步驟的方法(1)接收當(dāng)前幀；(2)計(jì)算當(dāng)前幀的后調(diào)制信號；(3)計(jì)算在當(dāng)前幀的后調(diào)制信號與先前幀的后調(diào)制信號之間的強(qiáng)度差。例如通過 將各背光元件在先前幀的強(qiáng)度減去相同背光元件在當(dāng)前幀中的強(qiáng)度來計(jì)算強(qiáng)度差?？梢岳?如基于調(diào)制信號本身或者調(diào)制信號中包含的背光元件的賦能電平等來計(jì)算強(qiáng)度級(這樣 的計(jì)算可以例如包括用于背光元件中的個(gè)別差異的變量，無論這樣的差異歸因于設(shè)計(jì)還是 制造質(zhì)量變化等)。(4a)如果在當(dāng)前幀的后調(diào)制信號與先前幀的后調(diào)制信號之間的強(qiáng)度差超過預(yù)定 義或者動態(tài)計(jì)算的強(qiáng)度差判據(jù)(例如閾值或者速率)，則用預(yù)定濾波限制R修改當(dāng)前幀的后 調(diào)制信號以獲得用于當(dāng)前幀的實(shí)際后調(diào)制信號。(4b)如果在當(dāng)前幀的后調(diào)制信號與先前幀的后調(diào)制信號之間的強(qiáng)度差未超過預(yù) 定義閾值，則利用步驟(2)中計(jì)算的后調(diào)制信號作為用于當(dāng)前幀的實(shí)際所需后調(diào)制信號?？梢栽谡麄€(gè)背光內(nèi)進(jìn)行步驟(3)、(4a)和(4b)，或者可以將背光劃分成區(qū)域而針 對各幀將步驟(3)、(4a)和(4b)應(yīng)用于各區(qū)域。應(yīng)用這些步驟的區(qū)域數(shù)目可以是動態(tài)的。 可以將場景劃分成兩個(gè)區(qū)域，一些場景可以有效地劃分成若干區(qū)域，而其它場景在留作單 個(gè)區(qū)域時(shí)更高效或者產(chǎn)生有效結(jié)果。另外，判據(jù)(例如閾值和/或比率)本身可以是動態(tài) 的(例如基于后調(diào)制信號的強(qiáng)度或者所需改變)。在圖2中描述了另一示例時(shí)間衰減方式。在步驟200接收圖像。圖像例如是從廣 播或者從預(yù)先記錄的材料接收的視頻中的幀。然后計(jì)算(例如在步驟210中計(jì)算)用于該 幀的所需后調(diào)制信號220。在步驟215進(jìn)行場景改變檢測。例如通過比較所需后調(diào)制信號220與先前的后調(diào) 制信號(例如信號225)來進(jìn)行場景改變檢測。該比較可替代地可以包括在多個(gè)先前幀或 者調(diào)制信號的合成，并且可以對那些先前幀或者信號進(jìn)行加權(quán)，從而例如更新近的幀在比 較中具有更大影響。如果檢測到場景改變，則所需后調(diào)制信號用于當(dāng)前幀(步驟230)。如果未檢測到場景改變，則進(jìn)行所需后調(diào)制信號與先前的后調(diào)制信號的比較。該 比較例如是在步驟260所示的先前幀(例如包含于先前的后調(diào)制信號中)相對于當(dāng)前幀 (如包含于計(jì)算的所需后調(diào)制信號中)的背景光元件的逐個(gè)元件比較。該比較然后用來確 定是否超過預(yù)定閃亮速率(步驟262)或者預(yù)定變暗速率(步驟270)。例如基于實(shí)施衰減過程的顯示器的特性來設(shè)置閃亮速率和變暗速率?？梢愿鶕?jù)顯 示器的規(guī)格憑經(jīng)驗(yàn)、通過試驗(yàn)觀測或者通過二者的組合來確定速率。作為例子，刷新速率為 60Hz的顯示器可以達(dá)到百分之十的閃亮速率。廣而言之，刷新速率為120Hz的類似顯示器 將達(dá)到百分之五的閃亮速率。在其它例子實(shí)施例中利用更低速率。例如在30Hz顯示器上的5%的速率表明一種 從全黑變成全白信號需要20幀(近似2/3秒)的實(shí)施方式。對判據(jù)(比率/閾值)的確 定有影響的其它因素是元件數(shù)目和尺度、光學(xué)空間特性(PSF)、查看器(例如人類視覺系統(tǒng) (HVS))的限制和能力以及顯示器的亮度范圍。另外如上所言，可以基于這些因素中的所有或者一些因素和內(nèi)容來動態(tài)地確定速率。如果超過閃亮速率，則在閃亮?xí)r限制用于超過閃亮速率的元件的所需后調(diào)制信號 (例如參見步驟265)。例如在閃亮速率為2%的60Hz顯示器上，如果連串背光元件已經(jīng)閃 亮大于2% (例如在10-20%的范圍中)，則修改后調(diào)制信號從而限制那些元件的閃亮。在 一個(gè)實(shí)施例中，限制的量等于閃亮速率或者在這一例子中等于9%。如果超過變暗速率，則在變暗時(shí)限制用于超過變暗速率的元件的所需后調(diào)制信號 (例如參見步驟275)。例如在變暗速率為4%的顯示器上，如果連串背光元件已經(jīng)變暗大于 4%，則修改后調(diào)制信號從而限制那些元件的變暗。在一個(gè)實(shí)施例中，限制的量等于變暗速 率或者在這一例子中等于4%。如果未超過變暗速率和閃亮速率，則可以向或者可以不向后調(diào)制信號應(yīng)用限制。 組合或者匯合來自閃亮或者變暗速率計(jì)算的限制以產(chǎn)生當(dāng)前的后調(diào)制信號(步驟280)(該 匯合例如包括用任何閃亮或者變暗速率限制來修改所需后調(diào)制信號)。當(dāng)前調(diào)制信號在步 驟282中用來更新先前的后調(diào)制信號225——該信號然后用于與待顯示的圖像下一幀有關(guān) 的計(jì)算中。在步驟285計(jì)算亮度映射。根據(jù)當(dāng)前調(diào)制信號(在應(yīng)用閃亮或者變暗速率限制的 情況下)或者所需后調(diào)制信號(在檢測到場景改變或者未超過閃亮和變暗速率的情況下) 構(gòu)造亮度映射。在步驟290生成前調(diào)制信號。前調(diào)制信號可以是將無衰減地生成的相同信號，或 者優(yōu)選地，該信號至少部分地基于匯合的后調(diào)制信號。通過考慮受衰減的背光信號，可以進(jìn) 一步調(diào)節(jié)IXD值以產(chǎn)生更為無贗像的圖像。在一個(gè)實(shí)施例中，本發(fā)明包括以下步驟(1)接收當(dāng)前幀；(2)計(jì)算當(dāng)前幀的所需后調(diào)制信號；(3)確定(調(diào)節(jié)或者從儲存器讀取)場景改變判據(jù)(例如閾值T)(可以利用如上 所述的比較或者任何其它場景檢測過程)；(4)計(jì)算在當(dāng)前幀的所需后調(diào)制信號與先前幀的后調(diào)制信號之間的強(qiáng)度差；(5)確定步驟⑷中計(jì)算的強(qiáng)度差是否超過閾值T。如果是，則選擇當(dāng)前幀的所需 后調(diào)制信號作為當(dāng)前幀的實(shí)際后調(diào)制信號，然后行進(jìn)至步驟(10)；否則，繼續(xù)步驟(6)；(6)確定(調(diào)節(jié))閃亮速率Rflare和變暗速率Rdim(場景檢測和與它一起使用的所 有參數(shù)可以不受閃亮和變暗速率影響)；(7)在單個(gè)背光元件級別上，逐個(gè)元件地計(jì)算在當(dāng)前幀的所需后調(diào)制信號與先前 幀的后調(diào)制信號之間的強(qiáng)度差；(8)對于步驟(7)中計(jì)算的強(qiáng)度差超過閃亮速率Rflare的元件，使用Rflare來修改它 們對應(yīng)的當(dāng)前幀的后調(diào)制信號；對于步驟(7)中計(jì)算的強(qiáng)度差超過變暗速率Rdim的元件，使 用Rdim來修改它們對應(yīng)的當(dāng)前幀的后調(diào)制信號；并且對于步驟(7)中計(jì)算的強(qiáng)度差未超過 閃亮速率Rflm和變暗速率Rdim的元件，未修改它們對應(yīng)的當(dāng)前幀的后調(diào)制信號；(9)將修改和未修改的用于所有元件(簇)的當(dāng)前幀的后調(diào)制信號匯合成當(dāng)前幀 的實(shí)際后調(diào)制信號。(10)用當(dāng)前幀的實(shí)際后調(diào)制信號更新先前幀的后調(diào)制信號。
雖然例如基于經(jīng)驗(yàn)結(jié)果或者試驗(yàn)觀測來固定速率Rflare和Rdim，但是可以修改上述 算法以替換為動態(tài)閃亮值和變暗值。例如顯示器可以在某些條件之下具有可變性能規(guī)格 (例如顯示器在調(diào)制改變出現(xiàn)在大部分為暗場景中時(shí)與大部分為亮場景相比可以具有不同 性能)。為了匹配那些條件，可以調(diào)或者Rdim以匹配顯示器的可變性能。可以經(jīng)由 公式或者通過在表中查找來實(shí)施這樣的調(diào)節(jié)。可以進(jìn)行可替選的或者更進(jìn)一步的調(diào)節(jié)以使 得衰減也匹配人類視覺系統(tǒng)(HVS)的性能特性，該系統(tǒng)在暗到亮場景的進(jìn)展中與亮到暗的 場景進(jìn)展相比更快地自行調(diào)節(jié)。因此在從亮到暗的場景轉(zhuǎn)變中，Rfl■和Rdim可以取在亮到 暗的觀看條件之下與人眼的性能更緊密匹配的值。可以通過比較當(dāng)前幀與一個(gè)或者多個(gè)先 前幀(也可能有即將到來的幀或者與即將到來的幀有關(guān)的信息(元數(shù)據(jù)))來確定場景在 進(jìn)行Rflare和/或Rdim調(diào)節(jié)的條件之下是否轉(zhuǎn)變。當(dāng)確定S不相同的比率以及閃亮速率和 變暗速率(動態(tài)或者靜態(tài))時(shí)，背光上的總光能可以持續(xù)地增加或者減少，從而有可能導(dǎo)致 贗像。潛在益處因此可以通過“平衡”速率來增長。圖3A是布置成實(shí)施根據(jù)本發(fā)明一個(gè)實(shí)施例的過程的電子和/或計(jì)算機(jī)部件的框 圖。視頻輸入如線纜/天線302、HDMI 304和部件輸入306提供通向如下外部設(shè)備的硬件 連接，這些外部設(shè)備與未描述的其它電子器件一起最終向控制板320提供視頻信號310?？?制板320可以包括電子器件和/或計(jì)算機(jī)(微型)處理能力的任何組合?？刂瓢?20可以 劃分成用于預(yù)處理、后處理的單獨(dú)處理組并且可以體現(xiàn)于單個(gè)板(或者在板之間有適當(dāng)通 信信道的多個(gè)板)上。在圖3A中，可編程設(shè)備(例如FPGA 330和關(guān)聯(lián)存儲器340)處理視頻信號310的 至少部分以確定如上所述強(qiáng)度值、閃亮值和變暗值。上傳、燒蝕或者存儲到存儲器340中的 FPGA編程在FPGA中被執(zhí)行或者運(yùn)行并且最終產(chǎn)生后調(diào)制信號(參見圖3A中的“去往后調(diào) 制器”)。相同編程集的其它部分可以被配置成對前調(diào)制器信號進(jìn)行調(diào)節(jié)(參見圖3A中的 “去往前調(diào)制器”)?？梢越?jīng)由編程來進(jìn)行所有描述的調(diào)節(jié)，或者可以在具體布置成進(jìn)行所述 步驟或者所述步驟的任何部分或者等效步驟的電子器件集以及FPGA(或者其它可編程設(shè) 備)之間拆分任務(wù)。圖3B是布置成實(shí)施根據(jù)本發(fā)明一個(gè)實(shí)施例的過程的電子和/或計(jì)算機(jī)部件的框 圖。圖3B圖示了包括預(yù)處理板350的架構(gòu)，該預(yù)處理板包括更快處理和/或更多電子設(shè) 備，為求速度將這些電子設(shè)備硬線連接以進(jìn)行用于調(diào)節(jié)前調(diào)制器信號的密集任務(wù)，與示例 低分辨率調(diào)制背光的數(shù)以百計(jì)至數(shù)以千計(jì)調(diào)節(jié)元件相比，其與典型HDTV LCD屏幕一樣具有 數(shù)以百萬計(jì)的元件用于調(diào)節(jié)。除了補(bǔ)償和提供前調(diào)制器信號(參見圖3B中的“去往前調(diào)制 器”)之外，還從“前處理板” 350向“后處理板” 370發(fā)送信號360。“后處理板” 370然后利 用加載到處理設(shè)備380中(例如來自存儲器390或者從網(wǎng)絡(luò)(例如因特網(wǎng))連接上傳)的 編程——該編程可以作為固件升級擦寫到存儲器390中(例如作為用于現(xiàn)有顯示器的固件 升級或者作為顯示器制造步驟的部分)——以根據(jù)本發(fā)明計(jì)算在視頻信號的幀之間的閃亮 和變暗條件并且預(yù)備經(jīng)衰減的后調(diào)制器信號。信號360可以配置成從“后處理板” 37向“前處理板” 350輸送“反饋(未示出)， 從而可以進(jìn)行基于最終后調(diào)制計(jì)算的前調(diào)制調(diào)節(jié)(如果有的話)?？商孢x地，可以根據(jù)視頻 信號的部分——例如在它們傳向“后處理板”時(shí)——計(jì)算這樣的調(diào)節(jié)。如上文進(jìn)一步討論的那樣，也可以用例如可以基于當(dāng)前幀與它的先前幀的合成(例如求平均或者加權(quán)求平均)的多個(gè)替代方式實(shí)施本發(fā)明。所有實(shí)施方式無需包括場景 改變檢測。這些實(shí)施方式可以用來減輕贗像，比如但不僅限于背光上的低強(qiáng)度差閃爍(“時(shí) 間噪聲”)?？梢詥为?dú)或者與一個(gè)或者多個(gè)替代方式(例如與兩幀或者更多幀的合成(和加 權(quán))相組合地基于閾值/速率的衰減)相組合實(shí)施上述方式。它們也可以與其它衰減方法 (例如空間衰減，比如頻帶限制、能量擴(kuò)散、空間濾波或者頻帶限制)組合。下文是與空間衰減方式組合實(shí)施本發(fā)明的例子。Lewis Johnson和Robin Atkins 已經(jīng)發(fā)展出“3D”濾波器的概念，該概念將空間濾波和時(shí)間濾波(在這一情況下為加權(quán)求平 均)合成到單級濾波器中。當(dāng)前Dolby Contrast 算法提出對背光元件(單個(gè)LED或者LED簇)驅(qū)動值進(jìn)行 兩級平滑。第一級限制空間梯度或從一簇到下一簇的亮度差。這通過對每個(gè)視頻幀的背光 驅(qū)動信號運(yùn)行空間平滑濾波(例如高斯或者類似濾波器)來實(shí)現(xiàn)。第二級通過限制背光元 件從一幀到下一幀的閃亮(上升)和變暗(下降)速率來限制時(shí)間梯度。該概念在于用同時(shí)對空間和時(shí)間信息進(jìn)行操作的單級濾波器取代兩級方式。這可 以稱為3D或者三重線性濾波器或者可以冠以其它稱謂?；靖拍钤谟趯⒃诒舜松厦娑询B 的先前背光幀和當(dāng)前幀視為如圖4中所示三維結(jié)構(gòu)。在圖4中，背光元件410圖示了用于先前幀的16個(gè)元件的背光強(qiáng)度。背光元件 420圖示了用于當(dāng)前幀的計(jì)算的所需背光驅(qū)動電平(并且在無贗像問題時(shí)將代表用于使用 所示背光的當(dāng)前幀的最佳背光強(qiáng)度)(這也可以視為所需背光調(diào)制信號的結(jié)果)。背光元件 430代表通過考慮先前幀根據(jù)本發(fā)明來衰減的所需背光調(diào)制。單個(gè)先前幀可以視為它包含相同場景中的所有先前幀的滯后。一種替代方式將使 用來自先前幀的所需背光元件驅(qū)動值，但是使用這一方法將必須考慮許多幀(大約30幀)， 從而極大地增加計(jì)算和存儲器成本。當(dāng)前幀是如最簡單的下采樣方法有可能根據(jù)輸入圖像 得到的LED驅(qū)動值(即最大值)。通過同時(shí)對當(dāng)前LED驅(qū)動電平以及先前驅(qū)動電平運(yùn)行濾 波器來得到所得LED驅(qū)動值。在以下例子中，濾波器可以具有與提出的空間濾波器類似、但 是具有第三維的尺度3x3x2。這將同時(shí)平滑空間域和時(shí)間域中的梯度。這一方式的結(jié)果在 于迅速地移動對象不會瞬時(shí)地實(shí)現(xiàn)它們的完全亮度。靜止一段時(shí)間的對象將快速地變亮至 所需電平。可以調(diào)節(jié)這一速率以匹配人類視覺系統(tǒng)的能力和限制以使得覺察不到。一種對使用濾波器的替代方式可以是使用上升和下降速率的2d矩陣。這可能以 類似方式使空間和時(shí)間梯度限制于當(dāng)前提出的在以這一方式應(yīng)用時(shí)的時(shí)間限制濾波器。將Rfl_和Rdim用于修改當(dāng)前的后調(diào)制信號的替代方式，例如基于加法運(yùn)算(如將 在圖2的流程圖中進(jìn)行的那樣——將閃亮速率與所需后調(diào)制信號的適當(dāng)部分相加)或者乘 法運(yùn)算(如在Dolby Contrast 實(shí)施方式中一樣)。作為如何與其它技術(shù)組合實(shí)施本發(fā)明的例子，可以包括以下DolbyContrast 實(shí) 施方式的任何部分。例如，Dolby Contrast 提供為了使時(shí)間贗像最少(例如使“步行”LED效應(yīng)最少)，必須以就特征位置、定向和 強(qiáng)度在單幀中以及隨時(shí)間的少量改變而言穩(wěn)定的頻帶受限方式仔細(xì)計(jì)算背光驅(qū)動電平。為 了使背光與LED之間分辨率差異的明顯效應(yīng)最小，背光元件的驅(qū)動值在輸入圖像特征移動 時(shí)不應(yīng)在時(shí)間或者空間上大量變化。
針對Dolby Contrast 的背光元件值計(jì)算的要求為以下三重含義 保留來自背光的光能·維持與特征重合的背光質(zhì)心·消耗最少計(jì)算和存儲資源Dolby Contrast 使用三級過程來計(jì)算背光元件驅(qū)動值以使背光混疊的效應(yīng)最 少。為求最好的圖像質(zhì)量，也希望在背光的同時(shí)高對比度與保留圖像中的亮特征(即使很 小)的亮度之間實(shí)現(xiàn)平衡。圖5示出了來自針對棋盤圖案的背光驅(qū)動電平計(jì)算的結(jié)果。以下定義適用于以下方程1-6:
—work
“工作圖像”。這是Limage的如下版本，該版本具有在LED分辨率與原輸入圖像之間的中間分辨率。
—image
“亮度圖像”。這是原輸入圖像的灰度級(單色)版本。
Lout
在方程6-5的情況下，Lout是平滑濾波器的輸出圖像。
在方程6-2的情況下，Lout是亮度轉(zhuǎn)換的輸出圖像。
Lin
在方程6-5的情況下，Lin是平滑濾波器的輸入圖像。
m, η
圖像陣列元的索引
L1
用于當(dāng)前幀的計(jì)算的簇驅(qū)動電平
Llzl
用于先前幀的計(jì)算的簇驅(qū)動電平
Ln, t
當(dāng)前幀中的具體簇(η)驅(qū)動電平
為了減少計(jì)算要求，輸入圖像可以使用以下方程1中所示簡單和快速“最大值”方
法在空間分辨率上減少成更低工作分辨率圖像Lw。a。從原圖像取得的區(qū)域由輸入圖像的分 辨率與工作分辨率之比確定。這些區(qū)域絕不重疊以保證背光生成的全部光在特征移動時(shí)保 持恒定。如果下采樣過程不節(jié)能，則特征將在背光在它后面生成不同量的光能時(shí)表現(xiàn)為脈 動和變暗。Dolby Contrast 使用兩倍于背光簇分辨率的最小工作分辨率。方程1 =Lwork = max (Limage [區(qū)域])；先通過向工作圖像應(yīng)用低通空間濾波器來解決空間混疊。這具有平滑背光梯度以 在對象周圍對稱地?cái)U(kuò)展光暈的效應(yīng)?？梢哉{(diào)節(jié)濾波器的尺寸以針對特定實(shí)施方式優(yōu)化在背 光對比度與背光混疊之間的平衡。使用2D高斯分布在方程2中示出了濾波器的例子。方程2:
權(quán)利要求
1.一種方法，包括以下步驟接收視頻的分段；計(jì)算用于所接收的分段的后調(diào)制信號；計(jì)算在所接收的分段的后調(diào)制信號與對應(yīng)于所接收的分段的先前幀的后調(diào)制信號之 間的強(qiáng)度差；并且用濾波限制R修改用于所接收的分段的后調(diào)制信號以獲得用于所接收的分段的實(shí)際 后調(diào)制信號。
2.根據(jù)權(quán)利要求1所述的方法，其中所接收的分段包括所述視頻的全幀、所述視頻的 固定部分幀、所述視頻的可變部分幀和所述視頻的掃描部分之一。
3.根據(jù)權(quán)利要求1所述的方法，還包括確定所述濾波限制R的步驟。
4.根據(jù)權(quán)利要求1所述的方法，其中所述濾波限制R是基于所述視頻將顯示于其上的 顯示器的性能特性和所述視頻信號的特性中的至少之一。
5.根據(jù)權(quán)利要求1所述的方法，還包括以下步驟檢測當(dāng)前幀何時(shí)代表場景改變；并且如果所述當(dāng)前幀代表場景改變，則省略修改所述后調(diào)制信號的步驟。
6.根據(jù)權(quán)利要求5所述的方法，其中所述檢測場景改變的步驟包括將至少一個(gè)先前幀 與所述當(dāng)前幀進(jìn)行比較或者測試所述視頻的元數(shù)據(jù)。
7.根據(jù)權(quán)利要求6所述的方法，其中所述比較步驟包括對所述至少一個(gè)先前幀和所述 當(dāng)前幀中的各幀執(zhí)行平均、加權(quán)平均、均值或者其它數(shù)學(xué)函數(shù)之一。
8.根據(jù)權(quán)利要求1所述的方法，還包括以下步驟將至少一個(gè)先前調(diào)制信號與在所述至少一個(gè)先前調(diào)制信號之后的至少一個(gè)調(diào)制信號 進(jìn)行比較并且確定是否超過閾值T ；并且如果超過所述閾值T，則省略修改所述后調(diào)制信號的步驟。
9.根據(jù)權(quán)利要求8所述的方法，還包括確定所述閾值T的步驟。
10.根據(jù)權(quán)利要求8所述的方法，其中所述比較步驟包括將先前的后調(diào)制信號和先前 的前調(diào)制信號之一與當(dāng)前的后調(diào)制信號和/或后續(xù)后調(diào)制信號以及當(dāng)前的前調(diào)制信號和/ 或后續(xù)前調(diào)制信號之一進(jìn)行比較。
11.根據(jù)權(quán)利要求8所述的方法，其中所述比較步驟包括將先前的后調(diào)制信號和/或前 調(diào)制信號的集合與后調(diào)制信號和/前調(diào)制信號的集合進(jìn)行比較。
12.根據(jù)權(quán)利要求10所述的方法，其中所述方法體現(xiàn)為顯示設(shè)備中的計(jì)算機(jī)可讀介質(zhì) 上存儲的計(jì)算機(jī)指令集，所述顯示設(shè)備包括配置成接收所述后調(diào)制信號的后調(diào)制器和配置 成接收所述前調(diào)制信號的前調(diào)制器。
13.根據(jù)權(quán)利要求12所述的方法，其中所述顯示設(shè)備包括高動態(tài)范圍顯示器并且所述 后調(diào)制器包括LED陣列。
14.根據(jù)權(quán)利要求13所述的方法，其中所述LED陣列在所述陣列內(nèi)按組控制。
15.根據(jù)權(quán)利要求1所述的方法，其中所述方法體現(xiàn)于計(jì)算機(jī)可讀介質(zhì)上存儲的計(jì)算機(jī)指令集中；所述計(jì)算機(jī)指令在加載到計(jì)算機(jī)中時(shí)使所述計(jì)算執(zhí)行所述方法的步驟。
16.根據(jù)權(quán)利要求15所述的方法，其中所述計(jì)算機(jī)指令是在所述計(jì)算機(jī)可讀介質(zhì)上存儲為可執(zhí)行程序的編譯計(jì)算機(jī)指令。
17.一種高動態(tài)范圍顯示器，包括 前調(diào)制器單元；后調(diào)制單元，包括分辨率比所述前調(diào)制單元的分辨率更低的單獨(dú)可控背光陣列，并且 配置成向所述前調(diào)制單元上投射調(diào)制光；以及控制器，耦合到所述后調(diào)制單元并且配置成預(yù)備和向所述后調(diào)制單元傳送后調(diào)制信 號，所述后調(diào)制信號根據(jù)閃亮速率和變暗速率中的至少一個(gè)速率來限制。
18.根據(jù)權(quán)利要求17所述的高動態(tài)范圍顯示器，其中所述控制器還被配置成確定待顯 示的視頻中的場景改變，并且在所述場景改變期間預(yù)備無限制的后調(diào)制信號。
19.根據(jù)權(quán)利要求17所述的高動態(tài)范圍顯示器，其中僅針對閃亮或者變暗速率超過對 應(yīng)的閃亮速率或者變暗速率的信號來修改所述后調(diào)制信號。
20.一種控制器，配置成向光元件陣列的每個(gè)單獨(dú)可控光元件提供控制信號，所述控制 信號包括根據(jù)視頻信號導(dǎo)出的、并且如果超過閃亮速率閾值和變暗速率閾值中的至少一個(gè) 閾值則強(qiáng)度受限制的光量。
21.根據(jù)權(quán)利要求20所述的控制器，其中在單個(gè)光元件接收的控制信號包括在所述視 頻的與所述單個(gè)光元件的位置對應(yīng)的區(qū)域中來自所述視頻信號的光強(qiáng)度。
22.根據(jù)權(quán)利要求20所述的控制器，其中所述控制器通過在多個(gè)先前幀內(nèi)將光強(qiáng)度求 平均來逐幀地確定是否超過所述閾值。
23.根據(jù)權(quán)利要求22所述的控制器，其中對視頻圖像逐個(gè)區(qū)域地進(jìn)行所述強(qiáng)度限制， 從而所述視頻圖像的一個(gè)區(qū)域能夠在強(qiáng)度上受限制而另一區(qū)域不受限制。
24.根據(jù)權(quán)利要求23所述的控制器，其中通過所述視頻圖像的預(yù)定劃分或者所述視頻 圖像的動態(tài)劃分來確定所述區(qū)域。
25.根據(jù)權(quán)利要求20所述的控制器，其中動態(tài)地確定所述閾值中的至少一個(gè)閾值。
26.—種顯示器，包括 LCD面板；背光元件陣列，配置成向所述LCD面板上投射調(diào)制光，其中所述背光元件的分辨率低 于所述LCD面板的分辨率；以及控制器，包括配置成向各背光元件提供光強(qiáng)度的處理設(shè)備，單個(gè)背光單元的光強(qiáng)度對 應(yīng)于視頻圖像的將在所述顯示器上顯示并且由所述背光元件照射的部分中的強(qiáng)度；所述控制器還包括用于減少由于所述背光元件與所述LCD面板之間的分辨率差產(chǎn)生 的贗像的裝置，所述裝置包括用于檢測所述視頻圖像的至少一個(gè)分段中的與先前顯示的視頻圖像的對應(yīng)分段相比 的閃亮速率的裝置，用于檢測所述視頻圖像的至少一個(gè)分段中的與先前顯示的所述視頻圖像的對應(yīng)分段 相比的變暗速率的裝置，以及用于如果每個(gè)所述視頻圖像的單個(gè)背光元件的光強(qiáng)度超過所述閃亮速率和所述變暗 速率中的至少一個(gè)速率則限制所述單個(gè)背光元件的光強(qiáng)度的裝置。
全文摘要
一種用于通過向視頻幀序列的后調(diào)制信號應(yīng)用時(shí)間濾波來減少雙調(diào)制顯示系統(tǒng)上的噪聲和時(shí)間贗像(例如步行LED)的方法。針對視頻中的當(dāng)前幀計(jì)算閃亮和變暗速率。如果超過閃亮速率閾值，則背光的強(qiáng)度限于預(yù)定閃亮速率。如果超過變暗速率閾值，則背光強(qiáng)度限于預(yù)定變暗速率。例如逐個(gè)元件地應(yīng)用限制。在場景改變的情況下無需應(yīng)用限制。通過考慮任何應(yīng)用的背光限制來計(jì)算前調(diào)制信號。
文檔編號G09G3/34GK102007528SQ200980104644
公開日2011年4月6日 申請日期2009年2月12日 優(yōu)先權(quán)日2008年2月13日
發(fā)明者格溫·丹貝格, 赫爾格·西岑 申請人:杜比實(shí)驗(yàn)室特許公司