選擇圖像動(dòng)態(tài)范圍轉(zhuǎn)換算子的方法和設(shè)備的制造方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明設(shè)及轉(zhuǎn)換圖像的動(dòng)態(tài)范圍W及對(duì)已經(jīng)轉(zhuǎn)換的動(dòng)態(tài)范圍的圖像編碼的一般 領(lǐng)域。
[0002] 本發(fā)明設(shè)及從一組圖像動(dòng)態(tài)范圍轉(zhuǎn)換算子（operator)之中選擇圖像動(dòng)態(tài)范圍轉(zhuǎn) 換算子的設(shè)備和方法。
[0003] 運(yùn)種設(shè)備和方法能夠用于例如減小圖像的或圖像序列的動(dòng)態(tài)范圍，也就是說(shuō)修改 該圖像（或圖像序列中的每個(gè)圖像）的屬于給定動(dòng)態(tài)值范圍的像素的輝度（luminance) 值，W便獲得屬于比（原始圖像序列的）原始圖像的動(dòng)態(tài)值范圍更低的動(dòng)態(tài)值范圍的輝度 值。
[0004] 運(yùn)樣的方法或設(shè)備能夠用在對(duì)圖像或圖像序列編碼的方法和相應(yīng)的設(shè)備中，諸如 用于對(duì)相當(dāng)大的和/或減小的動(dòng)態(tài)范圍的圖像（或圖像序列）編碼的方法和相應(yīng)的設(shè)備。
【背景技術(shù)】
[0005] 已知使用色調(diào)映射算子（TMO)或色調(diào)再現(xiàn)器來(lái)修改（也被稱為變換或適配）例如 可W由高動(dòng)態(tài)范圍照相機(jī)獲取的被稱為原始圖像的圖像，W獲得動(dòng)態(tài)范圍更低的圖像（低 動(dòng)態(tài)范圍圖像），W便使原始圖像的動(dòng)態(tài)范圍適配例如顯示該圖像的屏幕的動(dòng)態(tài)范圍。
[0006] 在下文中，轉(zhuǎn)換、適配或修改圖像的動(dòng)態(tài)范圍等同于轉(zhuǎn)換、適配或修改該圖像的輝 度分量（值）。
[0007] 如果一旦其動(dòng)態(tài)范圍被修改，原始圖像就被打算供顯示系統(tǒng)使用，則對(duì)該適配圖 像的輝度分量進(jìn)行量化和編碼W便與顯示標(biāo)準(zhǔn)度T709等）兼容。在運(yùn)種情況下，通常稱 為亮度（Iuma)分量而不是輝度分量。就其本身而言，輝度對(duì)應(yīng)于Wcd/m2表示的物理單位。
[0008] 本發(fā)明可同等地適用于輝度分量和亮度分量。
[0009] 運(yùn)些TMO之一是由Reinhard開(kāi)發(fā)的，一般被稱為PTR算子巧einhard,E. ,Sta rk,M. ,Shirley,P.,和Ferwerda,J. ,"Photographictonereproductionfordigital images"，ACMTransactionsonGraphics21 (2002 年 7 月））。
[0010] 該圖像動(dòng)態(tài)范圍轉(zhuǎn)換算子的原理是修改原始圖像的輝度分量LwW便通過(guò)使用由 式（1)給出的S形（sigmoid)映射曲線來(lái)獲得圖像的修改輝度分量Ld:
[0011]
(1)
[001引其中，Uhlt。是用來(lái)減少具有高輝度值的區(qū)域的輝度值，Ld是大小是圖像的大小并 且包括W比原始圖像的動(dòng)態(tài)值范圍更低的動(dòng)態(tài)值范圍表示的圖像的像素的輝度值的矩陣， Ls是大小是圖像的大小并且包括通過(guò)式（2)獲得的輝度值的矩陣：
[0013]
(2)
[0014] 其中，a是所選取的曝光值，k一般被稱為鍵化ey)，其定義由式（3)給出的圖像的 明度化ri曲tness)的指數(shù)：
[0015]
憐
[0016] 其中，N是圖像中的像素的數(shù)量，5是避免任何奇點(diǎn)（singularity)的值，L"(i)是 圖像的輝度分量U的像素i的輝度值。
[0017] 值a和是該TMO的兩個(gè)參數(shù)，它們是固定的，例如，對(duì)于參數(shù)a固定為18%， 對(duì)參數(shù)Uhit。固定為原始圖像的最大輝度值。忽略用來(lái)減少具有高輝度值的區(qū)域的因子，式 (1)可W重新用公式表示為：
[0018]
(4)
[0019] 還已知使用與圖像序列中的其他圖像的動(dòng)態(tài)范圍無(wú)關(guān)地修改該圖像序列 中的每個(gè)圖像的動(dòng)態(tài)范圍的算子，W及根據(jù)該圖像的像素和圖像序列中的在時(shí)間上 先于要轉(zhuǎn)換的圖像的預(yù)定數(shù)量的圖像的像素，為圖像的每次轉(zhuǎn)換選取鍵化ang，S. B. ,Uyttendaele,M. ,Winder,S.和Szeliski,R. ,"Highdynamicrangevideo"，[ACM SIG-GRAPH2003Paperson-SIGGRAPH'03], 319,ACMPress,紐約，紐約，美國(guó)（2003))。
[0020] 更具體地，根據(jù)式（3)來(lái)計(jì)算鍵，其中，N等于要轉(zhuǎn)換的圖像中的像素?cái)?shù)量與圖像 序列中在時(shí)間上先于其的圖像中的像素?cái)?shù)量之和。
[0021] 還已知使用如下算子，其使用根據(jù)當(dāng)前圖像的鍵和在前圖像的那些鍵來(lái)動(dòng)態(tài) 適配的多個(gè)在前圖像（Ramsey,S.,III,J.J.,和Hansen,C.,"Adaptivetemporaltone mapping,"ComputerGraphicsandImaging-2004(3), 3 - 7(2004))。
[0022] 還已知使用如下算子，其比較使用人類視覺(jué)系統(tǒng)化V巧的視覺(jué)響應(yīng)的原 始圖像和輝度值屬于被適配于屏幕的動(dòng)態(tài)范圍的圖像（Manti址,R. ,Daly,S.，和 Kerofsky,L. ,"Displayadaptivetonemapping"ACMTransactionsonGraphics 27,I(2008年8月）），其使得能夠獲得在該屏幕上的視覺(jué)感知的失真盡可能小的圖像。在 運(yùn)些方法期間計(jì)算人類視覺(jué)系統(tǒng)的響應(yīng)的結(jié)果之間的殘留誤差的最小化。該最小化得到是 分段線性的并且逐個(gè)圖像計(jì)算的轉(zhuǎn)換曲線。
[0023] 還已知對(duì)由先前闡述的對(duì)原始序列的每個(gè)圖像應(yīng)用圖像動(dòng)態(tài)范圍轉(zhuǎn)換算子而得 到的圖像序列應(yīng)用處理，W便保留原始圖像序列中的圖像之間的明度的時(shí)間相干性。
[0024]例如，Boitard等人化Boitard等人，"Temporalcoheren巧forvideotone mapping"，Proc.SPIE8499,ApplicationsofDigitalImageProcessingXXXV, 2012年） 提出通過(guò)根據(jù)原始圖像序列的全局特征計(jì)算出的值來(lái)減小通過(guò)先前所提及的圖像動(dòng)態(tài)范 圍轉(zhuǎn)換算子之一修改的原始圖像序列中的圖像的輝度分量Ld的值的動(dòng)態(tài)范圍。
[0025] 于是，由式巧）給出減小的動(dòng)態(tài)范圍輝度分量L'd:
[0026] L'd二R-Ld(5)
[0027] 根據(jù)變型，減小的動(dòng)態(tài)范圍輝度分量L'd由式做給出：
[0028] L'd=(x+(l-x).R)Ld做
[0029] 其中，X是例如由用戶固定的減小值的偏移。
[0030] 在圖像動(dòng)態(tài)范圍轉(zhuǎn)換算子是PTR算子的具體情況下，值R由式（7)給出：
[0031]
(巧
[0032] 運(yùn)個(gè)后者實(shí)施例使得能夠保留對(duì)存在于原始圖像序列中的對(duì)象的感知并且確保 原始圖像序列中圖像之間的明度的時(shí)間相干性。
[0033] 根據(jù)實(shí)施例，值R由式做給出：
[0034]
巧）
[003引其中，!《f胃是原始圖像序列中的要轉(zhuǎn)換的圖像的輝度分量的鍵，、.是原始 圖像序列中的輝度分量的鍵之中的最大鍵，挺f&g是要轉(zhuǎn)換的圖像的修改輝度分量Ld的 鍵，是源自原始圖像序列的修改輝度分量Ld的鍵之中的最大鍵。
[0036] 還已知評(píng)估諸如先前所提及的算子那樣的圖像動(dòng)態(tài)范圍轉(zhuǎn)換算子。潛在地，運(yùn)些 算子能夠通過(guò)保留原始圖像序列中的圖像之間的明度的時(shí)間相干性的處理來(lái)補(bǔ)充。
[0037] 對(duì)于運(yùn)樣的評(píng)估，已知使用對(duì)從應(yīng)用該算子得到的圖像的主觀質(zhì)量進(jìn)行量化的評(píng) 估標(biāo)準(zhǔn)（Xedda等人.，"Evaluationoftonemappingoperatorsusingahighdynamic rangedisplay",ACMSIG-GRAPH2005Papers,紐約，NY,美國(guó)，2005 年，SIGGRAPH，05， 頁(yè) 640 - 648,ACM. ,W及Akiko化shida,叩ere巧 1:ualevaluationoftonemapping operatorswithreal-worldscenes"，ProceedingsofSPIE2005,卷 5666,頁(yè)192-203,SPIE)O
[0038] 然而，因?yàn)榉浅＝?jīng)常性地運(yùn)些結(jié)果圖像（resultantimage)進(jìn)行編碼，W便為了存 儲(chǔ)的目的而限制它們的大小或者為了在通信信道上傳送的目的而限制它們的比特率，所W 發(fā)明人觀察到，曾經(jīng)在編碼和解碼之后重構(gòu)的運(yùn)些結(jié)果圖像并非系統(tǒng)地具有與已經(jīng)由所述 標(biāo)準(zhǔn)評(píng)估的運(yùn)些結(jié)果圖像的主觀質(zhì)量相對(duì)應(yīng)的呈現(xiàn)質(zhì)量。

【發(fā)明內(nèi)容】

[0039] 本發(fā)明的目的是克服先前提及的至少一個(gè)缺點(diǎn)。
[0040] 為此目的，一般地，對(duì)圖像動(dòng)態(tài)范圍轉(zhuǎn)換算子的選擇基于優(yōu)化質(zhì)量標(biāo)準(zhǔn)，質(zhì)量標(biāo)準(zhǔn) 是從對(duì)通過(guò)圖像動(dòng)態(tài)范圍轉(zhuǎn)換算子修改的原始圖像進(jìn)行編碼和解碼之后的重構(gòu)的版本計(jì) 算出的失真的函數(shù)。
[0041] 因此，對(duì)于給定比特率，修改的動(dòng)態(tài)范圍的圖像的主觀質(zhì)量對(duì)于給定的比特率是 最優(yōu)的。
[0042] 根據(jù)本發(fā)明的一個(gè)方面，本發(fā)明設(shè)及一種用于通過(guò)優(yōu)化質(zhì)量標(biāo)準(zhǔn)從一組圖像動(dòng)態(tài) 范圍轉(zhuǎn)換算子之中選擇圖像動(dòng)態(tài)范圍轉(zhuǎn)換算子的方法。每個(gè)圖像動(dòng)態(tài)范圍轉(zhuǎn)換算子被應(yīng)用 于原始圖像W獲得動(dòng)態(tài)范圍低于原始圖像的動(dòng)態(tài)范圍的被稱為修改的圖像的圖像，所述方 法的特征在于，針對(duì)每個(gè)圖像動(dòng)態(tài)范圍轉(zhuǎn)換算子計(jì)算質(zhì)量標(biāo)準(zhǔn)，作為從通過(guò)圖像動(dòng)態(tài)范圍 轉(zhuǎn)換算子修改的圖像進(jìn)行編碼和解碼之后的重構(gòu)的版本計(jì)算出的失