生成、編碼或解碼具有第一動(dòng)態(tài)范圍的圖像的方法和設(shè)備的制造方法
【專利摘要】本公開涉及一種用于從具有第二動(dòng)態(tài)范圍的圖像生成至少一個(gè)具有第一動(dòng)態(tài)范圍的圖像的方法，所述第二動(dòng)態(tài)范圍低于所述第一動(dòng)態(tài)范圍，所述方法包括：獲得(11)稱為第一縮影的所述具有第一動(dòng)態(tài)范圍的圖像的縮影；從所述具有第二動(dòng)態(tài)范圍的圖像和所述第一縮影生成(12)所述具有第一動(dòng)態(tài)范圍的圖像。
【專利說(shuō)明】
生成、編碼或解碼具有第一動(dòng)態(tài)范圍的圖像的方法和設(shè)備
技術(shù)領(lǐng)域
[0001] 本公開設(shè)及圖像或圖像序列(又被稱為視頻)的處理。
[0002] 更具體地，本公開提供一種用于從具有較低動(dòng)態(tài)范圍的至少一個(gè)圖像(例如，LDR 圖像Γ低動(dòng)態(tài)范圍"）或當(dāng)前動(dòng)態(tài)范圍圖像)生成具有較高動(dòng)態(tài)范圍的至少一個(gè)圖像(例如， 皿R圖像Γ高動(dòng)態(tài)范圍"））的技術(shù)。
[0003] 本公開具體地適用于與皿R視頻制作、發(fā)布和呈現(xiàn)有關(guān)的任何應(yīng)用。本公開設(shè)及視 頻壓縮和表示，但還設(shè)及圖像增強(qiáng)(又被稱為呈現(xiàn)）。
[0004] 具體地，本公開旨在改進(jìn)具有高動(dòng)態(tài)范圍的圖像或視頻的編碼和解碼。
[0005] 本公開的至少一個(gè)實(shí)施例還旨在改進(jìn)逆色調(diào)(tone)映射算子或超分辨率技術(shù)。
【背景技術(shù)】
[0006] 運(yùn)部分意圖為讀者介紹可能與W下描述和/或要求保護(hù)的本公開的各個(gè)方面有關(guān) 的本領(lǐng)域的各個(gè)方面。相信該討論有助于為讀者提供背景信息，W促進(jìn)對(duì)本公開的各個(gè)方 面的更好理解。因此，應(yīng)當(dāng)理解的是，要從運(yùn)個(gè)角度來(lái)閱讀運(yùn)些陳述，而不是作為對(duì)現(xiàn)有技 術(shù)的承認(rèn)。
[0007] 動(dòng)態(tài)范圍被定義為與亮度對(duì)應(yīng)的可改變量的最大可能值與最小可能值之間的比 率，所述亮度是在給定方向上傳播的光的每單位面積的發(fā)光強(qiáng)度的光度測(cè)量(亮度被表示 為4)。 nr
[000引為了從具有較低動(dòng)態(tài)范圍的圖像/視頻生成具有較高動(dòng)態(tài)范圍的圖像/視頻，已經(jīng) 提出了不同技術(shù)。
[0009] 第一種已知技術(shù)依賴于使用更靈敏的傳感器(諸如，R抓或HARRI相機(jī)）、多相機(jī)設(shè) 置(使用沒有視差并且具有一個(gè)過(guò)度曝光W及一個(gè)曝光不足的相機(jī)的立體裝備)或者時(shí)間 包圍(bracketing)(用不同光圈相繼地拍攝同一圖像直接捕獲皿R圖像/視頻。
[0010] 然而，運(yùn)些設(shè)備非常昂貴，并且所捕獲的HDR圖像需要被轉(zhuǎn)換為待編碼和傳送的較 低動(dòng)態(tài)范圍圖像。
[0011] 此外，由于對(duì)視頻所創(chuàng)建的運(yùn)動(dòng)模糊，因此時(shí)間包圍主要用于照片/靜態(tài)圖像。
[0012] 第二種已知技術(shù)依賴于手動(dòng)創(chuàng)建。在色彩管理處理期間，可W基于基準(zhǔn)顯示器上 的呈現(xiàn)來(lái)延伸(extend)圖像的色彩和亮度。該技術(shù)是對(duì)電影所執(zhí)行的傳統(tǒng)后處理。
[0013] 然而，運(yùn)些技術(shù)是耗時(shí)的，并且不生成具有自然光的圖像。
[0014] 第Ξ種已知技術(shù)依賴于逆色調(diào)映射算子（iTM0)"iTM0用于將動(dòng)態(tài)從一個(gè)范圍延伸 到更高范圍。運(yùn)樣的算子可W基于所使用的圖像處理算法來(lái)進(jìn)行分類，諸如，對(duì)于所有像素 使用同一擴(kuò)展(expansion)函數(shù)的全局算子，或者擴(kuò)展函數(shù)根據(jù)內(nèi)容而變化的局部算子。
[0015] 然而，由于運(yùn)些算子難W在時(shí)間上一致地獲得具有局部變化的實(shí)際皿R視頻，因此 運(yùn)些算子如今并非是完全高效的。運(yùn)是在嘗試根據(jù)約簡(jiǎn)數(shù)據(jù)集外推（extrapolate)信息時(shí) 的普遍問(wèn)題。
[0016] 本公開克服上述缺點(diǎn)中的至少一個(gè)。

【發(fā)明內(nèi)容】

[0017] 本公開設(shè)及一種用于從具有第二動(dòng)態(tài)范圍的圖像生成至少一個(gè)具有第一動(dòng)態(tài)范 圍的圖像的方法，所述第二動(dòng)態(tài)范圍低于所述第一動(dòng)態(tài)范圍，所述方法包括：
[0018] -獲得被稱為第一縮影(epitome)的具有第一動(dòng)態(tài)范圍的圖像的縮影；
[0019] -從具有第二動(dòng)態(tài)范圍的圖像W及第一縮影生成具有第一動(dòng)態(tài)范圍的圖像。
[0020] 假設(shè)具有較高動(dòng)態(tài)范圍（第一動(dòng)態(tài)范圍）的圖像或視頻的縮影的可用性，本公開因 此提出一種用于從具有較低動(dòng)態(tài)范圍（第二動(dòng)態(tài)范圍）的圖像或視頻高效地生成具有較高 動(dòng)態(tài)范圍的圖像或視頻的新技術(shù)。
[0021] 運(yùn)樣的縮影(又被稱為第一縮影)包括可W用于協(xié)助將具有較低動(dòng)態(tài)范圍的圖像 或視頻轉(zhuǎn)換為具有較高動(dòng)態(tài)范圍的圖像或視頻的信息或元數(shù)據(jù)。
[0022] 具體地，具有第一動(dòng)態(tài)范圍的圖像是高動(dòng)態(tài)范圍化DR)圖像，具有第二動(dòng)態(tài)范圍的 圖像是低動(dòng)態(tài)范圍化DR)圖像。HDR圖像可W更精確地表示真實(shí)場(chǎng)景中所發(fā)現(xiàn)的強(qiáng)度等級(jí)的 范圍。
[0023] 根據(jù)本公開的實(shí)施例，利用從第一縮影獲得的真實(shí)光信息來(lái)生成具有第一動(dòng)態(tài)范 圍的圖像。
[0024] 因而包括真實(shí)光信息的第一縮影可W用于W比現(xiàn)有技術(shù)更實(shí)際的方式生成具有 較高動(dòng)態(tài)范圍的圖像。
[0025] 該實(shí)施例提供用于改進(jìn)逆色調(diào)映射算子QTM0)的手段。
[0026] 根據(jù)本公開的另一實(shí)施例，生成具有第一動(dòng)態(tài)范圍的圖像包括：
[0027] -從具有第二動(dòng)態(tài)范圍的圖像確定被稱為第二縮影的具有第二動(dòng)態(tài)范圍的圖像的 縮影；
[0028] -確定第二縮影與具有第二動(dòng)態(tài)范圍的圖像之間的映射函數(shù)；
[0029] -將映射函數(shù)應(yīng)用于第一縮影，W生成具有第一動(dòng)態(tài)范圍的圖像。
[0030] 使得能夠從第二縮影傳遞到具有第二動(dòng)態(tài)范圍的圖像的映射函數(shù)因而可W應(yīng)用 于第一縮影，W生成具有第一動(dòng)態(tài)范圍的圖像。
[0031] 根據(jù)第一示例，映射函數(shù)是第二縮影與具有第二動(dòng)態(tài)范圍的圖像之間的變換映 射。
[0032] 可W在構(gòu)造第二縮影期間構(gòu)建該變換映射。
[0033] 根據(jù)第二示例，所述映射函數(shù)是具有第二動(dòng)態(tài)范圍的圖像中的至少一個(gè)塊與第二 縮影中的K個(gè)片塊(patch)之間的線性組合，其中K是整數(shù)(諸如，Κ〉1)。
[0034] 根據(jù)該第二示例，可W根據(jù)局部線性嵌入化LE)函數(shù)確定映射函數(shù)。
[0035] 確定映射函數(shù)的步驟因此包括確定權(quán)重wi,k，該權(quán)重wi,k將要被應(yīng)用于第二縮影中 的所述K個(gè)片塊的每個(gè)片塊便獲得具有第二動(dòng)態(tài)范圍的圖像中的至少一個(gè)塊XI，諸 如：
[0036]
[0037] 其中
，并且Κ是從具有第二動(dòng)態(tài)范圍的圖像的一個(gè)塊所獲得的第二縮影 中的片塊的數(shù)量。
[0038] 將映射函數(shù)應(yīng)用于第一縮影的步驟包括:對(duì)于第二縮影中的Κ個(gè)片塊，確定第一縮 影中的Κ個(gè)對(duì)應(yīng)片塊。
[0039] 然后，將權(quán)重wi,k應(yīng)用于第一縮影中的所述Κ個(gè)片塊的每個(gè)片塊便重構(gòu)具有 第一動(dòng)態(tài)范圍的圖像的至少一個(gè)塊yi，諸如：
[0040]
[0041] 根據(jù)第Ξ示例，根據(jù)回歸函數(shù)(例如，線性回歸或核回歸)確定映射函數(shù)。
[0042] 根據(jù)另一實(shí)施例，生成具有第一動(dòng)態(tài)范圍的圖像還包括:對(duì)具有第二動(dòng)態(tài)范圍的 圖像進(jìn)行上采樣(up sampling)，W便生成上采樣的具有第一動(dòng)態(tài)范圍的圖像。
[0043] W此方式，可W同時(shí)或在兩個(gè)相繼步驟中實(shí)現(xiàn)對(duì)較高動(dòng)態(tài)范圍的上采樣和轉(zhuǎn)換。
[0044] 根據(jù)另一實(shí)施例，生成方法包括W下的至少一個(gè)迭代（iteration):
[0045] -從具有第一動(dòng)態(tài)范圍的圖像獲得估計(jì)的具有第二動(dòng)態(tài)范圍的圖像W用于第一迭 代，或者從校正后的具有第一動(dòng)態(tài)范圍的圖像獲得估計(jì)的具有第二動(dòng)態(tài)范圍的圖像W用于 后續(xù)迭代；
[0046] -確定具有第二動(dòng)態(tài)范圍的圖像與估計(jì)的具有第二動(dòng)態(tài)范圍的圖像之間的估計(jì)誤 差；W及
[0047] -響應(yīng)于所述估計(jì)誤差而校正具有第一動(dòng)態(tài)范圍的圖像，W獲得校正后的具有第 一動(dòng)態(tài)范圍的圖像。
[004引運(yùn)種迭代反投影技術(shù)可W用于檢查具有第一動(dòng)態(tài)范圍的圖像是否一致。
[0049] 本公開還設(shè)及一種用于對(duì)至少一個(gè)具有第一動(dòng)態(tài)范圍的圖像進(jìn)行編碼的方法，包 括：
[0050] -確定具有第一動(dòng)態(tài)范圍的圖像的縮影，該縮影被稱為第一縮影；
[0051] -獲得具有第二動(dòng)態(tài)范圍的圖像，所述第二動(dòng)態(tài)范圍低于所述第一動(dòng)態(tài)范圍；
[0052] -對(duì)具有第二動(dòng)態(tài)范圍的圖像進(jìn)行編碼；W及 [0化3]-對(duì)第一縮影進(jìn)行編碼。
[0054] 運(yùn)種編碼方法提出對(duì)具有第二動(dòng)態(tài)范圍的圖像W及第一縮影進(jìn)行編碼，W用于存 儲(chǔ)或傳輸。
[0055] 根據(jù)本公開提出對(duì)具有第二動(dòng)態(tài)范圍的圖像W及包括關(guān)于具有第一動(dòng)態(tài)范圍的 圖像的信息的第一縮影進(jìn)行編碼，而不是對(duì)具有第一動(dòng)態(tài)范圍的圖像進(jìn)行編碼。
[0056] 運(yùn)種編碼使得能夠減少要被傳送的數(shù)據(jù)的大小。
[0057] 另外，縮影的傳輸有助于在解碼側(cè)將具有第二動(dòng)態(tài)范圍的圖像或視頻轉(zhuǎn)換為具有 第一動(dòng)態(tài)范圍的圖像或視頻。
[005引此外，運(yùn)樣的縮影可W被標(biāo)準(zhǔn)化并且傳送，W用于將具有對(duì)傳統(tǒng)LDR圖像或視頻的 后向兼容性的皿R圖像或視頻進(jìn)行編碼。
[0059]具體地，在編碼側(cè)，可W通過(guò)例如使用色調(diào)映射算子將具有第一動(dòng)態(tài)范圍的圖像 向下轉(zhuǎn)換為具有第二動(dòng)態(tài)范圍的圖像，由此來(lái)獲得具有第二動(dòng)態(tài)范圍的圖像。
[0060] 根據(jù)另一示例，具有第二動(dòng)態(tài)范圍的圖像可W在編碼側(cè)(例如從捕獲設(shè)備)直接獲 得。
[0061] 本公開還設(shè)及一種用于對(duì)至少一個(gè)具有第一動(dòng)態(tài)范圍的圖像進(jìn)行解碼的方法，包 括：
[0062] -對(duì)具有第二動(dòng)態(tài)范圍的圖像進(jìn)行解碼，所述第二動(dòng)態(tài)范圍低于所述第一動(dòng)態(tài)范 圍；
[0063] -對(duì)被稱為第一縮影的具有第一動(dòng)態(tài)范圍的圖像的縮影進(jìn)行解碼；
[0064] -從具有第二動(dòng)態(tài)范圍的圖像W及第一縮影生成具有第一動(dòng)態(tài)范圍的圖像。
[0065] 具體地，從具有第二動(dòng)態(tài)范圍的圖像W及第一縮影生成具有第一動(dòng)態(tài)范圍的圖像 可W實(shí)現(xiàn)上述生成方法。
[0066] 假設(shè)關(guān)于具有第一動(dòng)態(tài)范圍的原始圖像/視頻的一些信息的可用性，所提出的本 公開因此提供一種用于改進(jìn)具有第一動(dòng)態(tài)范圍的圖像/視頻(例如HDR圖像/視頻)的編碼和 解碼的新解決方案。
[0067] 具體地，所提出的本公開通過(guò)對(duì)具有第一動(dòng)態(tài)范圍的圖像和具有第二動(dòng)態(tài)范圍的 圖像的縮影進(jìn)行編碼和傳送，代替對(duì)具有第一動(dòng)態(tài)范圍的圖像進(jìn)行編碼和傳送，來(lái)解決HDR 圖像/視頻的傳輸/壓縮的問(wèn)題。
[0068] 本公開還設(shè)及一種用于從具有第二動(dòng)態(tài)范圍的圖像生成至少一個(gè)具有第一動(dòng)態(tài) 范圍的圖像的設(shè)備，所述第二動(dòng)態(tài)范圍低于所述第一動(dòng)態(tài)范圍，所述設(shè)備包括：
[0069] -用于獲得被稱為第一縮影的具有第一動(dòng)態(tài)范圍的圖像的縮影的模塊；
[0070] -用于從具有第二動(dòng)態(tài)范圍的圖像和第一縮影生成具有第一動(dòng)態(tài)范圍的圖像的模 塊。
[0071] 運(yùn)樣的設(shè)備尤其可W適用于實(shí)現(xiàn)W上在此所描述的生成方法。它當(dāng)然可W包括能 夠進(jìn)行組合或分離地采取的屬于根據(jù)本公開的實(shí)施例的生成方法的不同特征。因此，所述 設(shè)備的特征和優(yōu)點(diǎn)與所述生成方法的特征和優(yōu)點(diǎn)相同，并且不更大量詳細(xì)地描述。
[0072] 此外，本公開設(shè)及一種用于對(duì)至少一個(gè)具有第一動(dòng)態(tài)范圍的圖像進(jìn)行編碼的設(shè) 備，包括：
[0073] -用于確定被稱為第一縮影的具有第一動(dòng)態(tài)范圍的圖像的縮影的模塊；
[0074] -用于獲得具有第二動(dòng)態(tài)范圍的圖像的模塊，所述第二動(dòng)態(tài)范圍低于所述第一動(dòng) 態(tài)范圍；
[0075] -用于對(duì)具有第二動(dòng)態(tài)范圍的圖像進(jìn)行編碼的模塊;W及
[0076] -用于對(duì)第一縮影進(jìn)行編碼的模塊。
[0077] 運(yùn)樣的設(shè)備尤其可W適用于實(shí)現(xiàn)W上在此所描述的編碼方法。它當(dāng)然可W包括能 夠進(jìn)行組合或分離地采取的屬于根據(jù)本公開的實(shí)施例的編碼方法的不同特征。因此，所述 設(shè)備的特征和優(yōu)點(diǎn)與所述編碼方法的特征和優(yōu)點(diǎn)相同，并且不更大量詳細(xì)地描述。
[0078] 此外，本公開設(shè)及一種用于對(duì)至少一個(gè)具有第一動(dòng)態(tài)范圍的圖像進(jìn)行解碼的設(shè) 備，包括：
[0079] -用于對(duì)具有第二動(dòng)態(tài)范圍的圖像進(jìn)行解碼的模塊，所述第二動(dòng)態(tài)范圍低于所述 第一動(dòng)態(tài)范圍；
[0080] -用于對(duì)被稱為第一縮影的具有第一動(dòng)態(tài)范圍的圖像的縮影進(jìn)行解碼的模塊；
[0081] -用于從具有第二動(dòng)態(tài)范圍的圖像和第一縮影生成具有第一動(dòng)態(tài)范圍的圖像的模 塊。
[0082] 再次，運(yùn)樣的設(shè)備尤其可W適用于實(shí)現(xiàn)W上在此所描述的解碼方法。它當(dāng)然可W 包括能夠進(jìn)行組合或分離地采取的屬于根據(jù)本公開的實(shí)施例的解碼方法的不同特征。因 此，所述設(shè)備的特征和優(yōu)點(diǎn)與所述解碼方法的特征和優(yōu)點(diǎn)相同，并且不更大量詳細(xì)地描述。
[0083] 本公開的另一方面設(shè)及一種計(jì)算機(jī)程序產(chǎn)品，其可從通信網(wǎng)絡(luò)下載和/或記錄在 可由計(jì)算機(jī)讀取的介質(zhì)上和/或可由包括適用于執(zhí)行生成方法和/或編碼方法和/或解碼方 法的軟件代碼的處理器執(zhí)行，其中，所述軟件代碼適用于執(zhí)行上述方法的步驟。
[0084] 此外，本公開設(shè)及一種非瞬時(shí)計(jì)算機(jī)可讀介質(zhì)，包括其上所記錄的并且能夠由處 理器運(yùn)行的計(jì)算機(jī)程序產(chǎn)品，包括用于實(shí)現(xiàn)上述方法中的至少一個(gè)的步驟的程序代碼指 令。
[0085] W下闡述與所公開的實(shí)施例在范圍上等同的某些方面。應(yīng)當(dāng)理解，提出運(yùn)些方面 僅為了對(duì)讀者提供本公開可能采取的特定形式的簡(jiǎn)要概述，并且運(yùn)些方面并非意圖限制本 公開的范圍。實(shí)際上，本公開涵蓋W下可能未闡述的各個(gè)方面。
【附圖說(shuō)明】
[0086] 借助于W非限制性的方式參照附圖的W下實(shí)施例和執(zhí)行示例，將更好地理解和說(shuō) 明本公開，附圖中：
[0087] -圖1是示出根據(jù)本公開的實(shí)施例的、用于從具有第二動(dòng)態(tài)范圍的圖像生成具有第 一動(dòng)態(tài)范圍的圖像的方法的主要步驟的流程圖；
[0088] -圖2描述根據(jù)本公開的實(shí)施例的、被應(yīng)用于LDR到皿R轉(zhuǎn)換和放大(up-scaling)的 超分辨率技術(shù)；
[0089] -圖3示出根據(jù)本公開的實(shí)施例的、用于將具有第一動(dòng)態(tài)范圍的圖像進(jìn)行編碼的方 法的主要步驟；
[0090] -圖4提出根據(jù)本公開的實(shí)施例的、用于將具有第一動(dòng)態(tài)范圍的圖像進(jìn)行解碼的方 法的主要步驟；
[0091] -圖5至圖7是分別實(shí)現(xiàn)根據(jù)圖1的生成方法、根據(jù)圖3的編碼方法W及根據(jù)圖4的解 碼方法的設(shè)備的框圖。
[0092] 在圖及圖3至圖7中，所表示的各方框是純功能實(shí)體，其并非一定對(duì)應(yīng)于物理上 分離的實(shí)體。也就是說(shuō)，它們可軟件、硬件的形式來(lái)進(jìn)行開發(fā)，或者被實(shí)現(xiàn)在包括一個(gè) 或多個(gè)處理器的一個(gè)或若干個(gè)集成電路中。
【具體實(shí)施方式】
[0093] 應(yīng)當(dāng)理解，在為了清楚的目的而排除在典型編碼設(shè)備和/或解碼設(shè)備中發(fā)現(xiàn)的很 多其它要素的同時(shí)，已經(jīng)簡(jiǎn)化本公開的附圖和描述W示出用于清楚理解本公開的有關(guān)要 素。
[0094] 1.從具有第二動(dòng)態(tài)范圍的圖像/視頻生成具有第一動(dòng)態(tài)范圍的圖像/視頻
[0095] 1.1 -般原理
[0096] 圖1示出用于從具有第二動(dòng)態(tài)范圍的圖像生成具有第一動(dòng)態(tài)范圍的至少一個(gè)圖像 的方法的主要步驟，所述第二動(dòng)態(tài)范圍低于所述第一動(dòng)態(tài)范圍。
[0097] 例如，讓我們考慮具有第一動(dòng)態(tài)范圍的圖像是HDR圖像，并且具有第二動(dòng)態(tài)范圍的 圖像是LDR圖像。
[0098] 在第一步驟11期間，獲得具有第一動(dòng)態(tài)范圍的圖像化DR圖像)的縮影，其被稱為第 一縮影或縮影皿R。
[0099] 縮影方法目的在于通過(guò)利用圖像內(nèi)的重復(fù)內(nèi)容減少圖像中的冗余信息（紋理 (texture))。不同的技術(shù)可W用于構(gòu)造第一縮影。例如，H.Hoppe(ACM Transaction on Graphics 2008年第27卷第3期第1-10頁(yè)的 "Factoring Repeated Content Within and Among Images")或 S.畑自 riguiQ 趾 E MMSP 2011 論文集中的"Epitome-based image compression using translational sub-pel mapping")所公開的技術(shù)或PCT申請(qǐng)W02012/ 097919中所公開的技術(shù)（THOMSON LICENSING的 "Method and device for extracting an epitome")可W應(yīng)用于編碼側(cè)處可用的具有第一動(dòng)態(tài)范圍的原始圖像，W計(jì)算第一縮影。由 于運(yùn)些技術(shù)被描述用于任何類型的圖像/視頻，因此它們自然地應(yīng)用于皿R圖像/視頻。
[0100] 此外，可W將第一縮影的編碼進(jìn)行標(biāo)準(zhǔn)化并且傳送，W便將具有對(duì)傳統(tǒng)LDR圖像/ 視頻的后向兼容性的皿R圖像進(jìn)行編碼。
[0101] 在第二步驟12期間，從具有第二動(dòng)態(tài)范圍的圖像化DR圖像)和第一縮影化DR縮影） 生成具有第一動(dòng)態(tài)范圍的圖像(皿R圖像）。
[0102] 換言之，本公開目的在于改變具有較低動(dòng)態(tài)范圍的LDR圖像的像素的亮度值，W獲 得具有較高動(dòng)態(tài)范圍的皿R圖像。
[0103] 例如，可W由解碼器接收第一縮影，解碼器可W從第一縮影和具有第二動(dòng)態(tài)范圍 的圖像生成具有第一動(dòng)態(tài)范圍的圖像。第一縮影因而用于協(xié)助從LDR到皿R的轉(zhuǎn)換。
[0104] 現(xiàn)在讓我們更詳細(xì)地描述從具有第二動(dòng)態(tài)范圍的圖像和第一縮影生成具有第一 動(dòng)態(tài)范圍的圖像的第二步驟12。
[0105] 1.2使用真實(shí)光信息
[0106] 根據(jù)本公開的至少一個(gè)實(shí)施例，可W使用上述技術(shù)來(lái)改進(jìn)來(lái)自現(xiàn)有技術(shù)的狀態(tài)的 逆色調(diào)映射算子。
[0107] 諸如Banterle等人在EuroGraphics 2013的論文集中的"Real-Time High Fidelity Inverse Tone Mapping for Low Dynamic Range Content"中所描述的iTMO通 常用于將圖像/視頻的動(dòng)態(tài)從一個(gè)范圍延伸到更高范圍。
[0108] 根據(jù)該技術(shù)，首先使用相機(jī)響應(yīng)函數(shù)或消除伽瑪(gamma)來(lái)線性化LDR圖像。然后 使用提供可控制非線性擴(kuò)展曲線的攝影算子的逆來(lái)擴(kuò)展線性化的圖像。運(yùn)定義為：
[0109]
[0110] 其中，Lw(x)是線性化的圖像的像素 X處的擴(kuò)展亮度，Ld(x)是輸入的線性化的LDR亮 度，Lwhite確定曲線的拉伸（stretching)，β是參數(shù)并且確定期望的最大亮度輸出。
[0111] 然后使用采樣算法(例如，中位切分)從線性化的LDR圖像提取光源樣本。然后，如 下使用密度估計(jì)來(lái)生成平滑場(chǎng)(field) Λ :
[0112]
[0113] 其中，X是要評(píng)價(jià)的當(dāng)前像素的位置，Ω是中屯、X和半徑。的球形內(nèi)部的樣本集合， V是Ω的體積，Ψρ是第Ρ樣本的功率，Κ是由W下參數(shù)所定義的核密度估計(jì)器：
[0114] rmax:密度估計(jì)器的參數(shù)(被稱為帶寬），其改變?yōu)V波的強(qiáng)度，
[0115] 嫁: X周圍的原始圖像的子空間(或核的大?。?，
[0116] yp: X周圍的樣本集合，被包含于子空間妙j '中。
[0117] 在采樣期間，由于大的低亮度區(qū)域的存在，可W生成少數(shù)隔離的樣本。它們可W產(chǎn) 生隔離的離群值，即無(wú)需擴(kuò)展的區(qū)域。如果II Ω I |<nsmin(其中nsmin是闊值），則可W通過(guò) 巧夾(C lamp)使密度估計(jì)無(wú)效的集合來(lái)解決該問(wèn)題。
[0118] -旦使用交叉雙邊濾波器來(lái)計(jì)算并且過(guò)濾平滑場(chǎng)Λ，就使用Λ (X)作為權(quán)重對(duì)擴(kuò) 展的值Lw(x)和線性化的LDR亮度值Ld(x)進(jìn)行線性內(nèi)插，W便獲得皿R圖像的最終亮度值。
[0119] 為了根據(jù)本公開的至少一個(gè)實(shí)施例改進(jìn)現(xiàn)有iTMO, Λ (X)權(quán)重可W基于根據(jù)第一 縮影確定的真實(shí)光條件，而不是來(lái)自LDR圖像的真實(shí)光條件的延伸。
[0120] 根據(jù)現(xiàn)有技術(shù)的"盲(blind)外推"可能實(shí)際上創(chuàng)建偽像(adificial)光，而縮影 確保真實(shí)值。因此即使縮影是稀疏的，它也提供iTMO可W使用的真實(shí)光信息。
[0121] 在此情況下，最接近匹配準(zhǔn)則可W用于從（Banterle所命名的）光映射（light map)或擴(kuò)展映射找到最靠近的縮影圖表(chad),所述光映射或擴(kuò)展映射是允許延伸LDR圖 像的光W生成皿R圖像的權(quán)重因子映射?？商鎿Q地，來(lái)自同一位置的縮影(如果存在的話)可 W用于通過(guò)真實(shí)值來(lái)替換外推的值。然后空間濾波使光映射平滑。應(yīng)當(dāng)注意，該技術(shù)應(yīng)用于 所有種類的iTMO。
[0122] 為了找到對(duì)于當(dāng)前塊的最接近匹配縮影，一種解決方案包括計(jì)算當(dāng)前塊與所有縮 影塊之間的差，并且選擇具有最小差(最接近匹配)的縮影塊。所述差可W在消除各塊的平 均亮度值W考慮LDR塊與皿R塊之間的光水平差之后進(jìn)行計(jì)算?？商鎿Q地，HDR縮影可W首先 被轉(zhuǎn)換為L(zhǎng)DR縮影(如上所述），W便接著在同一光域中計(jì)算差。
[0123] 在步驟12期間，因而可W利用從第一縮影所獲得的真實(shí)光信息來(lái)生成具有第一動(dòng) 態(tài)范圍的圖像。
[0124] 1.3確定映射函數(shù)
[0125] 根據(jù)本公開的至少一個(gè)實(shí)施例，映射函數(shù)可W用于從具有第二動(dòng)態(tài)范圍的圖像W 及第一縮影生成具有第一動(dòng)態(tài)范圍的圖像。
[0126] 可W在具有第二動(dòng)態(tài)范圍的圖像的縮影(被稱為第二縮影)與具有第二動(dòng)態(tài)范圍 的圖像之間確定運(yùn)種映射函數(shù)，然后可W將該映射函數(shù)應(yīng)用于第一縮影，W便生成具有第 一動(dòng)態(tài)范圍的圖像。
[0127] 可W使用任何技術(shù)(諸如例如H.化ppe、S.化自rigui所公開的技術(shù)或前述PCT申請(qǐng) W02012/097919中所公開的技術(shù))來(lái)確定第二縮影。例如，可W使用同一技術(shù)來(lái)計(jì)算第一縮 影和第二縮影，使得在兩個(gè)縮影中包含適當(dāng)信息。根據(jù)另一示例，可W根據(jù)與用于計(jì)算第一 縮影的第一圖像的塊位于相同的位置的第二圖像的塊來(lái)計(jì)算第二縮影。
[0128] 映射函數(shù)可W是不同類型的。
[0129] 根據(jù)第一示例，所述映射函數(shù)是第二縮影與具有第二動(dòng)態(tài)范圍的圖像之間的變換 映射。變換映射包括對(duì)于將第二縮影映射到具有第二動(dòng)態(tài)范圍的圖像而設(shè)計(jì)的分配矢量集 厶 1=1 〇
[0130] 利用例如使用S.化自rigui所公開的上述用于計(jì)算縮影的技術(shù)的縮影來(lái)輸出運(yùn)種 變換映射。
[0131] 因此可W通過(guò)將變換映射應(yīng)用于第一縮影（即，通過(guò)將與對(duì)于將第二縮影映射到 具有第二動(dòng)態(tài)范圍的圖像而設(shè)計(jì)的分配矢量相同的分配矢量應(yīng)用于第一縮影)來(lái)簡(jiǎn)單地生 成具有第一動(dòng)態(tài)范圍的圖像。
[0132] 根據(jù)第二示例，根據(jù)局部線性嵌入技術(shù)化LE)來(lái)確定映射函數(shù)，并且映射函數(shù)是具 有第二動(dòng)態(tài)范圍的圖像中的至少一個(gè)塊與第二縮影中的K化〉1)個(gè)片塊之間的線性組合(其 中，片塊是從縮影中提取的紋理信息）。
[0133] 根據(jù)該第二示例，確定權(quán)重wi,k，將該權(quán)重wi,k應(yīng)用于第二縮影中的所述K個(gè)片塊的 每個(gè)片塊，W便獲得具有第二動(dòng)態(tài)范圍的圖像中的至少一個(gè)塊XI，例如：
[0134]
[0135] 其中
并且K是從具有第二動(dòng)態(tài)范圍的圖像的一個(gè)塊所獲得的第二縮影 中的片塊的數(shù)量。
[0136] 根據(jù)第一縮影中所選擇的K個(gè)對(duì)應(yīng)片塊來(lái)確定第二縮影中的K個(gè)片塊。
[0137] 然后將權(quán)重wi,k應(yīng)用于第一縮影中的所述K個(gè)片塊的每個(gè)片塊便重構(gòu)具有第 一動(dòng)態(tài)范圍的圖像的至少一個(gè)塊yi，例如：
[013 引
[0139] 可W使用非局部均值(NLM)函數(shù)代替使用LLE函數(shù)，來(lái)確定映射函數(shù)。
[0140] 例如，根據(jù)第Ξ示例，使用核回歸的線性回歸確定映射函數(shù)。然后，可W使用另一 局部學(xué)習(xí)技術(shù)(諸如，線性回歸或核回歸），W代替例如LLE。
[0141] 例如，對(duì)于具有第二動(dòng)態(tài)范圍的圖像的每個(gè)重疊塊(重疊因子是可W調(diào)諧的參數(shù)， 并且對(duì)于8X8塊，重疊因子可W設(shè)置為7)，捜索第二縮影中的K個(gè)最近鄰化-NN)片塊。還選 擇第一縮影中的對(duì)應(yīng)(即，共同定位或在同一位置處的）片塊，從而形成用于使用回歸(線性 回歸或核回歸)學(xué)習(xí)映射函數(shù)Fi的成對(duì)片塊。
[0142] 然后，考慮多元線性回歸，問(wèn)題成為捜索使得下式最小化的函數(shù)Fi:
[0143] I I (Mh)T-(MO中。I2
[0144] 該函數(shù)是形式MY-XBM2,并且因此對(duì)應(yīng)于線性回歸模型Y = XB巧。
[0145] 該函數(shù)的最小化給出最小二乘估計(jì)器:Fi=Mh(Mi)T(Mi(Mi)Tri。
[0146] 其中，Mh是由其各列由第一縮影片塊為*構(gòu)成的矩陣，Ml是由其各列由第二縮影對(duì) 應(yīng)片塊式構(gòu)成的矩陣，其中i = 1 ···!(并且（.）τ是轉(zhuǎn)置算子。
[0147] 從具有第二動(dòng)態(tài)范圍的圖像取得第二縮影片塊式，并且它們的位置與第一縮影 片塊的位置一致。
[0148] 1.4改進(jìn)超分辨率技術(shù)
[0149] 也可W使用上述技術(shù)來(lái)改進(jìn)超分辨率技術(shù)。
[0150] 更具體地，經(jīng)典超分辨率技術(shù)嘗試融合低分辨率化R)圖像集合，W便恢復(fù)未知高 分辨率(HR)圖像。
[0151] 例如，在IE趾圖像處理國(guó)際會(huì)議（ICIP)2013中M.Turkan等人的"Optimized Nei曲bor 血beddings ρ·〇Γ Single-Image Super-Resolution" W及IE邸圖像處理國(guó)際會(huì) 議（ICIP)2014中M.Turkan等人的 "Iterated Nei曲bor-Embeddings For Image Super- Resolution"中已經(jīng)提出一種無(wú)需使用任何外部信息或數(shù)據(jù)庫(kù)的來(lái)自單個(gè)低分辨率圖像的 錐形超分辨率(SR)方法。該方法依賴于低分辨率和高分辨率圖像片塊空間的局部幾何相似 度。從取自LR圖像的跨尺度(across scale)的輸入LR片塊及其K個(gè)最近鄰，獲得輸入(減去 或不減去均值的)LR片塊鄰域(nei曲borhood)的固有幾何性質(zhì)。
[0152] 利用來(lái)自其Κ-Γ^Ν的輸入LR片塊的局部線性嵌入化LE)重構(gòu)系數(shù)來(lái)線性地表征局部 LR幾何。然后通過(guò)假設(shè)局部LR幾何已經(jīng)保留在HR片塊空間中，由此根據(jù)輸入LR片塊的所發(fā) 現(xiàn)的Κ-Γ^Ν的對(duì)應(yīng)(減去或不減去均值的)皿雙親來(lái)估計(jì)(猜想)皿嵌入。然后通過(guò)添加輸入LR 片塊的均值來(lái)獲得當(dāng)前HR片塊的估計(jì)。對(duì)于LR圖像中的每個(gè)片塊，已經(jīng)計(jì)算皿嵌入，保留了 LR鄰域的局部幾何。允許各片塊之間的重疊盡可能多，W便在目標(biāo)皿圖像中強(qiáng)加局部兼容 性W及平滑性約束。
[0153] 然后根據(jù)基于稀疏表示的加權(quán)措施，可W線性地組合重疊區(qū)像素。在該方法中，通 過(guò)由取自LR圖像及其跨尺度的LR圖像片塊和皿圖像片塊組成的字典(dictionary)已經(jīng)分 解了輸入LR片塊和所估計(jì)的皿片塊的連接(concatenation)。使用指數(shù)核，根據(jù)片塊的表示 的稀疏性來(lái)加權(quán)運(yùn)些片塊(即，最稀疏的表示給予最高加權(quán)，依此類推）。
[0154] 根據(jù)本公開的至少一個(gè)實(shí)施例，由于縮影的可用性，可W改進(jìn)任何超分辨率技術(shù)。 例如，上述多層方案可W適用于動(dòng)態(tài)范圍的延伸。
[0155] 讓我們考慮例如圖2中所描述的與LR圖像對(duì)應(yīng)的具有第二動(dòng)態(tài)范圍的圖像21及其 第二縮影22。讓我們還考慮我們希望獲得的與皿圖像對(duì)應(yīng)的具有第一動(dòng)態(tài)范圍的圖像24的 第一縮影23。在該示例中，我們考慮我們想要生成的具有第一動(dòng)態(tài)范圍的圖像與具有第二 動(dòng)態(tài)范圍的圖像相比是上采樣的。因此可W同時(shí)或在兩個(gè)相繼步驟中執(zhí)行上采樣和動(dòng)態(tài)范 圍轉(zhuǎn)換兩者。
[0156] 作為示例，可W使用K-順片塊來(lái)進(jìn)行LLE線性內(nèi)插，其中在圖帥例如Κ = 2。在第二 縮影22中捜索Κ-Γ^Ν片塊，并且在第一縮影23中標(biāo)識(shí)對(duì)應(yīng)片塊。
[0157] 因而對(duì)"LR"數(shù)據(jù)計(jì)算權(quán)重wi,k，并且將該權(quán)重wi,k應(yīng)用于第一縮影23中的Κ個(gè)對(duì)應(yīng) 片塊，W重構(gòu)圖像/視頻的皿R版本。
[0158] 權(quán)重wi,k被計(jì)算為：
[0161] 其中，i是將要被內(nèi)插的具有第二動(dòng)態(tài)范圍的圖像中的塊xi化DR塊)的當(dāng)前位置，k 是第二縮影(LDR縮影)中的K-NN所選擇的片塊的索引。
[0162] 換言之，確定權(quán)重￥1,1、'\￥1,2，將該權(quán)重*1,1、機(jī),2分別應(yīng)用于第二縮影22中的每個(gè)片 塊<1、也擬便獲得具有第二動(dòng)態(tài)范圍的圖像21中的至少一個(gè)塊XI，諸如：
[0163]
[0164] 我們注意到，當(dāng)計(jì)算權(quán)重wi,k時(shí)，LLE消除平均亮度值。
[0165] 一旦計(jì)算出權(quán)重wi,k，就可W將它們應(yīng)用于第一縮影中的K個(gè)對(duì)應(yīng)片塊的每個(gè)片塊 W便重構(gòu)具有第一動(dòng)態(tài)范圍的圖像的至少一個(gè)塊yi，諸如：
[0166]
[0167]換言之，根據(jù)第一縮影中的片塊為j丸行線性內(nèi)插，W重構(gòu)皿R塊，其中片塊是第 二縮影中所選擇的片塊ζ?的第一縮影中的排列（collocated)(i，l〇K-W^片塊。
[016引例如，將權(quán)重2分別應(yīng)用于第一縮影23中的每個(gè)片塊4、2?，W便獲得具 有第二動(dòng)態(tài)范圍的圖像24的至少一個(gè)塊yi化DR塊）。
[0169] 具體地，LR/LDR層中的片塊/塊的大小小于皿/HDR層的大?。ū嚷适敲髮酉鄬?duì)于LR 層的分辨率的比率）。
[0170] 因此可W使用本公開來(lái)改進(jìn)現(xiàn)有超分辨率技術(shù)。
[0171] 應(yīng)當(dāng)注意，如果對(duì)應(yīng)映射可W與縮影一起使用，貝化-N閑叟索不再是必須的。
[0172] 此外，如上所述，也可W使用NLM(諸如，線性回歸或核回歸)代替LLE來(lái)確定映射函 數(shù)。
[0173] 1.5 變形
[0174] 根據(jù)圖2中所描述的本公開實(shí)施例，生成具有第一動(dòng)態(tài)范圍的圖像還包括:對(duì)具有 第二動(dòng)態(tài)范圍的圖像進(jìn)行上采樣，W便生成上采樣的具有第一動(dòng)態(tài)范圍的圖像。
[0175] W此方式，可W同時(shí)執(zhí)行對(duì)較高動(dòng)態(tài)范圍的上采樣和轉(zhuǎn)換。根據(jù)另一實(shí)施例，在兩 個(gè)相繼步驟中執(zhí)行對(duì)較高動(dòng)態(tài)范圍上采樣和轉(zhuǎn)換。
[0176] 根據(jù)另一實(shí)施例，生成具有第一動(dòng)態(tài)范圍的圖像包括W下的至少一個(gè)迭代：
[0177] -從具有第一動(dòng)態(tài)范圍的圖像獲得估計(jì)的具有第二動(dòng)態(tài)范圍的圖像W用于第一迭 代，或者從校正后的具有第一動(dòng)態(tài)范圍的圖像獲得估計(jì)的具有第二動(dòng)態(tài)范圍的圖像W用于 后續(xù)迭代；
[0178] -確定具有第二動(dòng)態(tài)范圍的圖像與估計(jì)的具有第二動(dòng)態(tài)范圍的圖像之間的估計(jì)誤 差；W及
[0179] -響應(yīng)于所述估計(jì)誤差而校正具有第一動(dòng)態(tài)范圍的圖像，W獲得校正后的具有第 一動(dòng)態(tài)范圍的圖像。
[0180] 可W可選地對(duì)于動(dòng)態(tài)范圍轉(zhuǎn)換(HDR重構(gòu)）或者HDR重構(gòu)及放大二者添加用于檢查 所生成的圖像是否一致的迭代反投影。反投影包括:將所重構(gòu)的HDR(/皿)圖像向下轉(zhuǎn)換為 LDR(/LR)圖像，利用可用LDR(/LR)計(jì)算差，并且將該差向上轉(zhuǎn)換回到皿R(/皿)差，W將其添 加到所重構(gòu)的皿R(/HR)。
[0181] 對(duì)于放大運(yùn)算，當(dāng)對(duì)于動(dòng)態(tài)運(yùn)算假設(shè)TMO和iTMO算子的可用性時(shí)，使用線性內(nèi)插濾 波器。
[0182] 此外，用于重疊塊的上述技術(shù)可W用于非重疊塊。
[0183] 2.根據(jù)具有第二動(dòng)態(tài)范圍的圖像/視頻對(duì)具有第一動(dòng)態(tài)范圍的圖像/視頻進(jìn)行編 碼/解碼
[0184] 用于從具有第二動(dòng)態(tài)范圍的圖像生成至少一個(gè)具有第一動(dòng)態(tài)范圍的圖像的方法 可W用于改進(jìn)具有第一動(dòng)態(tài)范圍的圖像/視頻的編碼/解碼，所述第二動(dòng)態(tài)范圍低于所述第 一動(dòng)態(tài)范圍。
[0185] 為了解決HDR圖像/視頻的編碼/解碼并且尤其是傳輸/壓縮的問(wèn)題，已經(jīng)提出了不 同技術(shù)。
[0186] 例如，肝EG通過(guò)被稱為RG邸的共享指數(shù)浮點(diǎn)色彩格式W及其它16比特和32比特定 點(diǎn)色彩分量表示將其編碼方案的擴(kuò)展進(jìn)行標(biāo)準(zhǔn)化，W支持HDR圖像W及也支持HDR的肝EG- XR格式。
[0187] MPEG也正考慮對(duì)于MPEG肥VC支持皿R視頻。
[0188] 然而，運(yùn)些技術(shù)受制于將要發(fā)送的數(shù)據(jù)的大小或所重構(gòu)的圖像的有限質(zhì)量。
[0189] 2.1編碼器
[0190] 圖3示出根據(jù)本公開的用于對(duì)至少一個(gè)具有第一動(dòng)態(tài)范圍的圖像進(jìn)行編碼的方法 的主要步驟。
[0191] 在第一步驟31期間，確定具有第一動(dòng)態(tài)范圍的圖像（例如皿R圖像）的縮影。原始 皿R圖像可W實(shí)際上在編碼側(cè)處可用。
[0192] 在第二步驟32期間，獲得具有低于所述第一動(dòng)態(tài)范圍的第二動(dòng)態(tài)范圍的圖像(例 如LDR圖像）。
[0193] 例如，使用色調(diào)映射算子從HDR圖像獲得LDR圖像。在變形中，如虛線點(diǎn)示出的，LDR 圖像在編碼側(cè)是可直接(例如從捕獲設(shè)備)獲得的。
[0194] 在第Ξ步驟33期間，對(duì)具有第二動(dòng)態(tài)范圍的圖像化DR)和第一縮影化DR縮影)進(jìn)行 編碼?？蒞使用用于元數(shù)據(jù)編碼的任何設(shè)備對(duì)第一縮影進(jìn)行編碼(331)?？蒞使用傳統(tǒng)編碼 方案或?qū)Ｓ镁幋a方案對(duì)其進(jìn)行編碼?？蒞使用任何圖像或視頻編碼器(MPEG、肝EG、···）對(duì)具 有第二動(dòng)態(tài)范圍的圖像進(jìn)行編碼(332)。
[01M]例如，然后可W通過(guò)使用兩個(gè)不同網(wǎng)絡(luò)（廣播和IP)或兩個(gè)IP鏈路來(lái)分離地傳送 LDR圖像/視頻和HDR縮影，或者例如通過(guò)在同一流內(nèi)將LDR圖像/視頻和HDR縮影復(fù)用在一起 來(lái)同時(shí)地傳送LDR圖像/視頻和皿R縮影，W便在解碼器側(cè)重構(gòu)第一和第二動(dòng)態(tài)范圍圖像/視 頻版本。縮影因此可W被看作用于對(duì)皿R圖像/視頻進(jìn)行編碼的元數(shù)據(jù)。
[0196] 可W將第一縮影作為專用MPEG SEI消息、關(guān)聯(lián)圖像（例如與MPEG中的深度圖相 似）、私有數(shù)據(jù)進(jìn)行傳送，或者使用例如MPEG-2TS句法來(lái)傳送第一縮影。
[0197] 應(yīng)當(dāng)注意，如果縮影是稀疏的，則應(yīng)當(dāng)使用低比特率。
[019引 2.2解碼器
[0199]圖4示出根據(jù)本公開的用于對(duì)至少一個(gè)具有第一動(dòng)態(tài)范圍的圖像進(jìn)行解碼的方法 的主要步驟。
[0200] 在解碼的第一步驟41期間，對(duì)具有第二動(dòng)態(tài)范圍的圖像化DR)和第一縮影化DR縮 影)進(jìn)行解碼?？蒞使用用于元數(shù)據(jù)解碼的任何設(shè)備對(duì)第一縮影進(jìn)行解碼(411)。可W使用 傳統(tǒng)解碼方案或?qū)Ｓ镁幋a方案對(duì)其進(jìn)行解碼?？蒞使用任何圖像或視頻解碼器(MPEG、 肝EG、…)對(duì)具有第二動(dòng)態(tài)范圍的圖像進(jìn)行解碼(412)。
[0201] 在第二步驟42期間，從(所解碼的）具有第二動(dòng)態(tài)范圍的圖像W及第一縮影生成或 重構(gòu)具有第一動(dòng)態(tài)范圍的圖像(皿R)。
[0202] 可W使用上述生成方法來(lái)生成運(yùn)種具有第一動(dòng)態(tài)范圍的圖像。
[0203] 3.設(shè)備
[0204] 圖5圖示性地示出根據(jù)本公開的實(shí)施例的用于從具有第二動(dòng)態(tài)范圍的圖像生成至 少一個(gè)具有第一動(dòng)態(tài)范圍的圖像的設(shè)備的示例。僅示出生成設(shè)備的必要元件。
[0205] 運(yùn)樣的生成設(shè)備至少包括：
[0206] -用于獲得具有第一動(dòng)態(tài)范圍的圖像的縮影(被稱為第一縮影)的模塊51;
[0207] -用于從具有第二動(dòng)態(tài)范圍的圖像W及第一縮影生成具有第一動(dòng)態(tài)范圍的圖像的 模塊52;
[020引-存儲(chǔ)部件53,諸如易失性存儲(chǔ)器；
[0209] --個(gè)或多個(gè)處理器54,用于執(zhí)行在設(shè)備的非易失性存儲(chǔ)器中所存儲(chǔ)的應(yīng)用和程 序；
[0210] -內(nèi)部總線B1，其連接用于執(zhí)行所述生成設(shè)備功能的本領(lǐng)域技術(shù)人員公知的各種 模塊和所有部件。
[0211] 圖6示出根據(jù)本公開的實(shí)施例的用于對(duì)至少一個(gè)具有第一動(dòng)態(tài)范圍的圖像進(jìn)行編 碼的設(shè)備的示例。僅示出編碼設(shè)備的必要元件。
[0212] 運(yùn)樣的編碼設(shè)備至少包括：
[0213] -用于確定具有第一動(dòng)態(tài)范圍的圖像的縮影(被稱為第一縮影)的模塊61;
[0214] -用于獲得具有第二動(dòng)態(tài)范圍的圖像的模塊(62)，所述第二動(dòng)態(tài)范圍低于所述第 一動(dòng)態(tài)范圍；
[0215] -用于對(duì)具有第二動(dòng)態(tài)范圍的圖像進(jìn)行編碼的模塊63;
[0216] -用于對(duì)所述第一縮影進(jìn)行編碼的模塊64;
[0217] -存儲(chǔ)部件65,諸如易失性存儲(chǔ)器；
[0218] -一個(gè)或多個(gè)處理器66,用于執(zhí)行在設(shè)備的非易失性存儲(chǔ)器中所存儲(chǔ)的應(yīng)用和程 序；
[0219] -內(nèi)部總線B2,其連接用于執(zhí)行所述編碼設(shè)備功能的本領(lǐng)域技術(shù)人員公知的各種 模塊和所有部件。
[0220] 圖7示出根據(jù)本公開的實(shí)施例的用于對(duì)至少一個(gè)具有第一動(dòng)態(tài)范圍的圖像進(jìn)行解 碼的設(shè)備的示例。僅示出解碼設(shè)備的必要元件。
[0221] 運(yùn)樣的解碼設(shè)備至少包括：
[0222] -用于對(duì)具有第二動(dòng)態(tài)范圍的圖像進(jìn)行解碼的模塊71，所述第二動(dòng)態(tài)范圍低于所 述第一動(dòng)態(tài)范圍；
[0223] -用于對(duì)具有第一動(dòng)態(tài)范圍的圖像的縮影(被稱為第一縮影)進(jìn)行解碼的模塊72;
[0224] -用于從具有第二動(dòng)態(tài)范圍的圖像W及第一縮影生成具有第一動(dòng)態(tài)范圍的圖像的 模塊73;
[0225] -存儲(chǔ)部件74,諸如易失性存儲(chǔ)器；
[0226] --個(gè)或多個(gè)處理器75,用于執(zhí)行在設(shè)備的非易失性存儲(chǔ)器中所存儲(chǔ)的應(yīng)用和程 序；
[0227] -內(nèi)部總線B3,其連接用于執(zhí)行所述編碼設(shè)備功能的本領(lǐng)域技術(shù)人員公知的各種 模塊和所有部件。
[02%]可W根據(jù)純軟件實(shí)現(xiàn)方式、純硬件實(shí)現(xiàn)方式（例如專用組件的形式，如同ASIC、 FPGA、VLSI、…）或集成到設(shè)備中的若干電子組件或硬件元件和軟件元件的混合的形式來(lái)分 別實(shí)現(xiàn)運(yùn)樣的生成設(shè)備、編碼設(shè)備和/或解碼設(shè)備。
[0229] 圖中的流程圖和/或框圖示出根據(jù)本公開各個(gè)實(shí)施例的系統(tǒng)、方法和計(jì)算機(jī)程序 產(chǎn)品的可能的實(shí)現(xiàn)的配置、操作和功能。就運(yùn)點(diǎn)而言，流程圖或框圖中的每個(gè)塊可W表示包 括用于實(shí)現(xiàn)專用邏輯功能的一個(gè)或多個(gè)可執(zhí)行指令的模塊、片段或代碼部分。
[0230] 例如，用于獲得具有第一動(dòng)態(tài)范圍的圖像的縮影的模塊51W及用于生成具有第一 動(dòng)態(tài)范圍的圖像的模塊52可W被提供為生成設(shè)備的存儲(chǔ)器中所存儲(chǔ)的軟件組件。根據(jù)各個(gè) 實(shí)施例，一個(gè)或多個(gè)處理單元54可W被配置為執(zhí)行各種軟件程序和/或軟件組件的指令集， W執(zhí)行W下各個(gè)功能:獲得具有第一動(dòng)態(tài)范圍的圖像的縮影；W及從具有第二動(dòng)態(tài)范圍的 圖像W及第一縮影生成具有第一動(dòng)態(tài)范圍的圖像。
[0231] 用于確定具有第一動(dòng)態(tài)范圍的圖像的縮影的模塊61、用于獲得具有第二動(dòng)態(tài)范圍 的圖像的模塊62、用于對(duì)具有第二動(dòng)態(tài)范圍的圖像進(jìn)行編碼的模塊63W及用于對(duì)所述第一 縮影進(jìn)行編碼的模塊64也可W被提供為編碼設(shè)備的存儲(chǔ)器中所存儲(chǔ)的軟件組件。根據(jù)各個(gè) 實(shí)施例，一個(gè)或多個(gè)處理單元66可W被配置為執(zhí)行各種軟件程序和/或軟件組件的指令集， W執(zhí)行W下各個(gè)功能:確定具有第一動(dòng)態(tài)范圍的圖像的縮影;獲得具有第二動(dòng)態(tài)范圍的圖 像;對(duì)具有第二動(dòng)態(tài)范圍的圖像進(jìn)行編碼；W及對(duì)所述第一縮影進(jìn)行編碼。
[0232] 用于對(duì)具有第二動(dòng)態(tài)范圍的圖像進(jìn)行解碼的模塊71、用于對(duì)具有第一動(dòng)態(tài)范圍的 圖像的縮影進(jìn)行解碼的模塊72W及用于生成具有第一動(dòng)態(tài)范圍的圖像的模塊73可W被提 供為解碼設(shè)備的存儲(chǔ)器中所存儲(chǔ)的軟件組件。根據(jù)各個(gè)實(shí)施例，一個(gè)或多個(gè)處理單元75可 W被配置為執(zhí)行各種軟件程序和/或軟件組件的指令集，W執(zhí)行W下各個(gè)功能:對(duì)具有第二 動(dòng)態(tài)范圍的圖像進(jìn)行解碼;對(duì)具有第一動(dòng)態(tài)范圍的圖像的縮影(被稱為第一縮影)進(jìn)行解 碼；W及從具有第二動(dòng)態(tài)范圍的圖像W及第一縮影生成具有第一動(dòng)態(tài)范圍的圖像。
[0233] 還應(yīng)當(dāng)注意，在一些替換的實(shí)現(xiàn)中，方框中所標(biāo)注的功能可W不按附圖中所標(biāo)注 的順序產(chǎn)生。例如，取決于所設(shè)及的功能，相繼示出的兩個(gè)方框?qū)嶋H上可W基本上同時(shí)地執(zhí) 行，或各方框可W有時(shí)按相反順序執(zhí)行，或各方框可W按交替順序執(zhí)行。應(yīng)當(dāng)注意，可W通 過(guò)執(zhí)行所指定的功能或動(dòng)作的基于專用硬件的計(jì)算機(jī)系統(tǒng)或?qū)Ｓ糜布陀?jì)算機(jī)指令的組 合來(lái)實(shí)現(xiàn)框圖和/或流程圖圖示的每個(gè)方框W及框圖和/或流程圖圖示中的各方框的組合。 雖然未明確描述，但可W在任何組合或部分組合中采用本發(fā)明實(shí)施例。
[0234] 本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解，本發(fā)明原理的各方面可W實(shí)施為系統(tǒng)、方法、計(jì)算機(jī)程 序或計(jì)算機(jī)可讀介質(zhì)。相應(yīng)地，本發(fā)明原理的各方面可W采取整體硬件實(shí)施例、整體軟件實(shí) 施例(包括固件、駐留軟件、微碼等)或組合軟件和硬件方面的實(shí)施例的形式，其可W在此都 總體上稱為"電路"、"模塊"或"系統(tǒng)"。此外，本發(fā)明原理的各方面可w采取計(jì)算機(jī)可讀存儲(chǔ) 介質(zhì)的形式。可W利用一個(gè)或多個(gè)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)的任何組合。
[0235]計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)可W采取一個(gè)或多個(gè)計(jì)算機(jī)可讀介質(zhì)中實(shí)施的并且具有其 上所實(shí)施的可由計(jì)算機(jī)執(zhí)行的計(jì)算機(jī)可讀程序代碼的計(jì)算機(jī)可讀程序產(chǎn)品的形式。在此所 使用的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)看作給出用于在其中存儲(chǔ)信息的固有能力W及用于提供從其 檢索信息的固有能力的非瞬時(shí)存儲(chǔ)介質(zhì)。計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)可W例如但不限于是電子、 磁、光、電磁、紅外或半導(dǎo)體系統(tǒng)、裝置或設(shè)備或前述項(xiàng)的任何合適的組合。應(yīng)當(dāng)理解，雖然 提供本發(fā)明原理可W應(yīng)用于的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)的更具體示例，但本領(lǐng)域技術(shù)人員應(yīng)當(dāng) 理解W下僅是說(shuō)明性而非窮盡性列表:便攜式計(jì)算機(jī)盤、硬盤、隨機(jī)存取存儲(chǔ)器(RAM)、只讀 存儲(chǔ)器(ROM)、可擦除可編程只讀存儲(chǔ)器化PROM或閃存）、便攜式壓縮盤只讀存儲(chǔ)器（CD- R0M)、光存儲(chǔ)設(shè)備、磁存儲(chǔ)設(shè)備或前述項(xiàng)的任何合適的組合。
【主權(quán)項(xiàng)】
1. 一種用于從具有第二動(dòng)態(tài)范圍的圖像生成至少一個(gè)具有第一動(dòng)態(tài)范圍的圖像的方 法，所述第二動(dòng)態(tài)范圍低于所述第一動(dòng)態(tài)范圍，所述方法包括： -獲得(11)具有第一動(dòng)態(tài)范圍的圖像的縮影，該縮影被稱為第一縮影； -從具有第二動(dòng)態(tài)范圍的圖像以及第一縮影生成（12)具有第一動(dòng)態(tài)范圍的圖像。2. 如權(quán)利要求1所述的方法，其中，生成（12)具有第一動(dòng)態(tài)范圍的圖像包括： -從具有第二動(dòng)態(tài)范圍的圖像確定具有第二動(dòng)態(tài)范圍的圖像的縮影，該縮影被稱為第 二縮影； -確定第二縮影與具有第二動(dòng)態(tài)范圍的圖像之間的變換映射； -將所述變換映射應(yīng)用于第一縮影，以生成具有第一動(dòng)態(tài)范圍的圖像。3. 如權(quán)利要求1或2所述的方法，其中，生成具有第一動(dòng)態(tài)范圍的圖像還包括:對(duì)具有第 二動(dòng)態(tài)范圍的圖像進(jìn)行上采樣，以便生成具有第一動(dòng)態(tài)范圍的上采樣圖像。4. 如權(quán)利要求1至3中的任一項(xiàng)所述的方法，其中，所述方法包括以下的至少一個(gè)迭代： -從具有第一動(dòng)態(tài)范圍的圖像獲得估計(jì)的具有第二動(dòng)態(tài)范圍的圖像以用于第一迭代， 或者從校正后的具有第一動(dòng)態(tài)范圍的圖像獲得估計(jì)的具有第二動(dòng)態(tài)范圍的圖像以用于后 續(xù)迭代； -確定具有第二動(dòng)態(tài)范圍的圖像與估計(jì)的具有第二動(dòng)態(tài)范圍的圖像之間的估計(jì)誤差； 以及 -響應(yīng)于所述估計(jì)誤差而校正具有第一動(dòng)態(tài)范圍的圖像，以獲得校正后的具有第一動(dòng) 態(tài)范圍的圖像。5. -種用于對(duì)至少一個(gè)具有第一動(dòng)態(tài)范圍的圖像進(jìn)行解碼的方法，包括： -對(duì)具有第二動(dòng)態(tài)范圍的圖像進(jìn)行解碼(411)，所述第二動(dòng)態(tài)范圍低于所述第一動(dòng)態(tài)范 圍； -對(duì)具有第一動(dòng)態(tài)范圍的圖像的縮影進(jìn)行解碼(412)，該縮影被稱為第一縮影； -從具有第二動(dòng)態(tài)范圍的圖像以及第一縮影生成(42)具有第一動(dòng)態(tài)范圍的圖像。6. 如權(quán)利要求5所述的方法，其中，生成具有第一動(dòng)態(tài)范圍的圖像包括： -從具有第二動(dòng)態(tài)范圍的圖像確定具有第二動(dòng)態(tài)范圍的圖像的縮影，該縮影被稱為第 二縮影； -確定第二縮影與具有第二動(dòng)態(tài)范圍的圖像之間的變換映射； -將所述變換映射應(yīng)用于第一縮影，以生成具有第一動(dòng)態(tài)范圍的圖像。7. 如權(quán)利要求5或6所述的方法，其中，生成具有第一動(dòng)態(tài)范圍的圖像還包括:對(duì)具有第 二動(dòng)態(tài)范圍的圖像進(jìn)行上采樣，以便生成具有第一動(dòng)態(tài)范圍的上采樣圖像。8. 如權(quán)利要求5所述的方法，其中，所述方法包括以下的至少一個(gè)迭代： -從具有第一動(dòng)態(tài)范圍的圖像獲得估計(jì)的具有第二動(dòng)態(tài)范圍的圖像以用于第一迭代， 或者從校正后的具有第一動(dòng)態(tài)范圍的圖像獲得估計(jì)的具有第二動(dòng)態(tài)范圍的圖像以用于后 續(xù)迭代； -確定具有第二動(dòng)態(tài)范圍的圖像與估計(jì)的具有第二動(dòng)態(tài)范圍的圖像之間的估計(jì)誤差； 以及 -響應(yīng)于所述估計(jì)誤差而校正具有第一動(dòng)態(tài)范圍的圖像，以獲得校正后的具有第一動(dòng) 態(tài)范圍的圖像。9. 一種用于對(duì)至少一個(gè)具有第一動(dòng)態(tài)范圍的圖像進(jìn)行編碼的方法，包括： -確定(31)具有第一動(dòng)態(tài)范圍的圖像的縮影，該縮影被稱為第一縮影； -獲得(32)具有第二動(dòng)態(tài)范圍的圖像，所述第二動(dòng)態(tài)范圍低于所述第一動(dòng)態(tài)范圍； -對(duì)具有第二動(dòng)態(tài)范圍的圖像進(jìn)行編碼(331);以及 -對(duì)第一縮影進(jìn)行編碼(332)。10. -種用于從具有第二動(dòng)態(tài)范圍的圖像生成至少一個(gè)具有第一動(dòng)態(tài)范圍的圖像的設(shè) 備，所述第二動(dòng)態(tài)范圍低于所述第一動(dòng)態(tài)范圍，所述設(shè)備包括： -用于獲得被稱為第一縮影的具有第一動(dòng)態(tài)范圍的圖像的縮影的模塊(51); -用于從具有第二動(dòng)態(tài)范圍的圖像以及第一縮影生成具有第一動(dòng)態(tài)范圍的圖像的模塊 (52)〇11. 如權(quán)利要求10所述的設(shè)備，其中，生成具有第一動(dòng)態(tài)范圍的圖像包括： 從具有第二動(dòng)態(tài)范圍的圖像確定具有第二動(dòng)態(tài)范圍的圖像的縮影，該縮影被稱為第二 縮影； -確定第二縮影與具有第二動(dòng)態(tài)范圍的圖像之間的變換映射； -將所述變換映射應(yīng)用于第一縮影，以生成具有第一動(dòng)態(tài)范圍的圖像。12. 如權(quán)利要求10或11所述的設(shè)備，其中，生成具有第一動(dòng)態(tài)范圍的圖像還包括:對(duì)具 有第二動(dòng)態(tài)范圍的圖像進(jìn)行上采樣，以便生成具有第一動(dòng)態(tài)范圍的上采樣圖像。13. -種用于對(duì)至少一個(gè)具有第一動(dòng)態(tài)范圍的圖像進(jìn)行解碼的設(shè)備，包括： -用于對(duì)具有第二動(dòng)態(tài)范圍的圖像進(jìn)行解碼的模塊(71)，所述第二動(dòng)態(tài)范圍低于所述 第一動(dòng)態(tài)范圍； -用于對(duì)被稱為第一縮影的具有第一動(dòng)態(tài)范圍的圖像的縮影進(jìn)行解碼的模塊(72); -用于從具有第二動(dòng)態(tài)范圍的圖像以及第一縮影生成具有第一動(dòng)態(tài)范圍的圖像的模塊 (73)。14. 如權(quán)利要求13所述的設(shè)備，其中，生成具有第一動(dòng)態(tài)范圍的圖像包括： -從具有第二動(dòng)態(tài)范圍的圖像確定具有第二動(dòng)態(tài)范圍的圖像的縮影，該縮影被稱為第 二縮影； -確定第二縮影與具有第二動(dòng)態(tài)范圍的圖像之間的變換映射； -將所述變換映射應(yīng)用于第一縮影，以生成具有第一動(dòng)態(tài)范圍的圖像。15. 如權(quán)利要求13或14所述的設(shè)備，其中，生成具有第一動(dòng)態(tài)范圍的圖像還包括:對(duì)具 有第二動(dòng)態(tài)范圍的圖像進(jìn)行上采樣，以便生成具有第一動(dòng)態(tài)范圍的上采樣圖像。16. -種用于對(duì)至少一個(gè)具有第一動(dòng)態(tài)范圍的圖像進(jìn)行編碼的設(shè)備，包括： -用于確定被稱為第一縮影的具有第一動(dòng)態(tài)范圍的圖像的縮影的模塊(61); -用于獲得具有第二動(dòng)態(tài)范圍的圖像的模塊(62)，所述第二動(dòng)態(tài)范圍低于所述第一動(dòng) 態(tài)范圍； -用于對(duì)具有第二動(dòng)態(tài)范圍的圖像進(jìn)行編碼的模塊(63);以及 -用于對(duì)第一縮影進(jìn)行編碼的模塊(64)。17. -種非瞬時(shí)計(jì)算機(jī)可讀介質(zhì)，包括其上所記錄的并且能夠由處理器運(yùn)行的計(jì)算機(jī) 程序產(chǎn)品，其包含用于實(shí)現(xiàn)方法的程序代碼指令，所述方法包括： -獲得被稱為第一縮影的具有第一動(dòng)態(tài)范圍的圖像的縮影； -從具有第二動(dòng)態(tài)范圍的圖像以及第一縮影生成具有第一動(dòng)態(tài)范圍的圖像。18. 如權(quán)利要求17所述的設(shè)備，其中，生成具有第一動(dòng)態(tài)范圍的圖像包括： -從具有第二動(dòng)態(tài)范圍的圖像確定具有第二動(dòng)態(tài)范圍的圖像的縮影，該縮影被稱為第 二縮影； -確定第二縮影與具有第二動(dòng)態(tài)范圍的圖像之間的變換映射； -將所述變換映射應(yīng)用于第一縮影，以生成具有第一動(dòng)態(tài)范圍的圖像。19. 如權(quán)利要求17或18所述的設(shè)備，其中，生成具有第一動(dòng)態(tài)范圍的圖像還包括:對(duì)具 有第二動(dòng)態(tài)范圍的圖像進(jìn)行上采樣，以便生成具有第一動(dòng)態(tài)范圍的上采樣圖像。
【文檔編號(hào)】H04N19/98GK106060414SQ201610216709
【公開日】2016年10月26日
【申請(qǐng)日】2016年4月8日 公開號(hào)201610216709.4, CN 106060414 A, CN 106060414A, CN 201610216709, CN-A-106060414, CN106060414 A, CN106060414A, CN201610216709, CN201610216709.4
【發(fā)明人】P.吉洛特爾, M.阿蘭, D.索羅, M.圖爾坎
【申請(qǐng)人】湯姆遜許可公司