創(chuàng)建用于針對(duì)hdr圖像的通用代碼映射的eotf函數(shù)的方法和裝置以及使用這些圖像的方 ...的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及線性照度值與亮度代碼之間的映射，并且具體地但非排他地涉及一個(gè) 或優(yōu)選地多個(gè)（即視頻)高動(dòng)態(tài)范圍（HDR)圖像的編碼，其適于當(dāng)前現(xiàn)有技術(shù)架構(gòu)，比如像藍(lán) 光盤存儲(chǔ)或HDMI線纜連接。
【背景技術(shù)】
[0002] 常規(guī)地，所再生圖像的動(dòng)態(tài)范圍往往關(guān)于正常視覺而實(shí)質(zhì)上減小。實(shí)際上，在真實(shí) 世界中遭遇的照度水平橫跨像14個(gè)數(shù)量級(jí)那么大的動(dòng)態(tài)范圍，其從無月亮夜晚變化到星 空，從而直接到太陽。瞬時(shí)照度動(dòng)態(tài)范圍和對(duì)應(yīng)人類視覺系統(tǒng)響應(yīng)可以在晴朗白天或夜晚 落于10. 000:1和100. 000:1之間（明亮反射對(duì)比暗影區(qū)）。傳統(tǒng)上，顯示器的動(dòng)態(tài)范圍已經(jīng) 限于大約2-3個(gè)數(shù)量級(jí)，并且而且傳感器具有有限范圍，比如< 10. 000:1，這取決于噪音可 接受性。因而，傳統(tǒng)上已經(jīng)可能的是存儲(chǔ)和傳送8比特伽碼編碼格式中的圖像而不引入傳 統(tǒng)渲染設(shè)備上的感知明顯偽像。然而，在努力記錄更為精確且更為逼真的畫像時(shí)，已經(jīng)開發(fā) 出能夠記錄大于6個(gè)數(shù)量級(jí)的動(dòng)態(tài)范圍的新穎高動(dòng)態(tài)范圍（HDR)傳感器。此外，大多數(shù)特 殊效果、計(jì)算機(jī)圖形增強(qiáng)和其它后制作工作已經(jīng)例行地以較高比特深度和較高動(dòng)態(tài)范圍進(jìn) 行。
[0003] 此外，現(xiàn)有技術(shù)顯示系統(tǒng)的對(duì)比和峰值照度持續(xù)增加。最近，已經(jīng)呈現(xiàn)新型顯示 器，其具有像3000cd/m2那么高的峰值照度以及5-6個(gè)數(shù)量級(jí)的對(duì)比度(本機(jī)顯示器，觀看 環(huán)境將還影響最終渲染的對(duì)比度，其可以對(duì)于白天電視觀看而言甚至跌至50:1以下)。預(yù) 期的是，將來的顯示器將能夠提供甚至更高的動(dòng)態(tài)范圍以及尤其是更高的峰值照度和對(duì)比 度。
[0004] HDR圖像可以例如通過組合多個(gè)低動(dòng)態(tài)范圍（LDR)圖像而生成。例如，三個(gè)LDR圖 像可以以不同范圍捕獲并且三個(gè)LDR圖像可以組合以生成具有與各個(gè)LDR圖像的動(dòng)態(tài)范圍 的組合相等的動(dòng)態(tài)范圍的單個(gè)圖像。
[0005] 為了成功地引入HDR成像并且完全運(yùn)用HDR的約定，重要的是開發(fā)出可以處置增 加的動(dòng)態(tài)范圍的系統(tǒng)和方案。此外，如果引入允許LDR圖像處理的各種元件和功能與HDR 一起再使用的功能，則是合期望的。例如，將合期望的是，針對(duì)LDR所限定的接口、通信措施 或分布介質(zhì)中的一些可以再用于HDR圖像。
[0006] 與HDR成像相關(guān)聯(lián)的一個(gè)重要特征在于如何高效地編碼HDR圖像數(shù)據(jù)。
[0007] 最近，已經(jīng)提出若干HDR編碼技術(shù)，比如像如W02005/1040035中公開的Dolby的 雙層方法。
[0008] 為了例如高效地處理HDR圖像，在許多情況下重要的是，典型地由相對(duì)大量的比 特表示的HDR的較大動(dòng)態(tài)范圍被轉(zhuǎn)換成使用實(shí)質(zhì)上減小的數(shù)目的比特的表示。
[0009] 例如在一些情況下，可以有利的是在具有針對(duì)LDR所開發(fā)的輸入接口的顯示器上 觀看HDR圖像。因而可以合期望的是，生成可以由例如顯示器接口視為L(zhǎng)DR值的值。在其 它情況下，可能合期望的是，以較低比特率和向LDR的后向兼容性來編碼HDR值。
[0010] 為了以適當(dāng)格式表示LDR圖像，通常習(xí)慣采用代碼分配函數(shù)，其從HDR線性照度值 映射到適當(dāng)?shù)牧炕牧炼却a。HDR線性照度值通常表示為例如每個(gè)值相對(duì)大量比特(例如 16個(gè)比特)的浮動(dòng)點(diǎn)值。相比而言，量化的亮度代碼典型地通過相對(duì)少量的比特(例如8個(gè) 比特）表示亮度值，并且通常表示為整數(shù)值。
[0011] LDR和HDR之間的差異不僅是動(dòng)態(tài)范圍的大小。而是，相對(duì)強(qiáng)度分布在大多數(shù)情況 下對(duì)于LDR和HDR表示而言還實(shí)質(zhì)上不同。
[0012] 實(shí)際上，HDR圖像/視頻典型地具有與傳統(tǒng)（LDR)圖像/視頻不同的強(qiáng)度分布。特 別地，高動(dòng)態(tài)范圍圖像數(shù)據(jù)的峰均照度比要高得多。因此，當(dāng)前應(yīng)用的代碼分配曲線或電光 傳遞函數(shù)（E0TF)往往對(duì)于HDR數(shù)據(jù)是次佳的。因而如果使用從HDR照度值向編碼的亮度 值的常規(guī)LDR映射，則典型地發(fā)生顯著的圖像降級(jí)。例如，大多數(shù)圖像內(nèi)容可能僅由幾個(gè)代 碼值表示，因?yàn)榇罅看a被預(yù)留給增加的明亮度范圍，然而，該明亮度范圍典型地僅用于幾 個(gè)非常明亮的圖像對(duì)象。
[0013] 作為實(shí)際情況的示例，顏色分級(jí)(參見參考文獻(xiàn)[1])或顏色校正是商用電影或攝 影制作的一體部分。特別地，其是后制作階段的部分(參考文獻(xiàn)[2])。顏色分級(jí)藝術(shù)家或色 彩師在顏色分級(jí)套件中操作，顏色分級(jí)套件提供顏色分級(jí)/校正工具以及所分級(jí)/校正的 圖像或視頻上的顏色分級(jí)工具操作的效果的實(shí)時(shí)預(yù)覽。
[0014] 隨著用于拍攝和顯示HDR圖像和視頻的HDR相機(jī)和顯示器的引入，顏色分級(jí)套件 還必須適用于分級(jí)該高動(dòng)態(tài)范圍內(nèi)容。為了促進(jìn)HDR的引入，有益的是使得能夠在對(duì)現(xiàn)有 工具改變最小的情況下實(shí)現(xiàn)顏色分級(jí)/校正。
[0015] 意圖在例如100 cd/m2的峰值明亮度的參考監(jiān)控器上顯示的當(dāng)前標(biāo)準(zhǔn)的動(dòng)態(tài)范 圍視頻通常在當(dāng)前標(biāo)準(zhǔn)的亮度/照度域中編碼，使用所述亮度/照度域的對(duì)數(shù)曲線或E0TF (電光傳遞函數(shù)）指定所述亮度/照度域。這樣的示例是用于sRGB (參考文獻(xiàn)[4])或IRU Rec. 709 (參考文獻(xiàn)[5])對(duì)數(shù)數(shù)據(jù)的曲線。視頻數(shù)據(jù)在該對(duì)數(shù)域中從顏色分級(jí)工具(例如 PC上的軟件）通常硬件接口（典型地HD-SDI)發(fā)送到預(yù)覽顯示器。硬件接口的比特深度通 常限于例如8或10比特。
[0016] HDR圖像/視頻典型地具有與當(dāng)前標(biāo)準(zhǔn)的動(dòng)態(tài)范圍圖像不同的明亮度(例如當(dāng)限 定為顯示器渲染的照度時(shí))分布。例如，在當(dāng)前視頻內(nèi)容分布的峰值典型地圍繞峰值明亮度 的20%時(shí)(這意味著亮度代碼圍繞例如255個(gè)值的一半恰當(dāng)?shù)財(cái)U(kuò)散)，HDR內(nèi)容的峰值可能 常常典型地圍繞峰值明亮度的低得多的百分比，例如1% (HDR圖像的至少較暗區(qū)的數(shù)據(jù)圍 繞代碼最大值的l/l〇〇thR碼擴(kuò)散)。因而，大多數(shù)相關(guān)HDR內(nèi)容將包含在僅幾個(gè)8比特或 10比特視頻等級(jí)中，當(dāng)使用當(dāng)前標(biāo)準(zhǔn)的對(duì)數(shù)曲線對(duì)它編碼的話。這將引起預(yù)覽圖像中嚴(yán)重 且不可接受的量化偽像，由此防止色彩師對(duì)HDR圖像進(jìn)行顏色分級(jí)/校正。
[0017] 相應(yīng)地，如果常規(guī)代碼分配函數(shù)用于HDR圖像以便生成用于具有這樣的8比特或 10比特輸入格式的現(xiàn)有顯示器的適當(dāng)代碼，則所顯示圖像的實(shí)質(zhì)上減小的質(zhì)量將導(dǎo)致例如 存在于圖像中的大多數(shù)強(qiáng)度分布在僅幾個(gè)輸入等級(jí)之上。
[0018] 然而，將線性光照度如它們要在顯示器渲染時(shí)看起來那樣映射到實(shí)際技術(shù)代碼或 者反之亦然的代碼分配函數(shù)在很大程度上基于LDR模型（比如伽馬2. 2)，但是僅針對(duì)大約 100 nit或cd/m2的峰值明亮度的LDR顯示器而言是最佳的(在此之后將使用單比特nit和 cd/m2二者)。如果人們?nèi)绱舜致缘鼐幋aHDR視頻以用于通過連接線纜傳送到HDR顯示器(例 如5000 nit的峰值明亮度)，則人們有風(fēng)險(xiǎn)看到偽像，諸如在視頻的較暗部分中成帶(例如 在昏暗藍(lán)色天空中成帶，特別地針對(duì)漸變而言)。
[0019] 因而，為了例如使得能夠使用當(dāng)前顏色分級(jí)工具和接口對(duì)HDR圖像進(jìn)行顏色分 級(jí)，不同的代碼分配曲線應(yīng)當(dāng)用于編碼視頻數(shù)據(jù)，使得將充足數(shù)目的量化等級(jí)分配給最重 要的視頻數(shù)據(jù)。
[0020] 然而，尋找適當(dāng)?shù)拇a分配函數(shù)不僅是關(guān)鍵的而且還是困難的。實(shí)際上，確定分配 函數(shù)時(shí)的挑戰(zhàn)在于，如何在輸入照度值與亮度代碼之間最佳地映射。實(shí)際上，這是關(guān)鍵問 題，因?yàn)樗x映射對(duì)所得質(zhì)量具有強(qiáng)影響(例如由于量化誤差)。此外，對(duì)圖像質(zhì)量的影響可 以取決于所編碼/解碼的圖像的特性和性質(zhì)以及用于渲染圖像的儀器。
[0021] 當(dāng)然，最簡(jiǎn)單的方案將是簡(jiǎn)單地使用均勻量化。然而，這樣的方案往往在許多情況 下導(dǎo)致次佳性能。相應(yīng)地，已經(jīng)開發(fā)代碼分配函數(shù)，其中已經(jīng)應(yīng)用非均勻量化。這可以特別 地通過將非線性函數(shù)(亮度代碼映射/色調(diào)映射函數(shù)）應(yīng)用給輸入照度值并且接著線性量 化而執(zhí)行。然而，如所提及的，已經(jīng)發(fā)現(xiàn)的是所限定的函數(shù)在許多情況下提供次佳結(jié)果。例 如，將代碼分配函數(shù)應(yīng)用于HDR圖像以便例如允許這些由LDR電路以每個(gè)值的相對(duì)少量比 特(典型地8個(gè)比特)處理往往導(dǎo)致HDR圖像的次佳轉(zhuǎn)換并且特別地導(dǎo)致圖像值集中在幾個(gè) 量化等級(jí)/代碼周圍。
[0022] 盡管可以可能的是開發(fā)和限定特別地針對(duì)例如HDR圖像最佳的顯式函數(shù)，但是在 許多情況下這可能是不大實(shí)際的。實(shí)際上，這樣的方案要求針對(duì)每一個(gè)場(chǎng)景開發(fā)單獨(dú)且專 門的函數(shù)。此外，其典型地要求大量可能的函數(shù)可用于選擇以便補(bǔ)償圖像和/或儀器中的 差異。
[0023] 這還使得操作復(fù)雜并且引入附加資源要求。
[0024] 例如，使用專用函數(shù)不僅要求編碼器傳送使用哪些具體函數(shù)，而且編碼器和解碼 器需要存儲(chǔ)所有可能函數(shù)的本地表示。這將實(shí)質(zhì)上增加存儲(chǔ)器存儲(chǔ)要求。另一選項(xiàng)將是使 編碼器編碼完全限定所使用的代碼分配函數(shù)的數(shù)據(jù)，但是這樣的方案將實(shí)質(zhì)上增加數(shù)據(jù)速 率。
[0025] 此外，使用專用和顯式HDR代碼分配函數(shù)在許多情況下將要求標(biāo)準(zhǔn)化和指定適當(dāng) 函數(shù)方面的實(shí)質(zhì)工作。此外，后向兼容性將是問題，因?yàn)楝F(xiàn)有儀器將不會(huì)支持新的函數(shù)。例 如，現(xiàn)有電路將不能夠支持特別地設(shè)計(jì)成支持HDR圖像的新函數(shù)。
[0026] 相應(yīng)地，用于提供和/或生成代碼分配函數(shù)的改進(jìn)方案將是有利的。

【發(fā)明內(nèi)容】

[0027] 本發(fā)明的一方面，提供一種依照權(quán)利要求1的構(gòu)造代碼分配函數(shù)的方法。
[0028] 本發(fā)明可以允許在許多情況下促進(jìn)或改進(jìn)的例如圖像的通信、存儲(chǔ)、處理或操縱。
[0029] 方案可以特別地允許在許多情況下促進(jìn)或改進(jìn)的例如HDR圖像的通信、存儲(chǔ)、處 理或操縱，并且特別地可以允許HDR圖像使用設(shè)計(jì)用于LDR圖像的現(xiàn)有功能性。例如，代碼 分配函數(shù)可以允許在約束于減小數(shù)目比特的功能性或鏈路之上的改進(jìn)的HDR圖像表示。
[0030] 如所限定的部分函數(shù)的使用已經(jīng)發(fā)現(xiàn)在許多實(shí)施例中提供改進(jìn)的圖像表示和/ 或促進(jìn)操作。特別地，在許多實(shí)施例中，其可以允許現(xiàn)有色調(diào)映射函數(shù)再用于新的應(yīng)用和場(chǎng) 景。特別地，在許多實(shí)施例中，其可以允許例如針對(duì)LDR圖像處理和表示所限定或確定的現(xiàn) 有函數(shù)再用于將HDR線性照度映射到亮度表示，從而提供具有每像素較少比特的HDR圖像 的表示。而且，通過組合地使用幾個(gè)部分函數(shù)，大量多種代碼分配函數(shù)可以得到支持而同時(shí) 僅要求例如幾個(gè)部分函數(shù)的存儲(chǔ)或通信。
[0031] 亮度值或代碼可以是(無色彩）照度值的任何非線性函數(shù)。因而，亮度值典型地提 供對(duì)應(yīng)照度的單調(diào)非線性表示，但是將亮度值與照度相關(guān)的函數(shù)可以是任何適當(dāng)?shù)牟⑶姨?別地非線性的函數(shù)。
[0032] 對(duì)于線性照度值，存在照度值與期望的輻射光之間的直接線性關(guān)系，即線性照度 值與來自像素的對(duì)應(yīng)光輻射之間的直接線性關(guān)系。
[0033] 在一些實(shí)施例中，代碼分配函數(shù)可以是編碼器的部分。像素照度值可以輸入到代 碼分配函數(shù)，由此生成量化亮度值。這些值可以例如被傳送、