創(chuàng)建用于針對hdr圖像的通用代碼映射的eotf函數(shù)的方法和裝置以及使用這些圖像的方 ...的制作方法
【技術領域】
[0001] 本發(fā)明涉及線性照度值與亮度代碼之間的映射，并且具體地但非排他地涉及一個 或優(yōu)選地多個（即視頻)高動態(tài)范圍（HDR)圖像的編碼，其適于當前現(xiàn)有技術架構，比如像藍 光盤存儲或HDMI線纜連接。
【背景技術】
[0002] 常規(guī)地，所再生圖像的動態(tài)范圍往往關于正常視覺而實質上減小。實際上，在真實 世界中遭遇的照度水平橫跨像14個數(shù)量級那么大的動態(tài)范圍，其從無月亮夜晚變化到星 空，從而直接到太陽。瞬時照度動態(tài)范圍和對應人類視覺系統(tǒng)響應可以在晴朗白天或夜晚 落于10. 000:1和100. 000:1之間（明亮反射對比暗影區(qū)）。傳統(tǒng)上，顯示器的動態(tài)范圍已經(jīng) 限于大約2-3個數(shù)量級，并且而且傳感器具有有限范圍，比如< 10. 000:1，這取決于噪音可 接受性。因而，傳統(tǒng)上已經(jīng)可能的是存儲和傳送8比特伽碼編碼格式中的圖像而不引入傳 統(tǒng)渲染設備上的感知明顯偽像。然而，在努力記錄更為精確且更為逼真的畫像時，已經(jīng)開發(fā) 出能夠記錄大于6個數(shù)量級的動態(tài)范圍的新穎高動態(tài)范圍（HDR)傳感器。此外，大多數(shù)特 殊效果、計算機圖形增強和其它后制作工作已經(jīng)例行地以較高比特深度和較高動態(tài)范圍進 行。
[0003] 此外，現(xiàn)有技術顯示系統(tǒng)的對比和峰值照度持續(xù)增加。最近，已經(jīng)呈現(xiàn)新型顯示 器，其具有像3000cd/m2那么高的峰值照度以及5-6個數(shù)量級的對比度(本機顯示器，觀看 環(huán)境將還影響最終渲染的對比度，其可以對于白天電視觀看而言甚至跌至50:1以下)。預 期的是，將來的顯示器將能夠提供甚至更高的動態(tài)范圍以及尤其是更高的峰值照度和對比 度。
[0004] HDR圖像可以例如通過組合多個低動態(tài)范圍（LDR)圖像而生成。例如，三個LDR圖 像可以以不同范圍捕獲并且三個LDR圖像可以組合以生成具有與各個LDR圖像的動態(tài)范圍 的組合相等的動態(tài)范圍的單個圖像。
[0005] 為了成功地引入HDR成像并且完全運用HDR的約定，重要的是開發(fā)出可以處置增 加的動態(tài)范圍的系統(tǒng)和方案。此外，如果引入允許LDR圖像處理的各種元件和功能與HDR 一起再使用的功能，則是合期望的。例如，將合期望的是，針對LDR所限定的接口、通信措施 或分布介質中的一些可以再用于HDR圖像。
[0006] 與HDR成像相關聯(lián)的一個重要特征在于如何高效地編碼HDR圖像數(shù)據(jù)。
[0007] 最近，已經(jīng)提出若干HDR編碼技術，比如像如W02005/1040035中公開的Dolby的 雙層方法。
[0008] 為了例如高效地處理HDR圖像，在許多情況下重要的是，典型地由相對大量的比 特表示的HDR的較大動態(tài)范圍被轉換成使用實質上減小的數(shù)目的比特的表示。
[0009] 例如在一些情況下，可以有利的是在具有針對LDR所開發(fā)的輸入接口的顯示器上 觀看HDR圖像。因而可以合期望的是，生成可以由例如顯示器接口視為LDR值的值。在其 它情況下，可能合期望的是，以較低比特率和向LDR的后向兼容性來編碼HDR值。
[0010] 為了以適當格式表示LDR圖像，通常習慣采用代碼分配函數(shù)，其從HDR線性照度值 映射到適當?shù)牧炕牧炼却a。HDR線性照度值通常表示為例如每個值相對大量比特(例如 16個比特)的浮動點值。相比而言，量化的亮度代碼典型地通過相對少量的比特(例如8個 比特）表示亮度值，并且通常表示為整數(shù)值。
[0011] LDR和HDR之間的差異不僅是動態(tài)范圍的大小。而是，相對強度分布在大多數(shù)情況 下對于LDR和HDR表示而言還實質上不同。
[0012] 實際上，HDR圖像/視頻典型地具有與傳統(tǒng)（LDR)圖像/視頻不同的強度分布。特 別地，高動態(tài)范圍圖像數(shù)據(jù)的峰均照度比要高得多。因此，當前應用的代碼分配曲線或電光 傳遞函數(shù)（E0TF)往往對于HDR數(shù)據(jù)是次佳的。因而如果使用從HDR照度值向編碼的亮度 值的常規(guī)LDR映射，則典型地發(fā)生顯著的圖像降級。例如，大多數(shù)圖像內(nèi)容可能僅由幾個代 碼值表示，因為大量代碼被預留給增加的明亮度范圍，然而，該明亮度范圍典型地僅用于幾 個非常明亮的圖像對象。
[0013] 作為實際情況的示例，顏色分級(參見參考文獻[1])或顏色校正是商用電影或攝 影制作的一體部分。特別地，其是后制作階段的部分(參考文獻[2])。顏色分級藝術家或色 彩師在顏色分級套件中操作，顏色分級套件提供顏色分級/校正工具以及所分級/校正的 圖像或視頻上的顏色分級工具操作的效果的實時預覽。
[0014] 隨著用于拍攝和顯示HDR圖像和視頻的HDR相機和顯示器的引入，顏色分級套件 還必須適用于分級該高動態(tài)范圍內(nèi)容。為了促進HDR的引入，有益的是使得能夠在對現(xiàn)有 工具改變最小的情況下實現(xiàn)顏色分級/校正。
[0015] 意圖在例如100 cd/m2的峰值明亮度的參考監(jiān)控器上顯示的當前標準的動態(tài)范 圍視頻通常在當前標準的亮度/照度域中編碼，使用所述亮度/照度域的對數(shù)曲線或E0TF (電光傳遞函數(shù)）指定所述亮度/照度域。這樣的示例是用于sRGB (參考文獻[4])或IRU Rec. 709 (參考文獻[5])對數(shù)數(shù)據(jù)的曲線。視頻數(shù)據(jù)在該對數(shù)域中從顏色分級工具(例如 PC上的軟件）通常硬件接口（典型地HD-SDI)發(fā)送到預覽顯示器。硬件接口的比特深度通 常限于例如8或10比特。
[0016] HDR圖像/視頻典型地具有與當前標準的動態(tài)范圍圖像不同的明亮度(例如當限 定為顯示器渲染的照度時)分布。例如，在當前視頻內(nèi)容分布的峰值典型地圍繞峰值明亮度 的20%時(這意味著亮度代碼圍繞例如255個值的一半恰當?shù)財U散)，HDR內(nèi)容的峰值可能 常常典型地圍繞峰值明亮度的低得多的百分比，例如1% (HDR圖像的至少較暗區(qū)的數(shù)據(jù)圍 繞代碼最大值的l/l〇〇thR碼擴散)。因而，大多數(shù)相關HDR內(nèi)容將包含在僅幾個8比特或 10比特視頻等級中，當使用當前標準的對數(shù)曲線對它編碼的話。這將引起預覽圖像中嚴重 且不可接受的量化偽像，由此防止色彩師對HDR圖像進行顏色分級/校正。
[0017] 相應地，如果常規(guī)代碼分配函數(shù)用于HDR圖像以便生成用于具有這樣的8比特或 10比特輸入格式的現(xiàn)有顯示器的適當代碼，則所顯示圖像的實質上減小的質量將導致例如 存在于圖像中的大多數(shù)強度分布在僅幾個輸入等級之上。
[0018] 然而，將線性光照度如它們要在顯示器渲染時看起來那樣映射到實際技術代碼或 者反之亦然的代碼分配函數(shù)在很大程度上基于LDR模型（比如伽馬2. 2)，但是僅針對大約 100 nit或cd/m2的峰值明亮度的LDR顯示器而言是最佳的(在此之后將使用單比特nit和 cd/m2二者)。如果人們?nèi)绱舜致缘鼐幋aHDR視頻以用于通過連接線纜傳送到HDR顯示器(例 如5000 nit的峰值明亮度)，則人們有風險看到偽像，諸如在視頻的較暗部分中成帶(例如 在昏暗藍色天空中成帶，特別地針對漸變而言)。
[0019] 因而，為了例如使得能夠使用當前顏色分級工具和接口對HDR圖像進行顏色分 級，不同的代碼分配曲線應當用于編碼視頻數(shù)據(jù)，使得將充足數(shù)目的量化等級分配給最重 要的視頻數(shù)據(jù)。
[0020] 然而，尋找適當?shù)拇a分配函數(shù)不僅是關鍵的而且還是困難的。實際上，確定分配 函數(shù)時的挑戰(zhàn)在于，如何在輸入照度值與亮度代碼之間最佳地映射。實際上，這是關鍵問 題，因為所選映射對所得質量具有強影響(例如由于量化誤差)。此外，對圖像質量的影響可 以取決于所編碼/解碼的圖像的特性和性質以及用于渲染圖像的儀器。
[0021] 當然，最簡單的方案將是簡單地使用均勻量化。然而，這樣的方案往往在許多情況 下導致次佳性能。相應地，已經(jīng)開發(fā)代碼分配函數(shù)，其中已經(jīng)應用非均勻量化。這可以特別 地通過將非線性函數(shù)(亮度代碼映射/色調(diào)映射函數(shù)）應用給輸入照度值并且接著線性量 化而執(zhí)行。然而，如所提及的，已經(jīng)發(fā)現(xiàn)的是所限定的函數(shù)在許多情況下提供次佳結果。例 如，將代碼分配函數(shù)應用于HDR圖像以便例如允許這些由LDR電路以每個值的相對少量比 特(典型地8個比特)處理往往導致HDR圖像的次佳轉換并且特別地導致圖像值集中在幾個 量化等級/代碼周圍。
[0022] 盡管可以可能的是開發(fā)和限定特別地針對例如HDR圖像最佳的顯式函數(shù)，但是在 許多情況下這可能是不大實際的。實際上，這樣的方案要求針對每一個場景開發(fā)單獨且專 門的函數(shù)。此外，其典型地要求大量可能的函數(shù)可用于選擇以便補償圖像和/或儀器中的 差異。
[0023] 這還使得操作復雜并且引入附加資源要求。
[0024] 例如，使用專用函數(shù)不僅要求編碼器傳送使用哪些具體函數(shù)，而且編碼器和解碼 器需要存儲所有可能函數(shù)的本地表示。這將實質上增加存儲器存儲要求。另一選項將是使 編碼器編碼完全限定所使用的代碼分配函數(shù)的數(shù)據(jù)，但是這樣的方案將實質上增加數(shù)據(jù)速 率。
[0025] 此外，使用專用和顯式HDR代碼分配函數(shù)在許多情況下將要求標準化和指定適當 函數(shù)方面的實質工作。此外，后向兼容性將是問題，因為現(xiàn)有儀器將不會支持新的函數(shù)。例 如，現(xiàn)有電路將不能夠支持特別地設計成支持HDR圖像的新函數(shù)。
[0026] 相應地，用于提供和/或生成代碼分配函數(shù)的改進方案將是有利的。

【發(fā)明內(nèi)容】

[0027] 本發(fā)明的一方面，提供一種依照權利要求1的構造代碼分配函數(shù)的方法。
[0028] 本發(fā)明可以允許在許多情況下促進或改進的例如圖像的通信、存儲、處理或操縱。
[0029] 方案可以特別地允許在許多情況下促進或改進的例如HDR圖像的通信、存儲、處 理或操縱，并且特別地可以允許HDR圖像使用設計用于LDR圖像的現(xiàn)有功能性。例如，代碼 分配函數(shù)可以允許在約束于減小數(shù)目比特的功能性或鏈路之上的改進的HDR圖像表示。
[0030] 如所限定的部分函數(shù)的使用已經(jīng)發(fā)現(xiàn)在許多實施例中提供改進的圖像表示和/ 或促進操作。特別地，在許多實施例中，其可以允許現(xiàn)有色調(diào)映射函數(shù)再用于新的應用和場 景。特別地，在許多實施例中，其可以允許例如針對LDR圖像處理和表示所限定或確定的現(xiàn) 有函數(shù)再用于將HDR線性照度映射到亮度表示，從而提供具有每像素較少比特的HDR圖像 的表示。而且，通過組合地使用幾個部分函數(shù)，大量多種代碼分配函數(shù)可以得到支持而同時 僅要求例如幾個部分函數(shù)的存儲或通信。
[0031] 亮度值或代碼可以是(無色彩）照度值的任何非線性函數(shù)。因而，亮度值典型地提 供對應照度的單調(diào)非線性表示，但是將亮度值與照度相關的函數(shù)可以是任何適當?shù)牟⑶姨?別地非線性的函數(shù)。
[0032] 對于線性照度值，存在照度值與期望的輻射光之間的直接線性關系，即線性照度 值與來自像素的對應光輻射之間的直接線性關系。
[0033] 在一些實施例中，代碼分配函數(shù)可以是編碼器的部分。像素照度值可以輸入到代 碼分配函數(shù)，由此生成量化亮度值。這些值可以例如被傳送、