專利名稱：高動(dòng)態(tài)范圍圖像生成和渲染的制作方法
技術(shù)領(lǐng)域：
本技術(shù)涉及生成和渲染數(shù)字圖像，更具體地，涉及生成和渲染高動(dòng)態(tài)范圍數(shù)字圖像。
背景技術(shù)：
在視頻和成像系統(tǒng)中，在具有三個(gè)或更多個(gè)通道的多維“顏色空間”中，一般將顏色表示為向量坐標(biāo)。常見(jiàn)示例包括公知類別的RGB和YUV顏色空間。RGB顏色空間使用分別表示紅、綠和藍(lán)光的強(qiáng)度的坐標(biāo)來(lái)指定像素值。YUV顏色空間使用表示亮度或色度值的坐標(biāo)來(lái)指定像素值。 當(dāng)前，許多圖像捕獲、處理和顯示設(shè)備僅可以處理具有每通道256 (28)個(gè)離散值的小動(dòng)態(tài)范圍的像素值，這256個(gè)離散值由8個(gè)比特表示?？梢詫⑦@些圖像描述為具有8比特的“比特深度”。在紅、綠和藍(lán)色通道中具有每通道8比特(8 bpc)的典型RGB數(shù)字圖像中，對(duì)于紅、綠和藍(lán)值中的每一個(gè)，僅256個(gè)不同值是可能的。其他值(例如，a或不透明值、亮度等)也可能受到低動(dòng)態(tài)范圍限制的約束。一些設(shè)備可以處理每通道最多10或12比特動(dòng)態(tài)范圍。然而，人類視覺(jué)系統(tǒng)可以檢測(cè)14個(gè)數(shù)量級(jí)的較寬亮度范圍，其轉(zhuǎn)換至46比特左右。自然中的亮度值在明亮日光中可以如IO8坎德拉/m2那樣高，而在無(wú)月亮的夜晚在巖石的下側(cè)可以如10_6坎德拉/m2那樣低。高動(dòng)態(tài)范圍(HDR)成像呈現(xiàn)與人類視覺(jué)系統(tǒng)一致的更多功能且自然的圖像表示。HDR圖像可以呈現(xiàn)比傳統(tǒng)8比特、10比特和12比特表示更高的動(dòng)態(tài)范圍，以實(shí)現(xiàn)高得多的圖像質(zhì)量。如果HDR圖像格式與處理傳統(tǒng)圖像的相同類型的設(shè)備和軟件工具兼容，則可以在該設(shè)備和軟件中使用HDR圖像。已經(jīng)開(kāi)發(fā)了多種HDR圖像格式，并且，攝像機(jī)、計(jì)算機(jī)圖形和顯示設(shè)備已經(jīng)開(kāi)始產(chǎn)生、處理和顯示具有增大的動(dòng)態(tài)范圍的圖像。還可以從一系列更低動(dòng)態(tài)范圍圖像構(gòu)造HDR圖像。參見(jiàn)Debevec等人所著，“Recovering High Dynamic RangeRadiance Maps from Photographs, ” SIGGRAPH ^ 97 (1997 年 8 月)。各種現(xiàn)有技術(shù)解決了與顯示或處理高分辨率和/或高動(dòng)態(tài)范圍圖像相關(guān)聯(lián)的問(wèn)題。美國(guó)專利號(hào)7，120，293描述了一種“交互式圖像”，其中，將交互式圖像中的每個(gè)像素位置指派給具有不同特性的多個(gè)代表性圖像之一。采用圖像處理技術(shù)來(lái)確定多個(gè)代表性圖像中的哪一個(gè)表示與所選的像素位置有關(guān)的最佳曝光水平或調(diào)焦設(shè)置。美國(guó)專利號(hào)7，492，375描述了允許選擇和顯示HDR圖像中所關(guān)注的一個(gè)或多具體區(qū)域的HDR觀察器。在所關(guān)注的區(qū)域中，HDR觀察器顯示HDR圖像的對(duì)應(yīng)部分。對(duì)應(yīng)部分可以以某種方式從原始HDR圖像變化。例如，HRD圖像中與所關(guān)注的區(qū)域相對(duì)應(yīng)的部分可以色調(diào)映射至不同動(dòng)態(tài)范圍。被稱為HDR視圖的公開(kāi)可用的應(yīng)用允許用戶在更低動(dòng)態(tài)范圍顯示器上打開(kāi)HDR圖像并在HDR圖像的所選像素位置上shift單擊(shift-click)，以根據(jù)所選像素位置處的曝光水平來(lái)改變圖像的曝光。HDR視圖的描述可見(jiàn)于http://athens. ict. use. edu/FiatLux/hdrview/。工程師還使用壓縮(也被稱為譯碼(coding)或編碼(encoding))來(lái)減少表示數(shù)字媒體(例如，HDR或SDR數(shù)字圖像)所需的比特量。壓縮通過(guò)將數(shù)字圖像轉(zhuǎn)換為更低比特率形式來(lái)降低存儲(chǔ)和傳輸該數(shù)字圖像的成本。解壓縮(也被稱為解碼)從壓縮形式中重構(gòu)原始圖像的版本?！熬幗獯a器”是編碼器/解碼器系統(tǒng)。編碼或其他處理后數(shù)字圖像中可感知的瑕疵有時(shí)被稱為偽影，這是由于這些瑕疵由編碼或其他處理引起并示出進(jìn)行過(guò)編碼或其他處理。這些偽影包括塊狀偽影、帶狀偽影和環(huán)狀偽影。由壓縮引入且出現(xiàn)在重構(gòu)圖像中的塊圖案通常被稱為塊狀偽影。塊狀偽影在平滑變化的梯度區(qū)域(例如，晴空的圖像)中尤其明顯。例如，塊狀偽影產(chǎn)生于將圖像分割為塊進(jìn)行編碼，其中，該編碼包括塊的AC系數(shù)的頻率變換過(guò)程和量化。例如，當(dāng)將圖像中的樣本值從高比特分辨率(例如，每樣本值10個(gè)比特或12個(gè)比特)轉(zhuǎn)換至較低比特分辨率(例如， 每樣本值8個(gè)比特)時(shí)，出現(xiàn)帶狀或輪廓偽影。當(dāng)將樣本值修剪至較低比特分辨率時(shí)，值的條帶之間的步長(zhǎng)可以變得可感知，尤其是在具有平滑改變的樣本值(例如，從較亮至較暗的逐步過(guò)渡)的區(qū)域中。環(huán)狀偽影可以作為離開(kāi)偽影邊緣去往畫(huà)面背景的噪聲的波浪圖案或其他條帶而出現(xiàn)。環(huán)狀偽影可以產(chǎn)生于包括對(duì)象或?qū)ο蟮囊徊糠值膲K的頻率變換過(guò)程和量化。在編輯期間過(guò)度銳化也會(huì)在邊緣處引入環(huán)狀偽影。一些用于控制偽影的后處理方案在解碼之后處理圖像，以緩和或以其他方式隱藏偽影。一些系統(tǒng)在塊邊界上自適應(yīng)地濾波，以降低塊狀偽影的可見(jiàn)性。其他系統(tǒng)在后處理期間使用抖動(dòng)，來(lái)調(diào)整重構(gòu)畫(huà)面的樣本值。例如，抖動(dòng)可以在鋸齒邊緣周圍對(duì)值引入較小調(diào)整，使得觀察人對(duì)這些值“求平均”并感知更平滑的邊緣。不論先前技術(shù)的優(yōu)點(diǎn)如何，這些先前技術(shù)都不具有以下提出的技術(shù)和工具的優(yōu)勢(shì)。

發(fā)明內(nèi)容
描述了用于高動(dòng)態(tài)范圍(HDR)圖像渲染和生成的技術(shù)和工具。在多個(gè)所描述的實(shí)施例中，HDR圖像生成系統(tǒng)對(duì)較低動(dòng)態(tài)范圍(LDR)圖像的集合執(zhí)行運(yùn)動(dòng)分析，并基于在運(yùn)動(dòng)分析中獲得的信息來(lái)導(dǎo)出圖像的相對(duì)曝光水平。當(dāng)整合LDR圖像以形成HDR圖像時(shí)，使用這些相對(duì)曝光水平。在多個(gè)所描述的實(shí)施例中，HDR圖像渲染器將HDR圖像中的樣本值色調(diào)映射至相應(yīng)較低動(dòng)態(tài)范圍值，并計(jì)算局部對(duì)比度值?；诰植繉?duì)比度來(lái)導(dǎo)出殘差信號(hào)，并基于色調(diào)映射的樣本值和殘差信號(hào)來(lái)計(jì)算LDR圖像的樣本值?？梢栽贖DR圖像生成或渲染的各個(gè)階段期間使用用戶偏好信息。在一個(gè)方面，相對(duì)于描繪場(chǎng)景的數(shù)字圖像的集合中的參考圖像，執(zhí)行運(yùn)動(dòng)分析。可以選擇參考圖像(例如，基于用戶偏好信息或圖像中的檢測(cè)到的曝光范圍)。運(yùn)動(dòng)分析包括確定集合中的一個(gè)或多個(gè)非參考圖像中的每一個(gè)相對(duì)于參考圖像的圖像差異。至少部分地基于運(yùn)動(dòng)分析，針對(duì)每個(gè)非參考圖像導(dǎo)出相對(duì)于參考圖像的一個(gè)或多個(gè)相對(duì)曝光水平。例如，基于被轉(zhuǎn)換為線性域的樣本值和相應(yīng)非參考圖像的平均樣本比率來(lái)導(dǎo)出相對(duì)曝光水平。至少部分地基于相對(duì)曝光水平，將多個(gè)數(shù)字圖像的集合進(jìn)行整合，以形成描繪該場(chǎng)景的HDR圖像?？梢曰谙鄬?duì)曝光水平將樣本值擴(kuò)縮至歸一化水平?？梢詧?zhí)行預(yù)處理(例如，在運(yùn)動(dòng)分析之前)，以移除被整合形成HDR圖像的各圖像中的圖像偽影。運(yùn)動(dòng)分析可以包括使用歸ー化互相關(guān)，來(lái)確定相對(duì)于參考圖像的圖像差異。運(yùn)動(dòng)分析可以包括選擇非參考圖像中的樣本值的子集，以確定相對(duì)于參考圖像的圖像差異，所述子集是基于樣本值是否落在曝光值的范圍內(nèi)來(lái)選擇的。運(yùn)動(dòng)分析可以包括之后緊跟有局部運(yùn)動(dòng)改善的全局運(yùn)動(dòng)分析。運(yùn)動(dòng)分析可以包括確定ー個(gè)或多個(gè)非參考圖像中的每ー個(gè)中的一個(gè)或多個(gè)像素的運(yùn)動(dòng)向量。整合可以包括針對(duì)HDR圖像中的每個(gè)樣本位置，計(jì)算與參考圖像中的該樣本位置相對(duì)應(yīng)的樣本值和與每個(gè)非參考圖像中的該樣本位置相對(duì)應(yīng)的擴(kuò)縮樣本值的加權(quán)平均。例如，基于置信水平、相對(duì)曝光值和正指數(shù)(例如，O. 5)來(lái)計(jì)算加權(quán)平均中的每個(gè)樣本值的加權(quán)因子#。置信水平可以基于樣本值而變化。例如，置信水平對(duì)于更極端(例如，非常亮或非常暗)的樣本值來(lái)說(shuō)更小。在另一方面，將HDR圖像渲染為L(zhǎng)DR圖像。將HDR圖像中的樣本值色調(diào)映射至相應(yīng)較低動(dòng)態(tài)范圍值。針對(duì)色調(diào)映射的樣本值中的每ー個(gè)，計(jì)算局部對(duì)比度值。至少部分地 基于相應(yīng)局部對(duì)比度值，針對(duì)色調(diào)映射的樣本值中的每ー個(gè)，導(dǎo)出殘差信號(hào)。例如，將每個(gè)色調(diào)映射樣本值乘以相應(yīng)局部對(duì)比度值?？梢詫U(kuò)縮和濾波應(yīng)用于殘差信號(hào)。擴(kuò)縮可以包括應(yīng)用作為與相應(yīng)殘差信號(hào)相對(duì)應(yīng)的色調(diào)映射樣本值的函數(shù)的擴(kuò)縮因子。至少部分地基于色調(diào)映射的樣本值和相應(yīng)的殘差信號(hào)，針對(duì)LDR圖像計(jì)算樣本值。例如，可以通過(guò)將色調(diào)映射的樣本值、殘差信號(hào)和高頻抖動(dòng)信號(hào)進(jìn)行組合并將其映射至O至255 (包括邊界)范圍內(nèi)的整數(shù)值，計(jì)算LDR圖像的樣本值。然后，可以以某種其他方式顯示或處理LDR圖像。在色調(diào)映射之前可以對(duì)HDR圖像執(zhí)行預(yù)處理(例如，畫(huà)面大小調(diào)整、顯式曝光調(diào)整、顯式動(dòng)態(tài)范圍調(diào)整、色溫調(diào)整、顔色增強(qiáng))。色調(diào)映射可以包括生成全局色調(diào)映射查找表并針對(duì)HDR圖像中的樣本值標(biāo)識(shí)LDR值，例如通過(guò)在查找表中執(zhí)行查找?？梢曰谧赃m應(yīng)伽馬函數(shù)來(lái)生成全局色調(diào)映射查找表。可以將色調(diào)映射應(yīng)用于HDR圖像的較低分辨率預(yù)覽版本或者HDR圖像的全分辨率版本。例如，在保存最終圖像時(shí)，可以將對(duì)圖像的預(yù)覽版本應(yīng)用的色調(diào)映射應(yīng)用于該圖像的全分辨率版本?？梢詫⑿薷暮蟮纳{(diào)映射參數(shù)應(yīng)用于HDR圖像的拷貝，并可以順序地顯示色調(diào)映射版本，例如，以產(chǎn)生動(dòng)畫(huà)效果。在另一方面，提供了用于針對(duì)HDR圖像渲染參數(shù)設(shè)置用戶偏好的一個(gè)或多個(gè)用戶偏好控制器。例如，可以經(jīng)由作為圖像編輯應(yīng)用的一部分的用戶界面來(lái)提供用戶可調(diào)整控制器。從用戶偏好控制器接收用戶偏好信息。用戶偏好信息與包含HDR圖像的HDR圖像文件的HDR圖像渲染參數(shù)相對(duì)應(yīng)。至少部分地基于用戶偏好信息來(lái)渲染HDR數(shù)字圖像。渲染包括計(jì)算多個(gè)色調(diào)映射樣本值中的每ー個(gè)的局部對(duì)比度值；以及至少部分地基于相應(yīng)色調(diào)映射樣本值的局部對(duì)比度值，計(jì)算LDR圖像的樣本值。可以將與單個(gè)用戶或多個(gè)用戶相關(guān)聯(lián)的用戶偏好信息作為元數(shù)據(jù)存儲(chǔ)在圖像文件中。例如，可以將用戶身份信息與用戶偏好信息一起存儲(chǔ)，并可以將用戶標(biāo)識(shí)信息與相應(yīng)用戶相聯(lián)系。將用戶偏好信息存儲(chǔ)為元數(shù)據(jù)可以便于在文件中保留原始HDR圖像信息。用戶偏好控制器可以包括例如信號(hào)擴(kuò)縮控制器、信號(hào)濾波控制器、伽馬控制器、顔色增強(qiáng)控制器、大小調(diào)整控制器、色溫控制器和白點(diǎn)控制器。本發(fā)明的以上和其他目的、特征和優(yōu)勢(shì)將從參照附圖而作出的以下具體描述中變得更加明了。


圖IA示意了可實(shí)現(xiàn)多個(gè)所描述的實(shí)施例的合適計(jì)算環(huán)境100的概括示例。圖IB示意了可實(shí)現(xiàn)所描述的實(shí)施例的合適實(shí)現(xiàn)環(huán)境的概括示例。圖2是示出了根據(jù)ー個(gè)或多個(gè)所描述的實(shí)施例的、包括HDR圖像生成和HDR圖像渲染的示例性數(shù)字HDR成像工作流程的圖。圖3是示意了根據(jù)ー個(gè)或多個(gè)所描述的實(shí)施例的概括HDR圖像處理系統(tǒng)的圖。圖4是示出了根據(jù)ー個(gè)或多個(gè)所描述的實(shí)施例的用于從SDR圖像的集合生成HDR圖像的示例技術(shù)的流程圖。圖5是示出了根據(jù)ー個(gè)或多個(gè)所描述的實(shí)施例的HDR圖像生成系統(tǒng)的示例實(shí)現(xiàn)的 圖。圖6是示出了根據(jù)ー個(gè)或多個(gè)所描述的實(shí)施例的用于渲染HDR圖像的示例技術(shù)的流程圖。圖7是示出了根據(jù)ー個(gè)或多個(gè)所描述的實(shí)施例的HDR圖像渲染系統(tǒng)的示例實(shí)現(xiàn)的圖。圖8是示出了根據(jù)ー個(gè)或多個(gè)所描述的實(shí)施例的包括用于濾波操作的當(dāng)前樣本位置的軸的圖。圖9是示出了根據(jù)ー個(gè)或多個(gè)所描述的實(shí)施例的用于根據(jù)用戶偏好信息處理HDR圖像的示例技術(shù)的流程圖。圖10是示出了根據(jù)ー個(gè)或多個(gè)所描述的實(shí)施例的根據(jù)用戶偏好信息生成或渲染HDR圖像的HDR圖像處理系統(tǒng)的示例實(shí)現(xiàn)的圖。
具體實(shí)施例方式所描述的技術(shù)和工具涉及生成和渲染高動(dòng)態(tài)范圍(HDR)數(shù)字圖像和相關(guān)用戶界面特征的不同方面。這里描述的實(shí)施方式的各種替換方式是可能的。例如，可以通過(guò)改變流程圖中所示的階段的排序，通過(guò)重復(fù)或省略特定階段等等，來(lái)變更參照流程圖描述的技術(shù)。作為另ー示例，盡管參照具體數(shù)字媒體格式描述了ー些實(shí)施方式，但是還可以使用其他格式?？梢越M合地或獨(dú)立地使用各種技術(shù)和工具。不同實(shí)施例實(shí)現(xiàn)所描述的技術(shù)和工具中的ー個(gè)或多個(gè)。可以在具有用于處理數(shù)字靜止圖像的軟件的計(jì)算機(jī)系統(tǒng)中或者在未具體限于處理數(shù)字靜止圖像的某種其他系統(tǒng)中使用這里描述的ー些技術(shù)和工具。例如，這里描述的技術(shù)和工具可以用于處理數(shù)字視頻。I.示例計(jì)算環(huán)境
圖IA示意了可實(shí)現(xiàn)多個(gè)所描述的實(shí)施例的合適計(jì)算環(huán)境100的概括示例。計(jì)算環(huán)境(100)并不意在暗示對(duì)用途或功能的范圍的任何限制，這是由于可以在多祥的通用或?qū)Ｓ糜?jì)算環(huán)境中實(shí)現(xiàn)這里描述的技術(shù)和工具。參照?qǐng)D1A，計(jì)算環(huán)境100包括至少ー個(gè)CPU 110和關(guān)聯(lián)的存儲(chǔ)器120以及用于視頻加速的至少ー個(gè)GPU或其他協(xié)處理單元115和關(guān)聯(lián)的存儲(chǔ)器125。在圖IA中，該最基本配置130被包括在虛線內(nèi)。處理單元110執(zhí)行計(jì)算機(jī)可執(zhí)行指令并可以是實(shí)際或虛擬處理器。在多處理系統(tǒng)中，多個(gè)處理單元執(zhí)行計(jì)算機(jī)可執(zhí)行指令以提高處理能力。存儲(chǔ)器120、125可以是易失性存儲(chǔ)器(例如，寄存器、高速緩存、RAM)、非易失性存儲(chǔ)器(例如，ROM、EEPR0M、閃存等)或者這兩者的某種組合。存儲(chǔ)器120、125存儲(chǔ)用于實(shí)現(xiàn)具有ー個(gè)或多個(gè)所描述的技術(shù)和工具的系統(tǒng)的軟件180。計(jì)算環(huán)境可以具有附加特征。例如，計(jì)算環(huán)境100包括存儲(chǔ)裝置140、ー個(gè)或多個(gè)輸入設(shè)備150、ー個(gè)或多個(gè)輸出設(shè)備160以及ー個(gè)或多個(gè)通信連接170?；ミB機(jī)構(gòu)(未不出)(例如，總線、控制器或網(wǎng)絡(luò))將計(jì)算環(huán)境100的各組件進(jìn)行互連。典型地，操作系統(tǒng)軟件(未示出)提供了在計(jì)算環(huán)境100中運(yùn)行的其他軟件的操作環(huán)境，并協(xié)調(diào)計(jì)算環(huán)境100的各組件的活動(dòng)。存儲(chǔ)裝置140可以是可移除的或不可移除的，并包括磁盤、磁帶或盒式磁帯、CD-ROM、DVD、存儲(chǔ)卡、或者可以用于存儲(chǔ)信息且可以在計(jì)算環(huán)境100內(nèi)訪問(wèn)的任何其他介質(zhì)。存儲(chǔ)裝置140存儲(chǔ)實(shí)現(xiàn)所描述的技術(shù)和工具的軟件180的指令。 輸入設(shè)備150可以是觸摸輸入設(shè)備，例如，鍵盤、鼠標(biāo)、筆、軌跡球或觸摸屏、語(yǔ)音輸入設(shè)備、掃描設(shè)備、數(shù)碼攝像機(jī)、或者提供計(jì)算環(huán)境100的輸入的其他設(shè)備。對(duì)于視頻，輸入設(shè)備150可以是視頻卡、TV調(diào)諧器卡、或者接受模擬或數(shù)字形式的視頻輸入的類似設(shè)備、或者將視頻樣本讀取至計(jì)算環(huán)境100中的⑶-ROM或⑶-RW。輸出設(shè)備160可以是顯示器、打印機(jī)、揚(yáng)聲器、CD刻錄機(jī)、或者提供計(jì)算環(huán)境100的輸出的其他設(shè)備。通信連接170通過(guò)通信介質(zhì)來(lái)實(shí)現(xiàn)到其他計(jì)算實(shí)體的通信。通信介質(zhì)傳送諸如計(jì)算機(jī)可執(zhí)行指令、音頻或視頻輸入或輸出或者調(diào)制數(shù)據(jù)信號(hào)中的其他數(shù)據(jù)之類的信息。調(diào)制數(shù)據(jù)信號(hào)是其特性中的一個(gè)或多個(gè)被設(shè)置或改變以在該信號(hào)中編碼信息的信號(hào)。作為示例而非限制，通信介質(zhì)包括利用電氣、光學(xué)、RF、紅外、聲學(xué)或其他載體而實(shí)現(xiàn)的有線或無(wú)線技術(shù)?？梢栽谟?jì)算機(jī)可讀介質(zhì)的一般上下文中描述這些技術(shù)和工具。計(jì)算機(jī)可讀介質(zhì)是可在計(jì)算環(huán)境內(nèi)訪問(wèn)的任何可用介質(zhì)。作為示例而非限制，在計(jì)算環(huán)境100下，計(jì)算機(jī)可讀介質(zhì)包括存儲(chǔ)器120、125、存儲(chǔ)裝置140和以上任一項(xiàng)的組合?？梢栽谟?jì)算機(jī)可執(zhí)行指令(例如，包括在程序模塊中、在計(jì)算環(huán)境中在目標(biāo)實(shí)際或虛擬處理器上執(zhí)行的那些指令)的一般上下文中描述這些技術(shù)和工具。一般地，程序模塊包括執(zhí)行特定任務(wù)或?qū)崿F(xiàn)特定抽象數(shù)據(jù)類型的例程、程序、庫(kù)、對(duì)象、類、組件、數(shù)據(jù)結(jié)構(gòu)等。如各個(gè)實(shí)施例中所期望，可以在程序模塊之間組合或分割程序模塊的功能?？梢栽诒镜鼗蚍植际接?jì)算環(huán)境內(nèi)執(zhí)行程序模塊的計(jì)算機(jī)可執(zhí)行指令。為了介紹，該具體描述使用諸如“選擇”和“確定”之類的術(shù)語(yǔ)來(lái)描述計(jì)算環(huán)境中的計(jì)算機(jī)操作。這些術(shù)語(yǔ)是由計(jì)算機(jī)執(zhí)行的操作的高級(jí)抽象，并且不應(yīng)當(dāng)與由人類執(zhí)行的動(dòng)作混淆。與這些術(shù)語(yǔ)相對(duì)應(yīng)的實(shí)際計(jì)算機(jī)操作根據(jù)實(shí)施方式而變化。II.示例實(shí)現(xiàn)環(huán)境
圖IB示意了可實(shí)現(xiàn)所描述的實(shí)施例、技術(shù)和科技的合適實(shí)現(xiàn)環(huán)境190的概括示例。在示例環(huán)境190中，各種類型的服務(wù)(例如，計(jì)算服務(wù))由云192提供。例如，云192可以包括一系列計(jì)算設(shè)備，這些計(jì)算設(shè)備可以是集中式或分布式定位的，其將基于云的服務(wù)提供給經(jīng)由網(wǎng)絡(luò)(例如互聯(lián)網(wǎng))而連接的各種類型的用戶和設(shè)備。
在示例環(huán)境190中，云192給所連接的具有多種屏幕能力194A-N的設(shè)備提供服務(wù)。所連接的設(shè)備194A表示具有中尺寸屏幕的設(shè)備。例如，所連接的設(shè)備194A可以是個(gè)人計(jì)算機(jī)，例如臺(tái)式計(jì)算機(jī)、膝上型電腦、筆記本、上網(wǎng)本等。所連接的設(shè)備194B表示具有小尺寸屏幕的設(shè)備。例如，所連接的設(shè)備194B可以是移動(dòng)電話、智能電話、個(gè)人數(shù)字助理、平板計(jì)算機(jī)等。所連接的設(shè)備194N表示具有大屏幕的設(shè)備。例如，所連接的設(shè)備194N可以是電視(例如，智能電視)或者與電視或投影屏幕相連接的其他設(shè)備(例如，機(jī)頂盒或游戲控制臺(tái))。多種服務(wù)可以由云192通過(guò)ー個(gè)或多個(gè)服務(wù)提供商(未示出)提供。例如，云192可以將與HDR圖像生成和渲染相關(guān)的服務(wù)提供給各種所連接的設(shè)備194A-N中的一個(gè)或多個(gè)。可以按照特定的所連接的設(shè)備(例如，所連接的設(shè)備194A-N)的屏幕尺寸、顯示能力或其他功能來(lái)定制云服務(wù)。例如，可以通過(guò)考慮典型地與移動(dòng)設(shè)備相關(guān)聯(lián)的屏幕尺寸、輸入設(shè)備和通信帶寬限制，針對(duì)移動(dòng)設(shè)備定制云服務(wù)。
III.高動(dòng)杰范闈成像——總覽
盡管人類視覺(jué)系統(tǒng)能夠檢測(cè)非常寬的動(dòng)態(tài)范圍內(nèi)的細(xì)節(jié)(尤其是就亮度而言)，但是人類通常不會(huì)同時(shí)得到該動(dòng)態(tài)范圍的整個(gè)幅度內(nèi)的細(xì)節(jié)。例如，人類難以同時(shí)得到非常亮的區(qū)域和非常暗的區(qū)域中的細(xì)節(jié)。然而，通過(guò)聚焦于場(chǎng)景中的各個(gè)局部區(qū)域，人類視覺(jué)系統(tǒng)可以非?？斓剡m于局部區(qū)域中的明亮度，以便看到亮區(qū)域(例如，天空)以及較暗區(qū)域(例如，陰影)中的細(xì)節(jié)。許多現(xiàn)有數(shù)碼攝像機(jī)(包括大多數(shù)DSLR(數(shù)碼單鏡頭反光)攝像機(jī))缺少直接的HDR圖像捕獲能力，并僅能夠在標(biāo)準(zhǔn)動(dòng)態(tài)范圍處從単一角度進(jìn)行每次拍攝。因此，在人類可感知的細(xì)節(jié)的水平與可在SDR圖像中表示的細(xì)節(jié)的水平之間存在較大缺ロ。該問(wèn)題的切實(shí)可行的解決方案是高動(dòng)態(tài)范圍(HDR)成像。HDR圖像可以捕獲場(chǎng)景中的豐富信息，并且在被適當(dāng)渲染時(shí)可以帶來(lái)非常逼真的視覺(jué)體驗(yàn)。由于人類視覺(jué)系統(tǒng)的非線性和局部自適應(yīng)特性，可以利用正常的打印件或現(xiàn)有的顯示器來(lái)實(shí)現(xiàn)大多數(shù)HDR成像體驗(yàn)，從而使HDR圖像的市場(chǎng)潛在地非常大。因此，HDR成像技術(shù)近來(lái)引起了用戶的更多關(guān)注，這些用戶包括專業(yè)攝影師和愛(ài)好者。A.色調(diào)映射
ー種用于將HDR圖像信息轉(zhuǎn)換至較低動(dòng)態(tài)范圍(例如，用于為SDR顯示器渲染HDR圖像)的方式是通過(guò)將色調(diào)映射應(yīng)用于HDR圖像信息。色調(diào)映射指代將圖像樣本值s映射至樣本值^'Cs)的函數(shù)^·。全局色調(diào)映射是將全局色調(diào)映射應(yīng)用于給定圖像/中的每個(gè)樣本值的過(guò)程。例如，可以將全局色調(diào)映射應(yīng)用于圖像，以便如用戶所期望的那樣修改圖像的明亮度和/或?qū)Ρ榷荣|(zhì)量，從而得到色調(diào)映射圖像^(/)。局部色調(diào)映射指的是將圖像/變換為色調(diào)映射圖像Z (J)的函數(shù)Z。與全局色調(diào)映射一祥，可以將局部色調(diào)映射應(yīng)用于圖像，以達(dá)到調(diào)整圖像中的明亮度和對(duì)比度的目的。然而，局部色調(diào)映射可以允許在圖像上不被均勻應(yīng)用的局部調(diào)整。可以出于不同目的將色調(diào)映射應(yīng)用于圖像。例如，色調(diào)映射可以涉及將HDR圖像中的樣本值映射至更窄的動(dòng)態(tài)范圍。這種色調(diào)映射的ー個(gè)應(yīng)用是為了在不能夠顯示HDR圖像的全部動(dòng)態(tài)范圍的監(jiān)視器上顯示而渲染HDR圖像。這種色調(diào)映射的另ー個(gè)應(yīng)用是準(zhǔn)備HDR圖像，以便以需要圖像的更低比特深度表示的格式進(jìn)行編碼。
B.示例性圖像格式
這里描述的數(shù)字圖像可以是彩色、灰度或其他類型的圖像，并可以是以多種文件格式(例如，GIF、PNG、BMP、TIFF、TIFF Float32、JP2、HDR、OpenEXR、JPEG XR、Radiance RGBE 和/或其他格式)表示的。本節(jié)提供了與可以與用于生成HDR圖像并渲染HDR圖像的所述技術(shù)和工具一起使用的一些圖像格式有關(guān)的細(xì)節(jié)以及相關(guān)用戶界面特征。例如，所述技術(shù)和工具可以以JPEG XR格式處理HDR圖像。JPEG XR是有益于對(duì)HDR圖像進(jìn)行編碼的靈活且強(qiáng)大的格式，支持最多32比特浮點(diǎn)數(shù)。JPEG XR支持HDR圖像編碼，同時(shí)僅需要壓縮和解壓縮的整數(shù)運(yùn)算(沒(méi)有除法)。JPEGXR與用于存儲(chǔ)圖像數(shù)據(jù)和元數(shù)據(jù)的文件容器兼容，該元數(shù)據(jù)可以包括HD Photo元數(shù)據(jù)、XMP元數(shù)據(jù)和利用IFD標(biāo)簽的Exif元數(shù)據(jù)。與現(xiàn)有HDR格式(例如，TIFF Float、OpenEXR和Radiance RGBE)相比，JPEG XR格式在保持合理的圖像質(zhì)量的同時(shí)提供了高得多的壓縮能力。JPEG XR文件格式是可擴(kuò)展的，因此，可以在不改變圖像比特流的情況下將附加元數(shù)據(jù)(專有的或標(biāo)準(zhǔn)的)插入到JPEG XR文件中。
Radiance RGBE是用于承載HDR圖像數(shù)據(jù)的另一格式。在RGBE圖像中，每個(gè)像素由32個(gè)比特表示ー個(gè)比特組(例如，一個(gè)字節(jié))用于紅尾數(shù)(R)，ー個(gè)比特組(例如，ー個(gè)字節(jié))用于綠尾數(shù)(G)，ー個(gè)比特組(例如，一個(gè)字節(jié))用于藍(lán)尾數(shù)(B)，其余比特(例如，ー個(gè)字節(jié))用于對(duì)由R、G和B通道中的每ー個(gè)的尾數(shù)表示的值應(yīng)用的公共指數(shù)(E)。在RGBE中，有效像素值(fR、fG、fB)是浮點(diǎn)數(shù)，其中，fR = R*2(e_128) ；fG = G*2(e_128);以及 fB = B*2frl2iS。RGBE規(guī)則將最大8比特尾數(shù)限于范圍[128，255]內(nèi)，而其他兩個(gè)8比特尾數(shù)是無(wú)限制的(即，范圍是
)。因此，從RGB至RGBE的映射是唯一的。RGBE可呈現(xiàn)的動(dòng)態(tài)范圍是[2_127，2+127]，大致為76個(gè)量級(jí)。從RGBE像素重構(gòu)的RGB值是無(wú)符號(hào)的——所有非零值是正的。然而，由于這三個(gè)顏色分量共享相同指數(shù)，因此犧牲了兩個(gè)較小分量的精度。E=O是特殊情況，指示對(duì)應(yīng)的像素值為O。Radiance RGBE (9:9:9:5)的ー個(gè)變形將9個(gè)比特中指派給紅、綠和藍(lán)尾數(shù)通道，并將5個(gè)比特指派給指數(shù)，從而如上述8:8:8:8格式中那樣以32個(gè)比特來(lái)表示每個(gè)像素。RGBE的其他表示也是可能的，其中，不同數(shù)目的比特被指派給尾數(shù)和指數(shù)。通常在表示浮點(diǎn)圖像數(shù)據(jù)時(shí)使用32比特浮點(diǎn)(“32比特浮點(diǎn)”)。定義32比特浮點(diǎn)圖像的容器格式包括便攜式浮點(diǎn)映射(“PFM”)和標(biāo)簽圖像文件格式(“TIFF”)。IEEE 75432比特單精度浮點(diǎn)數(shù)包括用于符號(hào)的I個(gè)比特(S)、用于指數(shù)的8個(gè)比特(e)和用于尾數(shù)的23個(gè)比特U)。16比特浮點(diǎn)(也被稱作“半”)具有ー個(gè)符號(hào)比特、五個(gè)指數(shù)比特和十個(gè)尾數(shù)比持。由于16比特和32比特浮點(diǎn)表示除字段長(zhǎng)度的具體差異外在結(jié)構(gòu)上相同，因此它們可以被統(tǒng)稱為“浮點(diǎn)”。一些圖像格式由國(guó)際標(biāo)準(zhǔn)指定。例如，JPEG和JPEG2000標(biāo)準(zhǔn)闡述了用于對(duì)分別以JPEG和JPEG2000格式編碼的圖像進(jìn)行解碼的解碼器的要求。符合JPEG2000的編碼器和解碼器(“編解碼器”)以良好的壓縮效率提供了高質(zhì)量圖像。JPEG XR標(biāo)準(zhǔn)是從由微軟公司開(kāi)發(fā)的專有圖像壓縮格式視窗媒體相片(Windows Media Photo)和HD相片(HD Photo)開(kāi)發(fā)的，作為視窗媒體技術(shù)族的一部分。JPEG XR是在國(guó)際標(biāo)準(zhǔn)IS0/IEC 29199-2:2009中描述的。IV.用于高動(dòng)杰范圍圖像牛成和涫染的技術(shù)和工具所描述的實(shí)施例包括用于生成HDR圖像的技術(shù)和工具(例如，用于從具有各種曝光水平的SDR圖像的集合生成HDR圖像的算法)、用于渲染HDR圖像的技術(shù)和工具(例如，用于將HDR圖像渲染至SDR圖像或顯示器的算法)以及用于設(shè)置HDR圖像處理的控制參數(shù)的技術(shù)和工具(例如，便于利于作為控制參數(shù)而嵌入的渲染參數(shù)的HDR圖像編碼的工具)。如圖2所示，示例性數(shù)字HDR成像工作流程200包括HDR圖像生成210和HDR圖像渲染220。在HDR圖像生成210中，生成了 HDR圖像。例如，可以通過(guò)合成來(lái)自多個(gè)SDR圖像(例如，在稍微不同的時(shí)刻處拍攝的相同場(chǎng)景的圖像，其中每個(gè)時(shí)刻具有不同的曝光設(shè)置)的信息來(lái)生成HDR圖像。還可以在不將多個(gè)圖像進(jìn)行組合的情況下直接生成HDR圖像，例如通過(guò)利用能夠捕獲具有HDR比特深度的原始圖像的圖像捕獲設(shè)備來(lái)捕獲圖像。HDR圖像生成210可以包括用于移除不期望的圖像偽影(例如，在壓縮將要用于形成HDR圖像的源圖像時(shí)引入的偽影)的預(yù)處理(例如，手動(dòng)或自動(dòng)操作)。在HDR圖像渲染220中，將HDR圖像信息轉(zhuǎn)換為另一形式。例如，可以將HDR圖像 渲染為SDR圖像(例如，JPEG圖像)并顯示在SDR顯示器上。圖像渲染可以涉及色調(diào)映射過(guò)程(例如，自動(dòng)或半自動(dòng)色調(diào)映射過(guò)程)?？梢怨蓟虼鏅n所渲染的圖像。然而，典型地，在將HDR圖像轉(zhuǎn)換為SDR圖像吋，圖像數(shù)據(jù)丟失。因此，存檔HDR圖像的原始版本是有益的(例如，以便在稍后階段執(zhí)行對(duì)原始圖像的進(jìn)ー步修改)。還可以在不重新映射至標(biāo)準(zhǔn)動(dòng)態(tài)范圍的情況下渲染HDR圖像，例如，當(dāng)顯示器能夠在不重新映射的情況下渲染HDR圖像的全部動(dòng)態(tài)范圍時(shí)。盡管示例性工作流程200示出了 HDR圖像生成210后跟HDR圖像渲染220，但是HDR圖像處理系統(tǒng)可以生成HDR圖像而不渲染這些HDR圖像，例如，當(dāng)生成HDR圖像以供存儲(chǔ)或進(jìn)一歩處理但是不顯示HDR圖像吋。HDR圖像處理系統(tǒng)還可以渲染HDR圖像渲染而不生成這些HDR圖像，例如，當(dāng)HDR圖像處理系統(tǒng)在不先生成HDR圖像的情況下從某其他源獲得HDR圖像信息(例如，經(jīng)由通信介質(zhì))吋。在這里描述的示例中，SDR圖像是具有每顏色通道8個(gè)比特(bpc)的圖像，HDR圖像是16 bpc圖像或更多。更一般地，“標(biāo)準(zhǔn)動(dòng)態(tài)范圍”或SDR指代比HDR圖像具有更窄或更低動(dòng)態(tài)范圍的顯示、圖像、格式等。(SDR圖像還可以被稱作較低動(dòng)態(tài)范圍或LDR圖像。)類似地，“高動(dòng)態(tài)范圍”或HDR指代比SDR圖像具有更寬或更高動(dòng)態(tài)范圍的顯示、圖像、格式等。例如，所描述的實(shí)施例可以用于從16bpc SDR圖像生成32 bpc HDR圖像，或者渲染32 bpcHDR圖像以顯示在16 bpc監(jiān)視器上。一般地，這里描述的數(shù)字圖像可以由能夠捕獲數(shù)字圖像的任何設(shè)備(例如，數(shù)字靜止圖像攝像機(jī)、數(shù)字視頻攝像機(jī)、掃描儀或者具有圖像捕獲能力的多用途設(shè)備(例如，攝像機(jī)電話))或能夠存儲(chǔ)數(shù)字圖像的任何介質(zhì)(例如，易失性存儲(chǔ)器或非易失性存儲(chǔ)器，例如光盤或閃存)捕獲或者可以存儲(chǔ)在其上。A.概括的HDR成像系統(tǒng)
圖3是示意了概括的HDR圖像處理系統(tǒng)310的圖。圖3示出了系統(tǒng)310可接受的不同類型的圖像輸入。例如，圖3示出了 HDR圖像320以及比HDR圖像320具有更低動(dòng)態(tài)范圍(例如更小曝光范圍)的SDR圖像332、334、336和338的集合330。一般地，系統(tǒng)310的圖像輸入可以是單個(gè)圖像、圖像的集合(例如，具有用于構(gòu)造HDR圖像的變化動(dòng)態(tài)范圍的圖像的集合或者多個(gè)HDR圖像的集合)、和/或諸如與這些圖像相關(guān)的元數(shù)據(jù)或用戶偏好數(shù)據(jù)(未示出)之類的其他信息。元數(shù)據(jù)可以包括例如指示攝像機(jī)設(shè)置的信息。例如，用戶偏好數(shù)據(jù)可以包括用于觀察或修改圖像的用戶控制參數(shù)設(shè)置。元數(shù)據(jù)和用戶偏好數(shù)據(jù)可以包含于圖像文件內(nèi)或者可以是分離地提供的。盡管在圖3中示出了僅ー個(gè)HDR圖像，但是系統(tǒng)310可以接受多于ー個(gè)HDR圖像作為輸入。圖3示出了可操作用于生成HDR圖像的HDR圖像生成器340和可操作用于渲染HDR圖像以進(jìn)行顯示的HDR圖像渲染器350。盡管系統(tǒng)310示出了 HDR圖像生成器340和HDR圖像渲染器350，但是系統(tǒng)310可以執(zhí)行HDR圖像生成而不渲染，例如，當(dāng)生成HDR圖像以供存儲(chǔ)或進(jìn)一步處理但不顯示HDR圖像吋。系統(tǒng)310也可以執(zhí)行HDR圖像渲染而不進(jìn)行HDR圖像生成，例如，當(dāng)HDR圖像處理系統(tǒng)從某其他源獲得HDR圖像信息(例如，經(jīng)由通信介質(zhì))而不先生成HDR圖像時(shí)。在圖3所示的示例中，HDR圖像生成器340合成來(lái)自SDR圖像集合330 (例如，在稍微不同的時(shí)刻處拍攝的相同場(chǎng)景的圖像，其中每個(gè)時(shí)刻具有不同的曝光設(shè)置)的信息。然后，HDR圖像渲染器350可以將所生成的HDR圖像映射至SDR圖像，并準(zhǔn)備SDR圖像以在顯 示器360上輸出。還可以在不重新映射至標(biāo)準(zhǔn)動(dòng)態(tài)范圍的情況下渲染HDR圖像，例如，當(dāng)顯示器能夠在不重新映射的情況下顯示其全部動(dòng)態(tài)范圍內(nèi)的HDR圖像吋。系統(tǒng)310內(nèi)的模塊之間的關(guān)系指示了系統(tǒng)中的一般信息流；為了簡(jiǎn)明，未示出其他關(guān)系。典型地，特定實(shí)施例使用了概括系統(tǒng)310的變型或補(bǔ)充版本。根據(jù)實(shí)施方式和所期望的處理類型，可以添加系統(tǒng)的模塊、省略系統(tǒng)的模塊、將系統(tǒng)的模塊分割為多個(gè)模塊、將系統(tǒng)的模塊與其他模塊進(jìn)行組合、和/或替換為類似的模塊。在替換實(shí)施例中，具有不同模塊和/或其他模塊配置的系統(tǒng)執(zhí)行一個(gè)或多個(gè)所描述的技木。例如，系統(tǒng)310可以包括預(yù)處理器，該預(yù)處理器使用低通濾波器或其他濾波器來(lái)使輸入數(shù)字圖像平滑，以便選擇性地移除高頻分量?；蛘撸A(yù)處理器執(zhí)行其他預(yù)處理任務(wù)。系統(tǒng)310還可以包括一個(gè)或多個(gè)編碼器，該ー個(gè)或多個(gè)編碼器對(duì)圖像數(shù)據(jù)進(jìn)行壓縮，輸出壓縮后的數(shù)字圖像信息的比特流。由編碼器執(zhí)行的精確操作可以根據(jù)壓縮格式而變化。例如，編碼器可以根據(jù)諸如JPEG XR之類的HDR圖像格式來(lái)壓縮HDR圖像信息，或者，編碼器可以根據(jù)JPEG之類的格式來(lái)壓縮SDR圖像信息。系統(tǒng)310還可以包括一個(gè)或多個(gè)解碼器，該ー個(gè)或多個(gè)解碼器對(duì)壓縮后的圖像數(shù)據(jù)進(jìn)行解壓縮，輸出解壓縮后的數(shù)字圖像信息的比特流。由解碼器執(zhí)行的精確操作可以根據(jù)壓縮格式而變化。例如，符合JPEG XR的解碼器可以對(duì)JPEG XR文件中的HDR圖像信息進(jìn)行解壓縮，或者，符合JPEG的解碼器可以對(duì)JPEG文件中的SDR圖像信息進(jìn)行解壓縮。B.用于高動(dòng)態(tài)范圍圖像生成的方案 I.概括的技術(shù)
圖4示出了用于從SDR圖像的集合生成HDR圖像的技術(shù)400，其中，基于運(yùn)動(dòng)分析，針對(duì)SDR圖像導(dǎo)出相對(duì)曝光。諸如圖3所示的HDR圖像處理系統(tǒng)310之類的系統(tǒng)或其他系統(tǒng)執(zhí)行技術(shù)400。在410處，系統(tǒng)執(zhí)行相對(duì)于示出場(chǎng)景的圖像集合中的參考圖像的運(yùn)動(dòng)分析。運(yùn)動(dòng)分析包括確定集合中的非參考圖像中的每ー個(gè)相對(duì)于參考圖像的圖像差異。在一個(gè)實(shí)施方式中，系統(tǒng)通過(guò)確定集合中的哪個(gè)圖像有最多樣本值落在可接受曝光范圍內(nèi)并將該圖像指定為參考圖像，而從候選圖像的集合中選擇參考圖像?？商鎿Q地，以某種其他方式將參考圖像指定為參考圖像。在420處，系統(tǒng)至少部分地基于運(yùn)動(dòng)分析來(lái)導(dǎo)出相對(duì)于參考圖像的曝光水平。例如，系統(tǒng)基于非參考圖像的運(yùn)動(dòng)分析信息，導(dǎo)出每個(gè)非參考圖像的相對(duì)曝光水平。在430處，系統(tǒng)將多個(gè)數(shù)字圖像的集合進(jìn)行整合，以形成描繪該場(chǎng)景的HDR數(shù)字圖像。該整合至少部分地基于相對(duì)曝光水平。例如，在已經(jīng)針對(duì)每個(gè)非參考圖像導(dǎo)出相對(duì)曝光水平的情況下，系統(tǒng)使用這些相對(duì)曝光水平來(lái)計(jì)算HDR數(shù)字圖像的樣本值。2.示例實(shí)現(xiàn)
該部分提供了用于從SDR圖像的集合生成HDR圖像的一組措施的示例實(shí)現(xiàn)的實(shí)現(xiàn)細(xì)節(jié)。
在圖5中示出了 HDR圖像生成系統(tǒng)510的示例實(shí)現(xiàn)。在該示例中，HDR圖像生成系統(tǒng)510將SDR圖像信息520視作輸入，SDR圖像信息520包括SDR圖像522、524、526、528的集合的圖像信息，SDR圖像522、524、526、528是具有ー個(gè)或多個(gè)不同設(shè)置的場(chǎng)景的圖像，其將在處理和整合圖像時(shí)產(chǎn)生更高動(dòng)態(tài)范圍圖像590。例如，SDR圖像522、524、526、528是在具有不同曝光設(shè)置的不同時(shí)刻處拍攝的場(chǎng)景的圖像。圖5示出了實(shí)現(xiàn)各個(gè)處理階段并產(chǎn)生HDR圖像590作為輸出的示例模塊。a.運(yùn)動(dòng)分析
運(yùn)動(dòng)分析器530分析輸入SDR圖像522、524、526、528中的運(yùn)動(dòng)。例如，在SDR圖像522、524、526、528表示場(chǎng)景在不同時(shí)刻處的視覺(jué)狀態(tài)的情況下，運(yùn)動(dòng)分析器530分析在圖像的序列中發(fā)生的運(yùn)動(dòng)。當(dāng)在不同時(shí)刻處拍攝場(chǎng)景的圖像時(shí)，在場(chǎng)景的不同拍攝之間非常有可能存在圖像運(yùn)動(dòng)(全局的或局部的)。運(yùn)動(dòng)分析器530可以將各次拍攝時(shí)的圖像紋理進(jìn)行對(duì)準(zhǔn)并對(duì)運(yùn)動(dòng)定量，使得可以在執(zhí)行進(jìn)ー步處理時(shí)考慮這種運(yùn)動(dòng)。運(yùn)動(dòng)分析器530執(zhí)行相對(duì)于參考圖像的運(yùn)動(dòng)分析。在圖5所示的示例中，將圖像524指定為參考圖像。典型地，參考圖像是具有中等曝光范圍(S卩，不是輸入圖像的集合中最亮或最暗的曝光范圍)的圖像。在一個(gè)實(shí)施方式中，基于輸入圖像的集合中的哪個(gè)圖像有最多樣本值處于“正常范圍”(即，不是太高(飽和)或太低(曝光不足)的范圍)內(nèi)來(lái)選擇參考圖像。對(duì)于正常曝光范圍的限制以及確定正常范圍的方式可以變化。例如，可以針對(duì)所有圖像預(yù)先確定或者針對(duì)每個(gè)圖像或輸入圖像集合(例如，基于圖像信息和/或用戶偏好)自適應(yīng)地確定正常曝光范圍。對(duì)參考圖像的選擇可以由運(yùn)動(dòng)分析器530(例如，基于圖像信息和/或用戶偏好信息)自動(dòng)執(zhí)行，或者，可以在將圖像提供給運(yùn)動(dòng)分析器530之前將該圖像指定為參考圖像。運(yùn)動(dòng)分析器530使用圖像差異來(lái)對(duì)輸入圖像522、524、526、528中的運(yùn)動(dòng)進(jìn)行建摸。盡管已經(jīng)開(kāi)發(fā)了用于測(cè)量視頻畫(huà)面中的差異(例如，均方差、平方差之和)以分析視頻中的運(yùn)動(dòng)的各種技術(shù)，但是示例實(shí)現(xiàn)使用了與將在典型視頻應(yīng)用中所使用的手段不同的用于分析靜止圖像中的運(yùn)動(dòng)的手段，這是由于期望解釋不同拍攝中的曝光差異。在一個(gè)實(shí)施方式中，運(yùn)動(dòng)分析器530通過(guò)利用“歸ー化互相關(guān)性”度量計(jì)算樣本值的差異，來(lái)測(cè)量圖像差異。例如，一個(gè)圖像i Uァ)與另ー圖像/UjO的歸ー化互相關(guān)性是
” 一]/mmidy · Oi其中，/ 是iUァ)和/Uァ)中的像素的數(shù)目，σ表示標(biāo)準(zhǔn)差?？商鎿Q地，可以以另一種方式執(zhí)行對(duì)圖像差異的測(cè)量，例如通過(guò)消除每個(gè)畫(huà)面中的平均樣本值(7和 )的減法。換句話說(shuō)，將兩個(gè)圖像(或圖像區(qū)域)定義為il(x，y)和i2(x’，7’)，其中，(んy)和(X’，I，)是相應(yīng)樣本的2D坐標(biāo)。兩個(gè)圖像或圖像區(qū)域(假定相同分辨率和大小)之間的差異(“diff”)可以被表示為
權(quán)利要求
1.一種在計(jì)算機(jī)系統(tǒng)中生成高動(dòng)態(tài)范圍數(shù)字圖像的方法，所述方法包括 在描繪場(chǎng)景的多個(gè)數(shù)字圖像的集合中相對(duì)于參考圖像執(zhí)行運(yùn)動(dòng)分析，所述運(yùn)動(dòng)分析包括確定所述集合中的一個(gè)或多個(gè)非參考圖像中的每一個(gè)相對(duì)于所述參考圖像的圖像差巳升; 至少部分地基于所述運(yùn)動(dòng)分析，針對(duì)每個(gè)非參考圖像導(dǎo)出相對(duì)于所述參考圖像的一個(gè)或多個(gè)相對(duì)曝光水平；以及 至少部分地基于所述一個(gè)或多個(gè)相對(duì)曝光水平，將多個(gè)數(shù)字圖像的所述集合進(jìn)行整合，以形成描繪所述場(chǎng)景的較高動(dòng)態(tài)范圍數(shù)字圖像。
2.根據(jù)權(quán)利要求I所述的方法，還包括 至少部分地基于所述一個(gè)或多個(gè)相對(duì)曝光水平，將每個(gè)非參考圖像中的樣本值擴(kuò)縮至歸一化水平； 其中，所述整合包括針對(duì)較高動(dòng)態(tài)范圍數(shù)字圖像中的每個(gè)樣本位置，計(jì)算與所述參考圖像中的該樣本位置相對(duì)應(yīng)的樣本值和與每個(gè)非參考圖像中的該樣本位置相對(duì)應(yīng)的擴(kuò)縮樣本值的加權(quán)平均。
3.根據(jù)權(quán)利要求I所述的方法，還包括 通過(guò)確定候選圖像的集合中的哪個(gè)圖像有最多數(shù)目的樣本值落在可接受曝光范圍內(nèi)，從候選圖像的集合中選擇所述參考圖像。
4.根據(jù)權(quán)利要求I所述的方法，其中，所述運(yùn)動(dòng)分析包括使用歸一化互相關(guān)，以確定相對(duì)于所述參考圖像的圖像差異。
5.根據(jù)權(quán)利要求I所述的方法，其中，所述運(yùn)動(dòng)分析包括選擇非參考圖像中的樣本值的子集，以確定相對(duì)于所述參考圖像的圖像差異，所述子集是基于樣本值是否落在曝光值的范圍內(nèi)來(lái)選擇的。
6.根據(jù)權(quán)利要求I所述的方法，其中，所述運(yùn)動(dòng)分析包括之后緊跟有局部運(yùn)動(dòng)改善的全局運(yùn)動(dòng)分析。
7.根據(jù)權(quán)利要求I所述的方法，其中，所述一個(gè)或多個(gè)相對(duì)曝光水平中的每一個(gè)是基于相應(yīng)非參考圖像的平均樣本比來(lái)導(dǎo)出的。
8.—種或者多種其上存儲(chǔ)了計(jì)算機(jī)可執(zhí)行指令的計(jì)算機(jī)可讀介質(zhì)，所述計(jì)算機(jī)可執(zhí)行指令使計(jì)算機(jī)執(zhí)行包括以下步驟的方法 將高動(dòng)態(tài)范圍數(shù)字圖像中的多個(gè)樣本值中的每一個(gè)色調(diào)映射至相應(yīng)較低動(dòng)態(tài)范圍值； 計(jì)算色調(diào)映射的樣本值中的每一個(gè)的局部對(duì)比度值； 導(dǎo)出色調(diào)映射的樣本值中的每一個(gè)的殘差信號(hào)，所述導(dǎo)出至少部分地基于相應(yīng)局部對(duì)比度值； 至少部分地基于色調(diào)映射的樣本值和相應(yīng)殘差信號(hào)，計(jì)算較低動(dòng)態(tài)范圍數(shù)字圖像的樣本值。
9.根據(jù)權(quán)利要求8所述的計(jì)算機(jī)可讀介質(zhì)，其中，色調(diào)映射包括 生成全局色調(diào)映射查找表；以及 針對(duì)高動(dòng)態(tài)范圍數(shù)字圖像中的多個(gè)樣本值中的每一個(gè)識(shí)別較低動(dòng)態(tài)范圍值； 其中，所述識(shí)別包括在所述全局色調(diào)映射查找表中查找所述多個(gè)樣本值中的每一個(gè)。
10.根據(jù)權(quán)利要求9所述的計(jì)算機(jī)可讀介質(zhì)，其中，所述全局色調(diào)映射查找表是基于自適應(yīng)伽馬函數(shù)來(lái)生成的。
11.根據(jù)權(quán)利要求8所述的計(jì)算機(jī)可讀介質(zhì)，其中，所述導(dǎo)出色調(diào)映射的樣本值中的每一個(gè)的殘差信號(hào)包括將每個(gè)色調(diào)映射樣本值乘以相應(yīng)局部對(duì)比度值。
12.根據(jù)權(quán)利要求8所述的計(jì)算機(jī)可讀介質(zhì)，其中，所述方法還包括 對(duì)殘差信號(hào)中的一個(gè)或多個(gè)應(yīng)用擴(kuò)縮，其中，所述擴(kuò)縮包括應(yīng)用作為與所述相應(yīng)殘差信號(hào)相對(duì)應(yīng)的色調(diào)映射樣本值的函數(shù)的擴(kuò)縮因子。
13.根據(jù)權(quán)利要求8所述的計(jì)算機(jī)可讀介質(zhì)，其中，所述較低動(dòng)態(tài)范圍數(shù)字圖像的樣本值中的每一個(gè)是通過(guò)將色調(diào)映射的樣本值、殘差信號(hào)和高頻抖動(dòng)信號(hào)進(jìn)行組合來(lái)計(jì)算的。
14.根據(jù)權(quán)利要求8所述的計(jì)算機(jī)可讀介質(zhì)，其中，所述方法還包括 針對(duì)所述高動(dòng)態(tài)范圍數(shù)字圖像的較低分辨率預(yù)覽版本中的多個(gè)樣本值中的每一個(gè)識(shí)別較低動(dòng)態(tài)范圍值； 將所述較低分辨率預(yù)覽版本中的多個(gè)樣本值色調(diào)映射至所識(shí)別的相應(yīng)較低動(dòng)態(tài)范圍值； 計(jì)算所述較低分辨率預(yù)覽版本中的色調(diào)映射的樣本值中的每一個(gè)的局部對(duì)比度值；導(dǎo)出所述較低分辨率預(yù)覽版本中的色調(diào)映射的樣本值中的每一個(gè)的殘差信號(hào)，所述導(dǎo)出至少部分地基于相應(yīng)局部對(duì)比度值； 至少部分地基于所述較低分辨率預(yù)覽版本中的色調(diào)映射的樣本值和相應(yīng)殘差信號(hào)，計(jì)算預(yù)覽圖像的樣本值。
15.一種計(jì)算設(shè)備，包括一個(gè)或多個(gè)處理器和一個(gè)或多個(gè)存儲(chǔ)介質(zhì)，所述一個(gè)或多個(gè)存儲(chǔ)介質(zhì)上存儲(chǔ)了計(jì)算機(jī)可執(zhí)行指令，所述計(jì)算機(jī)可執(zhí)行指令使所述計(jì)算設(shè)備執(zhí)行基于用戶偏好信息渲染高動(dòng)態(tài)范圍圖像的方法，所述方法包括 提供用于設(shè)置對(duì)高動(dòng)態(tài)范圍圖像渲染參數(shù)的用戶偏好的一個(gè)或多個(gè)用戶偏好控制器； 從所述用戶偏好控制器接收與用戶相關(guān)聯(lián)的用戶偏好信息，所述用戶偏好信息與包含高動(dòng)態(tài)范圍數(shù)字圖像的高動(dòng)態(tài)范圍數(shù)字圖像文件的高動(dòng)態(tài)范圍圖像渲染參數(shù)相對(duì)應(yīng)；以及至少部分地基于所述用戶偏好信息來(lái)渲染所述高動(dòng)態(tài)范圍數(shù)字圖像； 其中，所述渲染包括 計(jì)算多個(gè)色調(diào)映射樣本值中的每一個(gè)的局部對(duì)比度值；以及 至少部分地基于相應(yīng)色調(diào)映射樣本值的局部對(duì)比度值，計(jì)算較低動(dòng)態(tài)范圍數(shù)字圖像的樣本值。
全文摘要
本發(fā)明涉及用于高動(dòng)態(tài)范圍(HDR)圖像渲染和生成的技術(shù)和工具。HDR圖像生成系統(tǒng)對(duì)較低動(dòng)態(tài)范圍(LDR)圖像的集合執(zhí)行運(yùn)動(dòng)分析，并基于在運(yùn)動(dòng)分析中獲得的信息來(lái)導(dǎo)出圖像的相對(duì)曝光水平。當(dāng)整合LDR圖像以形成HDR圖像時(shí)，使用這些相對(duì)曝光水平。HDR圖像渲染器將HDR圖像中的樣本值色調(diào)映射至相應(yīng)較低動(dòng)態(tài)范圍值，并計(jì)算局部對(duì)比度值。基于局部對(duì)比度來(lái)導(dǎo)出殘差信號(hào)，并基于色調(diào)映射的樣本值和殘差信號(hào)來(lái)計(jì)算LDR圖像的樣本值?？梢栽贖DR圖像生成或渲染的各個(gè)階段期間使用用戶偏好信息。
文檔編號(hào)G06T7/00GK102741883SQ201180008464
公開(kāi)日2012年10月17日 申請(qǐng)日期2011年1月16日 優(yōu)先權(quán)日2010年2月4日
發(fā)明者孫式軍 申請(qǐng)人:微軟公司