專利名稱：高動(dòng)態(tài)范圍圖像的編碼、解碼和表示的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及高動(dòng)態(tài)范圍數(shù)字圖像。具體而言，本發(fā)明涉及用于對(duì)高動(dòng)態(tài)范圍圖像進(jìn)行編碼和解碼的方法和設(shè)備以及包含數(shù)字高動(dòng)態(tài)范圍圖像的數(shù)據(jù)結(jié)構(gòu)。
背景技術(shù)：
人類視覺能夠察覺高達(dá)1∶10,000的對(duì)比率。也就是說，人可以接受這樣的景象，其中該景象某些部分的亮度是該景象其它部分的亮度的10,000倍，而人可以看到該景象的最亮部分和最暗部分二者中的細(xì)節(jié)。此外，人類視覺可以以進(jìn)一步的6個(gè)量級(jí)使其靈敏度適應(yīng)于較亮或較暗的景象。
大部分傳統(tǒng)數(shù)字圖像格式(所謂的24位格式)使用高達(dá)24位來存儲(chǔ)圖像中每個(gè)像素的顏色和亮度信息。例如，像素的紅、綠和藍(lán)(RGB)值的每個(gè)可以存儲(chǔ)在一個(gè)字節(jié)(8位)中。這樣的格式僅能夠表示約兩個(gè)量級(jí)(每個(gè)字節(jié)可存儲(chǔ)256個(gè)可能值之一)的亮度變化。存在許多用于表示數(shù)字圖像(其包括靜止圖像和視頻圖像二者)的標(biāo)準(zhǔn)格式。這些格式包括JPEG(聯(lián)合圖像專家組)、MPEG(運(yùn)動(dòng)圖像專家組)、AVI(音頻視頻交錯(cuò))、TIFF(標(biāo)簽圖像文件格式)、BMP(位圖)、PNG(便攜式網(wǎng)絡(luò)圖形)、GIF(圖形交換格式)等等。這樣的格式可稱為“有關(guān)輸出的標(biāo)準(zhǔn)”，因?yàn)樗鼈儾⒉辉噲D保存超出了最通用類型的電子顯示器所能再現(xiàn)的圖像信息的圖像信息。直到最近，顯示器如計(jì)算機(jī)顯示器、電視機(jī)、數(shù)字移動(dòng)畫面投影儀等還不能精確地再現(xiàn)具有優(yōu)于1∶1000左右的對(duì)比率的圖像。
由受讓人開發(fā)的顯示技術(shù)及其它技術(shù)能夠再現(xiàn)具有高動(dòng)態(tài)范圍(HDR)的圖像。與傳統(tǒng)顯示器相比，這樣的顯示器可再現(xiàn)更如實(shí)地表示真實(shí)世界景象的圖像。存在對(duì)用于存儲(chǔ)HDR圖像的格式的需求，以便在這些顯示器及未來可獲得的其它HDR顯示器上再現(xiàn)。
人們已提出了許多用于將HDR圖像存儲(chǔ)為數(shù)字?jǐn)?shù)據(jù)的格式。這些格式全部具有各種缺點(diǎn)。這些格式中有許多產(chǎn)生僅可使用專用軟件來觀看的大得驚人的圖像文件。一些數(shù)碼相機(jī)制造商提供了專有的RAW格式。這些格式趨向于相機(jī)專用，并且趨向于對(duì)數(shù)據(jù)存儲(chǔ)的要求過高。
需要一種方便的架構(gòu)來存儲(chǔ)、交換和再現(xiàn)高動(dòng)態(tài)范圍圖像。尤其需要對(duì)現(xiàn)有的圖像觀看器技術(shù)向后兼容的架構(gòu)。在可能需要通過具有基于硬件的圖像解碼器的傳統(tǒng)設(shè)備如DVD播放器來再現(xiàn)圖像的情形下，尤其需要向后兼容性。

發(fā)明內(nèi)容
本發(fā)明的一方面提供了用于對(duì)高動(dòng)態(tài)范圍圖像數(shù)據(jù)進(jìn)行編碼的方法。所述方法包括獲得對(duì)應(yīng)于高動(dòng)態(tài)范圍圖像數(shù)據(jù)的色調(diào)映射(tonemap)數(shù)據(jù)。色調(diào)映射數(shù)據(jù)的動(dòng)態(tài)范圍低于高動(dòng)態(tài)范圍圖像數(shù)據(jù)的動(dòng)態(tài)范圍。該方法計(jì)算比率數(shù)據(jù)，包括高動(dòng)態(tài)范圍圖像數(shù)據(jù)中的值與色調(diào)映射數(shù)據(jù)中的對(duì)應(yīng)值的比率；基于比率數(shù)據(jù)來生成高動(dòng)態(tài)范圍信息；基于色調(diào)映射數(shù)據(jù)來生成色調(diào)映射信息；并且將高動(dòng)態(tài)范圍信息和色調(diào)映射信息存儲(chǔ)在數(shù)據(jù)結(jié)構(gòu)中。
數(shù)據(jù)結(jié)構(gòu)可由傳統(tǒng)圖像觀看器讀取。傳統(tǒng)圖像觀看器可讀取色調(diào)映射信息而忽略高動(dòng)態(tài)范圍信息。在一些實(shí)施例中，數(shù)據(jù)結(jié)構(gòu)包括JFIF文件，而色調(diào)映射信息包括JPEG圖像。在一些實(shí)施例中，數(shù)據(jù)結(jié)構(gòu)包括MPEG文件，而色調(diào)映射信息包括MPEG視頻的幀。
本發(fā)明的另一方面提供了一種用于表示具有初始動(dòng)態(tài)范圍的高動(dòng)態(tài)范圍圖像的數(shù)據(jù)結(jié)構(gòu)。該數(shù)據(jù)結(jié)構(gòu)包括色調(diào)映射部分和高動(dòng)態(tài)范圍信息部分。色調(diào)映射部分包含表示圖像的色調(diào)映射信息，并且具有比初始動(dòng)態(tài)范圍小的動(dòng)態(tài)范圍。高動(dòng)態(tài)范圍信息部分包含對(duì)色調(diào)映射部分中的亮度值與高動(dòng)態(tài)范圍圖像的亮度值的比率進(jìn)行描述的信息。
本發(fā)明的另一方面提供了用于對(duì)高動(dòng)態(tài)范圍圖像進(jìn)行編碼的設(shè)備。
下面將描述本發(fā)明的另外方面和本發(fā)明特定實(shí)施例的特征。


在圖示了本發(fā)明的非限定性實(shí)施例的附圖中圖1是圖示了根據(jù)本發(fā)明的一般實(shí)施例創(chuàng)建HDR圖像文件的方法的數(shù)據(jù)流程圖；圖2是給出根據(jù)本發(fā)明的HDR圖像編碼和解碼方法的概觀的流程圖；圖3是圖示了根據(jù)本發(fā)明一個(gè)特定實(shí)施例創(chuàng)建HDR圖像文件的方法的數(shù)據(jù)流程圖；圖4是圖示了根據(jù)本發(fā)明的一些實(shí)施例提供對(duì)由壓縮和/或下采樣導(dǎo)致的假象(artefact)的校正的方法的流程圖；以及圖5是圖示了根據(jù)本發(fā)明的一個(gè)實(shí)施例在HDR圖像重建期間提供對(duì)由壓縮和/或下采樣導(dǎo)致的假象的校正的方法的流程圖。
具體實(shí)施例方式
在下面的描述中，為了提供對(duì)本發(fā)明的更全面的理解而闡明了特定的細(xì)節(jié)。然而，可以在沒有這些細(xì)節(jié)的情況下實(shí)踐本發(fā)明。在其它情形下，未示出或詳細(xì)描述眾所周知的元件，以避免不必要地混淆本發(fā)明。因此，說明書和附圖應(yīng)視為說明性的，而非限定性的。
本發(fā)明的一方面提供了用于表示HDR圖像的數(shù)據(jù)結(jié)構(gòu)(HDR數(shù)據(jù)結(jié)構(gòu))。在優(yōu)選的實(shí)施例中，HDR數(shù)據(jù)結(jié)構(gòu)允許使用標(biāo)準(zhǔn)圖像觀看軟件以標(biāo)準(zhǔn)動(dòng)態(tài)范圍模式來觀看圖像，并且允許使用HDR觀看器和適當(dāng)?shù)腍DR顯示器以高動(dòng)態(tài)范圍模式來觀看該同一圖像的高動(dòng)態(tài)范圍版本。
圖1示出根據(jù)本發(fā)明的用于創(chuàng)建HDR數(shù)據(jù)結(jié)構(gòu)16和用于觀看由HDR數(shù)據(jù)結(jié)構(gòu)16表示的圖像的系統(tǒng)10。圖2示出由系統(tǒng)10執(zhí)行的用于創(chuàng)建HDR數(shù)據(jù)結(jié)構(gòu)的方法30、以及用于根據(jù)HDR數(shù)據(jù)結(jié)構(gòu)16的數(shù)據(jù)來顯示圖像的可替選的方法31A和31B。
系統(tǒng)10包括用于基于原始HDR圖像數(shù)據(jù)12來創(chuàng)建HDR圖像數(shù)據(jù)結(jié)構(gòu)16的編碼器14。數(shù)據(jù)結(jié)構(gòu)16可由標(biāo)準(zhǔn)解碼器18來解碼，以提供標(biāo)準(zhǔn)動(dòng)態(tài)范圍圖像19。在本發(fā)明的一些實(shí)施例中，標(biāo)準(zhǔn)解碼器18包括“傳統(tǒng)”硬件解碼器或基于軟件的解碼器，如合適的圖像觀看器軟件。數(shù)據(jù)結(jié)構(gòu)16可由HDR解碼器20來解碼，以產(chǎn)生重建的HDR圖像21。
通過獲取HDR圖像數(shù)據(jù)12，方法30開始于框32。HDR圖像數(shù)據(jù)12包括直接或間接規(guī)定圖像中像素的亮度的信息。HDR圖像數(shù)據(jù)12可以是任何合適的格式，并且可以使用合適的HDR相機(jī)(可能通過將多次曝光相組合)來獲取或在計(jì)算機(jī)中直接重現(xiàn)。對(duì)于本發(fā)明的實(shí)踐來說，HDR圖像數(shù)據(jù)12的來源不重要。
方法30還獲得(框34)對(duì)應(yīng)于HDR圖像數(shù)據(jù)12的色調(diào)映射數(shù)據(jù)15。色調(diào)映射數(shù)據(jù)15表示與HDR圖像12的相似圖像，但具有比HDR圖像數(shù)據(jù)12低的動(dòng)態(tài)范圍。色調(diào)映射數(shù)據(jù)15可根據(jù)HDR圖像數(shù)據(jù)12來生成，如線13所示，或以某些其它方式從具有與HDR圖像數(shù)據(jù)12共同來源的數(shù)據(jù)中得到。如果色調(diào)映射數(shù)據(jù)15不是從HDR圖像數(shù)據(jù)12中得到的，則獲得色調(diào)映射數(shù)據(jù)15和HDR圖像數(shù)據(jù)12的順序(即框32和34的順序)不重要。
編碼器14生成數(shù)據(jù)結(jié)構(gòu)16。數(shù)據(jù)結(jié)構(gòu)16包括色調(diào)映射部分16A，其基于色調(diào)映射數(shù)據(jù)15；以及HDR信息部分16B，其包含這樣的信息HDR解碼器20可以將此信息與來自色調(diào)映射部分16A的數(shù)據(jù)相組合以重建HDR圖像數(shù)據(jù)12或與其接近的近似。方法30通過將色調(diào)映射數(shù)據(jù)15(或等價(jià)地，根據(jù)數(shù)據(jù)結(jié)構(gòu)16的色調(diào)映射部分16A重建的色調(diào)映射數(shù)據(jù))與HDR圖像數(shù)據(jù)12相比較來生成(框36)HDR信息部分。在框38中，方法30將色調(diào)映射部分16A和HDR信息部分16B存儲(chǔ)在數(shù)據(jù)結(jié)構(gòu)16中。
在本發(fā)明的優(yōu)選實(shí)施例中，數(shù)據(jù)結(jié)構(gòu)16具有可由標(biāo)準(zhǔn)解碼器讀取以產(chǎn)生較低動(dòng)態(tài)范圍(LDR)圖像的格式。標(biāo)準(zhǔn)解碼器18可以實(shí)施解碼方法31A。標(biāo)準(zhǔn)解碼器18通過取回色調(diào)映射部分16A并顯示由色調(diào)映射部分16A表示的圖像(框39)來生成標(biāo)準(zhǔn)LDR圖像19。該標(biāo)準(zhǔn)解碼器可忽略HDR信息部分16B。
數(shù)據(jù)結(jié)構(gòu)16還可由HDR解碼器20來讀取。HDR解碼器20實(shí)施解碼方法31B，并基于來自色調(diào)映射部分16A和HDR信息部分16B二者的信息來生成HDR圖像21。在框40中，方法31B從數(shù)據(jù)結(jié)構(gòu)16的色調(diào)映射部分16A和HDR信息部分16B取回?cái)?shù)據(jù)。在框42中，通過根據(jù)來自HDR信息部分16B的HDR信息修改從色調(diào)映射部分16A中提取的色調(diào)映射來創(chuàng)建重建的HDR圖像。在框44中，顯示重建的HDR圖像。
色調(diào)映射部分16A可以是任何合適的格式。例如，色調(diào)映射部分16A可以是JPEG、MPEG、AVI、TIFF、BMP、GIF或一些其它合適的格式。色調(diào)映射部分16A包括直接或間接規(guī)定動(dòng)態(tài)范圍小于原始HDR圖像12的動(dòng)態(tài)范圍的圖像中像素的亮度的信息。如果HDR圖像數(shù)據(jù)12規(guī)定彩色圖像，則色調(diào)映射部分16A優(yōu)選地包括規(guī)定圖像中像素的顏色的信息。
在本發(fā)明的一些實(shí)施例中，數(shù)據(jù)結(jié)構(gòu)16包括JPEG文件、交換格式(JFIF)格式文件。在這樣的實(shí)施例中，色調(diào)映射部分16A可包含在JFIF文件的圖像部分中，而HDR信息部分16B可存儲(chǔ)在JFIF文件的一個(gè)或多個(gè)應(yīng)用擴(kuò)展部分中和/或存儲(chǔ)在JFIF文件的一個(gè)或多個(gè)注釋部分中。在這樣的實(shí)施例中，任何標(biāo)準(zhǔn)的JPEG觀看器可打開數(shù)據(jù)結(jié)構(gòu)16，并以低于原始HDR數(shù)據(jù)12或重建的HDR圖像21的動(dòng)態(tài)范圍來顯示色調(diào)映射部分16A中提供的圖像。
標(biāo)準(zhǔn)JPEG觀看器忽略它們不支持的JFIF文件中的應(yīng)用擴(kuò)展。因此，HDR信息部分16B的存在基本上不影響使用任何標(biāo)準(zhǔn)JPEG觀看器來觀看來自數(shù)據(jù)結(jié)構(gòu)16的圖像。如果HDR信息16B在JFIF文件的注釋字段中，則HDR信息16B優(yōu)選地編碼為ASCII文本，因?yàn)橐恍?yīng)用可能試圖讀取JFIF文件的注釋字段。這樣的應(yīng)用可能期望注釋字段僅包含文本，并且在試圖打開包含非期望類型數(shù)據(jù)的注釋字段時(shí)，可不正確地運(yùn)行。Version1.2版是JFIF的一個(gè)版本。JFIF Version1.2版在ISO DIS10918-1的附錄B中完整地描述，其通過引用結(jié)合于此。
在本發(fā)明的一些實(shí)施例中，數(shù)據(jù)結(jié)構(gòu)16包括MPEG格式的文件。在這樣的實(shí)施例中，色調(diào)映射部分16A可包含在MPEG文件的圖像部分中，而HDR信息部分16B可存儲(chǔ)在MPEG文件的一個(gè)或多個(gè)應(yīng)用擴(kuò)展中和/或存儲(chǔ)在MPEG文件的一個(gè)或多個(gè)注釋部分中。在這樣的實(shí)施例中，任何標(biāo)準(zhǔn)的MPEG觀看器可打開數(shù)據(jù)結(jié)構(gòu)16，并以低于原始HDR數(shù)據(jù)12或重建的HDR圖像21的動(dòng)態(tài)范圍來顯示色調(diào)映射部分16A中提供的圖像。一個(gè)HDR信息部分16B可與MPEG視頻文件的每個(gè)幀相關(guān)聯(lián)，或?qū)τ诓捎藐P(guān)鍵幀的MPEG的版本，HDR信息部分16B可以僅與關(guān)鍵幀相關(guān)聯(lián)。傳統(tǒng)MPEG關(guān)鍵幀插入技術(shù)可用來創(chuàng)建關(guān)鍵幀間幀(即關(guān)鍵幀之間的幀)。
標(biāo)準(zhǔn)MPEG觀看器忽略它們不支持的MPEG文件的通道。因此，HDR信息部分16B的存在基本上不影響使用任何標(biāo)準(zhǔn)JPEG觀看器來觀看來自數(shù)據(jù)結(jié)構(gòu)16的圖像。如果HDR信息16B在MPEG文件的注釋字段中，則HDR信息16B優(yōu)選地編碼為ASCII文本，因?yàn)橐恍?yīng)用可能試圖讀取MPEG文件的注釋字段。這樣的應(yīng)用可能期望注釋字段僅包含文本，并且在試圖打開包含非期望類型數(shù)據(jù)的注釋字段時(shí)，可不正確地運(yùn)行。
色調(diào)映射部分16A可根據(jù)色調(diào)映射數(shù)據(jù)15以任何合適的方式來創(chuàng)建。例如，色調(diào)映射部分16A可使用合適的色調(diào)映射算子來生成。該色調(diào)映射算子優(yōu)選地具有下列特性·原始HDR輸入(即原始HDR圖像數(shù)據(jù)12)被平滑地映射到標(biāo)準(zhǔn)動(dòng)態(tài)分辨率(典型地為24位)輸出域中；·沒有色調(diào)映射算子的輸出的分量被鉗位于值0或255；·對(duì)于每個(gè)像素，色調(diào)(hue)被保持；以及·如果色調(diào)映射算子改變飽和值，則其僅進(jìn)行可由可逆函數(shù)描述的輕微改變。
發(fā)明人已發(fā)現(xiàn)在ACM Transations on Graphics，21，3，249-256(2002)、Durand和Dorsey的“Fast bilateral filtering for the display ofhigh dynamicrange images”中所描述的雙邊濾波器提供了合適的色調(diào)映射算子。色調(diào)映射部分16A可以使用合適的編碼器如JPEG編碼器或MPEG編碼器來編碼。
色調(diào)映射部分16A可以以任何合適的方式來表示像素顏色值。例如，像素顏色值可以表示為RGB(紅、綠和藍(lán))值、CMYK(青、紫、黃和黑)值、YCbCr(亮度和色度)值等。色調(diào)映射部分16A中的數(shù)據(jù)可使用任何合適的壓縮方案來壓縮。例如，色調(diào)映射部分16A中的數(shù)據(jù)可以與JPEG或MPEG格式兼容的方式來壓縮。
在本發(fā)明的一些實(shí)施例中，HDR信息部分16B包含色調(diào)映射部分16A為各像素規(guī)定的值與原始HDR圖像12為相同像素規(guī)定的值之間的比率。在這樣的實(shí)施例中，HDR信息16B可以通過將原始HDR圖像12規(guī)定的值除以色調(diào)映射部分16A規(guī)定的對(duì)應(yīng)值來生成。由此操作所產(chǎn)生的數(shù)據(jù)可以存儲(chǔ)為HDR信息部分16B?？梢赃x擇HDR信息部分16B中數(shù)據(jù)值被表示的精度，以提供重建的HDR圖像的可接受的質(zhì)量。在本發(fā)明的一些實(shí)施例中，HDR信息部分16B中的數(shù)據(jù)值每個(gè)在壓縮之前由一個(gè)字節(jié)(8位)來表示。
在本發(fā)明的一些實(shí)施例中，HDR信息部分16B規(guī)定了重建的HDR圖像21中的像素亮度與色調(diào)映射信息16A為對(duì)應(yīng)像素規(guī)定的亮度之間的關(guān)系。在這樣的實(shí)施例中，HDR信息部分16B不需要包含顏色信息。
HDR信息部分16B可包括原始HDR圖像12為圖像內(nèi)的區(qū)域或像素規(guī)定的亮度與色調(diào)映射部分16A為對(duì)應(yīng)區(qū)域或像素規(guī)定的亮度的比率。在這樣的實(shí)施例中，顏色信息由色調(diào)映射部分16A承載。在這樣的實(shí)施例中，HDR部分16B可具有與灰度圖像相同的結(jié)構(gòu)。例如，如果HDR數(shù)據(jù)結(jié)構(gòu)16包括JFIF文件，則HDR部分16B可編碼為JPEG灰度圖像。如果HDR數(shù)據(jù)結(jié)構(gòu)16包括MPEG文件，則HDR部分16B可編碼為MPEG灰度圖像。
圖3示出根據(jù)本發(fā)明的一個(gè)實(shí)施例的HDR編碼器50，其中用來構(gòu)成數(shù)據(jù)結(jié)構(gòu)16的HDR部分16B的HDR信息包括HDR圖像12中的像素值與色調(diào)映射部分16A規(guī)定的對(duì)應(yīng)值的比率。編碼器50接收HDR圖像數(shù)據(jù)12。編碼器50通過下列方式來獲得色調(diào)映射數(shù)據(jù)15通過從HDR圖像數(shù)據(jù)12中提取色調(diào)映射數(shù)據(jù)15，如虛線13和色調(diào)映射器(tonemapper)17所示；或通過從一些其它源來接收色調(diào)映射數(shù)據(jù)15，如虛線13A所示。優(yōu)選地，色調(diào)映射器17不削減顏色或亮度值，并保持色調(diào)映射數(shù)據(jù)15中的每個(gè)像素的顏色和亮度比率。
在圖示的實(shí)施例中，編碼器50包括標(biāo)準(zhǔn)編碼器52。標(biāo)準(zhǔn)編碼器對(duì)色調(diào)映射數(shù)據(jù)15進(jìn)行編碼，以產(chǎn)生編碼的色調(diào)映射數(shù)據(jù)15A。編碼的色調(diào)映射數(shù)據(jù)15A可利用標(biāo)準(zhǔn)觀看器來讀取。例如，標(biāo)準(zhǔn)編碼器52可包括將色調(diào)映射數(shù)據(jù)15編碼為可由JPEG或MPEG觀看器來讀取的JPEG或MPEG編碼的色調(diào)映射數(shù)據(jù)的編碼器。編碼的色調(diào)映射數(shù)據(jù)被保存到HDR數(shù)據(jù)結(jié)構(gòu)16的色調(diào)映射數(shù)據(jù)部分16A中。
在本發(fā)明的一些實(shí)施例中，編碼器50從一些外部的源來接收編碼的色調(diào)映射數(shù)據(jù)15A。在這樣的實(shí)施例中，編碼器50不需要并入標(biāo)準(zhǔn)編碼器52。
編碼的色調(diào)映射數(shù)據(jù)15A由解碼器54解碼，以產(chǎn)生重建的色調(diào)映射數(shù)據(jù)55。通過除法器56，HDR圖像數(shù)據(jù)12被除以重建的色調(diào)映射數(shù)據(jù)55，以產(chǎn)生比率數(shù)據(jù)57。比率數(shù)據(jù)57可選地由數(shù)據(jù)壓縮器58壓縮，以產(chǎn)生HDR信息16B。數(shù)據(jù)壓縮器58可方便地包括JPEG或MPEG編碼器。在本發(fā)明的一些實(shí)施例中，使用相同的JPEG或MPEG編碼器來對(duì)HDR數(shù)據(jù)結(jié)構(gòu)16的色調(diào)映射部分16A和HDR信息部分16B二者進(jìn)行編碼。
在本發(fā)明的一些實(shí)施例中，比率數(shù)據(jù)57包括HDR圖像數(shù)據(jù)12的值與色調(diào)映射數(shù)據(jù)15(或色調(diào)映射部分16A)所規(guī)定的對(duì)應(yīng)值的比率的某個(gè)函數(shù)。例如，比率數(shù)據(jù)57可包括規(guī)定這樣的比率的對(duì)數(shù)的信息。
在本發(fā)明的一些可替選實(shí)施例中，色調(diào)映射數(shù)據(jù)15被直接提供給除法器56，如線53所示。在這樣的實(shí)施例中，不需要解碼器54。如果色調(diào)映射部分16A使用有損失的算法如JPEG或MPEG編碼來編碼，則優(yōu)選的是使HDR信息部分16B基于重建的色調(diào)映射數(shù)據(jù)55，而不是基于色調(diào)映射數(shù)據(jù)15。如果色調(diào)映射信息部分16A通過有損失的編碼過程來編碼，則HDR信息部分16B基于重建的色調(diào)映射數(shù)據(jù)55使得能夠根據(jù)HDR數(shù)據(jù)結(jié)構(gòu)16來更精確地重建HDR圖像數(shù)據(jù)12。將使用色調(diào)映射信息部分16A而不是色調(diào)映射數(shù)據(jù)15來重建HDR圖像21(圖1)。
壓縮器58可采取多種形式中的任何形式。在本發(fā)明的一些實(shí)施例中，壓縮器58執(zhí)行下列操作中的一個(gè)或多個(gè)·對(duì)比率數(shù)據(jù)57進(jìn)行下采樣；·對(duì)比率數(shù)據(jù)57進(jìn)行壓縮。
可使用任何合適形式的壓縮。在本發(fā)明的當(dāng)前優(yōu)選實(shí)施例中，壓縮器58既對(duì)比率數(shù)據(jù)57進(jìn)行下采樣，也對(duì)下采樣的比率數(shù)據(jù)進(jìn)行編碼。如果比率數(shù)據(jù)57被下采樣，則HDR信息部分16B具有比比率數(shù)據(jù)57或色調(diào)映射數(shù)據(jù)15小的圖像尺寸(即HDR信息部分16B規(guī)定的像素?cái)?shù)目的值小于比率數(shù)據(jù)57或色調(diào)映射數(shù)據(jù)15規(guī)定的像素?cái)?shù)目的值)。在這樣的情形下，HDR信息部分16B具有比色調(diào)映射數(shù)據(jù)15低的空間分辨率。
在其中比率數(shù)據(jù)57經(jīng)受下采樣或其它有損失的壓縮機(jī)制的那些本發(fā)明的實(shí)施例中，HDR信息16B可缺乏精確重建HDR圖像數(shù)據(jù)12所必需的所有細(xì)節(jié)。由比率數(shù)據(jù)57的有損失的壓縮所導(dǎo)致的失真可通過對(duì)色調(diào)映射部分16A和/或HDR信息部分16B施加校正來至少部分地加以補(bǔ)償。
圖4是圖示了方法60的操作的流程圖，方法60對(duì)色調(diào)映射部分16A或HDR信息部分16B中的數(shù)據(jù)施加校正，以減少由色調(diào)映射部分16A和/或HDR信息部分16B的有損失的編碼所導(dǎo)致的假象。在框62和64中，方法60獲取HDR圖像數(shù)據(jù)90和色調(diào)映射數(shù)據(jù)91。HDR圖像數(shù)據(jù)90和色調(diào)映射數(shù)據(jù)91可以包括上述那些方式的任何合適的方式來獲得。在一些實(shí)施例中，色調(diào)映射數(shù)據(jù)91從HDR圖像數(shù)據(jù)90中提取，如箭頭65所示。
在框66中，色調(diào)映射數(shù)據(jù)91被編碼，以產(chǎn)生編碼的色調(diào)映射數(shù)據(jù)92。在本發(fā)明的一些實(shí)施例中，編碼框66包括JPEG或MPEG編碼。隨后，在框68中，編碼的色調(diào)映射數(shù)據(jù)92被解碼，以產(chǎn)生重建的色調(diào)映射數(shù)據(jù)94。重建框68可包括將編碼的色調(diào)映射數(shù)據(jù)92傳遞到合適的解碼器，在框66包括JPEG或MPEG編碼的情形下，該解碼器如JPEG或MPEG解碼器。
框70通過應(yīng)用一個(gè)函數(shù)來生成比率數(shù)據(jù)96，該函數(shù)以來自HDR圖像數(shù)據(jù)90的值(第一值)和來自重建的色調(diào)映射數(shù)據(jù)94的對(duì)應(yīng)值(第二值)作為輸入。該函數(shù)包括將第一值除以第二值或?qū)⒌诙党缘谝恢?。在本發(fā)明的一個(gè)簡(jiǎn)單實(shí)施例中，比率數(shù)據(jù)96包括針對(duì)圖像中每個(gè)像素的值RI，由下面的等式給出
RI(x,y)=L(HDR(x,y))L(TM(x,y))---(1)]]>其中(x，y)是對(duì)像素進(jìn)行標(biāo)識(shí)的坐標(biāo)；L是根據(jù)像素的數(shù)據(jù)返回像素亮度的函數(shù)；HDR(x，y)是坐標(biāo)(x，y)處的HDR圖像數(shù)據(jù)90中的像素?cái)?shù)據(jù)；而TM(x，y)是針對(duì)坐標(biāo)(x，y)處像素的重建的色調(diào)映射數(shù)據(jù)94(或色調(diào)映射數(shù)據(jù)91)中的像素?cái)?shù)據(jù)。在一些實(shí)施例中，比率數(shù)據(jù)存儲(chǔ)RI的對(duì)數(shù)、RI的平方根或RI的另一函數(shù)。
框72和74對(duì)比率數(shù)據(jù)96進(jìn)行編碼。在此典型實(shí)施例中，編碼包括在框72中對(duì)比率數(shù)據(jù)96進(jìn)行下采樣，以產(chǎn)生下采樣比率數(shù)據(jù)98，以及然后，對(duì)下采樣比率數(shù)據(jù)98進(jìn)行壓縮，以產(chǎn)生編碼的比率數(shù)據(jù)100?？梢曰谑沟肏DR圖像部分16B小以及使得根據(jù)HDR數(shù)據(jù)結(jié)構(gòu)16重建的HDR圖像以最高保真度再現(xiàn)HDR圖像數(shù)據(jù)90的競(jìng)爭(zhēng)目標(biāo)(competing goal)來選擇在框72中執(zhí)行的下采樣的量。在本發(fā)明的一些實(shí)施例中，比率數(shù)據(jù)96被充分地下采樣，使得下采樣比率數(shù)據(jù)98的像素是比率數(shù)據(jù)96的1/4到1/15。
例如，下采樣可使用高斯濾波器核(Gaussian filter kernel)來執(zhí)行，高斯濾波器核遵循加權(quán)公式e-(x^2/R^2)，其中x是輸入圖像中與輸出像素的中心的距離，R是下采樣半徑。下采樣半徑可定義為這樣的區(qū)域在該區(qū)域下，有貢獻(xiàn)的輸入像素的權(quán)重共計(jì)為輸出像素總值的一顯著部分。
可以在框74中執(zhí)行任何合適形式的數(shù)據(jù)壓縮。在本發(fā)明的一些實(shí)施例中，框74執(zhí)行JPEG編碼。在本發(fā)明的其它實(shí)施例中，框74執(zhí)行MPEG編碼。
在框76中，重建的比率數(shù)據(jù)102通過對(duì)編碼的比率數(shù)據(jù)100進(jìn)行解碼來創(chuàng)建。由于框74和76中的數(shù)據(jù)損失，重建的比率數(shù)據(jù)102一般與比率數(shù)據(jù)96不相同。
在框78中，通過將框70中應(yīng)用于比率數(shù)據(jù)的函數(shù)的反函數(shù)應(yīng)用于重建的比率數(shù)據(jù)102、以及然后對(duì)于每個(gè)像素將重建的色調(diào)映射數(shù)據(jù)94中的像素的亮度與該結(jié)果相乘，來創(chuàng)建重建的HDR圖像數(shù)據(jù)104。例如，如果比率數(shù)據(jù)96存儲(chǔ)如等式(1)中所定義的值RI，則可通過將重建的色調(diào)映射數(shù)據(jù)94中的每個(gè)像素的亮度乘以來自重建的比率數(shù)據(jù)102的RI的對(duì)應(yīng)值來獲得重建的HDR圖像數(shù)據(jù)104。例如，如果比率數(shù)據(jù)存儲(chǔ)自然對(duì)數(shù)值In(RI)，則可通過將自然對(duì)數(shù)的底數(shù)e上升至重建的比率數(shù)據(jù)102中的值的冪、并然后將該結(jié)果與重建的色調(diào)映射數(shù)據(jù)94中的每個(gè)像素的亮度相乘來獲得重建的HDR圖像數(shù)據(jù)104。
由于重建的比率數(shù)據(jù)102與原始比率數(shù)據(jù)96不相同，并且由于比率數(shù)據(jù)96中的舍入誤差(通常較不重要)，重建的HDR圖像數(shù)據(jù)104將與原始HDR圖像數(shù)據(jù)90不相同。可選地，框80將重建的HDR圖像數(shù)據(jù)104與原始HDR圖像數(shù)據(jù)90相比較，以確定是否需要任何校正，并確定將如何執(zhí)行校正。可通過校正色調(diào)映射部分16A的數(shù)據(jù)和/或通過校正HDR信息部分16B的數(shù)據(jù)來執(zhí)行校正。一些方法簡(jiǎn)單地執(zhí)行這些校正中的一個(gè)或另一個(gè)。
框82獲得校正的色調(diào)映射數(shù)據(jù)106。可通過將原始HDR圖像數(shù)據(jù)90除以重建的比率數(shù)據(jù)102來獲得校正的色調(diào)映射數(shù)據(jù)106。然后如果必要，則對(duì)校正的色調(diào)映射數(shù)據(jù)106進(jìn)行編碼，如框83所示，并在框84中將校正的色調(diào)映射數(shù)據(jù)106存儲(chǔ)為HDR數(shù)據(jù)結(jié)構(gòu)16的色調(diào)映射數(shù)據(jù)部分16A。此預(yù)校正可以在可獲得重建的比率數(shù)據(jù)102之后的任何時(shí)間執(zhí)行。對(duì)許多場(chǎng)合來說，此預(yù)校正未使可通過利用傳統(tǒng)圖像觀看器來觀看色調(diào)映射數(shù)據(jù)部分16A來看到的圖像顯著劣化。此校正趨向于使得色調(diào)映射部分16A表示的圖像比沒有此校正的情形下有些銳化。在框86中，重建的HDR圖像數(shù)據(jù)104可存儲(chǔ)為HDR數(shù)據(jù)結(jié)構(gòu)16的HDR信息部分16B在某些情形下，改變存儲(chǔ)在色調(diào)映射部分16A中的色調(diào)映射數(shù)據(jù)是不需要的。例如，編碼的色調(diào)映射數(shù)據(jù)92可能已被仔細(xì)優(yōu)化，以在利用特定觀看器例如DVD播放機(jī)中的MPEG解碼器觀看時(shí)提供最佳圖像質(zhì)量。在這樣的情形下，編碼的色調(diào)映射數(shù)據(jù)92可存儲(chǔ)在數(shù)據(jù)結(jié)構(gòu)16的色調(diào)映射部分16A中，并且比率數(shù)據(jù)96可存儲(chǔ)在HDR數(shù)據(jù)結(jié)構(gòu)16的HDR信息部分16B中。對(duì)根據(jù)數(shù)據(jù)結(jié)構(gòu)16所產(chǎn)生的HDR圖像的外觀的校正可通過在重建HDR圖像時(shí)校正HDR信息部分16B來進(jìn)行。例如，HDR信息部分16B中的數(shù)據(jù)可通過能夠處理HDR圖像的觀看器來校正。
圖5是圖示了方法110的操作的流程圖，方法110將后校正施加于HDR信息部分16B中的數(shù)據(jù)，以減少由HDR信息部分16B的有損失的編碼所導(dǎo)致的假象。方法110可在能夠處理HDR圖像的處理器上執(zhí)行。在框112，由標(biāo)準(zhǔn)解碼器對(duì)色調(diào)映射數(shù)據(jù)部分16A進(jìn)行解碼，以產(chǎn)生標(biāo)準(zhǔn)圖像19。在框114，使用解碼的色調(diào)映射信息來校正HDR信息部分16B。在框116，由HDR解碼器對(duì)校正的HDR信息進(jìn)行解碼，以產(chǎn)生重建的HDR圖像21。
在簡(jiǎn)單的情形下，如果由色調(diào)映射數(shù)據(jù)部分16A表示的全分辨率圖像的空間頻率內(nèi)容與比率數(shù)據(jù)96基本上相同，則校正的比率數(shù)據(jù)可通過執(zhí)行下列計(jì)算來獲得RICORRECTED=RI×L(TM)L(TMR)---(2)]]>其中RICORRECTED是校正的HDR信息所基于的RI的校正值；RI是來自比率數(shù)據(jù)96的像素的比率；L(TM)是來自色調(diào)映射數(shù)據(jù)91的像素的亮度；而L(TMR)是已經(jīng)以與框72中所執(zhí)行的相同的方式被下采樣以產(chǎn)生下采樣比率數(shù)據(jù)98的色調(diào)映射數(shù)據(jù)的對(duì)應(yīng)像素的亮度。色調(diào)映射數(shù)據(jù)可以與比率圖像RI相同的方式被下采樣，然后再被上采樣，以使TM和TMR具有相同的分辨率。
此簡(jiǎn)單校正并非總是適當(dāng)?shù)?，因?yàn)閷?duì)于所有圖像，比率數(shù)據(jù)96中所呈現(xiàn)的空間頻率與色調(diào)映射數(shù)據(jù)91中所呈現(xiàn)的空間頻率不相同。因此，優(yōu)選地在校正函數(shù)中包括了一個(gè)因子，該因子考慮了比率數(shù)據(jù)96中的RI的值與對(duì)應(yīng)的L(TMR)的值之間的比率的偏差(variance)?？紤]此偏差的一種方法是根據(jù)下面的等式來生成校正的值RICORRECTEDRICORRECTED=RI×(L(TM)L(TMR))σ---(3)]]>其中σ是對(duì)比率數(shù)據(jù)96中RI的值與對(duì)應(yīng)L(TMR)值之間的比率的偏差的度量。在本發(fā)明的一些實(shí)施例中，σ根據(jù)下面的等式來計(jì)算σ=var(RI)var(L(TMR))---(4)]]>偏差函數(shù)var(x)可定義為鄰域內(nèi)的像素的x的最大值與最小值之間的差除以該鄰域內(nèi)的x的平均值或除以位于該鄰域中心的像素的x的值。例如，可以在以所討論的像素為中心的一塊像素的范圍內(nèi)來計(jì)算偏差。在其范圍內(nèi)計(jì)算σ的鄰域的大小優(yōu)選地等于用于框72的下采樣的下采樣半徑。
由于框114所提供的后校正可引入假象，所以需要保守地選擇校正的量值。例如，如果var(L(TMR))大于試圖校正的誤差，則σ可設(shè)定為零。誤差的量值可通過框80的比較來確定，并被存儲(chǔ)在數(shù)據(jù)結(jié)構(gòu)16中。還需要確保0≤σ≤1。如果允許σ具有大于1的值，可導(dǎo)致RICORRECTED的值高得不合期望。
在可選地執(zhí)行框82、83和84的預(yù)校正并且還允許在觀看HDR圖像時(shí)執(zhí)行框83的校正的本發(fā)明的實(shí)施例中，需要在數(shù)據(jù)結(jié)構(gòu)16中包括指示是否已執(zhí)行預(yù)校正的標(biāo)志。該標(biāo)志優(yōu)選地提供于注釋字段或應(yīng)用擴(kuò)展字段中，可被不支持HDR圖像的標(biāo)準(zhǔn)顯示器所忽略。
在某些情形下，HDR顯示器能夠重現(xiàn)傳統(tǒng)顯示器的色階之外的顏色。需要提供一種機(jī)制，其允許高保真地再現(xiàn)原始HDR圖像數(shù)據(jù)所規(guī)定的顏色。提供增強(qiáng)色的一種方法是對(duì)顏色信息進(jìn)行縮放，使得具有可由用來對(duì)色調(diào)映射部分16A進(jìn)行編碼的編碼器(例如，其可以是JPEG編碼器或MPEG編碼器)有效處理的范圍之外的基本成分的任何顏色被縮放回可由該編碼器處理的范圍內(nèi)。可調(diào)整比率數(shù)據(jù)，以正確地恢復(fù)被縮放的顏色。
提供增強(qiáng)色的一種方法是在創(chuàng)建色調(diào)映射部分16A的同時(shí)對(duì)圖像施加整體去飽和。可選擇去飽和的量，以確保圖像中的所有顏色在可由用來對(duì)色調(diào)映射部分16A進(jìn)行編碼的JPEG編碼器或其它編碼器有效處理的范圍之內(nèi)。在此方法和上述方法二者中，優(yōu)先選擇此方法，因?yàn)槠淠軌蛱幚砭哂胸?fù)的基本成分的顏色。負(fù)的基本成分在某些HDR格式中是允許的，并且可能對(duì)于表示標(biāo)準(zhǔn)RGB色階之外的顏色是必需的。在由HDR觀看器解碼期間，去飽和過程可以是反向的。
輸入顏色飽和水平可定義如下S≡1-min(R,G,B)Y---(5)]]>其中S是飽和水平；R、G和B分別是紅、綠和藍(lán)基色成分的值；而Y是總體亮度。如果圖像包含基色成分的任何負(fù)值，則飽和水平將具有大于1的值。
如果飽和水平為零，則不需要對(duì)圖像進(jìn)行附加的處理。如果飽和水平不為零，則飽和水平可根據(jù)下面的等式來修改S′=α×Sβ---(6)]]>其中，α和β是參數(shù)；S′是校正的飽和度。α參數(shù)指示在編碼的顏色中保持多大的飽和度。
可通過導(dǎo)出圖像每個(gè)像素的基本成分的新值來實(shí)現(xiàn)飽和水平的改變。在一些實(shí)施例中，這根據(jù)下面的等式來執(zhí)行R′=(1-S′S)Y+S′SR---(7)]]>以及
G′=(1-S′S)Y+S′SG---(8)]]>以及B′=(1-S′S)Y+S′SB---(9)]]>其中R′、G和B′分別是R、G和B的縮放值。
注意，此變換不改變亮度Y。在變換之前為最小的基本成分在變換之后保持最小。原始顏色值可通過對(duì)等式(7)、(8)和(9)取反來恢復(fù)。例如，如果一像素的具有最小值的基色成分為藍(lán)，則該像素的針對(duì)藍(lán)通道的反變換由下面的等式給出B=Y-Y×(Y-B1αY)1/β---(10)]]>而針對(duì)紅和綠通道的反變換分別由下面的等式給出R=Y-(Y-R′)α(1-BY)1-β---(11)]]>以及G=Y-(Y-G′)α(1-BY)1-β---(12)]]>實(shí)例如上所述，多個(gè)HDR圖像存儲(chǔ)在HDR數(shù)據(jù)結(jié)構(gòu)16中。原始圖像與根據(jù)HDR數(shù)據(jù)結(jié)構(gòu)16重建的HDR圖像作比較。Digital Image andHuman Vision，A.B.Watson editor，MIT Press，Cambridge Massachusetts，1993中的Daly等的“The visual differences predictorAn algorithm for theassessment of image fidelity”中描述的Daly視差預(yù)測(cè)器(VDP)被用來評(píng)估在典型的觀看條件下人可察覺的、可能與原始HDR圖像的對(duì)應(yīng)像素不同的重建的HDR圖像中像素的百分?jǐn)?shù)(例如具有大于75％的概率)。VDP是預(yù)測(cè)何時(shí)可察覺圖像之間的差異的優(yōu)秀預(yù)測(cè)器。
第一組實(shí)驗(yàn)涉及使用各種色調(diào)映射算子來產(chǎn)生色調(diào)映射部分16A，且對(duì)于每個(gè)色調(diào)映射算子，根據(jù)上述校正方法之一來校正色調(diào)映射部分16A或HDR信息部分16B。色調(diào)映射部分16A和HDR信息16B的每個(gè)使用JPEG編碼以兩個(gè)質(zhì)量水平90和100來編碼。此組實(shí)驗(yàn)產(chǎn)生表I所示的結(jié)果。

表I中的VDP值是多個(gè)圖像的平均?？梢钥吹?，色調(diào)映射算子的選擇可對(duì)可根據(jù)HDR數(shù)據(jù)結(jié)構(gòu)16重建的HDR圖像的質(zhì)量有相當(dāng)?shù)挠绊?。在這些實(shí)驗(yàn)中所使用的色調(diào)映射算子中，平均起來，雙邊濾波器看來似乎提供了最佳結(jié)果。
本發(fā)明的特定實(shí)施包括執(zhí)行軟件指令的計(jì)算機(jī)處理器，所述軟件指令使得處理器執(zhí)行本發(fā)明的方法。例如，計(jì)算機(jī)系統(tǒng)中的一個(gè)或多個(gè)處理器可通過執(zhí)行處理器可訪問的程序存儲(chǔ)器中的軟件指令來實(shí)施圖1到5中的任何方法。本發(fā)明還可以程序產(chǎn)品的形式提供。該程序產(chǎn)品可包括承載一組計(jì)算機(jī)可讀信號(hào)的任何介質(zhì)，該組計(jì)算機(jī)可讀信號(hào)包括由計(jì)算機(jī)處理器執(zhí)行時(shí)使得數(shù)據(jù)處理器執(zhí)行本發(fā)明的方法的指令。根據(jù)本發(fā)明的程序產(chǎn)品可以是多種形式的任一種。例如，該程序產(chǎn)品可包括物理介質(zhì)，如包括軟盤、硬盤驅(qū)動(dòng)器的磁數(shù)據(jù)存儲(chǔ)介質(zhì)、包括CD ROM、DVD的光數(shù)據(jù)存儲(chǔ)介質(zhì)、包括ROM、快閃RAM等的電子數(shù)據(jù)存儲(chǔ)介質(zhì)、或傳輸型介質(zhì)，如數(shù)字或模擬通信鏈路。可選地，指令可以壓縮的和/或加密的格式存在于計(jì)算機(jī)可讀信號(hào)中。
如果一部件(例如軟件模塊、處理器、組件、設(shè)備、電路等)指的是上述部件，除非另外指出，對(duì)該部件的引用(包括對(duì)“裝置”的引用)應(yīng)解釋為包括該部件的等同，執(zhí)行所述部件功能(即功能上等同)的任何部件，包括在結(jié)構(gòu)上不等同于執(zhí)行本發(fā)明所示典型實(shí)施例中功能的所公開的結(jié)構(gòu)的部件。
根據(jù)前面的公開，對(duì)于本領(lǐng)域的技術(shù)人員顯而易見的是，可以在不背離本發(fā)明的精神和范圍的情況下，對(duì)本發(fā)明的實(shí)踐進(jìn)行多種改變和修改。因此，本發(fā)明的范圍應(yīng)根據(jù)由下面的權(quán)利要求所限定的實(shí)質(zhì)來解釋。
權(quán)利要求
1.一種用于對(duì)具有初始動(dòng)態(tài)范圍的高動(dòng)態(tài)范圍圖像數(shù)據(jù)進(jìn)行編碼的方法，所述方法包括獲得對(duì)應(yīng)于所述高動(dòng)態(tài)范圍圖像數(shù)據(jù)的色調(diào)映射數(shù)據(jù)，所述色調(diào)映射數(shù)據(jù)具有低于所述初始動(dòng)態(tài)范圍的減小的動(dòng)態(tài)范圍；計(jì)算比率數(shù)據(jù)，所述比率數(shù)據(jù)包括所述高動(dòng)態(tài)范圍圖像數(shù)據(jù)中的值與所述色調(diào)映射數(shù)據(jù)中的對(duì)應(yīng)值的比率；基于所述比率數(shù)據(jù)來生成高動(dòng)態(tài)范圍信息；基于所述色調(diào)映射數(shù)據(jù)來生成色調(diào)映射信息；以及將所述高動(dòng)態(tài)范圍信息和所述色調(diào)映射信息存儲(chǔ)在數(shù)據(jù)結(jié)構(gòu)中。
2.根據(jù)權(quán)利要求1的方法，其中所述數(shù)據(jù)結(jié)構(gòu)包括圖像字段和應(yīng)用擴(kuò)展字段，并且存儲(chǔ)所述高動(dòng)態(tài)范圍信息和所述色調(diào)映射信息包括將所述高動(dòng)態(tài)范圍信息存儲(chǔ)在所述應(yīng)用擴(kuò)展字段中以及將所述色調(diào)映射信息存儲(chǔ)在所述圖像字段中。
3.根據(jù)權(quán)利要求1的方法，其中生成所述色調(diào)映射信息包括對(duì)所述色調(diào)映射數(shù)據(jù)進(jìn)行JPEG編碼。
4.根據(jù)權(quán)利要求3的方法，其中所述數(shù)據(jù)結(jié)構(gòu)包括JFIF數(shù)據(jù)結(jié)構(gòu)。
5.根據(jù)權(quán)利要求4的方法，包括將所述高動(dòng)態(tài)范圍信息存儲(chǔ)在所述JFIF數(shù)據(jù)結(jié)構(gòu)的應(yīng)用擴(kuò)展中。
6.根據(jù)權(quán)利要求4的方法，包括將所述高動(dòng)態(tài)范圍信息存儲(chǔ)在所述JFIF數(shù)據(jù)結(jié)構(gòu)的注釋字段中。
7.根據(jù)權(quán)利要求6的方法，包括在將所述高動(dòng)態(tài)范圍信息存儲(chǔ)在所述注釋字段中之前將所述高動(dòng)態(tài)范圍信息編碼為文本。
8.根據(jù)權(quán)利要求4的方法，其中生成所述高動(dòng)態(tài)范圍信息包括壓縮所述比率數(shù)據(jù)。
9.根據(jù)權(quán)利要求8的方法，其中壓縮所述比率數(shù)據(jù)包括對(duì)所述比率數(shù)據(jù)進(jìn)行下采樣。
10.根據(jù)權(quán)利要求8的方法，其中壓縮所述比率數(shù)據(jù)包括對(duì)所述比率數(shù)據(jù)進(jìn)行JPEG編碼。
11.根據(jù)權(quán)利要求1的方法，其中生成所述色調(diào)映射信息包括對(duì)所述色調(diào)映射數(shù)據(jù)進(jìn)行MPEG編碼。
12.根據(jù)權(quán)利要求11的方法，其中所述數(shù)據(jù)結(jié)構(gòu)包括MPEG數(shù)據(jù)結(jié)構(gòu)。
13.根據(jù)權(quán)利要求12的方法，包括將所述高動(dòng)態(tài)范圍信息存儲(chǔ)在所述MPEG數(shù)據(jù)結(jié)構(gòu)的應(yīng)用擴(kuò)展中。
14.根據(jù)權(quán)利要求12的方法，包括將所述高動(dòng)態(tài)范圍信息存儲(chǔ)在所述MPEG數(shù)據(jù)結(jié)構(gòu)的注釋字段中。
15.根據(jù)權(quán)利要求13或權(quán)利要求14的方法，包括針對(duì)MPEG視頻的每個(gè)幀存儲(chǔ)所述高動(dòng)態(tài)范圍信息。
16.根據(jù)權(quán)利要求13或權(quán)利要求14的方法，包括僅針對(duì)MPEG視頻的關(guān)鍵幀存儲(chǔ)所述高動(dòng)態(tài)范圍信息，傳統(tǒng)MPEG關(guān)鍵幀插入技術(shù)用來為所述關(guān)鍵幀創(chuàng)建關(guān)鍵幀間幀。
17.根據(jù)權(quán)利要求11的方法，其中生成所述高動(dòng)態(tài)范圍信息包括壓縮所述比率數(shù)據(jù)。
18.根據(jù)權(quán)利要求17的方法，其中壓縮所述比率數(shù)據(jù)包括對(duì)所述比率數(shù)據(jù)進(jìn)行下采樣。
19.根據(jù)權(quán)利要求17的方法，其中壓縮所述比率數(shù)據(jù)包括對(duì)所述比率數(shù)據(jù)進(jìn)行MPEG編碼。
20.根據(jù)權(quán)利要求1的方法，其中所述色調(diào)映射數(shù)據(jù)通過有損失的編碼來編碼，并且所述方法包括對(duì)所述色調(diào)映射數(shù)據(jù)進(jìn)行解碼、以及隨后根據(jù)所解碼的色調(diào)映射數(shù)據(jù)來計(jì)算所述比率數(shù)據(jù)。
21.根據(jù)權(quán)利要求20的方法，包括在對(duì)所述色調(diào)映射數(shù)據(jù)進(jìn)行解碼之前通過所述有損失的編碼方法對(duì)所述色調(diào)映射數(shù)據(jù)進(jìn)行編碼。
22.根據(jù)權(quán)利要求20或權(quán)利要求21的方法，其中存儲(chǔ)所述色調(diào)映射信息包括存儲(chǔ)所編碼的色調(diào)映射數(shù)據(jù)。
23.根據(jù)權(quán)利要求22的方法，其中生成所述高動(dòng)態(tài)范圍信息包括壓縮所述比率數(shù)據(jù)，以產(chǎn)生壓縮的比率數(shù)據(jù)。
24.根據(jù)權(quán)利要求23的方法，其中壓縮所述比率數(shù)據(jù)包括執(zhí)行所述比率數(shù)據(jù)的有損失的壓縮。
25.根據(jù)權(quán)利要求24的方法，其中壓縮所述比率數(shù)據(jù)包括對(duì)所述比率數(shù)據(jù)進(jìn)行下采樣。
26.根據(jù)權(quán)利要求24或權(quán)利要求25的方法，其中壓縮所述比率數(shù)據(jù)包括對(duì)所述比率數(shù)據(jù)進(jìn)行JPEG編碼。
27.根據(jù)權(quán)利要求24或權(quán)利要求25的方法，其中壓縮所述比率數(shù)據(jù)包括對(duì)所述比率數(shù)據(jù)進(jìn)行MPEG編碼。
28.根據(jù)權(quán)利要求23到27中的任何一項(xiàng)的方法，其中生成所述色調(diào)映射信息包括根據(jù)所述壓縮的比率數(shù)據(jù)來重建所述比率數(shù)據(jù)以及將所述高動(dòng)態(tài)范圍圖像數(shù)據(jù)除以所重建的比率數(shù)據(jù)。
29.根據(jù)權(quán)利要求23到27中的任何一項(xiàng)的方法，其中生成所述高動(dòng)態(tài)范圍信息包括將校正函數(shù)應(yīng)用于所述比率數(shù)據(jù)，所述校正函數(shù)基于所述色調(diào)映射數(shù)據(jù)。
30.根據(jù)權(quán)利要求29的方法，其中所述校正函數(shù)包括L(TM)與L(TMR)的比率，其中L(TM)是所述色調(diào)映射數(shù)據(jù)中像素的亮度，而L(TMR)是已被下采樣的色調(diào)映射數(shù)據(jù)的對(duì)應(yīng)像素的亮度。
31.根據(jù)權(quán)利要求29的方法，其中所述校正函數(shù)的形式為RICORRECTED=RI×(L(TM)L(TMR))σ]]>或其數(shù)學(xué)等價(jià)式，其中σ是數(shù)值參數(shù)。
32.根據(jù)權(quán)利要求31的方法，其中σ是L(TM)與L(TMR)的比率的偏差的度量。
33.根據(jù)權(quán)利要求32的方法，其中σ根據(jù)下面的等式來計(jì)算σ=var(RI)var(L(TMR))]]>
34.根據(jù)權(quán)利要求1到33中的任何一項(xiàng)的方法，其中生成所述高動(dòng)態(tài)范圍信息包括計(jì)算所述比率數(shù)據(jù)的數(shù)學(xué)函數(shù)。
35.根據(jù)權(quán)利要求34的方法，其中所述數(shù)學(xué)函數(shù)包括對(duì)數(shù)計(jì)算。
36.根據(jù)權(quán)利要求1的方法，其中獲得所述色調(diào)映射數(shù)據(jù)包括利用色調(diào)映射器而不削減顏色或亮度值來生成所述色調(diào)映射數(shù)據(jù)。
37.根據(jù)權(quán)利要求1的方法，其中獲得所述色調(diào)映射數(shù)據(jù)包括利用色調(diào)映射器來生成所述色調(diào)映射數(shù)據(jù)，所述色調(diào)映射器保持所述色調(diào)映射數(shù)據(jù)的每個(gè)像素的顏色和亮度比率。
38.一種用于表示具有初始動(dòng)態(tài)范圍的高動(dòng)態(tài)范圍圖像的數(shù)據(jù)結(jié)構(gòu)，所述數(shù)據(jù)結(jié)構(gòu)包括色調(diào)映射部分和高動(dòng)態(tài)范圍信息部分，所述色調(diào)映射部分包含表示所述圖像的色調(diào)映射信息，所述色調(diào)映射部分具有小于所述初始動(dòng)態(tài)范圍的減小的動(dòng)態(tài)范圍；所述高動(dòng)態(tài)范圍信息部分包含描述所述色調(diào)映射部分中的值與所述高動(dòng)態(tài)范圍圖像的對(duì)應(yīng)值的比率的信息。
39.根據(jù)權(quán)利要求38的數(shù)據(jù)結(jié)構(gòu)，其中所述色調(diào)映射部分中的值是亮度值。
40.根據(jù)權(quán)利要求38的數(shù)據(jù)結(jié)構(gòu)，其中所述色調(diào)映射信息是JPEG編碼的。
41.根據(jù)權(quán)利要求40的數(shù)據(jù)結(jié)構(gòu)，其中所述數(shù)據(jù)結(jié)構(gòu)構(gòu)成JFIF數(shù)據(jù)結(jié)構(gòu)。
42.根據(jù)權(quán)利要求41的數(shù)據(jù)結(jié)構(gòu)，其中所述高動(dòng)態(tài)范圍信息部分包括至少一個(gè)JFIF應(yīng)用擴(kuò)展。
43.根據(jù)權(quán)利要求41的數(shù)據(jù)結(jié)構(gòu)，其中所述高動(dòng)態(tài)范圍信息部分包括JFIF注釋字段。
44.根據(jù)權(quán)利要求38的數(shù)據(jù)結(jié)構(gòu)，其中所述色調(diào)映射信息是MPEG編碼的。
45.根據(jù)權(quán)利要求44的數(shù)據(jù)結(jié)構(gòu)，其中所述數(shù)據(jù)結(jié)構(gòu)構(gòu)成MPEG數(shù)據(jù)結(jié)構(gòu)。
46.根據(jù)權(quán)利要求45的數(shù)據(jù)結(jié)構(gòu)，其中所述高動(dòng)態(tài)范圍信息部分包括至少一個(gè)MPEG應(yīng)用擴(kuò)展。
47.根據(jù)權(quán)利要求47的數(shù)據(jù)結(jié)構(gòu)，其中所述高動(dòng)態(tài)范圍信息部分包括MPEG注釋字段。
48.根據(jù)權(quán)利要求46或權(quán)利要求47的數(shù)據(jù)結(jié)構(gòu)，其中所述高動(dòng)態(tài)范圍部分與MPEG視頻的幀相關(guān)聯(lián)。
49.根據(jù)權(quán)利要求46或權(quán)利要求47的數(shù)據(jù)結(jié)構(gòu)，其中所述高動(dòng)態(tài)范圍部分與MPEG視頻的關(guān)鍵幀相關(guān)聯(lián)，傳統(tǒng)MPEG關(guān)鍵幀插入技術(shù)用來為所述關(guān)鍵幀創(chuàng)建關(guān)鍵幀間幀。
50.根據(jù)權(quán)利要求38到49中的任何一項(xiàng)的數(shù)據(jù)結(jié)構(gòu)，其中所述色調(diào)映射信息針對(duì)所有像素規(guī)定非零值。
51.根據(jù)權(quán)利要求38的數(shù)據(jù)結(jié)構(gòu)，其中所述高動(dòng)態(tài)范圍信息是壓縮的。
52.根據(jù)權(quán)利要求38的數(shù)據(jù)結(jié)構(gòu)，其中所述高動(dòng)態(tài)范圍信息是JPEG編碼的。
53.根據(jù)權(quán)利要求38的數(shù)據(jù)結(jié)構(gòu)，其中所述高動(dòng)態(tài)范圍信息是MPEG編碼的。
54.根據(jù)權(quán)利要求52或權(quán)利要求53的數(shù)據(jù)結(jié)構(gòu)，其中所述色調(diào)映射信息具有大于所述高動(dòng)態(tài)范圍信息的圖像尺寸的圖像尺寸。
55.用于對(duì)具有初始動(dòng)態(tài)范圍的高動(dòng)態(tài)范圍圖像數(shù)據(jù)進(jìn)行編碼的設(shè)備，所述設(shè)備包括用于計(jì)算比率數(shù)據(jù)的裝置，所述比率數(shù)據(jù)包括所述高動(dòng)態(tài)范圍圖像數(shù)據(jù)中的值與對(duì)應(yīng)于所述高動(dòng)態(tài)范圍圖像數(shù)據(jù)的色調(diào)映射數(shù)據(jù)中的對(duì)應(yīng)值的比率，所述色調(diào)映射數(shù)據(jù)具有低于所述初始動(dòng)態(tài)范圍的減小的動(dòng)態(tài)范圍；用于基于所述比率數(shù)據(jù)來生成高動(dòng)態(tài)范圍信息的裝置；用于基于所述色調(diào)映射數(shù)據(jù)來生成色調(diào)映射信息的裝置；以及用于將所述高動(dòng)態(tài)范圍信息和所述色調(diào)映射信息存儲(chǔ)在數(shù)據(jù)結(jié)構(gòu)中的裝置。
全文摘要
一種限定高動(dòng)態(tài)范圍圖像的數(shù)據(jù)結(jié)構(gòu)，包括具有減小的動(dòng)態(tài)范圍的色調(diào)映射以及HDR信息。所述高動(dòng)態(tài)范圍圖像可根據(jù)所述色調(diào)映射和所述HDR信息來重建。所述數(shù)據(jù)結(jié)構(gòu)可對(duì)傳統(tǒng)硬件或軟件觀看器向后兼容。所述數(shù)據(jù)結(jié)構(gòu)可包括JFIF文件或MPEG文件，所述JFIF文件使所述色調(diào)映射編碼為JPEG圖像，所述HDR信息在所述JFIF文件的應(yīng)用擴(kuò)展或注釋字段中；所述MPEG文件使所述色調(diào)映射編碼為MPEG圖像，所述HDR信息在所述MPEG文件的視頻或音頻通道中。用于對(duì)所述數(shù)據(jù)結(jié)構(gòu)進(jìn)行編碼或解碼的設(shè)備和方法可施加預(yù)校正或后校正，以補(bǔ)償所述高動(dòng)態(tài)范圍信息的有損失的編碼。
文檔編號(hào)G06T5/00GK1954344SQ200480042828
公開日2007年4月25日 申請(qǐng)日期2004年12月24日 優(yōu)先權(quán)日2004年4月23日
發(fā)明者格里戈里·J·沃德, 瑪麗安·西蒙斯 申請(qǐng)人:布賴特賽德科技有限公司