專利名稱：高動(dòng)態(tài)范圍編解碼器的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及編碼圖像數(shù)據(jù)。本發(fā)明具有用于編碼圖像或者用于編碼視頻數(shù)據(jù)序列的特殊應(yīng)用。

背景技術(shù)：
動(dòng)態(tài)范圍是一種圖像的最亮和最暗部分的相對(duì)亮度的度量。直到最近，大多數(shù)電視機(jī)、計(jì)算機(jī)監(jiān)視器和其它顯示設(shè)備已經(jīng)能夠再現(xiàn)僅僅幾百到1的動(dòng)態(tài)范圍。這遠(yuǎn)遠(yuǎn)小于人眼能察覺(jué)的動(dòng)態(tài)范圍。具有更大的動(dòng)態(tài)范圍的顯示設(shè)備正變得可用。這種高動(dòng)態(tài)范圍的顯示設(shè)備能夠提供比由傳統(tǒng)的“低動(dòng)態(tài)范圍”顯示設(shè)備產(chǎn)生的圖像更為自然和逼真的圖像。
高動(dòng)態(tài)范圍顯示設(shè)備在寬頻帶的應(yīng)用中十分有益。例如，高動(dòng)態(tài)范圍的顯示設(shè)備可以被用來(lái)顯示從電影和游戲畫(huà)面到諸如飛行模擬器的模擬器中的視覺(jué)顯示的范圍的逼真的視頻圖像。高動(dòng)態(tài)范圍的顯示設(shè)備還具有要求苛求的成像應(yīng)用方面的應(yīng)用，比如醫(yī)學(xué)成像。
許多當(dāng)前的圖像數(shù)據(jù)格式利用每像素24位或更少位數(shù)指定像素值。這些位同時(shí)指定了像素的亮度和顏色。對(duì)于指定可以在高動(dòng)態(tài)范圍顯示器能夠再現(xiàn)的范圍上平滑地變化的整個(gè)范圍的色彩和亮度，24位太少。為了從高動(dòng)態(tài)范圍顯示器獲得全部益處，需要提供能夠指定寬范圍的像素值的圖像數(shù)據(jù)。已經(jīng)開(kāi)發(fā)或建議了提供每像素更多位數(shù)的各種高動(dòng)態(tài)范圍數(shù)據(jù)格式。這種高動(dòng)態(tài)范圍數(shù)據(jù)格式與先前的較低動(dòng)態(tài)范圍數(shù)據(jù)格式不是典型地向后兼容。
例如，如同在R.Mantiuk，G.Krawczyk，K.Myszkowski和H-P.Seidel.的“Perception-motivated high dynamic range videoencoding”.ACM Transactions on Graphics(Proc.of SIGGRAPH2004)，23(3):730-38，2004中描述的HDRV“Perception-motivatedHDR Video Encoding”是一種不能提供向后兼容性的有損HDR視頻壓縮方法。該方法針對(duì)亮度利用11位以及針對(duì)色度利用兩倍8位來(lái)編碼HDR像素。這就使得視頻流不包括LDR幀上的任何信息。
在Greg Ward和Maryann Simmons.的“Subband encoding ofhigh dynamic range imagery”.In APGV`04Proceedings of the 1stSymposium on Applied perception in graphics and visualization，83-90頁(yè)，紐約，NY，USA，2004.ACM Press中描述了JPEGHDR。該方法包括子抽樣子帶層，這可能導(dǎo)致高頻損耗。為了防止產(chǎn)生這種損耗，該方法建議三種方法:預(yù)先校正LDR層，以在該層內(nèi)編碼由于子抽樣可能丟失的高頻；事后校正，其試圖恢復(fù)已經(jīng)丟失的高頻，而不是修正LDR圖像和全采樣，這意味著不執(zhí)行子抽樣。
仍然有對(duì)用于編碼和解碼HDR圖像，特別編碼和解碼是HDR視頻圖像的實(shí)用的方法和設(shè)備的需求。特別是需要這種方法和設(shè)備提供與現(xiàn)有硬件的向后兼容性以再現(xiàn)較低動(dòng)態(tài)范圍圖像。


發(fā)明內(nèi)容
本發(fā)明提供了用于編碼高動(dòng)態(tài)范圍圖像數(shù)據(jù)和用于解碼該數(shù)據(jù)以提供較低動(dòng)態(tài)范圍圖像數(shù)據(jù)和較高動(dòng)態(tài)范圍圖像數(shù)據(jù)的方法和設(shè)備?？梢詫⒃摲椒ê驮O(shè)備應(yīng)用于編碼視頻數(shù)據(jù)。在本發(fā)明的一些實(shí)施例中，以諸如MPEG(運(yùn)動(dòng)圖像專家組)格式的標(biāo)準(zhǔn)格式來(lái)編碼較低動(dòng)態(tài)范圍的數(shù)據(jù)。
本發(fā)明一方面提供了一種用于編碼高動(dòng)態(tài)范圍圖像的方法。該方法包括獲得對(duì)應(yīng)于高動(dòng)態(tài)范圍圖像的較低動(dòng)態(tài)范圍圖像；識(shí)別高動(dòng)態(tài)范圍圖像中的像素組，較低動(dòng)態(tài)范圍圖像中這些對(duì)應(yīng)的像素全部都具有相同的像素值；至少部分基于屬于多個(gè)組的每一個(gè)的高動(dòng)態(tài)范圍圖像中的像素的像素值，生成預(yù)測(cè)函數(shù)；對(duì)較低動(dòng)態(tài)范圍圖像應(yīng)用該預(yù)測(cè)函數(shù)，以獲得預(yù)測(cè)的圖像；計(jì)算表示預(yù)測(cè)圖像中的像素值和高動(dòng)態(tài)范圍圖像中的對(duì)應(yīng)的像素值之間的差異的殘留圖像；以及編碼并存儲(chǔ)表示較低動(dòng)態(tài)范圍圖像、預(yù)測(cè)函數(shù)和殘留圖像的數(shù)據(jù)。
本發(fā)明的其它方面提供用于解碼已經(jīng)根據(jù)本發(fā)明編碼的高動(dòng)態(tài)范圍圖像的方法，以及用于編碼和/或解碼高動(dòng)態(tài)范圍圖像的設(shè)備。
下面描述本發(fā)明另外的方面和本發(fā)明的特定實(shí)施例的特征。



附圖中舉例說(shuō)明了本發(fā)明的非限制性實(shí)施例， 圖1是舉例說(shuō)明根據(jù)本發(fā)明的一個(gè)實(shí)施例的編碼方法的流程圖； 圖1A是來(lái)自高動(dòng)態(tài)范圍圖像的像素值的直方圖，較低動(dòng)態(tài)范圍版本的圖像中的這些對(duì)應(yīng)的像素全部都具有相同的像素值； 圖2是舉例說(shuō)明根據(jù)本發(fā)明的解碼方法的流程圖； 圖3是舉例說(shuō)明根據(jù)一個(gè)特定實(shí)施例的MPEG編碼方法的流程圖； 圖4A到4F示出了對(duì)于各種色調(diào)映射算法，對(duì)應(yīng)的HDR和LDR圖像中亮度值之間的關(guān)系； 圖5示出了根據(jù)本發(fā)明的一個(gè)實(shí)施例用于過(guò)濾殘留圖像數(shù)據(jù)的方法；以及 圖6是舉例說(shuō)明對(duì)于一個(gè)原型編碼系統(tǒng)，作為圖像質(zhì)量參數(shù)的函數(shù)的位速率圖。

具體實(shí)施例方式 通過(guò)下面的描述，闡明了一些特定細(xì)節(jié)以使得更為徹底地理解本發(fā)明。然而，可以在沒(méi)有這些細(xì)節(jié)的情況下實(shí)踐本發(fā)明。在其它實(shí)例中，并沒(méi)有詳細(xì)的示出或描述眾所周知的元素以避免不必要地模糊本發(fā)明。因此，以示例性而不是限制性的意義來(lái)看待說(shuō)明書(shū)和附圖。
圖1示出了根據(jù)本發(fā)明的一個(gè)基本實(shí)施例，用于編碼圖像數(shù)據(jù)幀的方法10。方法10同時(shí)將高動(dòng)態(tài)范圍(HDR)數(shù)據(jù)12和較低動(dòng)態(tài)范圍(LDR)數(shù)據(jù)14二者編碼為編碼圖像數(shù)據(jù)38。如下文描述的，編碼圖像數(shù)據(jù)38可以被解碼以重構(gòu)LDR數(shù)據(jù)和HDR數(shù)據(jù)。
僅通過(guò)示例，可以以例如絕對(duì)CIE XYZ(2E標(biāo)準(zhǔn)觀察者)色彩空間的色彩空間來(lái)表示HDR數(shù)據(jù)12，其中每個(gè)像素的色彩和亮度由三個(gè)浮點(diǎn)數(shù)指定?？梢砸岳鐂RGB色彩空間的色彩空間來(lái)表示LDR數(shù)據(jù)14，其中每個(gè)像素的色彩和亮度由三個(gè)字節(jié)指定。在某些實(shí)施例中，通過(guò)適當(dāng)?shù)膭?dòng)態(tài)范圍縮減處理16從HDR數(shù)據(jù)12(或HDR數(shù)據(jù)12的前驅(qū)(precursor))導(dǎo)出LDR數(shù)據(jù)14。
動(dòng)態(tài)范圍縮減例如可以包括色調(diào)映射和/或色域(gamut)映射?？梢允褂萌魏芜m當(dāng)?shù)纳{(diào)映射算子(operator)或色域映射。例如，可以選擇色調(diào)映射算子以使亮度和色彩飽和，改變色值并增強(qiáng)局部對(duì)比度。這種變化可能產(chǎn)生較低的壓縮比，但是LDR和HDR幀均將被保存在結(jié)果視頻流中。
在塊18中，方法10建立一個(gè)預(yù)測(cè)函數(shù)19。預(yù)測(cè)函數(shù)19基于LDR數(shù)據(jù)14中對(duì)應(yīng)的像素的像素值，提供HDR數(shù)據(jù)12中的像素的像素值作為輸出。因?yàn)槟繕?biāo)是能夠從編碼圖像數(shù)據(jù)38再現(xiàn)HDR數(shù)據(jù)12和LDR數(shù)據(jù)14，優(yōu)選地使預(yù)測(cè)函數(shù)19基于可以根據(jù)編碼圖像數(shù)據(jù)38重構(gòu)的LDR數(shù)據(jù)14的版本。
在此，利用有損算法編碼和壓縮LDR數(shù)據(jù)14，這不能夠保證重構(gòu)的LDR數(shù)據(jù)14的版本將與原始LDR數(shù)據(jù)14的一致。由于這個(gè)原因，圖1示出了塊19，其接收重構(gòu)的LDR數(shù)據(jù)26作為輸入。在塊20中，通過(guò)編碼/壓縮LDR數(shù)據(jù)14獲得重構(gòu)的LDR數(shù)據(jù)26，以便提供編碼的壓縮LDR數(shù)據(jù)22，并隨后在塊24中解碼/解壓縮編碼壓縮的LDR數(shù)據(jù)22。編碼壓縮的LDR數(shù)據(jù)22被包括在編碼圖像數(shù)據(jù)38中。線條15說(shuō)明了不太精確的可選方法，其中塊18使用LDR數(shù)據(jù)14直接建立預(yù)測(cè)函數(shù)19。
預(yù)測(cè)函數(shù)19優(yōu)選采用重構(gòu)的LDR數(shù)據(jù)26中的像素值和HDR數(shù)據(jù)12中對(duì)應(yīng)的像素值之間的統(tǒng)計(jì)關(guān)系。通常，如果采用了重構(gòu)的LDR圖像26中全都具有相同的特定像素值的全部像素，則HDR圖像數(shù)據(jù)12中對(duì)應(yīng)的像素將不是全都具有相同的像素值。也就是說(shuō)，通常在LDR像素值和HDR像素值之間存在一對(duì)多的關(guān)系。
圖1A是一個(gè)直方圖，其中水平軸包括所有可能的HDR像素值，而垂直軸指示在由HDR圖像數(shù)據(jù)12表示的圖像中有多少像素具有該值?？赡苡写罅康钠渲性搱D像中沒(méi)有任何具有該值的像素值。圖1A中的陰影條表示HDR圖像數(shù)據(jù)12中的像素值，其中在重構(gòu)的LDR圖像數(shù)據(jù)26中的相應(yīng)像素全都具有相同的像素值XLDR。對(duì)應(yīng)于LDR像素值XLDR的HDR像素值的范圍為從A到B。對(duì)于對(duì)應(yīng)重構(gòu)的LDR圖像數(shù)據(jù)26中的相同像素值的像素的所有HDR像素值可以被稱為倉(cāng)(bin)。典型但不是強(qiáng)制性的是不同的倉(cāng)不會(huì)重疊。
可以通過(guò)收集HDR像素值到倉(cāng)中并統(tǒng)計(jì)分析每個(gè)倉(cāng)，根據(jù)HDR圖像數(shù)據(jù)12和重構(gòu)的LDR圖像數(shù)據(jù)26獲得圖像的預(yù)測(cè)函數(shù)19。收集HDR像素值到倉(cāng)中可包括: §采用重構(gòu)的LDR圖像數(shù)據(jù)26，并且針對(duì)重構(gòu)的LDR圖像數(shù)據(jù)26中表示的每個(gè)像素值，識(shí)別一組具有該像素值的所有像素； §針對(duì)該組像素的每一個(gè)，識(shí)別HDR數(shù)據(jù)12中對(duì)應(yīng)的像素，并確定那些對(duì)應(yīng)像素的像素值，以產(chǎn)生一組對(duì)應(yīng)于每個(gè)LDR像素值的所有HDR像素值。
可以通過(guò)下面任何一項(xiàng)獲得預(yù)測(cè)函數(shù)19: §找到每個(gè)倉(cāng)中HDR像素值的算術(shù)平均； §找到每個(gè)倉(cāng)中HDR像素值的中值； §找到定界該倉(cāng)的值A(chǔ)和B的平均值； §這些項(xiàng)的某些組合；或 §類似方法 相信對(duì)于許多應(yīng)用，算術(shù)平均提供了精度和計(jì)算效率的良好組合。
對(duì)于預(yù)測(cè)函數(shù)19，僅僅需要編碼由預(yù)測(cè)函數(shù)19預(yù)測(cè)的值和來(lái)自HDR圖像數(shù)據(jù)12的實(shí)際值之間的差異。這種差異通常接近于0，并且因此可以被有效地壓縮到殘留幀中。
僅僅需要為L(zhǎng)DR數(shù)據(jù)14中可能的像素值(在像素值由8位數(shù)表示的情況下為256個(gè)值)定義預(yù)測(cè)函數(shù)19。預(yù)測(cè)函數(shù)19可以包括根據(jù)LDR像素的有效值索引的查閱表。預(yù)測(cè)函數(shù)19可以實(shí)現(xiàn)為具有一個(gè)輸出值對(duì)應(yīng)每個(gè)索引值的查閱表。例如，在此LDR像素具有8位值。查閱表可以包括由從1到256范圍內(nèi)的整數(shù)索引的256個(gè)不同的值。預(yù)測(cè)函數(shù)19不需要是連續(xù)的，因?yàn)槠渲饕蝿?wù)是使殘留幀的值盡可能小。在可選實(shí)施例中，預(yù)測(cè)函數(shù)可以部分或整體地由適當(dāng)?shù)膮?shù)化的連續(xù)曲線表示。
在塊28，方法10通過(guò)對(duì)重構(gòu)的LDR數(shù)據(jù)26應(yīng)用預(yù)測(cè)函數(shù)19來(lái)獲得預(yù)測(cè)HDR圖像。重構(gòu)的LDR數(shù)據(jù)26的每個(gè)像素的像素值被應(yīng)用作為對(duì)預(yù)測(cè)函數(shù)19的輸入，并以來(lái)自預(yù)測(cè)函數(shù)19的結(jié)果輸出替代該像素值以產(chǎn)生預(yù)測(cè)的HDR圖像29。
塊30計(jì)算預(yù)測(cè)的HDR圖像29和HDR數(shù)據(jù)12的圖像之間的差異以提供殘留圖像32。在塊34，殘留圖像32被編碼/壓縮，并輸出到編碼圖像數(shù)據(jù)38作為殘留圖像數(shù)據(jù)35。塊34可以包括過(guò)濾和量化殘留圖像32，以便刪除對(duì)根據(jù)編碼圖像數(shù)據(jù)38重構(gòu)的HDR圖像的保真度沒(méi)有可辨認(rèn)的影響(或者具有更加侵襲性的過(guò)濾和/或量化極為有害的影響)的信息。
圖2示出了用于解碼編碼圖像數(shù)據(jù)38的方法40。LDR數(shù)據(jù)22可以根據(jù)編碼圖像數(shù)據(jù)38提取，并在塊32被解碼/解壓縮以產(chǎn)生LDR數(shù)據(jù)43，該LDR數(shù)據(jù)43被輸出作為L(zhǎng)DR數(shù)據(jù)輸出44。如果LDR數(shù)據(jù)輸出44都是所需要的，則不需要進(jìn)行另外的處理。
如果還需要HDR數(shù)據(jù)輸出56，則在塊46解碼預(yù)測(cè)函數(shù)37，以產(chǎn)生預(yù)測(cè)函數(shù)47，并且在塊50解碼/解壓縮殘留圖像數(shù)據(jù)35以產(chǎn)生殘留圖像52。
在塊48，對(duì)LDR數(shù)據(jù)43應(yīng)用預(yù)測(cè)函數(shù)47以產(chǎn)生預(yù)測(cè)HDR圖像49。在塊54，預(yù)測(cè)的HDR圖像49與殘留圖像52組合以產(chǎn)生HDR數(shù)據(jù)輸出56。如同圖2所示工作的解碼器可以與要求LDR數(shù)據(jù)輸出44的系統(tǒng)和設(shè)備向后兼容，同時(shí)在HDR數(shù)據(jù)輸出56提供高質(zhì)量的HDR數(shù)據(jù)。
可以通過(guò)以下執(zhí)行方法10和40 §編程的數(shù)據(jù)處理器，其可以包括一個(gè)或多個(gè)微處理器、數(shù)字信號(hào)處理器、它們的某一組合，或者執(zhí)行促使數(shù)據(jù)處理器實(shí)現(xiàn)該方法的軟件的類似物； §硬件電路，例如包括協(xié)同工作以實(shí)現(xiàn)該方法的功能塊的電路-該電路例如可以包括適當(dāng)配置的場(chǎng)可編程門陣列(“FPGAs”)或?qū)Ｓ眉呻娐?“ASICs”)；或者 §在編程的數(shù)據(jù)處理器中執(zhí)行該方法的某些部分以及在適當(dāng)?shù)挠布娐分袌?zhí)行該方法的其它部分。
圖3示出了根據(jù)更為具體的示例性實(shí)施例的方法70。方法70以遵循由活動(dòng)圖像專家組(MPEG)標(biāo)準(zhǔn)設(shè)置的標(biāo)準(zhǔn)的方式編碼視頻幀。方法70接收兩種輸入的視頻數(shù)據(jù)流。一種包括HDR幀74的流在輸入72被接收。一種包括LDR幀76的流在輸入78被接收。可以從HDR幀74或來(lái)自輸入78的HDR幀74上游的一些前驅(qū)導(dǎo)出LDR幀76。
如圖3所示工作的編碼器產(chǎn)生三個(gè)壓縮流LDR流80，其可與MPEG完全兼容；殘留流82，其包括LDR幀76和對(duì)應(yīng)的HDR幀74之間的差異；以及輔助流84，其包括用于重構(gòu)HDR幀74的輔助數(shù)據(jù)。當(dāng)殘留流82和輔助流84未復(fù)制在LDR流80中編碼的信息時(shí)可以達(dá)到最佳性能。
在塊88中利用適當(dāng)?shù)木幋a器編碼LDR幀76。例如，塊88可以使用與ISO/IEC14496-2標(biāo)準(zhǔn)兼容的MPEG視頻編碼器。可以在可選實(shí)施例中使用其它視頻編碼器?？梢砸赃m當(dāng)?shù)拿襟w容器格式，比如音頻視頻交織(AVI)或QuickTimeTM來(lái)封裝產(chǎn)生的視頻流，以使得其可以通過(guò)現(xiàn)有的軟件被識(shí)別并重放。
在塊90，解碼利用MPEG編碼的LDR幀。為了使計(jì)算量減至最小，可以通過(guò)在塊88中使用的MPEG編碼器來(lái)執(zhí)行塊90中的解碼。MPEG編碼器典型地在內(nèi)部解碼幀，以用于估計(jì)運(yùn)動(dòng)向量。塊90可以包括存取由MPEG解碼器生成的解碼幀。在可選實(shí)施例中，可以獨(dú)立于塊88執(zhí)行塊90。
來(lái)自塊90的輸出將通常不同于到塊88的輸入，因?yàn)镸PEG是一種有損壓縮方法。經(jīng)MPEG編碼并隨后被解碼的LDR幀與原始的LDR幀不完全相同，而是包括壓縮偽像(artifact)。
在塊92A和92B，如果需要的話，LDR幀76和HDR幀74其中之一或二者的色彩空間被變換，以提供在相互兼容的色彩空間中表現(xiàn)的LDR幀和HDR幀。在塊92A和92B中執(zhí)行的這種變換，如果有的話，取決于輸入的LDR幀76和HDR幀74的色彩空間。在某些情況下，不需要塊92A和92B。在其它情況下，僅僅需要塊92A和92B的其中一個(gè)。
當(dāng)LDR和HDR色彩空間的色彩通道近似地表示相同的信息時(shí)，HDR和LDR色彩空間是相容的。還期望HDR和LDR色彩空間感知為一致的。感知的一致性促進(jìn)了根據(jù)可以感覺(jué)到的而不是算法的差異估計(jì)色彩差異。還期望HDR色彩空間保持一個(gè)寬的色域，理想地為整個(gè)可見(jiàn)的色域，盡管在現(xiàn)有的顯示器上不能顯示整個(gè)可見(jiàn)的色域。
發(fā)明人考慮到一個(gè)用于表示HDR圖像數(shù)據(jù)的一個(gè)良好的色彩空間是CIE 1976 Uniform Chromacity Scales(μ0，v0)與sRGB色彩空間的伽馬校正的組合。還可以使用其它色彩空間。在一個(gè)實(shí)例中，以sRGB色彩空間表示輸入的LDR幀76，而以CIE XYZ(2E標(biāo)準(zhǔn)觀察者)色彩空間表示輸入的HDR幀74。在這種情況下，塊92A包括將LDR像素從sRGB色彩空間變換成I1dru1drv1dr空間。這可以通過(guò)計(jì)算CIE XYZ色彩坐標(biāo)并隨后根據(jù)XYZ值計(jì)算亮度和u’和v’色彩坐標(biāo)來(lái)完成?？梢岳迷贗EC 61966-2-11999.Multimedia systems andequipment-Colour measurement and management-Part2-1Colourmanagement-Default RGB colour space-sRGB.InternationalElectrotechnical Commission，1999.中給出的sRGB變換公式來(lái)確定XYZ值。例如，對(duì)于R8-bit是8位色彩坐標(biāo):公式(1)

公式(2) G8-bit和B8-bit色彩坐標(biāo)可以被類似地變換成浮點(diǎn)值并且隨后可以根據(jù)下面的公式確定X、Y和Z: 公式(3) 公式(3)中的示例性距陣假定白點(diǎn)D65。通過(guò)利用適當(dāng)?shù)男Ｕ手悼梢詾槊總€(gè)LDR像素計(jì)算亮度。例如，可以通過(guò)下面的公式給出亮度: lldr＝0.2126×R8-bit+0.7152×G8-bit+0.0722×B8-bit 公式(4) 在此:Ildr是LDR像素的亮度值。亮度是在已經(jīng)應(yīng)用伽馬校正之后的非線性R’G’B’成分的加權(quán)和。
可以通過(guò)下面的公式獲得色度μ’和v’公式(5) 和 公式(6) 可以通過(guò)將μ’和v’的每一個(gè)乘以適當(dāng)?shù)谋壤驍?shù)來(lái)獲得8位數(shù)μ1dr和v1dr，比如 uldr＝u′×410公式(7) 和 vldr＝v′×410公式(8) 在變換的色彩空間中，LDR數(shù)據(jù)的每個(gè)像素由像素值I1dr，v1dr，μ1dr表示。
塊92B可以以如上文描述的用于LDR像素值的基本相同的方式變換HDR幀74的色彩值。普通的伽馬校正通常不能用于可以在HDR幀中指定的亮度值的范圍。因此，某些實(shí)施例使用感覺(jué)均勻的亮度表示，這種表示已經(jīng)從用于人類觀察者的對(duì)比度檢測(cè)測(cè)量法導(dǎo)出。該空間具有類似于LDR像素值被伽馬校正的空間的特性，但是可以編碼整個(gè)可見(jiàn)亮度范圍(例如，利用11-12位)。
在一個(gè)示例性實(shí)施例中，通過(guò)下面的公式，將HDR亮度y變換成12位的HDR亮度lhdr

公式(9) 其中的常量列于下面的表1。通過(guò)下面的公式給出反向變換

公式(10) 在此，公式(9)和(10)中使用的各種常量列于下面的表1。
表I-公式(9)和(10)中的常數(shù)示例 塊94生成了HDR圖像數(shù)據(jù)的預(yù)測(cè)函數(shù)。該預(yù)測(cè)函數(shù)試圖根據(jù)LDR圖像數(shù)據(jù)中的對(duì)應(yīng)像素的對(duì)應(yīng)像素值，預(yù)測(cè)HDR圖像數(shù)據(jù)中像素的像素值。在理想情況下，選擇預(yù)測(cè)函數(shù)以將具有的值明顯不同于由預(yù)測(cè)函數(shù)預(yù)測(cè)的值的HDR圖像數(shù)據(jù)中的像素?cái)?shù)減至最小。預(yù)測(cè)函數(shù)在對(duì)數(shù)域中優(yōu)選為非線性。
在表示HDR數(shù)據(jù)中的色度的像素值與LDR圖像數(shù)據(jù)中對(duì)應(yīng)的像素值幾乎相同的情況下，計(jì)算色度像素值(例如，μ’和v’)的預(yù)測(cè)函數(shù)是無(wú)益的。在這種情況下，僅僅需要提供亮度值的預(yù)測(cè)函數(shù)(例如，亮度(luma)、輝度等等)。
因?yàn)長(zhǎng)DR幀76和HDR幀74包括類似的信息，這些幀強(qiáng)相關(guān)。在通過(guò)對(duì)HDR幀74應(yīng)用色調(diào)映射算法獲得LDR幀76的情況下，相關(guān)的特性取決于使用了什么色調(diào)映射算法。
圖4A到4F示出了LDR幀的亮度值與對(duì)應(yīng)的HDR幀的亮度值是如何相關(guān)的。這些圖的每一個(gè)應(yīng)用了不同的色調(diào)映射函數(shù)以從示例性的HDR圖像中導(dǎo)出LDR圖像。這些色調(diào)映射函數(shù)通常提供lldr和lhdr在較小值之間的線性關(guān)系。對(duì)于較高的亮度值，色調(diào)映射函數(shù)之間有更多的變化。在圖4A到4D的每一個(gè)中，LDR亮度值被描繪在水平軸上，而HDR亮度值被描繪在垂直軸上。以X標(biāo)記的點(diǎn)指示LDR和HDR圖像中對(duì)應(yīng)像素的像素值。
圖4A到4F分別對(duì)應(yīng)下面公開(kāi)中的色調(diào)映射函數(shù): $ S.Pattanaik，J.E.Tumblin，H Yee，and D.P.Greenberg.Time dependentvisual adaptation for realistic image display.In Proceedings of ACMSIGGRAPH 2000，Computer Graphics Proceedings，Annual ConferenceSeries，pages 47-54，July 2000. $ Erik Reinhard，Michael Stark，Peter Shirley，and Jim Ferwerda.Photographic tone reproduction for digital images.ACM Trans.onGraph.，21(3)267-276，2002. $ Frédo Durand and Julie Dorsey.Fast bilateral filtering for the display ofhigh-dynamic-range images.ACM Trans.on Graph.，21(3)257-266，2002. $ Raanan Fattal，Dani Lischinski，and Michael Werman.Gradient domainhigh dynamic range compression.ACM Trans.on Graph.，21(3)249-256，2002. $ Frédéric Drago，Karol Myszkowski，Thomas Annen，and NorishigeChiba.Adaptive logarithmic mapping for displaying high contrastscenes.Computer Graphics Forum，proceedings of Eurographics 2003，22(3)419-426，2003. $ Rafal Mantiuk，Karol Myszkowski，and Hans-Peter Seidel.A perceptualframework for contrast processing of high dynamic range images.InAPGV′05Proceedings of the 2nd Symposium on Applied Perceptionin Graphics and Visualization，pages 87-94，New York，NY，USA，2005.ACM Press. 可以如上所述生成預(yù)測(cè)函數(shù)。在預(yù)測(cè)函數(shù)被定義為落入對(duì)應(yīng)的倉(cāng)中的所有HDR像素的值的算術(shù)平均的情況下，該預(yù)測(cè)可以被寫(xiě)為公式(11) 在此∑i＝{i＝1...N＊l1dr(i)＝l}，l＝0...255； N為幀中像素的數(shù)量，而lldr(i)和lhdr(I)分別為L(zhǎng)DR和HDR幀中對(duì)于ith像素的亮度值。優(yōu)選為每個(gè)幀更新預(yù)測(cè)函數(shù)。
在圖4A到4F中，以實(shí)線來(lái)顯示預(yù)測(cè)函數(shù)。預(yù)測(cè)函數(shù)將取決于圖像內(nèi)容以及所使用的色調(diào)映射函數(shù)。圖4A到圖4F示出了典型的HDR圖像的預(yù)測(cè)函數(shù)。圖4A到4F示出了典型的預(yù)測(cè)函數(shù)在它們的大部分范圍內(nèi)隨著斜率逐漸增大而傾向于緩慢變化。因此，在某些實(shí)施例中，不是對(duì)每個(gè)倉(cāng)編碼預(yù)測(cè)函數(shù)的值，而是編碼兩個(gè)連續(xù)倉(cāng)的預(yù)測(cè)函數(shù)值之間的差異。為了進(jìn)一步減少位的數(shù)量，例如可以利用如塊95中指示的自適應(yīng)霍夫曼算法來(lái)壓縮這些差異。輔助數(shù)據(jù)流84的大小在某些實(shí)施例中為整個(gè)流大小的1％或者更小。因此，預(yù)測(cè)函數(shù)的存儲(chǔ)開(kāi)銷可以幾乎是無(wú)關(guān)緊要的。還可以以其它方式表示預(yù)測(cè)函數(shù)或預(yù)測(cè)函數(shù)的各部分，例如，作為參數(shù)化的多項(xiàng)式曲線、樣條曲線、或其它參數(shù)化的函數(shù)。
在塊96計(jì)算殘留幀。殘留幀中的像素值每個(gè)表示HDR幀的對(duì)應(yīng)像素的像素值與通過(guò)對(duì)LDR幀的對(duì)應(yīng)像素的像素值應(yīng)用預(yù)測(cè)函數(shù)預(yù)測(cè)的像素的像素值之間的差異。可以針對(duì)每個(gè)像素值(在該實(shí)例中為l，u和v)分別執(zhí)行塊96。對(duì)于亮度值，殘留幀中的每個(gè)像素rl(i)可以如下面的公式計(jì)算: rl(i)＝lhdr(i)-RF(lldr(i)) 公式(12) 對(duì)于色度值，預(yù)測(cè)函數(shù)可以是恒等函數(shù)，在此情況下 ru(i)＝uhdr(i)-uldr(i) 公式(13) 和 rv(i)＝vhdr(i)-vldr(i) 公式(14) 適當(dāng)?shù)剡x擇預(yù)測(cè)函數(shù)可以明顯地減少編碼HDR幀的數(shù)據(jù)量。盡管這種節(jié)約的、殘留幀可能仍包括大量噪聲，其不會(huì)明顯的改善重構(gòu)的HDR圖像的質(zhì)量?？梢酝ㄟ^(guò)過(guò)濾殘留幀以減少或消除這種噪聲，在不引起圖像質(zhì)量明顯降低的情況下提高壓縮比。塊98過(guò)濾殘留幀。殘留幀中的信號(hào)通常相對(duì)接近于可見(jiàn)門限。因此，過(guò)濾可以使數(shù)據(jù)大大的減少而不會(huì)大大的降級(jí)根據(jù)這些數(shù)據(jù)重構(gòu)的HDR圖像的質(zhì)量。
塊98的一個(gè)輸出是殘留幀，其中高頻在它們不可見(jiàn)的那些區(qū)域已經(jīng)被削弱。圖5示出了一種可以應(yīng)用于過(guò)濾殘留幀的方法110?？梢栽诟鶕?jù)本發(fā)明的編碼方法的環(huán)境中執(zhí)行方法110，但是還具有在其它環(huán)境中的應(yīng)用，在這些其它環(huán)境中期望減少表示圖像的數(shù)據(jù)量，而不引入可見(jiàn)的偽像到圖像中。
以下的說(shuō)明描述了在亮度通道上執(zhí)行的處理。相同的處理還可以應(yīng)用于色度通道。色度通道可以是子抽樣的，例如抽樣到它們?cè)挤直媛实囊话胍詼p少處理。這就減少了針對(duì)亮度和色度CSF中的差異的近似計(jì)算。
方法110接收殘留幀112和屏蔽殘留幀的HDR幀114。在塊116和118，應(yīng)用離散子波變換(DWT)以便將每個(gè)屏蔽幀114和殘留幀112拆分為多個(gè)頻率和定向選擇通道。可以應(yīng)用其它適當(dāng)?shù)淖儞Q代替DWT，如在A.B.Watson.The cortex trans formRapid computation ofsimulated neural images.Computer Vision Graphics and ImageProcessing，39311-327，1987中描述的皮層(cortex)變換。皮層變換可能是非常計(jì)算密集的，并且因此僅在有足夠的計(jì)算資源可用時(shí)才是實(shí)用的。
一個(gè)原型實(shí)施例使用CDF9/7離散子波基準(zhǔn)(根據(jù)JPEG-2000標(biāo)準(zhǔn)，其還可以用于圖像的有損壓縮)。這種子波基準(zhǔn)給出了平滑和計(jì)算效率之間的良好折衷。在該原型中，僅僅使用三個(gè)最好的子波分解比例，因?yàn)橐愿鼮榇植诘谋壤^(guò)濾較低的空間頻率可能導(dǎo)致明顯的偽像。
在塊120，應(yīng)用一個(gè)諸如對(duì)比敏感度函數(shù)(CSF)的函數(shù)以說(shuō)明人類視覺(jué)系統(tǒng)對(duì)較高空間頻率的較低的靈敏度。應(yīng)用CSF包括利用一個(gè)常數(shù)加權(quán)子波系數(shù)的每個(gè)頻帶。表2中給出了對(duì)于1700像素的觀察距離的示例性加權(quán)因子。
表2-CFS系數(shù) 人類視覺(jué)通道具有有限的相位靈敏度。這就提供了另外的機(jī)會(huì)以便在不會(huì)明顯的降質(zhì)重構(gòu)的圖像的情況下丟棄信息。屏蔽信號(hào)不僅僅影響子波系數(shù)值最高的區(qū)域，而且還可能影響相鄰區(qū)域。相位的不確定還減小了在與呈現(xiàn)更高的屏蔽數(shù)量的紋理相反的邊緣處的屏蔽的影響。
可以用L0.2標(biāo)準(zhǔn)來(lái)建模相位不確定性，其還用在JPEG-2000圖像壓縮中。L0.2標(biāo)準(zhǔn)由下面的公式及其數(shù)學(xué)等式給出 公式(15) 其中，1表示一個(gè)系數(shù)的鄰域(在原型實(shí)現(xiàn)中13H13盒子被用作鄰域)，LCSF是已經(jīng)通過(guò)應(yīng)用CSF因子加權(quán)的子波系數(shù)，而LCSF是在考慮了相位不確定性之后CSF-加權(quán)的子波系數(shù)。
塊124預(yù)測(cè)在出現(xiàn)來(lái)自原始HDR幀114的屏蔽信號(hào)中的門限對(duì)比度是如何變化的。為了建模對(duì)比度屏蔽，可以使用門限提升函數(shù)。門限提升函數(shù)可以具有例如下面的形式

公式(16) 在該原型實(shí)施例中，公式(16)中的常量為a＝0.093071和b＝1.0299和c＝11.535。
對(duì)于殘留幀，每個(gè)CSF加權(quán)的系數(shù)RCSF與根據(jù)原始HDR幀114計(jì)算的對(duì)應(yīng)的門限提升Te的值相比較。如果根據(jù)公式(16)RCSF小于可見(jiàn)性門限Te，則系數(shù)可以設(shè)置為0而不會(huì)在最終重構(gòu)的圖像中引入明顯的變化。這可以通過(guò)下面的公式來(lái)表示

公式(17) 最后，過(guò)濾的子波系數(shù)Rfilt被變換回到圖像域。上文給出的預(yù)過(guò)濾方法可以明顯地減小殘留流的大小。過(guò)濾是計(jì)算效率和可視模型的精確度之間合理的折衷。在此描述的過(guò)濾典型地增大編碼時(shí)間不超過(guò)大約80％。在編碼期間的過(guò)濾不會(huì)增大解碼時(shí)間。
返回到圖3，塊100量化過(guò)濾的殘留幀。盡管在殘留幀中編碼的差異幅值通常較小，它們可以取！4095到4095范圍內(nèi)的值(對(duì)于12位HDR亮度編碼)。顯然，不能利用8位MPEG編碼器編碼這種值。盡管MPEG標(biāo)準(zhǔn)提供了以12位編碼亮度值的擴(kuò)展，但這種擴(kuò)展很少實(shí)現(xiàn)，尤其在硬件中。
量化塊100允許降低殘留值的幅值，充分的優(yōu)選可以利用標(biāo)準(zhǔn)的8位MPEG編碼器來(lái)編碼的那些值?？梢允褂酶鞣N量化方案。例如，某些實(shí)施例應(yīng)用非線性量化，在此殘留的大的絕對(duì)值被強(qiáng)量化，而小的絕對(duì)值被以最大的精度保留。因?yàn)楹苌儆邢袼匕ň哂休^大的幅值的殘留，大部分像素不會(huì)受強(qiáng)量化的影響。
強(qiáng)量化可以導(dǎo)致在某些圖像中具有差的可視質(zhì)量。這是因?yàn)榧词故巧贁?shù)具有大的量化誤差的像素也可能以一種降低感知的圖像質(zhì)量的方式被突出。
簡(jiǎn)單的箝位殘留值(例如，到8位范圍)可以以丟失非常亮或暗的區(qū)域中的細(xì)節(jié)的代價(jià)來(lái)產(chǎn)生視覺(jué)更好的結(jié)果。此外，在典型的圖像中，適當(dāng)?shù)倪x擇預(yù)測(cè)函數(shù)，僅僅很少像素具有超過(guò)8位范圍的殘留值。
在某些實(shí)施例中，為了減少以更強(qiáng)量化的代價(jià)的箝位，將殘留值除以恒定量化因子?？梢愿鶕?jù)由于箝位引起的誤差和由于量化引起的誤差之間的折衷來(lái)選擇因子?？梢曰趯儆诿總€(gè)倉(cāng)的所有像素的殘留的最大幅值，分別設(shè)置每個(gè)倉(cāng)的這種量化因子。因此，在量化之后的殘留值可以被計(jì)算為 其中公式(18) 在此: §算子[·]-127÷127將方括號(hào)內(nèi)的值四舍五入為最接近整數(shù)，并且如果其大于127或小于-127則箝位該值； §q(l)是針對(duì)每個(gè)倉(cāng)∑k分別選擇的量化因子，可以通過(guò)下面的公式給出量化因子公式(19) 在此qmin是最小的量化因子，其可以是例如1或2。
量化因子q(l)可以與預(yù)測(cè)函數(shù)一起存儲(chǔ)在輔助數(shù)據(jù)流84中。這種數(shù)據(jù)可以如在塊95中那樣首先被壓縮。在大多數(shù)情況下，大部分量化因子q(l)將具有值qmin。因此，跟隨霍夫曼編碼的行程(run-length)編碼是一種壓縮表示量化因子的數(shù)據(jù)的有效方法。
在塊102中，殘留值被編碼。當(dāng)殘留值為8位值時(shí)，可以利用普通的MPEG壓縮(例如，MPEG-4壓縮)來(lái)編碼。在原型實(shí)施例中，所量化的殘留值、

以及色度殘留值ru和rv在將它們四舍五入為最接近的整數(shù)值之后被MPEG編碼。注意，在預(yù)測(cè)函數(shù)接近線性而且公式(18)的自適應(yīng)量化的影響為最小的情況下，應(yīng)用以獲得殘留值的操作近似地為線性。在這種情況下，殘留幀的可視信息與原始HDR幀處于相同的頻帶，并且殘留的DCT量化具有與針對(duì)原始的HDR像素值類似的效應(yīng)。因此，可以使用標(biāo)準(zhǔn)的DCT量化距陣來(lái)編碼殘留幀。
由于在塊88和102中的MPEG編碼是獨(dú)立的，就能夠?yàn)閴K88和102的每一個(gè)分別設(shè)置MPEG質(zhì)量參數(shù)。在大多數(shù)應(yīng)用中，設(shè)置兩組MPEG質(zhì)量參數(shù)既不直觀也不方便。在優(yōu)選實(shí)施例中，單個(gè)質(zhì)量控制設(shè)置塊88和102二者的質(zhì)量參數(shù)。已經(jīng)發(fā)現(xiàn)將塊88和102中的質(zhì)量參數(shù)設(shè)置為彼此相等通常提供了滿意的結(jié)果。
塊88和102的一些質(zhì)量設(shè)置可以給出比其它質(zhì)量設(shè)置更好的壓縮結(jié)果。為了達(dá)到最佳質(zhì)量的HDR圖像，塊102應(yīng)當(dāng)包括利用最佳質(zhì)量編碼。塊88中的質(zhì)量設(shè)置主要影響從流80重構(gòu)的LDR圖像的質(zhì)量，但是也可能對(duì)HDR圖像的質(zhì)量有些影響。
本發(fā)明的某些實(shí)施例采用了這樣的事實(shí)，即LDR和HDR幀包括相同的場(chǎng)景。因此對(duì)于它們二者光流(optical flow)應(yīng)當(dāng)相同。在這些實(shí)施例中，針對(duì)LDR幀計(jì)算的相同的運(yùn)動(dòng)向量也被用于殘留幀。數(shù)據(jù)結(jié)構(gòu)38可以僅包括一組運(yùn)動(dòng)向量。在本發(fā)明的可選實(shí)施例中，分別為L(zhǎng)DR和殘留幀計(jì)算運(yùn)動(dòng)向量，而且這兩組運(yùn)動(dòng)向量都被存儲(chǔ)在編碼圖像數(shù)據(jù)38中。
可以以各種方式實(shí)現(xiàn)用于執(zhí)行根據(jù)本發(fā)明的方法的軟件。在一個(gè)原型實(shí)施例中，軟件實(shí)現(xiàn)為動(dòng)態(tài)庫(kù)以簡(jiǎn)化與外部軟件的集成。一組分離的命令行工具允許編碼和解碼往來(lái)于HDR圖像文件的視頻流。
由于HDR視頻重放涉及解碼兩個(gè)MPEG流80和82，與在普通LDR視頻重放的情況下相比，達(dá)到一個(gè)可接受的幀速率更具挑戰(zhàn)。通過(guò)利用圖形硬件執(zhí)行某些部分的解碼處理可以提高重放幀速率。例如，當(dāng)在CPU上執(zhí)行時(shí)，色彩空間轉(zhuǎn)換和上抽樣色彩通道可能是計(jì)算昂貴的，然而可以在圖形處理器(GPU)中作為片段程序非常有效地執(zhí)行。此外，通過(guò)使用固定點(diǎn)算術(shù)和查閱表可以顯著地加速某些色彩轉(zhuǎn)換函數(shù)。
圖6示出了作為質(zhì)量設(shè)置的函數(shù)的原型實(shí)施例的性能。較低的點(diǎn)對(duì)應(yīng)于LDR流80，反之較高的點(diǎn)對(duì)應(yīng)于LDR流80和殘留流82之和?？梢钥闯?，對(duì)于q比例質(zhì)量參數(shù)的較低值(即，對(duì)于較高質(zhì)量的圖像)，由殘留流82組成的整個(gè)數(shù)據(jù)流的百分比小于其質(zhì)量參數(shù)的較高值(對(duì)應(yīng)于較低質(zhì)量的LDR圖像)。
在此描述的編解碼器可以被用于編碼和解碼各個(gè)圖像和視頻流。這種編解碼器可以被用于編碼和解碼將被存諸在諸如DVD的介質(zhì)中，或者在將來(lái)可能普遍地用來(lái)存儲(chǔ)電影的其它存儲(chǔ)介質(zhì)中的電影。
本發(fā)明的某些方面提供了媒體播放器，其包括一個(gè)HDR圖像輸出，一個(gè)HDR顯示設(shè)備連接到或者可以被連接到該輸出。這種媒體播放器包括硬件、軟件、或者實(shí)現(xiàn)如圖2所示的解碼方法的硬件和軟件的組合。
本發(fā)明的某些實(shí)現(xiàn)包括計(jì)算機(jī)處理器，其執(zhí)行促使處理器執(zhí)行本發(fā)明的方法的軟件指令。例如，數(shù)據(jù)處理系統(tǒng)中的一個(gè)或多個(gè)處理器通過(guò)執(zhí)行存儲(chǔ)在存儲(chǔ)器中可被處理器訪問(wèn)的軟件指令，可以實(shí)現(xiàn)圖1或3的編碼方法或者圖2的解碼方法。還可以以程序產(chǎn)品的形式提供本發(fā)明。該程序產(chǎn)品可以包括任何介質(zhì)，其攜帶一組包括當(dāng)由數(shù)據(jù)處理器執(zhí)行時(shí)促使數(shù)據(jù)處理器執(zhí)行本發(fā)明的方法的指令的計(jì)算機(jī)可讀信號(hào)。根據(jù)本發(fā)明的程序產(chǎn)品可以是任何廣泛變化的形式。該程序產(chǎn)品可以包括例如物理介質(zhì)，如包括軟盤、硬盤驅(qū)動(dòng)器的磁性數(shù)據(jù)存儲(chǔ)介質(zhì)，包括CD ROM、DVD的光數(shù)據(jù)存儲(chǔ)介質(zhì)，包括ROM、快速RAM的電子數(shù)據(jù)存儲(chǔ)介質(zhì)，等等。程序產(chǎn)品上的計(jì)算機(jī)可讀信號(hào)可以被隨意壓縮或加密。
在此，上文涉及的組件(例如，軟件模塊、處理器、部件、裝置、電路等等)，除非另外的指出，參考那些組件(包括對(duì)“裝置”的參考)應(yīng)當(dāng)被解釋為包括那些組件的等同物，執(zhí)行所描述的組件的功能的任何組件(即，其是功能等同物)，包括在結(jié)構(gòu)上與所公開(kāi)的執(zhí)行在所示例的本發(fā)明的示例性實(shí)施例中的功能的結(jié)構(gòu)不相同的組件。
如同將被本領(lǐng)域的技術(shù)人員理解的是，根據(jù)前述公開(kāi)內(nèi)容，在實(shí)踐本發(fā)明時(shí)可能進(jìn)行許多變更和修正而不偏離本發(fā)明的精神和范圍。因此，將根據(jù)下面的權(quán)利要求書(shū)定義的實(shí)質(zhì)來(lái)解釋本發(fā)明的范圍。
權(quán)利要求
1.一種用于編碼高動(dòng)態(tài)范圍圖像的方法，所述方法包括
獲得對(duì)應(yīng)于高動(dòng)態(tài)范圍圖像的較低動(dòng)態(tài)范圍圖像；
識(shí)別所述高動(dòng)態(tài)范圍圖像中的像素組，所述較低動(dòng)態(tài)范圍圖像中的對(duì)應(yīng)像素全部都具有相同的像素值；
至少部分基于屬于多個(gè)組的每一個(gè)的高動(dòng)態(tài)范圍圖像中的像素的像素值，生成預(yù)測(cè)函數(shù)；
對(duì)所述較低動(dòng)態(tài)范圍圖像應(yīng)用所述預(yù)測(cè)函數(shù)，以獲得預(yù)測(cè)的圖像；
計(jì)算表示所述預(yù)測(cè)的圖像中的像素值和所述高動(dòng)態(tài)范圍圖像中對(duì)應(yīng)的像素值之間的差異的殘留圖像；以及
編碼并存儲(chǔ)表示所述較低動(dòng)態(tài)范圍圖像、所述預(yù)測(cè)函數(shù)和殘留圖像的數(shù)據(jù)。
2.根據(jù)權(quán)利要求1的方法，其中獲得較低動(dòng)態(tài)范圍圖像包括
編碼較低動(dòng)態(tài)范圍圖像以及解碼較低動(dòng)態(tài)范圍圖像。
3.根據(jù)權(quán)利要求1或2的方法，包括
在建立預(yù)測(cè)函數(shù)之前，在色彩空間之間變換高動(dòng)態(tài)范圍圖像、較低動(dòng)態(tài)范圍圖像、或者高動(dòng)態(tài)范圍圖像和較低動(dòng)態(tài)范圍圖像二者。
4.根據(jù)權(quán)利要求1到3中的任何一項(xiàng)的方法，其中在生成預(yù)測(cè)函數(shù)之前，以色彩空間表示較低動(dòng)態(tài)范圍圖像和較高動(dòng)態(tài)范圍圖像，所述色彩空間包括亮度或輝度像素值以及兩個(gè)或多個(gè)色度像素值。
5.根據(jù)權(quán)利要求4的方法，其中較低動(dòng)態(tài)范圍圖像以包括一個(gè)強(qiáng)度像素值和兩個(gè)或多個(gè)色度像素值的色彩空間來(lái)表示。
6.根據(jù)權(quán)利要求1到5中的任何一項(xiàng)的方法，其中預(yù)測(cè)函數(shù)在對(duì)數(shù)域內(nèi)是非線性的。
7.根據(jù)權(quán)利要求1到6中的任何一項(xiàng)的方法，其中生成預(yù)測(cè)函數(shù)包括
計(jì)算屬于多個(gè)組的每一個(gè)的高動(dòng)態(tài)范圍圖像中的像素的像素值的算術(shù)平均。
8.根據(jù)權(quán)利要求1到6中的任何一項(xiàng)的方法，其中生成預(yù)測(cè)函數(shù)包括
計(jì)算屬于多個(gè)組的每一個(gè)的高動(dòng)態(tài)范圍圖像中的像素的像素值的中值。
9.根據(jù)權(quán)利要求1到6中的任何一項(xiàng)的方法，其中生成預(yù)測(cè)函數(shù)包括
計(jì)算屬于多個(gè)組的每一個(gè)的高動(dòng)態(tài)范圍圖像中的像素的像素值的最高和最低像素值的平均值。
10.根據(jù)權(quán)利要求1到6中的任何一項(xiàng)的方法，其中生成預(yù)測(cè)函數(shù)包括下列一項(xiàng)或多項(xiàng)
計(jì)算屬于多個(gè)組的每一個(gè)的高動(dòng)態(tài)范圍圖像中的像素的像素值的算術(shù)平均；
計(jì)算屬于多個(gè)組的每一個(gè)的高動(dòng)態(tài)范圍圖像中的像素的像素值的中值；
計(jì)算屬于多個(gè)組的每一個(gè)的高動(dòng)態(tài)范圍圖像中的像素的像素值的最高和最低像素值的平均值；
計(jì)算計(jì)算屬于多個(gè)組的每一個(gè)的高動(dòng)態(tài)范圍圖像中的像素的像素值的子集的質(zhì)心；以及
它們的組合。
11.根據(jù)權(quán)利要求1到10中的任何一項(xiàng)的方法，其中較低動(dòng)態(tài)范圍圖像和高動(dòng)態(tài)范圍圖像每個(gè)都包含視頻序列中的幀。
12.根據(jù)權(quán)利要求11的方法，包括針對(duì)視頻序列中的每個(gè)幀生成新的預(yù)測(cè)函數(shù)。
13.根據(jù)權(quán)利要求11的方法，包括監(jiān)視視頻序列中連續(xù)幀之間的差異，并當(dāng)每次所述差異指示當(dāng)前幀與上一幀明顯不同時(shí)生成新的預(yù)測(cè)函數(shù)。
14.根據(jù)權(quán)利要求1到13中的任何一項(xiàng)的方法，其中像素值為像素強(qiáng)度值。
15.根據(jù)權(quán)利要求14的方法，其中像素強(qiáng)度值包括輝度值、亮度(luma)值或輻射值。
16.根據(jù)權(quán)利要求14的方法，包括針對(duì)一個(gè)或多個(gè)色度值的每一個(gè)生成一個(gè)色度預(yù)測(cè)函數(shù)，對(duì)于一個(gè)或多個(gè)色度值的每一個(gè)值
對(duì)較低動(dòng)態(tài)范圍圖像中的像素的對(duì)應(yīng)色度值應(yīng)用對(duì)應(yīng)的色度預(yù)測(cè)函數(shù)，以獲得預(yù)測(cè)圖像；
計(jì)算表示預(yù)測(cè)的圖像和高動(dòng)態(tài)范圍圖像中的像素的色度值之間的差異的殘留色度圖像；以及
編碼和存儲(chǔ)表示色度預(yù)測(cè)函數(shù)和色度殘留圖像的數(shù)據(jù)。
17.根據(jù)權(quán)利要求1到16中的任何一項(xiàng)的方法，包括在存儲(chǔ)表示殘留圖像的數(shù)據(jù)之前，下采樣殘留圖像。
18.根據(jù)權(quán)利要求1到17中的任何一項(xiàng)的方法，包括過(guò)濾殘留圖像，以在存儲(chǔ)表示殘留圖像的數(shù)據(jù)之前消除噪聲。
19.根據(jù)權(quán)利要求18的方法，其中過(guò)濾殘留圖像包括
對(duì)殘留圖像以及對(duì)高動(dòng)態(tài)范圍圖像應(yīng)用離散子波變換，以便產(chǎn)生變換的殘留圖像和變換的高動(dòng)態(tài)范圍圖像；
根據(jù)變換的高動(dòng)態(tài)范圍圖像中的系數(shù)值，建立變換的殘留圖像中的系數(shù)的門限；以及
如果系數(shù)具有的值不超過(guò)相應(yīng)的門限，則設(shè)置變換的殘留圖像中的系數(shù)值為0。
20.根據(jù)權(quán)利要求19的方法，其中建立門限包括
對(duì)變換的高動(dòng)態(tài)范圍圖像中的系數(shù)應(yīng)用門限提升函數(shù)。
21.根據(jù)權(quán)利要求20的方法，其中門限提升函數(shù)包括將系數(shù)升高到預(yù)定的恒定冪。
22.根據(jù)權(quán)利要求21的方法，其中門限提升函數(shù)包括將系數(shù)乘以預(yù)定的常數(shù)。
23.根據(jù)權(quán)利要求20到22中的任何一項(xiàng)的方法，其中可以通過(guò)下面的公式或者其數(shù)學(xué)等式來(lái)給定門限提升函數(shù)
公式(16)。
24.根據(jù)權(quán)利要求20到23中的任何一項(xiàng)的方法，包括
在對(duì)系數(shù)應(yīng)用門限提升函數(shù)之前，對(duì)變換的高動(dòng)態(tài)范圍圖像的系數(shù)應(yīng)用預(yù)定的對(duì)比敏感度函數(shù)加權(quán)因子。
25.根據(jù)權(quán)利要求20到24中的任何一項(xiàng)的方法，包括
在對(duì)系數(shù)應(yīng)用門限提升函數(shù)之前，對(duì)變換的高動(dòng)態(tài)范圍圖像的系數(shù)應(yīng)用相位不確定函數(shù)。
26.根據(jù)權(quán)利要求25的方法，其中由下面的公式或者其數(shù)學(xué)等式來(lái)給定相位不確定函數(shù)
公式(15)。
在此1表示系數(shù)LCSF的鄰域是子波系數(shù)，而LCSF是在應(yīng)用相位不確定函數(shù)之后的子波系數(shù)。
27.一種用于編碼高動(dòng)態(tài)范圍圖像的設(shè)備，所述設(shè)備包括執(zhí)行指令的數(shù)據(jù)處理器，這些指令使得數(shù)據(jù)處理器
獲得對(duì)應(yīng)于高動(dòng)態(tài)范圍圖像的較低動(dòng)態(tài)范圍圖像；
識(shí)別高動(dòng)態(tài)范圍圖像中的像素組，較低動(dòng)態(tài)范圍圖像中這些對(duì)應(yīng)的像素全部都具有相同的像素值；
至少部分基于屬于多個(gè)組的每一個(gè)的高動(dòng)態(tài)范圍圖像中的像素的像素值，生成預(yù)測(cè)函數(shù)；
對(duì)較低動(dòng)態(tài)范圍圖像應(yīng)用所述預(yù)測(cè)函數(shù)，以獲得預(yù)測(cè)的圖像；
計(jì)算表示預(yù)測(cè)圖像中的像素值和高動(dòng)態(tài)范圍圖像中對(duì)應(yīng)的像素值之間的差異的殘留圖像；以及
編碼并存儲(chǔ)表示較低動(dòng)態(tài)范圍圖像、預(yù)測(cè)函數(shù)和殘留圖像的數(shù)據(jù)。
28.一種用于編碼高動(dòng)態(tài)范圍圖像的設(shè)備，所述設(shè)備包括
用于獲得對(duì)應(yīng)于高動(dòng)態(tài)范圍圖像的較低動(dòng)態(tài)范圍圖像的裝置；
用于識(shí)別高動(dòng)態(tài)范圍圖像中的像素組的裝置，較低動(dòng)態(tài)范圍圖像中這些對(duì)應(yīng)的像素全部都具有相同的像素值；
用于至少部分基于屬于多個(gè)組的每一個(gè)的高動(dòng)態(tài)范圍圖像中的像素的像素值，生成預(yù)測(cè)函數(shù)的裝置；
用于對(duì)較低動(dòng)態(tài)范圍圖像應(yīng)用所述預(yù)測(cè)函數(shù)，以獲得預(yù)測(cè)的圖像的裝置；
用于計(jì)算表示預(yù)測(cè)圖像中的像素值和高動(dòng)態(tài)范圍圖像中對(duì)應(yīng)的像素值之間的差異的殘留圖像的裝置；以及
用于編碼并存儲(chǔ)表示較低動(dòng)態(tài)范圍圖像、預(yù)測(cè)函數(shù)和殘留圖像的數(shù)據(jù)的裝置。
29.一種用于解碼高動(dòng)態(tài)范圍圖像的設(shè)備，所述設(shè)備包括執(zhí)行指令的數(shù)據(jù)處理器，這些指令使得數(shù)據(jù)處理器
檢索表示對(duì)應(yīng)于高動(dòng)態(tài)范圍圖像、預(yù)測(cè)函數(shù)和殘留圖像的較低動(dòng)態(tài)范圍圖像的數(shù)據(jù)；
對(duì)較低動(dòng)態(tài)范圍圖像應(yīng)用預(yù)測(cè)函數(shù)，以獲得預(yù)測(cè)的高動(dòng)態(tài)范圍圖像；以及
將殘留圖像與預(yù)測(cè)的高動(dòng)態(tài)范圍圖像組合，以獲得高動(dòng)態(tài)范圍圖像。
30.一種用于解碼高動(dòng)態(tài)范圍圖像的設(shè)備，所述設(shè)備包括
用于檢索表示對(duì)應(yīng)于高動(dòng)態(tài)范圍圖像、預(yù)測(cè)函數(shù)和殘留圖像的較低動(dòng)態(tài)范圍圖像的數(shù)據(jù)的裝置；
用于對(duì)較低動(dòng)態(tài)范圍圖像應(yīng)用預(yù)測(cè)函數(shù)，以獲得預(yù)測(cè)的高動(dòng)態(tài)范圍圖像的裝置；以及
用于將殘留圖像與預(yù)測(cè)的高動(dòng)態(tài)范圍圖像組合，以獲得高動(dòng)態(tài)范圍圖像的裝置。
全文摘要
一種用于編碼高動(dòng)態(tài)范圍(HDR)圖像的方法，包括提供較低動(dòng)態(tài)范圍(LDR)圖像，基于LDR圖像中對(duì)應(yīng)的像素的值，生成預(yù)測(cè)函數(shù)，用以估計(jì)HDR圖像中像素的值，以及基于HDR圖像的像素值和估計(jì)的像素值之間的差異獲得殘留幀。LDR圖像、預(yù)測(cè)函數(shù)和殘留幀都可以被編碼在數(shù)據(jù)中，從中可以重建LDR圖像或HDR圖像。
文檔編號(hào)H04N7/26GK101371583SQ200680051640
公開(kāi)日2009年2月18日 申請(qǐng)日期2006年9月7日 優(yōu)先權(quán)日2006年1月23日
發(fā)明者A·埃弗雷莫維, R·曼蒂尤克, G·克勞克齊克, K·米斯科斯基, 漢斯-彼得·塞德?tīng)?申請(qǐng)人:馬普科技促進(jìn)協(xié)會(huì)