專利名稱：用于產(chǎn)生高動態(tài)范圍圖像和視頻幀的方法和單元的制作方法
技術(shù)領(lǐng)域：
本發(fā)明的實施例涉及用于通過產(chǎn)生用于對準(zhǔn)(align)用不同曝光獲取的圖像序 列的圖像的平均差曲線來創(chuàng)建高動態(tài)范圍(HDR)圖像的方法。本發(fā)明的另一實施例涉及用 于通過根據(jù)單個圖像產(chǎn)生具有不同曝光的圖像來創(chuàng)建HDR圖像的方法。本發(fā)明的另一實施 例涉及用于通過根據(jù)單個幀產(chǎn)生具有不同曝光的幀來創(chuàng)建HDR視頻的方法。
背景技術(shù)：
在HDR圖像創(chuàng)建中，用不同曝光獲取多個圖像并且隨后混合該多個圖像以便具有 動態(tài)范圍高于單個圖像的動態(tài)范圍的圖像。在該混合過程內(nèi)，那些具有較小曝光的圖像 (其在亮區(qū)中包含更多信息)改進在圖像的這些亮區(qū)內(nèi)的動態(tài)范圍，并且具有較高曝光的 其它圖像改進在暗區(qū)內(nèi)的動態(tài)范圍。因此通過混合不同曝光的這些圖像，可以增大所得到 的圖像的動態(tài)范圍。然而，用手持式攝影機獲取的圖像序列包含全局的和局部的運動，其中全局的運 動源自于例如攝影機的移動而局部的運動源自于例如要成像的對象的移動。因此，對于HDR 圖像創(chuàng)建，在混合那些圖像之前它們應(yīng)當(dāng)彼此對準(zhǔn)。在下文中，術(shù)語“亮度”與術(shù)語“發(fā)光 度”等價地使用。問題在于用于運動估計的現(xiàn)有技術(shù)水平(state of the art)的方法不能有效地 對準(zhǔn)具有不同曝光的圖像，因為在捕獲圖像之后由于在攝影機內(nèi)的非線性后處理，在用不 同曝光獲取的圖像之間沒有亮度上的線性改變。傳統(tǒng)的運動估計對于非線性的亮度改變來說行不通，因為現(xiàn)有技術(shù)水平的技術(shù)修 剪圖像，其引起信息的損失以及偽影(artifact)，這在應(yīng)用傳統(tǒng)技術(shù)時由于運動而會在對 準(zhǔn)后的圖像中出現(xiàn)。因此，在使用現(xiàn)有技術(shù)水平的技術(shù)時，不可能在所有圖像區(qū)域中保持圖 像的動態(tài)范圍。在傳統(tǒng)的基于塊的運動估計中，當(dāng)前圖像中的塊與參考圖像中的相鄰塊相匹配， 并且具有例如最小平均絕對差(MAD)的塊被視為預(yù)測塊。此外，在其中在計算平均絕對差中從每一個像素值中減去每個圖像的全局DC的 使圖像褪色(fade)的方法對于具有不同曝光的圖像來說行不通，因為在曝光上的改變是 依賴于亮度的。因此傳統(tǒng)方法和用于使圖像褪色的方法對于具有不同曝光的圖像來說都行 不通，因為在曝光上的改變是依賴于亮度的。迄今為止根據(jù)單個圖像產(chǎn)生不同曝光圖像或者在HDR視頻中根據(jù)單個幀產(chǎn)生不 同曝光幀也是不可能的。因此本發(fā)明的目的在于提供一種用于改進在不同曝光圖像之間根據(jù)參考產(chǎn)生高 動態(tài)范圍圖像的方法和單元，使得創(chuàng)建不同曝光的對準(zhǔn)的圖像供HDR成像之用。

發(fā)明內(nèi)容
通過根據(jù)權(quán)利要求1所述的方法、根據(jù)權(quán)利要求8所述的單元和根據(jù)權(quán)利要求12所述的計算機可讀介質(zhì)解決了該問題。在從屬權(quán)利要求中限定了更進一步的實施例。通過考慮附圖和隨后的描述，本發(fā)明更多細節(jié)將變得清楚明白。


附圖被包括以提供對實施例的更進一步的了解并且被并入本說明書中且構(gòu)成其 一部分。附圖示出了實施例并且和描述一起用來解釋實施例的原理。其它實施例和實施例 的許多預(yù)期的優(yōu)點將容易被明白，因為通過參考以下詳細描述它們變得更好理解。附圖的 元件不一定相對于彼此按比例繪制。類似的附圖標(biāo)記表示對應(yīng)的類似部分。圖1是示出了發(fā)現(xiàn)運動矢量的基本意圖的框圖。圖2是示出了用于產(chǎn)生HDR圖像的方法的框圖。圖3a是示出了在不同曝光下獲取具有像素值的非線性改變的圖像的過程的框 圖。圖3b示出了像素值(在實例中所考慮的像素值為“10”)對于不同曝光如何變化。該 像素值上的變化/改變還可以被認(rèn)為是在參考圖像與具有曝光值eVl、eV2等的n_l個另外 的圖像之一之間的轉(zhuǎn)變。圖4a和4b示出了對于從具有曝光值eVO的參考圖像到具有曝光值eVl的另外的 圖像的轉(zhuǎn)變和對于到具有曝光值ev2的另一個另外的圖像的轉(zhuǎn)變的參考值的陣列。圖5a和5b對應(yīng)于圖4a和4b中示出的轉(zhuǎn)變并且示出了對于圖4a或4b的轉(zhuǎn)變的 每一個像素值的“平均差值”。圖6示出了對于每一個像素值的所有轉(zhuǎn)變的平均差值，并且是要存儲的最終的查 找表。在圖7和8中示出了查找表的不同用途。圖9示出了用于產(chǎn)生高動態(tài)范圍圖像的產(chǎn)生單元。
具體實施例方式在下文中，描述了本發(fā)明的實施例。重要的是請注意，在下文中所有所描述的實施 例可以以任何方式結(jié)合，即沒有限制某一個所描述的實施例不可以與其它的實施例結(jié)合。 此外，應(yīng)當(dāng)注意，在所有附圖中相同的附圖標(biāo)記表示相同的或類似的元件。應(yīng)當(dāng)理解，在不脫離本發(fā)明范圍的情況下可以使用其它實施例并且可以進行結(jié)構(gòu) 的或邏輯的改變。因此，以下詳細描述不應(yīng)被認(rèn)為是限制性的，并且本發(fā)明的范圍由所附權(quán) 利要求來限定。還要理解，除非有明確的不同指示，否則在本文中描述的各種實施例的特征可以 彼此結(jié)合。圖1是示出了發(fā)現(xiàn)運動矢量的基本意圖的框圖。在圖像10中，塊11被設(shè)置為具 有像素12，其中每一個像素具有像素值。在具有不同曝光的另一個圖像20中，塊11的像素 值將對應(yīng)于塊21的像素22的像素值，其中由于在圖像10與20之間曝光不同，塊21的那 些像素值不同于塊11的像素值。然而如果在圖像20與圖像10之間存在運動，在像素值上 的該改變還與在圖像平面內(nèi)對應(yīng)塊的移動關(guān)聯(lián)，并且只有當(dāng)已知在圖像10與圖像20之間 的運動矢量11-21時才能被確定。圖2是示出了用于產(chǎn)生平均差曲線的方法的框圖。在步驟S200中，在沒有局部的或全局的運動的情況下用攝影機獲取η個圖像的序列以便產(chǎn)生理想的“參考情形”，并且這 可以用安裝在三腳架上的攝影機來實現(xiàn)。這些圖像之一被挑選作為參考圖像并且其它圖像 用作輔助的或另外的圖像，其中該參考圖像的曝光值被稱為eVO而對于另外的圖像的曝光 值為eVl、eV-1、eV2等等。然后注意到，可能在參考圖像內(nèi)出現(xiàn)若干次的某一個像素值如 何在參考圖像與另外的圖像之間改變差值，該差值對于參考圖像的所有像素來說不一定是 恒定的。在步驟S210中，對于參考圖像的每一個像素值，對于另外的圖像的多個差值被確 定并且組成陣列。在步驟S220中，針對在參考圖像與n-1個另外的圖像之間的n-1個參考 (轉(zhuǎn)變)中的每一個，計算差曲線。該差曲線代表表示每一個像素值的平均差值的圖。根據(jù) 像素值的陣列的差值來計算該平均差值作為平均值。在步驟230中，平均差值被存為查找 表中的這些平均差曲線，其然后被用于攝影機，對該攝影機已經(jīng)計算了該值。如圖3a所示，用不同曝光值eVx獲取η個圖像的序列，其中曝光上的差可能源自 于曝光時間上的差或孔徑尺寸上的差。這必須發(fā)生在沒有局部的或全局的運動的情況下以 便產(chǎn)生理想的“參考情形”。因此應(yīng)當(dāng)例如通過用三腳架獲取圖像來避免在獲取圖像期間 的任何運動。這些η個圖像之一被確定為用作參考圖像而其它n-1個圖像被用作另外的圖 像，用于計算它們的像素值相對于參考圖像的像素值上的差。由此術(shù)語“像素值”包括關(guān)于 發(fā)光度的信息。像素值可能是例如0到255。在方法的實施例中，其曝光不是最高或最低的圖像可以被挑選作為參考圖像，以 便使用以類似的效率改進暗區(qū)和亮區(qū)兩者的范圍的效果。之后針對在參考圖像內(nèi)的每一個 像素值來考慮差，其中確定從參考圖像到n-1個另外的圖像的差值。圖3b示出了像素值(在實例中所考慮的像素值為“10”)在從參考圖像到具有曝 光值eVl等的另外的圖像的轉(zhuǎn)變期間如何變化。因此對于參考圖像的每一個像素值，針對n-1個轉(zhuǎn)變(從參考圖像到n-1個另外 的圖像)來計算差值的陣列。例如在圖3b中，像素值10的從eVO到eVl的轉(zhuǎn)變得到像素 值14、13和15。圖4a中示出了針對到eVl的轉(zhuǎn)變所得到的對于像素值10的差值陣列，而 圖4b中示出了針對到eV2的轉(zhuǎn)變所得到的對于像素值10的差值陣列。在像素的直接比較 中該計算是可能的，因為在圖像的序列內(nèi)沒有移動。針對從參考圖像到n-1個另外的圖像 的所有n-1個轉(zhuǎn)變來進行計算。之后每個陣列被“收縮”到作為對應(yīng)像素值的平均差值的 一個值。雖然圖4a和4b示出了僅僅針對像素值10的陣列，但是對應(yīng)的圖5a和5b針對在 像素值10下的陣列并且針對其它像素值的每個另外的陣列而采取一個平均值，使得產(chǎn)生 曲線，其表示針對每一個像素值的一個平均差值。圖5a和5b中示出的針對從參考圖像到 具有曝光值eVl的另外的圖像和到具有曝光值eV2的另外的圖像的轉(zhuǎn)變的該曲線也被稱為 平均差曲線。圖6示出了查找表LUT，其中要填入針對像素值0到255的n_l個轉(zhuǎn)變(在y軸 上)的所有平均差值。出于更容易說明的原因，僅僅針對像素值10示出了針對兩個不同轉(zhuǎn) 變的兩個平均差值。如果連續(xù)地填滿這種查找表，它還可以被示出為在像素值(圖6的X 軸)之上的跨過不同轉(zhuǎn)變(圖6的y軸)的平面上方的三維空間圖。然后存儲該查找表， 并且有可能存儲針對多個不同焦距和/或不同ISO靈敏度的多個查找表。不同曝光圖像的數(shù)目η越高趨向于提供越好的加權(quán)。
當(dāng)用手持式攝影機獲取HDR圖像并且在圖像序列內(nèi)存在運動時，在合并圖像以創(chuàng) 建HDR圖像之前該圖像的對準(zhǔn)是必需的。如果具有局部的或全局的運動的圖像彼此不對 準(zhǔn)，則在創(chuàng)建的HDR圖像中會有偽影。如上面已經(jīng)解釋的，曾經(jīng)針對圖像獲取單元(例如照相機)而產(chǎn)生查找表。一旦 被產(chǎn)生，查找表可以用于對準(zhǔn)甚至包括運動的相同的攝影機獲取的圖像的序列。因此，一旦知道由查找表代表的亮度_曝光-依賴性，即使在不同曝光圖像的序列 內(nèi)具有運動，可以在沒有偽影的情況下進行用于創(chuàng)建HDR圖像的圖像序列的對準(zhǔn)，并且無 需使用任何參數(shù)的另外的手動調(diào)諧。如已經(jīng)表示的，可以針對一個攝影機存儲針對不同焦距和針對不同ISO靈敏度的 不同查找表。在示出根據(jù)本發(fā)明另外實施例的用于創(chuàng)建高動態(tài)范圍圖像的方法的圖7中示出 了查找表的一個用途。通過使用查找表來對準(zhǔn)為創(chuàng)建HDR圖像而獲取的圖像序列，并且在 對準(zhǔn)的圖像的線性化之后可以混合圖像以在沒有引起偽影的情況下得到一個HDR圖像。在圖7中，如上所述并且如圖2中所示出的，在沒有運動的情況下通過獲取圖像的 第一序列而已經(jīng)知道查找表。然后在步驟S710中，用相同的攝影機獲取圖像的序列。在步 驟S720中，根據(jù)已經(jīng)為該攝影機已知的查找表來對準(zhǔn)該獲取的序列。接著可以是線性化該 對準(zhǔn)的圖像的進一步步驟S730。在步驟S740中，混合圖像以便產(chǎn)生HDR圖像。該方法也可以被應(yīng)用于視頻幀。此外，如圖8所示，查找表還可以用于通過根據(jù)單個圖像產(chǎn)生不同曝光圖像而不 另外需要在混合之前對準(zhǔn)的某種“人造的(artificial)HDR”圖像創(chuàng)建。該人造的所產(chǎn)生的 序列的混合將增強原始的單個圖像的對比度。以類似的方式還可以通過對單個幀應(yīng)用該方 法、由此產(chǎn)生用于混合的人造的不同曝光幀(其將增強原始單幀的對比度)，來人造地創(chuàng)建 HDR視頻。因此此外在圖8中，如上所述并且如圖2中所示出的，在沒有運動的情況下通過獲 取圖像的第一序列而已經(jīng)知道查找表。然后在步驟S810中，用相同的攝影機獲取單個圖 像。在步驟S820中，根據(jù)已經(jīng)為該攝影機已知的查找表，從該獲取的單個圖像中產(chǎn)生多個 人造的另外的圖像。在步驟S830中，混合所獲取的單個圖像和人造地創(chuàng)建的另外的圖像以 便產(chǎn)生HDR圖像。該方法也可以被應(yīng)用于視頻幀。圖9示出了用于產(chǎn)生高動態(tài)范圍圖像的產(chǎn)生單元100。該產(chǎn)生單元包括成像單元 110，其被配置為用不同曝光獲取對象的η個圖像的序列或圖像。因為為了獲取該第一初始 化序列，對象、成像單元和周圍環(huán)境必須相對于彼此保持靜止，所以成像單元或產(chǎn)生單元可 以被布置在圖9中未示出的三腳架上。產(chǎn)生單元還可以包括第一處理器120和第二處理器130，第一處理器120被配置為 針對包含η-1個差值的參考圖像陣列的每一個像素值計算對應(yīng)于η-1個另外的圖像之一的 每個陣列，第二處理器130被配置為針對η-1個另外的圖像中的每一個計算平均差曲線，其 中每個平均差曲線代表每一個像素值的平均差值。第一和第二處理器還可以被結(jié)合為一個 處理器。此外產(chǎn)生單元100可以包括被配置為存儲平均差值的存儲器140，針對查找表中的 η-1個另外的圖像中的每一個并且針對每一個像素值來描述該平均差值。
存儲器140可以被配置為存儲用于不同焦距和/或不同ISO靈敏度的查找表。產(chǎn)生單元100還可以包括被配置為根據(jù)查找表來對準(zhǔn)圖像的對準(zhǔn)單元200和被配 置為混合圖像的混和單元400。產(chǎn)生單元100還可以包括線性化單元300，其被配置為在圖像對準(zhǔn)之后線性化該 圖像。產(chǎn)生單元100還可以包括圖像創(chuàng)建單元500，其被配置為根據(jù)查找表來從單個圖 像中創(chuàng)建多個另外的圖像，其還可以通過混合單元400來混合。雖然在本文中已經(jīng)示出和 描述了特定的實施例，但是本領(lǐng)域普通技術(shù)人員將明白，在不脫離所描述實施例的范圍的 情況下各種替代的和/或等同的實現(xiàn)方式可以代替所示出和描述的特定實施例。本申請意 圖覆蓋在本文中討論的特定實施例的任何改編或變化。因此，本發(fā)明意圖僅僅由權(quán)利要求 及其等同物限制。
權(quán)利要求
一種用于產(chǎn)生高動態(tài)范圍圖像的方法，包括用攝影機獲取對象的具有不同曝光的n個圖像的第一序列，其中所述對象和所述攝影機相對于彼此保持靜止，其中所述序列包含具有像素值的一個參考圖像和n 1個另外的圖像，其中n≥2，針對所述參考圖像的每一個像素值計算包含x個差值的陣列，每個陣列對應(yīng)于所述n 1個另外的圖像之一，其中x是所考慮的像素值出現(xiàn)在所述參考圖像中的次數(shù)，針對所述n 1個另外的圖像中的每一個計算平均差曲線，每個平均差曲線代表針對每一個像素值的平均差值，以及在查找表中存儲針對每一個像素值和針對所述n 1個另外的圖像中的每一個的平均差值。
2.根據(jù)權(quán)利要求1所述的用于產(chǎn)生高動態(tài)范圍圖像的方法，還包括 用所述攝影機獲取圖像的第二序列，根據(jù)所述查找表來對準(zhǔn)所述圖像，以及 混合線性化后的圖像。
3.根據(jù)權(quán)利要求1所述的用于產(chǎn)生高動態(tài)范圍圖像的方法，還包括 獲取單個圖像，根據(jù)所述查找表從所述單個圖像中創(chuàng)建多個另外的圖像，以及 將所述單個圖像和所述另外的圖像混合到一個圖像。
4.根據(jù)權(quán)利要求1所述的用于產(chǎn)生高動態(tài)范圍圖像的方法，還包括用所述攝影機獲取圖像的另一個第二序列，其中所述對象和所述攝影機相對于彼此保 持靜止，以及根據(jù)所述查找表來混合所述圖像。
5.根據(jù)權(quán)利要求1所述的用于產(chǎn)生高動態(tài)范圍圖像的方法，其中在不同曝光之間的差 源自于曝光時間上的差。
6.根據(jù)權(quán)利要求1所述的用于產(chǎn)生高動態(tài)范圍圖像的方法，其中在不同曝光之間的差 源自于孔徑尺寸上的差。
7.一種用于產(chǎn)生高動態(tài)范圍視頻的方法，包括 獲取視頻幀的序列，根據(jù)權(quán)利要求3所述的方法來從每個視頻幀中創(chuàng)建多個另外的視頻幀，其中將每個視 頻幀處理為單個圖像。
8.一種用于產(chǎn)生高動態(tài)范圍圖像的產(chǎn)生單元(100)，包括成像單元(110)，被配置為獲取對象的具有不同曝光的η個圖像的序列，其中所述對象 和所述成像單元(110)相對于彼此保持靜止，并且其中所述序列包含具有像素值的一個參 考圖像和η-1個另外的圖像，其中η > 2，第一處理器(120)，被配置為針對包含η-1個差值的參考圖像陣列的每一個像素值計 算對應(yīng)于所述η-1個另外的圖像之一的每個陣列，第二處理器(130)，被配置為針對所述η-1個另外的圖像中的每一個計算平均差曲線， 每個平均差曲線代表針對每一個像素值的平均差值，以及存儲器(140)，被配置為在查找表中存儲針對每一個像素值并且針對η-1個另外的圖 2像中的每一個的平均差值。
9.根據(jù)權(quán)利要求8所述的用于產(chǎn)生平均差曲線的產(chǎn)生單元(100)，其特征在于所述存 儲器(140)被配置為存儲用于不同焦距和/或不同ISO靈敏度的查找表。
10.根據(jù)權(quán)利要求8所述的用于創(chuàng)建高動態(tài)范圍圖像的產(chǎn)生單元，還包括 對準(zhǔn)單元(200)，被配置為根據(jù)所述查找表來對準(zhǔn)所述圖像，以及混合單元(400)，被配置為混合線性化后的圖像。
11.根據(jù)權(quán)利要求8所述的用于產(chǎn)生高動態(tài)范圍圖像的產(chǎn)生單元，還包括圖像創(chuàng)建單元(500)，被配置為根據(jù)所述查找表從單個圖像中創(chuàng)建多個另外的圖像，以及混合單元，被配置為將所述單個圖像和所述另外的圖像混合到一個圖像。
12.—種計算機可讀介質(zhì)，包括其使得計算機執(zhí)行用于產(chǎn)生高動態(tài)范圍圖像的方法的 計算機程序指令，包括用攝影機獲取對象的具有不同曝光的η個圖像的序列，其中所述對象和攝影機相對于 彼此保持靜止，其中所述序列包含具有像素值的一個參考圖像和η-1個另外的圖像，其中 η彡2，針對包含η-1個差值的參考圖像陣列的每一個像素值計算對應(yīng)于所述η-1個另外的圖 像之一的每個陣列，針對所述η-1個另外的圖像中的每一個計算平均差曲線，每個平均差曲線代表針對每 一個像素值的平均差值，以及在查找表中存儲針對每一個像素值和針對所述η-1個另外的圖像中的每一個的平均差值。
13.一種計算機可讀存儲介質(zhì)，包括根據(jù)權(quán)利要求12所述的計算機可讀介質(zhì)。
全文摘要
用于產(chǎn)生高動態(tài)范圍圖像和視頻幀的方法和單元。本發(fā)明的一個實施例涉及用于通過產(chǎn)生用于對準(zhǔn)用不同曝光獲取的圖像序列的圖像的平均差曲線來創(chuàng)建高動態(tài)范圍(HDR)圖像的方法，其中曝光上的差可能源自于曝光時間上的差或孔徑尺寸上的差。本發(fā)明的另一實施例涉及用于通過根據(jù)單個圖像產(chǎn)生具有不同曝光的圖像來創(chuàng)建HDR圖像的方法。本發(fā)明的另一實施例涉及用于通過根據(jù)單個幀產(chǎn)生具有不同曝光的幀來創(chuàng)建HDR視頻的方法。
文檔編號H04N5/262GK101902581SQ20101015924
公開日2010年12月1日 申請日期2010年3月31日 優(yōu)先權(quán)日2009年3月31日
發(fā)明者K·齊默曼, M·西迪圭, M·阿蒂夫 申請人:索尼株式會社