專利名稱：采用靜態(tài)圖像和預(yù)覽圖像創(chuàng)建高動(dòng)態(tài)范圍圖像的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及根據(jù)多個(gè)圖像產(chǎn)生改善的圖像。更具體地，多個(gè)圖像用于形成具有增加的動(dòng)態(tài)范圍的高分辨率圖像。
背景技術(shù)：
通常在諸如數(shù)碼相機(jī)、掃描機(jī)和攝像機(jī)這樣的產(chǎn)品中發(fā)現(xiàn)圖像傳感設(shè)備，比如電荷耦合器件(CCD)。與傳統(tǒng)的底片產(chǎn)品相比，這些圖像傳感設(shè)備具有非常有限的動(dòng)態(tài)范圍。典型的圖像傳感設(shè)備具有大約5檔的動(dòng)態(tài)范圍。這意味著為了避免剪掉信號(hào)，對(duì)于典型場景必須確定具有相當(dāng)數(shù)量的精確度的曝光。另外，由于多個(gè)光源(比如，場景的正面照明部分和背面照明部分)，場景常常具有非常寬的動(dòng)態(tài)范圍。在寬動(dòng)態(tài)范圍場景的情況下，選擇適當(dāng)?shù)闹黧w曝光經(jīng)常使得剪掉圖像的另一部分中的數(shù)據(jù)成為必需。因此，相對(duì)于鹵化銀介質(zhì)，圖像傳感設(shè)備的低動(dòng)態(tài)范圍導(dǎo)致通過圖像傳感設(shè)備獲得的圖像的較低圖像質(zhì)量。 提高通過圖像傳感設(shè)備獲得的圖像的動(dòng)態(tài)范圍的方法允許再均衡這樣的圖像以獲得圖像的更令人喜愛的再現(xiàn)。具有增加的動(dòng)態(tài)范圍的圖像也考慮到更令人喜愛的反差光補(bǔ)(contrast improvement),比如Lee等人在共同轉(zhuǎn)讓的美國專利No. 5, 012, 333中描述的。一種用于采用圖像傳感設(shè)備獲得改善的圖像的方法是包圍式曝光，由此以一系列不同曝光捕捉具有相同分辨率的多個(gè)靜態(tài)圖像，并且這些圖像之一被選作最好的整體曝光。然而，該技術(shù)不提高通過圖像傳感設(shè)備捕捉的單個(gè)圖像的動(dòng)態(tài)范圍。一種用于獲得具有增加的動(dòng)態(tài)范圍的圖像的方法是通過以不同曝光捕捉具有相同分辨率的多個(gè)靜態(tài)圖像，并且將這些圖像組合成具有提高的動(dòng)態(tài)范圍的單一輸出圖像。Mann在共同轉(zhuǎn)讓的美國專利No. 5，828，793和Ikeda在共同轉(zhuǎn)讓的美國專利No. 6，040, 858中描述了該方法。該方法經(jīng)常需要數(shù)碼相機(jī)中的單獨(dú)的捕捉模式和處理通道。另外，多個(gè)捕捉的時(shí)間接近度被速率限制，其中可以以此速率從圖像傳感器讀出圖像。捕捉之間的更大的時(shí)間不一致提高存在于捕捉之間存在的運(yùn)動(dòng)的可能性，不管是涉及手抖動(dòng)的相機(jī)運(yùn)動(dòng)還是由場景內(nèi)的移動(dòng)目標(biāo)導(dǎo)致的場景運(yùn)動(dòng)。運(yùn)動(dòng)增加將多個(gè)圖像融合成單一輸出圖像的困難。一種用于獲得具有增加的動(dòng)態(tài)范圍的圖像的另一方法是同時(shí)捕捉具有不同曝光的多個(gè)圖像，其中該方法解決了存在于多個(gè)圖像之間的運(yùn)動(dòng)問題。隨后將圖像組合成具有增加的動(dòng)態(tài)范圍的單一輸出圖像?？梢酝ㄟ^使用多個(gè)成像通道和傳感器實(shí)現(xiàn)該捕捉過程。然而，該解決辦法招致以多個(gè)成像通道和傳感器形式的額外成本。因?yàn)閭鞲衅鞑晃挥谙嗤奈恢茫虼水a(chǎn)生具有不同視角的圖像，這也引入多個(gè)圖像之間的一致性問題?；蛘?，分光板可以用于將入射光投射到單一圖像捕捉設(shè)備內(nèi)的多個(gè)傳感器上。該解決方法方案招致以分光板和多個(gè)傳感器形式的額外成本，并且也減少任何單個(gè)圖像傳感器可用的光的量。用于獲得具有增加的動(dòng)態(tài)范圍的圖像的另一方法是通過使用具有標(biāo)準(zhǔn)響應(yīng)于曝光的像素和不標(biāo)準(zhǔn)響應(yīng)于曝光的像素的圖像傳感器。Gallagher等人在共同轉(zhuǎn)讓的美國專利No 6，909，461中描述了這樣的解決辦法。然而，因?yàn)榫哂休^慢的、不標(biāo)準(zhǔn)響應(yīng)的像素比具有標(biāo)準(zhǔn)響應(yīng)的像素具有較差的信噪比性能，這樣的傳感器對(duì)于不呈現(xiàn)高動(dòng)態(tài)范圍特性的場景具有較差性能。用于獲得具有增加的動(dòng)態(tài)范圍的圖像的另一方法通過使用被編程以讀出并存儲(chǔ)處于第一曝光的圖像傳感器內(nèi)的像素的圖像傳感器，同時(shí)繼續(xù)將圖像傳感器暴露于光。Ward等人在共同轉(zhuǎn)讓的美國專利No7, 616，256中描述了這種解決辦法。一個(gè)例子中，第一曝光時(shí)間之后，來自于CCD的像素被讀入光屏蔽垂直寄存器，并且繼續(xù)圖像傳感器的曝光，直到完成第二曝光時(shí)間為止。然而，該解決辦法允許利用曝光之間的最小時(shí)間從圖像傳感器多次讀出單個(gè)像素，它具有缺陷需要將數(shù)據(jù)從傳感器讀取的專門的硬件。因此，本領(lǐng)域中，需要一種改善的解決辦法，以將多個(gè)圖像組合以形成具有增加的動(dòng)態(tài)范圍的圖像，不需要專門硬件或附加圖像傳感器，不犧牲不需要高動(dòng)態(tài)范圍的場景的性能，不需要單獨(dú)的捕捉模式，并且多個(gè)曝光之間具有最小時(shí)間。

發(fā)明內(nèi)容
本發(fā)明的目的是采用至少一個(gè)實(shí)時(shí)取景圖像和至少一個(gè)靜態(tài)圖像產(chǎn)生具有增加的動(dòng)態(tài)范圍的圖像。通過用于改善捕捉的數(shù)字圖像的動(dòng)態(tài)范圍的方法實(shí)現(xiàn)該目的，方法包括步驟(a)從實(shí)時(shí)取景圖像流采集至少一個(gè)圖像，其中，每一采集的實(shí)時(shí)取景圖像具有有效曝光和第一分辨率；(b)以不同于采集的實(shí)時(shí)取景圖像中的每一個(gè)的有效曝光的有效曝光和以高于第一分辨率的分辨率捕捉至少一個(gè)靜態(tài)圖像；以及(C)將至少一個(gè)實(shí)時(shí)取景圖像和至少一個(gè)靜態(tài)圖像組合。本發(fā)明的優(yōu)點(diǎn)是可以不用專門硬件或附加圖像傳感器產(chǎn)生具有增加的動(dòng)態(tài)范圍的圖像。本發(fā)明的另一個(gè)優(yōu)點(diǎn)是可以產(chǎn)生具有增加的動(dòng)態(tài)范圍的圖像而不犧牲不需要高動(dòng)態(tài)范圍的場景的性能。本發(fā)明的另一優(yōu)點(diǎn)是可以產(chǎn)生具有增加的動(dòng)態(tài)范圍的圖像而不需要單獨(dú)的捕捉模式。本發(fā)明的又一優(yōu)點(diǎn)是可以以多個(gè)曝光之間的最小時(shí)間產(chǎn)生具有提高的動(dòng)態(tài)范圍的圖像。根據(jù)瀏覽下面對(duì)優(yōu)選實(shí)施方式和對(duì)附加的權(quán)利要求的詳細(xì)描述，并且參考附圖，本發(fā)明的這些和其它方面、目的、特征和優(yōu)點(diǎn)會(huì)被更清楚地理解和懂得。


圖I是采用本發(fā)明的處理方法的數(shù)字靜態(tài)照相機(jī)系統(tǒng)的方塊圖；圖2 (現(xiàn)有技術(shù))示出圖像傳感器上的Bayer模式；圖3a是本發(fā)明的一個(gè)實(shí)施方式的流程圖；圖3b是本發(fā)明的一個(gè)實(shí)施方式的流程圖；圖4是本發(fā)明的用于將實(shí)時(shí)取景圖像和靜態(tài)圖像組合的方法的流程圖；圖5是本發(fā)明的用于將實(shí)時(shí)取景圖像和靜態(tài)圖像組合的方法的流程圖；
圖6是本發(fā)明的用于將實(shí)時(shí)取景圖像和代表實(shí)時(shí)取景圖像組合的方法的流程圖7是本發(fā)明的用于將調(diào)整的實(shí)時(shí)取景圖像和代表實(shí)時(shí)取景圖像組合的方法的流程圖；并且圖8是本發(fā)明的用于將調(diào)整的實(shí)時(shí)取景圖像和代表實(shí)時(shí)取景圖像組合的方法的流程圖。
具體實(shí)施例方式因?yàn)槭褂贸上裨O(shè)備和用于信號(hào)捕捉和校正并用于曝光控制的相關(guān)電路的數(shù)碼相機(jī)是眾所周知的，本描述將特別指向形成根據(jù)本發(fā)明的方法和裝置的一部分或更直接地與根據(jù)本發(fā)明的方法和裝置合作的 元件。這里沒有特別顯示或描述的元件選擇于現(xiàn)有技術(shù)中已知的元件。以軟件提供要描述的實(shí)施方式的某些方面?？紤]到接下來的材料中的根據(jù)本發(fā)明顯示和描述的系統(tǒng)，這里沒有明確顯示、描述或提出的對(duì)本發(fā)明的實(shí)施有幫助的軟件是常規(guī)的并處于這種領(lǐng)域中的普通技術(shù)的范圍內(nèi)。現(xiàn)在轉(zhuǎn)向圖1，顯示為體現(xiàn)本發(fā)明的數(shù)碼相機(jī)的圖像捕捉設(shè)備的方塊圖被顯示。盡管現(xiàn)在會(huì)解釋數(shù)碼相機(jī)，但是本發(fā)明清楚地適用于其它類型的圖像捕捉設(shè)備，比如包括在非相機(jī)設(shè)備中的成像子系統(tǒng)，例如，其中非相機(jī)設(shè)備比如為手機(jī)和汽車。來自于主體場景的光10被輸入到成像平臺(tái)11，光被透鏡12聚焦以形成固態(tài)圖像傳感器20上的圖像。圖像傳感器20通過將每一圖像元素(像素)的電荷積分(integrating)，將入射光轉(zhuǎn)換成電信號(hào)。優(yōu)選實(shí)施方式的圖像傳感器20是電荷耦合器件(CCD)類型或主動(dòng)式像素傳感器(APS)類型。(因?yàn)榭梢杂没パa(bǔ)金屬氧化物半導(dǎo)體工藝制造APS設(shè)備，APS設(shè)備經(jīng)常被稱作CMOS傳感器)。這種傳感器包括隨后更詳細(xì)地描述的彩色濾光片排列。通過光圈模塊14和中性密度(ND)濾光片模塊13調(diào)節(jié)到達(dá)傳感器20的光量，其中，光圈模塊改變孔徑，中性密度濾光片模塊包括一個(gè)或更多插入在光路中的ND濾光片?？扉T模塊18被打開的時(shí)間也調(diào)節(jié)整體光水平。曝光控制器模塊40響應(yīng)于場景中可用的、通過亮度傳感器模塊16測量的光量，并且控制所有這三個(gè)調(diào)節(jié)功能。來自于圖像傳感器20的模擬信號(hào)被模擬信號(hào)處理器22處理，并且被應(yīng)用到用于數(shù)字化傳感器信號(hào)的模擬數(shù)字(A/D)轉(zhuǎn)換器24。定時(shí)發(fā)生器26產(chǎn)生各種時(shí)鐘信號(hào)以選擇行和像素，并使模擬信號(hào)處理器22和A/D轉(zhuǎn)換器24的操作同步。圖像傳感器平臺(tái)28包括圖像傳感器20、模擬信號(hào)處理器22、A/D轉(zhuǎn)換器24和定時(shí)發(fā)生器26。圖像傳感器平臺(tái)28的功能元件是分別制造的集成電路，或如同通常對(duì)CMOS圖像傳感器進(jìn)行的，它們被制作成單一的集成電路。來自于A/D轉(zhuǎn)換器24的生成的數(shù)字像素值流被存儲(chǔ)在與數(shù)字信號(hào)處理器(DSP) 36相聯(lián)系的存儲(chǔ)器32中。數(shù)字信號(hào)處理器36是該實(shí)施方式中的三個(gè)處理器或控制器之一，除系統(tǒng)控制器50和曝光控制器40之外。盡管將相機(jī)功能控制分布在多個(gè)控制器和處理器中是典型的，但是這些控制器或處理器是可以以各種方式組合的，而不影響相機(jī)的功能操作和本發(fā)明的應(yīng)用。這些控制器或處理器可以包括一個(gè)或更多數(shù)字信號(hào)處理設(shè)備、微控制器、可編程邏輯設(shè)備、或其他數(shù)字邏輯電路。盡管已經(jīng)描述了這些控制器或處理器的組合，但是明顯的應(yīng)該是優(yōu)選地，一個(gè)控制器或處理器被指派執(zhí)行所有需要的功能。所有這些變體可以執(zhí)行相同的功能并且落在本發(fā)明的范圍之內(nèi)，并且當(dāng)需要時(shí)可以采用術(shù)語“處理平臺(tái)”以將所有這些功能包含在一個(gè)短語之內(nèi)，例如，圖I中的處理平臺(tái)38。
在示出的實(shí)施方式中，DSP36根據(jù)永久存儲(chǔ)在程序存儲(chǔ)器54中并被復(fù)制到存儲(chǔ)器32以在圖像捕捉期間執(zhí)行的軟件程序，處理其存儲(chǔ)器32中的數(shù)字圖像數(shù)據(jù)。DSP36執(zhí)行實(shí)施圖3a和3b中顯示的圖像處理需要的軟件。存儲(chǔ)器32包括任何類型的隨機(jī)存取存儲(chǔ)器，比如SDRAM。包括用于地址和數(shù)據(jù)信號(hào)的路徑的總線30將DSP36連接到其相關(guān)存儲(chǔ)器32、A/D轉(zhuǎn)換器24和其他相關(guān)設(shè)備。系統(tǒng)控制器50基于存儲(chǔ)在程序存儲(chǔ)器54中的軟件程序控制相機(jī)的整體操作，程序存儲(chǔ)器可以包括Flash EEPROM或其他非易失存儲(chǔ)器。該存儲(chǔ)器也可以被用于存儲(chǔ)圖像傳感器校準(zhǔn)數(shù)據(jù)、用戶設(shè)定選擇和相機(jī)被關(guān)掉時(shí)必須被保存的其他的數(shù)據(jù)。通過命令如以前描述的曝光控制器40操作透鏡12、ND濾光片13、光圈14和快門18，通過命令定時(shí)發(fā)生器26操作圖像傳感器20和相關(guān)的元件，并通過命令DSP36處理捕捉的圖像數(shù)據(jù)，系統(tǒng)控制器50控制圖像捕捉的序列。圖像被捕捉并被處理之后，存儲(chǔ)在存儲(chǔ)器32中的最終圖像文件被通過接口 57轉(zhuǎn)移到主機(jī)、存儲(chǔ)在可插拔存儲(chǔ)卡64或其他存儲(chǔ)設(shè)備上、并為用戶顯示在圖像顯示器88上。 總線52包括用于地址、數(shù)據(jù)和控制信號(hào)的路徑，并將系統(tǒng)控制器50連接到DSP36、程序存儲(chǔ)器54、系統(tǒng)存儲(chǔ)器56、主機(jī)接口 57、存儲(chǔ)卡接口 60和其他相關(guān)設(shè)備。主機(jī)接口 57提供到個(gè)人計(jì)算機(jī)(PC)或用于轉(zhuǎn)移用于顯示、存儲(chǔ)、處理或打印的圖像數(shù)據(jù)的其他主機(jī)的高速連接。該接口是IEEE1394或USB2.0串行接口、或任何其他合適的數(shù)字接口。典型地，存儲(chǔ)卡64是插入到插口 62并通過存儲(chǔ)卡接口 60連接到系統(tǒng)控制器50的緊湊型閃存(CF)卡。被采用的其他類型的存儲(chǔ)體包括而不限于PC卡，多媒體卡(MMC)或安全數(shù)字(SD)卡。經(jīng)過處理的圖像被復(fù)制到系統(tǒng)存儲(chǔ)器56中的顯示緩沖器，并被通過視頻編碼器80連續(xù)讀出以產(chǎn)生視頻信號(hào)。信號(hào)被直接從相機(jī)輸出，用于顯示在外部監(jiān)視器上，或被顯示控制器82處理并被呈現(xiàn)在圖像顯示器88上。典型地，該顯示器是主動(dòng)陣列式彩色液晶顯示器(IXD)，盡管也采用其他類型的顯示器。用戶接口 68(包括取景顯示器70、曝光顯示器72、狀態(tài)顯示器76和圖像顯示器88的所有或任何組合)和用戶輸入74被曝光控制器40和系統(tǒng)控制器50上執(zhí)行的軟件程序的組合控制。典型地，用戶輸入74包括按鈕、搖臂開關(guān)、操縱桿、旋轉(zhuǎn)撥盤或觸摸屏的一些組合。曝光控制器40操作測光、曝光模式、自動(dòng)聚焦和其他曝光功能。系統(tǒng)控制器50控制呈現(xiàn)在顯示器的一個(gè)或更多，比如圖像顯示器88上的圖形用戶界面(⑶I)。典型地，⑶I包括獲得用于檢查捕捉的圖像的各種選項(xiàng)選擇和瀏覽模式的菜單。曝光控制器40接受選擇曝光模式、透鏡孔徑、曝光時(shí)間(快門速度)和曝光指數(shù)或ISO速度等級(jí)的用戶輸入，并為隨后的捕捉相應(yīng)地指導(dǎo)透鏡和快門。當(dāng)手動(dòng)設(shè)定ISO速度等級(jí)、孔徑和快門速度時(shí)，采用亮度傳感器16測量場景的亮度并為用戶提供以供參考的曝光測量功能。這種情況下，當(dāng)用戶改變一個(gè)或更多設(shè)定時(shí)，呈現(xiàn)在取景顯示器70上的測光計(jì)指示器告訴用戶圖像會(huì)過度曝光或曝光不足到什么程度。在自動(dòng)曝光模式中，用戶改變一個(gè)設(shè)定，曝光控制器40自動(dòng)改變另一個(gè)設(shè)定，以維持正確的曝光，例如，對(duì)于用戶減少透鏡孔徑時(shí)的給定的ISO速度等級(jí)，曝光控制器40自動(dòng)增加曝光時(shí)間，以維持相同的整體曝光。ISO速度等級(jí)是數(shù)字靜態(tài)照相機(jī)的重要屬性。曝光時(shí)間、透鏡孔徑、透鏡透射比、場景的照明水平及光譜分布和場景反射比確定數(shù)字靜態(tài)照相機(jī)的曝光水平。當(dāng)采用不足曝光獲得來自于數(shù)字靜態(tài)照相機(jī)的圖像時(shí)，一般地可以通過增加電子或數(shù)字增益維持適當(dāng)?shù)纳{(diào)再現(xiàn)，但是，圖像會(huì)包含不能接受的噪聲量。當(dāng)增加曝光時(shí)，增益減少，因此，通?？梢詫D像噪聲減少到可以接受的水平。如果過分增加曝光，在圖像的明亮區(qū)域中產(chǎn)生的信號(hào)可以超過圖像傳感器或相機(jī)信號(hào)處理的最大信號(hào)水平容量。這可以導(dǎo)致圖像加亮區(qū)被剪掉以形成均勻地明亮的區(qū)域，或?qū)е聢D像加亮區(qū)發(fā)展成為包圍圖像的區(qū)域。指導(dǎo)用戶設(shè)定恰當(dāng)?shù)钠毓馐侵匾?。ISO速度等級(jí)意在起這種指導(dǎo)的作用。為了被攝影者容易理解，數(shù)字靜態(tài)照相機(jī)的ISO速度等級(jí)應(yīng)該直接涉及膠卷相機(jī)的ISO速度等級(jí)。例如，如果數(shù)字靜態(tài)照相機(jī)具有IS0200的ISO速度等級(jí)，那么相同的曝光時(shí)間和孔徑對(duì)于IS0200等級(jí)的膠卷/過程系統(tǒng)應(yīng)該是適當(dāng)?shù)?。ISO速度等級(jí)意在與膠卷ISO速度等級(jí)調(diào)和。然而，電子和基于膠卷的成像系統(tǒng) 之間存在差異，其妨礙了確切的等效性。數(shù)字靜態(tài)照相機(jī)可以包括可變?cè)鲆妫⑶以趫D像數(shù)據(jù)被捕捉之后可以提供數(shù)字處理、使得可以實(shí)現(xiàn)覆蓋相機(jī)曝光范圍的色調(diào)再現(xiàn)。由于靈活性，數(shù)字靜態(tài)照相機(jī)可以具有速度等級(jí)范圍。該范圍定義為ISO速度寬容度(latitude)。為了避免混淆，單一值被指派為固有ISO速度等級(jí)，ISO速度寬容度上、下限指示速度范圍，也就是包括與固有ISO速度等級(jí)不同的有效速度等級(jí)的范圍?；谶@種思想，固有ISO速度是根據(jù)提供在數(shù)字靜態(tài)照相機(jī)的焦平面的曝光計(jì)算的數(shù)值，以產(chǎn)生指定的相機(jī)輸出信號(hào)特性。固有速度通常是針對(duì)正常場景產(chǎn)生給定相機(jī)系統(tǒng)的最高圖像質(zhì)量的曝光指數(shù)值，其中，曝光指數(shù)是與提供給圖像傳感器的曝光成反比的數(shù)字值。數(shù)碼相機(jī)的前面的描述對(duì)本領(lǐng)域技術(shù)人員是熟悉的。明顯的是，有該實(shí)施方式的許多變體可供選擇，以減少成本、增加特征、或改善相機(jī)的性能。例如，可以增加自動(dòng)對(duì)焦系統(tǒng)，或透鏡是可拆卸的和可互換的。會(huì)被理解的是，本發(fā)明被應(yīng)用到任何類型的數(shù)碼相機(jī)，或更一般地，數(shù)字圖像捕捉裝置，其中，替換的模塊提供相似的功能?？紤]到圖I的說明性的例子，那么下面的描述將詳細(xì)描述根據(jù)本發(fā)明的用于捕捉圖像的相機(jī)的操作。每當(dāng)下面的描述中一般性地提到圖像傳感器時(shí)，它被理解成代表來自于圖I的圖像傳感器20。典型地，圖I中顯示的圖像傳感器20包括制造在硅襯底上的二維光敏像素陣列，該二維光敏像素陣列將每一像素處的入射光轉(zhuǎn)換成被測量的電信號(hào)。在圖像傳感器的背景下，像素(圖像元素的縮寫)指的是離散感光區(qū)域和與感光區(qū)域相聯(lián)系的電荷轉(zhuǎn)移或電荷測量電路。在數(shù)字彩色圖像的背景下，術(shù)語像素通常指的是具有相關(guān)彩色值的圖像中的特別位置。術(shù)語彩色像素指的是，具有覆蓋相對(duì)狹窄的光譜帶的彩色光響應(yīng)的像素。術(shù)語曝光持續(xù)時(shí)間和曝光時(shí)間被交換使用。當(dāng)傳感器20被暴露于光時(shí)，每一像素處的電子結(jié)構(gòu)內(nèi)自由電子被產(chǎn)生并被捕捉。捕捉這些自由電子一段時(shí)間，然后測量捕捉的電子的數(shù)量，或測量自由電子產(chǎn)生的速度，可以測量每一像素處的光水平。在前面的情況中，如在電荷耦合器件(CCD)中那樣，積累的電荷被從像素陣列轉(zhuǎn)移到電荷電壓測量電路，或如在主動(dòng)式像素傳感器(APS或CMOS傳感器)中那樣，接近每一像素的區(qū)域可以包含電荷電壓測量電路的元件。為了產(chǎn)生彩色圖像，典型地，圖像傳感器中的像素陣列具有放置在其上的彩色濾光片的模式。圖2顯示通常采用的紅色(R)、綠色(G)和藍(lán)色(B)彩色濾光片的模式。在其發(fā)明人Bryce Bayer在美國專利No. 3，971，065中公開之后，這種特別的模式通常被稱為Bayer彩色濾光片陣列(CFA)。這種模式被有效利用在具有二維彩色像素陣列的圖像傳感器中。結(jié)果，每一像素具有特別的彩色光響應(yīng)，這種情況下，彩色光響應(yīng)主要對(duì)紅色、綠色或藍(lán)色光敏感。彩色光響應(yīng)的另一有用的變體主要對(duì)品紅色、黃色或青色光敏感。在每一情況下，特別的彩色光響應(yīng)對(duì)可見光譜的特定部分具有高敏感性，而同時(shí)對(duì)可見光譜的其他部分具有低敏感性。采用具有有圖2的CFA的二維陣列的圖像傳感器捕捉的圖像在每一像素處僅具有一個(gè)彩色值。為了產(chǎn)生全彩色圖像，有許多在每一像素處推斷或內(nèi)插缺失色彩的技術(shù)。這些CFA內(nèi)插技術(shù)在本領(lǐng)域中是眾所周知的，并且參考下面的專利美國專利No. 5，506，619、美國專利No. 5，629，734和美國專利No. 5，652，621。 圖3a示出根據(jù)本發(fā)明的實(shí)施方式的流程圖。在步驟310中，當(dāng)操作者構(gòu)成圖像時(shí)，操作者通過將相機(jī)上的捕捉按鈕從SO位置(未按下的位置)按壓到SI位置(部分按下的位置)開始采集過程，從而將部分按下捕捉按鈕信號(hào)發(fā)送到相機(jī)中的系統(tǒng)控制器50。然后，系統(tǒng)控制器50命令相機(jī)開始采集并存儲(chǔ)(采用可用的DSP存儲(chǔ)器32)實(shí)時(shí)取景圖像320。應(yīng)該注意的是，同時(shí)，相機(jī)中的系統(tǒng)控制器50也會(huì)典型地完成自動(dòng)對(duì)焦和自動(dòng)曝光。當(dāng)操作者識(shí)別到采集時(shí)刻時(shí)，如步驟330中顯示的，操作者將捕捉按鈕從SI按壓到S2 (完全按下的位置)，從而將完全按下捕捉按鈕信號(hào)發(fā)送到相機(jī)中的系統(tǒng)控制器50。此時(shí)，在步驟340中，系統(tǒng)控制器50命令相機(jī)停止繼續(xù)采集或捕捉實(shí)時(shí)取景圖像，并且開始捕捉具有比實(shí)時(shí)取景圖像的空間分辨率大的空間分辨率的靜態(tài)圖像。在步驟350中，實(shí)時(shí)取景圖像和靜態(tài)圖像被組合以形成具有比原始捕捉的靜態(tài)圖像的動(dòng)態(tài)范圍高的動(dòng)態(tài)范圍的改善的靜態(tài)圖像。最后，在步驟360中，改善的靜態(tài)圖像被渲染到輸出空間。在步驟320中采集的實(shí)時(shí)取景圖像可以來自于實(shí)時(shí)取景圖像流，比如經(jīng)常顯示在相機(jī)IXD顯示器88上的。典型地，這些圖像被捕捉并被以每秒鐘30幀、以320列X 240行(QVGA分辨率)的空間分辨率或以640列X 480行(VGA分辨率)顯示。然而，該空間分辨率不是限制性的，并且可以以更大的空間分辨率捕捉實(shí)時(shí)取景圖像。也可以以更大的空間分辨率顯示實(shí)時(shí)取景圖像。實(shí)時(shí)取景圖像可被捕捉并被從傳感器讀出的頻率與實(shí)時(shí)取景圖像的空間分辨率成反比。采用特定有效曝光初始捕捉在步驟320中獲得的每一實(shí)時(shí)取景圖像。如這里定義的，有效曝光被定義為針對(duì)給定圖像的圖像傳感器的曝光時(shí)間，其通過從傳感器讀出圖像數(shù)據(jù)時(shí)采用的任何裝倉因子(binning factor)調(diào)整。例如,對(duì)于實(shí)時(shí)取景圖像采用1/30秒的曝光、連同9X的裝倉因子的圖像傳感器，對(duì)于實(shí)時(shí)取景圖像產(chǎn)生9/30或相當(dāng)于3/10秒的有效曝光。上下文中，裝倉指的是讀出之前來自于臨近像素的電荷積累，并且裝倉因子指的是多少像素將其電荷積累到被讀出的單一值。典型地，通過從圖像傳感器上的CFA模式內(nèi)的相似像素積累電荷來發(fā)生裝倉。例如，圖2中，通過積累來自于顯示在圖表中的所有4個(gè)紅色像素以形成單一紅色像素，并且針對(duì)藍(lán)色像素和綠色像素通過相似地積累電荷，可以獲得4X的裝倉因子。注意，在Bayer模式中，有藍(lán)色或紅色兩倍之多的綠色像素，并且在兩個(gè)獨(dú)立的組中積累它們以形成兩個(gè)獨(dú)立的裝倉的像素。在步驟340中捕捉的靜態(tài)圖像具有比步驟320期間采集的實(shí)時(shí)取景圖像的空間分辨率大的空間分辨率。靜態(tài)圖像經(jīng)常具有圖像傳感器20的全空間分辨率。以不同于對(duì)應(yīng)于任何實(shí)時(shí)取景圖像的有效曝光的有效曝光捕捉靜態(tài)圖像。有效曝光的差異允許步驟350中的聞動(dòng)態(tài)范圍圖像的隨后廣生。在SI之外實(shí)時(shí)取景圖像的采集也可以發(fā)生。當(dāng)相機(jī)處于SO位置時(shí)，可以如步驟320中采集實(shí)時(shí)取景圖像。也可以通過從SO到SI的轉(zhuǎn)移或通過從SI到SO的轉(zhuǎn)移，繼續(xù)采集實(shí)時(shí)取景圖像。采集的實(shí)時(shí)取景圖像具有不同于靜態(tài)圖像的有效曝光的有效曝光。在本發(fā)明的一個(gè)實(shí)施方式中，采集的實(shí)時(shí)取景圖像具有少于靜態(tài)圖像的有效曝光的有效曝光。概念地，這種情況下，靜態(tài)圖像包括由于過度暴露于光而已經(jīng)飽和的區(qū)域。如果相應(yīng)的像素也沒有飽和，具有較低有效曝光的實(shí)時(shí)取景圖像提供這些區(qū)域中的另外的信息。本發(fā)明的另一個(gè)實(shí)施方式中，采集的實(shí)時(shí)取景圖像具有比靜態(tài)圖像的有效曝光大的有效曝光。概念地，這種情況下，靜態(tài)圖像包含黑暗的、并且具有低信噪比的區(qū)域?？梢酝ㄟ^將數(shù)字增益因子應(yīng)用到那些像素值或通過應(yīng)用顯示陰影中的細(xì)節(jié)的色調(diào)調(diào)整操作使這些黑暗區(qū)域變亮，但是這增加隨信號(hào)一起的噪聲。具有較大有效曝光的實(shí)時(shí)取景圖像提供這些區(qū)域中的具有減少的噪聲的另外的信息。黑暗區(qū)域中的改善的信噪比性能允許這些區(qū)域變亮，具有討厭的噪聲的風(fēng)險(xiǎn)較少。本發(fā)明的另一個(gè)實(shí)施方式中，至少一個(gè)采集的實(shí)時(shí)取景圖像具有比靜態(tài)圖像的有 效曝光少的有效曝光，并且至少一個(gè)采集的實(shí)時(shí)取景圖像具有比靜態(tài)圖像的有效曝光大的有效曝光。概念地，這種情況下，可以采用提供在實(shí)時(shí)取景圖像中的另外的信息提高黑暗區(qū)域和飽和區(qū)域中的靜態(tài)圖像的質(zhì)量。當(dāng)采用多個(gè)圖像產(chǎn)生具有增加的動(dòng)態(tài)范圍的圖像時(shí)，優(yōu)選的是，多個(gè)圖像捕捉相同的場景。為了實(shí)現(xiàn)這個(gè)，可以采用盡可能少的圖像之間的時(shí)間不一致采集多個(gè)圖像。這使得由比如相機(jī)運(yùn)動(dòng)、目標(biāo)運(yùn)動(dòng)或照明改變的事件導(dǎo)致的場景中的任何改變的可能性最小化。大體上，實(shí)時(shí)取景圖像流產(chǎn)生實(shí)時(shí)取景圖像的連續(xù)流之后，捕捉靜態(tài)圖像。為了最小化采集的實(shí)時(shí)取景圖像和靜態(tài)圖像之間的時(shí)間不一致，可以采集并存儲(chǔ)來自于實(shí)時(shí)取景圖像流的最近捕捉的圖像，連續(xù)地代替較舊的實(shí)時(shí)取景圖像。在采集并存儲(chǔ)具有多個(gè)不同有效曝光的實(shí)時(shí)取景圖像的情況下，改變某一瞬間的實(shí)時(shí)取景圖像流中的圖像的有效曝光是必要的。用于采集具有兩個(gè)有效曝光的實(shí)時(shí)取景圖像的一個(gè)方法是捕捉具有交替的有效曝光的實(shí)時(shí)取景圖像。這種策略總是保證當(dāng)捕捉靜態(tài)圖像時(shí)，兩個(gè)最近捕捉的實(shí)時(shí)取景圖像包括一個(gè)具有第一有效曝光的實(shí)時(shí)取景圖像和另一個(gè)具有第二有效曝光的實(shí)時(shí)取景圖像。這種策略的缺陷是在相機(jī)的后面顯示具有交替的有效曝光的實(shí)時(shí)取景圖像而沒有視覺偽像是困難的。然而，在一些情況下，可以以超過實(shí)時(shí)取景圖像顯示在相機(jī)的后面的速度捕捉實(shí)時(shí)取景圖像。例如，如果以每秒60幀捕捉實(shí)時(shí)取景圖像，并以每秒30幀將實(shí)時(shí)取景圖像顯示在相機(jī)的后面，只需要使對(duì)應(yīng)于單一有效曝光的實(shí)時(shí)取景圖像用于顯示在相機(jī)的后面，消除視覺偽像的憂慮。圖3b示出用于采集具有不同有效曝光的實(shí)時(shí)取景圖像的另外的方法。在步驟310中，當(dāng)操作者構(gòu)成圖像時(shí)，操作者通過將相機(jī)上的捕捉按鈕從SO位置(未按下的位置)按壓到Si位置(部分按下的位置)開始采集過程，從而將部分按下捕捉按鈕信號(hào)發(fā)送到相機(jī)中的系統(tǒng)控制器50。然后，系統(tǒng)控制器50命令相機(jī)開始采集并存儲(chǔ)(采用可用的DSP存儲(chǔ)器32)實(shí)時(shí)取景圖像320。采集的實(shí)時(shí)取景圖像可以對(duì)應(yīng)于單一有效曝光。當(dāng)操作者識(shí)別到采集時(shí)刻時(shí)，如步驟330中顯示的，操作者將捕捉按鈕從SI按壓到S2 (完全按下的位置)，從而將完全按下捕捉按鈕信號(hào)發(fā)送到相機(jī)中的系統(tǒng)控制器50。此時(shí)，在步驟335中，系統(tǒng)控制器50命令相機(jī)以不同于以前采集的有效曝光捕捉至少一個(gè)另外的實(shí)時(shí)取景圖像。捕捉一個(gè)或更多另外的實(shí)時(shí)取景圖像之后，在步驟340中系統(tǒng)控制器50命令相機(jī)停止繼續(xù)采集或捕捉實(shí)時(shí)取景圖像，并且開始捕捉具有比實(shí)時(shí)取景圖像的空間分辨率大的空間分辨率的靜態(tài)圖像。在步驟350中，實(shí)時(shí)取景圖像和靜態(tài)圖像被組合以形成具有比原始捕捉的靜態(tài)圖像的動(dòng)態(tài)范圍高的動(dòng)態(tài)范圍的改善的靜態(tài)圖像。最后，在步驟360中，改善的靜態(tài)圖像被渲染到輸出空間。通過延遲捕捉具有第二有效曝光的實(shí)時(shí)取景圖像，直到用戶已經(jīng)將捕捉按鈕從SI按壓到S2為止，先于S2捕捉的實(shí)時(shí)取景圖像可以顯示在相機(jī)的后面，而不擔(dān)心由改變實(shí)時(shí)取景圖像的有效曝光導(dǎo)致的視覺偽像。所有情況下，可以自動(dòng)捕捉實(shí)時(shí)取景圖像，而用戶不需要轉(zhuǎn)換相機(jī)模式，或針對(duì)實(shí)時(shí)取景圖像手動(dòng)設(shè)定曝光。圖4更詳細(xì)地描述根據(jù)本發(fā)明的一個(gè)實(shí)施方式將實(shí)時(shí)取景圖像和靜態(tài)圖像組合
的步驟(來自圖3a和圖3b的步驟350)。采用靜態(tài)圖像410和至少一個(gè)實(shí)時(shí)取景圖像420，將實(shí)時(shí)取景圖像和靜態(tài)圖像組合的步驟開始。最初，靜態(tài)圖像的分辨率被減少430。注意，如這里定義的“代表實(shí)時(shí)取景圖像”是作為步驟430的結(jié)果而產(chǎn)生的圖像。該步驟可以包括像素組合、抽取(decimation)和修剪。優(yōu)選實(shí)施方式中，減少靜態(tài)圖像的分辨率的步驟被設(shè)計(jì)成模仿相機(jī)采用的、產(chǎn)生實(shí)時(shí)取景圖像的步驟。對(duì)于具有4032列和3034行的12兆像素Bayer模式傳感器，減少分辨率的例子如下。減少靜態(tài)圖像以產(chǎn)生1312X506的實(shí)時(shí)取景圖像，比如當(dāng)相機(jī)按鈕被按壓到SI位置時(shí)產(chǎn)生的。在每一維中，通過因子3，4032列X3034行被數(shù)字化組合。這可以通過組合相應(yīng)Bayer模式像素位置的像素值實(shí)現(xiàn)。九個(gè)藍(lán)色像素值被組合以產(chǎn)生一個(gè)組合的藍(lán)色像素值。相似地，九個(gè)紅色像素值被組合以產(chǎn)生一個(gè)組合的紅色像素值。與紅色像素相同的行上的九個(gè)綠色像素值被組合以形成組合的綠色像素值。并且與藍(lán)色像素相同的行上的九個(gè)綠色像素被組合以形成另一個(gè)組合的綠色像素值。可以將組合的像素值除以貢獻(xiàn)于該值的像素的數(shù)量而將組合的像素值歸一化。組合步驟也可以拋棄像素值中的一些。例如，當(dāng)形成組合的像素值時(shí)可以僅采用九個(gè)像素值中的六個(gè)。產(chǎn)生的圖像的分辨率是1342X1010，并且保留Bayer模式。為了通過因子2進(jìn)一步降低垂直分辨率，同時(shí)維持具有Bayer模式結(jié)構(gòu)的圖像，每隔兩行地拋棄。這導(dǎo)致具有1342X506的分辨率的Bayer模式圖像。最后，從圖像的左側(cè)剪掉16列，并在圖像的右側(cè)剪掉14列，以產(chǎn)生具有對(duì)應(yīng)于實(shí)時(shí)取景圖像的1312X506的分辨率的圖像。隨后，將代表實(shí)時(shí)取景圖像空間內(nèi)插回到到原始靜態(tài)圖像的分辨率440。該過程產(chǎn)生內(nèi)插的靜態(tài)圖像。在形成代表實(shí)時(shí)取景圖像期間剪掉原始靜態(tài)圖像的某些行或列的情況下，內(nèi)插步驟僅產(chǎn)生具有與剪掉的靜態(tài)圖像的分辨率相同的分辨率的內(nèi)插的圖像。優(yōu)選的實(shí)施方式中，雙三次內(nèi)插用于產(chǎn)生內(nèi)插的靜態(tài)圖像。然而，本領(lǐng)域的技術(shù)人員會(huì)認(rèn)識(shí)到，存在許多產(chǎn)生內(nèi)插的靜態(tài)圖像的合適的內(nèi)插技術(shù)。在步驟450中，從原始靜態(tài)圖像減去內(nèi)插的靜態(tài)圖像以產(chǎn)生剩余圖像。如果原始和內(nèi)插的靜態(tài)圖像具有不同尺寸，剩余圖像的尺寸可以與內(nèi)插的靜態(tài)圖像的尺寸相同，并且可以忽略來自于原始靜態(tài)圖像的另外的行/列?；蛘?，剩余圖像的尺寸可以與原始靜態(tài)圖像的尺寸相同，并且剩余圖像可以具有與內(nèi)插的靜態(tài)圖像的分辨率之外的任何位置處的原始靜態(tài)圖像的值相等的值。注意，一旦產(chǎn)生剩余圖像，存儲(chǔ)體中再也不需要原始靜態(tài)圖像。在步驟460中，將實(shí)時(shí)取景圖像與代表實(shí)時(shí)取景圖像組合以形成具有增加的動(dòng)態(tài)范圍的最終的實(shí)時(shí)取景圖像。一旦完成該步驟，最終的實(shí)時(shí)取景圖像被內(nèi)插回到(可能修剪過的)靜態(tài)圖像的分辨率470。優(yōu)選的實(shí)施方式中，內(nèi)插步驟與步驟450中采用的內(nèi)插步驟是相同的。最后，內(nèi)插步驟的結(jié)果，內(nèi)插的最終的實(shí)時(shí)取景圖像被增加到剩余的圖像，從而以具有增加的動(dòng)態(tài)范圍的靜態(tài)圖像分辨率形成改善的圖像480。圖5更詳細(xì)地描述根據(jù)本發(fā)明的替換實(shí)施方式將實(shí)時(shí)取景圖像和靜態(tài)圖像組合的步驟(來自圖3a和圖3b的步驟350)。采用靜態(tài)圖像410和至少一個(gè)實(shí)時(shí)取景圖像420，將實(shí)時(shí)取景圖像和靜態(tài)圖像組合的步驟開始。實(shí)時(shí)取景圖像被內(nèi)插到與靜態(tài)圖像的分辨率相同的分辨率530。隨后，將內(nèi)插的實(shí)時(shí)取景圖像與靜態(tài)圖像組合以形成具有增加的動(dòng)態(tài)范圍的最終的靜態(tài)圖像。圖6更詳細(xì)地描述根據(jù)本發(fā)明的優(yōu)選實(shí)施方式將實(shí)時(shí)取景圖像和代表實(shí)時(shí)取景圖像組合成具有增加的動(dòng)態(tài)范圍的最終的實(shí)時(shí)取景圖像的步驟(來自圖4的步驟460)。為 了將實(shí)時(shí)取景圖像和代表實(shí)時(shí)取景圖像組合成具有更大動(dòng)態(tài)范圍的單一圖像，實(shí)時(shí)取景圖像和代表實(shí)時(shí)取景圖像被處理以處于曝光度量中610。也就是說，像素值被處理以處于可以被追溯到相對(duì)曝光量的度量中。在優(yōu)選實(shí)施方式中，該度量是線性相對(duì)曝光量。隨后，將實(shí)時(shí)取景圖像和代表實(shí)時(shí)取景圖像校正，以便兩個(gè)圖像都代表相同場景內(nèi)容620。如以前描述的，期望的是如果多個(gè)圖像捕捉相同的場景，并且多個(gè)捕捉期間沒有全局或目標(biāo)運(yùn)動(dòng)發(fā)生。然而，運(yùn)動(dòng)的情況下，將實(shí)時(shí)取景圖像和代表實(shí)時(shí)取景圖像組合之前，可以包括另外的運(yùn)動(dòng)補(bǔ)償步驟。在一種運(yùn)動(dòng)補(bǔ)償?shù)姆椒ㄖ?，?yīng)用全局運(yùn)動(dòng)補(bǔ)償步驟以校正(align)實(shí)時(shí)取景圖像和代表實(shí)時(shí)取景圖像。全局運(yùn)動(dòng)估計(jì)和補(bǔ)償方法對(duì)本領(lǐng)域技術(shù)人員是眾所周知的，并且可以應(yīng)用任何合適的方法以校正實(shí)時(shí)取景圖像和代表實(shí)時(shí)取景圖像。優(yōu)選的實(shí)施方式中，在被校正的圖像是CFA圖像的情況下，運(yùn)動(dòng)估計(jì)步驟被限制到CFA模式尺寸的整數(shù)倍的平移運(yùn)動(dòng)，比如Bayer模式情況下的2X2,以確保運(yùn)動(dòng)補(bǔ)償過的圖像保留Bayer模式?？梢圆捎镁植窟\(yùn)動(dòng)估計(jì)和補(bǔ)償以代替或精煉全局運(yùn)動(dòng)估計(jì)。局部運(yùn)動(dòng)估計(jì)和補(bǔ)償?shù)姆椒▽?duì)本領(lǐng)域技術(shù)人員是眾所周知的，并且可以應(yīng)用任何合適的方法以校正實(shí)時(shí)取景圖像和代表實(shí)時(shí)取景圖像。特別地，可以采用基于塊的運(yùn)動(dòng)估計(jì)算法以確定局部區(qū)域(塊)上的運(yùn)動(dòng)估計(jì)。下一步是創(chuàng)建曝光和閃光的估計(jì)。假設(shè)有如下的關(guān)系Y (x, y) =ExposureDelta · X (x, y) +FlareDelta 等式(I)。在等式(I)中，(x，y)指的是像素坐標(biāo)，X指的是實(shí)時(shí)取景圖像，并且Y指的是代表實(shí)時(shí)取景圖像。ExposureDelta和FlareDelta是兩個(gè)待求解的未知項(xiàng)。對(duì)于線性曝光度量中的圖像數(shù)據(jù)，可以通過ExposureDelta代表的倍增項(xiàng)使兩個(gè)僅在曝光方面不同的圖像發(fā)生關(guān)系?？梢圆捎萌缤ㄟ^FlareDelta給定的另外的偏移項(xiàng)模擬未被倍增項(xiàng)模擬的兩個(gè)圖像之間的剩余的差異，比如閃光方面的差異。大體上，可以根據(jù)相機(jī)捕捉系統(tǒng)確定兩個(gè)圖像之間的曝光差異和因此確定ExposureDe I ta項(xiàng),然而，由于機(jī)械快門和其他相機(jī)元件的性能的變化，記錄的曝光和實(shí)際的圖像曝光之間存在顯著差異。為了估計(jì)使實(shí)時(shí)取景圖像和代表實(shí)時(shí)取景圖像發(fā)生關(guān)系的曝光和閃光項(xiàng)，首先，將實(shí)時(shí)取景圖像和代表實(shí)時(shí)取景圖像像素化630或通過預(yù)過濾到小圖像表示(比如，12X8像素)來減小實(shí)時(shí)取景圖像和代表實(shí)時(shí)取景圖像的尺寸。在優(yōu)選實(shí)施方式中，實(shí)時(shí)取景圖像和代表實(shí)時(shí)取景圖像是CFA數(shù)據(jù)，并且僅采用來自單通道的圖像數(shù)據(jù)形成每一圖像的像素化版本。例如，計(jì)算像素化圖像時(shí)，可以采用綠色像素?cái)?shù)據(jù)?；蛘?，可以采用所有三個(gè)通道的Bayer模式的CFA數(shù)據(jù)以產(chǎn)生像素化圖像的亮度值。在實(shí)時(shí)取景圖像和代表實(shí)時(shí)取景圖像是全彩色圖像的情況下，其中，每個(gè)像素位置處，全彩色圖像具有紅色、綠色和藍(lán)色值，可以采用來自單通道的數(shù)據(jù)或根據(jù)全彩色圖像計(jì)算亮度通道并根據(jù)亮度圖像數(shù)據(jù)得到像素化圖像而形成像素化圖像。實(shí)時(shí)取景圖像和代表實(shí)時(shí)取景圖像的像素化表示分別被給定為XP(i，j)和YP(i，j)，其中(i，j)是像素坐標(biāo)。將像素化圖像矢量化，并將像素化圖像排列成兩列陣列，其中陣列的每一行包括來自于Xp的像素值和來自于Yp的相應(yīng)像素值。接下來，除去包含剪 掉的像素值的所有行數(shù)據(jù)。注意的是，像素值隨著增加的場景亮度增加到一點(diǎn)，其中，該點(diǎn)處像素值不再增加，而是保持相同。該點(diǎn)是剪掉的值。當(dāng)像素處于剪掉的值時(shí)，它被稱為被剪掉的。而且，除去包含被認(rèn)為被噪聲主導(dǎo)的像素值的所有行640。可以基于給定捕捉設(shè)備總體的噪聲數(shù)據(jù)設(shè)定用于確定像素值是否被噪聲主導(dǎo)的閾值。然后對(duì)剩余的陣列數(shù)據(jù)進(jìn)行線性回歸，以計(jì)算使陣列的第一列中的數(shù)據(jù)和陣列的第二列中的數(shù)據(jù)發(fā)生關(guān)系的斜率和偏移650。斜率代表曝光移位(ExposureDelta);偏移代表全局閃光的估計(jì)(FlareDelta)。下一步是，對(duì)于與等式(I)相符合的曝光和閃光，轉(zhuǎn)換實(shí)時(shí)取景圖像X以匹配代表實(shí)時(shí)取景圖像Y 660。該步驟導(dǎo)致調(diào)整的實(shí)時(shí)取景圖像。優(yōu)選實(shí)施方式中，如果偏移項(xiàng)FlareDelta是正的，從代表實(shí)時(shí)取景圖像和調(diào)整的實(shí)時(shí)取景圖像中都減去FlareDelta項(xiàng)。這導(dǎo)致計(jì)算具有減少的閃光的代表實(shí)時(shí)取景圖像和調(diào)整的實(shí)時(shí)取景圖像。將代表實(shí)時(shí)取景圖像和調(diào)整的實(shí)時(shí)取景圖像組合以形成具有增加的動(dòng)態(tài)范圍的最終的實(shí)時(shí)取景圖像670。在圖7和圖8中更詳細(xì)地描述組合代表實(shí)時(shí)取景圖像和調(diào)整的實(shí)時(shí)取景圖像的步驟。在圖7中，如果調(diào)整的實(shí)時(shí)取景圖像中的像素被剪掉710，并且代表實(shí)時(shí)取景圖像中的相應(yīng)像素被剪掉730，那么高動(dòng)態(tài)范圍圖像(HDR圖像)中的相應(yīng)像素被設(shè)定到剪掉的值760。如果調(diào)整的實(shí)時(shí)取景圖像中的像素被剪掉710，并且代表實(shí)時(shí)取景圖像中的相應(yīng)像素不被剪掉730，那么HDR圖像中的相應(yīng)像素被設(shè)定到相應(yīng)代表實(shí)時(shí)取景圖像像素值770。如果調(diào)整的實(shí)時(shí)取景圖像中的像素不被剪掉710，并且代表實(shí)時(shí)取景圖像中的相應(yīng)像素被剪掉720，那么HDR中的相應(yīng)像素被設(shè)定到相應(yīng)調(diào)整的實(shí)時(shí)取景圖像像素值740。如果調(diào)整的實(shí)時(shí)取景圖像中的像素不被剪掉710，并且代表實(shí)時(shí)取景圖像中的相應(yīng)像素不被剪掉720，那么基于圖8中描述的下面的方法之一設(shè)定HDR圖像中的相應(yīng)像素750。組合像素的第一個(gè)方法810是簡單地計(jì)算像素值的平均值820。平均值也可以是加權(quán)平均值，其中，權(quán)重是包含在每一圖像中的相對(duì)噪聲的函數(shù)。當(dāng)捕捉之一具有較低分辨率和較低曝光時(shí)指出方法2，830。在這種情況下，計(jì)算兩個(gè)圖像的平均值會(huì)導(dǎo)致細(xì)節(jié)的損失。為了避免這樣，總是選擇來自于較高曝光圖像的信息840。方法3描述一種方法850,其中，避免硬邏輯閾值，有利于以較低分辨率、較低曝光圖像為特征的方法。將來自于較高曝光圖像的像素值與閾值比較860。通過計(jì)算來自兩個(gè)圖像的像素值的平均值組合高于閾值的像素870。采用來自于具有較大曝光的圖像的像素值組合不高于閾值的像素值880。
回到圖3a和3b，一旦已經(jīng)將實(shí)時(shí)取景圖像和靜態(tài)圖像組合成具有增加的動(dòng)態(tài)范圍的圖像，可以將它渲染到輸出空間360。例如，可以通過色調(diào)調(diào)整處理(比如Gindele等人在美國專利No. 7，130, 485中描述的)將它渲染到sRGB圖像。注意，如果圖像被顯示在固有地能夠處理并顯不聞動(dòng)態(tài)范圍圖像的設(shè)備上，可以略過步驟360。在根據(jù)圖4的本發(fā)明的優(yōu)選實(shí)施方式中，實(shí)時(shí)取景圖像和代表實(shí)時(shí)取景圖像是CFA圖像，并且具有增加的動(dòng)態(tài)范圍的最 終的實(shí)時(shí)取景圖像也是CFA圖像。這種情況下，已經(jīng)產(chǎn)生高動(dòng)態(tài)范圍圖像之后，執(zhí)行CFA內(nèi)插的標(biāo)準(zhǔn)的圖像處理步驟?；蛘撸瑢?shí)時(shí)取景圖像和靜態(tài)圖像可以是最初內(nèi)插的CFA，并且可以采用全彩色圖像執(zhí)行所有隨后步驟。在圖6中示出的組合實(shí)時(shí)取景圖像和代表實(shí)時(shí)取景圖像的步驟也可以被應(yīng)用到待組合的兩個(gè)圖像是如步驟540中的內(nèi)插的實(shí)時(shí)取景圖像和靜態(tài)圖像的情況。該情況中，通過采用內(nèi)插的實(shí)時(shí)取景圖像和靜態(tài)圖像分別代替采用實(shí)時(shí)取景圖像和代表實(shí)時(shí)取景圖像來應(yīng)用圖6中概述的步驟中的每一個(gè)。而且，該情況中，組合步驟的輸出是具有靜態(tài)圖像的分辨率的高動(dòng)態(tài)范圍圖像。圖6中示出的組合實(shí)時(shí)取景圖像和代表實(shí)時(shí)取景的步驟可以被多次應(yīng)用到有多個(gè)具有不同曝光的實(shí)時(shí)取景圖像的情況中。每一實(shí)時(shí)取景圖像可以具有個(gè)別的比例和偏移值，其中計(jì)算比例和偏移值以使實(shí)時(shí)取景圖像與代表實(shí)時(shí)取景圖像發(fā)生關(guān)系。最終的實(shí)時(shí)取景圖像可以形成為多個(gè)調(diào)整的實(shí)時(shí)取景圖像與代表實(shí)時(shí)取景圖像一起的組合。運(yùn)動(dòng)補(bǔ)償?shù)牧硪粋€(gè)方法中，局部運(yùn)動(dòng)估計(jì)或運(yùn)動(dòng)檢測用于識(shí)別場景中的目標(biāo)運(yùn)動(dòng)區(qū)域。對(duì)應(yīng)于目標(biāo)運(yùn)動(dòng)的像素被識(shí)別，并且在將實(shí)時(shí)取景圖像和代表實(shí)時(shí)取景圖像組合(圖4中的步驟460)，或?qū)?nèi)插的實(shí)時(shí)取景圖像和靜態(tài)圖像組合(圖5中的步驟540)的步驟中被不同地處理。特別地，因?yàn)闃?biāo)記為具有目標(biāo)運(yùn)動(dòng)的區(qū)域中的靜態(tài)圖像和實(shí)時(shí)取景圖像之間，場景內(nèi)容不匹配，實(shí)時(shí)取景圖像不用于改善那些區(qū)域中的靜態(tài)圖像的動(dòng)態(tài)范圍。對(duì)于本領(lǐng)域技術(shù)人員，運(yùn)動(dòng)檢測方法是眾所周知的，并且可以應(yīng)用任何合適的方法以檢測靜態(tài)圖像和實(shí)時(shí)取景圖像中的運(yùn)動(dòng)區(qū)域。本領(lǐng)域的技術(shù)人員會(huì)認(rèn)識(shí)到，本發(fā)明有許多替換的方法。已經(jīng)具體參考其特定優(yōu)選實(shí)施方式詳細(xì)描述了本發(fā)明，但是，需要理解的是，本領(lǐng)域技術(shù)人員可以在如上述和如所附的權(quán)利要求中表明的本發(fā)明的范圍內(nèi)實(shí)現(xiàn)變化和修改，而不脫離本發(fā)明的范圍。元件清單10 光11成像平臺(tái)12 透鏡13濾光片模塊14 光圈16傳感器模塊18快門模塊20圖像傳感器22模擬信號(hào)處理器24 A/D 轉(zhuǎn)換器
26定時(shí)發(fā)生器28傳感器平臺(tái)30總線32DSP 存儲(chǔ)器36數(shù)字信號(hào)處理器、
38處理平臺(tái)40曝光控制器50系統(tǒng)控制器52總線54程序存儲(chǔ)器56系統(tǒng)存儲(chǔ)器57主機(jī)接口60存儲(chǔ)卡接口62插口64存儲(chǔ)卡68用戶接口70取景顯示器72曝光顯示器74用戶輸入76狀態(tài)顯示器80視頻編碼器82顯示控制器88圖像顯示器310捕捉按鈕到SI塊320圖像采集塊330捕捉按鈕到S2塊335圖像捕捉塊340圖像捕捉塊350圖像組合塊360圖像渲染塊410靜態(tài)圖像420實(shí)時(shí)取景圖像430分辨率減少塊440 內(nèi)插塊450剩余計(jì)算塊460圖像組合塊470 內(nèi)插塊480圖像組合塊530 內(nèi)插塊
540圖像組合塊610圖像處理塊620圖像校正塊630圖像像素形成塊640剪掉的和噪聲數(shù)據(jù)除去塊650回歸塊 660實(shí)時(shí)取景調(diào)整塊670圖像組合塊710實(shí)時(shí)取景像素剪掉詢問720代表實(shí)時(shí)取景像素剪掉詢問730代表實(shí)時(shí)取景像素剪掉詢問740分配塊750分配塊760分配塊770分配塊810方法一塊820分配塊830方法二塊840分配塊850方法三塊860像素值詢問870分配塊880分配塊。
權(quán)利要求
1.一種用于改善捕捉的數(shù)字圖像的動(dòng)態(tài)范圍的方法，該方法包括步驟 a)從實(shí)時(shí)取景圖像流采集至少一個(gè)圖像，其中，每一采集的實(shí)時(shí)取景圖像具有有效曝光和第一分辨率； b)以不同于采集的實(shí)時(shí)取景圖像中的每一個(gè)的有效曝光的有效曝光和以高于所述第一分辨率的分辨率捕捉至少一個(gè)靜態(tài)圖像；以及 c)將至少一個(gè)實(shí)時(shí)取景圖像和所述至少一個(gè)靜態(tài)圖像組合。
2.根據(jù)權(quán)利要求I所述的方法，進(jìn)一步包括將組合的圖像渲染到輸出空間的步驟。
3.根據(jù)權(quán)利要求I所述的方法，其中，步驟c)包括以高于個(gè)別的采集的實(shí)時(shí)取景圖像和捕捉的靜態(tài)圖像的動(dòng)態(tài)范圍的動(dòng)態(tài)范圍，將所述至少一個(gè)實(shí)時(shí)取景圖像和所述至少一個(gè)靜態(tài)圖像組合到共同曝光空間。
4.根據(jù)權(quán)利要求I所述的方法，其中，步驟a)包括自動(dòng)采集每一圖像。
5.根據(jù)權(quán)利要求I所述的方法，其中，每一采集的實(shí)時(shí)取景圖像具有少于靜態(tài)圖像的有效曝光的有效曝光。
6.根據(jù)權(quán)利要求I所述的方法，其中，每一采集的實(shí)時(shí)取景圖像具有大于靜態(tài)圖像的有效曝光的有效曝光。
7.根據(jù)權(quán)利要求I所述的方法，其中，步驟a)包括以第一有效曝光采集第一實(shí)時(shí)取景圖像和以不同于所述第一有效曝光的第二有效曝光采集第二實(shí)時(shí)取景圖像。
8.根據(jù)權(quán)利要求7所述的方法，其中，第一采集的實(shí)時(shí)取景圖像具有少于靜態(tài)圖像的有效曝光的有效曝光，并且第二采集的實(shí)時(shí)取景圖像具有大于靜態(tài)圖像的有效曝光的有效曝光。
9.根據(jù)權(quán)利要求I所述的方法，其中，以實(shí)時(shí)取景圖像的分辨率發(fā)生組合步驟。
10.根據(jù)權(quán)利要求I所述的方法，其中，以靜態(tài)圖像的分辨率發(fā)生組合步驟。
11.根據(jù)權(quán)利要求I所述的方法，其中，步驟c)進(jìn)一步包括檢測并補(bǔ)償實(shí)時(shí)取景圖像和靜態(tài)圖像中的運(yùn)動(dòng)。
全文摘要
一種用于改善捕捉的數(shù)字圖像的動(dòng)態(tài)范圍的方法，包括從實(shí)時(shí)取景圖像流采集至少一個(gè)圖像，其中，每一采集的實(shí)時(shí)取景圖像具有有效曝光和第一分辨率；以不同于采集的實(shí)時(shí)取景圖像中的每一個(gè)的有效曝光的有效曝光和以高于第一分辨率的分辨率捕捉至少一個(gè)靜態(tài)圖像；以及將至少一個(gè)實(shí)時(shí)取景圖像和至少一個(gè)靜態(tài)圖像組合。
文檔編號(hào)H04N5/355GK102668545SQ201080058531
公開日2012年9月12日 申請(qǐng)日期2010年12月8日 優(yōu)先權(quán)日2009年12月22日
發(fā)明者A·T·迪弗, W·E·普倫蒂斯 申請(qǐng)人:伊斯曼柯達(dá)公司