專利名稱：圖像處理裝置、白平衡校正方法以及攝像裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及對攝影圖像等多個圖像進行合成的圖像處理裝置、圖像處理方法以及攝像裝置。
背景技術(shù)：
在數(shù)字照相機等圖像處理裝置中，存在搭載有如下的圖像合成(也稱作多重曝光)功能的圖像處理裝置對多個JPEG圖像或RAW圖像乘以系數(shù)來調(diào)節(jié)亮度并進行相加， 由此合成圖像，生成在一個圖像中顯現(xiàn)多個場景那樣的圖像。例如，在日本專利第3800192號公報(2006年7月沈日發(fā)行(以下稱作專利文獻 1))中，公開了如下的圖像合成裝置在使用JPEG圖像等進行了圖像處理的圖像來合成圖像的情況下，通過轉(zhuǎn)換為圖像處理前的圖像后進行合成，并再次進行圖像處理，排除伽馬轉(zhuǎn)換等的影響。例如，在日本公開專利第2010-1M411號公報QOlO年6月3日公開(以下稱作專利文獻2))中，公開了如下的圖像處理裝置通過合成對RAW圖像預(yù)先進行了白平衡 (以下稱作“WB”)校正后的圖像數(shù)據(jù)，即使在合成用不同的光源拍攝的RAW圖像的情況下， 也能夠進行校正了 WB的圖像合成。在數(shù)字照相機那樣的攝影裝置中，搭載有如下等各種WB模式，根據(jù)用戶所選擇的 WB模式進行WB校正自動白平衡(AWB)模式，自動估計攝影時的光源，適當(dāng)校正WB ；預(yù)設(shè)置 WB模式，用戶根據(jù)光源選擇模式；以及使WB適合特定被攝體的一鍵接觸式WB模式。用戶能夠通過選擇適合于攝影時的光源的WB模式或AWB模式，拍攝獲取了無彩色 (白色或灰色)的被攝體的WB的照片。此外，還能夠通過有意地選擇不同的WB模式，在無彩色的被攝體上附上色彩。這樣，能夠用WB模式的設(shè)定情況改變照片的顏色，能夠改變對照片的印象。在上述專利文獻1和專利文獻2公開的圖像合成中，沒有對如下情況做出任何啟示在對所合成的圖像數(shù)據(jù)進行圖像處理時，應(yīng)該分別針對多個WB模式使用什么樣的WB增益進行WB校正。因此，不清楚在變更所合成的圖像數(shù)據(jù)的WB來進行圖像處理的情況下，使用什么樣的WB增益進行WB校正比較合適。

發(fā)明內(nèi)容
本發(fā)明正是鑒于這種情況而完成的，其目的在于提供在進行圖像合成時，能夠根據(jù)WB模式進行適當(dāng)?shù)腤B校正的圖像處理裝置、圖像處理方法以及攝像裝置。本發(fā)明的圖像處理裝置包括圖像合成部，其對多個合成用圖像數(shù)據(jù)進行合成，從而生成合成圖像數(shù)據(jù)；WB設(shè)定部，其進行用于白平衡校正處理的設(shè)定；圖像WB增益計算部， 其根據(jù)上述WB設(shè)定部的設(shè)定，計算針對上述多個合成用圖像數(shù)據(jù)的各個的圖像WB增益；合成圖像WB增益計算部，其根據(jù)與上述圖像合成部中的合成比率相關(guān)的信息、和由上述圖像 WB增益計算部計算出的針對上述多個合成用圖像數(shù)據(jù)的各個的圖像WB增益，計算針對上述合成圖像數(shù)據(jù)的合成圖像WB增益；以及WB校正部，其根據(jù)上述合成圖像WB增益進行圖像數(shù)據(jù)的白平衡校正，上述WB校正部根據(jù)上述WB設(shè)定部的設(shè)定，使用由上述合成圖像WB 增益計算部計算出的合成圖像WB增益，進行針對上述合成圖像數(shù)據(jù)的白平衡校正。本發(fā)明提供一種合成圖像的白平衡校正方法，該合成圖像是對攝像部輸出的、或者記錄部輸出的多個合成用圖像數(shù)據(jù)進行合成而生成的，該白平衡校正方法包括對利用上述攝像部的攝像得到的、或者記錄在上述記錄部中的多個合成用圖像數(shù)據(jù)進行合成來生成合成圖像數(shù)據(jù)，根據(jù)用于白平衡校正處理的設(shè)定，計算針對上述多個合成用圖像數(shù)據(jù)的各個的圖像WB增益，根據(jù)與上述多個合成用圖像數(shù)據(jù)的合成比率相關(guān)的信息、和與上述多個合成用圖像數(shù)據(jù)的各個對應(yīng)的圖像WB增益，計算與上述合成圖像數(shù)據(jù)對應(yīng)的合成圖像 WB增益，根據(jù)該合成圖像WB增益進行上述合成圖像數(shù)據(jù)的白平衡校正。本發(fā)明的攝像裝置包括攝像部，其拍攝被攝體像從而生成攝像數(shù)據(jù)；圖像生成/ 記錄部，其對上述攝像部輸出的攝像數(shù)據(jù)進行圖像處理來生成圖像數(shù)據(jù)并進行記錄；圖像合成部，其對多個合成用圖像數(shù)據(jù)進行合成，從而生成合成圖像數(shù)據(jù)；WB設(shè)定部，其進行用于白平衡校正處理的設(shè)定；圖像WB增益計算部，其根據(jù)上述WB設(shè)定部的設(shè)定，計算針對上述多個合成用圖像數(shù)據(jù)的各個的圖像WB增益；合成圖像WB增益計算部，其根據(jù)與上述圖像合成部中的合成比率相關(guān)的信息、和由上述圖像WB增益計算部計算出的針對上述多個合成用圖像數(shù)據(jù)的各個的圖像WB增益，計算針對上述合成圖像數(shù)據(jù)的合成圖像WB增益；以及 WB校正部，其根據(jù)上述合成圖像WB增益進行圖像數(shù)據(jù)的白平衡校正，上述WB校正部根據(jù)上述WB設(shè)定部的設(shè)定，使用由上述合成圖像WB增益計算部計算出的合成圖像WB增益，進行針對上述合成圖像數(shù)據(jù)的白平衡校正。 根據(jù)本發(fā)明，使用分別針對合成前的圖像數(shù)據(jù)的各個計算出的WB增益，計算對合成后的圖像數(shù)據(jù)進行圖像處理時的WB增益。因此，在對合成后的圖像數(shù)據(jù)進行圖像處理時，能夠根據(jù)所設(shè)定的WB模式進行適當(dāng)?shù)腤B校正，能夠提供可根據(jù)WB模式生成印象不同的照片的圖像處理裝置、圖像處理方法以及攝像裝置。


圖1是示出本發(fā)明的第1實施方式的數(shù)字照相機的主要電氣結(jié)構(gòu)的框圖。圖2是示出本發(fā)明的第1實施方式的數(shù)字照相機的主要動作的流程圖。圖3是示出本發(fā)明的第1實施方式的數(shù)字照相機的靜態(tài)圖像攝影/圖像處理的動作的流程圖。圖4是示出本發(fā)明的第1實施方式的數(shù)字照相機的動態(tài)圖像攝影/圖像處理的動作的流程圖。圖5是示出本發(fā)明的第1實施方式的數(shù)字照相機的顯影處理的動作的流程圖。圖6是示出本發(fā)明的第1實施方式的數(shù)字照相機的圖像合成的動作的流程圖。圖7是示出本發(fā)明的第1實施方式的數(shù)字照相機的RAW編輯動作的流程圖。圖8是示出本發(fā)明的第2實施方式的數(shù)字照相機的圖像合成的動作的流程圖。
具體實施例方式以下，依照附圖使用應(yīng)用了本發(fā)明的照相機對優(yōu)選實施方式進行說明。本發(fā)明的優(yōu)選實施方式的照相機是數(shù)字照相機，具有攝像部，通過該攝像部將被攝體像轉(zhuǎn)換為圖像數(shù)據(jù)，并根據(jù)該轉(zhuǎn)換后的圖像數(shù)據(jù)，在配置于機身背面的顯示部上對被攝體像進行實時取景顯示。攝影者通過觀察實時取景顯示，決定構(gòu)圖和快門時機。在快門釋放操作時，將圖像數(shù)據(jù)記錄到記錄介質(zhì)。在選擇了再現(xiàn)模式時，能夠在顯示部上對記錄在記錄介質(zhì)中的圖像數(shù)據(jù)進行再現(xiàn)顯示。圖1是示出本發(fā)明的第1實施方式的照相機的主要電氣結(jié)構(gòu)的框圖。該照相機由照相機機身100、和能夠在該機身上進行拆裝的更換式鏡頭200構(gòu)成。更換式鏡頭200由攝影透鏡201、光圈203、驅(qū)動器205、微型計算機207和閃存209 構(gòu)成，在與后述的照相機機身100之間具有接口(以后稱作I/F)999。攝影透鏡201是用于形成被攝體的像的光學(xué)透鏡，由單焦點透鏡或變焦透鏡構(gòu)成。在該攝影透鏡201的光軸后方配置有光圈203，光圈203的口徑是可變的，對通過攝影透鏡201的被攝體光束進行限制。此外，攝影透鏡201能夠通過驅(qū)動器205在光軸方向上移動。根據(jù)來自微型計算機207的控制信號，控制攝影透鏡201的焦點位置，在攝影透鏡201 具有變焦透鏡的情況下，還控制焦距。驅(qū)動器205還進行光圈203的口徑控制。與驅(qū)動器205連接的微型計算機207與I/F 999以及閃存209連接。微型計算機 207依照存儲在閃存209中的程序進行動作，與后述的照相機機身100內(nèi)的微型計算機121 進行通信，并根據(jù)來自微型計算機121的控制信號進行更換式鏡頭200的控制。在閃存209中，除了上述程序以外，還存儲有更換式鏡頭200的光學(xué)特性和調(diào)整值等各種信息。I/F 999是用于進行更換式鏡頭200內(nèi)的微型計算機207與照相機機身100 內(nèi)的微型計算機121相互之間的通信的接口。在照相機機身100內(nèi)，在攝影透鏡201的光軸上，配置有機械快門101。該機械快門101由公知的透鏡快門或焦面快門構(gòu)成，對被攝體光束的通過時間進行控制。在該機械快門101的后方、且在通過攝影透鏡201形成被攝體像的位置上，配置有攝像元件103。攝像元件103將構(gòu)成各像素的光電二極管二維配置成矩陣狀，各光電二極管產(chǎn)生與受光量對應(yīng)的光電轉(zhuǎn)換電流，該光電轉(zhuǎn)換電流由與各光電二極管連接的電容器蓄積電荷。在各像素的前表面，配置有拜爾排列的濾色器。拜爾排列具有在水平方向上交替配置有R像素和G (Gr)像素的行、和交替配置有G (( )像素和B像素的行，并且還通過在垂直方向上交替配置該三個行來構(gòu)成。攝像元件103與模擬處理部105連接，該模擬處理部105在對從攝像元件103讀出的光電轉(zhuǎn)換信號(模擬圖像信號)減少復(fù)位噪聲后進行波形整形，并且進行增益放大以變?yōu)檫m當(dāng)?shù)男盘栯娖?。模擬處理部105與A/D轉(zhuǎn)換部107連接，該A/D轉(zhuǎn)換部107對模擬圖像信號進行模擬-數(shù)字轉(zhuǎn)換，并將數(shù)字圖像信號(以后稱作圖像數(shù)據(jù))輸出到總線109?？偩€109是用于將在照相機機身100內(nèi)部讀出或生成的各種數(shù)據(jù)傳送到照相機機身100的內(nèi)部的傳送路徑。在總線109上，除了上述A/D轉(zhuǎn)換部107以外，還連接有圖像處理部111、AE處理部113、AF處理部115、圖像壓縮解壓縮部117、微型計算機121、 SDRAM (Synchronous Dynamic Random Access Memory :同步動態(tài)隨機存取存儲器)127、存儲器接口(以后稱作存儲器I/F) 129、液晶(以后稱作LCD)驅(qū)動器133。與總線109連接的圖像處理部111包含光學(xué)黑相減部(以下稱作OB相減部)111a、 白平衡校正部(以后稱作WB校正部)111b、同時化處理部111c、伽馬/顏色再現(xiàn)處理部 llld、顏色矩陣運算部llle、邊緣強調(diào)處理部Illf和噪聲減少處理部(以后稱作NR處理部)lllg，圖像處理部111讀出臨時存儲在SDRAM 127中的圖像數(shù)據(jù)，并對該圖像數(shù)據(jù)實施各種圖像處理。并且，圖像處理部111作為將多個合成用圖像數(shù)據(jù)合成，從而生成合成圖像數(shù)據(jù)的圖像合成部發(fā)揮功能。OB相減部Illa進行光學(xué)黑相減處理。在該光學(xué)黑相減處理中，從構(gòu)成圖像數(shù)據(jù)的各像素的像素值中，減去由于攝像元件103的暗電流等引起的光學(xué)黑值。WB校正部Illb對圖像數(shù)據(jù)進行白平衡校正。白平衡校正根據(jù)各種顏色溫度的光源，進行校正以將白色正確地較白地顯現(xiàn)出。由用戶設(shè)定晴天、陰天、多云、鎢光燈、熒光燈等的光源模式，或者在照相機側(cè)自動選擇計算白平衡校正量的自動白平衡模式、水中白平衡模式，因此根據(jù)該所設(shè)定的模式，對圖像數(shù)據(jù)進行白平衡校正。水中白平衡模式是如下的模式自動檢測在水中由于水深和天氣等各種主要原因而變化的水中的顏色，自動計算白平衡校正量。同時化處理部111對在拜爾排列下取得的圖像數(shù)據(jù)，進行處理為每1像素由R、G、 B信息構(gòu)成的圖像數(shù)據(jù)的同時化處理。伽馬/顏色再現(xiàn)處理部Illd進行伽馬校正處理以及改變圖像顏色的顏色再現(xiàn)處理。顏色矩陣運算部Ille進行對圖像數(shù)據(jù)乘以顏色矩陣的線性轉(zhuǎn)換來校正圖像數(shù)據(jù)的顏色。邊緣強調(diào)處理部Illf從圖像數(shù)據(jù)中提取邊緣，并進行強調(diào)圖像數(shù)據(jù)的邊緣的邊緣強調(diào)。NR處理部Illg使用減少高頻的濾波器、或者利用核化處理等，進行減少圖像數(shù)據(jù)的噪聲的處理。圖像處理部111根據(jù)需要選擇各部Illa Illg進行各處理，實施了圖像處理的圖像數(shù)據(jù)經(jīng)由總線109被臨時存儲到SDRAM 127中。AE處理部113測量被攝體亮度，并經(jīng)由總線109將亮度輸出到微型計算機121。也可以設(shè)置專用的測光傳感器以用于被攝體亮度測量，但是在本實施方式中，根據(jù)基于攝像元件103的輸出的圖像數(shù)據(jù)計算被攝體亮度。AF處理部115從圖像數(shù)據(jù)中提取高頻分量信號，通過累計處理取得對焦評價值， 并經(jīng)由總線109將該值輸出到微型計算機121。在本實施方式中，通過所謂的對比度法進行攝影透鏡201的對焦。除了對比度法以外，也可以進行相位差A(yù)F等、利用其他的自動焦點檢測法的AF處理。圖像壓縮解壓縮部117在向記錄介質(zhì)131記錄圖像數(shù)據(jù)時，從SDRAM 127讀出圖像數(shù)據(jù)，并依照J(rèn)PEG壓縮方式等各種壓縮方式壓縮該所讀出的圖像數(shù)據(jù)，并將該壓縮后的圖像數(shù)據(jù)臨時存儲到SDRAM 127中。微型計算機121對臨時存儲在SDRAM127中的JPEG圖像數(shù)據(jù)，附加構(gòu)成JPEG文件所需的JPEG頭部來生成JPEG文件，并經(jīng)由存儲器I/F 129將該所生成的JPEG文件記錄到記錄介質(zhì)131中。此外，圖像壓縮解壓縮部117還進行JPEG圖像數(shù)據(jù)的解壓縮以用于圖像再現(xiàn)顯示。在解壓縮時，讀出記錄在記錄介質(zhì)131中的JPEG文件，并在圖像壓縮解壓縮部117中實施了解壓縮處理后，將解壓縮后的圖像數(shù)據(jù)臨時存儲到SDRAM 127中。另外，在本實施方式中，采用JPEG壓縮方式作為圖像壓縮方式，但是壓縮方式不限于此，當(dāng)然也可以是TIFF、 MPEG、H. 264等其他壓縮方式。記錄介質(zhì)131是例如在照相機機身100上拆裝自如的存儲卡等記錄介質(zhì)，但是不限于此，也可以是內(nèi)置在照相機機身100中的硬盤等。微型計算機121發(fā)揮作為該照相機整體的控制部的功能，綜合控制照相機的各種動作序列。微型計算機121作為根據(jù)進行白平衡校正處理用的設(shè)定的WB設(shè)定部的設(shè)定，計算對于多個合成用圖像數(shù)據(jù)的各個的圖像WB增益的圖像WB增益計算部來發(fā)揮功能。此外， 微型計算機121還作為以下的合成圖像WB增益計算部發(fā)揮功能根據(jù)與圖像合成部(圖像處理部111)中的合成比率相關(guān)的信息、和由圖像WB增益計算部計算出的對于多個合成用圖像數(shù)據(jù)的各個的圖像WB增益，計算對于合成圖像數(shù)據(jù)的合成圖像WB增益。另外，后述的合成系數(shù)表示“合成比率”。在微型計算機121上，除了上述I/F 999以外，還連接有操作部 123和閃存125。操作部123包含電源按鈕、快門釋放按鈕、動態(tài)圖像按鈕、再現(xiàn)按鈕、菜單按鈕、十字按鈕、確定按鈕等各種輸入按鈕和各種輸入鍵等操作部件，檢測這些操作部件的操作狀態(tài)，將檢測結(jié)果輸出到微型計算機121。微型計算機121根據(jù)來自操作部123的操作部件的檢測結(jié)果，執(zhí)行與用戶操作對應(yīng)的各種動作序列。電源按鈕是用于指示該數(shù)字照相機的電源的接通/斷開的操作部件。當(dāng)按下電源按鈕時，該數(shù)字照相機的電源接通，當(dāng)再次按下電源按鈕時，該數(shù)字照相機的電源斷開?？扉T釋放按鈕由通過半按下而接通的第一快門釋放開關(guān)、和在從半按下起進一步按下而變?yōu)槿聪聲r接通的第二快門釋放開關(guān)構(gòu)成。微型計算機121在第一快門釋放開關(guān)接通時，執(zhí)行AE處理或AF處理等攝影準(zhǔn)備動作序列。此外，在第二快門釋放開關(guān)接通時， 控制機械快門101等，從攝像元件103等取得基于被攝體圖像的圖像數(shù)據(jù)，執(zhí)行將該圖像數(shù)據(jù)記錄到記錄介質(zhì)131中的一系列攝影動作序列來進行攝影。動態(tài)圖像按鈕是用于開始和結(jié)束動態(tài)圖像的攝影的按鈕。在初始狀態(tài)下為動態(tài)圖像未攝影狀態(tài)，因此在該狀態(tài)下按下動態(tài)圖像按鈕時開始動態(tài)圖像的攝影，在動態(tài)圖像攝影中按下動態(tài)圖像按鈕時，結(jié)束動態(tài)圖像的攝影。因此，每當(dāng)按下動態(tài)圖像按鈕時，交替重復(fù)進行動態(tài)圖像的攝影開始和結(jié)束。再現(xiàn)按鈕是用于設(shè)定和解除再現(xiàn)模式的操作按鈕，當(dāng)設(shè)定再現(xiàn)模式時，從記錄介質(zhì)131讀出攝影圖像的圖像數(shù)據(jù)，并在LCD 135上對攝影圖像進行再現(xiàn)顯示。菜單按鈕是用于使IXD 135顯示菜單畫面的操作按鈕。能夠在菜單畫面上進行照相機的各種模式的設(shè)定，例如能夠進行晴天、陰天、多云、鎢光燈、熒光燈等的白平衡模式， 或者自動白平衡、水中自動白平衡等的白平衡模式的設(shè)定。并且，能夠在菜單畫面上設(shè)定圖像合成和RAW編輯。閃存125存儲有用于執(zhí)行微型計算機121的各種動作序列的程序。微型計算機121 根據(jù)該程序進行該數(shù)字照相機的控制。此外，閃存125存儲有示出相對于被攝體亮度成為適當(dāng)曝光的曝光控制值(ISO感光度、光圈值、快門速度)的組合的表(曝光條件決定表)、 用于進行白平衡校正的白平衡增益、和顏色矩陣系數(shù)等的各種調(diào)整值。SDRAM 127是圖像數(shù)據(jù)等的臨時存儲用的可電改寫的易失性存儲器。該SDRAM 127對從A/D轉(zhuǎn)換部107輸出的圖像數(shù)據(jù)、以及在圖像處理部111和圖像壓縮解壓縮部117 等中進行了處理的圖像數(shù)據(jù)進行臨時存儲。存儲器I/F 129與記錄介質(zhì)131連接，進行將圖像數(shù)據(jù)和附加到圖像數(shù)據(jù)上的文件頭部等數(shù)據(jù)寫入到記錄介質(zhì)131和從記錄介質(zhì)131讀出的控制。記錄介質(zhì)131是可在照相機機身上進行拆裝的存儲器，但也可以是硬盤等內(nèi)置在照相機機身中的存儲器。IXD驅(qū)動器133與IXD 1；35連接，根據(jù)從SDRAM 127或記錄介質(zhì)131讀出、并通過圖像壓縮解壓縮部117進行解壓縮后的圖像數(shù)據(jù)，使圖像顯示在IXD 135上。IXD 135包含
10配置在照相機機身100的背面等的液晶面板，進行圖像顯示。作為圖像顯示，包含在攝影之后立即短時間顯示所記錄的圖像數(shù)據(jù)的記錄瀏覽顯示、記錄在記錄介質(zhì)131中的靜態(tài)圖像或動態(tài)圖像的圖像文件的再現(xiàn)顯示以及實時取景顯示等動態(tài)圖像顯示。另外，在顯示壓縮的圖像數(shù)據(jù)的情況下，如上所述，在通過圖像壓縮解壓縮部117實施了解壓縮處理后進行顯示。此外，作為顯示部，不限于IXD，當(dāng)然也可以采用有機EL等其他顯示面板。接著，使用圖2所示的主要的流程圖，對本實施方式中的照相機的主要處理進行說明。當(dāng)操作電源按鈕且電源接通時，圖2所示的主流程開始動作。當(dāng)開始動作時，首先將記錄中標(biāo)志初始化為關(guān)閉(Sll)。該記錄中標(biāo)志是表示是否在動態(tài)圖像的記錄中的標(biāo)志，在打開的情況下表示在記錄動態(tài)圖像中，在關(guān)閉的情況下表示沒有進行動態(tài)圖像的記錄。在將記錄中標(biāo)志初始化為關(guān)閉后，接著判定是否按下了再現(xiàn)按鈕(S13)。此處，檢測并判定操作部123內(nèi)的再現(xiàn)按鈕的操作狀態(tài)。在該判定結(jié)果是按下了再現(xiàn)按鈕的情況下，執(zhí)行再現(xiàn)模式(S15)。此處，從記錄介質(zhì)131讀出圖像數(shù)據(jù)，在IXD 135上顯示靜態(tài)圖像和動態(tài)圖像的一覽。用戶通過操作十字按鈕，從一覽中選擇圖像，并通過確定按鈕確定圖像。在所確定的圖像是動態(tài)圖像的情況下，按照時間序列從起始幀起依次進行動態(tài)圖像再現(xiàn)。在所確定的圖像是靜態(tài)圖像的情況下，顯示所確定的靜態(tài)圖像。在步驟S15中進行了再現(xiàn)時，或者在步驟S13中的判定結(jié)果是沒有按下再現(xiàn)按鈕的情況下，接著判定是否選擇了圖像合成(S17)。在記錄介質(zhì)131中記錄有多個RAW數(shù)據(jù)的情況下，能夠在菜單畫面上設(shè)定圖像合成。在步驟S17中的判定結(jié)果是選擇了圖像合成的情況下，進行圖像合成(S19)。圖像合成對所選擇的多個RAW數(shù)據(jù)進行合成，生成好像多重曝光照片那樣的圖像。此處，RAff數(shù)據(jù)是從攝像元件103讀出、圖像處理前的沒有被同時化的圖像數(shù)據(jù)。將使用圖6對該圖像合成的詳細動作進行后述。在步驟S19中進行了圖像合成時，或者在步驟S17中的判定結(jié)果是沒有選擇圖像合成的情況下，接著判定是否選擇了 RAW編輯(S21)。在記錄介質(zhì)131中記錄有RAW數(shù)據(jù)的情況下，能夠在菜單畫面上設(shè)定RAW編輯。在步驟S21中的判定結(jié)果是選擇了 RAW編輯的情況下，進行RAW編輯(S2!3)。RAW 編輯對RAW數(shù)據(jù)進行圖像處理來生成JPEG文件。將使用圖7對該RAW編輯的詳細動作進行后述。在步驟S23中進行了 RAW編輯時，或者在步驟S21中的判定結(jié)果是沒有選擇RAW編輯的情況下，接著進行是否按下了動態(tài)圖像按鈕的判定(S25)。在該步驟中，在操作部123 中，檢測動態(tài)圖像按鈕的操作狀態(tài)，并根據(jù)該檢測結(jié)果進行判定。在步驟S25中的判定結(jié)果是按下了動態(tài)圖像按鈕的情況下，接著進行記錄中標(biāo)志的反轉(zhuǎn)(S27)。如上所述，每當(dāng)按下動態(tài)圖像按鈕時，交替重復(fù)進行動態(tài)圖像的攝影開始和結(jié)束，因此在該步驟中，在記錄中標(biāo)志為關(guān)閉的情況下將記錄中標(biāo)志反轉(zhuǎn)為打開，并且在為打開的情況下反轉(zhuǎn)為關(guān)閉。在步驟S27中進行了記錄中標(biāo)志的反轉(zhuǎn)時，或者在步驟S25中的判定結(jié)果是沒有按下動態(tài)圖像按鈕的情況下，接著進行是否在動態(tài)圖像的記錄中的判定(S31)。記錄中標(biāo)志表示動態(tài)圖像的記錄狀態(tài)，因此在該步驟中，進行記錄中標(biāo)志是否打開的判定。在步驟S31中的判定結(jié)果是不在動態(tài)圖像記錄中的情況下，接著進行是否按下了第一快門釋放開關(guān)、換言之第一快門釋放開關(guān)是否從斷開變?yōu)榻油ǖ呐卸?S33)。通過操作部123檢測與快門釋放按鈕聯(lián)動的第一快門釋放開關(guān)的狀態(tài)，并根據(jù)該檢測結(jié)果來進行該判定。在檢測結(jié)果是第一快門釋放開關(guān)從斷開變?yōu)榱私油ǖ那闆r下，判定結(jié)果為是，另一方面，在維持接通狀態(tài)或者斷開狀態(tài)的情況下，判定結(jié)果為否。在步驟S33中的判定結(jié)果是按下了第一快門釋放開關(guān)、從斷開轉(zhuǎn)變?yōu)榈谝豢扉T釋放的情況下，執(zhí)行AE動作(S35)。此處，通過AE處理部113根據(jù)由攝像元件103取得的圖像數(shù)據(jù)測量被攝體亮度，并根據(jù)該被攝體亮度，計算成為適當(dāng)曝光的快門速度、光圈值等。在進行AE動作后，接著執(zhí)行AF(自動對焦)動作(S37)。此處，驅(qū)動器205經(jīng)由更換式鏡頭200內(nèi)的微型計算機207控制攝影透鏡201的焦點位置，使得通過AF處理部115 取得的對焦評價值變?yōu)榉逯怠Ｒ虼?，?dāng)在不是動態(tài)圖像記錄中的情況下半按下快門釋放按鈕時，在該時刻進行1次攝影透鏡201的對焦。在步驟S33中的判定結(jié)果為第一快門釋放開關(guān)沒有從斷開轉(zhuǎn)變?yōu)榻油ǖ那闆r下， 進行是否按下了第二快門釋放開關(guān)、換言之是否全按下快門釋放按鈕從而第二快門釋放開關(guān)接通的判定(S39)。在該步驟中，通過操作部123檢測與快門釋放按鈕聯(lián)動的第二快門釋放開關(guān)的狀態(tài)，并根據(jù)該檢測結(jié)果進行判定。在步驟S39中的判定結(jié)果為按下了第二快門釋放開關(guān)的情況下，進行靜態(tài)圖像攝影及其圖像處理(S41)。此處，在對基于來自攝像元件103的圖像信號的靜態(tài)圖像的圖像數(shù)據(jù)進行了圖像處理和圖像壓縮處理后，將圖像數(shù)據(jù)記錄到記錄介質(zhì)131中。將使用圖3對該靜態(tài)圖像攝影/圖像處理的詳細動作進行后述。在步驟S31中的判定結(jié)果為在動態(tài)圖像記錄中的情況下，或者在步驟S39中的判定結(jié)果為沒有按下第二快門釋放開關(guān)的情況下，進行動態(tài)圖像攝影和圖像處理(S43)。在該步驟中，在為動態(tài)圖像記錄中的情況下，對基于來自攝像元件103的圖像信號的動態(tài)圖像的圖像數(shù)據(jù)進行了圖像處理和圖像壓縮后，將圖像數(shù)據(jù)記錄到記錄介質(zhì)131中。此外，在不是動態(tài)圖像記錄中的情況下，進行實時取景顯示以決定靜態(tài)圖像攝影中的被攝體構(gòu)圖和快門時機的決定。將使用圖4對該動態(tài)圖像攝影/圖像處理的詳細動作進行后述。在執(zhí)行了步驟S37中的AF動作后、或者在執(zhí)行了步驟S41中的靜態(tài)圖像攝影/圖像處理后、或者在執(zhí)行了步驟S43中的動態(tài)圖像攝影/圖像處理后，接著進行電源是否斷開的判定(S45)。在該步驟中，判定是否再次按下了操作部123的電源按鈕。在該判定結(jié)果電源未斷開的情況下，返回步驟S13。另一方面，在判定結(jié)果是電源斷開的情況下，在進行主流程的結(jié)束動作后，結(jié)束主流程。接著，使用圖3對步驟S41中的靜態(tài)圖像攝影/圖像處理進行說明。當(dāng)進入到靜態(tài)圖像攝影/圖像處理的流程時，進行攝影動作(S51)。此處，根據(jù)在步驟S35中計算的曝光控制值，進行機械快門101和光圈203等的控制，并且進行攝像元件103的光電電流的電荷蓄積控制。在攝像元件103中的曝光動作結(jié)束時，進行圖像信號的讀出。在步驟S51中的攝影動作結(jié)束時，接著進行圖像處理(S5!3)。在該步驟中，在圖像處理部111中對從攝像元件103讀出的圖像信號進行光學(xué)黑校正、白平衡校正、同時化處理、顏色矩陣運算等各種圖像處理，將在拜爾排列下得到的拜爾數(shù)據(jù)轉(zhuǎn)換為YCbCr數(shù)據(jù)。另外，也可以不轉(zhuǎn)換為YCbCr數(shù)據(jù)，而轉(zhuǎn)換為RGB數(shù)據(jù)。將使用圖5對該圖像處理的詳細動作進行后述。
在步驟S53中的圖像處理結(jié)束時，接著進行IXD顯示(S55)。此處，根據(jù)在步驟S51 中取得、在步驟S53中實施了圖像處理的圖像數(shù)據(jù)，在IXD 135上顯示為記錄瀏覽圖像。在進行IXD顯示后，接著進行是否進行RAW記錄的判定(S57)。在菜單畫面中預(yù)先設(shè)定了圖像數(shù)據(jù)的記錄方式，因此此處根據(jù)設(shè)定狀態(tài)進行判定。另外，作為圖像數(shù)據(jù)的記錄方式，有僅以JPEG記錄、或者以RAW和JPEG等記錄。如果至少選擇了 RAW，則判定為RAW記錄。因此，在設(shè)定了 RAW和JPEG的情況下，步驟S57中的判定為是。另外，作為記錄方式， 除此以外，也可以設(shè)置僅RAW的記錄模式。在步驟S57中的判定結(jié)果為RAW記錄的情況下，接著進行RAW文件的生成(S59)。 此處，在從攝像元件103讀出的拜爾數(shù)據(jù)(圖像信號)中附加將圖像處理后的YCbCr數(shù)據(jù)縮小了后的縮略圖像、OB值、與各WB模式對應(yīng)的WB增益、其他圖像尺寸等信息作為文件頭部，生成RAW文件。即使壓縮拜爾數(shù)據(jù)也沒有問題。在生成RAW文件后，接著記錄RAW文件(S61)。此處，經(jīng)由存儲器I/F 129將在步驟S59中生成的RAW文件記錄到記錄介質(zhì)131中。在步驟S61中記錄了 RAW文件時，或者在步驟S57中的判定結(jié)果為不是RAW記錄的情況下，接著進行JPEG文件生成(S63)。在該步驟中，通過圖像壓縮解壓縮部117對YCbCr 數(shù)據(jù)形式的靜態(tài)圖像的圖像數(shù)據(jù)進行JPEG壓縮。并且，生成圖像尺寸和攝影條件等信息作為文件頭部信息，并將該文件頭部信息附加到JPEG壓縮后的圖像數(shù)據(jù)中，從而生成JPEG文件。接著，進行JPEG文件的記錄(S65)。在該步驟中，經(jīng)由存儲器I/F 1 將在步驟 S63中生成的JPEG文件記錄到記錄介質(zhì)131中。在進行了 JPEG文件的記錄后，返回到原來的流程。接著，使用圖4對步驟S43中的動態(tài)圖像攝影/圖像處理進行說明。當(dāng)進入到動態(tài)圖像攝影/圖像處理的流程時，首先進行AE處理(S71)。在該步驟中，通過AE處理部113 測量被攝體亮度，并根據(jù)該被攝體亮度決定成為適當(dāng)曝光的曝光控制值。在決定曝光控制值時，由于是動態(tài)圖像攝影中的AE處理，因此在保持機械快門101打開的狀態(tài)下，曝光時間的控制使用電子快門的快門速度，決定成為適當(dāng)曝光的快門速度、光圈值和ISO感光度值。 根據(jù)被攝體亮度，參照預(yù)先記錄在閃存125中的曝光條件決定表決定這些快門速度、光圈值和ISO感光度。接著進行攝影動作(S7!3)。在該步驟中，依照在步驟S71中計算的曝光控制值，進行光圈值、電子快門和ISO感光度等的控制，并且進行攝像元件103的光電電流的電荷蓄積控制。在構(gòu)成動態(tài)圖像的1幀的曝光結(jié)束時，進行圖像信號的讀出。在進行攝影后，進行圖像處理(S7Q。該圖像處理與步驟S53相同，對拜爾數(shù)據(jù)進行圖像處理，并轉(zhuǎn)換為YCbCr數(shù)據(jù)，但是也可以與靜態(tài)圖像的情況同樣是RGB數(shù)據(jù)。具體使用圖5進行說明，但是由于是動態(tài)圖像用的圖像處理，因此將參數(shù)等適當(dāng)設(shè)為適合于動態(tài)圖像的值。在進行圖像處理后，接著進行IXD顯示(S77)。此處，將在步驟S73中取得、在步驟 S75中進行了圖像處理的動態(tài)圖像的1幀顯示在IXD 135上。在IXD上進行顯示后，接著與步驟S31同樣，進行是否為動態(tài)圖像記錄中的判定 (S79)。在該步驟中，進行記錄中標(biāo)志是否打開的判定。在該判定結(jié)果是動態(tài)圖像記錄中的
13情況下，接著進行動態(tài)圖像文件的保存(S81)。通過圖像壓縮解壓縮部117對在步驟S73中取得、在步驟S75中進行了圖像處理的動態(tài)圖像的圖像數(shù)據(jù)進行對應(yīng)于動態(tài)圖像文件形式的壓縮，并記錄到記錄介質(zhì)131中。另外，在不是動態(tài)圖像記錄中的情況下，由于是靜止攝影模式，因此在步驟S77中進行實時取景顯示，跳過步驟S81。在步驟S81中進行了向動態(tài)圖像文件的保存時，或者在步驟S79中的判定結(jié)果不是動態(tài)圖像記錄中的情況下，結(jié)束動態(tài)圖像攝影/圖像處理的流程，返回到原來的流程。接著，使用圖5對步驟S53和S75中的圖像處理進行說明。當(dāng)進入到圖像處理的流程時，首先進行光學(xué)黑(OB)運算(S91)。在該步驟中，通過OB運算部Illa分別從構(gòu)成圖像數(shù)據(jù)的各像素的像素值中，減去由于攝像元件103的暗電流等而產(chǎn)生的光學(xué)黑值。在進行OB運算后，接著進行白平衡(WB)校正(S9!3)。在該步驟中，通過WB校正部 Illb根據(jù)所設(shè)定的白平衡模式，對圖像數(shù)據(jù)進行WB校正。具體而言，通過從照相機機身的閃存125讀出與用戶設(shè)定的白平衡模式對應(yīng)的R增益和B增益，并對拜爾排列的圖像數(shù)據(jù)乘以該值，從而進行校正?；蛘咴谧詣影灼胶獾那闆r下，根據(jù)RAW數(shù)據(jù)計算R增益和B增益， 使用這些增益進行校正。另外，在后述的圖像合成時進行的圖像處理(參照圖6的S137)中的WB校正中，使用合成WB增益來進行。此外，使用記錄在圖像數(shù)據(jù)的文件頭部中的WB增益進行在后述的RAW編輯時進行的圖像處理(參照圖7的S155)中的WB校正。接著進行同時化處理(S95)。在該步驟中，通過同時化處理部Illc將進行了白平衡校正的圖像數(shù)據(jù)轉(zhuǎn)換為各像素由RGB數(shù)據(jù)構(gòu)成的數(shù)據(jù)。具體而言，通過從周邊插值求出不處于預(yù)定像素位置的數(shù)據(jù)，并轉(zhuǎn)換為RGB數(shù)據(jù)。在進行同時化處理后，接著進行顏色矩陣運算(S97)。在該步驟中，通過顏色矩陣運算部Ille進行對圖像數(shù)據(jù)乘以與設(shè)定的白平衡模式對應(yīng)的顏色矩陣系數(shù)的線性轉(zhuǎn)換來校正圖像數(shù)據(jù)的顏色。顏色矩陣系數(shù)被存儲在閃存125中，因此讀出并使用。在進行顏色矩陣運算后，接著進行伽馬轉(zhuǎn)換(S99)。在該步驟中，通過伽馬/顏色再現(xiàn)處理部Illd對圖像數(shù)據(jù)進行伽馬校正處理。接著進行顏色校正(SlOl)。在該步驟中， 通過伽馬/顏色再現(xiàn)處理部Illd對圖像數(shù)據(jù)進行色度和色調(diào)的校正處理。在進行顏色校正后，接著進行邊緣強調(diào)(S10;3)。在該步驟中，邊緣強調(diào)處理部 Illf通過帶通濾波器對進行了伽馬校正和顏色再現(xiàn)處理的圖像數(shù)據(jù)提取邊緣分量，根據(jù)邊緣強調(diào)度乘以系數(shù)并與圖像數(shù)據(jù)相加，由此強調(diào)圖像數(shù)據(jù)的邊緣。在進行邊緣強調(diào)后，接著進行噪聲減少處理(NR) (S105)。在該步驟中，通過NR處理部Iiig使用減少高頻的濾波器、或者利用核化處理等，減少圖像數(shù)據(jù)的噪聲。在進行噪聲減少處理后，返回到原來的流程。接著，使用圖6對步驟S19中的圖像合成進行說明。當(dāng)進入圖像合成的流程時，首先進行白平衡(WB)模式的設(shè)定(S111)。此處，選擇在菜單畫面上由用戶設(shè)定的WB模式。 作為WB模式，有自動白平衡(AWB)、晴天、陰天、多云、鎢光燈、熒光燈、水中自動等模式。在進行WB模式的設(shè)定后，接著進行RAW文件的選擇(S113)。在IXD 135上顯示記錄在記錄介質(zhì)131中的RAW文件的縮略圖，作為RAW文件一覽。用戶通過操作十字按鈕和確定按鈕來選擇N個(N彡幻RAW文件。在進行了 RAW文件的選擇后，接著判定是否為合成系數(shù)自動設(shè)定(S115)。合成系數(shù)是與合成比率相關(guān)的信息，是在合成兩個以上的圖像時，設(shè)定各圖像以哪種程度、是否較強顯現(xiàn)的系數(shù)。自動設(shè)定對該合成系數(shù)進行自動設(shè)定，在本實施方式中，使各圖像成為等分的比例。在步驟S115中的判定結(jié)果為合成系數(shù)是自動設(shè)定的情況下，將合成系數(shù)設(shè)定為 1/N(S117)。在自動設(shè)定的情況下，對所選擇的所有RAW文件設(shè)定1/N作為系數(shù)。當(dāng)然，可以是1/N以外的數(shù)值，并且也可以按照每個圖像自動設(shè)定不同的系數(shù)。另一方面，在步驟S115中的判定結(jié)果為合成系數(shù)不是自動設(shè)定的情況下，將合成系數(shù)設(shè)為用戶設(shè)定(S119)。此處，在IXD 135上顯示系數(shù)設(shè)定用的畫面，用戶設(shè)定對各RAW 文件的系數(shù)(Ki > 0、1彡i彡N、i為整數(shù))。在步驟Sl 17或Sl 19中進行合成系數(shù)的設(shè)定后，接著在步驟S121至SU9中，一邊將i從1依次變更至N，一邊進行運算。首先進行RAW讀入(S12!3)。此處，從記錄介質(zhì)131 讀出第i個選擇的RAW文件的RAW數(shù)據(jù)。在讀出第i個RAW數(shù)據(jù)后，接著進行所讀出的RAW數(shù)據(jù)中的WB增益的計算(S125)。 根據(jù)所設(shè)定的WB模式，計算與第i個RAW數(shù)據(jù)對應(yīng)的WB增益(RGi =R增益、BGi =B增益)。 在與RAW文件一起將與各WB模式對應(yīng)的WB增益記錄到記錄介質(zhì)131的情況下，也可以從 RAff文件的文件頭部取得WB增益。在進行了 WB增益的計算后，接著進行系數(shù)相乘運算(S127)。此處，將在步驟S117 或步驟S119中設(shè)定的合成系數(shù)Ki與RAW數(shù)據(jù)相乘。S卩，RAW數(shù)據(jù)是來自各像素的原始數(shù)據(jù)，分別對各像素的值乘以合成系數(shù)Ki。在進行了系數(shù)相乘運算后，接著判定變量i是否達到了選擇RAW文件數(shù)N(S129)。 在該判定結(jié)果是變量i沒有達到N的情況下，對變量i加1，并返回步驟S121，重復(fù)上述運算等。在步驟SU9中變量i達到N時，接著進行相加運算(S131)。此處，對于每一個RAW 文件的相同像素(拜爾數(shù)據(jù))，加上在步驟S127中進行了系數(shù)相乘運算后的像素數(shù)據(jù)。在進行相加運算后，接著計算合成WB增益(S13!3)。此處，計算與各RAW文件對應(yīng)的WB增益的加權(quán)平均。在設(shè)R增益為RG、B增益為BG時，利用下述(1)(2)式求出。RG = Σ (KiXRGi)/ Σ (Ki) (1)BG = Σ (KiXBGi)/ Σ (Ki) (2)在計算了合成WB增益后，接著進行OB值計算(S13Q。此處，讀入表示各RAW數(shù)據(jù)的OB值的OBi，并用下述(3)式計算對于合成圖像的OB值。OB= Σ (KiXOBi) (3)在計算出OB值后，進行圖像處理(S137)。此處，使用在步驟S131中合成的數(shù)據(jù)、 在步驟S133中利用加權(quán)平均計算出的WB增益、和在步驟S135中計算出的OB值進行圖像處理。該圖像處理與使用圖5說明的流程相同，因此省略詳細說明。在進行了圖像處理后，接著與步驟S57同樣，進行是否為RAW記錄的判定(S139)。 在該判定結(jié)果是RAW記錄的情況下，進行RAW文件的生成(S141)。此處，使用在步驟S135 中計算出的OB值、在步驟S131中合成為拜爾數(shù)據(jù)的圖像數(shù)據(jù)、和各WB增益為用與在步驟 S133中進行計算的方法相同的方法計算出的WB增益，生成RAW文件。在生成RAW文件后， 將此處生成的RAW文件記錄到記錄介質(zhì)131中(S143)。在步驟S143中記錄了 RAW文件時，或者在步驟S139中的判定結(jié)果為不是RAW記錄的情況下，接著與步驟S63同樣，生成JPEG文件(S140。接著，將生成的JPEG文件記錄到記錄介質(zhì)131中(S147)。在記錄了 JPEG文件后，返回到原來的流程。這樣，在本實施方式中的圖像合成的流程中，選擇了用于合成的多個RAW文件時(SlU)，針對每個RAW數(shù)據(jù)，根據(jù)所設(shè)定的WB模式計算WB增益，或者從文件頭部取得 WB增益(S125)，計算與所合成的RAW數(shù)據(jù)對應(yīng)的合成WB增益(S133)，使得在圖像處理時 (S137)，使用合成WB增益進行圖像處理(S93)。因此，在進行圖像合成時，能夠根據(jù)WB模式進行適當(dāng)?shù)腤B校正。接著，使用圖7對步驟S23中的RAW編輯進行說明。當(dāng)進入RAW編輯的流程時，首先與步驟Slll同樣進行WB模式設(shè)定(S151)。接著進行RAW文件選擇(S153)。此處，顯示記錄在記錄介質(zhì)131中的RAW文件的縮略圖，作為RAW文件一覽。用戶通過操作十字按鈕和確定按鈕來選擇1個RAW文件。在選擇了 RAW文件后，接著進行所選擇的RAW文件的圖像處理(S15Q。此處，讀取記錄在所選擇的RAW文件中的信息，并依照圖5所示的圖像處理的流程進行處理。在進行圖像處理后，接著與步驟S63同樣，生成JPEG文件(S157)。接著，將所生成的JPEG文件記錄到記錄介質(zhì)131中(S159)。在記錄了 JPEG文件后，返回到原來的流程。這樣，在本發(fā)明的第1實施方式中，選擇RAW文件(Si 13)，將合成系數(shù)與各RAW數(shù)據(jù)相乘(S127)，并相加進行合成(S131)。通過針對對各RAW數(shù)據(jù)計算出的WB增益進行系數(shù)的加權(quán)平均，來求出對于合成圖像數(shù)據(jù)的WB增益(S133)。因此，能夠?qū)铣珊蟮腞AW圖像進行與在合成前的RAW數(shù)據(jù)中改變WB模式進行RAW編輯的情況下生成的JPEG的顏色變化相同的變化。接著，使用圖8說明本發(fā)明的第2實施方式。在第1實施方式中，沒有對各RAW數(shù)據(jù)進行WB增益校正和OB相減運算，但是在第2實施方式中，對各RAW數(shù)據(jù)進行OB相減運算和WB校正處理。第2實施方式中的結(jié)構(gòu)與圖1所示的結(jié)構(gòu)大致相同，并且流程圖僅將圖 6所示的圖像合成的流程變更為圖8所示的圖像合成的流程，因此以不同點為中心進行說明。進入本實施方式中的圖像合成的流程，步驟Slll到步驟S119與在第1實施方式中圖6所示的流程相同，因此省略詳細說明。當(dāng)在步驟S117或S119中進行了合成系數(shù)的設(shè)定后，接著在步驟S221至S235中， 一邊將i從1依次變更至N，一邊進行運算。首先進行RAW讀入(S22!3)。此處，從記錄介質(zhì) 131讀出第i個選擇的RAW文件的RAW數(shù)據(jù)。在讀入RAW文件的數(shù)據(jù)后，接著進行WB增益計算(S22Q。此處，根據(jù)WB模式設(shè)定，計算與第i個RAW數(shù)據(jù)對應(yīng)的WB增益(RGi =R增益、BGi =B增益)、和與晴天對應(yīng)的WB 增益(RGi，、BGi，)。在與RAW文件一起將與各WB模式對應(yīng)的WB增益記錄到記錄介質(zhì)131 中的情況下，也可以從RAW文件的文件頭部取得WB增益。另外，在本實施方式中，計算出對于晴天的WB增益，但是不限于晴天，也可以是對于其他WB模式的WB增益。在計算出WB增益后，接著進行攝影時WB增益的計算(S227)。根據(jù)攝影時的WB模式設(shè)定，計算與第i個RAW文件對應(yīng)的WB增益。也可以與RAW文件一起記錄與各WB模式對應(yīng)的WB增益，從RAW文件的文件頭部取得WB增益。當(dāng)然，也可以不是攝影時的WB模式、 而是例如AWB等。
16
在進行了攝影時WB增益的計算后，接著進行OB相減運算(S229)。此處，從RAW文件取得對于第i個RAW文件的拜爾數(shù)據(jù)的OB值，并進行OB相減運算。在進行了 OB相減運算后，接著進行WB校正(S231)。此處，通過將在步驟S227中計算出的攝影時WB增益乘以進行OB相減運算后的拜爾數(shù)據(jù)來進行WB校正。在進行了 WB校正后，接著進行系數(shù)相乘運算(S23!3)。此處，將在步驟S117或步驟 S119中設(shè)定的合成系數(shù)Ki與進行了 WB校正的拜爾數(shù)據(jù)相乘。在進行了系數(shù)相乘運算后，接著判定變量i是否達到了選擇RAW文件數(shù)N(S235)。 在該判定結(jié)果是變量i沒有達到N的情況下，對變量i加1，并返回步驟S221，重復(fù)上述運算等。當(dāng)在步驟S235中變量i達到了 N時，接著進行相加運算(S237)。此處，針對每個 RAff文件的相同像素(拜爾數(shù)據(jù))，加上進行了 OB相減運算、WB校正和系數(shù)相乘運算后的
像素數(shù)據(jù)。在進行相加運算后，接著進行合成WB增益的計算(S238)。此處，根據(jù)下述的⑷ (5)式計算與各RAW文件對應(yīng)的WB增益的加權(quán)平均。此處，計算“換算合成圖像WB增益”， 其是將用合成系數(shù)對與當(dāng)前的WB設(shè)定模式對應(yīng)的各RAW數(shù)據(jù)所對應(yīng)的WB增益進行加權(quán)平均后的值除以用合成系數(shù)對與預(yù)定的WB設(shè)定模式(此處為晴天模式)對應(yīng)的各RAW數(shù)據(jù)所對應(yīng)的WB增益進行加權(quán)平均后的值而得到的。RG = { Σ (KiXRGi)/ Σ (Ki)}/{ Σ (KiXRGi‘ )/ Σ (Ki)} (4)BG = { Σ (KiXBGi)/ Σ (Ki)}/{ Σ (KiXBGi' )/ Σ (Ki)} (5)在計算出合成WB增益后，接著進行圖像處理(S239)。根據(jù)使用圖5說明的圖像處理的流程進行圖像處理。使用在步驟S237中利用相加運算合成的數(shù)據(jù)、和在步驟S238中計算出的合成WB增益進行該圖像處理。另外，OB值由于已經(jīng)進行了相減運算并合成(參照，因此在此處的處理中將OB值設(shè)為0來進行處理。在進行圖像處理后，接著與步驟S139同樣，進行是否為RAW記錄的判定(SMl)。在該判定結(jié)果是RAW記錄的情況下，進行RAW文件的生成(SM!3)。此處，OB值由于已經(jīng)進行了相減運算(參照并合成(S237)，因此將OB值作為0記錄于RAW文件。除此以外， 與步驟S141同樣地生成RAW文件。在生成RAW文件后，接著與步驟S143同樣地進行RAW 文件的記錄(SM5)。在進行了 RAW文件的記錄后，或者在步驟S241中的判定結(jié)果為不是RAW記錄的情況下，接著與步驟S145同樣地進行JPEG文件的生成(SM7)。接著，與步驟S147同樣地進行JPEG文件的記錄(SM9)。在JPEG文件的記錄結(jié)束后，返回到原來的流程。如以上所說明那樣，在第2實施方式中，在合成時合成了乘以攝影時的WB增益后的RAW數(shù)據(jù)(S231)。因此，在本實施方式的例子中，對于合成圖像的WB增益采用了如下的值用將對各RAW計算出的WB增益進行了系數(shù)的加權(quán)平均后的值分別除以同樣計算出的晴天模式下的增益而得到的值。當(dāng)然，不限于晴天模式，而可以使用其他WB模式，并且還可以始終采用固定值。合成圖像是對在不同的場景下拍攝的圖像進行合成后的圖像，不明確是在什么樣的光源下進行了拍攝。但是，由于根據(jù)攝影時的設(shè)定合成了 WB校正后的RAW數(shù)據(jù)，因此WB 變?yōu)檫m當(dāng)?shù)闹?。因此，在本實施方式中，將合成圖像視作在自然光、且一般的晴天模式下進行了 WB校正的圖像數(shù)據(jù)，采用將其除以與晴天模式對應(yīng)的WB增益而得到的增益。其結(jié)果， 能夠根據(jù)WB模式的設(shè)定適當(dāng)改變顏色。如以上所說明那樣，在本發(fā)明的各實施方式中，WB校正部Illb通過操作部123根據(jù)WB的設(shè)定，使用合成圖像WB增益(S133、S238)，進行了對于合成圖像數(shù)據(jù)的白平衡校正 (S93)。因此，在進行圖像合成的情況下，能夠根據(jù)WB模式進行適當(dāng)?shù)腤B校正。此外，在本發(fā)明的各實施方式中，將對可由WB設(shè)定部設(shè)定的WB模式中的至少一個以上的WB模式計算出的對于合成圖像數(shù)據(jù)的合成圖像WB增益或者換算合成圖像WB增益、 和上述合成圖像數(shù)據(jù)保存為同一文件。即，計算對于合成圖像的各WB模式的增益，與所合成的圖像數(shù)據(jù)一起用RAW圖像形式進行記錄。因此，能夠沒有合成圖像和RAW圖像的區(qū)別地用相同的處理進行圖像處理。另外，在本發(fā)明的各實施方式中，對使用拜爾數(shù)據(jù)作為RAW數(shù)據(jù)的例子進行了說明。但是，作為RAW數(shù)據(jù)，不限于拜爾數(shù)據(jù)，也可以是例如從Rweon排列的攝像元件得到的數(shù)據(jù)。此外，在本發(fā)明的各實施方式中，示出了選擇圖像合成用的RAW文件并進行合成的流程。但是，不限于此，當(dāng)在照相機中設(shè)置圖像合成模式，并選擇圖像合成模式時，也可以使用攝影得到的多個拜爾數(shù)據(jù)進行同樣的處理。此外，不限于攝影完成的圖像，也可以選擇實時取景顯示中的多個圖像，并使用該所選擇的圖像，在攝影前進行圖像合成并顯示。此外，在本發(fā)明的各實施方式中，作為用于攝影的設(shè)備，使用數(shù)字照相機進行了說明，但是作為照相機，可以是數(shù)字單反照相機和袖珍數(shù)字照相機，可以是攝像機、視頻攝影機這樣的動態(tài)圖像用的照相機，并且當(dāng)然可以是內(nèi)置在移動電話、便攜信息終端 PDA (Personal Digital Assistants 個人數(shù)字助理)或者游戲設(shè)備等中的照相機。此外，在本發(fā)明的各實施方式中，作為圖像處理裝置對應(yīng)用到照相機的例子進行了說明，但是當(dāng)然也可以應(yīng)用于照相機以外的圖像處理裝置。例如，還能夠應(yīng)用于在記錄介質(zhì)中存儲了攝影圖像的個人計算機。此外，關(guān)于權(quán)利要求、說明書和附圖中的動作流程，即使為了方便，使用“首先”、 “接著”等表現(xiàn)順序的語言進行了說明，但不是指必須按該順序進行實施。本發(fā)明不直接限定為上述各實施方式，在實施階段能夠在不脫離其主旨的范圍內(nèi)對結(jié)構(gòu)要素進行變形并具體化。此外，能夠通過上述實施方式公開的多個結(jié)構(gòu)要素的適當(dāng)組合形成各種發(fā)明。例如，可以刪除實施方式所示的全部結(jié)構(gòu)要素中的幾個結(jié)構(gòu)要素。并且，可適當(dāng)組合不同實施方式的結(jié)構(gòu)要素。
18
權(quán)利要求
1.一種圖像處理裝置，其包括圖像合成部，其對多個合成用圖像數(shù)據(jù)進行合成，從而生成合成圖像數(shù)據(jù)； WB設(shè)定部，其進行用于白平衡校正處理的設(shè)定；圖像WB增益計算部，其根據(jù)上述WB設(shè)定部的設(shè)定，計算針對上述多個合成用圖像數(shù)據(jù)的各個的圖像WB增益；合成圖像WB增益計算部，其根據(jù)與上述圖像合成部中的合成比率相關(guān)的信息、和由上述圖像WB增益計算部計算出的針對上述多個合成用圖像數(shù)據(jù)的各個的圖像WB增益，計算針對上述合成圖像數(shù)據(jù)的合成圖像WB增益；以及WB校正部，其根據(jù)上述合成圖像WB增益進行圖像數(shù)據(jù)的白平衡校正，上述WB校正部根據(jù)上述WB設(shè)定部的設(shè)定，使用由上述合成圖像WB增益計算部計算出的合成圖像WB增益， 進行針對上述合成圖像數(shù)據(jù)的白平衡校正。
2.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，上述圖像合成部包含合成系數(shù)設(shè)定部，該合成系數(shù)設(shè)定部設(shè)定針對上述多個合成用圖像數(shù)據(jù)的合成時的合成系數(shù)，上述圖像合成部根據(jù)上述合成系數(shù)對上述多個合成用圖像數(shù)據(jù)進行合成，從而生成合成圖像數(shù)據(jù)，上述合成圖像WB增益計算部根據(jù)上述合成系數(shù)、和由上述圖像WB增益計算部計算出的針對上述多個合成用圖像數(shù)據(jù)的各個的圖像WB增益，計算針對上述合成圖像數(shù)據(jù)的合成圖像WB增益。
3.根據(jù)權(quán)利要求2所述的圖像處理裝置，其中，上述圖像合成部包含對圖像數(shù)據(jù)乘以預(yù)定的值的相乘部、和將多個圖像數(shù)據(jù)進行相加的相加部，上述相乘部對上述多個合成用圖像數(shù)據(jù)乘以上述合成系數(shù)來生成多個中間圖像數(shù)據(jù)， 上述相加部通過將上述多個中間圖像數(shù)據(jù)進行相加來生成上述合成圖像數(shù)據(jù)，上述合成圖像WB增益計算部通過根據(jù)上述合成系數(shù)，計算由上述圖像WB增益計算部計算出的針對上述多個合成用圖像數(shù)據(jù)的各個的圖像WB增益的加權(quán)平均，計算針對上述合成圖像數(shù)據(jù)的合成圖像WB增益。
4.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，上述WB校正部將對上述多個合成用圖像數(shù)據(jù)的各個至少進行了白平衡校正處理后的多個圖像數(shù)據(jù)作為上述多個合成用圖像數(shù)據(jù)輸入到上述圖像合成部，上述WB校正部根據(jù)上述WB設(shè)定部的設(shè)定，使用將由上述合成圖像WB增益計算部計算出的合成圖像WB增益除以預(yù)定的值得到的換算合成圖像WB增益，進行針對上述合成圖像數(shù)據(jù)的白平衡校正。
5.根據(jù)權(quán)利要求4所述的圖像處理裝置，其中， 上述WB校正部至少包含針對晴天的WB模式，上述預(yù)定的值是由上述合成圖像WB增益計算部針對上述針對晴天的WB模式計算出的合成圖像WB增益。
6.根據(jù)權(quán)利要求4所述的圖像處理裝置，其中，該圖像處理裝置還具有圖像數(shù)據(jù)記錄部，該圖像數(shù)據(jù)記錄部將針對能夠由上述WB設(shè)定部設(shè)定的WB模式中的至少一個以上的WB模式計算出的針對上述合成圖像數(shù)據(jù)的換算合成圖像WB增益、和上述合成圖像數(shù)據(jù)保存為同一文件。
7.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，該圖像處理裝置還具有圖像數(shù)據(jù)記錄部，該圖像數(shù)據(jù)記錄部將針對能夠由上述WB設(shè)定部設(shè)定的WB模式中的至少一個以上的WB模式計算出的針對上述合成圖像數(shù)據(jù)的合成圖像WB增益、和上述合成圖像數(shù)據(jù)保存為同一文件。
8.一種合成圖像的白平衡校正方法，該合成圖像是對攝像部輸出的、或者記錄部輸出的多個合成用圖像數(shù)據(jù)進行合成而生成的，該白平衡校正方法包括對利用上述攝像部的攝像得到的、或者記錄在上述記錄部中的多個合成用圖像數(shù)據(jù)進行合成來生成合成圖像數(shù)據(jù)，根據(jù)用于白平衡校正處理的設(shè)定，計算針對上述多個合成用圖像數(shù)據(jù)的各個的圖像WB 增 ，根據(jù)與上述多個合成用圖像數(shù)據(jù)的合成比率相關(guān)的信息、和與上述多個合成用圖像數(shù)據(jù)的各個對應(yīng)的圖像WB增益，計算與上述合成圖像數(shù)據(jù)對應(yīng)的合成圖像WB增益， 根據(jù)該合成圖像WB增益進行上述合成圖像數(shù)據(jù)的白平衡校正。
9.根據(jù)權(quán)利要求8所述的白平衡校正方法，其中，對上述多個合成用圖像數(shù)據(jù)設(shè)定合成時的合成系數(shù)，并根據(jù)上述合成系數(shù)對上述多個合成用圖像數(shù)據(jù)進行合成，從而生成上述合成圖像數(shù)據(jù)，根據(jù)上述合成系數(shù)、和針對上述多個合成用圖像數(shù)據(jù)的各個的圖像WB增益，計算上述合成圖像WB增益。
10.根據(jù)權(quán)利要求9所述的白平衡校正方法，其中，通過對上述多個合成用圖像數(shù)據(jù)乘以上述合成系數(shù)來生成多個中間圖像數(shù)據(jù)，并將上述多個中間圖像數(shù)據(jù)進行相加，來生成上述合成圖像數(shù)據(jù)，通過根據(jù)上述合成系數(shù)計算針對上述多個合成用圖像數(shù)據(jù)的各個的圖像WB增益的加權(quán)平均，來計算上述合成圖像WB增益。
11.根據(jù)權(quán)利要求8所述的白平衡校正方法，其中，將對上述多個合成用圖像數(shù)據(jù)的各個至少進行了白平衡校正處理后的多個圖像數(shù)據(jù)作為上述多個合成用圖像數(shù)據(jù)，根據(jù)用于上述白平衡校正處理的設(shè)定，使用將合成圖像WB增益除以預(yù)定的值得到的換算合成圖像WB增益，進行針對上述合成圖像數(shù)據(jù)的白平衡校正。
12.根據(jù)權(quán)利要求11所述的白平衡校正方法，其中，作為用于上述白平衡校正處理的設(shè)定，至少包含針對晴天的WB模式， 上述預(yù)定的值是對上述針對晴天的WB模式計算出的合成圖像WB增益。
13.一種攝像裝置，其包括攝像部，其拍攝被攝體像從而生成攝像數(shù)據(jù)；圖像生成/記錄部，其對上述攝像部輸出的攝像數(shù)據(jù)進行圖像處理來生成圖像數(shù)據(jù)并進行記錄；圖像合成部，其對多個合成用圖像數(shù)據(jù)進行合成，從而生成合成圖像數(shù)據(jù)； WB設(shè)定部，其進行用于白平衡校正處理的設(shè)定；圖像WB增益計算部，其根據(jù)上述WB設(shè)定部的設(shè)定，計算針對上述多個合成用圖像數(shù)據(jù)的各個的圖像WB增益；合成圖像WB增益計算部，其根據(jù)與上述圖像合成部中的合成比率相關(guān)的信息、和由上述圖像WB增益計算部計算出的針對上述多個合成用圖像數(shù)據(jù)的各個的圖像WB增益，計算針對上述合成圖像數(shù)據(jù)的合成圖像WB增益；以及WB校正部，其根據(jù)上述合成圖像WB增益進行圖像數(shù)據(jù)的白平衡校正，上述WB校正部根據(jù)上述WB設(shè)定部的設(shè)定，使用由上述合成圖像WB增益計算部計算出的合成圖像WB增益， 進行針對上述合成圖像數(shù)據(jù)的白平衡校正。
14.根據(jù)權(quán)利要求13所述的攝像裝置，其中，上述圖像合成部包含合成系數(shù)設(shè)定部，該合成系數(shù)設(shè)定部設(shè)定針對上述多個合成用圖像數(shù)據(jù)的合成時的合成系數(shù)，上述圖像合成部根據(jù)上述合成系數(shù)對上述多個合成用圖像數(shù)據(jù)進行合成，從而生成合成圖像數(shù)據(jù)，上述合成圖像WB增益計算部根據(jù)上述合成系數(shù)、和由上述圖像WB增益計算部計算出的針對上述多個合成用圖像數(shù)據(jù)的各個的圖像WB增益，計算針對上述合成圖像數(shù)據(jù)的合成圖像WB增益。
15.根據(jù)權(quán)利要求14所述的攝像裝置，其中，上述圖像合成部包含對圖像數(shù)據(jù)乘以預(yù)定的值的相乘部、和將多個圖像數(shù)據(jù)進行相加的相加部，上述相乘部對上述多個合成用圖像數(shù)據(jù)乘以上述合成系數(shù)來生成多個中間圖像數(shù)據(jù)， 上述相加部通過將上述多個中間圖像數(shù)據(jù)進行相加來生成上述合成圖像數(shù)據(jù)，上述合成圖像WB增益計算部通過根據(jù)上述合成系數(shù)，計算由上述圖像WB增益計算部計算出的針對上述多個合成用圖像數(shù)據(jù)的各個的圖像WB增益的加權(quán)平均，計算針對上述合成圖像數(shù)據(jù)的合成圖像WB增益。
16.根據(jù)權(quán)利要求13所述的攝像裝置，其中，上述WB校正部將對上述多個合成用圖像數(shù)據(jù)的各個至少進行了白平衡校正處理后的多個圖像數(shù)據(jù)作為上述多個合成用圖像數(shù)據(jù)輸入到上述圖像合成部，上述WB校正部根據(jù)上述WB設(shè)定部的設(shè)定，使用將由上述合成圖像WB增益計算部計算出的合成圖像WB增益除以預(yù)定的值得到的換算合成圖像WB增益，進行針對上述合成圖像數(shù)據(jù)的白平衡校正。
17.根據(jù)權(quán)利要求16所述的攝像裝置，其中，上述WB校正部至少包含針對晴天的WB模式，上述預(yù)定的值是由上述合成圖像WB增益計算部針對上述針對晴天的WB模式計算出的合成圖像WB增益。
18.根據(jù)權(quán)利要求16所述的攝像裝置，其中，該圖像處理裝置還具有圖像數(shù)據(jù)記錄部，該圖像數(shù)據(jù)記錄部將針對能夠由上述WB設(shè)定部設(shè)定的WB模式中的至少一個以上的WB模式計算出的針對上述合成圖像數(shù)據(jù)的換算合成圖像WB增益、和上述合成圖像數(shù)據(jù)保存為同一文件。
19.根據(jù)權(quán)利要求13所述的攝像裝置，其中，該圖像處理裝置還具有圖像數(shù)據(jù)記錄部，該圖像數(shù)據(jù)記錄部將針對能夠由上述WB設(shè)定部設(shè)定的WB模式中的至少一個以上的WB模式計算出的針對上述合成圖像數(shù)據(jù)的合成圖像WB增益、和上述合成圖像數(shù)據(jù)保存為同一文件。
20.根據(jù)權(quán)利要求13所述的攝像裝置，其中， 上述多個合成用圖像數(shù)據(jù)和上述合成圖像數(shù)據(jù)是RAW數(shù)據(jù)。
全文摘要
本發(fā)明提供在進行圖像合成時，能夠根據(jù)WB模式進行適當(dāng)?shù)腤B校正的圖像處理裝置、白平衡校正方法以及攝像裝置。根據(jù)用于白平衡校正處理的設(shè)定，計算針對所記錄的多個圖像數(shù)據(jù)的各個的圖像WB增益(S125)，將多個圖像數(shù)據(jù)合成來生成合成圖像數(shù)據(jù)(S131)，根據(jù)多個圖像數(shù)據(jù)的合成方法、和分別與多個圖像數(shù)據(jù)的各個對應(yīng)的圖像WB增益，計算與合成圖像數(shù)據(jù)對應(yīng)的合成圖像WB增益(S133)，根據(jù)該計算出的合成圖像WB增益進行合成圖像數(shù)據(jù)的白平衡校正(S137、S93)。
文檔編號H04N9/73GK102447912SQ201110301758
公開日2012年5月9日 申請日期2011年10月8日 優(yōu)先權(quán)日2010年10月8日
發(fā)明者市川學(xué), 高濟真哉 申請人:奧林巴斯映像株式會社