圖像編輯裝置以及圖像編輯方法
【專利摘要】本發(fā)明提供圖像編輯裝置以及圖像編輯方法，即便反復進行將組合照片的一部分圖像進行重新組合的組合照片編輯，圖像劣化也較小。對構成組合照片的圖像進行第1圖像處理，生成第1圖像（S123），在生成該第1圖像后，對第1圖像進行第2圖像處理，生成第2圖像（S129，S131），根據(jù)組合照片的組合位置對第2圖像進行合成，生成組合照片（S133），將組合照片和第1圖像記錄為1個圖像文件（S137）。
【專利說明】圖像編輯裝置以及圖像編輯方法
【技術領域】
[0001]本發(fā)明涉及對由多個照片構成的組合照片等圖像進行編輯的圖像編輯裝置以及圖像編輯方法。
【背景技術】
[0002]以往，進行數(shù)字圖像信號的灰度處理，為了得到?jīng)]有灰度跳躍的圖像記錄而進行了各種研究(例如，參照日本公開專利2005-051337號公報、日本公開專利平09-233339號公報)。此外，由于當反復使用圖像時圖像會逐漸劣化，因此進行了劣化防止對策(參照日本公開專利2010-276765號公報、日本公開專利2001-143055號公報)。

【發(fā)明內容】

[0003]發(fā)明要解決的問題
[0004]有時反復對J PEG等數(shù)字化后的圖像以相同的位數(shù)強化對比度和彩度或者設為反差弱的變換。該情況下，例如在要處理的數(shù)值是整數(shù)的情況下，當進行乘法或除法時小數(shù)點以下被舍去，發(fā)生數(shù)值的位數(shù)減少，在梯度等中，值變得不再連續(xù)，發(fā)生所謂的灰度跳躍現(xiàn)象。
[0005]有時在進行了多個圖像的對比度和彩度等的調整后，在進行組合并暫時生成了組合照片后，進行用其他置換圖像來置換一部分圖像而重新生成組合照片的組合照片編輯。該情況下，假定再次進行對比度和彩度等的調整。如前所述，存在當反復進行對比度和彩度的調整時，發(fā)生灰度跳躍，組合照片的畫質劣化的情況。
[0006]本發(fā)明就是鑒于上述情況而完成的，其目的在于提供圖像編輯裝置以及圖像編輯方法，即便反復進行將組合照片的一部分圖像重新組合的組合照片編輯，圖像劣化也較小。
[0007]用于解決問題的手段
[0008]本發(fā)明的圖像編輯裝置，對組合多張圖像而構成的組合照片圖像進行編輯，該圖像編輯裝置具有:第I圖像處理部，其對上述圖像進行第I圖像處理，生成第I圖像;第2圖像處理部，其對上述第I圖像進行第2圖像處理，生成第2圖像；組合照片處理部，其根據(jù)組合照片的組合位置對上述第2圖像進行合成，生成組合照片；記錄部，其記錄上述第I圖像和上述組合照片的圖像；以及控制部，其在進行了上述第I圖像處理后，通過上述組合照片處理部根據(jù)組合照片的組合位置對實施了上述第2圖像處理的第2圖像進行合成，生成組合照片，并將上述組合照片和上述第I圖像記錄為I個圖像文件。
[0009]本發(fā)明的圖像編輯方法，對組合多張圖像而構成的組合照片圖像進行編輯，該圖像編輯方法包含以下步驟:對上述圖像進行第I圖像處理，生成第I圖像；在生成上述第I圖像后，對上述第I圖像進行第2圖像處理，生成第2圖像；根據(jù)組合照片的組合位置對上述第2圖像進行合成，生成組合照片；以及將上述組合照片和上述第I圖像記錄為I個圖像文件。
[0010]發(fā)明的效果[0011]根據(jù)本發(fā)明，能夠提供圖像編輯裝置和圖像編輯方法，即便反復進行對由多個圖像構成的組合照片的一部分圖像重新組合的組合照片編輯，圖像劣化也較小。
【專利附圖】

【附圖說明】
[0012]圖1是示出本發(fā)明一個實施方式的相機的主要電氣結構的框圖。
[0013]圖2是示出本發(fā)明一個實施方式的相機中圖像編輯的一例的圖，是示出通過觸摸實時取景來進行圖像編輯的情形的圖。
[0014]圖3是示出本發(fā)明一個實施方式的相機中圖像編輯的一例的圖，是示出通過觸摸實時取景來進行圖像編輯的情形的圖。
[0015]圖4是示出本發(fā)明一個實施方式的相機中圖像編輯的一例的圖，是示出確定編輯幀的情形的圖。
[0016]圖5是示出本發(fā)明一個實施方式的相機中畫面分割的例子的圖。
[0017]圖6是示出本發(fā)明一個實施方式的相機的主要動作的流程圖。
[0018]圖7是示出本發(fā)明一個實施方式的相機的主要動作的流程圖。
[0019]圖8是示出本發(fā)明一個實施方式的相機的圖像處理的動作的流程圖。
[0020]圖9是示出本發(fā)明一個實施方式的相機的基本圖像處理的動作的流程圖。
[0021]圖10是示出本發(fā)明一個實施方式的相機的特殊圖像處理的動作的流程圖。
[0022]圖11是示出本發(fā)明一個實施方式的相機的組合照片生成的動作的流程圖。
[0023]圖12A?圖12C是示出本發(fā)明一個實施方式的相機中圖像解析的變更例的圖。
[0024]圖13是示出本發(fā)明一個實施方式的相機的靜態(tài)圖像記錄的動作的流程圖。
[0025]圖14是示出本發(fā)明一個實施方式的相機的組合照片操作的動作的流程圖。
[0026]圖15是示出本發(fā)明一個實施方式的相機的組合照片操作的動作的流程圖。
[0027]圖16A?圖16C是示出本發(fā)明一個實施方式的相機中組合照片操作存儲器的結構的圖。
[0028]圖17是示出本發(fā)明一個實施方式的相機的再現(xiàn)/編輯的動作的流程圖。
[0029]圖18是示出本發(fā)明一個實施方式的相機的組合照片編輯的動作的流程圖。
[0030]圖19是示出本發(fā)明一個實施方式的相機的組合照片生成記錄的動作的流程圖。
[0031]圖20是示出本發(fā)明一個實施方式的相機中，組合照片的重新組合前的文件結構的圖。
[0032]圖21是示出本發(fā)明一個實施方式的相機中，組合照片的重新組合前的文件結構的圖。
[0033]圖22是示出本發(fā)明一個實施方式的相機中，替換圖像的色調調整的曲線圖?！揪唧w實施方式】
[0034]下面按照附圖使用應用本發(fā)明的相機來說明優(yōu)選實施方式。本發(fā)明的一個優(yōu)選實施方式的相機是數(shù)字相機，其具有攝像部，通過該攝像部將被攝體像轉換為圖像數(shù)據(jù)，根據(jù)該轉換后的圖像數(shù)據(jù)，在配置于主體背面的顯示部中對被攝體像進行實時取景顯示。攝影者觀察實時取景顯示，從而確定構圖和快門時機。當進行了釋放操作時，將圖像數(shù)據(jù)記錄于記錄介質中。當選擇了再現(xiàn)模式時，能夠在顯示部中再現(xiàn)顯示被記錄于記錄介質中的圖像數(shù)據(jù)。
[0035]此外，顯示部能夠將畫面分割為多個部分，生成組合多個圖像而構成的組合照片，并進行顯示。能夠將該組合照片內的一部分照片置換為實時取景圖像或在記錄介質中所記錄的攝影完畢的圖像。該情況下，將進行了預處理的副圖像(構成組合照片的各個圖像)作為個別的數(shù)據(jù)，并將組合照片的圖像作為主圖像，存儲由這些主圖像和副圖像構成的圖像文件(參照圖11的S127、S137、圖20、圖21)。由于副圖像被個別地存儲，因此即便反復進行將組合照片的一部分圖像與其他圖像置換的組合照片編輯，畫質也不會劣化。
[0036]圖1是不出本發(fā)明一個實施方式的相機的主要電氣結構的框圖。該相機由相機主體100和可在該相機主體100上拆裝的更換式鏡頭200構成。另外，在本實施方式中，將攝影鏡頭設為更換式鏡頭，但不限于此，當然也可以是在相機主體上固定攝影鏡頭的類型的數(shù)字相機。
[0037]更換式鏡頭200由攝影鏡頭201、光圈203、驅動器205、微型計算機207、閃存209構成，在與后述的相機主體100之間具有接口(以下稱為I/F) 300。
[0038]攝影鏡頭201由用于形成被攝體像的多個光學透鏡構成，是單焦點鏡頭或變焦鏡頭。在該攝影鏡頭201的光軸的后方配置有光圈203，光圈203的開口直徑可變，用以限制通過了攝影鏡頭201的被攝體光束的光量。此外，攝影鏡頭201可憑借驅動器205在光軸方向上移動，根據(jù)來自微型計算機207的控制信號，對攝影鏡頭201
[0039]的焦點位置進行控制，在是變焦鏡頭的情況下，還對焦距進行控制。此外，驅動器205還進行光圈203的開口直徑的控制。
[0040]與驅動器205連接的微型計算機207與I/F300和閃存209連接。微型計算機207按照在閃存209中存儲的程序工作，與后述的相機主體100內的微型計算機121進行通信，根據(jù)來自微型計算機121的控制信號進行更換式鏡頭200的控制。
[0041]閃存209除了所述程序之外，還存儲有更換鏡頭200的光學特性和調整值等各種信息。I/F300是用于進行更換式鏡頭200內的微型計算機207與相機主體100內的微型計算機121相互之間的通信的接口。
[0042]在相機主體100內部，在攝影鏡頭201的光軸上配置有機械快門101。該機械快門101控制被攝體光束的通過時間，采用公知的焦平面快門等。在該機械快門101的后方，在通過攝影鏡頭201形成被攝體像的位置處配置有攝像元件103。
[0043]在攝像元件103中，構成各像素的光電二極管二維地配置成矩陣狀，各光電二極管產(chǎn)生與受光量相應的光電轉換電流，通過與各光電二極管連接的電容器蓄積該光電轉換電流的電荷。在各像素的前表面配置有拜耳排列的RGB濾色器。另外，攝像元件103不限于拜耳排列，例如可以是Foveon (注冊商標)那樣的層疊形式。
[0044]攝像元件103與模擬處理部105連接，該模擬處理部105對從攝像元件103讀取的光電轉換信號(模擬圖像信號)降低復位噪聲后進行波形整形，進而進行增益提升以成為適當亮度。
[0045]模擬處理部105與A/D轉換部107連接，該A/D轉換部107對模擬圖像信號進行模擬-數(shù)字轉換，將數(shù)字圖像信號(以下稱之為圖像數(shù)據(jù))輸出到總線110。另外，在本說明書中，將在圖像處理部109進行圖像處理之前的原始的圖像數(shù)據(jù)稱作RAW數(shù)據(jù)。
[0046]總線110是用于將在相機主體100內部讀取或生成的各種數(shù)據(jù)轉發(fā)到相機主體100內部的轉發(fā)路徑?？偩€110除了與所述A/D轉換部107連接之外，還連接著圖像處理部109、AE (Auto Exposure:自動曝光)處理部 111、AF (Auto Focus:自動對焦)處理部 113、圖像壓縮解壓縮部115、通信部117、微型計算機121、SDRAM(Synchronous DRAM:同步DRAM)127、存儲器接口(以下稱為存儲器I/F) 129和顯示驅動器133。
[0047]圖像處理部109具有進行基本的圖像處理的基本圖像處理部109a、在設定了藝術濾鏡的情況下用于實施特殊效果的特殊圖像處理部10%、用于進行組合多個照片構成I張圖像的組合照片的編輯處理的組合照片處理部109C、以及對圖像進行解析的被攝體檢測部109d。
[0048]基本圖像處理部109a對RAW數(shù)據(jù)實施光學黑(OB)減法處理、白平衡(WB)校正、拜耳數(shù)據(jù)情況下進行的同時化處理、色彩再現(xiàn)處理、伽馬校正處理、色彩矩陣運算、降噪(NR)處理、邊緣強化處理等。在僅為I張攝影、且未設定藝術濾鏡的情況下，僅憑該基本圖像處理部109a的處理即可完成圖像處理。
[0049]另外，特殊圖像處理部10%根據(jù)所設定的特殊效果(藝術濾鏡)，對由基本圖像處理部處理后的圖像實施降低周邊亮度的針孔效果、使圖像模糊并與原圖像合成的柔焦處理、與噪聲圖像合成的噪聲效果、在亮點描繪十字圖案的十字濾鏡效果、使得周邊部模糊的微縮效果等各種特殊效果。
[0050]組合照片處理部109c組合多個圖像生成I張圖像(組合照片)。在圖像組合時，從閃存125讀入模板(參照后述圖5)，使用基本圖像處理部109a內的伽馬校正進行亮度變更，以使得圖像亮度相同。此外，為了統(tǒng)一整體的白平衡(WB)，使用基本圖像處理部109a內的色彩再現(xiàn)處理來變更WB。此外，在合成后使用特殊圖像處理部10%來應用針孔效果等特殊效果，進行組合圖像或置換圖像的修正等。
[0051]組合照片處理部109c實現(xiàn)作為第I圖像處理部的功能，該第I圖像處理部對構成組合照片的圖像進行第I圖像處理，生成第I圖像。此外，實現(xiàn)作為第2圖像處理部的功能，該第2圖像處理部對第I圖像進行第2圖像處理，生成第2圖像。此外，組合照片處理部109c實現(xiàn)作為組合照片處理部的功能，該組合照片處理部根據(jù)組合照片的組合位置來合成第2圖像，生成組合照片。
[0052]作為第I圖像處理部發(fā)揮作用的組合照片處理部109c對圖像尺寸進行縮放，將圖像旋轉并對圖像進行裁剪(參照圖11的S123)。另外，也可以不需要進行這3個處理的全部而只進行一部分處理，此外，只要是在組合照片生成前進行的基本圖像處理，也可以追加其他的處理。此外，作為第2圖像處理部發(fā)揮作用的組合照片處理部109c進行圖像的顏色校正、亮度校正(參照圖11的S129、S131)。另外，不需要進行這兩個處理的全部，此外，也可以追加例如畫質調整等在基本圖像處理后進行的處理。
[0053]被攝體檢測部109d利用模式匹配等來解析圖像，檢測人臉或寵物等被攝體。在能夠檢測到被攝體的情況下，取得圖像內被攝體的種類、大小、位置、可靠性等信息。被攝體檢測部109d與組合照片處理部109c協(xié)作作為解析部發(fā)揮作用，該解析部解析圖像的特征部并輸出解析結果(參照圖11的S125)。圖像的特征部是直方圖、被攝體檢測結果、主要被攝體的大小、位置、顏色這些特征中的至少一個。
[0054]AE處理部111根據(jù)經(jīng)由總線110輸入的圖像數(shù)據(jù)測定被攝體亮度，并經(jīng)由總線110將該被攝體亮度信息輸出給微型計算機121。為進行被攝體亮度的測定也可以設定專用的測光傳感器，但在本實施方式中，根據(jù)圖像數(shù)據(jù)計算被攝體亮度。
[0055]AF處理部113從圖像數(shù)據(jù)中提取出高頻成分的信號，通過累計處理取得對焦評價值，并經(jīng)由總線110輸出給微型計算機121。在本實施方式中，通過所謂的對比度法進行攝影鏡頭201的對焦。在本實施方式中以基于對比度法的AF控制為例進行了說明，但也可以在光路上設置相位差傳感器，或者在攝像元件上設置相位差傳感器，通過基于相位差AF的AF控制進行對焦。
[0056]圖像壓縮解壓縮部115在將圖像數(shù)據(jù)記錄到記錄介質131時，將從SDRAM127讀出的圖像數(shù)據(jù)在靜態(tài)圖像的情況下按照JPEG方式等對其進行壓縮，在動態(tài)圖像的情況下按照MPEG等各種壓縮方式對其進行壓縮。微型計算機121對JPEG圖像數(shù)據(jù)或MPEG圖像數(shù)據(jù)附加構成JPEG文件、MPO (Multi Picture Ob ject，多圖像對象)文件或MPEG文件所需的文件頭，生成JPEG文件、MPO文件、MPEG文件，將該生成的文件通過存儲器I/F129記錄于記錄介質131中。另外，在本實施方式中，利用MPO文件記錄由組合照片的圖像(主圖像)和組合照片的各個圖像(副圖像)構成的圖像文件。后面在圖20、圖21中對該文件結構進行說明。
[0057]此外，圖像壓縮解壓縮部115還進行用于圖像再現(xiàn)顯示的JPEG圖像數(shù)據(jù)和MPEG圖像數(shù)據(jù)的解壓縮。在進行解壓縮時，讀出在記錄介質131中記錄的文件，在圖像壓縮解壓縮部115中實施解壓縮處理，然后將解壓縮后的圖像數(shù)據(jù)暫時存儲于SDRAM127中。另外，在本實施方式中，作為圖像壓縮方式，采用的是JPEG壓縮方式和MPEG壓縮方式，然而壓縮方式不限于此，也可以采用TIFF、H.264等其他壓縮方式。
[0058]通信部117利用基于USB、LAN等的有線通信、無線通信等與外部進行通信。通過通信部117更新或追加在閃存125內存儲的用于組合照片的分割的模板。
[0059]微型計算機121實現(xiàn)作為該相機主體的控制部的功能，總括地控制相機的各種動作時序。微型計算機121除了與所述I/F300連接以外，還連接著操作部123和閃存125。
[0060]微型計算機121作為控制部發(fā)揮作用，在進行了第I圖像處理后，該控制部通過組合照片處理部109c根據(jù)組合照片的組合位置來合成實施了第2圖像處理后的第2圖像，而生成組合照片，將組合照片和第I圖像記錄為I個圖像文件。該功能例如是通過圖11所示的流程圖來執(zhí)行的。
[0061]操作部123包括電源按鈕、釋放按鈕、動態(tài)圖像按鈕、再現(xiàn)按鈕、菜單按鈕、十字鍵、OK按鈕、刪除按鈕、放大按鈕等各種輸入按鈕和各種輸入鍵等操作部件，操作部123檢測這些操作部件的操作狀態(tài)，將檢測結果輸出給微型計算機121。微型計算機121根據(jù)來自操作部123的操作部件的檢測結果，執(zhí)行與用戶的操作對應的各種動作時序。電源按鈕是用于指示該數(shù)字相機的電源的接通/斷開的操作部件。按下電源按鈕時，該數(shù)字相機的電源接通，再次按下電源按鈕時，該數(shù)字相機的電源斷開。
[0062]釋放按鈕由通過半按下而打開的第一釋放開關和從半按下狀態(tài)進一步按下而成為全按下時打開的第二釋放開關構成。微型計算機121在第一釋放開關打開時，執(zhí)行AF動作和AF動作等攝影準備動作時序。此外，在第二釋放開關打開時，執(zhí)行控制機械快門101等，從攝像元件103等取得基于被攝體圖像的圖像數(shù)據(jù)，將該圖像數(shù)據(jù)記錄于記錄介質131的一系列攝影動作時序，來進行攝影。
[0063]動態(tài)圖像按鈕是用于指示動態(tài)圖像攝影的開始和結束的操作按鈕，最初對動態(tài)圖像按鈕進行操作時開始動態(tài)圖像攝影，再次進行操作則結束動態(tài)圖像攝影。再現(xiàn)按鈕是用于設定和解除再現(xiàn)模式的操作按鈕，當設定了再現(xiàn)模式時，從記錄介質131讀出攝影圖像的圖像數(shù)據(jù)，并在顯示面板135中再現(xiàn)顯示攝影圖像。刪除按鈕例如是用于在一覽顯示再現(xiàn)圖像時或顯示組合照片時等，指定圖像并進行刪除的操作按鈕。放大按鈕是用于在再現(xiàn)顯示時放大顯示圖像的操作按鈕。
[0064]菜單按鈕是用于在顯示面板135中顯示菜單畫面的操作按鈕。在菜單畫面上能夠進行各種相機設定。作為相機設定，例如有通常攝影模式和組合照片等攝影模式的設定、自然、鮮艷、平淡、肖像、藝術濾鏡等完成效果的設定。作為藝術濾鏡，具有波普藝術效果、玩具相機效果、夢幻對焦效果、黑白效果、透視畫效果、水晶效果等。此外，在菜單畫面上還能夠進行組合照片的樣式、組合照片的置換圖像的選擇、組合照片編輯時是否記錄編輯前的圖像等各種設定。另外，在組合照片的情況下，根據(jù)樣式和組合圖像選擇狀況來變更實時取景(LV)的顯示(參照圖7的S47)。
[0065]此外，操作部123中設有觸摸輸入部123a。顯示面板135可進行觸摸操作，觸摸輸入部123a檢測用戶觸摸的位置等，輸出給微型計算機121。
[0066]閃存125存儲有用于執(zhí)行微型計算機121的各種動作時序的程序。微型計算機121根據(jù)該程序進行相機整體的控制。
[0067]SDRAM127是用于暫時存儲圖像數(shù)據(jù)等的可進行電改寫的易失性存儲器。該SDRAM127暫時存儲從A/D轉換部107輸出的圖像數(shù)據(jù)以及在圖像處理部109和圖像壓縮解壓縮部115等中進行了處理的圖像數(shù)據(jù)。
[0068]存儲器I/F129與記錄介質131連接，進行將圖像數(shù)據(jù)和在圖像數(shù)據(jù)中附加的文件頭等數(shù)據(jù)寫入記錄介質131以及從記錄介質131讀取這些數(shù)據(jù)的控制。記錄介質131作為記錄第I圖像(參照圖11的S123，圖20、21的副圖像Pll?P14等)和組合照片的圖像(參照圖11的S133，圖20、21的主圖像P1、P2)(圖11的S137)的記錄部發(fā)揮作用。記錄介質131例如是可在相機主體100上自由拆裝的存儲卡等記錄介質，但不限于此，也可以是內置于相機主體100內的硬盤等。
[0069]顯示驅動器133與顯示面板135連接，根據(jù)從SDRAM127和記錄介質131中讀出并由圖像壓縮解壓縮部115解壓縮后的圖像數(shù)據(jù)，在顯示面板135上顯示圖像。顯示面板135配置于相機主體100的背面等，進行圖像顯示。圖像顯示包括在剛結束攝影后短時間顯示所記錄的圖像數(shù)據(jù)的記錄瀏覽顯示、在記錄介質131中記錄的靜態(tài)圖像和動態(tài)圖像的圖像文件的再現(xiàn)顯示以及實時取景顯示等動態(tài)圖像顯示。另外，作為顯示部可采用液晶顯示面板(IXD)、有機EL等各種顯示面板。
[0070]下面使用圖2至圖5說明本實施方式的相機的組合照片的編輯動作。圖2示出選擇了組合照片模式，并將顯示面板135的畫面分割為4部分的情況下的實時取景顯示。另夕卜，分割畫面內的斜線(人物肘部附近的二重線、腿部后方的二重線)表示被攝體正在運動。此外，圖2的左側表示被攝體的情形，右側表示顯示面板135的顯示狀態(tài)。
[0071]首先，在圖2中，如135a所示，在分割為4部分的畫面內的左上畫面進行實時取景顯示。用戶在希望作為組合照片的圖像而取入的情況下，若觸摸了顯示面板135的左上部，則如135b所示，確定攝影，在下一畫面(右上畫面)進行實時取景顯示。接著，135c是確定了右上畫面的攝影的情形，135d表示確定了左下畫面的攝影的情形。當確定了右下畫面的攝影時(參照135e)，攝影結束，能夠取得組合照片。
[0072]在圖2所示例子中，通過觸摸顯示面板135來確定攝影，按照左上一右上一左下一右下的順序進行了實時取景顯示。但也可以不按照該順序進行實時取景顯示。例如也可以如圖3所示，在左上畫面進行實時取景顯示時(參照圖3的135f)，若觸摸了未進行實時取景顯示的左下畫面，則在該畫面進行實時取景顯示(參照圖3的135g)。另外，后面會使用圖14的步驟S161、S163說明該攝影幀的具體變更操作。
[0073]此外也可以是，在圖2中，雖然在實時取景顯示中觸摸了顯示面板135時確定了攝影，但也可以當在所確定的畫面中再次進行了觸摸時，返回實時取景畫面。在圖3所示的顯示面板135h中，在3個畫面(左上、右上、左下畫面)示出了確定了攝影的情形，但是，若觸摸該確定了攝影的左下畫面，則顯示面板135j的左下畫面成為實時取景顯示畫面。
[0074]此外，在本實施方式中，即使在確定了所有的攝影，完成了組合照片之后，也能將其中一部分圖像置換為其他圖像。例如在圖4中，示出在確定了 4張圖像的情況下，用戶為了使用其他圖像置換右下畫面的圖像而進行指定的情形。在本實施方式中，通過進行觸摸，而顯示該圖像的外框，表示是替換對象圖像。
[0075]在圖2至圖4所示的組合照片的例子中，分割為左上、右上、左下、右下4個部分，但畫面的分割不限于此。例如圖5所示，也可以分割為各種形狀。該分割的形狀(模板、樣式)可預先存儲于閃存125中，能夠根據(jù)用戶的喜好進行設定。
[0076]下面使用圖6和圖7所示的流程圖，說明本實施方式的相機的主要處理。另外，圖6?圖11、圖13?圖15、圖17?圖22D所示的流程圖是由微型計算機121依照在閃存125中存儲的程序控制各部分來執(zhí)行的。
[0077]在對操作部123內的電源按鈕進行操作使電源接通后，圖6所示的主流程開始動作。開始動作后，首先執(zhí)行初始化(Si)。作為初始化，進行機械性初始化以及各種標記等的初始化等電氣初始化。作為各種標記之一，將表示是否處于動態(tài)圖像記錄之中的記錄中標記重置為關閉(參照步驟S13、S15)。
[0078]進行了初始化后，接下來判定是否按下了再現(xiàn)按鈕(S3)。在此，檢測操作部123內再現(xiàn)按鈕的操作狀態(tài)并進行判定。該判定結果為按下了再現(xiàn)按鈕的情況下，執(zhí)行再現(xiàn)/編輯(S5)。在此，從記錄介質131中讀出圖像數(shù)據(jù)，在IXD135中顯示靜態(tài)圖像和動態(tài)圖像的一覽。用戶通過對十字鍵進行操作，從一覽中選擇圖像，通過OK鍵確定圖像。此外，在該步驟中，還進行組合照片的編輯。后面使用圖17說明該再現(xiàn)/編輯的詳細動作。
[0079]在執(zhí)行了步驟S5的再現(xiàn)/編輯后，或者步驟S3的判定結果為未按下再現(xiàn)按鈕的情況下，判定是否進行相機設定(S7)。在操作了操作部123內的菜單按鈕時，在菜單畫面中進行相機設定。因此，在該步驟中根據(jù)是否進行了該相機設定來進行判定。
[0080]在步驟S7的判定結果為相機設定的情況下，進行相機設定(S9)。如上所述，能夠在菜單畫面中進行各種相機設定。如上所述，作為相機設定例如有通常攝影模式和組合照片等攝影模式的設定、自然、鮮艷、平淡、肖像、藝術濾鏡等完成效果的設定。作為藝術濾鏡，有波普藝術效果、玩具相機效果、夢幻對焦效果、黑白效果、透視畫效果、水晶效果等。此外，還能夠進行組合照片的樣式、組合照片的置換圖像的選擇、在組合照片編輯時是否記錄編輯前的圖像、選擇用于將已記錄的圖像嵌入到組合照片的預定幀中的圖像等各種設定。
[0081]在步驟S9中進行了相機設定后，或者步驟S7的判定結果為并非相機設定的情況下，接下來進行是否按下了動態(tài)圖像按鈕的判定(S11)。在此，微型計算機121從操作部123輸入動態(tài)圖像按鈕的操作狀態(tài)并進行判定。
[0082]在步驟Sll的判定結果為按下了動態(tài)圖像按鈕的情況下，判定記錄中標記(S13)。在動態(tài)圖像攝影中，記錄中標記被設定為打開(I )，在未拍攝動態(tài)圖像的情況下被重置為關閉(O)。在該步驟中，將標記反轉，即在設定了打開(I)的情況下，使其反轉為關閉(0)，在設定了關閉(O)的情況下，使其反轉為打開(I)。
[0083]在步驟S13中進行了記錄中標記的反轉后，接下來判定是否為動態(tài)圖像記錄中(S15)。在此，根據(jù)在步驟S13中被反轉的記錄中標記是被設定為打開還是被設定為關閉來進行判定。
[0084]在步驟S15的判定結果為動態(tài)圖像記錄中的情況下，生成動態(tài)圖像文件(S19)。在后述的步驟S61中進行動態(tài)圖像的記錄，但在該步驟中，生成動態(tài)圖像記錄用的動態(tài)圖像文件，進行準備以能夠記錄動態(tài)圖像的圖像數(shù)據(jù)。
[0085]另一方面，在判定結果為并非動態(tài)圖像記錄中的情況下，關閉動態(tài)圖像文件(S17)。由于對動態(tài)圖像按鈕進行操作而結束了動態(tài)圖像攝影，因而在該步驟中關閉動態(tài)圖像文件。在關閉動態(tài)圖像文件時，在動態(tài)圖像文件的文件頭記錄幀數(shù)等，從而將動態(tài)圖像文件設為能夠再現(xiàn)的狀態(tài)，結束文件寫入。
[0086]在步驟S17中關閉了動態(tài)圖像文件后，或者在步驟S19中生成了動態(tài)圖像文件后，或者步驟Sll的判定結果為未按下動態(tài)圖像按鈕的情況下，接下來判定是否在組合照片模式下對操作部進行了操作(S21)。如上所述，在步驟S9的相機設定中，能夠進行組合照片模式的設定。在該步驟中，判定是否在設定了該組合照片模式的狀態(tài)下操作了操作部123的操作部。
[0087]在步驟S21的判定結果為在組合照片模式下對操作部進行了操作的情況下，執(zhí)行組合照片操作(S23)。在該組合照片操作中，在進行了用于進行組合照片的編輯的各種操作例如攝影幀變更、取消操作、恢復操作、暫時保存操作、暫時保存讀入操作等操作時，執(zhí)行該組合照片操作。后面使用圖14和圖15說明該組合照片操作的詳細動作。
[0088]在步驟S23中執(zhí)行了再現(xiàn)/編輯后，或者步驟S21的判定結果為未在組合照片模式下對操作部進行操作的情況下，判定是否半按下了釋放按鈕，換言之判定第一釋放開關是否從關閉變?yōu)榱舜蜷_(S31)。該判定是通過由操作部123檢測與釋放按鈕聯(lián)動的第一釋放開關的狀態(tài)，并根據(jù)該檢測結果來進行的。在檢測的結果為第一釋放開關從關閉轉變到打開的情況下判定結果為“是”，另一方面，在維持打開狀態(tài)或關閉狀態(tài)的情況下，判定結果為“否”。
[0089]在步驟S31的判定結果為釋放按鈕被半按下，從關閉轉變?yōu)榈谝会尫诺那闆r下，執(zhí)行AE、AF動作(S33)。在此，AE處理部111根據(jù)由攝像元件103取得的圖像數(shù)據(jù)檢測被攝體亮度，根據(jù)該被攝體亮度，計算成為適當曝光的快門速度、光圈值等。
[0090]此外，在步驟S33中進行AF動作。在此，驅動器205通過更換式鏡頭200內的微型計算機207使攝影鏡頭201的焦點位置移動，以使得由AF處理部113取得的對焦評價值成為峰值。因此，在未進行動態(tài)圖像攝影的情況下，若半按下了釋放按鈕，則在該時刻進行攝影鏡頭201的對焦。此后進入步驟S35。
[0091]在步驟S31的判定結果為釋放按鈕未從關閉轉變?yōu)榈谝会尫诺那闆r下，接下來判定是否釋放按鈕被全按下而使第二釋放開關打開(S37)。在該步驟中，通過操作部123檢測與釋放按鈕聯(lián)動的第二釋放開關的狀態(tài)，根據(jù)該檢測結果進行判定。
[0092]在步驟S37的判定結果為全按下了釋放按鈕而使第二釋放開關打開的情況下，進行基于機械快門101的靜態(tài)圖像攝影(S39)。在此，以在步驟S33中運算得到的光圈值來控制光圈203，并以運算得到的快門速度來控制機械快門101的快門速度。然后，在經(jīng)過了與快門速度相應的曝光時間后，從攝像元件103讀出圖像信號，將由模擬處理部105和A/D轉換部107進行了處理后的RAW數(shù)據(jù)輸出到總線110。
[0093]在進行了基于機械快門101的攝影后，接下來進行圖像處理(S41)。在此，讀出通過基于機械快門101的攝影而由攝像元件103取得的RAW數(shù)據(jù)，通過圖像處理部109進行圖像處理。后面使用圖8說明該圖像處理的詳細動作。
[0094]進行了圖像處理后，接下來進行靜態(tài)圖像記錄(S43)。在此，將實施了圖像處理后的靜態(tài)圖像的圖像數(shù)據(jù)記錄于記錄介質131。另外，在以組合照片進行了攝影的情況下，當希望取消(刪除)組合照片內的一部分圖像時，能夠通過取消操作進行刪除。后面使用圖13說明該靜態(tài)圖像記錄的詳細動作。
[0095]進行了靜態(tài)圖像記錄后，接下來進行是否為組合照片模式的判定(S45)。如上所述，組合照片模式是在菜單畫面等中設定的，在該步驟中判定是否設定了該組合照片模式。
[0096]在步驟S45的判定結果為設定了組合照片模式的情況下，進行實時取景(LV)顯示的變更(S47)。在設定了組合照片模式的情況下，根據(jù)樣式(模板、參照圖5)和圖像的張數(shù)，變更實時取景顯示。在始終對所有幀進行實時取景顯示的情況下，在攝影圖像以外的部分進行實時取景顯示。此外，在逐幀地進行實時取景顯示的情況下(參照圖2的顯示方式)，攝影后向下一幀(例如在圖2的顯示面板135a?135e中，按照左上一右上一左下一右下的順序)切換實時取景顯示。無論何種情況下，所拍攝的幀都顯示攝影圖像。此外，也可以使用OSD (屏幕直接顯示)，以能夠知道是攝影完畢的圖像還是實時取景圖像的方式進行顯示，還可以是以能夠知道攝影順序的方式顯示攝影完畢的圖像。此后進入步驟S35。
[0097]在步驟S37的判定結果為并非第二釋放操作的情況下，即第二釋放開關并非打開的情況下，接著進行AE (S51)。從所述步驟S31經(jīng)過S37的情況是未對釋放按鈕進行任何操作的情況，該情況下在后述的步驟S57中進行實時取景顯示。在步驟S51中，進行用于進行實時取景顯示的曝光控制。即，計算出為了以適當曝光進行實時取景顯示的攝像元件103的電子快門的快門速度和ISO靈敏度。
[0098]在進行了 AE后，接下來進行基于電子快門的攝影(S53 )。在此，使用攝像元件103的電子快門取得圖像數(shù)據(jù)。接著對所取得的圖像數(shù)據(jù)進行圖像處理(S55)。此處的圖像處理用于實時取景顯示，并且在設定了特殊效果的情況下，還進行與所設定的特殊效果對應的圖像處理。后面使用圖8說明該圖像處理的詳細動作。
[0099]進行了圖像處理后，在顯示面板135中進行實時取景顯示(S57)。由于在步驟S53中取得了圖像數(shù)據(jù)，并且在步驟S55中進行了圖像處理，因而在該步驟中進行實時取景顯示的更新。攝影者能夠通過觀察該實時取景顯示，來確定構圖和快門釋放時機。
[0100]在步驟S57中進行了實時取景顯示后，進行是否為動態(tài)圖像記錄中的判定(S59)。在此，判定記錄中標記是否打開。在該判定的結果為動態(tài)圖像記錄中的情況下，進行動態(tài)圖像記錄(S61)。在此，對從攝像元件103讀出的攝像數(shù)據(jù)進行圖像處理，使其成為動態(tài)圖像用的圖像數(shù)據(jù)，并記錄于動態(tài)圖像文件中。然后進入步驟S35。
[0101]在步驟S35中，進行是否為電源斷開的判定。在該步驟中，判定是否再次按下了操作部123的電源按鈕。在該判定結果為并非電源斷開的情況下，返回步驟S3。另一方面，在判定結果為電源斷開的情況下，進行主流程的結束動作，然后結束主流程。
[0102]這樣，在本發(fā)明一個實施方式的主流程中，在設定了組合照片模式的情況下，能夠進行再現(xiàn)/編輯(S23)，并且在進行了釋放按鈕的全按下(第二釋放操作)時進行攝影，并且進行實時取景顯示的變更。
[0103]接著，使用圖8所示的流程圖說明步驟S41、S55的圖像處理。進入圖像處理的流程后，首先進行基本圖像處理(S71)。在此，基本圖像處理部109a對從攝像元件103讀出并通過A/D轉換部107進行了 A/D轉換的圖像數(shù)據(jù)實施光學黑(OB)減法、白平衡(WB)校正、同時化處理、色彩再現(xiàn)處理、亮度變更處理、邊緣強化處理、降噪(NR)處理等。后面使用圖9說明該基本圖像處理的詳細動作。
[0104]進行了基本圖像處理后，接下來判定是否設定了藝術濾鏡(S73 )。由于在所述相機設定(S9)中設定藝術濾鏡，因此判定在該步驟中是否設定了藝術濾鏡。
[0105]在步驟S73的判定結果為設定了藝術濾鏡的情況下，進行特殊圖像處理(S75)。在此，根據(jù)所設定的藝術濾鏡的種類實施特殊圖像處理。后面使用圖10說明該特殊圖像處理的詳細動作。
[0106]在進行了特殊圖像處理后或者步驟S73的判定結果為未設定藝術濾鏡的情況下，接下來進行是否為組合照片的判定(S77)。在該判定的結果為設定了組合照片模式的情況下，進行組合照片生成(S79)。在該組合照片生成中，進行圖像縮放和旋轉等預處理，并進行顏色變更和亮度變更，然后根據(jù)樣式(模板)進行圖像的合成，生成組合照片。后面使用圖11說明該組合照片生成的詳細動作。
[0107]在進行了組合照片生成后或者步驟S77的判定結果為未設定組合照片模式的情況下，返回原流程。
[0108]這樣，在本實施方式的圖像處理中，進行基本圖像處理，并根據(jù)需要進行特殊圖像處理，然后在設定了組合照片模式的情況下，進行組合照片生成。
[0109]接著，使用圖9所示的流程圖說明步驟S71(圖8)的基本圖像處理的詳細動作。進入基本圖像處理的流程后，首先進行光學黑(OB)運算(S81)。在該步驟中，通過基本圖像處理部109a內的OB運算部，從構成圖像數(shù)據(jù)的各像素的像素值分別減去由攝像元件103的暗電流等導致的光學黑體值。
[0110]進行了 OB運算后，接下來進行白平衡(WB)校正(S83)。在該步驟中，根據(jù)預先設定的白平衡模式，通過基本圖像處理部109a內的WB校正部對圖像數(shù)據(jù)進行WB校正。具體而言，從相機主體的閃存125中讀出與用戶設定的白平衡模式相應的R增益和B增益，對拜耳排列的圖像數(shù)據(jù)乘以該值由此進行校正?；蛘咴谧詣影灼胶獾那闆r下，根據(jù)RAW數(shù)據(jù)等計算出R增益和B增益，使用這些值進行校正。
[0111]接著進行同時化處理(S85)。在該步驟中，通過基本圖像處理部109a內的同時化處理部將進行了白平衡校正的圖像數(shù)據(jù)轉換為各像素由RGB數(shù)據(jù)構成的數(shù)據(jù)。具體而言，通過插補由周邊求出該像素中不存在的數(shù)據(jù)，并轉換為RGB數(shù)據(jù)。但是，例如在RAW數(shù)據(jù)已經(jīng)是與RGB數(shù)據(jù)相同的形式(由Foveon傳感器得到的RAW數(shù)據(jù)等)的情況下，無需進行同時化處理。
[0112]在進行了同時化處理后，接下來進行色彩再現(xiàn)處理(S87 )。在該步驟中，通過基本圖像處理部109a內的色彩再現(xiàn)處理部進行對圖像數(shù)據(jù)乘以與所設定的白平衡模式相應的色彩矩陣系數(shù)的線性轉換，校正圖像數(shù)據(jù)的顏色。色彩矩陣系數(shù)存儲于閃存125中，因此需讀出來使用。
[0113]在進行了顏色再現(xiàn)處理后，接下來進行亮度變更處理(S89 )。在該步驟中，通過基本圖像處理部109a內的伽馬處理部讀出在閃存125中存儲的伽馬表，對圖像數(shù)據(jù)進行伽馬校正處理。即，利用RGB進行伽馬轉換，顏色轉換為YCbCr后，使用Y進一步進行伽馬轉換。
[0114]在進行了伽馬轉換后，接下來進行邊緣強化(S91)。在該步驟中，由基本圖像處理部109a內的邊緣強調處理部通過帶通濾波器對進行了伽馬轉換的圖像數(shù)據(jù)提取邊緣成分，根據(jù)邊緣強化度乘以系數(shù)并與圖像數(shù)據(jù)相加，由此對圖像數(shù)據(jù)的邊緣進行強化。
[0115]然后進行NR (噪聲去除)(S93)。在該步驟中，對圖像進行頻率分解，根據(jù)頻率進行降低噪聲的處理。進行了降噪處理后返回原流程。
[0116]接著，使用圖10所示的流程圖說明步驟S75 (圖8)的特殊圖像處理的詳細動作。
[0117]進入特殊圖像處理的流程后，首先判定是否設定了玩具相機效果作為藝術濾鏡模式(S101)。在該判定結果為設定了玩具相機效果的情況下，附加陰影效果(S103)。在此，特殊圖像處理部10%根據(jù)與中心的距離生成使得亮度逐漸降低的增益圖(增益值在I以下)，對每個像素乘以與像素相應的增益，由此對圖像周邊賦予陰影效果。
[0118]在進行了陰影附加后或者步驟SlOl的判定結果并非玩具相機效果的情況下，接下來判定是否設定了夢幻對焦作為藝術濾鏡模式(S105)。在該判定結果為設定了夢幻對焦的情況下，進行柔焦處理(S107)。在此，特殊圖像處理部10%使原圖像模糊，按照預定比例(例如模糊的圖像:模糊前的圖像=2:3的比例)將該模糊的圖像與模糊前的圖像合成。
[0119]在進行了柔焦處理后或者步驟S105的判定結果并非夢幻對焦的情況下，接下來判定是否設定了黑白效果作為藝術濾鏡模式(S109)。該判定結果為設定了黑白效果的情況下，進行噪聲重疊處理(S111)。在此，特殊圖像處理部109b對圖像數(shù)據(jù)實施噪聲附加處理。噪聲附加處理是將預先生成的噪聲圖形圖像與被攝體圖像相加的處理?？梢愿鶕?jù)隨機數(shù)等生成噪聲圖形圖像。
[0120]在進行了噪聲重疊處理后或者步驟S109的判定結果并非黑白效果的情況下，接下來判定是否設定了透視畫效果作為藝術濾鏡模式(S113)。在該判定結果為設定了透視畫效果的情況下，進行模糊處理(S115)。在此，特殊圖像處理部109b進行以原圖像的AF目標為中心，按照上下或左右或距離逐漸模糊的處理。
[0121]在進行了模糊處理后或者步驟S113的判定結果并非透視畫效果的情況下，接下來判定是否設定了水晶效果作為藝術濾鏡模式(S117)。在該判定結果為設定了水晶效果的情況下，進行十字濾光處理(S119)。在此，特殊圖像處理部109b從圖像中檢測亮點，以該亮點為中心描繪具備呈十字狀或多根放射狀的形狀演繹光耀的效果的十字圖形。
[0122]在進行了十字濾光處理后或者步驟S117的判定結果為未設定水晶效果的情況下，結束特殊圖像處理的流程，返回原流程。
[0123]接著，使用圖11所示的流程圖說明步驟S79 (圖8)的組合照片生成的詳細動作。如上所述，在圖8所示的圖像處理的流程中，首先進行基本圖像處理，接著進行特殊圖像處理，然后進行該組合照片生成。在該組合照片生成中，將圖像合成到圖5所示的樣式(模板)中。進行該合成時，大體上若存在未在步驟S121?S127中實施過預處理的幀，則實施預處理。實施了預處理后，進行顏色變更和亮度變更等，執(zhí)行在樣式中嵌入圖像的圖像處理，然后進行圖像記錄。
[0124]進入組合照片生成的流程后，首先進行是否存在未執(zhí)行預處理的幀的判定(S121)。在此，判定對于要合成的全部幀的圖像是否已完成在步驟S128以后的處理中不需要每次執(zhí)行的縮放/旋轉/裁剪、圖像解析等預處理。
[0125]當步驟S121的判定結果為存在未實施預處理的幀時，接下來進行縮放/旋轉/裁剪(S123)。此時，為了嵌入到圖5所示的樣式中，組合照片處理部109c配合幀來進行圖像縮放、旋轉和裁剪等處理。
[0126]在進行了縮放后，接下來進行圖像解析(S125)。對進行合成的原圖像(置換圖像)進行解析，取得圖像特征(例如亮度分布和顏色分布等)?？梢允褂猛瓿闪嘶緢D像處理等圖像處理的圖像進行解析，此外，也可以解析作為其原始數(shù)據(jù)的RAW數(shù)據(jù)。
[0127]在進行了圖像解析后，接下來進行幀圖像存儲(S127)。在此，將進行了步驟S123、S125的預處理的圖像存儲于SDRAM127中。圖16A示出了 SDRAM127的顯示/記錄用組合圖像存儲區(qū)域，區(qū)域Rl是與組合到組合照片中的幀數(shù)量相當?shù)膮^(qū)域，區(qū)域R2是與組合到組合照片中的幀數(shù)量相當?shù)耐吮軈^(qū)域。在該步驟S127中，將進行了預處理的圖像的圖像數(shù)據(jù)和圖像解析結果存儲于幀圖像區(qū)域Rl內的對應的區(qū)域(幀圖像區(qū)域I?幀圖像區(qū)域η中的某個)。
[0128]在進行了幀圖像的存儲后，或者步驟S121中的判定結果為不存在未實施預處理的幀的情況下，接下來進行顏色變更(S129)。在此，組合照片處理部109c校正CbCr，使得進行合成的圖像成為大致相同的顏色。此時，使用各幀圖像區(qū)域的數(shù)據(jù)進行處理，但并不變更SDRAM127的幀圖像區(qū)域Rl內的數(shù)據(jù)。這是為了以后以MPO形式保存數(shù)據(jù)。后面使用圖
20、圖21來說明該MPO形式的數(shù)據(jù)保存。
[0129]作為顏色變更的校正方法，例如使圖像的CbCR偏移，使得進行合成的所有圖像的顏色分布(在CbCr平面的分布)的峰值成為各峰值的平均值。使用圖12B、12C說明該校正方法。圖12B的曲線圖(b-Ι)表示圖像I和圖像2的色差(Cb)，圖12C的曲線圖(c-1)表示色差(Cr)。若分別針對圖像1、2使色差偏移以使得顏色分布的峰值成為平均值(參照圖12B的曲線圖(b-2)、圖12C的曲線圖(c-2))，則兩個圖像的色差變得大致相同(參照圖12B的曲線圖(b-3)和圖12C的曲線圖(c-3))。
[0130]在步驟S129中進行了顏色變更后，接下來進行亮度變更(S131)。在此，組合照片處理部109c進行校正以使得進行合成的圖像的亮度變得相同。作為校正方法，例如進行校正以使得各圖像的平均值與進行合成的所有圖像的亮度分布的平均值大致一致。此時，若通過亮度伽馬(僅亮度成分的伽馬)進行轉換，則在大幅變更了亮度的情況下，顏色看起來會不自然。因此，例如也可以進行RGB轉換，在RGB顏色空間進行伽馬校正。
[0131]使用圖12A說明亮度變更的例子。圖12A的曲線圖(a-Ι)表示圖像I和圖像2的亮度。在RGB顏色空間對二者進行表轉換(參照曲線圖(a-2))。根據(jù)曲線圖(a-1)可知，圖像2整體上低亮度成分較多，因此通過表轉換提升低亮度側的亮度。轉換后如曲線圖(a-3)所示，圖像I和圖像2成為大致同樣的亮度分布。[0132]在步驟S131中進行了亮度變更后，接下來進行合成(S133)。在此，組合照片處理部109c將背景圖像上的各圖像合成。即，將圖像嵌入合成到圖5所示的樣式的各位置，從而生成組合照片。
[0133]在進行了合成后，接下來附加特殊效果(S135)。在此，對合成后的圖像附加陰影或模糊等特殊效果。另外，在圖8的步驟S75中對各圖像附加特殊效果，而在該步驟中，附加對于合成圖像的特殊效果。
[0134]在附加了特殊效果后，接下來進行圖像存儲(S137)。在此，將合成結果存儲于顯示/記錄用組合圖像記錄區(qū)域。進行了圖像存儲后返回原流程。
[0135]這樣，在組合照片生成的流程中，在未實施預處理的情況下，實施縮放等處理和圖像解析(S123、S125)，將該預處理后的圖像數(shù)據(jù)存儲于SDRAM127的幀圖像區(qū)域Rl中(S127)，對預處理完畢的圖像進行顏色變更和亮度變更(S129、S131)，然后，合成組合照片圖像(S133)，進行圖像記錄(S137)。由于將進行了預處理并在進行顏色變更和亮度變更之前的圖像數(shù)據(jù)存儲于幀圖像區(qū)域Rl中，因而在生成了組合照片之后，能夠在與置換圖像替換時讀出預處理時的圖像數(shù)據(jù)，能夠進行適當?shù)念伾兏土炼茸兏?br> [0136]此外，在組合照片生成的流程中，將進行了縮放、旋轉、裁剪等預處理的圖像與圖像解析結果存儲為幀圖像(副圖像)(參照S123?S127)。此外，使用進行了顏色變更和亮度變更的圖像，實施合成處理，生成組合照片的圖像(主圖像)，進行圖像記錄(S129?S137)。由于個別地存儲構成組合照片的各個副圖像，因此即便反復置換構成組合照片的一部分圖像，組合照片的圖像也不會劣化。
[0137]因此，在組合照片生成的流程中，在生成組合照片，并將該組合照片與副圖像(第I圖像)記錄為I個圖像文件后，能夠利用與副圖像(第I圖像)不同的置換圖像來置換構成組合照片的圖像的一部分，生成新的組合照片。該情況下，通過第I圖像處理部對置換圖像進行圖像處理(即，步驟S123)，進而通過第2圖像處理部進行圖像處理(B卩，步驟S129、131)，由組合照片處理部使用實施了該圖像處理后的置換圖像，以及由第2圖像處理部(步驟S129，S131)對記錄在圖像文件中的置換圖像以外的副圖像(第I圖像)進行了圖像處理后的第2圖像，來重新生成組合照片。后面使用圖20、圖21來說明該組合照片的生成。
[0138]接著，使用圖13所示的流程圖說明步驟S43 (圖7)的靜態(tài)圖像記錄的詳細動作。該靜態(tài)圖像記錄是在基于所述機械快門101的攝影(S39)、圖像處理(S43)之后接著執(zhí)行的，進行用于將進行了圖像處理的圖像數(shù)據(jù)記錄于記錄介質131中的處理。
[0139]當進入了靜態(tài)圖像記錄的流程后，首先進行是否為組合照片模式的判定(S141)。在該判定結果為并非組合照片模式的情況下，是通常模式，進行記錄瀏覽顯示(S157)。在此，在預定時間的期間在顯示面板135中暫時地顯示記錄在記錄介質131中的圖像。由此用戶能夠確認攝影圖像。
[0140]當進行了記錄瀏覽顯示后，接下來進行靜態(tài)圖像記錄(S159)。在組合照片以外，對進行了圖像處理的圖像進行JPEG壓縮并記錄于記錄介質131中。但是不限于此，也可以通過非壓縮形式(例如TIFF等)進行記錄，還可以采取其他壓縮形式。此外，也可以記錄RAW圖像。
[0141]在步驟S141的判定結果為是組合照片模式的情況下，判定是否進行攝影圖像記錄(S143)。在組合照片模式中，將各圖像嵌入到圖5所示的樣式中，但也可以是，即使在設定了組合照片模式的情況下，也記錄不嵌入到樣式中的圖像。在該步驟中，在圖6的步驟S9的相機設定中，判定用戶是否將是否記錄組合照片的各幀的設定設為了打開。
[0142]在步驟S143的判定結果為攝影圖像記錄的情況下，進行靜態(tài)圖像記錄(S145)。在此，與步驟S159同樣地，不作為組合照片而作為單獨的攝影圖像進行攝影，通過JPEG等進行壓縮等并記錄于記錄介質131中。
[0143]在步驟S145進行了靜態(tài)圖像記錄后或者步驟S143的判定結果為并非攝影圖像記錄的情況下，接下來進行組合是否完成的判定(S147)。在此，判定是否拍攝了滿足預先設定的樣式的數(shù)量的圖像并進行了合成。例如在使用圖2、圖3說明的組合照片中，判定是否拍攝了 4張照片并進行了合成。此外，例如在合成4張圖像的情況下，拍攝了兩張圖像并從記錄圖像中選擇了兩張圖像的情況也判定為組合完成。
[0144]在步驟S147的判定結果為組合完成的情況下，進行記錄瀏覽顯示(S149)。在此，組合照片的所有圖像都已齊全，因而在顯示面板135上對該組合照片進行記錄瀏覽顯示。另外，在記錄瀏覽顯示中，也可以是與后述的再現(xiàn)流程同樣地，能夠進行放大顯示。
[0145]在進行了記錄瀏覽顯示后，接下來判定是否進行了取消操作(S151)。用戶觀察記錄瀏覽顯示時，有時希望刪除一部分照片并進行替換。因此，在本實施方式中，進行記錄瀏覽顯示，在預定時間(例如3秒)內進行了取消操作的情況下，能夠取消所指定的幀，進行重新攝影。另外，作為取消操作，既可以通過觸摸面板來指定，也可以通過刪除按鈕進行取消。
[0146]在步驟S151的判定結果為進行了取消操作的情況下，進行組合照片操作(S155)。在組合照片操作的子程序中，執(zhí)行取消操作(參照后述的圖14的S165?S173)。
[0147]另一方面，在步驟S151的判定結果為未進行取消操作的情況下，進行組合照片記錄(S153)。在此，將完成的組合照片的合成圖像數(shù)據(jù)記錄于記錄介質131中。
[0148]在步驟S153中進行了組合照片記錄后、或者在步驟S155中進行了組合照片操作后、或者步驟S147的判定結果為未完成組合、或者在步驟S159中進行了靜態(tài)圖像記錄后，返回原流程。
[0149]這樣，在靜態(tài)圖像記錄流程中，在湊齊由樣式確定的圖像張數(shù)之前不進行組合照片的記錄(S147—否)，在湊齊張數(shù)后進行組合照片的記錄(S153)。此外，在組合照片完成后，通過進行取消操作(S151)，也能夠進行組合照片中的指定的圖像的刪除。
[0150]接著，使用圖14和圖15所示的流程圖說明步驟S23 (圖6)和步驟S155 (圖13)的組合照片操作的詳細動作。如上所述，該組合照片操作是在進行了用于進行組合照片的編輯的各種操作時執(zhí)行的。
[0151]在進入組合照片操作后，首先進行是否進行了攝影幀變更操作的判定(S161)，在該判定的結果為進行了攝影幀變更操作的情況下，進行攝影幀的變更(S163)。如圖3的顯示面板135f、135g中所說明的那樣，對于將攝影圖像嵌入到組合照片的樣式中的哪個框中，能夠適當進行變更。在通過十字鍵和OK按鈕的操作或者觸摸面板操作等進行了變更要攝影的幀的操作時，變更要攝影的幀。此時，為了知道對哪個幀進行攝影，可以在幀上顯示框，或者顯示圖標，或者將攝影幀以外的幀顯示得較暗，或者降低攝影幀以外的幀的彩度。在觸摸了實時取景顯示中的幀的情況下，執(zhí)行釋放操作(第一釋放和第二釋放或僅第一釋放)。在利用多個幀進行實時取景顯示的情況下，使用釋放按鈕選擇要攝影的幀。
[0152]在步驟S163中進行了攝影幀的變更后或者步驟S161的判定結果為不存在攝影幀的變更操作的情況下，接下來判定是否進行了取消操作(S165)。如在靜態(tài)圖像記錄的流程中說明的那樣，對于完成的組合照片，有時希望刪除一部分圖像來置換圖像。因此，在本實施方式中，在通過十字鍵選擇了所拍攝的幀并按下刪除按鈕時或者在通過觸摸面板將所拍攝的幀拖曳至垃圾箱圖標時等，取消所拍攝的幀。在該步驟S165中，判定是否進行了這些操作。
[0153]在步驟S165的判定結果為進行了取消操作的情況下，接下來判定觸摸操作中幀尺寸是否較小(S167)。判定在通過觸摸操作進行了取消操作的情況下，要取消的幀的尺寸(縱橫尺寸或面積)是否較小(例如面積在I平方厘米以下)。因為若幀尺寸較小則屬于誤操作。
[0154]在步驟S167的判定結果為觸摸操作中幀尺寸大于預定值的情況下，接下來使圖像退避(S169)，進行實時取景顯示的變更(S171)。有時在通過取消操作刪除了圖像的情況下，還希望將其恢復。因此，為了能夠實現(xiàn)恢復(即取消操作的取消)，將進行了刪除指定的攝影圖像(組合照片的幀的圖像)暫時退避到存儲器內的其他區(qū)域，將該幀視作未攝影狀態(tài)，變更實時取景顯示。后面使用圖16B、圖16C說明該圖像退避。
[0155]在進行了實時取景顯示后，進行組合照片生成(S173)。已使用圖11說明了該組合照片生成的子程序。由于通過取消操作指定的圖像已被刪除，因此在該步驟中使用剩余圖像重新生成組合照片。
[0156]在步驟S173中進行了組合照片生成后、或者步驟S167的判定結果為觸摸操作中幀尺寸較小時、或者步驟S165的判定結果為未進行取消操作的情況下，接下來進行是否進行恢復操作的判定(S175)。在通過十字鍵選擇了希望恢復的幀并操作刪除按鈕，或者通過觸摸操作進行了將垃圾箱圖標拖曳至希望恢復的幀的操作等時，通過操作部123或觸摸面板123a的操作進行恢復操作。
[0157]步驟S175的判定結果為進行了恢復操作的情況下，接下來恢復圖像(S177)，進行實時取景顯示的變更(S179)。此時，將被退避的圖像恢復到原來的位置，視作對該幀進行了攝影，變更實時取景顯示。
[0158]在進行了實時取景顯示的變更后，進行組合照片生成(S181)。已使用圖11說明了該組合照片生成的子程序。由于通過恢復操作指定的圖像已被恢復，因此在該步驟中包括所恢復的圖像在內重新生成組合照片。
[0159]在步驟S181中進行了組合照片生成后或者步驟S175的判定結果為未進行恢復操作的情況下，接下來進行是否進行暫時保存操作的判定(圖15的S183)。在短時間的期間內進行多次攝影并進行組合照片的生成的情況下，能夠連續(xù)地進行攝影。但是在使用早晨、中午、夜間等隔著時間間隔拍攝的圖像生成組合照片的情況下，若能暫時保存制作過程中的圖像則較為方便。因此在本實施方式中，能夠實現(xiàn)構成組合照片的圖像的暫時保存。作為恢復操作，是通過菜單畫面或觸摸面板操作等，通過暫時保存菜單的選擇操作和圖標的選擇操作等進行的。
[0160]在步驟S183的判定結果為進行了暫時保存操作的情況下，進行組合數(shù)據(jù)的記錄(S185)。此時，將當前的組合照片的狀態(tài)、即通過哪個樣式拍攝了哪個照片等記錄于閃存125或記錄介質131中。作為記錄的組合數(shù)據(jù)，至少具有樣式(與模板有關的信息)、攝影得到的照片數(shù)據(jù)、照片數(shù)據(jù)和模板上的關聯(lián)信息。[0161]在進行了組合數(shù)據(jù)的記錄后，接下來進行組合照片的重置(S187)。在記錄后，重置所拍攝的組合照片的信息，設為與第I張攝影同樣的狀態(tài)、即將實時取景顯示和SDRAM127
重置等的狀態(tài)。
[0162]在步驟S187中進行了組合照片的重置后或者步驟S183的判定結果為未進行暫時保存操作的情況下，接下來判定是否進行了暫時保存讀入操作(S189)。該操作是在步驟S183、S185中暫時保存了組合照片的組合數(shù)據(jù)的情況下，進行該暫時保存的組合數(shù)據(jù)的讀出。作為操作，例如通過菜單畫面或觸摸面板等進行暫時保存讀入菜單或圖標的選擇操作。
[0163]在步驟S189的判定結果為進行了暫時保存讀入操作的情況下，接下來進行是否為攝影過程中的判定(S191)。存在正在對組合照片進行攝影的過程中進行暫時保存讀入操作的情況。這種情況下，由于必須暫時中斷當前進行的組合照片攝影，因而在步驟S191?S195中進行應對。在該步驟中，判定是否為組合照片攝影模式且對模板拍攝了 I張以上。
[0164]在步驟S191的判定結果為是組合照片攝影中的情況下，接下來確認是否進行暫時保存(S193)。這種情況下，在顯示面板135中顯示是否暫時保存攝影過程中的當前狀態(tài)的確認畫面并詢問用戶。在該判定結果為進行暫時保存的情況下，進行組合數(shù)據(jù)的記錄(S195)。在此，為了暫時保存當前狀態(tài)，記錄與步驟S185同樣的組合數(shù)據(jù)。
[0165]在步驟S195中進行了組合數(shù)據(jù)記錄后、或者步驟S193的判定結果為不進行暫時保存時、或者步驟S191的判定結果為并非攝影過程中的情況下，接下來讀入組合數(shù)據(jù)(S197)，進行實時取景顯示(S199)，進行組合照片生成(S201)。在此，讀出在步驟S185中暫時保存的組合數(shù)據(jù)，與步驟S171和S179同樣地進行實時取景顯示的變更，與步驟S173和S181同樣地進行組合照片的生成。
[0166]在步驟S201中進行了組合照片的生成后或者步驟S189的判定結果為未進行暫時保存讀入操作的情況下，結束組合照片操作的動作，返回原流程。
[0167]這樣，在組合照片操作的流程中，能夠在樣式的幀中變更要進行攝影的幀(S163)，還能夠刪除并恢復幀(S169、S177)。并且，在組合照片攝影中也能夠暫時保存數(shù)據(jù)，還能夠讀出該暫時保存的數(shù)據(jù)，繼續(xù)組合照片攝影。
[0168]接下來使用圖16B說明在組合照片操作的流程中說明的圖像退避(S169)和圖像恢復(S177)。
[0169]圖16B示出SDRAM127的顯示/記錄用組合圖像存儲區(qū)域。圖16B的左側欄示出在由4張構成的組合照片內拍攝了 3張圖像的狀態(tài)。即，在幀圖像區(qū)域Rl內記錄有幀圖像I?幀圖像3的數(shù)據(jù)。
[0170]在圖16B中拍攝了 3張圖像的狀態(tài)下，若對圖像2進行了取消操作(圖14的S165為“是”)，則幀圖像區(qū)域Rl的幀圖像2的數(shù)據(jù)被復制為退避圖像區(qū)域R2的幀圖像2，刪除幀圖像區(qū)域Rl的幀圖像2的位置的數(shù)據(jù)(參照圖16B中央處的欄)。
[0171]接著，當對幀圖像2進行了恢復操作時(圖14的S175為“是”)，退避圖像區(qū)域R2的幀圖像2的數(shù)據(jù)被復制到幀圖像區(qū)域Rl的幀圖像2的位置處。然后，刪除退避圖像區(qū)域R2的幀圖像2的位置的數(shù)據(jù)(參照圖16B右側的欄)。
[0172]這樣，在本實施方式中設置有預先記錄幀圖像的數(shù)據(jù)的幀圖像區(qū)域Rl和用于退避數(shù)據(jù)的退避圖像區(qū)域R2。而且，在進行了取消操作后，在退避圖像區(qū)域R2中進行存儲，在進行了恢復操作后，復制到幀圖像區(qū)域Rl中。因此能夠簡單地恢復曾被消除的圖像。[0173]另外，在本實施方式中，在取消操作和恢復操作時會復制數(shù)據(jù)。但是不限于此，也可以通過指針進行管理。圖16C示出通過指針進行管理的例子。
[0174]在圖16C所示的例子中，在SDRAM127的顯示/記錄用組合圖像記錄區(qū)域中設置有存儲參照指針的參照指針區(qū)域R3和幀圖像區(qū)域R1。首先，在對4張圖像中的3張進行了攝影的時刻，在參照指針區(qū)域R3中，作為有效圖像記錄有與幀圖像I?幀圖像3對應的地址(參照圖16C左側的欄)。
[0175]在對幀圖像2進行了取消操作后，雖然在幀圖像區(qū)域Rl中仍然記錄著幀圖像2，但是從參照指針區(qū)域R3中刪除幀圖像2的地址(參照圖16C中央的欄)。
[0176]接著，在對幀圖像2進行了恢復操作后，在幀圖像區(qū)域Rl中仍然記錄著幀圖像2，此外在參照指針區(qū)域R3中恢復了幀圖像2的地址(參照圖16C右側的欄)。
[0177]接下來，使用圖17所示的流程圖說明步驟S5 (圖6)的再現(xiàn)/編輯的詳細動作。如上所述，該再現(xiàn)/編輯是在從記錄介質131中讀出攝影完畢的圖像數(shù)據(jù)并進行再現(xiàn)時執(zhí)行的。
[0178]在進入再現(xiàn)/編輯流程后，首先進行一覽顯示(S211)，進行圖像選擇(S213)。在此，對在記錄介質131中所記錄的圖像文件的縮略圖進行一覽顯示。用戶從一覽顯示中選擇圖像。
[0179]在進行了圖像選擇后，接下來進行所選擇的圖像是否為動態(tài)圖像的判定(S215)。由于作為圖像記錄有靜態(tài)圖像和動態(tài)圖像，因而根據(jù)圖像形式進行判定。
[0180]在步驟S215的判定結果為所選擇的圖像是動態(tài)圖像的情況下，讀入幀數(shù)(S217)。在動態(tài)圖像文件中記錄有幀數(shù)，因此讀入該信息。接著將計數(shù)器i初始化為I (S219)。該計數(shù)器i對幀數(shù)進行計數(shù)。
[0181]接下來對第i幀進行再現(xiàn)/顯示(S221)，對計數(shù)器i加I (S223)，判定計數(shù)器i是否小于幀數(shù)(S225)。在此，從第I幀起依次讀出動態(tài)圖像的圖像數(shù)據(jù)，并顯示于顯示面板135中。進行動態(tài)圖像的再現(xiàn)，直到計數(shù)器i達到在步驟S217中讀出的幀數(shù)為止。此后進入步驟S227。
[0182]步驟S215的判定結果為在步驟S213中選擇的圖像為靜態(tài)圖像的情況下，讀入圖像(S229)并顯示(S231)。在此，讀出在記錄介質131中記錄的靜態(tài)圖像的圖像數(shù)據(jù)，進行解壓縮處理，并顯示于顯示面板135中。
[0183]在進行了顯示后，接下來判定是否進行了放大操作(S233)，在該判定結果為進行了放大操作的情況下進行放大顯示(S235)。在靜態(tài)圖像顯示過程中，例如通過操作放大按鈕等來進行放大顯示。此時，在組合照片的情況下，放大顯示各幀或放大顯示特定的I個幀。
[0184]在步驟S235中進行了放大顯示后或者步驟S233的判定結果為未進行放大操作的情況下，接下來判定是否處于放大中且進行了顯示位置變更操作(S237)，在該判定結果為進行了變更操作的情況下，進行放大位置變更(S239)。在處于放大顯示中且進行了顯示位置的變更操作、例如十字鍵操作的情況下，變更在圖像中進行放大顯示的部分。在組合照片的情況下，限制為僅能夠在放大中的幀內變更顯示位置。在不存在限制的情況下，設為與通常圖像相同的顯示。
[0185]在步驟S239中進行了放大位置變更后或者步驟S237的判定結果為放大中且未進行顯示位置變更操作的情況下，接下來判定是否為組合照片且進行了顯示幀變更操作(S241)，在進行了變更操作的情況下，進行顯示幀的變更(S243)。在是組合照片的情況下，若為放大顯示中且存在顯示幀變更操作、例如功能按鈕(Fn按鈕)操作等，則切換進行放大顯示的幀。此時，預先存儲在各幀的放大位置，在指示了再次顯示當前所顯示的幀的情況下，放大顯示相同的位置。
[0186]在步驟S243中進行了顯示幀變更后或者步驟S241的判定結果為是組合照片且不存在顯示幀變更操作的情況下，接下來進行是否為組合照片且進行了編輯操作的判定(S245)，在該判定的結果為進行了編輯操作的情況下，進行組合照片編輯(S247)。在是組合照片的情況下，通過從菜單畫面選擇組合照片編輯，或者通過觸摸操作選擇編輯圖標等，能夠編輯當前正在再現(xiàn)的組合照片中的幀。后面使用圖18說明該組合照片編輯的詳細動作。
[0187]在步驟S247進行了組合照片編輯后或者步驟S245的判定結果為是組合照片且未進行過編輯操作的情況下，接下來判定是否顯示結束(S249)。當操作了顯示結束按鈕時或對顯示結束圖標等進行了觸摸操作時，結束顯示。在該步驟S249的判定結果并未顯示結束的情況下，返回步驟S233，繼續(xù)進行顯示。另一方面，結果為顯示結束的情況下，進入步驟S227。
[0188]在步驟S249的判定結果為顯示結束時、或者步驟S225中的判定結果為動態(tài)圖像的計數(shù)器i超過了幀數(shù)的情況下，接下來判定是否結束再現(xiàn)(S227)。若再次操作了再現(xiàn)按鈕，則結束再現(xiàn)。在該步驟的判定結果并未再現(xiàn)結束的情況下，返回步驟S211，繼續(xù)再現(xiàn)模式。另一方面，在判定結果為再現(xiàn)結束的情況下，結束該再現(xiàn)/編輯的流程，返回原流程。
[0189]這樣，在再現(xiàn)/編輯流程中，執(zhí)行動態(tài)圖像的再現(xiàn)、靜態(tài)圖像的放大顯示、組合照片的編輯操作等。另外，在本實施方式中，僅進行了組合照片的編輯，但也可以除此之外還對動態(tài)圖像進行編輯。
[0190]接下來，使用圖18所示的流程圖說明步驟S247 (圖17)的組合照片編輯的詳細動作。如上所述，在從記錄介質131中讀出完成的組合照片圖像的數(shù)據(jù)，利用其他記錄圖像或新拍攝取得的圖像來置換組合照片中的圖像時，執(zhí)行該組合照片編輯。
[0191]在進入了組合照片編輯的流程后，首先進行組合圖像的讀入(S251)。讀入組合圖像，將主圖像和副圖像存儲于SDRAM127的各存儲區(qū)域。在此，主圖像為所合成的組合照片的圖像數(shù)據(jù)，副圖像為進行了預處理(參照圖11的S123、S125)的圖像數(shù)據(jù)。副圖像以對應于各巾貞的方式存儲于圖16A?圖16C所不的巾貞圖像區(qū)域。
[0192]在進行了組合圖像的讀入后，接著進行編輯幀的指定(S253)。在此，用戶指定用其他圖像置換構成組合照片的多個幀內的哪一個幀。
[0193]在進行了編輯幀的指定后，接下來判定是否與記錄圖像進行置換(S255)。如上所述，在進行編輯時，能夠選擇記錄完畢的圖像或新攝影的圖像。在選擇記錄完畢的圖像的情況下，顯示記錄完畢的圖像的一覽表，并從中進行選擇。另一方面，在新攝影的情況下，轉移到攝影待機狀態(tài)，通過執(zhí)行攝影時的實時取景顯示和攝影動作時序來取得。通過菜單畫面或圖標顯示，選擇與記錄圖像進行置換還是與攝影圖像進行置換。
[0194]在步驟S255中的判定結果為與記錄圖像進行置換的情況下，接下來進行一覽顯示(S257)，進行圖像選擇(S259)。在此，與步驟S211、S213 (圖17)同樣地，對在記錄介質131中記錄的圖像文件的縮略圖進行一覽顯示。用戶操作十字鍵和OK按鈕等從一覽顯示中選擇進行置換的圖像。
[0195]在進行了圖像選擇后，接下來進行圖像讀入(S261)。在此，從記錄介質131中讀出在步驟S259中所選擇的圖像數(shù)據(jù)。
[0196]在步驟S255中的判定結果為進行置換的圖像并非記錄圖像的情況下、即進行置換的圖像為新攝影的圖像時，接下來判定是否釋放操作從關閉變?yōu)榈谝会尫?S273)。在此，判定是否半按下了釋放按鈕。通過釋放按鈕的半按下，轉移到攝影準備狀態(tài)。在步驟S273的判定結果為釋放操作從關閉轉變?yōu)榈谝会尫诺那闆r下，接著進行AE/AF(S275)。在此，與步驟S33 (圖7)同樣地，執(zhí)行AE動作和AF動作。在進行了 AE/AF后返回步驟S273。
[0197]在步驟S273中的判定結果為釋放操作并未從關閉轉變?yōu)榈谝会尫诺那闆r下，接下來判定釋放操作是否為第二釋放(S277)。在此，判定是否全按下了釋放按鈕。在該判定結果為釋放操作并非第二釋放的情況下進行AE (S281)，進行基于電子快門的攝影(S283)，進行圖像處理(S285)，進行實時取景顯示(S287)。該步驟S281?S287的動作與所述圖7的步驟S51?S57相同，因而省略詳細說明。在進行了實時取景顯示后，返回步驟S273。
[0198]在步驟S277中的判定結果為是第二釋放操作的情況下，接下來進行基于機械快門101的攝影(S279)。即，用戶觀察實時取景顯示，進行釋放按鈕的全按下，從而能夠取得與組合照片的幀進行置換的圖像。在基于機械快門101的攝影中結束了曝光后，取得RAW數(shù)據(jù)。
[0199]在步驟S261中讀出圖像數(shù)據(jù)后或者步驟S279中基于機械快門101的攝影結束后，接下來判定圖像數(shù)據(jù)的形式是否為RAW數(shù)據(jù)(S263)。在步驟S279中取得的圖像數(shù)據(jù)為RAW數(shù)據(jù)，而從記錄介質131中讀出的圖像數(shù)據(jù)包含RAW和JPEG等各種形式。在是RAW數(shù)據(jù)的情況下，在步驟S265?S269中進行基本圖像處理和特殊圖像處理。在是JPEG數(shù)據(jù)的情況下，由于已進行了圖像處理，因而跳過這些處理。
[0200]在步驟S263的判定結果為是RAW數(shù)據(jù)的情況下，接下來進行基本圖像處理(S263)。該基本圖像處理為圖9所示的流程，因此省略詳細說明。在進行了基本圖像處理后，判定是否設定了藝術濾鏡(S267)，該判定結果為設定了藝術濾鏡的情況下，進行特殊圖像處理(S269)。該特殊圖像處理為圖10所示的流程，因此省略詳細說明。
[0201]在步驟S269中進行了特殊圖像處理后、或者步驟S263的判定結果為并非RAW數(shù)據(jù)、或者步驟S267的判定結果為未設定藝術濾鏡的情況下，接下來進行組合照片生成記錄(S271)。在步驟S261中讀入指定為置換圖像的記錄圖像的圖像數(shù)據(jù)，或在步驟S279中取得了作為置換圖像而新攝影得到的攝影圖像的圖像數(shù)據(jù)，因而在該步驟中，將組合照片的I個幀的圖像置換為置換圖像而生成組合照片。使用圖19說明該組合照片生成記錄的詳細動作。
[0202]這樣，在組合照片編輯的流程中，從記錄圖像中選擇組合照片中進行置換的圖像(S257?S261)，或者通過重新攝影來取得圖像(S279)。然后使用組合照片和置換圖像，重新生成組合照片(S271)。
[0203]下面使用圖19所示的流程圖說明步驟S271的組合照片生成記錄的詳細動作。進入了該組合照片生成記錄的流程后，首先進行組合照片生成(S291)。在此，執(zhí)行在圖11說明的流程。即，對構成組合照片的各幀進行了預處理后，通過進行顏色變更和亮度變更等來調整各幀，使得沒有不協(xié)調感。此外，進行畫質調整，使得因壓縮率差異等導致的畫質差異不顯著。進行了各幀的顏色、亮度、畫質的調整后，進行合成以生成組合照片。
[0204]在進行了組合照片生成后，接下來進行靜態(tài)圖像記錄(S293)。此時，將在步驟S291中生成的組合照片的數(shù)據(jù)記錄于記錄介質131中。
[0205]接著，使用圖20和圖21來說明在圖11的流程時提及的MPO文件。圖20示出文件的結構與記錄于該結構中的圖像之間的關系。該MPO文件被記錄在SDRAM127或記錄介質131中。在圖20的左側示出文件結構。區(qū)域Fl中記錄有主圖像文件頭。在該主圖像文件頭中記錄有表示記錄副圖像的地址的副圖像偏移、組合位置與副圖像之間的對應關系、組合照片的樣式的信息。
[0206]在文件結構的區(qū)域F2中記錄有主圖像數(shù)據(jù)。主圖像是組合照片P1，該圖像數(shù)據(jù)被記錄在區(qū)域F2中。此外，在區(qū)域F3、F5、F7、F9中分別記錄副圖像1、2、3、4的文件頭，在區(qū)域F4、F6、F8、F10中分別記錄副圖像1、2、3、4的數(shù)據(jù)。在副圖像的文件頭中例如記錄步驟S125 (圖11)中的解析結果。
[0207]區(qū)域F2中所記錄的主圖像數(shù)據(jù)是組合照片Pl的圖像數(shù)據(jù)，此外，記錄在區(qū)域F4、F6、F8、FlO中的副圖像數(shù)據(jù)是構成組合照片Pl的副圖像P11、P12、P13、P14的圖像數(shù)據(jù)。這樣,在記錄部(SDRAM127，記錄介質131)中，副圖像(第I圖像)和組合位置(在主圖像文件頭中記錄)被記錄為I個圖像文件。此外，在記錄部中，副圖像(第I圖像)和解析結果被記錄為I個圖像文件。
[0208]在對構成組合照片Pl的一部分副圖像進行替換的情況下，使用這些副圖像變更灰度和彩度，并將該變更后的副圖像組合。在記錄重新組合的圖像時，以相同的形式保存被組合的圖像和變更灰度、彩度前的圖像。
[0209]圖21示出將副圖像P13重新組合為副圖像P13a的例子。即，在圖20所示的例中，使用副圖像P11、P12、P13、P14這4張圖像生成了組合照片P1。在圖21中，使用副圖像Pll、P12、P13a、P14這4張圖像生成了組合照片P2。在生成該組合照片P2時，由于使用副圖像Pll、P12、P13a、P14重新變更灰度和彩度，因此即便多次進行重新組合，也能夠維持畫質。
[0210]在以往的圖像編輯處理中，有時反復對JPEG等數(shù)字化后的圖像進行以相同的位數(shù)強化對比度和彩度或者設為反差弱的變換。該情況下，例如在要處理的數(shù)值是整數(shù)的情況下，當進行了乘法或除法時小數(shù)點以下被舍去，發(fā)生數(shù)值的位數(shù)減少，在梯度等中，值變得不再連續(xù)，發(fā)生所謂的灰度跳躍現(xiàn)象。
[0211]此外，在以往的圖像編輯處理中，有時在進行了多個圖像的對比度和彩度等的調整后，進行組合而暫時生成了組合照片后，進行用其他置換圖像來置換一部分圖像而重新生成組合照片的組合照片編輯。該情況下，假定再次進行對比度和彩度等的調整。存在當反復進行對比度和彩度的調整時，發(fā)生灰度跳躍，組合照片的畫質劣化的情況。
[0212]在上述現(xiàn)有技術中，如果在重新組合構成組合照片的圖像的一部分圖像時反復進行乘法和除法運算，則圖像數(shù)據(jù)的小數(shù)點以下被舍去。圖22的(t-Ι)?(t-3)示出在將原圖像向下進行灰度變更后，恢復到原來的亮度的例子。圖22的(t-Ι)?(t-3)示出小數(shù)點以下被舍去的情況，A的部分與原來的圖像的特性不一致，發(fā)生了灰度跳躍的現(xiàn)象。
[0213]與此相對，在本實施方式中，將生成組合照片前的副圖像獨立于組合照片來進行記錄。該情況下，如圖22的(s-1)?(s-3)所示，當在暫時將原來的圖像向下進行了灰度變更后又恢復到原來的亮度時，兩者的特性一致。
[0214]這樣，在本實施方式中，當記錄組合照片時，記錄組合照片作為主圖像，記錄被縮放為與被組合的圖像相同圖像尺寸的圖像(未進行灰度和彩度的變更)作為副圖像。然后，在進行組合照片編輯時，讀入副圖像，校正灰度和彩度。因此，即便反復進行組合照片的編輯，也能夠獲得感覺自然的組合照片。此外，由于將進行了不依賴于圖像的組合的縮放處理等預處理的圖像記錄為副圖像，因此除了主要能夠防止文件尺寸過大外，還能夠縮短重新組合處理時間。
[0215]如以上說明的那樣，本發(fā)明一個實施方式的圖像編輯裝置對構成組合照片的圖像進行第I圖像處理，生成第I圖像(圖11的S123)，在生成該第I圖像后，對第I圖像進行第2圖像處理，生成第2圖像(圖11的S129、S131)，根據(jù)組合照片的組合位置來合成第2圖像，而生成組合照片(圖11的S133)，將組合照片和第I圖像記錄為I個圖像文件(圖11的S137)。這樣，由于不僅僅是組合照片，還將第I圖像與組合照片一起記錄為I個圖像文件，因此具有即便反復對組合照片的一部分圖像進行重新組合，圖像劣化也較小的效果。
[0216]另外，在本發(fā)明的一個實施方式中，說明了將本發(fā)明用于相機的例子，但不限于此，還可以將本發(fā)明應用于用于使用攝影完畢的圖像來生成組合照片的圖像編輯裝置、個人計算機等不具備攝影功能的圖像編輯裝置。
[0217]此外，在本發(fā)明的一個實施方式中使用相機作為用于攝影的設備進行了說明，但作為相機既可以是數(shù)字單反相機也可以是緊湊型相機，還可以是攝像機、攝影機等動態(tài)圖像用相機，進而還可以是在移動電話、智能手機或便攜信息終端(PDA Personal DigitalAssist，個人數(shù)字助理)、游戲設備等中內置的相機。無論何種情況，只要是用于能夠拍攝組合照片的攝影的設備，就能應用本發(fā)明。
[0218]此外，關于權利要求書、說明書以及附圖中的動作流程，為了方便起見使用“首先”、“接下來”等表現(xiàn)順序的詞語進行了說明，然而在沒有特別說明的情況下，并不表示必須按照該順序進行實施。
[0219]本發(fā)明不僅限于上述實施方式，能夠在實施階段中不脫離其主旨的范圍內對構成要素進行變形并使其具體實現(xiàn)。此外，通過上述實施方式中公開的多個構成要素的適當組合，能夠形成各種發(fā)明。例如可以刪除實施方式所示的所有構成要素中的幾個構成要素。進而，還可以適當組合不同實施方式中的構成要素。
【權利要求】
1.一種圖像編輯裝置，其對組合多張圖像而構成的組合照片圖像進行編輯，該圖像編輯裝置具有: 第I圖像處理部，其對上述圖像進行第I圖像處理，生成第I圖像； 第2圖像處理部，其對上述第I圖像進行第2圖像處理，生成第2圖像； 組合照片處理部，其根據(jù)組合照片的組合位置對上述第2圖像進行合成，生成組合照片; 記錄部，其記錄上述第I圖像和上述組合照片的圖像；以及 控制部，其在進行了上述第I圖像處理后，通過上述組合照片處理部根據(jù)組合照片的組合位置對實施了上述第2圖像處理的第2圖像進行合成，生成組合照片，并將上述組合照片和上述第I圖像記錄為I個圖像文件。
2.根據(jù)權利要求1所述的圖像編輯裝置，其中， 上述記錄部將上述第I圖像和上述組合位置記錄為I個圖像文件。
3.根據(jù)權利要求1所述的圖像編輯裝置，其中， 上述控制部在生成上述組合照片，并將上述組合照片與上述第I圖像記錄為I個圖像文件后，利用與上述第I圖像不同的置換圖像來置換作為構成上述組合照片的圖像的一部分的被置換圖像而生成新的組合照片的情況下，通過上述第I圖像處理部對上述置換圖像進行圖像處理，并且通過上述第2圖像處理部進行圖像處理，使用實施了該圖像處理后的置換圖像、和通過上述第2圖像處理部對記錄在上述圖像文件中的上述被置換圖像以外的上述第I圖像進行圖像處理后的第2圖像，通過上述組合照片處理部重新生成組合照片。
4.根據(jù)權利要求1所述的圖像編輯裝置，其中， 上述第I圖像處理部對圖像尺寸進行縮放，或者對圖像進行旋轉，或者對圖像進行裁剪。
5.根據(jù)權利要求1所述的圖像編輯裝置，其中， 上述第2圖像處理部進行圖像的顏色校正、亮度校正中的至少一種。
6.根據(jù)權利要求1所述的圖像編輯裝置，其中， 該圖像編輯裝置還具有解析部，該解析部對上述圖像的特征部進行解析并輸出解析結果， 上述記錄部將上述第I圖像和解析結果記錄為I個圖像文件。
7.根據(jù)權利要求6所述的圖像編輯裝置，其中， 上述特征部是直方圖、被攝體檢測結果、主要被攝體的大小、位置、顏色特征中的至少一方。
8.一種圖像編輯方法，對組合多張圖像而構成的組合照片圖像進行編輯，該圖像編輯方法具有以下步驟: 對上述圖像進行第I圖像處理，生成第I圖像； 在生成上述第I圖像后，對上述第I圖像進行第2圖像處理，生成第2圖像； 根據(jù)組合照片的組合位置對上述第2圖像進行合成，生成組合照片；以及 將上述組合照片和上述第I圖像記錄為I個圖像文件。
【文檔編號】H04N5/262GK103685938SQ201310459614
【公開日】2014年3月26日 申請日期:2013年9月25日 優(yōu)先權日:2012年9月26日
【發(fā)明者】市川學 申請人:奧林巴斯映像株式會社