專利名稱：圖像處理裝置、圖像處理方法和程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種能夠?qū)崿F(xiàn)合成圖像的生成的圖像處理裝置、該圖像處理裝置的圖像處理方法和用于生成合成圖像的程序。
背景技術(shù)：
作為用于提高數(shù)字照相機的附加值的功能，存在通過合成拍攝及記錄的多個靜止圖像生成合成圖像的功能。作為現(xiàn)有技術(shù)中與合成圖像相關(guān)的技術(shù)，如日本未審專利申請公開N0.2011-96134中所公開，提出了一種顯示整體圖像和個體被攝體的臉部圖像以便同時被看見的技術(shù)。另外，日本未審專利申請公開N0.2005-217978提出了一種能夠在預(yù)測合成之后的圖像的同時進行拍攝的照片打印裝置。

發(fā)明內(nèi)容
然而，日本未審專利申請公開N0.2011-96134中公開的技術(shù)不是這樣的技術(shù):合成由用戶在不同的視角成像的圖像。另外，日本未審專利申請公開N0.2005-217978不具有這樣的技術(shù):用戶在成像期間實時地合成多個圖像。換句話說，未公開這樣的技術(shù):當用戶使用成像裝置在各種視角任意地執(zhí)行成像時，在成像期間實時地合成多個圖像。因此，希望能夠使用戶例如在以各種視角執(zhí)行成像的同時實時地創(chuàng)建合成圖像，以方便生成非常滿意的合成圖像。具體地講，在這種情況下，希望通過能夠在檢查合成的狀態(tài)的同時進行成像來容易地獲得喜歡的合成圖像。根據(jù)本發(fā)明的實施例，提供了一種圖像處理裝置，包括:合成處理單元，通過把基于通過對從被攝體入射的光執(zhí)行光電轉(zhuǎn)換獲得的捕捉圖像信號生成的貫通圖像包括在用于合成處理的圖像中來生成用于顯示的合成圖像，并根據(jù)用于顯示的合成圖像中的貫通圖像的合成布置狀態(tài)把記錄時間點的捕捉圖像合成到用于合成處理的圖像中；和顯示控制單元，對用于顯示的合成圖像執(zhí)行顯示控制。根據(jù)本發(fā)明的另一實施例，提供了一種圖像處理方法，包括:通過經(jīng)把基于通過對從被攝體入射的光執(zhí)行光電轉(zhuǎn)換獲得的捕捉圖像信號生成的貫通圖像包括在用于合成處理的圖像中生成用于顯示的合成圖像，顯示用于顯示的合成圖像；以及根據(jù)用于顯示的合成圖像中的貫通圖像的合成布置狀態(tài)把記錄時間點的捕捉圖像合成到用于合成處理的圖像中。根據(jù)本發(fā)明的另一實施例，提供了一種使運算處理裝置執(zhí)行該圖像處理方法的程序。如上的根據(jù)本發(fā)明的技術(shù)在監(jiān)視顯示器上呈現(xiàn)通過把貫通圖像包括在用于合成處理的圖像中獲得的用于顯示的合成圖像以便在成像期間呈現(xiàn)給用戶(拍攝者)。用于合成處理的圖像是在合成處理過程中的圖像，并且例如是通過把一個圖像與背景圖像進行合成或把該圖像合成到背景圖像的一部分上獲得的圖像。另外，用于顯示的合成圖像是通過把當前貫通圖像合成到用于合成處理的圖像上而呈現(xiàn)給用戶的用于顯示的圖像。通過把貫通圖像合成到用于合成處理的圖像的一部分上以便顯示為用于顯示的合成圖像，用戶能夠在他們觀看顯示器時在釋放操作之前確定通過釋放操作(用于捕捉靜止圖像的快門操作)將會獲得何種合成圖像。當通過釋放操作等指示記錄時間時，通過根據(jù)用于顯示的合成圖像中的貫通圖像的合成布置狀態(tài)把捕捉圖像信號合成到用于合成處理的圖像中，生成用戶所希望的合成圖像(在合成處理過程中的圖像)。根據(jù)本發(fā)明，存在這樣的效果:用戶能夠確定通過實時地合成當前貫通圖像與例如在不同角度捕捉的圖像獲得的圖像，并由此能夠容易地獲得用戶的喜歡的合成圖像。


圖1是根據(jù)本發(fā)明實施例的成像裝置的方框圖；圖2A至2C是根據(jù)本發(fā)明實施例的相冊模式的指令操作屏幕的說明性示圖；圖3A至3C是根據(jù)本發(fā)明實施例的相冊模式操作的說明性示圖；圖4A至4C是根據(jù)本發(fā)明實施例的另一相冊模式操作的說明性示圖；圖5A至5C是根據(jù)本發(fā)明實施例的另一相冊模式操作的說明性示圖；圖6A至6C是根據(jù)本發(fā)明實施例的另一相冊模式操作的說明性示圖；圖7A至7C是根據(jù)本發(fā)明實施例的在相冊編輯模式中的圖像內(nèi)容的變化的說明性示圖；圖8是根據(jù)本發(fā)明實施例的成像裝置的控制單元的處理的流程圖；圖9是根據(jù)本發(fā)明實施例的在相冊模式中的處理的流程圖；圖10是根據(jù)本發(fā)明實施例的在相冊模式中的處理的流程圖；圖1lA至IlC是根據(jù)本發(fā)明實施例的包括臉部的圖像的布置的說明性示圖；圖12是根據(jù)本發(fā)明實施例的基于中斷處理的釋放處理的流程圖；圖13是根據(jù)本發(fā)明實施例的成像裝置的另一結(jié)構(gòu)例子的方框圖；圖14是根據(jù)本發(fā)明實施例的成像裝置的另一結(jié)構(gòu)例子的方框圖；圖15A和15B是根據(jù)本發(fā)明實施例的顯示圖像的修改例子的說明性示圖；圖16A和16B是根據(jù)本發(fā)明實施例的合成圖像的另一例子的說明性示圖；和圖17是應(yīng)用于信息處理裝置的實施例的方框圖。
具體實施例方式以下，將按照下面的次序描述實施例。需要注意的是，在實施例中，將描述包括本發(fā)明的圖像處理裝置的成像裝置的例子，但稍后也將會描述本發(fā)明的圖像處理裝置被實現(xiàn)為信息處理裝置的例子。〈1.成像裝置的結(jié)構(gòu)>
<2.相冊模式操作的概述〉<3.相冊模式處理><4.相冊編輯模式處理>><5.成像裝置的修改例子><6.信息處理裝置中的應(yīng)用例子和程序〉需要注意的是，在實施例中使用的術(shù)語的含義如下?！俺上瘛北硎就ㄟ^使用圖像傳感器對被攝體光執(zhí)行光電轉(zhuǎn)換并隨后執(zhí)行預(yù)定信號處理來獲得捕捉圖像信號(捕捉圖像數(shù)據(jù))。將通過這種“成像”作為幀圖像獲得的一個捕捉圖像的數(shù)據(jù)作為靜止圖像記錄在記錄介質(zhì)上被定義為“靜止圖像數(shù)據(jù)的記錄”。另外，也存在這樣的情況:記錄或傳送作為合成圖像數(shù)據(jù)的靜止圖像被定義為“合成圖像數(shù)據(jù)的記錄”或“合成圖像數(shù)據(jù)的傳送”?！柏炌▓D像”通常是在執(zhí)行所謂的快門操作(釋放操作)之前在待機時間期間為用戶顯示的被攝體監(jiān)測圖像。換句話說，它是從通過“成像”獲得的每個幀(這些幀可以是間斷的幀)生成的被攝體場景的運動圖像顯示圖像。1.成像裝置的結(jié)構(gòu)根據(jù)實施例的成像裝置I的結(jié)構(gòu)例子顯示在圖1中。成像裝置I是所謂的數(shù)字靜止照相機，并包括權(quán)利要求中所提及的成像處理裝置。另外，在根據(jù)本發(fā)明的一個實施例中，圖像處理裝置可以由成像裝置I的控制單元2使用軟件來實現(xiàn)，所以控制單元2通過基于權(quán)利要求中所提及的程序執(zhí)行處理來執(zhí)行作為權(quán)利要求中所提及的成像處理方法的操作。另外，在根據(jù)本發(fā)明的另一個實施例中，圖像處理裝置也可以通過硬件部件來實現(xiàn)。成像裝置I包括控制單元2、存儲器單元3、操作單元4、記錄單元5、顯示單元6和成像單元10,如圖1中所示。顯示單元6是為用戶(拍攝者)執(zhí)行各種顯示的顯示單元，并形成為具有形成在例如成像裝置I的殼體上的顯示裝置(諸如，IXD (液晶顯示器)或有機EL(場致發(fā)光)顯示器)。需要注意的是，可使用LCD、有機EL顯示器等形成取景器。顯示單元6包括如上所述的這種顯示裝置和使顯示裝置執(zhí)行顯示的顯示器驅(qū)動器。顯示器驅(qū)動器基于控制整個成像裝置I的控制單元2的指令使顯示裝置執(zhí)行各種顯示。顯示器驅(qū)動器使例如捕捉并記錄在記錄介質(zhì)上的靜止圖像或運動圖像被顯示以便再現(xiàn)，或者使來自在釋放待機期間成像的每個幀的捕捉圖像數(shù)據(jù)的作為運動圖像的貫通圖像(被攝體監(jiān)測圖像)被顯示在顯示裝置的屏幕上。另外，顯示器驅(qū)動器使各種操作菜單、圖標、消息等被顯示在屏幕上作為GUI (圖形用戶界面)。操作單元4用作輸入用戶的操作的輸入單元，并根據(jù)輸入操作將信號傳送給控制單元2。操作單元4被實現(xiàn)為布置在成像裝置I的殼體上的各種操作工具、形成在顯示單元6上的觸摸面板等。作為殼體上的操作工具，提供再現(xiàn)菜單激活按鈕、決定按鈕、十字鍵、取消按鈕、變焦鍵、滑動鍵、快門按鈕(釋放按鈕)等。另外，各種操作也可被設(shè)置為可通過觸摸面板或通過使用顯示單元6上顯示的圖標、菜單等操作觸摸面板來實現(xiàn)。
成像單元10對從被攝體入射的光執(zhí)行光電轉(zhuǎn)換，然后獲得捕捉圖像信號(捕捉圖像數(shù)據(jù))。為此，成像單元10包括透鏡部分11、成像元件12、模擬信號處理部分13、A/D轉(zhuǎn)換部分14、聚焦驅(qū)動部分15、光圈驅(qū)動部分16和變焦驅(qū)動部分17。透鏡部分11包括透鏡(諸如，蓋透鏡、變焦透鏡和聚焦透鏡)和光闌機構(gòu)。來自被攝體的光被透鏡部分11收集到成像元件12。成像元件12被設(shè)計為例如CXD (電荷耦合裝置)、CM0S (互補金屬氧化物半導(dǎo)體)等類型的成像元件。模擬信號處理部分13對由成像元件12獲得的電信號執(zhí)行模擬信號處理(諸如，ISO增益調(diào)整等)，然后輸出信號作為捕捉圖像信號。捕捉圖像信號被A/D轉(zhuǎn)換部分14轉(zhuǎn)換成作為數(shù)字數(shù)據(jù)(捕捉圖像數(shù)據(jù))的捕捉圖像信號，然后被提供給控制單元2。聚焦驅(qū)動部分15基于控制單元2的控制驅(qū)動透鏡部分11中的聚焦透鏡以執(zhí)行聚焦操作。光圈驅(qū)動部分16基于控制單元2的控制驅(qū)動透鏡部分11中的光闌機構(gòu)以執(zhí)行曝
光調(diào)整。變焦驅(qū)動部分17基于控制單元2的控制驅(qū)動透鏡部分11中的變焦透鏡以執(zhí)行變焦操作。存儲器單元3總地表示ROM (只讀存儲器)、RAM (隨機存取存儲器)、閃存等。存儲器單元3的RAM(隨機存取存儲器)在控制單元2的各種數(shù)據(jù)處理期間作為工作區(qū)域臨時存儲數(shù)據(jù)、程序等。例如，在按壓快門按鈕時處理的圖像數(shù)據(jù)首先被存儲在存儲器單元3的RAM中，然后被寫到記錄單元5上。除了控制單元2控制每個單元的OS (操作系統(tǒng))之外，存儲器單元3的ROM和閃存(非易失性存儲器)還存儲用于各種操作的應(yīng)用程序和內(nèi)容文件(諸如，圖像文件)等。用于執(zhí)行在本例子中稍后描述的相冊模式和相冊編輯模式的程序被存儲在存儲器單元3的ROM和閃存中。記錄單元5包括例如非易失性存儲器，并用作存儲靜止圖像數(shù)據(jù)、運動圖像數(shù)據(jù)等的圖像文件(內(nèi)容文件)、圖像文件的屬性信息、縮略像等的存儲區(qū)域。關(guān)于合成圖像，合成管理信息也以Exif數(shù)據(jù)等的形式被記錄在記錄單元5上。以例如JPEG (聯(lián)合圖像專家組)、TIFF (標記圖像文件格式)、GIF (圖形交換格式)等形式存儲這種圖像文件。能夠以各種方式考慮記錄單元5的實際形式。記錄單元5可以是例如內(nèi)置在成像裝置I中的閃存，或者可以是能夠連接到成像裝置I或從成像裝置I拆下的存儲卡(例如，便攜式閃存)和執(zhí)行存儲卡的記錄再現(xiàn)訪問的卡記錄再現(xiàn)單元。另外，作為內(nèi)置在成像裝置I中的形式，記錄單元可被實現(xiàn)為HDD (硬盤驅(qū)動器)等。用于執(zhí)行在本例子中稍后描述的相冊模式和相冊編輯模式的程序可被存儲在記錄單元5中?？刂茊卧?被形成為操作處理裝置，諸如CPU?？刂茊卧?通過使存儲在例如存儲器單元3中的程序被執(zhí)行而全面地控制整個成像裝置I。例如，控制單元2控制用于從成像單元10提供的捕捉圖像數(shù)據(jù)的編碼處理的每個必需單元的操作、根據(jù)用戶的操作的成像和記錄操作、記錄的圖像文件的再現(xiàn)操作、照相機操作(諸如，變焦、聚焦、曝光調(diào)整)等。另外，在本實施例的情況下，控制單元2執(zhí)行稍后描述的相冊模式和相冊編輯模式的圖像處理和控制處理。為此，控制單元2包括如附圖中所示的成像控制部分2a、圖像信號處理部分2b、顯示控制部分2c、合成處理部分2d、輸出處理部分2e和布置確定部分2f，在本發(fā)明的一個實施例中，這些部分作為軟件功能塊實現(xiàn)。在根據(jù)本發(fā)明的另一個實施例中，這些部分作為硬件部件實現(xiàn)。成像控制部分2a工作，以便控制單元2控制成像裝置I的成像操作所需的操作。例如，成像控制部分2a通過控制聚焦驅(qū)動部分15而執(zhí)行自動聚焦操作。另外，成像控制部分2a根據(jù)圖像信號處理部分2b中的光的量的檢測驅(qū)動光圈驅(qū)動部分16以執(zhí)行曝光調(diào)整。作為曝光調(diào)整，它被設(shè)計為設(shè)置成像元件12的快門速度、模擬信號處理部分13的增益等。另外，成像控制部分2a通過控制變焦驅(qū)動部分17而執(zhí)行變焦操作。以這種方式，成像控制部分2a根據(jù)用戶的操作或自動調(diào)整執(zhí)行成像的操作控制。通過對從成像單元10提供的捕捉圖像數(shù)據(jù)執(zhí)行壓縮處理或編碼成一定的記錄格式(例如，JPEG編碼等)，圖像信號處理部分2b執(zhí)行生成靜止圖像和運動圖像的圖像文件的處理。另外，圖像信號處理部分2b還執(zhí)行基于捕捉圖像數(shù)據(jù)生成顯示單元6上顯示的貫通圖像的顯示數(shù)據(jù)的處理。顯示控制部分2c控制顯示單元6上的顯示操作。例如，顯示控制部分使貫通圖像的顯示操作被執(zhí)行，或者使從記錄單元5再現(xiàn)的圖像被顯示。另外，顯示控制部分控制用于用戶界面的菜單、圖標、消息等的顯示的執(zhí)行。在本例子中，顯示控制部分2c在相冊模式中控制在合成處理部分2d中生成的用于顯示的合成圖像的顯示。另外，在相冊編輯模式中，顯示控制部分使顯示單元6顯示用于顯示或編輯合成圖像的用戶界面圖像、編輯的合成圖像等。合成處理部分2d執(zhí)行用于生成合成圖像的處理。在相冊模式中，通過使從通過對從被攝體入射的光執(zhí)行光電轉(zhuǎn)換獲得的捕捉圖像信號生成的貫通圖像處于生成的或選擇的用于合成處理的圖像中(例如，通過將貫通圖像插入在用于合成處理的圖像中)，合成處理部分生成用于顯示的合成圖像。另外，合成處理部分2d根據(jù)將貫通圖像合成到用于顯示的合成圖像中的布置狀態(tài)執(zhí)行將根據(jù)記錄時刻的捕捉圖像信號合成到用于合成處理的圖像中的處理。對于成像裝置I提及的根據(jù)記錄時刻的捕捉圖像信號是例如在由用戶執(zhí)行釋放操作的時刻拍攝的捕捉圖像信號。需要注意的是，在記錄時刻的捕捉圖像信號不必局限于根據(jù)釋放拍攝的捕捉圖像信號。該信號僅僅是在某一時刻應(yīng)該經(jīng)受合成處理的捕捉圖像信號。稍后將描述具體處理例子?！坝糜诤铣商幚淼膱D像”是在合成處理過程中的圖像，并且例如是通過將另一圖像合成到某一背景圖像或背景圖像的一部分中獲得的圖像。另外，“用于顯示的合成圖像”是在將當前貫通圖像合成到用于合成處理的圖像上之后用于顯示以便呈現(xiàn)給用戶的圖像。輸出處理部分2e控制記錄和傳送靜止圖像的操作。在圖1的結(jié)構(gòu)中，輸出處理部分2e控制將作為一幀的捕捉圖像數(shù)據(jù)獲得的靜止圖像數(shù)據(jù)和在相冊模式中生成的合成圖像記錄在記錄單元5上作為圖像文件(靜止圖像數(shù)據(jù)和合成圖像數(shù)據(jù)的記錄)。例如，輸出處理部分將在合成處理部分2d中在一個時間點生成的用于合成處理的圖像輸出給記錄單元5作為生成的合成圖像數(shù)據(jù)，并使該數(shù)據(jù)被記錄為圖像文件。另外，輸出處理部分還執(zhí)行控制，以便包括與合成圖像數(shù)據(jù)的背景圖像相關(guān)的信息的合成管理信息被與合成圖像數(shù)據(jù)關(guān)聯(lián)地記錄在記錄單元5上。布置確定部分2f確定用于合成處理的圖像內(nèi)的貫通圖像的布置狀態(tài)(布置位置和尺寸)。換句話說，通過在用于合成處理的圖像上布置貫通圖像獲得的圖像用作用于顯示的合成圖像，但在用于合成處理的圖像上確定貫通圖像的位置和尺寸。根據(jù)其圖像用作貫通圖像的捕捉圖像信號的內(nèi)容或者基于模板確定布置狀態(tài)。當根據(jù)捕捉圖像的內(nèi)容(貫通圖像的內(nèi)容)確定布置狀態(tài)時，例如，當存在臉部圖像時，根據(jù)臉部的朝向確定布置位置。在稍后描述的具體處理例子中，根據(jù)臉部的朝向設(shè)置布置，但除此之外，還考慮:當寵物(諸如，狗或貓)的圖像被包括在用作貫通圖像的捕捉圖像中時，例如，圖像的布置位置位于用于合成處理的圖像的下部，或者在山或云的圖像的情況下，該圖像布置在用于合成處理的圖像的上部。另外，關(guān)于尺寸，假設(shè)臉部的圖像例如被設(shè)置為具有相對較大的尺寸的例子。另外，還根據(jù)深度信息執(zhí)行背景圖像的確定和背景圖像上的圖像的調(diào)換。例如，它是布置設(shè)置處理，諸如將遠景的捕捉圖像設(shè)置為背景。例如，它是這樣的處理:確定背景圖像的深度是否比貫通圖像的深度深，并且當貫通圖像的深度較深時，貫通圖像被確定為背景圖像。另外，布置確定部分2f還根據(jù)已經(jīng)布置在用于合成處理的圖像中的布置圖像確定用于合成處理的圖像內(nèi)的貫通圖像和布置圖像的布置狀態(tài)。如果例如某個圖像已經(jīng)布置在用于合成處理的圖像的左上側(cè)，則貫通圖像布置在用于合成處理的圖像的右上側(cè)。另外，根據(jù)稍后描述的模板順序地調(diào)節(jié)布置位置也是根據(jù)布置圖像確定貫通圖像的布置狀態(tài)的處理的例子。根據(jù)由布置確定部分2f以這種方式確定的布置狀態(tài)，合成處理部分2d在用于合成處理的圖像上執(zhí)行貫通圖像的合成布置，并由此生成用于顯示的合成圖像。利用這種結(jié)構(gòu)，權(quán)利要求中所提及的圖像處理裝置至少由顯示控制部分2c和合成處理部分2d構(gòu)成，該圖像處理裝置形成在作為控制單元2的操作處理裝置中。另外，還可通過增加布置確定部分2f和輸出處理部分2e構(gòu)成權(quán)利要求中所提及的圖像處理裝置。作為與稍后描述的相冊模式相關(guān)的處理，下面的控制處理由圖像處理裝置執(zhí)行。相冊模式開啟的指令檢測基于來自操作單元4的用戶操作信息檢測相冊模式開啟的指令。圖像尺寸的改變評估值(基于微笑檢測+環(huán)境聲音+運動檢測+1:1.6的黃金比例評估)被施加于在相冊模式中捕捉的圖像，并且按照評估值的次序重新調(diào)整原始圖像、縮略像等的尺寸。相似圖像的自動選擇當從在相冊模式中由成像單元10獲得的捕捉圖像數(shù)據(jù)生成的貫通圖像和在相冊模式中捕捉的圖像之間的相似性高時，執(zhí)行這樣的處理，即選擇它們中的一個圖像并且舍棄另一個圖像。在合成期間的背景圖像的選擇捕捉圖像的焦距和景深由聚焦驅(qū)動部分15和光圈驅(qū)動部分16檢測，并被設(shè)置為圖像的深度。當焦距和景深是相同的參數(shù)時，基于變焦驅(qū)動部分17的變焦數(shù)據(jù)確定該深度。變焦數(shù)據(jù)被保留在Exif廠商標記中。然后，執(zhí)行控制，以選擇例如在相冊模式中的貫通圖像和在相冊模式中捕捉的圖像之中具有最深的深度的圖像作為在合成期間的背景圖像。在合成期間的圖像位置的選擇執(zhí)行控制，以便在圖像處理中檢測到捕捉圖像中的人的臉部的朝向，并且臉部的朝向布置為面對合成圖像的中心，該合成圖像是在相冊模式中的貫通圖像和在相冊模式中捕捉的圖像之中的檢測到臉部的朝向的圖像的合成圖像。圖像的合成通過合成在相冊模式中的貫通圖像和在相冊模式中捕捉的圖像生成用于顯示的合成圖像，并且用于顯示的合成圖像被顯示在顯示單元6上。另外，根據(jù)釋放時刻的捕捉圖像在相冊模式中被合成到用于合成處理的圖像上，并且用于合成處理的圖像的更新繼續(xù)進行。貫通圖像的合成位置的顯示使用諸如突出顯示等的技術(shù)執(zhí)行強調(diào)顯示，以便當通過合成貫通圖像獲得的合成的圖像被顯示為用于顯示的合成圖像時，能夠容易地發(fā)現(xiàn)在合成之后的貫通圖像的合成的區(qū)域。合成圖像的改變指令的檢測和合成圖像編輯在相冊編輯模式下，檢測來自操作單元4的關(guān)于位置、尺寸、背景圖像、合成圖像中的每個圖像的將要被舍棄的相似圖像的改變指令，并根據(jù)該改變指令改變合成圖像。合成管理信息的生成和記錄作為合成圖像的合成管理信息(該合成管理信息是球，在該球中，例如能夠自由地描述用戶評論、Exif的廠商標記。關(guān)于更多細節(jié)，請參照由照相機和影像產(chǎn)品協(xié)會(CIPA)和日本電子信息技術(shù)產(chǎn)業(yè)協(xié)會(JEITA)規(guī)定的“Image File Format Standard fordigital still cameras Exif version 2.3 (CIPA DC-008-2010) ”)，生成包括“使用的捕捉圖像”、“背景圖像”、“背景圖像的深度”、“每個使用的捕捉圖像中的人的數(shù)量和臉部的朝向”、“使用的模板”等的信息，然后，該信息被與合成圖像關(guān)聯(lián)地記錄在記錄單元5上。以前的合成圖像的追加的合成參照上述合成管理信息，使用以前合成并記錄在記錄單元5上的合成圖像在相冊模式中執(zhí)行追加的合成。換句話說，使用以前的合成圖像作為用于合成處理的圖像，執(zhí)行用于顯示的合成圖像的生成以及釋放時的捕捉圖像的合成，該用于顯示的合成圖像與貫通圖像合成。2.相冊模式操作的概述在本實施例的成像裝置I中，準備用于生成合成圖像的相冊模式(合成成像模式)。在相冊模式中，通過在用戶實時地檢查合成狀態(tài)的同時執(zhí)行成像能夠生成合成圖像。在詳細描述相冊模式中的處理之前，首先，使用圖2A至7C描述相冊模式操作。圖2A顯示拍攝者使用成像裝置I執(zhí)行成像的狀態(tài)。存在用作用戶(拍攝者)周圍的被攝體的“人”、“山”、“森林”和“池塘”。像通常的數(shù)字靜止照相機一樣，成像裝置I具有成像模式和再現(xiàn)模式，并且用戶能夠在成像模式下執(zhí)行成像并且在再現(xiàn)模式下執(zhí)行成像并記錄的圖像的再現(xiàn)顯示。圖2B顯示在成像模式下在顯示單元6上顯示貫通圖像的狀態(tài)。在成像裝置I的用戶搜索被攝體(視角)的狀態(tài)(在釋放操作之前)下，貫通圖像42被顯示在顯示單元6上。在本例子中，特別地通過將模式從一般成像模式切換到相冊模式，可執(zhí)行相冊模式成像。如圖2C中所示,例如,相冊模式開啟按鈕49被顯示在顯示單元6上作為觸摸面板操作按鈕。當用戶操作相冊模式開啟按鈕49時，成像裝置I開始在相冊模式中工作。當然，可利用成像裝置I的殼體上的操作鍵或者利用具有菜單的形式的觸摸操作執(zhí)行指示相冊模式的操作。這同樣適用于結(jié)束相冊模式的操作。當模式切換到相冊模式時，貫通圖像42的部分區(qū)域被設(shè)置為用于顯示的合成圖像幀W，并且用于顯示的合成圖像50被顯示在顯示單元6上，如圖3B中所示。如前所述，用于顯示的合成圖像50是通過將當前貫通圖像合成到在合成處理過程中的“用于合成處理的圖像”上以便呈現(xiàn)給用戶的用于顯示的圖像。首先，當如圖3A中所示用戶使用成像裝置I拍攝作為被攝體的“山”的照片時，“山”被顯示為貫通圖像42。雖然稍后在處理例子中描述，但在相冊模式的起初，不存在用于合成處理的圖像，或者在過去成像并記錄的合成圖像或靜止圖像被選擇并用作用于合成處理的圖像。圖3A至3C顯示這樣的例子:起初不存在用于合成處理的圖像以便生成新的合成圖像。在這種情況下，假設(shè)背景圖像首先被決定為用于合成處理的圖像。在相冊模式中，控制單元2中存儲用于合成處理的圖像(在合成處理過程中的圖像數(shù)據(jù))，并且基于用于合成處理的圖像而生成用于顯示的合成圖像50并顯示在顯示單元6上?；旧?，用于合成處理的圖像是通過起初將貫通圖像的圖像數(shù)據(jù)設(shè)置為背景圖像而包括背景圖像的圖像。生成與用于合成處理的圖像對應(yīng)的用于顯示的合成圖像50，并且示出用于顯示的合成圖像幀W，如圖3B中所示。因此，在這個時間點，用于顯示的合成圖像50僅是具有背景50BK的貫通圖像的圖像。作為另一觸摸面板操作按鈕，用于結(jié)束相冊模式的相冊模式關(guān)閉按鈕41也被顯示在顯示單元6上。當用戶希望結(jié)束相冊模式時，他們可操作相冊模式關(guān)閉按鈕41。假設(shè):例如，用戶通過選擇“山”作為被攝體來執(zhí)行釋放操作。然后，根據(jù)釋放操作執(zhí)行記錄一幀圖像的靜止圖像數(shù)據(jù)的處理，并且圖3C的圖像文件PicOOI被記錄在記錄單元5上。同時,記錄作為縮略像和屏幕縮小(screen nail)圖像的低分辨率圖像?？s略像是低分辨率圖像。屏幕縮小圖像是具有比縮略圖的分辨率高的中等水平的分辨率的圖像。
關(guān)于合成處理，在圖像文件PicOOl被記錄時，該圖像被設(shè)置為用于合成處理的圖像的背景圖像。另外，還生成并記錄作為與此次創(chuàng)建的合成圖像(該合成圖像是在這個時間點的用于合成處理的圖像)相關(guān)的合成管理信息的背景圖像的信息。背景圖像的信息可以是背景圖像數(shù)據(jù)或指示圖像文件PicOOl被設(shè)置為背景圖像的信息。另外，還包括背景圖像的深度的信息。接下來，用戶使成像裝置I對準“人”，如圖4A中所示。顯示單元6上顯示的貫通圖像42是“人”的圖像，如圖4B中所示。在這種情況下，在用于顯示的合成圖像幀W中顯示的用于顯示的合成圖像50是貫通圖像50TR與背景圖像50BK合成的圖像。由于因為貫通圖像42順序顯示在每個時間點捕捉的幀圖像的事實而導(dǎo)致貫通圖像42是運動圖像，所以通過被合成到用于顯示的合成圖像50上而顯示的貫通圖像50TR也是運動圖像。另外，在用于顯示的合成圖像50中，貫通圖像50TR的當前區(qū)域被突出顯示，以便用戶能夠清楚地識別(在附圖中，斜線指示突出顯示)。突出顯示被視為強調(diào)顯示的例子，但除此之外，考慮各種強調(diào)顯示的技術(shù)，包括例如通過粗線或加強顏色表示貫通圖像50TR的區(qū)域的幀部分、改變貫通圖像50TR的色調(diào)、以閃爍的方式顯示、降低除貫通圖像50TR之外的部分的亮度等。利用圖4B的用于顯示的合成圖像50，用戶能夠確定通過釋放操作將會生成何種合成圖像。這里，假設(shè)用戶在圖4B的狀態(tài)下執(zhí)行釋放操作。然后，根據(jù)釋放操作執(zhí)行記錄一幀圖像的靜止圖像數(shù)據(jù)的處理，并且圖4C的圖像文件Pic002被記錄在記錄單兀5上。同時,低分辨率圖像被記錄為縮略像和屏幕縮小圖像。關(guān)于合成處理，隨著圖像文件Pic002的記錄，通過拍攝“人”獲得的圖像(即，在釋放時間點的捕捉圖像數(shù)據(jù)的一幀)被合成到用于合成處理的圖像中。此時，根據(jù)在釋放時間點的用于顯示的合成圖像50中的貫通圖像50TR的合成布置的狀態(tài)(就背景圖像50BK上的貫通圖像50TR的位置和尺寸而言的合成布置的狀態(tài))，捕捉圖像數(shù)據(jù)被合成到用于合成處理的圖像中。換句話說，用于合成處理的圖像被更新為類似圖4B的用于顯示的合成圖像50 —樣的圖像。接下來，用戶使成像裝置I對準“森林”，如圖5A中所示。顯示單元6上顯示的貫通圖像42是森林的圖像，如圖5B中所示。此時，用于合成處理的圖像是通過把“山”的圖像的背景與在圖4B的前一釋放操作時間點的“人”的圖像合成而獲得的圖像。因此，在圖5B的情況下，在用于顯示的合成圖像幀W中顯示的用于顯示的合成圖像50包括背景圖像50BK和以前成像并捕捉的已合成的圖像50A，以及當前成像的貫通圖像50TR的顯示。貫通圖像50TR被突出顯示。利用圖5B的用于顯示的合成圖像50，用戶能夠確定通過釋放操作將會生成何種合成圖像。假設(shè)用戶在圖5B的狀態(tài)下執(zhí)行另一釋放操作。然后，根據(jù)釋放操作執(zhí)行記錄一幀圖像的靜止圖像數(shù)據(jù)的處理，并且圖5C的圖像文件Pic003被記錄在記錄單兀5上。同時,低分辨率圖像被記錄為縮略像和屏幕縮小圖像。
關(guān)于合成處理，隨著圖像文件Pic003的記錄，通過拍攝“森林”獲得的圖像(也就是說，在釋放時間點的捕捉圖像數(shù)據(jù)的一幀)被合成到用于合成處理的圖像中。接下來，用戶使成像裝置I對準“池塘”，如圖6A中所示。顯示單元6上顯示的貫通圖像42是“池塘”的圖像，如圖6B中所示。此時，用于合成處理的圖像是這樣的圖像:在該圖像中，在圖4B的前一釋放操作時的“人”的圖像和在圖5B的釋放操作時的“森林”的圖像被合成到“山”的圖像的背景上。因此，在圖6B的情況下，在用于顯示的合成圖像幀W中顯示的用于顯示的合成圖像50包括背景圖像50BK和在以前時間點成像并合成的已合成的圖像50A和50B，以及當前成像的貫通圖像50TR的顯示。貫通圖像50TR被突出顯示。假設(shè)用戶在圖6B的狀態(tài)下執(zhí)行另一釋放操作。然后，根據(jù)釋放操作執(zhí)行記錄一幀圖像的靜止圖像數(shù)據(jù)的處理，并且圖6C的圖像文件Pic004被記錄在記錄單兀5上。同時,低分辨率圖像被記錄為縮略像和屏幕縮小圖像。關(guān)于合成處理，隨著圖像文件Pic004的記錄，通過拍攝“池塘”獲得的圖像(也就是說，在釋放時間點的捕捉圖像數(shù)據(jù)的一幀)被合成到用于合成處理的圖像中。此時，例如，存儲在控制單元2中的用于合成處理的圖像(也就是說，上述背景圖像和其它圖像被合成到背景圖像的一些部分上并經(jīng)受合成處理的圖像的內(nèi)容)被形成為圖7A中顯示的用于合成處理的圖像60。在這種情況下，首先成像并記錄的圖像文件PicOOl的圖像用作背景圖像60BK。另夕卜，其后成像并記錄的圖像文件Pic002、Pic003和Pic004分別被合成到背景圖像60BK上作為圖像60A、60B和60C?？刂茊卧?輸出用于合成處理的圖像60作為在某一時間點的一條合成圖像數(shù)據(jù)。例如，控制單元執(zhí)行記錄已合成圖像數(shù)據(jù)的處理，并使該數(shù)據(jù)被記錄在記錄單元5上作為合成圖像文件Pic-M。如上所述，用戶在使用用于顯示的合成圖像50檢查與直至那時捕捉的圖像合成的貫通圖像的同時繼續(xù)成像，并且作為結(jié)果，能夠獲得如圖7A中所示的合成圖像(Pic-M)。在用于顯示的合成圖像50中，用于貫通圖像50TR的合成的布置位置和范圍由控制單元2基于模板等自動設(shè)置。另外，在用于合成處理的圖像60中，用于在釋放操作的捕捉圖像數(shù)據(jù)的合成的位置和范圍是在用于顯示的合成圖像50中設(shè)置的貫通圖像50TR的位置和范圍。例如，用戶能夠通過事先選擇模板等在某種程度上指定喜歡的合成布置狀態(tài)。然而，可利用稍后描述的相冊編輯模式的操作任意地改變合成位置的狀態(tài)，例如圖7B和7C中所示。3.相冊模式處理將描述以上的用于實現(xiàn)相冊模式處理的控制單元2的處理?？刂茊卧?使用圖1中顯示的功能塊(2a至2e)執(zhí)行以下描述的圖8、9和10的處理。首先，圖8顯示特別地與相冊模式相關(guān)的處理作為在針對成像裝置I接通電源之后執(zhí)行的處理。將不會描述與其它一般數(shù)字靜止照相機的操作相關(guān)的處理。在步驟FlOl中接通電源之后，控制單元2在步驟F102中進入成像模式。
在步驟F103中，控制單元2檢查相冊模式的輪詢處理。當用戶執(zhí)行相冊模式的指令操作時，在步驟F103中檢測相冊模式的輪詢處理，并且控制單元2前進至步驟F104和下面的步驟。也就是說，例如，用戶操作圖2C的相冊模式開啟按鈕49的情況。在步驟F113中，控制單元2監(jiān)測相冊編輯模式的輪詢處理。當用戶執(zhí)行相冊編輯模式的指令操作而未給出相冊模式的指令時，基于已發(fā)生相冊編輯模式的輪詢處理的事實執(zhí)行步驟F113至F120的處理。稍后將對此進行描述。當指示相冊模式時，控制單元2在步驟F104中執(zhí)行模板選擇處理。模板是設(shè)置在背景圖像上合成圖像時的布置位置和范圍的合成圖像。模板的數(shù)量可以僅為一個，但可以預(yù)先準備各種模板以便用戶能夠選擇它們中的一個。例如，可設(shè)置用于旅行、婚禮、運動日等的1吳板?？紤]這樣的設(shè)置:例如，在用于婚禮的模板中，具有白色裙子的圖像布置在模板的中心，在用于旅行的模板中，圖像按照時間順序方式布置，等等?？刂茊卧?可在步驟F104中使顯示單元6在顯示單元6上顯示各種模板的列表，然后執(zhí)行使用戶選擇一個模板的處理。在步驟F104中選擇模板作為將要使用的一個模板之后，處理流程前進至步驟F105。控制單元2在步驟F105中確定是否將要創(chuàng)建新的合成圖像。在這種情況下，控制單元2在顯示單元6上進行顯示以使用戶選擇創(chuàng)建新的合成圖像或使用記錄的圖像，然后根據(jù)操作輸入確定是否將要創(chuàng)建新的合成圖像。當用戶選擇創(chuàng)建新的合成圖像時，隨著沒有變化地在步驟F106中相冊模式開啟，處理流程轉(zhuǎn)移至步驟F109的合成處理。另一方面，當用戶選擇使用以前記錄的圖像而非創(chuàng)建新的合成圖像時，控制單元2前進至步驟F107。以前記錄的圖像是例如記錄在記錄單元5上的靜止圖像數(shù)據(jù)或以前的合成圖像數(shù)據(jù)。當使用某一靜止圖像數(shù)據(jù)(圖像文件PicOOx)時，能夠使用該靜止圖像數(shù)據(jù)作為背景圖像執(zhí)行合成處理。當使用在以前創(chuàng)建的某一合成圖像數(shù)據(jù)時，此時新捕捉的圖像能夠被合成到該合成圖像數(shù)據(jù)(背景圖像和已合成圖像)上。然后，控制單元2在步驟F107中使用戶選擇將要使用的圖像數(shù)據(jù)。在這種情況下，控制單元2使顯示單元6顯示記錄在記錄單元5上的圖像數(shù)據(jù)的列表，并且使用戶選擇一個。在用戶執(zhí)行選擇操作之后，控制單元2在步驟F108中執(zhí)行選擇的圖像(靜止圖像數(shù)據(jù)或合成圖像數(shù)據(jù))的讀取。在合成圖像數(shù)據(jù)的情況下，還讀取合成管理信息。然后，隨著在步驟F106中相冊模式開啟，流程轉(zhuǎn)移至步驟F109的合成處理。在圖9和10中詳細描述在相冊模式開啟之后的步驟F109的合成處理。首先，在圖9的步驟F201中，控制單元2確定在用于合成處理的圖像60中是否存在除了貫通圖像之外的一個或多個圖像。在將要創(chuàng)建新的合成圖像的情況下，還不存在用于合成處理的圖像60。如圖3B中所述，在該時間點僅存在用作貫通圖像的捕捉圖像數(shù)據(jù)。在這種情況下，流程從步驟F201前進至F202，并且用作貫通圖像的捕捉圖像數(shù)據(jù)被設(shè)置為背景圖像60BK。然后，對于用于顯示的合成圖像50，控制單元2顯示如圖3B中所示的背景圖像50BK被設(shè)置為貫通圖像的圖像。換句話說，控制單元2將貫通圖像42的一部分設(shè)置為用于顯示的合成圖像幀W，并使得顯示僅具有該貫通圖像的用于顯示的合成圖像50。(為了描述起見，標號“60BK”被給予如圖7A至7C中所示的用于合成處理的圖像60中的背景圖像，并且標號“50BK”被給予如圖3B、4B、5B和6B中所示的用于顯示的合成圖像中的“背景圖像”。)在這種情況下，流程前進至圖10的步驟F219，并且該狀態(tài)(例如，圖3B的狀態(tài))繼續(xù)，直至在步驟F219中檢測到釋放指令的輪詢處理或者在步驟F226中檢測到相冊模式關(guān)閉的指令為止。當用戶在某一時間點執(zhí)行釋放操作并且控制單元2在步驟F219中檢測到存在釋放請求的輪詢處理時，控制單元2使流程從步驟F219前進至F220以執(zhí)行釋放處理。換句話說，拍攝與釋放操作的時間點對應(yīng)的捕捉圖像數(shù)據(jù)的一幀作為靜止圖像，并且執(zhí)行記錄所需的信號處理(壓縮編碼等)。然后，在步驟F221中記錄該靜止圖像數(shù)據(jù)。換句話說，靜止圖像數(shù)據(jù)的所述一幀被記錄在記錄單元5上作為圖像文件PicOOx。另外，在步驟F222中，用于合成處理的圖像被保存在存儲器單元3中。直至那時，處于用于合成處理的圖像60的背景圖像60BK被設(shè)置為貫通圖像的狀態(tài)，并且不存在確認的用于合成處理的圖像60。因此，在這種情況下，具有與此時的釋放處理相關(guān)的圖像數(shù)據(jù)作為背景圖像60BK的用于合成處理的圖像60被保存在存儲器單元3中。另外，在步驟F223中，通過使背景圖像60BK的深度信息作為合成管理信息的一部分，控制單元2使存儲器單元3存儲背景圖像60BK的信息。背景圖像60BK的信息可以是背景圖像60BK自己的圖像數(shù)據(jù)，或是指定設(shè)置為背景圖像的圖像文件PicOOx的信息。另夕卜，對于深度信息，如上所述可使用在成像操作期間的景深的值的焦距值或變焦值。當在步驟F224中未監(jiān)測到合成圖像的指令并且在步驟F226中未監(jiān)測到相冊模式關(guān)閉的指令時，流程返回至步驟F201。在創(chuàng)建新的合成圖像的情況下，在如上所述首次根據(jù)釋放操作執(zhí)行步驟F220至F223之后，背景圖像60BK被設(shè)置為用于合成處理的圖像60，因此，用于顯示的合成圖像50變?yōu)槿鐖D4B中所示。換句話說，用于顯示的合成圖像形成合成了背景圖像50BK和貫通圖像50TR的圖像。另外，當選擇使用以前的靜止圖像數(shù)據(jù)并且開始相冊模式時，在圖8的步驟F108中讀取的靜止圖像數(shù)據(jù)變?yōu)榈谝挥糜诤铣商幚淼膱D像60。在這種情況下，在開始用于顯示的合成圖像50的顯示時顯示圖4B的圖像。換句話說，該圖像是合成了背景圖像50BK和當前貫通圖像50TR的圖像。另外，當選擇以前創(chuàng)建的合成圖像并且啟動相冊模式時，圖8的步驟F108中讀取的合成圖像數(shù)據(jù)變成第一用于合成處理的圖像60。在這種情況下，在開始顯示用于顯示的合成圖像50時，用于顯示的合成圖像50是如圖5B或6B中所示的圖像。換句話說，該圖像是合成了背景圖像50BK、已合成的圖像50A和當前貫通圖像50TR的圖像。在這種情況下，換句話說，在用于合成處理的圖像60中設(shè)置至少背景圖像60BK的狀態(tài)下，控制單元在步驟F201中確定在用于合成處理的圖像60中存在除了貫通圖像之外的一個或多個圖像。然后，控制單元2前進至步驟F203，然后比較當前貫通圖像和存在于用于合成處理的圖像60中并在以前被捕捉的每個圖像之間的相似性。在圖4B的情況下，例如，比較貫通圖像42(50TR)和與背景圖像50BK對應(yīng)的用于合成處理的圖像60中的背景圖像60BK的相似性。在圖5B的情況下，比較貫通圖像42(50TR)和與背景圖像50BK對應(yīng)的用于合成處理的圖像60中的背景圖像60BK的相似性，并且比較貫通圖像42 (50TR)和與已合成的圖像50A對應(yīng)的用于合成處理的圖像60中的圖像60A的相似性。然后，如果作為相似性計算的值等于或低于設(shè)置的閾值，則確定這些圖像不相似，并且流程前進至步驟F206。如果作為相似性計算的值超過設(shè)置的閾值，則基于確定當前貫通圖像42與用于合成處理的圖像60中的圖像相似，流程前進至步驟F204。這適用于這樣的情況:用戶將成像裝置I設(shè)置為與在以前的成像期間的視角相同的視角。例如，當在顯示圖4B的用于顯示的合成圖像50之后用戶使成像裝置I對準作為被攝體的“山”時，貫通圖像是“山”的圖像。然后，確定用于合成處理的圖像60中的背景圖像BK( “山”的圖像)與當前貫通圖像(“山”的圖像)相似。在這種情況下，控制單元2在步驟F204中計算每個圖像的評估值。然后，確定當前貫通圖像的評估值是否等于或高于相似的以前的捕捉圖像的評估值?？紤]計算評估值的各種技術(shù)，但當存在臉部圖像時，例如，考慮根據(jù)微笑的檢測或根據(jù)其合成的評估、聚焦狀態(tài)或?qū)Ρ榷葼顟B(tài)的評估等給出分數(shù)。如果當前貫通圖像的評估值等于或高于以前的捕捉圖像的評估值，則控制單元2前進至步驟F205，并執(zhí)行用于合成處理的圖像60上的圖像的調(diào)換。換句話說，從用于合成處理的圖像60刪除與貫通圖像相似的以前的捕捉圖像，并且當前貫通圖像的一幀的圖像數(shù)據(jù)被插入在用于合成處理的圖像60中。在執(zhí)行步驟F203、F204和F205的處理之后，當用戶隨后設(shè)置相似的并且喜歡的圖像作為被攝體時，雖然它是已經(jīng)被捕捉并被包括在用于合成處理的圖像60中的圖像，但自動執(zhí)行交換此時的貫通圖像的處理。因此，即使沒有用戶的特定釋放操作，被評估為用戶的所希望的視角的圖像中的最好的圖像也被包括在用于合成處理的圖像60中(隨后的合成圖像)。另一方面，如果當前貫通圖像的評估值低，則不執(zhí)行該交換，并且流程前進至步驟F204 —F224(改變合成圖像的指示的監(jiān)測)一F226 (相冊模式關(guān)閉的指令的監(jiān)測)—F201。在這種情況下，通過執(zhí)行步驟F204 — F219 — F224 — F226 — F201，可將步驟F219的釋放請求的監(jiān)測添加到其中。接下來，在步驟F206中，控制單元2確定在當前貫通圖像中是否包括臉部圖像。如果未包括臉部圖像，則控制單元2在步驟F208中將貫通圖像的縮略像(低分辨率圖像)移至存儲器單元3作為將要在用于顯示的合成圖像50的生成處理中使用的數(shù)據(jù)。另一方面，如果在當前貫通圖像中包括臉部圖像，則控制單元2在步驟F207中將貫通圖像的屏幕縮小圖像(具有中等分辨率的圖像)移至存儲器單元3作為將要在用于顯示的合成圖像50的生成處理中使用的數(shù)據(jù)。使用縮略像和屏幕縮小圖像的原因在于:減小對用于顯示的合成圖像50的生成處理施加的負荷。另外，當包括臉部圖像時使用屏幕縮小圖像的原因在于:在分辨率太低的多數(shù)情況下難以評估臉部圖像?？刂茊卧?在步驟F209中確定背景圖像60BK的深度是否比貫通圖像的深度深?？刂茊卧?使用聚焦驅(qū)動部分15和光圈驅(qū)動部分16檢測捕捉圖像的焦距和景深，并把這些值設(shè)置為圖像的深度。當焦距和景深是相同的參數(shù)時，基于變焦驅(qū)動部分17的變焦數(shù)據(jù)確定該深度。另外，在創(chuàng)建新的合成圖像的情況下，將以前在步驟F223中設(shè)置的深度信息(焦距、景深、變焦值等)與當前貫通圖像的深度信息進行比較。在使用以前的捕捉圖像的情況下，將在圖8的步驟F108中讀取的合成管理信息中的背景圖像的深度信息與當前貫通圖像的深度信息進行比較。如果當前貫通圖像的深度更深，則流程前進至步驟F210，并且背景圖像60BK被改變?yōu)楫斍柏炌▓D像。因此，控制單元2執(zhí)行自動控制，以便貫通圖像和在相冊模式中捕捉的圖像之中具有最深的深度的任何圖像被選擇為在相冊模式中用于合成的背景圖像。步驟F210的處理可僅應(yīng)用于創(chuàng)建新的合成圖像的情況。換句話說，在使用以前的捕捉圖像的情況下，也考慮不執(zhí)行步驟F210 (不改變背景圖像60BK)。在步驟F211中，控制單元2確定除背景圖像BK的尺寸之外的圖像的尺寸?？刂茊卧?基于從每個圖像的“微笑檢測的特征量的評估、在成像期間的體積水平、運動矢量和1:1.6的黃金比例”獲得的綜合值等確定各個圖像的尺寸。另外，控制單元2基于綜合值執(zhí)行每個圖像的原始圖像或縮略像的尺寸的重新調(diào)整，以便通過從完全尺寸圖像排除背景圖像60BK獲得的整個圖像的總尺寸具有固定比例(例如，完全尺寸的70%)。在步驟F212中，控制單元2對排除了背景圖像60BK的圖像(圖像60A、貫通圖像等)進行臉部檢測，并提取具有臉部的圖像。當存在包括臉部圖像的圖像時，控制單元2在步驟F213中檢測提取的圖像中具有最大尺寸的臉部圖像的朝向。然后，在步驟F214中，控制單元2執(zhí)行定位，以便臉部的朝向面對著合成圖像的中心。例如，圖1lA顯示在貫通圖像42中包括臉部圖像的情況。如果例如該圖像被包括在合成圖像中，則優(yōu)選如圖1lB中所示將臉部設(shè)置為面對圖像的中心線CT的合成。因此，當在這個例子中臉部面朝著左側(cè)時，臉部布置在圖像的中心線的右側(cè)。圖1lB顯示作為用于顯示的合成圖像50顯示在顯示單元6上的狀態(tài)。用于顯示的合成圖像50的貫通圖像50TR布置在用于顯示的合成圖像50的中心線CT的右側(cè)。在步驟F215中，控制單元2基于在模板中決定的預(yù)定布置次序確定未檢測到臉部圖像的圖像的合成布置區(qū)域。在圖10的步驟F216中，控制單元2執(zhí)行使用于顯示的合成圖像50的數(shù)據(jù)中的貫通圖像變?yōu)橥怀鲲@示圖像的處理，以便用戶能夠容易地察覺用于顯示的合成圖像50中的貫通圖像50TR的合成范圍。然后，在步驟F217中，控制單元2以PinP (畫中畫)的形式將包括貫通圖像作為突出顯示圖像的用于顯示的合成圖像50嵌入在貫通圖像42中，并在步驟F218中將結(jié)果提供給顯示單元6。因此，執(zhí)行像例如圖4B、5B和6B中一樣的顯示。其后，控制單元2根據(jù)步驟F219的釋放操作的檢測執(zhí)行步驟F220至F223的處理。當例如在圖4B的狀態(tài)下檢測到用戶的釋放操作時，執(zhí)行釋放處理(F220)，執(zhí)行記錄靜止圖像數(shù)據(jù)的處理，并且捕捉圖像被記錄在記錄單元5上作為靜止圖像數(shù)據(jù)Pic002(圖4C) (F221)。同時，還記錄縮略像和屏幕縮小圖像。另外，在圖4B的用于顯示的合成圖像50中的布置狀態(tài)下，此次的捕捉圖像被合成到用于合成處理的圖像60上。換句話說，在存儲器單元3上重寫用于合成處理的圖像60并更新用于合成處理的圖像60 (F222)。在這種情況下，根據(jù)用于顯示的合成圖像50中的貫通圖像50TR的合成布置區(qū)域(位置和尺寸)，與這個釋放處理相關(guān)的圖像被合成到用于合成處理的圖像60中。還存儲指示已合成的圖像的信息(例如，在步驟F222中記錄的靜止圖像數(shù)據(jù)Pic002的文件名等)和合成布置區(qū)域的信息。例如，在合成中使用的捕捉圖像的標簽的軟件被嵌入在用于合成處理的圖像(之后的合成圖像的)的第0X0131號EXIF標簽中。當直至那時已在步驟F205、F210等改變背景圖像60BK時，執(zhí)行步驟F223。換句話說，當已改變背景圖像60BK時，執(zhí)行背景圖像數(shù)據(jù)及其深度信息的更新和保存。通過執(zhí)行以上處理，控制單元2執(zhí)行生成在圖3A至7C中描述的合成圖像的操作，并且用戶能夠在觀看包括貫通圖像的用于顯示的合成圖像50并想象合成圖像的同時在某一時間點執(zhí)行釋放操作，并執(zhí)行把在釋放時間點生成的圖像添加到合成圖像的操作。在相冊模式中，用戶還能夠編輯合成圖像。通過用戶執(zhí)行某一操作，在步驟F224中發(fā)生用于合成處理的圖像60的改變的輪詢處理。然后，控制單元2前進至步驟F225以根據(jù)用戶的操作的輸入執(zhí)行用于合成處理的圖像60的改變(編輯)?？刂茊卧?檢測改變當前的用于合成處理的圖像60中的每個圖像的位置、尺寸、背景圖像、將要被舍棄的相似圖像的指令，以根據(jù)用戶的操作改變合成圖像。作為具體操作例子,控制單元2使顯示單元6沒有變化地以完全尺寸在此時顯示用于合成處理的圖像60。對于該圖像，用戶利用在觸摸面板上的操作選擇圖像，并執(zhí)行觸摸操作，諸如將圖像拖至他們想要移動該圖像的位置或者指示圖像的放大或縮小。可替代地，用戶執(zhí)行將設(shè)計的圖像拖至屏幕上的垃圾箱的操作。另外，通過選擇背景部分并將該部分拖至圖像的框，用戶執(zhí)行指示背景的調(diào)換等的操作。響應(yīng)于用戶的操作，控制單元2改變合成圖像。例如，通過根據(jù)用戶的操作改變在圖7A中用背景圖像60BK合成的圖像60A、60B等的布置區(qū)域(位置和尺寸)，圖7A的狀態(tài)能夠改變?yōu)閳D7B和7C的狀態(tài)。同樣的情況適用于稍后描述的相冊編輯模式的處理，但設(shè)置步驟F224和F225的處理的原因在于也能夠在相冊模式中實現(xiàn)與在以下描述的相冊編輯模式下相同的處理。當用戶在某一時間點操作相冊模式關(guān)閉按鈕41時，控制單元2在步驟F226中檢測到相冊模式關(guān)閉的輪詢處理。在這種情況下，控制單元2結(jié)束圖9和10的處理，也就是說，圖8的步驟F109的處理。然后，控制單元2在圖8的步驟FllO中確定是否曾經(jīng)存在合成處理。這里提及的是否曾經(jīng)存在合成處理是指是否已執(zhí)行圖10的步驟F222或步驟F225的處理。當甚至執(zhí)行一次步驟F222或步驟F225的處理時，控制單元2前進至步驟F111，并將合成圖像記錄在記錄單元5上。換句話說，此時保存在存儲器單元3中的用于合成處理的圖像60被輸出到記錄單元5作為此次在相冊模式中生成的最終的合成圖像(記錄合成圖像數(shù)據(jù)的處理)。然后，該圖像被記錄為一個合成圖像文件Pic-M。另外，還與其關(guān)聯(lián)地記錄合成管理信息。例如，作為背景圖像60BK的信息，存儲指示利用背景圖像數(shù)據(jù)自身設(shè)置的圖像文件或背景圖像的信息和深度信息。另外，作為合成圖像中所包括的圖像(60A、60B等)的信息，例如，還存儲指示與圖像對應(yīng)的靜止圖像數(shù)據(jù)PicOOx的信息和合成布置區(qū)域的信息(關(guān)于背景圖像的位置和尺寸)，這些信息被包括在合成管理信息中。另外，合成圖像中的每個圖像(60BK、60A、60B等)的評估值(在圖9的步驟F204中使用的評估值)、存在或不存在臉部圖像的信息、臉部的朝向、人(臉部圖像)的數(shù)量的信息等也可被包括在合成管理信息中。另外，指示使用的模板的信息也可被包括在合成管理信息中。當然，當下次使用合成圖像執(zhí)行在相冊模式中的處理時以及當通過被傳送到其它裝置而執(zhí)行處理時，這種合成管理信息是有用的。為了記錄合成管理信息，能夠使用Exif的預(yù)定區(qū)域。例如，指示在相冊模式中的布置的程序被記錄在Exif的EOI中。在如上記錄合成圖像數(shù)據(jù)和合成管理信息之后，控制單元2通過在步驟Fl 12中將相冊模式設(shè)置為關(guān)閉來結(jié)束流程(返回到步驟F102)。另外，當在步驟FllO中確定未執(zhí)行合成處理時，控制單元2可通過在步驟F112中將相冊模式設(shè)置為關(guān)閉來返回到步驟F102。作為如上所述的在相冊模式中的處理，考慮如下的修改例子。在以上的圖9和10中顯示的處理中，執(zhí)行響應(yīng)于釋放指令的輪詢請求的處理作為步驟F219至F223，但可執(zhí)行該處理作為中斷處理，例如如圖12中所示。換句話說，在圖9和10中的步驟F202至F218之中的任意時間點執(zhí)行圖12的處理。在圖12中，控制單元2在步驟F301中通過操作單元4執(zhí)行是否存在圖像記錄(釋放)的輪詢處理的讀取處理。在步驟F302中，控制單元2執(zhí)行釋放處理。在步驟F303中，控制單元2將捕捉圖像記錄在記錄單元5上(將靜止圖像數(shù)據(jù)記錄在記錄單元5上)。在步驟F304中，控制單元2把捕捉并記錄的靜止圖像數(shù)據(jù)及其縮略圖與用于合成處理的圖像進行合成，并將結(jié)果保存在存儲器單元3中。另外，在合成中使用的靜止圖像數(shù)據(jù)的信息也被保存在存儲器單元3中。
在步驟F305中，控制單元2檢查保存在存儲器單元3中的圖像的數(shù)量是否為一。換句話說，控制單元2檢查用于合成處理的圖像60是否僅是此次存儲的圖像(在還未合成多個圖像的狀態(tài)下)。當用于合成處理的圖像60包括一個圖像時，控制單元在步驟F306中設(shè)置該圖像作為背景圖像60BK。另外，還保存與背景圖像60BK相關(guān)的信息(背景圖像數(shù)據(jù)自身、縮略像、深度信息等)。在在圖9和10的在相冊模式中的處理中，如上使用中斷處理，可執(zhí)行響應(yīng)于釋放指令的處理。根據(jù)在圖8、9、10和12中描述的實施例的在相冊模式中的處理，獲得下面的效果。首先，用戶能夠通過以PinP的形式在貫通圖像中進行顯示來檢查通過實時地合成在不同視角捕捉的圖像與當前貫通圖像獲得的圖像。在想象相應(yīng)地生成的合成圖像的同時，能夠執(zhí)行成像，并且用戶所希望的合成圖像的創(chuàng)建變得容易。另外，當以前成像并記錄的圖像與貫通圖像相似時，可通過自動選擇一個圖像并合成來防止在合成中使用不必要的照片。另外，通過檢測圖像的深度并將具有最深的深度的圖像設(shè)置為背景圖像能夠減少編輯的工作，并且能夠獲得更高質(zhì)量的合成圖像。另外，通過基于以前捕捉并記錄的每個圖像和貫通圖像的評估值改變對圖像給予優(yōu)先級的圖像的尺寸，能夠創(chuàng)建具有有效的對比度的合成圖像。另外，通過檢測人的臉部的朝向并自動布置臉部的朝向以面朝著圖像的中心，能夠創(chuàng)建平衡的合成圖像。另外，通過具有確定圖像的布置的多個模板并由用戶使用操作單元4選擇一個模板，自適應(yīng)于成像場景的圖像的布置變得容易，并且能夠創(chuàng)建進一步與狀況匹配的合成圖像。另外，通過執(zhí)行強調(diào)顯示(諸如，突出顯示)以容易地察覺用于顯示的合成圖像50中的貫通圖像50TR的已合成的區(qū)域，能夠提高用于顯示的合成圖像50中的貫通圖像50TR的可見性。另外，通過在在相冊模式中的圖像處理(用于顯示的合成圖像50的生成處理)中使用低分辨率圖像(諸如，縮略像、屏幕縮小圖像等)而不使用主要圖像，能夠提高處理速度。另外，與圖像關(guān)聯(lián)地在處理中使用的合成管理信息與合成圖像關(guān)聯(lián)地被存儲在存儲器單元3中或者記錄在記錄單元5上。因此，甚至當在相冊模式中的成像的中間斷開電源之后，也能夠迅速地恢復(fù)在相冊模式中的成像。另外，在相冊模式中使用以前記錄的合成圖像的處理中，能夠有效地使用合成管理信息，并且與以前創(chuàng)建的合成圖像的附加的合成也變得容易。4.相冊編輯模式處理基于上述在相冊模式中的操作能夠創(chuàng)建合成圖像，但通過根據(jù)模板和臉部圖像的處理在某種程度上自動地設(shè)置將要在成像期間被合成到背景圖像上的圖像的布置和尺寸。從自動處理，用戶獲得在非常容易地執(zhí)行成像的同時創(chuàng)建合成圖像的優(yōu)點，但另一方面，存在想要進一步根據(jù)其偏好布置圖像或設(shè)置背景圖像的用戶。
因此，準備了相冊編輯模式。甚至在上述相冊模式期間，也能夠進一步執(zhí)行用戶的編輯操作作為圖10的步驟F224和F225。將描述圖8中顯示的在相冊編輯模式中的處理。如上所述，通過由用戶在成像模式下執(zhí)行指示相冊編輯模式的操作，控制單元2在步驟F113中識別相冊編輯模式的輪詢請求。在這種情況下，控制單元2執(zhí)行步驟F114至F120的處理。當在步驟F113中存在相冊編輯模式的輪詢處理的請求時，控制單元2在步驟F114中選擇將要編輯的合成圖像。例如，控制單元2顯示記錄在記錄單元5上的合成圖像的列表，并需要來自用戶的選擇輸入。然后，控制單元將由用戶指定的合成圖像設(shè)置為將要編輯的合成圖像。然后，選擇的合成圖像被從記錄單元5讀取到存儲器單元3。在步驟Fl 15中，控制單元2根據(jù)來自操作單元4的用戶輸入的指令在存儲器單元3上執(zhí)行合成圖像改變處理。圖7B和7C顯示編輯操作的例子。當圖7A的合成圖像被選擇為將要編輯的對象時，假設(shè)用戶執(zhí)行改變圖像60A和60B的位置和尺寸的操作?？刂茊卧?根據(jù)該操作編輯合成圖像，并將該圖像改變?yōu)橄窭鐖D7B —樣的合成圖像。另外，當圖7A的合成圖像被選擇為將要編輯的對象時，用戶執(zhí)行將圖像60C設(shè)置為背景圖像的操作。根據(jù)該操作，控制單元2編輯該合成圖像，以便原始圖像60C被設(shè)置為背景圖像60BK并且原始背景圖像60BK被設(shè)置為圖像60C，如圖7C中所示。除了該例子之外，例如，能夠從合成圖像刪除由用戶指定的圖像。具體地講，如同在上述相冊模式下改變用于合成處理的圖像的處理中一樣，控制單元2使將要編輯的合成圖像被顯示在顯示單元6上。從該顯示，用戶通過觸摸面板操作選擇合成圖像內(nèi)的圖像，并執(zhí)行拖拽至希望移至的位置的操作和用于指示放大或縮小的觸摸操作?？商娲?，執(zhí)行將指定的圖像拖至屏幕上的垃圾箱的操作。另外，通過選擇背景部分并將該部分拖至圖像的框，執(zhí)行指示背景的調(diào)換的操作。響應(yīng)于用戶操作，控制單元2編輯合成圖像。在步驟F115的處理中執(zhí)行這種合成圖像編輯。在執(zhí)行所希望的編輯操作之后，用戶執(zhí)行把相冊編輯模式設(shè)置為關(guān)閉的操作?？刂茊卧?在步驟Fl 16中讀取是否存在相冊編輯模式關(guān)閉的輪詢處理的請求，并且當存在相冊編輯模式關(guān)閉的輪詢處理時，控制單元前進至步驟Fl 17。然后，控制單元檢查合成圖像中是否曾經(jīng)存在任何改變。甚至在相冊編輯模式下，如果在沒有具體地指示任何改變的用戶的操作的情況下諸如在相冊編輯模式關(guān)閉中不存在添加到合成圖像的改變，則控制單元2也通過在步驟F120中設(shè)置為相冊編輯模式關(guān)閉來結(jié)束處理，并返回到步驟F102。另一方面，在步驟F115的處理中，當任何改變被添加到合成圖像時，控制單元2前進至步驟F118，并把在存儲器單元3上編輯的合成圖像記錄在記錄單元5上。換句話說，記錄在記錄單元5上的合成圖像被更新。然后，在步驟F120中，處理結(jié)束并且相冊編輯模式關(guān)閉，并返回到步驟F102。通過如上執(zhí)行相冊編輯模式的處理，用戶能夠使用操作單元4指示位置、尺寸、背景圖像和合成圖像中的將要被舍棄的相似圖像，并根據(jù)他自己的或她自己的意圖改變合成圖像。例如，在成像期間能夠容易地創(chuàng)建合成圖像，并且其后，根據(jù)用戶的偏好，能夠改變合成圖像的布局并且能夠替換背景圖像。甚至在上述相冊模式下，也能夠執(zhí)行用戶的編輯操作作為圖10的步驟F225。圖10的步驟F225與圖8的在相冊編輯模式下的步驟Fl 15相同。差別僅在于:將要編輯的圖像是還未被記錄的用于合成處理的圖像60。因此，甚至當在相冊模式中執(zhí)行成像時，用戶也能夠任意地指定合成圖像的內(nèi)容。5.成像裝置的修改例子以上，描述了應(yīng)用于成像裝置I的實施例，但考慮就成像裝置I的結(jié)構(gòu)、在相冊模式中的顯示形式和合成圖像的形式而言的各種修改例子。圖13顯示成像裝置I的另一結(jié)構(gòu)例子。相同的標號被給予與圖1中的部分相同的部分，并且將會省略其描述。在這個例子中，成像裝置I不包括顯示單元6，而是具有外部接口 18。因此，該成像裝置經(jīng)外部接口 18具有與外部顯示裝置20的通信連接。外部接口 18與包括顯示裝置的外部裝置(顯示裝置20)(諸如，個人計算機系統(tǒng)、電視接收機或移動終端裝置)執(zhí)行各種有線或無線數(shù)據(jù)通信。成像裝置I使用外部接口 18通過與外部裝置的通信把顯示數(shù)據(jù)(諸如，用于顯示的合成圖像50等)傳送到外部裝置，或者能夠從外部裝置把各種信息輸入到成像裝置I。在這種情況下，控制單元2把通過在相冊模式中合成貫通圖像42與用于顯示的合成圖像50獲得的顯示數(shù)據(jù)傳送給顯示裝置20。然后，數(shù)據(jù)的圖像被顯示在顯示裝置20上。上述相冊模式的操作還以這種形式實現(xiàn)。當然，像圖1中一樣具有顯示單元6的成像裝置I可包括外部接口 18，并且與用于顯示的合成圖像50合成的貫通圖像42可以被顯示在外部顯示裝置20上。圖14也顯示成像裝置I的另一結(jié)構(gòu)例子。相同的標號被給予與圖1中的部分相同的部分，并且將會省略其描述。這是不包括記錄單元5的成像裝置I的例子。在這種情況下的成像裝置I具有網(wǎng)絡(luò)通信單元19。網(wǎng)絡(luò)通信單元19通過各種網(wǎng)絡(luò)(例如，互聯(lián)網(wǎng)、家庭網(wǎng)絡(luò)、LAN(局域網(wǎng))等)執(zhí)行通信。控制單元2能夠通過網(wǎng)絡(luò)通信單元19與網(wǎng)絡(luò)上的服務(wù)器、終端等執(zhí)行各種數(shù)據(jù)通f目。在這種情況下，控制單元2能夠在相冊模式中執(zhí)行進一步使用通過網(wǎng)絡(luò)通信單元19下載的靜止圖像數(shù)據(jù)、以前的合成圖像數(shù)據(jù)等的添加合成的操作。換句話說，能夠?qū)τ诰W(wǎng)絡(luò)上的圖像執(zhí)行圖8的步驟F107和F108中的圖像的選擇、圖像數(shù)據(jù)的讀取等。因此，用戶能夠選擇在互聯(lián)網(wǎng)上提供并允許使用的靜止圖像或合成圖像，并進一步添加合成到相冊模式中的圖像中。另外，在這種結(jié)構(gòu)中，執(zhí)行傳送合成圖像數(shù)據(jù)的處理。例如，創(chuàng)建的合成圖像能夠經(jīng)網(wǎng)絡(luò)通信單元19被傳送給外部服務(wù)器等以便被記錄在外部服務(wù)器上。換句話說，通過執(zhí)行傳送合成圖像數(shù)據(jù)的處理，合成圖像能夠被上傳到網(wǎng)絡(luò)上的服務(wù)器等。
當然，除了圖1的記錄單元5之外，該成像裝置還可包括網(wǎng)絡(luò)通信單元19。另外，通過像圖13中一樣包括外部接18，成像裝置能夠從連接的外部裝置輸入在相冊模式中使用的圖像，或作為傳送合成圖像數(shù)據(jù)的處理把創(chuàng)建的合成圖像數(shù)據(jù)傳送給外部裝置以便被記錄在外部裝置上。接下來，圖15A和15B顯示作為包括在相冊模式中顯示的用于顯示的合成圖像50的顯示形式的另一例子。在以上使用圖3A至6C描述的例子中，通過被合成到貫通圖像42的一部分中，用于顯示的合成圖像50被顯示在顯示單元6上。然而，由于貫通圖像50TR被包括在用于顯示的合成圖像50中，所以僅用于顯示的合成圖像50可被顯示在顯示單元6上。這顯示在圖15A中。圖15A顯示這樣的例子:顯示單元6的整個屏幕被設(shè)置為用于顯示的合成圖像幀W并且示出用于顯示的合成圖像50。用戶必須觀看貫通圖像以便確定被攝體，并且為了實現(xiàn)這一點，可觀看被合成到用于顯示的合成圖像50的背景圖像50BK上的貫通圖像50TR。以這種方式，控制單元2可使得僅顯示包括貫通圖像50TR的用于顯示的合成圖像50以用于在相冊模式中的顯示。因此，用戶能夠更清楚地察覺正在創(chuàng)建的合成圖像的圖像。接下來，圖15B是存在兩個顯示單元6A和6B的例子。例如，它是這樣的情況:成像裝置I包括兩個顯示單元6A和6B?？商娲?，可假設(shè)為如圖13中所示作為外部裝置的顯示裝置20提供兩個顯示屏幕。另外，還假設(shè):成像裝置I包括顯示單元6并如圖13中所示經(jīng)外部接18連接到顯示裝置20。考慮:在用戶能夠在相冊模式中的成像期間觀看兩個顯示單元6A和6B的情況下，控制單元2使貫通圖像42被顯示在顯示單元6A上并僅使包括貫通圖像50TR的用于顯示的合成圖像50被顯示在顯示單元6B上，如圖15B中所示。顯示單元6B的整個屏幕被設(shè)置為用于顯示的合成圖像幀W，并顯示通過把貫通圖像50TR合成到背景圖像50BK上獲得的圖像作為用于顯示的合成圖像50。以這種方式，用戶能夠在相冊模式中察覺具有高分辨率的貫通圖像42和用于顯示的合成圖像50。接下來，圖16A和16B顯示背景圖像的修改例子。在上述例子中，利用一個靜止圖像設(shè)置合成圖像中的背景圖像60BK。然而，多個靜止圖像可被設(shè)置為背景圖像。圖16A是設(shè)置兩個背景圖像60Bka和60BKb并且其它圖像60A和60B被合成到它們上的合成圖像的例子。當用戶在圖8的步驟F107中選擇多條記錄的靜止圖像數(shù)據(jù)時，例如，在合成處理中布置并使用所述多個背景圖像60Bka和60BKb?？商娲?，在在相冊模式中的自動處理中，控制單元2可執(zhí)行布置具有較深的深度信息的兩個圖像作為背景圖像的處理。另外，圖16B是這樣的例子:并非捕捉圖像而是已經(jīng)被記錄的圖像被設(shè)置為背景圖像60BK。例如，圖案圖像、動畫、圖像等被記錄在記錄單元5上(或者通過下載等獲取圖案圖像、動畫、圖像等)，并且用戶從中選擇任意的背景圖像。
因此，在相冊模式中，選擇的圖案圖像等被設(shè)置為背景圖像60BK，并且捕捉圖像60A、60B、60C、60D等被合成到背景圖像60BK上。通過以這種方式設(shè)置背景圖像，能夠生成更多樣的合成圖像。以上，描述了各種修改例子，但除了它們之外還考慮其它修改例子。在相冊模式中的處理中，也通過釋放操作記錄一般靜止圖像數(shù)據(jù)(上述圖像文件PicOOl等)，但也考慮在相冊模式中不記錄一般靜止圖像的處理。另外，當在相冊模式中響應(yīng)于釋放操作記錄靜止圖像數(shù)據(jù)時，也考慮不記錄低分辨率圖像(諸如，縮略像、屏幕縮小圖像等)的例子。另外，低分辨率圖像被設(shè)置為用在用于顯示的合成圖像50的合成處理中，但可在通常作為捕捉圖像獲得的具有高分辨率的圖像的狀態(tài)下執(zhí)行該合成處理。6.信息處理裝置中的應(yīng)用例子和程序在實施例中，舉例說明了包括權(quán)利要求中所提及的圖像處理裝置的成像裝置1，但本發(fā)明的圖像處理裝置能夠?qū)崿F(xiàn)于各種裝置中，而不限于所謂的數(shù)字靜止照相機。本發(fā)明的技術(shù)能夠應(yīng)用于例如具有成像功能的移動電話、攝像機裝置、移動終端裝置和其它種類的裝置。另外，利用不具有成像功能的信息處理裝置(例如，個人計算機、移動電話、移動終端裝置、圖像裝置等)能夠?qū)崿F(xiàn)本發(fā)明的圖像處理裝置。圖17是根據(jù)本發(fā)明實施例的作為不具有成像功能的信息處理裝置的圖像處理裝置80的方框圖。圖像處理裝置80包括圖像輸入單元81、控制單元82、存儲器單元83、操作單元84、記錄單元85和顯示單元86。圖像輸入單元81從能夠通過有線或無線通信執(zhí)行數(shù)據(jù)通信的外部成像裝置70接收捕捉圖像信號(捕捉圖像數(shù)據(jù))并被輸入捕捉圖像信號(捕捉圖像數(shù)據(jù))。顯示單元86以與圖1的顯示單元6相同的方式為用戶執(zhí)行各種顯示。操作單元84以與圖1的操作單元4相同的方式用作輸入用戶的操作的輸入裝置并根據(jù)輸入操作把信號傳送給控制單元82。記錄單元85包括例如非易失性存儲器、HDD等，以與圖1的記錄單元5相同的方式用作存儲靜止圖像數(shù)據(jù)、運動圖像數(shù)據(jù)等的圖像文件(內(nèi)容文件)、圖像文件的屬性信息、縮略像等的存儲區(qū)域。關(guān)于合成圖像，合成管理信息也以Exif數(shù)據(jù)等的形式被記錄在記錄單元85上。存儲器單元83如同圖1的存儲器單元3 —樣總地稱作ROM、RAM、閃存等，并用作控制單元82的工作區(qū)域或用于存儲應(yīng)用程序等。控制單元82用作操作處理裝置(諸如，CPU)，并包括圖像信號處理部分82b、顯示控制部分82c、合成處理部分82d、輸出處理部分82e和布置確定部分82f作為由軟件或硬件實現(xiàn)的功能。這些部分與圖1的圖像信號處理部分2b、顯示控制部分2c、合成處理部分2d、輸出處理部分2e和布置確定部分2f相同。在這種結(jié)構(gòu)的圖像處理裝置80中，在輸入由外部成像裝置70捕捉的圖像數(shù)據(jù)的同時，通過控制單元82執(zhí)行上述相冊模式處理和相冊編輯模式處理來實現(xiàn)與以上針對成像裝置I描述的操作相同的操作。
例如，用戶能夠通過使用成像裝置70和單獨的圖像處理裝置80執(zhí)行成像來容易地執(zhí)行合成圖像的創(chuàng)建。此外，在圖17的圖像處理裝置80的情況下，可如圖13中所述通過提供外部接口18來使用外部顯示裝置20或者從外部裝置輸入靜止圖像數(shù)據(jù)。另外，如圖14中所述，通過提供網(wǎng)絡(luò)通信單元19，還可從網(wǎng)絡(luò)下載圖像數(shù)據(jù)或上傳合成圖像。根據(jù)實施例的程序是使運算處理裝置(諸如，CPU)執(zhí)行上述相冊模式處理和相冊編輯模式處理的程序。換句話說，該程序使運算處理裝置生成包括從通過對從被攝體入射的光執(zhí)行光電轉(zhuǎn)換獲得的捕捉圖像信號生成的貫通圖像的用于顯示的合成圖像，并在用于合成處理的圖像上顯示用于顯示的合成圖像。另外，該程序使運算處理裝置根據(jù)用于顯示的合成圖像中的貫通圖像的合成布置狀態(tài)執(zhí)行把根據(jù)記錄定時的捕捉圖像信號合成到用于合成處理的圖像中的處理。另外，該程序使運算處理裝置執(zhí)行輸出在某一時間點(諸如，釋放時間點)的用于合成處理的圖像作為生成的合成圖像數(shù)據(jù)的處理。另外，該程序使運算處理裝置根據(jù)操作輸入執(zhí)行改變合成圖像數(shù)據(jù)中的圖像的內(nèi)容的編輯處理。使用該程序，可實現(xiàn)由運算處理裝置執(zhí)行上述相冊模式處理和相冊編輯模式處理的裝置。該程序能夠被預(yù)先記錄在裝置(諸如，計算機裝置、成像裝置等)中所包括的作為記錄介質(zhì)的HDD或具有CPU的微型計算機中的ROM中?？商娲?，該程序能夠臨時地或永久地存儲(記錄)在可移動記錄介質(zhì)(諸如，軟盤、⑶-R0M(壓縮盤只讀存儲器)、MO(磁光)盤、DVD (數(shù)字通用盤)、藍光盤、磁盤、半導(dǎo)體存儲器或存儲卡)上。能夠提供這種可移動記錄介質(zhì)作為所謂的封裝軟件。另外，該程序能夠從可移動記錄介質(zhì)被安裝在個人計算機等，或者經(jīng)網(wǎng)絡(luò)(諸如，LAN(局域網(wǎng))或互聯(lián)網(wǎng))被從下載站點下載。另外，該程序適合被廣泛地提供給執(zhí)行用于生成合成圖像的在相冊模式和相冊編輯模式下的操作的成像裝置或圖像處理裝置。本技術(shù)還能夠采用下面的結(jié)構(gòu)。(I) 一種圖像處理裝置，包括:合成處理單元，通過把基于通過對從被攝體入射的光執(zhí)行光電轉(zhuǎn)換獲得的捕捉圖像信號生成的貫通圖像包括在用于合成處理的圖像中來生成用于顯示的合成圖像，并根據(jù)用于顯示的合成圖像中的貫通圖像的合成布置狀態(tài)把記錄時間點的捕捉圖像合成到用于合成處理的圖像中；和顯示控制單元，對用于顯示的合成圖像執(zhí)行顯示控制。(2)如以上(I)所述的圖像處理裝置，還包括:布置確定單元，根據(jù)捕捉圖像信號的內(nèi)容確定用于合成處理的圖像內(nèi)的貫通圖像的布置狀態(tài)，其中合成處理單元按照由布置確定單元確定的布置狀態(tài)把貫通圖像合成到用于合成處理的圖像上以生成用于顯示的合成圖像。(3)如以上⑵所述的圖像處理裝置，其中根據(jù)已經(jīng)布置在用于合成處理的圖像中的已布置圖像，布置確定單元還確定用于合成處理的圖像內(nèi)的已布置圖像和貫通圖像的布置狀態(tài)。(4)如以上(I)至(3)中任何一項所述的圖像處理裝置，其中所述顯示控制單元執(zhí)行使貫通圖像被顯示并使已與貫通圖像合成的用于顯示的合成圖像被顯示的處理。(5)如以上(I)至⑷中任何一項所述的圖像處理裝置，其中所述用于合成處理的圖像是通過把靜止圖像設(shè)置為背景圖像而獲得的圖像，并且合成處理單元把通過成像獲得的靜止圖像或從記錄介質(zhì)讀出的靜止圖像設(shè)置為用于合成處理的圖像中的背景圖像。(6)如以上(I)至(5)中任何一項所述的圖像處理裝置，其中所述合成處理單元把從記錄介質(zhì)讀出的合成圖像設(shè)置為用于合成處理的圖像。(7)如以上(I)至(6)中任何一項所述的圖像處理裝置，其中所述用于合成處理的圖像是至少包括背景圖像的圖像，并且合成處理單元基于貫通圖像和背景圖像之間的比較處理的結(jié)果執(zhí)行改變背景圖像的處理。(8)如以上(7)所述的圖像處理裝置，其中所述比較處理是用于獲得圖像之間的相似性的比較處理、圖像評估值的比較處理和圖像深度的比較處理中的至少一種。(9)如以上(I)至⑶中任何一項所述的圖像處理裝置，其中所述用于合成處理的圖像是至少包括背景圖像的圖像，并且合成處理單元通過把貫通圖像合成到設(shè)置在用于合成處理的圖像的背景圖像上的合成布置區(qū)域中來生成用于顯示的合成圖像，并且基于模板信息設(shè)置用于合成處理的圖像中的背景圖像上的合成布置區(qū)域。(10)如以上⑵或⑶所述的圖像處理裝置，其中所述用于合成處理的圖像是至少包括背景圖像的圖像，合成處理單元通過把貫通圖像合成到由布置確定單元設(shè)置在用于合成處理的圖像的背景圖像上的合成布置區(qū)域中來生成用于顯示的合成圖像，并且當在用于合成處理的圖像中所包括的除背景圖像之外的圖像或貫通圖像中包括人的臉部圖像時，布置確定單元判別臉部圖像中的臉部的朝向，并使用判別結(jié)果設(shè)置在用于合成處理的圖像中的背景圖像上的合成布置區(qū)域。(11)如以上(2)、(3)或(10)中任何一項所述的圖像處理裝置，其中所述用于合成處理的圖像是至少包括背景圖像的圖像，并且合成處理單元通過把貫通圖像合成到由布置確定單元設(shè)置在用于合成處理的圖像的背景圖像上的合成布置區(qū)域中來生成用于顯示的合成圖像，并使用低分辨率圖像執(zhí)行用于顯示的合成圖像的生成。(12)如以上(I)至(11)中任何一項所述的圖像處理裝置，其中所述用于合成處理的圖像是至少包括背景圖像的圖像，并且合成處理單元把貫通圖像合成到用于合成處理的圖像的背景圖像上，并通過與其它區(qū)域相比進一步強調(diào)的方式顯示貫通圖像的區(qū)域來生成用于顯示的合成圖像。(13)如以上(I)至(12)中任何一項所述的圖像處理裝置，還包括:輸出處理單元，輸出在某一時間點的用于合成處理的圖像作為生成的合成圖像數(shù)據(jù)，其中合成處理單元根據(jù)合成成像模式的指令開始生成用于顯示的合成圖像，并且輸出處理單元輸出在它被指示結(jié)束合成成像模式時的用于合成處理的圖像作為生成的合成圖像數(shù)據(jù)。(14)如以上(I)至(13)中任何一項所述的圖像處理裝置，還包括:記錄單元，把數(shù)據(jù)記錄在記錄介質(zhì)上；和輸出處理單元，輸出在某一時間點的用于合成處理的圖像作為生成的合成圖像數(shù)據(jù)，其中輸出處理單元控制生成的合成圖像數(shù)據(jù)被記錄到記錄介質(zhì)上。(15)如以上(14)所述的圖像處理裝置，其中輸出處理單元還控制包括與合成圖像數(shù)據(jù)的背景圖像相關(guān)的信息的合成管理信息以與合成圖像數(shù)據(jù)關(guān)聯(lián)地記錄在記錄介質(zhì)上。(16)如以上(I)至(15)中任何一項所述的圖像處理裝置，還包括:傳送單元，把數(shù)據(jù)傳送到外部裝置；和輸出處理單元，輸出在某一時間點的用于合成處理的圖像作為生成的合成圖像數(shù)據(jù)，其中輸出處理單元控制從傳送單元傳送和輸出生成的合成圖像數(shù)據(jù)。(17)如以上(I)至(16)中任何一項所述的圖像處理裝置，還包括顯示單元，其中顯示控制單元控制用于顯示的合成圖像被顯示在顯示單元上。(18)如以上(I)至(17)中任何一項所述的圖像處理裝置，其中所述合成處理單元根據(jù)操作輸入執(zhí)行改變合成圖像數(shù)據(jù)中的圖像的內(nèi)容的編輯處理。本發(fā)明包含與2011年12月21日提交給日本專利局的日本優(yōu)先權(quán)專利申請JP2011-279199中公開的主題相關(guān)的主題，該專利申請通過引用包含于此。本領(lǐng)域技術(shù)人員應(yīng)該理解，在不脫離所附權(quán)利要求或其等同物的范圍的情況下，可以根據(jù)設(shè)計的需要和其它因素做出各種變型、組合、子組合和替換。
權(quán)利要求
1.一種圖像處理裝置，包括: 合成處理單元，通過把基于通過對從被攝體入射的光執(zhí)行光電轉(zhuǎn)換獲得的捕捉圖像信號生成的貫通圖像包括在用于合成處理的圖像中來生成用于顯示的合成圖像，并根據(jù)用于顯示的合成圖像中的貫通圖像的合成布置狀態(tài)把記錄時間點的捕捉圖像合成到用于合成處理的圖像中；和 顯示控制單元，對用于顯示的合成圖像執(zhí)行顯示控制。
2.如權(quán)利要求1所述的圖像處理裝置，還包括: 布置確定單元，根據(jù)捕捉圖像信號的內(nèi)容確定用于合成處理的圖像內(nèi)的貫通圖像的布置狀態(tài)， 其中合成處理單元按照由布置確定單元確定的布置狀態(tài)把貫通圖像合成到用于合成處理的圖像上以生成用于顯示的合成圖像。
3.如權(quán)利要求2所述的圖像處理裝置，其中根據(jù)已經(jīng)布置在用于合成處理的圖像中的已布置圖像，布置確定單元還確定用于合成處理的圖像內(nèi)的已布置圖像和貫通圖像的布置狀態(tài)。
4.如權(quán)利要求1所述的圖像處理裝置，其中所述顯示控制單元執(zhí)行使貫通圖像被顯示并使已與貫通圖像合成的用于顯示的合成圖像被顯示的處理。
5.如權(quán)利要求1所述的圖像處理裝置，其中所述用于合成處理的圖像是通過把靜止圖像設(shè)置為背景圖像而獲得的圖像，并且 合成處理單元把通 過成像獲得的靜止圖像或從記錄介質(zhì)讀出的靜止圖像設(shè)置為用于合成處理的圖像中的背景圖像。
6.如權(quán)利要求1所述的圖像處理裝置，其中所述合成處理單元把從記錄介質(zhì)讀出的合成圖像設(shè)置為用于合成處理的圖像。
7.如權(quán)利要求1所述的圖像處理裝置，其中所述用于合成處理的圖像是至少包括背景圖像的圖像，并且 合成處理單元基于貫通圖像和背景圖像之間的比較處理的結(jié)果執(zhí)行改變背景圖像的處理。
8.如權(quán)利要求7所述的圖像處理裝置，其中所述比較處理是用于獲得圖像之間的相似性的比較處理、圖像評估值的比較處理和圖像深度的比較處理中的至少一種。
9.如權(quán)利要求1所述的圖像處理裝置，其中所述用于合成處理的圖像是至少包括背景圖像的圖像，并且 合成處理單元通過把貫通圖像合成到設(shè)置在用于合成處理的圖像的背景圖像上的合成布置區(qū)域中來生成用于顯示的合成圖像，并且基于模板信息設(shè)置用于合成處理的圖像中的背景圖像上的合成布置區(qū)域。
10.如權(quán)利要求2所述的圖像處理裝置， 其中所述用于合成處理的圖像是至少包括背景圖像的圖像， 合成處理單元通過把貫通圖像合成到由布置確定單元設(shè)置在用于合成處理的圖像的背景圖像上的合成布置區(qū)域中來生成用于顯示的合成圖像，并且 當在用于合成處理的圖像中所包括的除背景圖像之外的圖像或貫通圖像中包括人的臉部圖像時，布置確定單元判別臉部圖像中的臉部的朝向，并使用判別結(jié)果設(shè)置在用于合成處理的圖像中的背景圖像上的合成布置區(qū)域。
11.如權(quán)利要求2所述的圖像處理裝置，其中所述用于合成處理的圖像是至少包括背景圖像的圖像，并且 合成處理單元通過把貫通圖像合成到由布置確定單元設(shè)置在用于合成處理的圖像的背景圖像上的合成布置區(qū)域中來生成用于顯示的合成圖像，并使用低分辨率圖像執(zhí)行用于顯示的合成圖像的生成。
12.如權(quán)利要求1所述的圖像處理裝置， 其中所述用于合成處理的圖像是至少包括背景圖像的圖像，并且合成處理單元把貫通圖像合成到用于合成處理的圖像的背景圖像上，并通過與其它區(qū)域相比進一步強調(diào)的方式顯示貫通圖像的區(qū)域來生成用于顯示的合成圖像。
13.如權(quán)利要求1所述的圖像處理裝置，還包括: 輸出處理單元，輸出在某一時間點的用于合成處理的圖像作為生成的合成圖像數(shù)據(jù)，其中合成處理單元根據(jù)合成成像模式的指令開始生成用于顯示的合成圖像，并且輸出處理單元輸出在它被指示結(jié)束合成成像模式時的用于合成處理的圖像作為生成的合成圖像數(shù)據(jù)。
14.如權(quán)利要求1所述的圖像處理裝置，還包括: 記錄單元，把數(shù)據(jù)記錄在記錄介質(zhì)上；和 輸出處理單元，輸出在某一時間點的用于合成處理的圖像作為生成的合成圖像數(shù)據(jù)， 其中輸出處理單元控制生成的合成圖像數(shù)據(jù)被記錄到記錄介質(zhì)上。
15.如權(quán)利要求14所述的圖像處理裝置，其中輸出處理單元還控制包括與合成圖像數(shù)據(jù)的背景圖像相關(guān)的信息的合成管理信息以與合成圖像數(shù)據(jù)關(guān)聯(lián)地記錄在記錄介質(zhì)上。
16.如權(quán)利要求1所述的圖像處理裝置，還包括: 傳送單元，把數(shù)據(jù)傳送到外部裝置；和 輸出處理單元，輸出在某一時間點的用于合成處理的圖像作為生成的合成圖像數(shù)據(jù)， 其中輸出處理單元控制從傳送單元傳送和輸出生成的合成圖像數(shù)據(jù)。
17.如權(quán)利要求1所述的圖像處理裝置，還包括: 顯示單元， 其中顯示控制單元控制用于顯示的合成圖像被顯示在顯示單元上。
18.如權(quán)利要求1所述的圖像處理裝置，其中所述合成處理單元根據(jù)操作輸入執(zhí)行改變合成圖像數(shù)據(jù)中的圖像的內(nèi)容的編輯處理。
19.一種圖像處理方法，包括: 通過經(jīng)把基于通過對從被攝體入射的光執(zhí)行光電轉(zhuǎn)換獲得的捕捉圖像信號生成的貫通圖像包括在用于合成處理的圖像中生成用于顯示的合成圖像，顯示用于顯示的合成圖像；以及 根據(jù)用于顯示的合成圖像中的貫通圖像的合成布置狀態(tài)把記錄時間點的捕捉圖像合成到用于合成處理的圖像中。
20.一種使運算處理裝置執(zhí)行下述處理的程序: 通過經(jīng)把基于通過對從被攝體入射的光執(zhí)行光電轉(zhuǎn)換獲得的捕捉圖像信號生成的貫通圖像包括在用于合成處理的圖像中生成用于顯示的合成圖像，顯示用于顯示的合成圖像；以及 根據(jù)用于顯示的合成圖像中的貫通圖像的合成布置狀態(tài)把記錄時間點的捕捉圖像合成到用于 合成處理的圖像中。
全文摘要
本發(fā)明涉及圖像處理裝置、圖像處理方法和程序。一種圖像處理裝置包括合成處理單元，通過把基于通過對從被攝體入射的光執(zhí)行光電轉(zhuǎn)換獲得的捕捉圖像信號生成的貫通圖像包括在用于合成處理的圖像中來生成用于顯示的合成圖像，并根據(jù)用于顯示的合成圖像中的貫通圖像的合成布置狀態(tài)把記錄時間點的捕捉圖像合成到用于合成處理的圖像中；和顯示控制單元，對用于顯示的合成圖像執(zhí)行顯示控制。
文檔編號H04N5/232GK103179341SQ20121054374
公開日2013年6月26日 申請日期2012年12月14日 優(yōu)先權(quán)日2011年12月21日
發(fā)明者錢成昊 申請人:索尼公司