專利名稱：圖像處理設(shè)備、圖像處理方法和記錄介質(zhì)的制作方法
技術(shù)領(lǐng)域：
本公開涉及圖像處理設(shè)備、圖像處理方法和記錄介質(zhì)。
背景技術(shù)：
近年來，自動調(diào)整聚焦或曝光的諸如數(shù)字靜止照相機的成像設(shè)備得到了普及。在這樣的成像設(shè)備中，設(shè)置了適合于拍攝場景的聚焦或曝光，并且即使用戶不調(diào)整聚焦或曝光，用戶也可以獲取良好的成像圖像。另外，已經(jīng)提出了用于自動設(shè)置成像圖像的構(gòu)圖而不依賴于用戶的操作的技術(shù)，例如，在日本特開公報N0.2009-89220和N0.2009-218807中公開的技術(shù)。根據(jù)這些技術(shù)，對象的面部的大小或位置被檢測，并基于該大小或位置，切割成像圖像的適當區(qū)域作為修整圖像(trimming image)。

發(fā)明內(nèi)容
但是，根據(jù)在日本特開公報N0.2009-89220和N0.2009-218807中公開的技術(shù)，當設(shè)置的修整圖像的區(qū)域超出成像圖像的范圍時，構(gòu)圖沒有被設(shè)置。因此，如果對象被大部分地顯示或者被顯示在圖像的末端，那么可能不設(shè)置構(gòu)圖。即使在這種情況中，用戶也會希望自動地設(shè)置構(gòu)圖。但是，這些技術(shù)不能充分地滿足該希望。希望提供能夠提高自動設(shè)置構(gòu)圖的可用性的圖像處理設(shè)備、圖像處理方法和程序。根據(jù)本公開實施例，提供一種包括構(gòu)圖設(shè)置單元的圖像處理設(shè)備，當?shù)谝恍拚麉^(qū)域超出輸入圖像的范圍時，該構(gòu)圖設(shè)置單元設(shè)置第二修整區(qū)域，其中，在第一修整區(qū)域中，在輸入圖像中包含的對象按第一構(gòu)圖布置，在第二修整區(qū)域中，該對象按第二構(gòu)圖布置。此外，根據(jù)本公開實施例，提供一種圖像處理方法，該圖像處理方法包括:當?shù)谝恍拚麉^(qū)域超出輸入圖像的范圍時，設(shè)置第二修整區(qū)域，其中，在第一修整區(qū)域中，在輸入圖像中包含的對象按第一構(gòu)圖布置，在第二修整區(qū)域中，該對象按第二構(gòu)圖布置。此外，根據(jù)本公開實施例，提供一種計算機可讀記錄介質(zhì)，其上記錄有程序。該程序使得計算機實現(xiàn)這樣的功能:當?shù)谝恍拚麉^(qū)域超出輸入圖像的范圍時，設(shè)置第二修整區(qū)域，其中，在第一修整區(qū)域中，在輸入圖像中包含的對象按第一構(gòu)圖布置，在第二修整區(qū)域中，該對象按第二構(gòu)圖布置。根據(jù)上述配置，即使當?shù)谝辉O(shè)置修整區(qū)域超出輸入圖像的范圍時，通過不同的方法生成處于輸入圖像的范圍內(nèi)的修整區(qū)域的可能性也變高了。因此，在很多情況中可以使用自動設(shè)置構(gòu)圖。根據(jù)上述的本公開實施例，可以提高自動設(shè)置構(gòu)圖的可用性。


圖1是示出根據(jù)本公開的第一實施例的數(shù)字靜止照相機的功能配置的示意性框圖；圖2是示出根據(jù)本公開的第一實施例的數(shù)字靜止照相機的處理的流程圖；圖3A是示出修整區(qū)域設(shè)置的例子的示圖；圖3B是示出修整區(qū)域設(shè)置的例子的示圖；圖4A到圖4C是示出在本公開的第一實施例中修整區(qū)域設(shè)置的第一例子的示圖；圖5A和圖5B是示出在本公開的第一實施例中修整區(qū)域設(shè)置的第二例子的示圖；圖6A和圖6B是不出在本公開的第一實施例中修整區(qū)域設(shè)置的第三例子的不圖；圖7A到圖7B是示出在本公開的第一實施例中修整區(qū)域設(shè)置的第四例子的示圖；圖8是示出根據(jù)本公開的第二實施例的數(shù)字靜止照相機的功能配置的示意性框圖；以及圖9是示出根據(jù)本公開的第二實施例的數(shù)字靜止照相機的處理的流程圖。
具體實施例方式在下文中，將參照附圖詳細地描述本公開的優(yōu)選實施例。請注意，在本說明書和附圖中，基本上具有相同的功能和結(jié)構(gòu)的結(jié)構(gòu)元件用相同的附圖標記表示，并且省略對這些結(jié)構(gòu)元件的重復(fù)解釋。將按照下面描 述的順序進行以下描述。1.第一實施例1-1.功能配置1-2.處理流程1-3.修整區(qū)域的設(shè)置例子2.第二實施例3.補充在以下的描述中，將公開根據(jù)作為圖像處理設(shè)備的數(shù)字靜止照相機的本公開的第一和第二實施例。根據(jù)本公開實施例的圖像處理設(shè)備并不限于數(shù)字靜止照相機，并且可以是具有處理輸入圖像并生成修整圖像的功能的各種設(shè)備中的任意一種。本公開實施例包括處理輸入圖像并生成修整圖像的方法、用于使計算機實現(xiàn)處理輸入圖像并生成修整圖像的功能的程序，以及記錄有該程序的計算機可讀記錄介質(zhì)。(1.第一實施例)(1-1.功能配置)首先，將參照圖1描述根據(jù)本公開第一實施例的數(shù)字靜止照相機的功能配置。圖1是示出根據(jù)第一實施例的數(shù)字靜止照相機100的功能配置的示意性框圖。數(shù)字靜止照相機100包括成像光學系統(tǒng)101、成像單元102、控制電路110、顯示單元120和存儲單元130?？刂齐娐?10實現(xiàn)對象識別單元111、構(gòu)圖設(shè)置單元112、修整單元113、記錄控制單元114和顯示控制單元115的功能。除了在圖1中示出的功能配置以外，數(shù)字靜止照相機100還包括通常在數(shù)字靜止照相機中提供的諸如操作單元的結(jié)構(gòu)元件。成像光學系統(tǒng)101包括諸如各種透鏡(諸如聚焦透鏡和變焦透鏡)、濾光器和光圈的光學部件。通過包括在成像光學系統(tǒng)101中的光學部件，從對象入射的光學圖像(對象圖像)被形成在包括在成像單元102中的成像元件的曝光表面上。
成像單元102包括:諸如電荷耦合器件(CXD)和互補金屬氧化物半導(dǎo)體(CMOS)的成像元件、驅(qū)動成像元件的定時生成器，以及信號處理電路。信號處理電路對當成像元件對對象圖像執(zhí)行光電轉(zhuǎn)換時輸出的模擬圖像信號進行處理，將模擬圖像信號轉(zhuǎn)換為數(shù)字圖像信號，并將數(shù)字圖像信號輸出到控制電路110。信號處理電路通過數(shù)字信號處理器(DSP)來實現(xiàn)?？刂齐娐?10實現(xiàn)對象識別單元111、構(gòu)圖設(shè)置單元112、修整單元113、記錄控制單元114和顯示控制單元115的功能，并控制數(shù)字靜止照相機100的各個單元的操作?？刂齐娐?10通過中央處理單元(CPU)來實現(xiàn)，該中央處理單元(CPU)基于存儲在存儲單元130中的程序進行操作并實現(xiàn)上述功能。控制電路110的部分或全部功能可以通過類似于信號處理電路的DSP來實現(xiàn)。在下文中，將描述由控制電路110實現(xiàn)的各個功能單元。對象識別單元111分析從成像單元102獲取的輸入圖像的數(shù)字圖像信號，并識別包含在輸入圖像中的對象。在這種情況中，該對象是人的面部。另外，該對象可以是諸如動物的面部、花朵和菜肴的各種對象中的任意一種。對象識別單元111使用諸如小波變換或Haar特征檢測的算法來計算該對象的區(qū)域。例如，在人的面部的情況中，該對象的范圍可以其中包括顎部、耳朵和眉毛的最小的矩形的坐標值。該對象的區(qū)域并不限于矩形，并可以具有三角形或橢圓形。除了該對象的區(qū)域外，對象識別單元111還可以識別該對象的方向。構(gòu)圖設(shè)置單元112設(shè)置輸入圖像的修整區(qū)域，從而使得該對象按預(yù)定構(gòu)圖布置。在本實施例中，構(gòu)圖設(shè)置單元112使用三分構(gòu)圖作為預(yù)定構(gòu)圖。預(yù)定構(gòu)圖可以是諸如二分構(gòu)圖的不同構(gòu)圖。如將在下面描述的，構(gòu)圖設(shè)置單元112可以一同使用多種類型的構(gòu)圖。構(gòu)圖設(shè)置單元112根據(jù)由對象識別單元111所識別的對象的位置、大小和方向來設(shè)置修整區(qū)域。具體地說，構(gòu)圖設(shè)置單元112根據(jù)對象的大小來確定修整區(qū)域的大小，并確定該修整區(qū)域的位置，從而使得該對象被布置于通過將修整區(qū)域分成三份而獲得的任意一個交叉處。構(gòu)圖設(shè)置單元112將設(shè)置的修整區(qū)域的信息提供給修整單元113。

在這種情況中，作為設(shè)置修整區(qū)域的處理，構(gòu)圖設(shè)置單元112首先試圖設(shè)置第一修整區(qū)域，在第一修整區(qū)域中，對象按第一構(gòu)圖布置。當?shù)谝恍拚麉^(qū)域在輸入圖像之內(nèi)時，由于輸入圖像可以原樣地被修整，因此構(gòu)圖設(shè)置單元112將第一修整區(qū)域的信息提供給修整單元113。同時，當?shù)谝恍拚麉^(qū)域超出輸入圖像的范圍時，由于輸入圖像可能不原樣地被修整，因此構(gòu)圖設(shè)置單元112試圖設(shè)置第二修整區(qū)域。在第二修整區(qū)域中，對象按第二構(gòu)圖布置。當?shù)诙拚麉^(qū)域在輸入圖像的范圍之內(nèi)時，構(gòu)圖設(shè)置單元112將第二修整區(qū)域的信息供應(yīng)給修整單元113。由于第二修整區(qū)域是在第一修整區(qū)域超出輸入圖像的范圍時設(shè)置的，因此第二修整區(qū)域優(yōu)選地小于第一修整區(qū)域。或者，第二修整區(qū)域可以是通過改變第一修整區(qū)域的縱橫比、以及垂直長度和水平長度而獲得的區(qū)域。構(gòu)圖設(shè)置單元112可以將第一構(gòu)圖和第二構(gòu)圖設(shè)置為不同類型的構(gòu)圖(例如，三分構(gòu)圖被用作第一構(gòu)圖，二分構(gòu)圖被用作第二構(gòu)圖)，并設(shè)置第二修整區(qū)域。構(gòu)圖設(shè)置單元112可以重復(fù)地執(zhí)行重新設(shè)置修整區(qū)域的處理，直到新設(shè)置的修整區(qū)域處于輸入圖像的范圍內(nèi)。也就是說，當?shù)诙拚麉^(qū)域超出輸入圖像的范圍時，構(gòu)圖設(shè)置單元112可以設(shè)置第三修整區(qū)域，在第三修整區(qū)域中，對象按第三構(gòu)圖布置。針對修整區(qū)域的處理流程和設(shè)置例，將在下面對上述構(gòu)圖設(shè)置單元112的處理進行進一步描述。
修整單元113從輸入圖像生成由構(gòu)圖設(shè)置單元112設(shè)置的修整區(qū)域的修整圖像。此時，修整單元113可以通過執(zhí)行像素內(nèi)插處理以提高分辨率(超分辨率處理)來將修整圖像的大小增大到輸入圖像的大小。正如下面將要描述的，構(gòu)圖設(shè)置單元112甚至可以通過該處理將修整圖像的大小擴展至輸入圖像的大小，并且構(gòu)圖設(shè)置單元112可以將其作為構(gòu)圖的重新設(shè)置處理的重復(fù)條件來使用。記錄控制單元114將由修整單元113生成的修整圖像作為圖像數(shù)據(jù)記錄在存儲單元130中。記錄控制單元114可以記錄輸入圖像的圖像數(shù)據(jù)和修整圖像。顯示控制單元115將作為圖像數(shù)據(jù)記錄在存儲單元130中的圖像顯示在顯示單元120上。在由數(shù)字靜止照相機100執(zhí)行了成像后，顯示控制單元115可以將圖像作為在先的圖像來顯示，并且根據(jù)用戶的操作，將記錄在存儲單元130中的任何圖像作為再現(xiàn)圖像來顯不。顯示單元120被配置為使用液晶顯示器(IXD)或有機電致發(fā)光(EL)顯示器。顯示單元120根據(jù)顯示控制單元115的控制為用戶顯示關(guān)于數(shù)字靜止照相機100的各種信息。關(guān)于數(shù)字靜止照相機100的處理的各種數(shù)據(jù)被存儲在存儲單元130中。存儲單元130可以是諸如閃存只讀存儲器(ROM)或動態(tài)隨機存取存儲器(DRAM)的半導(dǎo)體存儲器，諸如數(shù)字多功能盤(DVD)或壓縮盤(CD)的光盤，或硬盤?；蛘撸鎯卧?30可以是嵌入到數(shù)字靜止照相機100中的存儲裝置，或者，可從數(shù)字靜止照相機100移除的記錄介質(zhì)。存儲單元130可以包括多種類型的存儲裝置或記錄介質(zhì)。修整圖像或輸入圖像的圖像數(shù)據(jù)由記錄控制單元114存儲在存儲單元130中。另外，用于使控制電路110的CPU執(zhí)行功能的程序可以被存儲在存儲單元130中。( 1-2.處理流程)接下來，將參照圖2描述根據(jù)本公開實施例的數(shù)字靜止照相機的處理流程。圖2是示出數(shù)字靜止照相機10 0的處理的流程圖。在圖2中示出的處理中，首先，對象識別單元111分析從成像單元102獲取的輸入圖像的數(shù)字圖像信號，并識別在輸入圖像中包含的對象(S101)。接下來，根據(jù)由對象識別單元111識別出的對象的位置、大小和方向，構(gòu)圖設(shè)置單元112設(shè)置修整區(qū)域，從而使得對象按預(yù)定構(gòu)圖布置(步驟S103)。在這種情況中，設(shè)置的修整區(qū)域?qū)?yīng)于上述第一修整區(qū)域。構(gòu)圖設(shè)置單元112確定修整區(qū)域是否被設(shè)置在輸入圖像的范圍內(nèi)(步驟S105)。在這種情況中，當確定修整區(qū)域被設(shè)置在輸入圖像的范圍內(nèi)時，修整單元113根據(jù)設(shè)置的修整區(qū)域從輸入圖像生成修整圖像(步驟S107)，并且記錄控制單元114將修整圖像記錄到存儲單元130中(步驟S109)。同時，當在步驟S105中確定修整區(qū)域沒有被設(shè)置在輸入圖像的范圍內(nèi)時，構(gòu)圖設(shè)置單元112確定修整區(qū)域是否可以被重新設(shè)置(步驟SI 11)。如上所述，當修整區(qū)域通過重新設(shè)置而被減小時，該確定可以是對修整單元113是否能夠?qū)p小的修整區(qū)域的修整圖像的大小增大到輸入圖像的大小的確定。該確定可以是對重新設(shè)置修整區(qū)域的次數(shù)是否達到預(yù)定的次數(shù)的確定。當在步驟Slll中確定修整區(qū)域可以被重新設(shè)置時，構(gòu)圖設(shè)置單元112改變修整區(qū)域的設(shè)置條件(步驟S113)。設(shè)置條件的改變可以是當根據(jù)對象的大小來設(shè)置修整區(qū)域的大小時參數(shù)的改變或者使用的構(gòu)圖的類型的改變。對改變的設(shè)置條件的詳細描述將在下面給出。接下來，構(gòu)圖設(shè)置單元112根據(jù)在步驟S113中改變的設(shè)置條件來重新設(shè)置修整區(qū)域(步驟S103)。在這種情況中，設(shè)置的修整區(qū)域?qū)?yīng)于上述第二修整區(qū)域。同時，當在步驟Slll中確定修整區(qū)域可能不被重新設(shè)置時，構(gòu)圖設(shè)置單元112在不設(shè)置修整區(qū)域的情況下結(jié)束處理。在這種情況中，修整單元113不生成修整圖像。因此，記錄控制單元114不將修整圖像記錄到存儲單元130中。(1-3.修整區(qū)域的設(shè)置例子)接下來，將參照圖3A到圖7B描述根據(jù)本公開第一實施例的數(shù)字靜止照相機中的修整區(qū)域的設(shè)置例子。圖3A和圖3B是示出修整區(qū)域設(shè)置的普通例子的示圖。圖4A到圖7B是示出數(shù)字靜止照相機100中的修整區(qū)域的設(shè)置例子的示圖。圖3A是示出可以設(shè)置修整區(qū)域的情況的例子的示圖。在圖3A中示出的例子中，對象識別單元111識別輸入圖像300中包含的作為對象的人的面部。人的面部可以被識別為面部區(qū)域310a。在輸入圖像300中的對象的位置和大小由面部區(qū)域310a來示出。對象識別單元111分析面部區(qū)域310a的一部分的圖像并識別作為對象的面部的方向。構(gòu)圖設(shè)置單元112根據(jù)由對象識別單元111所識別的對象的位置、大小和方向來設(shè)置修整區(qū)域320。例如，構(gòu)圖設(shè)置單元112首先根據(jù)對象的方向來確定修整區(qū)域是被制成橫向長還是縱向長。在圖3A中示出的例子中，由于由面部區(qū)域310a所示出的面部轉(zhuǎn)向向左側(cè)，因此構(gòu)圖設(shè)置單元112使得修整區(qū)域成為縱向長。接下來，構(gòu)圖設(shè)置單元112根據(jù)面部區(qū)域310a的大小來確定修整區(qū)域320的大小。在圖3A中示出的例子中，構(gòu)圖設(shè)置單元112將修整區(qū)域320的寬度設(shè)置為比面部區(qū)域310a的寬度大n (n彡2)倍的寬度。構(gòu)圖設(shè)置單元112確定修整區(qū)域320的位置，從而使得對象被布置于按預(yù)定構(gòu)圖布置對象的預(yù)定位置處。例如，在三分構(gòu)圖的情況中，對象被布置的位置是將修整區(qū)域320在水平和垂直方向中的每一個方向上都分成三份的線的四個交叉處中的任意一個。構(gòu)圖設(shè)置單元112基于對象的方向來確定對象被布置的位置。在本公開中，在修整區(qū)域中的對象布置的整體狀態(tài)被稱為“構(gòu)圖”。在上述例子中，“構(gòu)圖”由構(gòu)圖的類型(例如，三分構(gòu)圖或二分構(gòu)圖)、對象相對于修整區(qū)域的相對大小(n的值)、以及對象的布置點(在三分構(gòu)圖的情況中，四個交叉處中的布置對象的交叉處)來定義。在圖3A的例子中，如上所述地設(shè)置的修整區(qū)域320在輸入圖像300的范圍內(nèi)。因此，由修整單元113生成修整區(qū)域320中的修整圖像400。同時，在圖3B的例子中，以與圖3A的情況相同的方式設(shè)置的修整區(qū)域320超出輸入圖像300的范圍。因此，在這種狀態(tài)中，不生成修整圖像400。在圖3A和3B中示出的修整區(qū)域的設(shè)置處理中，如果面部區(qū)域310a大，或者面部區(qū)域310a位于輸入圖像300的末端，那么不生成修整圖像400。因此，成像圖像可能不被修整，并且該圖像可能不按適當?shù)臉?gòu)圖被存儲。在如圖3B 的情況中，可以考慮忽略修整區(qū)域320的超出輸入圖像300的范圍的一部分并生成修整圖像的方法。但是，即使在這種情況中，由于修整圖像與設(shè)置的構(gòu)圖不匹配，因此成像圖像不必一定按適當?shù)臉?gòu)圖被存儲。
另外，在圖3A中示出的修整圖像的生成處理中，可以生成修整圖像。但是，由于修整區(qū)域320的大小與面部區(qū)域310a的大小之間的關(guān)系是固定的，因此即使修整圖像是從不同的輸入圖像生成的，大部分的對象也相對較小。結(jié)果，用戶有這樣的印象，即，構(gòu)圖的變化差并且缺乏獨創(chuàng)性。因此，在本實施例中，在如圖3B的情況中，構(gòu)圖設(shè)置單元112改變修整區(qū)域的設(shè)置條件，并試圖設(shè)置新的修整區(qū)域。在上述例子中，修整區(qū)域的設(shè)置條件的改變可以是:在設(shè)置修整區(qū)域320的大小時n的值的改變，以及將對象布置在三分構(gòu)圖中的不同的交叉處?；蛘?，構(gòu)圖設(shè)置單元112可以改變構(gòu)圖的類型，作為修整設(shè)置條件的改變。例如，可以使用二分構(gòu)圖來代替三分構(gòu)圖。以這種方式，如果根據(jù)不同的設(shè)置條件來設(shè)置新的修整區(qū)域并且該修整區(qū)域在輸入圖像300的范圍內(nèi)，那么即使當可能不會通過如圖3A和圖3B的例子的處理來生成修整圖像時，也可以生成修整圖像。在如上所述地生成的修整圖像中，由于通過生成起源(generation origin)的輸入圖像來改變對象的大小，因此用戶會有這樣的印象，即，構(gòu)圖的變化豐富并且富有獨創(chuàng)性。在下文中，將描述本實施例中的修整區(qū)域設(shè)置的某些例子。(第一例)圖4A到圖4C是示出本實施例中的修整區(qū)域設(shè)置的第一例子的示圖。如圖4A所示，首先，構(gòu)圖設(shè)置單元112設(shè)置第一修整區(qū)域320，在第一修整區(qū)域320中，包含在輸入圖像300中的對象的面部區(qū)域310a按三分構(gòu)圖布置。但是，第一修整區(qū)域320超出輸入圖像300的范圍。因此，如圖4B所示，構(gòu)圖設(shè)置單元112設(shè)置第二修整區(qū)域322。在圖4B中示出的例子中，構(gòu)圖設(shè)置單元112減小第一修整區(qū)域320以設(shè)置第二修整區(qū)域322。

例如，構(gòu)圖設(shè)置單元112可以減小當在圖3A的例子中設(shè)置修整區(qū)域的大小時使用的n的值并減小修整區(qū)域。在圖3A的例子中，n的值被設(shè)置為n>2。但是，在第二修整區(qū)域322的設(shè)置處理中，n的值可以被設(shè)置為n〈2或n〈l。也就是說，構(gòu)圖設(shè)置單元112可以將第一修整區(qū)域320減小到不包含面部區(qū)域310a的一部分的程度。在這種情況中，第一修整區(qū)域320的減小范圍可以被任意地設(shè)置。但是，構(gòu)圖設(shè)置單元112可以減小第一修整區(qū)域320，從而使得面部區(qū)域310a的眼部區(qū)域312a被包括在內(nèi)。眼部區(qū)域312a是注視區(qū)域，該注視區(qū)域被認為是面部區(qū)域310a中的圖像的觀察者特別地注視的區(qū)域。眼部區(qū)域312a可以使用與對象識別單元111所使用的算法相同的算法或?qū)ο笞R別單元111的識別結(jié)果來指定。注視區(qū)域并不限于在圖中舉例說明的眼部區(qū)域，并且可以是包含在臉部區(qū)域310a中的另一個器官。第一修整區(qū)域320被示出為橫向長的區(qū)域。但是，第二修整區(qū)域322可以是橫向長的區(qū)域或縱向長的區(qū)域。例如，構(gòu)圖設(shè)置單元112可以根據(jù)對象的特征將第二修整區(qū)域322的形狀切換為橫向長的形狀或者縱向長的形狀。在圖4B中，示出橫向長的第二修整區(qū)域322a和縱向長的第二修整區(qū)域322b。在本例中，由于兩個修整區(qū)域都在輸入圖像300的范圍內(nèi)，因此如圖4C所示，橫向長的修整區(qū)域400a和縱向長的修整區(qū)域400b都可以被生成。在示出的例子中，橫向長的第二修整區(qū)域322a和縱向長的第二修整區(qū)域322b都在輸入圖像300的范圍內(nèi)。但是，當?shù)诙拚麉^(qū)域322a和322b中只有一個在輸入圖像300的范圍內(nèi)時，構(gòu)圖設(shè)置單元112可以選擇在輸入圖像300的范圍內(nèi)的第二修整區(qū)域322。構(gòu)圖設(shè)置單元112可以根據(jù)對象的特征(例如，被布置在大致水平方向上的眼部區(qū)域312a或面部的傾斜度)來選擇第二修整區(qū)域322a和322b中的任意一個?；蛘撸瑯?gòu)圖設(shè)置單元112可以將橫向長的第二修整區(qū)域322a的信息和縱向長的第二修整區(qū)域322b的信息都提供給修整單元113。在這種情況中，顯示控制單元115可以將修整圖像400a和400b作為預(yù)覽圖像顯示在顯示單元120上，從而使得用戶可以選擇存儲的修整圖像。第二修整區(qū)域的形狀被切換為橫向長的形狀或縱向長的形狀或者兩種修整圖像都被輸出以允許用戶選擇修整圖像的配置可以被應(yīng)用于本文中描述的另一個例子。在圖4A到4C中示出的修整圖像的生成處理中，第一修整區(qū)域320被減小并且第二修整區(qū)域322被設(shè)置。此時，如果第一修整區(qū)域320的減小量不合適，那么可能設(shè)置這樣的修整區(qū)域，其中，用戶注視的區(qū)域，例如，諸如面部區(qū)域310a的眼部區(qū)域312a的區(qū)域，被在半途切割。在這種情況中，用戶會感到第二修整區(qū)域的構(gòu)圖是不適當?shù)?。因此，在上述例子中，諸如眼部區(qū)域312a的區(qū)域被設(shè)置為注視區(qū)域，第一修整區(qū)域320被減小，從而使得注視區(qū)域被包括在內(nèi)，并且設(shè)置第二修整區(qū)域322。因此，用戶感到第二修整區(qū)域322的構(gòu)圖是適當?shù)目赡苄詴兏摺?第二例子)圖5A和圖5B是示出本實施例中的修整區(qū)域設(shè)置的第二例子的示圖。與圖3A到圖4C的例子不同，在圖5A和圖5B的例子中，對象識別單元111將花朵識別為包含在輸入圖像300中的對象?；ǘ淇梢员蛔R別為花朵區(qū)域310b。如圖5A所示，首先，構(gòu)圖設(shè)置單元112設(shè)置第一修整區(qū)域(在圖中未示出)，在第一修整區(qū)域中，花朵區(qū)域310b 按三分構(gòu)圖布置。由于花朵區(qū)域310b在輸入圖像300上被大部分地顯示，因此第一修整區(qū)域超出輸入圖像300的范圍。因此，構(gòu)圖設(shè)置單元112減小第一修整區(qū)域，以設(shè)置第二修整區(qū)域。通過修整第二修整區(qū)域中的輸入圖像而獲得的修整圖像400c到400f在圖5B中示出。在本例中，構(gòu)圖設(shè)置單元112分析輸入圖像300以設(shè)置注視區(qū)域312b并減小第一修整區(qū)域，從而使得注視區(qū)域312b被包括在內(nèi)。例如，注視區(qū)域312b是花朵區(qū)域310b中的這樣的區(qū)域:其中，亮度更高，飽和度更高，或者邊緣的數(shù)量更大。構(gòu)圖設(shè)置單元112可以根據(jù)對象的特征來改變第二修整區(qū)域的縱橫比。圖5B示出當使用各種縱橫比來設(shè)置第二修整區(qū)域時生成的修整圖像400。在這些修整圖像400中，修整圖像400c是在輸入圖像的縱橫比(4:3)沒有改變時獲得的。修整圖像400d是在縱橫比被改變?yōu)?6:9時獲得的。修整圖像400e是在縱橫比被改變?yōu)?:2時獲得的。修整圖像400f是在縱橫比被改變?yōu)?:1時獲得的。在圖中示出的例子中，具有各自縱橫比的所有第二修整區(qū)域都在輸入圖像300的范圍內(nèi)。但是，當具有某一縱橫比的第二修整區(qū)域超出輸入圖像300的范圍時，構(gòu)圖設(shè)置單元112可以將具有相應(yīng)縱橫比的第二修整區(qū)域從選擇對象中排除。構(gòu)圖設(shè)置單元112可以根據(jù)對象的特征(例如，注視區(qū)域312b的形狀)來選擇具有任何縱橫比的第二修整區(qū)域?；蛘撸瑯?gòu)圖設(shè)置單元112可以向修整單元113提供具有多種縱橫比的第二修整區(qū)域的信息。在這種情況中，顯示控制單元115可以將修整圖像400c到400f中的每一個作為預(yù)覽圖像顯示在顯示單元120上，從而使得用戶可以選擇存儲的修整圖像。其中第二修整區(qū)域的縱橫比被切換或者多個修整圖像被輸出以允許用戶選擇修整圖像的配置可以被應(yīng)用到本文中描述的另一個例子。在圖5A和圖5B中示出的修整圖像的生成處理中，即使當對象區(qū)域中的注視區(qū)域(比如，圖4A到圖4C中的相對于面部區(qū)域310a的眼部區(qū)域312a)先前沒有被設(shè)置時，也通過分析輸入圖像300來設(shè)置注視區(qū)域312b。因此，即使在諸如花朵或菜肴的對象的情況中，也可以通過適當?shù)卦O(shè)置注視區(qū)域312b來設(shè)置第二修整區(qū)域。當?shù)诙拚麉^(qū)域的縱橫比被切換時，修整圖像的縱橫比沒有被固定，從而使得修整圖像可以在許多情況中被生成。當具有多種縱橫比的修整圖像被提供給用戶時，可以根據(jù)用戶的嗜好來生成各種修整圖像。(第三例子)圖6A和圖6B是不出本實施例中的修整區(qū)域設(shè)置的第三例子的不圖。與圖3A到圖5B的例子不同，在圖6A和圖6B的例子中，對象識別單元111將車輛識別為包含在輸入圖像300中的對象。車輛可以被識別為車輛區(qū)域310c。如圖6A所示，首先，構(gòu)圖設(shè)置單元112設(shè)置第一修整區(qū)域(在圖中未示出)，在第一修整區(qū)域中，車輛區(qū)域310c按三分構(gòu)圖布置。由于車輛區(qū)域310c在輸入圖像300上被大部分地顯示，因此第一修整區(qū)域超出輸入圖像300的范圍。因此，構(gòu)圖設(shè)置單元112減小第一修整區(qū)域，以設(shè)置第二修整區(qū)域。通過修整第二修整區(qū)域中的輸入圖像而獲得的修整圖像400在圖6B中示出。在本例中，構(gòu)圖設(shè)置單元112通過用戶的操作來設(shè)置注視區(qū)域312c，并減小第一修整區(qū)域，從而使得注視區(qū)域312c被`包括在內(nèi)。注視區(qū)域312c可以是在對輸入圖像300成像前通過用戶的操作指定的車輛區(qū)域310c中的注視點附近的區(qū)域。在這種情況中，對象識別單元111可以通過跟蹤連續(xù)地識別對象的車輛區(qū)域310c并移動指定的注視點以對應(yīng)于跟蹤。當用戶從作為預(yù)覽圖像或再現(xiàn)圖像顯示的輸入圖像300生成修整圖像400時，注視區(qū)域312c可以是由用戶從顯示單元120上顯示的輸入圖像300選擇的注視點附近的區(qū)域。也就是說，可以在圖像被成像并記錄后設(shè)置注視區(qū)域312c。在圖6A和6B中示出的修整圖像的生成處理中，通過用戶的指定來設(shè)置注視區(qū)域312c。因此，即使在難以自動地檢測注視區(qū)域的對象的情況中，也可以通過根據(jù)用戶的希望設(shè)置注視區(qū)域312c來設(shè)置適當?shù)牡诙拚麉^(qū)域。(第四例子)圖7A和圖7B是示出本實施例中的修整區(qū)域設(shè)置的第四例子的示圖。本例是所謂的宏觀攝影(macro photography)的例子。如圖7A所示,例子中的對象是占據(jù)輸入圖像300的大部分的蛋糕。這樣，對象沒有像圖3A到圖6B那樣被識別為區(qū)域。由構(gòu)圖設(shè)置單元112按三分構(gòu)圖布置對象的第一修整區(qū)域超出了輸入圖像300的范圍。因此，構(gòu)圖設(shè)置單元112設(shè)置第二修整區(qū)域。在圖中示出的例子中，構(gòu)圖設(shè)置單元112設(shè)置第二修整區(qū)域，從而使得在輸入圖像中被聚焦的聚焦區(qū)域312d被包括在內(nèi)。具體地說，構(gòu)圖設(shè)置單元112可以設(shè)置第二修整區(qū)域，在該第二修整區(qū)域中，按三分構(gòu)圖布置聚焦區(qū)域312d。
此時，構(gòu)圖設(shè)置單元112可以設(shè)置橫向長的第二修整區(qū)域和縱向長的第二修整區(qū)域中的一個或兩個。在各個情況中生成的修整圖像400a和400b在圖7B中示出。構(gòu)圖設(shè)置單元112可以根據(jù)對象的特征(例如，聚焦區(qū)域312d的形狀)來選擇橫向長的第二修整區(qū)域和縱向長的第二修整區(qū)域中的任意一個。在圖7A和圖7B中示出的修整圖像的生成處理中，在輸入圖像中被聚焦的聚焦區(qū)域312d被設(shè)置為注視區(qū)域。因此，即使在對象的區(qū)域超出輸入圖像300的區(qū)域的宏觀攝影的情況中，也可以通過適當?shù)卦O(shè)置注視區(qū)域來設(shè)置修整區(qū)域。(2.第二實施例)接下來，將參照圖8和圖9描述本公開的第二實施例。圖8是示出根據(jù)本實施例的數(shù)字靜止照相機200的功能配置的示意性框圖。圖9是示出數(shù)字靜止照相機200的處理的流程圖。第二實施例與第一實施例的不同之處在于，數(shù)字靜止照相機200還包括聚焦確定單元216。但是，由于第二實施例的其它配置與第一實施例相同，因此省略其詳細解釋。如圖8所示，在本實施例中，數(shù)字靜止照相機200包括聚焦確定單元216。聚焦確定單元216確定由對象識別單元111識別的對象是否被聚焦。使用與自動聚焦相同的方法，諸如對比度檢測方法或相差檢測方法，聚焦確定單元216確定該對象是否被聚焦。例如，當使用對比度檢測方法時，聚焦確定單元216確定在輸入圖像的對象的區(qū)域中的對比度是否等于或大于預(yù)定閾值或者大于其它區(qū)域的對比度，并確定該對象是否被聚焦。當使用相差檢測方法時，基于使用光測量傳感器(在圖中未示出)檢測到的對象的區(qū)域中的相差，聚焦確定單元216確定成像光學系統(tǒng)101的透鏡是否聚焦在該對象上，并確定該對象是否被聚焦。在這種情況中，聚焦確定單元216將對象是否被聚焦的確定結(jié)果提供給構(gòu)圖設(shè)置單元112。當作為聚焦確定單元216中的確定結(jié)果確定對象被聚焦時，構(gòu)圖設(shè)置單元112設(shè)置第一修整區(qū)域。同時， 當確定對象不被聚焦時，不執(zhí)行已經(jīng)在第一實施例中描述的修整區(qū)域的設(shè)置處理。當被識別為對象的區(qū)域完全被聚焦時，聚焦確定單元216可以確定該對象被聚焦。當被識別為對象的區(qū)域的至少一部分被聚焦時，聚焦確定單元216可以確定該對象被聚焦。在圖9中，聚焦確定單元216的處理如步驟S215所示。在對象識別單元111在步驟SlOl中識別對象后，聚焦確定單元216確定識別對象是否被聚焦(步驟S215)。在這種情況中，當確定對象被聚焦時，執(zhí)行步驟S103之后的修整區(qū)域的設(shè)置處理。同時，當確定對象不被聚焦時，處理返回到步驟S101。在上述的第二實施例中，當對象被聚焦時，執(zhí)行設(shè)置修整區(qū)域的處理。當對象被聚焦時，構(gòu)圖設(shè)置的精度變高。當對象不被聚焦時，即使在修整區(qū)域中生成修整圖像，相應(yīng)的操作終究也可能會失敗。也就是說，根據(jù)本實施例的配置，可以防止生成用戶不想要的修整圖像，并且可以以高精度生成用戶想要的修整圖像。(3.補充)本公開的實施例并不限于上述配置，并且可以如同下面的例子那樣進行各種修改。例如，根據(jù)本公開實施例的圖像處理設(shè)備并不限于數(shù)字靜止照相機，并且可以是具有成像功能的移動電話(智能電話)或者諸如平板個人計算機(PC)的便攜式終端。圖像處理設(shè)備可以是沒有成像功能的信息處理設(shè)備，諸如桌上PC。在這種情況中，圖像處理設(shè)備獲取由另一設(shè)備成像的圖像作為輸入圖像。本領(lǐng)域的技術(shù)人員應(yīng)該理解，可以根據(jù)設(shè)計要求和其它因素進行各種修改、組合、子組合和替換，只要它們在所附權(quán)利要求或其等同物的范圍即可。另外，本技術(shù)也可以被配置如下。(I) 一種圖像處理系統(tǒng),包括:構(gòu)圖設(shè)置單元，當?shù)谝恍拚麉^(qū)域超出輸入圖像的范圍時，構(gòu)圖設(shè)置單元設(shè)置第二修整區(qū)域，其中，在第一修整區(qū)域中，在輸入圖像中包含的對象按第一構(gòu)圖布置，在第二修整區(qū)域中，該對象按第二構(gòu)圖布置。( 2 )根據(jù)(I)所述的圖像處理設(shè)備，

其中，第二修整區(qū)域小于第一修整區(qū)域。(3 )根據(jù)(2 )所述的圖像處理設(shè)備，其中，構(gòu)圖設(shè)置單元減小第一修整區(qū)域，以設(shè)置第二修整區(qū)域，從而使得對象的預(yù)定區(qū)域被包括在內(nèi)。(4)根據(jù)(3)所述的圖像處理設(shè)備，其中，通過用戶的操作來設(shè)置預(yù)定區(qū)域。(5)根據(jù)(3)所述的圖像處理設(shè)備，其中，通過分析輸入圖像來設(shè)置預(yù)定區(qū)域。(6)根據(jù)(3)所述的圖像處理設(shè)備，其中，對象是面部，并且其中，預(yù)定區(qū)域是對應(yīng)于包括在面部上的預(yù)定器官的區(qū)域。(7)根據(jù)(I)到(6)中的任意一項所述的圖像處理設(shè)備，其中，第一構(gòu)圖和第二構(gòu)圖中的至少一個是三分構(gòu)圖。(8)根據(jù)(7)所述的圖像處理設(shè)備，其中，構(gòu)圖設(shè)置單元根據(jù)對象的特征將第二修整區(qū)域的形狀切換為橫向長的形狀或者縱向長的形狀。(9)根據(jù)(7)或(8)所述的圖形處理設(shè)備，其中，構(gòu)圖設(shè)置單元根據(jù)對象的特征改變第二修整區(qū)域的縱橫比。(10)根據(jù)(7)到(9)中的任意一項所述的圖像處理設(shè)備，其中，構(gòu)圖設(shè)置單元設(shè)置第二修整區(qū)域，從而使得在輸入圖像中被聚焦的區(qū)域被包括在內(nèi)。( 11)根據(jù)(I)到(10 )中的任意一項所述的圖像處理設(shè)備，其中，第二構(gòu)圖的類型不同于第一構(gòu)圖的類型。( 12 )根據(jù)(I)到(11)中的任意一項所述的圖像處理設(shè)備，還包括:確定對象是否被聚焦的聚焦確定單元，其中，當對象被聚焦時，構(gòu)圖設(shè)置單元設(shè)置第一修整區(qū)域。( 13)根據(jù)(I)到(12)中的任意一項描述的圖像處理設(shè)備，其中，當?shù)诙拚麉^(qū)域超出輸入圖像的范圍時，構(gòu)圖設(shè)置單元設(shè)置第三修整區(qū)域，在第三修整區(qū)域中，對象按第三構(gòu)圖布置。(14)根據(jù)(13)所述的圖像處理設(shè)備，還包括:修整單元，其從輸入圖像生成第二修整區(qū)域或第三修整區(qū)域的修整圖像，并通過執(zhí)行像素內(nèi)插處理以提高分辨率來將修整圖像擴展到輸入圖像的大小，其中，當可能進行修整圖像的擴展時，構(gòu)圖設(shè)置單元設(shè)置第二修整區(qū)域或第三修整區(qū)域。(15) 一種圖像處理方法，包括:當?shù)谝恍拚麉^(qū)域超出輸入圖像的范圍時，設(shè)置第二修整區(qū)域，其中，在第一修整區(qū)域中，在輸入圖像中包含的對象按第一構(gòu)圖布置，在第二修整區(qū)域中，該對象按第二構(gòu)圖布置。(16) —種計算機可讀記錄介質(zhì),其上記錄有程序，其中，該程序使得計算機實現(xiàn)這樣的功能:當?shù)谝恍拚麉^(qū)域超出輸入圖像的范圍時，設(shè)置第二修整區(qū)域，其中，在第一修整區(qū)域中，在輸入圖像中包含的對象按第一構(gòu)圖布置，在第二修整區(qū)域中，該對象按第二構(gòu)圖布置。本申請包含與在2012年I月26日提交在日本專利局中的日本在先專利申請JP2012-013921中公開的主題相關(guān)的主題，該專利申請的全部內(nèi)容以引用的方式并入本文 中。
權(quán)利要求
1.一種圖像處理設(shè)備，包括: 構(gòu)圖設(shè)置單元，當?shù)谝恍拚麉^(qū)域超出輸入圖像的范圍時，該構(gòu)圖設(shè)置單元設(shè)置第二修整區(qū)域，其中，在第一修整區(qū)域中，在輸入圖像中包含的對象按第一構(gòu)圖布置，在第二修整區(qū)域中，該對象按第二構(gòu)圖布置。
2.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備， 其中，第二修整區(qū)域小于第一修整區(qū)域。
3.根據(jù)權(quán)利要求2所述的圖像處理設(shè)備， 其中，構(gòu)圖設(shè)置單元減小第一修整區(qū)域，以設(shè)置第二修整區(qū)域，從而使得對象的預(yù)定區(qū)域被包括在內(nèi)。
4.根據(jù)權(quán)利要求3所述的圖像處理設(shè)備， 其中，通過用戶的操作來設(shè)置所述預(yù)定區(qū)域。
5.根據(jù)權(quán)利要求3所述的圖像處理設(shè)備， 其中，通過分析輸入圖像來設(shè)置所述預(yù)定區(qū)域。
6.根據(jù)權(quán)利要求3所述的圖像處理設(shè)備， 其中，對象是面部，并且 其中，所述預(yù)定區(qū)域是對應(yīng)于包括在面部中的預(yù)定器官的區(qū)域。
7.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備， 其中，第一構(gòu)圖和第二構(gòu)圖中的至少一個是三分構(gòu)圖。
8.根據(jù)權(quán)利要求7所述的圖像處理設(shè)備， 其中，構(gòu)圖設(shè)置單元根據(jù)對象的特征將第二修整區(qū)域的形狀切換為橫向長的形狀或者縱向長的形狀。
9.根據(jù)權(quán)利要求7所述的圖像處理設(shè)備， 其中，構(gòu)圖設(shè)置單元根據(jù)對象的特征改變第二修整區(qū)域的縱橫比。
10.根據(jù)權(quán)利要求7所述的圖像處理設(shè)備， 其中，構(gòu)圖設(shè)置單元設(shè)置第二修整區(qū)域，從而使得在輸入圖像中被聚焦的區(qū)域被包括在內(nèi)。
11.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備， 其中，第二構(gòu)圖的類型不同于第一構(gòu)圖的類型。
12.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，還包括: 確定對象是否被聚焦的聚焦確定單元， 其中，當對象被聚焦時，構(gòu)圖設(shè)置單元設(shè)置第一修整區(qū)域。
13.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備， 其中，當?shù)诙拚麉^(qū)域超出輸入圖 像的范圍時，構(gòu)圖設(shè)置單元設(shè)置第三修整區(qū)域，在第三修整區(qū)域中，對象按第三構(gòu)圖布置。
14.根據(jù)權(quán)利要求13所述的圖像處理設(shè)備，還包括: 修整單元，該修整單元從輸入圖像生成第二修整區(qū)域或第三修整區(qū)域的修整圖像，并通過執(zhí)行像素內(nèi)插處理以提高分辨率來將修整圖像擴展到輸入圖像的大小， 其中，當可能進行修整圖像的擴展時，構(gòu)圖設(shè)置單元設(shè)置第二修整區(qū)域或第三修整區(qū)域。
15.—種圖像處理方法,包括: 當?shù)谝恍拚麉^(qū)域超出輸入圖像的范圍時，設(shè)置第二修整區(qū)域，其中，在第一修整區(qū)域中，在輸入圖像中包含的對象按第一構(gòu)圖布置，在第二修整區(qū)域中，該對象按第二構(gòu)圖布置。
16.—種記錄有程序的計算機可讀記錄介質(zhì)， 其中，該程序使得計算機實現(xiàn)這樣的功能:當?shù)谝恍拚麉^(qū)域超出輸入圖像的范圍時，設(shè)置第二修整區(qū)域，其中，在第一修整區(qū)域中，在輸入圖像中包含的對象按第一構(gòu)圖布置，在第二修整區(qū)域中，該對象按第二構(gòu) 圖布置。
全文摘要
本發(fā)明涉及圖像處理設(shè)備、圖像處理方法和記錄介質(zhì)。提供一種包括構(gòu)圖設(shè)置單元的圖像處理設(shè)備，當?shù)谝恍拚麉^(qū)域超出輸入圖像的范圍時，構(gòu)圖設(shè)置單元設(shè)置第二修整區(qū)域，其中，在第一修整區(qū)域中，在輸入圖像中包含的對象按第一構(gòu)圖布置，在第二修整區(qū)域中，該對象按第二構(gòu)圖布置。
文檔編號H04N5/232GK103227895SQ20131001844
公開日2013年7月31日 申請日期2013年1月18日 優(yōu)先權(quán)日2012年1月26日
發(fā)明者深田陽子, 小野俊樹, 三上真范 申請人:索尼公司