專利名稱：圖像處理設備和圖像處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種圖像處理設備、圖像處理方法、圖像處理方法的程序、以及記錄圖像處理方法的程序的記錄介質(zhì)，并可應用于例如數(shù)字靜態(tài)照相機。本發(fā)明通過以分辨率逐步順次改變的順序進行縮小圖像的模板匹配，使得可以檢測特定被攝體的拍攝圖像分別所占的區(qū)域，從而檢測該特定被攝體的拍攝圖像所占的各區(qū)域并適當?shù)卦O置優(yōu)先級順序。
背景技術(shù)：
在數(shù)字靜態(tài)照相機、攝像機等領(lǐng)域中，迄今已提出了提供以下方法從攝像結(jié)果中檢測特定被攝體的拍攝圖像所占的區(qū)域，并基于該區(qū)域的攝像結(jié)果控制攝像系統(tǒng)。在該方法中，主要將人的面部用于該特定被攝體，并且通過使用模板的模板匹配來檢測該特定被攝體的拍攝圖像所占的區(qū)域，例如膚色區(qū)域。
關(guān)于該方法，日本特開2004-30629號公報提出了一種與在使用模板的模板匹配中檢測面部的拍攝圖像所占的區(qū)域有關(guān)的裝置。
需要以足夠高的速度執(zhí)行通過這種方式從攝像結(jié)果中檢測特定被攝體的拍攝圖像所占的區(qū)域的處理，以使處理可以跟蹤攝像設備和被攝體的運動。另外。存在在多個位置處檢測到分別由特定被攝體的拍攝圖像所占的區(qū)域的情況，在這種情況下，需要適當設置在所述不同位置處檢測到的區(qū)域的優(yōu)先級順序，以確定哪個區(qū)域?qū)⒁宰罡邇?yōu)先級來處理。

發(fā)明內(nèi)容
考慮到上述問題做出了本發(fā)明，本發(fā)明提供一種能夠檢測特定被攝體的拍攝圖像所占的區(qū)域并適當設置優(yōu)先級順序的圖像處理設備和方法、該圖像處理方法的程序以及記錄該圖像處理方法的程序的記錄介質(zhì)。
根據(jù)本發(fā)明的第一優(yōu)選實施例，提供一種圖像處理設備，該圖像處理設備包括圖像獲取部分，用于獲取原始圖像；分辨率轉(zhuǎn)換部分，用于轉(zhuǎn)換由所述圖像獲取部分所獲取的所述原始圖像的分辨率，并生成具有不同分辨率的多個縮小圖像；檢測部分，用于通過使用模板的模板匹配來處理由所述分辨率轉(zhuǎn)換部分所生成的所述多個縮小圖像，并從所述縮小圖像中檢測與所述模板相對應的特定被攝體的拍攝圖像所占的區(qū)域；以及檢測結(jié)果處理部分，用于通過處理由所述檢測部分所獲得的檢測結(jié)果，在所述原始圖像上檢測所述特定被攝體的所述拍攝圖像所占的所述區(qū)域，所述檢測部分通過按照分辨率逐步順次改變的順序處理所述多個縮小圖像，來檢測所述特定被攝體的所述拍攝圖像所占的所述區(qū)域。
根據(jù)本發(fā)明的第二優(yōu)選實施例，提供一種圖像處理方法，該圖像處理方法包括圖像獲取步驟，用于獲取原始圖像；分辨率轉(zhuǎn)換步驟，用于轉(zhuǎn)換在所述圖像獲取步驟中所獲取的所述原始圖像的分辨率，并生成具有不同分辨率的多個縮小圖像；檢測步驟，用于通過使用模板的模板匹配來處理在所述分辨率轉(zhuǎn)換步驟中所生成的所述多個縮小圖像，并從所述縮小圖像中檢測與所述模板相對應的特定被攝體的拍攝圖像所占的區(qū)域；以及檢測結(jié)果處理步驟，用于通過處理在所述檢測步驟中所獲得的檢測結(jié)果，在所述原始圖像上檢測所述特定被攝體的所述拍攝圖像所占的所述區(qū)域，所述檢測步驟通過按照分辨率逐步順次改變的順序處理所述多個縮小圖像，來檢測所述特定被攝體的所述拍攝圖像所占的所述區(qū)域。
根據(jù)本發(fā)明的第三優(yōu)選實施例，提供一種圖像處理方法的程序，該圖像處理方法通過由操作處理部件執(zhí)行來處理圖像，該程序包括圖像獲取步驟，用于獲取原始圖像；分辨率轉(zhuǎn)換步驟，用于轉(zhuǎn)換在所述圖像獲取步驟中所獲取的所述原始圖像的分辨率，并生成具有不同分辨率的多個縮小圖像；檢測步驟，用于通過使用模板的模板匹配來處理在所述分辨率轉(zhuǎn)換步驟中所生成的所述多個縮小圖像，并從所述縮小圖像中檢測與所述模板相對應的特定被攝體的拍攝圖像所占的區(qū)域；以及檢測結(jié)果處理步驟，用于通過處理在所述檢測步驟中所獲得的檢測結(jié)果，在所述原始圖像上檢測所述特定被攝體的所述拍攝圖像所占的所述區(qū)域，所述檢測步驟通過按照分辨率逐步順次改變的順序處理所述多個縮小圖像，來檢測所述特定被攝體的所述拍攝圖像所占的所述區(qū)域。
根據(jù)本發(fā)明的第四優(yōu)選實施例，提供一種記錄圖像處理方法的程序的記錄介質(zhì)，該圖像處理方法通過由操作處理部件執(zhí)行來處理圖像，所述程序包括圖像獲取步驟，用于獲取原始圖像；分辨率轉(zhuǎn)換步驟，用于轉(zhuǎn)換在所述圖像獲取步驟中所獲取的所述原始圖像的分辨率，并生成具有不同分辨率的多個縮小圖像；檢測步驟，用于通過使用模板的模板匹配來處理在所述分辨率轉(zhuǎn)換步驟中所生成的所述多個縮小圖像，并從所述縮小圖像中檢測與所述模板相對應的特定被攝體的拍攝圖像所占的區(qū)域；以及檢測結(jié)果處理步驟，用于通過處理在所述檢測步驟中所獲得的檢測結(jié)果，在所述原始圖像上檢測所述特定被攝體的所述拍攝圖像所占的所述區(qū)域，所述檢測步驟通過按照分辨率逐步順次改變的順序處理所述多個縮小圖像，來檢測所述特定被攝體的所述拍攝圖像所占的所述區(qū)域。
根據(jù)本發(fā)明第一優(yōu)選實施例的圖像處理設備包括圖像獲取部分，用于獲取原始圖像；分辨率轉(zhuǎn)換部分，用于轉(zhuǎn)換由所述圖像獲取部分所獲取的所述原始圖像的分辨率，并生成具有不同分辨率的多個縮小圖像；檢測部分，用于通過使用模板的模板匹配來處理由所述分辨率轉(zhuǎn)換部分生成的所述多個縮小圖像，并從所述縮小圖像中檢測與所述模板相對應的特定被攝體的拍攝圖像所占的區(qū)域；以及檢測結(jié)果處理部分，用于通過處理由所述檢測部分所獲得的檢測結(jié)果，在所述原始圖像上檢測所述特定被攝體的所述拍攝圖像所占的所述區(qū)域，所述檢測部分通過按照分辨率逐步順次改變的順序處理所述多個縮小圖像，來檢測所述特定被攝體的所述拍攝圖像所占的所述區(qū)域。根據(jù)該結(jié)構(gòu)，按照從最大被攝體開始的順序或按照從最小被攝體開始的順序來檢測特定被攝體的拍攝圖像分別所占的區(qū)域，使得可以基于檢測的順序設置與區(qū)域的大小有關(guān)的優(yōu)先級順序。另外，需要時可以停止該處理以在短時間內(nèi)檢測目的區(qū)域，使得可以高速檢測到各特定被攝體的拍攝圖像所占的區(qū)域以適當設置優(yōu)先級順序。
另外，根據(jù)第二、第三和第四優(yōu)選實施例，可以提供一種能夠檢測特定被攝體的拍攝圖像分別所占的區(qū)域并適當設置優(yōu)先級順序的圖像處理方法、該圖像處理方法的程序、以及記錄該圖像處理方法的程序的記錄介質(zhì)。
根據(jù)本發(fā)明的實施例，可以檢測特定被攝體的拍攝圖像所占的區(qū)域并適當設置優(yōu)先級順序。


通過以下結(jié)合附圖對本發(fā)明優(yōu)選實施例的詳細說明，本發(fā)明將更容易評價和理解，其中圖1是示出根據(jù)本發(fā)明第一實施例的攝像設備中的中央處理單元的處理序列的流程圖；
圖2是示出根據(jù)本發(fā)明第一實施例的攝像設備的框圖；圖3是詳細示出圖2所示的攝像設備中的面部檢測部分的結(jié)構(gòu)的框圖；圖4是有助于解釋根據(jù)本發(fā)明第一實施例的攝像設備中的中央處理單元的處理的示意圖；圖5是示出圖1的繼續(xù)的流程圖；圖6是有助于解釋縮小圖像的生成處理的示意圖；圖7A和7B是有助于解釋檢測結(jié)果的處理的示意圖；圖8是有助于解釋根據(jù)本發(fā)明第二實施例的攝像設備中的縮小圖像的生成處理的示意圖；以及圖9是示出根據(jù)本發(fā)明第三實施例的記錄和再現(xiàn)設備的框圖。
具體實施例方式
以下將參照附圖詳細說明本發(fā)明的優(yōu)選實施例。
下面說明本發(fā)明第一實施例。
(1)第一實施例的結(jié)構(gòu)圖2是示出根據(jù)本發(fā)明第一實施例的攝像設備的框圖。攝像設備1是以靜態(tài)圖像或運動圖像的形式獲取并記錄所期望被攝體的攝像結(jié)果的數(shù)字靜態(tài)照相機。
在攝像設備1中，鏡頭2在中央處理單元(CPU)3的控制下，會聚入射光，同時改變其光圈、調(diào)焦和變焦比，以在圖像傳感器4的攝像面上形成被攝體的光學圖像。
圖像傳感器4通過配置在攝像面上的各個感光元件的光電轉(zhuǎn)換處理，以運動圖像或靜態(tài)圖像的形式輸出通過鏡頭2在攝像面上形成的光學圖像的攝像結(jié)果。
照相機信號處理部分6在中央處理單元3的控制下，接收從圖像傳感器4輸出的攝像結(jié)果，執(zhí)行矩陣運算、伽馬校正和白平衡調(diào)整等信號處理，并將表示信號處理結(jié)果的圖像數(shù)據(jù)輸出給圖像總線BUS。
另外，在該信號處理過程中，照相機信號處理部分6生成并輸出圖像顯示部分9中用于監(jiān)控的圖像數(shù)據(jù)和面部檢測部分8中用于面部檢測的原始圖像數(shù)據(jù)。在第一實施例中，原始圖像數(shù)據(jù)使用監(jiān)控圖像數(shù)據(jù)，例如，符合640像素×380像素的VGA(VideoGraphics Array，視頻圖形陣列)格式的圖像數(shù)據(jù)或320像素×240像素的圖像數(shù)據(jù)。因此，在第一實施例中，鏡頭2、圖像傳感器4和照相機信號處理部分6構(gòu)成了圖像獲取部分，其以運動圖像或靜態(tài)圖像的形式獲取與表示攝像結(jié)果的原始圖像有關(guān)的圖像數(shù)據(jù)。
圖像RAM(隨機存取存儲器)7在中央處理單元3的控制下，臨時存儲輸出到圖像總線BUS的圖像數(shù)據(jù)，并將所存儲的圖像數(shù)據(jù)輸出到圖像總線BUS。
面部檢測部分8在中央處理單元3的控制下，獲取記錄在圖像RAM 7上的原始圖像數(shù)據(jù)，并從該原始圖像數(shù)據(jù)所表示的圖像中檢測由特定被攝體的拍攝圖像所占的區(qū)域。在第一實施例中，將該特定被攝體設置成人的面部，并且面部檢測部分8通知中央處理單元3檢測結(jié)果D1。
具體地，如圖3所示，在面部檢測部分8中，分辨率轉(zhuǎn)換部分8A進行濾波以根據(jù)控制器8B所指定的比例因子α轉(zhuǎn)換存儲在圖像RAM 7中的圖像數(shù)據(jù)的分辨率，從而根據(jù)該比例因子α縮小由存儲在圖像RAM 7中的圖像數(shù)據(jù)所表示的圖像的大小并輸出縮小后大小的圖像。
圖像存儲器8C在控制器8B的控制下，記錄并保持從分辨率轉(zhuǎn)換部分8A輸出的圖像數(shù)據(jù)，并將所保持的圖像數(shù)據(jù)存儲在圖像RAM 7和面部檢測中心(face detection core)8D中。以這種方式，面部檢測部分8根據(jù)各種比例因子中的任何一個縮小存儲在圖像RAM 7中的原始圖像的大小并將縮小后大小的圖像存儲在圖像RAM 7中，并進一步根據(jù)各種比例因子縮小存儲在圖像RAM 7中的圖像的大小并存儲各種縮小后大小的圖像，從而生成存儲在圖像RAM 7中的原始圖像的分辨率被不同程度地降低的縮小圖像。
面部檢測中心8D在控制器8B的控制下，通過使用模板的模板匹配從圖像存儲器8C輸出的圖像數(shù)據(jù)所表示的圖像中檢測面部的拍攝圖像所占的區(qū)域。即，面部檢測中心8D臨時記錄并保持從圖像存儲器8C輸出的圖像數(shù)據(jù)，順次選擇所保持的圖像數(shù)據(jù)并在所選擇的圖像數(shù)據(jù)以及構(gòu)成模板的圖像數(shù)據(jù)上執(zhí)行相關(guān)值檢測處理，從而在由所選擇的圖像數(shù)據(jù)表示的圖像上掃描模板，并在各個掃描位置處檢測表示目標圖像與模板之間的相似程度的相關(guān)值。在第一實施例中，通過計算重疊像素之間的亮度水平的絕對差的總和，執(zhí)行各相關(guān)值的檢測，但是代替該處理，可以使用各種其它技術(shù)，例如，通過以二進制格式表示目標圖像和模板中的每一個進行邏輯運算。
面部檢測中心8D基于預定閾值對于以這種方式所檢測到的相關(guān)值進行判定，從而檢測面部的拍攝圖像所占的區(qū)域。面部檢測中心8D在其存儲器中保持多種模板，每個模板在水平和垂直方向上被設置成相同的采樣率并且分別對應于不同的面部，例如，從正面拍攝的面部圖像、從斜正面拍攝的面部圖像、以及圓臉圖像。另外，面部檢測中心8D通過使用各具有相同大小的該多種模板，以同時并行方式執(zhí)行相關(guān)值檢測的處理序列，從而可靠地檢測面部的拍攝圖像所占的區(qū)域，而與不同的被攝體無關(guān)。
另外，面部檢測中心8D根據(jù)控制器8B的指令，執(zhí)行相關(guān)值檢測處理，同時根據(jù)由后面所述的重力方向傳感器13檢測到的攝像設備1的位置，對于多種模板校正目標圖像的位置以校正攝像設備1的位置和傾斜度，從而例如即使當用戶改變攝像設備1的位置以利用垂直視角拍攝圖像時，也能可靠地檢測面部的拍攝圖像所占的區(qū)域。
另外，面部檢測中心8D根據(jù)控制器8B的指令，切換掃描開始位置、掃描順序、以及掃描結(jié)束位置，從而以充分的精度短時間內(nèi)檢測到面部的拍攝圖像所占的區(qū)域。具體地，在許多情況下，如果將攝像設備1的圖像拍攝模式設置成例如用于拍攝人像的圖像拍攝模式的肖像模式，則人的面部的拍攝圖像位于屏幕的中央部分。因此，在這種情況下，面部檢測中心8D在控制器8B的控制下，在屏幕的中央開始掃描，并使得模板朝向屏幕外周成螺旋式地掃描，從而檢測人的面部的拍攝圖像所占的區(qū)域。另外，面部檢測中心8D在最外周處停止掃描以減少檢測面部所需的時間，從而以實際上充足的精度檢測面部的拍攝圖像所占的區(qū)域。相反，在合影的情況下，期望在屏幕的不同位置處檢測各個人的面部。因此，在這種情況下，面部檢測中心8D通過按照例如光柵掃描的順序進行掃描來檢測各面部的拍攝圖像所占的所有區(qū)域。
以這種方式，面部檢測中心8D將面部檢測的檢測結(jié)果D1，即通過對于相關(guān)值進行判定而檢測到的面部的拍攝圖像所占的區(qū)域的位置，與經(jīng)過面部檢測的模板大小一起通知給中央處理單元3。
控制器8B在中央處理單元3的控制下，控制分辨率轉(zhuǎn)換部分8A、圖像存儲器8C和面部檢測中心8D各自的操作。
圖像顯示部分9包括例如液晶顯示裝置及其外圍部分，并在中央處理單元3的控制下，顯示由記錄在圖像RAM 7上的監(jiān)控圖像數(shù)據(jù)所表示的圖像。另外，此時，圖像顯示部分9根據(jù)來自中央處理單元3的指令，基于來自面部檢測部分8的檢測結(jié)果，顯示具有矩形形狀的框以包圍面部。
因此，攝像設備1被構(gòu)造成可以將以運動圖像或靜態(tài)圖像的形式通過鏡頭2、圖像傳感器4和照相機信號處理部分6輸入的圖像數(shù)據(jù)顯示在用于監(jiān)控目的的圖像顯示部分9上，以允許根據(jù)來自用戶的指令確認面部的拍攝圖像所占的區(qū)域。
圖像壓縮/解壓縮部分10在中央處理單元3的控制下，獲取記錄在圖像RAM 7上的圖像數(shù)據(jù)，通過JPEG(Joint PhotographicCoding Experts Group，聯(lián)合圖形編碼專家組)或MPEG(MovingPicture Experts Group，運動圖像專家組)等技術(shù)壓縮該圖像數(shù)據(jù)，并以圖像文件的形式將表示處理結(jié)果的圖像數(shù)據(jù)記錄在圖像記錄介質(zhì)12上。與該處理相對的，圖像壓縮/解壓縮部分10對記錄在圖像記錄介質(zhì)12上的圖像文件進行解壓縮，并將表示處理結(jié)果的圖像數(shù)據(jù)記錄在圖像RAM 7上。
因此，攝像設備1被構(gòu)造成可以將以運動圖像或靜態(tài)圖像的形式獲取的攝像結(jié)果記錄在圖像記錄介質(zhì)12上，并可以對記錄在圖像記錄介質(zhì)12上的圖像數(shù)據(jù)文件進行各種處理。
圖像記錄介質(zhì)12可以是存儲卡、光盤、磁盤和磁帶等各種記錄介質(zhì)中的任何一種，并記錄從圖像壓縮/解壓縮部分10和中央處理單元3輸出的各種數(shù)據(jù)，且將所記錄的各種數(shù)據(jù)輸出給圖像壓縮/解壓縮部分10和中央處理單元3中的每一個。另外，圖像記錄介質(zhì)12可以是可拆卸型或者難以移去的內(nèi)置型，或者是這兩種類型。
另外，圖像壓縮/解壓縮部分10通過有線或無線數(shù)據(jù)通信部分代替使用該記錄介質(zhì)而與外部裝置進行圖像數(shù)據(jù)的通信。
因此，在攝像設備1中，圖像壓縮/解壓縮部分10構(gòu)成了與記錄介質(zhì)有關(guān)的用于獲取表示記錄在記錄介質(zhì)上的原始圖像的圖像數(shù)據(jù)的圖像獲取部分，并且還構(gòu)成了與外部裝置進行數(shù)據(jù)通信的數(shù)據(jù)通信部分。
因此，如果用戶選擇靜態(tài)圖像的圖像拍攝模式，則攝像設備1以靜態(tài)圖像的形式從圖像傳感器4順次獲取攝像結(jié)果，且在照相機信號處理部分6中對該攝像結(jié)果進行信號處理，然后將處理后的攝像結(jié)果存儲在圖像RAM 7中，還使圖像顯示部分9以靜態(tài)圖像的形式顯示存儲在圖像RAM 7中的攝像結(jié)果，使得用戶可以監(jiān)控攝像目標。另外，在該監(jiān)控狀態(tài)期間，如果用戶操作觸發(fā)開關(guān)(未示出)，則攝像設備1以靜態(tài)圖像的形式獲取攝像結(jié)果，而不是到目前以運動圖像的形式拍攝的攝像結(jié)果，并將所獲取的攝像結(jié)果存儲在圖像RAM 7中，還使圖像顯示部分9以靜態(tài)圖像的形式顯示存儲在圖像RAM 7中的攝像結(jié)果，使得用戶可以監(jiān)控該攝像結(jié)果。另外，如果用戶指示攝像設備1記錄該攝像結(jié)果，則攝像設備1利用圖像壓縮/解壓縮部分10以靜態(tài)圖像的形式對存儲在圖像RAM7中的圖像數(shù)據(jù)進行壓縮，并將壓縮后的圖像數(shù)據(jù)記錄在圖像記錄介質(zhì)12上。
因此，如果用戶選擇運動圖像的圖像拍攝模式，則攝像設備1以運動圖像的形式從圖像傳感器4順次獲取攝像結(jié)果，并在照相機信號處理部分6中對該攝像結(jié)果進行信號處理，然后將處理后的攝像結(jié)果存儲在圖像RAM 7中，還使圖像顯示部分9以運動圖像的形式顯示存儲在圖像RAM 7中的攝像結(jié)果，使得用戶在這種情況下也可以監(jiān)控攝像目標。另外，在該監(jiān)控狀態(tài)期間，如果用戶操作觸發(fā)開關(guān)，則攝像設備1使得圖像壓縮/解壓縮部分10對存儲在圖像RAM 7中的圖像數(shù)據(jù)進行順次壓縮，并將壓縮后的圖像數(shù)據(jù)記錄在圖像記錄介質(zhì)12上。
另外，如果用戶指示攝像設備1以靜態(tài)圖像或運動圖像的形式再現(xiàn)記錄在圖像記錄介質(zhì)12上的圖像文件，則攝像設備1從圖像記錄介質(zhì)12中獲取表示該圖像文件的圖像數(shù)據(jù)，使得圖像壓縮/解壓縮部分10對該圖像數(shù)據(jù)進行解壓縮，并將表示該處理結(jié)果的圖像數(shù)據(jù)存儲在圖像RAM 7中。另外，攝像設備1根據(jù)存儲在圖像RAM7中的圖像數(shù)據(jù)生成監(jiān)控圖像數(shù)據(jù)，并使得圖像顯示部分9顯示由該監(jiān)控圖像數(shù)據(jù)所表示的圖像。
重力方向傳感器13包括用于檢測不同方向上的加速度的加速度傳感器和用于處理從加速度傳感器輸出的檢測結(jié)果并檢測重力加速度方向的信號處理部分，并且重力方向傳感器13檢測攝像設備1的位置并將所檢測到的位置通知給中央處理單元3。
存儲器14由非易失性存儲器和易失性存儲器形成，并記錄中央處理單元3的程序、中央處理單元3的處理所需的數(shù)據(jù)等，而且還為中央處理單元3形成工作區(qū)等。
中央處理單元3是用于控制攝像設備1的操作的控制部分，并響應于用戶所進行的操作執(zhí)行記錄在存儲器14上的程序，以控制各部分的操作。在第一實施例中，以預先安裝在攝像設備1中的形式提供該程序，但是可以以記錄在光盤、磁盤或存儲卡等各種記錄介質(zhì)上而不是預先安裝的形式提供該程序，而且還可以通過從因特網(wǎng)等網(wǎng)絡下載來提供該程序。
中央處理單元3執(zhí)行該程序的處理序列，以響應于來自用戶的指令以運動圖像或靜態(tài)圖像的形式獲取攝像結(jié)果，并將所獲取的攝像結(jié)果顯示在圖像顯示部分9上，并且中央處理單元3還將該攝像結(jié)果記錄在圖像記錄介質(zhì)12上。此時，中央處理單元3指示面部檢測部分8進行操作，并獲取檢測結(jié)果D1，并且基于檢測結(jié)果D1獲取表示面部的拍攝圖像所占的區(qū)域的圖像數(shù)據(jù)?；谒@取的圖像數(shù)據(jù)，中央處理單元3控制鏡頭2的光圈和調(diào)焦以執(zhí)行自動光圈控制和自動調(diào)焦控制，并且還控制照相機信號處理部分6中的白平衡調(diào)整。
具體地，中央處理單元3控制鏡頭2的光圈以將面部的拍攝圖像所占的區(qū)域維持在給定的亮度水平，從而執(zhí)行自動光圈控制處理。另外，中央處理單元3結(jié)合使用基于橫跨整個屏幕所測量的平均亮度水平等的現(xiàn)有技術(shù)的光圈控制技術(shù)執(zhí)行光圈控制處理，從而使得即使例如在風景的拍攝圖像中未檢測到面部的拍攝圖像所占的區(qū)域，也可以可靠地執(zhí)行光圈控制。
另外，基于面部的拍攝圖像所占的區(qū)域的大小，中央處理單元3估計距拍攝了其面部圖像的人的距離，并基于該距離執(zhí)行調(diào)焦控制。同樣在這種情況下，中央處理單元3結(jié)合使用所謂的爬山方法等現(xiàn)有技術(shù)的調(diào)焦控制執(zhí)行調(diào)焦控制處理，該爬山方法用于在高頻成分的信號水平增大的方向上持續(xù)地對調(diào)焦進行可變控制，從而使得即使未檢測到面部的拍攝圖像所占的區(qū)域，也可以可靠地執(zhí)行調(diào)焦控制。
另外，中央處理單元3校正各顏色信號的增益，并調(diào)整白平衡使得面部的拍攝圖像所占的區(qū)域的色相(hue)等于具有固定值的膚色的色相。同樣在這種情況下，中央處理單元3結(jié)合現(xiàn)有技術(shù)執(zhí)行白平衡調(diào)整，從而使得即使未檢測到面部的拍攝圖像所占的區(qū)域，也可以可靠地執(zhí)行白平衡調(diào)整。另外，關(guān)于與現(xiàn)有技術(shù)的結(jié)合，可以使用廣范圍的現(xiàn)有技術(shù)的結(jié)合，該現(xiàn)有技術(shù)例如僅當未檢測到面部的拍攝圖像所占的區(qū)域為大于給定區(qū)域的區(qū)域時應用現(xiàn)有技術(shù)的方法；以及通過使用基于面部的拍攝圖像所占的區(qū)域的區(qū)域等的加權(quán)系數(shù)，對包括基于現(xiàn)有技術(shù)的控制變量的控制變量進行加權(quán)求和的方法。
另外，如果用戶輸入指令以基于已進行的上述自動光圈控制、自動調(diào)焦控制和白平衡調(diào)整顯示該區(qū)域，則中央處理單元3指示圖像顯示部分9顯示包圍面部的框。另外，基于用戶預先定義的操作模式的設置，中央處理單元3將面部檢測部分8的檢測結(jié)果D1記錄在圖像記錄介質(zhì)12上，作為附到相應圖像文件的圖像附加信息D2或作為與相應圖像文件相關(guān)聯(lián)的單獨文件。
另外，如果用戶輸入指令以為了監(jiān)控目的顯示記錄在圖像記錄介質(zhì)12上的圖像文件，則中央處理單元3指示各部分以使圖像顯示部分9顯示記錄在圖像記錄介質(zhì)12上的圖像文件。此時，在圖像文件的圖像附加信息D2被記錄在圖像記錄介質(zhì)12上的情況下，如果用戶輸入指令以顯示包圍面部的框，則中央處理單元3指示圖像顯示部分9基于記錄在圖像記錄介質(zhì)12上的圖像附加信息D2顯示包圍該面部的框。
另外，如果當用戶輸入指令以顯示包圍面部的框時圖像附加信息D2未被記錄在圖像記錄介質(zhì)12上，則中央處理單元3指示面部檢測部分8開始處理從圖像記錄介質(zhì)12再現(xiàn)的并被記錄在圖像RAM 7上的圖像數(shù)據(jù)的操作，并獲取與面部的拍攝圖像所占的區(qū)域相對應的檢測結(jié)果D1。另外，中央處理單元3指示圖像顯示部分9基于所獲取的檢測結(jié)果D1顯示包圍面部的框。
另外，當再現(xiàn)記錄在圖像記錄介質(zhì)12上的圖像文件且用戶輸入指令以基于該人進行圖像校正時，中央處理單元3基于面部的拍攝圖像所占的區(qū)域，以與圖像拍攝期間所進行的自動調(diào)焦和白平衡調(diào)整類似的方式，校正存儲在圖像RAM 7中的圖像數(shù)據(jù)的亮度水平和色相，并將校正后的圖像數(shù)據(jù)顯示在圖像顯示部分9上。另外，根據(jù)來自用戶的指令，中央處理單元3將以上述方式對亮度水平和色相校正后的圖像文件記錄在圖像記錄介質(zhì)12上?？梢酝ㄟ^將該圖像數(shù)據(jù)發(fā)送到照相機信號處理部分6并使得該圖像數(shù)據(jù)經(jīng)過照相機信號處理部分6的處理，來執(zhí)行亮度水平和色相的校正，或者可以代替該處理通過在中央處理單元3中處理該圖像數(shù)據(jù)來執(zhí)行該校正。
因此，攝像設備1基于由面部檢測部分8檢測到的特定被攝體的拍攝圖像所占的區(qū)域，不同地控制攝像系統(tǒng)和信號處理系統(tǒng)中的每一個的操作。
圖4是有助于解釋負責利用面部檢測部分8檢測特定被攝體的拍攝圖像所占的區(qū)域的處理的中央處理單元3的處理序列的示意圖。在第一實施例中，中央處理單元3相對于單一大小的模板TP通過逐步順次改變待處理目標的圖像大小來檢測面部的拍攝圖像所占的區(qū)域，從而高速檢測特定被攝體的拍攝圖像所占的區(qū)域并適當設置優(yōu)先級順序。
具體地，如果在肖像模式或用于拍攝用戶自己的圖像的自拍模式等圖像拍攝模式下拍攝圖像，則趨于拍攝少數(shù)人的近景，使得主要被攝體的面部在攝像結(jié)果中占較大面積。因此，在圖4所示的例子中，在由存儲在圖像RAM 7中的原始圖像數(shù)據(jù)所表示的原始圖像G0中，判斷出主要被攝體是面部K1被作為最大面部拍攝的人，面部K2和K3被作為小于面部K1的面部拍攝的人是所關(guān)心的被給予較低優(yōu)先級順序的人。
因此，在這種情況下，通過在逐步順次改變圖像大小的同時對處理目標的圖像與模板進行比較以首先檢測最大面部K1然后順次檢測被作為小于面部K1的面部拍攝的面部K2和K3，可以按從主要人物開始的順序來順次檢測各面部所占的區(qū)域。另外，在這種情況下，即使該處理在檢測到主要人物的面部后的給定階段停止，也可以在對于攝像設備1中所進行的處理來說實際上充足的精度范圍內(nèi)檢測由面部的拍攝圖像分別所占的區(qū)域。
具體地，在圖4所示的例子中，逐步順次降低由原始圖像數(shù)據(jù)所表示的原始圖像G0的分辨率以生成縮小圖像G7、G6、G5，……，G1，并且通過使用模板TP的模板匹配在縮小圖像G7、G6、G5，……，G1和原始圖像G0的每一個中檢測各面部的拍攝圖像所占的區(qū)域，使得在縮小圖像G6和G4中分別檢測到面部K1和K2，而在原始圖像G0中檢測到面部K3。因此，在這種情況下，為了按從最大拍攝面部開始的順序來順次檢測區(qū)域，如箭頭A所示，首先在以最大縮小比例表示原始圖像的縮小圖像G7中檢測各面部的拍攝圖像所占的區(qū)域，然后在向原始圖像G0的大小逐步順次放大待處理的各圖像大小的同時，順次檢測各其它圖像中的各面部的拍攝圖像所占的區(qū)域。以這種方式，可以按照檢測的優(yōu)先級順序檢測各面部的拍攝圖像所占的區(qū)域。
與該處理相反，如果在合影中包含較大數(shù)量人的拍攝圖像，則所拍攝的人的數(shù)量越大，越大程度上不必對縮小圖像執(zhí)行模板匹配。因為這個原因，在這種情況下，如箭頭B所示，在逐步順次縮小待處理圖像的同時，順次檢測各面部的拍攝圖像所占的區(qū)域，使得可以在開始該處理后的短時間內(nèi)檢測到各面部的拍攝圖像所占的區(qū)域。
另外，存在以下情況在風景模式等下所拍攝的圖像中不包含面部，并且即使在該圖像中包含面部，在相對風景背景的人物遠景和行人面部的拍攝圖像等許多情況下，面部的拍攝圖像所占的區(qū)域也非常小。同樣在這種情況下，估計出現(xiàn)占整個屏幕的大的面部是十分少見的情況。因此，在這種情況下，按從最小到最大面積的順序來逐步順次檢測面部，并且即使在該處理序列期間停止各面部的拍攝圖像所占的區(qū)域的檢測處理，也可以以實際上充分的精度檢測各面部的拍攝圖像所占的區(qū)域。
以這種方式，中央處理單元3執(zhí)行圖1和圖5所示的處理序列，并在逐步順次改變目標圖像大小的同時，檢測各面部的拍攝圖像所占的區(qū)域。參照圖1，當中央處理單元3開始該處理序列時，處理從步驟SP1進入步驟SP2，在步驟SP2，在照相機信號處理部分6的控制下，中央處理單元3生成表示原始圖像G0的圖像數(shù)據(jù)，并將該圖像數(shù)據(jù)存儲在圖像RAM 7中。在步驟SP3，中央處理單元3利用在面部檢測部分8中提供的控制器8B控制分辨率轉(zhuǎn)換部分8A和圖像存儲器8C的操作，并如圖6所示順次切換比例因子α以轉(zhuǎn)換表示存儲在圖像RAM 7中的原始圖像G0的圖像數(shù)據(jù)的分辨率，并將轉(zhuǎn)換后的圖像數(shù)據(jù)存儲在圖像RAM 7中，從而將表示縮小圖像G1～G7的圖像數(shù)據(jù)存儲在圖像RAM 7中。在這種情況下，如圖4中的箭頭B所示，可以以給定的比例因子順次縮小縮小圖像以生成具有不同分辨率的多個縮小圖像G1～G7。
然后，在步驟SP4，中央處理單元3判斷是按照從最大面部開始的順序還是按照從最小面部開始的順序來檢測各面部的拍攝圖像所占的區(qū)域。中央處理單元3基于圖像拍攝模式并基于作為面部檢測中心8D的過去檢測結(jié)果的到當前為止的連續(xù)幀的處理結(jié)果，執(zhí)行步驟SP4的判斷處理。具體地，如果攝像設備1的圖像拍攝模式被設置成肖像模式或自拍模式等可被預測用來拍攝少數(shù)人的近景圖像的圖像拍攝模式，則中央處理單元3判斷出按照從最大面部開始的順序檢測各面部的拍攝圖像所占的區(qū)域。另外，即使中央處理單元3由于這種圖像拍攝模式而不能判斷以相對較大面積拍攝一個到幾個人面部的圖像是否連續(xù)幾幀，中央處理單元3也判斷出按照從最大面部開始的順序檢測各面部的拍攝圖像所占的區(qū)域。
與該處理相反，如果將攝像設備1的圖像拍攝模式設置成風景模式等可被預測用來拍攝具有相對較小面積的多個人的圖像的圖像拍攝模式，則中央處理單元3判斷出按照從最小面部開始的順序檢測各面部的拍攝圖像所占的區(qū)域。另外，即使中央處理單元3由于這種圖像拍攝模式而不能判斷以相對較小面積拍攝多個面部的圖像是否連續(xù)幾幀，中央處理單元3也判斷出按照從最小面部開始的順序檢測各面部的拍攝圖像所占的區(qū)域。
如果中央處理單元3在步驟SP4不能判斷出以哪一順序來檢測各面部的拍攝圖像所占的區(qū)域，則中央處理單元3以根據(jù)初始設置的任一順序進行面部檢測，而在第一實施例中，將初始設置設置成按照從最大面部開始的順序進行面部檢測。這些初始設置還可以使用攝像設備1的使用歷史、用戶設置等。
如果中央處理單元3在步驟SP4判斷出按照從最大面部開始的順序檢測各面部的拍攝圖像所占的區(qū)域，則處理從步驟SP4進入步驟SP5，在步驟SP5，中央處理單元3將存儲在圖像RAM 7中的表示縮小圖像G7的圖像數(shù)據(jù)裝載到圖像存儲器8C中，并將所裝載的圖像數(shù)據(jù)發(fā)送給面部檢測中心8D以將最小的縮小圖像G7設置成待處理的目標圖像，并且面部檢測中心8D通過模板匹配檢測各面部的拍攝圖像所占的區(qū)域。因而，在圖4所示的例子中，在縮小圖像G7中未檢測到各面部的拍攝圖像所占的區(qū)域。
然后，在步驟SP6，中央處理單元3將比縮小圖像G7大一步的縮小圖像G6設置成待處理的目標圖像并執(zhí)行類似處理，并檢測圖4所示的例子中的面部K1。另外，中央處理單元3順次重復該處理以通過使用縮小圖像G1～G7和原始圖像G0的模板匹配來檢測各面部的拍攝圖像所占的區(qū)域。另外，在該處理中，中央處理單元3根據(jù)圖像拍攝模式在面部檢測中心8D中指定掃描順序、掃描開始位置等。
中央處理單元3通過使用縮小圖像G1～G7和原始圖像G0逐步順次執(zhí)行面部檢測的處理，并判斷是否在給定處理階段停止該處理。因此，在圖1所示的處理中，當中央處理單元3在步驟SP7中處理縮小圖像G4時，中央處理單元3在步驟SP8判斷是否停止該處理。另外，可以在每一階段執(zhí)行判斷是否停止該處理的處理，還可以在基于用戶定義的設置等的階段執(zhí)行該處理。
在步驟SP8，中央處理單元3根據(jù)過去的檢測結(jié)果和圖像拍攝模式判斷是否停止該處理。具體地，如果在到目前為止進行的處理中已檢測到面部的拍攝圖像所占的區(qū)域，該區(qū)域?qū)诎鼑鷮⒁@示在圖像顯示部分9上的面部的框，則中央處理單元3判斷出停止該處理。另外，如果將圖像拍攝模式設置成例如肖像模式或自拍模式，則中央處理單元3判斷出在與所設置的圖像拍攝模式相對應的階段停止該處理。另外，中央處理單元3還可以基于用戶所定義的設置來判斷是否停止該處理。
因此，中央處理單元3從步驟SP8進入步驟SP9，并停止使用剩余的縮小圖像G3～G1和原始圖像G0的模板匹配的處理。然后，中央處理單元3基于過去的檢測結(jié)果并根據(jù)攝像部分的圖像拍攝模式，切換將要經(jīng)過模板匹配處理的縮小圖像。另外，在根據(jù)圖像拍攝模式切換目標圖像的過程中，可以代替切換在其結(jié)束該處理的縮小圖像或除此之外，執(zhí)行在其開始該處理的縮小圖像的切換。
中央處理單元3在步驟SP9判斷是否已獲取隨后幀的圖像，如果在步驟SP9判斷出已獲取了隨后幀的圖像，則中央處理單元3返回到步驟SP2并重復該處理。如果在步驟SP9判斷出仍未獲取隨后幀的圖像，則中央處理單元3從步驟SP9進入步驟SP10并結(jié)束該處理序列。
相反，如果在步驟SP8中結(jié)果為否定，則中央處理單元3通過使用剩余的縮小圖像G3～G1和原始圖像G0來順次執(zhí)行模板匹配的處理，并進入步驟SP9。
與該處理相反，如果中央處理單元3在步驟SP4判斷出按照從最小面部開始的順序檢測各面部的拍攝圖像所占的區(qū)域，則處理從步驟SP4進入步驟SP13，在步驟SP13，中央處理單元3將存儲在圖像RAM 7中的表示原始圖像G0的圖像數(shù)據(jù)裝載到圖像存儲器8C中，并將所裝載的圖像數(shù)據(jù)發(fā)送給面部檢測中心8D以將最大的原始圖像G0設置成待處理的目標圖像，并且面部檢測中心8D通過模板匹配檢測各面部的拍攝圖像所占的區(qū)域。因此，在圖4所示的例子中，在原始圖像G0中檢測到最小面部K3。
然后，在步驟SP14，中央處理單元3將比原始圖像G0小一步的縮小圖像G1設置成待處理的目標圖像并執(zhí)行類似的處理，并且順次重復該處理以按照從最小圖像開始的順序通過使用縮小圖像G1～G7和原始圖像G0的模板匹配來檢測各面部的拍攝圖像所占的區(qū)域。另外，同樣在該處理中，中央處理單元3根據(jù)圖像拍攝模式等在面部檢測中心8D中指定掃描順序、掃描開始位置等。
中央處理單元3通過使用縮小圖像G1～G7和原始圖像G0按照從最小圖像開始的順序逐步順次執(zhí)行面部檢測的處理，并判斷是否在給定處理階段停止該處理。因此，在圖5所示的處理中，當中央處理單元3在步驟SP15中處理縮小圖像G4時，中央處理單元3在步驟SP16中判斷是否停止該處理。另外，可以在每一階段執(zhí)行判斷是否停止該處理的處理，還可以在基于用戶所定義的設置等的階段執(zhí)行該處理。
在步驟SP15，中央處理單元3根據(jù)過去的檢測結(jié)果判斷是否停止該處理。具體地，例如，如果在過去的階段已檢測到面部的拍攝圖像所占的區(qū)域后不能在幾個連續(xù)步驟期間檢測到面部的拍攝圖像所占的區(qū)域，而且，如果在過去的連續(xù)幀期間仍未檢測到后來所拍攝的面部圖像所占的區(qū)域，則中央處理單元3判斷出停止該處理。另外，例如，中央處理單元3可用于在風景模式期間的給定階段后停止處理。因此，中央處理單元3可用于根據(jù)圖像拍攝模式判斷是否停止該處理，還用于基于用戶所定義的設置判斷是否停止該處理。
因此，在這種情況下，中央處理單元3從步驟SP16進入步驟SP9，并停止使用剩余的縮小圖像G5～G7的模板匹配的處理。另外，在步驟SP9，中央處理單元3判斷是否已獲取了隨后幀的圖像，如果在步驟SP9判斷出已獲取了隨后幀的圖像，則中央處理單元3返回到步驟SP2并重復該處理。相反，如果在步驟SP9判斷出仍未獲取隨后幀的圖像，則中央處理單元3從步驟SP9進入步驟SP10并結(jié)束該處理。因此，同樣在這種情況下，中央處理單元3基于過去的檢測結(jié)果而且根據(jù)攝像部分的圖像拍攝模式，切換將要經(jīng)過模板匹配處理的縮小圖像。同樣在這種情況下，可以代替切換在其結(jié)束該處理的縮小圖像或除此之外，通過切換在其開始該處理的縮小圖像來切換待處理的目標圖像。
相反，如果在步驟SP16中結(jié)果為否定，則中央處理單元3通過使用剩余的縮小圖像G5～G7來順次執(zhí)行模板匹配的處理，并進入步驟SP9。
另外，代替預先準備具有不同大小的多種縮小圖像并將其存儲在圖像RAM 7中以使在每一階段執(zhí)行模板匹配的處理，還可以采用如下結(jié)構(gòu)每當在各個階段執(zhí)行模板匹配的處理時，準備具有相應大小的縮小圖像。根據(jù)該結(jié)構(gòu)，可以省略準備不必要的縮小圖像的處理，而且，由于可以省略將與縮小圖像有關(guān)的圖像數(shù)據(jù)寫入圖像RAM 7中的處理，因而處理所需的時間可以減少這些量。另外，在這種情況下，代替縮小原始圖像，還可以縮小在前一階段使用的縮小圖像并生成在隨后階段處理的縮小圖像。
以這種方式，中央處理單元3逐步順次檢測各面部的拍攝圖像所占的區(qū)域，并基于各面部的拍攝圖像所占的區(qū)域的位置信息，從面部檢測中心8D獲取面部檢測結(jié)果D1。
如圖7A和7B所示，中央處理單元3通過經(jīng)過面部檢測的縮小圖像G6的比例因子α分割模板TP的大小，且通過該比例因子α來放大模板TP的大小，并根據(jù)該放大后的大小和與面部檢測結(jié)果D1相對應的位置信息來計算原始圖像G0上的面部的拍攝圖像所占的區(qū)域。然后，中央處理單元3使用單一大小的模板TP校正面部檢測結(jié)果D1。另外，基于校正后的面部檢測結(jié)果D1，中央處理單元3指示圖像顯示部分9顯示包圍該面部的框。中央處理單元3還基于校正后的面部檢測結(jié)果D1生成圖像附加信息D2。
另外，在以這種方式校正后的面部檢測結(jié)果D1上，中央處理單元3獲取表示面部的拍攝圖像所占的區(qū)域的圖像數(shù)據(jù)并執(zhí)行光圈控制、調(diào)焦控制和白平衡調(diào)整的處理。此時，中央處理單元3基于檢測順序設置優(yōu)選級順序，并當根據(jù)例如按照從最大面部開始的順序的該優(yōu)先級順序檢測各面部的拍攝圖像所占的區(qū)域時，基于最大拍攝面部執(zhí)行光圈控制、調(diào)焦控制和白平衡調(diào)整的處理。此時，如果還檢測到其它面部的拍攝圖像所占的區(qū)域，則中央處理單元3參考該區(qū)域的亮度水平、以及大小等執(zhí)行光圈控制、調(diào)焦控制和白平衡調(diào)整的處理。該處理包括例如用于對從各區(qū)域發(fā)現(xiàn)的控制變量進行加權(quán)求和以計算最終控制變量，并基于該最終控制變量執(zhí)行光圈控制等處理的處理。
(2)第一實施例的操作在具有上述結(jié)構(gòu)的攝像設備1(圖2)中，通過圖像傳感器4以運動圖像或靜態(tài)圖像的形式獲取攝像結(jié)果，并通過照相機信號處理部分6對其進行各種校正，并將校正后的攝像結(jié)果存儲在圖像RAM 7中。根據(jù)來自用戶的指令，存儲在圖像RAM 7中的攝像結(jié)果經(jīng)過在圖像顯示部分9上的監(jiān)控，被圖像壓縮/解壓縮部分10進行壓縮，并將其記錄在圖像記錄介質(zhì)12上。另外，可以將攝像結(jié)果通過輸入/輸出端子輸出給外部裝置。
在該處理過程中，在攝像設備1中，通過照相機信號處理部分6中的分辨率轉(zhuǎn)換處理生成監(jiān)控圖像數(shù)據(jù)，并使用該監(jiān)控圖像數(shù)據(jù)以監(jiān)控圖像顯示部分9上的攝像結(jié)果。還可以將監(jiān)控圖像數(shù)據(jù)設置成表示要經(jīng)過面部檢測的原始圖像的圖像數(shù)據(jù)，并將其輸入到面部檢測部分8的分辨率轉(zhuǎn)換部分8A(圖3)，在分辨率轉(zhuǎn)換部分8A中，將輸入的圖像數(shù)據(jù)的分辨率降低預定值以生成表示縮小圖像的圖像數(shù)據(jù)。表示縮小圖像的該圖像數(shù)據(jù)通過圖像存儲器8C被存儲在圖像RAM 7中。在攝像設備1中，重復分辨率轉(zhuǎn)換部分8A和圖像存儲器8C的處理，使得將表示相對于原始圖像逐步順次降低了分辨率的多個縮小圖像的圖像數(shù)據(jù)存儲在圖像RAM 7中。
在攝像設備1中，以這種方式預先生成表示多個縮小圖像的圖像數(shù)據(jù)并將其存儲在圖像RAM 7中，并將該圖像數(shù)據(jù)順次發(fā)送給面部檢測中心8D。通過使用模板的模板匹配來處理該圖像數(shù)據(jù)，以在縮小圖像中檢測與模板相對應的特定被攝體的拍攝圖像所占的區(qū)域。在攝像設備1中，將特定被攝體設置成人的面部，并且在面部檢測中心8D中，按照其分辨率逐步順次改變的順序來處理該多個縮小圖像。因此，按照從最大被攝體開始的順序或按照從最小被攝體開始的順序來檢測各特定被攝體的拍攝圖像所占的區(qū)域，使得可以基于檢測的順序來設置優(yōu)先級順序。另外，可以在必要時停止該處理以在短時間內(nèi)檢測到目的區(qū)域，使得可以高速檢測到各面部的拍攝圖像所占的區(qū)域以適當設置優(yōu)先級順序。
另外，由于在以上述方式逐步順次改變分辨率的同時通過模板匹配來處理縮小圖像，因而可以通過使用單一大小的模板來檢測各面部的拍攝圖像所占的不同大小的區(qū)域，使得攝像設備1的結(jié)構(gòu)可以簡化這些量。
在攝像設備1中，與待處理目標有關(guān)的圖像數(shù)據(jù)是通過用作攝像部分的圖像傳感器4和照相機信號處理部分6所獲取的圖像數(shù)據(jù)，并基于以這種方式所檢測到的各面部的拍攝圖像所占的區(qū)域來執(zhí)行光圈控制、調(diào)焦控制和白平衡調(diào)整，使得可以高速檢測到各特定被攝體的拍攝圖像所占的區(qū)域以適當設置優(yōu)先級順序。因此，在對用戶所期望的被攝體準確執(zhí)行光圈控制、調(diào)焦控制和白平衡調(diào)整的處理的同時，可以在短時間內(nèi)處理連續(xù)幀的各個圖像，并且可以可靠地執(zhí)行該處理。
另外，可以以相同的方式將從圖像記錄介質(zhì)12獲取的圖像數(shù)據(jù)和從數(shù)據(jù)通信部分獲取的圖像數(shù)據(jù)顯示在圖像顯示部分9上作為待處理的目標，而且，這些圖像數(shù)據(jù)可被進行各種校正并被可靠地處理。
另外，根據(jù)圖像拍攝模式和過去的檢測結(jié)果切換縮小圖像的處理順序，使得可以減少不必要的處理并可以在短時間內(nèi)檢測到預定被攝體的拍攝圖像所占的區(qū)域。
具體地，如果估計出拍攝了人的近景，則逐步順次處理具有不同分辨率的縮小圖像以按照從最大開始的順序檢測他們的面部，使得可以在短時間內(nèi)檢測到作為期望被攝體的面部的拍攝圖像所占的區(qū)域。相反，如果估計出拍攝了人的合影等，則逐步順次處理具有不同分辨率的縮小圖像以按照從最小開始的順序檢測他們的面部，使得可以在短時間內(nèi)檢測到作為期望被攝體的面部的拍攝圖像所占的區(qū)域。
另外，在以這種方式順次處理縮小圖像的情況下，可以通過根據(jù)圖像拍攝模式和過去的檢測結(jié)果中途停止該處理，而且改變該處理的開始以切換將經(jīng)過該處理的縮小圖像，省略不必要縮小圖像的處理。因此，可以在短時間內(nèi)檢測到作為期望被攝體的面部所占的區(qū)域。
因此，在攝像設備1中，在每個縮小圖像中檢測作為期望被攝體的面部的拍攝圖像所占的區(qū)域，并且根據(jù)各縮小圖像相對于原始圖像的大小將模板大小轉(zhuǎn)換成原始圖像上的大小，并在原始圖像上檢測特定被攝體的拍攝圖像所占的區(qū)域。另外，根據(jù)在原始圖像上所檢測到的大小來執(zhí)行光圈控制等處理。
在該處理過程中，在攝像設備1中，根據(jù)檢測順序設置優(yōu)先級順序，并處理面部檢測的檢測結(jié)果，使得可以通過簡單處理可靠地執(zhí)行調(diào)焦控制等處理。
(3)第一實施例的優(yōu)點根據(jù)上述結(jié)構(gòu)，縮小圖像按照其分辨率逐步順次改變的順序順次經(jīng)過模板匹配，從而檢測特定被攝體的拍攝圖像分別所占的區(qū)域。因此，可以高速檢測到特定被攝體的拍攝圖像分別所占的區(qū)域，并且可以適當?shù)卦O置優(yōu)先級順序。
另外，獲取待處理的目標圖像的圖像獲取部分是攝像部分，使得如果將第一實施例應用于攝像設備，則可以通過在調(diào)焦控制、光圈控制、以及白平衡調(diào)整等中有效地使用檢測結(jié)果來提高攝像設備的有用性。
另外，由于圖像獲取部分是與記錄介質(zhì)有關(guān)的攝像部分，或者圖像獲取部分具有與外部裝置的數(shù)據(jù)通信有關(guān)的結(jié)構(gòu)，因而可以通過在監(jiān)控記錄在記錄介質(zhì)上的攝像結(jié)果等中有效地使用檢測結(jié)果來提高攝像設備的有用性。
此時，按照其分辨率順次增大的順序或者按照其分辨率順次降低的順序來處理縮小圖像，使得當拍攝期望被攝體的近景或遠景的圖像時，可以在短時間內(nèi)檢測到該期望被攝體的拍攝圖像所占的區(qū)域。
如上所述，在每個縮小圖像中檢測作為期望被攝體的面部的拍攝圖像所占的區(qū)域，并根據(jù)各縮小圖像相對于原始圖像的大小將模板大小轉(zhuǎn)換成原始圖像上的大小，并在該原始圖像上檢測特定被攝體的拍攝圖像所占的區(qū)域。因此，可基于特定被攝體的拍攝圖像所占的區(qū)域來執(zhí)行各種控制和處理，該區(qū)域在原始圖像上進行檢測。
另外，在逐步順次設置分辨率的每個縮小圖像中檢測特定被攝體的拍攝圖像分別所占的區(qū)域，并根據(jù)檢測順序設置特定被攝體的拍攝圖像所占區(qū)域的優(yōu)先級順序。因此，可以簡單且高度準確地設置優(yōu)先級順序，使得可以基于該優(yōu)先級順序不同地執(zhí)行控制和處理。
另外，基于過去的檢測結(jié)果而且根據(jù)圖像拍攝模式，切換多個縮小圖像的處理順序，使得可以在處理開始后的短時間內(nèi)檢測到特定被攝體的拍攝圖像所占的區(qū)域。
另外，基于過去的檢測結(jié)果而且根據(jù)圖像拍攝模式，切換待處理的縮小圖像，使得可以省略縮小圖像的不必要處理以更大程度地減少處理所需的時間。
下面說明本發(fā)明的第二實施例。
與圖4和6相比較，圖8是有助于解釋根據(jù)本發(fā)明第二實施例的攝像設備所執(zhí)行的處理的示意圖。在第二實施例中，生成將用作中間處理的參考的縮小圖像G4，并代替通過逐步順次切換比例因子的原始圖像的分辨率轉(zhuǎn)換處理，或者代替通過比例因子維持在恒定值的原始圖像的順次逐步分辨率轉(zhuǎn)換處理，而通過轉(zhuǎn)換參考縮小圖像G4的分辨率生成分辨率低于縮小圖像G4的縮小圖像G5～G7。另外，通過轉(zhuǎn)換原始圖像G0的分辨率生成分辨率大于縮小圖像G4的縮小圖像G1～G3。
根據(jù)第二實施例，生成用作中間處理的參考的縮小圖像，并根據(jù)該參考縮小圖像和原始圖像生成縮小圖像，使得提高了記錄和保持這些縮小圖像的存儲器的訪問效率，而且，可以簡化該存儲器的地址控制。
以下說明本發(fā)明的第三實施例。
圖9是示出根據(jù)本發(fā)明第三實施例的記錄和再現(xiàn)設備的框圖。記錄和再現(xiàn)設備21是例如DVD(Digital Versatile Disk，數(shù)字通用光盤)記錄器，該記錄器通過圖像處理部分22處理從未示出的調(diào)諧器獲得的視頻內(nèi)容，然后使用光盤將處理后的視頻內(nèi)容記錄在記錄介質(zhì)12上。在記錄和再現(xiàn)設備21中，使用相同的附圖標記表示與第一實施例有關(guān)的上述攝像設備1中所使用的相應元件相同的構(gòu)成元件，并省略相同說明的重復。
中央處理單元23通過執(zhí)行記錄在存儲器24上的處理程序控制各部分的操作以控制記錄和再現(xiàn)設備21的操作。在該控制序列中，如果用戶給出指令以檢測特定被攝體，則通過面部檢測部分8檢測該特定被攝體的拍攝圖像所占的區(qū)域，并將檢測結(jié)果顯示在圖像顯示部分9上。順便提及，該特定被攝體是例如用戶喜愛的男演員。
即使在應用于處理記錄和再現(xiàn)設備中的各種視頻內(nèi)容的第三實施例的情況下，也可以獲得與第一實施例的優(yōu)點類似的優(yōu)點。
以下說明本發(fā)明的第四實施例。
在上面第一實施例的說明中，參考了進行光圈控制使得在最高優(yōu)先級順序的面部的拍攝圖像所占的區(qū)域中將亮度水平維持在預定值的情況，還參考了利用基于該區(qū)域和其它面部的拍攝圖像所占的區(qū)域的加權(quán)求和的最終控制變量執(zhí)行光圈控制處理的情況。然而，本發(fā)明不局限于這兩種情況中的任何一種，并且控制攝像設備的光圈和電荷存儲時間，使得將亮度水平維持在預定值，同時，控制景深(depth of field)。在這種情況下，即使距各種被攝體的距離相互不同，也可以將景深設置成防止在這些不同距離范圍內(nèi)散焦，從而更大程度地提高該設備的有用性。
以上對第一到第四實施例中的任何一個的說明都參考了檢測面部的拍攝圖像所占的區(qū)域的情況，但是本發(fā)明不局限于這種情況，而可以廣泛應用于將各種模板應用于檢測各種被攝體的拍攝圖像所占的區(qū)域的各種情況，例如，需要檢測用戶孩子的拍攝圖像所占的區(qū)域的情況。
在以上對第一到第四實施例的說明中，參考了將本發(fā)明應用于攝像設備和使用光盤的記錄和再現(xiàn)設備的情況，但是本發(fā)明不局限于這種情況，而可廣泛應用于使用各種記錄介質(zhì)的記錄和再現(xiàn)設備、以及打印機等圖像處理設備。本發(fā)明還可應用于計算機等的圖像處理軟件。
本發(fā)明包含與2005年11月14日在日本專利局提交的日本專利申請JP2005-328256號有關(guān)的主題，其全部內(nèi)容通過參考包含在此。
權(quán)利要求
1.一種圖像處理設備，其包括圖像獲取部分，用于獲取原始圖像；分辨率轉(zhuǎn)換部分，用于轉(zhuǎn)換由所述圖像獲取部分所獲取的所述原始圖像的分辨率，并生成具有不同分辨率的多個縮小圖像；檢測部分，用于通過使用模板的模板匹配來處理由所述分辨率轉(zhuǎn)換部分生成的所述多個縮小圖像，并從所述縮小圖像中檢測與所述模板相對應的特定被攝體的拍攝圖像所占的區(qū)域；以及檢測結(jié)果處理部分，用于通過處理由所述檢測部分所獲得的檢測結(jié)果，在所述原始圖像上檢測所述特定被攝體的所述拍攝圖像所占的所述區(qū)域，所述檢測部分通過按照分辨率逐步順次改變的順序處理所述多個縮小圖像，來檢測所述特定被攝體的所述拍攝圖像所占的所述區(qū)域。
2.根據(jù)權(quán)利要求1所述的圖像處理設備，其特征在于，所述圖像獲取部分是基于攝像結(jié)果獲取與所述原始圖像有關(guān)的圖像數(shù)據(jù)的攝像部分，并且所述圖像處理設備具有記錄由所述攝像部分所獲取的所述圖像數(shù)據(jù)的記錄介質(zhì)。
3.根據(jù)權(quán)利要求1所述的圖像處理設備，其特征在于，所述圖像獲取部分是與記錄介質(zhì)相關(guān)的用于獲取與記錄在所述記錄介質(zhì)上的所述原始圖像有關(guān)的圖像數(shù)據(jù)的圖像獲取部分。
4.根據(jù)權(quán)利要求1所述的圖像處理設備，其特征在于，所述圖像獲取部分是與外部裝置進行數(shù)據(jù)通信的數(shù)據(jù)通信部分。
5.根據(jù)權(quán)利要求1所述的圖像處理設備，其特征在于，還包括存儲部分，該存儲部分用于存儲和保持由所述分辨率轉(zhuǎn)換部分所生成的所述多個縮小圖像，其中，所述檢測部分順次處理記錄在所述存儲部分上的所述多個縮小圖像，并處理由所述分辨率轉(zhuǎn)換部分所生成的所述多個縮小圖像。
6.根據(jù)權(quán)利要求1所述的圖像處理設備，其特征在于，所述分辨率逐步順次改變的與所述檢測部分的所述處理有關(guān)的所述順序是所述分辨率順次增大的順序。
7.根據(jù)權(quán)利要求1所述的圖像處理設備，其特征在于，所述分辨率逐步順次改變的與所述檢測部分的所述處理有關(guān)的所述順序是所述分辨率順次降低的順序。
8.根據(jù)權(quán)利要求1所述的圖像處理設備，其特征在于，所述檢測結(jié)果處理部分基于所述縮小圖像相對于所述原始圖像的大小，將所述模板的大小轉(zhuǎn)換成所述原始圖像上的大小。
9.根據(jù)權(quán)利要求1所述的圖像處理設備，其特征在于，所述檢測結(jié)果處理部分基于由所述檢測部分進行檢測的檢測順序，在所述原始圖像上設置所述特定被攝體的所述拍攝圖像所占的所述區(qū)域的優(yōu)先級順序。
10.根據(jù)權(quán)利要求1所述的圖像處理設備，其特征在于，還包括控制各所述部分的操作的控制部分，其中，所述控制部分基于由所述檢測部分所獲得的過去的檢測結(jié)果，切換與所述檢測部分中的處理有關(guān)的所述多個縮小圖像的處理的順序。
11.根據(jù)權(quán)利要求2所述的圖像處理設備，其特征在于，還包括控制各所述部分的操作的控制部分，其中，所述控制部分根據(jù)在所述攝像部分中所設置的圖像拍攝模式，切換與所述檢測部分中的處理有關(guān)的所述多個縮小圖像的處理順序。
12.根據(jù)權(quán)利要求1所述的圖像處理設備，其特征在于，還包括控制各所述部分的操作的控制部分，其中，所述控制部分基于由所述檢測部分所獲得的過去的檢測結(jié)果，切換經(jīng)過所述檢測部分中的處理的所述縮小圖像。
13.根據(jù)權(quán)利要求2所述的圖像處理設備，其特征在于，還包括控制所述各部分的操作的控制部分，其中，所述控制部分根據(jù)在所述攝像部分中所設置的圖像拍攝模式，切換經(jīng)過所述檢測部分中的處理的所述縮小圖像。
14.一種圖像處理方法，其包括圖像獲取步驟，用于獲取原始圖像；分辨率轉(zhuǎn)換步驟，用于轉(zhuǎn)換在所述圖像獲取步驟中所獲取的所述原始圖像的分辨率，并生成具有不同分辨率的多個縮小圖像；檢測步驟，用于通過使用模板的模板匹配來處理在所述分辨率轉(zhuǎn)換步驟中所生成的所述多個縮小圖像，并從所述縮小圖像中檢測與所述模板相對應的特定被攝體的拍攝圖像所占的區(qū)域；以及檢測結(jié)果處理步驟，用于通過處理在所述檢測步驟中所獲得的檢測結(jié)果，在所述原始圖像上檢測所述特定被攝體的所述拍攝圖像所占的所述區(qū)域，所述檢測步驟通過按照分辨率逐步順次改變的順序處理所述多個縮小圖像，來檢測所述特定被攝體的所述拍攝圖像所占的所述區(qū)域。
全文摘要
一種圖像處理設備和圖像處理方法。該圖像處理設備包括圖像獲取部分，用于獲取原始圖像；分辨率轉(zhuǎn)換部分，用于轉(zhuǎn)換由圖像獲取部分所獲取的原始圖像的分辨率，并生成具有不同分辨率的多個縮小圖像；檢測部分，用于通過模板匹配來處理由分辨率轉(zhuǎn)換部分生成的多個縮小圖像，并從縮小圖像中檢測與模板相對應的特定被攝體的拍攝圖像所占的區(qū)域；以及檢測結(jié)果處理部分，用于通過處理由檢測部分所獲得的檢測結(jié)果，在原始圖像上檢測特定被攝體的拍攝圖像所占的區(qū)域，該檢測部分通過按照分辨率逐步順次改變的順序處理該多個縮小圖像，來檢測特定被攝體的拍攝圖像所占的區(qū)域。
文檔編號G06K9/20GK1967566SQ20061013814
公開日2007年5月23日 申請日期2006年11月14日 優(yōu)先權(quán)日2005年11月14日
發(fā)明者岡田深雪, 鈴木義弘 申請人:索尼株式會社