專利名稱：圖像處理設(shè)備、方法以及計算機程序存儲設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理設(shè)備、方法以及計算機程序存儲設(shè)備。具體而言，本發(fā)明涉及能夠獲取最佳拍攝圖像的圖像處理設(shè)備、方法以及計算機程序存儲設(shè)備。
背景技術(shù)：
最近，在諸如數(shù)字照相機之類的成像設(shè)備中提出了這樣的技術(shù)提供了檢測被攝人物的面部并檢測面部表情的面部表情檢測功能。當(dāng)面部表情檢測功能檢測到被攝體的面部表情是微笑時，自動地記錄拍攝到的圖像(參見專利文獻I)。[引用列表][專利文獻] PTL I:日本專利 No. 4197019

發(fā)明內(nèi)容
[技術(shù)問題]然而，如本發(fā)明人認識到的，利用專利文獻I中所描述的技術(shù)，對快門的觸發(fā)僅僅基于面部的表情，除面部以外的被攝體的狀態(tài)變化，諸如行走的人倒下時，孩子停止來回走動時等等，無法自動地被記錄為拍攝到的圖像。此外，專利文獻I中所描述的技術(shù)也無法應(yīng)用于除人以外的沒有面部表情的被攝體。本發(fā)明是在考慮到上文所描述的情況的背景下作出的，具體而言，本發(fā)明旨在更可靠地獲取最佳拍攝圖像。例如，根據(jù)本發(fā)明的一個實施例的示例性圖像處理設(shè)備包括被配置成創(chuàng)建位于第一圖像內(nèi)的第一框邊界和位于第二圖像內(nèi)的第二框邊界的處理器，第一圖像和所述第二圖像是時間上連續(xù)的圖像；以及被配置成檢測第一框邊界和第二框邊界之間的變化的控制器。圖像處理設(shè)備可選地包括快門，以及被配置成響應(yīng)于控制器檢測到第一框邊界和第二框邊界之間的變化而驅(qū)動快門并利用圖像傳感器來拍攝圖像的快門觸發(fā)機構(gòu)。第一框邊界和第二框邊界之間的變化可以是下列各項中的至少一項縱橫比的變化、形狀的變化以及位置變化。此外，第一框邊界和第二框邊界之間的變化也可以響應(yīng)于被攝體在第一框邊界和第二框內(nèi)的移動以及被攝體的特征變化中的一項而發(fā)生?？扉T觸發(fā)機構(gòu)可以被配置成在快門不活動達預(yù)定時間段之后驅(qū)動快門。此示例性的圖像處理設(shè)備可以處理視頻內(nèi)的第一圖像和第二圖像,其中，視頻包括在數(shù)字照相機和數(shù)字攝像機中的至少一個的取景器中拍攝到的圖像；并且，第一框邊界和第二框邊界在取景器內(nèi)可見。另外，處理器被配置成確定位于第一框邊界內(nèi)的第一較小框以及第二框邊界內(nèi)的第二較小框，以及當(dāng)?shù)谝惠^小框與第一框邊界的區(qū)域比率以及第二較小框與第二框邊界的區(qū)域比率滿足預(yù)定的準(zhǔn)則時，控制器檢測出第一框邊界和第二框邊界之間的變化。本發(fā)明的另一個示例性實施例是包括下列步驟的方法利用處理器確定位于第一圖像內(nèi)的第一框邊界和位于第二圖像內(nèi)的第二框邊界，第一圖像和第二圖像是時間上連續(xù)的圖像；以及檢測第一框邊界和第二框邊界之間的變化。此方法可選地響應(yīng)于檢測到第一框邊界和第二框邊界之間的變化而驅(qū)動快門并利用圖像傳感器來拍攝圖像。第一框邊界和第二框邊界之間的變化是下列各項中的至少一項縱橫比的變化、形狀的變化以及位置的變化。此外，第一框邊界和第二框邊界之間的變化是響應(yīng)于被攝體在第一框邊界和第二框內(nèi)的移動以及被攝體的特征變化中的一項而發(fā)生的?？梢栽诳扉T不活動達預(yù)定的時間段之后驅(qū)動快門。 該方法還可包括在數(shù)字照相機和數(shù)字攝像機中的至少一個的取景器中拍攝圖像；以及在取景器內(nèi)呈現(xiàn)第一框邊界和第二框邊界?？蛇x地，該方法可以確定位于第一框邊界內(nèi)的第一較小框以及第二框邊界內(nèi)的第二較小框，其中，當(dāng)?shù)谝惠^小框與第一框邊界的區(qū)域比率以及第二較小框與第二框邊界的區(qū)域比率滿足預(yù)定的準(zhǔn)則時，檢測出第一框邊界和第二框邊界之間的變化。本發(fā)明的另一個示例性實施例是具有當(dāng)由處理器執(zhí)行時執(zhí)行以下方法的指令的非瞬態(tài)計算機可讀存儲設(shè)備，所述方法包括利用處理器確定位于第一圖像內(nèi)的第一框邊界和位于第二圖像內(nèi)的第二框邊界，第一圖像和第二圖像是時間上連續(xù)的圖像；以及檢測第一框邊界和第二框邊界之間的變化。非瞬態(tài)計算機程序存儲設(shè)備還可響應(yīng)于檢測到第一框邊界和第二框邊界之間的變化而驅(qū)動快門并利用圖像傳感器來拍攝圖像，其中第一框邊界和第二框邊界之間的所述變化是下列各項中的至少一項縱橫比的變化、形狀的變化以及位置的變化?？梢栽跀?shù)字照相機和數(shù)字攝像機中的至少一個的取景器中拍攝圖像，其中，在取景器內(nèi)呈現(xiàn)第一框邊界和第二框邊界?？梢允褂玫牧硪粋€特征是確定位于第一圖像內(nèi)的第一較小框以及第二圖像內(nèi)的第二較小框，其中，檢測包括當(dāng)?shù)谝惠^小框與第一框邊界的區(qū)域比率和第二較小框與第二框邊界的區(qū)域比率滿足預(yù)定的準(zhǔn)則時，檢測出第一框邊界和第二框邊界之間的變化。


[圖I]圖I是示出了根據(jù)本發(fā)明的一個實施例的圖像處理設(shè)備的配置的例子的框圖。[圖2]圖2是示出了被攝體跟蹤單元的配置的例子的框圖。[圖3]圖3是示出了被攝體圖生成單元的配置的例子的框圖。[圖4]圖4是示出了被攝體候選區(qū)域矩形形成單元的配置的例子的框圖。[圖5]圖5是示出了被攝體區(qū)域選擇單元的配置的例子的框圖。[圖6]圖6是示出了被攝體跟蹤處理的流程圖。
[圖7]圖7是示出了被攝體圖生成處理的流程圖。[圖8]圖8是示出了被攝體圖生成處理的具體例子的圖形。[圖9]圖9是示出了被攝體候選區(qū)域矩形形成處理的流程圖。[圖10]圖10是示出了被攝體候選區(qū)域矩形形成處理的具體例子的示意圖。[圖11]圖11是示出了被攝體區(qū)域選擇處理的流程圖。[圖12]圖12是示出條帶顯著性圖的被攝體區(qū)域特征量之和的示意圖。[圖13]圖13是示出加權(quán)因子的示意圖。[圖14]圖14是示出了控制單元的功能配置的例子的框圖。
[圖15]圖15是示出了自動快門處理的流程圖。[圖16]圖16是示出被攝體區(qū)域的縱橫比的變化的示意圖。[圖17]圖17是示出了控制單元的功能配置的另一個例子的框圖。[圖18]圖18是示出了自動快門處理的流程圖。[圖19]圖19是示出了控制單元的功能配置的再一個例子的框圖。[圖20]圖20是示出了自動快門處理的流程圖。[圖21]圖21是示出預(yù)定區(qū)域內(nèi)的被攝體區(qū)域的縱橫比的變化的示意圖。[圖22]圖22是示出了圖像處理設(shè)備的配置的另一個例子的框圖。[圖23]圖23是示出了圖22所示出的控制單元的功能配置的例子的框圖。[圖24]圖24是示出了自動快門處理的流程圖。[圖25]圖25是示出被攝體區(qū)域和面部區(qū)域的比率變化的示意圖。[圖26]圖26是示出了控制單元的功能配置的另一個例子的框圖。[圖27]圖27是示出了自動快門處理的流程圖。[圖28]圖28是示出被攝體區(qū)域和面部區(qū)域的比率變化的示意圖。[圖29]圖29是示出了圖像處理設(shè)備的配置的再一個例子的框圖。[圖30]圖30是示出了圖29所示出的控制單元的功能配置的例子的框圖。[圖31]圖31是示出了幀標(biāo)識處理的流程圖。[圖32]圖32是示出了計算機的硬件配置的例子的框圖。
具體實施例方式下面將參考附圖來說明本發(fā)明的實施例。(圖像處理設(shè)備的配置的例子)圖I是示出了根據(jù)本發(fā)明一個實施例的圖像處理設(shè)備11的配置的例子的示意圖。在諸如拍攝移動體的圖像的數(shù)字攝像機和數(shù)字照相機之類的成像設(shè)備中提供了圖像處理設(shè)備11。圖像處理設(shè)備11包括光學(xué)系統(tǒng)31、成像器32、數(shù)字信號處理單元33、顯示單元34、控制單元35、透鏡驅(qū)動單元36、接口控制單元37以及用戶接口 38。光學(xué)系統(tǒng)31被形成為包括成像透鏡(在附圖中未示出)在內(nèi)的光學(xué)系統(tǒng)。進入光學(xué)系統(tǒng)31的光由成像器32進行光電轉(zhuǎn)換，成像器32是由諸如電荷耦合器件(CXD)之類的成像元件所形成的。成像器32光電轉(zhuǎn)換產(chǎn)生的電信號(模擬信號)由模擬-數(shù)字(A/D)轉(zhuǎn)換單元(在附圖中未示出)轉(zhuǎn)換為數(shù)字信號的圖像數(shù)據(jù)，該圖像數(shù)據(jù)被提供給數(shù)字信號處理單元33。數(shù)字信號處理單元33對從成像器32提供的圖像數(shù)據(jù)執(zhí)行預(yù)定信號處理。數(shù)字信號處理單元33包括預(yù)處理單元51、去馬賽克處理單元52、YC生成單元53、分辨率轉(zhuǎn)換單元54、被攝體跟蹤單元55以及編解碼器56。作為預(yù)處理，預(yù)處理單元51對來自成像器32的圖像數(shù)據(jù)執(zhí)行將R、G和B的黑電平鉗位到預(yù)定電平的鉗位處理，R、G和B的顏色通道之間的校正處理等等。去馬賽克處理單元52對經(jīng)過預(yù)處理單元51預(yù)處理的圖像數(shù)據(jù)執(zhí)行內(nèi)插像素的顏色分量以便圖像數(shù)據(jù)的每一個像素都具有全部顏色分量R、G和B的去馬賽克處理。YC生成單元53從已經(jīng)接受去馬賽克處理單元52的去馬賽克處理的R、G、B圖像數(shù)據(jù)生成(分離出)亮度(Y)信號和顏色(C)信號。分辨率轉(zhuǎn)換單元54對由YC生成單元53處理過的圖像數(shù)據(jù)執(zhí)行分辨率轉(zhuǎn)換處理。被攝體跟蹤單元55執(zhí)行被攝體跟蹤處理。被攝體跟蹤處理基于由YC生成單元53 所生成的亮度信號和顏色信號所形成的圖像數(shù)據(jù)，檢測對應(yīng)于圖像數(shù)據(jù)的輸入圖像中的被攝體，并跟蹤被攝體。這里，對被攝體執(zhí)行檢測的假設(shè)前提是被攝體是當(dāng)用戶看一眼輸入圖像時假定吸引了用戶注意力的輸入圖像中的對象，即，假定被用戶看著的對象。因此，被攝體不僅限于人。被攝體跟蹤單元55向控制單元35提供作為被攝體跟蹤處理的結(jié)果而獲取的關(guān)于被攝體框的數(shù)據(jù)。被攝體框表示輸入圖像中的一個區(qū)域，該區(qū)域包括被攝體。請注意，稍后將參考圖2來更詳細地描述被攝體跟蹤單元55。編解碼器56編碼由YC生成單元53或分辨率轉(zhuǎn)換單元54生成的圖像數(shù)據(jù)，并在必要時，編碼記錄在DRAM 40中的圖像數(shù)據(jù)。此外，編解碼器56將經(jīng)過編碼的圖像數(shù)據(jù)記錄到記錄介質(zhì)中(附圖中未示出)或解碼經(jīng)過編碼的圖像數(shù)據(jù)。由編解碼器56解碼的圖像數(shù)據(jù)或由分辨率轉(zhuǎn)換單元54獲取的圖像數(shù)據(jù)被輸送至顯示單元34并顯示在其上。顯示單元34由例如液晶顯示器構(gòu)成。顯示單元34根據(jù)控制單元35的控制,顯示對應(yīng)于從數(shù)字信號處理單元33提供的圖像數(shù)據(jù)的輸入圖像。控制單元35根據(jù)從接口控制單元37提供的控制信號來控制圖像處理設(shè)備11的
每一單元。例如，控制單元35向數(shù)字信號處理單元33提供用于進行各種類型的信號處理的參數(shù)等等。此外，控制單元35還從數(shù)字信號處理單元33獲取作為各種類型的信號處理的結(jié)果而獲得的數(shù)據(jù)，并將數(shù)據(jù)輸送至接口控制單元37。此外，控制單元35還基于從被攝體跟蹤單元55提供的關(guān)于被攝體框的數(shù)據(jù)，使被攝體框被顯示在顯示于顯示單元34的輸入圖像上。被攝體框表示輸入圖像中的一個區(qū)域，該區(qū)域包括被攝體。此外，控制單元35還驅(qū)動光學(xué)系統(tǒng)31中所包括的成像透鏡，并將控制信號提供給透鏡驅(qū)動單元36以調(diào)整光圈等等。此外，控制單元35還控制成像器32對輸入圖像的拍攝。用戶接口 38包括諸如按鈕、手柄、開關(guān)、麥克風(fēng)等等之類的輸入裝置，當(dāng)用戶向圖像處理設(shè)備11輸入命令時操作這些輸入裝置。此外，用戶接口 38包括諸如燈、揚聲器等等之類的向用戶呈現(xiàn)信息的輸出裝置。
例如，當(dāng)操作作為用戶接口 38的按鈕時，用戶接口 38通過接口控制單元37將根據(jù)操作產(chǎn)生的控制信號提供給控制單元35。(被攝體跟蹤單元的配置的例子)接下來，將參考圖2來說明圖I所示出的被攝體跟蹤單元55的配置的例子。圖2所示出的被攝體跟蹤單元55包括被攝體圖生成單元71、被攝體候選區(qū)域矩形形成單元72、被攝體區(qū)域選擇單元73以及加權(quán)因子計算單元74。對于輸入圖像的諸如亮度和顏色之類的每一個特征，被攝體圖生成單元71生成表示輸入圖像的預(yù)定幀的預(yù)定區(qū)域中的特征量的顯著性圖，并將所生成的顯著性圖提供給加權(quán)因子計算單元74。此外，被攝體圖生成單元還基于所生成的顯著性圖和從加權(quán)因子計算單元74提供的每一個特征量的加權(quán)因子，生成表示一個區(qū)域包括輸入圖像中的被攝體的可能性的被攝體圖。更具體而言，被攝體圖生成單元71執(zhí)行為每一個特征所生成的顯著性圖的每一 區(qū)域的信息(特征量)的加權(quán)加法，并由此生成被攝體圖。對于同一個位置中的每一個區(qū)域，執(zhí)行加權(quán)加法。被攝體圖生成單元71將所生成的被攝體圖輸送至被攝體候選區(qū)域矩形形成單元72。請注意，在每一顯著性圖中，帶有相對大信息量的區(qū)域，S卩，輸入圖像中與特征量大的區(qū)域相對應(yīng)的區(qū)域是包括被攝體的可能性較高的區(qū)域。相應(yīng)地，基于每一顯著性圖，可以在輸入圖像中識別包括被攝體的區(qū)域。在從被攝體圖生成單元71所提供的被攝體圖中，被攝體候選區(qū)域矩形形成單元72獲取構(gòu)成被攝體候選的區(qū)域，即，包括帶有被攝體圖中的大量信息的區(qū)域在內(nèi)的矩形區(qū)域，并將表示矩形區(qū)域的坐標(biāo)的坐標(biāo)信息提供給被攝體區(qū)域選擇單元73。此外，被攝體候選區(qū)域矩形形成單元72計算與被攝體圖上的坐標(biāo)信息所表示的矩形區(qū)域有關(guān)的信息(以下簡稱為"區(qū)域信息")，將區(qū)域信息與坐標(biāo)信息相關(guān)聯(lián)，并將它提供給被攝體區(qū)域選擇單元73?；趶谋粩z體候選區(qū)域矩形形成單元72提供的區(qū)域信息，被攝體區(qū)域選擇單元73從矩形區(qū)域選擇被攝體區(qū)域，該被攝體區(qū)域是包括作為跟蹤目標(biāo)的所關(guān)注被攝體的矩形區(qū)域。然后，被攝體區(qū)域選擇單元73將被攝體區(qū)域的坐標(biāo)信息提供給控制單元35(參見圖
I)和加權(quán)因子計算單元74。加權(quán)因子計算單元74計算用來加權(quán)在與從被攝體圖生成單元71提供的預(yù)定幀的每一特征量圖上的被攝體區(qū)域相對應(yīng)的區(qū)域中的特征量之中、對應(yīng)于相對大的特征量的下一幀的顯著性圖的加權(quán)因子。然后，加權(quán)因子計算單元74將計算出的加權(quán)因子提供給被攝體圖生成單元71。利用上文所描述的配置，被攝體跟蹤單元55可以為輸入圖像的每一幀獲取表示被攝體區(qū)域的被攝體框。(被攝體圖生成單元的配置的例子)接下來，將參考圖3來說明圖2所示出的被攝體圖生成單元71的配置的例子。如圖3所示，被攝體圖生成單元71包括顯著性圖生成單元111、條帶顯著性圖生成單元112、條帶顯著性圖合成單元113和合成顯著性圖合成單元114。利用輸入圖像的預(yù)定幀，顯著性圖生成單元111為每一個特征量生成表示與諸如亮度和顏色之類的特征有關(guān)的信息(特征量)的顯著性圖，并將所生成的顯著性圖提供給條帶顯著性圖生成單元112。條帶顯著性圖生成單元112按預(yù)定次數(shù)從顯著性圖生成單元111所提供的每一顯著性圖中的特征量中提取預(yù)定條帶分量的特征量，并生成表示每一提取的特征量的條帶顯著性圖。然后，條帶顯著性圖生成單元112將所生成的條帶顯著性圖提供給加權(quán)因子計算單元74和條帶顯著性圖合成單元113。條帶顯著性圖合成單元113基于從加權(quán)因子計算單元74提供的加權(quán)因子，針對每一個特征量，合成從條帶顯著性圖生成單元112提供的條帶顯著性圖，由此生成合成顯著性圖。然后，條帶顯著性圖合成單元113將合成顯著性圖提供給加權(quán)因子計算單元74和合成顯著性圖合成單元114。合成顯著性圖合成單元114基于從加權(quán)因子計算單元74提供的加權(quán)因子，合成從條帶顯著性圖合成單元113提供的合成顯著性圖，并由此生成被攝體圖。然后，合成顯著性 圖合成單元114將被攝體圖提供給被攝體候選區(qū)域矩形形成單元72 (參見圖2)。下面，上文所描述的條帶顯著性圖和合成顯著性圖也被簡稱為顯著性圖。(被攝體候選區(qū)域矩形形成單元的配置的例子)接下來，將參考圖4來說明圖2所示出的被攝體候選區(qū)域矩形形成單元72的配置的例子。如圖4所示,被攝體候選區(qū)域矩形形成單元72包括二進制化處理單元131、標(biāo)記處理單元132、矩形區(qū)域坐標(biāo)計算單元133和區(qū)域信息計算單元134。二進制化處理單元131基于預(yù)定閾值，將從被攝體圖生成單元71提供的被攝體圖中對應(yīng)于輸入圖像的每一個像素的信息二進制化為值O或1，并將該值提供給標(biāo)記處理單元132。下面，被攝體圖中對應(yīng)于輸入圖像的每一個像素的信息也被簡稱為像素。在從二進制化處理單元131提供的二進制化的被攝體圖中，標(biāo)記處理單元132標(biāo)記其中值是I的像素彼此相鄰的區(qū)域(在下文中，該區(qū)域被稱為連接區(qū))，并將帶有標(biāo)記的連接區(qū)的被攝體圖提供給矩形區(qū)域坐標(biāo)計算單元133。在從標(biāo)記處理單元132提供的具有標(biāo)記的連接區(qū)的被攝體圖中，矩形區(qū)域坐標(biāo)計算單元133計算包括(包圍)連接區(qū)的矩形區(qū)域的坐標(biāo)。然后，矩形區(qū)域坐標(biāo)計算單元133將表示坐標(biāo)的坐標(biāo)信息與被攝體圖一起提供給區(qū)域信息計算單元134。區(qū)域信息計算單元134計算區(qū)域信息，該區(qū)域信息是與從矩形區(qū)域坐標(biāo)計算單元133提供的被攝體圖的坐標(biāo)信息所表示的矩形區(qū)域有關(guān)的信息。然后，區(qū)域信息計算單元134將區(qū)域信息與坐標(biāo)信息相關(guān)聯(lián)，并將它提供給被攝體區(qū)域選擇單元73 (參見圖I)。(被攝體區(qū)域選擇單元的配置的例子)接下來，將參考圖5來說明被攝體區(qū)域選擇單元73的配置的例子。如圖5所示，被攝體區(qū)域選擇單元73包括區(qū)域信息比較單元151和被攝體區(qū)域確定單元152。區(qū)域信息比較單元151將從被攝體候選區(qū)域矩形形成單元72提供的每一矩形區(qū)域的區(qū)域信息與存儲在區(qū)域信息存儲單元153中的一幀之前(例如，在時間上連續(xù)的圖像)的被攝體區(qū)域的區(qū)域信息進行比較，并將比較結(jié)果提供給被攝體區(qū)域確定單元152。基于從區(qū)域信息比較單元151提供的比較結(jié)果，被攝體區(qū)域確定單元152將與和一幀之前的被攝體區(qū)域的區(qū)域信息最接近的區(qū)域信息相關(guān)聯(lián)的坐標(biāo)信息所表示的矩形區(qū)域確定為被攝體區(qū)域。然后，被攝體區(qū)域確定單元152將所確定的被攝體區(qū)域的坐標(biāo)信息提供給控制單元35 (參見圖I)和加權(quán)因子計算單元74 (參見圖2)。同時，被攝體區(qū)域確定單元152將被攝體區(qū)域的區(qū)域信息提供給區(qū)域信息存儲單元153。區(qū)域信息存儲單元153存儲從被攝體區(qū)域確定單元152提供的被攝體區(qū)域的區(qū)域信息。在一幀之后，存儲在區(qū)域信息存儲單元153中的被攝體區(qū)域的區(qū)域信息由區(qū)域信息比較單元151讀出。(被攝體跟蹤處理)在下文中，將說明圖像處理設(shè)備11的被攝體跟蹤處理。圖6是示出了由圖像處理設(shè)備11所執(zhí)行的被攝體跟蹤處理的流程圖。例如，當(dāng)由用戶操作作為用戶接38的按鈕，圖像處理設(shè)備11的操作模式被切換到執(zhí)行被攝體跟蹤處 理的被攝體跟蹤模式，并且由用戶在顯示在顯示單元34上的輸入圖像中選擇作為跟蹤目標(biāo)的被攝體的預(yù)定區(qū)域時，被攝體跟蹤處理開始。在步驟Sll中，被攝體跟蹤單元55的被攝體圖生成單元71執(zhí)行被攝體圖生成處理，并生成被攝體圖。被攝體圖生成單元71將被攝體圖提供給被攝體候選區(qū)域矩形形成單元 2。(被攝體圖生成處理)這里，將參考圖7和圖8，詳細說明被攝體圖生成處理。圖7是示出了被攝體圖生成處理的流程圖，圖8是示出了被攝體圖生成處理的具體例子的示意圖。在圖7所示出的流程圖的步驟S31中，被攝體圖生成單元71的顯著性圖生成單元111從輸入圖像的預(yù)定幀、為諸如亮度和顏色之類的特征中的每一項生成顯著性圖(對于每一個特征量)。然后，顯著性圖生成單元111將所生成的顯著性圖提供給條帶顯著性圖生成單元112。更具體而言，如圖8所示，從輸入圖像200生成M種類型的顯著性圖。M種類型的顯著性圖包括表示與亮度有關(guān)的信息的亮度信息圖F1，表示與顏色有關(guān)的信息的顏色信息圖F2到FK，以及表示與邊緣有關(guān)的信息的邊緣信息圖F(K+1)到FM。在亮度信息圖Fl中，從輸入圖像的每一個像素中獲取的亮度分量(亮度信號)Y被當(dāng)作對應(yīng)于輸入圖像的每一個像素的信息。在顏色信息圖F2到FK中，從輸入圖像的每一個像素中獲取的顏色分量(顏色信號)R、G和B被當(dāng)作對應(yīng)于輸入圖像的每一個像素的信息。此外，在邊緣信息圖F (K+1)到FM中，例如，在輸入圖像的每一個像素中的O度、45度、90度和135度的方向的邊緣強度被當(dāng)作對應(yīng)于輸入圖像的每一個像素的的信息。請注意，對于上文所描述的顯著性圖，像素的各個分量R、G和B的值的平均值可以用作亮度信息圖Fl的信息(特征量)，色差分量Cr和Cb，或Lab顏色空間中的a*坐標(biāo)分量和b*坐標(biāo)分量可以用作顏色信息圖F2到FK的信息。此外，除O度、45度、90度和135度的方向以外的方向的邊緣強度可以用作邊緣信息圖F(K+1)到FM的信息。在步驟S32中，條帶顯著性圖生成單元112從每一顯著性圖中的特征量中提取預(yù)定條帶分量的特征量，并生成表示每一提取的特征量的條帶顯著性圖。然后，條帶顯著性圖生成單元112將所生成的條帶顯著性圖提供給加權(quán)因子計算單元74和條帶顯著性圖合成單元113。
更具體而言，如圖8所示，從亮度圖Fl中的亮度信息中提取條帶I到條帶N的亮度信息，生成表示每一個條帶的亮度信息的條帶亮度信息圖Rll到R1N。此外，從顏色信息圖F2到FK中的顏色信息中提取條帶I到條帶N的顏色信息，并生成表示每一個條帶的顏色信息的條帶顏色信息圖R21到R2N，-,RKl到RKN。此外，還從邊緣信息圖F(K+1)到FM中的邊緣信息中提取條帶I到條帶N的邊緣信息，并生成表示每一個條帶的邊緣信息的條帶邊緣信息圖R(K+1)1到R(K+1)N, . . .，RM1到RMN。如此，條帶顯著性圖生成單元112生成(Μ X N)種類型的條帶顯著性圖。這里，將說明由條帶顯著性圖生成單元112所執(zhí)行的處理的例子。例如，條帶顯著性圖生成單元112使用每一顯著性圖來生成具有彼此不同的分辨率的多個顯著性圖，并將顯著性圖表示為對應(yīng)的特征量的金字塔圖。例如，生成八層分辨率的級別LI到級別L8的金字塔圖。假設(shè)級別LI的金字塔圖具有最高分辨率，按從級別LI到級別L8的順序，金字塔圖的分辨率變低。
在此情況下，由顯著性圖生成單元111生成的顯著性圖被表示成級別LI的金字塔圖。此外，在級別Li (其中，i=l或i=7或l〈i〈7)的金字塔圖中彼此相鄰的四個像素的像素值的平均值被當(dāng)作與相鄰的四個像素相對應(yīng)的級別L (i+Ι)的金字塔圖的一個像素的像素值。因而，級別L(i+1)的金字塔圖是級別Li的金字塔圖在高度和寬度上的半像(如果不可除盡，向下舍入)。此外，條帶顯著性圖生成單元112從多個金字塔圖中選擇不同層中的兩個金字塔圖，并獲得所選金字塔圖之間的差，從而生成每一特征量的N數(shù)量的差圖像。請注意，由于各層中的金字塔圖的大小不同(像素的數(shù)量不同)，因此，在生成差圖像時，根據(jù)較大的圖像的大小，較小的金字塔圖被上轉(zhuǎn)換。例如，在各層中的特征量的金字塔圖中，條帶顯著性圖生成單元112獲取級別L6和級別L3,級別L7和級別L3,級別L7和級別L4,級別L8和級別L4,以及級別L8和級別L5的各層組合中的金字塔圖之間的差。如此，獲取總共五個特征量的差圖像。更具體而言，例如，在生成級別L6和級別L3的組合的差圖像的情況下，根據(jù)級別L3的金字塔圖的大小，級別L6的金字塔圖被上轉(zhuǎn)換。即，上轉(zhuǎn)換之前的級別L6的金字塔圖中的一個像素的像素值被當(dāng)作上轉(zhuǎn)換之后的級別L6的金字塔圖中的彼此相鄰的一些像素的像素值。然后，獲取級別L6的金字塔圖中的像素的像素值和與級別L6的金字塔圖中的像素位于相同位置的級別L3的金字塔圖中的像素的像素值之差，并將該差作為差圖像中的像素的像素值。通過如此生成差圖像，可以從顯著性圖中提取預(yù)定條帶分量的特征量，好像將使用帶通濾波器的濾波處理應(yīng)用于顯著性圖。請注意，在上面的描述中，雖然當(dāng)獲取差圖像時通過金字塔圖的各層的組合來確定從顯著性圖中提取的條帶的寬度，但是可以根據(jù)需要來確定組合。此外，預(yù)定條帶分量的特征量的提取不僅限于上文所描述的使用差圖像的技術(shù)，也可以使用另一種技術(shù)。返回到圖7中的流程圖，在步驟S33中，條帶顯著性圖合成單元113基于從加權(quán)因子計算單元74所提供的一組加權(quán)因子WR，為每一個特征量合成從條帶顯著性圖生成單元112提供的條帶顯著性圖。條帶顯著性圖合成單元113將合成的條帶顯著性圖(合成顯著性圖)提供給加權(quán)因子計算單元74和合成顯著性圖合成單元114。更具體而言，如圖8所示，使用加權(quán)因子wll到WlN來執(zhí)行條帶亮度信息圖Rll到RlN的加權(quán)加法，并獲得合成顯著性圖Cl，這些加權(quán)因子wll到WlN是用于從加權(quán)因子計算單元74提供的條帶亮度信息圖中的每一個的權(quán)重。此外，還使用加權(quán)因子《21到w2N，…，wKl到wKN來執(zhí)行條帶顏色信息圖R21到R2N，-,RKl到RKN的加權(quán)加法，并獲得合成顯著性圖C2到CK，上述加權(quán)因子《21到w2N，…，wKl到wKN是用于從加權(quán)因子計算單元74提供的條帶顏色信息圖中的每一個的權(quán)重。此外，還使用加權(quán)因子w(K+l)l到w(K+l)N，…，wMl到wMN來執(zhí)行條帶邊緣信息圖R(K+1)1到R(K+1)N，. . .，RMl到RMN的加權(quán)加法，并獲得合成顯著性圖CK+1到CM，這些加權(quán)因子w(K+1) I到w(K+l)N，…，wMl到wMN是用于從加權(quán)因子計算單元74提供的條帶邊緣信息圖中的每一個的權(quán)重。如此，條帶顯著性圖合成單元113生成M種類型的合成顯著性圖。請注意，雖然稍后將更詳細地描述加權(quán)因子組WR，但是，加權(quán)因子組WR的各個加權(quán)因子具有從O到I的值。然而，當(dāng)?shù)谝淮螆?zhí)行被攝體圖生成處理時，加權(quán)因子組WR的各個加權(quán)因子都被設(shè)置為1，并沒有權(quán)重地將條帶顯著性圖相加。 在步驟S34中，合成顯著性圖合成單元114基于從加權(quán)因子計算單元74提供的一組加權(quán)因子WC，合成從條帶顯著性圖合成單元113提供的合成顯著性圖，并由此生成被攝體圖，并將被攝體圖提供給被攝體候選區(qū)域矩形形成單元72。更具體而言，如圖8所示，使用加權(quán)因子wl到wM線性地耦合合成顯著性圖Cl到CM，這些加權(quán)因子wl到wM是用于從加權(quán)因子計算單元74提供的條帶亮度信息圖中的每一個的權(quán)重。此外，將線性耦合所獲得的圖的像素值乘以被攝體權(quán)重(這是預(yù)先獲取的權(quán)重)，并規(guī)范化，從而獲得被攝體圖201。請注意，雖然稍后將更詳細地描述加權(quán)因子組WC，但是，加權(quán)因子組WC的各個加權(quán)因子具有從O到I的值。然而，請注意，當(dāng)?shù)谝淮螆?zhí)行被攝體圖生成處理時，加權(quán)因子組WC的各個加權(quán)因子都被設(shè)置為1，并沒有權(quán)重地線性地耦合合成顯著性圖。換言之，如果要獲得的被攝體圖上的關(guān)注位置(像素)被當(dāng)作目標(biāo)位置，則與每一個合成顯著性圖上的目標(biāo)位置相同位置(像素)的像素值乘以每一個合成顯著性圖的加權(quán)因子，并將乘以加權(quán)因子的像素值的總和作為目標(biāo)位置的像素值。此外，還將如此獲得的被攝體圖上的每一位置的像素值乘以預(yù)先為被攝體圖獲得的被攝體權(quán)重，并規(guī)范化，從而獲得最終的被攝體圖。例如，執(zhí)行規(guī)范化，使得被攝體圖的每一個像素的像素值是從O到255的值。以上文所描述的方式，被攝體圖生成單元71由顯著性圖生成條帶顯著性圖和合成顯著性圖，由此生成被攝體圖。返回到圖6中的流程圖，在步驟S12中，被攝體候選區(qū)域矩形形成單元72執(zhí)行被攝體候選區(qū)域矩形形成處理，并在從被攝體圖生成單元71提供的被攝體圖中獲取包括要成為被攝體候選的區(qū)域的矩形區(qū)。(被攝體候選區(qū)域矩形形成處理)現(xiàn)在將參考圖9和圖10詳細說明被攝體候選區(qū)域矩形形成處理。圖9是示出了被攝體候選區(qū)域矩形形成處理的流程圖，而圖10是示出了被攝體候選區(qū)域矩形形成處理的具體例子的示意圖。在圖9所示出的流程圖的步驟S51中，被攝體候選區(qū)域矩形形成單元72的二進制化處理單元131基于預(yù)定閾值將從被攝體圖生成單元71提供的被攝體圖中的信息二進制化為值O和I中的一個，并將值提供給標(biāo)記處理單元132。更具體而言，對于圖10的頂部所示出的被攝體圖201中的每一個像素的像素值(是從O到255的值)，二進制化處理單元131將小于閾值127的像素值設(shè)置為0，并將等于或大于閾值127的像素值設(shè)置為I。如此，獲取二進制化圖202，圖10從上數(shù)第二個圖示出了其例子。在圖10所示出的二進制化圖202中，以白色示出的部分(像素)具有像素值1，而以黑色示出的部分(像素)具有像素值O。請注意，雖然這里假設(shè)閾值是127，但是，它可以是另一個值。在步驟S52中，在從二進制化處理單元131提供的二進制化圖202(二進制化的被攝體圖)中，標(biāo)記處理單元132對像素值為I的像素彼此相鄰的連接區(qū)進行標(biāo)記，這例如是通過形態(tài)學(xué)(morphological)操作所獲得的。然后，標(biāo)記處理單元132將二進制化圖202提供給矩形區(qū)域坐標(biāo)計算單元133。更具體而言，例如，如圖10從上數(shù)第三個圖所示，在二進制化圖202中，連接區(qū)211 用標(biāo)記“ I”來標(biāo)記，連接區(qū)212用標(biāo)記“2”來標(biāo)記。在步驟S53中，在從標(biāo)記處理單元132提供的二進制化圖202中，矩形區(qū)域坐標(biāo)計算單元133計算分別包括(包圍)連接區(qū)211和212的多個矩形區(qū)域的坐標(biāo)。然后，矩形區(qū)域坐標(biāo)計算單元133將表示矩形區(qū)域的坐標(biāo)的坐標(biāo)信息與二進制化圖202 —起提供給區(qū)域信息計算單元134。更具體而言，如圖10從上數(shù)第四個圖所示，在二進制化圖202中，檢測到外包圍用標(biāo)記“I”標(biāo)記的連接區(qū)211的矩形框(外接框)221，并獲取例如矩形框221的圖形中的左上方頂點和右下方頂點的坐標(biāo)。此外，還檢測到外包圍用標(biāo)記“2”標(biāo)記的連接區(qū)212的矩形框222，并獲取例如矩形框222的圖形中的左上方頂點和右下方頂點的坐標(biāo)。在步驟S54中，區(qū)域信息計算單元134基于從矩形區(qū)域坐標(biāo)計算單元133提供的坐標(biāo)信息和從被攝體圖生成單元71提供的被攝體圖，來計算有關(guān)被攝體圖上由矩形框包圍的矩形區(qū)域的區(qū)域信息。更具體而言，基于表示二進制化圖202中的矩形框221和222的、從矩形區(qū)域坐標(biāo)計算單元133提供的坐標(biāo)信息，區(qū)域信息計算單元134計算矩形框221和222中的每一個的大小以及矩形框221和222中的每一個的中心位置的坐標(biāo)，作為有關(guān)每一矩形區(qū)域的區(qū)域信息。區(qū)域信息計算單元134將計算出的區(qū)域信息與從矩形區(qū)域坐標(biāo)計算單元133提供的坐標(biāo)信息相關(guān)聯(lián)，并將相關(guān)聯(lián)的區(qū)域信息提供給被攝體區(qū)域選擇單元73。以上文所描述的方式，被攝體候選區(qū)域矩形形成單元72在被攝體圖中獲取包圍要成為關(guān)注的被攝體的候選的每一區(qū)域的矩形框，以及表示被攝體圖上由矩形框包圍的區(qū)域的特征的區(qū)域信息。矩形框通過位于它所在的圖像的邊界內(nèi)的邊沿來限定。返回到圖6中的流程圖，在步驟S13中，被攝體區(qū)域選擇單元73執(zhí)行被攝體區(qū)域選擇處理，并基于從被攝體區(qū)域選擇單元73提供的區(qū)域信息，從多個矩形區(qū)域中選擇包括關(guān)注的被攝體的被攝體區(qū)域(該被攝體區(qū)域是一個矩形區(qū)域)。(被攝體區(qū)域選擇處理)這里，參考圖11中的流程圖，將更詳細地說明被攝體區(qū)域選擇處理。在步驟S71中，區(qū)域信息比較單元151將從被攝體候選區(qū)域矩形形成單元72提供的每一矩形區(qū)域的區(qū)域信息與存儲在區(qū)域信息存儲單元153中的一幀之前的被攝體區(qū)域的區(qū)域信息進行比較，并將比較結(jié)果提供給被攝體區(qū)域確定單元152。更具體而言，例如，區(qū)域信息比較單元151將從被攝體候選區(qū)域矩形形成單元72提供的包圍被攝體圖上的每一矩形區(qū)域的矩形框的大小與存儲在區(qū)域信息存儲單元153中的包圍一幀之前的被攝體區(qū)域的矩形框(被攝體框)的大小進行比較。盡管框邊界的區(qū)域是可以檢測到的一個特征，但也可以在連續(xù)的幀之間檢測到框的其他相對屬性，如位置、形狀和縱橫比。此外，例如，區(qū)域信息比較單元151將從被攝體候選區(qū)域矩形形成單元72提供的包圍被攝體圖上的每一矩形區(qū)域的矩形框的中心位置的坐標(biāo)與存儲在區(qū)域信息存儲單元153中的包圍一幀之前的被攝體區(qū)域的矩形框(被攝體框)的中心位置的坐標(biāo)進行比較。在步驟S72中，基于來自區(qū)域信息比較單元151的比較結(jié)果，被攝體區(qū)域確定單元152將具有包圍一幀之前的被攝體區(qū)域的矩形框(被攝體框)的大小的矩形區(qū)域、具有最靠 近中心位置的坐標(biāo)的矩形框的大小的矩形區(qū)域、以及包括中心位置的矩形區(qū)域這幾項中的一項確定為被攝體區(qū)域。被攝體區(qū)域確定單元152將確定的被攝體區(qū)域的坐標(biāo)信息提供給 控制單元35和加權(quán)因子計算單元74。同時，被攝體區(qū)域確定單元152將確定的被攝體區(qū)域的區(qū)域信息(被攝體框的大小或中心位置)提供給區(qū)域信息存儲單元153。請注意，當(dāng)?shù)谝淮螆?zhí)行被攝體區(qū)域選擇處理時，一幀之前的被攝體區(qū)域的區(qū)域信息沒有存儲在區(qū)域信息存儲單元153中。因此，在被攝體跟蹤處理的開始時(在下文中，預(yù)定的區(qū)域被稱為最初選定的區(qū)域)，包括由用戶選定的被攝體的預(yù)定區(qū)域的矩形區(qū)域被設(shè)置為被攝體區(qū)域。以上文所描述的方式，被攝體區(qū)域選擇單元73從作為被攝體候選的矩形區(qū)域中選擇所關(guān)注的被攝體的被攝體區(qū)域。(加權(quán)因子的計算)返回到圖6中的流程圖，在步驟S14中，加權(quán)因子計算單元74基于從被攝體圖生成單元71提供的條帶顯著性圖和合成顯著性圖，并基于從被攝體區(qū)域選擇單元73提供的表示被攝體區(qū)域的坐標(biāo)信息，來計算圖8所示出的加權(quán)因子組WR和加權(quán)因子組WC。更具體而言，如圖12所示，如果與表示預(yù)定條帶顯著性圖Rmn上的被攝體區(qū)域的被攝體框231相對應(yīng)的矩形區(qū)域中的特征量(信息量)的總和(l=m或l〈m〈M或m=M, l=n或l〈n〈N或n=N)被當(dāng)作被攝體區(qū)域特征量的總和rmn,則計算圖13的上面部分所示出的加權(quán)因子組WR。圖13所不出的加權(quán)因子組WR中的各個因子對應(yīng)于圖8所不出的各加權(quán)因子wll到wMN。請注意,在圖13中，Max (a, . . .，z)表示值a到z之中的最大值。例如，圖13所示出的加權(quán)因子組WR中的頂部第一行中的各個因子表示與對應(yīng)于圖8所示出的“條帶I”的每一個特征量的條帶顯著性圖Rll到RMl有關(guān)的加權(quán)因子wll到WMl0如圖13所示，加權(quán)因子wll到wMl是取從O到I的值的因子，以便它們的分母是各條帶顯著性圖Rll到RMl的被攝體區(qū)域特征量的總和rll到rMl之中的最大值，而它們的分子是各條帶顯著性圖Rll到RMl的被攝體區(qū)域特征量的總和rll到rMl。類似地，圖13所示出的加權(quán)因子組WR中從上數(shù)第N行中的各個因子表示與對應(yīng)于圖8所示出的“條帶N”的每一個特征量的條帶顯著性圖RlN到RMN有關(guān)的加權(quán)因子《IN到wMN。如圖13所示，加權(quán)因子WlN到《MN是取從O到I的值的因子，以便它們的分母是各條帶顯著性圖RlN到RMN的被攝體區(qū)域特征量的總和rlN到rMN之中的最大值，而它們的分子是各條帶顯著性圖RlN到RMN的被攝體區(qū)域特征量的總和rlN到rMN。換言之，根據(jù)加權(quán)因子《In到《Mn，在對應(yīng)于“條帶η”的每一個特征量的條帶顯著性圖Rln到RMn之中，執(zhí)行加權(quán)，以便對于其中被攝體區(qū)域特征量的總和變?yōu)樽畲蟮奶卣髁康臈l帶顯著性圖，最大值變?yōu)?，對于其他條帶顯著性圖，執(zhí)行對應(yīng)于被攝體區(qū)域特征量的總和的加權(quán)。此外，如果與表示預(yù)定的條帶顯著性圖Cm(l=m或l〈m〈M或m=M)上的被攝體區(qū)域的矩形框221相對應(yīng)的矩形區(qū)域中的特征量(信息量)的總和被當(dāng)作被攝體區(qū)域特征量的總和cm，則計算圖13的下面部分所示出的加權(quán)因子組WC。圖13所不出的加權(quán)因子組WC中的各個因子對應(yīng)于圖8所不出的各個加權(quán)因子wl到wMo
更具體而言，圖13所示出的加權(quán)因子組WC中的各個因子表示對于圖8所示出的每一個特征量的合成顯著性圖Cl到CM的加權(quán)因子Wl到wM。如圖13所示，加權(quán)因子Wl到wM是取從O到I的值的因子，以便它們的分母是各個合成顯著性圖Cl到CM的被攝體區(qū)域特征量的總和Cl到CM之中的最大值，而它們的分子是各個合成顯著性圖Cl到CM的被攝體區(qū)域特征量的總和Cl到CM。換言之，根據(jù)加權(quán)因子wl到wM，在每一個特征量的合成顯著性圖Cl到CM之中，執(zhí)行加權(quán)，以便對于其中被攝體區(qū)域特征量的總和變?yōu)樽畲蟮奶卣髁康暮铣娠@著性圖，最大值變?yōu)?，對于其他合成顯著性圖，執(zhí)行對應(yīng)于被攝體區(qū)域特征量的總和的加權(quán)。加權(quán)因子計算單元74將計算出的加權(quán)因子組WR提供給被攝體圖生成單元71的條帶顯著性圖合成單元113。同時，加權(quán)因子計算單元74將計算出的加權(quán)因子組WC提供給被攝體圖生成單元71的合成顯著性圖合成單元114。在圖6所示出的流程圖中，在執(zhí)行步驟S14之后，對于下一幀執(zhí)行被攝體跟蹤處理，對于每一幀，反復(fù)地執(zhí)行此處理。利用上文所描述的處理，在涉及輸入圖像的預(yù)定幀的每一個特征量的顯著性圖中，根據(jù)與在該幀中選定的被攝體區(qū)域相對應(yīng)的區(qū)域的特征量的相對大小，確定與下一幀的每一個特征量的顯著性圖有關(guān)的加權(quán)因子。因此，即使在特征量在各幀之間變化的情況下，也生成被攝體圖，以便將最大的權(quán)重應(yīng)用于多個特征量之中最近似表示被攝體的特征量的顯著性圖。因此，即使在被攝體的狀態(tài)變化的環(huán)境中，也可以更穩(wěn)定地跟蹤被攝體。此外，由于被攝體區(qū)域被確定為包括整個被攝體，因此，即使在被攝體區(qū)域的一部分的狀態(tài)變化的環(huán)境中，也可以更穩(wěn)定地跟蹤被攝體。在已知的被攝體跟蹤技術(shù)中，特別是在被攝體區(qū)域中的各坐標(biāo)中的一個坐標(biāo)(或包括該坐標(biāo)的區(qū)域的一部分)被識別的情況下，無法跟蹤整個被攝體，也無法正確地設(shè)置用于自動聚焦(AF)、自動曝光(AE)和自動顏色控制(ACC)的檢測幀。在識別出在被攝體區(qū)域內(nèi)并具有相同特征量的相同特征量區(qū)域的情況下，與上文所描述的情況相比，可以提高設(shè)置檢測幀的準(zhǔn)確性。然而，在很多情況下，相同特征量區(qū)域只是被攝體區(qū)域的一小部分，因此，無法獲得充分的檢測準(zhǔn)確性。另一方面，根據(jù)上文所描述的被攝體跟蹤處理，可以識別包括整個被攝體的被攝體區(qū)域。因此，可以提高檢測準(zhǔn)確性，也可以將跟蹤結(jié)果應(yīng)用到各種應(yīng)用。此外，例如通過學(xué)習(xí)將人的整個圖像注冊在字典中，藉此來檢測和跟蹤人的被攝體跟蹤技術(shù)也是已知的。然而，不能跟蹤除在字典中注冊的人以外的被攝體。此外，在字典中注冊的信息(圖像)的量變大，這會導(dǎo)致設(shè)備的尺寸很大。另一方面，利用上文所描述的被攝體跟蹤處理，可以檢測和跟蹤任何給定的被攝體，此外，也沒有必要在字典中等中注冊大量的信息。因此，可以實現(xiàn)緊湊的設(shè)備尺寸。在上面的描述中，亮度分量、顏色分量和邊緣方向被用作特征量。然而，本發(fā)明不僅限于這些例子，例如，可以添加運動信息。此外，例如，優(yōu)選地，使用諸如亮度分量和顏色分量之類的具有互補關(guān)系的特征量，并可以適當(dāng)?shù)剡x擇這樣的特征量。另外，在上面的描述中，對應(yīng)于MX (N+1)個類型的顯著性圖來計算MX (N+1)個類型的加權(quán)因子。然而，通過適當(dāng)?shù)貎H計算對應(yīng)于一些顯著性圖的加權(quán)因子，可以降低圖像處理設(shè)備11中的計算量。例如，可以僅計算與合成顯著性圖Cl到CM的M個類型的顯著性圖相對應(yīng)的加權(quán)因子wl到wM。此外，在上面的描述中，區(qū)域信息計算單元134計算矩形框的大小以及矩形框的 中心位置的坐標(biāo)，作為矩形區(qū)域的區(qū)域信息。然而，區(qū)域信息計算單元134可以計算矩形區(qū)域內(nèi)的像素值的積分值或峰值(最大值)。在此情況下，在被攝體區(qū)域選擇處理中(參見圖
11)，在一個區(qū)域內(nèi)像素值的積分值或峰值與一幀之前的被攝體區(qū)域內(nèi)的像素值的積分值或峰值最接近的矩形區(qū)域被當(dāng)作被攝體區(qū)域。如果圖像處理設(shè)備11是拍攝靜止圖像的數(shù)字照相機，則用戶在確認顯示在顯示單元34上的視頻(呈現(xiàn)于取景器中的取景器圖像)的同時，使用由快門觸發(fā)機構(gòu)觸發(fā)的快門，通過執(zhí)行快門操作在所希望的時刻拍攝靜止圖像。作為應(yīng)用上文所描述的被攝體跟蹤處理的跟蹤結(jié)果的應(yīng)用的示例，可以導(dǎo)致按如上文所描述的方式構(gòu)成的圖像處理設(shè)備11執(zhí)行自動快門處理，代替由用戶執(zhí)行快門操作。自動快門處理可以響應(yīng)于被跟蹤的被攝體的狀態(tài)變化來拍攝靜止圖像。(控制單元的功能配置的例子)這里，將參考圖14來說明執(zhí)行自動快門處理的控制單元35的功能配置。自動快門處理響應(yīng)于通過上文所描述的被攝體跟蹤處理所跟蹤的被攝體的狀態(tài)的變化來拍攝靜止圖像。圖14所示出的控制單元35設(shè)有坐標(biāo)信息獲取單元331、區(qū)域形狀確定單元332和成像控制單元333。坐標(biāo)信息獲取單元331從被攝體跟蹤單元55獲取被攝體區(qū)域的為每一輸入圖像幀所提供的坐標(biāo)信息(參見圖I )，并將該坐標(biāo)信息提供給區(qū)域形狀確定單元332。區(qū)域形狀確定單元332基于從坐標(biāo)信息獲取單元331提供的被攝體區(qū)域的坐標(biāo)信息，確定各輸入圖像幀之間的被攝體區(qū)域的形狀的變化。更具體而言，區(qū)域形狀確定單元332確定被攝體區(qū)域的縱橫比在各幀之間的變化，該被攝體區(qū)域是由被攝體區(qū)域的坐標(biāo)信息表示的矩形區(qū)域，并將反映確定結(jié)果的信息提供給成像控制單元333。成像控制單元333基于從區(qū)域形狀確定單元332提供的信息來控制成像器32、數(shù)字信號處理單元33和透鏡驅(qū)動單元36，并由此控制對成像透鏡的驅(qū)動、光圈調(diào)整、對圖像數(shù)據(jù)的信號處理、在記錄介質(zhì)(附圖中未示出)上的記錄等等。概括地說，成像控制單元333控制由圖像處理設(shè)備11所執(zhí)行的圖像拍攝。(自動快門處理)
接下來，將參考圖15所示出的流程圖來說明由圖像處理設(shè)備11所執(zhí)行的自動快門處理。在步驟S311中，被攝體跟蹤單元55執(zhí)行參考圖6所示出的流程圖所說明的被攝體跟蹤處理，并將被攝體區(qū)域的坐標(biāo)信息提供給控制單元35。在步驟S312中，坐標(biāo)信息獲取單元331從被攝體 跟蹤單元55獲取被攝體區(qū)域的坐標(biāo)信息，并將該坐標(biāo)信息提供給區(qū)域形狀確定單元332。在步驟S313中，區(qū)域形狀確定單元332基于從坐標(biāo)信息獲取單元331提供的被攝體區(qū)域的坐標(biāo)信息，監(jiān)測每一幀的輸入圖像中的被攝體區(qū)域的縱橫比，并確定被攝體區(qū)域的縱橫比在各幀之間是否相對于預(yù)定閾值而顯著地變化。當(dāng)在步驟S313中確定被攝體區(qū)域的縱橫比沒有相對于預(yù)定閾值顯著變化時，則處理返回到步驟S311，并重復(fù)從步驟S311到步驟S313的處理。另一方面，當(dāng)在步驟S313中確定被攝體區(qū)域的縱橫比相對于預(yù)定閾值顯著變化時，區(qū)域形狀確定單元332向成像控制單元333提供表示被攝體區(qū)域的縱橫比相對于預(yù)定閾值顯著地變化的信息。例如，如圖16的左側(cè)部分所示，假設(shè)作為被攝體的正在跑的孩子位于第(η-i)幀的輸入圖像中。這里，如果表示第(η-i)幀的輸入圖像中的被攝體區(qū)域的被攝體框H(n-l)的高度用Hh(n-l)來表示，被攝體框H(n-l)的寬度用Hw(n_l)來表示，則被攝體區(qū)域的縱橫比 P(n-l)被表示為 Hh(n-1)/Hw(n_l)。然后，如圖16的右部分所示，如果作為被攝體的孩子剛剛在第η幀的輸入圖像中倒下，則第η幀的輸入圖像中的被攝體區(qū)域的縱橫比P (n) =Hh (n) /Hw (η)與第(η_1)幀的輸入圖像中的被攝體區(qū)域的縱橫比P(n-l)相比已經(jīng)變化。此時，如果區(qū)域形狀確定單元332確定第(n-Ι)幀的輸入圖像中的被攝體區(qū)域的縱橫比P(n-l)和第η幀的輸入圖像中的被攝體區(qū)域的縱橫比P(n)之間的差|P(n)-P(n-l) I大于預(yù)定閾值，則向成像控制單元333提供被攝體區(qū)域的縱橫比相對于預(yù)定閾值顯著變化的信息。返回到圖15所示出的流程圖，如果在步驟S314中從區(qū)域形狀確定單元332提供了表示被攝體區(qū)域的縱橫比相對于預(yù)定閾值顯著變化的信息，則成像控制單元333將表示圖像拍攝命令的信息提供給成像器32、數(shù)字信號處理單元33和透鏡驅(qū)動單元36。響應(yīng)于此，數(shù)字信號處理單元33對與圖16所示出的第η幀的輸入圖像相對應(yīng)的圖像數(shù)據(jù)執(zhí)行預(yù)定信號處理。所產(chǎn)生的圖像數(shù)據(jù)被記錄在記錄介質(zhì)上(在附圖中未示出)。利用上文所描述的處理，當(dāng)包括被攝體的被攝體區(qū)域的縱橫比顯著地變化時，拍攝靜止圖像。如此，可以執(zhí)行圖像拍攝，而不會丟失諸如參考圖16所說明的小孩剛剛倒下的時刻之類的重要時刻。此外，在被攝體跟蹤處理中，如果選擇鳥作為被攝體，則例如由于包圍鳥的被攝體框(被攝體區(qū)域)的縱橫比的變化，可以在鳥拍打其翅膀的時刻拍攝圖像。如此，即使在被攝體不是人并且沒有面部表情的情況下，也可以更可靠地獲取最佳拍攝圖像。請注意，雖然在上面的描述中，被攝體區(qū)域的縱橫比通過(被攝體區(qū)域的高度)/(被攝體區(qū)域的寬度)來表達，但是它也可以表達為(被攝體區(qū)域的寬度)/ (被攝體區(qū)域的高度)。
此外，雖然在上面的描述中，確定了各幀之間的被攝體區(qū)域的縱橫比的變化，但也可以只確定各幀之間的被攝體區(qū)域的高度或?qū)挾鹊淖兓?。雖然在上面的描述中，當(dāng)被攝體的狀態(tài)變化時拍攝靜止圖像，但是當(dāng)被攝體的狀態(tài)的變化停止時也可以拍攝靜止圖像。(控制單元的功能配置的另一個例子)鑒于此，將參考圖17來說明當(dāng)被攝體的狀態(tài)變化停止時拍攝靜止圖像的圖像處理設(shè)備11中所提供的控制單元35的功能配置的例子。請注意，在圖17所示出的控制單元35中，用相同名稱和相同附圖標(biāo)記來表示與圖14所示出的控制單元35中提供的結(jié)構(gòu)元件具有相同功能的結(jié)構(gòu)元件,并相應(yīng)地省略對其說明。更具體而言，圖17所示出的控制單元35與圖14所示出的控制單元35的不同之 處在于提供了區(qū)域形狀確定單元431代替區(qū)域形狀確定單元332。基于從坐標(biāo)信息獲取單元331提供的被攝體區(qū)域的坐標(biāo)信息，區(qū)域形狀確定單元431確定被攝體區(qū)域的縱橫比在預(yù)定數(shù)量的幀期間的變化，被攝體區(qū)域是由被攝體區(qū)域的坐標(biāo)信息所表示的矩形區(qū)域。然后，區(qū)域形狀確定單元431將反映確定結(jié)果的信息提供給成像控制單元333。(自動快門處理)接下來，將參考圖18所示出的流程圖來說明配備有圖17所示出的控制單元35的圖像處理設(shè)備11所執(zhí)行的自動快門處理。請注意，圖18所示出的流程圖的步驟S411、S412和S414中的處理基本上與圖15所示出的流程圖的步驟S311、S312和S314中的處理相同，因此，將省略對其的說明。具體而言，在步驟S413中，基于從坐標(biāo)信息獲取單元331提供的被攝體區(qū)域的坐標(biāo)信息，區(qū)域形狀確定單元431監(jiān)測每一幀的輸入圖像中的被攝體區(qū)域的縱橫比，并確定被攝體區(qū)域的縱橫比是否在預(yù)定數(shù)量的幀內(nèi)發(fā)生改變。當(dāng)在步驟S413中確定被攝體區(qū)域的縱橫比已經(jīng)在預(yù)定數(shù)量的幀內(nèi)改變時，處理返回到步驟S411，并重復(fù)從步驟S411到步驟S413的處理。另一方面，當(dāng)在步驟S413中確定被攝體區(qū)域的縱橫比在預(yù)定數(shù)量的幀內(nèi)沒有改變時，區(qū)域形狀確定單元431向成像控制單元333提供表示被攝體區(qū)域的縱橫比在預(yù)定數(shù)量的幀內(nèi)沒有改變的信息。例如，當(dāng)對于從第(n-q)幀到第η幀的q幀幾乎沒有檢測到被攝體區(qū)域的縱橫比P (n-q), . . . , P (η)的變化寬度時，即，當(dāng)被攝體的狀態(tài)變化已停止時，向成像控制單元333提供表示被攝體區(qū)域的縱橫比在預(yù)定數(shù)量的幀內(nèi)沒有改變的信息。響應(yīng)于此，從成像控制單元333發(fā)出拍攝第η幀的輸入圖像的命令。利用上文所描述的處理，當(dāng)包括被攝體的被攝體區(qū)域的縱橫比在預(yù)定數(shù)量的幀內(nèi)沒有改變時，拍攝靜止圖像。如此，例如，當(dāng)走來走去并反復(fù)地站起來以及蹲下去的小孩停止移動時，可以執(zhí)行圖像拍攝，而不會流失幾秒。此外，在被攝體跟蹤處理中，當(dāng)選擇鳥作為被攝體時，當(dāng)鳥沒有在空中拍打其翅膀時，可以在幾秒內(nèi)執(zhí)行圖像拍攝。如此，即使在被攝體不是人并且沒有面部表情的情況下，也可以更可靠地獲取最佳拍攝圖像。在上面的描述中，響應(yīng)于被攝體的狀態(tài)的變化，拍攝靜止圖像。然而，在此情況下，拍攝靜止圖像，不管被攝體在輸入圖像上的位置如何。因此，有這樣的情況；獲取被攝體位于圖像的末尾附近的圖像。這樣的圖像很可能被認為拍得不好。(控制單元的功能配置的另一個例子)鑒于此，將參考圖19來說明響應(yīng)于被攝體的位置和被攝體的狀態(tài)變化而拍攝靜止圖像的圖像處理設(shè)備11中所提供的控制單元35的功能配置的例子。請注意，在圖19所示出的控制單元35中，用相同名稱和相同的附圖標(biāo)記來表示與圖14所示出的控制單元35的結(jié)構(gòu)元件具有相同功能的結(jié)構(gòu)元件，并相應(yīng)地省略對其說明。更具體而言，圖19所示出的控制單元35與圖14所示出的控制單元35的不同之處在于，另外提供了位置檢測單元531。位置檢測單元531基于從坐標(biāo)信息獲取單元331提供的被攝體區(qū)域的坐標(biāo)信息， 檢測輸入圖像的預(yù)定幀中的被攝體的位置。根據(jù)檢測到的位置，位置檢測單元531向區(qū)域形狀確定單元332提供從坐標(biāo)信息獲取單元331提供的被攝體區(qū)域的坐標(biāo)信息。(自動快門處理)接下來，將參考圖20所示出的流程圖來說明配備有圖19所示出的控制單元35的圖像處理設(shè)備11所執(zhí)行的自動快門處理。請注意，圖20所示出的流程圖的步驟S511、S512、S514和S515中的處理基本上與圖15所示出的流程圖的步驟S311到S314中的處理相同，因此，將省略對其說明。具體而言，在步驟S513中，基于從坐標(biāo)信息獲取單元331提供的被攝體區(qū)域的坐標(biāo)信息，位置檢測單元531監(jiān)測每一幀的輸入圖像中的被攝體區(qū)域的位置，并確定被攝體區(qū)域的位置是否在輸入圖像中的預(yù)定區(qū)域內(nèi)。由位置檢測單元531檢測到的被攝體區(qū)域的位置可以是被攝體區(qū)域(矩形區(qū)域)的所有四個頂點的坐標(biāo)，或者也可以是被攝體區(qū)域的中心位置的坐標(biāo)。此外，還假設(shè)預(yù)定區(qū)域被設(shè)在輸入圖像的中心附近。當(dāng)在步驟S513中確定被攝體區(qū)域的位置不在預(yù)定區(qū)域內(nèi)時，處理返回到步驟S511，并重復(fù)從步驟S511到步驟S513的處理。另一方面，當(dāng)在步驟S513中確定被攝體區(qū)域的位置在預(yù)定區(qū)域內(nèi)時，位置檢測單元531向區(qū)域形狀確定單元332提供從坐標(biāo)信息獲取單元331提供的被攝體區(qū)域的坐標(biāo)信
肩、O結(jié)果，在被攝體區(qū)域在如圖21所示的虛線所示出的區(qū)域A內(nèi)的情況下，如果區(qū)域形狀確定單元332確定第(n-Ι)幀的輸入圖像中的被攝體區(qū)域的縱橫比P(n-l)和第η幀的輸入圖像中的被攝體區(qū)域的縱橫比Ρ(η)之間的差|Ρ(η)-Ρ(η-1) |大于預(yù)定閾值，則向成像控制單元333提供被攝體區(qū)域的縱橫比相對于預(yù)定閾值顯著變化的信息。響應(yīng)于此，從成像控制單元333發(fā)出拍攝第η幀的輸入圖像的命令。利用上文所描述的處理，當(dāng)包括被攝體的被攝體區(qū)域的縱橫比在輸入圖像上的預(yù)定區(qū)域中顯著變化時，拍攝靜止圖像。如此，如圖21所示，可以拍攝令人滿意的圖像，而不會丟失諸如孩子剛剛倒下的時刻之類的重要時刻。此外，如果選擇鳥作為被攝體跟蹤處理中的被攝體，則，例如，由于包圍鳥的被攝體框(被攝體區(qū)域)的縱橫比的變化，可以在鳥拍打其翅膀的時刻拍攝令人滿意的圖像。如此，即使在被攝體不是人并且沒有面部表情的情況下，也可以更可靠地獲得令人滿意的最佳拍攝圖像。請注意，在上面的描述中，當(dāng)輸入圖像上的預(yù)定區(qū)域中的被攝體的狀態(tài)變化時，拍攝靜止圖像。然而，如果給圖17所示出的控制單元35提供了圖17所示出的區(qū)域形狀確定單元431來代替區(qū)域形狀確定單元332，則也可以在輸入圖像上的預(yù)定區(qū)域內(nèi)當(dāng)被攝體的狀態(tài)變化停止時拍攝靜止圖像。此外，雖然在上面的描述中，假設(shè)預(yù)定區(qū)域被設(shè)在輸入圖像的中心的附近，但它也可以由用戶設(shè)置在輸入圖像上所希望的位置。如此，可以拍攝圖像達到用戶所希望的效果。在上面的描述中，根據(jù)被攝體的狀態(tài)變化，拍攝靜止圖像，被攝體不僅限于是人。當(dāng)被攝體是人時，可以檢測人的面部，并可以根據(jù)整個被攝體(人)和面部之間的關(guān)系，拍攝人的靜止圖像。(圖像處理設(shè)備的配置的另一個例子)圖22示出了檢測作為被攝體的人的面部，并根據(jù)整個被攝體(人)和面部之間的關(guān)系來拍攝靜止圖像的圖像處理設(shè)備611的配置的例子。
請注意，在圖22所示出的圖像處理設(shè)備611中，用相同名稱和相同附圖標(biāo)記來表示與圖I所示出的圖像處理設(shè)備11中所提供的結(jié)構(gòu)元件具有相同功能的結(jié)構(gòu)元件，并相應(yīng)地省略對其說明。具體而言，圖22所示出的圖像處理設(shè)備611與圖I所示出的圖像處理設(shè)備11的不同之處在于在數(shù)字信號處理單元33中另外提供了面部檢測單元621，并提供了控制單元622代替控制單元35?；谟蒠C生成單元53生成的亮度信號和顏色信號構(gòu)成的圖像數(shù)據(jù)，面部檢測單元621從被攝體跟蹤單元55檢測到的作為被攝體的人的被攝體區(qū)域檢測根據(jù)圖像數(shù)據(jù)所顯示的輸入圖像中的面部。然后，面部檢測單元621將表示面部的區(qū)域(以下簡稱為“面部區(qū)域”)的坐標(biāo)信息提供給控制單元622?；趶谋粩z體跟蹤單元55所提供的被攝體區(qū)域和從面部檢測單元621提供的面部區(qū)域的坐標(biāo)信息，控制單元622執(zhí)行拍攝靜止圖像的自動快門處理。(控制單元的功能配置的例子)這里，將參考圖23來說明控制單元622的功能配置的例子。請注意，圖23所示出的控制單元622中所設(shè)有的成像控制單元633與圖14所示出的控制單元35中所設(shè)有的成像控制單元333具有基本上相同的功能，因此，省略對其說明。坐標(biāo)信息獲取單元631獲取從被攝體跟蹤單元55提供的輸入圖像的每一幀的被攝體區(qū)域的坐標(biāo)信息，還獲取從面部檢測單元621提供的輸入圖像的每一幀的面部區(qū)域的坐標(biāo)信息，并將所獲取的坐標(biāo)信息提供給區(qū)域形狀確定單元632。基于從坐標(biāo)信息獲取單元631提供的被攝體區(qū)域和面部區(qū)域的坐標(biāo)信息，區(qū)域形狀確定單元632確定被攝體區(qū)域和面部區(qū)域的比率在各幀之間的變化，并將反映確定結(jié)果的信息提供給成像控制單元633。(自動快門處理)接下來，將參考圖24所示出的流程圖來說明配備有圖23所示出的控制單元622的圖23所示出的圖像處理設(shè)備611所執(zhí)行的自動快門處理。請注意，圖24所示出的流程圖的步驟S611和S615中的處理基本上與圖15所示出的流程圖的步驟S311和S314中的處理相同，因此，將省略對其說明。
具體而言,在步驟S612中，面部檢測單元621從人(這是由被攝體跟蹤單元55執(zhí)行的被攝體跟蹤處理中檢測到的被攝體)的被攝體區(qū)域檢測輸入圖像中的面部。然后，面部檢測單元621將表示面部區(qū)域的坐標(biāo)信息提供給控制單元622。在步驟S613中，坐標(biāo)信息獲取單元631獲取分別從被攝體跟蹤單元55和面部檢測單元621提供的被攝體區(qū)域的坐標(biāo)信息和面部區(qū)域的坐標(biāo)信息，并將所獲取的坐標(biāo)信息提供給區(qū)域形狀確定單元632。在步驟S614中，基于從坐標(biāo)信息獲取單元631提供的被攝體區(qū)域和面部區(qū)域的坐標(biāo)信息，區(qū)域形狀確定單元632監(jiān)測每一幀的輸入圖像中的被攝體區(qū)域和面部區(qū)域的比率，并確定被攝體區(qū)域和面部區(qū)域的比率是否在各幀之間相對于預(yù)定閾值發(fā)生顯著變化。更具體而言，基于從坐標(biāo)信息獲取單元631提供的被攝體區(qū)域和面部區(qū)域的坐標(biāo)信息，區(qū)域形狀確定單元632確定比率Fh/Hw (其中，F(xiàn)h是表示面部區(qū)域的面部框F的高度，Hw是表示被攝體區(qū)域的被攝體框H的寬度)是否在各幀之間相對于預(yù)定閾值發(fā)生顯著變化。 當(dāng)在步驟S614中確定被攝體區(qū)域和面部區(qū)域的比率沒有相對于預(yù)定閾值顯著地變化時，則處理返回到步驟S611，并重復(fù)從步驟S611到步驟S614的處理。另一方面，當(dāng)在步驟S614中確定被攝體區(qū)域和面部區(qū)域的比率相對于預(yù)定閾值顯著地變化時，區(qū)域形狀確定單元632向成像控制單元633提供表示被攝體區(qū)域和面部區(qū)域的比率相對于預(yù)定閾值顯著地變化的信息。例如，如圖25的左側(cè)所示，當(dāng)作為被攝體的正在跑的孩子位于第(n-Ι)幀的輸入圖像中時，被攝體區(qū)域和面部區(qū)域的比率Q(η-1)被表達為Fh (n-1) /Hw(η-1)，其中，F(xiàn)h(n-l)是表示面部區(qū)域的面部框F(n-1)的高度,而Hw(n_l)是表示被攝體區(qū)域的被攝體框H(n-l)的寬度。然后，如圖25的右側(cè)所示，如果作為被攝體的孩子剛剛在第η幀的輸入圖像中倒下，貝1J第η巾貞的輸入圖像中的被攝體區(qū)域和面部區(qū)域的比率Q (n) =Fh (n)/Hw (η)與第(η_1)幀的輸入圖像中的被攝體區(qū)域和面部區(qū)域的比率Q(n-l)相比已經(jīng)變化。此時，如果區(qū)域形狀確定單元632確定第(n-Ι)幀的輸入圖像中的被攝體區(qū)域和面部區(qū)域的比率Q(n-l)和第η幀的輸入圖像中的被攝體區(qū)域和面部區(qū)域的比率Q(n)之間的差I(lǐng) Q (n)-Q (n-Ι) |大于預(yù)定閾值，則向成像控制單元633提供被攝體區(qū)域和面部區(qū)域的比率相對于預(yù)定閾值顯著變化的信息。響應(yīng)于此，從成像控制單元633發(fā)出拍攝第η幀的輸入圖像的命令。利用上文所描述的處理，當(dāng)被攝體區(qū)域和面部區(qū)域的比率顯著地變化時，拍攝靜止圖像。結(jié)果，可以執(zhí)行圖像拍攝，而不會丟失諸如如圖25所示的小孩剛剛倒下的時刻之類的重要時刻，因此，可以更可靠地獲取最佳拍攝圖像。請注意，如果圖23所示出的控制單元622還在坐標(biāo)信息獲取單元631的后級包括圖19所示出的位置檢測單元531，則也可以在被攝體區(qū)域和面部區(qū)域的比率在輸入圖像的預(yù)定區(qū)域中發(fā)生顯著變化時拍攝靜止圖像。此外，在上面的描述中，當(dāng)作為人的被攝體的被攝體區(qū)域和作為人的一部分的面部的面部區(qū)域的比率變化時，拍攝靜止圖像。然而，如果可以分別檢測被攝體和被攝體的一部分，則可以響應(yīng)于各個區(qū)域的比率變化，拍攝除人以外的被攝體的圖像。
雖然在上面的描述中，當(dāng)被攝體區(qū)域和面部區(qū)域的比率變化時拍攝靜止圖像，但也可以在被攝體區(qū)域和面部區(qū)域的比率達到預(yù)定值時拍攝靜止圖像。(控制單元的功能配置的另一個例子)鑒于此，將參考圖26來說明當(dāng)被攝體區(qū)域和面部區(qū)域的比率達到預(yù)定值時拍攝靜止圖像的圖像處理設(shè)備611中設(shè)有的控制單元622的功能配置的例子。請注意，在圖26所示出的控制單元622中，通過相同名稱和相同附圖標(biāo)記來表示與圖23所示出的控制單元622中所提供的結(jié)構(gòu)元件具有相同功能的結(jié)構(gòu)元件,并相應(yīng)地省略對其說明。更具體而言，圖26所示出的控制單元622與圖23所示出的控制單元622的不同之處在于，提供了區(qū)域比率比較單元731代替區(qū)域形狀確定單元632?；趶淖鴺?biāo)信息獲取單元631提供的被攝體區(qū)域和面部區(qū)域的坐標(biāo)信息，區(qū)域比率比較單元731將輸入圖像的預(yù)定幀中的被攝體區(qū)域和面部區(qū)域的比率與預(yù)定目標(biāo)值進 行比較，并將反映比較結(jié)果的信息提供給成像控制單元633。請注意，目標(biāo)值可以由用戶根據(jù)需要來設(shè)置。(自動快門處理)接下來，將參考圖27所示出的流程圖來說明配備有圖26所示出的控制單元622的圖26所示出的圖像處理設(shè)備611所執(zhí)行的自動快門處理。請注意，圖27所示出的流程圖的步驟S711到步驟S713和步驟S715中的處理基本上與圖24所示出的流程圖的步驟S611到步驟S613和步驟S615中的處理相同，因此，將省略對其說明。具體而言，在步驟S714中，基于從坐標(biāo)信息獲取單元631提供的被攝體區(qū)域和面部區(qū)域的坐標(biāo)信息，區(qū)域比率比較單元731將輸入圖像的預(yù)定幀中的被攝體區(qū)域和面部區(qū)域的比率與預(yù)定目標(biāo)值進行比較。更具體而言，基于被攝體區(qū)域和面部區(qū)域的坐標(biāo)信息，區(qū)域比率比較單元731確定被攝體區(qū)域和面部區(qū)域的比率與目標(biāo)值之差是否小于預(yù)定閾值。當(dāng)在步驟S714中確定目標(biāo)值與被攝體區(qū)域和面部區(qū)域的比率之差不小于預(yù)定閾值時，則處理返回到步驟S711，并重復(fù)從步驟S711到步驟S714的處理。另一方面，當(dāng)在步驟S714中確定目標(biāo)值與被攝體區(qū)域和面部區(qū)域的比率之間的差小于預(yù)定閾值時，即，當(dāng)被攝體區(qū)域和面部區(qū)域的比率與目標(biāo)值相同或基本上與目標(biāo)值相同時，區(qū)域比率比較單元731向成像控制單元633提供表示目標(biāo)值與被攝體區(qū)域和面部區(qū)域的比率之差小于預(yù)定閾值的信息。例如，如圖28的左側(cè)所示，假設(shè)一個孩子作為被攝體在第P幀的輸入圖像中正在從遠處跑向并靠近圖像處理設(shè)備611。這里，被攝體區(qū)域和面部區(qū)域的比率S(p)被表達為Hh(P)/Fh(p)，其中，Hh(P)是表示第P幀的輸入圖像中的被攝體區(qū)域的被攝體框H(p)的高度，而Fh (P)是表示面部區(qū)域的面部框F(p)的高度。然后，如圖28的右側(cè)所示，當(dāng)孩子作為被攝體在圖像處理設(shè)備611的附近移動并且在第N幀的輸入圖像中確定目標(biāo)值與被攝體區(qū)域和面部區(qū)域的比率S (N) =Hh (N)/Fh (N)之間的差小于預(yù)定閾值時，向成像控制單元633提供目標(biāo)值與被攝體區(qū)域和面部區(qū)域的比率之差小于預(yù)定閾值的信息。響應(yīng)于此，從成像控制單元633發(fā)出拍攝第N幀的輸入圖像的命令。利用上文所描述的處理，當(dāng)目標(biāo)值與被攝體區(qū)域和面部區(qū)域的比率之差小于預(yù)定閾值時，拍攝靜止圖像。結(jié)果，能夠抓住孩子靠近并且成像范圍中的人的大小(所謂的鏡頭)變?yōu)榕臄z身體上半部圖像的最佳鏡頭的時刻，如圖28所示。如此，可以更可靠地獲取最佳拍攝圖像。此外，通過調(diào)整目標(biāo)值，可以以用戶所希望的鏡頭，如拍攝整個被攝體的全景鏡頭、拍攝面部的特寫鏡頭等等來拍攝靜止圖像。在上面的描述中，說明了當(dāng)圖像處理設(shè)備作為拍攝靜止圖像的數(shù)字照相機來形成時執(zhí)行的處理。當(dāng)圖像處理設(shè)備被形成為拍攝視頻的數(shù)字攝像機時，有可能使圖像處理設(shè)備執(zhí)行幀標(biāo)識處理，作為應(yīng)用被攝體跟蹤處理的跟蹤結(jié)果的應(yīng)用的例子。幀標(biāo)識處理響應(yīng)于被跟蹤的被攝體的狀態(tài)變化來標(biāo)識視頻中的預(yù)定幀。(圖像處理設(shè)備的再一個例子) 接下來，將參考圖29來說明執(zhí)行幀標(biāo)識處理的圖像處理設(shè)備811的配置的例子。中貞標(biāo)識處理響應(yīng)于通過上文所描述的被攝體跟蹤處理所跟蹤的被攝體的狀態(tài)變化來標(biāo)識視頻中的預(yù)定幀。請注意，在圖29所示出的圖像處理設(shè)備811中，用相同名稱和相同附圖標(biāo)記來表示與圖I所示出的圖像處理設(shè)備11中所提供的結(jié)構(gòu)元件具有相同功能的結(jié)構(gòu)元件，并相應(yīng)地省略對其說明。具體而言，圖29所示出的圖像處理設(shè)備811與圖I所示出的圖像處理設(shè)備11的不同之處在于提供了控制單元821代替控制單元35?？刂茊卧?21基于從被攝體跟蹤單元55提供的被攝體區(qū)域的坐標(biāo)信息，來執(zhí)行標(biāo)識視頻中的預(yù)定幀的幀標(biāo)識處理。(控制單元的功能配置的例子)這里，將參考圖30來說明控制單元821的功能配置的例子。請注意，在圖30所示出的控制單元821中，坐標(biāo)信息獲取單元831和區(qū)域形狀確定單元832與圖14所示出的控制單元35中所提供的坐標(biāo)信息獲取單元331和區(qū)域形狀確定單元332具有基本上相同的功能，因此，將省略對其說明。基于來自區(qū)域形狀確定單元832的信息，幀標(biāo)識單元833控制數(shù)字信號處理單元33在數(shù)字信號處理單元33中執(zhí)行信號處理，并標(biāo)識要被記錄在記錄介質(zhì)(附圖中未示出)上的輸入圖像的預(yù)定幀。(幀標(biāo)識處理)接下來，將參考圖31所示出的流程圖來說明圖29所示出的包括圖30所示出的控制單元821的圖像處理設(shè)備811所執(zhí)行的幀標(biāo)識處理。請注意，圖31所示出的流程圖的步驟S811到步驟S813中的處理基本上與圖15所示出的流程圖的步驟S311到步驟S313中的處理相同，因此，將省略對其說明。具體而言，如果從區(qū)域形狀確定單元832提供了表示被攝體區(qū)域的縱橫比相對于預(yù)定閾值顯著變化的信息，則幀標(biāo)識單元833在步驟S814中控制數(shù)字信號處理單元33，以便用于標(biāo)識預(yù)定幀的標(biāo)記被添加到輸入圖像中。結(jié)果，在記錄介質(zhì)(附圖中未示出)中記錄添加有用于標(biāo)識預(yù)定幀的標(biāo)記作為元數(shù)據(jù)的視頻。
利用上文所描述的處理，當(dāng)包括被攝體的被攝體區(qū)域的縱橫比顯著變化時，添加標(biāo)記，以標(biāo)識視頻中的幀。如此，例如，在編輯記錄的視頻的情況下，有可能輕松地檢索諸如孩子剛剛倒下的時刻之類的重要時刻。請注意，在上面的描述中，當(dāng)被攝體區(qū)域的縱橫比顯著變化時，標(biāo)識視頻中的幀。然而，如果給圖30所示出的控制單元821提供了圖17所示出的區(qū)域形狀確定單元431來代替區(qū)域形狀確定單元832，則也可以當(dāng)在輸入圖像上的預(yù)定區(qū)域內(nèi)被攝體的狀態(tài)變化已停止時標(biāo)識視頻中的幀。此外，如果圖30所示出的控制單元821還在坐標(biāo)信息獲取單元831的后級包括圖19所示出的位置檢測單元531，則也可以當(dāng)在輸入圖像上的預(yù)定區(qū)域內(nèi)被攝體的狀態(tài)發(fā)生變化時標(biāo)識視頻中的幀。此外，如果圖像處理設(shè)備811的數(shù)字信號處理單元33還包括圖22所示出的面部檢測單元621,并且圖30所示出的控制單元821包括圖23所示出的區(qū)域形狀確定單元632代替區(qū)域形狀確定單元832，則也可以在被攝體區(qū)域和面部區(qū)域的比率顯著變化時標(biāo)識視 頻中的幀。此外，當(dāng)被攝體區(qū)域和面部區(qū)域的比率顯著變化時，幀標(biāo)識單元833可以向數(shù)字信號處理單元33發(fā)出啟動或停止在記錄介質(zhì)(附圖中未示出)上記錄視頻的命令。上文所描述的處理系列可以通過硬件來實現(xiàn)，或者也可以通過軟件來實現(xiàn)。當(dāng)通過軟件來執(zhí)行該系列處理時，將構(gòu)成軟件的程序安裝到含在專用硬件內(nèi)的計算機中，或者將程序從程序存儲介質(zhì)安裝到例如可以通過安裝各種類型的程序來執(zhí)行各種類型功能的通常的個人計算機。圖32是示出了根據(jù)程序執(zhí)行上文所描述的處理系列的計算機的硬件配置的示例的框圖。在計算機中，中央處理單元(CPU) 901、只讀存儲器(ROM) 902和隨機訪問存儲器(RAM) 903通過總線904相互連接。此外，輸入/輸出接口 905還連接到總線904。輸入單元906、輸出單元907、存儲單元908、通信單元909以及驅(qū)動可移動介質(zhì)911的驅(qū)動器910連接到輸入/輸出接口 905。輸入單元906包括鍵盤、鼠標(biāo)，麥克風(fēng)等等。輸出單元907包括顯示器、揚聲器等等。存儲單元908包括硬盤、非易失性存儲器等等。通信單元909包括網(wǎng)絡(luò)接口等等?？梢苿咏橘|(zhì)911是磁盤、光盤、磁光盤、半導(dǎo)體存儲器等等。在如上文所描述的那樣配置的計算機中，執(zhí)行上文所描述的處理系列，以便CPU901通過輸入/輸出接口 905和總線904將存儲在例如存儲單元908中的程序加載到RAM903中，并執(zhí)行程序。由計算機(CPU 901)執(zhí)行的程序是通過將它記錄在例如磁盤(包括軟盤)、光盤(壓縮光盤-只讀存儲器(⑶-ROM)、數(shù)字多功能盤(DVD)等等)、磁光盤，或由半導(dǎo)體存儲器等等所形成的封裝介質(zhì)的可移動介質(zhì)911中來提供。或者，上面的程序也可以通過諸如局域網(wǎng)、因特網(wǎng)和數(shù)字衛(wèi)星廣播之類的有線或無線傳輸介質(zhì)來提供。通過將可移動介質(zhì)911附接到驅(qū)動器910，可以經(jīng)由輸入/輸出接口 905將程序安裝在存儲單元908中。此外，程序還可以由通信單元40通過有線或無線傳輸介質(zhì)接收，并可以將其安裝到存儲單元908中。此外，程序還可以預(yù)先安裝在ROM 902中或存儲單元908 中。請注意，由計算機執(zhí)行的程序可以是這樣的程序根據(jù)此說明書中所描述的順序，按時間順序執(zhí)行處理，也可以是這樣的程序在必要的時刻，如在執(zhí)行調(diào)用時，執(zhí)行處理。本發(fā)明的實施例不僅限于上文所描述的實施例，可以進行各種修改，只要它們在本發(fā)明的精神和范圍內(nèi)。[附圖標(biāo)記列表]11圖像處理設(shè)備34顯示單元35控制單元
55被攝體跟蹤單元71被攝體圖生成單元72被攝體候選區(qū)域矩形形成單元73被攝體區(qū)域選擇單元74加權(quán)因子計算單元111顯著性圖生成單元112條帶顯著性圖生成單元113條帶顯著性圖合成單元114合成顯著性圖合成單元131 二進制化處理單元132標(biāo)記處理單元133矩形區(qū)域坐標(biāo)計算單元134區(qū)域信息計算單元151區(qū)域信息比較單元152被攝體區(qū)域確定單元200輸入圖像201被攝體圖221，222 矩形區(qū)域231被攝體框332區(qū)域形狀確定單元333成像控制單元431區(qū)域形狀確定單元531位置檢測單元632區(qū)域形狀確定單元633成像控制單元731區(qū)域比率比較單元832區(qū)域形狀確定單元833幀標(biāo)識單元
權(quán)利要求
1.一種圖像處理設(shè)備，包括 處理器，被配置成確定位于第一圖像內(nèi)的第一框邊界和位于第二圖像內(nèi)的第二框邊界，其中第一圖像和第二圖像是時間上連續(xù)的圖像；以及 控制器，被配置成檢測第一框邊界和第二框邊界之間的變化。
2.如權(quán)利要求I所述的圖像處理設(shè)備，還包括 快門；以及 快門觸發(fā)機構(gòu)，被配置成響應(yīng)于所述控制器檢測到第一框邊界和第二框邊界之間的變化而驅(qū)動所述快門并利用圖像傳感器來拍攝圖像。
3.如權(quán)利要求I所述的圖像處理設(shè)備，其中 第一框邊界和第二框邊界之間的所述變化是下列各項中的至少一項 縱橫比的變化， 形狀的變化，以及 位置的變化。
4.如權(quán)利要求I所述的圖像處理設(shè)備，其中 第一框邊界和第二框邊界之間的所述變化是響應(yīng)于下列各項中的一項而發(fā)生的 被攝體在第一框邊界和第二框邊界內(nèi)的移動，以及 所述被攝體的特征變化。
5.如權(quán)利要求I所述的圖像處理設(shè)備，其中 所述第一圖像和所述第二圖像是視頻內(nèi)的圖像。
6.如權(quán)利要求5所述的圖像處理設(shè)備，其中 所述視頻包括在數(shù)字照相機和數(shù)字攝像機中的至少一個的取景器中拍攝到的圖像；以及 所述第一框邊界和所述第二框邊界在所述取景器內(nèi)可見。
7.如權(quán)利要求2所述的圖像處理設(shè)備，其中 所述快門觸發(fā)機構(gòu)被配置成在所述快門不活動達預(yù)定時間段之后驅(qū)動所述快門。
8.如權(quán)利要求I所述的圖像處理設(shè)備，其中 所述處理器被配置成確定位于所述第一框邊界內(nèi)的第一較小框以及所述第二框邊界內(nèi)的第二較小框，以及 當(dāng)?shù)谝惠^小框與第一框邊界的區(qū)域比率以及第二較小框與第二框邊界的區(qū)域比率滿足預(yù)定的準(zhǔn)則時，所述控制器檢測出第一框邊界和第二框邊界之間的所述變化。
9.一種圖像處理方法，包括 利用處理器確定位于第一圖像內(nèi)的第一框邊界和位于第二圖像內(nèi)的第二框邊界，第一圖像和第二圖像是時間上連續(xù)的圖像；以及檢測第一框邊界和第二框邊界之間的變化。
10.如權(quán)利要求9所述的方法，還包括 響應(yīng)于檢測到第一框邊界和第二框邊界之間的變化而驅(qū)動快門并利用圖像傳感器來拍攝圖像。
11.如權(quán)利要求9所述的方法，其中 第一框邊界和第二框邊界之間的所述變化是下列各項中的至少一項縱橫比的變化， 形狀的變化，以及 位置的變化。
12.如權(quán)利要求9所述的方法，其中 第一框邊界和第二框邊界之間的所述變化是響應(yīng)于下列各項中的一項而發(fā)生的 被攝體在第一框邊界和第二框邊界內(nèi)的移動，以及 所述被攝體的特征變化。
13.如權(quán)利要求9所述的方法，其中 所述第一圖像和所述第二圖像是視頻內(nèi)的圖像。
14.如權(quán)利要求13所述的方法，還包括 在數(shù)字照相機和數(shù)字攝像機中的至少一個的取景器中拍攝所述圖像；以及 在所述取景器內(nèi)呈現(xiàn)所述第一框邊界和所述第二框邊界。
15.如權(quán)利要求10所述的方法，其中 所述驅(qū)動包括在所述快門不活動達預(yù)定的時間段之后驅(qū)動所述快門。
16.如權(quán)利要求9所述的方法，還包括 確定位于所述第一框邊界內(nèi)的第一較小框以及所述第二框邊界內(nèi)的第二較小框，其中所述檢測包括當(dāng)?shù)谝惠^小框與第一框邊界的區(qū)域比率以及第二較小框與第二框邊界的區(qū)域比率滿足預(yù)定的準(zhǔn)則時，檢測出第一框邊界和第二框邊界之間的變化。
17.一種具有當(dāng)由處理器執(zhí)行時執(zhí)行包括下列各操作的方法的指令的非瞬態(tài)計算機可讀存儲設(shè)備 利用處理器確定位于第一圖像內(nèi)的第一框邊界和位于第二圖像內(nèi)的第二框邊界，第一圖像和第二圖像是時間上連續(xù)的圖像；以及檢測第一框邊界和第二框邊界之間的變化。
18.如權(quán)利要求17所述的非瞬態(tài)計算機可讀存儲設(shè)備，其中，所述方法還包括 響應(yīng)于檢測到第一框邊界和第二框邊界之間的變化而驅(qū)動快門并利用圖像傳感器來拍攝圖像，其中 第一框邊界和第二框邊界之間的所述變化是下列各項中的至少一項 縱橫比的變化， 形狀的變化，以及 位置的變化。
19.如權(quán)利要求17所述的非瞬態(tài)計算機可讀存儲設(shè)備，其中，所述方法還包括 在數(shù)字照相機和數(shù)字攝像機中的至少一個的取景器中拍攝所述圖像；以及 在所述取景器內(nèi)呈現(xiàn)所述第一框邊界和所述第二框邊界。
20.如權(quán)利要求17所述的非瞬態(tài)計算機可讀存儲設(shè)備，其中，所述方法還包括 確定位于所述第一框邊界內(nèi)的第一較小框以及所述第二框邊界內(nèi)的第二較小框，其中 所述檢測包括當(dāng)?shù)谝惠^小框與第一框邊界的區(qū)域比率以及所述第二較小框與第二框邊界的區(qū)域比率滿足預(yù)定的準(zhǔn)則時，檢測出第一框邊界和第二框邊界之間的變化。
全文摘要
圖像處理設(shè)備、方法以及非瞬態(tài)計算機程序存儲設(shè)備協(xié)作來處理連續(xù)的圖像。相應(yīng)的框被創(chuàng)建，并被定位在連續(xù)的圖像內(nèi)，其中，每一框都具有邊界。當(dāng)檢測到框邊界之間的變化時，控制器觸發(fā)圖像拍攝。此方法導(dǎo)致對關(guān)注時刻的拍攝，即使被攝體不是人物也可以?？梢砸愿鞣N方式來分類框邊界的變化，例如包括縱橫比、形狀、朝向以及位置的變化。通過用這種方式來檢測變化，成像設(shè)備可以自動地拍攝有趣的事件的圖像。
文檔編號G06T1/00GK102812699SQ20118001502
公開日2012年12月5日 申請日期2011年3月16日 優(yōu)先權(quán)日2010年3月30日
發(fā)明者木下雅也, 米田豐, 龜谷敬 申請人:索尼公司