圖像處理裝置、圖像處理方法以及數(shù)碼相的制造方法
【專利摘要】本發(fā)明的數(shù)碼相機(jī)中具有：水平尺寸縮小調(diào)整部(301)，其對(duì)來自單板彩色攝像元件的RAW圖像，在輸入行方向上縮小到與動(dòng)態(tài)圖像記錄用尺寸對(duì)應(yīng)的圖像；存儲(chǔ)器部(303)，其容納被水平尺寸調(diào)整后的圖像數(shù)據(jù)；多個(gè)垂直尺寸縮小調(diào)整部(304、306、308)，其由從所述存儲(chǔ)器部(303)讀出的多個(gè)縮小行數(shù)據(jù)起在與輸入行方向正交的垂直方向上進(jìn)行尺寸縮小調(diào)整；以及水平尺寸縮小調(diào)整部(310、312)，其對(duì)在水平方向以及垂直方向上經(jīng)尺寸縮小調(diào)整后的多個(gè)圖像再次在輸入行方向上縮小為與顯示用尺寸、臉檢測(cè)用尺寸對(duì)應(yīng)的圖像。
【專利說明】圖像處理裝置、圖像處理方法以及數(shù)碼相機(jī)
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及圖像處理裝置、圖像處理方法以及數(shù)碼相機(jī)，適于在由從單板彩色攝像元件得到的原始圖像生成多個(gè)縮小圖像并進(jìn)行圖像處理時(shí)實(shí)現(xiàn)高速、節(jié)電的圖像識(shí)別以及反饋動(dòng)作。
【背景技術(shù)】
[0002]近年來，在搭載了大規(guī)格尺寸的攝像元件的單鏡頭數(shù)碼相機(jī)中，未搭載光學(xué)取景器和可動(dòng)反射鏡的單鏡頭數(shù)碼相機(jī)受到關(guān)注。無反射鏡的單鏡頭數(shù)碼相機(jī)的特征在于，一邊在液晶監(jiān)視器確認(rèn)攝影被攝體一邊實(shí)施構(gòu)圖決定，能使用攝像元件的輸出數(shù)據(jù)來實(shí)施自動(dòng)焦點(diǎn)控制和自動(dòng)曝光控制從而進(jìn)行靜態(tài)圖像攝影或動(dòng)態(tài)圖像攝影，這在普及型的數(shù)碼相機(jī)或便攜式相機(jī)中也成為一種標(biāo)準(zhǔn)的攝影方法。
[0003]如前述那樣，一般的數(shù)碼相機(jī)搭載了專用的液晶監(jiān)視器，一邊在液晶監(jiān)視器確認(rèn)攝影被攝體一邊實(shí)施構(gòu)圖決定，同時(shí)實(shí)施臉識(shí)別和運(yùn)動(dòng)識(shí)別等來自動(dòng)調(diào)整特定區(qū)域的曝光和對(duì)焦，從而進(jìn)行靜態(tài)圖像攝影或動(dòng)態(tài)圖像攝影。
[0004]在以這樣的數(shù)碼相機(jī)為代表的攝像裝置中，為了拍攝彩色圖像而在攝像元件上設(shè)置分色過濾器。例如，在拜耳(Bayer)方式的分色過濾器中，與攝像元件的像素對(duì)應(yīng)地將R(紅)、G (綠)、B (藍(lán))的原色過濾器配置成方格模樣。即，在拜耳排列中，在像素排列中的傳感器讀出方向以及垂直方向的兩個(gè)方向，每隔I個(gè)像素排列相同顏色分量的過濾器。通過這樣的分色過濾器而拍攝的成為攝像元件輸出的圖像數(shù)據(jù)為了通過圖像處理來再現(xiàn)被攝體的顏色，因而在輸入前級(jí)處理中，需要保持拜耳排列來進(jìn)行處置。
[0005]在由從攝像元件輸出的大尺寸原始圖像生成并處理顯示用的小尺寸圖像未進(jìn)行顯示時(shí)，一邊以原始圖像為基礎(chǔ)來進(jìn)行動(dòng)態(tài)范圍調(diào)整并取白平衡，一邊對(duì)各像素進(jìn)行得到R / G / B的信息這樣的同步處理，之后，經(jīng)過變換為一般所處理的Y / Cr / Cb的數(shù)據(jù)型的彩色圖像處理，實(shí)施尺寸縮小調(diào)整(compression-resize)處理使之符合液晶監(jiān)視器的顯示尺寸，實(shí)施符合監(jiān)視器特性的顯示處理來顯示在專用監(jiān)視器上。
[0006]圖9表不一般數(shù)碼相機(jī)的內(nèi)部信號(hào)處理塊的概念圖。
[0007]在圖9中，穿過光學(xué)透鏡11的被攝體的光學(xué)像在攝像元件面成像，并從攝像元件輸出。單板式攝像元件的原始圖像(I面)即拜耳排列的RAW圖像數(shù)據(jù)101用前處理部102實(shí)施DC大小調(diào)整、增益調(diào)整等，在經(jīng)由存儲(chǔ)器控制部107而臨時(shí)寫入存儲(chǔ)器部108后，在下一處理中經(jīng)由存儲(chǔ)器控制部107從存儲(chǔ)器部108讀出并輸入到圖像信號(hào)處理部109。在圖像信號(hào)處理部109中，進(jìn)行從拜耳排列的RAW圖像變換為Y / Cr / Cb的數(shù)據(jù)型的圖像信號(hào)處理。在圖像信號(hào)處理部109中，為了變換為Y / Cr / Cb的數(shù)據(jù)型的圖像并縮小為顯示用圖像尺寸，因而實(shí)施尺寸縮小調(diào)整處理來生成期望的顯示尺寸圖像。被生成的顯示尺寸的Y / Cr / Cb的數(shù)據(jù)型圖像經(jīng)由存儲(chǔ)器控制部107而再次被寫入到存儲(chǔ)器部108。
[0008]另外，與此同時(shí)，在圖像信號(hào)處理部109中，為了在變換為Y / Cr / Cb的數(shù)據(jù)型的圖像后縮小為臉檢測(cè)用圖像尺寸，對(duì)亮度信號(hào)Y實(shí)施尺寸縮小調(diào)整處理來生成期望的臉檢測(cè)用的亮度圖像數(shù)據(jù)。經(jīng)由存儲(chǔ)器控制部107寫入到存儲(chǔ)器部108的臉檢測(cè)用尺寸的亮度信號(hào)Y的數(shù)據(jù)型圖像由臉檢測(cè)處理部106再次經(jīng)由存儲(chǔ)器控制部107而從存儲(chǔ)器部108適當(dāng)讀出，提取圖像內(nèi)的臉的位置、大小等臉信息，將該提取結(jié)果信息經(jīng)由存儲(chǔ)器控制部107寫入到存儲(chǔ)器部108。CPUl 14經(jīng)由存儲(chǔ)器控制部107讀出寫入到存儲(chǔ)器部108的臉檢測(cè)信息，由臉檢測(cè)信息變換為表示臉位置的顯示信息，生成顯示數(shù)據(jù)并寫入到存儲(chǔ)器部108。同時(shí)，CPUl 14以臉識(shí)別信息為基礎(chǔ)來自動(dòng)調(diào)整特定區(qū)域的曝光、對(duì)焦。
[0009]寫入到所述存儲(chǔ)器部108的顯示尺寸的Y / Cr / Cb的數(shù)據(jù)型圖像，再次經(jīng)由存儲(chǔ)器控制部107而從存儲(chǔ)器部108讀出，并被輸入到顯示處理部117。此時(shí)，表示所述臉位置的顯示信息也同時(shí)被從存儲(chǔ)器部108讀出并被輸入到顯示處理部117。
[0010]被輸入到顯示處理部117的Y / Cr / Cb的數(shù)據(jù)型圖像和表示臉位置的顯示信息在顯示處理部117被變換為符合監(jiān)視器118的監(jiān)視器的特性的數(shù)據(jù)規(guī)格，并被輸出到監(jiān)視器118,進(jìn)行顯示。
[0011]另外，在進(jìn)行標(biāo)準(zhǔn)化的尺寸下的動(dòng)態(tài)圖像記錄的情況下，與所述相同，在將原始圖像101用圖像信號(hào)處理部109變換為Y / Cr / Cb的數(shù)據(jù)型的圖像后，用圖像信號(hào)處理&尺寸縮小調(diào)整處理部109實(shí)施尺寸縮小調(diào)整處理來生成期望的動(dòng)態(tài)圖像記錄尺寸圖像。生成的動(dòng)態(tài)圖像記錄尺寸的Y / Cr / Cb的數(shù)據(jù)型圖像經(jīng)由存儲(chǔ)器控制部107而再次被寫入到存儲(chǔ)器部108。寫入到存儲(chǔ)器部108的動(dòng)態(tài)圖像記錄尺寸的Y / Cr / Cb的數(shù)據(jù)型圖像再次經(jīng)由存儲(chǔ)器控制部107從存儲(chǔ)器部108讀出，并被輸入到壓縮解壓部110。輸入到壓縮解壓部110的Y / Cr / Cb的數(shù)據(jù)型圖像使用MJPEG或MPEG、H264等動(dòng)態(tài)圖像編碼格式進(jìn)行數(shù)據(jù)壓縮，并再次經(jīng)由存儲(chǔ)器控制部107寫入到存儲(chǔ)器部108。壓縮的動(dòng)態(tài)圖像數(shù)據(jù)再次經(jīng)由存儲(chǔ)器控制部107而從存儲(chǔ)器部108被讀出，并經(jīng)由記錄媒介接口 111寫入到記錄媒介 112。
[0012]關(guān)于所述的數(shù)碼相機(jī)的內(nèi)部信號(hào)處理，在圖10示出進(jìn)行以RAW圖像數(shù)據(jù)的輸入為起點(diǎn)的一系列的流水線處理的樣子。
[0013]在圖10中，在輸入拜耳排列的RAW圖像數(shù)據(jù)101的第I幀期間，用前處理部102實(shí)施DC大小調(diào)整、增益調(diào)整等，將其處理結(jié)果經(jīng)由存儲(chǔ)器控制部107臨時(shí)寫入到存儲(chǔ)器部108后，在第2幀期間的處理中經(jīng)由存儲(chǔ)器控制部107將其讀出，并輸入到圖像信號(hào)處理部109，進(jìn)行從RAW圖像變換為Y / Cr / Cb的數(shù)據(jù)型的圖像信號(hào)處理。
[0014]在所述第2幀期間，由圖像信號(hào)處理&尺寸縮小調(diào)整處理部109實(shí)施尺寸縮小調(diào)整處理來生成期望的顯示尺寸圖像和臉檢測(cè)用亮度圖像數(shù)據(jù)。該生成的顯示尺寸的Y /Cr / Cb的數(shù)據(jù)型圖像和臉檢測(cè)用亮度圖像數(shù)據(jù)經(jīng)由存儲(chǔ)器控制部107再次被寫入到存儲(chǔ)器部108。
[0015]接下來，在第3幀期間，經(jīng)由存儲(chǔ)器控制部107由臉檢測(cè)處理部106再次經(jīng)由存儲(chǔ)器控制部107從存儲(chǔ)器部108適宜讀出臉檢測(cè)用的亮度圖像數(shù)據(jù)，提取圖像內(nèi)的臉的位置、大小等臉信息，將其提取結(jié)果信息經(jīng)由存儲(chǔ)器控制部107寫入到存儲(chǔ)器部108。
[0016]之后，在第4幀期間，CPUl 14經(jīng)由存儲(chǔ)器控制部107讀出寫入到存儲(chǔ)器部108的臉提取結(jié)果信息，將表示其臉位置的臉提取結(jié)果信息變換為顯示信息數(shù)據(jù)并寫入到存儲(chǔ)器部108。同時(shí)，CPU114開始用于以臉識(shí)別信息為基礎(chǔ)自動(dòng)調(diào)整特定區(qū)域的曝光、對(duì)焦、畫質(zhì)調(diào)整的反饋控制。[0017]如以上那樣，在圖9以及圖10所示的圖像處理中，進(jìn)行如下信號(hào)處理:在攝影時(shí)一邊在液晶監(jiān)視器確認(rèn)攝影被攝體一邊實(shí)施構(gòu)圖決定時(shí)，在將縮小的I個(gè)種類的RGB拜耳排列的RAW數(shù)據(jù)臨時(shí)取入到存儲(chǔ)器后，在經(jīng)過變換為Y / Cr / Cb的數(shù)據(jù)型的彩色顯影圖像處理而再次取入到存儲(chǔ)器的工序中，分別實(shí)施尺寸縮小調(diào)整處理而調(diào)整為動(dòng)態(tài)圖像記錄用、臉檢測(cè)用以及顯示用監(jiān)視器的各尺寸，并寫入到存儲(chǔ)器部，再次從存儲(chǔ)器部讀出來實(shí)施動(dòng)態(tài)圖像壓縮處理、臉檢測(cè)處理以及顯示處理。
[0018]一般，在甚至還要確認(rèn)畫面內(nèi)的細(xì)節(jié)部分的再現(xiàn)性的情況下，需要處置大尺寸的圖像，但在進(jìn)行攝影時(shí)使用了液晶監(jiān)視器的被攝體的攝影構(gòu)圖的確認(rèn)、明亮度、顏色程度、或飛白等確認(rèn)的情況下，或通過臉檢測(cè)識(shí)別臉位置和大小的情況下，即使不使用那么大的圖像，也能用小的圖像進(jìn)行充分確認(rèn)以及檢測(cè)識(shí)別。另外，最近，攝像元件的高像素化和高速讀出處理技術(shù)在不斷進(jìn)展，由于有時(shí)進(jìn)行被稱作小RAW的小于原始圖像的圖像記錄模式時(shí)的攝影、以HD電影為代表的尺寸被標(biāo)準(zhǔn)化的動(dòng)態(tài)圖像攝影，因此，如已經(jīng)敘述的那樣，若在通過處理的前階段縮小RAW圖像的基礎(chǔ)上進(jìn)行顯示處理、臉識(shí)別處理和記錄處理，則能省略在后處理的冗余處理，能大幅縮短處理時(shí)間并能達(dá)成系統(tǒng)的節(jié)電動(dòng)作。
[0019]另外，關(guān)于現(xiàn)有的通過在前處理對(duì)RGB的RAW圖像進(jìn)行尺寸縮小調(diào)整的技術(shù)，例如在專利文獻(xiàn)I?3中公開了如下方法:在對(duì)作為原始圖像的RGB的RAW數(shù)據(jù)進(jìn)行調(diào)整大小時(shí)，在最初的處理中顏色分離為獨(dú)立R、G、B數(shù)據(jù)，或通過同色像素的混合來進(jìn)行間取。
[0020]在先技術(shù)文獻(xiàn)
[0021]專利文獻(xiàn)
[0022]專利文獻(xiàn)I JP特開2003— 346143號(hào)公報(bào)
[0023]專利文獻(xiàn)2 JP特開2001— 245141號(hào)公報(bào)
[0024]專利文獻(xiàn)3 JP特開2002— 84547號(hào)公報(bào)
[0025]發(fā)明的概要
[0026]發(fā)明要解決的課題
[0027]但是，在所述圖9以及圖10所示的現(xiàn)有的信號(hào)處理中存在課題。即，在進(jìn)行了將任意I個(gè)種類的RAW圖像變換為Y / Cr / Cb的數(shù)據(jù)型的信號(hào)處理后，因進(jìn)行多個(gè)尺寸的縮小圖像處理這一點(diǎn)而引起下面2個(gè)課題存在。
[0028](I)由于在對(duì)大尺寸的RAW圖像數(shù)據(jù)在保持其大尺寸不變的情況下進(jìn)行圖像信號(hào)處理而變換的Y / Cr / Cb被臨時(shí)寫入到存儲(chǔ)器后，讀出來實(shí)施縮小圖像處理，因此伴隨存儲(chǔ)器訪問，從而在監(jiān)視器模式顯示中發(fā)生幀延遲，并且有可能會(huì)因幀單位的流水線處理引起的幀延遲，而對(duì)被攝體的運(yùn)動(dòng)錯(cuò)過實(shí)時(shí)的顯示或靜態(tài)圖像攝影時(shí)的快門時(shí)機(jī)。進(jìn)而，臉檢測(cè)處理也發(fā)生幀延遲，在圖10中，將輸入拜耳排列的RAW圖像數(shù)據(jù)101的幀期間設(shè)為第I幀期間并在第3幀期間進(jìn)行臉檢測(cè)處理，因此使得臉檢測(cè)的反饋處理延遲。特別在一邊確認(rèn)攝影被攝體一邊實(shí)施構(gòu)圖決定的監(jiān)視器模式的狀態(tài)以及動(dòng)態(tài)圖像記錄模式下，在被攝體的人物移動(dòng)的情況下，臉檢測(cè)結(jié)果的反饋處理的特定區(qū)域位置設(shè)定中會(huì)產(chǎn)生偏離。
[0029](2)尺寸縮小調(diào)整(compression-resize)處理是減少記錄圖像數(shù)的處理,若極力在圖像處理的前級(jí)實(shí)施，則雖然能削減在后級(jí)處理中的存儲(chǔ)器訪問量，但如現(xiàn)有技術(shù)那樣在變換為Y / Cr / Cb的數(shù)據(jù)型后實(shí)施尺寸縮小調(diào)整的情況下，此時(shí)間取而被舍棄的數(shù)據(jù)向Y / Cr / Cb的數(shù)據(jù)型的變換處理就成為了冗余處理。另外，該向Y / Cr / Cb的數(shù)據(jù)型的變換處理由于經(jīng)由存儲(chǔ)緩沖器而被處理，因此還與圖像尺寸對(duì)應(yīng)的處理量成正比地伴隨I / O緩沖器的電力消耗，在節(jié)電觀點(diǎn)上效率也差。
[0030]另外，在專利文獻(xiàn)I?3中，公開了攝像元件的高像素化和應(yīng)對(duì)動(dòng)態(tài)圖像記錄的高速讀出處理技術(shù)不斷進(jìn)展，在處理的前階段進(jìn)行縮小RAW圖像的處理，但關(guān)于在前處理中同時(shí)生成在后處理需要的多個(gè)縮小圖像方法，則沒有任何的公開。
[0031]如以上那樣，在數(shù)碼相機(jī)的攝影中，在一邊在液晶監(jiān)視器上確認(rèn)攝影被攝體一邊實(shí)施構(gòu)圖決定，并同時(shí)一邊進(jìn)行臉識(shí)別等各種識(shí)別動(dòng)作一邊實(shí)施實(shí)時(shí)的自動(dòng)對(duì)焦(AF)和自動(dòng)曝光(AE)等動(dòng)態(tài)圖像記錄模式的狀態(tài)下，經(jīng)由存儲(chǔ)緩沖器的向Y / Cr / Cb的數(shù)據(jù)型的變換處理、和成為在后處理的多個(gè)圖像縮小處理成為了冗余處理，且這成為監(jiān)視器顯示以及圖像識(shí)別等的幀延遲的主要原因。進(jìn)而，由于是攝像裝置內(nèi)部的幾乎全部處理功能動(dòng)作的監(jiān)視器模式和動(dòng)態(tài)圖像模式下的處理，因此在后處理中發(fā)生的冗余處理在節(jié)電觀點(diǎn)上效率非常差。

【發(fā)明內(nèi)容】

[0032]本發(fā)明鑒于上述狀況而提出，其目的在于，在圖像處理裝置中，在輸入原始圖像的幀時(shí)間內(nèi)，在前處理進(jìn)行由從攝像元件輸出的大尺寸RAW原始圖像直接向多個(gè)小尺寸的RAff圖像的縮小處理，一邊抑制在后處理中的冗余處理的產(chǎn)生，例如一邊以最小的幀延遲顯示數(shù)碼相機(jī)中的基于臉檢測(cè)的各種圖像識(shí)別結(jié)果，一邊進(jìn)行AF、AE的反饋控制，能實(shí)現(xiàn)高速、節(jié)電的數(shù)碼相機(jī)的視覺辨識(shí)動(dòng)作、畫質(zhì)調(diào)整動(dòng)作以及記錄動(dòng)作。
[0033]用于解決課題的手段
[0034]為了達(dá)成所述目的，技術(shù)方案I記載的發(fā)明的圖像處理裝置是一種在攝像裝置中使用的圖像處理裝置，該攝像裝置由被從攝像元件輸出且由具有顏色排列的周期性的多色像素構(gòu)成的原始圖像，生成靜態(tài)圖像以及運(yùn)動(dòng)圖像的至少一方并記錄，所述圖像處理裝置具有:前處理部，其對(duì)來自所述攝像元件的原始圖像進(jìn)行多個(gè)縮小圖像的生成處理；存儲(chǔ)器部，其經(jīng)由存儲(chǔ)器控制部暫時(shí)保持由所述前處理部進(jìn)行生成處理的多個(gè)縮小圖像；臉信息檢測(cè)部，其對(duì)從所述存儲(chǔ)器部讀出的任意I個(gè)縮小圖像，經(jīng)由所述存儲(chǔ)器控制部來檢測(cè)臉信息；和中央運(yùn)算處理部，其基于由所述臉信息檢測(cè)部檢測(cè)出的臉信息來進(jìn)行特定區(qū)域的對(duì)焦控制以及曝光控制的至少一方，所述前處理部具有:第I水平尺寸縮小調(diào)整處理部，其將來自所述攝像元件的原始圖像在輸入行方向上縮小為任意尺寸的圖像，并暫時(shí)容納在所述存儲(chǔ)器部中；多個(gè)垂直尺寸縮小調(diào)整處理部，其從所述存儲(chǔ)器部讀出被所述第I水平尺寸縮小調(diào)整處理部在輸入行方向上縮小后的縮小圖像，并將該所讀出的縮小圖像在與輸入行方向正交的垂直方向上縮小為任意尺寸；和多個(gè)第2水平尺寸縮小調(diào)整處理部，其將由所述垂直尺寸縮小調(diào)整處理部得到的在水平方向以及垂直方向上被尺寸縮小調(diào)整處理后的多個(gè)縮小圖像，再次在輸入行方向上縮小為任意的尺寸。
[0035]技術(shù)方案2記載的發(fā)明在技術(shù)方案I記載的圖像處理裝置的基礎(chǔ)上，特征在于，在所述前處理部生成η(其中η為4以上的整數(shù)。)個(gè)種類的縮小圖像時(shí)，所述第I水平尺寸縮小調(diào)整處理部，以比率Kl縮小為所生成的多個(gè)縮小圖像中水平圖像尺寸最大的縮小圖像的水平縮小尺寸，所述多個(gè)垂直尺寸縮小調(diào)整處理部中的I個(gè)，以所述比率Kl在垂直方向上對(duì)以所述比率Kl在輸入行方向上被縮小了的縮小圖像進(jìn)行縮小，另外I個(gè)垂直尺寸縮小調(diào)整處理部，以比率K2在垂直方向上對(duì)以所述比率Kl在輸入行方向上被縮小了的縮小圖像進(jìn)行縮小，再另外I個(gè)垂直尺寸縮小調(diào)整處理部，以比率Κ3在垂直方向上對(duì)以所述比率Kl在輸入行方向上被縮小了的縮小圖像進(jìn)行縮小，再剩余的η3個(gè)垂直尺寸縮小調(diào)整處理部，以比率Kn在垂直方向上對(duì)以所述比率Kl在輸入行方向上被縮小了的縮小圖像進(jìn)行縮小，所述多個(gè)第2水平尺寸縮小調(diào)整處理部具備η-1個(gè)，所述nl個(gè)第2水平尺寸縮小調(diào)整處理部中的I個(gè)，以成為Kl M2=K2的系數(shù)M2在輸入行方向上對(duì)以比率K2在所述垂直方向上被縮小了的縮小圖像進(jìn)行縮小，另外I個(gè)第2水平尺寸縮小調(diào)整處理部，以成為Kl* M3 = K3的系數(shù)M3在輸入行方向上對(duì)以比率K3在所述垂直方向上被縮小了的縮小圖像進(jìn)行縮小，再剩余的n-3個(gè)第2水平尺寸縮小調(diào)整處理部，以成為Kl * Mn = Kn的系數(shù)Mn在輸入行方向上對(duì)以比率Kn在所述垂直方向上被縮小了的縮小圖像進(jìn)行縮小。
[0036]技術(shù)方案3記載的發(fā)明在技術(shù)方案I或2記載的圖像處理裝置的基礎(chǔ)上，特征在于，所述前處理部，在從所述原始圖像生成臉檢測(cè)用的縮小圖像時(shí)，實(shí)施輸入行方向的彩色載波去除處理、和與所述輸入行方向正交的垂直方向的彩色載波去除處理，來生成不具有彩色載波分量的亮度信號(hào)分量的縮小圖像。
[0037]技術(shù)方案4記載的發(fā)明在技術(shù)方案I?3的任一項(xiàng)記載的圖像處理裝置的基礎(chǔ)上，特征在于，所述前處理部所生成的多個(gè)縮小圖像中、水平圖像尺寸最大的圖像，是高清規(guī)格的動(dòng)態(tài)圖像記錄用的圖像，其它的縮小圖像，是顯示用圖像、臉識(shí)別等圖像識(shí)別用圖像。
[0038]技術(shù)方案5記載的發(fā)明在技術(shù)方案I?4的任一項(xiàng)記載的圖像處理裝置的基礎(chǔ)上，特征在于，所述原始圖像，是使用單板彩色攝像元件取得的圖像，該單板彩色攝像元件具有通過原色過濾器而被周期性地進(jìn)行顏色排列的多色像素。
[0039]技術(shù)方案6記載的發(fā)明在技術(shù)方案I?5的任一項(xiàng)記載的圖像處理裝置的基礎(chǔ)上，特征在于，所述前處理部，在將所述原始圖像輸入到本圖像處理裝置的第I幀期間進(jìn)行多個(gè)縮小圖像的生成處理，所述臉信息檢測(cè)部，在緊接所述第I幀期間的第2幀期間檢測(cè)臉信息。
[0040]技術(shù)方案7記載的發(fā)明的圖像處理方法是一種在攝影裝置中使用的圖像處理方法，所述攝像裝置由被從攝像元件輸出且由具有顏色排列的周期性的多色像素構(gòu)成的原始圖像，生成靜態(tài)圖像以及運(yùn)動(dòng)圖像的至少一方并記錄，所述圖像處理方法執(zhí)行如下工序:前處理工序，對(duì)來自所述攝像元件的原始圖像進(jìn)行多個(gè)縮小圖像的生成處理；臉信息檢測(cè)工序，對(duì)所述多個(gè)縮小圖像中的任意I個(gè)縮小圖像檢測(cè)臉信息；和攝像控制工序，基于在所述臉信息檢測(cè)工序中檢測(cè)出的臉信息，來進(jìn)行特定區(qū)域的對(duì)焦控制以及曝光控制的至少一方，在所述前處理工序中，執(zhí)行如下工序:第I水平尺寸縮小調(diào)整處理工序，將來自所述攝像元件的原始圖像在輸入行方向上縮小為任意尺寸的圖像，多個(gè)垂直尺寸縮小調(diào)整處理工序，將在所述第I水平尺寸縮小調(diào)整處理工序中在輸入行方向上被縮小后的縮小圖像，在與輸入行方向正交的垂直方向上縮小為任意的尺寸；和多個(gè)第2水平尺寸縮小調(diào)整處理工序，將在所述垂直尺寸縮小調(diào)整處理工序中得到的在水平方向以及垂直方向上被尺寸縮小調(diào)整處理后的多個(gè)縮小圖像，再次在輸入行方向上縮小為任意的尺寸。
[0041]技術(shù)方案8記載的發(fā)明在技術(shù)方案7記載的圖像處理方法的基礎(chǔ)上，特征在于，在所述前處理工序中生成η (其中η為4以上的整數(shù))個(gè)種類的縮小圖像時(shí)，在所述第I水平尺寸縮小調(diào)整處理工序中，以比率Kl縮小為在所生成的多個(gè)縮小圖像中、水平圖像尺寸最大的縮小圖像的水平縮小尺寸，所述多個(gè)垂直尺寸縮小調(diào)整處理工序中的I個(gè)，以所述比率Kl在垂直方向上對(duì)以所述比率Kl在輸入行方向上被縮小了的縮小圖像進(jìn)行縮小，另外I個(gè)垂直尺寸縮小調(diào)整處理工序，以比率K2在垂直方向上對(duì)以所述比率Kl在輸入行方向上被縮小了的縮小圖像進(jìn)行縮小，再另外I個(gè)垂直尺寸縮小調(diào)整處理工序，以比率K3在垂直方向上對(duì)以所述比率Kl在輸入行方向上被縮小了的縮小圖像進(jìn)行縮小，再剩余的n-3個(gè)垂直尺寸縮小調(diào)整處理工序，以比率Kn在垂直方向上對(duì)以所述比率Kl在輸入行方向上被縮小了的縮小圖像進(jìn)行縮小，所述多個(gè)第2水平尺寸縮小調(diào)整處理工序具備η-1個(gè)，所述n-1個(gè)第2水平尺寸縮小調(diào)整處理工序中的I，以成為Kl ~k M2 = K2的系數(shù)M2在輸入行方向上對(duì)以比率Κ2在所述垂直方向上被縮小了的縮小圖像進(jìn)行縮小，另外的I個(gè)第2水平尺寸縮小調(diào)整處理工序，以成為Kl ~k M3=K3的系數(shù)M3在輸入行方向上對(duì)以比率K3在所述垂直方向上被縮小了的縮小圖像進(jìn)行縮小，在剩余的n-3個(gè)第2水平尺寸縮小調(diào)整處理工序，以成為Kl * Mn=Kn的系數(shù)Mn在輸入行方向上對(duì)以比率Kn在所述垂直方向上被縮小了的縮小圖像進(jìn)行縮小。
[0042]技術(shù)方案9記載的發(fā)明在技術(shù)方案7或8記載的圖像處理方法的基礎(chǔ)上，特征在于，在所述前處理工序中，在從所述原始圖像生成臉檢測(cè)用的縮小圖像時(shí)，在輸入行方向的尺寸縮小調(diào)整處理工序中，同時(shí)進(jìn)行彩色載波去除處理，在與所述輸入行方向正交的垂直方向的尺寸縮小調(diào)整處理工序中，同時(shí)進(jìn)行彩色載波去除處理，從而生成不具有彩色載波分量的亮度信號(hào)分量的縮小圖像。
[0043]技術(shù)方案10記載的發(fā)明在技術(shù)方案7?9的任一項(xiàng)記載的圖像處理方法的基礎(chǔ)上，特征在于，在所述前處理工序中生成的多個(gè)縮小圖像中、水平圖像尺寸最大的圖像，是高清規(guī)格的動(dòng)態(tài)圖像記錄用的圖像，其它的縮小圖像，是顯示用圖像、臉識(shí)別等圖像識(shí)別用圖像。
[0044]技術(shù)方案11記載的發(fā)明在技術(shù)方案7?10的任一項(xiàng)記載的圖像處理方法的基礎(chǔ)上，特征在于，所述原始圖像是使用單板彩色攝像元件取得的圖像，該單板彩色攝像元件具有通過原色過濾器而被周期性地進(jìn)行顏色排列的多色像素。
[0045]技術(shù)方案12記載的發(fā)明在技術(shù)方案7?11的任一項(xiàng)記載的圖像處理方法的基礎(chǔ)上，特征在于，在所述前處理工序中，在讓所述原始圖像輸入到本前處理工序的第I幀期間，進(jìn)行多個(gè)縮小圖像的生成處理，在所述臉信息檢測(cè)工序中，在緊接所述第I幀期間的第2幀期間檢測(cè)臉信息。
[0046]技術(shù)方案13記載的發(fā)明的數(shù)碼相機(jī)具備技術(shù)方案I?6的任一項(xiàng)記載的圖像處
理裝置。
[0047]根據(jù)以上，在本發(fā)明中，在數(shù)碼相機(jī)的攝影中，一邊確認(rèn)攝影被攝體一邊實(shí)施構(gòu)圖決定，并同時(shí)進(jìn)行臉識(shí)別等各種識(shí)別動(dòng)作，在實(shí)施實(shí)時(shí)的自動(dòng)對(duì)焦(AF)或自動(dòng)曝光(AE)等的動(dòng)態(tài)圖像記錄模式的狀態(tài)下，在輸入原始圖像的幀時(shí)間內(nèi)，在處理的前階段由被從攝像元件輸出的大尺寸RAW原始圖像直接同時(shí)對(duì)多個(gè)縮小RAW圖像、例如顯示用的小尺寸RAW圖像、動(dòng)態(tài)圖像記錄用尺寸的RAW圖像、臉檢測(cè)等圖像識(shí)別用的小尺寸亮度圖像進(jìn)行生成處理。因此，能在前階段實(shí)現(xiàn)多個(gè)尺寸的RAW圖像數(shù)據(jù)的同時(shí)生成，能減少伴隨存儲(chǔ)器訪問的后級(jí)處理量從而抑制在后處理中的冗余處理的產(chǎn)生，另外，由于能一邊以最小的幀延遲顯示基于臉檢測(cè)的各種圖像識(shí)別結(jié)果，一邊進(jìn)行AF / AE的反饋控制，因此，能實(shí)現(xiàn)高速、節(jié)電的數(shù)碼相機(jī)的顯示、視覺辨識(shí)動(dòng)作、畫質(zhì)調(diào)整動(dòng)作、記錄動(dòng)作。
[0048]發(fā)明效果
[0049]如以上所說明那樣，根據(jù)本發(fā)明的圖像處理裝置以及圖像處理方法，例如在數(shù)碼相機(jī)的攝影中，能在輸入原始圖像的幀時(shí)間內(nèi)實(shí)現(xiàn)臉檢測(cè)用的亮度數(shù)據(jù)等與符合目的的多個(gè)尺寸的RAW圖像數(shù)據(jù)的同時(shí)生成，因此，能以最小的幀延遲顯示基于臉檢測(cè)的各種圖像識(shí)別結(jié)果。
【專利附圖】

【附圖說明】
[0050]圖1是本發(fā)明的實(shí)施方式所涉及的攝像裝置的整體構(gòu)成圖。
[0051]圖2是表示本發(fā)明的實(shí)施方式所涉及的攝像裝置中的圖像處理的流程的圖。
[0052]圖3是表示本發(fā)明的實(shí)施方式所涉及的攝像裝置中的圖像處理的概略圖。
[0053]圖4是表示在本發(fā)明的實(shí)施方式所涉及的攝像裝置中生成動(dòng)態(tài)圖像規(guī)格尺寸的RAW圖像數(shù)據(jù)、監(jiān)視器顯示尺寸的RAW圖像數(shù)據(jù)、以及臉檢測(cè)用數(shù)據(jù)尺寸的亮度(Y)圖像數(shù)據(jù)的內(nèi)部處理的概要的圖。
[0054]圖5是表示圖3中說明的圖像處理的方法的流程圖。
[0055]圖6是表示在前處理& RAW數(shù)據(jù)尺寸縮小調(diào)整處理部中生成多個(gè)圖像時(shí)在輸入行方向縮小為任意尺寸的圖像的第I以及第2水平尺寸縮小調(diào)整處理部的內(nèi)部處理的一例的圖。
[0056]圖7(a)是表示行存儲(chǔ)器的寫入讀出動(dòng)作，圖7(b)表示圖7(a)的下一行周期定時(shí)下相同行存儲(chǔ)器的寫入讀出動(dòng)作的圖。
[0057]圖8是表示使用多個(gè)水平方向縮小行數(shù)據(jù)來在與輸入行方向正交的垂直方向上進(jìn)行尺寸縮小調(diào)整的垂直尺寸縮小調(diào)整處理部的內(nèi)部處理的一例的圖。
[0058]圖9是表示現(xiàn)有的一般數(shù)碼相機(jī)的內(nèi)部信號(hào)處理塊的概念圖。
[0059]圖10是表示現(xiàn)有的一般攝像圖像處理的流程的圖。
【具體實(shí)施方式】
[0060]下面，按照附圖來詳細(xì)說明本發(fā)明所涉及的圖像處理裝置、圖像處理方法以及圖像處理程序的優(yōu)選實(shí)施方式。
[0061]圖1表示搭載本發(fā)明的實(shí)施方式所涉及的圖像處理裝置的攝像裝置的構(gòu)成。
[0062]在圖1，該攝像裝置10是將經(jīng)由攝像部12拍攝的被攝體的光學(xué)像變換成數(shù)字圖像數(shù)據(jù)并記錄于記錄媒介112的單板式的數(shù)碼相機(jī)。
[0063]所述攝像部12具有以CCD型或CMOS型等為代表的眾多的攝像元件(未圖示)，在這些攝像元件的光接收面二維地排列各個(gè)光電二極管(感光像素)，對(duì)穿過光學(xué)透鏡11的被攝體信息進(jìn)行光電變換。
[0064]所述各攝像元件具有在與各像素對(duì)應(yīng)的位置存在R、G、B的任一顏色的規(guī)定的顏色排列的濾色器(未圖示)，進(jìn)行入射到作為光接收元件的光電二極管的光的顏色選擇。在本實(shí)施方式中，以拜耳排列來進(jìn)行說明。
[0065]從攝像部12輸出的圖像數(shù)據(jù)被稱作RAW圖像，是通過A / D變換處理被變換為數(shù)字信號(hào)的圖像數(shù)據(jù)。拜耳排列的RAW圖像數(shù)據(jù)(原始圖像數(shù)據(jù))101通過在行方向以及列方向分別以固定間距將光接收元件排列成正方矩陣的構(gòu)造來獲得。另外，在實(shí)際的攝像元件的成像面，在傳感器讀出方向以及垂直方向周期性地反復(fù)拜耳排列的RAW圖像數(shù)據(jù)101所示的像素排列的構(gòu)造。當(dāng)然，在本發(fā)明中，濾色器排列構(gòu)造并不限定于拜耳排列，還能是G條紋等各種排列構(gòu)造。另外，在本實(shí)施方式中使用原色過濾器，但在實(shí)施本發(fā)明時(shí)并不限定于原色過濾器，還能使用由黃(Y)、洋紅(M)、青(C)、綠(G)構(gòu)成的補(bǔ)色過濾器、或使用原色與補(bǔ)色的任意組合、白(W)。
[0066]所述A / D變換后的RAW圖像數(shù)據(jù)101按照攝像裝置10的動(dòng)作模式，經(jīng)過需要的信號(hào)處理或省略信號(hào)處理地被記錄于記錄媒介112。在攝影模式下，經(jīng)由顯示處理部117以及監(jiān)視器I / F(接口)部118在監(jiān)視器119顯示被攝體圖像。本實(shí)施方式的攝像裝置10作為攝影模式能進(jìn)行JPEG格式的靜態(tài)圖像記錄，并能進(jìn)行MPEG格式等的動(dòng)態(tài)圖像壓縮記錄。另外，還能記錄剛A / D變換后的RAW圖像數(shù)據(jù)101自身。
[0067]在以JPEG格式進(jìn)行記錄的情況下，A / D變換后的圖像數(shù)據(jù)101經(jīng)過前處理&RAW數(shù)據(jù)尺寸縮小調(diào)整處理部102被送往圖像信號(hào)處理部109。所述前處理&RAW數(shù)據(jù)尺寸縮小調(diào)整處理部102以及圖像信號(hào)處理部109是實(shí)施同步處理(對(duì)伴隨濾色器排列的顏色信號(hào)的空間偏離進(jìn)行插補(bǔ)來計(jì)算各點(diǎn)的顏色的處理)、白平衡(WB)調(diào)整、Y校正、亮度/色差信號(hào)生成、輪廓強(qiáng)調(diào)、基于電子變焦功能的倍率變化(放大/縮小)處理、像素?cái)?shù)的變換(調(diào)整大小)處理等各種處理的處理電路，按照來自CPU (中央運(yùn)算處理部)114的命令對(duì)圖像信號(hào)進(jìn)行處理。這些前處理&RAW數(shù)據(jù)尺寸縮小調(diào)整處理部102以及圖像信號(hào)處理部109一邊利用能經(jīng)由存儲(chǔ)器控制部107暫時(shí)存儲(chǔ)處理中途的圖像的存儲(chǔ)器部108—邊進(jìn)行圖像信號(hào)的處理。
[0068]在所述前處理&RAW數(shù)據(jù)尺寸縮小調(diào)整處理部102和圖像信號(hào)處理部109中，經(jīng)過了給定的信號(hào)處理的圖像數(shù)據(jù)被送往壓縮解壓部110，按照J(rèn)PEG格式的壓縮格式而被壓縮。另外，壓縮格式并不限定于JPEG，也可以使用MPEG等其它方式，使用與所用的壓縮格式對(duì)應(yīng)的壓縮處理。
[0069]被壓縮的圖像數(shù)據(jù)經(jīng)由記錄媒介I / F部111而被記錄在記錄媒介112。記錄媒介112并不限定于以存儲(chǔ)卡為代表的半導(dǎo)體存儲(chǔ)器，還能使用磁盤、光盤、光磁盤等各種介質(zhì)。另外，并不限于可移動(dòng)媒介，也可以是內(nèi)置于攝像裝置10的記錄介質(zhì)(內(nèi)部存儲(chǔ)器)。
[0070]另一方面，在記錄RAW圖像的模式的情況下，RAW圖像數(shù)據(jù)101不經(jīng)過同步等其它信號(hào)處理而經(jīng)由存儲(chǔ)器控制部107、記錄媒介I / F部111被記錄在記錄媒介112。BP,RAff圖像數(shù)據(jù)101是未進(jìn)行過Y校正、白平衡調(diào)整、同步等信號(hào)處理的圖像，是僅保持I個(gè)與濾色器的排列圖案對(duì)應(yīng)地按每個(gè)像素不同的顏色信息的鑲嵌狀的圖像。當(dāng)然，由于也未進(jìn)行壓縮處理，因此具有較大的文件尺寸。另外，在將RAW圖像數(shù)據(jù)101記錄在記錄媒介112時(shí)，既可以進(jìn)行可逆的壓縮來記錄，也可以記錄非壓縮的數(shù)據(jù)。
[0071]CPUl 14是遵循給定的程序來總括控制本攝像裝置10的控制部，基于來自操作面板113的指示信號(hào)來控制攝像裝置10內(nèi)的各電路的動(dòng)作。在ROMl 15中容納CPUl 14執(zhí)行的程序以及控制所需要的各種數(shù)據(jù)等，RAMl 16作為CPU114的工作區(qū)而利用。
[0072]所述操作面板113是用于用戶對(duì)攝像裝置10輸入各種指示的單元，包含各種操作單元，例如，用于選擇攝像裝置10的動(dòng)作模式的模式選擇開關(guān)、輸入菜單項(xiàng)目的選擇操作(光標(biāo)移動(dòng)操作)或再現(xiàn)圖像的逐幀播放/逐幀倒退等指示的十字鍵、指示選擇項(xiàng)目的確定(登錄)或動(dòng)作的執(zhí)行的執(zhí)行鍵、用于進(jìn)行選擇項(xiàng)目等所期望的對(duì)象的刪除或指示的取消的取消鍵、電源開關(guān)、變焦開關(guān)、釋放開關(guān)等。另外，各種開關(guān)也可以用觸控面板上的區(qū)域開關(guān)實(shí)現(xiàn)。
[0073]CPU114，根據(jù)從操作面板113輸入的指示信號(hào)，按照各種不同的攝影條件(曝光條件、有無閃光燈發(fā)光、攝影模式等)來控制攝像元件等的攝像部12，并進(jìn)行自動(dòng)曝光(AE)控制、自動(dòng)焦點(diǎn)調(diào)節(jié)(AF)控制、自動(dòng)白平衡(AWB)控制、透鏡驅(qū)動(dòng)控制、圖像處理控制、記錄媒介112的讀與控制等。
[0074]CPU114例如在探測(cè)到釋放開關(guān)的半按下時(shí)進(jìn)行自動(dòng)焦點(diǎn)調(diào)節(jié)(AF)控制，在探測(cè)到釋放開關(guān)的全按下時(shí)開始用于取入記錄用的圖像的曝光以及讀出控制。另外，CPU114根據(jù)需要向未圖示的閃光燈控制電路送出命令，控制氙管等閃光發(fā)光管(發(fā)光部)的發(fā)光。
[0075]所述前處理部102包含進(jìn)行AE控制以及AF控制所需要的運(yùn)算的自動(dòng)運(yùn)算部(未圖示)，在靜態(tài)圖像攝影的情況下，基于隨動(dòng)于釋放開關(guān)的半按下而被取入的圖像信號(hào)來進(jìn)行焦點(diǎn)評(píng)價(jià)值運(yùn)算和AE運(yùn)算等，將其運(yùn)算結(jié)果傳遞給CPUl 14。在探測(cè)到釋放開關(guān)的全按下時(shí)，CPU114基于所述焦點(diǎn)評(píng)價(jià)值運(yùn)算的結(jié)果來控制未圖示的透鏡驅(qū)動(dòng)用電動(dòng)機(jī)從而使光學(xué)透鏡101移動(dòng)到對(duì)焦位置，并控制光圈和電子快門來進(jìn)行曝光控制。如此被取入的圖像數(shù)據(jù)按照記錄模式而被記錄到記錄媒介112。在動(dòng)態(tài)圖像攝影的情況下，所述處理在動(dòng)態(tài)圖像記錄期間連續(xù)進(jìn)行。
[0076]在臉檢測(cè)處理部(臉信息檢測(cè)部)106中，使用大小被調(diào)整到臉檢測(cè)用的圖像尺寸的圖像來進(jìn)行臉信息的檢測(cè)。在本實(shí)施方式中，使用由前處理部102將RAW原始圖像數(shù)據(jù)101尺寸縮小調(diào)整處理為多個(gè)尺寸的數(shù)據(jù)中的I個(gè)、即臉檢測(cè)用尺寸的亮度數(shù)據(jù)型圖像(Y)來進(jìn)行臉檢測(cè)。
[0077]所述臉檢測(cè)處理部106經(jīng)由存儲(chǔ)器控制部107從存儲(chǔ)器部108適宜讀出臉檢測(cè)用尺寸的亮度數(shù)據(jù)型圖像(Y)，提取其圖像內(nèi)的臉的位置、大小等臉信息，經(jīng)由存儲(chǔ)器控制部107將該提取結(jié)果信息寫入到存儲(chǔ)器部108。CPUl 14經(jīng)由存儲(chǔ)器控制部107讀出寫入到存儲(chǔ)器部108的臉檢測(cè)信息，將該提取結(jié)果變換為表示臉位置的顯示信息，生成顯示數(shù)據(jù)，并將其寫入到存儲(chǔ)器部108。進(jìn)而，臉檢測(cè)信息與從進(jìn)行所述AE控制以及AF控制所需要的運(yùn)算的自動(dòng)運(yùn)算部得到的信息一起由CPU114進(jìn)行處理，基于對(duì)人的位置進(jìn)行的焦點(diǎn)評(píng)價(jià)值運(yùn)算的結(jié)果來控制未圖示的透鏡驅(qū)動(dòng)用電動(dòng)機(jī)，來使光學(xué)透鏡11移動(dòng)到對(duì)焦位置，并控制光圈和電子快門來進(jìn)行曝光控制。
[0078]經(jīng)由存儲(chǔ)器控制部107對(duì)顯示處理部117輸入在圖像信號(hào)處理部109進(jìn)行的圖像處理后寫入到存儲(chǔ)器部108的顯示尺寸的Y / Cr / Cb的數(shù)據(jù)型圖像。此時(shí)，也同時(shí)從存儲(chǔ)器部108讀出表示所述臉位置信息的顯示數(shù)據(jù)，并將其輸入到顯示處理部117。
[0079]輸入到顯示處理部117的Y / Cr / Cb的數(shù)據(jù)型圖像、和表示臉位置信息顯示數(shù)據(jù)由顯示處理部117變換為與監(jiān)視器的特性相符合的輸入數(shù)據(jù)規(guī)格，經(jīng)由監(jiān)視器I / F部118被輸入到監(jiān)視器119，來進(jìn)行顯示。
[0080](本攝像裝置進(jìn)行的信號(hào)處理的流程)
[0081]在圖2示出關(guān)于已經(jīng)敘述的本實(shí)施方式的數(shù)碼相機(jī)的內(nèi)部信號(hào)處理進(jìn)行以RAW圖像數(shù)據(jù)的輸入為時(shí)間起點(diǎn)的一系列的流水線處理的樣子。[0082]在圖2中，在輸入拜耳排列的RAW圖像數(shù)據(jù)101的第I幀期間由前處理&RAW數(shù)據(jù)尺寸縮小調(diào)整處理部102實(shí)施處理時(shí)，將作為本實(shí)施方式的特征的RAW原始圖像數(shù)據(jù)101尺寸縮小調(diào)整處理為多個(gè)尺寸。作為被尺寸縮小調(diào)整處理為多個(gè)尺寸的多個(gè)數(shù)據(jù)中的I個(gè)的、臉檢測(cè)用尺寸的亮度數(shù)據(jù)型圖像(Y)，與其它的拜耳排列的縮小尺寸RAW數(shù)據(jù)一起，經(jīng)由存儲(chǔ)器控制部107被臨時(shí)寫入到存儲(chǔ)器部108。
[0083]在第2幀期間中，經(jīng)由存儲(chǔ)器控制部107從存儲(chǔ)器部108讀出拜耳排列的顯示用縮小尺寸RAW數(shù)據(jù)并將其輸入到圖像信號(hào)處理部109，進(jìn)行從RAW圖像101變換為Y / Cr /Cb的數(shù)據(jù)型的圖像信號(hào)處理。所生成的顯示尺寸的Y / Cr / Cb的數(shù)據(jù)型圖像，經(jīng)由存儲(chǔ)器控制部107再次被寫入到存儲(chǔ)器部108。
[0084]另外，同時(shí)，在所述第2幀期間，經(jīng)由存儲(chǔ)器控制部107由臉檢測(cè)處理部106再次經(jīng)由存儲(chǔ)器控制部107從存儲(chǔ)器部108適宜讀出臉檢測(cè)用的亮度圖像數(shù)據(jù)(Y)，提取、檢測(cè)圖像內(nèi)的臉的位置、大小等臉信息，該檢測(cè)結(jié)果信息經(jīng)由存儲(chǔ)器控制部107被寫入到存儲(chǔ)器部108。
[0085]在第3幀期間，CPU114經(jīng)由存儲(chǔ)器控制部107讀出寫入到存儲(chǔ)器部108的臉檢測(cè)結(jié)果信息，根據(jù)該檢測(cè)結(jié)果信息將表示臉位置的檢測(cè)結(jié)果信息變換為顯示信息數(shù)據(jù)并寫入到存儲(chǔ)器部108。同時(shí)，CPU114開始用于以臉識(shí)別信息為基礎(chǔ)來自動(dòng)調(diào)整特定區(qū)域的曝光、對(duì)焦、畫質(zhì)的反饋控制。
[0086](多個(gè)尺寸的尺寸縮小調(diào)整處理的具體例)
[0087]接下來，說明在所述圖1以及圖2所示的攝像裝置10中，成為本實(shí)施方式的特征的由前處理&RAW數(shù)據(jù)尺寸縮小調(diào)整處理部102對(duì)RAW原始圖像數(shù)據(jù)實(shí)施的多個(gè)尺寸的尺寸縮小調(diào)整處理方法。
[0088]圖3表示從RAW圖像數(shù)據(jù)101同時(shí)生成多個(gè)縮小圖像的本實(shí)施方式的圖像處理的概略。
[0089]在圖3中，從單板彩色攝像元件得到的RAW圖像數(shù)據(jù)101由前處理&RAW數(shù)據(jù)尺寸縮小調(diào)整處理部102變換為高清動(dòng)態(tài)圖像規(guī)格尺寸的RAW圖像數(shù)據(jù)103、監(jiān)視器顯示尺寸的RAW圖像數(shù)據(jù)104、臉檢測(cè)用數(shù)據(jù)尺寸的亮度(Y)圖像數(shù)據(jù)105。本實(shí)施方式的特征在于，能在監(jiān)視器模式或動(dòng)態(tài)圖像攝影模式時(shí)通過攝像元件的讀出幀時(shí)間內(nèi)的流水線處理針對(duì)從攝像部12的攝像元件按每幀讀出的RAW圖像數(shù)據(jù)101生成多個(gè)縮小圖像。下面，說明該構(gòu)成以及動(dòng)作的詳細(xì)。
[0090](前處理&RAW數(shù)據(jù)尺寸調(diào)整處理部102的內(nèi)部構(gòu)成)
[0091]圖4表示在前處理&RAW數(shù)據(jù)尺寸調(diào)整處理部102中，作為多個(gè)尺寸的圖像生成的一例而生成動(dòng)態(tài)圖像規(guī)格尺寸的RAW圖像數(shù)據(jù)103、監(jiān)視器顯示尺寸的RAW圖像數(shù)據(jù)104、臉檢測(cè)用數(shù)據(jù)尺寸的亮度(Y)圖像數(shù)據(jù)105的內(nèi)部構(gòu)成的概要。
[0092]如圖4所示，本實(shí)施方式的圖像處理具有:第I水平尺寸縮小調(diào)整處理部301，其針對(duì)從單板彩色攝像元件得到的RAW圖像數(shù)據(jù)101在輸入行方向上縮小為任意尺寸的圖像；暫時(shí)容納該經(jīng)過水平尺寸調(diào)整后的圖像數(shù)據(jù)的存儲(chǔ)器部303 ;從由該存儲(chǔ)器部303讀出的縮小行數(shù)據(jù)起在與輸入行方向正交的垂直方向上進(jìn)行尺寸縮小調(diào)整的3個(gè)種類的垂直尺寸縮小調(diào)整處理部304、306、308 ;和對(duì)在水平方向以及垂直方向上進(jìn)行了尺寸縮小調(diào)整處理后的3個(gè)種類中的2個(gè)種類的圖像再次在輸入行方向縮小為任意尺寸的圖像的2個(gè)種類的第2水平尺寸縮小調(diào)整處理部310、312。
[0093]在生成所述3個(gè)種類的縮小圖像(即，動(dòng)態(tài)圖像規(guī)格尺寸的RAW圖像數(shù)據(jù)103、監(jiān)視器顯示尺寸的RAW圖像數(shù)據(jù)104、臉檢測(cè)用數(shù)據(jù)尺寸的亮度(Y)圖像數(shù)據(jù)105)時(shí)，在輸入行方向上縮小為任意尺寸的圖像的第I水平尺寸縮小調(diào)整處理部301中實(shí)施任意的尺寸縮小調(diào)整時(shí)，按比率Kl縮小為第I縮小尺寸，該第I縮小尺寸在所生成的3個(gè)種類的縮小圖像中成為水平圖像尺寸最大的動(dòng)態(tài)圖像規(guī)格尺寸的水平尺寸，從而生成僅在水平方向縮小的圖像數(shù)據(jù)302。進(jìn)行了水平尺寸縮小調(diào)整后的圖像數(shù)據(jù)302以行數(shù)據(jù)為單位暫時(shí)被寫入到存儲(chǔ)器部303。同時(shí)，從存儲(chǔ)器部303中讀出多行份的數(shù)據(jù)來進(jìn)行成為下一工序的垂直方向的尺寸縮小調(diào)整處理。
[0094]關(guān)于要同時(shí)生成的動(dòng)態(tài)圖像記錄用的第I縮小數(shù)據(jù)的生成，通過使用垂直尺寸縮小調(diào)整處理部304，以與前述相同的比率Kl在垂直方向上縮小為成為動(dòng)態(tài)圖像規(guī)格尺寸的垂直尺寸，從而得到期望的動(dòng)態(tài)圖像記錄用尺寸數(shù)據(jù)103。
[0095]接下來，關(guān)于要同時(shí)生成的顯示監(jiān)視器用的第2縮小數(shù)據(jù)的生成，使用垂直尺寸縮小調(diào)整處理部306，以比率K2縮小為在垂直方向上成為顯示監(jiān)視器的垂直尺寸的第2縮小尺寸，輸出在垂直方向上縮小到監(jiān)視器顯示尺寸的圖像307。接著，通過使用專用的第2水平尺寸縮小調(diào)整處理部310，以成為Kl ★ M2=K2的系數(shù)M2再次在輸入行方向上進(jìn)行縮小，由此得到期望的顯示用尺寸數(shù)據(jù)104。
[0096]進(jìn)而，關(guān)于應(yīng)同時(shí)生成的臉檢測(cè)用的第3縮小數(shù)據(jù)的生成，進(jìn)一步使用垂直尺寸縮小調(diào)整處理部308，在垂直方向上按比率K3縮小為成為臉檢測(cè)用數(shù)據(jù)的第3縮小尺寸，從而輸出在垂直方向上縮小到臉檢測(cè)用尺寸的圖像309。接著，通過使用專用的第2水平尺寸縮小調(diào)整處理部312，以成為Kl ★ M3=K3的系數(shù)M3再次在輸入行方向進(jìn)行縮小，得到期望的臉檢測(cè)用尺寸的亮度(Y)圖像數(shù)據(jù)105。
[0097]圖5示出表示所述圖4中說明的圖像處理的方法的流程圖。在圖5中，步驟SI是RGB拜耳排列的原始圖像數(shù)據(jù)的取入工序，步驟S2是第I水平尺寸縮小調(diào)整處理工序，步驟S3是動(dòng)態(tài)圖像記錄圖像尺寸的垂直尺寸縮小調(diào)整處理工序，步驟S4是動(dòng)態(tài)圖像記錄圖像尺寸數(shù)據(jù)輸出工序，步驟S5是顯示圖像尺寸的垂直尺寸縮小調(diào)整處理工序，步驟S6是顯示圖像用的第2水平尺寸縮小調(diào)整處理工序，步驟S7是顯示圖像尺寸數(shù)據(jù)輸出工序，步驟S8是臉檢測(cè)圖像尺寸的垂直尺寸縮小調(diào)整處理工序，步驟S9是臉檢測(cè)用的第2水平尺寸縮小調(diào)整處理工序，步驟SlO是臉檢測(cè)圖像尺寸亮度(Y)圖像數(shù)據(jù)輸出工序。
[0098]所述流程圖所示的圖像處理是能由CPU114執(zhí)行的程序所執(zhí)行的進(jìn)程處理，一般，在進(jìn)行每個(gè)處理時(shí)，實(shí)施來自存儲(chǔ)器的讀出和寫入。另外，也可以由硬件處理構(gòu)成一部分的工序。各工序的動(dòng)作與使用圖4的說明內(nèi)容相同。
[0099](水平尺寸縮小調(diào)整處理部以及垂直尺寸縮小調(diào)整處理部)
[0100]圖6示出在所述前處理&RAW數(shù)據(jù)尺寸縮`小調(diào)整處理部102中生成多個(gè)尺寸的圖像時(shí)，在輸入行方向縮小為任意尺寸的圖像的第1、第2水平尺寸縮小調(diào)整處理部301、310、312的內(nèi)部處理的一例。
[0101]圖7示出將在所述第I水平尺寸縮小調(diào)整處理部301經(jīng)過水平尺寸調(diào)整的圖像數(shù)據(jù)302暫時(shí)寫入作為存儲(chǔ)器部303的一例的多個(gè)行存儲(chǔ)器中的方法、和從該多個(gè)行存儲(chǔ)器中同時(shí)讀出多個(gè)水平方向縮小行數(shù)據(jù)的一例。[0102]圖8表示使用多個(gè)水平方向縮小行數(shù)據(jù)在與輸入行方向正交的垂直方向上進(jìn)行尺寸縮小調(diào)整的垂直尺寸縮小調(diào)整處理部304、306、308的內(nèi)部處理的一例。
[0103]以下說明所述圖6?圖8的構(gòu)成的動(dòng)作的關(guān)系。首先，在圖6中，一邊實(shí)施傳感器讀出方向的水平尺寸縮小調(diào)整處理，一邊將其輸出寫入到圖7所示的行存儲(chǔ)器，同時(shí)從行存儲(chǔ)器中讀出傳感器讀出方向的水平尺寸縮小調(diào)整處理圖像中的匯總的多行份的數(shù)據(jù)，對(duì)圖8所示的多行上的傳感器讀出方向的同一位置的數(shù)據(jù)，在縱向上以同時(shí)處理來進(jìn)行多個(gè)垂直方向尺寸縮小調(diào)整處理。此時(shí)，垂直方向尺寸縮小調(diào)整處理，是與所述的傳感器讀出方向的水平尺寸縮小調(diào)整處理不同的處理，基于是否以行單位來利用多個(gè)行單位的動(dòng)作輸出的判定處理來得到在垂直方向上比率不同的尺寸縮小調(diào)整圖像，作為行間歇性的輸出。進(jìn)而，對(duì)任意的圖像再次實(shí)施圖6所示的傳感器讀出方向的水平尺寸縮小調(diào)整處理，得到縱、橫縮小比率一致的多個(gè)尺寸縮小調(diào)整圖像。
[0104]本實(shí)施方式中的著重點(diǎn)在于，對(duì)于圖像處理的流程和處理進(jìn)程的組合，依次按照?qǐng)D6的處理一圖7的處理一圖8的處理一圖6的處理的順序組合來生成多個(gè)尺寸縮小調(diào)整圖像為特征。
[0105]另外，圖6、圖7以及圖8所示的處理，是在對(duì)RAW數(shù)據(jù)進(jìn)行尺寸縮小調(diào)整處理時(shí)以不產(chǎn)生返回噪聲的高畫質(zhì)生成有清晰感的縮小RAW數(shù)據(jù)和縮小亮度圖像數(shù)據(jù)的一個(gè)手法。本實(shí)施方式并非唯一規(guī)定成為高畫質(zhì)的縮小處理的基本的內(nèi)部算法。但是,本內(nèi)部算法以削減冗余處理為本發(fā)明的目的，是能實(shí)現(xiàn)處理進(jìn)程較少且高畫質(zhì)的縮小處理的方法，是在實(shí)現(xiàn)本發(fā)明的圖像處理的基礎(chǔ)上的合適的縮小處理算法。
[0106](水平尺寸縮小調(diào)整處理部中的內(nèi)部處理)
[0107]接下來，使用所述圖6來說明傳感器讀出方向的水平尺寸縮小調(diào)整處理部301的詳細(xì)。
[0108]傳感器讀出方向的水平尺寸縮小調(diào)整處理部301是一維的流水線處理，如圖6所示，由如下要素構(gòu)成:彩色載波去除過濾處理502，其通過針對(duì)行單位的RAW行圖像501的過濾處理從RAW圖像101中提取亮度數(shù)據(jù)；彩色載波提取過濾處理504，其提取彩色載波數(shù)據(jù)；彩色載波反轉(zhuǎn)解調(diào)處理505，其對(duì)被調(diào)制的彩色載波數(shù)據(jù)進(jìn)行顏色反轉(zhuǎn)解調(diào)來輸出連續(xù)的顏色差分?jǐn)?shù)據(jù)；對(duì)亮度數(shù)據(jù)和色差數(shù)據(jù)獨(dú)立進(jìn)行尺寸縮小調(diào)整的亮度信號(hào)傳感器讀出方向的尺寸縮小調(diào)整處理506以及顏色差分信號(hào)傳感器讀出方向的尺寸縮小調(diào)整處理507 ;顏色差分?jǐn)?shù)據(jù)反轉(zhuǎn)調(diào)制處理508，其將調(diào)整大小后的顏色差分?jǐn)?shù)據(jù)重新變換為彩色載波數(shù)據(jù)；增益調(diào)整處理511，其進(jìn)行彩色載波數(shù)據(jù)的增益等級(jí)調(diào)整；和顏色排列再現(xiàn)處理509，其對(duì)調(diào)整大小后的經(jīng)過等級(jí)調(diào)整的亮度數(shù)據(jù)和經(jīng)過增益調(diào)整的調(diào)制后的彩色載波數(shù)據(jù)進(jìn)行重新合成，生成最終的多顏色排列數(shù)據(jù)。
[0109]使用圖6示出詳細(xì)的傳感器讀出方向的水平尺寸縮小調(diào)整處理功能來說明處理拜耳排列的圖像的情況。
[0110]作為原始圖像的RAW圖像101是反映了拜耳排列的像素配置的鑲嵌狀的圖像，通常以行單位從攝像部12讀出。該原始圖像的行單位的RAW行圖像數(shù)據(jù)501成為按每個(gè)像素反復(fù)紅(R)和綠(G)的信息的RG行、和按每個(gè)像素反復(fù)藍(lán)⑶和綠(G)的信息的BG行這2個(gè)種類。這2個(gè)種類的行數(shù)據(jù)，經(jīng)過去除按2個(gè)像素周期進(jìn)行變化的奈奎斯特頻率附近的彩色載波的彩色載波去除過濾處理502，從而關(guān)于RG行輸出成為紅(R)和綠(G)的平均值的行亮度數(shù)據(jù)1> (R+G)}，關(guān)于BG行輸出成為藍(lán)(B)和綠(G)的平均值的行亮度數(shù)據(jù){ a (B+G)}。
[0111]另外，所述2個(gè)種類的行數(shù)據(jù)，經(jīng)過提取按2個(gè)像素周期進(jìn)行變化的奈奎斯特頻率附近的彩色載波的彩色載波提取過濾處理504，從而關(guān)于RG行而輸出以奈奎斯特頻率調(diào)制的RG行彩色載波數(shù)據(jù)，關(guān)于BG行而輸出以奈奎斯特頻率調(diào)制的BG行彩色載波數(shù)據(jù)。以所述奈奎斯特頻率(Nyquist frequency)調(diào)制的RG行彩色載波數(shù)據(jù)以及BG行彩色載波數(shù)據(jù)，通過每I個(gè)像素進(jìn)行代碼反轉(zhuǎn)的彩色載波反轉(zhuǎn)解調(diào)處理505，從而作為連續(xù)的RG行顏色差分?jǐn)?shù)據(jù)、BG行顏色差分?jǐn)?shù)據(jù)被輸出。
[0112]在分別以同一縮小比率對(duì)被提取的所述亮度數(shù)據(jù)和顏色差分?jǐn)?shù)據(jù)實(shí)施傳感器讀出方向的尺寸縮小調(diào)整時(shí)，為了抑制縮小后的返回噪聲，因而實(shí)施圖7中未圖示的、在亮度數(shù)據(jù)用以及色差數(shù)據(jù)用中特性分別不同的亮度數(shù)據(jù)用頻帶限制過濾處理、和顏色差分?jǐn)?shù)據(jù)用頻帶限制過濾處理。此時(shí)，作為色差用頻帶限制，假設(shè)最終記錄格式為JPEG、TIFF、MPEG，從而期望設(shè)定為亮度用頻帶限制的二分之一以下。被頻帶限制的亮度數(shù)據(jù)，通過亮度信號(hào)傳感器讀出方向的尺寸縮小調(diào)整處理506，根據(jù)縮小比率來進(jìn)行線性插補(bǔ)間取處理。另一方面，被頻帶限制的顏色差分?jǐn)?shù)據(jù)，通過顏色差分信號(hào)傳感器讀出方向的水平尺寸縮小調(diào)整處理50，根據(jù)縮小比率來進(jìn)行線性插補(bǔ)間取處理。
[0113]對(duì)按每行在傳感器讀出方向上進(jìn)行水平尺寸縮小調(diào)整后的2個(gè)種類的連續(xù)的顏色差分?jǐn)?shù)據(jù){β (R-G), β (B — G)}，實(shí)施按每I個(gè)像素反轉(zhuǎn)代碼的顏色差分?jǐn)?shù)據(jù)反轉(zhuǎn)調(diào)制處理508，作為用于以按2個(gè)像素周期進(jìn)行變化的奈奎斯特頻率進(jìn)行調(diào)制的等效處理。其結(jié)果，成為在各個(gè)行數(shù)據(jù)上代碼按每個(gè)像素而不同的{β (R-G),-β (R-G)}、{β (B—G)、-13 (B-G)}這2個(gè)種類的縮小RG行彩色載波數(shù)據(jù)和縮小BG行彩色載波數(shù)據(jù)。
[0114]被調(diào)整大小后的縮小行亮度數(shù)據(jù)，在與被調(diào)整大小后的彩色載波數(shù)據(jù)的加法運(yùn)算處理即顏色排列再現(xiàn)處理509中，按每行重新合成縮小RG行彩色載波數(shù)據(jù)和縮小BG行彩色載波數(shù)據(jù)，作為按每個(gè)像素反復(fù)紅(R)和綠(G)的信息的經(jīng)過尺寸縮小調(diào)整的RG行、以及按每個(gè)像素反復(fù)藍(lán)(B)和綠(G)的信息的經(jīng)過調(diào)整大小后的BG行510而輸出。
[0115]用數(shù)式表示所述RG行的重新合成。首先，針對(duì)亮度數(shù)據(jù){> (R+G)}、彩色載波數(shù)據(jù){β (R — G)、-β (R — G)}，若設(shè)為 α = 0.5、β = 0.5，則成為亮度數(shù)據(jù){0.5 (R+G)}、彩色載波數(shù)據(jù){0.5 (R-G)、-0.5 (R-G)}。在按每個(gè)像素進(jìn)行亮度數(shù)據(jù)的加法運(yùn)算時(shí)，反復(fù)0.5 {(R+G) + (R-G)}、0.5 {(R+G) - (R-G)}…。即，將 RG 行數(shù)據(jù)再現(xiàn)為 R、G、R、G...。
[0116]在BG行也相同，針對(duì)亮度數(shù)據(jù){a (B+G)}、彩色載波數(shù)據(jù){β (B-G),-β (B-G)},若設(shè)α = 0.5、β = 0.5，則成為亮度數(shù)據(jù){0.5 (B+G) }、彩色載波數(shù)據(jù){0.5 (B—G)、-0.5(B-G)}。在按每個(gè)像素進(jìn)行亮度數(shù)據(jù)的加法運(yùn)算時(shí)，反復(fù)0.5{(B+G) + (B-G)}、0.5 {(B+G) - (B-G)}。即，將 BG 行數(shù)據(jù)再現(xiàn)為 B、G、B、G-。
[0117]另外，在將針對(duì)亮度數(shù)據(jù)和顏色差分?jǐn)?shù)據(jù)的系數(shù)設(shè)為α、β來進(jìn)行加法運(yùn)算處理前進(jìn)行增益調(diào)整，并進(jìn)行 處理以使得合成數(shù)據(jù)的增益與輸入成為同等，但由于目的在于從亮度信號(hào)和色差信號(hào)這2個(gè)種類的信號(hào)分量產(chǎn)生RGB的獨(dú)立的I個(gè)顏色分量，因此并不一定必須在運(yùn)算前就進(jìn)行增益調(diào)整，也可以在成為RGB獨(dú)立的顏色分量后再進(jìn)行增益調(diào)整。
[0118]圖6所示的傳感器讀出方向的水平尺寸縮小調(diào)整處理功能，能夠在實(shí)施圖4中示出的尺寸縮小調(diào)整處理301、310時(shí)使用。[0119]在生成臉檢測(cè)用的亮度(Y)數(shù)據(jù)的尺寸縮小調(diào)整處理312中使用時(shí)，通過在增益處理部511中將對(duì)被調(diào)整大小后的縮小行亮度數(shù)據(jù)和被調(diào)整大小后的彩色載波數(shù)據(jù)之間的加法運(yùn)算處理部分509輸入的彩色載波數(shù)據(jù)的增益設(shè)為O來進(jìn)行加法運(yùn)算，從而僅輸出亮度數(shù)據(jù)。
[0120]接下來，使用圖7，說明如下情況:將由第I水平尺寸縮小調(diào)整處理部301進(jìn)行了水平尺寸調(diào)整后的RAW圖像數(shù)據(jù)暫時(shí)寫入作為存儲(chǔ)器部303的一例的多個(gè)行存儲(chǔ)器，與此同時(shí)，從這些多個(gè)行存儲(chǔ)器中讀出多個(gè)水平方向縮小行RAW數(shù)據(jù)。
[0121]圖7(a)表示這種情況下的行存儲(chǔ)器的寫入讀出動(dòng)作。圖7(b)表示圖7(a)的下一行周期定時(shí)下的相同行存儲(chǔ)器的寫入、讀出動(dòng)作。在圖7(a)以及(b)中，601是由8行構(gòu)成的行存儲(chǔ)器。602表示對(duì)所述行存儲(chǔ)器601的數(shù)據(jù)寫入循環(huán)，作為對(duì)8行的寫入控制，一邊I行I行地依次環(huán)狀巡回一邊不斷進(jìn)行寫入。603表示對(duì)行存儲(chǔ)器601的數(shù)據(jù)讀出循環(huán)，一邊匯總選擇8行中的7行存儲(chǔ)器數(shù)據(jù)，一邊與寫入控制同樣地，依次環(huán)狀巡回來不斷進(jìn)行讀出。
[0122]在圖7(a)以及(b)所示的示例中，為了使所使用的行存儲(chǔ)器601的容量為最小限度，使針對(duì)環(huán)狀的巡回寫入的7行同時(shí)巡回讀出的開頭行的位置位于比寫入行滯后I行的位置。另外，通過使寫入行和讀出行分開，從而能使寫入和讀出非同步地動(dòng)作。
[0123]如此，通過從圖7(a)以及(b)所示的行存儲(chǔ)器601中匯總讀出從水平方向的RAW尺寸縮小調(diào)整圖像302中匯總的多行份的RAW調(diào)整大小數(shù)據(jù)，從而能對(duì)多行上的傳感器讀出方向的同一位置的數(shù)據(jù)604在縱向上同時(shí)進(jìn)行3個(gè)種類的垂直方向尺寸縮小調(diào)整處理304、306、308，得到 RAW 調(diào)整大小圖像 305、307、309。
[0124]此時(shí)，垂直方向尺寸縮小調(diào)整處理304、306、308成為與傳感器讀出方向的水平尺寸縮小調(diào)整處理301不同的處理，通過對(duì)以多個(gè)行為輸入的任意的圖像處理輸出數(shù)據(jù)判定是否以行單位作為有效數(shù)據(jù)來利用，在該判定處理的基礎(chǔ)上，根據(jù)是否輸出來減少輸出行數(shù)，由此來實(shí)施垂直方向的尺寸縮小調(diào)整處理。
[0125](在垂直方向尺寸縮小調(diào)整處理部的內(nèi)部處理)
[0126]圖8表示利用圖7的行存儲(chǔ)器601的情況下在圖4中的3個(gè)種類的垂直方向尺寸縮小調(diào)整處理部304、306、308實(shí)施處理的詳細(xì)次序。
[0127]圖8的垂直方向尺寸縮小調(diào)整處理，與圖6的傳感器讀出方向的水平尺寸縮小調(diào)整處理同樣地，作為亮度信號(hào)處理和顏色差分信號(hào)處理這2個(gè)系統(tǒng)處理來實(shí)施。
[0128]在詳細(xì)說明時(shí)，在圖8中，以在垂直方向上成為同一水平位置的7個(gè)像素為I個(gè)處理單位來對(duì)作為輸入數(shù)據(jù)的7行份的RAW圖像實(shí)施處理。
[0129]圖8所示的垂直方向尺寸縮小調(diào)整處理包含:彩色載波去除過濾處理703，其從所述7行份的RAW圖像在垂直方向上提取亮度數(shù)據(jù)；彩色載波提取過濾處理712，其提取垂直方向的彩色載波數(shù)據(jù)；彩色載波反轉(zhuǎn)解調(diào)處理716，其對(duì)在垂直方向上被調(diào)制的彩色載波數(shù)據(jù)進(jìn)行顏色反轉(zhuǎn)解調(diào)，從而輸出在垂直方向上連續(xù)的顏色差分?jǐn)?shù)據(jù)；對(duì)亮度數(shù)據(jù)和顏色差分?jǐn)?shù)據(jù)獨(dú)立進(jìn)行垂直方向尺寸縮小調(diào)整的亮度信號(hào)垂直方向尺寸縮小調(diào)整處理710以及顏色差分信號(hào)垂直方向尺寸縮小調(diào)整處理718 ;顏色差分?jǐn)?shù)據(jù)反轉(zhuǎn)調(diào)制處理720，其將調(diào)整大小后的顏色差分?jǐn)?shù)據(jù)重新變換為彩色載波數(shù)據(jù)并進(jìn)行增益等級(jí)調(diào)整；和顏色排列再現(xiàn)處理722，其重新合成調(diào)整大小后的經(jīng)過等級(jí)調(diào)整的亮度數(shù)據(jù)和調(diào)制后的彩色載波數(shù)據(jù)，并生成最終的多顏色排列數(shù)據(jù)。
[0130]使用圖8中詳細(xì)示出的垂直方向尺寸調(diào)整處理功能，來說明對(duì)拜耳排列的圖像進(jìn)行尺寸縮小調(diào)整處理的情況。
[0131]如圖8的垂直方向的處理單位701所示那樣，水平尺寸調(diào)整處理后的RAW圖像，保持反映了拜耳排列的像素配置的鑲嵌狀的排列，如圖7所示那樣以行單位巡回地寫入到行存儲(chǔ)器601，并匯總多行巡回地讀出。在本實(shí)施方式中利用由8行構(gòu)成的行存儲(chǔ)器601，匯總7行的輸出來進(jìn)行輸出。
[0132]與水平尺寸調(diào)整處理后的7行單位的輸入數(shù)據(jù)對(duì)應(yīng)的第I垂直方向的處理單位701、第2垂直方向的處理單位702,成為相對(duì)于行上的傳感器讀出方向的同一位置的垂直方向關(guān)注數(shù)據(jù)在垂直方向上按每個(gè)像素反復(fù)藍(lán)(B)和綠(G)的信息的BG垂直處理單位701、和在垂直方向上按每個(gè)像素反復(fù)綠(G)和紅(R)的信息的GR垂直處理單位702這2個(gè)種類。
[0133]這2個(gè)種類的成為垂直方向的處理單位的數(shù)據(jù)，具有在垂直方向上按2個(gè)像素周期進(jìn)行變化的奈奎斯特頻率附近的彩色載波信息，在去除所述彩色載波的彩色載波去除過濾處理703中，使用7行數(shù)據(jù)中的5行份的各數(shù)據(jù)Yl?Y3來進(jìn)行3個(gè)系統(tǒng)的處理，生成3個(gè)種類的在垂直方向偏移I行位置的連續(xù)的亮度數(shù)據(jù)。在本實(shí)施方式中，由彩色載波去除過濾器703分別使用垂直方向上的5個(gè)像素的數(shù)據(jù)Yl?Y3，輸出3個(gè)種類的行亮度數(shù)據(jù)709。關(guān)于垂直方向的BG垂直處理單位901，各數(shù)據(jù)Yl?Y3是成為藍(lán)(B)和綠(G)的平均值的亮度數(shù)據(jù)，關(guān)于下一垂直方向的GR垂直處理單位702，各數(shù)據(jù)Yl?Y是成為綠(G)和紅(R)的平均值的亮度數(shù)據(jù)，且在水平方向上交替被輸出。
[0134]另外，所述2個(gè)種類的垂直方向的處理單位701、702，在彩色載波提取過濾處理712中使用7行數(shù)據(jù)中的5行份的各數(shù)據(jù)Cl?C3來進(jìn)行3個(gè)系統(tǒng)的處理，生成3個(gè)種類的在垂直方向上偏離I行位置的連續(xù)的彩色載波數(shù)據(jù)，其中該彩色載波提取過濾處理712在垂直方向上提取按2個(gè)像素周期內(nèi)進(jìn)行變化的奈奎斯特頻率附近的彩色載波。關(guān)于BG垂直處理單位701的BG垂直方向，輸出以奈奎斯特頻率被調(diào)制的BG彩色載波分量數(shù)據(jù)，關(guān)于GR垂直處理單位702的GR垂直方向，輸出按奈奎斯特頻率調(diào)制的GR彩色載波分量數(shù)據(jù)。
[0135]在垂直方向上以奈奎斯特頻率調(diào)制的3個(gè)各BG彩色載波分量數(shù)據(jù)以及GR彩色載波分量數(shù)據(jù)，通過在垂直方向上按每I個(gè)像素(每I個(gè)行動(dòng)作)進(jìn)行代碼反轉(zhuǎn)的彩色載波逆轉(zhuǎn)解調(diào)處理716，從而作為在垂直方向上連續(xù)的R-G數(shù)據(jù)、B-G數(shù)據(jù)輸出。在此，使垂直方向的像素?cái)?shù)據(jù)位置與亮度Yl?Y3數(shù)據(jù)一致，作為成為同一位置的數(shù)據(jù)Cl?C3的輸出。
[0136]在對(duì)在垂直方向上被提取的所述2個(gè)種類的亮度數(shù)據(jù)和顏色差分?jǐn)?shù)據(jù)分別實(shí)施同一比率的垂直方向的尺寸縮小調(diào)整時(shí)，為了抑制縮小后的返回噪聲，期望實(shí)施在亮度數(shù)據(jù)用以及色差數(shù)據(jù)用中特性分別不同的亮度用頻帶限制過濾處理、和色差用頻帶限制過濾處理。雖然也能對(duì)亮度數(shù)據(jù)Yl?Y3和彩色載波數(shù)據(jù)Cl?C3的3行進(jìn)行處理，但作為有效率的處理，在彩色載波去除過濾處理703和彩色載波提取過濾處理712中同時(shí)應(yīng)用處理頻率特性的制限的方法作為安裝方法是有效率的。此時(shí)，作為顏色差分?jǐn)?shù)據(jù)的頻帶限制，想定最終記錄格式成為JPEG或TIFF、MPEG，從而期望設(shè)定為亮度用數(shù)據(jù)的頻帶限制的二分之一以下。
[0137]在垂直方向被頻帶限制的亮度數(shù)據(jù)，通過亮度信號(hào)垂直方向尺寸縮小調(diào)整處理710，使用關(guān)于亮度數(shù)據(jù)Yl?Y3的3個(gè)行亮度數(shù)據(jù)709來進(jìn)行垂直方向上的線性插補(bǔ)，以行單位按縮小比率進(jìn)行行間取，并輸出。另一方面，通過顏色差分信號(hào)垂直方向尺寸縮小調(diào)整處理718，使用3個(gè)顏色差分行數(shù)據(jù)，在垂直方向上進(jìn)行與所述亮度數(shù)據(jù)相同的線性插補(bǔ)，以行單位根據(jù)垂直縮小比率進(jìn)行行間取，并輸出。
[0138]對(duì)以垂直方向的行間取來進(jìn)行尺寸縮小調(diào)整后的顏色差分?jǐn)?shù)據(jù)719實(shí)施按每個(gè)有效行輸出來反轉(zhuǎn)代碼的顏色差分?jǐn)?shù)據(jù)反轉(zhuǎn)調(diào)制處理720，作為用于在垂直方向上以按2個(gè)像素周期進(jìn)行變化的奈奎斯特頻率進(jìn)行調(diào)制的等效處理。由顏色排列再現(xiàn)處理722實(shí)施以垂直方向的行間取來進(jìn)行垂直尺寸縮小調(diào)整后的行亮度數(shù)據(jù)和彩色載波數(shù)據(jù)之間的加法運(yùn)算處理，在水平方向上交替輸出在垂直方向上按每個(gè)像素反復(fù)藍(lán)(B)和綠(G)的信息的水平垂直以及被調(diào)整大小后的垂直方向BG數(shù)據(jù)723、和在垂直方向上按每個(gè)像素反復(fù)綠(G)和紅(R)的信息的水平垂直以及被調(diào)整大小后的垂直方向GR數(shù)據(jù)。
[0139]使用圖8所示的垂直方向尺寸縮小調(diào)整處理功能，來實(shí)施在圖4所示的3個(gè)處理部304、306、308中的垂直方向尺寸縮小調(diào)整處理。在實(shí)施2個(gè)處理部306、308中的垂直方向尺寸縮小調(diào)整處理時(shí)，設(shè)定為與處理部304的縮小比率不同的比率來分別實(shí)施處理。
[0140]進(jìn)而，在處理部308中的垂直方向尺寸縮小調(diào)整處理中使用圖8的處理功能時(shí)，為了生成臉檢測(cè)用的亮度數(shù)據(jù)，通過增益處理部724將對(duì)被調(diào)整大小后的縮小行亮度數(shù)據(jù)711和被調(diào)整大小后的行彩色載波數(shù)據(jù)之間的加法運(yùn)算處理部722輸入的行彩色載波數(shù)據(jù)的增益設(shè)為O來進(jìn)行加法運(yùn)算，從而僅輸出行亮度數(shù)據(jù)。
[0141]對(duì)圖8的處理中得到的動(dòng)態(tài)圖像記錄用尺寸數(shù)據(jù)103、監(jiān)視器顯示用尺寸數(shù)據(jù)307、臉檢測(cè)用尺寸數(shù)據(jù)309中的顯示用尺寸數(shù)據(jù)307，再次實(shí)施圖6中說明的傳感器讀出方向尺寸調(diào)整處理310來獲得期望的圖像。另外，對(duì)臉檢測(cè)用尺寸數(shù)據(jù)309再次實(shí)施圖6中說明的傳感器讀出方向尺寸調(diào)整處理部312。此時(shí)，如前述那樣，在圖6所示的內(nèi)部處理中，通過增益處理部511將對(duì)在傳感器讀出方向上被調(diào)整大小后的縮小行亮度數(shù)據(jù)和被調(diào)整大小后的彩色載波數(shù)據(jù)之間的加法運(yùn)算處理部509輸入的彩色載波數(shù)據(jù)的增益設(shè)為O來進(jìn)行加法運(yùn)算，從而僅輸出亮度數(shù)據(jù)，來得到所期望的臉檢測(cè)用的亮度圖像。
[0142]如以上說明那樣，如圖2所示那樣，在前處理&RAW數(shù)據(jù)尺寸縮小調(diào)整處理部102中，通過實(shí)施以圖6的處理一圖7的處理一圖8的處理一圖6的處理的順序組合的圖像處理的流程和處理進(jìn)程，從而能在第I幀期間生成包含臉檢測(cè)用的亮度圖像的多個(gè)尺寸縮小調(diào)整圖像。
[0143]之后，在第2幀期間對(duì)圖1以及圖2所示的圖像信號(hào)處理部109輸入所得到的多個(gè)RAW調(diào)整大小縮小圖像103、104、105，進(jìn)行主要的信號(hào)處理(監(jiān)視器模式下的顯示圖像生成、動(dòng)態(tài)圖像記錄圖像生成)，并輸入到臉檢測(cè)處理部106，進(jìn)行幀延遲少的臉檢測(cè)。
[0144]因此，與圖10所示的現(xiàn)有例那樣在第3幀期間進(jìn)行臉檢測(cè)信息顯示控制和AF /AE的反饋控制的情況相比，在本實(shí)施方式中，能在I幀期間迅速開始臉檢測(cè)信息顯示控制和AF / AE的反饋控制。進(jìn)而，能利用第3幀期間來實(shí)施以在第2幀期間檢測(cè)取得的臉位置為基點(diǎn)的細(xì)節(jié)部分檢測(cè)&識(shí)別等。
[0145]另外，實(shí)施本發(fā)明的單元并不限于專用的圖像處理裝置(圖像再生裝置、圖像加工裝置)，也可以是個(gè)人計(jì)算機(jī)。另外，圖像處理中的一部分或全部并不限于硬件(信號(hào)處理電路)，也可以用軟件實(shí)現(xiàn)。[0146]進(jìn)而，本實(shí)施方式的圖像處理程序，既可以構(gòu)成為單獨(dú)的應(yīng)用軟件，也可以作為圖像加工軟件、文件管理用軟件等應(yīng)用的一部分而嵌入。另外，本實(shí)施方式的圖像處理程序并不限于應(yīng)用于個(gè)人計(jì)算機(jī)等計(jì)算機(jī)系統(tǒng)中的情況，還能作為嵌入到數(shù)碼相機(jī)、便攜式電話機(jī)等信息設(shè)備中的中央處理裝置(CPU)的動(dòng)作程序來應(yīng)用。
[0147]工業(yè)上的可利用性
[0148]如以上所說明，本發(fā)明所涉及的圖像處理裝置、圖像處理方法以及圖像處理程序，特別作為適于從單板彩色攝像元件得到的原始圖像的縮小處理的圖像數(shù)據(jù)尺寸變換處理裝置、電子靜態(tài)照相機(jī)、圖像數(shù)據(jù)尺寸變換處理程序等是有用的。
[0149]符號(hào)說明
[0150]10攝像裝置
[0151]12攝像部
[0152]101拜耳排列的RAW圖像數(shù)據(jù)
[0153]102前處理&RAW數(shù)據(jù)尺寸縮小調(diào)整部(前處理部)
[0154]106臉檢測(cè)處理部(臉信息檢測(cè)部)
[0155]107存儲(chǔ)器控制部
[0156]108存儲(chǔ)器部
[0157]109圖像信號(hào)處理部
[0158]110壓縮解壓處理部
[0159]111記錄媒介I/ F(接口)部
[0160]112記錄媒介
[0161]113操作面板
[0162]114 CPU(中央運(yùn)算處理部)
[0163]115 ROM
[0164]116 RAM
[0165]117顯示處理部
[0166]118監(jiān)視器I /F部
[0167]119監(jiān)視器
[0168]103動(dòng)態(tài)圖像規(guī)格尺寸的RAW圖像數(shù)據(jù)
[0169]104監(jiān)視器顯示尺寸的RAW圖像數(shù)據(jù)
[0170]105臉檢測(cè)用數(shù)據(jù)尺寸的亮度⑴圖像數(shù)據(jù)
[0171]301第I水平尺寸縮小調(diào)整處理部
[0172]302僅在水平方向縮小的圖像數(shù)據(jù)
[0173]303暫時(shí)容納圖像數(shù)據(jù)的存儲(chǔ)器部
[0174]304,306,308 RAW數(shù)據(jù)垂直方向尺寸調(diào)整處理部
[0175](垂直尺寸縮小調(diào)整處理部)
[0176]307在垂直方向上縮小到監(jiān)視器顯示尺寸的圖像
[0177]309在垂直方向上縮小到臉檢測(cè)用尺寸的圖像
[0178]310,312第2水平尺寸縮小調(diào)整處理部
[0179]501 RAW 行圖像[0180]502彩色載波去除過濾處理
[0181]503行亮度數(shù)據(jù)
[0182]504彩色載波提取過濾處理
[0183]505顏色差分?jǐn)?shù)據(jù)解調(diào)處理
[0184]506亮度信號(hào)傳感器讀出方向尺寸縮小調(diào)整處理
[0185]507顏色差分信號(hào)傳感器讀出方向尺寸縮小調(diào)整處理
[0186]508彩色載波調(diào)制處理
[0187]509顏色排列再現(xiàn)處理
[0188]510多顏色排列數(shù)據(jù)
[0189]511增益調(diào)整處理
[0190]601由8行構(gòu)成的行存儲(chǔ)器
[0191]602針對(duì)行存儲(chǔ)器的數(shù)據(jù)寫入循環(huán)
[0192]603針對(duì)行存儲(chǔ)器的數(shù)據(jù)讀出循環(huán)
[0193]604多行上的傳感器讀出方向的同一位置的數(shù)據(jù)
[0194]701第I垂直方向的處`理單位
[0195]702第2垂直方向的處理單位
[0196]703彩色載波去除過濾處理
[0197]704,705,706 行亮度數(shù)據(jù)
[0198]7093個(gè)種類的行亮度數(shù)據(jù)
[0199]710亮度信號(hào)垂直方向尺寸縮小調(diào)整處理
[0200]711垂直方向縮小行亮度數(shù)據(jù)
[0201]712彩色載波提取過濾處理
[0202]713、714、715彩色載波數(shù)據(jù)
[0203]716彩色載波逆轉(zhuǎn)解調(diào)處理
[0204]718顏色差分信號(hào)垂直方向尺寸縮小調(diào)整處理
[0205]719垂直方向縮小行顏色差分?jǐn)?shù)據(jù)
[0206]720顏色差分?jǐn)?shù)據(jù)反轉(zhuǎn)調(diào)制處理
[0207]721垂直方向縮小行彩色載波數(shù)據(jù)
[0208]722顏色排列再現(xiàn)處理
[0209]723RAff縮小數(shù)據(jù)
[0210]724增益調(diào)整處理
【權(quán)利要求】
1.一種圖像處理裝置，在攝像裝置中使用，該攝像裝置由被從攝像元件輸出且由具有顏色排列的周期性的多色像素構(gòu)成的原始圖像，生成靜態(tài)圖像以及運(yùn)動(dòng)圖像的至少一方并記錄， 所述圖像處理裝置具有: 前處理部，其對(duì)來自所述攝像元件的原始圖像進(jìn)行多個(gè)縮小圖像的生成處理； 存儲(chǔ)器部，其經(jīng)由存儲(chǔ)器控制部暫時(shí)保持由所述前處理部進(jìn)行生成處理的多個(gè)縮小圖像； 臉信息檢測(cè)部，其對(duì)從所述存儲(chǔ)器部讀出的任意I個(gè)縮小圖像，經(jīng)由所述存儲(chǔ)器控制部來檢測(cè)臉信息；和 中央運(yùn)算處理部，其基于由所述臉信息檢測(cè)部檢測(cè)出的臉信息來進(jìn)行特定區(qū)域的對(duì)焦控制以及曝光控制的至少一方， 所述前處理部具有: 第I水平尺寸縮小調(diào)整處理部，其將來自所述攝像元件的原始圖像在輸入行方向上縮小為任意尺寸的圖像，并暫時(shí)容納在所述存儲(chǔ)器部中； 多個(gè)垂直尺寸縮小調(diào)整處理部，其從所述存儲(chǔ)器部讀出被所述第I水平尺寸縮小調(diào)整處理部在輸入行方向上縮小后的縮小圖像，并將該所讀出的縮小圖像在與輸入行方向正交的垂直方向上縮小為任意 尺寸；和 多個(gè)第2水平尺寸縮小調(diào)整處理部，其將由所述垂直尺寸縮小調(diào)整處理部得到的在水平方向以及垂直方向上被尺寸縮小調(diào)整處理后的多個(gè)縮小圖像，再次在輸入行方向上縮小為任意的尺寸。
2.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中， 在所述前處理部生成η個(gè)種類的縮小圖像時(shí)， 所述第I水平尺寸縮小調(diào)整處理部，以比率Kl縮小為所生成的多個(gè)縮小圖像中水平圖像尺寸最大的縮小圖像的水平縮小尺寸， 所述多個(gè)垂直尺寸縮小調(diào)整處理部中的I個(gè)，以所述比率Kl在垂直方向上對(duì)以所述比率Kl在輸入行方向上被縮小了的縮小圖像進(jìn)行縮小， 另外I個(gè)垂直尺寸縮小調(diào)整處理部，以比率Κ2在垂直方向上對(duì)以所述比率Kl在輸入行方向上被縮小了的縮小圖像進(jìn)行縮小， 再另外I個(gè)垂直尺寸縮小調(diào)整處理部，以比率Κ3在垂直方向上對(duì)以所述比率Kl在輸入行方向上被縮小了的縮小圖像進(jìn)行縮小， 再剩余的η-3個(gè)垂直尺寸縮小調(diào)整處理部，以比率Kn在垂直方向上對(duì)以所述比率Kl在輸入行方向上被縮小了的縮小圖像進(jìn)行縮小， 所述多個(gè)第2水平尺寸縮小調(diào)整處理部具備nl個(gè)， 所述η— I個(gè)第2水平尺寸縮小調(diào)整處理部中的I個(gè)，以成為Kl M2=K2的系數(shù)M2在輸入行方向上對(duì)以比率K2在所述垂直方向上被縮小了的縮小圖像進(jìn)行縮小， 另外I個(gè)第2水平尺寸縮小調(diào)整處理部，以成為Kl ★ M3=K3的系數(shù)M3在輸入行方向上對(duì)以比率K3在所述垂直方向上被縮小了的縮小圖像進(jìn)行縮小， 再剩余的n-3個(gè)第2水平尺寸縮小調(diào)整處理部，以成為Kl Mn=Kn的系數(shù)Mn在輸入行方向上對(duì)以比率Kn在所述垂直方向上被縮小了的縮小圖像進(jìn)行縮小，其中所述n為4以上的整數(shù)。
3.根據(jù)權(quán)利要求1或2所述的圖像處理裝置，其中， 所述前處理部，在從所述原始圖像生成臉檢測(cè)用的縮小圖像時(shí)，實(shí)施輸入行方向的彩色載波去除處理、和與所述輸入行方向正交的垂直方向的彩色載波去除處理，來生成不具有彩色載波分量的亮度信號(hào)分量的縮小圖像。
4.根據(jù)權(quán)利要求1~3中任一項(xiàng)所述的圖像處理裝置，其中， 所述前處理部所生成的多個(gè)縮小圖像中、水平圖像尺寸最大的圖像，是高清規(guī)格的動(dòng)態(tài)圖像記錄用的圖像， 其它的縮小圖像，是顯示用圖像、臉識(shí)別等圖像識(shí)別用圖像。
5.根據(jù)權(quán)利要求1~4中任一項(xiàng)所述的圖像處理裝置，其中， 所述原始圖像，是使用單板彩色攝像元件取得的圖像，該單板彩色攝像元件具有通過原色過濾器而被周期性地進(jìn)行顏色排列的多色像素。
6.根據(jù)權(quán)利要求1~5中任一項(xiàng)所述的圖像處理裝置，其中， 所述前處理部，在將所述原始圖像輸入到本圖像處理裝置的第I幀期間進(jìn)行多個(gè)縮小圖像的生成處理， 所述臉信息檢測(cè)部，在緊接所述第I幀期間的第2幀期間檢測(cè)臉信息。
7.一種圖像處理方法，在攝像裝置中使用，所述攝像裝置由被從攝像元件輸出且由具有顏色排列的周期性的多色像素構(gòu)成的原始圖像生成靜態(tài)圖像以及運(yùn)動(dòng)圖像的至少一方并記錄， 所述圖像處理方法執(zhí)行如下工序: 前處理工序，對(duì)來自所述攝像元件的原始圖像進(jìn)行多個(gè)縮小圖像的生成處理； 臉信息檢測(cè)工序，對(duì)所述多個(gè)縮小圖像中的任意I個(gè)縮小圖像檢測(cè)臉信息；和攝像控制工序，基于在所述臉信息檢測(cè)工序中檢測(cè)出的臉信息，來進(jìn)行特定區(qū)域的對(duì)焦控制以及曝光控制的至少一方， 在所述前處理工序中，執(zhí)行如下工序: 第I水平尺寸縮小調(diào)整處理工序，將來自所述攝像元件的原始圖像在輸入行方向上縮小為任意尺寸的圖像，多個(gè)垂直尺寸縮小調(diào)整處理工序，將在所述第I水平尺寸縮小調(diào)整處理工序中在輸入行方向上被縮小了的縮小圖像，在與輸入行方向正交的垂直方向上縮小為任意的尺寸；和多個(gè)第2水平尺寸縮小調(diào)整處理工序，將在所述垂直尺寸縮小調(diào)整處理工序中得到的在水平方向以及垂直方向上被尺寸縮小調(diào)整處理后的多個(gè)縮小圖像，再次在輸入行方向上縮小為任意的尺寸。
8.根據(jù)權(quán)利要求7所述的圖像處理方法，其中， 在所述前處理工序中生成η個(gè)種類的縮小圖像時(shí)， 在所述第I水平尺寸縮小調(diào)整處理工序中，以比率Kl縮小為在所生成的多個(gè)縮小圖像中、水平圖像尺寸最大的縮小圖像的水平縮小尺寸， 所述多個(gè)垂直尺寸縮小調(diào)整處理工序中的I個(gè)，以所述比率Kl在垂直方向上對(duì)以所述比率Kl在 輸入行方向上被縮小了的縮小圖像進(jìn)行縮小， 另外I個(gè)垂直尺寸縮小調(diào)整處理工序，以比率Κ2在垂直方向上對(duì)以所述比率Kl在輸入行方向上被縮小了的縮小圖像進(jìn)行縮小， 再另外I個(gè)垂直尺寸縮小調(diào)整處理工序，以比率K3在垂直方向上對(duì)以所述比率Kl在輸入行方向上被縮小了的縮小圖像進(jìn)行縮小， 再剩余的n-3個(gè)垂直尺寸縮小調(diào)整處理工序，以比率Kn在垂直方向上對(duì)以所述比率Kl在輸入行方向上被縮小了的縮小圖像進(jìn)行縮小， 所述多個(gè)第2水平尺寸縮小調(diào)整處理工序具備η— I個(gè)， 所述η-1個(gè)第2水平尺寸縮小調(diào)整處理工序中的1，以成為Kl M2=K2的系數(shù)M2在輸入行方向上對(duì)以比率K2在所述垂直方向上被縮小了的縮小圖像進(jìn)行縮小， 另外的I個(gè)第2水平尺寸縮小調(diào)整處理工序，以成為Kl ~k M3=K3的系數(shù)M3在輸入行方向上對(duì)以比率K3在所述垂直方向上被縮小了的縮小圖像進(jìn)行縮小， 再剩余的n-3個(gè)第2水平尺寸縮小調(diào)整處理工序，以成為Kl Mn=Kn的系數(shù)Mn在輸入行方向上對(duì)以比率Kn在所述垂直方向上被縮小了的縮小圖像進(jìn)行縮小， 其中η為4以上的整數(shù)。
9.根據(jù)權(quán)利要求7或8所述的圖像處理方法，其中， 在所述前處理工序中， 在從所述原始圖像生成臉檢測(cè)用的縮小圖像時(shí)， 在輸入行方向的尺寸縮小調(diào)整處理工序中，同時(shí)進(jìn)行彩色載波去除處理，` 在與所述輸入行方向正交的垂直方向的尺寸縮小調(diào)整處理工序中，同時(shí)進(jìn)行彩色載波去除處理， 從而生成不具有彩色載波分量的亮度信號(hào)分量的縮小圖像。
10.根據(jù)權(quán)利要求7~9中任一項(xiàng)所述的圖像處理方法，其中， 在所述前處理工序中生成的多個(gè)縮小圖像中、水平圖像尺寸最大的圖像，是高清規(guī)格的動(dòng)態(tài)圖像記錄用的圖像， 其它的縮小圖像，是顯示用圖像、臉識(shí)別等圖像識(shí)別用圖像。
11.根據(jù)權(quán)利要求7~10中任一項(xiàng)所述的圖像處理方法，其中， 所述原始圖像是使用單板彩色攝像元件取得的圖像，該單板彩色攝像元件具有通過原色過濾器而被周期性地進(jìn)行顏色排列的多色像素。
12.根據(jù)權(quán)利要求7~11中任一項(xiàng)所述圖像處理方法，其中， 在所述前處理工序中，在讓所述原始圖像輸入到本前處理工序的第I幀期間，進(jìn)行多個(gè)縮小圖像的生成處理， 在所述臉信息檢測(cè)工序中，在緊接所述第I幀期間的第2幀期間檢測(cè)臉信息。
13.一種數(shù)碼相機(jī)，具備權(quán)利要求1~6中任一項(xiàng)所述的圖像處理裝置。
【文檔編號(hào)】H04N9/07GK103563350SQ201280026606
【公開日】2014年2月5日 申請(qǐng)日期:2012年5月25日 優(yōu)先權(quán)日:2011年5月31日
【發(fā)明者】秦野敏信 申請(qǐng)人:松下電器產(chǎn)業(yè)株式會(huì)社