專利名稱：圖像處理裝置及數(shù)碼攝像機(jī)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明，涉及數(shù)碼攝像機(jī)等的攝像裝置中，動態(tài)范圍的壓縮、襯比校 正、對比度強(qiáng)調(diào)那樣的，基于人的視覺特性進(jìn)行信號處理的圖像處理裝置。
背景技術(shù)：
由數(shù)碼攝像機(jī)等的攝像裝置在逆光下攝像人物的話，攝像所得的圖像 數(shù)據(jù)中，從暗處至明處包含動態(tài)范圍寬的亮度信息。為此，數(shù)碼攝像機(jī)等 的攝像裝置中，包括將這樣的圖像數(shù)據(jù)校正為適當(dāng)?shù)膱D質(zhì)的圖像處理裝置。
作為這樣的圖像處理裝置的一例，基于+i正處理中的像素(注目像素) 的周邊像素的亮度分布，對注目像素的亮度，采取暗處增亮亮處減暗的校 正的視覺處理技術(shù)的圖像處理裝置已為所知(例如，參照專利文獻(xiàn)l)。
專利文獻(xiàn)l的圖像處理裝置中，首先，由只通過輸入信號的低區(qū)域空
間的低區(qū)域空間過濾器得到模糊(unsharp)信號US。這個模糊信號US，表 示注目像素(詳細(xì)的是低區(qū)域空間過濾器的中心像素)的周邊像素的亮度分 布信息。還有，這個圖像處理裝置，包括兩維的LUT(Look-up Table),兩 維的LUT中，登錄了被稱為輪廓數(shù)據(jù)的矩陣數(shù)據(jù)。輪廓數(shù)據(jù)，具有對應(yīng)每 一個輸入信號各種各樣的像素值的行、和對應(yīng)每一個模糊信號US的各種 各樣像素值的列。作為行列的要素，對應(yīng)輸入信號和模糊信號US的組合 儲存了視覺處理信號Si的像素值。并且，這個圖像處理裝置，輸出參照兩 維LUT校正后的像素值。由此，對應(yīng)周邊像素的亮度分布，進(jìn)行每個像素 最適應(yīng)的亮度調(diào)整成為可能。
還有，作為圖像處理裝置的另外一例，在將每個圖像數(shù)據(jù)分割成多個 區(qū)域的方框區(qū)域中，基于上述圖像數(shù)據(jù)所具有的亮度信息所涉及的直方圖 算出增益值，在處理只變更這部分增益值的亮度值的均值化處理的同時， 在上述每個方框區(qū)域，用對應(yīng)上述增益值的強(qiáng)度實施降低噪點(noise)處理
的圖像處理裝置(例如，參照專利文獻(xiàn)2)。
(專利文獻(xiàn)l)日本專利公開2006-MH6號公報 (專利文獻(xiàn)2)日本專利公開2006-50043號公報 (發(fā)明所要解決的課題)
但是，專利文獻(xiàn)1的圖像處理裝置中，如杲進(jìn)行具有亮度值的寬動態(tài) 范圍的圖像數(shù)據(jù)的視覺處理，正如增益提高那樣視覺處理了的像素中噪點 成份也同樣增益被提高，其結(jié)果，校正后的圖像數(shù)據(jù)中噪點成份有可能變 得醒目。也就是，由于實施了視覺處理卻有可能讓畫質(zhì)劣化。
例如，對能夠看到明亮的風(fēng)景的窗戶為背景人物站立逆光狀態(tài)下具有 亮度值寬的動態(tài)范圍的圖像數(shù)據(jù)實施視覺處理，為了使人物部分變得明亮， 只進(jìn)行提高人物部分的增益的處理。其結(jié)果，人物部分變得明亮了，但是， 人物部分的噪點成份也提高了增益。
對此，專利文獻(xiàn)2中記載的圖像處理裝置，基于根據(jù)直方圖算出的增 益，進(jìn)行均值化(亮度的變更)和降低噪點處理，所以，由對應(yīng)于均值化強(qiáng) 度的強(qiáng)度進(jìn)行降低噪點處理。
然而，因為是由方框單位的進(jìn)行這些處理，方框內(nèi)的像素的亮度值具 有寬動態(tài)范圍的話，就有可能產(chǎn)生均值化的效果過強(qiáng)的像素、或不足的像 素。還有，對于方框內(nèi)所有的像素進(jìn)行由一樣強(qiáng)度的降低噪點處理的話， 無法充分的壓制噪點成份多的像素的噪點，相反地，考慮到噪點的振幅小 的部分的立邊被鈍化的情況。對此，可以考慮極力減小方框尺寸，但是， 為求直方圖的數(shù)據(jù)處理量，隨著方框尺寸的減小而增大。也就是，減小方 框的尺寸也是有限度的，適當(dāng)?shù)囊曈X處理、和噪點抑制(防止圖像劣化)的 兩立是困難的。

發(fā)明內(nèi)容
本發(fā)明，著眼于上述問題所發(fā)明的，其目的在于防止圖像的劣化的同 時，能夠以像素單位的進(jìn)行視覺處理。 (為解決課題的方法)
為解決上述課題，本發(fā)明中，對多像素形成的圖像數(shù)據(jù)，以像素單位 進(jìn)行基于人的視覺特性的的信號處理的視覺處理。在此之際，對應(yīng)視覺處
理的強(qiáng)度以像素單位進(jìn)行復(fù)原視覺處理前的圖像數(shù)據(jù)的清晰度的信號處 理、及由視覺處理校正信號劣化的信號處理的至少一個。
例如，本發(fā)明的一方式是對由多個像素形成的圖像數(shù)據(jù)進(jìn)行信號處 理的圖像處理裝置，其特征在于包括對上述圖像數(shù)據(jù)，進(jìn)行像素單位的 基于人的視覺特性的信號處理的視覺處理的視覺處理部；進(jìn)行像素單位的，
至少是復(fù)原輸入上述視覺處理部的上述圖像數(shù)據(jù)的清晰度的信號處理、以 及校正由上述視覺處理引起的信號劣化的信號處理中的一種信號處理的輸 入信號處理部；另外，上述視覺處理部，構(gòu)成為基于上迷視覺處理中的像 素的注目像素的像素值和上述視覺處理后的像素值的關(guān)系所決定的規(guī)定函 數(shù)進(jìn)行上述視覺處理；上述輸入信號處理部，對應(yīng)使用上述函數(shù)所規(guī)定的 增益(gain)進(jìn)行上述信號處理。
由此，視覺處理前已經(jīng)劣化了的清晰度的復(fù)原、或者視覺處理后劣化 了的圖像數(shù)據(jù)的特性的校正成為可能。
一發(fā)明的效果一
只要根據(jù)本發(fā)明，在防止了圖像劣化的同時，以像素單位進(jìn)行視覺處 理成為可能。


圖1，是表示實施方式1所涉及的圖像處理裝置100的構(gòu)成的方框圖。 圖2 ，是兩維LUT的構(gòu)成例。
圖3，是表示輸入信號處理部150的構(gòu)成例的方框圖。
圖4，是表示噪點降低處理電路151的構(gòu)成的方框圖。
圖5，是表示增益值G、效果調(diào)整信號a、 (l一a)的關(guān)系的表。
圖6，是用曲線表示圖2的輸入特性。
圖7，是表示視覺處理是必要的逆光狀態(tài)的圖。
圖8，是將圖2的特性轉(zhuǎn)換成增益G的顯示。
圖9，是用曲線表示圖8的輸入特性。
圖10，是表示實施方式1的第二變形例所涉及的圖像處理裝置的構(gòu)成 的方框圖。
圖ll，是表示實施方式2所涉及的圖像處理裝置200的構(gòu)成的方框圖。
圖12,是開口校正處理的基本概念的說明圖。
圖13,是表示增益G和效果調(diào)整信號OC的關(guān)系的曲線。
圖14，是剖面數(shù)據(jù)的特性的一例。
圖15,是表示視覺處理后的像素值的分布的圖。
圖16，是表示本實施方式3所涉及的數(shù)碼攝像機(jī)300的構(gòu)成的方框圖。
(符號說明)
100 圖像處理裝置 110 空間處理部 120 視覺處理部 130 LUT儲存存儲器 140 增益算出部
150 輸入信號處理部
151 噪點降低處理電路 151a 噪點降低過濾器 151b 效果調(diào)整器
151c 乘法器 151d 乘法器 151e 加法器
152 亮度信號生成電路
154 開口校正處理電路
155 矩陣處理電路 200 圖像處理裝置 210 亮度信號生成電路
220 高區(qū)域空間過濾處理電路 230 效果調(diào)整部 240 乘法器 250 加法器 300 數(shù)碼攝像機(jī)
310 攝像部
311 光學(xué)系統(tǒng)
312 圖像傳感器
313模擬前置
314時間發(fā)生器
320輸入信號轉(zhuǎn)換器
330顯示部
340壓縮轉(zhuǎn)換部
350^己錄《呆存部
AP高頻成份
AP2校正高頻成份
G增益
US模糊
a效果調(diào)整信號
SNR噪點降低信號
Si視覺處理信號
具體實施例方式
以下，參照

本發(fā)明的實施方式。尚，在以下的各實施方式及 各變形例的說明中，與一度說明了的構(gòu)成要素具有相同功能的構(gòu)成要素， 標(biāo)注相同的符號并省略說明。 《發(fā)明的實施方式l》
圖1，是表示本發(fā)明的實施方式1所涉及的圖像處理裝置100的構(gòu)成 的方框圖。這個圖像處理裝置100,對例如組合了數(shù)碼攝像機(jī)等的，由多
像素形成的圖像數(shù)據(jù)的各個像素，進(jìn)行基于人的視覺特性的信號處理。
(圖像處理裝置100的構(gòu)成)
圖像處理裝置100，如圖1所示那樣，包括空間處理部110、視覺處理 部120、 LUT儲存存儲器130、增益算出部140、及輸入信號處理部150。
空間處理部110，生成表示處理中的像素的周邊像素的信號電平的分 布(稱作信號電平分布信號)。本實施方式中，空間處理部110，生成作為信 號電平分布信號的一例的，對輸入信號的每個像素的模糊信號US。
在此，所謂的輸入信號，是將通過透鏡等形成的光學(xué)系統(tǒng)的光用CCD 或CMOS等的圖像傳感器轉(zhuǎn)變成電信號，是實施了從圖像傳感器輸出的模
擬信號中除去噪點、信號放大、A/D轉(zhuǎn)換等的信號處理的圖像數(shù)據(jù)。
還有，模糊信號US，是從原圖像生成的模糊圖像的每個像素得到的信號。
作為求得模糊信號US的方法，例如，可以考慮輸入信號的平均值、 最大值、或最小值等。
還有，模糊信號US，還是加權(quán)平均多個像素值所求得的方法。例如，
加權(quán)平均，基于式子F-(s:[wij]x [Aij])/(i:[wij])進(jìn)行計算。在此，[wij]，
是在處理對象的像素及周邊像素中，位于第i行j列的像素加權(quán)系數(shù)。[Aij〗，
是在處理對象的像素及周邊像素中，位于第i行j列的像素的像素值。尚， [2]，是意味著進(jìn)行對象像素及周邊像素的各個像素的合計計算。
加權(quán)系數(shù)[Wij]，是基于對象像素和周邊像素的像素值的差及距離所決
定的值。更具體地講，像素值的差的絕對值越大越是小的加權(quán)系數(shù)。還有， 距離越大越是小的加權(quán)系數(shù)。
如上所述所求得的模糊信號us ，表示處理中的像素的周邊像素的信號
電平分布、周邊像素的亮度分布。
本實施方式中，空間處理部110，通過低區(qū)域空間過濾器得到模糊信 號US 。作為低區(qū)域空間過濾器，可以使用FIR(Finite Impulse Respones)型 的低區(qū)域空間過濾器、或IIR(Infinite Impulse Respones)型的低區(qū)域空間過
濾器等。
視覺處理部120，對于輸入信號的每個像素，進(jìn)行基于人的枧覺特性 的信號處理(視覺處理)。作為視覺處理，例如，例舉了動態(tài)范圍的壓縮、 階調(diào)校正、對比度強(qiáng)調(diào)等。
視覺處理部120，基于決定輸入信號、和由視覺處理部120處理后的 信號(成為視覺處理信號Si)的關(guān)系函數(shù)，求視覺處理信號Si的像素值。圖 像處理裝置100中，如后所述的LUT儲存存儲器130內(nèi)，定義了模糊信號 US的每一種的函數(shù)。視覺處理部120，基于對應(yīng)處理中的像素(注目像素) 的模糊信號US，從這些函數(shù)(函數(shù)群)中選擇一個，用這個函數(shù)求枧覺處理 信號Si的像素值輸出。
LUT儲存存儲器130，儲存在視覺處理部120使用的函數(shù)群作為兩維 LUT(Look Up Table)。兩維LUT，作為一例可以構(gòu)成為圖2所示那樣。這
個兩維LUT中，登錄了被稱作輪廓數(shù)據(jù)的矩陣數(shù)據(jù)。輪廓數(shù)據(jù)，具有對應(yīng) 各種各樣輸入信號的像素值的每一個的行、和對應(yīng)各種各樣模糊信號US 的像素的每一個的列。作為行列的要素，儲存了對應(yīng)輸入信號和模糊信號 US組合的視覺處理信號Si的像素值。
本實施方式中具體地講，兩維LUT，表示為5X5的矩陣形式(參照圖 2)。兩維LUT中IO、 I1、*"I4，分別表示將注目像素的像素值所取值的范 圍五等分后的像素值的每一個，B0、 B1"'B4，分別表示將模糊信號US 的所取值的范圍五等分后的值的每一個。還有，表中的各要素值，表示由 視覺處理部120處理后的像素值(這個例中是8比特)。這個例，是階調(diào)校 正后的像素值的例。也就是，本實施方式的LUT儲存存儲器130，儲存了 階調(diào)轉(zhuǎn)換曲線群。對應(yīng)這個兩維LUT中沒有儲存值(例如B0和B1的中間 值)處理后的像素值，只要利用這個兩維LUT內(nèi)的值進(jìn)行線形插入既能求 得。尚，兩維LUT的行和列的關(guān)系，還可以與上述的例相反。
兩維LUT中儲存的視覺處理信號Si的像素值，在階調(diào)校正后的像素 值以外，可以采用動態(tài)范圍壓縮處理或?qū)Ρ榷葟?qiáng)調(diào)等的信號處理后的像素 值。也就是，通過改變輪廓數(shù)據(jù)，實現(xiàn)各種各樣的視覺處理成為可能。尚， 這些值通過計算機(jī)等預(yù)先算出登錄備用。
增益算出部140，將輸入信號和視覺處理后的信號的關(guān)系作為增益G 算出。具體地講，增益算出部140，輸入輸入信號和模糊信號US，參照兩 維LUT，求處理后的像素值。并且，本實施方式中，增益算出部140將求 得的處理后的像素值換算成0.00~2.00范圍的值的增益G輸出。
輸入信號處理部150，校正由視覺處理部120處理了的劣化了的輸入 信號的特征。由輸入信號處理部150的校正強(qiáng)度，由增益G決定。
輸入信號處理部150，具體地講，如圖3所示，包括噪點降低處理電 路151、亮度信號生成電路152、色分離電路153、開口木支正處理電路154、 以及矩陣處理電路155。
噪點降低處理電路151,除去圖像數(shù)據(jù)的噪點成份。噪點降低處理電 路151的詳細(xì)構(gòu)成如后所述。
亮度信號生成電路152，從噪點降低處理電路151的輸出信號生成亮 度信號。
ii
色分離電路153，從噪點降低處理電路151的輸出信號生成色信號。
開口校正處理電路154，進(jìn)行在亮度信號生成電路152生成的亮度信 號上加上高頻成份進(jìn)行使清晰度提高的處理。
矩陣處理電路155，對色分離電路153的輸出進(jìn)行圖像傳感器的分光 特性或信號處理所崩壞色相偏差的調(diào)整。
(噪點降低處理電路151的構(gòu)成)
接下來，詳細(xì)敘述噪點降j氐處理電路151。
噪點降低處理電路1.51，如圖4所示，包括噪點降低過濾器151a、效 果調(diào)整部151b、乘法器151c、乘法器151d、及加法器151e。
噪點降低過濾器151a，輸出對視覺處理部120輸出的視覺處理信號Si 實施噪點降低處理的信號(噪點降低信號SNR)。具體地講，作為噪點降低 過濾器151a，利用低通過過濾器或媒介過濾器等迄今為止的噪點降低技 術(shù)。
效果調(diào)整部151b，基于增益算出部140輸出的增益G算出決定噪點降 低處理效果的強(qiáng)度的效果調(diào)整信號a;和(l-a;)。例如，圖5，是表示增益值 G、效果調(diào)整信號a、和(1-CK)的關(guān)系的表。這個例中，通過效果調(diào)整信號 "=增益值G/2的式子，決定增益G和效果調(diào)整信號a的關(guān)系。如圖5 所示，當(dāng)增益值G為最大值2.00時，效果調(diào)整信號a為1.00，增益值G 為0.00時效果調(diào)整信號a為0.00。由此，效果調(diào)整部151b，輸出0.00~1.00 范圍的效果調(diào)整信號o;和(l-aO。
乘法器151c,輸出噪點降低信號SNR、和效果調(diào)整部151b的輸出值 的效果調(diào)整信號o:相乘的值。
乘法器151d，輸出視覺處理信號Si和效果調(diào)整部151b的輸出值的(l-a)相乘的值。
加法器151e，合成乘法器151c的輸出和乘法器151d的輸出，作為輸 出信號Sout輸出。
(圖像處理裝置100的動作)
圖像處理裝置100，給與輸入信號的話，首先空間處理部110對輸入 信號的每個像素生成模糊信號US。
生成模糊信號US的話增益算出部140，參照LUT儲存存儲器130內(nèi)
的兩維LUT，求處理后的像素值的同時，將求得的處理后的像素值換算成 增益G輸出給輸入信號處理部150。
另一方面，視覺處理部120，生成模糊信號US的話，對輸入信號的每 個像素，基于人的視覺特性進(jìn)行信號處理輸出視覺處理信號Si。在此之際， 視覺處理部120，對應(yīng)相對處理中的像素(注目像素)的模糊信號US的值， 從LUT儲存存儲器130內(nèi)的函數(shù)中選擇一個，用這個函數(shù)求視覺處理信號 Si的像素值。
圖6，是表示圖2所示的基于兩維LUT的視覺處理部120的輸出入特 性曲線。對應(yīng)模糊信號US的電平BO的特性，是圖6最上部的曲線，對應(yīng) 模糊信號US的電平B4，是圖6的最下部曲線。這是因為，對圖像中不同 場所存在的相同信號電平L的像素，不是進(jìn)行一樣的處理，由于周圍的信 息(模糊信號US)可能變明可能變暗。也就是，圖像處理裝置100中，對應(yīng) 周邊像素的亮度分布，表示對每個像素能夠進(jìn)行最適當(dāng)?shù)拿髁脸潭鹊恼{(diào)整。
例如，只是基于輸入信號的值改變像素值的話，圖像中的不同場所存 在的相同的信號電平的像素的情況下，就會進(jìn)行相同的明亮程度的變化。 也就是，增加圖像中的人物的背景的暗的場所的亮度的話，相同濃度的人 的毛發(fā)也會變亮。然而，圖像處理裝置100中，對應(yīng)于注目像素的周圍信 息變更處理的強(qiáng)度，所以，例如可以使圖像中的人物的毛發(fā)的濃度不變， 只增加相同濃度的背景的亮度。
圖7，是表示能夠看見明亮的風(fēng)景的窗戶為背景的人物站立的逆光狀 態(tài)。圖像處理裝置100中，即便是圖7那樣的逆光狀態(tài)，窗外的風(fēng)景部分 還是那么明亮，只是增加人物部分的部分增益提高亮度是可能的。
視覺處理部120輸出視覺處理信號Si的話，輸入信號處理部150，對 視覺處理信號Si進(jìn)行噪點降低處理。
例如，在視覺處理部120的處理中，對某個像素的處理如選擇了圖6 的最上部那樣的特性的情況，包含在圖像數(shù)據(jù)中的噪點成份同樣增高增益 S/N變壞。還有，對于相同輸入信號電平L的另外的像素，選擇了圖6最 下部那樣的特性的情況，相反地噪點振幅被壓制，噪點不明顯。這種情況， 對全像素進(jìn)行一樣強(qiáng)度的噪點降低處理的話，可以考慮噪點成份多的像素 的噪點不能充分的得到壓制，相反地，噪點的振幅小的部分的邊緣鈍化的
情況。為此，對應(yīng)噪點的強(qiáng)度改變適當(dāng)?shù)膹?qiáng)度的噪點降低處理是必要的。
輸入信號處理部150中，利用增益算出部140算出的增益G對每個像 素調(diào)整噪點降低效果。
例如，當(dāng)增益值G大的時候，包含在圖像數(shù)據(jù)中的噪點成份增益也上 升S/N比變壞。這種情況下，增加噪點降低信號SNR的比例，相反地降低 視覺處理信號Si的比例。還有，增益G小的時候，噪點成份的放大率也 小，由此，增加視覺處理信號Si的比例，降低噪點降低信號SNR的比例。 也就是，對應(yīng)相當(dāng)于視覺處理的強(qiáng)度的增益G，適當(dāng)?shù)淖兏朦c降低處理 的效果輸出輸出信號Sout。
如以上所說，根據(jù)本實施方式，只對由視覺處理的噪點成份注目的部 分，實施適當(dāng)?shù)脑朦c降4氐處理。由此，通過過渡的實施噪點降低處理，可 以避免圖像數(shù)據(jù)內(nèi)的物體的邊緣鈍化、失去圖像數(shù)據(jù)整體內(nèi)的清晰度變成 模糊畫像這樣的弊害。也就是，只要根據(jù)本實施方式，在防止圖像劣化的 同時，像素單位的進(jìn)行視覺處理成為可能。
尚，輸入信號處理部150的構(gòu)成，不只限于上述的例。例如，比噪點 降低處理電路151的后段的構(gòu)成要素，對應(yīng)于這個圖像處理裝置組入怎樣 的制品適宜的變更是可能的。為此，根據(jù)制品，例如省略開口校正處理電 路154，或者省略矩陣處理電路155均為可能的。還有，輸入信號處理部 150中，對應(yīng)于組入的制品，作為校正信號特征的處理采用噪點降低處理 以外的信號處理亦可。
《發(fā)明的實施方式1的變形例1》
LUT儲存存儲器130中儲存的輪廓數(shù)據(jù)，不是視覺處理后的像素值， 登錄增益G亦可。這種情況下，視覺處理部120，求這個增益G和注目像 素的像素值相乘的處理后的像素值。
圖8，是將圖2的特性轉(zhuǎn)換成增益G的顯示。還有，圖9，是用曲線 表示基于圖8的兩維LUT的視覺處理部120的輸出入特性。與圖6的例一 樣，對應(yīng)于模糊信號的電平B0的特性，是圖9的最上部的曲線，對應(yīng)于 模糊信號的電平B4的特性，是圖9最下部的曲線。
因此，輸入信號處理部150只要參照LUT儲存存儲器130，不設(shè)置增 益算出部140亦可。
《發(fā)明的實施方式1的變形例2》
圖10，是表示本發(fā)明的實施方式1的變形例2所涉及的圖像處理裝置 的構(gòu)成的方框圖。這個例中，增益G也輸入到視覺處理部120,視覺處理 部120,構(gòu)成為對輸入信號的每個像素乘上增益G進(jìn)行校正。
由此，視覺處理部120不再有必要參照LUT儲存存儲器130，實現(xiàn)縮 短處理時間成為可能。
《發(fā)明的實施方式2》
圖11，是表示本發(fā)明的實施方式2所涉及的圖像處理裝置200的構(gòu)成 的方框圖。圖像處理裝置200，也是組入例如數(shù)碼攝像機(jī)等中，對多個像 素形成的圖像的每一個像素，進(jìn)行基于人的視覺特性的信號處理。
圖像處理裝置200，是在進(jìn)行這個信號處理前，進(jìn)行復(fù)原輸入信號清 晰度的處理的圖像處理裝置。
圖像處理裝置200中，進(jìn)行復(fù)原清晰度處理的一個的開口校正處理。 介于透鏡或低通過過濾器輸入的輸入信號，高頻部分變得遲鈍。開口校正 處理，是對輸入的高頻部分變得遲鈍的輸入信號，如原信號那樣提高高頻 成份，復(fù)原清晰度的校正處理。
例如，如圖12(a)所示，高頻成份輸入了遲鈍信號Sl的話，在開口校 正中，使信號Sl上加上高區(qū)域空間過濾器，抽出只是輸入信號的高頻成 份也就是輸入信號的輪廓的信號S2(參照圖12(b))。并且，通過在信號Sl(實 信號)上加上信號S2，使遲鈍的高頻成份提高得到強(qiáng)調(diào)了輪廓的信號S3(參 照圖12(c))就成為可能。
圖像處理裝置200，亮度信號生成后，對亮度信號進(jìn)行開口校正處理。
(圖像處理裝置200的構(gòu)成)
圖像處理裝置200，如圖11所示，包括視覺處理部120、增益算出部 140、亮度信號生成電路210、高區(qū)域空間過濾處理電路220、效果調(diào)整器 230、乘法器240、及加法器250。
亮度信號生成電路210，從輸入信號生成亮度信號輸出。
高區(qū)域空間過濾處理電路220，從亮度信號生成電路210輸出的亮度 信號抽出輸入信號的高頻成份(高頻成份AP)。
效果調(diào)整器230，基于增益算出部140求得的增益G，對每個像素求
表示提高高頻成份量的效果調(diào)整信號a 。
本實施方式中，增益值G和效杲調(diào)整信號a的關(guān)系，用GXa二l的式 子表示。AP是實施視覺處理后的信號中包含的高頻成份的振幅。也就是， 實施視覺處理后的信號中包含的高頻成份的振幅為AP那樣，決定視覺處 理前的高頻成份的提高量。圖13，是表示基于這個式子增益G和效果調(diào)整 信號a的關(guān)系的曲線。
乘法器240，構(gòu)成為向加法器250輸出高頻成份AP和效果調(diào)整信號a 的相乘的信號。這個校正高頻成份AP2，是校正了高頻成份AP的信號。
加法器250，是相加亮度信號生成電路210輸出的亮度信號、和乘法 器240輸出的校正高頻成份AP2，輸出給視覺處理部120。
(圖像處理裝置200的動作)
例如，假設(shè)LUT儲存存儲器130內(nèi)的輪廓數(shù)據(jù)具有圖14那樣的特性。 這種情況，實施視覺處理之際，即便是相同的輸入信號值L由于周邊信息 (模糊信號US)，選擇如特性(A)那樣的特性、或者是選擇特性(B)那樣的特 性。
例如，選摔了特性(A)那樣的特性的情況下，輸入信號的電平的振幅被 抑制。為此，如圖12(c)的S3那樣強(qiáng)調(diào)的明顯成份，在視覺處理后，如圖 15的S4那樣破碎。相反，選摔了特性(B)那樣的特性的情況，如圖15的 S5那樣明顯成份被過度的強(qiáng)調(diào)。
其結(jié)果，視覺處理后的圖像，由于輸入信號電平和它周邊像素的亮度 分布，使局部的對比度降低、或者相反地對比度纟皮過度強(qiáng)調(diào)的對比度不均 勻的圖像，這是有可能的。
于是，圖像處理裝置200中，由增益算出部140輸出的增益G降低或 放大高頻成份的信號S2(參照圖12(b))。由此，避免視覺處理后的圖像數(shù)據(jù) 的對比度不均勻成為可能。
圖像處理裝置200中，首先，增益算出部140從輸入信號求增益G。 另一方面，亮度信號生成電路210，從輸入信號生成亮度信號。
亮度信號生成電路210生成亮度信號的話，高區(qū)域空間過濾處理電路 220,從這個亮度信號抽出輸入信號的高頻成份AP。另一方面，效果調(diào)整 信號230，基于增益G求效果調(diào)整信號a。并且，乘法器240,相乘高頻
成份AP和效果調(diào)整信號a輸出校正高頻成份AP2。由此，加法器250相 加亮度信號和校正高頻成份AP2輸出給視覺處理部120。
視覺處理部120,對加法器250的輸出進(jìn)行視覺處理(例如，動態(tài)范圍 的壓縮或階調(diào)校正)。如前所述，因為效果調(diào)整信號ct是由GXa=l的關(guān) 系式?jīng)Q定的，所以枧覺處理部120進(jìn)行視覺處理后的信號中包含的高頻成 《分成為AP。
然而，根據(jù)本實施方式，對應(yīng)視覺處理部120進(jìn)行的信號處理，對每 個像素決定復(fù)原清晰度處理(這個例中開口校正處理)的強(qiáng)度。上述例中， 具體地講，通過枧覺處理對于預(yù)想的對比度降4氐的高頻成份，高強(qiáng)度施加 開口校正處理成為可能。還有，相反地對于預(yù)想的對比度被強(qiáng)調(diào)了的部分， 施加弱開口校正處理的調(diào)整效果成為可能。
尚，即便是實施方式2，也如實施方式1或其他的變形例那樣，在視 覺處理部120的后段再設(shè)置輸入信號處理部150，對應(yīng)增益G進(jìn)行噪點降 低處理亦可。
還有，實施方式l和它的變形例、及實施方式2的圖像處理裝置使用 的輪廓數(shù)據(jù)的形式，并不限定為5X5的矩陣形式。例如，輸入信號及模糊 信號US用8比特表示的情況，輪廓數(shù)據(jù)，就為256X256的矩陣形式。這 種情況，是增加兩維LUT所必須的存儲器容量，或者實現(xiàn)更正確地視覺處 理均是可能的。
還有，存儲器容量小的系統(tǒng)中，在允許容量中儲存輪廓數(shù)據(jù)，必要的 輪廓數(shù)據(jù)不在兩維LUT內(nèi)的情況下，只要在輸出增益值及視覺處理信號的 值相鄰的輪廓數(shù)據(jù)進(jìn)行線形插入既可。由此，用最小的輪廓數(shù)據(jù)就能夠?qū)?現(xiàn)視覺處理。
還有，噪點降低處理，也可以在視覺處理前進(jìn)行。這種情況，對應(yīng)增 益值G，邊改變噪點降低處理的強(qiáng)度，邊對預(yù)想的視覺處理中會被放大的 噪點成份進(jìn)行視覺處理前的預(yù)定強(qiáng)度的噪點降低處理。 《發(fā)明的實施方式3》
實施方式3中，說明包括上述圖像處理裝置的數(shù)碼攝像機(jī)的例，圖16, 是表示本實施方式所涉及的數(shù)碼攝像機(jī)300的構(gòu)成的方框圖。數(shù)碼攝像機(jī) 300，如同圖所示，圖像處理裝置IOO(參照實施方式1)，包括攝像部310、
輸入信號轉(zhuǎn)換器320、顯示部330、壓縮轉(zhuǎn)換部340、及記錄保存部350。
攝像部310，攝像被攝物，輸出對應(yīng)這個圖像的數(shù)碼圖像數(shù)據(jù)。這個 例中，攝像部310，包括光學(xué)系統(tǒng)311、圖像傳感器312、模擬前置313(圖 中的AFE縮寫)、及時間發(fā)生器314(圖中的TG縮寫)。
光學(xué)系統(tǒng)311，由透鏡等形成，將被攝物成像于圖像傳感器312上。
圖像傳感器312，將從光學(xué)系統(tǒng)311射入的光轉(zhuǎn)變?yōu)殡娦盘枴Ｗ鳛閳D 像傳感器312，使用CCD(Charge CoupledDevice)的圖像傳感器、或者使用 CMOS的圖像傳感器等，可以采用各種各樣的圖像傳感器。
模擬前置313,對圖像傳感器312輸出的模擬信號進(jìn)行除去噪點、信 號放大、A/D轉(zhuǎn)換等的信號處理。
時間發(fā)生器314，向圖像傳感器312或模擬前置313提供成為圖像傳 感器312或模擬前置313的動作時刻基準(zhǔn)的時鐘信號。
輸入轉(zhuǎn)換器320，轉(zhuǎn)換將壓縮轉(zhuǎn)換部340的輸出(后述)及模擬前置313 的輸出中的一個輸入給圖像處理裝置100。這個轉(zhuǎn)換，例如，利用者是使 用數(shù)碼攝像機(jī)300中設(shè)置的操作開關(guān)(未圖示)等進(jìn)行搡作的。
顯示部330,顯示圖像處理裝置100的輸出(圖像處理后的圖像數(shù)據(jù))。
壓縮轉(zhuǎn)換部340，用JPEG等所規(guī)定的規(guī)格壓縮/解壓轉(zhuǎn)換圖像處理裝 置100的輸出。詳細(xì)的說，壓縮轉(zhuǎn)換部340, 乂fi已錄4呆存部350輸出壓縮 圖像數(shù)據(jù)，對輸入信號轉(zhuǎn)換部320解壓由記錄保存部350讀出的圖像數(shù)據(jù) 輸出給輸入信號轉(zhuǎn)換器320。
記錄保存部350,接受壓縮了的圖像數(shù)據(jù)(文件數(shù)據(jù))，記錄于記錄媒體 (例如不揮發(fā)性存儲器等)。還有，記錄保存部350，讀出被壓縮了記錄在記 錄媒體中的圖像數(shù)據(jù)輸出給壓縮轉(zhuǎn)換部340。
(數(shù)碼攝像機(jī)300的動作)
數(shù)碼攝像機(jī)300中，攝像時，攝像部310輸出的圖像數(shù)據(jù)介于輸入信 號轉(zhuǎn)換器320輸入圖像處理裝置100。圖像處理裝置100中，對輸入信號 的每個像素進(jìn)行適當(dāng)?shù)囊曈X處理及通過視覺處理校正劣化了的信號特性。 圖像處理裝置100的輸出，顯示在顯示部330的同時，由壓縮轉(zhuǎn)換部340 壓縮。由壓縮轉(zhuǎn)換部340壓縮了的圖像數(shù)據(jù)由i己錄保存部350記錄于記錄 媒體。
例如，使用者，使壓縮轉(zhuǎn)換部340的輸出輸入圖像處理裝置IOO轉(zhuǎn)換 輸入信號轉(zhuǎn)換器320，圖像處理裝置100，對這個輸入信號，每個像素都進(jìn) 行適當(dāng)?shù)囊曈X處理、和校正由視覺處理劣化了的信號特性。這個信號，與 攝像時一樣，顯示在顯示部330的同時，相應(yīng)于必要性，被壓縮轉(zhuǎn)換部340 壓縮后，由記錄保存部350記錄于記錄媒體。
如上所述，只要根據(jù)本實施方式，對攝像時的圖像數(shù)據(jù)，就可以進(jìn)行 每個像素的適當(dāng)?shù)囊曈X處理、以及校正由視覺處理劣化了的信號特性。
而且，數(shù)碼攝像機(jī)300中，因為包括輸入信號轉(zhuǎn)換器320及壓縮轉(zhuǎn)換 部340，所以，不只是攝像部310的輸出圖像數(shù)據(jù)，還可以將壓縮轉(zhuǎn)變成 JPEG等記錄于記錄媒體的圖像數(shù)據(jù)作為圖像處理裝置100的輸入信號。 也就是，對攝像后的圖像數(shù)據(jù)的每個像素也進(jìn)行適當(dāng)?shù)囊曈X處理、和校正 由于視覺處理劣化了的信號特性。例如，對于如圖7所示的記錄了逆光狀 態(tài)的圖像的圖像數(shù)據(jù)，實施視覺處理使人物部分變亮，再有，對應(yīng)于這個 變化量能夠?qū)嵤┰朦c降低處理及開口校正處理。
尚，數(shù)碼攝像機(jī)300中，取代圖像處理裝置100，作為圖像處理裝置 100的變形例說明了的圖像處理裝置、或?qū)嵤┓绞?的圖像處理裝置200 也可以使用。
還有，數(shù)碼攝像機(jī)中，因為屏幕顯示用圖像數(shù)據(jù)等清晰度低，可以無 視一些對比度的降低或強(qiáng)調(diào)。為此，采用圖像處理裝置100的數(shù)碼攝像機(jī) 中，對屏幕顯示用的圖像數(shù)據(jù)，只要禁止由開口校正處理的增益值G的效 果調(diào)整，加快圖像處理的處理速度成為可能的。
—產(chǎn)業(yè)上的利用可能性一
本發(fā)明所涉及的圖像處理裝置，具有在防止圖像劣化的同時，以像素 單位能夠進(jìn)行視覺處理的效果。因此，對在數(shù)碼攝像機(jī)等的攝像裝置中， 動態(tài)范圍的壓縮、階調(diào)校正、對比度強(qiáng)調(diào)等的進(jìn)行基于人的視覺特性的信 號處理的圖像處理裝置是有用的。
權(quán)利要求
1. 一種圖像處理裝置，對由多個像素形成的圖像數(shù)據(jù)進(jìn)行信號處理，其特征在于包括對上述圖像數(shù)據(jù)，進(jìn)行像素單位的，基于人的視覺特性的信號處理的視覺處理的視覺處理部，和進(jìn)行像素單位的，至少是復(fù)原輸入上述視覺處理部的上述圖像數(shù)據(jù)的清晰度的信號處理、以及校正由上述視覺處理引起的信號劣化的信號處理中的一種信號處理的輸入信號處理部，另外上述視覺處理部，構(gòu)成為基于上述視覺處理中的像素的注目像素的像素值和上述視覺處理后的像素值的關(guān)系所決定的規(guī)定函數(shù)進(jìn)行上述視覺處理，上述輸入信號處理部，對應(yīng)使用上述函數(shù)所規(guī)定的增益進(jìn)行上述信號處理。
2. 根據(jù)權(quán)利要求1所述的圖像處理裝置，其特征在于 上述視覺處理，是動態(tài)范圍的壓縮、色調(diào)校正、以及對比度強(qiáng)調(diào)中的至少一種處理。
3. 根據(jù)權(quán)利要求1所述的圖像處理裝置，其特征在于 還包括生成基于上述注目像素的周邊像素的信號電平的分布的信號的信號電平分布信號的空間處理部，另上述視覺處理部，基于按照每個上述信號電平分布信號的各種各樣值 定義的上述注目像素的信號電平和校正后的注目像素的信號電平的關(guān)系的 多個函數(shù)進(jìn)行上述校正處理。
4. 根據(jù)權(quán)利要求3所述的圖像處理裝置，其特征在于 上述信號電平分布信號，是模糊信號。
5. 根據(jù)權(quán)利要求3所述的圖像處理裝置，其特征在于 上述枧覺處理部，對應(yīng)上述信號電平分布信號的電平，從上述多個函數(shù)中選擇一個，基于所選擇的函數(shù)進(jìn)行上述視覺處理。
6. 根據(jù)權(quán)利要求3所述的圖像處理裝置，其特征在于 還包括以矩陣形式儲存上述多個函數(shù)的LUT儲存存儲器。
7. 根據(jù)權(quán)利要求1所述的圖像處理裝置，其特征在于 校正上述信號劣化的信號處理，是噪點降低處理。
8. 根據(jù)權(quán)利要求1所述的圖像處理裝置，其特征在于 復(fù)原上述清晰度的信號處理，是開口校正處理。
9. 根據(jù)權(quán)利要求l所述的圖像處理裝置，其特征在于 上述輸入信號處理部，當(dāng)上述增益在所規(guī)定值以下的情況下，被禁止進(jìn)行上述信號處理。
10. —種數(shù)碼攝像機(jī)，其特征在于 包括拍攝被攝體，輸出對應(yīng)這個圖像的由多個像素形成的圖像數(shù)據(jù)的攝像部，和對上述攝像部的輸出進(jìn)行像素單位的信號處理的權(quán)利要求1所述的圖 像處理裝置。
11. 根據(jù)權(quán)利要求IO所述的數(shù)碼攝像機(jī)，其特征在于 還包括輸出用所規(guī)定的壓縮格式壓縮上述圖像處理裝置所處理的圖像數(shù)據(jù) 的壓縮數(shù)據(jù)、以及解壓記錄在所規(guī)定的記錄媒體中的上述壓縮數(shù)據(jù)的解壓 數(shù)據(jù)的壓縮轉(zhuǎn)換部，和轉(zhuǎn)換是否向上述圖像處理裝置輸出上述攝像部的輸出及上述解壓數(shù) 據(jù)的任何一個的輸入信號選擇器。
12. 根據(jù)權(quán)利要求IO所述的數(shù)碼攝像機(jī)，其特征在于 上述輸入信號處理部，當(dāng)上述增益在所規(guī)定值以下的情況下，被禁止進(jìn)行上迷信號處理。
13. 根據(jù)權(quán)利要求10所述的數(shù)碼攝像機(jī)，其特征在于 還包括根據(jù)上述增益值設(shè)定上述輸入信號處理部的信號處理的效果量的效果調(diào)整部。
全文摘要
在防止圖像劣化的同時，以像素單位能夠進(jìn)行視覺處理的圖像處理裝置?；跊Q定視覺處理中的像素的注目像素的像素值和上述視覺處理后的像素值的關(guān)系的所規(guī)定的函數(shù)，設(shè)置以像素單位進(jìn)行視覺處理的視覺處理部(120)。還有，為復(fù)原輸入視覺處理部(120)的圖像數(shù)據(jù)的清晰度的信號處理、及校正由于視覺處理的信號劣化的信號處理中的至少一個，設(shè)置像素單位進(jìn)行的輸入信號處理部(150)。并且，這個輸入信號處理部(150)中，對應(yīng)利用上述函數(shù)決定的增益進(jìn)行上述信號處理。
文檔編號H04N5/21GK101394471SQ200810144858
公開日2009年3月25日 申請日期2008年7月31日 優(yōu)先權(quán)日2007年9月13日
發(fā)明者小川真由, 山本靖利, 谷添幸廣 申請人:松下電器產(chǎn)業(yè)株式會社