專利名稱：白平衡控制裝置和白平衡控制方法
技術(shù)領(lǐng)域：
本發(fā)明涉及 一 種白平衡控制裝置和白平衡控制方法，尤其 涉及一種基于圖像的亮度和色差信號(hào)來控制圖像的白平衡的白 平衡控制裝置和白平衡控制方法。
背景技術(shù)：
數(shù)字照相機(jī)和數(shù)字?jǐn)z像機(jī)等使用圖像傳感器的攝像設(shè)備具 有白平衡控制功能以調(diào)整所拍攝的圖像的色調(diào)。白平衡控制是 基于白平衡系數(shù)(校正值)來校正像素值以便將白色被攝體的圖 像拍攝為白色的處理。
白平衡控制包括手動(dòng)白平衡控制和自動(dòng)白平衡控制，在手 動(dòng)白平衡控制中，拍攝希望被拍攝為白色的被攝體的圖像，然 后獲得白平衡系數(shù)，在自動(dòng)白平衡控制中，自動(dòng)檢測所拍攝的 圖像的被假定為白色的部分，然后獲得白平衡系數(shù)。
下面說明傳統(tǒng)的自動(dòng)白平衡控制。
通過A/D轉(zhuǎn)換對(duì)從圖像傳感器輸出的信號(hào)進(jìn)行數(shù)字化，并
如圖2所示，將其分割為多個(gè)塊。
各塊均由R、 G或B彩色像素構(gòu)成，并且例如通過下面的計(jì)
算公式(l)獲得各塊的顏色評(píng)價(jià)值(Cx[i]， Cy[i])。 Cx[i] = (R[i] - B[i])/ Y[i] x 1024 Cy[i] = (R[i] + B[i] - 2G[i])/ Y[i] x 1024 (1) (其中，"i"是塊的編號(hào);R[i]、 G[i]和B[i]是塊"i"中所包含
的RGB像素的平均值；Y[i] = R[i] + 2G[i] + B[i])
當(dāng)預(yù)先設(shè)置的白色檢測區(qū)域包括顏色評(píng)價(jià)值(Cx[i]， Cy[i])
時(shí)，判斷為塊為白色。然后，計(jì)算該塊中所包含的彩色像素的
4積分值SumR、 SumG和SumB，并使用下面的公式(2)計(jì)算白平 衡系數(shù)(WBCo—R、WBCo—G和WBCo—B)。 WBCo—R = S體Y x 1024 / S腿R WBCo—G = S謹(jǐn)Y x 1024 / S腿G (2) WBCo—B = S讓Y x 1024 / S腿B 其中SumY = (SumR + 2 x SumG + SumB) /4 然而，在這種白平衡控制中，存在以下問題。 在陽光下，白色的顏色評(píng)價(jià)值分布在圖3中的區(qū)域A的附 近。在陽光下膚色的顏色評(píng)價(jià)值分布于區(qū)域B即基本上等同于 具有低色溫的光源下的白點(diǎn)的顏色評(píng)價(jià)值的區(qū)域內(nèi)。
因此，在包括較少白色和較多膚色的圖像的情況下，如在 特寫(up-close)肖像中，通過使用前述公式所獲得的顏色評(píng)價(jià)值 落入圖3中的區(qū)域B內(nèi)。結(jié)果，存在如下問題在具有低色溫的 光源下膚色被錯(cuò)誤地判斷為白色，并計(jì)算用于將膚色校正為白 色的白平衡系數(shù)，從而導(dǎo)致將人膚色誤校正為白色。類似地， 在包括接近膚色的更多彩色顏色的圖像中，彩色顏色有時(shí)被錯(cuò) 誤地判斷為白色，從而將膚色錯(cuò)誤地校正為白色。
對(duì)于該問題，當(dāng)拍攝對(duì)象的亮度高時(shí)，判斷為該對(duì)象處于 日光(陽光)下，并且縮小被檢測為白色的區(qū)域(白色檢測區(qū)域) 以便不將膚色錯(cuò)誤地判斷為具有低色溫的光源下的白色。然而， 當(dāng)使用作為室內(nèi)光源的具有高色溫的低照度熒光燈或具有中色 溫的焚光燈時(shí)，膚色分布于黑體輻射線下方(圖3的區(qū)域C)。因 此，為了對(duì)這樣的熒光燈執(zhí)行自動(dòng)白平衡控制，需要擴(kuò)大白色 檢測區(qū)域，且存在將膚色錯(cuò)誤地判斷為白色的情況。
因此，日本特開第2003-189325號(hào)提出在執(zhí)行白平衡控制時(shí) 使用面部檢測技術(shù)以便從白像素的檢測目標(biāo)中排除被檢測為面 部(面部區(qū)i或)的區(qū)i或。然而，在日本特開第2003-189325號(hào)的白平衡控制方法中， 不存在用于處理錯(cuò)誤地檢測到面部區(qū)域的情況或不能檢測到面 部區(qū)域的情況的策略。因此，存在這樣一個(gè)問題在不是人臉 的區(qū)域^皮不正確地;險(xiǎn)測為面部區(qū)域時(shí)，白色4企測的目標(biāo)區(qū)域變 得小于所需區(qū)域，從而導(dǎo)致要獲得的色溫信息的精度降低并進(jìn) 一步降低白平衡控制的精度。
并且，還存在如下問題當(dāng)拍攝人臉的特寫圖像時(shí)，或當(dāng) 如在合影中包括許多面部時(shí)，白色檢測目標(biāo)區(qū)域變得極小，從 而使得白平衡控制的精度降低。

發(fā)明內(nèi)容
針對(duì)傳統(tǒng)技術(shù)的這些問題構(gòu)思了本發(fā)明，本發(fā)明提供一種 實(shí)現(xiàn)高精度的白平衡校正的白平衡控制裝置和控制方法。
根據(jù)本發(fā)明的一方面，提供一種白平衡控制裝置，用于對(duì) 通過攝像所獲得的圖像的白平衡進(jìn)行控制，所述白平衡控制裝 置包括第一計(jì)算部件，用于通過從所述圖像檢測白像素來計(jì) 算第一白平衡校正值；面部檢測部件，用于從所述圖像檢測面 部區(qū)域；判斷部件，用于如果基于所述第一白平衡校正值來對(duì) 所述面部檢測部件所檢測出的面部區(qū)域中的圖像信號(hào)的白平衡 進(jìn)行校正，則判斷所述面部區(qū)域中的校正后的圖像信號(hào)是否落 入表示膚色的第 一顏色信號(hào)區(qū)域周圍的第二顏色信號(hào)區(qū)域中； 第二計(jì)算部件，用于如果所述判斷部件判斷為所述校正后的圖
像信號(hào)落入了所述第二顏色信號(hào)區(qū)域中，則基于所述面部區(qū)域 的所述校正后的圖像信號(hào)與所述第 一 顏色信號(hào)區(qū)域之間的關(guān) 系，計(jì)算用于校正所述圖像的白平衡的第二白平衡校正值；以 及修正部件，用于根據(jù)攝像時(shí)獲得的信息來對(duì)所述第二計(jì)算部 件所計(jì)算出的所述第二白平衡校正值進(jìn)行修正。
6根據(jù)本發(fā)明的另一方面，提供一種白平衡控制方法，用于 對(duì)通過攝像所獲得的圖像的白平衡進(jìn)行控制，所述白平衡控制
方法包括第一計(jì)算步驟，用于通過從所述圖像檢測白像素來 計(jì)算第一白平衡校正值；面部檢測步驟，用于從所述圖像檢測 面部區(qū)域；判斷部件，用于如果基于所述第一白平衡校正值來
白平衡進(jìn)行校正，則判斷所述面部區(qū)域中的校正后的圖像信號(hào) 是否落入表示膚色的第 一顏色信號(hào)區(qū)域周圍的第二顏色信號(hào)區(qū) 域中；第二計(jì)算步驟，用于如果在所述判斷步驟中判斷為所述
校正后的圖像信號(hào)落入了所述第二顏色信號(hào)區(qū)域中，則基于所 述面部區(qū)域中的所述校正后的圖像信號(hào)與所述第 一顏色信號(hào)區(qū) 域之間的關(guān)系，計(jì)算用于校正所述圖像的白平衡的第二白平衡
校正值；以及修正步驟，用于根據(jù)攝像時(shí)獲得的信息來對(duì)在所 述第二計(jì)算步驟中所計(jì)算出的所述第二白平衡校正值進(jìn)行修正。
通過以下參考附圖對(duì)典型實(shí)施例的說明，本發(fā)明的其它特 征將顯而易見。


圖1是示出能夠應(yīng)用根據(jù)本發(fā)明的第 一 實(shí)施例的白平衡控 制裝置的攝像設(shè)備的功能結(jié)構(gòu)的例子的框圖。
圖2是示出在本發(fā)明的實(shí)施例中計(jì)算白平衡校正值時(shí)所執(zhí)
行的圖片分割的例子的圖。
圖3是示出在本發(fā)明的實(shí)施例中的顏色評(píng)價(jià)值的白色檢測 區(qū)域的例子的圖。
圖4是示出由圖l中的面部檢測單元114所執(zhí)行的模式識(shí)別 處理的例子的流程圖。圖5是示出在圖4的S 5 0 3中能夠由面部檢測單元114執(zhí)行的 模板匹配的例子的圖。
圖6和圖7是示出由根據(jù)本發(fā)明的第 一 實(shí)施例的白平衡控制 單元103所執(zhí)行的用于計(jì)算白平衡校正值的操作的流程圖。
圖8是示出根據(jù)本發(fā)明的第 一 實(shí)施例的白平衡控制單元10 3
所參考的膚色區(qū)域的例子的圖。
圖9是示出基于由根據(jù)本發(fā)明的第 一 實(shí)施例的白平衡控制 單元103所計(jì)算出的第二白平衡校正值的校正量的圖。
圖10A 10E是示出基于本發(fā)明的第一實(shí)施例中的第二白平 衡校正值來限制校正量的校正增益的例子的圖。
圖ll是示出由根據(jù)本發(fā)明的第二實(shí)施例的白平衡控制單元 103所執(zhí)行的白平衡校正值的計(jì)算操作的流程圖。
圖12是示出當(dāng)根據(jù)本發(fā)明的第二實(shí)施例的白平衡控制單元 103確定第二白平衡校正值時(shí)的距離計(jì)算的圖。
圖13是示出在根據(jù)本發(fā)明的第二實(shí)施例的白平衡控制單元 103中所包括的距離校正值的對(duì)應(yīng)信息的例子的圖。
圖14是示出在根據(jù)本發(fā)明的第二實(shí)施例的白平衡控制單元 103中所包括的距離校正值的對(duì)應(yīng)信息的另 一例子的圖。
具體實(shí)施例方式
現(xiàn)在將根據(jù)附圖詳細(xì)說明本發(fā)明的優(yōu)選實(shí)施例。 第一實(shí)施例
圖l是示出能夠應(yīng)用根據(jù)本發(fā)明的第一實(shí)施例的白平衡控 制裝置的攝像設(shè)備的功能結(jié)構(gòu)的例子的框圖。
在圖l中，光學(xué)系統(tǒng)116包括光圏、機(jī)械快門、鏡頭等等， 并且根據(jù)控制電路所進(jìn)行的控制在圖像傳感器101上形成拍攝 對(duì)象的光學(xué)圖像。圖像傳感器101是CCD圖像傳感器、CMOS圖像傳感器等固態(tài)圖像傳感器，其包括例如原色的拜耳彩色濾波
器陣列(Bayer color filter array),并且能夠拍攝彩色圖像。在該 實(shí)施例中，圖像傳感器101包括A/D轉(zhuǎn)換器等的預(yù)處理電路，并 且存儲(chǔ)器102存儲(chǔ)所拍攝的圖像的圖像數(shù)據(jù)。
面部檢測單元114對(duì)存儲(chǔ)在存儲(chǔ)器102中的圖像數(shù)據(jù)應(yīng)用已 知的面部檢測技術(shù)，并檢測圖像中所包含的人臉區(qū)域。已知的 面部檢測技術(shù)包括使用神經(jīng)網(wǎng)絡(luò)的基于學(xué)習(xí)(learning-based) 的方法；使用模板匹配以從圖像中搜索具有眼睛、鼻子和嘴等 特征形狀的部位并且當(dāng)相似度高時(shí)判斷為面部的方法。還4是出 了許多其它方法，包括檢測膚色和眼睛的形狀等圖像特征量并 使用統(tǒng)計(jì)分析的方法。通常，通過組合使用這些方法來提高面 部檢測精度。
具體的例子包括日本特開第2002-251380號(hào)中說明的使用 小波變換(wavelet transform)和圖像特征量的面部檢測方法。
以下簡要說明使用模板匹配的模式識(shí)別。模式識(shí)別是使所 觀測的模式與預(yù)先設(shè)置的概念(類)相匹配的處理。
圖4是示出由圖l中的面部檢測單元114所執(zhí)行的模式識(shí)別 處理的例子的流程圖。
首先，面部檢測單元114對(duì)從存儲(chǔ)器102獲得的圖像數(shù)據(jù)進(jìn) 行預(yù)處理(S501)。例如，預(yù)處理包括生成提取圖像特征時(shí)所用 的亮度信息。
然后，面部檢測單元114從經(jīng)過預(yù)處理后的圖像數(shù)據(jù)中提取 具有預(yù)定圖像特征的區(qū)域(模式)(S502)。接著，面部檢測單元114 將所提取的模式與預(yù)先準(zhǔn)備的模板(標(biāo)準(zhǔn)模式)601進(jìn)行比較(模 板匹配)。然后，例如，當(dāng)發(fā)現(xiàn)與模板具有一定程度或更大程度 的相關(guān)性時(shí)，將所提取的模式識(shí)別為與模板相匹配的模式 (S503)。此外，面部片全測單元114輸出指定所識(shí)別出的才莫式的信息(S504),并終止模式識(shí)別處理。
現(xiàn)在，將參考圖5說明能夠在S503中由面部檢測單元114執(zhí)
行的模板匹配的例子。
在圖5中，假定面部檢測單元114已從存儲(chǔ)器102獲得了圖像 數(shù)據(jù)603。
首先，將預(yù)先存儲(chǔ)在面部檢測單元114中的模板601的中心 點(diǎn)602與從存儲(chǔ)器102所獲得的圖像數(shù)據(jù)603的坐標(biāo)點(diǎn)(i, j)相匹 配。然后，計(jì)算模板601和圖像數(shù)據(jù)603中與模板601重疊的區(qū)域 之間的相似度。移動(dòng)模板601的中心點(diǎn)602而對(duì)整個(gè)圖像數(shù)據(jù)603 執(zhí)行這種相似度計(jì)算操作，并搜索相似度最大的中心點(diǎn)602的位 置。當(dāng)檢測到相似度大于或等于預(yù)定閾值的中心點(diǎn)602的位置 時(shí)，可以將與模板601相對(duì)應(yīng)的部分區(qū)域識(shí)別為具有與模板601 相似的一莫式。
因此，例如，通過使用與眼睛和耳朵的形狀相對(duì)應(yīng)的模板 6 01能夠檢測圖像數(shù)據(jù)6 0 3中所包含的眼睛的位置和面部區(qū)域的 位置(面部坐標(biāo))。當(dāng)斗企測到面部區(qū)域時(shí)，面部4企測單元114輸出 關(guān)于面部區(qū)域的位置、大小等的信息作為面部信息。
當(dāng)由面部檢測單元114沖全測到面部區(qū)域時(shí)，CPU U5計(jì)算快 門速度和光圈值以便以恰當(dāng)?shù)钠毓鈦砼臄z面部區(qū)域的圖像。 CPU 115還控制聚焦，其中將面部區(qū)域設(shè)置為焦點(diǎn)檢測區(qū)域， 并計(jì)算要驅(qū)動(dòng)調(diào)焦透鏡的量。
另一方面，當(dāng)面部;險(xiǎn)測單元114未^r測到面部區(qū)i或時(shí)，CPU 115基于整個(gè)圖像的亮度計(jì)算快門速度和光圏值，并且通過使用 預(yù)設(shè)的聚焦區(qū)域來控制聚焦，然后計(jì)算要驅(qū)動(dòng)調(diào)焦透鏡的量。
將CPU 115所計(jì)算出的曝光值(快門速度、光圈值)和要驅(qū)動(dòng) 調(diào)焦透鏡的量發(fā)送至控制電路113?？刂齐娐?13基于這些值來 驅(qū)動(dòng)光學(xué)系統(tǒng)116的光圏、快門以及調(diào)焦透鏡。白平衡(WB)控制單元103基于存儲(chǔ)在存儲(chǔ)器102中的圖像 數(shù)據(jù)和從面部檢測單元114所獲得的面部信息來計(jì)算白平衡 (WB)校正值。然后，WB控制單元103通過使用所計(jì)算出的WB 校正值對(duì)存儲(chǔ)在存儲(chǔ)器102中的圖像數(shù)據(jù)的白平衡進(jìn)行校正。將 在后面說明W B控制單元10 3的詳細(xì)結(jié)構(gòu)和W B 4交正值的計(jì)算方 法。
在顏色矩陣(MTX)電路104中，為了以最佳顏色再現(xiàn)由WB 控制單元103進(jìn)行WB校正后的圖像數(shù)據(jù)，使顏色增益倍增，并 轉(zhuǎn)換為兩個(gè)色差信號(hào)數(shù)據(jù)R-Y和B-Y。低通濾波器(LPF)電路105 限制色差信號(hào)數(shù)據(jù)R-Y和B-Y的頻帶。CSUP(Chroma Suppress, 色度抑制)電路106對(duì)LPF電路105中限制了頻帶的色差信號(hào)數(shù) 據(jù)的飽和部分的偽色信號(hào)進(jìn)行抑制。
同時(shí)，還將WB控制單元103進(jìn)行了白平衡校正的圖像數(shù)據(jù) 提供給亮度信號(hào)(Y)生成電路lll,亮度信號(hào)生成電路lll生成亮 度信號(hào)數(shù)據(jù)Y。邊緣增強(qiáng)電路112對(duì)所生成的亮度信號(hào)數(shù)據(jù)Y應(yīng) 用邊緣增強(qiáng)處理。
由RGB轉(zhuǎn)換電路107將從CSUP電路106輸出的色差信號(hào)數(shù) 據(jù)R - Y和B - Y以及從邊緣增強(qiáng)電路112輸出的亮度信號(hào)數(shù)據(jù)Y轉(zhuǎn) 換為RGB信號(hào)數(shù)據(jù)。伽瑪校正電路108基于預(yù)設(shè)y特性對(duì)RGB信 號(hào)數(shù)據(jù)應(yīng)用色調(diào)校正。在由RGB-YUV轉(zhuǎn)換電路109將伽瑪校正 后的RGB信號(hào)數(shù)據(jù)轉(zhuǎn)換為YUV信號(hào)數(shù)據(jù)后，JPEG壓縮電路110 對(duì)該數(shù)據(jù)進(jìn)行壓縮和編碼，然后由記錄電路117將其作為圖像數(shù) 據(jù)文件存儲(chǔ)在記錄介質(zhì)中。記錄介質(zhì)可以是可移除類型或內(nèi)置 類型。
圖6和圖7是示出由WB控制單元103所執(zhí)行的WB校正值的
計(jì)算操作的流程圖。
圖6示出作為第 一 校正值計(jì)算部件的W B控制單元10 3的操作，圖7示出作為第二校正值計(jì)算部件的WB控制單元103的操作。
首先，WB控制單元103讀出存儲(chǔ)在存儲(chǔ)器102中的一個(gè)圖 片(幀或場)的圖像數(shù)據(jù)，并如圖2所示將其分割為任意數(shù)量的 "m，，(m是大于或等于l的整數(shù))個(gè)塊(S101)。
然后，WB控制單元103通過對(duì)塊中所包含的像素值進(jìn)行平 均來對(duì)各顏色分量計(jì)算顏色平均值(R[i], G[i]， B[i]),并且進(jìn)一 步通過使用公式(l)對(duì)各塊計(jì)算顏色評(píng)價(jià)值(Cx[i], Cy[i]) (S102)。
Cx[i] = (R[i] - B[i])/ Y[i] x 1024
Cy[i] = (R[i] + B[i] - 2G[i])/ Y[i] x 1024
其中Y[i] = R[i] + 2G[i] + B[i]， i = 1…m
然后，WB控制單元103判斷在S102中計(jì)算出的編號(hào)為"i" 的塊的顏色評(píng)價(jià)值(Cx[i]， Cy [i])是否包括在圖3所示的預(yù)設(shè)白 色才企測區(qū)域301中(S103)。
白色檢測區(qū)域301是繪制出的通過在具有不同特性(例如， 色溫)的光源下拍攝白色被攝體的圖像而計(jì)算出的顏色評(píng)價(jià)值。
關(guān)于圖3中的x軸(Cx)，當(dāng)在具有高色溫的光源下拍攝白色 被攝體的圖像時(shí)的顏色評(píng)價(jià)值分布于負(fù)區(qū)域中，而當(dāng)在具有低 色溫的光源下拍攝白色被攝體的圖像時(shí)的顏色評(píng)價(jià)值分布于正 區(qū)域中。Y軸(Cy)表示光源中的綠色(G)分量的程度，G分量在 其負(fù)向上增加。即，當(dāng)光源為熒光燈時(shí)，顏色評(píng)價(jià)值分布在y 軸的負(fù)區(qū)域。
當(dāng)所計(jì)算出的顏色評(píng)價(jià)值(Cx[i]， Cy[i])包括在白色檢測區(qū) 域301中時(shí)(在S103為"是")，WB控制單元103判斷為該塊為白 色。然后，WB控制單元103對(duì)被判斷為白色的塊的顏色平均值 (R[i]， G[i]， B[i])積分(S104)。另一方面，當(dāng)顏色評(píng)價(jià)值(Cx[i],
12Cy[i])不包括在白色#r測區(qū)域301中時(shí)，WB控制單元103^f吏處理 進(jìn)入S105而不對(duì)該塊的顏色平均值積分。
可以通過下面的 ^式(3)來表示在S103和S104中的處理。
SumR = tsw[i]xR[i]
i=l m
SumG = g Sw[i] x G[i] ( 3 )
SumB = fsw[i]xB[i]
i=l
在公式(3)中，當(dāng)顏色評(píng)價(jià)值(Cx[i]， Cy[i])包括在白色檢測 區(qū)域(圖3中的301)中時(shí)，將Sw[i]設(shè)置為l,而當(dāng)不包括在白色檢 測區(qū)域中時(shí)，將Sw[i]設(shè)置為O。以這種方式，只對(duì)顏色評(píng)價(jià)值 (Cx[i]， Cy[i])包括在白色檢測區(qū)域(圖3中的301)中的塊的顏色 平均值(R[i]， G[i]， B[i])積分。
在S105 , WB控制單元103判斷是否對(duì)于所有塊執(zhí)行了 S102 S104的處理。當(dāng)存在未進(jìn)行處理的塊時(shí)，處理返回至 S102,且當(dāng)對(duì)所有塊都進(jìn)4亍了處理時(shí)，處理進(jìn)入S106。
在S106， WB控制單元103使用下面的公式(4)從所獲得的顏 色平均值的積分值(SumR， SumG, SumB)來計(jì)算第一 WB校正值 (WBCol—R, WBCol—G, WBCol一B)。
WBCol—R = S薩Y x 1024 / S腿R
WBCol—G = S腿Y x 1024 / SumG (4) WBCol—B = S腿Y x 1024 / S畫B 其中SumY = (SumR + 2 x SumG + SumB)/ 4 現(xiàn)在，參考圖7，在S202中，WB控制單元103判斷面部檢 測單元114是否^r測到了面部(面部區(qū)域)。當(dāng)未檢測到面部時(shí)， 將已計(jì)算出的第一WB校正值確定為最終的WB校正值(S210), 并終止WB校正值計(jì)算處理。
13另一方面，當(dāng)才企測到面部時(shí)，在S203中，WB控制單元103 獲得與面部區(qū)域相對(duì)應(yīng)的全部塊的顏色平均值(FR， FG, FB)。當(dāng) 不是以塊為單位檢測面部區(qū)域時(shí)，除了完全包括在面部區(qū)域中 的塊以外，還可以包含以預(yù)定比例(例如，50%或更多)包括在面 部區(qū)域中的塊作為與面部區(qū)域相對(duì)應(yīng)的塊。
然后，在S204, WB控制單元103通過將在S203中所獲得的 顏色平均值(FR, FG, FB)分別與第一 WB校正值(WBCo1—R， WBCol—G, WBCo1—B)相乘來獲得膚色平均值。膚色平均值是由
像信號(hào)數(shù)據(jù)。
即，通過下式獲得膚色平均值(SR, SG, SB): SR = FR x WBCol R SG = FG x WBCol—G SB = FB x WBCol—B
然后，WB控制單元103判斷膚色平均值(SR, SG， SB)是否處 于要應(yīng)用膚色校正的區(qū)域(圖8中的區(qū)域(B))中。
在圖8中，膚色區(qū)域(A)對(duì)應(yīng)于第一顏色信號(hào)區(qū)域，膚色校 正目標(biāo)區(qū)域(B)對(duì)應(yīng)于第二顏色信號(hào)區(qū)域，該第二顏色信號(hào)區(qū)域 在膚色區(qū)域(A)周圍并且是與第 一 顏色信號(hào)區(qū)域的差在預(yù)定范 圍內(nèi)的區(qū)域。由于將Cx、 Cy坐標(biāo)系用作圖8中的預(yù)定顏色空間 坐標(biāo)系，因而在將RGB數(shù)據(jù)轉(zhuǎn)換為色差信號(hào)之后進(jìn)行判斷，即， Cx = SR-SB和Cy = SR + SB-2SG。不用說，可通過采用已知顏 色空間轉(zhuǎn)換方法，使用任意顏色空間來進(jìn)行判斷。
例如，可以通過預(yù)先在陽光(日光)等白光下拍攝多個(gè)具有 膚色的圖像并使用統(tǒng)計(jì)方法來設(shè)置圖8所示的膚色區(qū)域(A)和膚 色校正目標(biāo)區(qū)域(B)?？梢灶A(yù)先將指定膚色區(qū)域(A)和膚色校正 目標(biāo)區(qū)域(B)的信息存儲(chǔ)在WB控制單元103中，或可存儲(chǔ)在不同
14的存儲(chǔ)裝置中供WB控制單元103在需要時(shí)參考。
當(dāng)膚色平均值處于圖8的膚色區(qū)域(A)內(nèi)時(shí)，可以判斷為膚 色的白平衡已由第一WB校正值適當(dāng)?shù)剡M(jìn)行了校正，因此WB控 制單元103將第一 WB校正值確定為最終使用的WB校正值 (S210)。
當(dāng)膚色平均值處于非膚色校正目標(biāo)區(qū)域(C)中時(shí)，WB控制 單元103判定膚色平均值并不表示人的皮膚，并將第一WB校正 值確定為最終-使用的WB4交正值(S210)。
另一方面，當(dāng)膚色平均值處于膚色校正目標(biāo)區(qū)域(B)內(nèi)時(shí)， 能夠判定為膚色的白平衡未由第一 WB校正值進(jìn)行適當(dāng)校正。 因此，WB控制單元103計(jì)算對(duì)膚色平均值與膚色區(qū)域(A)之間的 差進(jìn)行校正的第二WB校正值(S205)。
如圖9所示，執(zhí)行計(jì)算以獲得能夠取得從膚色平均值到膚色 區(qū)域(A)的最小移位距離的校正量。即，當(dāng)將膚色平均值的坐標(biāo) 設(shè)置為(Cxl， Cyl),并且將處于膚色區(qū)域中且最靠近膚色平均 值(目標(biāo)點(diǎn))的坐標(biāo)設(shè)置為(Cx2, Cy2)時(shí)，校正量如下
△Cx = Cx2 - Cxl
ACy = Cy2 - Cyl
將這些校正量(ACx， ACy)設(shè)置為第二 WB校正值。 設(shè)置目標(biāo)點(diǎn)的坐標(biāo)使得從膚色平均值到膚色區(qū)域(A)的移 位距離最短，這是因?yàn)?，例如，即使?dāng)由第二WB校正值過度 執(zhí)行校正時(shí)，也執(zhí)行控制以達(dá)到正確膚色區(qū)域內(nèi)的位置。因此， 可以將目標(biāo)點(diǎn)設(shè)置在膚色區(qū)域(A)內(nèi)。
此外，該實(shí)施例中的WB控制單元103優(yōu)選地作為才交正增益 計(jì)算部件來計(jì)算用于降低第二WB校正值的校正增益(S206)。使 用圖10A 10E來i^明4交正增益的例子。當(dāng)4企測面部區(qū)域時(shí)的精 度低時(shí)，即，當(dāng)從面部區(qū)域所獲得的信息的可靠性低時(shí)，為了減少由于應(yīng)用第二WB校正值所導(dǎo)致的過度校正和錯(cuò)誤校正，
計(jì)算校正增益。在該實(shí)施例中，WB控制單元103考慮到面部區(qū) 域信息的可信度(accountability)(例如，可靠性和面部的大小)、 攝像時(shí)拍攝對(duì)象的亮度以及攝影感光度，來計(jì)算校正增益。在 該實(shí)施例中，將所有校正增益的上限值設(shè)置為1。
圖IOA示出基于所獲得的與面部區(qū)域?qū)?yīng)的塊的數(shù)量的增 益(塊數(shù)量增益)。當(dāng)與面部區(qū)域相對(duì)應(yīng)的塊的數(shù)量少(小面部區(qū) 域)時(shí)，由于作為膚色評(píng)價(jià)值的精度可能低，因此將增益設(shè)置為 低。另一方面，當(dāng)塊的數(shù)量多時(shí)，由于作為膚色評(píng)價(jià)值的精度 被認(rèn)為高(高可靠性)，因而將增益設(shè)置為高。
圖IOB示出基于面部區(qū)域亮度值的增益(Y增益)，當(dāng)面部區(qū) 域的亮度值低(例如，面部區(qū)域曝光不足)或者高(例如，面部區(qū) 域過度曝光)時(shí)，由于作為膚色評(píng)價(jià)值可能是不準(zhǔn)確的，因而減 小增益。圖中的正好曝光區(qū)域是從TH—Y 2到TH—Y 3。
圖IOC示出基于面部檢測可靠性的增益(面部可靠性增益)。 當(dāng)基于在面部檢測單元114中的面部檢測處理時(shí)所獲得的模式 匹配的相關(guān)度和面部區(qū)域的大小等的面部檢測可靠性信息判定 為面部可靠性低時(shí)，減小增益。
圖IOD示出基于拍攝對(duì)象亮度值(Bv值)的增益(BV增益)。 當(dāng)拍攝對(duì)象亮度即整個(gè)圖像的亮度高時(shí)，能夠容易地估計(jì)光源， 因此很可能基于第一WB校正值獲得適當(dāng)皮膚區(qū)域。因而可以 認(rèn)為當(dāng)拍攝對(duì)象亮度高時(shí)通過面部檢測進(jìn)行的白平衡校正可能 是不必要的。因此，減小增益，這是由于其在降低發(fā)生錯(cuò)誤面 部檢測的情況下的不利影響方面更為有效。
圖1 OE示出基于攝影感光度(Sv值)的增益(Sv增益)。當(dāng)攝影 感光度高時(shí)，圖像中的噪聲增加，因此很可能發(fā)生錯(cuò)誤的面部 檢測，并且膚色評(píng)價(jià)值的精度降低。因而，在高感光度區(qū)域內(nèi)減小增益。
WB控制單元103通過使用這些增益設(shè)置中的一或多個(gè)來
計(jì)算最終的校正增益(S206)。
然后，WB控制單元103使用第二WB校正值與校正增益的 乘積作為最后的月夫色目標(biāo)點(diǎn)來計(jì)算WB才交正值(Gainx ACx， GainxACy)以獲得面部區(qū)域膚色平均值(Cx'，Cy')(S207)。
Cx' = Gain xACx + Cxl
Cy' = Gain xACy + Cyl
以此方式，將由校正增益校正后的第二WB校正值與第一 WB校正值的和確定為WB控制單元103中最終4吏用的WB校正 值(S208)。當(dāng)不計(jì)算校正增益時(shí)，可以將(未校正的)第二WB校 正值與第一WB校正值的和確定為WB控制單元103中最終使用 的WB才交正值。
然后，WB控制單元103通過使用這樣確定的WB校正值來 執(zhí)行白平衡控制。
如上所述，根據(jù)該實(shí)施例，首先，將使用關(guān)于整個(gè)圖像的 信息的第一WB校正值應(yīng)用于所檢測出的面部區(qū)域的顏色平均 值，當(dāng)校正結(jié)果正確時(shí)，使用第一WB校正值。即，通過使用 面部檢測的結(jié)果，來評(píng)價(jià)使用關(guān)于整個(gè)圖像的信息的第一WB 校正值的精度，當(dāng)判斷為精度足夠時(shí)，使用第一WB校正值。
因此，因?yàn)橹灰慌懦娌繀^(qū)域所計(jì)算出的白平衡是適當(dāng) 的，則可以使用所計(jì)算出的白平衡，因而能夠?qū)崿F(xiàn)比排除面部 區(qū)域的情況下更準(zhǔn)確的白平衡控制。此外，由于能夠使用面部 區(qū)域的檢測結(jié)果，因此，能夠更適當(dāng)?shù)卦u(píng)價(jià)第一WB校正值的 精度。
此外，根據(jù)該實(shí)施例，當(dāng)使用第一WB校正值不能執(zhí)行校 正時(shí)，計(jì)算用于減小差的第二WB校正值，并且只要與適當(dāng)?shù)男ＵY(jié)果的差在特定區(qū)域內(nèi)，就使用第一WB校正值和第二WB 校正值。
因此，能夠?qū)崿F(xiàn)比僅使用基于關(guān)于整個(gè)圖像的信息所計(jì)算 出的WB校正值的情況下更準(zhǔn)確的白平衡控制。
此外，根據(jù)該實(shí)施例，由于基于從面部區(qū)域所獲得的信息 的可靠性來修正第二 WB校正值的大小，因而能夠減少由于面 部區(qū)域的錯(cuò)誤檢領(lǐng)'J所導(dǎo)致的過度校正和錯(cuò)誤校正。
此外，根據(jù)該實(shí)施例，當(dāng)由第一WB校正值進(jìn)行校正后的 校正結(jié)果與適當(dāng)?shù)男ＵY(jié)果之間的差不在特定區(qū)域內(nèi)時(shí)，認(rèn)為 面部區(qū)域的檢測精度(可靠性)低，并且使用第一WB校正值。因 此，在這種情況下也能夠減少由于面部區(qū)域的錯(cuò)誤檢測所導(dǎo)致 的過度校正和錯(cuò)誤校正。
另外，由于在未進(jìn)行面部4企測時(shí)也4吏用第一WB才交正值， 因而可以沖丸行白平tf控制。
第二實(shí)施例
在第一實(shí)施例中，基于向面部區(qū)域應(yīng)用第一WB4交正值的 結(jié)果來獲得膚色評(píng)價(jià)值(膚色平均值)，并且在顏色評(píng)價(jià)值和膚 色區(qū)域之間的差在特定區(qū)域內(nèi)時(shí)計(jì)算第二WB校正值。
相反，在該實(shí)施例中，基于在特定顏色空間坐標(biāo)系中的膚 色平均值的坐標(biāo)與膚色區(qū)域內(nèi)的預(yù)定坐標(biāo)之間的距離，即相對(duì) 于與作為膚色最好的顏色相對(duì)應(yīng)的中心坐標(biāo)的距離，計(jì)算第二 WB校正值。
能夠應(yīng)用根據(jù)該實(shí)施例的白平衡控制裝置的攝像設(shè)備的功 能結(jié)構(gòu)可以與第一實(shí)施例的功能結(jié)構(gòu)相同，因而省略對(duì)各功能 塊的詳細(xì)i兌明。
圖ll是示出由根據(jù)該實(shí)施例的攝像設(shè)備的WB控制單元103 所執(zhí)行的WB校正值計(jì)算處理的流程圖。在圖11中，與圖7中的處理相同的處理具有相同的附圖標(biāo)記。
在S301, WB控制單元103執(zhí)行與圖6的S101 S106中的處理 相同的處理，并計(jì)算第一WB校正值。
在S202, WB控制單元103判斷面部檢測單元114是否檢測 到了面部(面部區(qū)域)。當(dāng)未檢測到面部時(shí)，將已計(jì)算出的第一 WB校正值確定為最終的WB才交正值(S210),并且終止WB校正值 計(jì)算處理。
另一方面，當(dāng)4企測到面部時(shí)，WB控制單元103在S203獲得 與面部區(qū)域相對(duì)應(yīng)的全部塊的顏色平均^i(FR， FG, FB)。
然后，在S304， WB控制單元103通過將在S203中所獲得的 顏色平均值(FR, FG, FB)分別與第一 WB校正值(WBCol_R， WBCol—G, WBCol—B)相乘來獲得膚色平均值(Cxl, Cyl)。膚色 平均值是由第一 WB校正值校正后的面部區(qū)域的顏色平均值， 即，校正圖像信號(hào)數(shù)據(jù)。
然后，WB控制單元103計(jì)算預(yù)定膚色中心值的坐標(biāo)與膚色 平均值的坐標(biāo)(Cxl ， Cy 1 )之間的距離。
圖12是示出當(dāng)根據(jù)本發(fā)明的第二實(shí)施例的WB控制單元 103確定第二WB校正值時(shí)的距離計(jì)算的圖。在圖12中，膚色區(qū) 域的中心坐標(biāo)(Cx2, Cy2)即校正目標(biāo)點(diǎn)與膚色平均值(Cxl， Cyl) 之間的距離由Cx分量(DisCx)和Cy分量(DisCy)來表示。
在S305, WB控制單元103基于在S304中所獲得的距離 DisCx和DisCy以及預(yù)先準(zhǔn)備的距離校正值的對(duì)應(yīng)信息來獲得 校正值。
圖13是示出WB控制單元103中所包括的距離校正值的對(duì) 應(yīng)信息的例子的圖。
這里，以二維曲線示出Cx分量的距離DisCx與Cx分量的校正值A(chǔ)Cx之間的對(duì)應(yīng)關(guān)系。實(shí)際上，可以存儲(chǔ)表示這些相關(guān)性 的函數(shù)式，或可以將距離與校正值之間的代表性對(duì)應(yīng)關(guān)系存儲(chǔ) 為圖14所示的查詢表，并且可以通過插值獲得其它值。
同樣，也可通過使用Cx分量的距離DisCx與Cx分量的校正 值A(chǔ)Cx之間的對(duì)應(yīng)信息來獲得Cy分量。
然后，在S306中，WB控制單元103將第一和第二WB校正 值的和確定為最終的W B 一交正值。
如同第 一 實(shí)施例 一樣，可以在S305與S306之間執(zhí)行校正增 益的計(jì)算以及由校正增益進(jìn)行的第二 WB校正值的校正。
根據(jù)該實(shí)施例，通過比第 一 實(shí)施例的方法更簡單的方法能 夠?qū)崿F(xiàn)與第 一 實(shí)施例的效果類似的效果。
其它實(shí)施例
盡管在前述實(shí)施例中說明了應(yīng)用白平衡控制裝置的攝像設(shè) 備，但是不僅可以將根據(jù)本發(fā)明的白平衡控制裝置應(yīng)用于攝像 設(shè)備，而且也可以將其應(yīng)用于其它任何圖像處理設(shè)備，只要那 些設(shè)備能夠獲得面部檢測信息和圖像數(shù)據(jù)即可。
此外，前述實(shí)施例也能夠由系統(tǒng)或裝置的計(jì)算機(jī)(或CPU、 MPU等)利用軟件來實(shí)現(xiàn)。
因此，安裝在計(jì)算機(jī)中的用于實(shí)施前述實(shí)施例的計(jì)算機(jī)程 序本身實(shí)現(xiàn)了本發(fā)明。即，本發(fā)明的范圍包括用于實(shí)現(xiàn)前述實(shí)
施例的功能的計(jì)算機(jī)程序本身。
應(yīng)當(dāng)注意，用于實(shí)現(xiàn)前述實(shí)施例的計(jì)算才幾程序可以是任何 計(jì)算機(jī)能夠讀取的形式。例如，該程序可以被配置為使用目標(biāo) 代碼、由解釋器執(zhí)行的程序，使用提供給OS的腳本數(shù)據(jù)等，然 而并不限于此。
通過存儲(chǔ)介質(zhì)或硬接線/無線通信向計(jì)算機(jī)提供用于實(shí)現(xiàn) 前述實(shí)施例的計(jì)算機(jī)程序。能夠用于提供該程序的存儲(chǔ)介質(zhì)的例子是軟盤、硬盤、磁帶等磁性存儲(chǔ)介質(zhì)、MO、 CD和DVD等 光學(xué)/磁光存儲(chǔ)介質(zhì)、非易失性半導(dǎo)體存儲(chǔ)器等。
可以將利用計(jì)算機(jī)網(wǎng)絡(luò)上的服務(wù)器的方法作為使用硬接線 /無線通信來提供計(jì)算機(jī)程序的方法的例子。在這種情況下，將 實(shí)施實(shí)現(xiàn)本發(fā)明的計(jì)算機(jī)程序的數(shù)據(jù)文件(程序文件)存儲(chǔ)在服 務(wù)器中。該程序文件可以是可執(zhí)行的文件，或者可以是源代碼。
能夠通過從服務(wù)器下載該程序文件來將該程序提供給訪問 服務(wù)器的客戶端計(jì)算機(jī)。在這種情況下，可將該程序文件分割 為多個(gè)分段文件，并可以將分段文件分布在不同的服務(wù)器中。
換言之，向客戶端計(jì)算機(jī)提供用于實(shí)現(xiàn)前述實(shí)施例的程序 文件的服務(wù)器裝置也落入本發(fā)明的范圍內(nèi)。
此外，可以對(duì)用于實(shí)現(xiàn)前述實(shí)施例的計(jì)算4幾程序加密并存 儲(chǔ)在存儲(chǔ)介質(zhì)中，然后分發(fā)該存儲(chǔ)介質(zhì)；可以向滿足預(yù)定條件 的用戶提供用于解密該文件的密鑰信息，從而允許這些用戶將 該程序安裝到他們的計(jì)算機(jī)中。例如，可以通過允許經(jīng)由互聯(lián) 網(wǎng)從主頁下載密鑰信息來提供密鑰信息。
此外，用于實(shí)現(xiàn)前述實(shí)施例的計(jì)算機(jī)程序可以使用已運(yùn)行 在計(jì)算機(jī)上的OS的功能。
另外，用于實(shí)現(xiàn)前述實(shí)施例的計(jì)算^/L程序可部分地由安裝 到計(jì)算機(jī)上的擴(kuò)展板等的固件來配置，或可以由設(shè)置在該擴(kuò)展 板等中的CPU來執(zhí)行。
盡管參考典型實(shí)施例說明了本發(fā)明，但應(yīng)當(dāng)理解本發(fā)明并 不限于所公開的典型實(shí)施例。所附權(quán)利要求書的范圍符合最寬 的解釋以包含所有這類修正、等同結(jié)構(gòu)和功能。
權(quán)利要求
1. 一種白平衡控制裝置，用于對(duì)通過攝像所獲得的圖像的白平衡進(jìn)行控制，所述白平衡控制裝置包括第一計(jì)算部件，用于通過從所述圖像檢測白像素來計(jì)算第一白平衡校正值；面部檢測部件，用于從所述圖像檢測面部區(qū)域；判斷部件，用于如果基于所述第一白平衡校正值來對(duì)所述面部檢測部件所檢測出的面部區(qū)域中的圖像信號(hào)的白平衡進(jìn)行校正，則判斷所述面部區(qū)域中的校正后的圖像信號(hào)是否落入表示膚色的第一顏色信號(hào)區(qū)域周圍的第二顏色信號(hào)區(qū)域中；第二計(jì)算部件，用于如果所述判斷部件判斷為所述校正后的圖像信號(hào)落入了所述第二顏色信號(hào)區(qū)域中，則基于所述面部區(qū)域的所述校正后的圖像信號(hào)與所述第一顏色信號(hào)區(qū)域之間的關(guān)系，計(jì)算用于校正所述圖像的白平衡的第二白平衡校正值；以及修正部件，用于根據(jù)攝像時(shí)獲得的信息來對(duì)所述第二計(jì)算部件所計(jì)算出的所述第二白平衡校正值進(jìn)行修正。
2. 根據(jù)權(quán)利要求1所述的白平衡控制裝置，其特征在于， 還包括用于對(duì)所述圖像執(zhí)行白平衡校正的白平衡校正部件，其中，如果所述判斷部件判斷為所述校正后的圖像信號(hào)落 入了所述第二顏色信號(hào)區(qū)域中，則所述白平衡校正部件使用修 正后的第二白平衡校正值來對(duì)所述圖像執(zhí)行白平衡校正，如果 所述判斷部件判斷為所述校正后的圖像信號(hào)未落入所述第二顏 色信號(hào)區(qū)域中，則所述白平衡校正部件使用所述第一白平衡校 正值來對(duì)所述圖像執(zhí)行白平衡校正。
3. 根據(jù)權(quán)利要求1所述的白平衡控制裝置，其特征在于， 所述攝像時(shí)獲得的信息包括所述面部區(qū)域的大小、所述面部區(qū) 域的亮度值、所述面部區(qū)域的檢測精度、拍攝對(duì)象的亮度值以 及攝影感光度中的至少一個(gè)。
4. 根據(jù)權(quán)利要求1所述的白平衡控制裝置，其特征在于， 所述第二計(jì)算部件對(duì)所述面部區(qū)域中的所述圖像信號(hào)進(jìn)行校 正，從而使得校正后的圖像信號(hào)落入所述第一顏色信號(hào)區(qū)域中。
5. 根據(jù)權(quán)利要求1所述的白平衡控制裝置，其特征在于， 所述第二計(jì)算部件基于所述面部區(qū)域中的校正后的圖像信號(hào)與所述第 一 顏色信號(hào)區(qū)域中的 一 個(gè)點(diǎn)之間的關(guān)系來計(jì)算用于校正 所述圖像的白平衡的所述第二白平衡校正值。
6. 根據(jù)權(quán)利要求1所述的白平衡控制裝置，其特征在于，所述第一計(jì)算部件以預(yù)定塊單位檢測所述圖像的白像素，并且 所述判斷部件對(duì)所述面部區(qū)域的所述圖像信號(hào)的所述預(yù)定塊單 位執(zhí)行所述判斷。
7. —種白平衡控制方法，用于對(duì)通過攝像所獲得的圖像的 白平衡進(jìn)行控制，所述白平衡控制方法包括第一計(jì)算步驟，用于通過從所述圖像檢測白像素來計(jì)算第 一白平衡校正值；面部;險(xiǎn)測步驟，用于從所述圖像;險(xiǎn)測面部區(qū)域；判斷部件，用于如果基于所述第一白平衡校正值來對(duì)在所 述面部檢測步驟中所檢測出的面部區(qū)域中的圖像信號(hào)的白平衡 進(jìn)行校正，則判斷所述面部區(qū)域中的校正后的圖像信號(hào)是否落 入表示膚色的第 一顏色信號(hào)區(qū)域周圍的第二顏色信號(hào)區(qū)域中；第二計(jì)算步驟，用于如果在所述判斷步驟中判斷為所述校正后的圖像信號(hào)落入了所述第二顏色信號(hào)區(qū)域中，則基于所述 面部區(qū)域中的所述校正后的圖像信號(hào)與所述第 一顏色信號(hào)區(qū)域 之間的關(guān)系，計(jì)算用于校正所述圖像的白平衡的第二白平衡校 正^i;以及修正步驟，用于根據(jù)攝像時(shí)獲得的信息來對(duì)在所述第二計(jì) 算步驟中所計(jì)算出的所述第二白平衡校正值進(jìn)行修正。
全文摘要
本發(fā)明涉及一種白平衡控制裝置和白平衡控制方法。通過從圖像檢測白像素來計(jì)算第一白平衡校正值。如果基于第一白平衡校正值來對(duì)面部區(qū)域中的圖像信號(hào)的白平衡進(jìn)行校正，則判斷面部區(qū)域中的校正后的圖像信號(hào)是否落入了表示膚色的第一顏色信號(hào)區(qū)域周圍的第二顏色信號(hào)區(qū)域中。當(dāng)判斷為面部區(qū)域的校正后的圖像信號(hào)落入了第二顏色信號(hào)區(qū)域中時(shí)，基于面部區(qū)域的校正后的圖像信號(hào)與第一顏色信號(hào)區(qū)域之間的關(guān)系來計(jì)算用于校正圖像信號(hào)的第二白平衡校正值。基于攝像時(shí)獲得的信息來修正所計(jì)算出的第二白平衡校正值。
文檔編號(hào)H04N9/73GK101472188SQ20081018947
公開日2009年7月1日 申請日期2008年12月29日 優(yōu)先權(quán)日2007年12月27日
發(fā)明者高山將浩 申請人:佳能株式會(huì)社