圖像處理裝置及圖像處理方法
【專利摘要】本發(fā)明提供一種圖像處理裝置及圖像處理方法。白平衡控制電路基于閃光燈單元發(fā)光時(shí)拍攝的圖像數(shù)據(jù)計(jì)算第一白平衡校正值，并基于所述閃光燈單元不發(fā)光時(shí)拍攝的圖像數(shù)據(jù)計(jì)算第二白平衡校正值。所述白平衡控制電路獲取與所述閃光燈單元發(fā)光時(shí)拍攝的圖像數(shù)據(jù)相對(duì)應(yīng)的圖像拍攝條件或者從所述閃光燈單元發(fā)光時(shí)拍攝的圖像數(shù)據(jù)的顏色信息中獲得的場(chǎng)景信息。所述白平衡控制電路基于所述圖像拍攝條件或者所述場(chǎng)景信息，對(duì)所述第一白平衡校正值和所述第二白平衡校正值中的至少一個(gè)進(jìn)行校正。
【專利說(shuō)明】圖像處理裝置及圖像處理方法【技術(shù)領(lǐng)域】
[0001]本公開(kāi)一般性地涉及圖像處理，更具體地涉及應(yīng)用于圖像數(shù)據(jù)的白平衡控制技術(shù)。
【背景技術(shù)】
[0002] 諸如數(shù)字照相機(jī)和數(shù)字?jǐn)z像機(jī)的使用圖像傳感器的攝像裝置具有稱為白平衡控制功能的功能。該功能用于調(diào)整拍攝的圖像數(shù)據(jù)的色調(diào)。存在包括手動(dòng)白平衡控制和自動(dòng)白平衡控制的兩種白平衡控制。根據(jù)手動(dòng)白平衡控制，首先，拍攝白色被攝體的圖像。接著，基于圖像計(jì)算白平衡系數(shù)，并將計(jì)算獲得的白平衡系數(shù)應(yīng)用到整個(gè)畫(huà)面。根據(jù)自動(dòng)白平衡控制，從拍攝的圖像數(shù)據(jù)自動(dòng)檢測(cè)認(rèn)為是白色的部分。接著，基于各顏色的顏色分量的平均值來(lái)計(jì)算白平衡系數(shù)，并將獲得的白平衡系數(shù)應(yīng)用到整個(gè)畫(huà)面。
[0003]根據(jù)傳統(tǒng)的自動(dòng)白平衡控制，如果閃光燈單元在存在除閃光燈單元以外的光源的場(chǎng)景下閃光，則將如上所述計(jì)算出的白平衡系數(shù)應(yīng)用到整個(gè)畫(huà)面。因此，考慮到各光源的色調(diào)，難以進(jìn)行白平衡控制。例如，在環(huán)境光包括來(lái)自諸如白熾燈光源的低色溫度光源的光的情況下，如果白平衡被調(diào)整適合閃光燈光，則無(wú)法獲得與低色溫度光源匹配的白平衡。這是因?yàn)殚W光燈單元是高色溫度光源。另一方面，如果白平衡被調(diào)整適合低色溫度光源，則無(wú)法獲得與閃光燈光匹配的白平衡。此外，如果進(jìn)行白平衡控制使得白平衡被調(diào)整適合低溫光源和高溫光源的中間，則由于白平衡與兩種光源都不對(duì)應(yīng)，因此由閃光燈光照射的區(qū)域的色調(diào)發(fā)藍(lán)，而由低色溫度光源照射的區(qū)域發(fā)紅。
[0004]針對(duì)這種情況，日本專利第3540485號(hào)公報(bào)討論了用于控制白平衡的技術(shù)。根據(jù)該技術(shù)，針對(duì)各任意被攝體區(qū)域?qū)⒃陂W光燈單元發(fā)光時(shí)拍攝的圖像數(shù)據(jù)與閃光燈單元不發(fā)光時(shí)拍攝的圖像數(shù)據(jù)進(jìn)行比較，并獲得數(shù)據(jù)的比。此外，根據(jù)比的值來(lái)確定閃光燈光的貢獻(xiàn)率。接著，使用根據(jù)所確定的貢獻(xiàn)率針對(duì)各被攝體區(qū)域選擇的白平衡控制值，來(lái)進(jìn)行白平衡控制。
[0005]然而，根據(jù)日本專利第3540485號(hào)公報(bào)討論的技術(shù)，由于在針對(duì)各區(qū)域選擇白平衡控制值之后，進(jìn)行顯影處理，因此，諸如顏色再現(xiàn)控制的控制可能無(wú)法與白平衡控制值適當(dāng)?shù)仄ヅ洹?br> [0006]此外，在使用日本專利第3540485號(hào)公報(bào)討論的技術(shù)的情況下，在閃光燈單元發(fā)光時(shí)拍攝的圖像數(shù)據(jù)與閃光燈單元不發(fā)光時(shí)拍攝的圖像數(shù)據(jù)之間存在時(shí)滯。因此，當(dāng)被攝體移動(dòng)或者攝像裝置自身移動(dòng)時(shí)，可能發(fā)生關(guān)于閃光燈照射范圍或者閃光燈光量的檢測(cè)錯(cuò)誤。因此，在物體的邊界部分可能發(fā)生色調(diào)偏差。特別地，當(dāng)以高倍率變焦拍攝圖像時(shí)，由于即使攝像裝置的輕微運(yùn)動(dòng)也會(huì)造成閃光燈照射范圍或者閃光燈光量的檢測(cè)錯(cuò)誤，因此更有可能發(fā)生色調(diào)的偏差。

【發(fā)明內(nèi)容】

[0007]本公開(kāi)旨在提供一種圖像處理裝置，其能夠減輕物體的邊界部分的色調(diào)的偏差，并向用戶提供期望的圖像。
[0008]根據(jù)本公開(kāi)的方面，提供了一種圖像處理裝置，該圖像處理裝置包括:校正值計(jì)算單元，其被配置為基于閃光燈單元發(fā)光時(shí)拍攝的圖像數(shù)據(jù)計(jì)算第一白平衡校正值，并基于所述閃光燈單元不發(fā)光時(shí)拍攝的圖像數(shù)據(jù)計(jì)算第二白平衡校正值；獲取單元，其被配置為獲取與所述閃光燈單元發(fā)光時(shí)拍攝的圖像數(shù)據(jù)相對(duì)應(yīng)的圖像拍攝條件或者從所述閃光燈單元發(fā)光時(shí)拍攝的圖像數(shù)據(jù)的顏色信息中獲得的場(chǎng)景信息；校正單元，其被配置為基于所述圖像拍攝條件或者所述場(chǎng)景信息，對(duì)所述第一白平衡校正值和所述第二白平衡校正值中的至少一個(gè)進(jìn)行校正；生成單元，其被配置為基于從所述校正單元輸出的所述第一白平衡校正值，由所述閃光燈單元發(fā)光時(shí)拍攝的圖像數(shù)據(jù)生成第一圖像數(shù)據(jù)，并基于從所述校正單元輸出的所述第二白平衡校正值，由所述閃光燈單元不發(fā)光時(shí)拍攝的圖像數(shù)據(jù)生成第二圖像數(shù)據(jù)；分量計(jì)算單元，其被配置為基于所述閃光燈單元不發(fā)光時(shí)拍攝的圖像數(shù)據(jù)的亮度值與所述閃光燈單元發(fā)光時(shí)拍攝的圖像數(shù)據(jù)的亮度值，來(lái)計(jì)算外部光的亮度分量與來(lái)自所述閃光燈單元的光的亮度分量；以及合成單元，其被配置為基于所述第一圖像數(shù)據(jù)的亮度分量與所述第二圖像數(shù)據(jù)的亮度分量之間的差分，合成所述第一圖像數(shù)據(jù)和所述第二圖像數(shù)據(jù)。
[0009]通過(guò)以下參照附圖對(duì)示例性實(shí)施例的描述，本公開(kāi)的其他特征將變得清楚。
【專利附圖】

【附圖說(shuō)明】
[0010]圖1示出了根據(jù)本公開(kāi)的第一示例性實(shí)施例的攝像裝置的配置。
[0011]圖2是示出白平衡(WB)校正值的計(jì)算處理的流程圖。
[0012]圖3A和圖3B示出了白色檢測(cè)區(qū)域。
[0013]圖4示出了按照時(shí)間順序的拍攝控制。
[0014]圖5示出了靜態(tài)圖像拍攝模式下的WB校正值與電子取景器(EVF)拍攝模式下的WB校正值。
[0015]圖6是示出考慮環(huán)境氣氛的色調(diào)來(lái)計(jì)算第二 WB校正值的方法的圖。
[0016]圖7是示出根據(jù)第一示例性實(shí)施例的圖像數(shù)據(jù)的合成處理的流程圖。
[0017]圖8示出了焦距與合成調(diào)整率之間的關(guān)系。
[0018]圖9示出了與色溫度差分和運(yùn)動(dòng)量相對(duì)應(yīng)的合成調(diào)整率。
[0019]圖10示出了用于計(jì)算照射率的被攝體區(qū)域的剪切。
[0020]圖11是示出根據(jù)本公開(kāi)的第二示例性實(shí)施例的圖像數(shù)據(jù)的合成處理的流程圖。
[0021]圖12示出了與飽和度和對(duì)比度相對(duì)應(yīng)的合成調(diào)整率。
【具體實(shí)施方式】
[0022]以下將參照附圖詳細(xì)描述本公開(kāi)的各種示例性實(shí)施例、特征和方面。
[0023]圖1示出了根據(jù)本公開(kāi)的第一示例性實(shí)施例的攝像裝置的配置。根據(jù)本實(shí)施例的攝像裝置是根據(jù)本公開(kāi)的圖像處理裝置的應(yīng)用例。在圖1中，固態(tài)圖像傳感器101包括電荷耦合器件(CXD)傳感器或者互補(bǔ)金屬氧化物半導(dǎo)體(CMOS)傳感器。固態(tài)圖像傳感器101的表面被例如諸如拜耳(Bayer)濾鏡的紅色、綠色、藍(lán)色(RGB)濾色鏡覆蓋，從而能夠進(jìn)行彩色拍攝。[0024]中央處理單元(CPU) 114計(jì)算用于使整個(gè)圖像變亮的快門(mén)速度和光圈值。CPU114還計(jì)算聚焦鏡頭的驅(qū)動(dòng)量，使得聚焦區(qū)域中的被攝體對(duì)焦。由CPU114計(jì)算出的曝光值(快門(mén)速度或者光圈值)和聚焦鏡頭的驅(qū)動(dòng)量被輸出至控制電路113，從而根據(jù)各值控制各個(gè)相應(yīng)部件。白平衡(WB)控制電路103基于存儲(chǔ)在存儲(chǔ)器102中的圖像數(shù)據(jù)來(lái)計(jì)算WB校正值，并通過(guò)使用計(jì)算出的WB校正值，對(duì)存儲(chǔ)在存儲(chǔ)器102中的圖像數(shù)據(jù)進(jìn)行WB校正。以下將描述由WB控制電路103進(jìn)行的WB校正值的計(jì)算方法的詳情。如本文使用的，術(shù)語(yǔ)“單元”通常指用于實(shí)現(xiàn)目的的軟件、固件、硬件或其他部件的任意組合。
[0025]顏色轉(zhuǎn)換矩陣電路104對(duì)經(jīng)歷WB控制電路103的WB控制的圖像數(shù)據(jù)的顏色增益進(jìn)行調(diào)整，以使用最佳顏色來(lái)再現(xiàn)圖像數(shù)據(jù)，并且將數(shù)據(jù)轉(zhuǎn)換為色差信號(hào)R-Y和B-Y。低通濾波器(LPF)電路105限定色差信號(hào)R-Y和B-Y的頻帶。色度抑制(CSUP)電路106抑制具有LPF電路105限定的頻帶的圖像數(shù)據(jù)中的飽和部分的偽色信號(hào)。具有WB控制電路103校正的白平衡的圖像數(shù)據(jù)也被輸出到生成亮度信號(hào)Y的亮度信號(hào)(Y)生成電路111。邊緣增強(qiáng)電路112對(duì)生成的亮度信號(hào)Y進(jìn)行邊緣增強(qiáng)處理。
[0026]RGB轉(zhuǎn)換電路107將從CSUP電路106輸出的色差信號(hào)R-Y和B-Y以及從邊緣增強(qiáng)電路112輸出的亮度信號(hào)Y轉(zhuǎn)換為RGB信號(hào)。伽馬(Y )校正電路108對(duì)RGB信號(hào)進(jìn)行灰度校正。顏色亮度轉(zhuǎn)換電路109將校正了灰度的RGB信號(hào)轉(zhuǎn)換為YUV信號(hào)。聯(lián)合圖像專家組(JPEG)壓縮電路110壓縮YUV信號(hào)。從JPEG壓縮電路110輸出的信號(hào)被作為圖像數(shù)據(jù)記錄在外部記錄介質(zhì)或者內(nèi)部記錄介質(zhì)上。
[0027]接下來(lái)，詳細(xì)描述由WB控制電路103進(jìn)行的計(jì)算WB校對(duì)值的方法。首先，參照?qǐng)D2所示的流程圖，描述當(dāng)進(jìn)行主曝光時(shí)(在閃光燈單元發(fā)光時(shí))用來(lái)校正白平衡的第一 WB校正值(第一白平衡校正值)的計(jì)算方法?；陂W光燈單元發(fā)光時(shí)拍攝的圖像數(shù)據(jù)(以下稱為使用閃光燈拍攝的圖像數(shù)據(jù))來(lái)計(jì)算第一 WB校正值。圖2所示的處理是由計(jì)算單元進(jìn)行的處理的示例。
[0028]在步驟S201中，WB控制電路103讀出存儲(chǔ)在存儲(chǔ)器102中的、使用閃光燈單元的閃光拍攝的圖像數(shù)據(jù)，并將圖像數(shù)據(jù)劃分為預(yù)定的m個(gè)塊。在步驟S202中，WB控制電路103對(duì)塊(I至m)的各顏色的像素值進(jìn)行相加并求平均值，并計(jì)算平均顏色值(R[i]，G[i]，B[i])。此外，冊(cè)控制電路103根據(jù)以下公式計(jì)算顏色評(píng)價(jià)值(&[丨]，07山)。
[0029]Cx[i]= (R[i]-B[i])/Y[i] X1024
[0030]Cy[i]= (R[i]+B[i]-2G[i] ) /Y[i] X 1024
[0031]其中，Y[i]=(R[i]+2G[i]+B[i])/4
[0032]WB控制電路103使用具有圖3A所示的坐標(biāo)軸的圖來(lái)進(jìn)行白色檢測(cè)。x坐標(biāo)(Cx)的負(fù)方向表示當(dāng)拍攝高色溫度被攝體的白色時(shí)的顏色評(píng)價(jià)值，而正方向表示當(dāng)拍攝低色溫度被攝體的白色時(shí)的顏色評(píng)價(jià)值。此外，y坐標(biāo)(Cy)表示光源的綠色分量的程度。綠色分量朝I坐標(biāo)的負(fù)方向變大。如果綠色分量大，則表示光為熒光。
[0033]在步驟S203中，WB控制電路103確定在步驟S202中計(jì)算出的第i塊的顏色評(píng)價(jià)值(Cx[i]，Cy[i])是否在預(yù)先確定的白色檢測(cè)范圍301內(nèi)(參見(jiàn)圖3A)。由于閃光燈單元是已知光源，因此白色檢測(cè)范圍301的檢測(cè)范圍被限制。如果第i塊的顏色評(píng)價(jià)值(Cx [i]，Cy [i])在白色檢測(cè)范圍301內(nèi)(步驟S203中“是”)，則處理進(jìn)入步驟S204。另一方面，如果第i塊的顏色評(píng)價(jià)值(Cx [i]，Cy [i])不在白色檢測(cè)范圍301內(nèi)(步驟S203中“否”)，則處理跳過(guò)步驟S204并進(jìn)入步驟S205。
[0034]在步驟S204中，WB控制電路103確定第i塊是否是白色，并對(duì)塊的顏色平均值(R[i]，G[i]，B[i])進(jìn)行積分。步驟S203和步驟S204中的處理可以由以下公式表示:
【權(quán)利要求】
1.一種圖像處理裝置，該圖像處理裝置包括: 計(jì)算單元，其被配置為基于閃光燈單元發(fā)光時(shí)拍攝的圖像數(shù)據(jù)計(jì)算第一白平衡校正值，并基于所述閃光燈單元不發(fā)光時(shí)拍攝的圖像數(shù)據(jù)計(jì)算第二白平衡校正值； 獲取單元，其被配置為獲取與所述閃光燈單元發(fā)光時(shí)拍攝的圖像數(shù)據(jù)相對(duì)應(yīng)的圖像拍攝條件或者基于所述閃光燈單元發(fā)光時(shí)拍攝的圖像數(shù)據(jù)的顏色信息而獲得的場(chǎng)景信息； 校正單元，其被配置為基于所述圖像拍攝條件或者所述場(chǎng)景信息，對(duì)所述第一白平衡校正值和所述第二白平衡校正值中的至少一個(gè)進(jìn)行校正； 生成單元，其被配置為基于從所述校正單元輸出的所述第一白平衡校正值，由所述閃光燈單元發(fā)光時(shí)拍攝的圖像數(shù)據(jù)生成第一圖像數(shù)據(jù)，并基于從所述校正單元輸出的所述第二白平衡校正值，由所述閃光燈單元不發(fā)光時(shí)拍攝的圖像數(shù)據(jù)生成第二圖像數(shù)據(jù)； 分量計(jì)算單元，其被配置為基于所述閃光燈單元不發(fā)光時(shí)拍攝的圖像數(shù)據(jù)的亮度值與所述閃光燈單元發(fā)光時(shí)拍攝的圖像數(shù)據(jù)的亮度值，來(lái)計(jì)算外部光的亮度分量與來(lái)自所述閃光燈單元的光的亮度分量；以及 合成單元，其被配置為基于所述第一圖像數(shù)據(jù)的亮度分量與所述第二圖像數(shù)據(jù)的亮度分量之間的差分，合成所述第一圖像數(shù)據(jù)和所述第二圖像數(shù)據(jù)。
2.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，所述圖像拍攝條件包括當(dāng)拍攝到所述閃光燈單元發(fā)光時(shí)拍攝的圖像數(shù)據(jù)時(shí)的攝影鏡頭的焦距、被攝體距離、所述閃光燈單元的閃光指數(shù)以及ISO感光度中的至少一個(gè)。
3.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，所述場(chǎng)景信息包括所述閃光燈單元發(fā)光時(shí)拍攝的圖像數(shù)據(jù)的飽和度和對(duì)比度中的至少一個(gè)。
4.根據(jù)權(quán)利要求1所述的圖像處理裝置，所述圖像處理裝置還包括: 色溫度差分計(jì)算單元，其被配置為計(jì)算所述第一白平衡校正值和所述第二白平衡校正值的色溫度的差分；以及 運(yùn)動(dòng)量計(jì)算單元，其被配置為計(jì)算被攝體或者攝像裝置的運(yùn)動(dòng)量， 其中，所述校正單元還基于所述色溫度的差分和所述運(yùn)動(dòng)量，對(duì)所述第一白平衡校正值和所述第二白平衡校正值中的至少一個(gè)進(jìn)行校正。
5.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，所述校正單元對(duì)所述第一白平衡校正值和所述第二白平衡校正值中的至少一個(gè)進(jìn)行校正，使得所述第一白平衡校正值和所述第二白平衡校正值彼此接近。
6.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，基于針對(duì)各塊的所述外部光的亮度分量和來(lái)自所述閃光燈單元的光的亮度分量，所述合成單元針對(duì)各塊計(jì)算所述第一圖像數(shù)據(jù)和所述第二圖像數(shù)據(jù)的合成比率。
7.根據(jù)權(quán)利要求6所述的圖像處理裝置，其中，所述合成單元使用像素插值處理，由各塊的合成比率計(jì)算各像素的合成比率。
8.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，所述合成單元根據(jù)各塊的亮度值確定是否執(zhí)行相應(yīng)塊的合成處理。
9.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，所述校正單元校正所述第一白平衡校正值和所述第二白平衡校正值中的至少一個(gè)，使得在所述圖像拍攝條件表示第一變焦倍率的情況下，與在所述圖像拍攝條件表示比所述第一變焦倍率小的第二變焦倍率的情況下相比，所述第一白平衡校正值影響較小。
10.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，所述校正單元校正所述第一白平衡校正值和所述第二白平衡校正值中的至少一個(gè)，使得所述圖像拍攝條件或所述場(chǎng)景信息表示到達(dá)拍攝的圖像數(shù)據(jù)的被攝體的、來(lái)自所述閃光燈單元的光量越小，則所述第一白平衡校正值的影響越小。
11.一種由圖像處理裝置執(zhí)行的圖像處理方法，所述圖像處理方法包括以下步驟: 基于閃光燈單元發(fā)光時(shí)拍攝的圖像數(shù)據(jù)計(jì)算第一白平衡校正值，并基于所述閃光燈單元不發(fā)光時(shí)拍攝的圖像數(shù)據(jù)計(jì)算第二白平衡校正值； 獲取與所述閃光燈單元發(fā)光時(shí)拍攝的圖像數(shù)據(jù)相對(duì)應(yīng)的圖像拍攝條件或者基于所述閃光燈單元發(fā)光時(shí)拍攝的圖像數(shù)據(jù)的顏色信息而獲得的場(chǎng)景信息； 基于所述圖像拍攝條件或者所述場(chǎng)景信息，對(duì)所述第一白平衡校正值和所述第二白平衡校正值中的至少一個(gè)進(jìn)行校正； 基于所校正的第一白平衡校正值，由所述閃光燈單元發(fā)光時(shí)拍攝的圖像數(shù)據(jù)生成第一圖像數(shù)據(jù)，并基于所校正的第二白平衡校正值，由所述閃光燈單元不發(fā)光時(shí)拍攝的圖像數(shù)據(jù)生成第二圖像數(shù)據(jù)； 基于所述閃光燈單元不發(fā)光時(shí)拍攝的圖像數(shù)據(jù)的亮度值與所述閃光燈單元發(fā)光時(shí)拍攝的圖像數(shù)據(jù)的亮度值，來(lái)計(jì)算外部光的亮度分量與來(lái)自所述閃光燈單元的光的亮度分量；以及 基于所述第一圖像數(shù)據(jù)的 亮度分量與所述第二圖像數(shù)據(jù)的亮度分量之間的差分，合成所述第一圖像數(shù)據(jù)和所述第二圖像數(shù)據(jù)。
【文檔編號(hào)】H04N9/04GK103581638SQ201310325585
【公開(kāi)日】2014年2月12日 申請(qǐng)日期:2013年7月30日 優(yōu)先權(quán)日:2012年8月1日
【發(fā)明者】大內(nèi)謙治 申請(qǐng)人:佳能株式會(huì)社