專利名稱：能白平衡調(diào)整的攝像裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種攝像裝置和白平衡調(diào)整方法，特別地，涉及一種將閃光燈發(fā)光時所拍攝的圖像的顏色的再現(xiàn)性成為更加自然的顏色的技術(shù)。
背景技術(shù)：
根據(jù)現(xiàn)有技術(shù)，為了將閃光燈發(fā)光時由色溫度不同所產(chǎn)生的不自然的白色補(bǔ)正為更加自然的顏色，調(diào)整白平衡。在日本特開平8-51632號公報中，已知下述方法作為白平衡的調(diào)整方法，例如， 將閃光燈發(fā)光時的圖像和閃光燈沒有發(fā)光時的圖像分別分割成多個區(qū)域，基于各自對應(yīng)的區(qū)域的亮度差，對每個被分割的區(qū)域分別設(shè)定白平衡。

發(fā)明內(nèi)容
本發(fā)明的目的在于使閃光燈發(fā)光時所拍攝的圖像的顏色的再現(xiàn)性成為更加自然的顏色。為了實現(xiàn)上述目的，本發(fā)明方案1記載的一種攝像裝置，其特征在于，具備發(fā)光單元和攝像單元，還具備攝像控制單元，其進(jìn)行控制以使所述攝像單元拍攝通過所述發(fā)光單元的發(fā)光而處于明亮?xí)r的圖像即第一圖像和該發(fā)光單元沒有發(fā)光時的圖像即第二圖像；第一取得單元，其分別取得用于對在所述第一圖像和所述第二圖像的拍攝時所設(shè)定的白平衡進(jìn)行調(diào)整的各種顏色分量的增益值；分割單元，其將由所述攝像單元拍攝的攝像區(qū)域分割為多個區(qū)域；第二取得單元，其針對所述第一圖像和所述第二圖像，分別取得通過所述分割單元所分割的多個區(qū)域的亮度值；算出單元，其分別算出通過所述第二取得單元所取得的所述第一圖像的區(qū)域的亮度值除以對應(yīng)的所述第二圖像的區(qū)域的亮度值后的值作為相對值；選擇單元，其從通過所述算出單元算出的相對值中優(yōu)先并選擇多個值高的相對值；和補(bǔ)正單元，其基于通過所述第一取得單元所取得的所述第一圖像和所述第二圖像的各顏色分量的增益值和通過所述選擇單元所選擇的多個相對值，對通過所述發(fā)光單元的發(fā)光而處于明亮?xí)r的圖像的各顏色分量的增益值進(jìn)行補(bǔ)正。此外，為了實現(xiàn)上述目的，本發(fā)明方案2的攝像裝置的特征在于，還具有變換單元，其將通過所述第一取得單元算出的圖像的各顏色分量變換為其他顏色空間中的至少包括亮度信息在內(nèi)的像素的參數(shù)的組，所述補(bǔ)正單元還基于通過所述變換單元變換的像素的參數(shù)的組，對所述各顏色分量的增益值進(jìn)行補(bǔ)正。此外，為了實現(xiàn)上述目的，本發(fā)明方案3的白平衡調(diào)整方法的特征在于，包括以下步驟第一取得步驟，其取得通過發(fā)光而處于明亮?xí)r的圖像即第一圖像和沒有發(fā)光時的圖像即第二圖像；第二取得步驟，其分別取得用于對在所述第一圖像和所述第二圖像的拍攝時所設(shè)定的白平衡進(jìn)行調(diào)整的各種顏色分量的增益值；分割步驟，其將由所述第一取得步驟所取得的圖像分割為多個區(qū)域；第三取得步驟，其針對所述第一圖像和所述第二圖像，分別取得通過所述分割步驟所分割的多個區(qū)域的亮度值；算出步驟，其分別算出通過所述第
4三取得步驟的處理所取得的所述第一圖像的區(qū)域的亮度值除以所述第二圖像的區(qū)域的亮度值后的值作為相對值；選擇步驟，其從通過所述算出步驟算出的相對值中優(yōu)先并選擇多個值高的相對值；和補(bǔ)正步驟，其基于通過所述第二取得步驟所取得的所述第一圖像和所述第二圖像的各顏色分量的增益值和通過所述選擇步驟所選擇的多個相對值，對通過發(fā)光而處于明亮?xí)r的圖像的各顏色分量的增益值進(jìn)行補(bǔ)正。


圖1是對本發(fā)明的攝像裝置的一實施方式的硬件的構(gòu)成進(jìn)行表示的區(qū)域圖。圖2是對具有圖1的硬件的構(gòu)成的攝像裝置執(zhí)行的閃光燈攝像處理的流程進(jìn)行說明的流程圖。圖3是對根據(jù)不發(fā)光時取景(through)圖像或者發(fā)光時拍攝圖像得到8X8的64 個分割區(qū)域的狀態(tài)進(jìn)行表示的模式圖。圖4是表示對發(fā)光時取景圖像和非發(fā)光時拍攝圖像的各個分割區(qū)域的亮度比率進(jìn)行存儲的表的一個例子的示意圖。圖5是對具有圖1的硬件的構(gòu)成的攝像裝置執(zhí)行的白平衡處理的流程進(jìn)行說明的第1實施例的流程圖。圖6是對具有圖1的硬件的構(gòu)成的攝像裝置執(zhí)行的白平衡處理的流程進(jìn)行說明的第2實施例的流程圖。
具體實施例方式(第1實施方式)下面，使用附圖，說明本發(fā)明的第1實施方式。圖1是對本發(fā)明的攝像裝置1的一實施方式的硬件的構(gòu)成進(jìn)行表示的區(qū)域示意圖。圖1所示的攝像裝置1能夠通過例如數(shù)碼相單元構(gòu)成。攝像裝置1包括CPU(中央處理單元)11、R0M (只讀存儲器)12、RAM(隨機(jī)存取存儲器)13、圖像處理部14、白平衡增益算出部15、圖像分割部16、亮度取得部17、總線18、輸入輸出接口 19、攝像部20、發(fā)光部21、操作部22、顯示部23、存儲部M、通信部25、以及驅(qū)動器26。CPUll根據(jù)R0M12中所記錄的程序或者從存儲部24裝載到RAM13的程序來執(zhí)行各種處理。RAMI3中還適當(dāng)?shù)卮鎯α?CPUll執(zhí)行各種處理時所必需的數(shù)據(jù)等。圖像處理部14由DSP (數(shù)字信號處理器)和VRAM(視頻隨機(jī)存取存儲器)等構(gòu)成， 通過與CPUll協(xié)動，對圖像的數(shù)據(jù)實施各種圖像處理。例如，圖像處理部14對從后述的攝像部20輸出的拍攝圖像的數(shù)據(jù)實施噪聲降低、 白平衡的調(diào)整、手抖動補(bǔ)償?shù)鹊膱D像處理。白平衡增益算出部15，在圖像處理部14進(jìn)行的圖像處理當(dāng)中，算出白平衡的調(diào)整所用的白平衡增益。對于白平衡增益算出部15的進(jìn)一步構(gòu)成細(xì)節(jié)，后述。圖像分割部16，在圖像處理部14進(jìn)行的圖像處理當(dāng)中，將白平衡的調(diào)整所用的圖像的數(shù)據(jù)在空間方向上分割成幾個區(qū)域的數(shù)據(jù)。對于圖像分割部16的進(jìn)一步構(gòu)成細(xì)節(jié)，后述。亮度取得部17，在圖像處理部14進(jìn)行的圖像處理當(dāng)中，從白平衡的調(diào)整所用的圖像的數(shù)據(jù)中，取得亮度值等。對于亮度取得部17的進(jìn)一步構(gòu)成細(xì)節(jié)，還包括亮度比較部41 而后述。CPU11、R0M12、RAM13、圖像處理部14、白平衡增益算出部15、圖像分割部16和亮度取得部17經(jīng)由總線18而相互連接。在該總線18上還連接了輸入輸出接口 19。在輸入輸出接口 19上連接了攝像部20、發(fā)光部21、操作部22、顯示部23、存儲部對、通信部25以及驅(qū)動器沈。盡管沒有圖示，但攝像部20還包括光學(xué)透鏡部和圖像傳感器。光學(xué)透鏡部為了對被攝體進(jìn)行拍攝，由用于對光進(jìn)行聚光的透鏡例如聚焦透鏡或者變焦透鏡等構(gòu)成。聚焦透鏡是使被攝體像成像在圖像傳感器的光接收面上的透鏡。變焦透鏡是在一定的范圍使焦點距離自由變化的透鏡。在光學(xué)透鏡部上，根據(jù)需要，設(shè)置了周邊電路，該周邊電路用于調(diào)整焦點、曝光、白平衡等的設(shè)定參數(shù)。圖像傳感器由光電變換元件和AFE (模擬前端)等構(gòu)成。光電變換元件由例如 CMOS (complementary Metal Oxide Semiconductor，互補(bǔ)金屬氧化物半導(dǎo)體)型的光電變換元件等構(gòu)成。被攝體像從光學(xué)透鏡部入射到光電變換元件。這里，光電變換元件對被攝體像進(jìn)行光電變換(拍攝)，將圖像信號蓄積一定時間，將蓄積的圖像信號作為模擬信號依次供給到AFE。AFE對該模擬的圖像信號執(zhí)行A/D (模擬/數(shù)字)變換處理等各種信號處理。通過各種信號處理，生成數(shù)字信號，并且作為攝像部20的輸出信號進(jìn)行輸出。下面，將攝像部20的輸出信號稱為“拍攝圖像的數(shù)據(jù)”。因此，從攝像部20輸出拍攝圖像的數(shù)據(jù)，從而適當(dāng)?shù)毓┙o到CPU11、圖像處理部14、白平衡增益算出部15等。發(fā)光部21具有閃光燈，按照CPUll的控制，使閃光燈發(fā)光。在本第1實施方式中， 將用戶進(jìn)行對操作部22的拍攝圖像的記錄指示的操作例如進(jìn)行了操作部22當(dāng)中未圖示的釋放按鈕的按下操作作為契機(jī)，使閃光燈發(fā)光。操作部22例如由未圖示的釋放按鈕等各種按鈕構(gòu)成，接受用戶的指示操作。顯示部23由能夠顯示各種圖像的顯示器等構(gòu)成。存儲部24由DRAM (Dynamic Random Access Memory，動態(tài)隨機(jī)存取存儲器)等構(gòu)成，并且存儲后述的取景圖像、顯示對象的原圖像、該原圖像上所合成而得到的圖像等的各種圖像的數(shù)據(jù)。通信部25控制經(jīng)由包括因特網(wǎng)的網(wǎng)絡(luò)而與其他的裝置(沒有圖示)之間進(jìn)行的
ififn。在驅(qū)動器沈上，適當(dāng)?shù)匕惭b了由磁盤、光盤、磁光盤、或者半導(dǎo)體存儲器等構(gòu)成的可拆裝介質(zhì)31。通過驅(qū)動器沈從可拆裝介質(zhì)31中讀出的程序，根據(jù)需要，被安裝到存儲部M中。此外，可拆裝介質(zhì)31也與存儲部M同樣能夠存儲在存儲部M上所存儲的圖像的數(shù)據(jù)等的各種數(shù)據(jù)。
以上，參考圖1，說明了本第1實施方式的攝像裝置1的硬件的構(gòu)成。下面，說明具有這種硬件之構(gòu)成的攝像裝置1執(zhí)行的閃光燈攝像處理的流程。所謂閃光燈攝像處理，是指使閃光燈發(fā)光來拍攝被攝體，對該結(jié)果所得到的拍攝圖像的數(shù)據(jù)進(jìn)行白平衡的調(diào)整，之后，記錄到可拆裝介質(zhì)31等上為止的一系列的處理。圖2是對具有圖1的硬件的構(gòu)成的攝像裝置1執(zhí)行的閃光燈攝像處理的流程進(jìn)行說明的流程圖。首先，作為攝像裝置1的動作模式，在本第1實施方式中，假設(shè)設(shè)置了不使閃光燈發(fā)光而拍攝被攝體的通常模式、和使閃光燈發(fā)光而拍攝被攝體的閃光燈模式。而且，用戶通過進(jìn)行對操作部22的預(yù)定的操作，能夠選擇地指示通常模式或者閃光燈模式，作為動作模式。在這種情況下，當(dāng)閃光燈模式的選擇被指示時，開始閃光燈攝像處理。在步驟Sl中，CPUll執(zhí)行取景圖像的攝像處理以及取景圖像的顯示處理。S卩，CPUll控制攝像部20和圖像處理部14，使由攝像部20進(jìn)行的攝像動作繼續(xù)。 然后，CPUll在由攝像部20進(jìn)行的攝像動作繼續(xù)的期間，將從該攝像部20依次輸出的拍攝圖像的數(shù)據(jù)暫時存儲在存儲器(存儲部中。這樣的一系列的處理是這里所說的“取景攝像處理”。此外，CPUll依次讀出在取景攝像處理時被暫時記錄在存儲器(存儲部中的各個數(shù)據(jù)，并將與各個數(shù)據(jù)對應(yīng)的拍攝圖像依次顯示在顯示部23上。這樣的一系列的處理是這里所說的“取景顯示處理”。以下，將通過取景顯示處理而顯示在顯示部23上的拍攝圖像稱為“取景圖像”。在步驟S2中，CPUll判斷是否存在拍攝圖像的記錄指示。如上述，通過用戶對操作部22當(dāng)中的釋放按鈕進(jìn)行按下操作，能夠進(jìn)行拍攝圖像的記錄指示。因此，在釋放按鈕沒有被按下操作時，在步驟S2，判定為否，處理返回到步驟Si。 即，在釋放按鈕被按下操作為止的期間，通過重復(fù)執(zhí)行步驟Sl和S2的循環(huán)處理，來重復(fù)執(zhí)行取景攝像處理和取景顯示處理，并且被攝體的取景圖像被實時地持續(xù)顯示在顯示部23 上。另外，盡管沒有圖示，但是即使經(jīng)過了預(yù)定時間，在釋放按鈕依然沒有被按下操作的情況下，CPUll等也可以強(qiáng)制地結(jié)束閃光燈攝像處理。此后，在釋放按鈕被按下操作的情況下，在步驟S2，判定為是，處理進(jìn)行到步驟 S3。在步驟S3中，CPUll控制發(fā)光同時控制對被攝體進(jìn)行拍攝。詳細(xì)地，CPUll控制發(fā)光部21，使閃光燈發(fā)光，并且控制攝像部20，對被攝體進(jìn)行拍攝。此時從攝像部20輸出的拍攝圖像的數(shù)據(jù)作為記錄對象的數(shù)據(jù)而被暫時存儲在存儲部24中。在步驟S4中，CPUll使用通過步驟Sl的取景攝像處理在閃光燈沒有發(fā)光時拍攝被攝體的取景圖像的數(shù)據(jù)和通過步驟S3的處理在閃光燈發(fā)光時拍攝被攝體的拍攝圖像的數(shù)據(jù)，執(zhí)行對記錄對象的拍攝圖像的白平衡進(jìn)行調(diào)整的處理。以下，與圖2的記載一起，將這種步驟S4的處理稱為“白平衡處理”。此夕卜，以下，將通過步驟Sl的取景攝像處理在閃光燈沒有發(fā)光時拍攝被攝體的取景圖像的數(shù)據(jù)稱為“沒有發(fā)光時取景圖像的數(shù)據(jù)”。另一方面，以下，將通過步驟S3的處理在閃光燈發(fā)光時拍攝被攝體的拍攝圖像的數(shù)據(jù)稱為“發(fā)光時拍攝圖像的數(shù)據(jù)”。這里，假設(shè)記錄對象的拍攝圖像的數(shù)據(jù)采用了發(fā)光時拍攝圖像的數(shù)據(jù)。但是，除了發(fā)光時拍攝圖像的數(shù)據(jù)之外，還可以采用白平衡的設(shè)定之后再1次使閃光燈發(fā)光、攝像部 20拍攝被攝體的結(jié)果所得到的拍攝圖像的數(shù)據(jù)作為記錄對象。在這種情況下，該記錄對象的拍攝圖像的數(shù)據(jù)通過所設(shè)定的白平衡進(jìn)行調(diào)整。另外，對于白平衡處理的進(jìn)一步構(gòu)成細(xì)節(jié)，后述。在步驟S5，CPUll將通過步驟S4之處理而施加了白平衡處理的記錄對象的拍攝圖像的數(shù)據(jù)記錄到可拆裝介質(zhì)31。由此，閃光燈攝像處理變?yōu)榻Y(jié)束。以上，說明了閃光燈攝像處理。下面，對閃光燈攝像處理當(dāng)中由步驟S4執(zhí)行的白平衡處理進(jìn)行說明。在這里，首先，說明用于執(zhí)行白平衡處理的功能構(gòu)成，接著，說明基于該功能構(gòu)成所執(zhí)行的白平衡處理的流程。在白平衡處理被執(zhí)行的情況下，在圖1的攝像裝置1當(dāng)中，白平衡增益算出部15、 圖像分割部16和亮度取得部17發(fā)揮功能作用。白平衡增益算出部15，分別算出關(guān)于沒有發(fā)光時取景圖像的白平衡增益和關(guān)于發(fā)光時拍攝圖像的白平衡增益。詳細(xì)地，假設(shè)沒有發(fā)光時取景圖像和發(fā)光時拍攝圖像的各個數(shù)據(jù)由RGB(R 紅，G 綠，B:藍(lán))分量構(gòu)成。在該情況下，白平衡增益算出部15，作為沒有發(fā)光時取景圖像的白平衡增益，分別算出R分量的增益(以下稱為“SRG”)、G分量的增益(以下稱為“SGG”)、B分量的增益(以下稱為“SBG” )。而且下面將SRG、SGG、SBG 一并稱為“沒有發(fā)光時取景圖像的RGB分量的
增益值”。此外，白平衡增益算出部15，作為發(fā)光時拍攝圖像的白平衡增益，分別算出R分量的增益(以下稱為“LRG”)、G分量的增益(以下稱為“LGG”)、B分量的增益(以下稱為 “LBG”)。下面，將SRG、SGG、SBG 一并稱為“發(fā)光時拍攝圖像的RGB分量的增益值”。接著，白平衡增益算出部15，將沒有發(fā)光時取景圖像和發(fā)光時拍攝圖像的RGB分量的各個增益值變換成YUV (Y 亮度，U 亮度和藍(lán)分量的色差，V 亮度和紅分量的色差)分量的增益值。下面，將從沒有發(fā)光時取景圖像和發(fā)光時拍攝圖像的RGB分量的各個增益值變換來的YUV分量的各個增益值稱為“YUV變換值”。這里，沒有發(fā)光時取景圖像的YUV變換值由Y分量的增益(以下稱為SY)、U分量的增益(以下稱為SU)和V分量的增益(以下稱為SV)構(gòu)成。在這種情況下，沒有發(fā)光時取景圖像的YUV變換值根據(jù)下述式(1)進(jìn)行運算。式1
權(quán)利要求
1.一種攝像裝置，其特征在于，包括 發(fā)光單元；攝像單元；圖像取得單元，取得在所述發(fā)光單元的發(fā)光時通過所述攝像單元拍攝的第1圖像和在所述發(fā)光單元的不發(fā)光時通過所述攝像單元拍攝的第2圖像；增益值取得單元，分別取得通過所述圖像取得單元取得的所述第1圖像和所述第2圖像的各顏色分量的增益值；分割單元，將通過所述圖像取得單元取得的第1圖像和第2圖像分割成多個區(qū)域； 亮度值取得單元，針對所述多個區(qū)域的每一個區(qū)域，分別取得通過所述分割單元分割成多個區(qū)域的第1圖像和第2圖像的亮度值；算出單元，分別算出通過所述亮度值取得單元取得的所述第1圖像的每個區(qū)域的亮度值和所述第2圖像的每個區(qū)域的亮度值的相對值；選擇單元，從通過所述算出單元分別算出的相對值之中，選擇確定的多個相對值；以及補(bǔ)正單元，基于通過所述選擇單元選擇的確定的多個相對值，補(bǔ)正所述第1圖像的至少一部分的區(qū)域的各顏色分量的增益值。
2.根據(jù)權(quán)利要求1所述的攝像裝置，其特征在于，所述算出單元，算出通過所述亮度值取得單元取得的所述第1圖像的每個區(qū)域的亮度值除以所述第2圖像的每個區(qū)域的亮度值后的值作為所述相對值，所述選擇單元，從通過所述算出單元分別算出的相對值之中，優(yōu)先地選擇值高的確定的多個相對值；所述補(bǔ)正單元，基于通過所述第1取得單元取得的第1圖像和第2圖像的各顏色分量的增益值和通過所述選擇單元選擇的確定的多個相對值，補(bǔ)正所述第1圖像的各顏色分量的增益值。
3.根據(jù)權(quán)利要求1所述的攝像裝置，其特征在于，還包括確定單元，確定通過所述算出單元分別算出的相對值為預(yù)定值以下的區(qū)域， 所述算出單元，算出通過所述亮度值取得單元取得的所述第1圖像的每個區(qū)域的亮度值除以所述第2圖像的每個區(qū)域的亮度值后的值作為所述相對值，所述選擇單元，從通過所述第2算出單元分別算出的相對值之中，優(yōu)先地選擇值低的多個相對值；所述補(bǔ)正單元，基于通過所述選擇單元選擇的確定的多個相對值，補(bǔ)正與通過所述確定單元所確定的相對值對應(yīng)的第1圖像的各顏色分量的增益值。
4.根據(jù)權(quán)利要求1所述的攝像裝置，其特征在于，還包括變換單元，將通過所述圖像取得單元取得的第1圖像和第2圖像的各顏色分量變換成其他色空間中的至少包括亮度信息的像素的參數(shù)的組，所述補(bǔ)正單元，還基于通過所述變換單元變換的像素的參數(shù)的組，補(bǔ)正所述第1圖像和所述第2圖像的各顏色分量的增益值。
5.一種白平衡調(diào)整方法，其特征在于，包括圖像取得步驟，取得通過發(fā)光而處于明亮的第1圖像和通過發(fā)光而沒有處于明亮的第 2圖像；增益值取得步驟，分別取得通過圖像取得步驟所取得的所述第1圖像和所述第2圖像的各顏色分量的增益值；分割步驟，將通過所述圖像取得步驟的處理所取得的第1圖像和所述第2圖像分別分割成多個區(qū)域；亮度值取得步驟，針對所述多個區(qū)域的每個區(qū)域，取得通過所述分割步驟分割成多個區(qū)域的所述第1圖像和所述第2圖像的亮度值；算出步驟，分別算出通過所述亮度值取得步驟所取得的所述第1圖像的每個區(qū)域的亮度值和所述第2圖像的每個區(qū)域的亮度值的相對值；選擇步驟，從通過所述亮度值算出步驟分別算出的相對值之中，優(yōu)先地選擇確定的多個相對值；以及補(bǔ)正步驟，基于通過所述選擇步驟所選擇的確定的多個相對值，補(bǔ)正所述第1圖像的至少一部分的區(qū)域的各顏色分量的增益值。
全文摘要
本發(fā)明提供一種攝像裝置，包括發(fā)光部、攝像部、圖像分割部、CPU、白平衡增益算出部、亮度取得部。攝像部取得所述發(fā)光部的發(fā)光時由所述攝像單元拍攝的第1圖像和所述發(fā)光部的不發(fā)光時由所述攝像單元拍攝的第2圖像。白平衡增益算出部分別取得由所述攝像部取得的所述第1圖像和所述第2圖像的各顏色分量的增益值。圖像分割部將由攝像部取得的第1圖像和第2圖像分割成多個區(qū)域。亮度取得部分別算出所述第1圖像的每個區(qū)域的亮度值和所述第2圖像的每個區(qū)域的亮度值的相對值。亮度取得部，從分別算出的相對值之中，選擇確定的多個相對值。白平衡增益算出部基于所選擇的確定的多個相對值，補(bǔ)正所述第1圖像的至少一部分的區(qū)域的各顏色分量的增益值。
文檔編號H04N9/73GK102469243SQ20111034384
公開日2012年5月23日 申請日期2011年11月3日 優(yōu)先權(quán)日2010年11月4日
發(fā)明者北川博康, 塚越丈史 申請人:卡西歐計算機(jī)株式會社