專利名稱：攝像元件及攝像裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及可使用破壞讀取方式和非破壞讀取方式從光電轉(zhuǎn)換元件中讀取電荷的攝像元件及攝像裝置。
背景技術(shù)：
作為使用以數(shù)碼相機為代表的固體攝像元件的攝像裝置的問題點之一，可舉出動態(tài)范圍狹小的問題。因此，在拍攝對比度非常大的場景所得到的圖像中，會產(chǎn)生高亮度區(qū)域中的白閃(白とび)(像素的飽和)和低亮度區(qū)域中的黑斑(つぶれ)。
當前，為了解決上述問題而提出有多種手法。作為其一，具有合成曝光量不同的2張(或多張)圖像的手法，作為使用該手法的公知例子，例如可以舉出專利文獻1所述的攝像裝置等。
該攝像裝置為利用能夠通過改變曝光量進行攝影的曝光量可變單元來得到適當?shù)钠毓饬康臉藴蕡D像信號和曝光量少于標準圖像信號的非標準圖像信號的攝像裝置，其以如下的兩個單元為特征，即制作表示所輸出的標準圖像信號的值是否超過閾值(判斷像素的飽和)的飽和判斷信號(在本發(fā)明中為遮罩(mask)圖像信號)的單元和根據(jù)該飽和判斷信號來切換2個圖像信號的單元(用非標準圖像信號的值來置換標準圖像信號中飽和了的像素)。由此得到寬動態(tài)范圍的圖像。
專利文獻1日本特開2004-32583號公報但是，在上述專利文獻1的現(xiàn)有技術(shù)中，在根據(jù)施加了噪音的標準圖像信號來制作飽和判斷信號(設(shè)飽和像素為1、非飽和像素為0)時，如果根據(jù)該判斷信號進行圖像的合成則可能導(dǎo)致合成圖像的畫質(zhì)降低。具體而言，攝像元件的暗電流噪音隨時間經(jīng)過而增加，受到噪聲的影響。而且，每個像素的靈敏度的差異、飽和量的差異等也都是錯誤判定的原因。這是因為例如，如圖15所示，原本應(yīng)該所有的像素都成為白像素，但由于上述像素的差異，產(chǎn)生了些許黑像素。如果使用這種飽和判斷信號合成圖像，則不正常地混合有標準圖像信號和非標準圖像信號(原本全是非標準圖像信號)。雖然通過根據(jù)各像素的特性差異來改變閾值可以解決該問題，但需要按照各像素來設(shè)定閾值這樣十分繁雜的處理。
另一方面，還有通過把標準圖像信號和非標準圖像信號相加起來得到寬動態(tài)范圍的圖像的方法(圖16)。此處將該單純的相加算法稱為聯(lián)合(Knee)方式。由于聯(lián)合方式不進行像素值的電平判定，所以不產(chǎn)生上述專利文獻1的現(xiàn)有技術(shù)那樣的問題。而且，聯(lián)合方式由于對高亮度區(qū)域進行電平壓縮，所以在能顯示寬動態(tài)范圍的裝置(例如能進行10000∶1等的對比度顯示的裝置)中，將產(chǎn)生有損高亮度區(qū)域的灰度性的問題，以及由于線性消失，所以無法忠實再現(xiàn)色彩(安裝了彩色濾光器的傳感器的情況)的問題。
而且，作為其他的課題，具有用分別的定時來2次拍攝標準曝光圖像和非標準曝光圖像，將它們合成后成為了模糊圖像這樣的課題。

發(fā)明內(nèi)容
于是，本發(fā)明是著眼于這種現(xiàn)有技術(shù)具有的未解決的課題而完成的，其目的在于提供一種可以根據(jù)由比標準曝光時間短的曝光時間所曝光的各像素的像素數(shù)據(jù)，預(yù)測在標準曝光時間的曝光時該各像素是否飽和的攝像元件及攝像裝置，而且還提供一種可以根據(jù)上述預(yù)測結(jié)果將標準曝光時間的像素數(shù)據(jù)和比標準曝光時間短的曝光時間的像素數(shù)據(jù)進行合成來生成寬動態(tài)范圍圖像的攝像裝置。
為了達成上述目的，方式1的攝像元件具有將光電轉(zhuǎn)換元件設(shè)置成多矩陣狀的光電轉(zhuǎn)換部和控制每幀的曝光時間的電子快門功能，所述光電轉(zhuǎn)換元件將所曝光的光轉(zhuǎn)換為電荷來進行蓄積，其特征在于，該攝像元件具有第1讀取單元，其從上述光電轉(zhuǎn)換部的曝光區(qū)域的上述光電轉(zhuǎn)換元件構(gòu)成的各像素中以破壞讀取方式讀取在標準曝光時間所曝光的電荷；第2讀取單元，其在與上述第1讀取單元相同的曝光期間內(nèi)，從上述光電轉(zhuǎn)換元件構(gòu)成的各像素中以非破壞讀取方式讀取在比上述標準曝光時間短的曝光時間即短曝光時間所曝光的電荷；以及飽和預(yù)測單元，其根據(jù)由上述第2讀取單元所讀取的在上述短曝光時間曝光時的電荷構(gòu)成的非標準曝光像素數(shù)據(jù)，來預(yù)測在上述標準曝光時間曝光時的各像素的蓄積電荷量是否飽和。
根據(jù)這種結(jié)構(gòu)，可以使用第1讀取單元從上述光電轉(zhuǎn)換部的上述光電轉(zhuǎn)換元件構(gòu)成的各像素中，以破壞讀取方式讀取在標準曝光時間所曝光的電荷，可以使用第2讀取單元在與上述第1讀取單元相同的曝光期間內(nèi)，從上述光電轉(zhuǎn)換元件構(gòu)成的各像素中，以非破壞讀取方式讀取比上述標準曝光時間短的曝光時間即短曝光時間所曝光的電荷，還可以通過飽和預(yù)測單元根據(jù)由上述第2讀取單元所讀取的上述短曝光時間的電荷構(gòu)成的非標準曝光像素數(shù)據(jù)，來預(yù)測在上述標準曝光時間曝光時的各像素的蓄積電荷量是否飽和。
因此，例如對于由關(guān)注被攝體及其背景所構(gòu)成的攝像對象，由于可以對該攝像對象中的關(guān)注被攝體設(shè)定作為適當曝光的標準的曝光時間(標準曝光時間)，使用第1讀取單元讀取在該標準曝光時間所曝光的光電轉(zhuǎn)換部的各像素的電荷，因此可以得到在標準曝光時間所曝光的攝像對象像素數(shù)據(jù)(標準曝光像素數(shù)據(jù))。另一方面，在上述標準曝光時間的曝光期間中，由于使用第2讀取單元以非破壞讀取方式讀取在比上述標準曝光時間短的曝光時間(短曝光時間)所曝光的上述各像素的電荷，所以可以得到比在標準曝光時間曝光時的曝光量(信號振幅)少的曝光量(較小的信號振幅)的像素數(shù)據(jù)(非標準曝光像素數(shù)據(jù))。即，在標準曝光時間的1次曝光中，可以得到在標準曝光時間曝光時的像素數(shù)據(jù)(標準曝光像素數(shù)據(jù))和在非標準曝光時間曝光時的像素數(shù)據(jù)(非標準曝光像素數(shù)據(jù))。進而，由于根據(jù)上述讀取出的非標準曝光像素數(shù)據(jù)來預(yù)測與該非標準曝光像素數(shù)據(jù)對應(yīng)的像素在標準曝光時間曝光時的蓄積電荷量是否飽和，所以由此可以判斷在暗電流噪音較少、噪聲影響被抑制的狀態(tài)下(短曝光時間的電荷蓄積量)是否飽和，因而在判斷標準曝光時間曝光時的各像素的蓄積電荷量是否飽和時，可以得到能抑制噪聲造成的飽和/非飽和的判斷結(jié)果的差異的效果。
下面說明抑制飽和/非飽和的判斷結(jié)果的差異的原理。直覺上，短曝光時間的像素數(shù)據(jù)幾乎都成為黑斑區(qū)域，僅在特定的高亮度區(qū)域(照射光量較大的區(qū)域)顯現(xiàn)亮度信號。寬動態(tài)范圍拍攝例如在光量比為暗部和亮部之比為1∶500以上、曝光時間相同的情況下，暗部和亮部的信號電平比也為1∶500，暗部成為黑斑。而且，如上所述，抑制了隨時間經(jīng)過而增加的暗電流噪音等的噪聲的影響，可以抑制錯誤判定。進而對于每個像素的飽和電平、靈敏度的差異也可以抑制錯誤判定。即，由于用短曝光圖像進行判定，所以能夠使判定電平成為飽和電平的例如1/10，難以受到飽和電平的差異的影響。關(guān)于靈敏度差異，由于通過電荷/電壓轉(zhuǎn)換增益(靈敏度)和受光量的乘積來確定信號電平，在受光量較少且信號電平較低的狀態(tài)下進行判定，所以難以受到靈敏度差異的影響。如上所述，通過在像素的特性的差異和噪聲的影響都較小的期間內(nèi)僅檢測(判定)具有該信號輸出的區(qū)域，從而可以抑制判定的差異。下面，在關(guān)于攝像裝置、攝像系統(tǒng)、攝像方法的方式中也相同。
此處，上述“光電轉(zhuǎn)換部”例如使用CMOS技術(shù)構(gòu)成，作為使用CMOS技術(shù)的可進行非破壞讀取的攝像元件，具有閾值調(diào)制型攝像元件(例如VMIS(Threshold Voltage Modulation Image Sensor電壓調(diào)制圖像傳感器))等。下面，在關(guān)于攝像裝置、攝像系統(tǒng)、攝像方法的方式中也相同。
而且，上述“破壞讀取方式”是在從光電轉(zhuǎn)換元件中讀取電荷(像素信號)時，伴隨使蓄積在該光電轉(zhuǎn)換元件中的電荷為空的復(fù)位處理的方式。下面，在關(guān)于攝像裝置、攝像系統(tǒng)、攝像方法的方式中也相同。
另外，上述“非破壞讀取方式”是在從光電轉(zhuǎn)換元件中讀取電荷(像素信號)時，不使蓄積在該光電轉(zhuǎn)換元件中的電荷為空而維持蓄積狀態(tài)進行讀取的方式。即，由于在電荷讀取時不進行復(fù)位處理，所以在電荷的蓄積途中，直到所設(shè)定的曝光時間為止，對于不同的曝光時間可以進行任意次的電荷讀取。下面，在關(guān)于攝像裝置、攝像系統(tǒng)、攝像方法的方式中也相同。
而且，上述“飽和”是指輸入到光電轉(zhuǎn)換元件中的光超過該光電轉(zhuǎn)換元件可以蓄積的最大電荷量(下面稱為最大蓄積電荷量)的狀態(tài)，包含成為該飽和的亮度值(下面稱為飽和值)的像素數(shù)據(jù)的圖像產(chǎn)生該部分的灰度消失而被稱為白閃的現(xiàn)象。例如在以雪景色為背景拍攝房屋的情況下，如果按照曝光對作為關(guān)注被攝體的房屋進行拍攝，則雪景色部分的像素數(shù)據(jù)的大部分成為飽和值而產(chǎn)生白閃。下面，在關(guān)于攝像裝置、攝像系統(tǒng)、攝像方法的方式中也相同。
另一方面，為了達成上述目的，方式2的攝像裝置具有將光電轉(zhuǎn)換元件設(shè)置成多矩陣狀的光電轉(zhuǎn)換部和控制每幀的曝光時間的電子快門功能，所述光電轉(zhuǎn)換元件將所曝光的光轉(zhuǎn)換為電荷來進行蓄積，其特征在于，該攝像裝置具有第1讀取單元，其從上述光電轉(zhuǎn)換部的曝光區(qū)域的上述光電轉(zhuǎn)換元件構(gòu)成的各像素中以破壞讀取方式讀取在標準曝光時間所曝光的電荷；第2讀取單元，其在與上述第1讀取單元相同的曝光期間內(nèi)，從上述光電轉(zhuǎn)換元件構(gòu)成的各像素中以非破壞讀取方式讀取在比上述標準曝光時間短的曝光時間即短曝光時間所曝光的電荷；飽和預(yù)測單元，其根據(jù)由上述第2讀取單元所讀取的上述短曝光時間的電荷構(gòu)成的非標準曝光像素數(shù)據(jù)，來預(yù)測在上述標準曝光時間曝光時的各像素的蓄積電荷量是否飽和；以及HDR圖像數(shù)據(jù)生成單元，其根據(jù)上述飽和預(yù)測單元的預(yù)測結(jié)果，合成由上述第1讀取單元所讀取的在上述標準曝光時間曝光時的電荷構(gòu)成的標準曝光像素數(shù)據(jù)和上述非標準曝光像素數(shù)據(jù)，生成HDR(High Dynamic Range)圖像數(shù)據(jù)。
根據(jù)這種結(jié)構(gòu)，可以使用第1讀取單元從上述光電轉(zhuǎn)換部的上述光電轉(zhuǎn)換元件構(gòu)成的各像素中，以破壞讀取方式讀取在標準曝光時間所曝光的電荷，可以使用第2讀取單元在與上述第1讀取單元相同的曝光期間內(nèi)，從上述光電轉(zhuǎn)換元件構(gòu)成的各像素中，以非破壞讀取方式讀取比上述標準曝光時間短的曝光時間即短曝光時間所曝光的電荷，還可以通過飽和預(yù)測單元根據(jù)由上述第2讀取單元所讀取的上述短曝光時間的電荷構(gòu)成的非標準曝光像素數(shù)據(jù)，來預(yù)測在上述標準曝光時間曝光時的各像素的蓄積電荷量是否飽和。
進而，通過HDR圖像數(shù)據(jù)生成單元，根據(jù)上述飽和預(yù)測單元的預(yù)測結(jié)果，可以合成由上述第1讀取單元所讀取的在上述標準曝光時間曝光時的電荷構(gòu)成的標準曝光像素數(shù)據(jù)和上述非標準曝光像素數(shù)據(jù)，以生成HDR圖像數(shù)據(jù)。
因此，例如對于由關(guān)注被攝體及其背景所構(gòu)成的攝像對象，由于可以對該攝像對象中的關(guān)注被攝體設(shè)定作為適當曝光的標準的曝光時間(標準曝光時間)，使用第1讀取單元讀取在該標準曝光時間所曝光的光電轉(zhuǎn)換部的各像素的電荷，因此可以得到在標準曝光時間所曝光的攝像對象像素數(shù)據(jù)(標準曝光像素數(shù)據(jù))。另一方面，在上述標準曝光時間的曝光期間中，由于使用第2讀取單元以非破壞讀取方式讀取在比上述標準曝光時間短的曝光時間(短曝光時間)所曝光的上述各像素的電荷，所以可以得到比在標準曝光時間曝光時的曝光量(信號振幅)少的曝光量(較小的信號振幅)的像素數(shù)據(jù)(非標準曝光像素數(shù)據(jù))。即，在基于標準曝光時間的1次曝光中，可以得到在標準曝光時間曝光時的像素數(shù)據(jù)(標準曝光像素數(shù)據(jù))和在非標準曝光時間曝光時的像素數(shù)據(jù)(非標準曝光像素數(shù)據(jù))。因此，在合成2個圖像時可以生成抑制了模糊的圖像。進而，例如在預(yù)測(判斷)為飽和時選擇非標準曝光像素數(shù)據(jù)，在預(yù)測(判斷)為不飽和時選擇標準曝光像素數(shù)據(jù)，合成這些所選擇的非標準曝光像素數(shù)據(jù)和標準曝光像素數(shù)據(jù)，可以生成寬動態(tài)范圍的圖像數(shù)據(jù)(HDR圖像數(shù)據(jù))，所以可以獲得能得到畫質(zhì)比以往穩(wěn)定的寬動態(tài)范圍圖像的效果。
接著，方式3的攝像裝置的特征在于，在方式2的攝像裝置中，上述第2讀取單元在與上述第1讀取單元相同的曝光期間內(nèi)，從上述光電轉(zhuǎn)換元件構(gòu)成的各像素中以非破壞讀取方式來依次讀取在比上述標準曝光時間短的多種短曝光時間所曝光的電荷，上述飽和預(yù)測單元根據(jù)由上述第2讀取單元所讀取的上述多種短曝光時間的電荷構(gòu)成的非標準曝光元素數(shù)據(jù)，來預(yù)測在上述標準曝光時間曝光時的各像素的蓄積電荷量是否飽和。
根據(jù)這種結(jié)構(gòu)，例如對于由關(guān)注被攝體及其背景所構(gòu)成的攝像對象，對該攝像對象中的關(guān)注被攝體設(shè)定了作為適當曝光的標準的曝光時間(標準曝光時間)的情況下，在基于該標準曝光時間的曝光期間中，由于可以使用第2讀取單元以非破壞讀取方式讀取在比上述標準曝光時間短的多種短曝光時間(例如2種)所曝光的上述各像素的電荷，所以可以得到比在標準曝光時間曝光時的曝光量少的多種的曝光量的像素數(shù)據(jù)(非標準曝光像素數(shù)據(jù))。進而，根據(jù)該多種曝光量的非標準曝光像素數(shù)據(jù)來預(yù)測在與該非標準曝光像素數(shù)據(jù)對應(yīng)的像素的標準曝光時間曝光時的蓄積電荷量是否飽和，所以由此可以得到更準確地預(yù)測在各像素的差異造成的噪聲影響較小的狀態(tài)(短曝光時間的電荷蓄積量)下是否飽和的效果。而且，例如在短曝光時間t2下不飽和，在短曝光時間t1(t2＜t1)下飽和時，由于可以使用短曝光時間t2的非標準曝光像素數(shù)據(jù)來生成寬動態(tài)范圍的圖像數(shù)據(jù)(HDR圖像數(shù)據(jù))，所以可以得到能獲得進行了更準確的灰度表現(xiàn)的寬動態(tài)范圍圖像的效果。
另外，方式4的攝像裝置的特征在于，在方式2或3的攝像裝置中，該攝像裝置具有運算處理單元，該運算處理單元對由上述第2讀取單元所讀取的電荷構(gòu)成的上述非標準曝光像素數(shù)據(jù)進行規(guī)定的運算處理，上述飽和預(yù)測單元根據(jù)上述運算處理后的非標準曝光像素數(shù)據(jù)，預(yù)測上述標準曝光像素數(shù)據(jù)表示的亮度值是否為飽和值，上述HDR圖像數(shù)據(jù)生成單元根據(jù)上述飽和預(yù)測單元的預(yù)測結(jié)果，合成上述運算處理后的非標準曝光像素數(shù)據(jù)和上述標準曝光像素數(shù)據(jù)，生成上述HDR圖像數(shù)據(jù)。
根據(jù)這種結(jié)構(gòu)，可以使用運算單元來對由上述第2讀取單元所讀取的電荷構(gòu)成的上述非標準曝光像素數(shù)據(jù)進行規(guī)定的運算處理，上述飽和預(yù)測單元根據(jù)上述運算處理后的非標準曝光像素數(shù)據(jù)，可以預(yù)測上述標準曝光像素數(shù)據(jù)表示的亮度值是否為飽和值，上述HDR圖像數(shù)據(jù)生成單元根據(jù)上述飽和預(yù)測單元的預(yù)測結(jié)果，可以合成上述運算處理后的非標準曝光像素數(shù)據(jù)和上述標準曝光像素數(shù)據(jù)，生成HDR圖像數(shù)據(jù)。
因此，可以對非標準曝光像素數(shù)據(jù)進行例如亮度電平的校正處理、噪聲除去處理等的適于合成像素數(shù)據(jù)的運算處理，還可以使用進行了這種運算處理的非標準曝光像素數(shù)據(jù)來生成寬動態(tài)范圍的圖像數(shù)據(jù)(HDR圖像數(shù)據(jù))，所以可以得到提高寬動態(tài)范圍的圖像的畫質(zhì)的效果。
另外，方式5的攝像裝置的特征在于，在方式4的攝像裝置中，該攝像裝置具有第3讀取單元，該第3讀取單元從上述光電轉(zhuǎn)換元件構(gòu)成的各像素中讀取剛剛復(fù)位之后的電荷，上述運算處理單元進行如下的運算處理從由上述第2讀取單元所讀取的電荷構(gòu)成的上述非標準曝光像素數(shù)據(jù)中減去與該非標準曝光像素數(shù)據(jù)對應(yīng)的、由上述第3讀取單元所讀取的剛剛復(fù)位之后的電荷構(gòu)成的基準像素數(shù)據(jù)。
根據(jù)這種結(jié)構(gòu)，可以使用第3讀取單元從上述光電轉(zhuǎn)換元件構(gòu)成的各像素中讀取剛剛復(fù)位之后的電荷，上述運算處理單元可以進行如下的運算處理從由上述第2讀取單元所讀取的電荷構(gòu)成的上述非標準曝光像素數(shù)據(jù)中減去與該非標準曝光像素數(shù)據(jù)對應(yīng)的、由上述第3讀取單元所讀取的剛剛復(fù)位之后的電荷構(gòu)成的基準像素數(shù)據(jù)。
因此，由于可以進行從第2讀取單元所讀取的非標準曝光像素數(shù)據(jù)表示的亮度值中減去剛剛復(fù)位(使像素的蓄積電荷為空的動作)之后的像素數(shù)據(jù)表示的亮度值的運算處理，所以可以從非標準曝光像素數(shù)據(jù)中去除因構(gòu)成光電轉(zhuǎn)換部的各光電轉(zhuǎn)換元件(像素)的各自的特性差異而產(chǎn)生的固定模式噪聲。即，在非破壞讀取方式中，由于在讀取出的電荷所構(gòu)成的非標準曝光像素數(shù)據(jù)中混入了很多的噪音，所以通過進行上述差分運算處理可以去除混入非標準曝光像素數(shù)據(jù)中的噪音分量，因而可以得到根據(jù)更正確的亮度電平的非標準曝光像素數(shù)據(jù)來進行飽和/非飽和的預(yù)測的效果。進而，由于可以使用更正確的亮度電平的非標準曝光像素數(shù)據(jù)來生成寬動態(tài)范圍的圖像數(shù)據(jù)(HDR圖像數(shù)據(jù))，所以可以得到提高寬動態(tài)范圍的圖像的畫質(zhì)的效果。
此處，在“固定模式噪聲”中，例如具有因為在長時間曝光時成為問題的暗電流黑斑和每個像素的傳感器靈敏度的不同而產(chǎn)生的各種噪聲等。
另外，方式6的攝像裝置的特征在于，在方式2至5的任一個攝像裝置中，上述HDR圖像數(shù)據(jù)生成單元從上述第2讀取單元所讀取的非標準曝光像素數(shù)據(jù)中選擇與被上述飽和預(yù)測單元預(yù)測為飽和的像素對應(yīng)的非標準曝光像素數(shù)據(jù)，從上述第1讀取單元所讀取的標準曝光像素數(shù)據(jù)中選擇與被上述飽和預(yù)測單元預(yù)測為不飽和的像素對應(yīng)的標準曝光像素數(shù)據(jù)，將這些所選擇的標準曝光像素數(shù)據(jù)和非標準曝光像素數(shù)據(jù)進行合成，生成上述HDR圖像數(shù)據(jù)。
根據(jù)這種結(jié)構(gòu)，由于可以在預(yù)測(判斷)為飽和時不使用成為最大亮度值的標準曝光像素數(shù)據(jù)而使用非標準曝光像素數(shù)據(jù)，在預(yù)測(判斷)為未飽和時使用標準曝光像素數(shù)據(jù)來生成寬動態(tài)范圍的圖像數(shù)據(jù)(HDR圖像數(shù)據(jù))，所以可以得到能獲取畫質(zhì)比以往要穩(wěn)定的寬動態(tài)范圍的圖像的效果。
另外，方式7的攝像裝置的特征在于，在方式6的攝像裝置中，當不存在比與上述所選擇的非標準曝光像素數(shù)據(jù)對應(yīng)的短曝光時間更短的曝光時間的非標準曝光像素數(shù)據(jù)時，上述HDR圖像數(shù)據(jù)生成單元根據(jù)上述所選擇的非標準曝光像素數(shù)據(jù)和與該非標準曝光像素數(shù)據(jù)對應(yīng)的標準曝光像素數(shù)據(jù)，生成與上述所選擇的非標準曝光像素數(shù)據(jù)對應(yīng)的HDR像素數(shù)據(jù)；當存在比與上述所選擇的非標準曝光像素數(shù)據(jù)對應(yīng)的短曝光時間更短的曝光時間的非標準曝光像素數(shù)據(jù)時，上述HDR圖像數(shù)據(jù)生成單元根據(jù)上述所選擇的非標準曝光像素數(shù)據(jù)和與該非標準曝光像素數(shù)據(jù)對應(yīng)的上述較短的曝光時間的非標準曝光像素數(shù)據(jù)及標準曝光像素數(shù)據(jù)，生成與上述所選擇的非標準曝光像素數(shù)據(jù)對應(yīng)的HDR像素數(shù)據(jù)，并合成上述HDR像素數(shù)據(jù)和上述所選擇的標準曝光像素數(shù)據(jù)來生成上述HDR圖像數(shù)據(jù)。
例如，在單純地增加校正非標準曝光像素數(shù)據(jù)的亮度電平，使用該增加校正后的非標準曝光像素數(shù)據(jù)來生成攝像圖像數(shù)據(jù)時，由于通過增加校正而使得像素的差異引起的噪聲也隨之增加，所以有可能成為在增加校正后的非標準曝光像素數(shù)據(jù)中混入放大的噪聲的狀態(tài)。當然，這種噪聲會成為畫質(zhì)降低的原因。
根據(jù)上述結(jié)構(gòu)，由于在不存在比與上述所選擇的非標準曝光像素數(shù)據(jù)對應(yīng)的短曝光時間更短的曝光時間的非標準曝光像素數(shù)據(jù)時，在亮度電平的校正中，可以使用該所選擇的非標準曝光像素數(shù)據(jù)和與之對應(yīng)的標準曝光像素數(shù)據(jù)，所以例如通過進行使非標準曝光像素數(shù)據(jù)和標準曝光像素數(shù)據(jù)相加的處理，可以降低增加校正時的噪聲。而且，當存在比與上述所選擇的非標準曝光像素數(shù)據(jù)對應(yīng)的短曝光時間更短的曝光時間的非標準曝光像素數(shù)據(jù)時，在亮度電平的校正中，可以使用該所選擇的非標準曝光像素數(shù)據(jù)和與之對應(yīng)的上述較短的曝光時間的非標準曝光像素數(shù)據(jù)及標準曝光像素數(shù)據(jù)，所以例如通過進行使曝光時間不同的2種非標準曝光像素數(shù)據(jù)和標準曝光像素數(shù)據(jù)相加，可以進一步降低增加校正時的噪聲。
而且，由于如上所述可以使用降低了噪聲的非標準曝光像素數(shù)據(jù)來生成HDR圖像數(shù)據(jù)，所以可以得到能獲取畫質(zhì)比以往要穩(wěn)定的寬動態(tài)范圍的圖像的效果。
另外，方式8的攝像裝置的特征在于，在方式7的攝像裝置中，上述飽和預(yù)測單元比較根據(jù)上述非標準曝光像素數(shù)據(jù)預(yù)測的在標準曝光時間曝光時的各像素的蓄積電荷量所表示的亮度值和按照上述曝光時間的種類而設(shè)定的飽和預(yù)測用亮度值，根據(jù)該比較結(jié)果來預(yù)測在上述標準曝光時間曝光時的各像素的蓄積電荷量是否飽和，當不存在比與上述所選擇的非標準曝光像素數(shù)據(jù)即第1非標準曝光像素數(shù)據(jù)對應(yīng)的短曝光時間更短的曝光時間的非標準曝光像素數(shù)據(jù)即第2非標準曝光像素數(shù)據(jù)時，上述HDR圖像數(shù)據(jù)生成單元從上述第1非標準曝光像素數(shù)據(jù)所表示的亮度值中減去用該第1非標準曝光像素數(shù)據(jù)用的上述飽和預(yù)測用亮度值即第1飽和預(yù)測用亮度值除以第1標準化系數(shù)得到的結(jié)果，再使該相減結(jié)果與上述第1標準化系數(shù)相乘，然后使該相乘結(jié)果加上與該第1非標準曝光像素數(shù)據(jù)對應(yīng)的標準曝光像素數(shù)據(jù)來生成上述HDR像素數(shù)據(jù)。
根據(jù)這種結(jié)構(gòu)，當不存在比與上述所選擇的非標準曝光像素數(shù)據(jù)即第1非標準曝光像素數(shù)據(jù)對應(yīng)的短曝光時間更短的曝光時間的非標準曝光像素數(shù)據(jù)即第2非標準曝光像素數(shù)據(jù)時，在上述第1非標準曝光像素數(shù)據(jù)的亮度電平的校正中，可以使從第1非標準曝光像素數(shù)據(jù)中減去了第1飽和預(yù)測用亮度值的值乘以第1標準化系數(shù)，然后使該結(jié)果與標準曝光像素數(shù)據(jù)的亮度值進行相加處理，通過該相加處理能夠降低增加校正時的噪聲。即，比起僅使第1非標準曝光像素數(shù)據(jù)的亮度值乘以第1標準化系數(shù)，可以降低相乘時放大的噪聲量，另外，由于也進行與標準曝光像素數(shù)據(jù)的相加處理，因而能進一步降低噪聲。
而且，由于可以使用這種降低了噪聲的第1非標準曝光像素數(shù)據(jù)來生成HDR像素數(shù)據(jù)，所以可以得到能獲取畫質(zhì)比以往要穩(wěn)定的寬動態(tài)范圍的圖像的效果。
而且，本方式中的HDR圖像生成與上述的聯(lián)合方式不同，是維持圖像信號的線性來進行動態(tài)范圍擴大的處理，由此可以實現(xiàn)忠實的色彩再現(xiàn)性。下面在方式10的攝像裝置中也相同。
另外，方式9的攝像裝置的特征在于，在方式8的攝像裝置中，當上述標準曝光時間和與用于生成上述攝像元件的非標準曝光像素數(shù)據(jù)對應(yīng)的短曝光時間之比為“a∶b”時，將把上述未飽和的最大蓄積電荷量表示的亮度值除以“a/b”的結(jié)果作為上述飽和預(yù)測用亮度值，使用上述“a/b”作為用于生成上述攝像元件的非標準曝光像素數(shù)據(jù)用的標準化系數(shù)。
根據(jù)這種結(jié)構(gòu)，在第1非標準曝光像素數(shù)據(jù)的亮度電平的校正中，可以使第1非標準曝光像素數(shù)據(jù)的亮度值乘以與短曝光時間和標準曝光時間之比對應(yīng)的第1標準化系數(shù)，所以可以更適當?shù)剡M行亮度電平校正。

另外，方式10的攝像裝置的特征在于，在方式8的攝像裝置中，在具有比上述第1非標準曝光像素數(shù)據(jù)更短的曝光時間的上述第2非標準曝光像素數(shù)據(jù)時，上述HDR圖像數(shù)據(jù)生成單元從上述第2非標準曝光像素數(shù)據(jù)所表示的亮度值中減去用該第2非標準曝光像素數(shù)據(jù)用的上述飽和預(yù)測用亮度值即第2飽和預(yù)測用亮度值除以第2標準化系數(shù)得到的結(jié)果，再使該相減結(jié)果與上述第2標準化系數(shù)相乘，然后使該相乘結(jié)果與上述第1非標準曝光像素數(shù)據(jù)表示的亮度值相加，從該相加的結(jié)果中減去上述第1飽和預(yù)測用亮度值，使該相減結(jié)果乘以上述第1標準化系數(shù)，使該相乘結(jié)果和與上述第1非標準曝光像素數(shù)據(jù)對應(yīng)的標準曝光像素數(shù)據(jù)所表示的亮度值相加來生成上述HDR像素數(shù)據(jù)。
根據(jù)這種結(jié)構(gòu)，在具有比與上述所選擇的非標準曝光像素數(shù)據(jù)即第1非標準曝光像素數(shù)據(jù)對應(yīng)的短曝光時間更短的曝光時間的非標準曝光像素數(shù)據(jù)即第2非標準曝光像素數(shù)據(jù)時，在上述第1非標準曝光像素數(shù)據(jù)的亮度電平的校正中，可以使從第2非標準曝光像素數(shù)據(jù)中減去第2飽和預(yù)測用亮度值所得到的值與第2標準化系數(shù)相乘，并使該相乘結(jié)果與第1非標準曝光像素數(shù)據(jù)表示的亮度值相加，進行使該相加結(jié)果乘以第1標準化系數(shù)的乘法結(jié)果與標準曝光像素數(shù)據(jù)的亮度值相加的處理，能夠通過這種相加處理來進一步降低增加校正時的噪聲。即，比起僅使第1非標準曝光像素數(shù)據(jù)的亮度值乘以第1標準化系數(shù)，可以降低相乘時放大的噪聲量，另外，由于也進行與第2非標準曝光像素數(shù)據(jù)和標準曝光像素數(shù)據(jù)的相加處理，因而能進一步降低噪聲。
而且，由于可以使用這種降低了噪聲的第1非標準曝光像素數(shù)據(jù)來生成HDR像素數(shù)據(jù)，所以可以得到能獲取畫質(zhì)比以往要穩(wěn)定的寬動態(tài)范圍的圖像的效果。
另外，方式11的攝像裝置的特征在于，在方式10的攝像裝置中，當上述標準曝光時間和與上述第1非標準曝光像素數(shù)據(jù)對應(yīng)的短曝光時間之比為“a∶b”時，將把上述未飽和的最大蓄積電荷量表示的亮度值除以“a/b”的結(jié)果作為上述第1飽和預(yù)測用亮度值；當上述標準曝光時間和與上述第2非標準曝光像素數(shù)據(jù)對應(yīng)的短曝光時間之比為“a∶c”時，將把上述未飽和的最大蓄積電荷量表示的亮度值除以“(a·b)/(a·c)”的結(jié)果作為上述第1飽和預(yù)測用亮度值，使用上述“a/b”作為上述第1標準化系數(shù)，使用上述“(a·b)/(a·c)”作為上述第2標準化系數(shù)。
根據(jù)這種結(jié)構(gòu)，在第1非標準曝光像素數(shù)據(jù)的亮度電平的校正中，可以使第1非標準曝光像素數(shù)據(jù)的亮度值乘以與該短曝光時間和標準曝光時間之比對應(yīng)的第1標準化系數(shù)，同時可以使第2非標準曝光像素數(shù)據(jù)的亮度值乘以與該短曝光時間和標準曝光時間之比對應(yīng)的第2標準化系數(shù)，因而能夠得到更適當?shù)剡M行亮度電平校正的效果。
另一方面，為了達成上述目的，方式12的攝像裝系統(tǒng)具有將光電轉(zhuǎn)換元件設(shè)置成多矩陣狀的光電轉(zhuǎn)換部和控制每幀的曝光時間的電子快門功能，所述光電轉(zhuǎn)換元件將所曝光的光轉(zhuǎn)換為電荷來進行蓄積，其特征在于，該攝像系統(tǒng)具有第1讀取單元，其從上述光電轉(zhuǎn)換部的曝光區(qū)域的上述光電轉(zhuǎn)換元件構(gòu)成的各像素中以破壞讀取方式讀取在標準曝光時間所曝光的電荷；第2讀取單元，其在與上述第1讀取單元相同的曝光期間內(nèi)，從上述光電轉(zhuǎn)換元件構(gòu)成的各像素中以非破壞讀取方式讀取在比上述標準曝光時間短的曝光時間即短曝光時間所曝光的電荷；飽和預(yù)測單元，其根據(jù)由上述第2讀取單元所讀取的上述短曝光時間的電荷構(gòu)成的非標準曝光像素數(shù)據(jù)，來預(yù)測在上述標準曝光時間曝光時的各像素的蓄積電荷量是否飽和；以及HDR圖像數(shù)據(jù)生成單元，其根據(jù)上述飽和預(yù)測單元的預(yù)測結(jié)果，合成上述第1讀取單元所讀取的在上述標準曝光時間曝光時的電荷構(gòu)成的標準曝光像素數(shù)據(jù)和上述非標準曝光像素數(shù)據(jù)，生成HDR(High DynamicRange)圖像數(shù)據(jù)。
由此可以得到與方式2的攝像裝置同等的作用和效果。
此處，本系統(tǒng)可以實現(xiàn)為單一的裝置、終端和其他設(shè)備(此時與方式2的攝像裝置同等)，還可以實現(xiàn)可通信地與多個裝置、終端和其他設(shè)備連接的網(wǎng)絡(luò)系統(tǒng)。在后者的情況下，各構(gòu)成要素只要分別可通信地進行連接，就可以屬于多個設(shè)備等中的任意一種。
另外，為了達成上述目的，方式13的攝像方法用于具有將光電轉(zhuǎn)換元件設(shè)置成多矩陣狀的光電轉(zhuǎn)換部和控制每幀的曝光時間的電子快門功能的攝像裝置，所述光電轉(zhuǎn)換元件將所曝光的光轉(zhuǎn)換為電荷來進行蓄積，其特征在于，該攝像方法具有第1讀取步驟，其從上述光電轉(zhuǎn)換部的曝光區(qū)域的上述光電轉(zhuǎn)換元件構(gòu)成的各像素中以破壞讀取方式讀取在標準曝光時間所曝光的電荷；第2讀取步驟，其在與上述第1讀取步驟中的曝光期間相同的曝光期間內(nèi)，從上述光電轉(zhuǎn)換元件構(gòu)成的各像素中以非破壞讀取方式讀取在比上述標準曝光時間短的曝光時間即短曝光時間所曝光的電荷；飽和預(yù)測步驟，其根據(jù)由在上述第2讀取步驟中讀取的上述短曝光時間的電荷構(gòu)成的非標準曝光像素數(shù)據(jù)，來預(yù)測在上述標準曝光時間曝光時的各像素的蓄積電荷量是否飽和；以及HDR圖像數(shù)據(jù)生成步驟，其根據(jù)上述飽和預(yù)測步驟的預(yù)測結(jié)果，合成由在上述第1讀取步驟中讀取的在上述標準曝光時間曝光時的電荷構(gòu)成的標準曝光像素數(shù)據(jù)和上述非標準曝光像素數(shù)據(jù)，生成HDR(HighDynamic Range)圖像數(shù)據(jù)。
由此可以得到與方式2的攝像裝置同等的作用和效果。


圖1是表示本發(fā)明的攝像裝置1的概要結(jié)構(gòu)的框圖。
圖2是表示攝像處理系統(tǒng)10的內(nèi)部結(jié)構(gòu)和主機系統(tǒng)2的內(nèi)部結(jié)構(gòu)的框圖。
圖3是表示第1AFE(Analog Front End模擬前端)102的內(nèi)部結(jié)構(gòu)的圖。
圖4是表示非破壞掃描對應(yīng)型攝像元件100的內(nèi)部結(jié)構(gòu)的框圖。
圖5是表示掃描線掃描儀54的內(nèi)部結(jié)構(gòu)的圖。
圖6是表示傳感器單元陣列56的詳細結(jié)構(gòu)的圖。
圖7是表示攝像元件100的傳感器單元陣列56中的各像素的每條線的曝光和像素信號的讀取動作的一個例子的圖。
圖8是表示影像處理系統(tǒng)12的內(nèi)部結(jié)構(gòu)的框圖。
圖9是表示非標準圖像數(shù)據(jù)生成部/飽和預(yù)測部12c的內(nèi)部結(jié)構(gòu)的圖。
圖10(a)是表示第1非標準圖像生成部70的內(nèi)部結(jié)構(gòu)的圖，(b)是表示第1飽和預(yù)測部72的內(nèi)部結(jié)構(gòu)的圖，(c)是表示第1合成圖像生成部73的內(nèi)部結(jié)構(gòu)的圖。
圖11是表示破壞讀取方式下的像素的蓄積電荷量的變化的圖。
圖12是表示傳感器單元陣列56的各像素相對于不同的照射光量的曝光時間與信號電平(亮度電平)的變化的一個例子的圖。
圖13是表示第1實施方式的HDR圖像生成部12d的內(nèi)部結(jié)構(gòu)的圖。
圖14是表示第2實施方式的HDR圖像生成部12d的內(nèi)部結(jié)構(gòu)的圖。
圖15是表示以往的像素值的差異引起的飽和/非飽和的錯誤判斷的一個例子的圖。
圖16是表示以往的合成方式被攝體的照明度和輸出值的關(guān)系的圖。
具體實施例方式下面，根據(jù)

本發(fā)明的攝像元件、攝像裝置、攝像系統(tǒng)和攝像方法的第1實施方式。圖1至圖13是表示本發(fā)明的攝像元件、攝像裝置、攝像系統(tǒng)和攝像方法的第1實施方式的圖。
下面，根據(jù)圖1說明本發(fā)明的攝像裝置1的概要結(jié)構(gòu)。此處，圖1是表示本發(fā)明的攝像系統(tǒng)3的概要結(jié)構(gòu)的框圖。
如圖1所示，攝像系統(tǒng)3構(gòu)成為包含攝像裝置1和主機系統(tǒng)2。
攝像裝置1構(gòu)成為包含非破壞掃描對應(yīng)攝像處理系統(tǒng)10(下面稱為攝像處理系統(tǒng)10)，該攝像處理系統(tǒng)10在標準曝光時間的曝光期間(1幀期間)內(nèi)，用破壞讀取方式從傳感器單元陣列56(后述)的曝光區(qū)域中的標準曝光時間內(nèi)所曝光的各像素的線中讀取出像素信號，同時在相同的1幀期間內(nèi)，用非破壞讀取方式從上述曝光區(qū)域中的短曝光時間(比上述標準曝光時間短的曝光時間)和超短曝光時間(比上述短曝光時間短的曝光時間)內(nèi)分別依次曝光的各像素的線中讀取出像素信號，依次輸出這些讀取出的像素的每條線的像素信號的像素數(shù)據(jù)(數(shù)字數(shù)據(jù))。
進而，如圖1所示，攝像裝置1構(gòu)成為包括影像處理系統(tǒng)(DSP)12，其根據(jù)攝像處理系統(tǒng)10輸出的與短曝光時間的曝光相對應(yīng)的像素數(shù)據(jù)(下面稱為短曝光像素數(shù)據(jù))和與超短曝光時間的曝光相對應(yīng)的像素數(shù)據(jù)(下面稱為超短曝光像素數(shù)據(jù))，預(yù)測與短曝光像素數(shù)據(jù)和超短曝光像素數(shù)據(jù)對應(yīng)的像素在標準曝光時間的曝光時是否飽和，根據(jù)該預(yù)測結(jié)果合成與標準曝光時間的曝光對應(yīng)的像素數(shù)據(jù)(下面稱為標準曝光像素數(shù)據(jù))、上述短曝光像素數(shù)據(jù)和超短曝光像素數(shù)據(jù)來生成寬動態(tài)范圍圖像數(shù)據(jù)(下面稱為HDR圖像數(shù)據(jù))；以及幀存儲器14，其存儲基準圖像數(shù)據(jù)(后述)、由上述超短曝光像素數(shù)據(jù)構(gòu)成的超短曝光圖像數(shù)據(jù)、由上述短曝光像素數(shù)據(jù)構(gòu)成的短曝光圖像數(shù)據(jù)、HDR圖像數(shù)據(jù)等的各種圖像數(shù)據(jù)。
主機系統(tǒng)2具有向攝像裝置1賦予各種控制信號和各種數(shù)據(jù)，控制其動作或是顯示從攝像裝置1獲得的HDR圖像數(shù)據(jù)的圖像的功能。
進而，根據(jù)圖2至圖6說明攝像處理系統(tǒng)10的內(nèi)部結(jié)構(gòu)。此處，圖2是表示攝像處理系統(tǒng)10的內(nèi)部結(jié)構(gòu)和主機系統(tǒng)2的內(nèi)部結(jié)構(gòu)的框圖。圖3是表示第1AFE(Analog Front End)102的內(nèi)部結(jié)構(gòu)的圖。圖4是表示非破壞掃描對應(yīng)型攝像元件100的內(nèi)部結(jié)構(gòu)的框圖。圖5是表示掃描線掃描儀54的內(nèi)部結(jié)構(gòu)的圖。圖6是表示傳感器單元陣列56的詳細結(jié)構(gòu)的圖。
如圖2所示，攝像處理系統(tǒng)10構(gòu)成為包含非破壞掃描對應(yīng)型攝像元件100、第1AFE 102、第2AFE 104、第3AFE 106和第4AFE 108。
非破壞掃描對應(yīng)型攝像元件100(下面稱為攝像元件100)用攝像鏡頭(未圖示)在傳感器單元陣列56(后述)上集中來自被攝體的光，將與該集光量對應(yīng)的電荷蓄積在傳感器單元陣列56的各像素上。而且，攝像元件100根據(jù)影像處理系統(tǒng)12的定時控制器12b(后述)所輸出的驅(qū)動信號(像素時鐘、水平同步信號和垂直同步信號0)將在標準曝光時間的曝光中蓄積在傳感器單元陣列56的各像素列上的電荷組依次轉(zhuǎn)換為電壓組，同時將剛剛復(fù)位之后的各像素列的電荷組依次轉(zhuǎn)換為電壓組。而且，攝像元件100根據(jù)后述的掃描線掃描儀54所生成的垂直同步信號1將在超短曝光時間的曝光中蓄積在傳感器單元陣列56的各像素列上的電荷組依次轉(zhuǎn)換為電壓組，根據(jù)后述的掃描線掃描儀54所生成的垂直同步信號2將在短曝光時間的曝光中蓄積在傳感器單元陣列56的各像素列上的電荷組依次轉(zhuǎn)換為電壓組。并且，攝像元件100通過從主機系統(tǒng)2(后述)給予驅(qū)動控制信號，可以控制像素信號的讀取處理，除了上述曝光時間的組合之外，還可以用標準曝光時間與短曝光時間或者超短曝光時間中的某一方的組合來進行像素信號的讀取處理。即，除了上述標準曝光時間、超短曝光時間和短曝光時間的組合之外，還可以選擇標準曝光時間和超短曝光時間、標準曝光時間和短曝光時間的組合。
攝像元件100將對即將復(fù)位的標準曝光時間內(nèi)曝光的電荷組進行轉(zhuǎn)換而成的電壓組(像素信號)經(jīng)由水平傳輸部58(后述)具有的、構(gòu)成為包含第1線存儲器的第1輸出信道58a(下面稱為CH1)依次輸出給第1AFE 102；將對剛剛復(fù)位之后的電荷組進行轉(zhuǎn)換而成的電壓組(像素信號)經(jīng)由水平傳輸部58(后述)具有的、構(gòu)成為包含第2線存儲器的第2輸出信道58b(下面稱為CH2)依次輸出給第2AFE 102。另外，攝像元件100將對短曝光時間內(nèi)曝光的電荷組進行轉(zhuǎn)換而成的電壓組經(jīng)由水平傳輸部58(后述)具有的、構(gòu)成為包含第3線存儲器的第3輸出信道58c(下面稱為CH3)依次輸出給第3AFE 106；將對超短曝光時間內(nèi)曝光的電荷組進行轉(zhuǎn)換而成的電壓組經(jīng)由水平傳輸部58(后述)具有的、構(gòu)成為包含第4線存儲器的第4輸出信道58d(下面稱為CH4)依次輸出給第4AFE 108。
在本實施方式中，攝像元件100對于傳感器單元陣列56的曝光區(qū)域，以破壞讀取方式經(jīng)由CH1和CH2分別獨立進行來自各像素的復(fù)位前后的電荷的讀取，以非破壞讀取方式經(jīng)由CH3和CH4分別獨立進行短曝光時間的電荷的讀取和超短曝光時間的電荷的讀取，從而在使用電子快門功能的1次的曝光期間(標準曝光時間)內(nèi)，分別獨立讀取標準曝光時間內(nèi)的曝光時的電荷組、剛剛復(fù)位之后的電荷組、短曝光時間和超短曝光時間內(nèi)的曝光時的電荷組。
此處說明破壞讀取和非破壞讀取的動作的不同。破壞讀取是在讀取后馬上進行復(fù)位處理(使蓄積在傳感器單元內(nèi)的電荷為空的處理)，再進行讀取動作。復(fù)位前的讀取信號(模擬數(shù)據(jù))保存在第1線存儲器內(nèi)，復(fù)位后的讀取信號保存在第2線存儲器內(nèi)。然后在差動放大器60(后述)中，進行對應(yīng)的像素信號的減法處理來進行信號電平的檢測和噪聲的去除。另一方面，非破壞讀取是在讀取后不進行復(fù)位處理。讀取后的信號(模擬數(shù)據(jù))分別保存在第3線存儲器和第4線存儲器內(nèi)。分別保存在第1～第4線存儲器內(nèi)的像素信號與像素時鐘同步地分別被輸出到第1～第4AFE 102～108。
第1～第4AFE 102～108將與經(jīng)由水平傳輸部58的CH1～CH4輸出的各自不同的曝光時間對應(yīng)的像素信號(模擬數(shù)據(jù))轉(zhuǎn)換為數(shù)字數(shù)據(jù)(下面稱為像素數(shù)據(jù))。然后，第1～第4AFE 102～108將該生成的像素數(shù)據(jù)分別輸出給影像處理系統(tǒng)12的非標準圖像數(shù)據(jù)生成部/飽和預(yù)測部12c(后述)和HDR圖像生成部12d(后述)。
然后，根據(jù)圖3說明第1AFE 102的內(nèi)部結(jié)構(gòu)。
如圖3所示，第1AFE 102構(gòu)成為包含箝位電路102a、放大電路102b和A/D轉(zhuǎn)換電路102c。
箝位電路102a接收來自攝像元件100的像素信號，檢測其是否為遮光區(qū)域的信號，在檢測為是遮光區(qū)域時，以使該信號電平為黑(基準)電平的方式對所有的輸入信號進行鉗位處理，將該鉗位處理之后的像素信號輸出給放大電路102b。
放大電路102b使鉗位后的像素信號以與A/D轉(zhuǎn)換電路102c的輸入范圍相匹配的方式進行放大，將該放大后的像素信號輸出給A/D轉(zhuǎn)換電路102c。
A/D轉(zhuǎn)換電路102c將來自放大電路102b的像素信號(模擬數(shù)據(jù))轉(zhuǎn)換為像素數(shù)據(jù)(數(shù)字數(shù)據(jù))后輸出給影像處理系統(tǒng)12。
并且由于第1～第4AFE 102～108具有相同的內(nèi)部結(jié)構(gòu)，所以省略對第2～第4AFE 104～108的內(nèi)部結(jié)構(gòu)的說明。
進而，根據(jù)圖4說明攝像元件100的內(nèi)部結(jié)構(gòu)。
如圖4所示，攝像元件100構(gòu)成為包含基準定時產(chǎn)生器50、驅(qū)動脈沖產(chǎn)生器52、掃描線掃描儀54、傳感器單元陣列56和水平傳輸部58。
基準定時產(chǎn)生器50根據(jù)來自影像處理系統(tǒng)12的定時控制器12b(后述)的垂直同步信號0和水平同步信號來產(chǎn)生基準定時信號。
驅(qū)動脈沖產(chǎn)生器52根據(jù)來自基準定時產(chǎn)生器50的基準定時信號和來自掃描線掃描儀54的復(fù)位線選擇信號和讀取線選擇信號來產(chǎn)生驅(qū)動脈沖，并提供給傳感器單元陣列56。
掃描線掃描儀54根據(jù)指定來自影像處理系統(tǒng)12的通信器/DSP動作控制部12a(后述)的開始線號碼的驅(qū)動控制信號，選擇對于曝光區(qū)域的復(fù)位線的位置來生成復(fù)位線選擇信號，分別選擇對于曝光區(qū)域的讀取線的位置來生成讀取線選擇信號，將這些生成的選擇信號輸出給驅(qū)動脈沖產(chǎn)生器52。
傳感器單元陣列56使用CMOS技術(shù)構(gòu)成各像素，根據(jù)驅(qū)動脈沖產(chǎn)生器52提供的驅(qū)動脈沖，在標準曝光時間內(nèi)對曝光區(qū)域中的各像素進行曝光，并且按照各像素的每條線用破壞讀取方式讀取通過該曝光而蓄積在各像素中的電荷，并依次輸出給水平傳輸部58。另一方面，在該標準曝光時間的曝光期間內(nèi)，按照各像素的每條線以及各曝光時間的每個種類依次以非破壞讀取方式讀取通過短曝光時間和超短曝光時間的曝光而蓄積在各像素中的電荷，并依次輸出給水平傳輸部58。
水平傳輸部58按照各像素的每條線將與傳感器單元陣列56的曝光區(qū)域的標準曝光時間對應(yīng)的像素信號數(shù)據(jù)和剛剛復(fù)位之后的像素信號數(shù)據(jù)分別存儲在CH1的第1線存儲器和CH2的第2線存儲器N中，將該所存儲的標準曝光時間和剛剛復(fù)位之后的像素信號數(shù)據(jù)輸出給差動放大器60(后述)。
水平傳輸部58還按照各像素的每條線將分別與傳感器單元陣列56的曝光區(qū)域中的短曝光時間和超短曝光時間相對應(yīng)的像素信號數(shù)據(jù)(根據(jù)所選擇的組合內(nèi)容成為某一方)分別存儲在CH3的第3線存儲器和CH4的第4線存儲器中，將該所存儲的短曝光時間和超短曝光時間的像素信號數(shù)據(jù)分別輸出給第3AFE 106和第4AFE 108。
下面根據(jù)圖5說明掃描線掃描儀54的內(nèi)部結(jié)構(gòu)。
如圖5所示，掃描線掃描儀54構(gòu)成為包含通常掃描計數(shù)器54a、通常掃描地址解碼器54b、第1非破壞掃描計數(shù)器54c、第1非破壞掃描地址解碼器54d、第2非破壞掃描計數(shù)器54e、第2非破壞掃描地址解碼器54f、以及OR邏輯器54g。
通常掃描計數(shù)器54a根據(jù)來自基準定時產(chǎn)生器50的垂直同步信號0和水平同步信號重復(fù)遞增計數(shù)動作。此處，計數(shù)器的值與曝光區(qū)域的像素的線號碼對應(yīng)，該線號碼被輸出給通常掃描地址解碼器54b。
通常掃描地址解碼器54b使來自通常掃描計數(shù)器54a的線號碼的線作為“讀取線”而有效，除此以外的線為無效。進而，將表示為有效的線位置(地址)的讀取線控制信號輸出給OR邏輯器54g，并且將該讀取線控制信號作為復(fù)位線選擇信號輸出給驅(qū)動脈沖產(chǎn)生器52。
第1非破壞掃描計數(shù)器54c根據(jù)表示來自通信器/DSP動作控制部12a的開始線號碼的信息與通常掃描計數(shù)器54a不同步地重復(fù)遞增計數(shù)動作。此處，計數(shù)器的值與曝光區(qū)域的像素的線號碼對應(yīng)，該線號碼被輸出給第1非破壞掃描地址解碼器54d。另外，第1非破壞掃描計數(shù)器54c生成用于通過短曝光時間的曝光來進行非破壞讀取的垂直同步信號即垂直同步信號1，并將該生成的垂直同步信號1輸出給影像處理系統(tǒng)12的定時控制器12b。
第1非破壞掃描地址解碼器54d使來自第1非破壞掃描計數(shù)器54c的線號碼的線作為“讀取線”而有效，除此以外的線為無效。進而，將表示為有效的線位置(地址)的讀取線控制信號輸出給OR邏輯器54g。
第2非破壞掃描計數(shù)器54e與第1非破壞掃描計數(shù)器54c具有相同結(jié)構(gòu)，與通常掃描計數(shù)器54a不同步地重復(fù)遞增計數(shù)動作，將計數(shù)值表示的線號碼輸出給第2非破壞掃描地址解碼器54d。另外，第2非破壞掃描計數(shù)器54e生成用于通過超短曝光時間的曝光來進行非破壞讀取的垂直同步信號即垂直同步信號2，將該生成的垂直同步信號2輸出給影像處理系統(tǒng)12的定時控制器12b。
第2非破壞掃描地址解碼器54f與第1非破壞掃描地址解碼器54d具有相同結(jié)構(gòu)，使來自第2非破壞掃描計數(shù)器54e的線號碼的線作為“讀取線”而有效，除此以外的線為無效。進而，將表示為有效的線位置(地址)的讀取線控制信號輸出給OR邏輯器54g。
OR邏輯器54g根據(jù)來自通常掃描地址解碼器54b的讀取線控制信號、來自第1和第2非破壞掃描地址解碼器54d和54f讀取線控制信號，對每條線進行OR運算，生成相對于曝光區(qū)域的每個曝光時間的最終的讀取線選擇信號。將這些生成的讀取線選擇信號輸出給驅(qū)動脈沖產(chǎn)生器52。
然后根據(jù)圖6說明傳感器單元陣列56的詳細結(jié)構(gòu)。
如圖6所示，傳感器單元陣列56將使用CMOS而構(gòu)成的多個傳感器單元(像素)56a配置成矩陣狀，按照每個像素列，將地址線、復(fù)位線和讀取線共同地連接在構(gòu)成各像素列的傳感器單元56a上，經(jīng)由這3根控制線將各種驅(qū)動信號發(fā)送給構(gòu)成各像素列的傳感器單元56a。然后，構(gòu)成為當?shù)刂肪€和讀取線有效時，經(jīng)由圖6所示的信號線將蓄積電荷傳輸給第1～第4輸出信道58a～58d中的某一個上。通過該結(jié)構(gòu)，憑借地址線使進行復(fù)位動作或者讀取動作的像素列(選擇)為有效，對于由該選擇信號選擇的像素列的各傳感器單元56a，在進行復(fù)位動作的情況下經(jīng)由復(fù)位線輸入指示復(fù)位動作的信號，在進行像素信號的讀取的情況下，經(jīng)由讀取線輸入指示蓄積電荷的傳輸?shù)男盘枴?br> 進而，根據(jù)圖7對攝像元件100的曝光時間的控制方法和來自傳感器單元陣列56的像素信號的讀取方法進行說明。此處，圖7是表示攝像元件100的傳感器單元陣列56中的各像素的每條線的曝光和像素信號的讀取動作的一個例子的圖。
此處，本發(fā)明的曝光時間的控制是設(shè)定對于傳感器單元陣列56的曝光區(qū)域，進行各像素的線的蓄積電荷的復(fù)位和標準曝光時間的像素信號的讀取的通常掃描線(讀取線)L1，并且設(shè)定對于傳感器單元陣列56的曝光區(qū)域，進行短曝光時間的像素信號的非破壞讀取的高速掃描線(讀取線)L2和進行超短曝光時間的像素信號的非破壞讀取的高速掃描線(讀取線)L3。然后，在1次的曝光期間(標準曝光時間)中，分別獨立執(zhí)行在標準曝光時間內(nèi)曝光時的像素信號的讀取和復(fù)位以及在短曝光時間和超短曝光時間內(nèi)曝光時的像素信號的非破壞讀取。即，通常掃描線L1和高速掃描線L2、L3如圖7所示，當標準曝光時間量的電荷依次蓄積到曝光區(qū)域的像素的線上時，通常掃描線L1被設(shè)定為依次讀取各像素的線的像素信號，并且依次使該蓄積電荷復(fù)位。另一方面，在曝光區(qū)域的復(fù)位后的各像素的線上，在蓄積標準曝光時間量的電荷的期間內(nèi)，高速掃描線L2、L3分別被設(shè)定為在超短曝光時間和短曝光時間中以非破壞來依次讀取各像素的線的像素信號。
而且，在本實施方式中，如圖7所示，在標準曝光時間內(nèi)，曝光時的像素信號(模擬數(shù)據(jù))被讀取到CH1的第1線存儲器上，另一方面，剛剛復(fù)位之后的像素信號被讀取到CH2的第2線存儲器上。然后，如圖7所示，這些所讀取的像素信號被輸出給設(shè)置于水平傳輸部58的輸出側(cè)的差動放大器60，在該差動放大器60中，進行復(fù)位前和復(fù)位后的分別對應(yīng)的像素信號之間的減法處理來進行信號電平的檢測和噪聲去除。然后，經(jīng)過減法處理后的像素信號被輸出給第1AFE 102而在此轉(zhuǎn)換為數(shù)字數(shù)據(jù)(像素數(shù)據(jù))。另一方面，被讀取到CH2的第2線存儲器中的剛剛復(fù)位之后的像素信號原樣輸出給第2AFE，并在此轉(zhuǎn)換為數(shù)字數(shù)據(jù)(像素數(shù)據(jù))。
另外，在短曝光時間內(nèi)曝光時的像素信號被讀取到CH3的第3線存儲器中，輸出給第3AFE 106，并在此轉(zhuǎn)換為數(shù)字數(shù)據(jù)(像素數(shù)據(jù))；在超短曝光時間內(nèi)曝光時的像素信號被讀取到CH4的第4線存儲器中，輸出給第4AFE 108，并在此轉(zhuǎn)換為數(shù)字數(shù)據(jù)(像素數(shù)據(jù))。
另外，如圖7所示，上述通常掃描線L1和高速掃描線L2、L3的像素信號的讀取定時的控制是按照各像素的每條線依次掃描通常掃描線L1(圖7中的上方向)，在該通常掃描線L1上，進行蓄積電荷的復(fù)位，同時在蓄積電荷的復(fù)位前后讀取進行了標準曝光時間的曝光的像素的像素信號和剛剛復(fù)位之后的像素信號。然后例如在第1線上進行像素信號的讀取和復(fù)位，在從線存儲器中將所有像素信號都讀取到外部之后，依次進行通常掃描線L1的掃描，當通常掃描線L1再次到達第1線時，在正好標準曝光時間所經(jīng)過的定時進行通常掃描線L1的掃描。以這樣的步驟對傳感器單元陣列56的曝光區(qū)域的像素的線，按照各像素的每條線，依次進行通常曝光時的像素信號的讀取和蓄積電荷的復(fù)位。另一方面，在通過通常掃描線L1而使蓄積電荷復(fù)位時，對該復(fù)位后的像素的線，在高速掃描線L3上對進行了超短曝光時間的曝光的像素的像素信號進行非破壞讀取，接著，在高速掃描線L2上對進行了短曝光時間的曝光的像素的像素信號進行非破壞讀取。以這樣的步驟對傳感器單元陣列56的各像素的線，按照每條線，在超短曝光時間和短曝光時間內(nèi)依次進行曝光時的像素信號的非破壞讀取。
接著，根據(jù)圖8～圖11說明影像處理系統(tǒng)12的內(nèi)部結(jié)構(gòu)。此處，圖8是表示影像處理系統(tǒng)12的內(nèi)部結(jié)構(gòu)的框圖。圖9是表示非標準圖像數(shù)據(jù)生成部/飽和預(yù)測部12c的內(nèi)部結(jié)構(gòu)的圖。圖10(a)是表示第1非標準圖像生成部70的內(nèi)部結(jié)構(gòu)的圖，(b)是表示第1飽和預(yù)測部72的內(nèi)部結(jié)構(gòu)的圖，(c)是表示第1合成圖像生成部73的內(nèi)部結(jié)構(gòu)的圖。圖11是表示破壞讀取方式下的像素的蓄積電荷量的變化的圖。圖12是表示傳感器單元陣列56的各像素相對于不同的照射光量的曝光時間與信號電平(亮度電平)的變化的一個例子的圖。圖13是表示第1實施方式的HDR圖像生成部12d的內(nèi)部結(jié)構(gòu)的圖。
如圖8所示，影像處理系統(tǒng)12構(gòu)成為包含通信器/DSP動作控制部12a、定時控制器12b、非標準圖像數(shù)據(jù)生成部/飽和預(yù)測部12c、HDR圖像生成部12d、存儲器存取調(diào)停器12e、以及輸出讀取器12f。
通信器/DSP動作控制部12a從系統(tǒng)控制器2a(后述)獲得相對于傳感器單元陣列56的非破壞讀取的開始線號碼的相關(guān)信息，將表示該獲得的開始線號碼的驅(qū)動控制信號輸出給攝像處理系統(tǒng)10的掃描線掃描儀54。
定時控制器12b生成攝像元件100的驅(qū)動信號(像素時鐘、水平同步信號、垂直同步信號0)，并將其輸出給攝像元件100的基準定時產(chǎn)生器50。而且，定時控制器12b由于根據(jù)水平同步信號、垂直同步信號0而得知與攝像處理系統(tǒng)10的CH1所輸出的在整個曝光區(qū)域的標準曝光時間內(nèi)曝光時的像素信號相對應(yīng)的、攝像元件100在傳感器單元陣列56上的像素位置(像素列(線)號碼、像素號碼)，所以生成該像素列(線)號碼(下面稱為“地址信息”)，將該地址信息輸出給HDR圖像生成部12d。另外，定時控制器12b由于根據(jù)來自攝像處理系統(tǒng)10的垂直同步信號1、垂直同步信號2而得知與攝像處理系統(tǒng)10的CH3和CH4所分別輸出的在短曝光時間和超短曝光時間內(nèi)曝光時的像素信號對應(yīng)的、攝像元件100在傳感器單元陣列56上的像素位置，所以生成該地址信息，并將該地址信息輸出給非標準圖像數(shù)據(jù)生成部/飽和預(yù)測部12c。
如圖9所示，非標準圖像數(shù)據(jù)生成部/飽和預(yù)測部12c構(gòu)成為包含第1非標準圖像生成部70、第1飽和預(yù)測部72、第1合成圖像生成部73、飽和預(yù)測結(jié)果保存存儲器74、第2非標準圖像生成部75、第2飽和預(yù)測部76、以及第2合成圖像生成部77。
如圖10(a)所示，第1非標準圖像生成部70構(gòu)成為包含減法器70a。此處將與標準曝光時間之外的曝光時間對應(yīng)的像素數(shù)據(jù)稱為非標準曝光像素數(shù)據(jù)。即，分別與超短曝光時間和短曝光時間對應(yīng)的超短曝光像素數(shù)據(jù)和短曝光像素數(shù)據(jù)成為非標準曝光像素數(shù)據(jù)。
減法器70a從攝像處理系統(tǒng)10所輸入的非標準曝光像素數(shù)據(jù)之一即短曝光圖像數(shù)據(jù)(線單位的短曝光像素數(shù)據(jù))表示的各像素值中，減去與該各短曝光像素數(shù)據(jù)相同的像素位置的、經(jīng)由存儲器存取調(diào)停器12e而從幀存儲器14讀取出的剛剛復(fù)位之后的像素數(shù)據(jù)即基準像素數(shù)據(jù)表示的像素值。然后，第1非標準圖像生成部70將由該差值構(gòu)成的短曝光圖像數(shù)據(jù)分別輸出給第1飽和預(yù)測部72和第1合成圖像生成部73。
此處，非標準圖像數(shù)據(jù)生成部/飽和預(yù)測部12c根據(jù)定時控制器12b所輸入的地址信息，將由攝像處理系統(tǒng)10所輸入的基準像素數(shù)據(jù)經(jīng)由存儲器存取調(diào)停器12e而存儲在幀存儲器14中，之后讀取該存儲的基準像素數(shù)據(jù)進行使用。因此，基準圖像數(shù)據(jù)僅在最開始的1次(標準曝光時間)被取得即可。
而且為了說明第1非標準圖像生成部70的動作，根據(jù)圖11說明傳感器單元陣列56的各像素的蓄積電荷量的變化。
如圖11所示，在1幀(標準曝光時間)的曝光中，蓄積在傳感器單元陣列56的各像素中的電荷量隨時間經(jīng)過而增加。在超短曝光時間(圖中T2)和短曝光時間(圖中T1)中，由于以非破壞讀取方式從各像素中讀取電荷，所以在曝光中進行任意次的電荷的讀取都能夠維持各像素的蓄積電荷量。
而且，圖11中的復(fù)位定時是使蓄積在傳感器單元陣列56中的電荷為空的定時，該定時確定標準曝光時間。而且例如以圖11所示的(1)～(3)的定時來非破壞地讀取電荷，然后如上所述，根據(jù)差生成圖像。即，根據(jù)在(1)的定時讀取出的剛剛復(fù)位之后的電荷量與在(2)和(3)的各定時中分別讀取出的電荷量的各自的差生成圖像。
另外，從攝像處理系統(tǒng)10中獲得的非破壞讀取出的像素數(shù)據(jù)混入有各像素的差異所引起的固定模式噪聲。因此通過計算差值可以去除固定模式噪聲。
返回圖9，第1飽和預(yù)測部72如圖10(b)所示，構(gòu)成為包含比較器72a。
比較器72a比較由第1非標準圖像生成部70輸入的短曝光像素數(shù)據(jù)表示的亮度值V1和從系統(tǒng)控制器2a經(jīng)由通信器/DSP動作控制部12a輸入的短曝光時間用的飽和預(yù)測用的亮度值即飽和預(yù)測電平THR1，如果“ V1＞THR1”則作為飽和預(yù)測結(jié)果輸出“1”，如果為“V1≤THR1”則作為飽和預(yù)測結(jié)果輸出“0”。即，當飽和預(yù)測結(jié)果為“1”時，與該短曝光像素數(shù)據(jù)對應(yīng)的像素的蓄積電荷量被預(yù)測為在標準曝光時間的經(jīng)過時飽和，另一方面，當飽和預(yù)測結(jié)果為“0”時，與該短曝光像素數(shù)據(jù)對應(yīng)的像素的蓄積電荷量被預(yù)測為在標準曝光時間的經(jīng)過時未飽和。然后，第1飽和預(yù)測部72將該飽和預(yù)測結(jié)果輸出給第1合成圖像生成部73，并且將該飽和預(yù)測結(jié)果輸出給飽和預(yù)測結(jié)果保存存儲器74。
此處，為了說明第1飽和預(yù)測部72的動作，根據(jù)圖12說明傳感器單元陣列56的各像素相對于不同的照射光量的曝光時間和信號電平(亮度電平)的變化。
如圖12所示，設(shè)超短曝光時間為T2、設(shè)短曝光時間為T1、設(shè)標準曝光時間為T0，考慮在T0中以正好到達飽和電平Vmax(超過該值即飽和的亮度值)的傾斜度來增加蓄積電荷量的情況。當設(shè)此時的每單位時間的照射光量為S0時，如果根據(jù)T2、T1的蓄積電荷量求出這些每單位時間的照射光量S1、S2，則可以預(yù)測該像素在T0是否飽和。此處，事先可以預(yù)測傳感器單元陣列56的飽和電平Vmax，而且如果照射光量恒定，則在曝光時間和輸出亮度電平上具有相關(guān)關(guān)系(大致比例關(guān)系)。即，在標準曝光時間的曝光期間中，只要攝像對象上不存在較激烈的亮度變化，則蓄積電荷量大致呈線性增加(以大致恒定的增加量來增加)。
因此，比較T0時刻成為Vmax的每單位時間的增加量(照射光量)S0和T2、T1時刻的每單位時間的照射光量，當它們在S0以下時可以預(yù)測為該像素在T2時刻不飽和。反之，T2、T1時刻的照射光量中的至少一方超過S0的情況下，可以預(yù)測為該像素在T0時刻飽和。例如如圖1 2所示，進行在T1時刻使蓄積電荷量到達Vmax的變化時，T2、T1時刻的照射光量由于都超過S0，所以第1飽和預(yù)測部72預(yù)測為對象的像素在標準曝光時間T0飽和。而且，在使用超短曝光像素數(shù)據(jù)和短曝光像素數(shù)據(jù)兩方進行預(yù)測時，如圖12所示，T2的照射光量超過T1時刻成為Vmax的每單位時間的增加量(照射光量)S1時，可以預(yù)測該像素在T1時刻飽和。即，在短曝光時間下飽和的情況下，可以使用超短曝光像素數(shù)據(jù)生成HDR像素數(shù)據(jù)。
返回圖9，第1合成圖像生成部73如圖10(c)所示，構(gòu)成為包含選擇輸出器73a。
選擇輸出器73a根據(jù)第1飽和預(yù)測部72輸入的飽和預(yù)測結(jié)果，選擇第1非標準圖像生成部70輸入的短曝光像素數(shù)據(jù)和從系統(tǒng)控制器2a經(jīng)由通信器/DSP動作控制部12a而輸入的飽和預(yù)測電平THR1中的某一方，并輸出該選擇的數(shù)據(jù)。具體而言，如果飽和預(yù)測結(jié)果為“1”則輸出短曝光像素數(shù)據(jù)，如果飽和預(yù)測結(jié)果為“0”則輸出飽和預(yù)測電平THR1。然后，第1合成圖像生成部73將所選擇輸出的短曝光像素數(shù)據(jù)或者飽和預(yù)測電平THR1作為合成輸出用的短曝光像素數(shù)據(jù)經(jīng)由存儲器存取調(diào)停器12e而存儲在幀存儲器14內(nèi)。
飽和預(yù)測結(jié)果保存存儲器74是保存第1飽和預(yù)測部72和第2飽和預(yù)測部76所輸入的飽和預(yù)測結(jié)果的存儲器。它是為了在根據(jù)超短曝光像素數(shù)據(jù)和短曝光像素數(shù)據(jù)而進行飽和預(yù)測時，吸收各個線號碼不同時的時間(相位)差而設(shè)置的。即，首先進行基于超短曝光像素數(shù)據(jù)的飽和預(yù)測，在該規(guī)定時間后進行基于短曝光像素數(shù)據(jù)的飽和預(yù)測，所以吸收其時間差。具體而言，將基于超短曝光像素數(shù)據(jù)的飽和預(yù)測結(jié)果保存在飽和預(yù)測結(jié)果保存存儲器74中，除了基于上述超短曝光像素數(shù)據(jù)的預(yù)測結(jié)果以外，還保存接下來的基于短曝光像素數(shù)據(jù)的飽和預(yù)測結(jié)果(這2個預(yù)測結(jié)果成為最終的預(yù)測結(jié)果)。其中，飽和預(yù)測結(jié)果保存存儲器74如上所述，在讀取處理中，在選擇了利用標準曝光時間、超短曝光時間和短曝光時間這3種曝光時間進行讀取的組合的情況下可以發(fā)揮吸收上述時間差的功能。
第2非標準圖像生成部75僅在處理的數(shù)據(jù)是超短曝光圖像數(shù)據(jù)這一點上不同，其余與第1非標準圖像生成部70結(jié)構(gòu)相同，從構(gòu)成超短曝光圖像數(shù)據(jù)(線單位的短曝光像素數(shù)據(jù))的各超短曝光像素數(shù)據(jù)表示的各像素值減去與該各超短曝光像素數(shù)據(jù)相同像素位置的、存儲在幀存儲器14中的剛剛復(fù)位之后的像素數(shù)據(jù)即基準像素數(shù)據(jù)表示的像素值。然后，第2非標準圖像生成部75將由該差值構(gòu)成的超短曝光圖像數(shù)據(jù)分別輸出給第2飽和預(yù)測部76和第2合成圖像生成部77。
第2飽和預(yù)測部76與第1飽和預(yù)測部72結(jié)構(gòu)相同，在內(nèi)部的比較器76a中，比較第2非標準圖像生成部75所輸入的超短曝光像素數(shù)據(jù)表示的亮度值V2和來自系統(tǒng)控制器2a所輸入的超短曝光時間用的飽和預(yù)測電平THR2，如果“V2＞THR2”則作為飽和預(yù)測結(jié)果輸出“1”，如果為“V2≤THR2”則作為飽和預(yù)測結(jié)果輸出“0”。此處的飽和預(yù)測考慮到2種模式，即在T2時刻預(yù)測T1時是否飽和的模式和預(yù)測T0時是否飽和的模式。在本實施方式中，通過從系統(tǒng)控制器2a賦予控制信號，從而可以切換這2個模式。然后，第2飽和預(yù)測部76將超短曝光像素數(shù)據(jù)和飽和預(yù)測電平THR2中任意被選擇的一方輸出給第2合成圖像生成部77。
第2合成圖像生成部77與第1合成圖像生成部73結(jié)構(gòu)相同，在內(nèi)部的選擇輸出器77a中，根據(jù)第2飽和預(yù)測部76輸入的飽和預(yù)測結(jié)果，如果飽和預(yù)測結(jié)果為“1”則輸出超短曝光像素數(shù)據(jù)，如果飽和預(yù)測結(jié)果為“ 0”則輸出飽和預(yù)測電平THR2。然后，第2合成圖像生成部77將超短曝光像素數(shù)據(jù)和飽和預(yù)測電平THR2中任意被選擇輸出的一方作為合成輸出用的超短曝光像素數(shù)據(jù)經(jīng)由存儲器存取調(diào)停器12e而存儲在幀存儲器14內(nèi)。
接著，根據(jù)圖13說明HDR圖像生成部12d的內(nèi)部結(jié)構(gòu)。
此處，在說明內(nèi)部結(jié)構(gòu)之前，說明本實施方式的HDR圖像生成部12d的動作原理。
設(shè)上述短曝光時間T1為標準曝光時間T0的1/K1(T1＝T0/K1)。另外在T1中，被S0照射的像素的信號輸出電平可被預(yù)測為Vmax/K1(將其作為上述THR1)。即，復(fù)位后在經(jīng)過時間T1后將所有像素取樣(從所有像素中進行像素信號的讀取)，各像素的信號輸出電平超過判定閾值THR1的像素被預(yù)測(判定)為在經(jīng)過時間T0后飽和。而且，被預(yù)測(判定)為THR1以下的像素在經(jīng)過時間T0后不飽和(非飽和)。
以上述情況為前提，下面說明本實施方式的HDR圖像的生成方法。
此處，在本實施方式中，在攝像處理系統(tǒng)10中，作為非標準曝光像素數(shù)據(jù)，設(shè)僅獲得在短曝光時間內(nèi)所曝光的短曝光像素數(shù)據(jù)。另外，在本實施方式中，以可以在寬動態(tài)范圍內(nèi)輸出的顯示裝置為前提，通過曝光時間的標準化、具體而言是通過在標準曝光時間T0時標準化的線性合成來生成HDR圖像。因此，在預(yù)測為T0的標準曝光像素數(shù)據(jù)的值為非飽和的情況下，使用該標準曝光像素數(shù)據(jù)，除此之外的情況下，使用對在T1時獲得的短曝光像素數(shù)據(jù)進行了標準化的數(shù)據(jù)來求出合成輸出。
具體而言，對于短曝光像素數(shù)據(jù)，在假想地把曝光時間延長到T0時，預(yù)測其成為多大值，將短曝光像素數(shù)據(jù)校正為該預(yù)測的值進行使用。即，合成T0處非飽和時的標準曝光像素數(shù)據(jù)和T0處飽和時的亮度校正后的短曝光像素數(shù)據(jù)來生成HDR圖像數(shù)據(jù)。另外，在本實施方式中，可以將校正后的短曝光像素數(shù)據(jù)作為單純的線性合成(K1×V1)來處理，但為了進一步抑制噪聲引起的判定差異，進行對通常的線性合成采用了聯(lián)合方式的考慮方法的合成。即，根據(jù)下式(1)進行使用了T1時的短曝光像素數(shù)據(jù)值V1和T0時的標準曝光像素數(shù)據(jù)值V0的線性合成。
合成輸出＝K1×V1＝K1×(V1-Vmax/K1+Vmax/K1)＝K1×(V1-Vmax/K1)+Vmax＝K1×(V1-THR1)+(T0時的信號輸出)...(1)在上式(1)中，標準曝光時間T0和短曝光時間T1之比(標準化系數(shù))為K1(＝T0/T1)。
根據(jù)上述情況，說明HDR圖像生成部12d的內(nèi)部結(jié)構(gòu)。
如圖13所示，HDR圖像生成部12d構(gòu)成為包含減法器80、乘法器81、加法器82。
減法器80經(jīng)由存儲器存取調(diào)停器12e從幀存儲器14中讀取合成用的短曝光圖像數(shù)據(jù)，從構(gòu)成該短曝光圖像數(shù)據(jù)的各短曝光像素數(shù)據(jù)(V1)或者飽和預(yù)測電平(THR1)中減去從系統(tǒng)控制器2a經(jīng)由通信器/DSP動作控制部12a所輸入的飽和預(yù)測電平(THR1)，將該相減的結(jié)果輸出給乘法器81。即，由于預(yù)測為標準曝光時間T0時飽和的像素的情況下輸入短曝光像素數(shù)據(jù)，所以上式(2)中的(V1-THR1)為0以外的值；預(yù)測為標準曝光時間T0時不飽和的像素的情況下輸入飽和預(yù)測電平(THR1)作為V1，所以上式(1)中的(V1-THR1)為0。
乘法器81將從系統(tǒng)控制器2a經(jīng)由通信器/DSP動作控制部12a所輸入的標準化系數(shù)K1與從減法器80輸入的(V1-THR1)的值相乘，將該相乘的結(jié)果輸出給加法器82。此時，在預(yù)測為標準曝光時間T0時不飽和的情況下，由于如上所述，(V1-THR1)的值為0，所以與標準化系數(shù)K1相乘的結(jié)果也為0。
加法器82將乘法器81輸入的乘法結(jié)果和與構(gòu)成攝像處理系統(tǒng)10所輸入的標準圖像數(shù)據(jù)(線單位)的上述乘法結(jié)果相對應(yīng)的標準曝光像素數(shù)據(jù)相加，將該相加結(jié)果作為合成輸出進行輸出。然后，HDR圖像生成部12d將上述合成輸出作為HDR圖像數(shù)據(jù)，經(jīng)由存儲器存取調(diào)停器12e存儲在幀存儲器14中。
返回圖8，存儲器存取調(diào)停器12e根據(jù)來自非標準圖像數(shù)據(jù)生成部/飽和預(yù)測部12c、HDR圖像生成部12d和輸出讀取器12f這3個系統(tǒng)的對于幀存儲器14的讀取/寫入命令，調(diào)停這3個系統(tǒng)對于幀存儲器14的圖像數(shù)據(jù)的存取請求，進行存取。
輸出讀取器12f與來自系統(tǒng)控制器2a的輸出定時信號同步地，經(jīng)由存儲器存取調(diào)停器12e讀取幀存儲器14內(nèi)的HDR圖像數(shù)據(jù)，將該讀取出的HDR圖像數(shù)據(jù)輸出給系統(tǒng)控制器2a。
如圖8所示，幀存儲器14是存儲基準圖像數(shù)據(jù)、超短曝光圖像數(shù)據(jù)、短曝光圖像數(shù)據(jù)、HDR圖像數(shù)據(jù)等的各種圖像數(shù)據(jù)的存儲器，當從存儲器存取調(diào)停器12e具有讀取請求時，讀取出該請求表示的像素數(shù)據(jù)。而且，當從存儲器存取調(diào)停器12e具有寫入請求時，幀存儲器14寫入該寫入請求表示的像素數(shù)據(jù)。
進而返回圖2，說明主機系統(tǒng)2的內(nèi)部結(jié)構(gòu)。
主機系統(tǒng)2構(gòu)成為包含系統(tǒng)控制器2a和顯示裝置2b。
系統(tǒng)控制器2a從影像處理系統(tǒng)(DSP)12中獲得HDR圖像數(shù)據(jù)，根據(jù)該獲得的HDR圖像數(shù)據(jù)在顯示裝置2b上顯示寬動態(tài)范圍圖像，或者向攝像裝置1賦予各種控制信號和各種數(shù)據(jù)來控制其動作。
顯示裝置2b由液晶顯示器等的顯示設(shè)備構(gòu)成，具有能夠顯示寬動態(tài)范圍圖像的功能。而且，根據(jù)來自系統(tǒng)控制器2a的指示，顯示從影像處理系統(tǒng)12獲得的HDR圖像數(shù)據(jù)的圖像。
接著說明本實施方式的實際上的動作。
下面說明僅讀取短曝光像素數(shù)據(jù)來作為非標準曝光像素數(shù)據(jù)的情況下的動作。另外，在本實施方式中，設(shè)非破壞讀取的采樣時間(短曝光時間)為標準曝光時間的1/10。
攝像裝置1被接通電源，在影像處理系統(tǒng)12中，一旦從主機系統(tǒng)2中獲得了關(guān)于曝光時間的信息和對于非破壞讀取的開始線號碼的相關(guān)信息，則通過通信器/DSP動作控制部12a向攝像處理系統(tǒng)10發(fā)送用于指定非破壞讀取的開始線號碼的驅(qū)動控制信號。進而，在定時控制器12b中，向攝像處理系統(tǒng)10輸出用于驅(qū)動攝像元件100的驅(qū)動信號(像素時鐘、垂直同步信號0和水平同步信號)，以得到針對曝光區(qū)域的標準曝光時間的像素信號。
當攝像處理系統(tǒng)10接收到驅(qū)動控制信號時，在掃描線掃描儀54中，與垂直同步信號0和水平同步信號同步地生成復(fù)位線選擇信號和相對于標準曝光時間的破壞讀取的讀取線控制信號。另外，根據(jù)開始線號碼和水平同步信號，生成相對于短曝光時間的非破壞讀取的讀取線控制信號。進而，將這些生成的讀取控制信號輸入給OR邏輯器54g，分別生成相對于各曝光時間的讀取線選擇信號。然后，將這些生成的復(fù)位線選擇信號、讀取線選擇信號(2種)輸出給驅(qū)動脈沖產(chǎn)生器52。驅(qū)動脈沖產(chǎn)生器52根據(jù)來自基準定時產(chǎn)生器50的基準定時信號和來自掃描線掃描儀54的各種選擇信號，產(chǎn)生驅(qū)動脈沖來提供給傳感器單元陣列56。
傳感器單元陣列56根據(jù)來自驅(qū)動脈沖產(chǎn)生器52的驅(qū)動脈沖，掃描通常掃描線L1和高速掃描線L2，從曝光區(qū)域的各像素的線上對通過標準曝光時間的曝光而蓄積的電荷進行破壞讀取(讀取后進行蓄積電荷的復(fù)位)，與該破壞讀取動作相獨立地，從曝光區(qū)域的各像素的線上對通過短曝光時間的曝光而蓄積的電荷進行非破壞讀取(讀取后不進行蓄積電荷的復(fù)位)。然后，經(jīng)由水平傳輸部58的CH1和CH2向差動放大器60輸出由通常掃描線L1的掃描讀取出的電荷所構(gòu)成的復(fù)位前后的像素信號，在差動放大器60中計算這些差值，將該計算結(jié)果輸出給第1AFE 102。另外，經(jīng)由水平傳輸部58的CH2向第2AFE 104輸出剛剛復(fù)位之后的像素信號。另一方面，經(jīng)由水平傳輸部58的CH3向第3AFE 106輸出由高速掃描線L2的掃描讀取出的電荷所構(gòu)成的像素信號。
第1AFE 102生成將與經(jīng)由差動放大器60而依次輸出的標準曝光時間的曝光對應(yīng)的像素信號(模擬數(shù)據(jù))轉(zhuǎn)換為數(shù)字數(shù)據(jù)而成的標準曝光像素數(shù)據(jù)并輸出給影像處理系統(tǒng)12。另一方面，第2AFE 104生成將經(jīng)由CH2而依次輸出的剛剛復(fù)位之后的像素信號(模擬數(shù)據(jù))轉(zhuǎn)換為數(shù)字數(shù)據(jù)而成的基準像素數(shù)據(jù)并輸出給影像處理系統(tǒng)12。另外，第3AFE 106生成將與短曝光時間的曝光對應(yīng)的像素信號(模擬數(shù)據(jù))轉(zhuǎn)換為數(shù)字數(shù)據(jù)而成的短曝光像素數(shù)據(jù)并輸出給影像處理系統(tǒng)12。
在影像處理系統(tǒng)12中，將第1AFE 102所輸出的標準曝光圖像數(shù)據(jù)輸入給HDR圖像生成部12d，將第2AFE 104所輸出的基準圖像數(shù)據(jù)以及第3AFE 106所輸出的短曝光圖像數(shù)據(jù)輸入給非標準圖像數(shù)據(jù)生成部/飽和預(yù)測部12c。
非標準圖像數(shù)據(jù)生成部/飽和預(yù)測部12c在從攝像處理系統(tǒng)10輸入了基準圖像數(shù)據(jù)，而且從定時控制器12b輸入了地址信息時，根據(jù)該地址信息經(jīng)由存儲器存取調(diào)停器12e將基準圖像數(shù)據(jù)存儲在幀存儲器14中。接著，非標準圖像數(shù)據(jù)生成部/飽和預(yù)測部12c在接下來從攝像處理系統(tǒng)10輸入了短曝光圖像數(shù)據(jù)時，在第1非標準圖像生成部70的減法器70a中，從構(gòu)成短曝光圖像數(shù)據(jù)的各短曝光像素數(shù)據(jù)的像素值中減去存儲在幀存儲器14中的與該短曝光像素數(shù)據(jù)相同像素位置的基準像素數(shù)據(jù)的像素值，生成去除了固定模式噪聲的短曝光像素數(shù)據(jù)。第1非標準圖像生成部70在生成了短曝光圖像數(shù)據(jù)(線單位)時，將其分別輸出給第1飽和預(yù)測部72和第1合成圖像生成部73。
第1飽和預(yù)測部72在從第1非標準圖像生成部70輸入了短曝光圖像數(shù)據(jù)，從通信器/DSP動作控制部12a輸入了飽和預(yù)測電平THR1時，在比較器72a中，比較構(gòu)成短曝光圖像數(shù)據(jù)的各短曝光像素數(shù)據(jù)表示的亮度值V1和THR1。如上所述，由于設(shè)短曝光時間T1為標準曝光時間T0的1/10，所以如圖13所示，在T1時，根據(jù)上述S0所照射的像素的信號輸出電平可以被預(yù)測為Vmax/10。因此，此處設(shè)標準化系數(shù)K1為10，設(shè)THR1為“Vmax/10”。因此，比較器72a在“V1＞Vmax/10”的情況下，將對象的像素預(yù)測為在標準曝光時間下飽和而輸出“1”作為飽和預(yù)測結(jié)果。另一方面，如果“V1≤Vmax/10”，則將對象的像素預(yù)測為在標準曝光時間下不飽和而輸出“0”作為飽和預(yù)測結(jié)果。第1飽和預(yù)測部72將該飽和預(yù)測結(jié)果輸出給第1合成圖像生成部73，并且將該飽和預(yù)測結(jié)果輸出給飽和預(yù)測結(jié)果保存存儲器74。
由于這樣根據(jù)短曝光像素數(shù)據(jù)進行飽和/非飽和的預(yù)測(判定)，而且通過與基準像素數(shù)據(jù)的差值來構(gòu)成短曝光像素數(shù)據(jù)，所以可以根據(jù)混入的噪聲電平較低的像素數(shù)據(jù)來進行飽和/非飽和的預(yù)測(判定)，所以可以進行高精度的飽和/非飽和的預(yù)測(判定)。
當從第1非標準圖像生成部70輸入了短曝光圖像數(shù)據(jù)，從第1飽和預(yù)測部72輸入了飽和預(yù)測結(jié)果時，第1合成圖像生成部73在選擇輸出器73a中，關(guān)于各短曝光像素數(shù)據(jù)，如果飽和預(yù)測結(jié)果為“1”則選擇短曝光像素數(shù)據(jù)(V1)輸出，如果為“0”則選擇從系統(tǒng)控制器2a經(jīng)由通信器/DSP動作控制部12a所輸入的飽和預(yù)測電平THR1進行輸出。該選擇輸出作為合成用的短曝光像素數(shù)據(jù)，經(jīng)由存儲器存取調(diào)停器12e存儲在幀存儲器14中。
另一方面，當在非標準圖像數(shù)據(jù)生成部/飽和預(yù)測部12c中，生成了短曝光圖像數(shù)據(jù)，而且從攝像處理系統(tǒng)10中輸入了標準曝光圖像數(shù)據(jù)時，HDR圖像生成部12d通過綜合了通常的線性合成和聯(lián)合方式的線性合成，來生成HDR圖像數(shù)據(jù)。
HDR圖像生成部12d使用減法器80、乘法器81和加法器82進行按照上式(1)的處理來生成HDR圖像數(shù)據(jù)。
此處，由于短曝光像素數(shù)據(jù)的亮度值(差分處理后)＝V1、K1＝10、THR1＝Vmax/10、標準曝光像素數(shù)據(jù)的值(T0時的信號輸出)＝V0Vmax，所以上式(1)成為下式(2)。
合成輸出＝10×(V1-Vmax/10)+V0...(2)即，HDR圖像生成部12d首先經(jīng)由存儲器存取調(diào)停器12e從幀存儲器14讀取合成用的短曝光圖像數(shù)據(jù)，將其輸入到減法器80中，并且將從系統(tǒng)控制器2a經(jīng)由通信器/DSP動作控制部12a輸入的飽和預(yù)測電平THR1輸入到減法器80中。接著，在減法器80中，從構(gòu)成所輸入的短曝光圖像數(shù)據(jù)的各短曝光像素數(shù)據(jù)表示的亮度值V1或者THR1(Vmax/10)中減去THR1(Vmax/10)，將該相減的結(jié)果輸出給乘法器81。即，在標準曝光時間內(nèi)飽和的像素的情況下，輸出V1和THR1的差值“V1-Vmax/10”，在標準曝光時間內(nèi)不飽和的像素的情況下，輸出“0”。
乘法器81使從系統(tǒng)控制器2a經(jīng)由通信器/DSP動作控制部12a輸入的標準化系數(shù)K1(10)和乘法器81所輸入的減法結(jié)果相乘，將該相乘結(jié)果“10×(V1-Vmax/10)”或者“0”輸出給加法器82。
加法器82使構(gòu)成從攝像處理系統(tǒng)10輸入的標準曝光圖像數(shù)據(jù)的標準曝光像素數(shù)據(jù)表示的亮度值V0和從乘法器81輸入的乘法結(jié)果相加，將該相加的結(jié)果“10×(V1-Vmax/10)+V0”或者“V0”作為HDR合成輸出進行輸出。即，對于被預(yù)測為在標準曝光時間T0時飽和的像素，將對該短曝光像素數(shù)據(jù)進行了標準化的“10×(V1-Vmax/10)+V0”作為HDR像素數(shù)據(jù)輸出，另一方面，對于被預(yù)測為在標準曝光時間T0時不飽和的像素，將該標準曝光像素數(shù)據(jù)“V0”本身作為HDR像素數(shù)據(jù)輸出。即，HDR圖像數(shù)據(jù)如上所述成為把根據(jù)被高精度地預(yù)測了飽和/非飽和的預(yù)測結(jié)果而選擇的、將短曝光像素數(shù)據(jù)進行了標準化的像素數(shù)據(jù)和標準曝光像素數(shù)據(jù)合成起來的數(shù)據(jù)。然后將該HDR圖像數(shù)據(jù)經(jīng)由存儲器存取調(diào)停器12e存儲在幀存儲器14中。
另一方面，系統(tǒng)控制器2a向攝像裝置1輸出各種同步信號并進行HDR圖像數(shù)據(jù)的讀取請求。
輸出讀取器12f與來自系統(tǒng)控制器2a的各種同步信號同步地，經(jīng)由存儲器存取調(diào)停器12e讀取出存儲在幀存儲器14內(nèi)的HDR圖像數(shù)據(jù)，將該讀取出的HDR圖像數(shù)據(jù)輸出給系統(tǒng)控制器2a。系統(tǒng)控制器2a獲得從輸出讀取器12f輸出的HDR圖像數(shù)據(jù)，在顯示裝置2b上顯示該獲得的HDR圖像數(shù)據(jù)。
這樣，本實施方式的攝像系統(tǒng)3在1個攝像元件(傳感器單元陣列56)中，在標準曝光時間的曝光下通過破壞讀取來對攝像對象進行攝像，并且在該標準曝光時間的曝光期間內(nèi)，由于可以在短曝光時間的曝光下通過非破壞讀取來進行拍攝，所以可以同時獲得用于HDR圖像的生成的標準曝光圖像數(shù)據(jù)以及用于飽和/非飽和的判定和HDR圖像的生成的非標準曝光(短曝光)圖像數(shù)據(jù)。
另外，攝像系統(tǒng)3根據(jù)短曝光圖像數(shù)據(jù)可以預(yù)測與短曝光圖像數(shù)據(jù)對應(yīng)的像素在標準曝光時間內(nèi)是否飽和，所以可以精度良好地根據(jù)隨時間經(jīng)過而增加的暗電流噪音等的噪聲的影響較小的像素數(shù)據(jù)來判定飽和/非飽和。而且，相比用標準曝光圖像來進行飽和判定的情況，即使對于每個像素的飽和電平、靈敏度的差異，也可以抑制錯誤判定。即，在用短曝光圖像進行判定的情況下，由于判定電平被設(shè)定得較低，所以難以受到飽和電平的差異、靈敏度的差異的影響。而且，由于可以根據(jù)該預(yù)測結(jié)果來從標準曝光像素數(shù)據(jù)和短曝光像素數(shù)據(jù)中的某一方中選擇用于生成HDR圖像數(shù)據(jù)的像素數(shù)據(jù)，所以可以正確選擇在標準曝光時間內(nèi)不飽和的標準曝光像素數(shù)據(jù)，由此可以生成畫質(zhì)穩(wěn)定的(錯誤選擇極少的)HDR圖像數(shù)據(jù)。
并且，攝像系統(tǒng)3通過綜合了通常的線性合成和聯(lián)合方式的手法，使用標準曝光像素數(shù)據(jù)和短曝光像素數(shù)據(jù)，可以合成在T0時飽和的情況下的短曝光像素數(shù)據(jù)，所以相比通常的線性合成可以通過積分效果(低通濾波器)來降低合成用的短曝光像素數(shù)據(jù)(HDR像素數(shù)據(jù))中所含的噪聲分量。而且，即使萬一具有錯誤判定，式(1)的(V1-THR1)的值也只是變得比V1小，可以抑制放大K1倍時的影響。
在上述第1實施方式中，傳感器單元陣列56對應(yīng)于方式1、2、12和13中的某1個光電轉(zhuǎn)換部；通過攝像處理系統(tǒng)10的非破壞掃描對應(yīng)型攝像元件100中的基準定時產(chǎn)生器50、掃描線掃描儀54、驅(qū)動脈沖產(chǎn)生器52、水平傳輸部58從傳感器單元陣列56的曝光區(qū)域進行的在標準曝光時間下的電荷的破壞讀取處理對應(yīng)于方式1、2、3、6和12中的某1個第1讀取單元或者方式13的第1讀取步驟；通過攝像處理系統(tǒng)10的非破壞掃描對應(yīng)型攝像元件100中的基準定時產(chǎn)生器50、掃描線掃描儀54、驅(qū)動脈沖產(chǎn)生器52、水平傳輸部58從傳感器單元陣列56的曝光區(qū)域進行的在超短曝光時間和短曝光時間下的電荷的非破壞讀取處理對應(yīng)于方式1～6和12中的某1個第2讀取單元或者方式13的第2讀取步驟。
而且，在上述第1實施方式中，非標準圖像數(shù)據(jù)生成部/飽和預(yù)測部12c中的飽和/非飽和的預(yù)測處理對應(yīng)于方式1、2、3、4、6和12中的某1個飽和預(yù)測單元或者方式13的飽和預(yù)測步驟；HDR圖像生成部12d對應(yīng)于方式2、4、6、7、8和12中的某1個HDR圖像數(shù)據(jù)生成單元或者方式13的HDR圖像數(shù)據(jù)生成步驟。
下面根據(jù)

本發(fā)明的攝像元件、攝像裝置、攝像系統(tǒng)和攝像方法的第2實施方式。圖14是表示本發(fā)明的攝像元件、攝像裝置、攝像系統(tǒng)和攝像方法的第2實施方式的圖。
本實施方式獲得超短曝光像素數(shù)據(jù)和短曝光像素數(shù)據(jù)雙方來作為非標準像素數(shù)據(jù)，根據(jù)超短曝光像素數(shù)據(jù)和短曝光像素數(shù)據(jù)進行飽和/非飽和的預(yù)測，并且在預(yù)測為對象的像素在短曝光時間T1時飽和的情況下，使用由基準圖像數(shù)據(jù)進行了差分處理的所有超短曝光像素數(shù)據(jù)、短曝光像素數(shù)據(jù)和標準曝光像素數(shù)據(jù)來生成合成輸出(HDR像素數(shù)據(jù))，在這一點上與上述第1實施方式不同。因此，本實施方式僅在上述第1實施方式的圖8的HDR圖像生成部12d的結(jié)構(gòu)上局部不同，除此之外的結(jié)構(gòu)和動作與上述第1實施方式的攝像系統(tǒng)3相同。下面僅說明與上述第1實施方式不同的部分。
下面根據(jù)圖14說明本實施方式的攝像裝置1的HDR圖像生成部12d的內(nèi)部結(jié)構(gòu)。此處，圖14(a)是表示本實施方式的HDR圖像生成部12d的內(nèi)部結(jié)構(gòu)的框圖，(b)是表示超短曝光合成部91的內(nèi)部結(jié)構(gòu)的框圖。
首先，在說明內(nèi)部結(jié)構(gòu)之前，說明本實施方式的HDR圖像生成部12d的動作原理。
與上述第1實施方式相同地，設(shè)短曝光時間T1為標準曝光時間T0的1/K1(T1＝T0/K1)，另一方面，在本實施方式中，設(shè)超短曝光時間T2為短曝光時間T1的1/K2。還有，與上述第1實施方式相同地，通過S0照射的像素在T1時的信號輸出電平為Vmax/K1(THR1)，另一方面，在本實施方式中，通過S1照射的像素在T2時的信號輸出電平為Vmax/K2(將其作為超短曝光時間用的飽和預(yù)測電平THR2)。即，復(fù)位后在經(jīng)過時間T2后將所有像素取樣，各像素的信號輸出電平超過判定閾值THR2的像素被預(yù)測為在經(jīng)過時間T1后飽和。而且，THR2以下的像素被預(yù)測為在經(jīng)過時間T1后不飽和(非飽和)。另一方面，與上述第1實施方式相同地，復(fù)位后在經(jīng)過時間T1后將所有像素取樣，各像素的信號輸出電平超過判定閾值THR1的像素被預(yù)測(判定)為在經(jīng)過時間T0后飽和。而且，THR1以下的像素被預(yù)測(判定)為在經(jīng)過時間T0后不飽和(非飽和)。
以上述情況為前提，下面說明本實施方式的HDR圖像的生成方法。
此處，在本實施方式中，在攝像處理系統(tǒng)10中，作為非標準曝光像素數(shù)據(jù)，設(shè)獲得在超短曝光時間和短曝光時間內(nèi)所曝光的所有像素的超短曝光像素數(shù)據(jù)和短曝光像素數(shù)據(jù)。另外，在本實施方式中，對于超短曝光像素數(shù)據(jù)和短曝光像素數(shù)據(jù)，在假想地將曝光時間延長到T0時，預(yù)測其成為多大值，將超短曝光像素數(shù)據(jù)和短曝光像素數(shù)據(jù)校正為該預(yù)測后的值來使用。
即，合成T0處成為非飽和時的標準曝光像素數(shù)據(jù)和T2處不飽和而T1處飽和時的亮度校正后的超短曝光像素數(shù)據(jù)以及T1處不飽和而T0處飽和時的亮度校正后的短曝光像素數(shù)據(jù)來生成HDR圖像數(shù)據(jù)。另外，在本實施方式中，與上述第1實施方式相同地，進行對通常的線性合成采用了聯(lián)合方式的考慮方法的合成。即，當預(yù)測為T1處不飽和而T0處飽和時，根據(jù)上式(1)進行使用了T1時的短曝光像素數(shù)據(jù)值V1和T0時的標準曝光像素數(shù)據(jù)值V0的線性合成。進而，當預(yù)測為T2處不飽和而T1處飽和時，根據(jù)下式(4)和(5)，進行使用T0時的超短曝光像素數(shù)據(jù)值V2、T1時的短曝光像素數(shù)據(jù)值V1和T0時的標準曝光像素數(shù)據(jù)值V0的線性合成。
“T1時的預(yù)測值”＝K2×V2＝K2×(V2-Vmax/K1+Vmax/K1)＝K2×(V2-Vmax/K1)+Vmax＝K2×(V2-THR2)+(T1的信號輸出)...(4)其中，設(shè)標準化系數(shù)K2＝T1/T2。
另外，根據(jù)上式(1)和(4)，T1時飽和的情況的合成輸出成為下式(5)。
合成輸出＝K1×(T1時的預(yù)測值)
＝K1×(K2(V2-THR2)+(T1的信號輸出)-THR1)+(T0的信號輸出)＝K1×K2×(V2-THR2)+K1×((T1的信號輸出)-THR1))+(T0的信號輸出)...(5)根據(jù)上述情況，說明本實施方式的HDR圖像生成部12d的內(nèi)部結(jié)構(gòu)。
如圖14(a)所示，HDR圖像生成部12d構(gòu)成為包含短曝光合成部90和超短曝光合成部91。
短曝光合成部90具有與上述第1實施方式的圖13所示的結(jié)構(gòu)相同的結(jié)構(gòu)，僅在把加法器82的相加結(jié)果(下面稱為高亮度圖像數(shù)據(jù))輸出給超短曝光合成部91的點上不同。因此省略其詳細說明。
超短曝光合成部91構(gòu)成為包含減法器83、乘法器84和加法器85。
減法器83經(jīng)由存儲器存取調(diào)停器12e從幀存儲器14中讀取合成用的超短曝光圖像數(shù)據(jù)，從構(gòu)成該超短曝光圖像數(shù)據(jù)的各超短曝光像素數(shù)據(jù)(V2)或者飽和預(yù)測電平(THR2)中減去從系統(tǒng)控制器2a經(jīng)由通信器/DSP動作控制部12a所輸入的飽和預(yù)測電平(THR2)，將該相減的結(jié)果輸出給乘法器84。即，由于預(yù)測為短曝光時間T1內(nèi)飽和的像素的情況下輸入超短曝光像素數(shù)據(jù)，所以上式(5)中的(V2-THR2)為0以外的值；預(yù)測為短曝光時間T1時不飽和的像素的情況下輸入飽和預(yù)測電平(THR2)作為V2，所以上式(5)中的(V2-THR2)為0。
乘法器84將從系統(tǒng)控制器2a經(jīng)由通信器/DSP動作控制部12a所輸入的標準化系數(shù)K1和K2與從減法器83輸入的(V2-THR2)的值相乘(K1×K2×(V2-THR2))，將該相乘的結(jié)果輸出給加法器85。此時，在預(yù)測為短曝光時間T1時不飽和的情況下，由于如上所述，(V2-THR2)的值為0，所以與標準化系數(shù)K1和K2相乘的結(jié)果也為0(K1×K2×0＝0)。
加法器85將從乘法器84輸入的乘法結(jié)果和與構(gòu)成從短曝光合成部90所輸入的高亮度圖像數(shù)據(jù)的上述乘法結(jié)果相對應(yīng)的高亮度像素數(shù)據(jù)(K1×(V1-THR1)+(T0的信號輸出))相加，將該相加結(jié)果作為合成輸出進行輸出。然后，HDR圖像生成部12d將上述合成輸出作為HDR圖像數(shù)據(jù)，經(jīng)由存儲器存取調(diào)停器12e存儲在幀存儲器14中。
接著說明本實施方式的實際的動作。
此處，在本實施方式中，設(shè)非破壞讀取的采樣時間為T2、T1，設(shè)T2為短曝光時間T1的1/10(T2＝T1/10＝T0/100)，設(shè)T1為標準曝光時間T0的1/10(T1＝T0/10)。
攝像裝置1被接通電源，在影像處理系統(tǒng)12中，一旦從主機系統(tǒng)2獲得了關(guān)于曝光時間的信息和對于非破壞讀取(超短曝光時間和短曝光時間)的開始線號碼的相關(guān)信息，則通過通信器/DSP動作控制部12a向攝像處理系統(tǒng)10發(fā)送用于指定非破壞讀取的開始線號碼的驅(qū)動控制信號。進而，在定時控制器12b中，向攝像處理系統(tǒng)10輸出用于驅(qū)動攝像元件100的驅(qū)動信號(像素時鐘、垂直同步信號0和水平同步信號)，以得到對于曝光區(qū)域的標準曝光時間的像素信號。
當攝像處理系統(tǒng)10接收到驅(qū)動控制信號時，在掃描線掃描儀54中，與垂直同步信號0和水平同步信號同步地生成復(fù)位線選擇信號和相對于標準曝光時間的破壞讀取的讀取線控制信號。另外，根據(jù)開始線號碼和水平同步信號，生成相對于超短曝光時間和短曝光時間的非破壞讀取的讀取線控制信號(2種)。進而，將這些生成的讀取控制信號輸入給OR邏輯器54g，分別生成相對于各曝光時間的讀取線選擇信號。然后，將這些生成的復(fù)位線選擇信號、讀取線選擇信號(3種)輸出給驅(qū)動脈沖產(chǎn)生器52。驅(qū)動脈沖產(chǎn)生器52根據(jù)來自基準定時產(chǎn)生器50的基準定時信號和來自掃描線掃描儀54的各種選擇信號，產(chǎn)生驅(qū)動脈沖來提供給傳感器單元陣列56。
傳感器單元陣列56根據(jù)來自驅(qū)動脈沖產(chǎn)生器52的驅(qū)動脈沖，掃描通常掃描線L1、高速掃描線L2和高速掃描線L3，從曝光區(qū)域的各像素的線中對通過標準曝光時間的曝光而蓄積的電荷進行破壞讀取(讀取后進行蓄積電荷的復(fù)位)，與該破壞讀取動作獨立地，從曝光區(qū)域的各像素的線中對通過超短曝光時間和的短曝光時間的曝光而蓄積的電荷進行非破壞讀取(讀取后不進行蓄積電荷的復(fù)位)。然后，經(jīng)由水平傳輸部58的CH1和CH2向差動放大器60輸出由通常掃描線L1的掃描讀取出的電荷所構(gòu)成的復(fù)位前后的像素信號，在差動放大器60中計算這些差值，將該計算結(jié)果輸出給第1AFE 102。另外，經(jīng)由水平傳輸部58的CH2向第2AFE 104輸出剛剛復(fù)位之后的像素信號。另一方面，經(jīng)由水平傳輸部58的CH3向第3AFE 106輸出由高速掃描線L2的掃描讀取出的電荷所構(gòu)成的像素信號，經(jīng)由水平傳輸部58的CH4向第4AFE 108輸出由高速掃描線L3的掃描讀取出的電荷所構(gòu)成的像素信號。
第1AFE 102生成將與經(jīng)由差動放大器60而依次輸出的標準曝光時間的曝光相對應(yīng)的像素信號(模擬數(shù)據(jù))轉(zhuǎn)換為數(shù)字數(shù)據(jù)而成的標準曝光像素數(shù)據(jù)并輸出給影像處理系統(tǒng)12。另一方面，第2AFE 104生成將經(jīng)由CH2而依次輸出的剛剛復(fù)位之后的像素信號(模擬數(shù)據(jù))轉(zhuǎn)換為數(shù)字數(shù)據(jù)而成的基準像素數(shù)據(jù)并輸出給影像處理系統(tǒng)12。另外，第4AFE108生成將與超短曝光時間的曝光相對應(yīng)的像素信號(模擬數(shù)據(jù))轉(zhuǎn)換為數(shù)字數(shù)據(jù)而成的超短曝光像素數(shù)據(jù)并輸出給影像處理系統(tǒng)12，第3AFE106生成將與短曝光時間的曝光相對應(yīng)的像素信號(模擬數(shù)據(jù))轉(zhuǎn)換為數(shù)字數(shù)據(jù)而成的短曝光像素數(shù)據(jù)并輸出給影像處理系統(tǒng)12。
在影像處理系統(tǒng)12中，將第1AFE 102輸出的標準曝光圖像數(shù)據(jù)輸入到HDR圖像生成部12d中，將第2AFE 104輸出的基準圖像數(shù)據(jù)、第3AFE 106輸出的短曝光圖像數(shù)據(jù)和第4AFE 108輸出的超短曝光圖像數(shù)據(jù)輸入到非標準圖像數(shù)據(jù)生成部/飽和預(yù)測部12c中。
當從攝像處理系統(tǒng)10輸入了基準圖像數(shù)據(jù)，而且從定時控制器12b輸入了地址信息時，非標準圖像數(shù)據(jù)生成部/飽和預(yù)測部12c根據(jù)該地址信息經(jīng)由存儲器存取調(diào)停器12e將基準圖像數(shù)據(jù)存儲在幀存儲器14中。
接著，當接下來從攝像處理系統(tǒng)10輸入了超短曝光圖像數(shù)據(jù)時，非標準圖像數(shù)據(jù)生成部/飽和預(yù)測部12c在第2非標準圖像生成部75的減法器75a中，從構(gòu)成超短曝光圖像數(shù)據(jù)的各超短曝光像素數(shù)據(jù)的像素值中減去存儲在幀存儲器14中的與該超短曝光像素數(shù)據(jù)相同像素位置的基準像素數(shù)據(jù)的像素值，生成去除了固定模式噪聲的合成用的超短曝光像素數(shù)據(jù)。當生成了超短曝光圖像數(shù)據(jù)(線單位)時，第2非標準圖像生成部75將該超短曝光圖像數(shù)據(jù)分別輸出給第2飽和預(yù)測部76和第2合成圖像生成部77。
另外，當接著超短曝光圖像數(shù)據(jù)從攝像處理系統(tǒng)10輸入了短曝光圖像數(shù)據(jù)時，在第1非標準圖像生成部70的減法器70a中，從構(gòu)成短曝光圖像數(shù)據(jù)的各短曝光像素數(shù)據(jù)的像素值中減去存儲在幀存儲器14中的與該短曝光像素數(shù)據(jù)相同像素位置的基準像素數(shù)據(jù)的像素值，生成去除了固定模式噪聲的合成用的短曝光像素數(shù)據(jù)。當生成了短曝光圖像數(shù)據(jù)(線單位)時，第1非標準圖像生成部70將該短曝光圖像數(shù)據(jù)分別輸出給第1飽和預(yù)測部72和第1合成圖像生成部73。下面由于第1飽和預(yù)測部72和第1合成圖像生成部73的動作與上述第1實施方式相同，所以省略其描述。
當從第2非標準圖像生成部75中輸入了超短曝光圖像數(shù)據(jù)，從通信器/DSP動作控制部12a中輸入了飽和預(yù)測電平THR2時，第2飽和預(yù)測部76在比較器76a中，比較構(gòu)成超短曝光圖像數(shù)據(jù)的各超短曝光像素數(shù)據(jù)表示的亮度值V2和THR2。如上所述，由于設(shè)超短曝光時間T2為短曝光時間T1的1/10，所以如圖13所示，在T2時，通過上述S1所照射的像素的信號輸出電平可以被預(yù)測為Vmax/10。因此，此處設(shè)標準化系數(shù)K2為10，THR2為“Vmax/10”。因此，比較器76a在“V2＞Vmax/10”的情況下，將對象的像素預(yù)測為在短曝光時間時飽和而輸出“1”作為飽和預(yù)測結(jié)果。另一方面，如果“V2≤Vmax/10”，則將對象的像素預(yù)測為在短曝光時間時不飽和而輸出“0”作為飽和預(yù)測結(jié)果。然后，第2飽和預(yù)測部76將該飽和預(yù)測結(jié)果輸出給第2合成圖像生成部77，并且將該飽和預(yù)測結(jié)果輸出給飽和預(yù)測結(jié)果保存存儲器74。
由于這樣根據(jù)超短曝光像素數(shù)據(jù)進行飽和/非飽和的預(yù)測(判定)，而且通過與基準像素數(shù)據(jù)的差值來構(gòu)成合成用的超短曝光像素數(shù)據(jù)，所以可以根據(jù)混入的噪聲電平較低的像素數(shù)據(jù)來進行飽和/非飽和的預(yù)測(判定)，所以可以進行高精度的飽和/非飽和的預(yù)測(判定)。
當從第2非標準圖像生成部75輸入短曝光圖像數(shù)據(jù)，從第2飽和預(yù)測部76輸入飽和預(yù)測結(jié)果時，第2合成圖像生成部77在選擇輸出器77a中，關(guān)于各超短曝光像素數(shù)據(jù)，如果飽和預(yù)測結(jié)果為“1”則選擇超短曝光像素數(shù)據(jù)(V2)進行輸出，如果為“0”則選擇從系統(tǒng)控制器2a經(jīng)由通信器/DSP動作控制部12a輸入的飽和預(yù)測電平THR2進行輸出。該選擇輸出作為合成用的超短曝光像素數(shù)據(jù)，經(jīng)由存儲器存取調(diào)停器12e存儲在幀存儲器14中。
另一方面，當在非標準圖像數(shù)據(jù)生成部/飽和預(yù)測部12c中生成了超短曝光圖像數(shù)據(jù)和短曝光圖像數(shù)據(jù)，而且從攝像處理系統(tǒng)10中輸入了標準曝光圖像數(shù)據(jù)時，HDR圖像生成部12d通過綜合了通常的線性合成和聯(lián)合方式的線性合成，來生成HDR圖像數(shù)據(jù)。
HDR圖像生成部12d首先使用短曝光合成部90的減法器80、乘法器81和加法器82進行按照上式(1)的處理來生成高亮度圖像數(shù)據(jù)。
此處，由于短曝光像素數(shù)據(jù)的亮度值(差處理后)＝V1、K1＝10、THR1＝Vmax/10、標準曝光像素數(shù)據(jù)的值(T0時的信號輸出)＝V0Vmax，所以上式(1)與上述第1實施方式同樣地成為上式(2)。
而且，短曝光合成部90的減法器80、乘法器81和加法器82的動作由于與上述第1實施方式的減法器80、乘法器81和加法器82的動作相同，所以省略其說明。其中，加法器82的相加結(jié)果(高亮度圖像數(shù)據(jù)(10×(V1-Vmax/10)+V0)或者標準曝光圖像數(shù)據(jù)(V0))被輸出給超短曝光合成部91。
下面說明超短曝光合成部91的動作。
此處，由于超短曝光像素數(shù)據(jù)的亮度值(差分處理后)＝V2、標準化系數(shù)K2＝10、飽和預(yù)測電平THR2＝Vmax/10，所以上式(5)成為下式(6)。
合成輸出＝10×10×(V2-Vmax/10)+10×(V1-Vmax/10)+V0...(6)HDR圖像生成部12d經(jīng)由存儲器存取調(diào)停器12e從幀存儲器14讀取合成用的超短曝光圖像數(shù)據(jù)，將其輸入到減法器83中，并且將從系統(tǒng)控制器2a經(jīng)由通信器/DSP動作控制部12a輸入的飽和預(yù)測電平THR2輸入到減法器83中。接著，在減法器83中，從構(gòu)成所輸入的超短曝光圖像數(shù)據(jù)的各超短曝光像素數(shù)據(jù)表示的亮度值V2或者THR2(Vmax/10)中減去THR2(Vmax/10)，將該相減的結(jié)果輸出給乘法器84。即，在短曝光時間T1時飽和的像素的情況下，輸出V2和THR2的差值“V2-Vmax/10”，在短曝光時間T1時不飽和的像素的情況下，輸出“0”。
乘法器84使從系統(tǒng)控制器2a經(jīng)由通信器/DSP動作控制部12a輸入的標準化系數(shù)K1(10)和K2(10)以及乘法器83輸入的減法結(jié)果相乘，將該相乘結(jié)果“10×10×(V2-Vmax/10)”或者“0”輸出給加法器85。
加法器85使構(gòu)成從短曝光合成部90輸入的高亮度圖像數(shù)據(jù)的高亮度像素數(shù)據(jù)表示的亮度值(10×(V1-Vmax/10)+V0)和從乘法器81輸入的乘法結(jié)果相加，將該相加的結(jié)果“10×10×(V2-Vmax/10)+10×(V1-Vmax/10)+V0”、“10×(V1-Vmax/10)+V0”以及“V0”的任意一個作為HDR合成輸出進行輸出。即，對于被預(yù)測為在短曝光時間T1時飽和的像素，將對該超短曝光像素數(shù)據(jù)進行了標準化的“10×10×(V2-Vmax/10)+10×(V1-Vmax/10)+V0”作為HDR像素數(shù)據(jù)輸出。而且，對于被預(yù)測為在標準曝光時間T0時飽和的像素，將對該短曝光像素數(shù)據(jù)進行了標準化的“10×(V1-Vmax/10)+V0”作為HDR像素數(shù)據(jù)輸出。另外，對于被預(yù)測為在標準曝光時間T0時不飽和的像素，將該標準曝光像素數(shù)據(jù)“V0”本身作為HDR像素數(shù)據(jù)輸出。即，HDR圖像數(shù)據(jù)如上所述成為把根據(jù)被高精度地預(yù)測了飽和/非飽和的預(yù)測結(jié)果而選擇的、將超短曝光像素數(shù)據(jù)進行了標準化的像素數(shù)據(jù)、將短曝光像素數(shù)據(jù)進行了標準化的像素數(shù)據(jù)和標準曝光像素數(shù)據(jù)“V0”合成起來的數(shù)據(jù)。然后將該HDR圖像數(shù)據(jù)經(jīng)由存儲器存取調(diào)停器12e存儲在幀存儲器14中。
而且，在理想的傳感器(每個像素間不存在特性差異，噪聲為0)的情況下，被預(yù)測為在短曝光時間T1時飽和的像素成為V1＝Vmax、V0＝Vmax，輸出“10×10×(V2-Vmax/10)+10×(Vmax-Vmax/10)+Vmax”＝“100×V2”。而且，被預(yù)測為在短曝光時間T0時飽和的像素的V2被取消輸出，成為V1＝Vmax、V0＝Vmax，輸出“10×(Vmax-Vmax/10)+Vmax”＝“10×V1”。另一方面，通常的傳感器雖然具有每個像素的特性差異和噪聲，但由于根據(jù)3個像素信號值來確定最終的信號電平，所以可以通過積分效果來得到噪聲抑制效果。并且，本發(fā)明的HDR圖像生成(維持了線性的動態(tài)范圍擴大)不直接放大像素信號，而是放大信號的差值，所以可以抑制錯誤判定導(dǎo)致的畫質(zhì)惡化。
這樣，本實施方式的攝像系統(tǒng)3由于可以根據(jù)超短曝光圖像數(shù)據(jù)和短曝光圖像數(shù)據(jù)來預(yù)測對應(yīng)于這些圖像數(shù)據(jù)的像素在標準曝光時間內(nèi)是否飽和，所以可以精度良好地根據(jù)噪聲的影響較小的像素數(shù)據(jù)來預(yù)測(判定)飽和/非飽和。而且，根據(jù)該預(yù)測結(jié)果可以從標準曝光像素數(shù)據(jù)、短曝光像素數(shù)據(jù)和超短曝光像素數(shù)據(jù)中的某一方中選擇用于生成HDR圖像數(shù)據(jù)的像素數(shù)據(jù)，所以可以正確選擇在標準曝光時間內(nèi)不飽和的標準曝光像素數(shù)據(jù)，由此可以生成畫質(zhì)穩(wěn)定的(錯誤選擇極少的)HDR圖像數(shù)據(jù)。
并且，攝像系統(tǒng)3通過綜合了通常的線性合成和聯(lián)合方式的手法，使用標準曝光像素數(shù)據(jù)和短曝光像素數(shù)據(jù)，可以合成在T0時飽和的情況下的短曝光像素數(shù)據(jù)，并且由于可以使用標準曝光像素數(shù)據(jù)、短曝光像素數(shù)據(jù)和超短曝光像素數(shù)據(jù)來合成T1時飽和的情況下的超短曝光像素數(shù)據(jù)，所以相比通常的線性合成可以降低合成用的短曝光像素數(shù)據(jù)(HDR像素數(shù)據(jù))和超短曝光像素數(shù)據(jù)(HDR像素數(shù)據(jù))中所含的噪聲分量。
在上述第2實施方式中，傳感器單元陣列56對應(yīng)于方式1、2、12和13中某1個光電轉(zhuǎn)換部；通過攝像處理系統(tǒng)10的非破壞掃描對應(yīng)型攝像元件100中的基準定時產(chǎn)生器50、掃描線掃描儀54、驅(qū)動脈沖產(chǎn)生器52、水平傳輸部58從傳感器單元陣列56的曝光區(qū)域進行的標準曝光時間內(nèi)的電荷的破壞讀取處理對應(yīng)于方式1、2、3、6和12中的某1個第1讀取單元或者方式13的第1讀取步驟；通過攝像處理系統(tǒng)10的非破壞掃描對應(yīng)型攝像元件100中的基準定時產(chǎn)生器50、掃描線掃描儀54、驅(qū)動脈沖產(chǎn)生器52、水平傳輸部58從傳感器單元陣列56的曝光區(qū)域進行的超短曝光時間和短曝光時間內(nèi)的電荷的非破壞讀取處理對應(yīng)于方式1～6和12中的某1個第2讀取單元或者方式13的第2讀取步驟。
而且，在上述第2實施方式中，非標準圖像數(shù)據(jù)生成部/飽和預(yù)測部12c中的飽和/非飽和的預(yù)測處理對應(yīng)于方式1、2、3、4、6和12中的某1個飽和預(yù)測單元或者方式13的飽和預(yù)測步驟；HDR圖像生成部12d對應(yīng)于方式2、4、6、9、10和12中的某1個HDR圖像數(shù)據(jù)生成單元或者方式13的HDR圖像數(shù)據(jù)生成步驟。
而且在上述第1實施方式中，作為非標準曝光像素數(shù)據(jù)說明了僅獲得短曝光像素數(shù)據(jù)的例子，但不限于此，還可以取代短曝光像素數(shù)據(jù)來獲得超短曝光像素數(shù)據(jù)，根據(jù)該超短曝光像素數(shù)據(jù)(V2)來預(yù)測飽和/非飽和。此時，T0與T2之比例如為100∶1，T2用的標準化系數(shù)K2為100。因此，上式(2)成為下式(3)這樣。
合成輸出＝10×(V2-Vmax/100)+V0...(3)即，在預(yù)測為標準曝光時間內(nèi)飽和的情況下，根據(jù)超短曝光像素數(shù)據(jù)(V2)和標準曝光像素數(shù)據(jù)(V0)來生成合成輸出(HDR像素數(shù)據(jù))。
而且，還可以除了短曝光像素數(shù)據(jù)之外，獲得超短曝光像素數(shù)據(jù)，根據(jù)它們來預(yù)測飽和/非飽和。此時，預(yù)測超短曝光時間T2的每單位時間的照射光量是否超過了在短曝光時間T1的時刻成為Vmax的照射光量S1，在超過的情況下，判定為該像素在標準曝光時間T0時飽和，并且使用超短曝光像素數(shù)據(jù)和標準曝光像素數(shù)據(jù)來生成合成輸出(HDR像素數(shù)據(jù))。由此，即使在T1時刻飽和的情況下，也能使用應(yīng)用了上述的聯(lián)合方式的線性合成方法對非飽和的T2時刻的像素數(shù)據(jù)進行線性合成，可以生成畫質(zhì)穩(wěn)定的HDR圖像數(shù)據(jù)。
而且，在上述實施方式中，由攝像裝置1和主機系統(tǒng)2構(gòu)成了攝像系統(tǒng)3，但不限于此，也可以構(gòu)成為使攝像裝置1完全具有主機系統(tǒng)2的功能，還可以構(gòu)成為使主機系統(tǒng)2具有攝像裝置1的影像處理系統(tǒng)的功能，還可以構(gòu)成為分離攝像裝置1的各構(gòu)成要素，例如經(jīng)由網(wǎng)絡(luò)連接各構(gòu)成要素之間的結(jié)構(gòu)等。例如可以設(shè)想分離攝像處理系統(tǒng)和影像處理系統(tǒng)來經(jīng)由網(wǎng)絡(luò)連接，拍攝遠處的影像并對其進行處理的結(jié)構(gòu)等。
權(quán)利要求
1.一種攝像元件，該攝像元件具有將光電轉(zhuǎn)換元件設(shè)置成多矩陣狀的光電轉(zhuǎn)換部和控制每幀的曝光時間的電子快門功能，所述光電轉(zhuǎn)換元件將所曝光的光轉(zhuǎn)換為電荷來進行蓄積，其特征在于，該攝像元件具有第1讀取單元，其從上述光電轉(zhuǎn)換部的曝光區(qū)域的上述光電轉(zhuǎn)換元件構(gòu)成的各像素中以破壞讀取方式讀取在標準曝光時間所曝光的電荷；第2讀取單元，其在與上述第1讀取單元相同的曝光期間內(nèi)，從上述光電轉(zhuǎn)換元件構(gòu)成的各像素中以非破壞讀取方式讀取在比上述標準曝光時間短的曝光時間即短曝光時間所曝光的電荷；以及飽和預(yù)測單元，其根據(jù)由上述第2讀取單元所讀取的在上述短曝光時間曝光時的電荷構(gòu)成的非標準曝光像素數(shù)據(jù)，來預(yù)測在上述標準曝光時間曝光時的各像素的蓄積電荷量是否飽和。
2.一種攝像裝置，該攝像裝置具有將光電轉(zhuǎn)換元件設(shè)置成多矩陣狀的光電轉(zhuǎn)換部和控制每幀的曝光時間的電子快門功能，所述光電轉(zhuǎn)換元件將所曝光的光轉(zhuǎn)換為電荷來進行蓄積，其特征在于，該攝像裝置具有第1讀取單元，其從上述光電轉(zhuǎn)換部的曝光區(qū)域的上述光電轉(zhuǎn)換元件構(gòu)成的各像素中以破壞讀取方式讀取在標準曝光時間所曝光的電荷；第2讀取單元，其在與上述第1讀取單元相同的曝光期間內(nèi)，從上述光電轉(zhuǎn)換元件構(gòu)成的各像素中以非破壞讀取方式讀取在比上述標準曝光時間短的曝光時間即短曝光時間所曝光的電荷；飽和預(yù)測單元，其根據(jù)由上述第2讀取單元所讀取的上述短曝光時間的電荷構(gòu)成的非標準曝光像素數(shù)據(jù)，來預(yù)測在上述標準曝光時間曝光時的各像素的蓄積電荷量是否飽和；以及HDR(High Dynamic Range)圖像數(shù)據(jù)生成單元，其根據(jù)上述飽和預(yù)測單元的預(yù)測結(jié)果，合成由上述第1讀取單元所讀取的在上述標準曝光時間曝光時的電荷構(gòu)成的標準曝光像素數(shù)據(jù)和上述非標準曝光像素數(shù)據(jù)，生成HDR圖像數(shù)據(jù)。
3.根據(jù)權(quán)利要求2所述的攝像裝置，其特征在于，上述第2讀取單元在與上述第1讀取單元相同的曝光期間內(nèi)，從上述光電轉(zhuǎn)換元件構(gòu)成的各像素中以非破壞讀取方式來依次讀取在比上述標準曝光時間短的多種短曝光時間所曝光的電荷，上述飽和預(yù)測單元根據(jù)由上述第2讀取單元所讀取的上述多種短曝光時間的電荷構(gòu)成的非標準曝光像素數(shù)據(jù)，來預(yù)測在上述標準曝光時間曝光時的各像素的蓄積電荷量是否飽和。
4.根據(jù)權(quán)利要求2或3所述的攝像裝置，其特征在于，該攝像裝置具有運算處理單元，該運算處理單元對由上述第2讀取單元所讀取的電荷構(gòu)成的上述非標準曝光像素數(shù)據(jù)進行規(guī)定的運算處理，上述飽和預(yù)測單元根據(jù)上述運算處理后的非標準曝光像素數(shù)據(jù)，預(yù)測上述標準曝光像素數(shù)據(jù)表示的亮度值是否為飽和值，上述HDR圖像數(shù)據(jù)生成單元根據(jù)上述飽和預(yù)測單元的預(yù)測結(jié)果，合成上述運算處理后的非標準曝光像素數(shù)據(jù)和上述標準曝光像素數(shù)據(jù)，生成上述HDR圖像數(shù)據(jù)。
5.根據(jù)權(quán)利要求4所述的攝像裝置，其特征在于，該攝像裝置具有第3讀取單元，該第3讀取單元從上述光電轉(zhuǎn)換元件構(gòu)成的各像素中讀取剛剛復(fù)位之后的電荷，上述運算處理單元進行如下的運算處理從由上述第2讀取單元所讀取的電荷構(gòu)成的上述非標準曝光像素數(shù)據(jù)中減去與該非標準曝光像素數(shù)據(jù)對應(yīng)的、由上述第3讀取單元所讀取的剛剛復(fù)位之后的電荷構(gòu)成的基準像素數(shù)據(jù)。
6.根據(jù)權(quán)利要求2至5中任一項所述的攝像裝置，其特征在于，上述HDR圖像數(shù)據(jù)生成單元從上述第2讀取單元所讀取的非標準曝光像素數(shù)據(jù)中選擇與被上述飽和預(yù)測單元預(yù)測為飽和的像素對應(yīng)的非標準曝光像素數(shù)據(jù)，從上述第1讀取單元所讀取的標準曝光像素數(shù)據(jù)中選擇與被上述飽和預(yù)測單元預(yù)測為不飽和的像素對應(yīng)的標準曝光像素數(shù)據(jù)，將這些所選擇的標準曝光像素數(shù)據(jù)和非標準曝光像素數(shù)據(jù)進行合成，生成上述HDR圖像數(shù)據(jù)。
7.根據(jù)權(quán)利要求6所述的攝像裝置，其特征在于，當不存在比與上述所選擇的非標準曝光像素數(shù)據(jù)對應(yīng)的短曝光時間更短的曝光時間的非標準曝光像素數(shù)據(jù)時，上述HDR圖像數(shù)據(jù)生成單元根據(jù)上述所選擇的非標準曝光像素數(shù)據(jù)和與該非標準曝光像素數(shù)據(jù)對應(yīng)的標準曝光像素數(shù)據(jù)，生成與上述所選擇的非標準曝光像素數(shù)據(jù)對應(yīng)的HDR像素數(shù)據(jù)；當存在比與上述所選擇的非標準曝光像素數(shù)據(jù)對應(yīng)的短曝光時間更短的曝光時間的非標準曝光像素數(shù)據(jù)時，上述HDR圖像數(shù)據(jù)生成單元根據(jù)上述所選擇的非標準曝光像素數(shù)據(jù)和與該非標準曝光像素數(shù)據(jù)對應(yīng)的上述較短的曝光時間的非標準曝光像素數(shù)據(jù)及標準曝光像素數(shù)據(jù)，生成與上述所選擇的非標準曝光像素數(shù)據(jù)對應(yīng)的HDR像素數(shù)據(jù)，并合成上述HDR像素數(shù)據(jù)和上述所選擇的標準曝光像素數(shù)據(jù)來生成上述HDR圖像數(shù)據(jù)。
8.根據(jù)權(quán)利要求7所述的攝像裝置，其特征在于，上述飽和預(yù)測單元比較根據(jù)上述非標準曝光像素數(shù)據(jù)預(yù)測的在標準曝光時間曝光時的各像素的蓄積電荷量所表示的亮度值和按照上述曝光時間的種類而設(shè)定的飽和預(yù)測用亮度值，根據(jù)該比較結(jié)果來預(yù)測在上述標準曝光時間曝光時的各像素的蓄積電荷量是否飽和，當不存在比與上述所選擇的非標準曝光像素數(shù)據(jù)即第1非標準曝光像素數(shù)據(jù)對應(yīng)的短曝光時間更短的曝光時間的非標準曝光像素數(shù)據(jù)即第2非標準曝光像素數(shù)據(jù)時，上述HDR圖像數(shù)據(jù)生成單元從上述第1非標準曝光像素數(shù)據(jù)所表示的亮度值中減去用該第1非標準曝光像素數(shù)據(jù)用的上述飽和預(yù)測用亮度值即第1飽和預(yù)測用亮度值除以第1標準化系數(shù)得到的結(jié)果，再使該相減結(jié)果與上述第1標準化系數(shù)相乘，然后使該相乘結(jié)果加上與該第1非標準曝光像素數(shù)據(jù)對應(yīng)的標準曝光像素數(shù)據(jù)來生成上述HDR像素數(shù)據(jù)。
9.根據(jù)權(quán)利要求8所述的攝像裝置，其特征在于，當上述標準曝光時間和與上述第1非標準曝光像素數(shù)據(jù)對應(yīng)的短曝光時間之比為“a∶b”時，將把上述未飽和的最大蓄積電荷量表示的亮度值除以“a/b”的結(jié)果作為上述第1飽和預(yù)測用亮度值，使用上述“a/b”作為上述第1標準化系數(shù)。
10.根據(jù)權(quán)利要求8所述的攝像裝置，其特征在于，在具有比上述第1非標準曝光像素數(shù)據(jù)更短的曝光時間的上述第2非標準曝光像素數(shù)據(jù)時，上述HDR圖像數(shù)據(jù)生成單元從上述第2非標準曝光像素數(shù)據(jù)所表示的亮度值中減去用該第2非標準曝光像素數(shù)據(jù)用的上述飽和預(yù)測用亮度值即第2飽和預(yù)測用亮度值除以第2標準化系數(shù)得到的結(jié)果，再使該相減結(jié)果與上述第2標準化系數(shù)相乘，然后使該相乘結(jié)果與上述第1非標準曝光像素數(shù)據(jù)表示的亮度值相加，從該相加的結(jié)果中減去上述第1飽和預(yù)測用亮度值，使該相減結(jié)果乘以上述第1標準化系數(shù)，使該相乘結(jié)果和與上述第1非標準曝光像素數(shù)據(jù)對應(yīng)的標準曝光像素數(shù)據(jù)所表示的亮度值相加來生成上述HDR像素數(shù)據(jù)。
11.根據(jù)權(quán)利要求10所述的攝像裝置，其特征在于，當上述標準曝光時間和與上述第1非標準曝光像素數(shù)據(jù)對應(yīng)的短曝光時間之比為“a∶b”時，將把上述未飽和的最大蓄積電荷量表示的亮度值除以“a/b”的結(jié)果作為上述第1飽和預(yù)測用亮度值；當上述標準曝光時間和與上述第2非標準曝光像素數(shù)據(jù)對應(yīng)的短曝光時間之比為“a∶c”時，將把上述未飽和的最大蓄積電荷量表示的亮度值除以“(a·b)/(a·c)”的結(jié)果作為上述第1飽和預(yù)測用亮度值，使用上述“a/b”作為上述第1標準化系數(shù)，使用上述“(a·b)/(a·c)”作為上述第2標準化系數(shù)。
12.一種攝像系統(tǒng)，該攝像系統(tǒng)具有將光電轉(zhuǎn)換元件設(shè)置成多矩陣狀的光電轉(zhuǎn)換部和控制每幀的曝光時間的電子快門功能，所述光電轉(zhuǎn)換元件將所曝光的光轉(zhuǎn)換為電荷來進行蓄積，其特征在于，該攝像系統(tǒng)具有第1讀取單元，其從上述光電轉(zhuǎn)換部的曝光區(qū)域的上述光電轉(zhuǎn)換元件構(gòu)成的各像素中以破壞讀取方式讀取在標準曝光時間所曝光的電荷；第2讀取單元，其在與上述第1讀取單元相同的曝光期間內(nèi)，從上述光電轉(zhuǎn)換元件構(gòu)成的各像素中以非破壞讀取方式讀取在比上述標準曝光時間短的曝光時間即短曝光時間所曝光的電荷；飽和預(yù)測單元，其根據(jù)由上述第2讀取單元所讀取的上述短曝光時間的電荷構(gòu)成的非標準曝光像素數(shù)據(jù)，來預(yù)測在上述標準曝光時間曝光時的各像素的蓄積電荷量是否飽和；以及HDR(High Dynamic Range)圖像數(shù)據(jù)生成單元，其根據(jù)上述飽和預(yù)測單元的預(yù)測結(jié)果，合成上述第1讀取單元所讀取的在上述標準曝光時間曝光時的電荷構(gòu)成的標準曝光像素數(shù)據(jù)和上述非標準曝光像素數(shù)據(jù)，生成HDR圖像數(shù)據(jù)。
13.一種攝像方法，該攝像方法用于具有將光電轉(zhuǎn)換元件設(shè)置成多矩陣狀的光電轉(zhuǎn)換部和控制每幀的曝光時間的電子快門功能的攝像裝置，所述光電轉(zhuǎn)換元件將所曝光的光轉(zhuǎn)換為電荷來進行蓄積，其特征在于，該攝像方法具有第1讀取步驟，其從上述光電轉(zhuǎn)換部的曝光區(qū)域的上述光電轉(zhuǎn)換元件構(gòu)成的各像素中以破壞讀取方式讀取在標準曝光時間所曝光的電荷；第2讀取步驟，其在與上述第1讀取步驟中的曝光期間相同的曝光期間內(nèi)，從上述光電轉(zhuǎn)換元件構(gòu)成的各像素中以非破壞讀取方式讀取在比上述標準曝光時間短的曝光時間即短曝光時間所曝光的電荷；飽和預(yù)測步驟，其根據(jù)由在上述第2讀取步驟中讀取的上述短曝光時間的電荷構(gòu)成的非標準曝光像素數(shù)據(jù)，來預(yù)測在上述標準曝光時間曝光時的各像素的蓄積電荷量是否飽和；以及HDR(High Dynamic Range)圖像數(shù)據(jù)生成步驟，其根據(jù)上述飽和預(yù)測步驟的預(yù)測結(jié)果，合成由在上述第1讀取步驟中讀取的在上述標準曝光時間曝光時的電荷構(gòu)成的標準曝光像素數(shù)據(jù)和上述非標準曝光像素數(shù)據(jù)，生成HDR圖像數(shù)據(jù)。
全文摘要
本發(fā)明提供一種攝像元件及攝像裝置，其可根據(jù)在比標準曝光時間短的曝光時間(非標準曝光時間)內(nèi)所曝光的各像素的像素數(shù)據(jù)，預(yù)測在標準曝光時間的曝光時該各像素是否飽和，還可根據(jù)上述預(yù)測結(jié)果將標準曝光時間的像素數(shù)據(jù)和非標準曝光時間的像素數(shù)據(jù)進行合成來生成HDR圖像。攝像裝置(1)包含攝像處理系統(tǒng)(10)，其在1次標準曝光期間內(nèi)，通過對于傳感器單元陣列(56)的曝光區(qū)域的標準曝光時間的曝光來拍攝圖像，同時通過非標準曝光時間的曝光來拍攝圖像；和影像處理系統(tǒng)(12)，其根據(jù)非標準曝光時間的圖像數(shù)據(jù)來預(yù)測各像素在標準曝光時間的曝光下是否飽和，并根據(jù)預(yù)測結(jié)果來合成標準曝光時間和非標準曝光時間的攝像圖像數(shù)據(jù)以生成HDR圖像數(shù)據(jù)。
文檔編號H04N5/243GK101072303SQ20071010742
公開日2007年11月14日 申請日期2007年5月11日 優(yōu)先權(quán)日2006年5月11日
發(fā)明者倉根治久 申請人:精工愛普生株式會社