固態(tài)攝像元件和電子裝置的制造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及固態(tài)攝像元件和電子裝置，特別地，涉及能夠改善照度值的線性度的固態(tài)攝像元件和電子裝置。
【背景技術(shù)】
[0002]一般而言，在圖像傳感器中，輸出的數(shù)量和模擬數(shù)字轉(zhuǎn)換器(ADC)分辨率分別是幾兆(M)至幾十兆(M)的輸出以及1位。另一方面，在照度計(jì)中，輸出的數(shù)量和ADC分辨率分別是I輸出和16位。因此，當(dāng)圖像傳感器用于照度計(jì)時(shí)，需要對輸出值進(jìn)行加運(yùn)算并且需要對動(dòng)態(tài)范圍進(jìn)行擴(kuò)展(例如，參照專利文獻(xiàn)I)。
[0003]因此，在用于照度計(jì)的圖像傳感器中(以下，被稱為照度用圖像傳感器)，通常對各幀進(jìn)彳丁多次曝光。
[0004]具體地，照度用圖像傳感器首先用較長的曝光時(shí)間進(jìn)行成像且對獲得的長期累積圖像的各像素值進(jìn)行積分來產(chǎn)生長期累積值。然后，照度用圖像傳感器用較短的曝光時(shí)間進(jìn)行成像且對獲得的短期累積圖像的各像素值進(jìn)行積分來產(chǎn)生短期累積值。照度用圖像傳感器將長期累積圖像的曝光時(shí)間與短期累積圖像的曝光時(shí)間的比設(shè)定為增益，并且將短期累積值乘以該增益。根據(jù)攝取長期累積圖像時(shí)在所有像素中是否存在累積電荷的飽和，照度用圖像傳感器將通過乘以增益后獲得的短期累積值或長期累積值選作照度值。這使得能夠擴(kuò)展照度值的動(dòng)態(tài)范圍。
[0005]然而，當(dāng)攝取長期累積圖像時(shí)僅僅一些像素中的累積電荷飽和時(shí)，因?yàn)閷㈤L期累積值選作照度值，所以照度值的線性度劣化。此外，短期累積值乘以增益，且因此當(dāng)A/D轉(zhuǎn)換等造成的噪聲出現(xiàn)在像素值中時(shí)，通過乘以增益而獲得的短期累積值的噪聲大于長期累積值的噪聲。因此，當(dāng)長期累積值被替換為乘以增益后獲得的短期累積值時(shí)，照度值的線性度劣化。
[0006]引用列表
[0007]專利文獻(xiàn)
[0008]專利文獻(xiàn)1:特開JP 2007-221624號公報(bào)

【發(fā)明內(nèi)容】

[0009]技術(shù)問題
[0010]如上所述，在照度用圖像傳感器中，在一些情況下，照度值的線性度劣化。
[0011]鑒于這些情況做出了本發(fā)明，本發(fā)明的目的是改善照度值的線性度。
[0012]問題的解決方案
[0013]根據(jù)本發(fā)明的第一方面，提出一種固態(tài)攝像元件，其包括:動(dòng)態(tài)范圍擴(kuò)展器，所述動(dòng)態(tài)范圍擴(kuò)展器被構(gòu)造為根據(jù)多個(gè)像素的具有不同曝光時(shí)間的像素值來擴(kuò)展各像素的像素值的動(dòng)態(tài)范圍；和積分器，所述積分器被構(gòu)造為對具有被所述動(dòng)態(tài)范圍擴(kuò)展器擴(kuò)展的動(dòng)態(tài)范圍的像素值進(jìn)行積分且產(chǎn)生照度值。
[0014]根據(jù)本發(fā)明第一實(shí)施例的電子裝置對應(yīng)于根據(jù)本發(fā)明第一實(shí)施例的固態(tài)攝像元件。
[0015]在本發(fā)明的第一實(shí)施例中，根據(jù)多個(gè)像素的具有不同曝光時(shí)間的像素值來擴(kuò)展各像素的像素值的動(dòng)態(tài)范圍，且對具有擴(kuò)展的動(dòng)態(tài)范圍的像素值進(jìn)行積分，從而產(chǎn)生照度值。
[0016]根據(jù)本發(fā)明的第二方面，提出一種固態(tài)攝像元件，其包括:動(dòng)態(tài)范圍擴(kuò)展器，所述動(dòng)態(tài)范圍擴(kuò)展器被構(gòu)造為根據(jù)多個(gè)像素的第一曝光時(shí)間的像素值和第二曝光時(shí)間的像素值來擴(kuò)展所述多個(gè)像素的像素值的積分值的動(dòng)態(tài)范圍；乘法器，所述乘法器被構(gòu)造為生成如下的值作為照度值:所述值是通過將具有被所述動(dòng)態(tài)范圍擴(kuò)展器擴(kuò)展的動(dòng)態(tài)范圍的積分值乘以與一對所述第一曝光時(shí)間和所述第二曝光時(shí)間相對應(yīng)的增益而獲得的值;和選擇器，所述選擇器被構(gòu)造為根據(jù)所述照度值從預(yù)定對的多個(gè)倍數(shù)中選擇與所述乘法器產(chǎn)生的照度值相對應(yīng)的幀的下一幀的所述一對所述第一曝光時(shí)間和所述第二曝光時(shí)間。
[0017]根據(jù)本發(fā)明第二實(shí)施例的電子裝置對應(yīng)于根據(jù)本發(fā)明第二實(shí)施例的固態(tài)攝像元件。
[0018]在本發(fā)明的第二實(shí)施例中，根據(jù)多個(gè)像素的第一曝光時(shí)間的像素值和第二曝光時(shí)間的像素值來擴(kuò)展所述多個(gè)像素的像素值的積分值的動(dòng)態(tài)范圍，將通過將具有擴(kuò)展的動(dòng)態(tài)范圍的積分值乘以與一對所述第一曝光時(shí)間和所述第二曝光時(shí)間相對應(yīng)的增益而獲得的值產(chǎn)生為照度值，且根據(jù)所述照度值從預(yù)定對的倍數(shù)中選擇與所述乘法器產(chǎn)生的照度值相對應(yīng)的幀的下一幀的所述一對所述第一曝光時(shí)間和所述第二曝光時(shí)間。
[0019]本發(fā)明的有益效果
[0020]根據(jù)本發(fā)明，能夠產(chǎn)生照度值。此外，根據(jù)本發(fā)明，能夠改善照度值的線性度。
[0021]注意，未必限于此處所述的效果，而是能夠?qū)崿F(xiàn)本文中所公開的任何效果。
【附圖說明】
[0022]圖1用來說明多次曝光圖像傳感器的長期累積圖像和短期累積圖像的曝光。
[0023]圖2圖示了多次曝光圖像傳感器中的照度值計(jì)算器的示例性構(gòu)造。
[0024]圖3用來說明圖2的選擇器輸出的照度值。
[0025]圖4用來說明照度值的線性度的劣化。
[0026]圖5用來說明照度值的線性度的劣化。
[0027]圖6用來說明照度值的線性度的劣化的另一個(gè)示例。
[0028]圖7圖示了作為應(yīng)用本發(fā)明的固態(tài)攝像元件的CMOS圖像傳感器的第一實(shí)施例的第一構(gòu)造例。
[0029]圖8圖示了圖7的短期累積像素和長期累積像素的示例性構(gòu)造。
[0030]圖9圖示了動(dòng)態(tài)范圍擴(kuò)展器和積分器的示例性構(gòu)造。
[0031]圖1O用來說明圖7的CMOS圖像傳感器輸出的照度值。
[0032]圖11是用來說明圖7的CMOS圖像傳感器進(jìn)行的照度值計(jì)算處理的流程圖。
[0033]圖12圖示了作為應(yīng)用本發(fā)明的固態(tài)攝像元件的CMOS圖像傳感器的第一實(shí)施例的第二構(gòu)造例。
[0034]圖13是用來說明圖12的CMOS圖像傳感器進(jìn)行的照度值計(jì)算處理的流程圖。
[0035]圖14是圖示了作為應(yīng)用本發(fā)明的固態(tài)攝像元件的CMOS圖像傳感器的第二實(shí)施例的示例性構(gòu)造的框圖。
[0036]圖15用來說明圖14的判定單元的閾值。
[0037]圖16是用來說明由圖14的CMOS圖像傳感器進(jìn)行的照度值計(jì)算處理的流程圖。
[0038]圖17是圖示了作為應(yīng)用本發(fā)明的固態(tài)攝像元件的CMOS圖像傳感器的第三實(shí)施例的示例性構(gòu)造的框圖。
[0039]圖18圖示了像素陣列部的短期累積像素和長期累積像素的另一示例性構(gòu)造。
[0040]圖19是圖示了用作應(yīng)用本發(fā)明的電子裝置的照度計(jì)的示例性構(gòu)造的框圖。
【具體實(shí)施方式】
[0041 ]〈本發(fā)明的前提〉
[0042](每幀進(jìn)行多次曝光的照度用圖像傳感器的曝光的說明)
[0043]圖1用來說明對每幀進(jìn)行多次曝光的照度用圖像傳感器(以下，被稱為多次曝光圖像傳感器)的長期累積圖像和短期累積圖像的曝光。
[0044]在圖1所示的圖形中，橫軸表示時(shí)間，且縱軸表示從多次曝光圖像傳感器中的像素陣列部的各行的起始算起的行數(shù)。
[0045]如圖1所示，多次曝光圖像傳感器以幀為單位順序地?cái)z取長期累積圖像和短期累積圖像。在圖1的示例中，多次曝光圖像傳感器以長期累積圖像和短期累積圖像這樣的順序進(jìn)行攝像。
[0046]此外，在圖1的示例中，長期累積圖像的曝光時(shí)間是短期累積圖像的曝光時(shí)間的64倍。換言之，從以行為單位對長期累積圖像的各像素的累積電荷進(jìn)行復(fù)位(長期累積快門)至以行為單位進(jìn)行讀取(長期累積讀取)的時(shí)間是從以行為單位對短期累積圖像的各像素的累積電荷進(jìn)行復(fù)位(短期累積快門)至以行為單位進(jìn)行讀取(短期累積讀取)的時(shí)間的64倍。
[0047](多次曝光圖像傳感器中的照度值計(jì)算器的示例性構(gòu)造)
[0048]圖2圖示了多次曝光圖像傳感器的從長期累積圖像和短期累積圖像中計(jì)算照度值的照度值計(jì)算器的示例性構(gòu)造。
[0049]圖2的照度值計(jì)算器10被構(gòu)造為包括加法器11、寄存器12、乘法器13、飽和檢測器
14、加法器15、寄存器16、乘法器17和選擇器18。
[0050]加法器11順序地接收在圖1所示的曝光時(shí)間內(nèi)攝取的長期累積圖像的各像素值作為該加法器的輸入。加法器11將輸入的像素值與保持于寄存器12中的像素值相加。加法器11將相加而獲得的值供給至寄存器12。寄存器12保持加法器11供給來的加法值。寄存器12將保持的加法值供給至加法器U。因此，輸入至加法器11的長期累積圖像像素值被順序地積分。當(dāng)所有的長期累積圖像的像素值被積分時(shí)，保持于寄存器12的加法值被供給至乘法器13。
[0051]乘法器13將從寄存器12供給來的加法值乘以作為增益的I。乘法器13將通過乘法而獲得的值供給至飽和檢測器14和選擇器18。
[0052]例如，飽和檢測器14將下述值設(shè)定為閾值，所述值接近于通過針對所有像素值對長期累積圖像的像素值的最大值進(jìn)行積分而獲得的值，并且飽和檢測器14將所述閾值與從乘法器13供給的乘法值進(jìn)行比較。當(dāng)所述乘法值小于閾值時(shí)，飽和檢測器14生成代表飽和不存在的O作為用于表示存在或不存在飽和的飽和信號。另一方面，當(dāng)所述乘法值大于或等于閾值時(shí)，飽和檢測器14生成代表飽和存在的I作為所述飽和信號。飽和檢測器14將飽和信號供給至選擇器18。
[0053]加法器15順序地接收在圖1所示的曝光時(shí)間內(nèi)攝取的短期累積圖像的各像素值作為該加法器的輸入。加法器15將輸入的像素值與保持于寄存器16的像素值相加。加法器15將通過加法而獲得的值供給至寄存器16。寄存器16保持加法器15供給來的加法值。寄存器16將保持的加法值供給至加法器15。因此，輸入至加法器15的短期累積圖像像素值被順序地積分。當(dāng)所有的短期累積圖像的像素值被積分時(shí)，保持于寄存器16的加法值被供給至乘法器17。
[0054]乘法器17將從寄存器16供給來的加法值乘以作為增益的64。乘法器17將通過乘法而獲得的值供給至選擇器18。
[0055]當(dāng)從飽和檢測器14供給來的飽和信號設(shè)定為O時(shí)，選擇器18選擇從乘法器13供給來的乘法值且將選擇的該乘法值除以多次曝光圖像傳感器的像素?cái)?shù)。選擇器18輸出由此產(chǎn)生的像素值的平均值作為照度值。另一方面，當(dāng)飽和信號設(shè)定為I時(shí)，選擇器18選擇從乘法器17供給來的乘法值且將選擇的該乘法值除以多次曝光圖像傳感器的像素?cái)?shù)。選擇器18輸出由此產(chǎn)生的像素值的平均值作為照度值。這樣，以圖像為單位進(jìn)行了照度值的動(dòng)態(tài)范圍擴(kuò)展。
[0056]如圖2所示，照度值計(jì)算器10不必設(shè)置用于存儲(chǔ)第一曝光時(shí)的圖像(圖1示例中的長期累積圖像)的幀存儲(chǔ)器以對像素值進(jìn)行積分。
[0057](照度值的說明)
[0058]圖3用來說明圖2的選擇器18輸出的照度值。
[0059]在圖3中，橫軸表示入射至多次曝光圖像傳感器的各像素的光(以下，被稱為入射光)的照度，且縱軸表示各像素的像素值或選擇器18輸出的照度值。在圖3的示例中，假設(shè):各像素的入射光的照度是相同的且各像素的像素值也是相同的。
[0060]如圖3所示，當(dāng)攝取長期累積圖像時(shí)所有像素的累積電荷未飽和時(shí)，選擇器18輸出具有高信噪比(SNR)的長期累積圖像的像素值的平均值作為照度值。此外，當(dāng)攝取長期累積圖像時(shí)的所有像素的累積電荷飽和時(shí)，選擇器18輸出短期累積圖像的像素值的平均值作為照度值以擴(kuò)展動(dòng)態(tài)范圍。因此，照度值的動(dòng)態(tài)范圍變成64倍。因此，例如，當(dāng)像素值的位數(shù)是10位時(shí)，照度值的位數(shù)變成16位。
[0061](照度值的線性度的劣化的說明)
[0062]然后，參照圖4和圖5說明從圖2的選擇器18輸出的照度值的線性度的劣化。
[0063]圖4圖示了這樣的長期累積圖像的示例，其中，在攝像期間僅一些像素組中的累積電荷飽和。
[0064]圖4圖示出:濃度越高，像素值越小。在圖4的示例中，僅與長期累積圖像30的左下區(qū)域31相對應(yīng)的像素組中的累積電荷飽和，且不管入射光的照度如何，區(qū)域31的像素值都變成最大值。
[0065]在這種情況下，攝取長期累積圖像30時(shí)不是所有像素的累積電荷都飽和，且因此，選擇器18選擇長期累積圖像的乘法值。然而，累積電荷的飽和使區(qū)域31的像素值無法與入射光的照度成比例。因此，如圖5所示，相比于與入射光的照度成比例的理想的照度值52的線性度相比，照度值51的線性度劣化。在圖5中，橫軸表示照度且縱軸表示照度值。
[0066](照度值的線性度的另一劣化的說明)
[0067]然后，參照圖6說明照度值的線性度的另一劣化。
[0068]在圖6中，橫軸表示各像素的入射光的照度且縱軸表示照度值或各像素的像素值。在圖6的示例中，假設(shè):各像素的入射光的照度是相同的且各像素的像素值也是相同的。此夕卜，當(dāng)長期累積圖像的乘法值大于或等于960LSB時(shí)，飽和信號被設(shè)定為I，而當(dāng)長期累積圖像的乘法值小于960LSB時(shí)，飽和信號被設(shè)定為O。
[0069]線性度劣化因素(諸如對攝像信號(S卩，各像素的累積電荷的模擬信號)進(jìn)行A/D轉(zhuǎn)換的列ADC內(nèi)的噪聲等)被包含在作為與各像素的累積電荷相對應(yīng)的數(shù)字值的像素值內(nèi)。在多次曝光圖像傳感器中，對所有像素的像素值進(jìn)行積分，從而消除了除了列ADC內(nèi)的噪聲以外的各像素的不同噪聲，因此，由除了列ADC內(nèi)的噪聲以外的上述不同噪聲造成的誤差小。然而，對于各像素而言一致地出現(xiàn)的噪聲(例如列ADC內(nèi)的噪聲等)隨著像素值的積分而增大，因此，由這樣的噪聲造成的誤差大。
[0070]例如，當(dāng)由于列ADC內(nèi)的噪聲等造成的像素值誤差是土ILSB時(shí)，如圖6所示，增益為I的長期累積圖像的乘法值的平均值的誤差是±1LSB。然而，增益為64的短期累積圖像的乘法值的平均值的誤差是±64LSB。因此，當(dāng)切換選擇器18的選擇時(shí)(S卩，當(dāng)切換飽和信號時(shí))，照度值的誤差變化顯著，因此，線性度劣化。
[0071]換言之，當(dāng)切換選擇器18的選擇時(shí)，長期累積圖像的乘法值的平均值的誤差在960LSB ± ILSB的范圍內(nèi)變化。另一方面，短期累積圖像的像素值在15LSB ± ILSB的范圍內(nèi)變化，但是該范圍被乘以作為增益的64且因此短期累積圖像的乘法值的平