攝像元件、攝像設備和圖像處理方法
【技術領域】
[0001]本發(fā)明涉及一種攝像元件和攝像設備，尤其涉及一種能夠獲得多個視差圖像信號的攝像元件以及包括該攝像元件的攝像設備。
【背景技術】
[0002]在現有技術中，提出了這樣一種攝像設備，其中，在該攝像設備中，攝像鏡頭的出射光瞳被分成多個區(qū)域，從而使得同時拍攝與通過分割所獲得的光瞳區(qū)域相對應的多個視差圖像。
[0003]美國專利4410804公開了一種使用二維攝像元件的攝像設備，其中，針對一個像素，形成一個微透鏡和多個分割光電轉換部。分割光電轉換部被配置成通過一個微透鏡接收來自攝像鏡頭的出射光瞳的不同光瞳子區(qū)域的光來分割光瞳。通過分割光電轉換部接收光所獲得的各個信號，生成與光瞳子區(qū)域相對應的多個視差圖像。日本特開2001-083407說明了對通過像素中的分割光電轉換部接收光所獲得的所有信號進行相加，來生成被攝體的攝像圖像。
[0004]多個所拍攝的視差圖像相當于作為與光強度的空間分布和角度分布有關的信息的光場(LF)數據。斯坦福技術報告CTSR 2005-2, I (2005)公開了一種再調焦技術，在該技術中，通過使用所獲得的LF數據繪制與攝像平面不同的虛擬成像平面處的合成圖像，以在攝像之后改變攝像圖像的聚焦位置。
[0005]日本特開2008-299184公開了一種使用攝像元件的攝像設備。該攝像元件包括用于遮擋除受光面的一部分以外的大部分(一半以上)區(qū)域的光的遮光層，其中，遮光層包括在各像素的微透鏡和光電轉換部的受光面之間所形成的開口部。日本特開2008-299184公開了一種攝像元件，其被配置成針對一組像素中所包括的各像素以預定圖案使得遮光層的開口部偏心，以接收來自攝像鏡頭的出射光瞳的不同光瞳子區(qū)域的光。這樣，分割攝像鏡頭的出射光瞳以拍攝與通過分割所獲得的光瞳子區(qū)域相對應的多個視差圖像?？梢酝ㄟ^利用配線層在正常攝像像素中形成包括開口部的遮光層，來形成這種像素結構。這樣制造出利用簡單結構獲得多個視差圖像的攝像元件。
【發(fā)明內容】
[0006]根據本發(fā)明的一個實施例，提供一種攝像元件，包括:像素矩陣，其中在所述像素矩陣中，以預定數量的像素的矩陣為單位配置多個像素，其中各個像素包括用于對成像光學系統(tǒng)所形成的被攝體的光學圖像進行光電轉換的光電轉換部；光瞳分割部，其被配置在各個像素的所述光電轉換部的受光面?zhèn)?，以分割所述成像光學系統(tǒng)的光瞳區(qū)域；以及遮光部，其被配置在各個像素的所述光瞳分割部和所述光電轉換部之間，以遮擋所述光電轉換部的受光面的預定區(qū)域，其特征在于，所述預定數量的像素的矩陣中所包括的各個像素的所述預定區(qū)域，對應于在所述光瞳分割部分割所述光瞳區(qū)域時所獲得的所述預定數量的分割光瞳區(qū)域中的任一個，并且所述預定區(qū)域在所述受光面中的比例小于所述遮光部未遮擋的區(qū)域在所述受光面中的比例。
[0007]本發(fā)明還提供一種攝像設備，其特征在于，包括:上述的攝像元件；圖像處理單元，用于對從所述攝像元件的各個像素所輸出的像素信號進行處理；以及控制單元，用于控制所述圖像處理單元，以生成與對應于所述預定區(qū)域的分割光瞳區(qū)域相對應的視差圖像的像素信號，其中，用于生成所述視差圖像的像素信號的控制包括如下控制:針對各個所述預定數量的像素的矩陣，對從所述多個像素所輸出的像素信號進行相加，以生成所述被攝體的拍攝圖像的像素信號；針對各個所述預定數量的像素的矩陣，獲得從預定像素所輸出的像素信號，以生成原始視差圖像的像素信號；以及從所述拍攝圖像的像素信號減去乘以預定系數后的原始視差圖像的像素信號，以生成所述視差圖像的像素信號。
[0008]本發(fā)明還提供一種圖像處理方法，用于處理從攝像元件的各個像素所輸出的像素信號，其中，所述攝像元件包括:像素矩陣，其中在所述像素矩陣中，以預定數量的像素的矩陣為單位配置多個像素，其中各個像素包括用于對成像光學系統(tǒng)所形成的被攝體的光學圖像進行光電轉換的光電轉換部；光瞳分割部，其被配置在各個像素的所述光電轉換部的受光面?zhèn)龋苑指钏龀上窆鈱W系統(tǒng)的光瞳區(qū)域；以及遮光部，其被配置在各個像素的所述光瞳分割部和所述光電轉換部之間，以遮擋所述光電轉換部的受光面的預定區(qū)域，所述預定數量的像素的矩陣中所包括的各個像素的所述預定區(qū)域，對應于在所述光瞳分割部分割所述光瞳區(qū)域時所獲得的所述預定數量的分割光瞳區(qū)域中的任一個，其特征在于，所述圖像處理方法包括以下步驟:針對各個所述預定數量的像素的矩陣，對從所述多個像素所輸出的像素信號進行相加，以生成所述被攝體的拍攝圖像的像素信號；針對各個所述預定數量的像素的矩陣，獲得從預定像素所輸出的像素信號，以生成原始視差圖像的像素信號；以及從所述拍攝圖像的像素信號減去乘以預定系數后的原始視差圖像的像素信號，以生成所述視差圖像的像素信號。
[0009]通過以下參考附圖對典型實施例的說明，本發(fā)明的其它特征將顯而易見。
【附圖說明】
[0010]圖1是應用根據本發(fā)明第一實施例的攝像元件的攝像設備的示意性結構圖。
[0011]圖2是根據本發(fā)明第一實施例的攝像元件的像素矩陣的示意性平面圖。
[0012]圖3A和3B分別是根據本發(fā)明第一實施例的攝像元件的子區(qū)域的示意性平面圖和示意性橫斷面圖。
[0013]圖4是根據本發(fā)明第一實施例的形成單位像素的子像素的示意性平面圖。
[0014]圖5是根據現有技術的形成單位像素的子像素的示意性平面圖。
[0015]圖6是示出根據本發(fā)明第一實施例的攝像元件的子像素與受光光瞳子區(qū)域和非受光光瞳子區(qū)域的對應關系的圖。
[0016]圖7是示出根據本發(fā)明第一實施例的形成單位像素的多個子像素與受光光瞳子區(qū)域和非受光光瞳子區(qū)域的對應關系的圖。
[0017]圖8是示出根據本發(fā)明第一實施例的攝像元件獲得視差圖像信號的概念的圖。
[0018]圖9是示出根據本發(fā)明第一實施例的攝像元件的子像素的光瞳強度分布的例子的圖。
[0019]圖10是根據本發(fā)明第一實施例的形成攝像元件的單位像素的子像素的光瞳分割的示意性平面圖。
[0020]圖11是應用了根據本發(fā)明第一實施例的攝像元件的攝像設備的視差圖像生成操作的流程圖。
[0021]圖12是根據本發(fā)明第一實施例的變形例的攝像元件中的像素矩陣的示意性平面圖。
[0022]圖13是根據本發(fā)明第二實施例的攝像元件中的像素矩陣的示意性平面圖。
[0023]圖14A和14B分別是根據本發(fā)明第二實施例的攝像元件中所包括的子像素的示意性平面圖和示意性橫斷面圖。
【具體實施方式】
[0024]現參考附圖詳細說明本發(fā)明的優(yōu)選實施例。
[0025]現有技術的攝像元件遮擋各像素的光電轉換部的、除受光面的一部分以外的大部分(一半以上)區(qū)域中的光來分割光瞳。因此，存在的問題是攝像元件的受光感光度顯著降低。因此，考慮到上述問題做出本發(fā)明，并且本發(fā)明目的是提供一種攝像元件和一種攝像設備，其中，該攝像元件在各像素中的光電轉換部的受光面中形成遮光層以分割光瞳，并且能夠在抑制受光感光度降低的情況下獲得多個視差圖像。參考附圖詳細說明本發(fā)明的實施例。
[0026]第一實施例
[0027]參考圖1?12說明本發(fā)明的第一實施例。
[0028]圖1是示出作為應用根據本實施例的攝像元件的攝像設備的照相機的結構的圖。攝像設備可以是如圖1所示與鏡頭一體化的攝像設備，或者可以由鏡頭設備和攝像設備主體構成，其中，鏡頭設備包括用于形成被攝體的光學圖像的成像光學系統(tǒng)，攝像設備主體包括攝像元件并且可拆卸地裝配鏡頭設備。
[0029]在圖1中，第一透鏡單元101被配置在成像光學系統(tǒng)的前端，并且被保持成可在光軸方向上進退。光圈快門102調整其開口直徑來調整攝像期間的光量，并且具有用于在拍攝靜止圖像時按照秒來調整曝光時間的快門功能。附圖標記103表示第二透鏡單元。光圈快門102和第二透鏡單元103在光軸方向上整體地進退，并且與第一透鏡單元101的進退操作連動地進行變焦動作(變焦功能)。
[0030]第三透鏡單元105在光軸方向上進退以調節(jié)焦點。光學低通濾波器106是用于降低拍攝圖像中的偽色和摩爾紋的光學元件。攝像元件107包括二維互補金屬氧化物半導體(CMOS)及其周邊部，并且具有如下所述的根據本實施例的結構。
[0031]變焦致動器111轉動凸輪筒(未示出)以驅動第一透鏡單元101或者第二透鏡單元103在光軸方向上進退，從而進行變焦操作。光圈快門致動器112控制光圈快門102的開口直徑以調節(jié)攝像期間的光量，并且在拍攝靜止圖像時進行曝光時間控制。調焦致動器114驅動第三透鏡單元105在光軸方向上進退，從而調節(jié)焦點。
[0032]攝像期間所使用的照明單元115是用于照明被攝體的電子閃光燈，并且優(yōu)選使用氙氣管的閃光燈裝置，但是還可以使用包括連續(xù)發(fā)射光的發(fā)光二極管(LED)的照明裝置。自動調焦(AF)輔助光單元116通過投射透鏡將具有預定開口圖案的掩模的圖像投射在視場上，以提高用于暗被攝體或者具有低對比度的被攝體的焦點檢測能力。
[0033]中央處理單元(CPU) 121是設置在照相機中的、用于控制照相機的各方面的CPU，并且包括運算部、只讀存儲器(ROM)、隨機存取存儲器(RAM)、模數(A/D)轉換器、數模(D/A)轉換器和通信接口部等。CPU基于存儲在ROM中的預定程序，驅動照相機中所包括的各種單元，并且執(zhí)行諸如AF、攝像以及圖像處理和存儲等的一系列操作。
[0034]電子閃光燈控制單元122進行控制以與攝像操作同步啟動照明單元115。輔助光驅動單元123進行控制以與焦點檢測操作同步啟動AF輔助光單元116。攝像元件驅動單元124控制攝像元件107的攝像操作，并且對所獲得