進(jìn)深推定攝像裝置制造方法
【專利摘要】本發(fā)明的攝像裝置具備：光透過(guò)部(1)，其由分別具有使入射光發(fā)生衍射的衍射區(qū)域(1D1、1D2)、使入射光不發(fā)生衍射地透過(guò)的透明區(qū)域(1CLR)、以及被配置為與衍射區(qū)域(1D1、1D2)的至少一部分重疊的偏振區(qū)域(1P1、1P2)的多個(gè)部分(1AB)構(gòu)成；攝像元件，其將分別具有第1感光單元、第2感光單元、以及配置于與所述第1感光單元對(duì)置的位置的偏振濾波器的多個(gè)單位要素二維排列在攝像面上；成像部，其構(gòu)成為在所述攝像面上形成透過(guò)所述透明區(qū)域的光所形成的像、以及由透過(guò)所述衍射區(qū)域的光所形成的像。
【專利說(shuō)明】進(jìn)深推定攝像裝置
【技術(shù)領(lǐng)域】
[0001]本申請(qǐng)涉及一種用于利用I組光學(xué)系統(tǒng)和I個(gè)攝像元件取得被攝體的進(jìn)深信息的單眼的三維攝像技術(shù)。
【背景技術(shù)】
[0002]近年來(lái)，關(guān)于采用了 CXD或CMOS等固體攝像元件(以下稱為“攝像元件”。)的數(shù)碼相機(jī)或數(shù)字電影的高功能化、高性能化備受矚目。尤其隨著半導(dǎo)體制造技術(shù)的進(jìn)步，攝像元件中的像素構(gòu)造的微細(xì)化得到發(fā)展。其結(jié)果，實(shí)現(xiàn)了攝像元件的像素以及驅(qū)動(dòng)電路的高集成化。因此，在僅僅數(shù)年中攝像元件的像素?cái)?shù)便從100萬(wàn)像素程度顯著地增加到1000萬(wàn)像素以上。進(jìn)而，通過(guò)攝像所得到的圖像的質(zhì)量也飛躍地提高。另一方面，關(guān)于顯示裝置，由薄型的液晶或等離子制成的顯示器不占地方、能夠以高分辨率進(jìn)行高對(duì)比度的顯示，從而實(shí)現(xiàn)高的性能。這種影像的高品質(zhì)化的潮流正在從二維圖像向三維圖像擴(kuò)展。在最近，雖然需要偏振眼鏡，但高畫(huà)質(zhì)的三維顯示裝置也開(kāi)始開(kāi)發(fā)。
[0003]關(guān)于三維攝像技術(shù)，作為具有單純構(gòu)成的代表性的方式，存在使用由2個(gè)照相機(jī)構(gòu)成的攝像系統(tǒng)，分別取得右眼用的圖像以及左眼用的圖像的方式。在這樣的所謂雙眼攝像方式中，由于使用2個(gè)照相機(jī)，因此攝像裝置變得大型，成本也會(huì)變?yōu)楹芨?。因此，?duì)使用I個(gè)照相機(jī)取得具有視差的多個(gè)圖像(以下有時(shí)稱為“多視點(diǎn)圖像”)的方式(單眼攝像方式)進(jìn)行了研究。
[0004]例如，在專利文獻(xiàn)1、2中，已經(jīng)公開(kāi)了使用透過(guò)軸的方向相互正交的2枚偏振板和旋轉(zhuǎn)的偏振濾波器來(lái)取得多個(gè)視點(diǎn)圖像的方式。此外，在專利文獻(xiàn)3?5中，已經(jīng)公開(kāi)了使用設(shè)置了多個(gè)濾色器的光闌(光束限制板)來(lái)取得多個(gè)視點(diǎn)圖像的方式。
[0005]在上述的專利文獻(xiàn)I?5中公開(kāi)的方式，在通過(guò)單眼的照相機(jī)主要生成多個(gè)視點(diǎn)圖像時(shí)而被利用。另一方面，也存在如下技術(shù):能夠利用具備多個(gè)微透鏡的單眼的照相機(jī)取得進(jìn)深信息，并基于該信息自由改變?nèi)〉煤蟮膱D像的焦點(diǎn)位置的技術(shù)。這種技術(shù)被稱為光場(chǎng)攝影術(shù)(light-field photography),使用了該技術(shù)的單眼照相機(jī)被稱為光場(chǎng)照相機(jī)。在光場(chǎng)相機(jī)中，在攝像元件上配置有多個(gè)微透鏡。各微透鏡被配置成覆蓋多個(gè)像素。攝像后，根據(jù)所取得的圖像信息算出與入射光的方向相關(guān)的信息，由此能夠推定被攝體的進(jìn)深。這種相機(jī)例如已經(jīng)在非專利文獻(xiàn)I中被公開(kāi)。
[0006]在光場(chǎng)相機(jī)中，雖然能夠算出進(jìn)深信息，但是由于分辨率由微透鏡的數(shù)目來(lái)決定，因此存在著分辨率比由攝像元件的像素?cái)?shù)決定的分辨率有所下降的課題。針對(duì)該課題，在專利文獻(xiàn)6中已公開(kāi)了利用2個(gè)攝像系統(tǒng)來(lái)提高分辨率的技術(shù)。在該技術(shù)中，將入射光進(jìn)行2分割，由具有在空間上各錯(cuò)開(kāi)I / 2間距(pitch)地排列的微透鏡組的攝像系統(tǒng)對(duì)所分割后的各個(gè)入射光進(jìn)行攝像，然后將所取得的圖像進(jìn)行合成，由此使分辨率提高。但是，在該技術(shù)中，需要2個(gè)攝像系統(tǒng)，在尺寸以及成本方面存在課題。
[0007]針對(duì)上述課題，在專利文獻(xiàn)7中已公開(kāi)了下述技術(shù):即，利用I個(gè)攝像系統(tǒng)來(lái)切換通常攝像模式和基于光場(chǎng)攝影術(shù)的模式。根據(jù)該技術(shù)，用到了焦點(diǎn)距離會(huì)根據(jù)施加電壓發(fā)生變化的微透鏡，微透鏡的焦點(diǎn)距離在前者的模式下被設(shè)定成無(wú)限大，在后者的模式下被設(shè)定成規(guī)定的距離。根據(jù)這種機(jī)構(gòu)，能夠獲得高分辨率的圖像和進(jìn)深信息。但是，在這種手法中，需要對(duì)微透鏡的焦點(diǎn)距離進(jìn)行控制這種高度的控制技術(shù)。
[0008]另一方面，在專利文獻(xiàn)8、9中也介紹了將重點(diǎn)置于進(jìn)深信息的取得的技術(shù)。在這些技術(shù)中，通過(guò)在照相機(jī)的前面配置的衍射光柵進(jìn)行攝像，基于透過(guò)衍射光柵的O次衍射光所形成的圖像(O次光圖像)和高次的衍射光所形成的圖像(高次光圖像)之間的位置偏離量，來(lái)測(cè)量從被攝體到衍射光柵的距離 。
[0009]【在先技術(shù)文獻(xiàn)】
[0010]【專利文獻(xiàn)】
[0011]專利文獻(xiàn)I JP特開(kāi)昭62-291292號(hào)公報(bào)
[0012]專利文獻(xiàn)2 JP特開(kāi)昭62-217790號(hào)公報(bào)
[0013]專利文獻(xiàn)3 JP特開(kāi)2002-344999號(hào)公報(bào)
[0014]專利文獻(xiàn)4 JP特開(kāi)2009-276294號(hào)公報(bào)
[0015]專利文獻(xiàn)5 JP特開(kāi)2003-134533號(hào)公報(bào)
[0016]專利文獻(xiàn)6 JP特開(kāi)平11-98532號(hào)公報(bào)
[0017]專利文獻(xiàn)7 JP特開(kāi)2008-167395號(hào)公報(bào)
[0018]專利文獻(xiàn)8 JP特表平2-502398號(hào)公報(bào)
[0019]專利文獻(xiàn)9 JP特開(kāi)2011-2387號(hào)公報(bào)
[0020]【非專利文獻(xiàn)】
[0021]非專利文獻(xiàn)1:Ren Ng, et al, “Light Field Photography with a Hand-heldPlenoptic Camera”，Stanford Tech Report CTSR2005-02

【發(fā)明內(nèi)容】

[0022]【發(fā)明要解決的課題】
[0023]在現(xiàn)有的光場(chǎng)照相機(jī)中，雖然能夠獲得進(jìn)深信息，但存在圖像的分辨率有所下降的課題。為了解決該課題，需要按照上述的專利文獻(xiàn)6、7的技術(shù)進(jìn)行光學(xué)系統(tǒng)的改良，但為了進(jìn)行改良，存在使用2個(gè)攝像系統(tǒng)或者必須控制微透鏡的焦點(diǎn)距離的課題。
[0024]此外，在利用了在專利文獻(xiàn)8、9中公開(kāi)的那樣的衍射光柵的進(jìn)深測(cè)量的方法中，由于難以分離O次光圖像和高次光圖像，因此存在如下課題，即可能發(fā)生不能正確地測(cè)量到被攝體的距離的情況。例如，根據(jù)在專利文獻(xiàn)9中所公開(kāi)的方法，基于衍射圖像的亮度梯度，來(lái)識(shí)別O次光圖像和I次光圖像并測(cè)量他們的偏離量。然后，基于該偏離量，求出被攝體的進(jìn)深。但是，實(shí)際上，正確地進(jìn)行O次光圖像以及I次光圖像之類的亮度程度不同的2個(gè)圖像的匹配非常困難。
[0025]本發(fā)明的I個(gè)實(shí)施方式提供一種使用與現(xiàn)有技術(shù)不同的光學(xué)系統(tǒng)以及信號(hào)處理，能夠取得抑制了分辨率的下降的圖像和進(jìn)深信息的攝像技術(shù)。此外，本發(fā)明的其他的實(shí)施方式提供一種雖然包含了同一被攝體，但能夠容易地進(jìn)行亮度程度不同的多個(gè)圖像的匹配的圖像處理技術(shù)。
[0026]【解決課題的手段】
[0027]為了解決上述課題，本發(fā)明的一個(gè)實(shí)施方式所涉及的進(jìn)深推定攝像裝置具備:光透過(guò)部，其由分別具有使入射光發(fā)生衍射的衍射區(qū)域、使入射光不發(fā)生衍射地透過(guò)的透明區(qū)域、以及被配置為與所述衍射區(qū)域的至少一部分重疊的偏振區(qū)域的多個(gè)部分構(gòu)成；攝像元件，其將分別具有第I感光單元、第2感光單元、以及配置于與所述第I感光單元對(duì)置的位置的偏振濾波器的多個(gè)單位要素二維排列在攝像面上；成像部，其構(gòu)成為在所述攝像面，形成透過(guò)所述透明區(qū)域的光所形成的像以及透過(guò)所述衍射區(qū)域的光所形成的像；和信號(hào)處理部，其處理從所述攝像元件輸出的信號(hào)。
[0028]上述的一般且特定的方式，能夠利用系統(tǒng)、方法以及計(jì)算機(jī)程序來(lái)實(shí)現(xiàn)，或者利用系統(tǒng)、方法以及計(jì)算機(jī)程序的組合來(lái)實(shí)現(xiàn)。
[0029]【發(fā)明效果】
[0030]根據(jù)本發(fā)明的一個(gè)實(shí)施方式，由于能夠?qū)⒀苌涔馑纬傻膱D像和直進(jìn)光所形成的圖像分離，因此基于這些圖像，能夠算出到被攝體的進(jìn)深。此外，根據(jù)其他的實(shí)施方式，能夠容易地進(jìn)行包含同一被攝體的多個(gè)圖像的匹配。
【專利附圖】

【附圖說(shuō)明】
[0031]圖1是例示的實(shí)施方式中的攝像裝置的構(gòu)成圖。
[0032]圖2是例示的實(shí)施方式中的攝像部的示意圖。
[0033]圖3A是例示的實(shí)施方式I中的透光板的俯視圖。
[0034]圖3B是圖3A中的A-A，線剖面圖。
[0035]圖3C是圖3A中的B-B，線剖面圖。
[0036]圖4是例示的實(shí)施方式中的攝像元件的基本像素構(gòu)成圖。
[0037]圖5是例示的實(shí)施方式中的攝像元件的俯視圖。
[0038]圖6A是示出通過(guò)例示的實(shí)施方式中的攝像取得的圖像的示例的示意圖。
[0039]圖6B是示出使2個(gè)衍射光圖像接近了直接光圖像的狀態(tài)的示意圖。
[0040]圖6C是示出使2個(gè)衍射光圖像進(jìn)一步接近直接光圖像而幾乎重疊在一起的狀態(tài)的圖。
[0041]圖7A是示出例示的實(shí)施方式I中的進(jìn)深信息的生成處理的流程圖。
[0042]圖7B是示出例示的實(shí)施方式I中的進(jìn)深信息的生成處理的其他的示例的流程圖。
[0043]圖8是示出例示的實(shí)施方式I中的像素移動(dòng)數(shù)和R / B著色量的關(guān)系的圖表。
[0044]圖9A是示出例示的實(shí)施方式中的透光板的變形例的俯視圖。
[0045]圖9B是示出例示的實(shí)施方式中的透光板的其他的變形例的俯視圖。
[0046]圖1OA是例示的實(shí)施方式2中的透光板的俯視圖。
[0047]圖1OB是圖1OA中的C-C’線剖面圖。
【具體實(shí)施方式】
[0048]本發(fā)明的例示的實(shí)施方式的概要如下所述。
[0049](I)本發(fā)明的一個(gè)實(shí)施方式所涉及的進(jìn)深推定攝像裝置具備:光透過(guò)部，其由分別具有使入射光發(fā)生衍射的衍射區(qū)域、使入射光不發(fā)生衍射地透過(guò)的透明區(qū)域、以及按照與所述衍射區(qū)域的至少一部分重疊的方式配置的偏振區(qū)域的多個(gè)部分構(gòu)成；攝像元件，其將分別具有第I感光單元、第2感光單元、以及配置于與所述第I感光單元對(duì)置的位置的偏振濾波器的多個(gè)單位要素二維排列在攝像面上；成像部，其構(gòu)成為在所述攝像面，形成透過(guò)所述透明區(qū)域的光所形成的像以及透過(guò)所述衍射區(qū)域的光所形成的像；和信號(hào)處理部，其處理從所述攝像元件輸出的信號(hào)。
[0050](2)在某方式中構(gòu)成為，將所述攝像面上的所述單位要素的排列方向作為X方向以及y方向時(shí)，所述衍射區(qū)域被構(gòu)成為:主要使η次衍射光(η是I以上的整數(shù))產(chǎn)生，且所述η次衍射光入射在所述攝像面上與透過(guò)所述透明區(qū)域的光所入射的位置相比朝X方向或y方向進(jìn)行了移動(dòng)的位置。
[0051](3)在項(xiàng)目(2)所記載的進(jìn)深推定攝像裝置的某方式中，在將所述衍射區(qū)域稱為第I衍射區(qū)域、將所述偏振區(qū)域稱為第I偏振區(qū)域、將所述偏振濾波器稱為第I偏振濾波器時(shí)，所述光透過(guò)部的所述多個(gè)部分還具有主要產(chǎn)生η次衍射光的第2衍射區(qū)域、以及被配置為與所述第2衍射區(qū)域的至少一部分重疊、且偏光透過(guò)軸的方向不同于所述第I偏振區(qū)域的第2偏振區(qū)域，所述攝像元件的所述單位要素還具有第3感光單元、以及與所述第3感光單元對(duì)置地配置、且偏光透過(guò)軸的方向不同于所述第I偏振濾波器的第2偏振濾波器。
[0052](4)在項(xiàng)目(3)所記載的進(jìn)深推定攝像裝置的某方式中構(gòu)成為，所述第I以及第2衍射區(qū)域，從所述第I衍射區(qū)域出射的所述η次衍射光、以及從所述第2衍射區(qū)域出射的所述η次衍射光，入射在所述攝像面上相對(duì)于透過(guò)所述透明區(qū)域的光入射的位置對(duì)稱的位置。
[0053](5)在項(xiàng)目(I)所記載的進(jìn)深推定攝像裝置的某方式中，所述衍射區(qū)域構(gòu)成為使O次衍射光以及±η次衍射光(η是I以上的整數(shù))產(chǎn)生，所述偏振區(qū)域具有配置在所述+η次衍射光的路徑上的第I偏振區(qū)域、和配置在所述_η次衍射光的路徑上、且偏光透過(guò)軸的方向不同于所述第I偏振區(qū)域的第2偏振區(qū)域，所述攝像元件的所述單位要素還具有第3感光單元、以及被配置為與所述第3感光單元對(duì)置、且偏光透過(guò)軸的方向不同于所述第I偏振濾波器的第3偏振濾波器。
[0054](6)在項(xiàng)目(3)至(5)的任意一項(xiàng)所記載的進(jìn)深推定攝像裝置的某方式中，所述第I偏振區(qū)域以及所述第2偏振區(qū)域中的一方的偏光透過(guò)軸的方向，與所述第I偏振濾波器以及所述第2偏振濾波器中的一方的偏光透過(guò)軸的方向相同。
[0055](7)在項(xiàng)目(3)至(6)的任意一項(xiàng)所記載的進(jìn)深推定攝像裝置的某方式中，所述第I偏振區(qū)域的偏光透過(guò)軸的方向，與所述第2偏振區(qū)域的偏光透過(guò)軸的方向正交，所述第I偏振濾波器的偏光透過(guò)軸的方向，與所述第2偏振濾波器的偏光透過(guò)軸的方向正交。
[0056](8)在項(xiàng)目(I)或(2)所記載的進(jìn)深推定攝像裝置的某方式中，所述信號(hào)處理部具有圖像處理部，所述圖像處理部基于從所述第I感光單元輸出的信號(hào)、以及從所述第2感光單元輸出的信號(hào)，生成透過(guò)所述衍射區(qū)域的光所形成的第I圖像和透過(guò)所述透明區(qū)域的光所形成的第2圖像。
[0057](9)在項(xiàng)目(6)所記載的進(jìn)深推定攝像裝置的某方式中，所述圖像處理部基于所述第I圖像中的被攝體的位置和所述第2圖像中的所述被攝體的位置之間的偏離，生成表示所述被攝體的進(jìn)深的信息。
[0058](10)在項(xiàng)目(3)至(5)的任意一項(xiàng)所記載的進(jìn)深推定攝像裝置的某方式中，所述信號(hào)處理部具有圖像處理部，所述圖像處理部基于從所述第I感光單元輸出的第I信號(hào)、從所述第2感光單元輸出的第2信號(hào)、以及從所述第3感光單元輸出的第3信號(hào)，生成透過(guò)所述第I衍射區(qū)域的光所形成的第I圖像、透過(guò)所述第2衍射區(qū)域的光所形成的第2圖像、和透過(guò)所述透明區(qū)域的光所形成的第3圖像。
[0059](11)在項(xiàng)目(8)所記載的進(jìn)深推定攝像裝置的某方式中，所述圖像處理部基于所述第I圖像中的被攝體的位置和所述第3圖像中的所述被攝體的位置的偏離、以及所述第2圖像中的所述被攝體的位置和所述第3圖像中的所述被攝體的位置的偏離，生成表示所述被攝體的進(jìn)深的信息。
[0060]以下，參照附圖對(duì)本發(fā)明的更具體的實(shí)施方式進(jìn)行說(shuō)明。在以下的說(shuō)明中，對(duì)多個(gè)圖中共通或相對(duì)應(yīng)的要素附上同一符號(hào)。
[0061](實(shí)施方式I)
[0062]首先，對(duì)本發(fā)明的第I實(shí)施方式的進(jìn)深推定攝像裝置進(jìn)行說(shuō)明。圖1是示出本實(shí)施方式中的攝像裝置的整體構(gòu)成的框圖。本實(shí)施方式的攝像裝置是數(shù)字式電子照相機(jī)，具備攝像部100、和基于由攝像部100生成的信號(hào)來(lái)生成表示圖像的信號(hào)(圖像信號(hào))的信號(hào)處理部200。攝像裝置也可以具備不僅生成靜止圖像還生成運(yùn)動(dòng)圖像的功能。
[0063]攝像部100具備:固體攝像元件2(以下簡(jiǎn)單稱為“攝像元件”)，其具備在攝像面上排列的多個(gè)感光單元(以下有時(shí)稱為“像素”)；透光板(光透過(guò)部)1，其一部分具有衍射光柵區(qū)域以及偏振區(qū)域；光學(xué)透鏡(成像部)3，其用于在攝像元件2的攝像面上形成像；和紅外截止濾波器4。另外，透光板I配置在光學(xué)透鏡3的前面，但也可以配置在光學(xué)透鏡3的后部。攝像元件2具有在其上面配置了偏振濾波器的像素和此外的其他像素。攝像部100還具備:信號(hào)產(chǎn)生/接收部5，其產(chǎn)生用于驅(qū)動(dòng)攝像元件2的基本信號(hào)，并且接收來(lái)自攝像元件2的輸出信號(hào)并向信號(hào)處理部200送出；和元件驅(qū)動(dòng)部6，其基于由信號(hào)產(chǎn)生/接收部5生成的基本信號(hào)來(lái)驅(qū)動(dòng)攝像元件2。攝像元件2典型的是CXD或CMOS傳感器，能夠利用公知的半導(dǎo)體制造技術(shù)來(lái)制造。信號(hào)產(chǎn)生/接收部5以及元件驅(qū)動(dòng)部6例如能夠由CXD驅(qū)動(dòng)器等的LSI構(gòu)成。
[0064]信號(hào)處理部200具備:圖像處理部7，其處理從攝像部100輸出的信號(hào)并生成多個(gè)圖像；存儲(chǔ)器30，其保存用于圖像信號(hào)的生成的各種數(shù)據(jù)；和接口(IF)部8，其將所生成的圖像信號(hào)以及進(jìn)深信息向外部送出。圖像處理部7具有:圖像生成部7a，其基于從攝像部100輸出的信號(hào)生成圖像信息；和進(jìn)深信息生成部7b，其生成進(jìn)深信息。圖像處理部7能夠通過(guò)公知的數(shù)字信號(hào)處理處理器(DSP)等的硬件和執(zhí)行包含圖像信號(hào)生成處理在內(nèi)的圖像處理的軟件的組合適當(dāng)?shù)貙?shí)現(xiàn)。存儲(chǔ)器30由DRAM等構(gòu)成。存儲(chǔ)器30記錄從攝像部100得到的信號(hào)，并且暫時(shí)性地記錄由圖像處理部7生成的圖像數(shù)據(jù)、壓縮后的圖像數(shù)據(jù)。這些圖像數(shù)據(jù)通過(guò)接口部8向未圖示的記錄介質(zhì)、顯示部等送出。
[0065]另外，本實(shí)施方式的進(jìn)深推定攝像裝置會(huì)具備電子快門(mén)、取景器、電源(電池)、閃光燈等的公知的構(gòu)成要素，但由于這些要素的說(shuō)明對(duì)于本實(shí)施方式的理解不是特另需要，因而省略。此外，上述的構(gòu)成為一個(gè)示例，在本實(shí)施方式中，除了透光板1、攝像元件2、圖像處理部7以外的構(gòu)成要素，能夠適當(dāng)?shù)亟M合公知的要素進(jìn)行適當(dāng)組合來(lái)加以利用。
[0066]以下，對(duì)攝像部100的構(gòu)成詳細(xì)地進(jìn)行說(shuō)明。在以下的說(shuō)明中，在說(shuō)明攝像區(qū)域的位置、方向的情況下，使用圖中所示的xy坐標(biāo)。
[0067]圖2是示意性地示出攝像部100中的光學(xué)透鏡3、紅外截止濾波器4、透光板1、以及攝像元件2的配置關(guān)系的圖。光學(xué)透鏡3并不只限于一個(gè)透鏡，可以是由多個(gè)透鏡組構(gòu)成的透鏡單元，但在圖2為了簡(jiǎn)便，被描繪成一個(gè)透鏡。光學(xué)透鏡3是公知的透鏡，對(duì)入射光進(jìn)行聚光，并使其成像在攝像元件2的攝像部。另外，圖2所示的各構(gòu)成要素的配置關(guān)系終究是一個(gè)示例，本發(fā)明并不限于這樣的示例。例如，即使調(diào)換光學(xué)透鏡3和紅外截止濾波器4的配置關(guān)系也沒(méi)有問(wèn)題，光學(xué)透鏡3和透光板I也可以構(gòu)成為一體。此外，由于在本實(shí)施方式中以取得可見(jiàn)光的圖像為前提，因此雖然設(shè)置了紅外截止濾波器4，但在取得紅外光圖像的用途(例如，夜間用監(jiān)視照相機(jī))上，不需要紅外截止濾波器4。
[0068]圖3A是透光板I的俯視圖。在透光板I上，衍射光柵區(qū)域被配置為方格狀(check形狀)。如圖3A所示，透光板I的衍射光柵區(qū)域具有二維排列的多個(gè)基本構(gòu)成1AB?；緲?gòu)成IAB由配置為2行2列的4個(gè)區(qū)域構(gòu)成。在基本構(gòu)成IAB中，由衍射光柵構(gòu)成的衍射區(qū)域IDl被配置在第I行第I列，由透明構(gòu)件構(gòu)成的透明區(qū)域ICLR被配置在第I行第2列以及第2行第I列，由衍射光柵構(gòu)成的衍射區(qū)域1D2被配置在第2行第2列。
[0069]該透光板I的尺寸例如直徑為IOmm?30mm，基本構(gòu)成IAB的尺寸例如為100 μ mX 100 μ m?1000 μ mX 1000 μ m。但是，這些尺寸為例示，只要能夠?qū)崿F(xiàn)后述的功能，則并不限于這些尺寸。
[0070]衍射區(qū)域IDl是閃耀(blaze)型(也稱為炫耀型)的衍射光柵(blazed grating,閃耀光柵)，被設(shè)計(jì)成使入射光沿水平方向(X方向)傾斜Y度。衍射區(qū)域1D2也是閃耀型的衍射光柵，被設(shè)計(jì)成使入射光沿水平方向傾斜-Y度。此外，在這些衍射區(qū)域1D1、1D2，分別重疊配置偏振濾波器(偏振區(qū)域)。透明區(qū)域ICLR能夠由透光性的構(gòu)件，例如玻璃、塑料、玻璃紙(cellophane)等形成。
[0071]圖3B是圖3A的A-A’線剖面圖，圖3C是圖3A的B-B’線剖面圖。如圖3B所示，偏振濾波器IPl被疊合在衍射區(qū)域IDl的背部(攝像元件2側(cè))，此外，如圖3C所示，偏振濾波器1P2被疊合在衍射區(qū)域1D2的背部。這些偏振濾波器1P1、1P2的偏光透過(guò)軸的方向(偏振方向)相差90度。在圖3B、3C中，為了簡(jiǎn)便，描繪成衍射區(qū)域1D1、1D2具有長(zhǎng)方形的剖面形狀，但實(shí)際的閃耀型衍射光柵具有鋸齒波狀的剖面形狀。通過(guò)適當(dāng)?shù)卦O(shè)計(jì)該形狀，能夠使衍射光沿特定的方向出射。另外，也可以和圖3B、3C所示的構(gòu)成相反，將衍射區(qū)域1D1、1D2分別配置于偏振濾波器1P1、1P2的背部。
[0072]在圖3B、3C中，記載了垂直地入射至衍射區(qū)域1D1、1D2而被衍射的例示的光線。在本實(shí)施方式中，衍射區(qū)域1D1、1D2被設(shè)計(jì)成主要使I次衍射光產(chǎn)生、且?guī)缀醪粫?huì)使其他次數(shù)的衍射光產(chǎn)生。因此，在圖3B、3C中I次衍射光沿箭頭所示的方向射出。另外，衍射區(qū)域1D1UD2的特性并不限于這樣的示例，也可以產(chǎn)生其他次數(shù)的衍射光。此外，也可從衍射區(qū)域1D1、1D2不是主要出射I次衍射光，而是主要出射2次衍射光之類的其他次數(shù)的衍射光。
[0073]圖4是示出攝像元件2的基本像素構(gòu)成的俯視圖。如圖所示，本實(shí)施方式中的攝像元件2具有基本像素構(gòu)成,該基本像素構(gòu)成具有配置為2行2列的4個(gè)感光單元2a、2b、2c、2d。在與第I行第I列的感光單元2a對(duì)置的位置配置了偏振濾波器2P1，在與第2行第2列的感光單元2d對(duì)置的位置配置了偏振濾波器2P2。在第I行第2列和第2行第I列的感光單元2b、2c上沒(méi)有配置偏振濾波器。這些偏振濾波器2P1、2P2的偏振方向彼此相差90度。此外，偏振濾波器2P1、2P2分別相對(duì)于偏振濾波器1P1、1P2的偏振方向相差角度Θ。
[0074]圖5是示意性地示出由在攝像元件2的攝像面上排列成矩陣狀的多個(gè)感光單元構(gòu)成的感光單元陣列20的一部分和在這些感光單元上配置的偏振濾波器陣列的俯視圖。各感光單兀，典型包含光電二極管，通過(guò)光電變換輸出與各自的受光量相應(yīng)的光電變換信號(hào)。在本實(shí)施方式中，2行2列的感光單元2a?2d以及與其對(duì)置的偏振濾波器2P1、2P2構(gòu)成I個(gè)單位要素，多個(gè)單位要素在攝像面被二維排列。
[0075]根據(jù)以上的構(gòu)成，在曝光中入射到攝像裝置的光，通過(guò)透光板1、透鏡3、紅外截止濾波器4而成像于攝像元件2的攝像面上，并由感光單元2a?2d進(jìn)行光電變換?；谶@些光電變換信號(hào)，圖像處理部7的圖像生成部7a生成圖像。
[0076]圖6A是示出通過(guò)攝像得到的圖像的示意圖。圖6A示出對(duì)鎖進(jìn)行了攝像的情況的示例，實(shí)線表示來(lái)自被攝體的直接光所形成的圖像，虛線表示衍射光所形成的圖像?？梢哉f(shuō)該圖像是將直接光所形成的圖像和衍射光所形成的2個(gè)圖像合成后的圖像。在此，“直接光所形成的圖像”是指由透過(guò)透光板I的透明區(qū)域ICLR的光形成的圖像。此外，“衍射光所形成的圖像”是指由從透光板I的衍射區(qū)域1D1、1D2分別出射的I次衍射光形成的圖像。在以下的說(shuō)明中，有時(shí)將直接光所形成的圖像稱為“直接光圖像”，將衍射光所形成的2個(gè)圖像稱為“衍射光圖像”。
[0077]在圖6A所示的示意圖中，衍射光所形成的圖像相對(duì)于直接光所形成的圖像在水平方向(圖中的左右方向)發(fā)生了偏離。該偏離起因于，從衍射區(qū)域IDl出射的衍射光的行進(jìn)方向朝+X方向傾斜，從衍射區(qū)域1D2出射的衍射光的行進(jìn)方向朝-X方向傾斜。此外，由于2個(gè)衍射區(qū)域1D1、1D2被構(gòu)成為，這些衍射光入射在攝像面上相對(duì)于透過(guò)透明區(qū)域ICLR的光所入射的位置對(duì)稱的位置，因而2個(gè)衍射光圖像相對(duì)于直接光圖像出現(xiàn)在對(duì)稱的位置。衍射光圖像相對(duì)于直接光圖像的偏離，依賴于從透光板I到被攝體的距離，該距離越長(zhǎng)，則該偏離越大。因此，只要檢測(cè)衍射光所形成的圖像相對(duì)于直接光所形成的圖像在水平方向的偏離的大小，就能夠求出被攝體的距離。
[0078]在本實(shí)施方式中，表示衍射光所形成的圖像在水平方向的偏離的大小和被攝體的距離之間的相關(guān)關(guān)系的信息(例如表、函數(shù))被預(yù)先記錄在存儲(chǔ)器30等的記錄介質(zhì)中?；谠撓嚓P(guān)關(guān)系，圖像處理部7中的進(jìn)深信息生成部7b能夠根據(jù)偏離的大小算出被攝體距離。該相關(guān)關(guān)系也可通過(guò)改變被攝體的距離的同時(shí)進(jìn)行幾次測(cè)試拍攝來(lái)求出。
[0079]接著，將通過(guò)感光單元2a、2b、2c、2d中的光電變換輸出的信號(hào)分別作為S2a、S2b、S2c、S2d，來(lái)說(shuō)明本實(shí)施方式中的信號(hào)處理。在此，為了簡(jiǎn)便，假定入射光為非偏振光，并假定衍射區(qū)域1D1、1D2使入射光100%產(chǎn)生衍射。然后，在假定為偏振濾波器1P1、1P2、2P1、2P2不存在的情況下，將通過(guò)透明區(qū)域1CLR、衍射區(qū)域1D1、衍射區(qū)域1D2入射到I個(gè)感光單元的光的量(強(qiáng)度)分別用D0、D1、D2來(lái)表示。但是，假定D0、D1、D2為透光板I的平均每單位面積的量。并且，將非偏振光的光入射到偏振濾波器1P1、1P2、2P1、2P2時(shí)的透過(guò)率作為T(mén)1、將向和偏振濾波器的偏振方向同一方向發(fā)生偏振的光入射到該偏振濾波器時(shí)的透過(guò)率作為T(mén)2。即，以Tl XT2來(lái)表不非偏振的光入射到偏振方向一致的2個(gè)偏振濾波器時(shí)的透過(guò)率。Tl以及T2為滿足O < Tl < 1、0 < T2 < I的實(shí)數(shù)。
[0080]在曝光過(guò)程中，來(lái)自被攝體的光將首先透過(guò)透光板I。透明區(qū)域ICLR占透光板I的全面積的I / 2，衍射區(qū)域1D1、1D2占透光板I的全面積的I / 4。由于偏振濾波器1P1、1P2分別與衍射區(qū)域IDl、1D2疊合在一起，因而衍射區(qū)域IDl、1D2的透過(guò)率取決于偏振濾波器1P1、1P2的透過(guò)率，用Tl來(lái)表示。因此，在上部未設(shè)置偏振濾波器的感光單元2b、2c，入射與DO / 2+T1 (D1+D2) / 4成比例的量的光，且與該量成比例的大小的光電變換信號(hào)將被輸出。
[0081]另一方面，關(guān)于配置了偏振濾波器2P1的感光單元2a，由于偏振濾波器2P1的影響，假設(shè)在非偏振的光入射的情況下，其透過(guò)光被限制為入射光的Tl倍。但是，實(shí)際上在偏振濾波器2P1，從被攝體入射透過(guò)了透明區(qū)域ICLR的與DO / 2成比例的量的光、透過(guò)了衍射區(qū)域IDl以及偏振濾波器IPl的與(DlXTlXcos2Q) / 4成比例的量的光、以及透過(guò)了衍射區(qū)域1D2以及偏振濾波器1P2的與(D2XTlXsin20) /4成比例的量的光。因此，感光單元 2a 產(chǎn)生與(DOXTl) / 2+(D1 XTl X cos2 θ XTl) / 4+(D2XTl X sin2 θ XT2) / 4成比例的信號(hào)。
[0082]同樣地，關(guān)于偏振濾波器2P2在上部配置的感光單元2d，由于偏振濾波器2P2的影響，假設(shè)在非偏振的光入射的情況下，其透過(guò)光被限制為入射光的Tl倍。但是，實(shí)際上在偏振濾波器2P2，從被攝體入射透過(guò)了透明區(qū)域ICLR的與DO / 2成比例的量的光、透過(guò)了衍射區(qū)域IDl以及偏振濾波器IPl的與(DlXTlXsin2Q) / 4成比例的量的光、以及透過(guò)了衍射區(qū)域1D2以及偏振濾波器1P2的與(D2XT1XcOS20) /4成比例的量的光。因此，感光單元 2d 產(chǎn)生與(DOXTl) / 2+(D1 XTl X sin2 θ XTl) / 4+(D2XTl X cos2 θ XT2) /4成比例的信號(hào)。
[0083]若是將向攝像元件2的各像素入射的入射光量和產(chǎn)生的信號(hào)之間的比例常數(shù)設(shè)為1，則S2a、S2b(=S2c)、S2d分別用以下的算式I~3表示。并且，利用矩陣以算式4來(lái)表不算式I~3。其中,在算式4中，只將式I~3的右邊設(shè)為4倍。
[0084]【算式I】
【權(quán)利要求】
1.一種進(jìn)深推定攝像裝置，具備: 光透過(guò)部，其由分別具有使入射光發(fā)生衍射的衍射區(qū)域、使入射光不發(fā)生衍射地透過(guò)的透明區(qū)域、以及被配置為與所述衍射區(qū)域的至少一部分重疊的偏振區(qū)域的多個(gè)部分構(gòu)成； 攝像元件，其將分別具有第I感光單元、第2感光單元、以及配置于與所述第I感光單元對(duì)置的位置的偏振濾波器的多個(gè)單位要素二維排列在攝像面上； 成像部，其被構(gòu)成為在所述攝像面，形成透過(guò)所述透明區(qū)域的光所形成的像以及透過(guò)所述衍射區(qū)域的光所形成 的像；和 信號(hào)處理部，其處理被從所述攝像元件輸出的信號(hào)。
2.根據(jù)權(quán)利要求1所述的進(jìn)深推定攝像裝置，其中， 所述進(jìn)深推定攝像裝置被構(gòu)成為: 在將所述攝像面上的所述單位要素的排列方向作為X方向以及y方向時(shí)， 所述衍射區(qū)域主要使η次衍射光產(chǎn)生，所述η次衍射光入射在所述攝像面上、與透過(guò)了所述透明區(qū)域的光所入射的位置相比在X方向或y方向上進(jìn)行了移動(dòng)的位置，其中η是I以上的整數(shù)。
3.根據(jù)權(quán)利要求2所述的進(jìn)深推定攝像裝置，其中， 在將所述衍射區(qū)域稱為第I衍射區(qū)域、將所述偏振區(qū)域稱為第I偏振區(qū)域、將所述偏振濾波器稱為第I偏振濾波器時(shí)， 所述光透過(guò)部的所述多個(gè)部分還具有:主要使η次衍射光產(chǎn)生的第2衍射區(qū)域；以及被配置為與所述第2衍射區(qū)域的至少一部分重疊、且偏光透過(guò)軸的方向不同于所述第I偏振區(qū)域的第2偏振區(qū)域， 所述攝像元件的所述單位要素還具有:第3感光單元；以及與所述第3感光單元對(duì)置地配置、且偏光透過(guò)軸的方向不同于所述第I偏振濾波器的第2偏振濾波器。
4.根據(jù)權(quán)利要求3所述的進(jìn)深推定攝像裝置，其中， 所述第I衍射區(qū)域以及所述第2衍射區(qū)域被構(gòu)成為:從所述第I衍射區(qū)域射出的所述η次衍射光、以及從所述第2衍射區(qū)域射出的所述η次衍射光，入射在所述攝像面上相對(duì)于透過(guò)了所述透明區(qū)域的光所入射的位置對(duì)稱的位置。
5.根據(jù)權(quán)利要求1所述的進(jìn)深推定攝像裝置，其中，所述衍射區(qū)域被構(gòu)成為使O次衍射光以及±η次衍射光產(chǎn)生，其中η是I以上的整數(shù)，所述偏振區(qū)域具有:配置在所述+η次衍射光的路徑上的第I偏振區(qū)域；和配置在所述-η次衍射光的路徑上、且偏光透過(guò)軸的方向不同于所述第I偏振區(qū)域的第2偏振區(qū)域，所述攝像元件的所述單位要素還具有--第3感光單元；以及被配置為與所述第3感光單元對(duì)置、且偏光透過(guò)軸的方向不同于所述第I偏振濾波器的第3偏振濾波器。
6.根據(jù)權(quán)利要求3至5中任意一項(xiàng)所述的進(jìn)深推定攝像裝置，其中， 所述第I偏振區(qū)域以及所述第2偏振區(qū)域中的一方的偏光透過(guò)軸的方向，與所述第I偏振濾波器以及所述第2偏振濾波器中的一方的偏光透過(guò)軸的方向相同。
7.根據(jù)權(quán)利要求3至6中任意一項(xiàng)所述的進(jìn)深推定攝像裝置，其中， 所述第I偏振區(qū)域的偏光透過(guò)軸的方向，與所述第2偏振區(qū)域的偏光透過(guò)軸的方向正交，所述第I偏振濾波器的偏光透過(guò)軸的方向，與所述第2偏振濾波器的偏光透過(guò)軸的方向正交。
8.根據(jù)權(quán)利要求1或2所述的進(jìn)深推定攝像裝置，其中， 所述信號(hào)處理部具有圖像處理部，所述圖像處理部基于從所述第I感光單元輸出的信號(hào)、以及從所述第2感光單元輸出的信號(hào)，生成透過(guò)了所述衍射區(qū)域的光所形成的第I圖像和透過(guò)了所述透明區(qū)域的光所形成的第2圖像。
9.根據(jù)權(quán)利要求6所述的進(jìn)深推定攝像裝置，其中 所述圖像處理部基于所述第I圖像中的被攝體的位置和所述第2圖像中的所述被攝體的位置之間的偏離，生成表示所述被攝體的進(jìn)深的信息。
10.根據(jù)權(quán)利要求3至5中任意一項(xiàng)所述的進(jìn)深推定攝像裝置，其中， 所述信號(hào)處理部具有圖像處理部，所述圖像處理部基于從所述第I感光單元輸出的第I信號(hào)、從所述第2感光單元輸出的第2信號(hào)、以及從所述第3感光單元輸出的第3信號(hào)，生成透過(guò)了所述第I衍射區(qū)域的光所形成的第I圖像、透過(guò)了所述第2衍射區(qū)域的光所形成的第2圖像、和透過(guò)了所述透明區(qū)域的光所形成的第3圖像。
11.根據(jù)權(quán)利要求8所述的進(jìn)深推定攝像裝置，其中， 所述圖像處理部，基于所述第I圖像中的被攝體的位置和所述第3圖像中的所述被攝體的位置之間的偏離、以及所述第2圖像中的所述被攝體的位置和所述第3圖像中的所述被攝體的位置之間的偏離，生成表示所述被攝體的進(jìn)深的信息。
【文檔編號(hào)】H04N5/232GK103582846SQ201380001268
【公開(kāi)日】2014年2月12日 申請(qǐng)日期:2013年3月14日 優(yōu)先權(quán)日:2012年5月28日
【發(fā)明者】平本政夫, 石井育規(guī), 物部祐亮 申請(qǐng)人:松下電器產(chǎn)業(yè)株式會(huì)社