攝像裝置以及分光系統(tǒng)的制作方法
【技術(shù)領域】
[0001] 本公開涉及用于取得分光圖像的編碼元件、攝像裝置、分光系統(tǒng)以及使用了這些 的分光方法。
【背景技術(shù)】
[0002] 通過有效利用各自為窄頻帶的許多波帶（例如數(shù)十波帶以上）的光譜信息，能夠 掌握現(xiàn)有的RGB圖像中不可能掌握的觀測物的詳細的物性。取得該多波長的信息的照相機 被稱作"超光譜照相機"。超光譜照相機被利用于食品檢查、生物體檢查、醫(yī)藥品開發(fā)、礦物 的成分分析等所有領域。
[0003] 作為將觀測對象的波長限定為窄頻帶而取得的圖像的有效利用例，專利文獻1公 開了一種進行被檢體的腫瘤部位和非腫瘤部位的判別的裝置。該裝置通過激勵光的照射， 來檢測積累在癌細胞內(nèi)的原卟啉IX發(fā)出635nm的熒光、光電-原卟啉發(fā)出675nm的熒光的 情況。由此，進行腫瘤部位和非腫瘤部位的識別。
[0004] 專利文獻2公開了一種通過取得連續(xù)的多波長的光的反射率特性的信息來判定 伴隨時間經(jīng)過而下降的生鮮食品的鮮度的方法。
[0005] 能夠測定多波長的圖像或反射率的超光譜照相機大致分為以下4種方式。
[0006] (a)線傳感器方式
[0007] (b)電子濾波器方式 [0008] (c)傅里葉變換方式
[0009] (d)干涉濾波器方式
[0010] (a)在線傳感器方式中，使用具有線狀的狹縫的構(gòu)件來取得對象物的1維信息。通 過了狹縫的光通過衍射光柵或棱鏡等分光元件根據(jù)波長而被分離。通過具有二維排列的多 個像素的攝像元件（圖像傳感器）來檢測被分離后的每個波長的光。在該方式中，由于只 能得到1次對象物的1維信息，因此通過與狹縫方向垂直地掃描照相機整體或者測定對象 物來得到二維的光譜信息。在線傳感器方式中，有能夠得到高分辨率的多波長圖像的優(yōu)點。 專利文獻3公開了一種線傳感器方式的超光譜照相機的例子。
[0011] (b)在電子濾波器方式中，有使用液晶可調(diào)諧濾波器（Liquid Crystal Tunable Filter :LCTF)的方法、和使用聲光元件（Acousto-Optic Tunable Filter :A0TF)的方法。 液晶可調(diào)諧濾波器是將線性偏光鏡、復折射濾波器、以及液晶單元排列為多級的元件。僅通 過電壓控制就能夠排除無用的波長的光并僅提取任意的特定波長的光。聲光元件由粘接了 壓電元件的聲光晶體構(gòu)成。若對聲光晶體施加電信號，則產(chǎn)生超聲波，在晶體內(nèi)形成疏密的 駐波。通過由此產(chǎn)生的衍射效應能夠僅提取任意的特定波長的光。該方式雖然波長受到限 定但具有能夠取得高分辨率的動態(tài)圖像的數(shù)據(jù)的優(yōu)點。
[0012] (C)傅里葉變換方式使用雙光束干涉儀的原理。來自測定對象的光束被分束器分 岔，各個光束被固定反光鏡以及移動反光鏡反射并再次結(jié)合之后，被檢測器觀測到。通過使 移動反光鏡的位置隨時間而發(fā)生變動，能夠取得表示依賴于光的波長的干涉的強度變化的 數(shù)據(jù)。通過對所得到的數(shù)據(jù)進行傅里葉變換，能夠得到光譜信息。傅里葉變換方式的優(yōu)點 是能夠同時取得多波長的信息。
[0013] (d)干涉濾波器方式是使用了法布里珀羅干涉儀的原理的方式。可以采用將具有 離開規(guī)定間隔的反射率高的2個面的光學元件配置在傳感器上的構(gòu)成。光學元件的2個面 間的間隔根據(jù)區(qū)域而不同，被決定為與希望的波長的光的干涉條件一致。干涉濾波器方式 具有能夠同時且以動態(tài)圖像來取得多波長的信息的優(yōu)點。
[0014] 除了這些方式以外，還有例如像專利文獻4所公開的那樣利用了壓縮感知的方 法。專利文獻4所公開的裝置利用棱鏡等第1分光元件對來自測定對象的光進行了分光之 后，用編碼掩模進行標記，進而利用第2分光元件來還原光線的路徑。由此，通過傳感器來 取得被編碼并且相對于波長軸被復用了的圖像。通過壓縮感知的應用，能夠根據(jù)被復用了 的圖像來重構(gòu)多波長的多幅圖像。
[0015] 壓縮感知是根據(jù)較少的樣本數(shù)的取得數(shù)據(jù)來復原比其更多的數(shù)據(jù)的技術(shù)。若將測 定對象的二維坐標設為（x，y)，將波長設為λ，則想要求取的數(shù)據(jù)f是 x，y，λ的三維的數(shù) 據(jù)。相對于此，通過傳感器而得到的圖像數(shù)據(jù)g是在λ軸方向上被壓縮以及復用了的二維 的數(shù)據(jù)。根據(jù)數(shù)據(jù)量相對較少的取得圖像g來求取數(shù)據(jù)量相對較多的數(shù)據(jù)f的問題在于所 謂的不良設定問題，直接這樣無法求解。但是，一般來說，自然圖像的數(shù)據(jù)具有冗余性，通過 巧妙利用這一點能夠?qū)⒃摬涣荚O定問題變換為良設定問題。有效利用圖像的冗余性來削減 數(shù)據(jù)量的技術(shù)的例子有jpeg壓縮。jpeg壓縮使用如下方法：將圖像信息變換為頻率分量， 除去并非數(shù)據(jù)的本質(zhì)的部分、例如視覺識別性低的分量。在壓縮感知中，將這種技法加入運 算處理中，將想要求取的數(shù)據(jù)空間變換為用冗余性來表達的空間，由此來削減未知數(shù)并得 到解。在該變換中，例如使用離散余弦變換（DCT)、小波變換、傅里葉變換、總變差（TV)等。 [0016] 在先技術(shù)文獻
[0017] 專利文獻
[0018] 專利文獻1 :國際公開第13/002350號
[0019] 專利文獻2 :JP特開2007-108124號公報
[0020] 專利文獻3 :JP特開2011-89895號公報
[0021] 專利文獻4 :美國專利第7283231號說明書

【發(fā)明內(nèi)容】

[0022] 發(fā)明要解決的課題
[0023] 在現(xiàn)有的利用了壓縮感知的超光譜照相機中，棱鏡等分光元件被插入到光路上。 因此，存在產(chǎn)生彗形像差、分辨率下降的課題。
[0024] 本公開提供一種能夠抑制彗形像差的產(chǎn)生以及伴隨于此的分辨率的下降的新的 攝像技術(shù)。
[0025] 用于解決課題的手段
[0026] 本公開的一個方式所涉及的攝像裝置具備：第1編碼元件，其具有在從對象物入 射的光的光路上二維排列的多個區(qū)域；和攝像元件，其配置在通過了所述第1編碼元件的 光的光路上，所述多個區(qū)域的每一個包含第1區(qū)域以及第2區(qū)域，所述第1區(qū)域的光透過率 的波長分布在相互不同的第1波長區(qū)域以及第2波長區(qū)域中分別具有極大值，所述第2區(qū) 域的光透過率的波長分布在相互不同的第3波長區(qū)域以及第4波長區(qū)域中分別具有極大 值，在將所述第1區(qū)域的光透過率的波長分布標準化為所述第1區(qū)域的光透過率的最大值 為1、最小值為〇時，所述第1波長區(qū)域以及所述第2波長區(qū)域中的所述極大值均為0. 5以 上，在將所述第2區(qū)域的光透過率的波長分布標準化為所述第2區(qū)域的分光透過率的最大 值為1、最小值為〇時，所述第3波長區(qū)域以及所述第4波長區(qū)域中的所述極大值均為0. 5 以上，所述第1波長區(qū)域以及所述第2波長區(qū)域中的至少1個與所述第3波長區(qū)域以及所 述第4波長區(qū)域不同，所述攝像元件取得將通過了所述第1編碼元件的光的所述第1波長 區(qū)域、所述第2波長區(qū)域、所述第3波長區(qū)域以及第4波長區(qū)域的分量重疊后的圖像。
[0027] 發(fā)明效果
[0028] 根據(jù)本公開，能夠抑制彗形像差的產(chǎn)生以及伴隨于此的分辨率的下降。
【附圖說明】
[0029] 圖IA是示意性地表示實施方式1中的編碼元件C的構(gòu)成的圖。
[0030] 圖IB是表示實施方式1中的編碼元件C的對象波長區(qū)域所包含的多個波長區(qū)域 Wl、W2........Wi各自的光的透過率的空間分布的一例的圖。
[0031] 圖IC是表示實施方式1中的編碼元件C的2個區(qū)域Al中的分光透過率的例子的 圖。
[0032] 圖ID是表示實施方式1中的編碼元件C的2個區(qū)域A2中的分光透過率的例子的 圖。
[0033] 圖2A是用于說明對象波長區(qū)域W、和其中包含的多個波長區(qū)域W1、W2........Wi 的關系的圖。
[0034] 圖2B是表示根據(jù)波長區(qū)域而頻帶寬度不同，并且相鄰的2個波長區(qū)域之間存在間 隙的例子的圖。
[0035] 圖3A是用于說明編碼元件C的某區(qū)域中的分光透過率的特性的圖。
[0036] 圖3B是表示將圖3A所示的分光透過率按照每個波長區(qū)域Wl、W2........Wi進 行了平均化的結(jié)果的圖。
[0037] 圖4是表示本公開的實施方式2的攝像裝置Dl的示意圖。
[0038] 圖5A是表示本實施方式中的編碼元件C的透過率分布的例子的圖。
[0039] 圖5B是表不編碼兀件C的其他構(gòu)成例的圖。
[0040] 圖6A是近似性地表示具有圖5A所示的二進制的透過率分布的編碼元件C中的某 區(qū)域的分光透過率的圖。
[0041] 圖6B是表示具有圖5A所示的二進制的透過率分布的編碼元件C中的某區(qū)域的分 光透過率的例子的圖。
[0042] 圖7是表示實施方式2中的分光方法的概要的流程圖。
[0043] 圖8A是表示本公開的實施方式3中的攝像裝置D2的示意圖。
[0044] 圖8B是表示本公開的實施方式3的變形例中的攝像裝置D2'的示意圖。
[0045] 圖9是表示在本公開的實施例1中對光譜分離圖像F進行了重構(gòu)的結(jié)果的一例的 圖。
[0046] 圖10是表示在比較例1中對光譜分離圖像F進行了重構(gòu)的結(jié)果的一例的圖。
[0047] 圖11是表示實施例1以及比較例1各自中的相對于正確圖像的均方誤差（Mean Squared Error :MSE)的圖。
[0048] 圖12是表不本公開的實施方式4的分光系統(tǒng)SI的不意圖。
[0049] 圖13A是表示圖12所示的攝像裝置D4中的窄頻帶編碼元件的分光透過率的例子 的圖。
[0050] 圖13B是表示圖12所示的攝像裝置D4中的窄頻帶編碼元件的分光透過率的其他 例子的圖。
[0051] 圖13C是表示窄頻帶編碼元件的分光透過率的其他例子的圖。
[0052] 圖13D是表示窄頻帶編碼元件的分光透過率的其他例子的圖。
[0053] 圖13E是表示窄頻帶編碼元件的分光透過率的其他例子的圖。
[0054] 圖14A是說明對象波長區(qū)域W、和其中包含的多個波段W1、W2........Wn的關系 的圖。
[0055] 圖14B是表示根據(jù)波段而頻帶寬度不同，并且相鄰的2個波段之間存在間隙的例 子的圖。
[0056] 圖15是表示分光系統(tǒng)Sl中的攝像裝置D4的其他構(gòu)成例的圖。
[0057] 圖16A是示意性地表示圖12所示的攝像裝置D4中的空間調(diào)制編碼元件CS的構(gòu) 成的圖。
[0058] 圖16B是表示圖12所示的攝像裝置D4中的空間調(diào)制編碼元件CS的對象波長區(qū) 域所包含的多個波長區(qū)域Wl、W2........Wi各自的光的透過率的空間分布的一例的圖。
[0059] 圖16C是表示圖12所示的攝像裝置D4中的空間調(diào)制編碼元件CS的區(qū)域Al中的 分光透過率的例子的圖。
[0060] 圖16D是表示圖12所示的攝像裝置D4中的空間調(diào)制編碼元件CS的區(qū)域A2中的 分光透過率的例子的圖。
[0061] 圖17是說明空間調(diào)制編碼元件CS的某區(qū)域中的分光透過率的波長分辨率的圖。
[0062] 圖18A是表示透過了窄頻帶編碼元件Cl時所得到的光的波長以及強度的例子的 圖。
[0063] 圖18B是表示透過了空間調(diào)制編碼元件CS時所得到的光的波長以及強度的例子 的圖。
[0064] 圖18C是表示透過了窄頻帶編碼元件Cl和空間調(diào)制編碼元件CS雙方時所得到的 光的波長以及強度的例子的圖。
[0065] 圖19是表示透過了窄頻帶編碼元件Cl和空間調(diào)制編碼元件CS雙方時所得到的 光的波長以及強度的例子的圖。
[0066] 圖20A是表示二進制的分光透過率的一例的圖。
[0067] 圖20B是表示二進制的分光透過率的另一例的圖。
[0068] 圖2IA是表示實施方式4中的空間調(diào)制編碼元件CS的透過率分布的例子的圖。
[0069] 圖21B是表示實施方式4中的空間調(diào)制編碼元件CS的其他透過率分布的圖。
[0070] 圖22是表示實施方式4中的分光方法的概要的流程圖。
【具體實施方式】
[0071] 在說明本公開的實施方式之前，說明本發(fā)明的發(fā)明人所發(fā)現(xiàn)的見解。
[0072] 根據(jù)本發(fā)明的發(fā)明人的研究，上述現(xiàn)有的超光譜照相機中存在以下這樣的課題。 (a)線傳感器方式為了得到二維圖像需要對照相機進行掃描，不適合測定對象的動態(tài)圖像 拍攝。（C)傅里葉變換方式也需要使反射鏡移動，因此不適合動態(tài)圖像拍攝。（b)電子濾波 器方式由于1個波長1個波長地取得圖像，因此無法同時取得多波長的圖像。（d)干涉濾波 器方式由于能夠取得圖像的波長的頻帶數(shù)和空間分辨率相互折中，因此在取得多波長圖像 的情況下，會犧牲空間分辨率。如此，在現(xiàn)有的超光譜照相機中，不存在同時滿足高分辨率、 多波長、動態(tài)圖像拍攝（單鏡頭拍攝）這3者的超光譜照相機。
[0073] 利用了壓縮感知的構(gòu)成，乍一看認為能夠同時滿足高分辨率、多波長、動態(tài)圖像拍 攝。但是，由于根據(jù)原本就少的數(shù)據(jù)基于推測來重構(gòu)圖像，因此所取得的圖像的空間分辨率 與本來的圖像相比容易下降。特別是取得數(shù)據(jù)的壓縮率越高其影響越顯著地顯現(xiàn)。進而， 由于棱鏡等分光元件被插入到光路上，因此存在產(chǎn)生彗形像差、分辨率下降的課題。
[0074] 本發(fā)明的發(fā)明人發(fā)現(xiàn)上述課題，并研究了用于解決這些課題的構(gòu)成。本發(fā)明的發(fā) 明人發(fā)現(xiàn)通過適當設計編碼元件的各區(qū)域的分光透過率，能夠抑制彗形像差的產(chǎn)生，使分 辨率提高。根據(jù)本公開的某實施方式，能夠同時滿足高分辨率、多波長、動態(tài)圖像拍攝（單 鏡頭拍攝）這3個要求。此外，在本公開的實施方式中，X方向、y方向、波長方向的三維信 息中的波長方向的信息被壓縮。因此，只要保有二維數(shù)據(jù)即可，能夠抑制數(shù)據(jù)量。因此，本 公開的實施方式對于長時間的數(shù)據(jù)取得很有效。
[0075] 本公開包含以下項目所述的攝像裝置、系統(tǒng)、以及方法。
[0076] [項目 1]
[0077] 一種攝像裝置，具備：
[0078] 第1編碼元件，其具有在從對象物入射的光的光路上二維排列的多個區(qū)域；和 [0079] 攝像元件，其配置在通過了所述第1編碼元件的光的光路上，
[0080] 所述多個區(qū)域包含第1區(qū)域以及第2區(qū)域，
[0081] 所述第1區(qū)域的光透過率的波長分布在相互不同的第1波長區(qū)域以及第2波長區(qū) 域中分別具有極大值，
[0082] 所述第2區(qū)域的光透過率的波長分布在相互不同的第3波長區(qū)域以及第4波長區(qū) 域中分別具有極大值，
[0083] 在將所述第1區(qū)域的光透過率的波長分布標準化為所述第1區(qū)域的光透過率的最 大值為1、最小值為〇時，所述第1波長區(qū)域以及所述第2波長區(qū)域中的所述極大值均為0. 5 以上，
[0084] 在將所述第2區(qū)域的光透過率的波長分布標準化為所述第2區(qū)域的分光透過率的 最大值為1、最小值為〇時，所述第3波長區(qū)域以及所述第4波長區(qū)域中的所述極大值均為 0. 5以上，
[0085] 所述第1波長區(qū)域以及所述第2波長區(qū)域中的至少1個與所述第3波長區(qū)域以及 所述第4波長區(qū)域不同，
[0086] 所述攝像元件取得將通過了所述第1編碼元件的光的所述第1波長區(qū)域、所述第 2波長區(qū)域、所述第3波長區(qū)域以及第4波長區(qū)域的分量重疊后的圖像。
[0087] [項目 2]
[0088] 根據(jù)項目1所述的攝像裝置，所述多個區(qū)域的一部分是透明區(qū)域。
[0089] [項目 3]
[0090] 根據(jù)項目2所述的攝像裝置，二維排列的所述多個區(qū)域，在所述多個區(qū)域的一個 排列方向以及與所述一個排列方向垂直的另一個排列方向上，交替地排列光透過率根據(jù)波 長而不同的區(qū)域、和所述透明區(qū)域。
[0091] [項目 4]
[0092] 根據(jù)項目1~3中任意一項所述的攝像裝置，
[0093] 所述多個區(qū)域二維排列為矩陣狀，
[0094] 所述多個區(qū)域中包含的屬于排列為1個行或列的區(qū)域的集合的各區(qū)域中的以第5 波長區(qū)域的光的透過率的值為要素的向量、和所述多個區(qū)域中包含的屬于排列為其他行或 列的區(qū)域的集合的各區(qū)域中的以所述第5波長區(qū)域的光的透過率的值為要素的向量相互 獨立，
[0095] 所述多個區(qū)域中包含的屬于排列為1個行或列的區(qū)域的集合的各區(qū)域中的以第6 波長區(qū)域的光的透過率的值為要素的向量、和所述多個區(qū)域中包含的屬于排列為其他行或 列的區(qū)域的集合的各區(qū)域中的以所述第6波長區(qū)域的光的透過率的值為要素的向量相互 獨立。
[0096] [項目 5]
[0097] 根據(jù)項目1~4中任意一項所述的攝像裝置，
[0098] 還具備光學系統(tǒng)，所述光學系統(tǒng)配置在所述對象物與所述第1編碼元件之間，使 來自所述對象物的光會聚在所述第1編碼元件的面上，
[0099] 所述第1編碼元件配置在所述攝像元件上。