圖像處理方法、圖像處理裝置及攝像裝置的制造方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明設(shè)及一種視差圖像的圖像處理方法。
【背景技術(shù)】
[0002] 諸如視頻攝像機及數(shù)字照相機等的攝像裝置需要具有薄型外形和高的變焦比。在 傳統(tǒng)的典型攝像系統(tǒng)中，光學(xué)系統(tǒng)是通過如下方式被構(gòu)造的，即組合多個光學(xué)透鏡，W抑制 光學(xué)系統(tǒng)的像差的生成并且滿足所需的光學(xué)性能。為了減小該光學(xué)系統(tǒng)的尺寸，而考慮減 小圖像尺寸，W及減小光學(xué)系統(tǒng)的直徑。然而，難W在維持分辨率的同時減小圖像尺寸。
[0003] 另一方面，已提出了復(fù)眼攝像裝置（多眼攝像裝置），其將光學(xué)系統(tǒng)劃分為多個光 學(xué)系統(tǒng)，W實現(xiàn)小型的光學(xué)系統(tǒng)。術(shù)語"復(fù)眼"是指使用昆蟲的眼睛的構(gòu)造的結(jié)構(gòu)，并且，例 如已知有如下的結(jié)構(gòu)，即由包括多個透鏡單元的透鏡陣列構(gòu)成光學(xué)系統(tǒng)，并且減小各透鏡 單元的尺寸并且減小焦距，W使光學(xué)系統(tǒng)小型化。然而，在傳統(tǒng)的復(fù)眼攝像裝置中，難W附 加用來使拍攝視角可變的光學(xué)變焦功能。運是因為，光學(xué)變焦功能通過使用移動構(gòu)成光學(xué) 系統(tǒng)的透鏡的位置的方法，來使拍攝視角可變，因而需要機械移動機構(gòu)，結(jié)果，攝像系統(tǒng)的 尺寸增大。
[0004] 日本特開第2005-303694號公報公開了如下的結(jié)構(gòu)，即布置了具有彼此不同的視 角的短焦的透鏡單元和長焦的透鏡單元，W通過包括被攝體的相同部分的方式來捕獲圖 像。換言之，向由與短焦透鏡相對應(yīng)的攝像元件獲得的寬圖像的一部分中，嵌入由與長焦透 鏡相對應(yīng)的攝像元件獲得的放大圖像。因此，能夠獲得如下的圖像，該圖像的一部分區(qū)域具 有高分辨率，并且該圖像的其他區(qū)域具有低分辨率及寬視角。運對于監(jiān)控攝像機是有效的， 并且，例如能夠放大中屯、區(qū)域的可疑的人等W詳細(xì)監(jiān)視，同時把握監(jiān)視區(qū)域的整個區(qū)域。 陽0化]日本特開第2011-135359號公報公開了一種由多個子照相機模塊構(gòu)成的復(fù)眼 攝像系統(tǒng)，在所述多個子照相機模塊中，布置了彼此不同的濾色器。另外，日本特開第 2011-135359號公報公開了一種方法，即對各顏色分量的圖像進行恢復(fù)處理，W校正隨著攝 像裝置的薄型化而容易出現(xiàn)的、光學(xué)系統(tǒng)的像差。
[0006] 復(fù)眼攝像裝置能夠通過將攝像系統(tǒng)布置成陣列W獲得視差圖像，來獲取"光場 (Li曲tField)"。"光場"是指來自被取入攝像裝置中的被攝體的光線的位置及角度的 信息。在"Ren.Ng,etc. ,^LightFieldPhotographywithaHand-heldPlenoptic Camera'，StanfordTechRepOTtCTSR2005-2"中，詳細(xì)描述了光場。已知有能夠獲取"光 場"的攝像裝置的多種結(jié)構(gòu)，并且復(fù)眼攝像裝置是所述多種結(jié)構(gòu)之一。在攝像元件上作為 圖像而獲得的"光場"，是根據(jù)攝像裝置的結(jié)構(gòu)的視差圖像或與光學(xué)系統(tǒng)的光瞳相對應(yīng)的圖 像，并且在如下一點上是相同的，即穿過光學(xué)系統(tǒng)的光瞳的光線被分離為位置和角度，由此 被獲得。亦即，通過重新布置各像素的信息，視差圖像和與光學(xué)系統(tǒng)的光瞳相對應(yīng)的圖像能 夠被視為大致等價的。在獲取到"光場"、并且通過圖像處理重構(gòu)了圖像的情況下，能夠在拍 攝圖像之后，進行預(yù)定范圍內(nèi)的聚焦及深度調(diào)整。對于薄型的復(fù)眼攝像裝置而言，運樣的功 能有益于減少驅(qū)動單元。
[0007] 然而，在日本特開第2005-303694號公報的結(jié)構(gòu)中，焦距相互不同的光學(xué)系統(tǒng)的 光軸彼此移位。因此，該結(jié)構(gòu)不適合進行如下的連續(xù)變焦，在該連續(xù)變焦中，與典型的單眼 變焦光學(xué)系統(tǒng)類似地，視點從廣角側(cè)到遠(yuǎn)攝側(cè)是恒定的。此外，在該結(jié)構(gòu)中，不能獲取"光 場"。
[0008] 在實際的拍攝透鏡中，存在不少的像差。在與被攝體空間中的一點共輛的點處的 光束的擴散，被稱為點擴散函數(shù)（PSF)。彩色圖像中的色溢（colorbleeding)(諸如軸向 色像差、顏色的球面像差和顏色的曽形像差），W及橫向方向上的色移（即倍率色像差）， 能夠?qū)?yīng)于針對各波長的PSF的位置或形狀的差異。當(dāng)在復(fù)眼攝像裝置中、各光學(xué)系統(tǒng) 中出現(xiàn)像差時，因為經(jīng)由各光學(xué)系統(tǒng)形成的圖像劣化，所W重構(gòu)圖像劣化。在日本特開第 2011-135359號公報中公開的方法中，對經(jīng)由布置了彼此不同的濾色器的光學(xué)系統(tǒng)中的各 個而形成的圖像，進行恢復(fù)處理。然而，由于布置了焦距相同的多個光學(xué)系統(tǒng)，所W不能進 行變焦。此外，雖然布置了焦距相同的多個光學(xué)系統(tǒng)，但濾色器是彼此不同的，所W不能獲 取"光場"。

【發(fā)明內(nèi)容】

[0009] 本發(fā)明提供一種圖像處理方法、圖像處理裝置及攝像裝置，所述圖像處理方法能 夠由經(jīng)由多個光學(xué)系統(tǒng)獲得的拍攝圖像來生成高清晰圖像，所述多個光學(xué)系統(tǒng)具有彼此不 同的多個焦距。
[0010] 作為本發(fā)明的一個方面的一種圖像處理方法包括W下步驟：獲取通過使用復(fù)眼攝 像裝置而拍攝的第一圖像；獲取所述第一圖像的攝像條件信息；依據(jù)所述攝像條件信息， 來獲取所述復(fù)眼攝像裝置中的、具有彼此不同的多個焦距的多個光學(xué)系統(tǒng)的光學(xué)特性信 息；基于所述光學(xué)特性信息，來校正由于拍攝所述第一圖像而導(dǎo)致的所述第一圖像的劣化； W及基于從劣化被校正的所述第一圖像中獲得的光線的位置及角度的信息，來生成第二圖 像，并且，所述光學(xué)特性信息包含所述多個光學(xué)系統(tǒng)的與像差相關(guān)的信息和與周邊照明相 關(guān)的信息中的至少一者。
[0011] 作為本發(fā)明的另一方面的一種圖像處理裝置包括：圖像獲取單元，其被配置為獲 取通過使用復(fù)眼攝像裝置而拍攝的第一圖像；攝像條件獲取單元，其被配置為獲取所述第 一圖像的攝像條件信息；光學(xué)特性獲取單元，其被配置為依據(jù)所述攝像條件信息，來獲取所 述復(fù)眼攝像裝置中的、具有彼此不同的多個焦距的多個光學(xué)系統(tǒng)的光學(xué)特性信息；校正單 元，其被配置為基于所述光學(xué)特性信息，來校正由于拍攝所述第一圖像而導(dǎo)致的所述第一 圖像的劣化；W及圖像處理單元，其被配置為基于從劣化被校正的所述第一圖像中獲得的 光線的位置及角度的信息，來生成第二圖像，并且，所述光學(xué)特性信息包含所述多個光學(xué)系 統(tǒng)的與像差相關(guān)的信息和與周邊照明相關(guān)的信息中的至少一者。
[0012] 作為本發(fā)明的另一方面的一種攝像裝置包括：具有彼此不同的多個焦距的多個光 學(xué)系統(tǒng)；與所述多個光學(xué)系統(tǒng)中的各個相對應(yīng)地配設(shè)的多個攝像元件；圖像獲取單元，其 被配置為獲取通過使用所述多個光學(xué)系統(tǒng)和所述多個攝像元件而拍攝的第一圖像；攝像條 件獲取單元，其被配置為獲取所述第一圖像的攝像條件信息；光學(xué)特性獲取單元，其被配置 為依據(jù)所述攝像條件信息，來獲取所述多個光學(xué)系統(tǒng)的光學(xué)特性信息；校正單元，其被配置 為基于所述光學(xué)特性信息，來校正由于拍攝所述第一圖像而導(dǎo)致的所述第一圖像的劣化； W及圖像處理單元，其被配置為基于從劣化被校正的所述第一圖像中獲得的光線的位置及 角度的信息，來生成第二圖像，并且，所述光學(xué)特性信息包含所述多個光學(xué)系統(tǒng)的與像差相 關(guān)的信息和與周邊照明相關(guān)的信息中的至少一者。
[0013] 通過W下參照附圖對示例性實施例的描述，本發(fā)明進一步的特征及方面將變得清 楚。
【附圖說明】
[0014] 圖1是實施例1中的攝像裝置的示意圖。
[0015] 圖2是各實施例中的圖像恢復(fù)濾波器的說明圖。
[0016] 圖3是各實施例中的圖像恢復(fù)濾波器的說明圖。 陽017] 圖4A及圖4B是各實施例中的點像的校正狀態(tài)的說明圖。
[0018] 圖5A及圖5B是各實施例中的振幅分量及相位分量的說明圖。
[0019] 圖6是實施例1中的透鏡單元（多個光學(xué)系統(tǒng)）的說明圖。
[0020] 圖7是實施例1中的多個光學(xué)系統(tǒng)的布置圖。
[0021] 圖8A至圖8D是實施例1中的多個光學(xué)系統(tǒng)的布置圖。
[0022] 圖9是實施例1中的電子變焦的說明圖。
[0023] 圖10是實施例1中的攝像裝置的框圖。
[0024] 圖11是實施例1中的攝像單元的框圖。 陽0巧]圖12是實施例1中的復(fù)眼圖像處理的流程圖。
[00%] 圖13是實施例1中的生成重構(gòu)圖像的方法的說明圖。
[0027] 圖14是實施例1中的生成重構(gòu)圖像的方法的說明圖。
[0028] 圖15是實施例1中的生成重構(gòu)圖像的方法的說明圖。
[0029] 圖16是實施例1中的圖像格式的說明圖。
[0030] 圖17是實施例2中的電子變焦的說明圖。
[0031] 圖18是實施例2中的電子變焦的說明圖。
[0032] 圖19是實施例2中的電子變焦期間的圖像合成的說明圖。
[0033] 圖20是實施例2中的電子變焦期間的圖像合成的說明圖。
[0034] 圖21是實施例3中的圖像處理系統(tǒng)的框圖。
【具體實施方式】
[0035] 下面，將參照附圖來描述本發(fā)明的示例性實施例。
[0036] 首先，將描述在本實施例中使用的術(shù)語的定義W及圖像恢復(fù)處理（圖像處理方 法）。本實施例中描述的圖像處理方法適當(dāng)?shù)赜糜诤笫龈鲗嵤├小?br>[0037] (輸入圖像）
[0038] 輸入圖像是通過利用攝像元件經(jīng)由攝像光學(xué)系統(tǒng)接收光而獲得的數(shù)字圖像（拍 攝圖像），并且由于依據(jù)攝像光學(xué)系統(tǒng)和各種光學(xué)濾波器的光學(xué)傳遞函數(shù)（OT巧而劣化。此 夕F，發(fā)生由失真像差導(dǎo)致的圖像的失真，W及由倍率色像差導(dǎo)致的圖像的色移。失真像差和 倍率色像差可W被包含在光學(xué)傳遞函數(shù)中，但是在本實施例中，考慮獨立進行針對失真像 差和倍率色像差的校正處理的情況，而分開描述失真像差和倍率色像差。此外，發(fā)生周邊照 明的降低，即越是圖像的邊緣光量越低。攝像光學(xué)系統(tǒng)不僅能夠使用透鏡，而且能夠使用具 有曲率的反射鏡（反射面）。
[0039] 輸出圖像具有例如關(guān)于作為顏色分量的RGB顏色分量的信息。除了RGB顏色分量