專利名稱：攝像裝置以及圖像復(fù)原方法
技術(shù)領(lǐng)域：
本發(fā)明涉及將在拍攝時退化的圖像復(fù)原為退化少的圖像的技術(shù)。
背景技術(shù)：
將在拍攝時光學(xué)系統(tǒng)未對焦、晃動或像差等原因而退化的圖像復(fù)原為退化少的圖像的技術(shù)的開發(fā)有進(jìn)展。例如，在專利文獻(xiàn)1所公開的技術(shù)中，通過對因為未對焦、晃動或像差等而退化的退化圖像(拍攝圖像)進(jìn)行利用了校正函數(shù)的復(fù)原運算，從而能夠得到退化被校正后的復(fù)原圖像，該校正函數(shù)具有基于未對焦、晃動或像差等的PSF(Point Spread Function 點擴(kuò)散函數(shù))的逆特性。很多情況下，校正函數(shù)利用基于設(shè)計數(shù)據(jù)等而以計算機(jī)作成的PSF數(shù)據(jù)來作成。并且，在專利文獻(xiàn)2所公開的技術(shù)中，在PSF數(shù)據(jù)的作成困難的情況下，利用進(jìn)行實拍而得到的PSF數(shù)據(jù)來進(jìn)行退化圖像的復(fù)原運算。專利文獻(xiàn)1 (日本)特開昭62-127976號公報專利文獻(xiàn)2 (日本)特開2009-163642號公報然而，在利用基于設(shè)計數(shù)據(jù)等而以計算機(jī)作成的PSF數(shù)據(jù)來實施退化圖像的復(fù)原運算的情況下，在因為相機(jī)組裝時的安裝誤差大等原因而PSF數(shù)據(jù)所示出的PSF與實際的 PSF之間的差異大時，不能得到高分辨率的復(fù)原圖像。因此，存在需要利用實際拍攝而得到的PSF圖像來實施圖像的復(fù)原，而不是利用以計算機(jī)作成的PSF數(shù)據(jù)來實施圖像的復(fù)原的情況。并且，如專利文獻(xiàn)2所示，即使在不是利用以計算機(jī)作成的PSF數(shù)據(jù)而是利用拍攝點光源而得到的PSF圖像來進(jìn)行退化圖像的復(fù)原運算的情況下，尤其是在拍攝PSF圖像時的攝像元件的無用亮度(以下也稱為“噪聲”)大的情況下，因為該噪聲的影響而PSF圖像所示出的PSF與實際的PSF之間存在差異。其結(jié)果，存在不能得到高分辨率的復(fù)原圖像這樣的課題。

發(fā)明內(nèi)容
本發(fā)明用于解決上述課題，目的在于提供一種攝像裝置以及圖像復(fù)原方法，其在基于由光學(xué)系統(tǒng)拍攝的PSF圖像來復(fù)原退化圖像的情況下，能夠高分辨率地復(fù)原退化圖像。為了達(dá)成上述目的，本發(fā)明的一個方面所涉及的攝像裝置具備光學(xué)系統(tǒng)；點擴(kuò)散函數(shù)拍攝部，取得由所述光學(xué)系統(tǒng)進(jìn)行拍攝而得到的點擴(kuò)散函數(shù)信息，并通過校正所述點擴(kuò)散函數(shù)信息而輸出修正點擴(kuò)散函數(shù)信息；被攝體拍攝部，取得由所述光學(xué)系統(tǒng)進(jìn)行拍攝而得到的被攝體信息并進(jìn)行輸出；以及圖像復(fù)原部，基于所述修正點擴(kuò)散函數(shù)信息和所述被攝體信息，進(jìn)行所述被攝體信息的復(fù)原運算，所述點擴(kuò)散函數(shù)拍攝部具備頻域變換部，將所述點擴(kuò)散函數(shù)信息變換為頻域的數(shù)據(jù)，并輸出光學(xué)傳遞函數(shù)信息；以及低頻成分增益平滑化部，對所述光學(xué)傳遞函數(shù)信息進(jìn)行校正，以使所述光學(xué)傳遞函數(shù)信息中的、直流成分的增益與非直流成分的低頻成分的增益之比變小。這樣，通過對將由光學(xué)系統(tǒng)拍攝的PSF信息變換為頻域而得到的OTF(Optical Transfer Function 光學(xué)傳遞函數(shù))信息進(jìn)行校正，以使OTF信息中的直流成分與低頻成分之比變小，從而能夠降低PSF圖像中包括的隨機(jī)噪聲的影響。其結(jié)果，能夠高分辨率地復(fù)原退化圖像。通過本發(fā)明的一個方面所涉及的攝像裝置，在圖像復(fù)原運算時，即使拍攝PSF圖像的無用亮度(尤其是在時間序列上變動的隨機(jī)噪聲)大的情況下，也能夠通過對OTF信息進(jìn)行校正而使直流成分與低頻成分之比變小，從而使PSF圖像的亮度平均值成為恰當(dāng)?shù)闹?，從而使?fù)原信息更加準(zhǔn)確，能夠進(jìn)行高分辨率的圖像的復(fù)原。


圖1是示出本發(fā)明的實施例所涉及的攝像裝置的構(gòu)成的框圖。圖2是用于說明本發(fā)明的實施例的原圖像、PSF以及退化圖像的關(guān)系的圖。圖3是示出本發(fā)明的實施例的PSF的亮度分布的圖。圖4是示出用于驗證本發(fā)明的實施例的噪聲對復(fù)原圖像的影響的模擬器的圖。圖5是說明本發(fā)明的實施例的退化圖像中包括的噪聲與復(fù)原圖像的關(guān)系的圖。圖6是說明本發(fā)明的實施例的PSF圖像中包括的噪聲與復(fù)原圖像的關(guān)系的圖。圖7是說明本發(fā)明的實施例的退化圖像以及PSF圖像中包括的噪聲與復(fù)原圖像的分辨率的關(guān)系的圖。圖8是示出本發(fā)明的實施例的理想的PSF信息的圖。圖9是示出本發(fā)明的實施例的包括噪聲的PSF信息的圖。圖10是示出本發(fā)明的實施例所涉及的攝像裝置的工作的流程圖。圖11是示出本發(fā)明的實施例的PSF信息的圖。圖12是示出本發(fā)明的實施例的OTF信息的圖。圖13是示出本發(fā)明的實施例的復(fù)原圖像的圖。圖14是示出本發(fā)明的實施例的復(fù)原圖像的分辨率的圖。
具體實施例方式以下，在說明本發(fā)明的實施例之前，說明被拍攝的PSF圖像的無用亮度(噪聲)大的情況下高分辨率的圖像的復(fù)原困難的原因。禾Ij用從圖2到圖9，說明被拍攝的PSF圖像的噪聲大的情況下高分辨率的圖像的復(fù)原困難的原因。在圖2的(a)示出沒有退化的原圖像(被攝體)。是測定被拍攝的圖像的分辨率時通常利用的楔形圖。在圖2的(b)示出光學(xué)系統(tǒng)的PSF圖像的一個例子。因為光學(xué)系統(tǒng)未對焦、晃動或像差等，如圖2的(b)所示，點像(pointimage)有限地擴(kuò)散。因此，經(jīng)由光學(xué)系統(tǒng)，圖2的(a)的原圖像，作為如圖2的(c)所示的分辨率退化的退化圖像而成像于攝像元件上。已知通過原圖像與被進(jìn)行歸一化(normalization)而使所有圖像區(qū)域的亮度積分值為“1”的PSF圖像的卷積積分來表示退化圖像。另夕卜，圖3是對圖2的(b)的PSF圖像中的包括亮度最大的部分的行(line)中的亮度最大的區(qū)域的周邊進(jìn)行了放大的亮度分布。圖3是PSF圖像不包括噪聲的情況下的亮度分布。圖像的亮度的表現(xiàn)因安裝系統(tǒng)的不同而不同，在此以“0”表現(xiàn)黑，以“1.0”表現(xiàn)白。圖4表示模擬器的框圖，該模擬器用于調(diào)查導(dǎo)入成像于攝像元件的被攝體像時， 分別混入退化圖像以及PSF圖像的噪聲對復(fù)原圖像的分辨率的影響。模擬器具備退化圖像噪聲附加部101，將噪聲附加到不包括噪聲的退化圖像；PSF圖像噪聲附加部102，將噪聲附加到不包括噪聲的PSF圖像；以及圖像復(fù)原運算部103。利用該模擬器，能夠調(diào)查分別針對退化圖像和PSF圖像的噪聲的影響。假定噪聲是高斯噪聲。并且，通過使該高斯噪聲的標(biāo)準(zhǔn)偏差σ變動，從而調(diào)查噪聲的影響。例如，基于圖像位置而在時間序列上幾乎不變化的固定值噪聲(例如，暗電流噪聲或者規(guī)定的行或者像素位置的攝像元件的制造不良而出現(xiàn)的噪聲等)，因為能夠通過預(yù)先調(diào)查各個圖像位置的噪聲值而容易補償，因此在此不予考慮。也就是說，僅考慮不易補償?shù)脑跁r間序列上隨機(jī)變化的隨機(jī)噪聲(假定為高斯噪聲)，來調(diào)查噪聲的影響。另外，圖像位置是指圖像上的位置，典型的是構(gòu)成圖像的像素的位置。并且，高斯噪聲是指噪聲成分的亮度值分布近似于高斯分布的噪聲。圖像復(fù)原運算部103利用作為圖像復(fù)原算法已知的維納濾波器或 RL(Richardson-Lucy)算法等來進(jìn)行圖像復(fù)原運算就可以。在此，圖像復(fù)原運算部103的構(gòu)成是通過利用維納濾波器進(jìn)行圖像復(fù)原運算來得到復(fù)原圖像。維納濾波器Hw (u，ν)的構(gòu)成，利用例如非專利文獻(xiàn)(“〒^ ”夕^畫像處理(2004 年7月22日CG-ARTS協(xié)會發(fā)行)，，的146頁)記載的以下(算式1)就可以。Hw(U，ν) = 1/H(u, ν) · H(u，ν) | "2/(| H(u，ν) | "2+Κ)(算式 1)在此，H(u，ν)表示PSF 圖像的傅立葉變換即 OTF (Optical TransferFunction 光學(xué)傳遞函數(shù))。并且，u表示存放有PSF圖像的垂直方向的各頻率成分的排列的地址。并且，ν表示存放有PSF圖像的水平方向的各頻率成分的排列的地址。K是恰當(dāng)?shù)某?shù)。圖像復(fù)原運算部103，通過按照每個頻率成分將退化圖像的傅立葉變換數(shù)據(jù)與維納濾波器Hw(U，v)相乘，并對該乘法運算結(jié)果進(jìn)行逆傅立葉變換，從而生成復(fù)原圖像。作為被攝體利用在圖2的(a)示出的楔形圖。將由PSF圖像噪聲附加部102根據(jù)需要將噪聲附加到圖2的(b)的PSF圖像后進(jìn)行歸一化而使所有區(qū)域的亮度積分值成為1的圖像，作為 PSF圖像來利用。在圖5的(a)、(b)以及(c)示出由退化圖像噪聲附加部101對圖2的(c)的退化圖像附加變動了標(biāo)準(zhǔn)偏差ο的高斯噪聲的情況下的與各標(biāo)準(zhǔn)偏差ο對應(yīng)的復(fù)原圖像。作為一個列子，在此，將PSF圖像以及退化圖像的大小設(shè)定為512X512像素。具體而言，在圖5的(a)、(b)以及(C)示出將標(biāo)準(zhǔn)偏差σ分別設(shè)定為退化圖像的亮度最大設(shè)定值(在此設(shè)定“0”為黑，“1.0”為白，因此亮度最大設(shè)定值為“1”)的0%、 0.05%以及0.3%的情況下的復(fù)原圖像。此時，對于PSF圖像未附加噪聲。從圖5的(a)、 (b)以及(c)很明確的是，隨著標(biāo)準(zhǔn)偏差σ增大，復(fù)原圖像的分辨率會降低一些。另外，亮度最大設(shè)定值是示出亮度的值中的示出最大亮度的值。在圖6的(a)、(b)以及(c)示出由PSF圖像噪聲附加部102對圖2的(b)的PSF 圖像附加變動了標(biāo)準(zhǔn)偏差ο的高斯噪聲的情況下的與各標(biāo)準(zhǔn)偏差ο對應(yīng)的復(fù)原圖像。具體而言，在圖6的(a)、(b)以及(c)示出將高斯噪聲的標(biāo)準(zhǔn)偏差σ分別設(shè)定為PSF圖像的最大亮度值的0%、0. 05%以及0.3%的情況下的復(fù)原圖像。此時，對于退化圖像未附加噪聲。此時對于退化圖像未附加噪聲。從圖6的(a)、(b)以及(C)很明確的是，隨著高斯噪聲的標(biāo)準(zhǔn)偏差ο增大，復(fù)原圖像的分辨率明顯降低。另外，PSF圖像的最大亮度值是在PSF圖像中示出最大亮度的圖像位置的亮度值。 具體而言，PSF圖像的最大亮度值是指例如構(gòu)成PSF圖像的像素中示出最大亮度的像素的亮度值。在圖7示出對變動了高斯噪聲的標(biāo)準(zhǔn)偏差σ的情況下的復(fù)原圖像的分辨率的變化進(jìn)行了比較的結(jié)果。在圖7中，符號701表示僅對退化圖像附加高斯噪聲的情況下的復(fù)原圖像的分辨率。并且，符號702表示僅對PSF圖像附加高斯噪聲的情況下的復(fù)原圖像的分辨率。對退化圖像附加的高斯噪聲的標(biāo)準(zhǔn)偏差ο以與亮度最大設(shè)定值之比來表示。并且，對PSF圖像附加的高斯噪聲的標(biāo)準(zhǔn)偏差ο以與最大亮度值之比來表示。在此，將高斯噪聲附加到PSF圖像時，對PSF圖像進(jìn)行歸一化而使最大亮度值是亮度最大設(shè)定值“1. 0”， 并以對退化圖像以及PSF圖像附加同等的噪聲為條件來進(jìn)行比較。參考CIPA標(biāo)準(zhǔn)DC-003" r夕夕義力乂，Θ解像度測定方法，，，利用CIPA發(fā)布的分辨率測定用工具HYRes3. 1來測定分辨率。這樣測定的分辨率，其測定出的條數(shù)越多則表示分辨率越高。另外，本實施例中，對退化圖像以及PSF圖像都未附加高斯噪聲的情況下的被復(fù)原的復(fù)原圖像的分辨率是4 條。從圖7可知按照圖像信號與高斯噪聲的標(biāo)準(zhǔn)偏差σ之比而復(fù)原圖像的分辨率變化。并且，可知，隨著高斯噪聲的標(biāo)準(zhǔn)偏差σ增大，比起退化圖像，PSF圖像的分辨率的降低更明顯。在僅對退化圖像附加高斯噪聲的情況下，如果高斯噪聲的標(biāo)準(zhǔn)偏差σ在亮度最大設(shè)定值的0. 6%以上，則分辨率明顯降低而分辨率變?yōu)?條(不能測定)。另一方面，在僅對PSF圖像附加高斯噪聲的情況下，如果高斯噪聲的標(biāo)準(zhǔn)偏差σ在最大亮度值的0.3% 以上，則分辨率明顯降低而分辨率變?yōu)?條。因此，可知比起退化圖像中包括的噪聲，PSF圖像中包括的噪聲對復(fù)原圖像造成更大的不良影響。另外，測定了圖2的(c)的復(fù)原前的退化圖像的分辨率的情況下，不論有無噪聲，結(jié)果都會因像差引起的模糊的影響而不能測定，分辨率為0條。利用圖8以及圖9，對因PSF圖像中包括的噪聲而使復(fù)原圖像的分辨率大幅度降低的原因進(jìn)行了驗證的結(jié)果進(jìn)行說明。圖8的(a)表示將圖2的(b)的PSF圖像的亮度最大部分的周邊的行進(jìn)行了放大的亮度分布。在此，PSF圖像中不包括噪聲。在圖8的(b)表示對該不包括噪聲的PSF圖像進(jìn)行了傅立葉變換而得到的OTF的增益。圖8的(b)的OTF被進(jìn)行歸一化而使直流成分(頻率“0”)的增益為1。圖8的(b) 的橫坐標(biāo)表示頻率，直流成分(頻率“0”)以右表示正的頻率，以左表示負(fù)的頻率。圖2的 (b)的PSF圖像使用的是具有以亮度為最大的圖像位置為中心而對稱的亮度分布的例子。 因而，考慮到增益分布的容易觀察程度，圖8的(b)以及示出OTF的之后的圖，僅提取作為二維排列的OTF中的包括垂直以及水平方向的直流成分的數(shù)據(jù)的1行的數(shù)據(jù)，來進(jìn)行顯示。圖9的(a)表示將對圖2的(b)的PSF圖像附加標(biāo)準(zhǔn)偏差σ是最大亮度值的0. 3% 的高斯噪聲后的圖像的、亮度最大部分的周邊的行進(jìn)行了放大的亮度分布。圖9的(b)表示對包括該噪聲的PSF圖像進(jìn)行傅立葉變換而得到的OTF的增益。圖9的(b)的OTF也被歸一化而使直流成分(頻率“0”)的增益為“1”?？芍獔D9的(b)與圖8的(b)相比，頻率“0”的成分(直流成分)的增益與其他頻率成分的增益相比明顯變大。這考慮是因為圖2的(b)的PSF圖像中，亮度小的區(qū)域占據(jù)圖像全體中的大部分，通過對該亮度小的區(qū)域附加噪聲，而使基于噪聲的PSF圖像全體的亮度平均值(=直流成分)大幅度地變動。因此，因為被拍攝的PSF圖像的OTF與實際的OTF的差異變大，而使復(fù)原圖像的分辨率大幅度地降低。另外，即使使中值濾波器等降低隨機(jī)噪聲的一般的濾波器作用于PSF 圖像，也難以從PSF圖像的亮度小的區(qū)域完全去除隨機(jī)噪聲，因此難以去除PSF圖像全體的亮度平均值的變動。這樣，通過利用圖4的模擬器進(jìn)行的研討已很清楚存在的課題是在利用被拍攝的PSF圖像來對退化圖像進(jìn)行復(fù)原的情況下，因為校正困難的隨機(jī)噪聲(高斯噪聲)的影響而PSF圖像的亮度平均值變動，從而PSF的頻率成分中的直流成分大幅度地變動，而不能得到高分辨率的復(fù)原圖像。因此，以下，說明能夠解決上述課題的本發(fā)明的一個方面所涉及的攝像裝置。(實施例)以下，參照

本發(fā)明的實施例。圖1是示出本發(fā)明的實施例所涉及的攝像裝置的構(gòu)成的一個例子的框圖。攝像裝置10具備光學(xué)系統(tǒng)1、具有頻域變換部3以及低頻成分增益平滑化部4的PSF拍攝部2、被攝體拍攝部5以及圖像復(fù)原部6。光學(xué)系統(tǒng)1取得被攝體像。具體而言，光學(xué)系統(tǒng)1包括例如透鏡以及攝像元件等。 光學(xué)系統(tǒng)1，通過拍攝點像或相當(dāng)于點像的被攝體像，從而生成PSF圖像I_psf(x，y)。并且，光學(xué)系統(tǒng)1，通過拍攝任意的被攝體像，從而生成被攝體圖像I_img(x，y)。PSF拍攝部2，為了取得與光學(xué)系統(tǒng)1對應(yīng)的PSF而另光學(xué)系統(tǒng)1拍攝點像或者相當(dāng)于點像的被攝體像，并從光學(xué)系統(tǒng)1取得并保存PSF圖像I_psf (x，y)。在此，χ表示圖像中的垂直方向的圖像位置，y表示水平方向的圖像位置。也就是說，PSF拍攝部2取得PSF信息。在此，PSF信息是指基于由光學(xué)系統(tǒng)1拍攝的PSF圖像I_psf (X，y)的信息。具體而言，PSF信息示出例如PSF圖像I_psf (x，y)本身。并且，也可以是，例如，PSF信息是將PSF圖像I_psf(X，y)從空域變換為頻域而得到的 fn息ο另外，優(yōu)選為，為了使噪聲的影響降低到最小限度，PSF圖像I_psf(X，y)是被拍攝為最大亮度值為接近亮度最大設(shè)定值“1.0”的圖像。并且，在基于圖像位置而存在在時間序列上不變化的已知的固定值噪聲(例如，暗電流噪聲、或者規(guī)定的行或像素位置的攝像元件的制造不良而產(chǎn)生的噪聲等)的情況下，如(算式2)沖5 拍攝部2從？5 圖像1_ #(1， y)減去預(yù)先調(diào)查的PSF圖像I_psf(X，y)的各圖像位置的固定值噪聲的亮度值Nf (x，y)。Irl_psf (χ, y) = I_psf (χ, y) -Nf (χ, y)(算式 2)在此，PSF拍攝部2，將減去固定值噪聲的亮度值后的PSF圖像Irl_psf(X，y)中的亮度值變?yōu)樨?fù)的圖像位置的亮度值校正為“0”。另外，PSF拍攝部2，并非一定要從PSF圖像I_psf(x，y)減去固定值噪聲的亮度
7在預(yù)先知道在所有的圖像區(qū)域固定值噪聲大致是一定的值的情況下等， PSF拍攝部2不必從PSF圖像I_psf (X，y)減去固定值噪聲的亮度值Nf (x，y)。這樣，PSF拍攝部2取得PSF信息。在此，PSF信息是指基于由光學(xué)系統(tǒng)1拍攝的 PSF圖像I_psf (X，y)的信息。具體而言，PSF信息例如示出PSF圖像I_psf (x，y)。并且， 也可以是，例如，PSF信息示出從PSF圖像I_psf (X，y)減去固定值噪聲的亮度值Nf (x，y) 后的 PSF 圖像 Irl_psf(x, y)。另外，在以下的說明中，也將從PSF圖像I_psf(x，y)減去固定值噪聲的亮度值 Nf (X，y)后的 PSF 圖像 Irl_psf(x, y)單稱為 PSF 圖像 Irl_psf(x, y)。頻域變換部3，利用FFT (Fast Fourier Transform 快速傅立葉變換)等傅里葉變換手法，將PSF圖像Irl_psf(X，y)從空域變換為頻域的數(shù)據(jù)，作成OTF信息H_psf (u，ν)。 也就是說，頻域變換部3將PSF信息變換為頻域的數(shù)據(jù)并輸出OTF信息。具體而言，頻域變換部3，將PSF信息所示出的PSF圖像Irl_pSf(x，y)從空域變換為頻域，從而輸出OTF信息 H_psf(u, ν) ο低頻成分增益平滑化部4，對OTF信息H_psf (u，ν)進(jìn)行校正，以使OTF信息Η_ psf(u, ν)中的直流成分的增益feiin_H_psf(uO，v0)與低頻成分的增益Gain_low_freq之比 Gain_H_psf(uO，v0)/Gain_low_freq 變小。低頻成分的增益是指從除了直流成分的頻率之外的、比規(guī)定的頻率低的頻率的頻率成分得到的增益。具體而言，低頻成分的增益是指從直流成分的頻率的近旁的頻率的頻率成分得到的增益。例如，低頻成分的增益是與直流成分的頻率鄰接的頻率的頻率成分的平均值。在此設(shè)定低頻成分的增益fein_l0W_freq是OTF信息H_psf(u，ν)中除了直流成分的頻率之外最小的頻率的頻率成分的增益的值被存放的fetin_H_pSf(uO，vO+l)與Gain_ H_psf(u0+1, v0)的平均值。u0表示存放有PSF圖像的垂直方向的各頻率成分的排列的、直流成分的值被存放的地址。并且，v0表示存放有PSF圖像的水平方向的各頻率成分的排列的、直流成分的值被存放的地址。這樣，PSF拍攝部2，通過校正OTF信息H_psf (u，ν)，從而輸出修正PSF信息Hr_ psf (U, ν) ο另外，根據(jù)需要對修正PSF信息Hr_pSf(u，ν)進(jìn)行歸一化處理后進(jìn)行輸出。校正 OTF信息H_psf(u，ν)的理由以及feiin_H_psf(u0，v0)/Gain_low_freq的設(shè)定范圍之后記述。被攝體拍攝部5保存由光學(xué)系統(tǒng)1取得的各種各樣的被攝體的被攝體圖像1_ img(x，y)。也可以是，被攝體拍攝部5根據(jù)需要對被攝體圖像I_img(x，y)實施所述固定值噪聲的補償、中值濾波器等噪聲補償處理。也就是說，被攝體拍攝部5，取得由光學(xué)系統(tǒng)1拍攝的被攝體圖像I_img(x，y)，并輸出被攝體信息。在此，被攝體信息是指基于所取得的被攝體圖像I_img(x，y)的信息。例如，被攝體信息是示出被攝體圖像I_img(x，y)本身的信息。并且，也可以是，例如，被攝體信息是示出對被攝體圖像I_img(x，y)實施了各種噪聲補償處理后的圖像的信息。并且，也可以是，例如，被攝體信息是將被攝體圖像I_img(x，y)或?qū)Ρ粩z體圖像I_img(x，y)實施了各種噪聲補償處理后的圖像從空域變換為頻域而得到的信息。
8
圖像復(fù)原部6，基于修正PSF信息和被攝體信息，利用維納濾波器等進(jìn)行圖像復(fù)原運算，從而作成復(fù)原圖像。也就是說，圖像復(fù)原部6，基于修正PSF信息和被攝體信息，進(jìn)行被攝體信息的復(fù)原運算。也就是說，圖像復(fù)原部6，通過進(jìn)行使修正PSF信息作用于被攝體信息的圖像復(fù)原運算，從而生成分辨率比被攝體信息所示出的圖像的分辨率高的復(fù)原圖像。具體而言，圖像復(fù)原部6，例如，將被攝體信息所示出的被攝體圖像I_img(x，y)從空域變換為頻域，并使修正PSF信息Hr_pSf (u，ν)作用于變換結(jié)果，從而進(jìn)行復(fù)原運算。另外，也可以是，修正PSF信息Hr_psf(U，ν)是在出廠時、進(jìn)行維護(hù)時等進(jìn)行過一次拍攝并算出的數(shù)據(jù)。也就是說，圖像復(fù)原部6，具有存儲器等記憶單元，預(yù)先保存由PSF拍攝部2生成的修正PSF信息Hr_psf (u，ν)，并利用所保存的修正PSF信息Hr_psf (u，ν)，生成復(fù)原圖像。也就是說，PSF拍攝部2，不必每當(dāng)被攝體圖像I_img(x，y)變化都生成修正 PSF 信息 Hr_psf (u，ν)。接著，說明以上述說明來構(gòu)成的本實施例所涉及的攝像裝置的各種工作。圖10是示出在前述的本發(fā)明的實施例所涉及的攝像裝置的工作的流程圖。具體而言，圖10的(a)是示出修正PSF信息生成處理的流程的流程圖。并且，圖10的(b)是示出圖像復(fù)原處理的流程的流程圖。如上述說明，在圖10的(b)所示出的處理之前，圖10的 (a)所示出的處理至少進(jìn)行一次就可以，并非一定要同步進(jìn)行。首先，說明在圖10的(a)示出的流程圖。光學(xué)系統(tǒng)1拍攝？3 圖像1_ #&，7)(5101)。接著，PSF拍攝部2，按照算式(2)， 從PSF圖像I_psf(x，y)減去固定值噪聲的亮度值Nf (x，y)，從而算出減去固定值噪聲的亮度值后的 PSF 圖像 Irl_psf(x, y) (S102)。并且，頻域變換部3，通過將減去固定值噪聲的亮度值后的PSF圖像Irl_pSf(x，y) 從空域變換為頻域，從而算出OTF信息H_psf(u，ν) (S1(X3)。接著，低頻成分增益平滑化部 4，通過校正OTF信息H_psf (u, ν)以使直流成分的增益與低頻成分的增益之比變小，從而生成修正PSF信息Hr_psf (u，ν) (S 104)。最后，PSF拍攝部2，對所生成的修正PSF信息Hr_ psf (u, ν)進(jìn)行歸一化，并輸出到圖像復(fù)原部6 (S105)。另外，并非一定要執(zhí)行步驟S102的固定值噪聲減法運算處理。例如，也可以是，在固定值噪聲非常小或預(yù)先知道在所有圖像區(qū)域固定值噪聲是大致一定的值等情況下，PSF 攝影部2不執(zhí)行固定值噪聲減法運算處理。接著，說明在圖10的(b)示出的流程圖。光學(xué)系統(tǒng)1拍攝被攝體圖像I_img(x，y) (Slll)。接著，被攝體拍攝部5，對噪聲補償處理后的被攝體圖像I_img(x，y)進(jìn)行噪聲補償處理(SlU)。最后，圖像復(fù)原部6，通過基于噪聲補償處理后的被攝體圖像I_img(x，y)和修正PSF信息Hr_psf (u，ν)進(jìn)行復(fù)原運算，從而生成復(fù)原圖像(S113)。另外，并非一定要執(zhí)行步驟S112的噪聲補償處理。接著，說明校正OTF 信息 H_psf 的理由以及 feiin_H_psf (u0，v0)/Gain_low_freq 的設(shè)定范圍。在以下的說明中，作為被攝體圖像I_img(x，y)，利用在圖2的(c)示出的梭形圖的退化圖像。并且，作為PSF圖像Irl_pSf(x，y)，利用對圖2的(b)的PSF圖像附加了標(biāo)準(zhǔn)偏差ο是最大亮度值的0.3%的高斯噪聲后的圖像(亮度值變?yōu)樨?fù)的圖像位置的亮度值已較正為“0”)。在圖11的(a)示出PSF圖像Irl_psf (x，y)的包括最大亮度值的位置的行的亮度分布。因為去除了固定值噪聲，因此在最大亮度值的位置附近具有基于圖1的光學(xué)系統(tǒng)1 的PSF的亮度分布，在距最大亮度值的位置遠(yuǎn)的位置亮度值幾乎為“0”。在圖11的(b)示出對圖11的(a)的虛線附近進(jìn)行了放大的亮度分布?？芍诰嘧畲罅炼戎档奈恢眠h(yuǎn)的位置也因為隨機(jī)分布的高斯噪聲的影響而存在細(xì)小的亮度分布 (細(xì)小的亮度值的變動)。在圖11的(c)示出對PSF圖像Irl_psf (x，y)進(jìn)行傅里葉變換而得到的OTF信息 H_psf(u,v)0圖11的(c)的OTF信息H_psf(U，v)被歸一化而使直流成分(頻率“0”)的增益為“1”。觀察圖11的(c)則可知直流成分與其他的頻率成分相比增益明顯變大?？煽紤]這是因為如之前所述的、因為高斯噪聲而PSF圖像Irl_psf(X，y)全體的亮度平均值大幅度地增加而致。因此，在利用PSF圖像Irl_pSf(x，y)進(jìn)行了圖像復(fù)原運算的情況下，因為圖11的 (c)的OTF信息H_psf(U，v)所示出的OTF與實際的OTF的差異變大，復(fù)原圖像的分辨率大幅度地降低。因此，在本實施例中，對OTF信息H_psf(u，ν)的直流成分的增益與其他的頻率的增益的差異進(jìn)行校正，使其接近實際的0TF，從而能夠進(jìn)行高分辨率的圖像的復(fù)原。在圖12 示出對 OTF 信息 H_psf (u，ν)進(jìn)行校正以使 feiin_H_psf (u0，vO)/Gain_ low_freq變小的情況下的修正PSF信息Hr_psf(u, ν)。圖12的修正PSF信息Hr_psf(u, ν)被歸一化而使直流成分(頻率“O”)的增益為“1”。圖12的(a)是對OTF信息H_psf(u， ν)進(jìn)行了校正以使feiin_H_psf(uO，vO)/Gain_low_freq = 1. 5的情況下的修正PSF信息 Hr_psf(u,v)。并且，圖 12 的(b)是對 OTF 信息 H_psf (u，ν)進(jìn)行校正以使 feiin_H_psf (uO， vO)/Gain_low_freq =1.0的情況下的修正PSF信息Hr_psf(u, ν)。并且，圖12的(C)是對 OTF 信息 H_psf (u，v)進(jìn)行校正以使 feiin_H_psf (uO，vO)/Gain_low_freq = 0. 67 的情況下的修正PSF信息Hr_psf (u，ν)。在圖13示出利用在圖12示出的修正PSF信息進(jìn)行了圖像復(fù)原運算時的復(fù)原圖像。圖13的(a)是未對OTF信息H_psf(U，v)進(jìn)行校正的情況下的復(fù)原圖像。并且，圖13 的(b)示出對 OTF 信息 H_psf (U，ν)進(jìn)行校正以使 feiin_H_psf (uO，vO)/feiin_low_freq = 1.5的情況下的復(fù)原圖像。并且，圖13的(c)示出對OTF信息H_psf(u，ν)進(jìn)行校正以使 Gain_H_psf (uO, vO)/Gain_low_freq =1.0的情況下的復(fù)原圖像。并且，圖13的(d)示出對 OTF 信息 H_psf (u，v)進(jìn)行校正以使 feiin_H_psf (uO，vO)/Gain_low_freq = 0. 67 的情況下的復(fù)原圖像。觀察圖13可知，通過對OTF信息H_psf (u，v)進(jìn)行校正以使feiin_H_psf (uO，vO)/ Gain_low_freq變小，從而復(fù)原圖像的分辨率得到提高。在圖14示出使feiin_H_psf (uO，vO)/Gain_low_freq變化的情況下的分辨率的變化。在圖14示出的圖中，縱座標(biāo)表示利用由CIPA發(fā)布的分辨率測定用工具HYRes3. 1測定的復(fù)原圖像的分辨率，橫坐標(biāo)表示修正PSF信息的DC增益/低頻增益(=GainJLpsf (uO， vO)/Gain_low_freq)。從圖14可知對OTF信息H_psf (u，v)進(jìn)行校正以使DC增益/低頻增益在0. 2到 5之間的情況下，分辨率得到提高。也就是說，優(yōu)選為，低頻成分增益平滑化部4，對OTF信息H_psf (u，ν)進(jìn)行校正，以使OTF信息H_psf (u，ν)中的直流成分的增益與非直流成分的低頻成分的增益之比在0. 2倍到5倍之間。而且，在對OTF信息H_psf(u, ν)進(jìn)行校正以使DC增益/低頻增益在“0. 2”到 “2. 0”之間的情況下，能得到不存在高斯噪聲的情況下的分辨率的一半以上的分辨率。也就是說，優(yōu)選為，低頻成分增益平滑化部4，對OTF信息H_psf(u，ν)進(jìn)行校正，以使OTF信息H_psf (u，ν)中的直流成分的增益與非直流成分的低頻成分的增益之比在0. 2倍到2倍之間。而且，在對OTF信息H_psf(u, ν)進(jìn)行校正以使DC增益/低頻增益在“0. 2”到 “1.0”之間的情況下，能夠得到與不存在高斯噪聲的情況下的分辨率同等的分辨率。也就是說，優(yōu)選為，低頻成分增益平滑化部4，對OTF信息H_psf(u，ν)進(jìn)行校正，以使OTF信息Η_ psf (u, ν)中的直流成分的增益與非直流成分的低頻成分的增益之比在0. 2倍到1倍之間。DC增益/低頻增益小于“0. 2”的情況下，DC增益與其他頻率成分的增益相比過小，被校正的修正PSF信息Hr_pSf (u，ν)所示出的OTF與實際的OTF的差異過大，從而使復(fù)原圖像的分辨率大幅度降低。從上述結(jié)果可知如圖12的(b)所示，如果對OTF信息H_psf (u，ν)進(jìn)行校正以使DC增益/低頻增益為“ 1 ”，則修正PSF信息Hr_psf (u, ν)所示出的OTF與實際的OTF接近，因而使復(fù)原圖像的分辨率得到提高。而且可知即使未對OTF信息H_psf (u，ν)進(jìn)行校正而使DC增益/低頻增益為“ 1 ”，只要對OTF信息H_psf (u，ν)進(jìn)行校正以使DC增益/低頻增益在上述的規(guī)定范圍內(nèi)，則復(fù)原圖像的分辨率會得到提高。這樣，根據(jù)本發(fā)明的實施例所涉及的攝像裝置10，在進(jìn)行圖像復(fù)原運算之時，即使被拍攝的PSF圖像的無用亮度(尤其是在時間序列上變動的隨機(jī)噪聲)大的情況下，也能夠通過對OTF信息H_psf(u，ν)進(jìn)行校正以使DC增益/低頻成分的增益成為恰當(dāng)?shù)闹?，從而使用于圖像的復(fù)原的PSF信息更加準(zhǔn)確，能夠進(jìn)行高分辨率的圖像的復(fù)原。另外，雖然將由PSF拍攝部2輸出的修正PSF信息Hr_psf(U，ν)作為頻域的數(shù)據(jù)進(jìn)行了說明，但是修正PSF信息也可以是空域的數(shù)據(jù)。也可以是，例如，作為圖像復(fù)原部6 的運算算法利用在空域進(jìn)行運算的RL算法等情況下，PSF拍攝部2根據(jù)需要對修正PSF信息Hr_pSf(U，v)進(jìn)行逆傅立葉變換后作為圖像區(qū)域的數(shù)據(jù)進(jìn)行輸出。也就是說，也可以是， PSF拍攝部2按照PSF攝影部2的后級的處理而變換為恰當(dāng)?shù)臄?shù)據(jù)形式來輸出修正PSF信肩、ο另外，低頻成分增益平滑化部4，雖然將除了直流成分之外的最小頻率成分的增益的平均值作為低頻成分的增益fein_l0W_freq來利用，但是并不限定于此。例如，只要基于除了直流成分之外的低頻成分的增益來決定低頻成分的增益fein_l0W_freq就可以，例如，除了直流成分之外的最小的頻率的增益的最大值、最小值，包括其他的低頻成分的增益的平均值等。另外，也可以是，PSF拍攝部2不進(jìn)行(算式2)的固定值噪聲的亮度值的減法運算。例如，在所有圖像區(qū)域中固定值噪聲是大致一定的值的情況下等，PSF拍攝部2并非一定要進(jìn)行固定值噪聲的亮度值的減法運算。也就是說，不言而喻，PSF拍攝部2，只要根據(jù)需要從PSF圖像的亮度值減去固定值噪聲的亮度值就可以，固定值噪聲的亮度值的減法運算不是必需的構(gòu)成。
另外，在本實施例中，雖然以PSF的分布具有如圖2的(b)所示的以亮度為最大的圖像位置為中心而對稱的亮度分布的例子來進(jìn)行了說明，但是不言而喻，針對具有不對稱的亮度分布的PSF的光學(xué)系統(tǒng)也能夠適用。以上，關(guān)于本發(fā)明的一個方面所涉及的攝像裝置10，根據(jù)實施例進(jìn)行了說明，但是本發(fā)明并不限定于這些實施例。只要不超出本發(fā)明的宗旨，對本實施例實施了同行業(yè)人員所能想到的各種變形的實施例也包括在本發(fā)明的范圍內(nèi)。例如，在上述實施例中，雖然攝像裝置10具備PSF拍攝部2，但是并非一定要具備 PSF拍攝部2。具體而言，攝像裝置10例如只要保存預(yù)先生成的修正PSF信息就可以。即使在這樣的情況下，攝像裝置10也能夠基于預(yù)先保存的修正PSF信息與被攝體信息來進(jìn)行被攝體信息的復(fù)原運算，因此能夠高分辨率地復(fù)原被攝體圖像。并且，也可以是，上述實施例的攝像裝置10具備的構(gòu)成要素的一部分或全部，由一個系統(tǒng)LSI (Large Scale htegration 大規(guī)模集成電路)來構(gòu)成。例如，也可以是，攝像裝置10由具有PSF拍攝部2、被攝體拍攝部5、圖像復(fù)原部6的系統(tǒng)LSI來構(gòu)成。系統(tǒng)LSI是在一個芯片上集成多個構(gòu)成部來制造的超多功能LSI，具體而言，是包括微處理器、ROM (Read Only Memory)、RAM (RandomAccess Memory)等而構(gòu)成的計算機(jī)系統(tǒng)。所述RAM中記憶有計算機(jī)程序。所述微處理器通過按照所述計算機(jī)程序進(jìn)行工作，從而系統(tǒng)LSI達(dá)成其功能。另外，在此，雖然設(shè)定為系統(tǒng)LSI，但是，根據(jù)集成程度的不同，也有稱為IC、LSI、 超級(super) LSI、極超級(ultra) LSI的情況。并且，集成電路化的手法并不限定于LSI，也可以在專用電路或通用處理器上實現(xiàn)。也可以利用在制造LSI后能夠編程的FPGA(Field ProgrammableGate Array 現(xiàn)場可編程門陣列)或者可重構(gòu)LSI內(nèi)部的電路單元的連接及設(shè)定的可重構(gòu)處理器。而且，半導(dǎo)體技術(shù)的發(fā)展或利用派生的其他技術(shù)而出現(xiàn)替換LSI的集成電路化技術(shù)，當(dāng)然也可以利用該技術(shù)進(jìn)行功能塊的集成化。也有適用生物技術(shù)等的可能性。并且，本發(fā)明不僅能夠作為具備具有這樣的特征的處理部的攝像裝置來實現(xiàn)，而且還能夠作為將攝像裝置包括的具有特征的處理部作為步驟的圖像復(fù)原方法來實現(xiàn)。并且，也能夠作為使計算機(jī)執(zhí)行圖像復(fù)原方法中包括的具有特征的各步驟的計算機(jī)程序來實現(xiàn)。并且，不言而喻，這些計算機(jī)程序能夠通過CD-ROM (Compact Disc Read Only Memory) 等計算機(jī)可讀取的記錄介質(zhì)或互聯(lián)網(wǎng)等通信網(wǎng)絡(luò)使其流通。本發(fā)明對于通過光學(xué)系統(tǒng)來拍攝被攝體像的所有的攝像裝置都有用，例如數(shù)字鏡像相機(jī)、數(shù)字?jǐn)z像機(jī)、移動電話用相機(jī)、監(jiān)視相機(jī)、醫(yī)療用相機(jī)、望遠(yuǎn)鏡、顯微鏡、車載相機(jī)、 立體測距相機(jī)、立體影像拍攝用多鏡頭反光相機(jī)、用于作成自由視點影像的光場導(dǎo)入用相機(jī)、EDOF(ExtendecU^pth of Field 擴(kuò)展景深)相機(jī)，或FDOF(Flexible Depth of Field 柔性景深)攝影(Photography)等。符號說明1光學(xué)系統(tǒng)2PSF 拍攝部3頻域變換部4低頻成分增益平滑化部
12
5被攝體拍攝部
6圖像復(fù)原部
10撮像裝置
101退化圖像噪聲附加部
102PSF圖像噪聲附加部
103圖像復(fù)原運算部
權(quán)利要求
1.一種攝像裝置，該攝像裝置具備 光學(xué)系統(tǒng)；點擴(kuò)散函數(shù)拍攝部，取得由所述光學(xué)系統(tǒng)進(jìn)行拍攝而得到的點擴(kuò)散函數(shù)信息，并通過校正所述點擴(kuò)散函數(shù)信息而輸出修正點擴(kuò)散函數(shù)信息；被攝體拍攝部，取得由所述光學(xué)系統(tǒng)進(jìn)行拍攝而得到的被攝體信息并進(jìn)行輸出；以及圖像復(fù)原部，基于所述修正點擴(kuò)散函數(shù)信息和所述被攝體信息，進(jìn)行所述被攝體信息的復(fù)原運算，所述點擴(kuò)散函數(shù)拍攝部具備頻域變換部，將所述點擴(kuò)散函數(shù)信息變換為頻域的數(shù)據(jù)，并輸出光學(xué)傳遞函數(shù)信息；以及低頻成分增益平滑化部，對所述光學(xué)傳遞函數(shù)信息進(jìn)行校正，以使所述光學(xué)傳遞函數(shù)信息中的、直流成分的增益與非直流成分的低頻成分的增益之比變小。
2.如權(quán)利要求1所述的攝像裝置，所述低頻成分增益平滑化部，對所述光學(xué)傳遞函數(shù)信息進(jìn)行校正，以使所述光學(xué)傳遞函數(shù)信息中的、直流成分的增益與非直流成分的低頻成分的增益之比在0. 2到5之間。
3.如權(quán)利要求1所述的攝像裝置，所述低頻成分增益平滑化部，對所述光學(xué)傳遞函數(shù)信息進(jìn)行校正，以使所述光學(xué)傳遞函數(shù)信息中的、直流成分的增益與非直流成分的低頻成分的增益之比在0. 2到1之間。
4.一種攝像裝置，該攝像裝置具備 光學(xué)系統(tǒng)；被攝體拍攝部，取得由所述光學(xué)系統(tǒng)進(jìn)行拍攝而得到的被攝體信息并進(jìn)行輸出；以及圖像復(fù)原部，基于預(yù)先保存的修正點擴(kuò)散函數(shù)信息和所述被攝體信息，進(jìn)行所述被攝體信息的復(fù)原運算，所述修正點擴(kuò)散函數(shù)信息是，通過對將由所述光學(xué)系統(tǒng)進(jìn)行拍攝而得到的點擴(kuò)散函數(shù)信息變換為頻域的數(shù)據(jù)而得到的光學(xué)傳遞函數(shù)信息進(jìn)行校正，以使光學(xué)傳遞函數(shù)信息中的、直流成分的增益與非直流成分的低頻成分的增益之比變小，從而生成的信息。
5.一種圖像復(fù)原方法，該圖像復(fù)原方法包括點擴(kuò)散函數(shù)拍攝步驟，取得由光學(xué)系統(tǒng)進(jìn)行拍攝而得到的點擴(kuò)散函數(shù)信息，并通過校正所述點擴(kuò)散函數(shù)信息而輸出修正點擴(kuò)散函數(shù)信息；被攝體拍攝步驟，取得由所述光學(xué)系統(tǒng)進(jìn)行拍攝而得到的被攝體信息并進(jìn)行輸出；以及圖像復(fù)原步驟，基于所述修正點擴(kuò)散函數(shù)信息和所述被攝體信息，進(jìn)行所述被攝體信息的復(fù)原運算，所述點擴(kuò)散函數(shù)拍攝步驟包括頻域變換子步驟，將所述點擴(kuò)散函數(shù)信息變換為頻域的數(shù)據(jù)，并輸出光學(xué)傳遞函數(shù)信息；以及低頻成分增益平滑化子步驟，對所述光學(xué)傳遞函數(shù)信息進(jìn)行校正，以使所述光學(xué)傳遞函數(shù)信息中的、直流成分的增益與非直流成分的低頻成分的增益之比變小。
6.一種程序，用于使計算機(jī)執(zhí)行權(quán)利要求5所述的圖像復(fù)原方法。
全文摘要
目的在于提供在基于由光學(xué)系統(tǒng)拍攝的點擴(kuò)散函數(shù)圖像來復(fù)原退化圖像時能夠高分辨率地復(fù)原退化圖像的攝像裝置。該攝像裝置(10)具備光學(xué)系統(tǒng)(1)；點擴(kuò)散函數(shù)拍攝部(2)，取得由光學(xué)系統(tǒng)(1)進(jìn)行拍攝而得到的點擴(kuò)散函數(shù)信息，并通過校正點擴(kuò)散函數(shù)信息而輸出修正點擴(kuò)散函數(shù)信息；被攝體拍攝部(5)，取得由光學(xué)系統(tǒng)(1)進(jìn)行拍攝而得到的被攝體信息并進(jìn)行輸出；以及圖像復(fù)原部(6)，基于修正點擴(kuò)散函數(shù)信息和被攝體信息，進(jìn)行被攝體信息的復(fù)原運算，點擴(kuò)散函數(shù)拍攝部(2)具備頻域變換部(3)，將點擴(kuò)散函數(shù)信息變換為頻域的數(shù)據(jù)，并輸出光學(xué)傳遞函數(shù)信息；以及低頻成分增益平滑化部(4)，對光學(xué)傳遞函數(shù)信息進(jìn)行校正，以使光學(xué)傳遞函數(shù)信息中的、直流成分的增益與非直流成分的低頻成分的增益之比變小。
文檔編號G06T5/20GK102422321SQ201180002030
公開日2012年4月18日 申請日期2011年4月20日 優(yōu)先權(quán)日2010年4月23日
發(fā)明者大山一朗 申請人:松下電器產(chǎn)業(yè)株式會社