專利名稱：基于球面像差混疊觀測的超分辨率成像方法
技術(shù)領(lǐng)域：
本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，特別涉及一種低采樣陣列下的超分辨圖像成像方法，主要應(yīng)用于在小規(guī)模采樣陣列下圖像的獲取和高分辨重建。
背景技術(shù)：
隨著現(xiàn)代社會(huì)的信息化進(jìn)程，對海量信息的有效獲取、壓縮、編碼和傳輸提出了越來越高的要求。超分辨圖像的獲取就是其中一個(gè)廣受關(guān)注的問題。通常人們解決該問題的思路是從工藝制造和系統(tǒng)設(shè)計(jì)的角度提高信號(hào)處理系統(tǒng)的硬件規(guī)模和密集度。例如瑞士 Seitz Phototechnik AG公司2010年已經(jīng)制造出了分辨率高達(dá)1. 6億的超高分辨率的相機(jī)。然而，為了達(dá)到高分辨率，該相機(jī)的體積大得驚人，其成本也讓人望而卻步。傳感器陣列制造工藝上的限制已成為提高分辨率的瓶頸。
另一種超分辨的方法是通過一幅和幾幅低分辨率的圖像通過插值等超分辨算法重建高分辨圖像。傳統(tǒng)通過一幅圖像的超分辨算法由于采樣信息的大量缺失和不能有效利用采樣信息，超分辨重構(gòu)圖像的質(zhì)量往往不能令人滿意；而通過多幅低分辨率圖像融合實(shí)現(xiàn)超分辨的方法則很顯然依賴于數(shù)據(jù)采集量，不能實(shí)現(xiàn)降低采樣要求和增加數(shù)據(jù)壓縮率的要求。
與此同時(shí)，近幾年在學(xué)術(shù)界有了長足發(fā)展的壓縮感知(Compressive Sensing,CS) 理論從完全相反的角度給出這個(gè)問題可能的解決辦法。壓縮感知最核心的概念在于試圖從原理上降低對一個(gè)信號(hào)進(jìn)行測量的成本。事實(shí)證明，實(shí)際存在的信號(hào)大多都在某些變換域存在著稀疏表示，也就是說信號(hào)實(shí)際攜帶的信息通常遠(yuǎn)遠(yuǎn)小于信號(hào)的實(shí)際維數(shù)，這也就為信號(hào)的壓縮采樣、存儲(chǔ)和傳輸提供了巨大的空間。
目前國際已經(jīng)出現(xiàn)了一些基于壓縮感知理論的成像器，例如有名的Rice大學(xué)的單像素照相機(jī)。該相機(jī)只有一個(gè)光學(xué)傳感器，通過數(shù)字微鏡芯片DMD隨機(jī)反射從物體投射過來的光線以實(shí)現(xiàn)隨機(jī)混疊采樣。然而包括這套裝置在內(nèi)的這些基于壓縮感知的成像器采用了極其復(fù)雜的光學(xué)系統(tǒng)和控制邏輯，成本昂貴，難以實(shí)用化。另一種由Maryland大學(xué)提出的壓縮感知成像器結(jié)構(gòu)則通過設(shè)計(jì)一種具有模擬計(jì)算能力的光電傳感器陣列實(shí)現(xiàn)混疊采樣。該設(shè)計(jì)結(jié)構(gòu)的體積比較小，光學(xué)系統(tǒng)比較簡單，但硬件電路的成本比較昂貴，對模擬器件的性能要求很高。

發(fā)明內(nèi)容
本發(fā)明目的在于發(fā)揮壓縮感知理論重構(gòu)稀疏信號(hào)能力的優(yōu)勢，并克服傳統(tǒng)壓縮感知技術(shù)的不足，提供一種基于球面像差混疊觀測的超分辨率成像方法，以減小目前國際上基于壓縮感知的成像器在系統(tǒng)裝置規(guī)模、操作程序和重構(gòu)時(shí)間上的復(fù)雜度和成本，實(shí)現(xiàn)高分辨成像系統(tǒng)的小型化和實(shí)用化。
本發(fā)明是這樣實(shí)現(xiàn)的 一.技術(shù)原理 本發(fā)明的理論基礎(chǔ)是壓縮感知CS理論。壓縮感知理論證明了如下命題若信號(hào)在 Ψ域內(nèi)有稀疏表示，Φ為一個(gè)mXn(m<<n)的采樣矩陣，如果采樣矩陣和信號(hào)的稀疏性滿足一定的條件，則求解以下的1-范數(shù)優(yōu)化問題 rnin ^，s. t. φ Ψ θ = y，其中θ為信號(hào)的稀疏表示，y為觀測值， 得到信號(hào)的稀疏表示系數(shù)θ，再做稀疏域變換χ = Ψ θ，即可比較精確地重構(gòu)出原始信號(hào)。
根據(jù)近期國際上的理論研究，該稀疏優(yōu)化問題的目標(biāo)函數(shù)還有其他多種可行的變種。本發(fā)明的重點(diǎn)在于構(gòu)造一種既滿足CS可解性條件又易于物理實(shí)現(xiàn)的觀測矩陣。據(jù)CS 理論，可解的觀測矩陣要滿足RIP (Restricted Isometry Property)條件，或者是與所選的稀疏基矩陣不相關(guān)。直觀上說觀測矩陣中的系數(shù)分布比較稠密，但又沒有明顯規(guī)律性的不規(guī)律強(qiáng)混疊觀測比較利于圖像的重構(gòu)。
本發(fā)明利用球透鏡成像中的球面像差這一效應(yīng)實(shí)現(xiàn)不規(guī)律的強(qiáng)混疊觀測?；谶@一效應(yīng)的成像系統(tǒng)的實(shí)現(xiàn)非常簡單，只需用一個(gè)特殊加工的大曲率球面透鏡替代普通相機(jī)中的薄透鏡即可實(shí)現(xiàn)。根據(jù)光學(xué)定律，點(diǎn)光源發(fā)出的光線通過球面透鏡折射后實(shí)際并不嚴(yán)格聚焦于一點(diǎn)，而是會(huì)形成一個(gè)發(fā)散對稱的光斑，如圖2所示。根據(jù)光學(xué)實(shí)驗(yàn)的結(jié)果，當(dāng)成像系統(tǒng)的瞳距焦距比大于1/10時(shí)，該效應(yīng)會(huì)比較明顯，使得像平面上的光強(qiáng)信號(hào)不均勻地分散分布在一個(gè)較大的平面內(nèi)。這使得在像平面上任一點(diǎn)放置的傳感器將接收到來自不同光源點(diǎn)的非均勻混疊信號(hào)。各個(gè)光源點(diǎn)的混疊系數(shù)，也就是CS理論中采樣矩陣Φ的取值， 則可以通過光學(xué)系統(tǒng)的沖擊響應(yīng)函數(shù)來確定，而該沖擊響應(yīng)函數(shù)既可通過幾何光學(xué)的方法進(jìn)行推導(dǎo)計(jì)算，也可通過精密測量實(shí)驗(yàn)的方法測得。
二.技術(shù)方案 根據(jù)上述原理，實(shí)現(xiàn)本發(fā)明目的技術(shù)步驟包括如下 (1)采用瞳徑焦距比大于1/10的球狀透鏡或透鏡組搭建光學(xué)系統(tǒng)，使光學(xué)系統(tǒng)的點(diǎn)擴(kuò)散函數(shù)具有接近低分辨CCD陣列大小的空間分布范圍和徑向隨機(jī)性，并保證光學(xué)系統(tǒng)在有效成像范圍內(nèi)的線性移不變特性； (2)測量點(diǎn)擴(kuò)散函數(shù)在高分辨率下的像素?cái)?shù)值； (3)對光學(xué)系統(tǒng)的點(diǎn)擴(kuò)散函數(shù)循環(huán)位移構(gòu)成一個(gè)行數(shù)小于列數(shù)的循環(huán)矩陣，記為采樣矩陣Φ ； (4)利用上述設(shè)計(jì)的光學(xué)系統(tǒng)及后端的低分辨率CCD陣列，對成像物體進(jìn)行一次曝光和采樣量化，得到低分辨率的混疊圖像，將其向量化，得到混疊圖像向量y，并將該混疊圖像向量y作為圖像的壓縮編碼進(jìn)行存儲(chǔ)或傳輸； (5)在圖像解碼端，利用壓縮感知理論從混疊圖像向量y中計(jì)算出成像物體的超分辨圖像設(shè)該高分辨圖像在ψ域稀疏，求解ι-范數(shù)優(yōu)化式min 1 =ΣΙ^Ι' s. t. Φ ψ Θ
i
=y，得到超分辨圖像的稀疏表示θ，并將該稀疏表示反變換至空間域χ = Ψ θ，即得到所求的超分辨圖像。
本發(fā)明具有如下優(yōu)點(diǎn) (1)系統(tǒng)結(jié)構(gòu)簡單，體積小。
由于本發(fā)明的光學(xué)系統(tǒng)僅由一個(gè)大曲率光學(xué)透鏡或透鏡組構(gòu)成，占據(jù)體積小，與普通民用相機(jī)所用的光學(xué)系統(tǒng)的空間體積相當(dāng)，遠(yuǎn)小于Rice大學(xué)單像素相機(jī)中的DMD光學(xué)系統(tǒng)。
(2)制作成本低。
由于本發(fā)明是利用球面像差效應(yīng)實(shí)現(xiàn)混疊，因而在制造時(shí)不需要考慮球面像差的補(bǔ)償，而普通相機(jī)的光學(xué)鏡頭在制造時(shí)需要考慮球面像差效應(yīng)的補(bǔ)償，因此制作成本大于本發(fā)明中所使用的光學(xué)系統(tǒng)。同時(shí)由于本發(fā)明中的傳感器端是一個(gè)普通的低分辨率CCD陣列，相比于Maryland大學(xué)的成像器結(jié)構(gòu)具有復(fù)雜的傳感器模擬計(jì)算電路，本發(fā)明后端電路的成本明顯較低； (3)圖像精度高。
相比于其他不使用壓縮感知的單次采樣超分辨成像的方法，本發(fā)明基于壓縮感知理論，在混疊采樣的過程中能夠保留一般采樣方式無法保留的高分辨信息，從而其超分辨成像質(zhì)量高于不使用壓縮感知的單次采樣超分辨成像方法。
(4)圖像重構(gòu)速度快。
相比于傳統(tǒng)的壓縮感知觀測——重構(gòu)模型，本發(fā)明由于具有其觀測矩陣是循環(huán)矩陣的特殊性質(zhì)，可以采用一種結(jié)合FFT的快速算法進(jìn)行求解高分辨圖像，因而圖像超分辨重構(gòu)速度快于現(xiàn)有的基于壓縮感知的成像方法。


圖1為本發(fā)明的成像過程示意圖； 圖2為本發(fā)明使用的球面像差效應(yīng)的光路示意圖； 圖3為本發(fā)明中的超分辨率成像儀結(jié)構(gòu)示意圖以及成像光路； 圖4為本發(fā)明中光學(xué)系統(tǒng)線性移不變特性的示意圖； 圖5為本發(fā)明中光學(xué)系統(tǒng)點(diǎn)擴(kuò)散函數(shù)的測量實(shí)驗(yàn)結(jié)果； 圖6為本發(fā)明與雙線性插值重建超分辨率圖像的仿真結(jié)果對比圖。
具體實(shí)施例方式參照圖1，本發(fā)明的成像步驟如下 步驟1，制作具有明顯球面像差效應(yīng)的光學(xué)透鏡或透鏡組，使光學(xué)系統(tǒng)的點(diǎn)擴(kuò)散函數(shù)具有接近低分辨CCD陣列大小的空間分布范圍和徑向隨機(jī)性，并保證光學(xué)系統(tǒng)在有效成像范圍內(nèi)的線性移不變特性。例如采用瞳徑焦距比大于1/10的單個(gè)球狀透鏡，或者采用幾個(gè)球狀透鏡順序共軸放置得到的透鏡組，透鏡組的透鏡間距、各透鏡的曲率設(shè)計(jì)可通過專業(yè)仿真軟件得到。
平行光通過拋物面透鏡后可以精確聚焦于一點(diǎn)，而通過球面透鏡后并不精確聚焦于一點(diǎn)。傳統(tǒng)照相機(jī)采用薄球面鏡成像，通過薄球面鏡的近軸平行光可近似認(rèn)為聚焦于一點(diǎn)。而本發(fā)明中的光學(xué)透鏡是一個(gè)大曲率的球透鏡，物平面上一點(diǎn)發(fā)出的光線并不匯聚于一點(diǎn)，而發(fā)生散焦現(xiàn)象，該現(xiàn)象稱為球面像差效應(yīng)，如圖2所示，其中圖2(a)表示拋物面透鏡的精確聚焦光路，圖2(b)表示薄球鏡的近似聚焦光路，圖2(c)表示大曲率球鏡由于球面像差效應(yīng)產(chǎn)生散焦的光路。
由于球面像差所形成的光斑圖樣稱作光學(xué)系統(tǒng)的點(diǎn)擴(kuò)散函數(shù)，如圖5所示。由于上述的球面像差效應(yīng)，在透鏡后任意一點(diǎn)接收到的光強(qiáng)信號(hào)不再只包含物平面式一個(gè)像素點(diǎn)的信息，而是物平面上多個(gè)點(diǎn)信息的混疊值。正是由于這種有效的信息混疊使我們可以通過超分辨算法從低分辨率傳感器陣列獲得的信息中恢復(fù)出超分辨率的圖像信息。
圖4說明了單個(gè)大曲率球透鏡所構(gòu)成的光學(xué)系統(tǒng)具有線性移不變特性。由于該成像系統(tǒng)獲取的信號(hào)是非相干光束的光強(qiáng)信息，不涉及相位問題，因此系統(tǒng)滿足疊加性和其次性。為證明系統(tǒng)的移不變特性，考慮光束傾斜照射的情況，假設(shè)透鏡部分產(chǎn)生相同角位移，顯然在像平面上所成的模糊圖像也將產(chǎn)生相應(yīng)比例的位移，也就是說滿足移不變性質(zhì)。 而實(shí)際情況是透鏡在成像過程中并未產(chǎn)生角位移，通過分析透鏡部分在有角位移和沒有角位移情況下通過透鏡的能量差值E得到E的上界估計(jì)為
權(quán)利要求
1.一種基于球面像差光學(xué)混疊觀測的超分辨率成像方法，其特征在于(1)采用瞳徑焦距比大于1/10的球狀透鏡或透鏡組搭建光學(xué)系統(tǒng)，使光學(xué)系統(tǒng)的點(diǎn)擴(kuò)散函數(shù)具有接近低分辨CCD陣列大小的空間分布范圍和徑向隨機(jī)性，并保證光學(xué)系統(tǒng)在有效成像范圍內(nèi)的線性移不變特性；(2)測量點(diǎn)擴(kuò)散函數(shù)在高分辨率下的像素?cái)?shù)值；(3)對光學(xué)系統(tǒng)的點(diǎn)擴(kuò)散函數(shù)循環(huán)位移構(gòu)成一個(gè)行數(shù)小于列數(shù)的循環(huán)矩陣，記為采樣矩陣Φ ；(4)利用上述設(shè)計(jì)的光學(xué)系統(tǒng)及后端的低分辨率CCD陣列，對成像物體進(jìn)行一次曝光和采樣量化，得到低分辨率的混疊圖像，將其向量化，得到混疊圖像向量y，并將該混疊圖像向量y作為圖像的壓縮編碼進(jìn)行存儲(chǔ)或傳輸；(5)在圖像解碼端，利用壓縮感知理論從混疊圖像向量y中計(jì)算出成像物體的超分辨圖像設(shè)該高分辨圖像在Ψ域稀疏，求解1-范數(shù)優(yōu)化式
y，得到超分辨圖像的稀疏表示θ，并將該稀疏表示反變換至空間域χ = Ψ θ，即得到所求的超分辨圖像。
2.如權(quán)利要求1所述的超分辨率成像方法，其中的透鏡組，是將幾個(gè)球面透鏡順序共軸放置在一起。
3.如權(quán)利要求1所述的超分辨率成像方法，其中步驟2所述的測量點(diǎn)擴(kuò)散函數(shù)在高分辨率下的像素?cái)?shù)值，通過采用以下方法中任何一種獲得一是通過光學(xué)定律理論計(jì)算得到點(diǎn)擴(kuò)散函數(shù)二是通過CodeV，Zemax專業(yè)光學(xué)仿真軟件進(jìn)行光線追跡仿真得到點(diǎn)擴(kuò)散函數(shù)； 三是通過實(shí)際測量實(shí)驗(yàn)方法得到點(diǎn)擴(kuò)散函數(shù)。
4.如權(quán)利要求3所述的超分辨率成像方法，其中所述通過光學(xué)定律理論點(diǎn)計(jì)算擴(kuò)散函數(shù)在高分辨率下的像素?cái)?shù)值，是針對光學(xué)部分是單球面透鏡的情況，按如下步驟計(jì)算首先，計(jì)算物平面和像平面的距離映射關(guān)系，設(shè)物平面上的距離為d，像平面上距離為 cf，透鏡的曲率半徑為R，像平面與鏡頭距離為D，透鏡折射率為n，則距離映射關(guān)系f (d)由下式給出
接著，對f (d)求d的微分k(d)，得到
接著，由式<1>解出由cf到d的反映射關(guān)系
由于flcO表達(dá)式過于復(fù)雜，則用數(shù)值分析的方法，得到數(shù)值形式表達(dá)的flcO ’最后，把式<3>代入式<2>，得到f (d)導(dǎo)數(shù)關(guān)于cf的函數(shù)k(cO，進(jìn)而使像平面上坐標(biāo)為(<，<；) 處點(diǎn)擴(kuò)散函數(shù)的取值『 ，<)，由下式計(jì)算得到
其中K是一個(gè)表征光信號(hào)衰減程度的常數(shù)，其大小僅影響重構(gòu)圖像的亮度，為達(dá)到合適的亮度，K的取值為混疊圖像向量y的平均值。
5.如權(quán)利要求3所述的超分辨率成像方法，通過實(shí)際測量實(shí)驗(yàn)方法得到點(diǎn)擴(kuò)散函數(shù)在高分辨率下的像素?cái)?shù)值，是使用一個(gè)點(diǎn)圖像作為測試圖像，在系統(tǒng)曝光狀態(tài)下用電機(jī)控制一微型圖像傳感器元在透鏡后方進(jìn)行逐行掃描，并記錄傳感器的輸出，進(jìn)而得到高分辨點(diǎn)擴(kuò)散函數(shù)的像素?cái)?shù)值分布。
6.如權(quán)利要求1所述的超分辨率成像方法，其中步驟5所述的求解1-范數(shù)優(yōu)化式
按如下步驟進(jìn)行 (5. 1)選取所成像物體的典型稀疏域Ψ ； (5. 2)采用快速迭代算法求解優(yōu)化式Step 1 令i表示圖像像素點(diǎn)索引，要重構(gòu)的像素總個(gè)數(shù)為n2，稀疏域按列向量展開表示為
，定義中間變量
, 其中i w表示N維實(shí)向量空間，令Θ。(X1)i，(X2)i，λ 3，Zi，Wi，u在第k次迭代時(shí)的取值分別為 0”，(Af'⑷廣)，才)，4k)' <)，u(k)，定義參數(shù) = β2=10，β3=1，Y1 =Y2 = Y3 = I. 618，μ = 100，ζ = le-8，將觀測矩陣Φ分解為Φ = PC，其中P為行選擇陣，C為循環(huán)方陣；Step 2 初始化迭代次數(shù)k = 0，并初始化#°)及各中間變量O次迭代時(shí)取值為其相應(yīng)維數(shù)的零向量；Step 3 對于所有的i，更新中間變量Zi
Step 4:對于所有的i，更新中間變量Wi
其中Di表示像素點(diǎn)i處的二維差分算子，11 · 11表示二范數(shù)運(yùn)算； Step 5 更新中間變量u
Step 6:令M= i3J、+i32DTD+i33CTC，其中Dei ““為原圖像的二維差分算子，用 FFT變換方法解關(guān)于稀疏表示θ _)的方程
得到 θ (k+1)；Step 7 對于所有的i，更新中間變量(入1)i
Step 8:對于所有的i，更新中間變量(X2)i Step 9 更新中間變量入3才+1)—才+1) - ,3錢- ；Step 10 令k — k+l，若I θ彡ζ，此時(shí)θ ω即為所要求的重構(gòu)系數(shù)θ ；否則，返回st印2繼續(xù)執(zhí)行。
全文摘要
本發(fā)明公開了一種基于球面像差混疊觀測的超分辨率成像方法，主要解決現(xiàn)有方法成像精度低、結(jié)構(gòu)復(fù)雜和計(jì)算復(fù)雜度高的問題。其成像步驟是(1)搭建具有顯著球面像差效應(yīng)的光學(xué)系統(tǒng)；(2)利用理論推導(dǎo)或仿真或?qū)嶒?yàn)測量方法得到光學(xué)系統(tǒng)的點(diǎn)擴(kuò)散函數(shù)，并據(jù)此構(gòu)造采樣矩陣；(3)利用所搭建的光學(xué)系統(tǒng)對目標(biāo)光信號(hào)進(jìn)行混疊觀測并通過低分辨?zhèn)鞲衅麝嚵胁蓸?，得到低分辨混疊圖像；(4)根據(jù)壓縮感知理論，結(jié)合采樣矩陣，使用一種快速迭代優(yōu)化算法對所得低分辨混疊圖像進(jìn)行重構(gòu)，得到高分辨率圖像。本發(fā)明具有系統(tǒng)結(jié)構(gòu)簡單、體積小，制作成本低，重構(gòu)圖像精度高，重構(gòu)速度快的優(yōu)點(diǎn)，可用于在小規(guī)模采樣陣列下圖像的獲取和高分辨重建。
文檔編號(hào)H04N5/232GK102186016SQ201110107640
公開日2011年9月14日 申請日期2011年4月27日 優(yōu)先權(quán)日2011年4月27日
發(fā)明者石光明, 王 琦, 彭冬 申請人:西安電子科技大學(xué)