專利名稱：基于fpga的紅外圖像細(xì)節(jié)增強(qiáng)系統(tǒng)及其方法
技術(shù)領(lǐng)域：
本發(fā)明屬于紅外熱成像技術(shù)領(lǐng)域，特別是一種基于FPGA的紅外圖像細(xì)節(jié)增強(qiáng)系統(tǒng)及其方法。
背景技術(shù)：
現(xiàn)代高性能紅外熱像儀能夠輸出動(dòng)態(tài)范圍很大的紅外原始圖像，原始的探測(cè)器數(shù)據(jù)范圍一般在12-14位數(shù)據(jù)，這顯然超出了顯示設(shè)備的動(dòng)態(tài)范圍。一般典型的顯示設(shè)備，如監(jiān)視器，其只能夠接收8位圖像信號(hào)。此外一般人眼只能夠分辨128個(gè)灰度級(jí)。因此，當(dāng)獲得高動(dòng)態(tài)范圍的原始圖像后，一個(gè)必須的過程就是將該高動(dòng)態(tài)范圍的原始圖像進(jìn)行重新映射，將其動(dòng)態(tài)范圍壓縮。這個(gè)過程通常需要達(dá)到兩個(gè)目的:第一:使輸出圖像的動(dòng)態(tài)范圍能夠與顯示的動(dòng)態(tài)范圍相匹配。第二:在完成第一點(diǎn)的同時(shí)，盡可能保留原始圖像中存在的細(xì)節(jié)，使觀測(cè)者能夠觀察到較好視覺效果的圖像，且能夠盡早區(qū)分隱藏在背景中的微弱目標(biāo)。對(duì)于紅外圖像的對(duì)比度增強(qiáng)問題，國內(nèi)外學(xué)者已經(jīng)做了廣泛的研究，許多使用的算法也在文獻(xiàn)中廣泛可見(1.K.Zuiderveld, “Contrast limited adaptivehistogram equalizaiton,，，in Graphics Gems IV, pp.474-485, Academic PressProfessional, Inc., San Diegol994.2.S.M.Pizer, E.P.Amburm, J.D.Austin, R.Cromartie, A.Geselowitz, T.Greer, B.T.H.Romeny, and J.B.Zimmerman, “Adaptivehistogram equalization and its variations, ^Comput.Vis.Graph.1mageProcess.39 (3)，355-3681987.)。然而這些對(duì)比度增強(qiáng)方法大部分是針對(duì)低動(dòng)態(tài)范圍紅外圖像的，也就是8位的紅外圖像，并且，大部分算法僅僅考慮了靜止圖像的增強(qiáng)問題，沒有考慮到實(shí)時(shí)系統(tǒng)中的應(yīng)用。顯然，對(duì)比度改善與細(xì)節(jié)增強(qiáng)這個(gè)工序應(yīng)該針對(duì)原始的高動(dòng)態(tài)范圍圖像才更有意義，因?yàn)橥ㄟ^AD采樣得到的原始圖像信號(hào)中包含了場(chǎng)景中最完整的信息，且存在許多微弱的細(xì)節(jié)信息。但是`，不得不承認(rèn)，將對(duì)比度增強(qiáng)轉(zhuǎn)移到原始圖像上將會(huì)是一個(gè)更具挑戰(zhàn)性的工作。必須采用一些復(fù)雜的技術(shù)才能將原始信號(hào)映射到適合顯示的動(dòng)態(tài)范圍，并且保持，甚至提升微弱細(xì)節(jié)的可見性與圖像的整體對(duì)比度。自動(dòng)增益控制與正方圖均衡是紅外成像系統(tǒng)中使用最廣泛的圖像顯示技術(shù)。自動(dòng)增益控制首先剔除場(chǎng)景中的極端值，然后將整體的動(dòng)態(tài)范圍線性映射到8位。直方圖均衡圖像的灰度映射函數(shù)采用原始圖像的累積分布函數(shù)，通過直方圖均衡后圖像的像素分布近似滿足均勻分布。所以直方圖均衡更加強(qiáng)調(diào)出現(xiàn)頻率較大的灰度級(jí)，所以經(jīng)過直方圖均衡的圖像不可避免的出現(xiàn)過增強(qiáng)，均勻區(qū)域噪聲放大，漂白效應(yīng)等問題?？紤]到自動(dòng)增益控制與直方圖均衡方法的不足，許多更加復(fù)雜的方法被提出:如 Retinex，BF&DRP 方法(3.WANG Yan-chen,LI Shu-jie, HUANGLian-qing, “Enhancement of radiography based multiscale Retinex，，，Optics andPrecisio Engineering, Vol.14, N0.1, 2005.4..F.Branchitta, M.Diani, G.Corsini, andA.Porta, “New technique for the visualization of high dynamic range infraredimages, ”0pt.Eng.48(9)，0964012009.)等,但這些方法主要是針對(duì)可見光圖像而已，即對(duì)于可見光圖像具有良好的效果，但是對(duì)紅外圖像效果不佳，特別是噪聲放大的問題。此外算法的普適性與實(shí)時(shí)性不佳，難以真正應(yīng)用到實(shí)際系統(tǒng)中。目前效果好的細(xì)節(jié)增強(qiáng)算法大多相對(duì)復(fù)雜，多用于計(jì)算機(jī)視覺或嵌入式DSP處理。使用FPGA實(shí)現(xiàn)復(fù)雜的紅外圖像細(xì)節(jié)增強(qiáng)算法相當(dāng)空白，處理效果也無法達(dá)到人們的期望。

發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種基于FPGA的紅外圖像細(xì)節(jié)增強(qiáng)系統(tǒng)及其方法，提高圖像的對(duì)比度，增強(qiáng)細(xì)節(jié)信息，抑制背景噪聲，解決了目前紅外熱像儀成像系統(tǒng)中圖像普遍邊緣模糊，對(duì)比度和細(xì)節(jié)區(qū)分區(qū)低，視覺效果差的技術(shù)問題。實(shí)現(xiàn)本發(fā)明目的的技術(shù)解決方案為:一種基于FPGA的紅外圖像細(xì)節(jié)增強(qiáng)系統(tǒng)及其方法，包括雙邊濾波模塊、高斯濾波模塊、投影直方圖模塊和自動(dòng)增益控制模塊，雙邊濾波模塊與高斯濾波模塊連接，高斯濾波模塊分別與投影直方圖模塊和自動(dòng)增益控制模塊連接，原始輸入數(shù)據(jù)先經(jīng)過雙邊濾波模塊，得到圖像圖形基頻信息；基頻信息再經(jīng)過高斯濾波模塊，將基頻信息平滑處理，并將結(jié)果與原始輸入數(shù)據(jù)做差，得到圖像細(xì)節(jié)信息；細(xì)節(jié)信息經(jīng)過自動(dòng)增益控制模塊放大處理，同時(shí)，基頻信息經(jīng)過投影直方圖模塊進(jìn)行壓縮處理，最后將兩者的輸出求和，即得到輸出圖像。本發(fā)明與現(xiàn)有技術(shù)相比，其顯著優(yōu)點(diǎn):(1)本發(fā)明能將輸入的大動(dòng)態(tài)范圍圖像數(shù)據(jù)壓縮到適合顯示的動(dòng)態(tài)范圍，在這個(gè)壓縮過程中，提高圖像的對(duì)比度，增強(qiáng)細(xì)節(jié)信息，抑制背景噪聲，解決了目前紅外熱像儀成像系統(tǒng)中圖像普遍邊緣模糊，對(duì)比度和細(xì)節(jié)區(qū)分區(qū)低，視覺效果差的技術(shù)問題，實(shí)現(xiàn)了現(xiàn)有細(xì)節(jié)增強(qiáng)手段達(dá)不到的場(chǎng)景目標(biāo)區(qū)分能力。(2)本發(fā)明提供了多個(gè)可調(diào)節(jié)參數(shù)，可移植性強(qiáng)，且對(duì)于不同的場(chǎng)景信息均能有相當(dāng)好的處理，并能廣泛應(yīng)用于紅外檢測(cè)、化學(xué)成像、夜視駕駛輔助、安全監(jiān)控以及目標(biāo)跟蹤等對(duì)紅外圖像質(zhì)量要求較高的紅外熱像儀成像系統(tǒng)中。下面結(jié)合附圖對(duì)本發(fā)明作進(jìn)一步詳細(xì)描述。


圖1是本發(fā)明基于FPGA的紅外圖像細(xì)節(jié)增強(qiáng)系統(tǒng)架構(gòu)圖。圖2是雙邊濾波模塊實(shí)現(xiàn)流水線架構(gòu)圖。圖3是投影直方圖模塊實(shí)現(xiàn)示意圖。圖4 Ca)是在室外場(chǎng)景情況下通過普通平臺(tái)直方圖處理得到的效果圖像。圖4 (b)是在室外場(chǎng)景情況下通過本發(fā)明直方圖處理得到的效果圖像。圖5 Ca)是在大面積、高溫物體場(chǎng)景情況下通過普通平臺(tái)直方圖處理得到的效果圖像。圖5 (b)是在大面積、高溫物體場(chǎng)景情況下通過本發(fā)明直方圖處理得到的效果圖像。
具體實(shí)施例方式結(jié)合圖1，本發(fā)明基于FPGA的紅外圖像細(xì)節(jié)增強(qiáng)系統(tǒng)及其方法，包括雙邊濾波模塊、高斯濾波模塊、投影直方圖模塊和自動(dòng)增益控制模塊，雙邊濾波模塊與高斯濾波模塊連接，高斯濾波模塊分別與投影直方圖模塊和自動(dòng)增益控制模塊連接，輸入的原始圖像數(shù)據(jù)一方面經(jīng)過雙邊濾波模塊和高斯濾波模塊得到圖像的基頻信息，一方面緩存上述處理的延遲時(shí)間并與基頻信息做差，得到圖像的細(xì)節(jié)層數(shù)據(jù)。圖像細(xì)節(jié)層數(shù)據(jù)和基頻數(shù)據(jù)單獨(dú)處理:細(xì)節(jié)層經(jīng)過自適應(yīng)增益控制增強(qiáng)處理；基頻信息經(jīng)過投影直方圖壓縮至顯示范圍。兩者求和，并做適當(dāng)?shù)姆酪绯霾僮骷吹玫捷敵鰣D像數(shù)據(jù)。在上述處理中，最重要的是要設(shè)計(jì)好復(fù)雜計(jì)算過程中的關(guān)鍵時(shí)序以及數(shù)據(jù)位寬。在設(shè)計(jì)過程中要盡量?jī)?yōu)化FPGA內(nèi)部在綜合過程中的關(guān)鍵時(shí)序，如建立保持時(shí)間等，避免出現(xiàn)時(shí)序警告而導(dǎo)致圖像異常。所有模塊均由一片F(xiàn)PGA實(shí)現(xiàn)，整個(gè)系統(tǒng)呈流水線，包括4個(gè)子模塊，分別是雙邊濾波模塊、高斯濾波模塊、投影直方圖模塊和自動(dòng)增益控制模塊。輸入數(shù)據(jù)先經(jīng)過雙邊濾波模塊，得到圖像圖形基頻信息；再經(jīng)過高斯濾波模塊，將基頻信息適度平滑處理，并將結(jié)果與原始圖像做差，得到圖像細(xì)節(jié)信息；細(xì)節(jié)信息經(jīng)過自動(dòng)增益控制模塊放大處理，同時(shí)，基頻信息經(jīng)過投影直方圖模塊進(jìn)行壓縮處理，最后將兩者的輸出求和，即得到輸出圖像。各個(gè)模塊提供多個(gè)可調(diào)參數(shù)，可適應(yīng)不同熱像儀參數(shù)要求以及不同場(chǎng)景內(nèi)容。圖2是雙邊濾波模塊實(shí)現(xiàn)的詳細(xì)流程圖。雙邊濾波模塊接收輸入的14位(或16位)原始圖像數(shù)據(jù)(即高動(dòng)態(tài)范圍圖像)，在7X7的處理窗口中，對(duì)其中的49個(gè)數(shù)據(jù)進(jìn)行空間域和強(qiáng)度域的聯(lián)合濾波處理，窗口中心像素值最終由窗口中各個(gè)像素的加權(quán)均值替代，并作為雙邊濾波模塊的輸出圖像數(shù)據(jù)，后接高斯濾波模塊處理。由空間域與強(qiáng)度域想乘求得的加權(quán)系數(shù)將作為自動(dòng)增益控制模塊中的自適應(yīng)系數(shù)。雙邊濾波模塊工作原理與具體硬件實(shí)現(xiàn)描述如下:非線性濾波器中，最具有代表性的是雙邊濾波，對(duì)輸入的高動(dòng)態(tài)范圍圖像進(jìn)行雙邊濾波處理公式如下:
權(quán)利要求
1.一種基于FPGA的紅外圖像細(xì)節(jié)增強(qiáng)系統(tǒng)，其特征在于包括雙邊濾波模塊、高斯濾波模塊、投影直方圖模塊和自動(dòng)增益控制模塊，雙邊濾波模塊與高斯濾波模塊連接，高斯濾波模塊分別與投影直方圖模塊和自動(dòng)增益控制模塊連接，原始輸入數(shù)據(jù)先經(jīng)過雙邊濾波模塊，得到圖像圖形基頻信息；基頻信息再經(jīng)過高斯濾波模塊，將基頻信息平滑處理，并將結(jié)果與原始輸入數(shù)據(jù)做差，得到圖像細(xì)節(jié)信息；細(xì)節(jié)信息經(jīng)過自動(dòng)增益控制模塊放大處理，同時(shí)，基頻信息經(jīng)過投影直方圖模塊進(jìn)行壓縮處理，最后將兩者的輸出求和，即得到輸出圖像。
2.根據(jù)權(quán)利要求1所述的基于FPGA的紅外圖像細(xì)節(jié)增強(qiáng)系統(tǒng)，其特征在于在雙邊濾波模塊中，輸入原始圖像數(shù)據(jù)，在7X7的處理窗口中，對(duì)其中的窗口數(shù)據(jù)進(jìn)行空間域和強(qiáng)度域的雙邊濾波處理，窗口中心像素值最終由窗口中各個(gè)像素的加權(quán)均值替代，并作為雙邊濾波模塊的輸出圖像數(shù)據(jù)，后接高斯濾波模塊處理；由空間域與強(qiáng)度域想乘求得的加權(quán)系數(shù)作為自動(dòng)增益控制模塊中的自適應(yīng)系數(shù)，具體如下:在雙邊濾波模塊中，首先對(duì)輸入的高動(dòng)態(tài)范圍圖像進(jìn)行雙邊濾波處理:
3.根據(jù)權(quán)利要求1所述的基于FPGA的紅外圖像細(xì)節(jié)增強(qiáng)系統(tǒng)，其特征在于高斯濾波模塊使用濾波器窗口為固定模板，如下所示:
4.根據(jù)權(quán)利要求1所述的基于FPGA的紅外圖像細(xì)節(jié)增強(qiáng)系統(tǒng)，其特征在于投影直方圖模塊包含一個(gè)控制模塊連接兩片片內(nèi)RAM，在圖像幀信號(hào)為高時(shí)，RAMl以像素時(shí)鐘頻率統(tǒng)計(jì)當(dāng)前幀圖像的直方圖信息，RAM2存儲(chǔ)的是上一幀圖像投影均衡處理完的直方圖，為減少緩存一幀圖像數(shù)據(jù)帶來的存儲(chǔ)器資源壓力，當(dāng)前幀圖像在做直方圖處理時(shí)，采用上一幀圖像的直方圖輸出；在圖像幀信號(hào)為低時(shí)，RAMl中的直方圖信息先二值化，即當(dāng)某個(gè)灰度級(jí)的數(shù)據(jù)高于設(shè)定閾值時(shí)，該灰度標(biāo)記為1，否則為O ;二值化的直方圖進(jìn)行累加，結(jié)果存儲(chǔ)在RAM2中，用于下一幀輸出，同時(shí)RAMl清零，以便下一幀開始統(tǒng)計(jì)新的直方圖信息。
5.根據(jù)權(quán)利要求4所述的基于FPGA的紅外圖像細(xì)節(jié)增強(qiáng)系統(tǒng)，其特征在于存儲(chǔ)在RAMl的投影直方圖H(X)表示為
6.根據(jù)權(quán)利要求4所述的基于FPGA的紅外圖像細(xì)節(jié)增強(qiáng)系統(tǒng)，其特征在于自動(dòng)增益控制模塊從雙邊濾波模塊處理后緩存過來的自適應(yīng)系數(shù)，作為細(xì)節(jié)層的增益控制因子，對(duì)細(xì)節(jié)層進(jìn)行自適應(yīng)的增強(qiáng)，即該系數(shù)先歸一化處理，然后以一固定的增益和偏置因子，將該系數(shù)調(diào)整至人眼感知范圍得到相應(yīng)像素的增強(qiáng)因子； 細(xì)節(jié)圖像的增益取值范圍在Gmin到Gmax,通過線性映射的方式獲得細(xì)節(jié)圖像的增益表達(dá)式:
7.根據(jù)權(quán)利要求6所述的基于FPGA的紅外圖像細(xì)節(jié)增強(qiáng)系統(tǒng)，其特征在于在自適應(yīng)的增強(qiáng)處理中，將歸一化的自適應(yīng)系數(shù)放大512*512/256倍，16位，其中由兩個(gè)左移9位的雙邊濾波器系數(shù)產(chǎn)生18位放大，然后舍棄系數(shù)低2位保存，獲得16位的放大，處理的公式如下:
8.一種基于FPGA的紅外圖像細(xì)節(jié)增強(qiáng)方法，其特征在于原始輸入數(shù)據(jù)先經(jīng)過雙邊濾波，得到圖像圖形基頻信息；基頻信息再經(jīng)過高斯濾波，將基頻信息平滑處理，并將結(jié)果與原始輸入數(shù)據(jù)做差，得到圖像細(xì)節(jié)信息；細(xì)節(jié)信息經(jīng)過自動(dòng)增益控制放大處理，同時(shí)，基頻信息經(jīng)過投影直方圖進(jìn)行壓縮處理，最后將兩者的輸出求和，即得到輸出圖像； 在雙邊濾波中，輸入原始圖像數(shù)據(jù)，在7X7的處理窗口中，對(duì)其中的窗口數(shù)據(jù)進(jìn)行空間域和強(qiáng)度域的雙邊濾波處理，窗口中心像素值最終由窗口中各個(gè)像素的加權(quán)均值替代，并作為雙邊濾波的輸出圖像數(shù)據(jù)，由空間域與強(qiáng)度域想乘求得的加權(quán)系數(shù)作為自動(dòng)增益控制中的自適應(yīng)系數(shù)，具體如下: 首先對(duì)輸入的高動(dòng)態(tài)范圍圖像進(jìn)行雙邊濾波處理:
9.根據(jù)權(quán)利要求8所述的基于FPGA的紅外圖像細(xì)節(jié)增強(qiáng)方法，其特征在于投影直方圖在一個(gè)控制模塊連接的兩片片內(nèi)RAM中進(jìn)行實(shí)現(xiàn)，在圖像幀信號(hào)為高時(shí)，RAMl以像素時(shí)鐘頻率統(tǒng)計(jì)當(dāng)前幀圖像的直方圖信息，RAM2存儲(chǔ)的是上一幀圖像投影均衡處理完的直方圖，為減少緩存一幀圖像數(shù)據(jù)帶來的存儲(chǔ)器資源壓力，當(dāng)前幀圖像在做直方圖處理時(shí)，采用上一幀圖像的直方圖輸出；在圖像幀信號(hào)為低時(shí)，RAMl中的直方圖信息先二值化，即當(dāng)某個(gè)灰度級(jí)的數(shù)據(jù)高于設(shè)定閾值時(shí)，該灰度標(biāo)記為1，否則為O ;二值化的直方圖進(jìn)行累加，結(jié)果存儲(chǔ)在RAM2中，用于下一幀輸出，同時(shí)RAMl清零，以便下一幀開始統(tǒng)計(jì)新的直方圖信息； 所述的存儲(chǔ)在RAMl的投影直方圖H(X)表示為
10.根據(jù)權(quán)利要求8所述的基于FPGA的紅外圖像細(xì)節(jié)增強(qiáng)方法，其特征在于自動(dòng)增益控制從雙邊濾波處理后緩存過來的自適應(yīng)系數(shù)，作為細(xì)節(jié)層的增益控制因子，對(duì)細(xì)節(jié)層進(jìn)行自適應(yīng)的增強(qiáng)，即該系數(shù)先歸一化處理，然后以一固定的增益和偏置因子，將該系數(shù)調(diào)整至人眼感知范圍得到相應(yīng)像素的增強(qiáng)因子； 細(xì)節(jié)圖像的增益取值范圍在Gmin到Gmax,通過線性映射的方式獲得細(xì)節(jié)圖像的增益表達(dá)式:G(i，j) = Gmin+(l-f(i，j)) (Gmax-Gmin)=Gmin+d_k(i, j)) (Gmax-Gmin) Gmin設(shè)為1，Gmax=2.5-3獲得較好的人眼視覺效果。
全文摘要
本發(fā)明公開了一種基于FPGA的紅外圖像細(xì)節(jié)增強(qiáng)系統(tǒng)及其方法，包括雙邊濾波模塊、高斯濾波模塊、投影直方圖模塊和自動(dòng)增益控制模塊，雙邊濾波模塊與高斯濾波模塊連接，高斯濾波模塊分別與投影直方圖模塊和自動(dòng)增益控制模塊連接，原始輸入數(shù)據(jù)先經(jīng)過雙邊濾波模塊，得到圖像圖形基頻信息；基頻信息再經(jīng)過高斯濾波模塊，將基頻信息平滑處理，并將結(jié)果與原始輸入數(shù)據(jù)做差，得到圖像細(xì)節(jié)信息；細(xì)節(jié)信息經(jīng)過自動(dòng)增益控制模塊放大處理，同時(shí)，基頻信息經(jīng)過投影直方圖模塊進(jìn)行壓縮處理，最后將兩者的輸出求和，即得到輸出圖像。本發(fā)明提高圖像的對(duì)比度，增強(qiáng)細(xì)節(jié)信息，抑制背景噪聲，解決了目前紅外熱像儀成像系統(tǒng)中圖像普遍邊緣模糊，視覺效果差的問題。
文檔編號(hào)G06T5/00GK103177429SQ201310133168
公開日2013年6月26日 申請(qǐng)日期2013年4月16日 優(yōu)先權(quán)日2013年4月16日
發(fā)明者隋修寶, 趙耀, 陳錢, 顧國華, 黃熙燕, 陶遠(yuǎn)榮, 匡小東, 沈雪薇, 季天慈 申請(qǐng)人:南京理工大學(xué)