本發(fā)明涉及一種圖像處理系統(tǒng)，特別是涉及一種紅外圖像和低照度圖像實(shí)時融合系統(tǒng)，屬于數(shù)字圖像處理技術(shù)領(lǐng)域。

背景技術(shù)：

夜視技術(shù)不僅成為軍隊(duì)的不可缺少的現(xiàn)代裝備，而且在各行各業(yè)有廣泛的應(yīng)用。近年來，隨著非制冷紅外探測器的國產(chǎn)化和價格下降，民用紅外夜視市場進(jìn)入快速增長期。

夜視技術(shù)包括紅外夜視技術(shù)和微光夜視技術(shù)兩方面。紅外夜視中的熱成像技術(shù)是一種被動紅外夜視技術(shù)，通過借助目標(biāo)自身發(fā)射的紅外輻射來實(shí)現(xiàn)觀察，它根據(jù)目標(biāo)與背景或目標(biāo)各部分之間的溫度差或熱輻射差來發(fā)現(xiàn)目標(biāo)。熱成像技術(shù)相對其他夜視技術(shù)有獨(dú)特的優(yōu)點(diǎn)，如可在霧、雨、雪的天氣下工作，作用距離遠(yuǎn)，能識別偽裝和抗干擾等。

微光夜視儀則是利用月光、星光等夜光，通過像增強(qiáng)器的光增強(qiáng)作用，幫助人眼實(shí)現(xiàn)夜間觀察的一種夜視器材。主要由望遠(yuǎn)光學(xué)系統(tǒng)、像增強(qiáng)和高壓供電裝置組成。微光夜視圖像的獲得，可以使人類在亮度極低的天光環(huán)境下，依然能夠較為清楚的觀察到目標(biāo)。隨著ccd（電荷耦合元件）/cmos（互補(bǔ)金屬氧化物半導(dǎo)體）技術(shù)的發(fā)展，低照度傳感器成為新的微光夜視技術(shù)的發(fā)展方向，低照度傳感器設(shè)計的夜視成像產(chǎn)品成本大大降低，將進(jìn)入各應(yīng)用領(lǐng)域。

盡管紅外夜視技術(shù)和低照度夜視技術(shù)各自取得了顯著性地發(fā)展，但是依舊存在各自的局限性。利用紅外傳感器拍攝的紅外圖像在全黑的條件下也能夠識別目標(biāo)，但是層次和立體感較差，缺少細(xì)節(jié)和對比度，與可見光圖像相比灰度分布方式不一致，不具有直觀性和識別性特征；利用低照度傳感器拍攝的低照度圖像，與人眼已經(jīng)適應(yīng)的可見光圖像在灰度分布上保持同一性，但是低照度圖像傳感器僅在天光條件下適用，全黑條件下則失效，且易受到強(qiáng)光影響。

圖像融合是將兩種來自不同時間或同一時間來自不同傳感器所獲取的關(guān)于同一場景的圖像進(jìn)行綜合處理，并生成新的有關(guān)此場景解釋的信息處理過程。利用圖像融合技術(shù)，能夠?qū)煞N不同來源的圖像進(jìn)行多級別、多層次、多方面地處理與綜合，提取出更豐富、更精確可靠的關(guān)鍵信息。圖像融合技術(shù)實(shí)現(xiàn)紅外圖像和低照度圖像的融合，能夠彌補(bǔ)各傳感器的局限性，獲得更為可靠的信息，使系統(tǒng)具有信息量大，可全天候觀察等特點(diǎn)。目前的夜視裝置僅能夠提供單色的圖像，利用圖像融合中的偽彩色技術(shù)，則能夠還原圖像的彩色信息，更有助于目標(biāo)識別。

目前，最常見的夜視融合技術(shù)是可見光與中、遠(yuǎn)紅外波段的融合。從實(shí)現(xiàn)的手段上劃分，圖像融合的技術(shù)方案有兩種：光學(xué)融合方法、全數(shù)字融合方法。簡單光學(xué)融合依賴于光學(xué)結(jié)構(gòu)，融合過程沒有延遲，但融合的畫面不方便調(diào)整，且無法實(shí)現(xiàn)儲存記錄功能；全數(shù)字融合方法將不同的夜視圖像逐個像素地進(jìn)行融合，能夠更好地適應(yīng)外界環(huán)境的變化，但是實(shí)現(xiàn)起來相對更復(fù)雜。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明解決的問題之一是：克服現(xiàn)有簡單光學(xué)融合系統(tǒng)中圖像質(zhì)量較差的問題，基于全數(shù)字融合系統(tǒng)方案集成高性能數(shù)字圖像處理算法并實(shí)現(xiàn)較好的圖像融合效果。

本發(fā)明解決的問題之二是：克服現(xiàn)有融合系統(tǒng)中視場、時間同步較難的問題，利用光學(xué)同步調(diào)焦設(shè)計以及圖像信號處理器同步觸發(fā)設(shè)計方法，滿足視場、時間同步的同步需求，簡化圖像配準(zhǔn)算法和圖像融合算法的復(fù)雜性。

本發(fā)明解決的問題之三是：針對融合系統(tǒng)中算法復(fù)雜度高但要求處理器體積小的矛盾，采用嵌入式多核異構(gòu)微處理器am572x作為系統(tǒng)控制中心以及圖像數(shù)字化融合算法的運(yùn)行載體，使系統(tǒng)設(shè)計容易實(shí)現(xiàn)小型化、便攜化。

本發(fā)明為了克服上述不足，提供一種紅外圖像與低照度圖像純數(shù)字化融合系統(tǒng)的實(shí)現(xiàn)方案，具體通過如下措施來實(shí)現(xiàn)：

一種紅外圖像與低照度圖像融合系統(tǒng)，包括低照度光學(xué)鏡組、紅外光學(xué)鏡組、同步調(diào)焦裝置、低照度圖像傳感器、紅外圖像傳感器、低照度圖像傳感器驅(qū)動模塊、紅外圖像傳感器驅(qū)動模塊、圖像傳感器模擬前端、低照度圖像信號處理器、紅外圖像信號處理器、同步信號發(fā)生器、主控處理器、圖像同步采集模塊、數(shù)字圖像處理模塊、圖像顯示控制模塊、顯示切換按鍵、第一微顯示器、第二微顯示器、第一顯示器放大鏡組、第二顯示器放大鏡組、處理器外圍電路、電源模塊，所述圖像同步采集模塊、數(shù)字圖像處理模塊、圖像顯示控制模塊分別為主控處理器的子處理單元。

進(jìn)一步，所述主控處理器為am572x型嵌入式多核異構(gòu)處理器。主控處理器采用德州儀器的sitara多核異構(gòu)處理器am572x作為主處理器并執(zhí)行圖像采集、圖像處理、圖像顯示等相關(guān)程序，其中圖像采集過程主要由多核異構(gòu)處理器中的arm核心控制，而圖像算法主要運(yùn)行在多核異構(gòu)處理器的dsp核心中。

進(jìn)一步，所述低照度光學(xué)鏡組、紅外光學(xué)鏡組、同步調(diào)焦裝置為一體聯(lián)合設(shè)計。

進(jìn)一步，所述低照度圖像傳感器為高靈敏度低照度圖像傳感器mccd，具體型號為bg0601d。

進(jìn)一步，所述圖像傳感器模擬前端包括低照度圖像傳感器模擬前端和紅外圖像傳感器模擬前端，低照度圖像傳感器模擬前端和紅外圖像傳感器模擬前端的芯片均采用afe芯片。

進(jìn)一步，所述同步信號發(fā)生器所產(chǎn)生的同步信號由8051單片機(jī)實(shí)現(xiàn)；

進(jìn)一步，所述圖像顯示控制模塊利用am572x處理器中的協(xié)處理器實(shí)現(xiàn)。

進(jìn)一步，所述數(shù)字圖像處理模塊由紅外圖像預(yù)處理、紅外圖像復(fù)制、低照度圖像處理、低照度圖像復(fù)制、數(shù)字圖像配準(zhǔn)、數(shù)字圖像融合、輸出圖像選擇構(gòu)成。

進(jìn)一步，所述顯示切換按鍵用于切換顯示模式，所支持的模式包括低照度圖像顯示模式、紅外圖像顯示模式、融合圖像顯示模式。

進(jìn)一步，所述第一微顯示器和第二微顯示器均為oled微顯示器，系統(tǒng)采用兩個oled微顯示器作為顯示器，且微顯示器顯示的圖像經(jīng)過放大鏡組進(jìn)一步放大使圖像最終適合人眼觀看。

進(jìn)一步，所述電源模塊包括鋰電池、直流供電端子、電源管理模塊、多路直流穩(wěn)壓器、輸出端子。

進(jìn)一步，處理器外圍電路包括時鐘震蕩電路、復(fù)位電路、儲存器。

本發(fā)明與現(xiàn)有技術(shù)相比，本發(fā)明具有以下優(yōu)點(diǎn)：

（1）采用紅外傳感器與低照度圖像傳感器所采集的圖像進(jìn)行數(shù)字化融合，并以偽彩色方式顯示融合后的圖像信息；

（2）紅外與低照度雙路圖像采集、調(diào)焦同步、時間同步的采集系統(tǒng)設(shè)計；

（3）采用體積較小的嵌入式多核異構(gòu)微處理器作為系統(tǒng)控制中心以及圖像數(shù)字化融合算法的運(yùn)行載體，使設(shè)備具有便攜性特征。同時，嵌入式多核異構(gòu)微處理器的采用也保證了算法運(yùn)行的流暢性，能夠運(yùn)行復(fù)雜度高、數(shù)據(jù)量大的數(shù)字圖像融合算法；

（4）紅外、低照度與偽彩色三種顯示模式的雙目微型oled顯示、切換功能。

附圖說明

圖1是本發(fā)明系統(tǒng)結(jié)構(gòu)示意圖；

圖2是本發(fā)明數(shù)字圖像處理模塊實(shí)現(xiàn)框圖；

圖3是本發(fā)明電源模塊內(nèi)部原理圖。

附圖標(biāo)記說明：101低照度光學(xué)鏡組，102紅外光學(xué)鏡組，103同步調(diào)焦裝置，104低照度圖像傳感器，105紅外圖像傳感器，106低照度圖像傳感器模擬前端，107低照度圖像傳感器驅(qū)動模塊，108紅外圖像傳感器模擬前端，109紅外圖像傳感器驅(qū)動模塊，110低照度圖像信號處理器isp，111同步信號發(fā)生器，112紅外圖像信號處理器，113主控處理器，114圖像同步采集模塊，115數(shù)字圖像處理模塊，116圖像顯示控制模塊，117顯示切換按鍵，118第一微顯示器，119第二微顯示器，120第一顯示器放大鏡組，121第二顯示器放大鏡組，122處理器外圍電路，123電源模塊，201紅外圖像預(yù)處理，203紅外圖像復(fù)制，202低照度圖像預(yù)處理，204低照度圖像復(fù)制，205數(shù)字圖像配準(zhǔn)，206數(shù)字圖像融合，207輸出圖像選擇，301鋰電池，302直流供電端子，303電源管理模塊，304多路直流穩(wěn)壓器，305輸出端子。

具體實(shí)施方式

以下將結(jié)合附圖，對本發(fā)明的技術(shù)方案進(jìn)行進(jìn)一步描述：

如圖1所示，本發(fā)明的系統(tǒng)結(jié)構(gòu)由低照度光學(xué)鏡組101、紅外光學(xué)鏡組102、同步調(diào)焦裝置103、低照度圖像傳感器104、紅外圖像傳感器105、低照度圖像傳感器模擬前端106、低照度圖像傳感器驅(qū)動模塊107、紅外圖像傳感器模擬前端108、紅外圖像傳感器驅(qū)動模塊109、低照度圖像信號處理器isp110、同步信號發(fā)生器111、紅外圖像信號處理器112、主控處理器113、圖像同步采集模塊114、數(shù)字圖像處理模塊115、圖像顯示控制模塊116、顯示切換按鍵117、第一微顯示器118、第二微顯示器119、第一顯示器放大鏡組120、第二顯示器放大鏡組121、處理器外圍電路122、電源模塊123組成。

所述系統(tǒng)工作原理為：場景的光學(xué)圖像通過低照度光學(xué)鏡組101和紅外光學(xué)鏡組102分別成像于低照度圖像傳感器104和紅外圖像傳感器105中，低照度圖像傳感器驅(qū)動模塊107和紅外圖像傳感器驅(qū)動模塊109分別為上述兩個圖像傳感器提供基本驅(qū)動時序，這兩個傳感器同時啟動并將光學(xué)圖像轉(zhuǎn)換為與圖像強(qiáng)度分布呈正相關(guān)的電信號，低照度圖像傳感器模擬前端106和紅外圖像傳感器模擬前端108對來自兩個圖像傳感器的模擬信號分別進(jìn)行放大，并完成模擬/數(shù)字的轉(zhuǎn)換后，圖像信號處理器isp110根據(jù)同步信號發(fā)生器111產(chǎn)生同步信號對電信號進(jìn)行同步采樣、處理，將轉(zhuǎn)換結(jié)果輸出到視頻接口總線；微處理器中的圖像同步采集控制模塊114輸出同步信號，并從視頻總線中接收圖像數(shù)據(jù)到內(nèi)存中，數(shù)字圖像處理模塊115從內(nèi)存中分別提取紅外圖像和低照度圖像，進(jìn)而進(jìn)行圖像融合等相關(guān)處理工作；圖像顯示控制模塊116輸出時序邏輯信號，驅(qū)動兩個顯示器工作，將圖像數(shù)據(jù)輸出到第一微型顯示器118和第二微型顯示器119的數(shù)據(jù)輸入端口，最后，兩個微顯示器屏幕中同步顯示融合圖像，并分別經(jīng)第一光學(xué)放大鏡組120和第二光學(xué)放大鏡組121將圖像進(jìn)一步放大，使人眼能夠觀看到合適大小的畫面。

所述圖像同步采集模塊114、數(shù)字圖像處理模塊115和圖像顯示控制模塊116分別為主控處理器113的子處理單元，主控處理器113為am572x型嵌入式多核異構(gòu)處理器；采用德州儀器的sitara多核異構(gòu)處理器am572x作為主處理器并執(zhí)行圖像采集、圖像處理、圖像顯示等相關(guān)程序，其中圖像采集過程主要由多核異構(gòu)處理器中的arm核心控制，而圖像算法主要運(yùn)行在多核異構(gòu)處理器的dsp核心中。

所述融合系統(tǒng)通過實(shí)時采集紅外圖像和低照度圖像作為圖像源進(jìn)行融合，紅外圖像由被動式非制冷焦平面紅外探測器采集，低照度圖像由被動式低照度圖像傳感器104采集。

所述低照度圖像傳感器104采用高靈敏度低照度圖像傳感器mccd，具體型號為bg0601d。

所述系統(tǒng)在光學(xué)設(shè)計上采用了同步調(diào)焦設(shè)計和初步同視場設(shè)計，所述低照度光學(xué)鏡組101、紅外光學(xué)鏡組102、同步調(diào)焦裝置103為一體聯(lián)合設(shè)計，即利用一個調(diào)焦旋鈕同時控制兩個光路中的透鏡位置，可在光學(xué)上保證紅外圖像傳感器105和低照度圖像傳感器104所呈圖像大小一致的效果，從而實(shí)現(xiàn)兩個傳感器同步調(diào)焦的功能；

為實(shí)現(xiàn)同步曝光，使用一個同步信號發(fā)生器產(chǎn)生同步信號同時控制兩個圖像信號處理器啟動采集和轉(zhuǎn)換，以保證每次采集時捕獲到同一個時刻的紅外圖像和可見光圖像。

所述同步信號發(fā)生器111所產(chǎn)生的同步信號由8051單片機(jī)實(shí)現(xiàn)，該單片機(jī)能夠根據(jù)配置參數(shù)產(chǎn)生固定頻率和占空比的同步脈沖。

所述低照度圖像傳感器模擬前端106和紅外圖像傳感器模擬前端108均采用通用的afe芯片，如tlv990。兩個圖像傳感器模擬前端afe對來自兩個圖像傳感器的模擬信號分別進(jìn)行放大，并完成模擬-數(shù)字的轉(zhuǎn)換，最后輸出數(shù)字信號給后一個處理單元。

所述的低照度圖像傳感器驅(qū)動模塊107和紅外圖像傳感器驅(qū)動模塊109驅(qū)動圖像傳感器的過程為：將圖像信號處理器isp輸出的驅(qū)動邏輯轉(zhuǎn)換成低照度圖像傳感器及紅外圖像傳感器的高壓驅(qū)動信號，驅(qū)動低照度圖像傳感器和紅外圖像傳感器實(shí)現(xiàn)圖像像素掃描。

所述低照度圖像信號處理器110和紅外圖像信號處理器112即圖像信號處理器isp對來自圖像傳感器的圖像數(shù)據(jù)做初級數(shù)字圖像處理，包括自動曝光控制aec、自動增益控制agc和白平衡awb、伽馬gamma矯正，處理后以并行方式輸出到視頻總線中并由處理器中的圖像同步采集模塊114采集，且上述圖像信號處理器對圖像數(shù)據(jù)進(jìn)行初步處理的方法和參數(shù)是能夠被后端處理器調(diào)整設(shè)置。

所述融合系統(tǒng)開始采集一次圖像時，圖像同步采集模塊114首先發(fā)送一個采集指令，同步信號發(fā)生器111將指令轉(zhuǎn)換為同步采集脈沖，采集脈沖觸發(fā)圖像信號處理器isp啟動一次圖像采集，待采集完畢后，同步采集模塊114從總線中讀取圖像數(shù)據(jù)至內(nèi)存中。

如圖2所示，數(shù)字圖像處理模塊115由紅外圖像預(yù)處理201、紅外圖像復(fù)制203、低照度圖像預(yù)處理202、低照度圖像復(fù)制204、數(shù)字圖像配準(zhǔn)205、數(shù)字圖像融合206、輸出圖像選擇207構(gòu)成，以上子功能模塊的處理過程是利用現(xiàn)有軟件算法實(shí)現(xiàn)的。其中，紅外圖像預(yù)處理201對圖像進(jìn)行初步的圖像增強(qiáng)和濾波處理；紅外圖像復(fù)制203和低照度圖像復(fù)制204過程分別將圖像復(fù)制為兩個副本，其中一個副本用于圖像配準(zhǔn)和圖像融合處理，另外一個副本用于直接顯示；數(shù)字圖像配準(zhǔn)205過程利用圖像配準(zhǔn)算法對圖像進(jìn)行矯正和配準(zhǔn)，使兩幅圖像中的對象在位置上重疊、統(tǒng)一；配準(zhǔn)后的圖像通過圖像融合算法進(jìn)行融合，產(chǎn)生一幅融合后的圖像；圖像選擇器根據(jù)按鈕狀態(tài)從3幅圖像復(fù)制的紅外圖像、復(fù)制的低照度圖像、融合圖像中選擇一幅圖像輸出到顯示設(shè)備。

所述圖像顯示控制模塊116利用am572x處理器中的協(xié)處理器實(shí)現(xiàn)，其功能是輸出驅(qū)動邏輯，驅(qū)動oled顯示器工作。

所述顯示器即第一微顯示器118和第二微顯示器119為兩個型號為svga050的微型顯示器，為0.5英寸微型oled顯示器，兩個顯示器顯示的內(nèi)容一致，微顯示器顯示的圖像經(jīng)過光學(xué)放大鏡組進(jìn)一步放大，使適合人眼觀察。

特別的，所述系統(tǒng)還包括顯示切換按鍵117，該切換按鍵用于切換顯示模式，每按一次切換按鈕，系統(tǒng)就切換一個模式，所支持模式包括：純低照度顯示模式、純紅外顯示模式、融合圖像顯示模式。

所述電源模塊123為整個系統(tǒng)提供多種穩(wěn)定可靠的供電電壓，為實(shí)現(xiàn)便攜式的系統(tǒng)設(shè)計，供電方式包括ac適配器供電和鋰電池供電兩種方式，且系統(tǒng)適配器采用dc12v/2a適配器。

如圖3所示，所述電源模塊123包括鋰電池301、直流供電端子302、電源管理模塊303、多路直流穩(wěn)壓器304、輸出端子305，所述鋰電池301和直流供電端子302為兩種備選供電方式，默認(rèn)采用電池供電。當(dāng)有外部供電時切換到外部供電，同時給鋰電池充電；切換過程以及給鋰電池充電的控制過程均由電源管理模塊303實(shí)現(xiàn)；多路直流穩(wěn)壓器304提供多種穩(wěn)定的直流電壓輸出，提供能量給系統(tǒng)各個模塊；各個電壓最終通過輸出端子305輸出。

所述處理器外圍電路122包括時鐘震蕩電路、復(fù)位電路、儲存器等，為處理器提供基本工作條件。