基于異構(gòu)多核構(gòu)架的紅外光與可見(jiàn)光圖像實(shí)時(shí)融合系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于計(jì)算機(jī)應(yīng)用技術(shù)范疇，涉及計(jì)算機(jī)視覺(jué)和信息融合領(lǐng)域，特別是多傳 感器圖像融合領(lǐng)域，具體是一種基于異構(gòu)多核構(gòu)架的紅外光與可見(jiàn)光圖像實(shí)時(shí)融合方法。 二、
【背景技術(shù)】
[0002] 多傳感器圖像融合技術(shù)是在信息融合技術(shù)的理論基礎(chǔ)上發(fā)展起來(lái)的一種圖像處 理新技術(shù)。由于可以有效綜合多源圖像信息的互補(bǔ)性和冗余性，因此融合圖像包含比任一 輸入通道圖像更豐富的信息，具有更高的可靠性，有利于提高對(duì)圖像信息的分析和識(shí)別能 力，所以近年來(lái)成為國(guó)際學(xué)術(shù)界圖像處理研究領(lǐng)域的一個(gè)熱點(diǎn)。融合技術(shù)將多源圖像信息 資源的利用率得以最大限度地發(fā)揮，圖像配準(zhǔn)是圖像融合必須進(jìn)行的預(yù)處理，多源圖像配 準(zhǔn)和融合技術(shù)的理論研究已經(jīng)取得了很多成果，但是可實(shí)用的圖像融合系統(tǒng)目前處理能力 依然有限，且有些還處于實(shí)驗(yàn)研究階段。圖像融合技術(shù)應(yīng)用的突出障礙是實(shí)時(shí)性要求與系 統(tǒng)處理速度。對(duì)于像素級(jí)融合，多源圖像相關(guān)像素的配準(zhǔn)結(jié)果直接影響融合圖像精度，而現(xiàn) 階段所提出的圖像多尺度塔形分解與重構(gòu)的多分辨圖像融合算法的巨量數(shù)據(jù)處理又使得 圖像融合處理系統(tǒng)的研制開(kāi)發(fā)具有不小的阻礙。國(guó)內(nèi)外也有部分文獻(xiàn)提到使用不同的體系 構(gòu)架進(jìn)行紅外光與可見(jiàn)光融合，但是性能及效率還不能完全適應(yīng)現(xiàn)有圖像處理的需要，性 能及效率還有待提尚。 三、

【發(fā)明內(nèi)容】

[0003] 本發(fā)明的目的是針對(duì)目前紅外光與可見(jiàn)光融合算法效率與質(zhì)量相互制約的缺點(diǎn)， 設(shè)計(jì)一種基于異構(gòu)多核構(gòu)架的紅外光與可見(jiàn)光實(shí)圖像時(shí)融合系統(tǒng)。該系統(tǒng)充分利用ARM處 理器和DSP處理器各自的優(yōu)點(diǎn)，構(gòu)建兩者協(xié)同工作的運(yùn)行模型。對(duì)不同的處理器核心分配各 自擅長(zhǎng)的任務(wù)，有效提升系統(tǒng)的運(yùn)行處理能力。ARM端負(fù)責(zé)數(shù)據(jù)的采集、顯示和圖像的實(shí)時(shí) 傳輸，DSP端完成紅外光圖像增強(qiáng)、圖像配準(zhǔn)、兩路圖像的金字塔融合及融合圖像的實(shí)時(shí)壓 縮。不僅實(shí)現(xiàn)紅外光與可見(jiàn)光的實(shí)時(shí)配準(zhǔn)融合功能，還在此基礎(chǔ)上對(duì)融合后圖像進(jìn)行H. 264 的圖像數(shù)據(jù)實(shí)時(shí)壓縮傳輸及存儲(chǔ)。從系統(tǒng)結(jié)構(gòu)上保障實(shí)時(shí)圖像融合處理的穩(wěn)定性、可靠性 及傳輸高效性，滿足實(shí)時(shí)、高速、通用、標(biāo)準(zhǔn)化等目的。
[0004] 本發(fā)明的目的是這樣達(dá)到的：
[0005] -種基于異構(gòu)多核構(gòu)架的紅外光與可見(jiàn)光圖像實(shí)時(shí)融合系統(tǒng)，其特征在于：系統(tǒng) 構(gòu)建一個(gè)以ARM核和D SP核為核心的異構(gòu)多核處理器，在ARM核與D SP核之間采用CMEM和 DSP1 ink接口模塊;ARM核與DSP核之間數(shù)據(jù)調(diào)用接口采用Codec Engine調(diào)用接口模板;異構(gòu) 多核處理器負(fù)責(zé)整個(gè)系統(tǒng)的控制流程及數(shù)據(jù)收發(fā)及處理邏輯，完成紅外光與可見(jiàn)光圖像的 視頻數(shù)據(jù)采集、視頻數(shù)據(jù)的實(shí)時(shí)增強(qiáng)與融合，以及融合后的視頻數(shù)據(jù)的顯示輸出。
[0006] 在異構(gòu)多核處理器內(nèi)部，ARM核運(yùn)行l(wèi)inux操作系統(tǒng)，使用gcc編譯器編譯內(nèi)核驅(qū)動(dòng) 及應(yīng)用程序，開(kāi)發(fā)環(huán)境使用Redhat linux;負(fù)責(zé)紅外光與可見(jiàn)光兩路視頻數(shù)據(jù)的實(shí)時(shí)數(shù)據(jù) 采集及圖像融合過(guò)后的壓縮數(shù)據(jù)的實(shí)時(shí)傳輸；在DSP核使用CCS集成開(kāi)發(fā)環(huán)境，運(yùn)行DSP/ BIOSS實(shí)時(shí)操作系統(tǒng)，負(fù)責(zé)對(duì)紅外光輸入圖像進(jìn)行配準(zhǔn)預(yù)處理和圖像增強(qiáng)預(yù)處理、可見(jiàn)光與 紅外光兩路視頻圖像數(shù)據(jù)的實(shí)時(shí)融合以及對(duì)融合后的圖像數(shù)據(jù)進(jìn)行H.264實(shí)時(shí)編碼壓縮。
[0007] 在異構(gòu)多核處理器前端設(shè)置多路視頻A/D轉(zhuǎn)換芯片，在異構(gòu)多核處理器后端設(shè)置 多路視頻D/A轉(zhuǎn)換芯片和用于視頻數(shù)據(jù)壓縮輸出到網(wǎng)絡(luò)物理層控制器;可見(jiàn)光數(shù)據(jù)和紅外 光數(shù)據(jù)分別經(jīng)過(guò)各自的視頻輸入口通道進(jìn)入系統(tǒng)后，經(jīng)各自的多路視頻放大器放大、增強(qiáng) 數(shù)據(jù)驅(qū)動(dòng)能力，放大后的可見(jiàn)光數(shù)據(jù)和紅外光數(shù)據(jù)均分為2路，一路數(shù)據(jù)完全保留并經(jīng)視頻 旁路視頻輸出口分別顯示輸出，另外一路送入A/D視頻轉(zhuǎn)換芯片，經(jīng)數(shù)字化后送入異構(gòu)多核 處理器進(jìn)行數(shù)據(jù)采集融合處理，融合后的數(shù)據(jù)經(jīng)視頻D/A轉(zhuǎn)換芯片處理后，實(shí)時(shí)融合視頻從 視頻輸出口輸出，同時(shí)，融合后的視頻數(shù)據(jù)經(jīng)過(guò)H264實(shí)時(shí)編碼壓縮，壓縮后的視頻數(shù)據(jù)經(jīng)網(wǎng) 絡(luò)物理層控制器從網(wǎng)絡(luò)接口輸出。
[0008] 系統(tǒng)的運(yùn)行流程:首先，ARM端采集紅外光視頻數(shù)據(jù)和可見(jiàn)光視頻數(shù)據(jù)，DSP端獲取 視頻緩存后，對(duì)紅外光輸入圖像，進(jìn)行圖像增強(qiáng)預(yù)處理和圖像配準(zhǔn)預(yù)處理，在DSP端進(jìn)行圖 像融合，融合后的圖像數(shù)據(jù)發(fā)送到ARM端顯示融合結(jié)果，輸出融合后的視頻，同時(shí)，DSP端對(duì) 融合的圖像進(jìn)行H264視頻編碼壓縮，壓縮后再經(jīng)ARM端網(wǎng)絡(luò)數(shù)據(jù)傳輸網(wǎng)絡(luò)視頻數(shù)據(jù)。
[0009] 對(duì)紅外光輸入圖像配準(zhǔn)預(yù)處理，是將紅外光圖像通過(guò)上采樣插值到可見(jiàn)光系統(tǒng)分 辨率，即將紅外光圖像拉伸至可見(jiàn)光圖像的對(duì)應(yīng)點(diǎn)。
[0010]對(duì)紅外光輸入圖像進(jìn)行圖像增強(qiáng)預(yù)處理，采用基于"灰度世界"grey world圖像增 強(qiáng)算法，在YUV色彩空間進(jìn)行，且僅用于紅外光的亮度信息Y分量的增益調(diào)整，即把紅外光的 灰度信息只看作是其中一個(gè)通道的亮度信息，并選定目標(biāo)灰度作為整個(gè)所能表示灰度范圍 的一半，將紅外光的灰度信息范圍有效擴(kuò)充到整個(gè)灰度位寬范圍內(nèi)，對(duì)每個(gè)像素乘上整體 的放大系數(shù)。
[0011] 在對(duì)紅外光與可見(jiàn)光源圖像快速融合時(shí)，采用建立三層的拉普拉斯金字塔結(jié)構(gòu)進(jìn) 行融合:紅外光圖像在進(jìn)行圖像增強(qiáng)預(yù)處理和配準(zhǔn)預(yù)處理后，與可見(jiàn)光圖像同時(shí)進(jìn)行高斯 塔形分解，分解后的紅外光圖像和可見(jiàn)光圖像被分別被分解為一層金字塔圖像、二層金字 塔圖像和三層圖像，再對(duì)紅外光圖像和可見(jiàn)光圖像進(jìn)行一層融合、二層融合和三層融合，在 圖像融合中生成三層圖像、二層金字塔圖像和一層金字塔圖像，對(duì)金字塔融合后得到紅外 光與可見(jiàn)光圖像融合后的圖像。
[0012] 在對(duì)紅外光與可見(jiàn)光源圖像快速融合時(shí)，采用建立三層的拉普拉斯金字塔結(jié)構(gòu)進(jìn) 行融合:首先對(duì)圖像進(jìn)行高斯金字塔分解，高斯金字塔用于下采樣圖像，而拉普拉斯金字塔 則用于從金字塔低層圖像中向上采樣重建圖像，從金字塔第i層生成第i+Ι層圖像G 1+1，用高 斯核對(duì)圖像Gi進(jìn)行卷積運(yùn)算，然后剔除所有偶數(shù)行和偶數(shù)列，得到原有圖像的1/4,由上述 過(guò)程對(duì)輸入圖像Go循環(huán)執(zhí)行操作產(chǎn)生整個(gè)高斯金字塔。
[00?3]使用imgPyrDowO，imgPyrUp()下采樣分解與上采樣金字塔重構(gòu)的函數(shù)調(diào)用。在金 字塔構(gòu)建完成后，在金字塔最底層使用加權(quán)平均的融合算法。
[0014]恢復(fù)原來(lái)圖像的大小過(guò)程如下:將圖像在每個(gè)方向擴(kuò)大為原來(lái)的兩倍，新增的行 和列以〇填充，將得到的原有圖像的1/4的內(nèi)核恢復(fù)到原有圖像同樣的內(nèi)核，即將高斯金字 塔圖像乘以4,與放大后的圖像卷積，獲得新增像素的近似值;這兩個(gè)向下和向上采樣步驟 分別通過(guò)函數(shù)imgPyrDow()和imgPyrUp()實(shí)現(xiàn)。
[0015]對(duì)紅外光輸入圖像配準(zhǔn)預(yù)處理，將紅外光圖像拉伸至可見(jiàn)光圖像的對(duì)應(yīng)點(diǎn)過(guò)程 是:首先使用自主開(kāi)發(fā)的識(shí)別配準(zhǔn)工具，分別在紅外光和可見(jiàn)光圖像中找到相同物體的對(duì) 應(yīng)的坐標(biāo)位置，對(duì)應(yīng)點(diǎn)通過(guò)人工干預(yù)方式獲得，并計(jì)算生成紅外光到可見(jiàn)光圖像的仿射變 換系數(shù)矩陣。尋找不在同一直線上的三對(duì)對(duì)應(yīng)，進(jìn)行運(yùn)算，通過(guò)調(diào)用openCV函數(shù)庫(kù)的對(duì)應(yīng)接 口函數(shù)，得到仿射變換系數(shù)矩陣，并將該系數(shù)矩陣通過(guò)網(wǎng)絡(luò)直接寫(xiě)入到實(shí)時(shí)融合系統(tǒng)的 flash 中。
[0016] 所述仿射變換系數(shù)矩陣根據(jù)以下公式計(jì)算：
[0017]
[0018]其中，&，7)、（^，7'）分別對(duì)應(yīng)仿射變換前各像素點(diǎn)的坐標(biāo)值，311、&12、 &21、&22為2* 2非奇異矩陣的系數(shù)，tx、ty分別為在x、y方向上的平移參數(shù)。
[0019]當(dāng)系統(tǒng)加電啟動(dòng)時(shí)，程序自動(dòng)讀入該仿射變換系數(shù)矩陣，計(jì)算生成紅外光圖像到 可見(jiàn)光圖像的像素映射表，即得到紅外圖像上每個(gè)像素映射到可見(jiàn)光圖像上所得的對(duì)應(yīng)坐 標(biāo)值，像素映射表生成計(jì)算公式如下：
[0020: V1/ u
[0021] 然后，再用高斯核對(duì)i層圖像Gi進(jìn)行卷積運(yùn)算的表達(dá)式為：
[0022] Z;. = Gi-UP(GM)? g5x5 (3)
[0023] 其中符號(hào)?代表卷積操作，g5x5是5 X 5的高斯核，
[0024] 5X5的高斯核卷積核為：
[0025]
[0026] 在金字塔構(gòu)建完成后，在金字塔最底層使用加權(quán)平均的融合算法，對(duì)于可見(jiàn)光圖 像和紅外圖像的像素灰度值加權(quán)平均融合的過(guò)程可以表示為:Ρ^,ιΟιωΑΟιι,ιΟ+ω^Οιι， η)
[0027] 式中，Α代表可見(jiàn)光圖像，Β代表紅外光圖像，m代表像素的行數(shù)，πι=1，2，···Μ;η代表 像素的列數(shù)，η=1，2, ...，Ν; ω:為可見(jiàn)光圖像的加權(quán)系數(shù)；ω2為紅外光圖像的加權(quán)系數(shù);通 常(01+(〇2=1;當(dāng)〇 1= C〇2 = 0.5時(shí)為加權(quán)平均的特例。
[0028] ARM核與DSP核之間數(shù)據(jù)調(diào)用接口采用Codec Eng