一種基于Cameralink的圖像融合系統(tǒng)及其方法
【專利摘要】本發(fā)明公開了一種基于Cameralink的圖像融合系統(tǒng)及其方法，包括兩路Cameralink視頻接收系統(tǒng)、FPGA、存儲器、多核DSP、顯示器，兩路Cameralink視頻接收系統(tǒng)分別與FPGA連接，該FPGA分別與存儲器、多核DSP、顯示器連接。本發(fā)明融合的兩路視頻輸入均為Cameralink，傳輸帶寬可達Gpbs以上，在高分辨率高幀頻圖像處理中具有顯著優(yōu)勢；Cameralink相機信號經(jīng)視頻接收系統(tǒng)解差分模塊產(chǎn)生的數(shù)據(jù)TTL信號時序簡單，且同一時刻兩路視頻之間存在非常小的相位差，在FPGA中將兩路圖像加以融合實現(xiàn)。
【專利說明】—種基于Cameral ink的圖像融合系統(tǒng)及其方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于高速圖像采集【技術(shù)領(lǐng)域】，特別是一種基于Cameralink的圖像融合系統(tǒng)及其方法。
【背景技術(shù)】
[0002]圖像融合是信息融合的重要分支和研究熱點。圖像融合是把同一場景從不同特性、不同時間、不同分辨率傳感器獲得的多幅圖像綜合成一幅圖像的先進圖像處理技術(shù)。圖像融合技術(shù)在許多領(lǐng)域都得到了廣泛應(yīng)用，包括遙感圖像的分析和處理、自動識別、計算機視覺，醫(yī)學(xué)圖像處理等。融合圖像具有較強的魯棒性，即使個別傳感器故障也不會對融合圖像產(chǎn)生嚴重影響；圖像融合能協(xié)同同一場景的多種傳感器圖像信息，輸出一幅更適于人類視覺個感知或計算機進一步處理和分析的融合圖像。它可明顯改善單一傳感器的不足，提高圖像的清晰度及信息包含量。圖像融合技術(shù)的研究有著重要的理論與應(yīng)用價值。
[0003]Cameralink協(xié)議是Dalsa, Basler, Coreco等相機供應(yīng)商和圖像采集公司在2000年10月聯(lián)合推出旨在簡化CCD和采集卡之間的連接，Cameralink可為高速高精度的數(shù)字相機提供簡單靈活的連接。Cameralink接口是專為數(shù)字相機制定的一種圖像數(shù)據(jù)、視頻數(shù)據(jù)控制信號及相機控制信號傳輸?shù)目偩€接口，數(shù)據(jù)傳輸速率最高可達2.38Gbps,足以滿足數(shù)碼相機在當今傳輸速度的要求。采用這種標準后，使得數(shù)字攝像機的數(shù)據(jù)接口輸出采用更少的線數(shù)，連接電纜制造方便，更具有通用性，而且數(shù)據(jù)的傳輸距離比普通傳輸方式更遠。其最主要的特點是采用了 LVDS(Low Voltage Differential Signaling,低壓差分信號)技術(shù)，從而簡化了數(shù)轉(zhuǎn)換、視頻信號編譯碼等工作流程，使攝像機的數(shù)據(jù)傳輸速率大大提高。Cameralink有Base, Medium, Full三種模式，F(xiàn)ull模式下,可同時傳輸8個像素，圖像分辨率可達2048*2048，幀頻可達2000幀，傳輸帶寬可達8000MB/S，該接口可通過連接圖像采集設(shè)備進行數(shù)據(jù)的存儲、可實時傳輸回地面或連接采集卡。Cameralink傳輸速率快、體積小、重量輕，便于檢測和評價相機成像質(zhì)量在圖像數(shù)字領(lǐng)域得到越來越來越廣泛的應(yīng)用。
[0004]圖像融合技術(shù)的實時實現(xiàn)具有相當?shù)碾y度，當融合算法確定后，如果圖像分辨力、灰度級數(shù)、時序控制等發(fā)生變化時，則一般情況下，系統(tǒng)中的相應(yīng)硬件電路、整體時序控制信號等也要進行局部或全局調(diào)整。即很難設(shè)計一個圖像融合系統(tǒng)，能夠滿足各種不同的圖像特性。而對于Cameralink傳輸?shù)膱D像信號，無需改變電路硬件結(jié)構(gòu)，只需在FPGA中對通過Cameralink協(xié)議中的串行通信信號發(fā)送指令，即可調(diào)整圖像分辨力，和灰度級數(shù)。且經(jīng)Cameralink傳輸?shù)膱D像信號經(jīng)解碼芯片(DS90CR288A, DS90LV031, DS90LV019)解碼后，為穩(wěn)定的TTL圖像數(shù)據(jù)信號，沒有復(fù)雜的通訊協(xié)議，可以直接對解碼后的TTL圖像數(shù)據(jù)信號進行處理，更容易實現(xiàn)實時融合。
[0005]目前主流的圖像融合硬件系統(tǒng)是兩路網(wǎng)口傳輸視頻加以融合，網(wǎng)口傳輸符合GigEg Vision協(xié)議,眾多廠商支持,它的應(yīng)用是最廣泛的,但帶寬小,每次只能傳輸一個像素，在高分辨率，高幀頻的場合應(yīng)用便不能達到要求。Cameralink可傳輸高分辨率高幀頻的圖像，分辨率可達4K*4K，幀頻可以2000fps以上，在高分辨率，高幀頻的場合提供了新的解決方法。而兩路Cameralink傳輸?shù)膱D像融合系統(tǒng)由于差分信號的特殊的要求在硬件實現(xiàn)方面很有難度。

【發(fā)明內(nèi)容】

[0006]本發(fā)明的目的在于提供一種基于Cameralink的圖像融合系統(tǒng)及其方法，從而快速實現(xiàn)高分辨率高幀頻圖像的融合。
[0007]實現(xiàn)本發(fā)明目的的技術(shù)解決方案為:
一種基于Cameralink的圖像融合系統(tǒng),包括兩路Cameralink視頻接收系統(tǒng)、FPGA、存儲器、多核DSP、顯示器，兩路Cameralink視頻接收系統(tǒng)分別與FPGA連接，該FPGA分別與存儲器、多核DSP、顯示器連接，該Cameralink視頻接收系統(tǒng)由兩個MDR26連接器、三片解差分模塊、串行通信模塊、差分驅(qū)動模塊組成，第一 MDR26連接器分別與第一、二解差分模塊連接，第二 MDR26連接器分別與第三解差分模塊、串行通信模塊、差分驅(qū)動模塊連接，該第一、二、三解差分模塊以及串行通信模塊、差分驅(qū)動模塊分別與FPGA連接；兩路Full模式下的Cameralink相機信號傳輸?shù)紺ameralink視頻接收系統(tǒng)中，每路Full模式數(shù)據(jù)差分信號經(jīng)過三片解差分模塊轉(zhuǎn)換成數(shù)據(jù)TTL信號，串行通信信號由串行通信模塊解碼，控制差分信號經(jīng)差分驅(qū)動模塊產(chǎn)生，解差分模塊產(chǎn)生的數(shù)據(jù)TTL信號進入FPGA進行融合，圖像處理時與存儲器進行數(shù)據(jù)交換，圖像預(yù)處理后經(jīng)Rapid IO送入多核DSP，再經(jīng)Rapid IO傳回FPGA，最終把處理后的圖像在VGA接口顯示器上顯示。
[0008]一種基于Cameralink的圖像融合方法,步驟如下:
第一步，兩路Full模式下的Cameralink相機信號根據(jù)Cameralink協(xié)議傳輸給兩路Cameralink視頻接收系統(tǒng)；
第二步，兩路Cameralink視頻接收系統(tǒng)將數(shù)據(jù)實時的送入FPGA中進行融合處理，每路Cameralink視頻接收系統(tǒng)由兩個MDR26連接器、三片解差分模塊、串行通信模塊、差分驅(qū)動模塊組成，第一 MDR26連接器分別與第一、二解差分模塊連接，第二 MDR26連接器分別與第三解差分模塊、串行通信模塊、差分驅(qū)動模塊連接，該第一、二、三解差分模塊以及串行通信模塊、差分驅(qū)動模塊分別與FPGA連接；每路Full模式數(shù)據(jù)差分信號經(jīng)過三片解差分模塊轉(zhuǎn)換成數(shù)據(jù)TTL信號，串行通信信號由串行通信模塊解碼，控制差分信號經(jīng)差分驅(qū)動模塊產(chǎn)生，解差分模塊產(chǎn)生的數(shù)據(jù)TTL信號進入FPGA ；
第三步，Cameralink相機信號經(jīng)視頻接收系統(tǒng)解差分模塊產(chǎn)生的數(shù)據(jù)TTL信號進入FPGA進行融合，這些TTL數(shù)據(jù)信號包括時鐘信號、有效數(shù)據(jù)信號、行同步信號和幀同步信號時序簡單，在FPGA中將兩路圖像加以融合容易實現(xiàn)，即以其中一路Cameralink相機傳輸?shù)膱D像經(jīng)視頻接收系統(tǒng)解差分模塊產(chǎn)生的數(shù)據(jù)TTL信號作為基準，在FPGA中對第二路的圖像信號經(jīng)視頻接收系統(tǒng)解差分模塊產(chǎn)生的數(shù)據(jù)TTL信號加以延時，使得兩路行同步和幀同步信號同步，然后對對應(yīng)像素做加權(quán)平均；
第四步，存儲器負責(zé)把在FPGA中融合圖像數(shù)據(jù)信號讀出，存入外部存儲器中；或者把緩存在外部存儲器的數(shù)據(jù)讀出到FPGA中；
第五步，將FPGA處理后的圖像數(shù)據(jù)信號通過Rapid IO送入多核DSP進行處理； 第六步，將多核DSP處理后的圖像回傳到FPGA中，將最終融合的結(jié)果以VGA制式的形式輸出到顯示器終端。
[0009]本發(fā)明與現(xiàn)有技術(shù)相比，其顯著優(yōu)點:(1)融合的兩路視頻輸入均為Cameralink，傳輸帶寬可達Gpbs以上，在高分辨率高幀頻圖像處理中具有顯著優(yōu)勢；(2)兩路Cameralink視頻輸入為Full模式,相較一般的Base模式更能滿足高速圖像處理的要求；
(3)Cameralink相機信號經(jīng)視頻接收系統(tǒng)解差分模塊產(chǎn)生的數(shù)據(jù)TTL信號時序簡單，且同一時刻兩路視頻之間存在非常小的相位差，在FPGA中將兩路圖像加以融合實現(xiàn)。
[0010]下面結(jié)合附圖對本發(fā)明作進一步詳細描述。
【專利附圖】

【附圖說明】
[0011]圖1是本發(fā)明基于Cameralink的圖像融合系統(tǒng)的整體框圖。
[0012]圖2是本發(fā)明基于Cameralink的圖像融合系統(tǒng)的實施例框圖。
[0013]圖3是相機寄存器地址。
[0014]圖4讀寫指令格式。
[0015]圖5是FPGA內(nèi)部系統(tǒng)流程圖。
[0016]圖6是行場同步信號時序圖。
【具體實施方式】
[0017]結(jié)合圖1，本發(fā)明基于Cameralink的圖像融合系統(tǒng),系統(tǒng)組成及其內(nèi)部信號流向如下:
系統(tǒng)包括兩路Cameralink視頻接收系統(tǒng)、FPGA,存儲器、多核DSP、顯示器，兩路Cameralink視頻接收系統(tǒng)分別與FPGA連接，該FPGA分別與存儲器、多核DSP、顯示器連接，該Cameralink視頻接收系統(tǒng)由兩個MDR26連接器、三片解差分模塊、串行通信模塊、差分驅(qū)動模塊組成，第一 MDR26連接器分別與第一、二解差分模塊連接，第二 MDR26連接器分別與第三解差分模塊、串行通信模塊、差分驅(qū)動模塊連接，該第一、二、三解差分模塊以及串行通信模塊、差分驅(qū)動模塊分別與FPGA連接；兩路Full模式下的Cameralink相機信號傳輸?shù)紺ameralink視頻接收系統(tǒng)中，每路Full模式數(shù)據(jù)差分信號經(jīng)過三片解差分模塊轉(zhuǎn)換成數(shù)據(jù)TTL信號，串行通信信號由串行通信模塊解碼，控制差分信號經(jīng)差分驅(qū)動模塊產(chǎn)生，解差分模塊產(chǎn)生的數(shù)據(jù)TTL信號進入FPGA進行融合，圖像處理時與存儲器進行數(shù)據(jù)交換，圖像預(yù)處理后經(jīng)Rapid IO送入多核DSP，再經(jīng)Rapid IO傳回FPGA，最終把處理后的圖像在VGA接口顯示器上顯示。
[0018]結(jié)合圖2,本發(fā)明基于Cameralink的圖像融合方法,步驟如下:
第一步，選用兩組視頻接收系統(tǒng)接受Cameralink接口相機傳來的低壓差分信號，F(xiàn)ull模式下一組Cameralink信號包含21對差分信號，包括12對數(shù)據(jù)差分信號、3對時鐘信號、2對串行通信信號以及4對相機控制信號，經(jīng)過3片解差分芯片DS90CR288A，差分數(shù)據(jù)信號差分時鐘信號按7:1的比例輸出TTL數(shù)據(jù)信號和時鐘信號，且能通過的最高時鐘頻率可達85MHz。本硬件系統(tǒng)融合的兩路視頻輸入均為Cameralink，且均可達到Full模式，以常見的2048*2048的8位圖像為例，當拍攝幀頻為100幀/秒時，需要實時傳輸?shù)臄?shù)據(jù)量為3200Mb / s，兩路的總帶寬可達到6400Mb/s。對于Full模式下的數(shù)據(jù)部分的電路由一個Cameralink接口，兩片解差分芯片DS90CR288A構(gòu)成，這個MDR26連接器接入相機傳來的Y路的4對數(shù)據(jù)差分信號及I對時鐘差分信號和Z路的4對數(shù)據(jù)差分信號及I對時鐘差分信號.Y路的差分信號經(jīng)DS90CR288A解碼后生成29個TTL信號，Z路的差分信號經(jīng)另一片DS90CR288A解碼后生成29個TTL信號，電路中加在差分信號間的電阻匹配作用。
[0019]相機控制部分包括4對差分信號(CCl、CC2、CC3和CC4)，這里選用差分驅(qū)動芯片DS90LV031，該芯片剛好可以驅(qū)動4對差分信號。
[0020]串行通信部分包括2對差分信號，串行通信規(guī)定為異步通信模式，通過串行通信可以對相機的各種參數(shù)比如相機曝光時間，分辨率等進行設(shè)置。選用具有I對差分發(fā)送和I對差分接收的芯片DS90LV019就可將差分對信號轉(zhuǎn)換成TTL信號，亦可將TTL信號轉(zhuǎn)換為差分信號。Basler提供了兩種指令庫以方便相機設(shè)置及控制，一種是通過軟件使用Baslerpylon API函數(shù)，另一種是通過FPGA直接訪問寄存器的方式來對相機進行配置.項目中選用第二種方式控制相機，Basler提供寄存器地址，指令格式等參數(shù)。寄存器地址如圖3所示，讀寫指令格式如圖4所示。
[0021]第二步，選用XC6SLX45T-FPGA作為數(shù)字信號處理核心芯片，因為它有4.3萬個邏輯單元(LE)，190個具有多種模式的I/O 口，核心電壓為1.2V，低功耗，高性能，可以直接連接外圍的各種接口器件，如LVDS-TTL轉(zhuǎn)換器，DDR3 SDRAM存儲芯片等。DDR3 SDRAM容量為1024M bytes，使用了兩片DDR3 SDRAM存儲器，Cameralink可同時傳輸8個像素，分辨率最大可達2048*2048，幀頻可達100幀/秒，該容量滿足設(shè)計要求。
[0022]第三步，Cameralink相機信號經(jīng)視頻接收系統(tǒng)解差分模塊產(chǎn)生的數(shù)據(jù)TTL信號進入FPGA進行融合，這些TTL數(shù)據(jù)信號包括時鐘信號，有效數(shù)據(jù)信號，行同步信號和幀同步信號，這些信號時序簡單，在FPGA中將兩路圖像加以融合容易實現(xiàn)，由于兩路Full模式下的Cameralink相機信號同時傳輸給兩路Cameralink視頻接收分系統(tǒng),所以同一時刻兩路視頻之間存在非常小的相位差，以其中一路camelink相機傳輸?shù)膱D像作為基準，對第二路的圖像信號加以延時，使得兩路行同步和幀同步信號同步，然后對對應(yīng)像素做加權(quán)平均，融合后圖像標準偏差變小噪聲降 低。加權(quán)平均公式為:
F (ml, m2) =Wl NI (ml, m2) + W2N2 (ml, m2)(I)
公式(I)中N1，N2分別表示第一，第二幅圖像，Wl，W2第一，第二幅圖像對應(yīng)的加權(quán)系數(shù)，并且W1+W2 =1。參與融合的兩幅圖像提供很多互補信息，加權(quán)平均公式為:
F (ml, m2) =Wl NI (ml, m2) + W2N2 (ml, m2)(I)
公式(I)中N1，N2分別表示第一，第二幅圖像，Wl，W2第一，第二幅圖像對應(yīng)的加權(quán)系數(shù)，并且W1+W2 =1。參與融合的兩幅圖像提供很多互補信息，提高了檢測的可靠性和信噪，融合后圖像標準偏差變小噪聲降低。
[0023]第四步，設(shè)計DDR3存儲器讀寫模塊，該模塊是數(shù)據(jù)緩存模塊，它負責(zé)把在FPGA中融合圖像數(shù)據(jù)信號讀出，存入外部存儲器中，由于輸入的圖像數(shù)據(jù)量很大，速率較快，因此系統(tǒng)采用兩片DDR3 SDRAM實現(xiàn)乒乓緩機制。首先將FPGA中的圖像數(shù)據(jù)緩存到DDR3 SDRAM中，寫滿一幀數(shù)據(jù)后開始讀取，在寫SDRAM2時對SDRAMl進行讀操作，而在寫DDR3 SDRAMl時對DDR3 SDRAM2進行讀操作。讀寫切換可以由幀有效信號FVAL來控制，將一幀完整的圖像緩存到一片DDR3 SDRAM中，便于后續(xù)的處理。FPGA內(nèi)部系統(tǒng)流程圖如圖5所示:開始工作后，F(xiàn)PGA首先進行初始化，然后存儲相機數(shù)據(jù)，然后再讀取相機數(shù)據(jù)，通過查表判定是否為24個像素，如果不是，繼續(xù)讀取相機數(shù)據(jù)，如果是進行融合處理，融合處理后送到DSP進行進一步處理。
[0024]第五步，由于系統(tǒng)中的FPGA型號為選用XC6SLX45T，該芯片包括4對高速串行收發(fā)器，這個收發(fā)器主要是用來DSP和FPGA互相交互數(shù)據(jù)，這種高速口可達Gbit的速度，在Spartan-6中Rapid收發(fā)器在BANKO上，時鐘由專用的差分時鐘芯片ICS844021產(chǎn)生一對差分時鐘，再由ICS8543產(chǎn)生四對差分時鐘，給Rapid收發(fā)器。差分時鐘為125MHZ，可以滿足設(shè)計中Rapid IO模塊對參考時鐘的要求。經(jīng)FPGA處理的圖像經(jīng)Rapid IO送入TMS320C6678進行處理，由于經(jīng)融合處理后的信息量大，可以在DSP中用一些圖像處理算法實現(xiàn)基于Prewittz算子的邊緣提取和對靜態(tài)目標的減背景等功能。
[0025]第六步，將DSP處理后的圖像回傳到FPGA中。將最終融合的結(jié)果以VGA制式的形式輸出到顯示器終端。如選用ADV7123作為視頻D / A轉(zhuǎn)換器。ADV7123是三路高速、10位輸入的視頻D / A轉(zhuǎn)換器，具有330 MH Z的最大采樣速度，與多種高精度的顯示系統(tǒng)兼容，能夠滿足多方面應(yīng)用需求。通過ADV7123產(chǎn)生三路模擬輸出，同時結(jié)合行場同步信號完成圖像的顯示。如果要把緩存在SDRAM中的圖像在VGA接口顯示器顯示，我們需要構(gòu)造掃描時序。設(shè)計需要滿足VGA75HZ格式的輸出圖像，即1024 X 768的有效像素分辨率，幀頻75Hz，行頻60kHz，由于晶振輸入27 MHz時鐘信號，對其倍頻后產(chǎn)生81MHz的像素時鐘。因此，行周期=8IMHz60kHz =1350，幀周期=60 kHz /75Hz= 800，行消隱=1350—1024 =326，幀消隱=800-768 = 32。場同步、行同步信號可以由
FPGA構(gòu)建。選取倍頻后產(chǎn)生的81 MHz作為像素時鐘輸入，將其輸入到模等于HP( =1350 )的像素脈沖計數(shù)器中，當脈沖計數(shù)小于HB= 326時輸出低電平，其它輸出高電平，以此作為行同步信號Hsys;然后以Hsys行節(jié)拍為單位進行計數(shù)，當計數(shù)值小于VB= 32時輸出低電平，其它輸出高電平，當計數(shù)值等于VP( = 800 )個行同步信號后，計數(shù)器清零，以此作為場同步信號Vsys。行場同步信號時序圖如圖6所示。
【權(quán)利要求】
1.一種基于Cameralink的圖像融合系統(tǒng),其特征在于包括兩路Cameralink視頻接收系統(tǒng)、FPGA、存儲器、多核DSP、顯示器，兩路Cameralink視頻接收系統(tǒng)分別與FPGA連接，該FPGA分別與存儲器、多核DSP、顯示器連接，該Cameralink視頻接收系統(tǒng)由兩個MDR26連接器、三片解差分模塊、串行通信模塊、差分驅(qū)動模塊組成，第一 MDR26連接器分別與第一、二解差分模塊連接，第二 MDR26連接器分別與第三解差分模塊、串行通信模塊、差分驅(qū)動模塊連接，該第一、二、三解差分模塊以及串行通信模塊、差分驅(qū)動模塊分別與FPGA連接；兩路Full模式下的Cameralink相機信號傳輸?shù)紺ameralink視頻接收系統(tǒng)中，每路Full模式數(shù)據(jù)差分信號經(jīng)過三片解差分模塊轉(zhuǎn)換成數(shù)據(jù)TTL信號，串行通信信號由串行通信模塊解碼，控制差分信號經(jīng)差分驅(qū)動模塊產(chǎn)生，解差分模塊產(chǎn)生的數(shù)據(jù)TTL信號進入FPGA進行融合，圖像處理時與存儲器進行數(shù)據(jù)交換，圖像預(yù)處理后經(jīng)Rapid IO送入多核DSP，再經(jīng)Rapid IO傳回FPGA，最終把處理后的圖像在VGA接口顯示器上顯示。
2.—種基于Cameralink的圖像融合方法,其特征在于步驟如下: 第一步，兩路Full模式下的Cameralink相機信號根據(jù)Cameralink協(xié)議傳輸給兩路Cameralink視頻接收系統(tǒng)； 第二步，兩路Cameralink視頻接收系統(tǒng)將數(shù)據(jù)實時的送入FPGA中進行融合處理，每路Cameralink視頻接收系統(tǒng)由兩個MDR26連接器、三片解差分模塊、串行通信模塊、差分驅(qū)動模塊組成，第一 MDR26連接器分別與第一、二解差分模塊連接，第二 MDR26連接器分別與第三解差分模塊、串行通信模塊、差分驅(qū)動模塊連接，該第一、二、三解差分模塊以及串行通信模塊、差分驅(qū)動模塊分別與FPGA連接；每路Full模式數(shù)據(jù)差分信號經(jīng)過三片解差分模塊轉(zhuǎn)換成數(shù)據(jù)TTL信號，串行通信信號由串行通信模塊解碼，控制差分信號經(jīng)差分驅(qū)動模塊產(chǎn)生，解差分模塊產(chǎn)生的數(shù)據(jù)TTL信號進入FPGA ； 第三步，Cameralink相機信號經(jīng)視頻接收系統(tǒng)解差分模塊產(chǎn)生的數(shù)據(jù)TTL信號進入FPGA進行融合，這些TTL數(shù)據(jù)信號包括時鐘信號、有效數(shù)據(jù)信號、行同步信號和幀同步信號時序簡單，在FPGA中將兩路圖像加以融合容易實現(xiàn),即以其中一路Cameralink相機傳輸?shù)膱D像經(jīng)視頻接收系統(tǒng)解差分模塊產(chǎn)生的數(shù)據(jù)TTL信號作為基準，在FPGA中對第二路的圖像信號經(jīng)視頻接收系統(tǒng)解差分模塊產(chǎn)生的數(shù)據(jù)TTL信號加以延時，使得兩路行同步和幀同步信號同步，然后對對應(yīng)像素做加權(quán)平均； 第四步，存儲器負責(zé)把在FPGA中融合圖像數(shù)據(jù)信號讀出，存入外部存儲器中；或者把緩存在外部存儲器的數(shù)據(jù)讀出到FPGA中； 第五步，將FPGA處理后的圖像數(shù)據(jù)信號通過Rapid IO送入多核DSP進行處理；第六步，將多核DSP處理后的圖像回傳到FPGA中，將最終融合的結(jié)果以VGA制式的形式輸出到顯示器終端。
【文檔編號】H04N5/262GK103595924SQ201310242849
【公開日】2014年2月19日 申請日期:2013年6月18日 優(yōu)先權(quán)日:2013年6月18日
【發(fā)明者】錢惟賢, 李嬌, 尹章芹, 任建樂, 顧國華, 陳錢, 徐富元, 楊力, 任侃, 路東明 申請人:南京理工大學(xué)