專利名稱：高速圖像實(shí)時(shí)無損記錄存儲(chǔ)回放裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明屬于高速數(shù)字視頻存儲(chǔ)技術(shù)領(lǐng)域，涉及一種能夠?qū)⒏邘l CMOS (Complementary Metal Oxide kmiconductor，互補(bǔ)金屬氧化物半導(dǎo)體)數(shù)字?jǐn)z像機(jī) 輸出的高幀頻數(shù)字圖像實(shí)時(shí)無損記錄存儲(chǔ)回放的高速圖像實(shí)時(shí)無損記錄存儲(chǔ)回放裝置。
背景技術(shù)：
在機(jī)器視覺應(yīng)用中，數(shù)字?jǐn)z像機(jī)在捕獲快速變化過程中起到越來越重要的作用， 尤其以CMOS圖像傳感器作為光電轉(zhuǎn)換元件的高幀頻數(shù)字?jǐn)z像機(jī)的優(yōu)勢(shì)更為顯著。高幀頻 數(shù)字相機(jī)主要應(yīng)用于高速運(yùn)動(dòng)和高速物體碰撞過程的記錄測(cè)試。主要在汽車碰撞實(shí)驗(yàn)，安 全帶、安全氣囊的研制，高速粒子場(chǎng)運(yùn)動(dòng)分析，火箭發(fā)射和飛機(jī)起落過程，高速工業(yè)檢測(cè)等 方面具有重要意義。高幀頻數(shù)字?jǐn)z像機(jī)在圖像的顯示、存儲(chǔ)、處理上比傳統(tǒng)膠片式高速攝影 機(jī)更方便快捷，不論幀頻速度、分辨率、還是動(dòng)態(tài)范圍都有很大提高。但隨著高幀頻數(shù)字?jǐn)z 像機(jī)的幀頻不斷提高，輸出的數(shù)字視頻的數(shù)據(jù)量非常大，并且傳輸帶寬極高，對(duì)高速數(shù)字圖 像的存儲(chǔ)增加了很大難度。目前大多高幀頻數(shù)字?jǐn)z像機(jī)，實(shí)時(shí)高速圖像數(shù)據(jù)輸出接口都采用標(biāo)準(zhǔn)的Full模 式的CameraLink接口或其他的高速數(shù)字接口，如1394接口、千兆網(wǎng)、光纖接口等。這些接口 需要和一些高級(jí)的圖像采集卡連接或計(jì)算機(jī)集成的高速接口連接，將數(shù)據(jù)導(dǎo)入計(jì)算機(jī)中， 然后才能記錄、存儲(chǔ)、處理和顯示。由于計(jì)算機(jī)的內(nèi)部總線帶寬的限制和計(jì)算機(jī)存儲(chǔ)介質(zhì)的 速度限制，直接被采集到計(jì)算機(jī)中的高速圖像無法實(shí)時(shí)無損的記錄存儲(chǔ)下來。目前解決的 方法有三種。一種方法是在高速相機(jī)內(nèi)部加入大容量的動(dòng)態(tài)存儲(chǔ)器進(jìn)行高速圖像數(shù)據(jù)的實(shí) 時(shí)緩存，當(dāng)記錄緩存器存儲(chǔ)滿了，再由相對(duì)低速接口，如1394接口、千兆網(wǎng)、USB接口，將高 速圖像導(dǎo)入計(jì)算機(jī)中進(jìn)行處理和回放；另一種方法是高速相機(jī)采用高速數(shù)字接口輸出，如 CameraLink Full模式接口，連接到計(jì)算機(jī)內(nèi)部安裝的CameraLink高速圖像采集卡，高速 圖像采集卡本身集成了大容量的動(dòng)態(tài)高速緩存或直接利用計(jì)算機(jī)主板上板載的內(nèi)存進(jìn)行 高速圖像的緩存，高速緩存采集完成后，再將緩存中的圖像數(shù)據(jù)記錄到計(jì)算機(jī)的硬盤中。第 三種方法是高速數(shù)字圖像由高速數(shù)字圖像采集卡采集后，由計(jì)算機(jī)內(nèi)部高速并行總線傳送 給磁盤陣列卡，由計(jì)算機(jī)內(nèi)部的磁盤陣列進(jìn)行高速的存儲(chǔ)。由于前兩種方法采用大容量高 速動(dòng)態(tài)緩存的方法進(jìn)行高速數(shù)字圖像的實(shí)時(shí)記錄存儲(chǔ)，由于相機(jī)內(nèi)和板載的動(dòng)態(tài)緩存的容 量不是十分的大，一般幾個(gè)GB到十幾個(gè)GB的容量。由于高速數(shù)字相機(jī)的輸出帶寬一般都 在幾百M(fèi)B/s以上，所以高速動(dòng)態(tài)緩存只能記錄很短時(shí)間范圍的高速圖像。第三種方法，由 于還是要基于計(jì)算機(jī)內(nèi)部并行總線來傳輸實(shí)時(shí)采集的高速圖像數(shù)據(jù)，對(duì)高速圖像的帶寬和 實(shí)時(shí)性還是有一定的制約。

發(fā)明內(nèi)容
本發(fā)明要解決的技術(shù)問題是提供一種能夠?qū)⒏邘l數(shù)字?jǐn)z像機(jī)輸出的高速圖像 數(shù)據(jù)進(jìn)行長(zhǎng)時(shí)間實(shí)時(shí)無損存儲(chǔ)記錄，再通過千兆網(wǎng)交換機(jī)回傳到主控回放計(jì)算機(jī)中進(jìn)行事
4后回放判讀和處理的高速圖像實(shí)時(shí)無損記錄存儲(chǔ)回放裝置。為了解決上述技術(shù)問題，本發(fā)明的高速圖像實(shí)時(shí)無損記錄存儲(chǔ)回放裝置包括高速 圖像數(shù)據(jù)分配板，N個(gè)存儲(chǔ)子系統(tǒng)，千兆網(wǎng)交換機(jī)和主控回放計(jì)算機(jī)；所述的高速圖像數(shù)據(jù) 分配板包括CameraLink解碼芯片、可編程邏輯器件、CameraLink編碼芯片；高幀頻數(shù)字?jǐn)z 像機(jī)輸出的高幀頻圖像數(shù)據(jù)通過CameraLink編碼芯片導(dǎo)入可編程邏輯器件中，由可編程 邏輯器件對(duì)同一幀圖像數(shù)據(jù)進(jìn)行實(shí)時(shí)同步編碼后分配為N路帶有幀同步編碼的圖像數(shù)據(jù)； N路帶有幀同步編碼的圖像數(shù)據(jù)分別通過CameraLink編碼芯片存儲(chǔ)到各個(gè)存儲(chǔ)子系統(tǒng)；存 儲(chǔ)于各存儲(chǔ)子系統(tǒng)的帶有幀同步編碼的圖像數(shù)據(jù)通過千兆網(wǎng)交換機(jī)導(dǎo)入主控回放計(jì)算機(jī) 進(jìn)行同一幀圖像的解碼合成，合成后的高幀頻圖像由主控回放計(jì)算機(jī)進(jìn)行事后回放判讀和 處理。所述的可編程邏輯器件包括數(shù)據(jù)轉(zhuǎn)換模塊，幀同步編碼疊加模塊；高幀頻數(shù)字?jǐn)z 像機(jī)輸出的圖像數(shù)據(jù)通過CameraLink解碼芯片傳輸?shù)綆骄幋a模塊，由幀同步編碼模 塊判斷每幀圖像的幀有效信號(hào)的起始時(shí)刻，在每幀圖像的第一行圖像數(shù)據(jù)前增加一行圖像 幀同步編碼數(shù)據(jù)；每輸入一幀圖像，幀同步編碼會(huì)自動(dòng)加1后疊加在下一幀圖像的第一行 圖像數(shù)據(jù)前；包含了幀同步編碼數(shù)據(jù)的圖像經(jīng)過數(shù)據(jù)轉(zhuǎn)換模塊進(jìn)行圖像的多路平行分配轉(zhuǎn) 換，輸出N路子圖像；各路子圖像通過CameraLink編碼芯片存儲(chǔ)到各存儲(chǔ)子系統(tǒng)；各存儲(chǔ) 子系統(tǒng)存儲(chǔ)的每路子圖像的第一行數(shù)據(jù)中包含相同的幀同步編碼數(shù)據(jù)。所述的高速圖像數(shù)據(jù)分配板還包括RS232串口芯片、LVDS電平收發(fā)轉(zhuǎn)換模塊；所 述的可編程邏輯器件還包括控制相機(jī)串行數(shù)據(jù)收發(fā)模塊和串行數(shù)據(jù)解析控制模塊；主控回 放計(jì)算機(jī)通過RS232串口芯片發(fā)送高幀頻數(shù)字?jǐn)z像機(jī)控制命令給高速圖像數(shù)據(jù)分配板，由 高速圖像數(shù)據(jù)分配板的RS232串口芯片進(jìn)行接收后發(fā)送給可編程邏輯器件；可編程邏輯器 件內(nèi)部的串行數(shù)據(jù)解析控制模塊對(duì)接收的控制命令進(jìn)行解析，判斷如果是控制高速圖像數(shù) 據(jù)分配板的命令則產(chǎn)生幀同步編碼的控制信號(hào)并將其傳輸給幀同步編碼疊加模塊，如果是 控制高幀頻數(shù)字?jǐn)z像機(jī)的數(shù)據(jù)，則通過控制相機(jī)串行數(shù)據(jù)發(fā)送模塊和LVDS電平收發(fā)轉(zhuǎn)換 模塊將該數(shù)據(jù)發(fā)送給高幀頻數(shù)字?jǐn)z像機(jī)。所述的存儲(chǔ)子系統(tǒng)是以一個(gè)嵌入式處理器為核心的高速采集存儲(chǔ)系統(tǒng)，該系統(tǒng)包 括CameraLink Base mode輸入接口、可編程邏輯陣列、靜態(tài)隨機(jī)存儲(chǔ)器、嵌入式處理器系 統(tǒng)、SATA磁盤陣列、SATA磁盤控制器、千兆以太網(wǎng)接口。通過CameraLink Base mode輸入 接口接收CameraLink編碼的高速子圖像數(shù)據(jù)，由CameraLink解碼芯片解碼后傳輸給可編 程邏輯陣列；可編程邏輯陣列邏輯控制高速圖像數(shù)據(jù)緩存到靜態(tài)隨機(jī)存儲(chǔ)器后，再通過數(shù) 據(jù)總線發(fā)送給嵌入式處理器系統(tǒng)；嵌入式處理器系統(tǒng)控制高速圖像數(shù)據(jù)通過SATA磁盤控 制器存儲(chǔ)到SATA磁盤陣列；最后由嵌入式處理器系統(tǒng)訪問SATA磁盤陣列，讀出子圖像，讀 出的子圖像通過千兆以太網(wǎng)接口及千兆網(wǎng)交換機(jī)發(fā)送給主控回放計(jì)算機(jī)。所述的SATA磁盤陣列包含兩個(gè)以上容量大于500GB的磁盤。所述的主控回放計(jì)算機(jī)讀取各路存儲(chǔ)子系統(tǒng)的子圖像數(shù)據(jù)，判斷各當(dāng)前幀子圖像 的幀頭，找到幀號(hào)；找出各當(dāng)前幀子圖像中幀號(hào)的最大值，如果某一路當(dāng)前幀子圖像的幀 號(hào)不是最大值，則進(jìn)行下一幀子圖像的讀取，再進(jìn)行幀號(hào)的比較，直到各路子圖像的幀號(hào)相 同，就找到需要合并圖像的起始幀；將每路具有相同幀號(hào)的子圖像按照存儲(chǔ)分配的順序進(jìn) 行合成，得到完整的圖像數(shù)據(jù)。
高幀頻CMOS數(shù)字?jǐn)z像機(jī)輸出的圖像幀頻很高，一般可以達(dá)到幾百幀/秒，有的可 以達(dá)到上千幀/秒。以常見的畫幅分辨率為1280X 10M@500fps，像元位寬為^it的高幀 頻相機(jī)為例，其實(shí)際輸出帶寬約為5. 3Gbps,目前RaidOSATA高速磁盤陣列的有效存儲(chǔ)帶寬 在1. 5Gbps左右，因此要想存儲(chǔ)高帶寬的高幀頻圖像數(shù)據(jù)，可以采用多塊硬盤平行存儲(chǔ)的 方式。本發(fā)明采用可編程邏輯器件對(duì)同一幀圖像數(shù)據(jù)進(jìn)行實(shí)時(shí)同步編碼后分配為N路帶有 幀同步編碼的圖像數(shù)據(jù)，N路帶有幀同步編碼的圖像數(shù)據(jù)并行存儲(chǔ)于各存儲(chǔ)子系統(tǒng)的大容 量磁盤陣列，能夠?qū)⒏邘lCMOS數(shù)字?jǐn)z像機(jī)輸出的高速圖像數(shù)據(jù)進(jìn)行長(zhǎng)時(shí)間實(shí)時(shí)無損的 存儲(chǔ)記錄；帶有幀同步編碼的圖像數(shù)據(jù)由主控回放計(jì)算機(jī)進(jìn)行同一幀圖像的解碼合成，便 于進(jìn)行事后回放判讀和處理。目前設(shè)計(jì)中5TB存儲(chǔ)容量可記錄U80*10M@500fps高速圖像 100分鐘以上，實(shí)現(xiàn)了長(zhǎng)時(shí)間的高速圖像記錄，便于武器驗(yàn)證過程的多次拍攝記錄和長(zhǎng)時(shí)間 拍攝記錄。本發(fā)明磁盤陣列可以通過升級(jí)更大容量的SATA硬盤，實(shí)現(xiàn)存儲(chǔ)容量的進(jìn)一步擴(kuò) 展，或采用新型的FLASH電子硬盤提高系統(tǒng)可靠性和存儲(chǔ)帶寬。


下面結(jié)合附圖和具體實(shí)施例對(duì)本發(fā)明做進(jìn)一步詳細(xì)地描述。圖1是本發(fā)明的高速圖像實(shí)時(shí)無損記錄存儲(chǔ)回放裝置的結(jié)構(gòu)示意圖。圖2是本發(fā)明中高速圖像數(shù)據(jù)分配板的結(jié)構(gòu)框圖。圖3是本發(fā)明中可編程邏輯器件內(nèi)部功能模塊結(jié)構(gòu)框圖。圖4為存儲(chǔ)子系統(tǒng)的結(jié)構(gòu)框圖。圖5為存儲(chǔ)控制回放計(jì)算機(jī)下載后子圖像的解碼合并流程圖。
具體實(shí)施例方式如圖1所示，本發(fā)明的高速圖像實(shí)時(shí)無損記錄存儲(chǔ)回放裝置包括高速圖像數(shù)據(jù)分 配板，N個(gè)存儲(chǔ)子系統(tǒng)，千兆網(wǎng)交換機(jī)和主控回放計(jì)算機(jī)。N的取值主要根據(jù)CameraLink標(biāo) 準(zhǔn)可以傳遞數(shù)據(jù)通道數(shù)決定，優(yōu)選數(shù)值可以為2、3、4、5、8或10。高幀頻CMOS數(shù)字?jǐn)z像機(jī)選用Mikrotron公司的MC1362相機(jī)，其最大畫幅下幀頻 為504fps@1280*1024，采用CamerLink Full mode接口輸出。最高輸出像素時(shí)鐘為75MHz， 輸出像素格式為每個(gè)像素時(shí)鐘8bit*10piXels。如圖2所示，高速圖像數(shù)據(jù)分配板包括3片CameraLink解碼芯片、可編程邏輯 器件(Laticce CPLD)及5片CameraLink編碼芯片。CameraLink解碼芯片通過輸入連 接器MDM6與高幀頻數(shù)字?jǐn)z像機(jī)連接，CameraLink編碼芯片通過輸出連接器MDR26與 存儲(chǔ)子系統(tǒng)連接；3片CameraLink解碼芯片將高幀頻數(shù)字?jǐn)z像機(jī)傳輸?shù)腎OXSbit位 寬的Cameralink Full mode格式圖像數(shù)據(jù)導(dǎo)入高速可編程邏輯器件中，可編程邏輯器 件(Laticce CPLD)對(duì)同一幀圖像數(shù)據(jù)進(jìn)行實(shí)時(shí)同步編碼后，分配為5路帶有幀編碼的 2X8bit位寬的Cameralink base mode格式圖像數(shù)據(jù)；可編程邏輯器件輸出的5路圖像 數(shù)據(jù)分別由5片CameraLink編碼芯片及5個(gè)輸出連接器MDM6輸出給各存儲(chǔ)子系統(tǒng)。在 高速圖像數(shù)據(jù)中加入幀同步編碼是為了在各個(gè)存儲(chǔ)子系統(tǒng)保存不同部分圖像的同時(shí)能夠 記錄幀編碼信息，在存儲(chǔ)子系統(tǒng)存儲(chǔ)的圖像通過千兆網(wǎng)交換機(jī)導(dǎo)入主控回放計(jì)算機(jī)后，進(jìn) 行同一幀圖像的解碼合成，最終得到完整的高幀頻圖像。CameraLink解碼芯片采用型號(hào)為DS90CR288A的^bit LVTTL信號(hào)高速串行編碼芯片，可編程邏輯器件可以采用大規(guī)模復(fù)雜 可編程邏輯器件，CameraLink編碼芯片采用型號(hào)為DS90CR287的^bit LVTTL信號(hào)高速串 行編碼芯片。所述的高速圖像數(shù)據(jù)分配板還包括RS232串口芯片和LVDS電平收發(fā)轉(zhuǎn)換模塊；主 控回放計(jì)算機(jī)通過RS232串口連接器發(fā)送高幀頻CMOS數(shù)字?jǐn)z像機(jī)控制命令給分配板，由分 配板的RS232串口芯片進(jìn)行接收后發(fā)送給可編程邏輯器件，再由LVDS電平收發(fā)轉(zhuǎn)換模塊發(fā) 送給高幀頻CMOS數(shù)字?jǐn)z像機(jī)。RS232串口芯片采用MAX232A，LVDS電平收發(fā)轉(zhuǎn)換模塊的發(fā) 送和接收芯片分別采用型號(hào)為DS90LV047A和DS90LV048A的LVDS電平轉(zhuǎn)換芯片。如圖3所示，可編程邏輯器件包括幀同步編碼疊加模塊、數(shù)據(jù)轉(zhuǎn)換模塊、串行 數(shù)據(jù)解析控制模塊、控制相機(jī)串行數(shù)據(jù)收發(fā)模塊；CameraLink Full mode的圖像數(shù)據(jù)由 CameraLink解碼芯片傳輸?shù)娇删幊踢壿嬈骷?nèi)部首先進(jìn)入幀同步編碼疊加模塊，幀同步編 碼疊加模塊判斷每幀圖像的幀有效信號(hào)的起始時(shí)刻，并在每幀圖像的第一行圖像數(shù)據(jù)前增 加一行圖像幀同步編碼數(shù)據(jù)，圖像幀同步編碼的幀號(hào)可以由主控回放計(jì)算機(jī)通過RS232串 行接口設(shè)定，為雙8bit字節(jié)數(shù)據(jù)，每輸入一幀圖像后幀同步編碼數(shù)據(jù)會(huì)自動(dòng)加1后疊加在 下一幀圖像數(shù)據(jù)前。包含了幀同步編碼數(shù)據(jù)的圖像再經(jīng)過數(shù)據(jù)轉(zhuǎn)換模塊進(jìn)行圖像的多路平 行分配轉(zhuǎn)換，最終將5路CameraLink base mode子圖像分別通過CameraLink編碼芯片存 儲(chǔ)到各存儲(chǔ)子系統(tǒng)，每路子圖像的第一行數(shù)據(jù)中包含相同的幀同步編碼數(shù)據(jù)。主控回放計(jì) 算機(jī)通過RS232串口芯片發(fā)送給可編程邏輯器件的串行數(shù)據(jù)由串行數(shù)據(jù)解析控制模塊進(jìn) 行解析，如果是控制幀同步編碼疊加模塊的命令則產(chǎn)生幀同步編碼的控制信號(hào)，如果是控 制高幀頻CMOS數(shù)字?jǐn)z像機(jī)的數(shù)據(jù)，則將該數(shù)據(jù)通過控制相機(jī)串行數(shù)據(jù)收發(fā)模塊及LVDS電 平收發(fā)轉(zhuǎn)換模塊發(fā)送給高幀頻CMOS數(shù)字?jǐn)z像機(jī)。在高速圖像數(shù)據(jù)分配板中加入RS232串口芯片，由RS232串口芯片將高幀頻CMOS 數(shù)字?jǐn)z像機(jī)輸出的LVDS電平轉(zhuǎn)換為RS232標(biāo)準(zhǔn)電平，主控回放計(jì)算機(jī)通過計(jì)算機(jī)的RS232 串口就可以控制高幀頻CMOS數(shù)字?jǐn)z像機(jī)。主控回放計(jì)算機(jī)可以通過千兆網(wǎng)交換機(jī)和MOXA多串口卡與各存儲(chǔ)子系統(tǒng)通訊， 來讀取各存儲(chǔ)子系統(tǒng)錄制的圖像數(shù)據(jù)并控制各存儲(chǔ)子系統(tǒng)開始和停止錄制，也可以通過 MOXA多串口卡實(shí)時(shí)監(jiān)視各存儲(chǔ)子系統(tǒng)的錄制狀態(tài)和剩余容量，并能夠向存儲(chǔ)子系統(tǒng)疊加存 儲(chǔ)信息，如記錄GPS位置、時(shí)間和任務(wù)編號(hào)等。如圖4所示，存儲(chǔ)子系統(tǒng)是以一個(gè)嵌入式處理器為核心的高速采集存儲(chǔ)系統(tǒng)，該 系統(tǒng)包括CameraLink Base mode輸入接口、高性能的可編程邏輯陣列FGPA、串口控制器、 32MB靜態(tài)隨機(jī)存儲(chǔ)器、嵌入式處理器系統(tǒng)、SATA磁盤控制器、SATA磁盤陣列、千兆以太網(wǎng) 接口。嵌入式處理器系統(tǒng)包括嵌入式處理器、處理器用SDRAM(U8MB SDRAM-Synchronous Dynamic Random Access Memory,同步動(dòng)態(tài)隨機(jī)存儲(chǔ)器)和程序存儲(chǔ) FLASH。CameraLink 編碼的高速子圖像數(shù)據(jù)通過CameraLink接口芯片接收，解碼后傳輸給可編程邏輯陣列；可 編程邏輯陣列FPGA邏輯控制高速的圖像數(shù)據(jù)緩存到32MB靜態(tài)隨機(jī)存儲(chǔ)器后，再通過高速 數(shù)據(jù)總線發(fā)送給嵌入式處理器，由嵌入式處理器控制通過SATA磁盤控制器存儲(chǔ)到SATA磁 盤陣列；最后再由嵌入式處理器^^訪問SATA磁盤陣列，讀出子圖像，子圖像由千兆以太 網(wǎng)接口發(fā)送給主控回放計(jì)算機(jī)。主控回放計(jì)算機(jī)是高幀頻圖像數(shù)據(jù)合成和回放的關(guān)鍵設(shè)備，其功能通過VC編程軟件設(shè)計(jì)完成。存儲(chǔ)控制和回放軟件主要包括高幀頻攝像機(jī)控制功能，存儲(chǔ)控制功能，圖 像千兆局域網(wǎng)下載功能，圖像合成功能，高幀頻任意幀頻速率播放，圖像增強(qiáng)處理功能和用 戶自定義判讀分析處理模塊。圖像合成功能是本發(fā)明的軟件設(shè)計(jì)核心內(nèi)容，主要是對(duì)分配板進(jìn)行幀同步編碼的 子圖像數(shù)據(jù)進(jìn)行幀同步解碼后，將各路子圖像按照一定的順序進(jìn)行合成。下載后子圖像的 解碼合并流程如圖5所示，首先讀取第一路存儲(chǔ)子系統(tǒng)的一幀子圖像數(shù)據(jù)，判斷幀頭，找到 幀號(hào)，也就是分配板疊加的幀同步編碼。同樣的過程找出其他各路子圖像讀取的當(dāng)前幀的 幀號(hào)信息，找出5個(gè)幀號(hào)的最大值，如果某一路子圖像的幀號(hào)，不是最大值，進(jìn)行其下幀圖 像的讀取，再進(jìn)行幀號(hào)的比較，直到5路子圖像的幀號(hào)相同，就找到需要合并圖像的起始 幀，可以開始合并，將之后每路具有相同幀號(hào)的子圖像按照存儲(chǔ)分配的圖像順序進(jìn)行合成， 得到完整的圖像數(shù)據(jù)。如果在同步合成過程中發(fā)現(xiàn)某一路子圖像的幀同步編碼丟失或錯(cuò) 誤，記錄當(dāng)前錯(cuò)誤幀的幀號(hào)，然后繼續(xù)合成之后的子圖像。如果連續(xù)100幀沒有找到相同幀 號(hào)則合并圖像停止，進(jìn)行報(bào)錯(cuò)。高幀頻CMOS數(shù)字?jǐn)z像機(jī)采用Mikrotron公司的MC1362高幀頻相機(jī)。高速圖 像數(shù)據(jù)分配板和存儲(chǔ)子系統(tǒng)自行設(shè)計(jì)開發(fā)，存儲(chǔ)子系統(tǒng)的SATA磁盤采用Seagate公司 ST3500418AS的500GB硬盤10塊，千兆網(wǎng)交換機(jī)采用TP-Iink公司8port千兆網(wǎng)交換機(jī)。 主控回放計(jì)算機(jī)采用具有千兆網(wǎng)口的高性能圖像處理工作站計(jì)算機(jī)，并在內(nèi)部安裝MOXA 公司的Sport串口卡和大容量硬盤。上述具體實(shí)施方式
僅僅是為了對(duì)本發(fā)明作出詳細(xì)說明而描述的優(yōu)選的實(shí)施方式， 但本發(fā)明不限于上述實(shí)施方式。例如，高速圖像數(shù)據(jù)分配板中的CameraLink解碼芯片、 CameraLink編碼芯片還可以采用其他型號(hào)的解碼芯片和編碼芯片；存儲(chǔ)子系統(tǒng)還可以采 用其他本領(lǐng)域公知的一個(gè)處理器為核心的高速采集存儲(chǔ)系統(tǒng)；主控回放計(jì)算機(jī)還可以采用 其他高性能圖像處理的計(jì)算機(jī)。因而凡是在本發(fā)明權(quán)利要求1基礎(chǔ)上所作出的簡(jiǎn)單變形， 均在本發(fā)明意圖保護(hù)范圍以內(nèi)。目前，國(guó)外的高速數(shù)字相機(jī)大多采用數(shù)字相機(jī)內(nèi)部大容量高速RAM緩存的方式來 存儲(chǔ)高幀頻圖像。本發(fā)明的超大容量高速圖像實(shí)時(shí)無損存儲(chǔ)系統(tǒng)采用多路SATA硬盤平行 存儲(chǔ)方式，極大提高了存儲(chǔ)容量，可以長(zhǎng)時(shí)間對(duì)高幀頻拍攝過程進(jìn)行實(shí)時(shí)無損的記錄，國(guó)內(nèi) 外尚無采用該方式的高幀頻大容量的存儲(chǔ)裝置。CameraLink接口廣泛應(yīng)用在工業(yè)相機(jī)和科學(xué)級(jí)相機(jī)數(shù)字視頻輸出和高速數(shù)字視 頻采集卡中，CameraLink 接口傳輸是以 National Semiconductor 公司的 Channel Link 接 口技術(shù)為基礎(chǔ)，基于LVDS(Low Voltage Differential Signaling，低壓差分信號(hào))技術(shù)規(guī) 范作為基本電氣連接規(guī)范，將視頻數(shù)據(jù)經(jīng)過高速并行到串行協(xié)議編碼后，通過LVDS通道直 接傳送到采集和存儲(chǔ)設(shè)備上，減少了數(shù)模-模數(shù)的轉(zhuǎn)換過程，因此有效消除傳輸中串?dāng)_噪 聲，而且使用CameraLink進(jìn)行數(shù)據(jù)傳輸，信號(hào)沒有衰減，圖像能夠無損的被傳輸采集。CameraLink接口標(biāo)準(zhǔn)中規(guī)定了 Base mode,Medium mode,Full mode三種接 口配置 方式。Base mode配置方式包括一片^bit LVTTL信號(hào)高速串行編碼芯片和LVDS通信控制 芯片，經(jīng)由一個(gè)MDM6接口連接；Medium mode配置方式包括兩片^bit LVTTL信號(hào)高速串 行編碼芯片和LVDS通信控制芯片，經(jīng)由兩個(gè)MDM6接口連接；Full mode配置方式包括三片 28bit LVTTL信號(hào)高速串行編碼芯片和LVDS通信控制芯片，經(jīng)由兩個(gè)MDM6接口連接；單
828bit LVTTL信號(hào)高速串行編碼芯片在最高85MHz像素時(shí)鐘時(shí)的傳輸帶寬達(dá)到2. 38Gbps, 可配置成2Xm3it@75MHz時(shí)的傳輸帶寬為1. 2Gbps。高幀頻CMOS相機(jī)一般采用Full mode 的CameraLink接口，一般配置為10Xm^it，在像素時(shí)鐘為75MHz時(shí)的傳輸寬為6(ibps。
權(quán)利要求
1.一種高速圖像實(shí)時(shí)無損記錄存儲(chǔ)回放裝置，其特征在于包括高速圖像數(shù)據(jù)分配 板，N個(gè)存儲(chǔ)子系統(tǒng)，千兆網(wǎng)交換機(jī)和主控回放計(jì)算機(jī)；所述的高速圖像數(shù)據(jù)分配板包括 CameraLink解碼芯片、可編程邏輯器件、CameraLink編碼芯片；高幀頻數(shù)字?jǐn)z像機(jī)輸出的 高幀頻圖像數(shù)據(jù)通過CameraLink編碼芯片導(dǎo)入可編程邏輯器件中，由可編程邏輯器件對(duì) 同一幀圖像數(shù)據(jù)進(jìn)行實(shí)時(shí)同步編碼后分配為N路帶有幀同步編碼的圖像數(shù)據(jù)；N路帶有幀 同步編碼的圖像數(shù)據(jù)分別通過CameraLink編碼芯片存儲(chǔ)到各個(gè)存儲(chǔ)子系統(tǒng)；存儲(chǔ)于各存 儲(chǔ)子系統(tǒng)的帶有幀同步編碼的圖像數(shù)據(jù)通過千兆網(wǎng)交換機(jī)導(dǎo)入主控回放計(jì)算機(jī)進(jìn)行同一 幀圖像的解碼合成，合成后的高幀頻圖像由主控回放計(jì)算機(jī)進(jìn)行事后回放判讀和處理。
2.根據(jù)權(quán)利要求1所述的高速圖像實(shí)時(shí)無損記錄存儲(chǔ)回放裝置，其特征在于所述的可 編程邏輯器件包括數(shù)據(jù)轉(zhuǎn)換模塊，幀同步編碼疊加模塊；高幀頻數(shù)字?jǐn)z像機(jī)輸出的圖像數(shù) 據(jù)通過CameraLink解碼芯片傳輸?shù)綆骄幋a模塊，由幀同步編碼模塊判斷每幀圖像的 幀有效信號(hào)的起始時(shí)刻，在每幀圖像的第一行圖像數(shù)據(jù)前增加一行圖像幀同步編碼數(shù)據(jù)； 每輸入一幀圖像，幀同步編碼會(huì)自動(dòng)加1后疊加在下一幀圖像的第一行圖像數(shù)據(jù)前；包含 了幀同步編碼數(shù)據(jù)的圖像經(jīng)過數(shù)據(jù)轉(zhuǎn)換模塊進(jìn)行圖像的多路平行分配轉(zhuǎn)換，輸出N路子圖 像；各路子圖像通過CameraLink編碼芯片存儲(chǔ)到各存儲(chǔ)子系統(tǒng)；各存儲(chǔ)子系統(tǒng)存儲(chǔ)的每路 子圖像的第一行數(shù)據(jù)中包含相同的幀同步編碼數(shù)據(jù)。
3.根據(jù)權(quán)利要求2所述的高速圖像實(shí)時(shí)無損記錄存儲(chǔ)回放裝置，其特征在于所述的 高速圖像數(shù)據(jù)分配板還包括RS232串口芯片、LVDS電平收發(fā)轉(zhuǎn)換模塊；所述的可編程邏輯 器件還包括控制相機(jī)串行數(shù)據(jù)收發(fā)模塊和串行數(shù)據(jù)解析控制模塊；主控回放計(jì)算機(jī)通過 RS232串口芯片發(fā)送高幀頻數(shù)字?jǐn)z像機(jī)控制命令給高速圖像數(shù)據(jù)分配板，由高速圖像數(shù)據(jù) 分配板的RS232串口芯片進(jìn)行接收后發(fā)送給可編程邏輯器件；可編程邏輯器件內(nèi)部的串行 數(shù)據(jù)解析控制模塊對(duì)接收的控制命令進(jìn)行解析，判斷如果是控制高速圖像數(shù)據(jù)分配板的命 令則產(chǎn)生幀同步編碼的控制信號(hào)并將其傳輸給幀同步編碼疊加模塊，如果是控制高幀頻數(shù) 字?jǐn)z像機(jī)的數(shù)據(jù)，則通過控制相機(jī)串行數(shù)據(jù)發(fā)送模塊和LVDS電平收發(fā)轉(zhuǎn)換模塊將該數(shù)據(jù) 發(fā)送給高幀頻數(shù)字?jǐn)z像機(jī)。
4.根據(jù)權(quán)利要求1、2或3任意一項(xiàng)權(quán)利要求所述的高速圖像實(shí)時(shí)無損記錄存儲(chǔ)回放裝 置，其特征在于所述的存儲(chǔ)子系統(tǒng)是以一個(gè)嵌入式處理器為核心的高速采集存儲(chǔ)系統(tǒng)，該 系統(tǒng)包括CameraLink Base mode輸入接口、可編程邏輯陣列、靜態(tài)隨機(jī)存儲(chǔ)器、嵌入式處理 器系統(tǒng)、SATA磁盤陣列、SATA磁盤控制器、千兆以太網(wǎng)接口。通過CameraLink Base mode 輸入接口接收CameraLink編碼的高速子圖像數(shù)據(jù)，由CameraLink解碼芯片解碼后傳輸給 可編程邏輯陣列；可編程邏輯陣列邏輯控制高速圖像數(shù)據(jù)緩存到靜態(tài)隨機(jī)存儲(chǔ)器后，再通 過數(shù)據(jù)總線發(fā)送給嵌入式處理器系統(tǒng)；嵌入式處理器系統(tǒng)控制高速圖像數(shù)據(jù)通過SATA磁 盤控制器存儲(chǔ)到SATA磁盤陣列；最后由嵌入式處理器系統(tǒng)訪問SATA磁盤陣列，讀出子圖 像，讀出的子圖像通過千兆以太網(wǎng)接口及千兆網(wǎng)交換機(jī)發(fā)送給主控回放計(jì)算機(jī)。
5.根據(jù)權(quán)利要求4所述的高速圖像實(shí)時(shí)無損記錄存儲(chǔ)回放裝置，其特征在于所述的 SATA磁盤陣列包含兩個(gè)以上容量大于500GB的磁盤。
6.根據(jù)權(quán)利要求1、2或3任意一項(xiàng)權(quán)利要求所述的高速圖像實(shí)時(shí)無損記錄存儲(chǔ)回放裝 置，其特征在于所述的主控回放計(jì)算機(jī)讀取各路存儲(chǔ)子系統(tǒng)的子圖像數(shù)據(jù)，判斷各當(dāng)前幀 子圖像的幀頭，找到幀號(hào)；找出各當(dāng)前幀子圖像中幀號(hào)的最大值，如果某一路當(dāng)前幀子圖像的幀號(hào)不是最大值，則進(jìn)行下一幀子圖像的讀取，再進(jìn)行幀號(hào)的比較，直到各路子圖像的幀 號(hào)相同，就找到需要合并圖像的起始幀；將每路具有相同幀號(hào)的子圖像按照存儲(chǔ)分配的順 序進(jìn)行合成，得到完整的圖像數(shù)據(jù)。
全文摘要
本發(fā)明涉及一種高速圖像實(shí)時(shí)無損記錄存儲(chǔ)回放裝置，該裝置包括CameraLink解碼芯片、可編程邏輯器件、CameraLink編碼芯片、N個(gè)存儲(chǔ)子系統(tǒng)、千兆網(wǎng)交換機(jī)和主控回放計(jì)算機(jī)；通過CameraLink解碼芯片導(dǎo)入的高幀頻圖像數(shù)據(jù)由可編程邏輯器件進(jìn)行實(shí)時(shí)同步編碼后分配為N路帶有幀同步編碼的圖像數(shù)據(jù)，編碼的圖像數(shù)據(jù)通過CameraLink編碼芯片存儲(chǔ)到各個(gè)存儲(chǔ)子系統(tǒng)后，再通過千兆網(wǎng)交換機(jī)導(dǎo)入主控回放計(jì)算機(jī)進(jìn)行同一幀圖像的解碼合成，進(jìn)行事后回放判讀和處理。本發(fā)明能夠?qū)⒏邘lCMOS數(shù)字?jǐn)z像機(jī)輸出的高速圖像數(shù)據(jù)進(jìn)行長(zhǎng)時(shí)間實(shí)時(shí)無損的存儲(chǔ)記錄，便于主控回放計(jì)算機(jī)進(jìn)行事后回放判讀和處理。
文檔編號(hào)H04N21/43GK102098562SQ20101059274
公開日2011年6月15日 申請(qǐng)日期2010年12月17日 優(yōu)先權(quán)日2010年12月17日
發(fā)明者孫宏海, 徐大鵬, 王延杰 申請(qǐng)人:中國(guó)科學(xué)院長(zhǎng)春光學(xué)精密機(jī)械與物理研究所