一種光流法的圖像匹配系統(tǒng)的制作方法
【技術領域】
[0001] 本發(fā)明屬于圖像處理的技術領域，尤其是目標搜索跟蹤系統(tǒng)中一種光流法的圖像 匹配系統(tǒng)。
【背景技術】
[0002] 近年來，國內(nèi)外對目標搜索跟蹤的研究越來越深，算法也越來越趨于成熟，由于其 檢測跟蹤目標的特點，在銀行、交通、國防、安保等民用和軍用領域得到廣泛應用。而圖像匹 配作為搜索跟蹤系統(tǒng)中的重要一環(huán)，其匹配的準確性和實時性都影響著目標搜索跟蹤系統(tǒng) 的效果。
[0003] -般，圖像匹配方法主要是分為基于特征點的匹配和基于圖像內(nèi)擴展區(qū)域的匹 配。
[0004] 基于特征的匹配方法能夠有效的提取出圖像中的顯著特征，并且運算量相對較 小，適合在FPGA上實現(xiàn)?；趫D像內(nèi)擴展區(qū)域的匹配是直接對整幅圖像或對從圖像中提取 的小塊區(qū)域進行匹配，與基于特征的匹配方法相比，基于區(qū)域的匹配方法有很多不足，圖像 的任何崎變都會影響圖像內(nèi)物體的形狀和大小，進而影響匹配的質(zhì)量。區(qū)域匹配方法通常 是基于像素值匹配的，因此還受收到許多其他圖像變化因素的干擾，例如光照變化或者傳 感器類型的變化。
[0005] 圖像匹配的實時性和準確性都影響著目標檢測的實時性和準確性，楊陳晨，糞 振飛等提出了一種相位相關法的FPGA實現(xiàn)(楊陳晨，顧國華，糞振飛等.相位相關紅外 圖像匹配算法的硬件實現(xiàn)[J].半導體光電，2013, 34巧）：884-889)，該算法實現(xiàn)簡單、資 源占用率低，但其受圖像灰度的影響，對圖像旋轉及較大幾何變換敏感，因而無法滿足硬 件系統(tǒng)的精度要求。JangW，化S等提出了一種基于Harris角點的光流金字培匹配算法 的FPGA實現(xiàn)方法（JangW,OhS,KimG.AhardwareimplementationofpyramidalKLT featuretrackerfordrivingassistancesystems[C]//IntelligentTransportation Systems, 2009.ITSC'09. 12thInternationalIE邸Conferenceon.I邸E, 2009:1-6)，該方 法借助多分辨率的光流估計提高了圖像大運動的匹配精度，同時基于角點特征大幅度地降 低了計算量，但由于光流金字培的硬件化資源開銷大、實現(xiàn)復雜，從而導致整個系統(tǒng)的成本 過高。

【發(fā)明內(nèi)容】

[0006] 本發(fā)明提出一種光流法的圖像匹配系統(tǒng)，法優(yōu)化了KLT特征提取算子的判斷條 件，并合理地簡化了光流金字培的實現(xiàn)過程；在滿足硬件系統(tǒng)對精度要求的前提下，大幅度 地降低了方法的計算量及資源開銷，同時能夠滿足旋轉圖像及較大幾何變換圖像的匹配要 求。
[0007] 為了解決上述技術問題，本發(fā)明提供一種光流法的圖像匹配系統(tǒng)，其特征在于，包 括A/D轉換模塊、中值濾波模塊、KLT特征點提取模塊、圖像金字培模塊、光流和特征點坐 標初始化模塊、SRAM控制模塊、LK光流匹配模塊W及四個SRAM存儲芯片SRAMl、SRAM2、SRAM3、SRAM4 ;A/D轉換模塊、中值濾波模塊、KLT特征點提取模塊、圖像金字培模塊、光流和 特征點坐標初始化模塊、SRAM控制模塊、LK光流匹配模塊設置在FPGA上，A/D轉換模塊與 中值濾波模塊相連，中值濾波模塊同時與KLT特征點提取模塊和圖像金字培模塊相連，KLT 特征點提取模塊、光流和特征點坐標初始化模塊、SRAM控制模塊和LK光流匹配模塊依次相 連；SRAM1通過SRAM控制模塊與A/D轉換模塊相連；SRAM2和SRAM3通過SRAM控制模塊與 圖像金字培模塊相連；SRAM4通過SRAM控制模塊與SRAM2相連;A/D轉換模塊的作用在于 利用A/D轉換芯片將CCD采集的模擬圖像數(shù)據(jù)轉化為數(shù)字圖像數(shù)據(jù)；中值濾波模塊的作用 在于使用快速中值濾波法對數(shù)字圖像數(shù)據(jù)進行降噪處理；KLT特征點提取模塊的作用在于 使用KLT特征點提取原理與闊值的設定，完成KLT特征點提??；圖像金字培模塊的作用在 于使用下采樣方法通過SRAM控制模塊完成圖像金字培模型的建立和存儲；光流和特征點 坐標初始化模塊的作用在于使用圖像金字培的層數(shù)信息將光流和特征點進行初始化；SRAM 控制模塊的作用在于控制四個SRAM存儲芯片的讀寫操作；LK光流匹配模塊的作用在于使 用最小化差異函數(shù)完成圖像匹配。
[0008] 本發(fā)明與現(xiàn)有技術相比，其顯著優(yōu)點在于；（1)該方法提出了一種快速的中值濾 波的方法，提高了整個算法計算速度；(2)該方法提出了一種新的KLT特征點提取的方法 體，節(jié)省了FPGA處理板的板上資源；（3)該方法提出了一種利用模塊復用實現(xiàn)LK光流匹配 的方法；(4)該方法為算法的硬件實現(xiàn)，可保證整個算法的實時性。
【附圖說明】
[0009] 圖1是本發(fā)明系統(tǒng)簡圖。
[0010] 圖2是本發(fā)明系統(tǒng)詳圖。
[0011] 圖3是本發(fā)明中值濾波模塊中實現(xiàn)3X3矩陣的示意圖。
[0012] 圖4是本發(fā)明KLT特征點提取模塊硬件實現(xiàn)示意圖。
[0013] 圖5是本發(fā)明多塊SRAM協(xié)調(diào)操作建立圖像金字培即光流估計的示意圖。
[0014] 圖6是本發(fā)明SRAM3和SRAM4中建立圖像金字培的示意圖。
[0015] 圖7是本發(fā)明光流和特征點坐標初始化模塊和LK光流匹配模塊算法實現(xiàn)示意圖。
【具體實施方式】
[0016] 本發(fā)明是一種光流法的圖像匹配系統(tǒng)，是基于KLT(Kanade-Lucas-Tomasi)特征 點的LK光流匹配算法的FPGA實現(xiàn)系統(tǒng)。
[0017] 系統(tǒng)構架：
[001引本發(fā)明系統(tǒng)框架如圖1和圖2所示，包括A/D轉換模塊、中值濾波模塊、KLT特征 點提取模塊、圖像金字培模塊、光流和特征點坐標初始化模塊、SRAM控制模塊、LK光流匹配 模塊W及四個SRAM存儲芯片SRAM1、SRAM2、SRAM3、SRAM4 ;
[0019]A/D轉換模塊、中值濾波模塊、KLT特征點提取模塊、圖像金字培模塊、光流和特征 點坐標初始化模塊、SRAM控制模塊、LK光流匹配模塊設置在FPGA上，A/D轉換模塊與中值 濾波模塊相連，中值濾波模塊同時與KLT特征點提取模塊和圖像金字培模塊相連，KLT特征 點提取模塊、光流和特征點坐標初始化模塊、SRAM控制模塊和LK光流匹配模塊依次相連； SRAMl通過SRAM控制模塊與A/D轉換模塊相連；SRAM2和SRAM3通過SRAM控制模塊與圖像 金字培模塊相連；SRAM4通過SRAM控制模塊與SRAM2相連。
[0020] A/D轉換模塊的作用在于利用A/D轉換芯片將CCD采集的模擬圖像數(shù)據(jù)轉化為 數(shù)字圖像數(shù)據(jù)；中值濾波模塊的作用在于使用快速中值濾波法對數(shù)字圖像數(shù)據(jù)進行降噪處 理；KLT特征點提取模塊的作用在于使用KLT特征點提取原理與闊值的設定，完成KLT特征 點提取；圖像金字培模塊的作用在于使用下采樣方法通過SRAM控制模塊完成圖像金字培 模型的建立和存儲；光流和特征點坐標初始化模塊的作用在于使用圖像金字培的層數(shù)信息 將光流和特征點進行初始化；SRAM控制模塊的作用在于控制四個SRAM存儲芯片的讀寫操 作；LK光流匹配模塊的作用在于使用最小化差異函數(shù)完成圖像匹配。
[0021] 系統(tǒng)工作過程：
[0022] 模擬圖像經(jīng)CCD采集后，通過視頻口輸入到A/D轉換模塊，A/D轉換模塊通過SRAM 控制模塊控制SARM1完成圖像奇偶場的合成，得到完整的數(shù)字圖像后發(fā)送給中值濾波模 塊；
[0023] 數(shù)字圖像在中值濾波模塊中進行降噪處理后，同時輸入到KLT特征點提取模塊和 圖像金字培模塊；
[0024] KLT特征點提取模塊對接收到的圖像數(shù)據(jù)進行特征點提取，然后將特征點坐標信 息發(fā)送給光流和特征點坐標初始化模塊；
[0025] 圖像金字培模塊接收到圖像數(shù)據(jù)后通過SRAM控制模塊協(xié)調(diào)SRAM2、SRAM3、SRAM4 建立和存儲圖像金字培模型；
[0026] 光流和特征點坐標初始化模塊接收到來自KLT特征點提取模塊的特征點坐標信 息W及來自LK光流匹配模塊的光流信息后將光流和特征點坐標初始化，并將初始化后的 光流和特征點坐標信息輸出到SRAM控制模塊；
[0027] LK光流匹配模塊根據(jù)SRAM控制模塊接收到的光流和特征點坐標初始化信息控制 SRAM控制模塊從SRAM3、SRAM4中讀取出圖像金字培模型，進行圖像匹配獲得光流，然后根 據(jù)金字培層數(shù)判斷是否完成圖像匹配，若完成則輸出光流完成圖像匹配，否則將光流發(fā)送 到光流和特征點坐標初始化模塊再進行初始化。
[002引 實施例：
[0029] 本實施例采用的FPGA處理板WX巧VFX30T為主芯片，主要存儲芯片為SRAM,算 法使用Verilog語言描述，程序的編寫和仿真是在ISE13. 1上完成的。視頻圖像大小為 640X480,時鐘為 27Mhz。
[0030] 1、A/D轉換模塊
[0031] 由CCD獲得的視頻通過視頻接口輸入到A/D轉換模塊，A/D轉換模塊通過SRAM控 制模塊控制SARM1完成圖像奇偶場的合成，得到完整的數(shù)字圖像后發(fā)送給中值濾波模塊。
[0032] 2、中