fw，并通過(guò)四舍五入提取其整數(shù)部分，再根據(jù)光流初始化后的整數(shù)部 分調(diào)整SRAM3中特征點(diǎn)的提取地址，完成對(duì)下層圖像的初始化，并把調(diào)整后的SRAM3中特征 點(diǎn)的提取地址發(fā)送給LK光流匹配模塊；若層數(shù)L為0,則通過(guò)網(wǎng)口同步輸出特征點(diǎn)坐標(biāo)及 光流值至電腦端。
[0078] 本實(shí)施例整個(gè)算法所占的FPGA資源情況如表1所示，其中片上寄存器和片上查找 表分別占17. 5%和44. 6%，由于本實(shí)施例算法計(jì)算涉及到大量的乘法運(yùn)算，調(diào)用的FPGA上的 乘法器資源占到了 96. 8%，片內(nèi)的先入先出緩存器占到了 63. 2%。由于本發(fā)明LK光流匹配 模塊調(diào)用的乘法器較多，因此乘法器的資源占用率較高；而其他H個(gè)方面的資源占用率均 較低。由此說(shuō)明，本發(fā)明算法的總體硬件資源開(kāi)銷較小，明顯降低了硬件系統(tǒng)的應(yīng)用成本， 可為后端算法程序的實(shí)現(xiàn)提供較大的資源空間。
[0079] 表 1
[0080]
【主權(quán)項(xiàng)】
1. 一種光流法的圖像匹配系統(tǒng)，其特征在于，包括A/D轉(zhuǎn)換模塊、中值濾波模塊、KLT特 征點(diǎn)提取模塊、圖像金字塔模塊、光流和特征點(diǎn)坐標(biāo)初始化模塊、SRAM控制模塊、LK光流匹 配模塊以及四個(gè)SRAM存儲(chǔ)芯片SRAM1、SRAM2、SRAM3、SRAM4 ; A/D轉(zhuǎn)換模塊、中值濾波模塊、KLT特征點(diǎn)提取模塊、圖像金字塔模塊、光流和特征點(diǎn)坐 標(biāo)初始化模塊、SRAM控制模塊、LK光流匹配模塊設(shè)置在FPGA上，A/D轉(zhuǎn)換模塊與中值濾波 模塊相連，中值濾波模塊同時(shí)與KLT特征點(diǎn)提取模塊和圖像金字塔模塊相連，KLT特征點(diǎn)提 取模塊、光流和特征點(diǎn)坐標(biāo)初始化模塊、SRAM控制模塊和LK光流匹配模塊依次相連；SRAMl 通過(guò)SRAM控制模塊與A/D轉(zhuǎn)換模塊相連；SRAM2和SRAM3通過(guò)SRAM控制模塊與圖像金字 塔模塊相連；SRAM4通過(guò)SRAM控制模塊與SRAM2相連； A/D轉(zhuǎn)換模塊的作用在于利用A/D轉(zhuǎn)換芯片將CCD采集的模擬圖像數(shù)據(jù)轉(zhuǎn)化為數(shù)字 圖像數(shù)據(jù)；中值濾波模塊的作用在于使用快速中值濾波法對(duì)數(shù)字圖像數(shù)據(jù)進(jìn)行降噪處理； KLT特征點(diǎn)提取模塊的作用在于使用KLT特征點(diǎn)提取原理與閾值的設(shè)定，完成KLT特征點(diǎn)提 ?。粓D像金字塔模塊的作用在于使用下采樣方法通過(guò)SRAM控制模塊完成圖像金字塔模型 的建立和存儲(chǔ)；光流和特征點(diǎn)坐標(biāo)初始化模塊的作用在于使用圖像金字塔的層數(shù)信息將光 流和特征點(diǎn)進(jìn)行初始化；SRAM控制模塊的作用在于控制四個(gè)SRAM存儲(chǔ)芯片的讀寫(xiě)操作；LK 光流匹配模塊的作用在于使用最小化差異函數(shù)完成圖像匹配。2. 如權(quán)利要求1所述的光流法的圖像匹配系統(tǒng)，其特征在于，模擬圖像經(jīng)CCD采集后， 通過(guò)視頻口輸入到A/D轉(zhuǎn)換模塊，A/D轉(zhuǎn)換模塊通過(guò)SRAM控制模塊控制SARMl完成圖像奇 偶場(chǎng)的合成，得到完整的數(shù)字圖像后發(fā)送給中值濾波模塊；數(shù)字圖像在中值濾波模塊中進(jìn) 行降噪處理后，同時(shí)輸入到KLT特征點(diǎn)提取模塊和圖像金字塔模塊；KLT特征點(diǎn)提取模塊對(duì) 接收到的圖像數(shù)據(jù)進(jìn)行特征點(diǎn)提取，然后將特征點(diǎn)坐標(biāo)信息發(fā)送給光流和特征點(diǎn)坐標(biāo)初始 化模塊；圖像金字塔模塊接收到圖像數(shù)據(jù)后通過(guò)SRAM控制模塊協(xié)調(diào)SRAM2、SRAM3、SRAM4建 立和存儲(chǔ)圖像金字塔模型；光流和特征點(diǎn)坐標(biāo)初始化模塊接收到來(lái)自KLT特征點(diǎn)提取模塊 的特征點(diǎn)坐標(biāo)信息以及來(lái)自LK光流匹配模塊的光流信息后將光流和特征點(diǎn)坐標(biāo)初始化， 并將初始化后的光流和特征點(diǎn)坐標(biāo)信息輸出到SRAM控制模塊；LK光流匹配模塊根據(jù)SRAM 控制模塊接收到的光流和特征點(diǎn)坐標(biāo)初始化信息控制SRAM控制模塊從SRAM3、SRAM4中讀 取出圖像金字塔模型，進(jìn)行圖像匹配獲得光流，然后根據(jù)金字塔層數(shù)判斷是否完成圖像匹 配，若完成則輸出光流完成圖像匹配，否則將光流發(fā)送到光流和特征點(diǎn)坐標(biāo)初始化模塊再 進(jìn)行初始化。3. 如權(quán)利要求1所述的光流法的圖像匹配系統(tǒng)，其特征在于，A/D轉(zhuǎn)換模塊通過(guò)SRAM 控制模塊控制SARMl完成圖像奇偶場(chǎng)的合成，得獲得完整的數(shù)字圖像后發(fā)送給中值濾波模 塊。4. 如權(quán)利要求1所述的光流法的圖像匹配系統(tǒng)，其特征在于，所述中值濾波模塊在 FPGA中調(diào)用兩個(gè)先入先出緩存器建立3X3的矩陣，兩個(gè)先入先出緩存器分別記為fifol、 fif〇2, fifol的輸出與fif〇2的輸入相連；將圖像數(shù)據(jù)中相鄰9個(gè)像素點(diǎn)的灰度值輸入到 3 X 3的矩陣；首先對(duì)3 X 3的矩陣每一行的灰度值按照灰度值的大小進(jìn)行排序，得到每一行 的灰度值的最大值、中間值和最小值，通過(guò)比較獲得三個(gè)最大值中的最小值、三個(gè)中值中的 中間值以及三個(gè)最小值中的最大值組成9個(gè)像素點(diǎn)的灰度值的中間值。5. 如權(quán)利要求1所述的光流法的圖像匹配系統(tǒng)，其特征在于，KLT特征提取模塊中使用 η個(gè)先入先出緩存器FIFO組成nXn窗口估計(jì)出中值濾波處理后圖像中像素點(diǎn)I (x，y)的特 征提取矩陣G，然后根據(jù)特征提取矩陣G中的參數(shù)及閾值λ τ組組建特征方程f ( λ τ)，使用 特征方程f( λ τ)按照KLT特征點(diǎn)提取算子的判斷條件判斷當(dāng)前窗口的中心像素點(diǎn)是否為 特征點(diǎn)，判斷過(guò)程具體為：設(shè)置與圖像大小相同的1位邏輯標(biāo)識(shí)序列A(x，y)，若當(dāng)前像素點(diǎn) 為KLT特征點(diǎn)，則輸出邏輯值1，否則，輸出邏輯值0,該邏輯標(biāo)識(shí)序列A (X，y)與濾波后的圖 像同步輸出；然后對(duì)邏輯標(biāo)識(shí)序列A(x，y)進(jìn)行檢測(cè)，若A(x，y)為1，則輸出當(dāng)前窗口的中 心像素點(diǎn)的坐標(biāo)，即特征點(diǎn)坐標(biāo)；否則，繼續(xù)進(jìn)行檢測(cè)，特征提取矩陣G如公式（1)所示，特 征方程f( λ)如公式⑵所示：其中，Ix為X方向的梯度，Iy為y方向的梯度，為nXn矩陣中的元素求和，參數(shù)λ為特征值； KLT特征點(diǎn)提取算子的判斷條件如公式（3)所示，其中，λ τ為閾值，可通過(guò)調(diào)整閾值來(lái)控制特征點(diǎn)的數(shù)量。6. 如權(quán)利要求1所述的光流法的圖像匹配系統(tǒng)，其特征在于，圖像金字塔建立模塊中 對(duì)經(jīng)中值濾波模塊降噪后的圖像進(jìn)行下采樣處理，建立三層金字塔結(jié)構(gòu)；設(shè)頂層圖像的初 始光流值為〇,下層光流估計(jì)時(shí)將上層估計(jì)出的光流值作為初始光流值初始化本層圖像，再 在本層圖像中根據(jù)LK算法進(jìn)行光流估計(jì)。其中，第L層的初始光流值fL的計(jì)算公式如式 (4)所示，圖像總光流d的計(jì)算公式如式（5)所示： 產(chǎn)1 = 2 (fL+dL) (4) d = f°+d° (5) 其中，#為第L層的光流，f°第0層的初始化光流，d°為第0層的光流。7. 如權(quán)利要求1所述的光流法的圖像匹配系統(tǒng)，其特征在于，使用SRAM2、SRAM3及 SRAM4實(shí)現(xiàn)圖像金字塔的建立和存儲(chǔ)；當(dāng)?shù)趉幀圖像經(jīng)中值濾波后同時(shí)分別輸入到SRAM2 和SRAM3中；SRAM2將第k幀圖像進(jìn)行緩存作為第k+Ι幀圖像光流估計(jì)的模板，并將第k-1 幀圖像發(fā)送給SRAM4 ;SRAM3和SRAM4同步建立第k幀圖像金字塔和第k-1幀圖像金字塔； LK光流匹配模塊根據(jù)光流和特征點(diǎn)的初始化信息在第k幀圖像金字塔和第k-Ι幀圖像金字 塔中提取特征點(diǎn)鄰域。8. 如權(quán)利要求7所述的光流法的圖像匹配系統(tǒng)，其特征在于，SRAM3和SRAM4建立圖 像金字塔的過(guò)程為：在一個(gè)像素?cái)?shù)據(jù)輸入期間，SRAM完成四次讀或?qū)懖僮?，分別記做wrl、 Wr2、Wr3和rdl，根據(jù)公式（6)所示條件對(duì)像素點(diǎn)的坐標(biāo)（x，y)進(jìn)行判斷，根據(jù)判斷結(jié)果完 成不同層圖像的建立，9.如權(quán)利要求7所述的光流法的圖像匹配系統(tǒng)，其特征在于，當(dāng)?shù)趉-Ι幀及第k幀 圖像的特征點(diǎn)信息I (X，y)、J (X，y)進(jìn)入LK光流匹配模塊時(shí)，同步完成I (X，y)-J (X，y)及 α (X，y)+J(X，y))/2的計(jì)算，當(dāng)特征點(diǎn)鄰域內(nèi)的圖像數(shù)據(jù)完全進(jìn)入LK光流匹配模塊后，計(jì) 算出該特征點(diǎn)在第L層的光流值滬=[d^d^] T ;若層數(shù)L不為0,則把光流輸入到光流和特 征點(diǎn)坐標(biāo)初始化模塊，光流輸入到光流和特征點(diǎn)坐標(biāo)初始化模塊估計(jì)出初始光流fH，并通 過(guò)四舍五入提取其整數(shù)部分，再根據(jù)光流初始化后的整數(shù)部分調(diào)整SRAM3中特征點(diǎn)的提取 地址，完成對(duì)下層圖像的初始化，并把調(diào)整后的SRAM3中特征點(diǎn)的提取地址發(fā)送給LK光流 匹配模塊；若層數(shù)L為0,則通過(guò)網(wǎng)口同步輸出特征點(diǎn)坐標(biāo)及光流值至電腦端，計(jì)算特征點(diǎn) 在笛丨，層的光流倌rf的方式加公式門(mén)）所沄.其中，d;是X方向的光流，dy"是y方向的光流。
【專利摘要】本發(fā)明提出一種光流法的圖像匹配系統(tǒng)。包括A/D轉(zhuǎn)換模塊、中值濾波模塊、KLT特征點(diǎn)提取模塊、圖像金字塔模塊、光流和特征點(diǎn)坐標(biāo)初始化模塊、SRAM控制模塊、LK光流匹配模塊以及四個(gè)SRAM存儲(chǔ)芯片SRAM1、SRAM2、SRAM3、SRAM4；A/D轉(zhuǎn)換模塊、中值濾波模塊、KLT特征點(diǎn)提取模塊、圖像金字塔模塊、光流和特征點(diǎn)坐標(biāo)初始化模塊、SRAM控制模塊、LK光流匹配模塊設(shè)置在FPGA上。本發(fā)明優(yōu)化了KLT特征提取算子的判斷條件，并合理地簡(jiǎn)化了光流金字塔的實(shí)現(xiàn)過(guò)程，在滿足硬件系統(tǒng)對(duì)精度要求的前提下，降低了方法的計(jì)算量及資源開(kāi)銷，同時(shí)能夠滿足旋轉(zhuǎn)圖像及較大幾何變換圖像的匹配要求。
【IPC分類】G06T7/20, G06T7/00
【公開(kāi)號(hào)】CN104978728
【申請(qǐng)?zhí)枴緾N201410139220
【發(fā)明人】任侃, 劉恒建, 韓魯, 余明, 孔筱芳, 顧國(guó)華, 錢(qián)惟賢
【申請(qǐng)人】南京理工大學(xué)
【公開(kāi)日】2015年10月14日
【申請(qǐng)日】2014年4月8日