一種基于SoC軟硬件協(xié)同設(shè)計的布匹表面瑕疵檢測方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種基于嵌入式機(jī)器視覺的布匹瑕疵實時視覺檢測方法，具體涉及一 種基于SoC軟硬件協(xié)同設(shè)計的布匹表面瑕疵檢測方法。
【背景技術(shù)】
[0002] 隨著工業(yè)技術(shù)和工藝水平的提高，市場對產(chǎn)品質(zhì)量的要求也日益增大，在紡織印 染產(chǎn)品的生產(chǎn)中，布面瑕疵是影響布匹質(zhì)量的重要因素之一，因此，布匹的質(zhì)量檢測要求也 更加嚴(yán)格。傳統(tǒng)的布匹檢測主要是依靠經(jīng)驗豐富的員工，在紡織品產(chǎn)量持續(xù)增漲，質(zhì)量要求 日益苛刻的形勢下，人工檢測方法存在許多的局限，如檢測速度慢、檢測率不高、誤檢率大、 人力資源浪費等，故快速準(zhǔn)確地檢測布匹瑕疵成為紡織品生產(chǎn)中待解決的重要問題。
[0003] 布匹瑕疵檢測主要是利用圖像的顏色亮度、灰度值變化、紋理等特征進(jìn)行瑕疵檢 測，主要方法集中于統(tǒng)計法、頻域法、模型法等。針對布匹瑕疵檢測存在的布匹種類多和瑕 疵類型繁多的難題，目前的算法大都只能檢測出某幾種類型的瑕疵，且檢出率與實時性不 尚。
[0004] 人類在觀察事物時能夠快速捕獲到場景中重要目標(biāo)或感興趣區(qū)域，這種原理稱為 視覺注意機(jī)制。對于布匹瑕疵檢測，無論是什么樣的布匹種類或瑕疵類型，在不同光照、不 同工藝、生產(chǎn)環(huán)境的情況下，人類都能快速準(zhǔn)確的找到瑕疵，因為瑕疵區(qū)域相較于其他背景 部分，易引起視覺注意。故在進(jìn)行機(jī)器視覺檢測中引入視覺顯著性分析，能夠快速定位到瑕 疵顯著區(qū)域，又布匹圖像的紋理信息較為豐富，而橢圓Gabor濾波器在紋理特征提取中表現(xiàn) 最好，因此本發(fā)明結(jié)合視覺顯著性分析和紋理特征提取進(jìn)行瑕疵檢測。目前大部分基于智 能相機(jī)的視覺檢測系統(tǒng)為串行結(jié)構(gòu)，對于一些檢測速度和精度要求較高的應(yīng)用場合難以滿 足。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明目的針對傳統(tǒng)視覺檢測速度較慢和實時性不強等問題提出一種基于SoC軟 硬件協(xié)同設(shè)計的布匹表面瑕疵檢測方法，以取代效率低下的人工檢測法。一種基于SoC軟硬 件協(xié)同設(shè)計的布匹表面瑕疵檢測方法，在Zynq SoC平臺上通過并行部分提取圖像顯著性區(qū) 域和紋理特征;通過串行部分進(jìn)行融合所述紋理特征，確定閾值分割，分離出瑕疵區(qū)域；以 串并行方式實現(xiàn)檢測算法，包含以下步驟：
[0006] 離線訓(xùn)練：
[0007] A.利用線陣CCD相機(jī)獲取RGB無瑕疵樣本布匹的圖像，根據(jù)相機(jī)捕獲所述圖像的外 部觸發(fā)頻率調(diào)節(jié)布匹的傳送速度以及相機(jī)光圈焦距等參數(shù)，并存儲所述圖像；
[0008] B.對灰度化后的所述圖像進(jìn)行快速中值濾波預(yù)處理，以抑制噪聲并去除隨機(jī)干 擾；
[0009] C.構(gòu)建橢圓Gabor濾波器，選取濾波器參數(shù)構(gòu)成待訓(xùn)練參數(shù)集；
[0010] D.利用差分進(jìn)化算法對所述橢圓Gabor濾波器進(jìn)行參數(shù)尋優(yōu)，得到最優(yōu)參數(shù)集；
[0011] 在線檢測：
[0012] E.基于SoC的并行部分進(jìn)行RGB圖像采集，并通過AXI4_Stream總線輸入FPGA緩存 模塊BRAM;
[0013] F.對采集到的所述RGB圖像進(jìn)行R、G、B三通道的快速中值濾波預(yù)處理，以去除噪 聲；
[0014] G.對去噪后的圖像進(jìn)行RGB格式到CIE LAB格式的顏色空間轉(zhuǎn)換，以進(jìn)行視覺顯著 性區(qū)域提取；
[0015] Η.對LAB空間的圖像進(jìn)行L、a、b三通道的最優(yōu)橢圓Gabor濾波，利用紋理特征再次 凸顯圖像中瑕疵區(qū)域；
[0016] I.基于SoC串行部分分別計算濾波前后像素特征向量以進(jìn)行瑕疵顯著性區(qū)域提 取，再進(jìn)行閾值分割，得到分離出瑕疵的二值圖像，輸出檢測結(jié)果實時顯示。。
[0017] 進(jìn)一步地，所述步驟C中橢圓Gabor濾波器的構(gòu)造與參數(shù)的選?。?br>[0018] 構(gòu)建2D Gabor函數(shù)，表達(dá)式為：
-- ~ (1)[0020] 其中，（〇x，oy)為高斯尺度參數(shù)，（UQ，VQ)為中心空間頻率坐標(biāo)，（X'，y'）為旋轉(zhuǎn)操 作，具體定義為：
[0019]
[0021] (2)
[0022] 其中，Θ為所述Gabor濾波器的旋轉(zhuǎn)角度，則（1)式中所述Gabor濾波器的2D傅里葉 變換為：
[0023] (3)
[0024] "y 〇
[0025] EGF具有類似于RGF的尺度選擇的性能，有利于紋理分析，但RGF的頻域中心固定在 坐標(biāo)原點，限制了其在瑕疵檢測中的應(yīng)用，鑒于此，本發(fā)明提出了一種中心、頻率和方向可 調(diào)整的新型EGF，即其頻域的中心可以以任意的特定帶寬和方向定義在任意位置，有利于提 高其檢測性能。EGF具體表達(dá)式為：
[0026]
[0027]其中，F(xiàn)o為濾波器在空間頻域的中心頻率，# = t為高斯長寬比，式(4)中EGF的2D 傅里葉奪換為：
[0028] (5) , 1
[0029] 其中，1 = ^·?可見EGF性能取決于參數(shù)集{Ρο,ι?ο,νο,θ,β,λ}。 X，
[0030] 進(jìn)一步地，所述步驟D中利用差分進(jìn)化算法進(jìn)行EGF參數(shù)尋優(yōu)：
[0031] 對于大小為N X N的輸入圖像I (X，y)經(jīng)EGF濾波后其能量函數(shù)為：
[0032] f(x,y) = I(x,y)*G(x,y) (6)
[0033] E(x,y)=Sqrt[fRe(x,y)2+fim(x,y)2] (7)
[0034]其中，fRe(X,y)，fim(X,y)分別為經(jīng)實、虛EGF濾波后圖像，則能量函數(shù)的均值和標(biāo) 準(zhǔn)差分別為：
[0035] (8)
[0036] (9) -. - - Λ V
[0037]根據(jù)給定的兩個無瑕疵的訓(xùn)練樣本圖像Ti(x，y)，T2(x，y)定義Fisher代價評估函 數(shù)為：
[0038]
(10)
[0039] 其中，（μι，μ2) ,(0^02)分別為Ti(x，y)，T2(x，y)經(jīng)濾波后能量函數(shù)E(x，y)的均值和 標(biāo)準(zhǔn)差，通過尋求F( t)最大值來確定最優(yōu)參數(shù)集;基于上述論證和實驗分析，為提高尋優(yōu)效 率和效果，對尋優(yōu)參數(shù)集作出下列約束:()< 矸< - 〇<θ<π,
[0040]
[0041] 進(jìn)一步地，所述步驟F中對LAB空間圖像進(jìn)行EGF濾波處理：
[0042] FPGA實現(xiàn)EGF主要是通過輸入圖像像素數(shù)據(jù)與EGF的2D卷積模塊進(jìn)行乘法加法操 作，輸出濾波后的圖像數(shù)據(jù)，利用掩模大小為5X5的卷積模塊處理圖像，得到處理結(jié)果W(x， y)為：
[0043] (11)
[0044]其中G(u，v)為坐標(biāo)(u，v)處的濾波系數(shù)，該25個系數(shù)為通過離線訓(xùn)練階段優(yōu)化EGF 而得到的，且存入ROM，通過對應(yīng)系數(shù)坐標(biāo)載入卷積單元。
[0045]根據(jù)權(quán)利要求1所述的一種基于SoC軟硬件協(xié)同設(shè)計的布匹表面瑕疵檢測方法，其 特征在于，所述步驟I中計算濾波前后特征向量與提取瑕疵顯著圖，包括以下步驟:第一步： 計算LAB顏色空間中未濾波的圖像像素平均特征向量Flab(x，y)，再計算經(jīng)最優(yōu)EGF濾波后的 圖像特征向量FegKxj)，則瑕疵顯著區(qū)域D(x，y)為：
[0046] D(x，y)= | |Fegf(x，y)-Fiab(x，y) | | (12)
[0047] 第二步:對濾波后得到的瑕疵區(qū)域灰度圖像按式（8)(9)求取D(x，y)的均值和方 差，并按式(13)進(jìn)行閾值分割：
[0048]
(13)
[0049]其中，k為控制常數(shù)，根據(jù)具體的檢測對象和實驗確定。
[0050] 本發(fā)明的有益效果是:本發(fā)明提供了一種基于SoC軟硬件協(xié)同設(shè)計的布匹表面瑕 疵檢測方法，對于本色、純色布匹圖像進(jìn)行顯著性區(qū)域和紋理特征的提取，利用瑕疵區(qū)域相 對于背景部分在紋理和像素值上的突變提取瑕疵區(qū)域。在Zynq SoC平臺上，利用軟硬件協(xié) 同設(shè)計技術(shù)將檢測算法進(jìn)行合理的軟硬件劃分，充分利用其硬件資源的并行優(yōu)化和串行部 分的靈活性對檢測系統(tǒng)進(jìn)行較大地提速。在線陣CCD相機(jī)實時高速采集連續(xù)運動的布匹圖 像時，能夠快速地進(jìn)行實時處理，大大提高檢測速度和檢測效率。
【附圖說明】
[0051] 附圖用來提供對本發(fā)明的進(jìn)一步理解，并且構(gòu)成說明書的一部分，與本發(fā)明的實 施例一起用于解釋本發(fā)明，并不構(gòu)成對本發(fā)明的限制。在附圖中：
[0052]圖1本發(fā)明的系統(tǒng)硬件框架圖；
[0053]圖2本發(fā)明的算法整體流程圖；
[0054]圖3本發(fā)明檢測算法的軟硬件協(xié)同設(shè)計結(jié)構(gòu)圖；
[0055]圖4最優(yōu)EGF的5X5 2D卷積模塊IP設(shè)計結(jié)構(gòu)圖。
【具體實施方式】
[0056]為使本發(fā)明的目的、技術(shù)方案和優(yōu)點等更加清楚明白，以下結(jié)合具體實例，并參照 附圖，對本發(fā)明進(jìn)一步詳細(xì)說明。
[0057]本發(fā)明的目的是檢驗布匹的表面瑕疵，在Zynq SoC平臺上實現(xiàn)布匹圖像的采集與 處理，并顯示檢測結(jié)果。本發(fā)明提出了一種基于SoC軟硬件協(xié)同設(shè)計的布匹表面瑕疵檢測方 法，針對布匹表面瑕疵利用顯著性區(qū)域與紋理特征的提取實現(xiàn)在線視覺檢測。
[0058] 檢測系統(tǒng)的硬件框圖如附圖1所示，Zynq SoC通過AXI4總線實現(xiàn)FPGA(PL)與ARM (PS)間的數(shù)據(jù)交互與通信，其中ARM為核心，控制整個系統(tǒng)的運行，上電第一個啟動，進(jìn)入 FSBL(第一引導(dǎo)階段），再執(zhí)行檢測算法硬件IP塊設(shè)計生成的Bit文件，使得PL按照Bit中設(shè) 計方式運行，ARM通過AXI4_Lite接口控制圖像采集與輸入，圖像數(shù)據(jù)經(jīng)過AXI4_Stream總線 進(jìn)入PL，進(jìn)行預(yù)處理和瑕疵檢測處理，數(shù)據(jù)傳輸?shù)紻DR3 SDRAM中計算特征向量提取瑕疵區(qū) 域，并確定閾值二值化，檢測結(jié)果經(jīng)AXI4_Stream總線輸出并通過VGA接口顯示。
[0059]檢測算法整體流程如附圖2所示，在離線訓(xùn)練階段，構(gòu)建橢圓Gabor濾波器，利用差 分進(jìn)化算法對訓(xùn)練布匹圖像進(jìn)行參數(shù)尋優(yōu);在線檢測時，基于SoC并行部分(FPGA)采集圖像 并進(jìn)行中值濾波、顏色空間轉(zhuǎn)換、最優(yōu)EGF濾波;在SoC串行部分(ARM)計算特征向量并提取 瑕疵顯著區(qū)域，最后確定閾值分割出瑕疵區(qū)域;整個檢測算法的軟硬件協(xié)同設(shè)計方式如附 圖3所示，該設(shè)計充分利用FPGA的硬件并行優(yōu)化加速和ARM的軟件靈活性提高算法的實時 性。
[0060] 進(jìn)一步的，具體實現(xiàn)步驟為：
[0061] 離線訓(xùn)練：
[0062] A.利用線陣CCD相機(jī)獲取RGB無瑕疵樣本布匹圖像，根據(jù)相機(jī)捕獲圖像的外部觸發(fā) 頻率調(diào)節(jié)布匹的傳送速度以及相機(jī)光圈焦距等參數(shù)，并存儲圖像。
[0063] B.將樣本圖像灰度化處理，再進(jìn)行中值濾波預(yù)處理，以抑制噪聲并去除隨機(jī)干擾。 [0064] C.構(gòu)造橢圓Gabor濾波器，選取參數(shù)集。
[0065] 構(gòu)建2D Gabor函數(shù)，表達(dá)式為：
[0066] (1)
[0067]其中，（〇x，oy)為高斯尺度參數(shù)，（UQ，VQ)為中心空間頻率坐標(biāo)，（X'，y'）為旋轉(zhuǎn)操 作，具體定義為：
[0068] (2)[0069]其中，Θ為濾波器的旋轉(zhuǎn)角度，則（1)式中Gabor濾波器的2D傅里葉變換為：
[0070] (3)
[0071]
[0072] RGF(Ring Gabor Filter)是傳統(tǒng)Gabor濾波器的改進(jìn)，為2D帶通濾波器，其通帶形 似一個戒指環(huán)，在頻域有高斯橫截面，具有旋轉(zhuǎn)不變性，不能作為方向檢測器，而EGF (Elliptical Gabor Filter)具有類似于RGF的尺度選擇的性能，有利于紋理分析。但RGF的 頻域中心固定在坐標(biāo)原點，限制了其在瑕疵檢測中的應(yīng)用，鑒于此，本發(fā)明提出了一種中