機(jī)器視覺(jué)檢測(cè)系統(tǒng)的制作方法
【專利摘要】本發(fā)明涉及機(jī)器視覺(jué)領(lǐng)域，公開(kāi)一種機(jī)器視覺(jué)檢測(cè)系統(tǒng)，用于快速、準(zhǔn)確地檢測(cè)出具有LBP(Local Binary Patterns,局部二值模式)特征集的目標(biāo)物。所述機(jī)器視覺(jué)檢測(cè)系統(tǒng)工作流程包括：FPGA(Field?Programmable Gate Array,現(xiàn)場(chǎng)可編程門(mén)陣列)控制與處理模塊下達(dá)光強(qiáng)檢測(cè)命令后，根據(jù)光強(qiáng)檢測(cè)模塊檢測(cè)到的環(huán)境光強(qiáng)信號(hào)調(diào)整攝像頭模塊的曝光時(shí)間。攝像頭模塊有序地采集每幀圖像并輸入到FPGA控制與處理模塊，進(jìn)行圖像預(yù)處理、圖像金字塔建立以及使用固定大小的檢測(cè)窗口，調(diào)用串并聯(lián)結(jié)構(gòu)的LBP特征級(jí)聯(lián)分類器對(duì)圖像金字塔各層圖像進(jìn)行目標(biāo)物的檢測(cè)，獲取圖像中不同尺度的目標(biāo)物區(qū)域。最后合并相同位置的目標(biāo)物區(qū)域，刪除誤檢的區(qū)域，并且將檢測(cè)結(jié)果上傳至上位機(jī)模塊。
【專利說(shuō)明】
機(jī)器視覺(jué)檢測(cè)系統(tǒng)
技術(shù)領(lǐng)域
[0001 ]本發(fā)明設(shè)及機(jī)器視覺(jué)技術(shù)領(lǐng)域，特別設(shè)及一種機(jī)器視覺(jué)檢測(cè)系統(tǒng)。
【背景技術(shù)】
[0002] 機(jī)器視覺(jué)檢測(cè)是模式識(shí)別和人工智能中的一項(xiàng)基本研究?jī)?nèi)容，在人臉檢測(cè)、視頻 檢索、智能監(jiān)控跟蹤和人機(jī)交互等領(lǐng)域中有著廣泛的應(yīng)用。機(jī)器視覺(jué)檢測(cè)的目的是在圖像 中檢測(cè)具有特定特征的目標(biāo)物是否存在，若存在則給出目標(biāo)物所在的區(qū)域位置及區(qū)域大 小。通常，機(jī)器視覺(jué)檢測(cè)分為Ξ個(gè)步驟:①基于特定特征與算法，對(duì)目標(biāo)物構(gòu)建分類器;②采 用圖像采集系統(tǒng)，獲取待檢測(cè)的可能包含目標(biāo)物的圖像;③在待檢測(cè)的圖像中提取目標(biāo)物 對(duì)應(yīng)的特定特征，使用分類器對(duì)目標(biāo)物進(jìn)行檢測(cè)。
[0003] 對(duì)于步驟①，目前對(duì)目標(biāo)物構(gòu)建分類器的代表性算法是Yoav Freund和Robed Schapire提出的AdaBoost (Adaptive Boosting,自適應(yīng)提升）算法。AdaBoost算法的核屯、 思想是針對(duì)同一個(gè)訓(xùn)練集，基于特定特征，訓(xùn)練分類能力一般的弱分類器，然后將運(yùn)些弱分 類器進(jìn)行級(jí)聯(lián)，構(gòu)建一個(gè)強(qiáng)分類器，使其具有更強(qiáng)的分類能力。目前，將數(shù)量充足、特征明顯 的樣本圖片數(shù)據(jù)作為訓(xùn)練集輸入到計(jì)算機(jī)，運(yùn)行AdaBoost算法計(jì)算分類器的構(gòu)建參數(shù)的方 法較為成熟?；趆aar特征或者LBP特征，使用AdaBoost算法構(gòu)建的人臉?lè)诸惼鳌⑷搜鄯诸?器等在實(shí)際應(yīng)用中體現(xiàn)出優(yōu)異的檢測(cè)精度。
[0004] 對(duì)于步驟②，獲取高質(zhì)量、信息量豐富的圖像，是保證后續(xù)對(duì)目標(biāo)物進(jìn)行精確檢測(cè) 的前提。通常，單攝像頭的采集區(qū)域有限，在大區(qū)域檢測(cè)應(yīng)用方面有一定的制約性。另一方 面，光照對(duì)目標(biāo)物的檢測(cè)結(jié)果有很大的影響?，F(xiàn)有圖像采集系統(tǒng)的曝光時(shí)間固定不變或者 拍攝前人為設(shè)定，不能很好地適應(yīng)外部環(huán)境的光強(qiáng)變化。因此存在環(huán)境光強(qiáng)變化使圖像質(zhì) 量下降，對(duì)檢測(cè)干擾嚴(yán)重的缺陷。
[0005] 對(duì)于步驟③，在圖像中提取目標(biāo)物對(duì)應(yīng)的特定特征，利用目標(biāo)物分類器對(duì)其進(jìn)行 檢測(cè)?，F(xiàn)有的機(jī)器視覺(jué)檢測(cè)系統(tǒng)使用由AdaBoost算法構(gòu)建的分類器對(duì)目標(biāo)物進(jìn)行檢測(cè)能夠 保證足夠的檢測(cè)精度，但由于系統(tǒng)算法復(fù)雜，遍歷整個(gè)圖像的運(yùn)算量大，在實(shí)際應(yīng)用中對(duì)硬 件要求高，檢測(cè)速度得不到保障。

【發(fā)明內(nèi)容】

[0006] 本發(fā)明的主要目的是提供一種機(jī)器視覺(jué)檢測(cè)系統(tǒng)，旨在實(shí)現(xiàn)對(duì)目標(biāo)物進(jìn)行高精 度、快速的檢測(cè)。
[0007] 為實(shí)現(xiàn)上述目的，本發(fā)明提出了一種機(jī)器視覺(jué)檢測(cè)系統(tǒng)，所述機(jī)器視覺(jué)檢測(cè)系統(tǒng) 包括FPGA (Field-Programmable Gate Array,現(xiàn)場(chǎng)可編程口陣列）控制與處理模塊、光強(qiáng) 檢測(cè)模塊、攝像頭模塊、圖像緩存模塊、通信接口模塊、上位機(jī)模塊;所述光強(qiáng)檢測(cè)模塊、所 述攝像頭模塊、所述圖像緩存模塊、所述通信接口模塊都與所述FPGA控制與處理模塊電連 接;所述通信接口模塊與所述上位機(jī)模塊電連接。
[000引所述光強(qiáng)檢測(cè)模塊，用于檢測(cè)所述攝像頭模塊拍攝的環(huán)境的光強(qiáng)并轉(zhuǎn)換成對(duì)應(yīng)的 光強(qiáng)信號(hào)輸入至所述FPGA控制與處理模塊。
[0009] 所述攝像頭模塊，用于采集圖像并轉(zhuǎn)換成對(duì)應(yīng)的圖像數(shù)據(jù)輸入至所述FPGA控制與 處理模塊;根據(jù)檢測(cè)區(qū)域的大小，所述攝像頭模塊采用單攝像頭或多攝像頭兩種方式;在多 攝像頭方式下，所有攝像頭按特定方式安置，確保同時(shí)采集相鄰區(qū)域的圖像，使之比單攝像 頭方式下采集更大區(qū)域范圍的圖像。
[0010] 所述圖像緩存模塊，用于緩存所述攝像頭模塊采集的圖像的灰度化數(shù)據(jù)，解決圖 像采集與圖像處理對(duì)圖像數(shù)據(jù)存取時(shí)間不一致的沖突。
[0011] 所述通信接口模塊，用于對(duì)所述FPGA控制與處理模塊和所述上位機(jī)模塊之間傳輸 的信號(hào)進(jìn)行電平轉(zhuǎn)換。
[0012] 所述上位機(jī)模塊，用于顯示所述機(jī)器視覺(jué)檢測(cè)系統(tǒng)的檢測(cè)結(jié)果，包括目標(biāo)物所在 區(qū)域位置和目標(biāo)物所在區(qū)域大小。
[0013] 所述FPGA控制與處理模塊，用于配置所述攝像頭模塊的參數(shù)，給所述光強(qiáng)檢測(cè)模 塊下達(dá)檢測(cè)使能信號(hào)并且通過(guò)檢測(cè)反饋的光強(qiáng)信號(hào)配置所述攝像頭模塊的曝光時(shí)間；然后 將所述攝像頭模塊采集的圖像進(jìn)行數(shù)據(jù)格式轉(zhuǎn)換、緩存至所述圖像緩存模塊W及進(jìn)行目標(biāo) 物檢測(cè)；當(dāng)所述攝像頭模塊采用多攝像頭方式時(shí)，進(jìn)行目標(biāo)物檢測(cè)前需要將相鄰攝像頭拍 攝的圖像的邊緣進(jìn)行拼接，使相鄰攝像頭拍攝的交界區(qū)域都能進(jìn)行有效的目標(biāo)物檢測(cè)；最 后將檢測(cè)結(jié)果通過(guò)所述通信接口模塊上傳至所述上位機(jī)模塊進(jìn)行顯示。
[0014] 所述FPGA控制與處理模塊包括光強(qiáng)檢測(cè)使能模塊、攝像頭配置模塊、圖像格式轉(zhuǎn) 換模塊、圖像緩存控制模塊、圖像拼接使能模塊、圖像拼接模塊、圖像金字塔模塊、LBP 化ocal Bina巧Patterns,局部二值模式)特征級(jí)聯(lián)分類器模塊、目標(biāo)區(qū)域處理模塊、通信 接口控制模塊;所述光強(qiáng)檢測(cè)使能模塊與所述光強(qiáng)檢測(cè)模塊的輸入端連接，所述光強(qiáng)檢測(cè) 模塊的輸出端經(jīng)所述攝像頭配置模塊與所述攝像頭模塊的輸入端連接，所述攝像頭模塊的 輸出端經(jīng)所述圖像格式轉(zhuǎn)換模塊與所述圖像緩存控制模塊的輸入端連接，所述圖像緩存控 制模塊與所述圖像緩存模塊進(jìn)行雙向傳輸，所述圖像緩存控制模塊的輸出端經(jīng)所述圖像拼 接模塊與所述圖像金字塔模塊的輸入端連接，所述圖像拼接使能模塊與所述圖像拼接模塊 連接，所述圖像金字塔模塊的輸出端經(jīng)所述LBP特征級(jí)聯(lián)分類器模塊與所述目標(biāo)區(qū)域處理 模塊的輸入端連接，所述目標(biāo)區(qū)域處理模塊的輸出端與所述通信接口控制模塊的輸入端連 接，所述通信接口控制模塊與所述通信接口模塊進(jìn)行雙向傳輸。
[0015] 所述光強(qiáng)檢測(cè)使能模塊，用于在所述機(jī)器視覺(jué)檢測(cè)系統(tǒng)工作時(shí)，通過(guò)給所述光強(qiáng) 檢測(cè)模塊下達(dá)使能信號(hào)使之工作。
[0016] 所述攝像頭配置模塊，用于配置所述攝像頭模塊的參數(shù)，W及根據(jù)所述光強(qiáng)檢測(cè) 模塊反饋的光強(qiáng)信號(hào)配置所述攝像頭模塊的曝光時(shí)間。
[0017] 所述圖像格式轉(zhuǎn)換模塊，用于將所述攝像頭模塊拍攝的圖像數(shù)據(jù)進(jìn)行灰度值格式 轉(zhuǎn)換。
[0018] 所述圖像緩存控制模塊，用于控制所述圖像格式轉(zhuǎn)換模塊輸出的灰度圖像數(shù)據(jù)輸 入至所述圖像緩存模塊，W及控制所述圖像緩存模塊輸出的灰度圖像數(shù)據(jù)輸入至所述圖像 拼接模塊。
[0019] 所述圖像拼接使能模塊，用于控制所述圖像拼接模塊的工作模式。當(dāng)所述攝像頭 模塊采用多攝像頭方式時(shí)，所述圖像拼接使能模塊給所述圖像拼接模塊發(fā)送使能信號(hào)；當(dāng) 所述攝像頭模塊采用單攝像頭方式時(shí)，所述圖像拼接使能模塊給所述圖像拼接模塊發(fā)送非 使能信號(hào)。
[0020] 所述圖像拼接模塊，用于處理所述圖像緩存控制模塊輸出的圖像數(shù)據(jù)；當(dāng)從所述 圖像拼接使能模塊接收到使能信號(hào)時(shí)，所述圖像拼接模塊將所述圖像緩存控制模塊輸出的 所述攝像頭模塊全部攝像頭同一時(shí)刻拍攝的圖像數(shù)據(jù)合并成一帖連貫且不重復(fù)、邊界拼接 縫隙不明顯的圖像數(shù)據(jù)，然后將整帖圖像數(shù)據(jù)輸出至所述圖像金字塔模塊；當(dāng)從所述圖像 拼接使能模塊接收到非使能信號(hào)時(shí)，所述圖像拼接模塊將所述圖像緩存控制模塊輸出的圖 像數(shù)據(jù)直接輸出至所述圖像金字塔模塊。
[0021] 所述圖像金字塔模塊，用于將所述圖像拼接模塊輸出的每帖灰度圖按比例縮小W 構(gòu)建金字塔狀排列的分辨率逐步降低的圖像集合，并且根據(jù)實(shí)際應(yīng)用場(chǎng)合中目標(biāo)物區(qū)域面 積占據(jù)整帖圖像面積的比例范圍，設(shè)置所述圖像金字塔模塊的圖像集合的上限分辨率和下 限分辨率，所述圖像金字塔模塊的各層存放分辨率不同的圖像。
[0022] 所述LBP特征級(jí)聯(lián)分類器模塊，用于使用固定大小的檢測(cè)窗口，調(diào)用串并聯(lián)結(jié)構(gòu)的 LBP特征級(jí)聯(lián)分類器對(duì)所述圖像金字塔模塊的各層圖像進(jìn)行目標(biāo)物檢測(cè)，W獲取原始圖像 中不同尺度的目標(biāo)物所在區(qū)域。
[0023] 所述目標(biāo)區(qū)域處理模塊，用于將所述LBP特征級(jí)聯(lián)分類器模塊檢測(cè)到的全部目標(biāo) 物所在區(qū)域按對(duì)應(yīng)比例映射到原始分辨率的圖像上;在原始分辨率圖像的同一位置，利用 所述LBP特征級(jí)聯(lián)分類器模塊檢測(cè)到存在目標(biāo)物的數(shù)量多于第一數(shù)量闊值時(shí)，該位置被認(rèn) 為是真實(shí)目標(biāo)物所在區(qū)域，合并該位置的目標(biāo)物所在區(qū)域;在原始分辨率圖像的同一位置， 利用所述LBP特征級(jí)聯(lián)分類器模塊檢測(cè)到存在目標(biāo)物的數(shù)量少于或等于第一數(shù)量闊值時(shí)， 該位置被認(rèn)為是非目標(biāo)物所在區(qū)域，刪除該位置的目標(biāo)物所在區(qū)域，從而得到最終的目標(biāo) 物檢測(cè)結(jié)果。
[0024] 所述通信接口控制模塊，用于在串行通信時(shí)序方式下通過(guò)所述通信接口模塊，使 所述FPGA控制與處理模塊與所述上位機(jī)模塊進(jìn)行雙向通信。
[0025] 優(yōu)選地，所述光強(qiáng)檢測(cè)模塊包括光電傳感器、信號(hào)調(diào)理電路、放大濾波電路及模數(shù) 轉(zhuǎn)換電路;所述光電傳感器與所述信號(hào)調(diào)理電路的輸入端連接，所述信號(hào)調(diào)理電路的輸出 端經(jīng)所述放大濾波電路與所述模數(shù)轉(zhuǎn)換電路的輸入端連接，所述模數(shù)轉(zhuǎn)換電路的輸出端與 所述FPGA控制與處理模塊連接。
[00%]優(yōu)選地，所述圖像緩存模塊采用SDRAM(Synch;ronous Dynamic Random-Access Memory，同步動(dòng)態(tài)隨機(jī)存儲(chǔ)器)實(shí)現(xiàn)，所述SDRAM與所述FPGA控制與處理模塊電連接。
[0027] 優(yōu)選地，所述上位機(jī)模塊采用計(jì)算機(jī)或嵌入式設(shè)備實(shí)現(xiàn)。
[0028] 本發(fā)明技術(shù)方案通過(guò)FPGA控制與處理模塊、光強(qiáng)檢測(cè)模塊、攝像頭模塊、圖像緩存 模塊、通信接口模塊、上位機(jī)模塊，形成了一種機(jī)器視覺(jué)檢測(cè)系統(tǒng)。本發(fā)明技術(shù)與現(xiàn)有技術(shù) 相比，主要區(qū)別及其效果如下。
[0029] 本發(fā)明技術(shù)方案通過(guò)引入攝像頭組合和圖像拼接技術(shù)，W適應(yīng)不同檢測(cè)區(qū)域范圍 的應(yīng)用場(chǎng)合的需要。根據(jù)檢測(cè)區(qū)域的大小，所述攝像頭模塊采用單攝像頭或多攝像頭兩種 方式。在多攝像頭方式下，所有攝像頭按特定方式安置，確保同時(shí)采集相鄰區(qū)域的圖像，使 之比單攝像頭方式下采集更大區(qū)域范圍的圖像。同時(shí)，在多攝像頭方式下，通過(guò)所述圖像拼 接模塊，將所述攝像頭模塊全部攝像頭同一時(shí)刻拍攝的圖像合并成一帖連貫且不重復(fù)、邊 界拼接縫隙不明顯的圖像，使之比單攝像頭方式下輸出更大區(qū)域范圍的整帖圖像。
[0030] 本發(fā)明技術(shù)方案通過(guò)引入反饋方式使圖像采集系統(tǒng)的曝光時(shí)間達(dá)到最優(yōu)。所述光 強(qiáng)檢測(cè)模塊對(duì)所述攝像頭模塊的拍攝環(huán)境的光強(qiáng)進(jìn)行實(shí)時(shí)檢測(cè)，根據(jù)檢測(cè)到的光強(qiáng)值動(dòng)態(tài) 調(diào)整所述攝像頭模塊的曝光時(shí)間。具體地，在所述攝像頭模塊的曝光時(shí)間的可設(shè)置范圍內(nèi)， 光強(qiáng)值增大時(shí)適當(dāng)縮短曝光時(shí)間，光強(qiáng)值減小時(shí)適當(dāng)增長(zhǎng)曝光時(shí)間，使所述攝像頭模塊拍 攝的圖像質(zhì)量更高，提高目標(biāo)物檢測(cè)的精度。從而解決了現(xiàn)有圖像采集系統(tǒng)的曝光時(shí)間固 定不變或者拍攝前人為設(shè)定，外部環(huán)境的光強(qiáng)變化使圖像質(zhì)量下降，對(duì)目標(biāo)物檢測(cè)產(chǎn)生嚴(yán) 重干擾的缺陷。
[0031] 本發(fā)明技術(shù)方案把對(duì)目標(biāo)物進(jìn)行檢測(cè)的圖像處理集成在FPGA忍片上，通過(guò)進(jìn)行硬 件并行處理W提高處理速度。具體地，采用特征數(shù)量適中、描述圖像紋理結(jié)構(gòu)信息出色的 LBP特征，合理構(gòu)造弱分類器的串并聯(lián)結(jié)構(gòu)，使之構(gòu)成強(qiáng)分類器;并且將待檢測(cè)的圖像按比 例縮小W構(gòu)建金字塔狀排列的分辨率逐步降低的圖像集合，根據(jù)實(shí)際應(yīng)用場(chǎng)合中目標(biāo)物區(qū) 域面積占據(jù)整帖圖像面積的比例范圍，設(shè)置所述圖像金字塔模塊的圖像集合的上限分辨率 和下限分辨率，所述圖像金字塔模塊的各層存放分辨率不同的圖像，使用固定大小的檢測(cè) 窗口，調(diào)用串并聯(lián)結(jié)構(gòu)的LBP特征級(jí)聯(lián)分類器對(duì)所述圖像金字塔模塊的各層圖像進(jìn)行目標(biāo) 物檢測(cè)，W獲取原始圖像中不同尺度的目標(biāo)物區(qū)域。本發(fā)明技術(shù)方案綜合考慮FPGA內(nèi)部資 源消耗及目標(biāo)物檢測(cè)效果兩個(gè)因素，采用合理的串并聯(lián)處理架構(gòu)，在保證足夠的檢測(cè)精度 下，獲得較高的檢測(cè)速度，同時(shí)，硬件配置成本合理。
【附圖說(shuō)明】
[0032] 為了更清楚地說(shuō)明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對(duì)實(shí)施例或現(xiàn) 有技術(shù)描述中所需要使用的附圖作簡(jiǎn)單地介紹，顯而易見(jiàn)地，下面描述中的附圖僅僅是本 發(fā)明的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來(lái)講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可W 根據(jù)運(yùn)些附圖示出的結(jié)構(gòu)獲得其他的附圖。
[0033] 圖1為本發(fā)明機(jī)器視覺(jué)檢測(cè)系統(tǒng)實(shí)施例的功能模塊圖。
[0034] 圖2為本發(fā)明機(jī)器視覺(jué)檢測(cè)系統(tǒng)實(shí)施例的光強(qiáng)檢測(cè)模塊圖。
[0035] 圖3為本發(fā)明機(jī)器視覺(jué)檢測(cè)系統(tǒng)實(shí)施例的單攝像頭采集方式示意圖。
[0036] 圖4為本發(fā)明機(jī)器視覺(jué)檢測(cè)系統(tǒng)實(shí)施例的多攝像頭采集方式示意圖。
[0037] 圖5為本發(fā)明機(jī)器視覺(jué)檢測(cè)系統(tǒng)實(shí)施例的相鄰攝像頭采集的圖像的拼接示意圖。
[0038] 圖6為本發(fā)明機(jī)器視覺(jué)檢測(cè)系統(tǒng)實(shí)施例的不同尺度目標(biāo)物檢測(cè)的第一實(shí)施例示意 圖。
[0039] 圖7為本發(fā)明機(jī)器視覺(jué)檢測(cè)系統(tǒng)實(shí)施例的不同尺度目標(biāo)物檢測(cè)的第二實(shí)施例示意 圖。
[0040] 圖8為本發(fā)明機(jī)器視覺(jué)檢測(cè)系統(tǒng)實(shí)施例的MB-LBP(Multi-Block Local Binary 化tterns,分區(qū)局部二值模式)特征值計(jì)算示意圖。
[0041] 圖9為本發(fā)明機(jī)器視覺(jué)檢測(cè)系統(tǒng)實(shí)施例的圖像積分圖計(jì)算示意圖。
[0042] 圖10為本發(fā)明機(jī)器視覺(jué)檢測(cè)系統(tǒng)實(shí)施例的LBP(Local Binary Patterns,局部二 值模式)特征強(qiáng)分類器的第一實(shí)施例級(jí)聯(lián)示意圖。
[0043] 圖11為本發(fā)明機(jī)器視覺(jué)檢測(cè)系統(tǒng)實(shí)施例的LBP特征強(qiáng)分類器的第二實(shí)施例級(jí)聯(lián)示 意圖。
[0044] 圖12為本發(fā)明機(jī)器視覺(jué)檢測(cè)系統(tǒng)實(shí)施例的LBP特征強(qiáng)分類器的第Ξ實(shí)施例級(jí)聯(lián)示 意圖。
[0045] 附圖標(biāo)號(hào)說(shuō)明：
本發(fā)明目的的實(shí)現(xiàn)、功能特點(diǎn)及優(yōu)點(diǎn)將結(jié)合實(shí)施例，參照附圖作進(jìn)一步說(shuō)明。
【具體實(shí)施方式】
[0046] 下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完 整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明的一部分實(shí)施例，而不是全部的實(shí)施例?；?于本發(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒(méi)有作出創(chuàng)造性勞動(dòng)前提下所獲得的所有其 他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。
[0047] 需要說(shuō)明，本專利各部分內(nèi)容中出現(xiàn)的英文縮寫(xiě)都在首次使用時(shí)附帶英文全稱和 中文全稱作為解釋，而各部分內(nèi)容中再次出現(xiàn)的英文縮寫(xiě)都W此解釋作為標(biāo)準(zhǔn)。
[0048] 另外，在本發(fā)明中設(shè)及"第一"、"第二"等的描述僅用于描述目的，而不能理解為指 示或暗示其相對(duì)重要性或者隱含指明所指示的技術(shù)特征的數(shù)量。由此，限定有"第一"、"第 二"的特征可W明示或者隱含地包括至少一個(gè)該特征。另外，各個(gè)實(shí)施例之間的技術(shù)方案可 W相互結(jié)合，但是必須是W本領(lǐng)域普通技術(shù)人員能夠?qū)崿F(xiàn)為基礎(chǔ)，當(dāng)技術(shù)方案的結(jié)合出現(xiàn) 相互矛盾或無(wú)法實(shí)現(xiàn)時(shí)應(yīng)當(dāng)認(rèn)為運(yùn)種技術(shù)方案的結(jié)合不存在，也不在本發(fā)明要求的保護(hù)范 圍之內(nèi)。
[0049] 本發(fā)明提出一種機(jī)器視覺(jué)檢測(cè)系統(tǒng)。
[0050] 參照?qǐng)D1，在本發(fā)明實(shí)施例中，所述機(jī)器視覺(jué)檢測(cè)系統(tǒng)包括FPGA (Field- Programmable Gate Array,現(xiàn)場(chǎng)可編程口陣列）控制與處理模塊100、光強(qiáng)檢測(cè)模塊200、 攝像頭模塊300、圖像緩存模塊400、通信接口模塊500、上位機(jī)模塊600;所述光強(qiáng)檢測(cè)模塊 200、所述攝像頭模塊300、所述圖像緩存模塊400、所述通信接口模塊500都與所述FPGA控制 與處理模塊100電連接;所述通信接口模塊500與所述上位機(jī)模塊600電連接。
[0051] 其中，所述光強(qiáng)檢測(cè)模塊200,用于檢測(cè)所述攝像頭模塊300拍攝的環(huán)境的光強(qiáng)并 轉(zhuǎn)換成對(duì)應(yīng)的光強(qiáng)信號(hào)輸入至所述FPGA控制與處理模塊100;所述攝像頭模塊300,用于采 集圖像并轉(zhuǎn)換成對(duì)應(yīng)的圖像數(shù)據(jù)輸入至所述FPGA控制與處理模塊100。根據(jù)檢測(cè)區(qū)域的大 小，所述攝像頭模塊300采用單攝像頭或多攝像頭兩種方式。在多攝像頭方式下，所有攝像 頭按特定方式安置，確保同時(shí)采集相鄰區(qū)域的圖像，使之比單攝像頭方式下采集更大區(qū)域 范圍的圖像;所述圖像緩存模塊400,用于緩存所述攝像頭模塊300采集的圖像的灰度化數(shù) 據(jù)，解決圖像采集與圖像處理對(duì)圖像數(shù)據(jù)存取時(shí)間不一致的沖突;所述通信接口模塊500， 用于對(duì)所述FPGA控制與處理模塊100和所述上位機(jī)模塊600之間傳輸?shù)男盘?hào)進(jìn)行電平轉(zhuǎn)換； 所述上位機(jī)模塊600，用于顯示所述機(jī)器視覺(jué)檢測(cè)系統(tǒng)的檢測(cè)結(jié)果，包括目標(biāo)物所在區(qū)域位 置和目標(biāo)物所在區(qū)域大小;所述FPGA控制與處理模塊100，用于配置所述攝像頭模塊300的 參數(shù)，給所述光強(qiáng)檢測(cè)模塊200下達(dá)檢測(cè)使能信號(hào)并且通過(guò)檢測(cè)反饋的光強(qiáng)信號(hào)配置所述 攝像頭模塊300的曝光時(shí)間。然后將所述攝像頭模塊300采集的圖像進(jìn)行數(shù)據(jù)格式轉(zhuǎn)換、緩 存至所述圖像緩存模塊400 W及進(jìn)行目標(biāo)物檢測(cè)。當(dāng)所述攝像頭模塊300采用多攝像頭方式 時(shí)，進(jìn)行目標(biāo)物檢測(cè)前需要將相鄰攝像頭拍攝的圖像的邊緣進(jìn)行拼接，使相鄰攝像頭拍攝 的交界區(qū)域都能進(jìn)行有效的目標(biāo)物檢測(cè)。最后將檢測(cè)結(jié)果通過(guò)所述通信接口模塊500上傳 至所述上位機(jī)模塊600進(jìn)行顯示。
[0052] 具體地，所述FPGA控制與處理模塊100包括光強(qiáng)檢測(cè)使能模塊110、攝像頭配置模 塊120、圖像格式轉(zhuǎn)換模塊130、圖像緩存控制模塊140、圖像拼接使能模塊150、圖像拼接模 塊151、圖像金字塔模塊160、LBP(Local Binary Patterns,局部二值模式）特征級(jí)聯(lián)分類 器模塊170、目標(biāo)區(qū)域處理模塊180、通信接口控制模塊190;所述光強(qiáng)檢測(cè)使能模塊110與所 述光強(qiáng)檢測(cè)模塊200的輸入端連接，所述光強(qiáng)檢測(cè)模塊200的輸出端經(jīng)所述攝像頭配置模塊 120與所述攝像頭模塊300的輸入端連接，所述攝像頭模塊300的輸出端經(jīng)所述圖像格式轉(zhuǎn) 換模塊130與所述圖像緩存控制模塊140的輸入端連接，所述圖像緩存控制模塊140與所述 圖像緩存模塊400進(jìn)行雙向傳輸，所述圖像緩存控制模塊140的輸出端經(jīng)所述圖像拼接模塊 151與所述圖像金字塔模塊160的輸入端連接，所述圖像拼接使能模塊150與所述圖像拼接 模塊151連接，所述圖像金字塔模塊160的輸出端經(jīng)所述LBP特征級(jí)聯(lián)分類器模塊170與所述 目標(biāo)區(qū)域處理模塊180的輸入端連接，所述目標(biāo)區(qū)域處理模塊180的輸出端與所述通信接口 控制模塊190的輸入端連接，所述通信接口控制模塊190與所述通信接口模塊500進(jìn)行雙向 傳輸。
[0053] 其中，所述光強(qiáng)檢測(cè)使能模塊110,用于在所述機(jī)器視覺(jué)檢測(cè)系統(tǒng)工作時(shí)，通過(guò)給 所述光強(qiáng)檢測(cè)模塊200下達(dá)使能信號(hào)使之工作;所述攝像頭配置模塊120,用于配置所述攝 像頭模塊300的參數(shù)，W及根據(jù)所述光強(qiáng)檢測(cè)模塊200反饋的光強(qiáng)信號(hào)配置所述攝像頭模塊 300的曝光時(shí)間;所述圖像格式轉(zhuǎn)換模塊130,用于將所述攝像頭模塊300拍攝的圖像數(shù)據(jù)進(jìn) 行灰度值格式轉(zhuǎn)換;所述圖像緩存控制模塊140，用于控制所述圖像格式轉(zhuǎn)換模塊130輸出 的灰度圖像數(shù)據(jù)輸入至所述圖像緩存模塊400, W及控制所述圖像緩存模塊400輸出的灰度 圖像數(shù)據(jù)輸入至所述圖像拼接模塊151;所述圖像拼接使能模塊150,用于控制所述圖像拼 接模塊151的工作模式。當(dāng)所述攝像頭模塊300采用多攝像頭方式時(shí)，所述圖像拼接使能模 塊150給所述圖像拼接模塊151發(fā)送使能信號(hào)。當(dāng)所述攝像頭模塊300采用單攝像頭方式時(shí)， 所述圖像拼接使能模塊150給所述圖像拼接模塊151發(fā)送非使能信號(hào)；所述圖像拼接模塊 151，用于處理所述圖像緩存控制模塊140輸出的圖像數(shù)據(jù)。當(dāng)從所述圖像拼接使能模塊150 接收到使能信號(hào)時(shí)，所述圖像拼接模塊151將所述圖像緩存控制模塊140輸出的所述攝像頭 模塊300全部攝像頭同一時(shí)刻拍攝的圖像數(shù)據(jù)合并成一帖連貫且不重復(fù)、邊界拼接縫隙不 明顯的圖像數(shù)據(jù)，然后將整帖圖像數(shù)據(jù)輸出至所述圖像金字塔模塊160。當(dāng)從所述圖像拼接 使能模塊150接收到非使能信號(hào)時(shí)，所述圖像拼接模塊151將所述圖像緩存控制模塊140輸 出的圖像數(shù)據(jù)直接輸出至所述圖像金字塔模塊160;所述圖像金字塔模塊160,用于將所述 圖像拼接模塊151輸出的每帖灰度圖按比例縮小W構(gòu)建金字塔狀排列的分辨率逐步降低的 圖像集合，并且根據(jù)實(shí)際應(yīng)用場(chǎng)合中目標(biāo)物區(qū)域面積占據(jù)整帖圖像面積的比例范圍，設(shè)置 所述圖像金字塔模塊160的圖像集合的上限分辨率和下限分辨率，所述圖像金字塔模塊160 的各層存放分辨率不同的圖像;所述LBP特征級(jí)聯(lián)分類器模塊170,用于使用固定大小的檢 測(cè)窗口，調(diào)用串并聯(lián)結(jié)構(gòu)的LBP特征級(jí)聯(lián)分類器對(duì)所述圖像金字塔模塊160的各層圖像進(jìn)行 目標(biāo)物檢測(cè)，W獲取原始圖像中不同尺度的目標(biāo)物所在區(qū)域;所述目標(biāo)區(qū)域處理模塊180， 用于將所述LBP特征級(jí)聯(lián)分類器模塊170檢測(cè)到的全部目標(biāo)物所在區(qū)域按對(duì)應(yīng)比例映射到 原始分辨率的圖像上；在原始分辨率圖像的同一位置，利用所述LBP特征級(jí)聯(lián)分類器模塊 170檢測(cè)到存在目標(biāo)物的數(shù)量多于第一數(shù)量闊值時(shí)，該位置被認(rèn)為是真實(shí)目標(biāo)物所在區(qū)域， 合并該位置的目標(biāo)物所在區(qū)域;在原始分辨率圖像的同一位置，利用所述LBP特征級(jí)聯(lián)分類 器模塊170檢測(cè)到存在目標(biāo)物的數(shù)量少于或等于第一數(shù)量闊值時(shí)，該位置被認(rèn)為是非目標(biāo) 物所在區(qū)域，刪除該位置的目標(biāo)物所在區(qū)域，從而得到最終的目標(biāo)物檢測(cè)結(jié)果;所述通信接 口控制模塊190，用于在串行通信時(shí)序方式下通過(guò)所述通信接口模塊500，使所述FPGA控制 與處理模塊100與所述上位機(jī)模塊600進(jìn)行雙向通信。
[0054]具體地，所述圖像緩存模塊400采用SDRAM(Synch;ronous Dynamic Random-Access Memory,同步動(dòng)態(tài)隨機(jī)存儲(chǔ)器)實(shí)現(xiàn)，所述SDRAM與所述FPGA控制與處理模塊100電連接。
[0055] 具體地，所述上位機(jī)模塊600采用計(jì)算機(jī)或嵌入式設(shè)備實(shí)現(xiàn)，用于顯示所述機(jī)器視 覺(jué)檢測(cè)系統(tǒng)的檢測(cè)結(jié)果，實(shí)現(xiàn)人機(jī)交互。
[0056] 具體地，請(qǐng)結(jié)合參照?qǐng)D2,所述光強(qiáng)檢測(cè)模塊200包括光電傳感器210、信號(hào)調(diào)理電 路220、放大濾波電路230及模數(shù)轉(zhuǎn)換電路240;所述光電傳感器210與所述信號(hào)調(diào)理電路220 的輸入端連接，所述信號(hào)調(diào)理電路220的輸出端經(jīng)所述放大濾波電路230與所述模數(shù)轉(zhuǎn)換電 路240的輸入端連接，所述模數(shù)轉(zhuǎn)換電路240的輸出端與所述FPGA控制與處理模塊100連接。
[0057] 在本實(shí)施例中，所述光電傳感器210將所述攝像頭模塊300拍攝的環(huán)境的光強(qiáng)轉(zhuǎn)換 成對(duì)應(yīng)的物理信號(hào)，所述信號(hào)調(diào)理電路220將所述光電傳感器210采集的物理信號(hào)轉(zhuǎn)換成對(duì) 應(yīng)的模擬信號(hào)，經(jīng)所述放大濾波電路230對(duì)模擬信號(hào)進(jìn)行功率放大、濾除雜波等干擾信號(hào)， 再通過(guò)所述模數(shù)轉(zhuǎn)換電路240將模擬信號(hào)轉(zhuǎn)換成數(shù)字信號(hào)輸出至所述FPGA控制與處理模塊 100進(jìn)行處理。
[0058] 具體地，請(qǐng)結(jié)合參照?qǐng)D3和圖4,所述攝像頭模塊300采用單攝像頭或多攝像頭兩種 方式。易于理解的是，單攝像頭采集圖像的區(qū)域有限，可能造成待檢測(cè)目標(biāo)物在單攝像頭采 集區(qū)域范圍W外而不能被正確檢測(cè)的問(wèn)題。在多攝像頭方式下，所有攝像頭按特定方式安 置，確保同時(shí)采集相鄰區(qū)域的圖像，使之比單攝像頭方式下采集更大區(qū)域范圍的圖像。攝像 頭的數(shù)量將由實(shí)際應(yīng)用需要檢測(cè)的區(qū)域范圍和每個(gè)攝像頭的采集區(qū)域共同決定。
[0059] 具體地，請(qǐng)結(jié)合參照?qǐng)D5,所述攝像頭模塊300采用多攝像頭方式時(shí)，每次獲得相鄰 區(qū)域的多帖圖像。所述圖像拼接使能模塊150下達(dá)使能信號(hào)，所述圖像拼接模塊151將所述 圖像緩存控制模塊140輸出的所述攝像頭模塊300全部攝像頭同一時(shí)刻拍攝的圖像合并成 一帖連貫且不重復(fù)、邊界拼接縫隙不明顯的圖像。最后將完成拼接的整帖圖像輸出至所述 圖像金字塔模塊160進(jìn)行處理。經(jīng)過(guò)圖像拼接過(guò)程，在相鄰區(qū)域的兩帖圖像的邊界同樣可W 使用檢測(cè)窗口對(duì)目標(biāo)物進(jìn)行檢測(cè)，避免出現(xiàn)漏檢的情況。
[0060] 具體地，請(qǐng)結(jié)合參照?qǐng)D6,提供了本發(fā)明機(jī)器視覺(jué)檢測(cè)系統(tǒng)實(shí)施例的不同尺度目標(biāo) 物檢測(cè)的第一實(shí)施例。所述圖像金字塔模塊160將所述圖像拼接模塊151輸出的一帖原始圖 像按相同的比例系數(shù)逐層縮小W構(gòu)建金字塔狀排列的分辨率逐步降低的圖像集合，所述比 例系數(shù)取值范圍為[0.2,0.95]，圖像縮放采用最近鄰插值算法。進(jìn)一步地，根據(jù)實(shí)際應(yīng)用場(chǎng) 合中目標(biāo)物區(qū)域面積占據(jù)整帖圖像面積的比例范圍，設(shè)置所述圖像金字塔模塊160的圖像 集合的上限分辨率和下限分辨率。舉例來(lái)說(shuō)，當(dāng)所述攝像頭模塊300采用單攝像頭方式，拍 攝圖像分辨率為640 X 480;檢測(cè)窗口分辨率為24 X 24;所述圖像金字塔模塊160將所述圖像 拼接模塊151輸出的一帖原始圖像按比例系數(shù)為0.8逐層縮小W構(gòu)建金字塔狀排列的分辨 率逐步降低的圖像集合;并且待檢測(cè)目標(biāo)物為人臉，根據(jù)實(shí)際應(yīng)用場(chǎng)合，圖像中人臉區(qū)域面 積占據(jù)整帖圖像面積的比例不高于0.25,同時(shí)不低于0.01，在運(yùn)前提下，為了節(jié)約FPGA資 源，提高對(duì)目標(biāo)物的檢測(cè)速度，所述圖像金字塔模塊160中各層圖像的分辨率為320X240、 256X192、204X153、163X122、131X98、104X78、83X62、67X50、53X40、42X32,共有層 級(jí)總數(shù)k等于10,縮放過(guò)程中對(duì)長(zhǎng)寬像素?cái)?shù)目作了取整處理。對(duì)目標(biāo)物進(jìn)行檢測(cè)時(shí)，檢測(cè)窗 口從左到右、從上到下遍歷所述圖像金字塔模塊160的各層圖像，并且從所述圖像金字塔模 塊160的層級(jí)1到層級(jí)k依次對(duì)目標(biāo)物進(jìn)行檢測(cè)。
[0061] 進(jìn)一步地，請(qǐng)結(jié)合參照?qǐng)D7,為了提高所述機(jī)器視覺(jué)檢測(cè)系統(tǒng)的檢測(cè)速度，提供了 本發(fā)明機(jī)器視覺(jué)檢測(cè)系統(tǒng)實(shí)施例的不同尺度目標(biāo)物檢測(cè)的第二實(shí)施例。在所述圖像金字塔 模塊160構(gòu)建圖像集合的方法上，所述不同尺度目標(biāo)物檢測(cè)的第二實(shí)施例與所述不同尺度 目標(biāo)物檢測(cè)的第一實(shí)施例完全一樣。而在對(duì)目標(biāo)物進(jìn)行檢測(cè)時(shí)，所述不同尺度目標(biāo)物檢測(cè) 的第二實(shí)施例中的檢測(cè)窗口從左到右、從上到下遍歷所述圖像金字塔模塊160的各層圖像， 并且在所述圖像金字塔模塊160的所有層級(jí)圖像中同時(shí)對(duì)目標(biāo)物進(jìn)行檢測(cè)。
[0062] 需要說(shuō)明的是，所述機(jī)器視覺(jué)檢測(cè)系統(tǒng)采用特征數(shù)量適中、描述圖像紋理結(jié)構(gòu)信 息出色的LBP特征，合理構(gòu)造弱分類器的串并聯(lián)結(jié)構(gòu)，使之構(gòu)成強(qiáng)分類器。LBP特征值定義 為:將3X3窗口方格的中屯、格子的像素值分別與八個(gè)鄰域格子的像素值進(jìn)行比較，如果中 屯、格子的像素值大于或者等于鄰域格子的像素值，則該鄰域格子標(biāo)記為0，否則標(biāo)記為1。最 后將運(yùn)八個(gè)鄰域格子的標(biāo)記值按照一定順序編碼得到一個(gè)八位的無(wú)符號(hào)二進(jìn)制值，稱為該 3乂3窗口的1^8?特征值。
[0063] 具體地，請(qǐng)結(jié)合參照?qǐng)D8,所述機(jī)器視覺(jué)檢測(cè)系統(tǒng)采用的MB-LBP(Multi-Block Local Binary Patterns,分區(qū)局部二值模式)特征是LBP特征的擴(kuò)展形式。首先，分別計(jì)算 3 X 3個(gè)相同大小的矩形區(qū)域中的所有像素和，得到9個(gè)數(shù)值Υο、Yi、Y2、Y3、Y4、Y5、Y6、Y7、Yc，然 后對(duì)運(yùn)9個(gè)數(shù)值使用LBP特征計(jì)算方式獲取MB-LBP特征值。
[0064] 進(jìn)一步地，請(qǐng)結(jié)合參照?qǐng)D9,為了減少每次計(jì)算MB-LBP特征值過(guò)程中對(duì)矩形區(qū)域像 素求和的計(jì)算量，使用積分圖的思想。積分圖中每一個(gè)點(diǎn)的值是指從圖像的左上角到運(yùn)個(gè) 點(diǎn)所構(gòu)成的矩形區(qū)域內(nèi)所有像素之和。舉例來(lái)說(shuō)，在積分圖中F點(diǎn)的值代表矩形區(qū)域ABEF中 所有像素之和Si，G點(diǎn)的值代表矩形區(qū)域ACEG中所有像素之和S2，I點(diǎn)的值代表矩形區(qū)域ABHI 中所有像素之和S3 J點(diǎn)的值代表矩形區(qū)域ACHJ中所有像素之和S4。計(jì)算矩形區(qū)域FGIJ中所 有像素之和，可W使用S4-S2-S3+S1快速計(jì)算得到。對(duì)所述圖像金字塔模塊160的各層級(jí)圖像 構(gòu)造積分圖，W便在使用檢測(cè)窗口遍歷各層級(jí)圖像時(shí)可此陜速獲得相應(yīng)的MB-LBP特征值， 提局對(duì)目標(biāo)物的檢測(cè)速度。
[0065] 需要說(shuō)明的是，對(duì)目標(biāo)物進(jìn)行檢測(cè)的LBP特征級(jí)聯(lián)分類器由強(qiáng)分類器級(jí)聯(lián)構(gòu)成，而 各級(jí)強(qiáng)分類器又由作為基本單元的弱分類器級(jí)聯(lián)構(gòu)成。使用分類器對(duì)目標(biāo)物進(jìn)行檢測(cè)的過(guò) 程是:按順序使用各級(jí)強(qiáng)分類器對(duì)當(dāng)前檢測(cè)窗口進(jìn)行目標(biāo)物檢測(cè)。具體地，計(jì)算強(qiáng)分類器的 各個(gè)弱分類器對(duì)當(dāng)前檢測(cè)窗口的特征值，將特征值與弱分類器闊值進(jìn)行比較，然后查表獲 得影響因子，統(tǒng)計(jì)各個(gè)弱分類器輸出的影響因子之和并且與強(qiáng)分類器闊值進(jìn)行比較來(lái)判斷 當(dāng)前檢測(cè)窗口是否通過(guò)強(qiáng)分類器的檢測(cè)。如果當(dāng)前檢測(cè)窗口通過(guò)強(qiáng)分類器的檢測(cè)，則繼續(xù) 調(diào)用下一級(jí)強(qiáng)分類器對(duì)當(dāng)前檢測(cè)窗口進(jìn)行檢測(cè)，否則停止對(duì)當(dāng)前檢測(cè)窗口的檢測(cè)，重新對(duì) 下一個(gè)檢測(cè)窗口進(jìn)行檢測(cè)。只有通過(guò)所有強(qiáng)分類器檢測(cè)的檢測(cè)窗口，才被認(rèn)為存在目標(biāo)物。 所述弱分類器闊值、所述影響因子的查詢表數(shù)據(jù)W及所述強(qiáng)分類器闊值都是利用現(xiàn)有技 術(shù)，將數(shù)量充足、特征明顯的樣本圖片數(shù)據(jù)作為訓(xùn)練集輸入到計(jì)算機(jī)，運(yùn)行AdaBoost算法程 序而獲得。
[0066] 具體地，請(qǐng)結(jié)合參照?qǐng)D10,本發(fā)明機(jī)器視覺(jué)檢測(cè)系統(tǒng)實(shí)施例的LBP特征強(qiáng)分類器的 第一實(shí)施例采用串并混合方式進(jìn)行級(jí)聯(lián)。其中，第1級(jí)到第m級(jí)強(qiáng)分類器采用并聯(lián)方式同時(shí) 對(duì)當(dāng)前檢測(cè)窗口進(jìn)行檢測(cè)，每個(gè)強(qiáng)分類器的所有弱分類器同時(shí)對(duì)當(dāng)前檢測(cè)窗口計(jì)算特征 值。第m+1級(jí)到第n(n〉m)級(jí)強(qiáng)分類器采用串聯(lián)方式逐次對(duì)當(dāng)前檢測(cè)窗口進(jìn)行檢測(cè)，每個(gè)強(qiáng)分 類器同時(shí)使用r個(gè)弱分類器對(duì)當(dāng)前檢測(cè)窗口計(jì)算特征值，弱分類器總數(shù)少于r的強(qiáng)分類器的 所有弱分類器同時(shí)對(duì)當(dāng)前檢測(cè)窗口計(jì)算特征值。r越大檢測(cè)速度越快，而FPGA資源占用率越 大，本實(shí)施例中r的取值范圍為[1，10]。只有通過(guò)所有并聯(lián)強(qiáng)分類器檢測(cè)的檢測(cè)窗口，才被 輸入到串聯(lián)強(qiáng)分類器作進(jìn)一步檢測(cè)；只有通過(guò)所有強(qiáng)分類器檢測(cè)的檢測(cè)窗口才被認(rèn)為存在 目標(biāo)物。
[0067] 進(jìn)一步地，請(qǐng)結(jié)合參照?qǐng)D11，本發(fā)明機(jī)器視覺(jué)檢測(cè)系統(tǒng)實(shí)施例的LBP特征強(qiáng)分類器 的第二實(shí)施例采用并聯(lián)方式進(jìn)行級(jí)聯(lián)。所有強(qiáng)分類器同時(shí)對(duì)當(dāng)前檢測(cè)窗口進(jìn)行檢測(cè)，每個(gè) 強(qiáng)分類器的所有弱分類器同時(shí)對(duì)當(dāng)前檢測(cè)窗口計(jì)算特征值。只有通過(guò)所有強(qiáng)分類器檢測(cè)的 檢測(cè)窗口才被認(rèn)為存在目標(biāo)物。
[0068] 進(jìn)一步地，請(qǐng)結(jié)合參照?qǐng)D12,本發(fā)明機(jī)器視覺(jué)檢測(cè)系統(tǒng)實(shí)施例的LBP特征強(qiáng)分類器 的第Ξ實(shí)施例采用串聯(lián)方式進(jìn)行級(jí)聯(lián)。所有強(qiáng)分類器依次對(duì)當(dāng)前檢測(cè)窗口進(jìn)行檢測(cè)，每個(gè) 強(qiáng)分類器的所有弱分類器依次對(duì)當(dāng)前檢測(cè)窗口計(jì)算特征值。只有通過(guò)所有強(qiáng)分類器檢測(cè)的 檢測(cè)窗口才被認(rèn)為存在目標(biāo)物。
[0069] 所述圖像金字塔模塊160的所有圖像集合經(jīng)過(guò)所述LBP特征級(jí)聯(lián)分類器模塊170檢 測(cè)后，將檢測(cè)到的全部目標(biāo)物所在區(qū)域按對(duì)應(yīng)比例映射到原始分辨率的圖像上。在原始分 辨率圖像的同一位置被檢測(cè)到存在目標(biāo)物的數(shù)量多于第一數(shù)量闊值時(shí)，該位置被認(rèn)為是真 實(shí)目標(biāo)物所在區(qū)域，合并該位置的目標(biāo)物所在區(qū)域。在原始分辨率圖像的同一位置被檢測(cè) 到存在目標(biāo)物的數(shù)量少于或等于第一數(shù)量闊值時(shí)，該位置被認(rèn)為是由于噪聲干擾導(dǎo)致誤檢 或者根本檢測(cè)不出目標(biāo)物，從而該位置被認(rèn)為是非目標(biāo)物所在區(qū)域。本實(shí)施例中所述第一 數(shù)量闊值的取值范圍為[1，5]。
[0070] 本發(fā)明技術(shù)方案通過(guò)FPGA控制與處理模塊100、光強(qiáng)檢測(cè)模塊200、攝像頭模塊 300、圖像緩存模塊400、通信接口模塊500、上位機(jī)模塊600，形成了一種機(jī)器視覺(jué)檢測(cè)系統(tǒng)。
[0071] 本發(fā)明技術(shù)方案通過(guò)引入攝像頭組合和圖像拼接技術(shù)，W適應(yīng)不同檢測(cè)區(qū)域的應(yīng) 用場(chǎng)合的需要。根據(jù)檢測(cè)區(qū)域的大小，所述攝像頭模塊300采用單攝像頭或多攝像頭兩種方 式。在多攝像頭方式下，所有攝像頭按特定方式安置，確保同時(shí)采集相鄰區(qū)域的圖像，使之 比單攝像頭方式下采集更大區(qū)域范圍的圖像。同時(shí)，在多攝像頭方式下，通過(guò)所述圖像拼接 模塊151，將所述攝像頭模塊300的全部攝像頭同一時(shí)刻拍攝的圖像合并成一帖連貫且不重 復(fù)的圖像，使之比單攝像頭方式下輸出更大區(qū)域范圍的整帖圖像。
[0072] 本發(fā)明技術(shù)方案通過(guò)引入反饋方式使圖像采集系統(tǒng)的曝光時(shí)間達(dá)到最優(yōu)。所述光 強(qiáng)檢測(cè)模塊200對(duì)所述攝像頭模塊300的拍攝環(huán)境的光強(qiáng)進(jìn)行實(shí)時(shí)檢測(cè)，根據(jù)檢測(cè)到的光強(qiáng) 值動(dòng)態(tài)調(diào)整所述攝像頭模塊300的曝光時(shí)間。具體地，在所述攝像頭模塊300的曝光時(shí)間的 可設(shè)置范圍內(nèi)，光強(qiáng)值增大時(shí)適當(dāng)縮短曝光時(shí)間，光強(qiáng)值減小時(shí)適當(dāng)增長(zhǎng)曝光時(shí)間，使所述 攝像頭模塊300拍攝的圖像質(zhì)量更高，提高目標(biāo)物檢測(cè)的精度。從而解決了現(xiàn)有圖像采集系 統(tǒng)的曝光時(shí)間固定不變或者拍攝前人為設(shè)定，外部環(huán)境的光強(qiáng)變化使圖像質(zhì)量下降，對(duì)目 標(biāo)物檢測(cè)產(chǎn)生嚴(yán)重干擾的缺陷。
[0073] 本發(fā)明技術(shù)方案把對(duì)目標(biāo)物檢測(cè)的圖像處理集成在FPGA忍片上，通過(guò)進(jìn)行硬件并 行處理W提高處理速度。具體地，采用特征數(shù)量適中、描述圖像紋理結(jié)構(gòu)信息出色的LBP特 征，合理構(gòu)造弱分類器的串并聯(lián)結(jié)構(gòu)，使之構(gòu)成強(qiáng)分類器;并且將待檢測(cè)的圖像按比例縮小 W構(gòu)建金字塔狀排列的分辨率逐步降低的圖像集合，根據(jù)實(shí)際應(yīng)用場(chǎng)合中目標(biāo)物區(qū)域面積 占據(jù)整帖圖像面積的比例范圍，設(shè)置所述圖像金字塔模塊160的圖像集合的上限分辨率和 下限分辨率，所述圖像金字塔模塊160的各層存放分辨率不同的圖像，使用固定大小的檢測(cè) 窗口，調(diào)用串并聯(lián)結(jié)構(gòu)的LBP特征級(jí)聯(lián)分類器對(duì)所述圖像金字塔模塊160的各層圖像進(jìn)行目 標(biāo)物檢測(cè)，W獲取原始圖像中不同尺度的目標(biāo)物區(qū)域。本發(fā)明技術(shù)方案綜合考慮FPGA內(nèi)部 資源消耗及目標(biāo)物檢測(cè)效果兩個(gè)因素，采用合理的串并聯(lián)處理架構(gòu)，在保證足夠的檢測(cè)精 度下，獲得較高的檢測(cè)速度，同時(shí)，硬件配置成本合理。
[0074] W上所述僅為本發(fā)明的優(yōu)選實(shí)施例，并非因此限制本發(fā)明的專利范圍，凡是在本 發(fā)明的發(fā)明構(gòu)思下，利用本發(fā)明說(shuō)明書(shū)及附圖內(nèi)容所作的等效結(jié)構(gòu)變換，或直接/間接運(yùn)用 在其他相關(guān)的技術(shù)領(lǐng)域均包括在本發(fā)明的專利保護(hù)范圍內(nèi)。
【主權(quán)項(xiàng)】
1. 一種機(jī)器視覺(jué)檢測(cè)系統(tǒng)，其特征在于，所述機(jī)器視覺(jué)檢測(cè)系統(tǒng)包括FPGA (Field-Programmable Gate Array,現(xiàn)場(chǎng)可編程門(mén)陣列）控制與處理模塊、光強(qiáng)檢測(cè)模塊、攝像頭 模塊、圖像緩存模塊、通信接口模塊、上位機(jī)模塊;所述光強(qiáng)檢測(cè)模塊、所述攝像頭模塊、所 述圖像緩存模塊、所述通信接口模塊都與所述FPGA控制與處理模塊電連接;所述通信接口 模塊與所述上位機(jī)模塊電連接;其中， 所述光強(qiáng)檢測(cè)模塊，用于檢測(cè)所述攝像頭模塊拍攝的環(huán)境的光強(qiáng)并轉(zhuǎn)換成對(duì)應(yīng)的光強(qiáng) 信號(hào)輸入至所述FPGA控制與處理模塊； 所述攝像頭模塊，用于采集圖像并轉(zhuǎn)換成對(duì)應(yīng)的圖像數(shù)據(jù)輸入至所述FPGA控制與處理 模塊;根據(jù)檢測(cè)區(qū)域的大小，所述攝像頭模塊采用單攝像頭或多攝像頭兩種方式;在多攝像 頭方式下，所有攝像頭按特定方式安置，確保同時(shí)采集相鄰區(qū)域的圖像，使之比單攝像頭方 式下采集更大區(qū)域范圍的圖像； 所述圖像緩存模塊，用于緩存所述攝像頭模塊采集的圖像的灰度化數(shù)據(jù)，解決圖像采 集與圖像處理對(duì)圖像數(shù)據(jù)存取時(shí)間不一致的沖突； 所述通信接口模塊，用于對(duì)所述FPGA控制與處理模塊和所述上位機(jī)模塊之間傳輸?shù)男?號(hào)進(jìn)行電平轉(zhuǎn)換； 所述上位機(jī)模塊，用于顯示所述機(jī)器視覺(jué)檢測(cè)系統(tǒng)的檢測(cè)結(jié)果，包括目標(biāo)物所在區(qū)域 位置和目標(biāo)物所在區(qū)域大??； 所述FPGA控制與處理模塊，用于配置所述攝像頭模塊的參數(shù)，給所述光強(qiáng)檢測(cè)模塊下 達(dá)檢測(cè)使能信號(hào)并且通過(guò)檢測(cè)反饋的光強(qiáng)信號(hào)配置所述攝像頭模塊的曝光時(shí)間;然后將所 述攝像頭模塊采集的圖像進(jìn)行數(shù)據(jù)格式轉(zhuǎn)換、緩存至所述圖像緩存模塊以及進(jìn)行目標(biāo)物檢 測(cè)；當(dāng)所述攝像頭模塊采用多攝像頭方式時(shí)，進(jìn)行目標(biāo)物檢測(cè)前需要將相鄰攝像頭拍攝的 圖像的邊緣進(jìn)行拼接，使相鄰攝像頭拍攝的交界區(qū)域都能進(jìn)行有效的目標(biāo)物檢測(cè)；最后將 檢測(cè)結(jié)果通過(guò)所述通信接口模塊上傳至所述上位機(jī)模塊進(jìn)行顯示。2. 如權(quán)利要求1所述的機(jī)器視覺(jué)檢測(cè)系統(tǒng)，其特征在于，所述FPGA控制與處理模塊包 括光強(qiáng)檢測(cè)使能模塊、攝像頭配置模塊、圖像格式轉(zhuǎn)換模塊、圖像緩存控制模塊、圖像拼接 使能模塊、圖像拼接模塊、圖像金字塔模塊、LBP(Local Binary Patterns,局部二值模式） 特征級(jí)聯(lián)分類器模塊、目標(biāo)區(qū)域處理模塊、通信接口控制模塊;所述光強(qiáng)檢測(cè)使能模塊與所 述光強(qiáng)檢測(cè)模塊的輸入端連接，所述光強(qiáng)檢測(cè)模塊的輸出端經(jīng)所述攝像頭配置模塊與所述 攝像頭模塊的輸入端連接，所述攝像頭模塊的輸出端經(jīng)所述圖像格式轉(zhuǎn)換模塊與所述圖像 緩存控制模塊的輸入端連接，所述圖像緩存控制模塊與所述圖像緩存模塊進(jìn)行雙向傳輸， 所述圖像緩存控制模塊的輸出端經(jīng)所述圖像拼接模塊與所述圖像金字塔模塊的輸入端連 接，所述圖像拼接使能模塊與所述圖像拼接模塊連接，所述圖像金字塔模塊的輸出端經(jīng)所 述LBP特征級(jí)聯(lián)分類器模塊與所述目標(biāo)區(qū)域處理模塊的輸入端連接，所述目標(biāo)區(qū)域處理模 塊的輸出端與所述通信接口控制模塊的輸入端連接，所述通信接口控制模塊與所述通信接 口模塊進(jìn)行雙向傳輸;其中， 所述光強(qiáng)檢測(cè)使能模塊，用于在所述機(jī)器視覺(jué)檢測(cè)系統(tǒng)工作時(shí)，通過(guò)給所述光強(qiáng)檢測(cè) 模塊下達(dá)使能信號(hào)使之工作； 所述攝像頭配置模塊，用于配置所述攝像頭模塊的參數(shù)，以及根據(jù)所述光強(qiáng)檢測(cè)模塊 反饋的光強(qiáng)信號(hào)配置所述攝像頭模塊的曝光時(shí)間； 所述圖像格式轉(zhuǎn)換模塊，用于將所述攝像頭模塊拍攝的圖像數(shù)據(jù)進(jìn)行灰度值格式轉(zhuǎn) 換； 所述圖像緩存控制模塊，用于控制所述圖像格式轉(zhuǎn)換模塊輸出的灰度圖像數(shù)據(jù)輸入至 所述圖像緩存模塊，以及控制所述圖像緩存模塊輸出的灰度圖像數(shù)據(jù)輸入至所述圖像拼接 豐旲塊； 所述圖像拼接使能模塊，用于控制所述圖像拼接模塊的工作模式；當(dāng)所述攝像頭模塊 采用多攝像頭方式時(shí)，所述圖像拼接使能模塊給所述圖像拼接模塊發(fā)送使能信號(hào)；當(dāng)所述 攝像頭模塊采用單攝像頭方式時(shí)，所述圖像拼接使能模塊給所述圖像拼接模塊發(fā)送非使能 信號(hào)； 所述圖像拼接模塊，用于處理所述圖像緩存控制模塊輸出的圖像數(shù)據(jù)；當(dāng)從所述圖像 拼接使能模塊接收到使能信號(hào)時(shí)，所述圖像拼接模塊將所述圖像緩存控制模塊輸出的所述 攝像頭模塊全部攝像頭同一時(shí)刻拍攝的圖像數(shù)據(jù)合并成一幀連貫且不重復(fù)、邊界拼接縫隙 不明顯的圖像數(shù)據(jù)，然后將整幀圖像數(shù)據(jù)輸出至所述圖像金字塔模塊；當(dāng)從所述圖像拼接 使能模塊接收到非使能信號(hào)時(shí)，所述圖像拼接模塊將所述圖像緩存控制模塊輸出的圖像數(shù) 據(jù)直接輸出至所述圖像金字塔模塊； 所述圖像金字塔模塊，用于將所述圖像拼接模塊輸出的每幀灰度圖按比例縮小以構(gòu)建 金字塔狀排列的分辨率逐步降低的圖像集合，并且根據(jù)實(shí)際應(yīng)用場(chǎng)合中目標(biāo)物區(qū)域面積占 據(jù)整幀圖像面積的比例范圍，設(shè)置所述圖像金字塔模塊的圖像集合的上限分辨率和下限分 辨率，所述圖像金字塔模塊的各層存放分辨率不同的圖像； 所述LBP特征級(jí)聯(lián)分類器模塊，用于使用固定大小的檢測(cè)窗口，調(diào)用串并聯(lián)結(jié)構(gòu)的LBP 特征級(jí)聯(lián)分類器對(duì)所述圖像金字塔模塊的各層圖像進(jìn)行目標(biāo)物檢測(cè)，以獲取原始圖像中不 同尺度的目標(biāo)物所在區(qū)域； 所述目標(biāo)區(qū)域處理模塊，用于將所述LBP特征級(jí)聯(lián)分類器模塊檢測(cè)到的全部目標(biāo)物所 在區(qū)域按對(duì)應(yīng)比例映射到原始分辨率的圖像上;在原始分辨率圖像的同一位置，利用所述 LBP特征級(jí)聯(lián)分類器模塊檢測(cè)到存在目標(biāo)物的數(shù)量多于第一數(shù)量閾值時(shí)，該位置被認(rèn)為是 真實(shí)目標(biāo)物所在區(qū)域，合并該位置的目標(biāo)物所在區(qū)域;在原始分辨率圖像的同一位置，利用 所述LBP特征級(jí)聯(lián)分類器模塊檢測(cè)到存在目標(biāo)物的數(shù)量少于或等于第一數(shù)量閾值時(shí)，該位 置被認(rèn)為是非目標(biāo)物所在區(qū)域，刪除該位置的目標(biāo)物所在區(qū)域，從而得到最終的目標(biāo)物檢 測(cè)結(jié)果； 所述通信接口控制模塊，用于在串行通信時(shí)序方式下通過(guò)所述通信接口模塊，使所述 FPGA控制與處理模塊與所述上位機(jī)模塊進(jìn)行雙向通信。3. 如權(quán)利要求1至2中任意一項(xiàng)所述的機(jī)器視覺(jué)檢測(cè)系統(tǒng)，其特征在于，所述光強(qiáng)檢測(cè) 模塊包括光電傳感器、信號(hào)調(diào)理電路、放大濾波電路及模數(shù)轉(zhuǎn)換電路;所述光電傳感器與所 述信號(hào)調(diào)理電路的輸入端連接，所述信號(hào)調(diào)理電路的輸出端經(jīng)所述放大濾波電路與所述模 數(shù)轉(zhuǎn)換電路的輸入端連接，所述模數(shù)轉(zhuǎn)換電路的輸出端與所述FPGA控制與處理模塊連接。4. 如權(quán)利要求1至2中任意一項(xiàng)所述的機(jī)器視覺(jué)檢測(cè)系統(tǒng)，其特征在于，所述圖像緩存 模塊米用SDRAM(Synchronous Dynamic Random-Access Memory，同步動(dòng)態(tài)隨機(jī)存儲(chǔ)器）實(shí) 現(xiàn)，所述SDRAM與所述FPGA控制與處理模塊電連接。5. 如權(quán)利要求1至2中任意一項(xiàng)所述的機(jī)器視覺(jué)檢測(cè)系統(tǒng)，其特征在于，所述上位機(jī)模 塊采用計(jì)算機(jī)或嵌入式設(shè)備實(shí)現(xiàn)。
【文檔編號(hào)】G06K9/62GK105825219SQ201610305198
【公開(kāi)日】2016年8月3日
【申請(qǐng)日】2016年5月10日
【發(fā)明人】梁偉棠
【申請(qǐng)人】梁偉棠