本實用新型涉及一種具有運動目標檢測與跟蹤功能的機器人視覺系統(tǒng)及機器人。

背景技術：

隨著機器人技術的迅猛發(fā)展,機器人承擔的任務更加復雜多樣,傳統(tǒng)的檢測手段往往面臨著檢測范圍的局限性和檢測手段的單一性。機器視覺伺服控制利用視覺信息作為反饋,對環(huán)境進行非接觸式的測量,具有更大的信息量,提高了機器人系統(tǒng)的靈活性和精確性,在機器人控制中具有不可替代的作用。

機器視覺系統(tǒng)就是將攝像機獲取的目標圖像數據發(fā)送到圖像處理單元，處理模塊根據圖像中目標物體表面的信息，判別出圖像中目標物體的特征，再根據特征發(fā)出對應的信號，讓運動模塊來控制現場的設備動作。機器視覺技術已經一步一步走向成熟，并成為現代工業(yè)中的核心技術，廣泛應用于電子制造、食品、制藥、包裝以及城市交通等行業(yè)，對提高企業(yè)的生產競爭力發(fā)揮著越來越重要的作用。

技術實現要素：

本實用新型的目的是提供一種具有運動目標檢測與跟蹤功能的機器人視覺系統(tǒng)，以實現了對運動目標的檢測和跟蹤。

為了解決上述技術問題，本實用新型提供了一種具有運動目標檢測與跟蹤功能的機器人視覺系統(tǒng)，包括：CMOS圖像傳感器、圖像處理器單元；所述CMOS圖像傳感器將采集的圖像信息發(fā)送至圖像處理器單元；其中所述圖形處理器模塊適于采用嵌入ARM硬核的FPGA處理器，其包括：可編程邏輯PL端，且該可編程邏輯PL端內包括：CMOS圖像傳感器時序發(fā)生與數據接收模塊，以及與該CMOS圖像傳感器時序發(fā)生與數據接收模塊相連的Bayer轉RGB格式模塊，與該Bayer轉RGB格式模塊相連的運動目標檢測與跟蹤處理模塊；并且所述可編程邏輯PL端還設有圖像輸入連接端、圖像輸出連接端；所述CMOS圖像傳感器的輸出端與圖形處理器模塊的圖像輸入連接端相連；所述圖形處理器模塊的圖像輸出連接端與外部顯示模塊相連；以及所述圖形處理器模塊通過內置的DDR存儲控制器與片外存儲器的通信，以存儲圖像數據流。

進一步，所述圖像處理器單元還包括PS端，且PS端與可編程邏輯PL端通過AXI總線進行互聯。

進一步，所述PS端設有相應外設接口，即SD卡接口、以太網接口、USB接口和CAN通訊接口。

又一方面，本實用新型還提供了一種機器人，以解決機器人視覺處理的技術問題。

為了解決上述技術問題，本實用新型提供的技術方案：所述機器人采用上述機器人視覺系統(tǒng)，其中所述CMOS圖像傳感器為4個，且面向前后左右的四個方向。

進一步，所述機器人包括：主處理器，所述主處理器通過CAN總線與圖像處理器單元相連，以獲得機器人視覺系統(tǒng)采集的視頻數據，并在視頻數據中識別目標，并根據目標控制機械手實現相應動作。

本實用新型的有益效果是，本實用新型的機器人視覺系統(tǒng)及機器人將ARM的強大計算功能和FPGA的拓展功能進行結合，具有很強的拓展性，能夠提供多種接口滿足不同場合需要，并且具有較強的圖像預處理功能，并且通過以太網接口接受遠程控制并遠程傳輸對運動目標的檢測和跟蹤結果。

附圖說明

下面結合附圖和實施例對本實用新型進一步說明。

圖1是本實用新型的機器人視覺系統(tǒng)的原理框圖；

圖2是本實用新型的圖像處理器單元的原理框圖。

具體實施方式

現在結合附圖對本實用新型作進一步詳細的說明。這些附圖均為簡化的示意圖，僅以示意方式說明本實用新型的基本結構，因此其僅顯示與本實用新型有關的構成。

實施例1

如圖1所示，本實施例1提供了一種具有運動目標檢測與跟蹤功能的機器人視覺系統(tǒng)，包括：

CMOS圖像傳感器、圖像處理器單元；所述CMOS圖像傳感器將采集的圖像信息發(fā)送至圖像處理器單元；其中所述圖形處理器模塊適于采用嵌入ARM硬核的FPGA處理器，其包括：可編程邏輯PL端，且該可編程邏輯PL端內包括：CMOS圖像傳感器時序發(fā)生與數據接收模塊，以及與該CMOS圖像傳感器時序發(fā)生與數據接收模塊相連的Bayer轉RGB格式模塊，與該Bayer轉RGB格式模塊相連的運動目標檢測與跟蹤處理模塊；并且所述可編程邏輯PL端還設有圖像輸入連接端、圖像輸出連接端；所述CMOS圖像傳感器的輸出端與圖形處理器模塊的圖像輸入連接端相連；所述圖形處理器模塊的圖像輸出連接端與外部顯示模塊相連；以及所述圖形處理器模塊通過內置的DDR存儲控制器與片外存儲器的通信，以存儲圖像數據流。

所述圖像處理器單元還包括PS端，且PS端與可編程邏輯PL端通過AXI總線進行互聯。

具體的，本圖像處理器單元例如但不限于采用Xilinx公司的Zynq-7020處理器，所述Zynq-7020處理器為嵌入ARM硬核的FPGA處理器，且集成了雙核ARM Cortex-A9處理器的PS端和可編程邏輯PL端。其中PL端通過內部多組的AXI總線互連掛載在PS端實現控制；并且PS端還包括但不限于片上存儲器和若干外部存儲器接口。

具體的，首先用CMOS圖像傳感器采集圖像信號，所述CMOS圖像傳感器的輸出格式為Bayer格式，將其進行轉換為RGB格式，再存儲到片外存儲器(DDR3存儲器)中，以作為圖像緩存使用，隨后從片外存儲器中提取圖像數據并對RGB格式圖像通過運動目標檢測與跟蹤處理模塊進行處理，例如但不限于濾波預處理(高斯濾波)去除圖像采集過程中產生的噪點，三幀差分法進行目標檢測工作，將檢測出運動的目標進行形態(tài)學處理，對檢測出來的目標進行跟蹤，并將跟蹤目標加以標定，將滿足條件的標定目標進行顯示，或通過設定的接口將檢測結果傳送給計算機或機器人控制處理單元(如實施例2中的主處理器)進行處理。上述運動目標檢測與跟蹤處理模塊的處理方法屬于現有技術，本機器人視覺系統(tǒng)未對該處理方法做出相應改進。

所述PS端設有相應外設接口，即SD卡接口、以太網接口、USB接口和CAN通訊接口，具體的，以太網通信模塊由PS端控制，實現遠程控制和訪問請求。

所述CMOS圖像傳感器例如但不限于選用Micron Technology公司生產的1/3英寸、寬VGA和全局快門(Global Shutter)的CMOS圖像傳感器MT9V034，MT9V034圖像傳感器內部集成了AD和預處理電路，對環(huán)境的適應能力比較強，動態(tài)范圍能達到90dB+，遠遠高于普通CMOS傳感器的60dB。MT9V034圖像傳感器通過并行的方式與FPGA接口，D0-D9為CMOS的10條數據線，輸出格式為RAW格式的數據。RAW是一種紀錄的是傳感器的原始信息，同時紀錄拍攝時的一些元數據(Metadata，如ISO設置、快門速度、光圈、白平衡等)的文件，PCK 為CMOS輸出時鐘信號，下降沿有效。XCK為主時鐘，本機器人視覺系統(tǒng)接入的是27MHz外部晶振。LIV和FRV分別為行同步信號和幀同步信號。對于分辨率為752x480的圖像，CMOS先是通過725個PCK下降沿來采集某行數據，由LIV產生480個換行信號后表示為采集完一幀圖像數據，然后FRV計數器清零，重新從第一行采集下一幀數據進入下一輪采集。采集到的數據通過10條數據線送到FPGA中進行處理。

Zynq-7020處理器的內部模塊劃分如圖2所示，具體的，PS端通過AMBA控制器完成PL端與片外存儲器的通信，實現圖像存儲流程。顯示通路與圖像存儲通路相反，PS端在片外存儲器上開辟一塊顯示內存區(qū)域，作為視頻顯示的數據區(qū)，通過VGA顯示時序發(fā)生模塊連接至外部顯示器完成實時監(jiān)測顯示。PS端還通過以太網控制器、USB控制器、CAN總線控制器、SD/SDIO控制器提供以太網通信接口、USB接口、CAN通訊接口和SD卡接口。

CMOS圖像傳感器時序發(fā)生與數據接收模塊適于產生與CMOS圖像傳感器相配合的接口時序并接收數據。LIV和FRV分別為行同步信號和幀同步信號。CMOS圖像傳感器先是通過PCK下降沿來采集某行數據，由LIV產生相應行數數目的換行信號后表示為采集完一幀圖像數據，然后FRV計數器清零，重新從第一行采集下一幀數據進入下一輪采集，將采集到的數據通過數據線送到CMOS圖像傳感器時序發(fā)生與數據接收模塊處理。

實施例2

在實施例1基礎上，本實施例2提供了一種機器人。

所述機器人適于采用如實施例1所述的機器人視覺系統(tǒng)，其中所述CMOS圖像傳感器為4個，且面向前后左右的四個方向。

所述機器人包括：主處理器，所述主處理器通過CAN總線與圖像處理器單元相連，以獲得所述機器人視覺系統(tǒng)采集的視頻數據，并在視頻數據中識別目標，并根據目標控制機械手實現相應動作。

其中，相應動作具體指控制機械手實現抓取、搖擺等動作。

以上述依據本實用新型的理想實施例為啟示，通過上述的說明內容，相關工作人員完全可以在不偏離本項實用新型技術思想的范圍內，進行多樣的變更以及修改。本項實用新型的技術性范圍并不局限于說明書上的內容，必須要根據權利要求范圍來確定其技術性范圍。