基于移動機(jī)器人平臺的分布式行人檢測系統(tǒng)和方法
【專利摘要】本發(fā)明公開了一種基于移動機(jī)器人平臺的分布式行人檢測系統(tǒng)和方法。本系統(tǒng)包括移動機(jī)器人平臺及其搭載的微軟公司Kinect攝像機(jī)，桌面計(jì)算機(jī)和網(wǎng)絡(luò)通信設(shè)備。本方法是將當(dāng)前各種成熟與行人相關(guān)的檢測算法和機(jī)器人操作系統(tǒng)ROS（RobotOperatingSystem）融合起來，采用機(jī)器人操作系統(tǒng)ROS分布式計(jì)算節(jié)點(diǎn)來計(jì)算行人的各種特征，主要是梯度直方圖HOG（HistogramofGradients），人臉檢測節(jié)點(diǎn)，上身梯度直方圖HOG節(jié)點(diǎn)，膚色檢測節(jié)點(diǎn)，點(diǎn)云檢測節(jié)點(diǎn)和姿態(tài)檢測節(jié)點(diǎn)，并將計(jì)算的各種特征數(shù)據(jù)綜合融合，以達(dá)到在機(jī)器人移動過程中，能穩(wěn)定地跟蹤行人目標(biāo)，提高檢測的準(zhǔn)確率。本發(fā)明的實(shí)施例主要用于移動機(jī)器人圖像中的行人檢測計(jì)算，特別是在移動機(jī)器人行人檢測計(jì)算以便用于人機(jī)交互。
【專利說明】基于移動機(jī)器人平臺的分布式行人檢測系統(tǒng)和方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明公開了一種基于移動機(jī)器人平臺的分布式行人檢測系統(tǒng)和方法，涉及機(jī)器人視覺，模式識別技術(shù)和基于機(jī)器人操作系統(tǒng)ROS的分布式計(jì)算領(lǐng)域。
【背景技術(shù)】
[0002]行人檢測是將來的智能車輛輔助駕駛系統(tǒng)所必需的，它能有效地輔助在市區(qū)環(huán)境中駕駛車輛的駕駛員及時地對外界環(huán)境做出反應(yīng)，避免碰撞行人，減少交通事故的發(fā)生。人體檢測還可以用于視頻監(jiān)控的安全實(shí)時系統(tǒng)從連續(xù)的視頻片斷中分析和檢測出侵入的行為，保障個人和公共人身財產(chǎn)安全。
[0003]移動機(jī)器人平臺準(zhǔn)確地檢測人是移動機(jī)器人實(shí)時跟蹤人的基礎(chǔ)，是機(jī)器人在人文環(huán)境中人機(jī)交互的前提條件。行人檢測廣泛的用于公共安全，視頻監(jiān)控，智能輔助駕駛技術(shù)以及交通監(jiān)管和機(jī)器人人機(jī)交互等系統(tǒng)。行人的許多變化，如所穿衣服顏色和款式，姿勢和光照等等因素，使得很難區(qū)分行人和其他物體。
[0004]Kinect XB0X360是微軟在2009年6月2日的E3大展上正式公布的XB0X360體感周邊外設(shè)。它是一種3D體感攝影機(jī)，同時它導(dǎo)入了即時動態(tài)捕捉、影像辨識、麥克風(fēng)輸入、語音辨識等功能。目前，Kinect XB0X360可以通過USB接口與機(jī)器人控制器相連，是移動機(jī)器人三維視覺數(shù)據(jù)的有效來源。
[0005]機(jī)器人操作系統(tǒng)Robot Operating System(ROS)是開源軟件支持商Willow Garage公司發(fā)布針對機(jī)器人軟件開發(fā)，簡化機(jī)器人軟件開發(fā)的周期，提高機(jī)器人研發(fā)領(lǐng)域代碼復(fù)用率。機(jī)器人操作系統(tǒng)ROS提供各種庫和工具幫助軟件開發(fā)者開發(fā)機(jī)器人應(yīng)用，包括硬件抽象層，硬件驅(qū)動，虛擬化工具，消息傳遞，軟件包管理。機(jī)器人操作系統(tǒng)ROS集成的開源軟件庫是機(jī)器人視覺處理的必備組件，包括圖像處理庫OpenCV(Open Computer VisionLibrary)，三維點(diǎn)云處理庫 PCL (Point Cloud Library)等。
[0006]在ROS中，程序運(yùn)行時，所有進(jìn)程以及他們所進(jìn)行的數(shù)據(jù)處理，將會通過一種點(diǎn)對點(diǎn)的網(wǎng)絡(luò)形式表現(xiàn)出來，其中包括重要的概念:節(jié)點(diǎn)(節(jié)點(diǎn)就是一些執(zhí)行運(yùn)算任務(wù)的進(jìn)程)。ROS利用規(guī)模可增長的方式使代碼模塊化:一個系統(tǒng)就是典型的很多節(jié)點(diǎn)組成的。節(jié)點(diǎn)也可以被稱之為“軟件模塊”。當(dāng)許多節(jié)點(diǎn)同時運(yùn)行時，節(jié)點(diǎn)之間是通過傳送消息進(jìn)行通訊的。

【發(fā)明內(nèi)容】

[0007]為了克服上述現(xiàn)有技術(shù)的不足和利用機(jī)器人操作系統(tǒng)ROS的優(yōu)勢，本發(fā)明提供了一種基于移動機(jī)器人平臺的分布式行人檢測系統(tǒng)和方法，解決在機(jī)器人移動過程中很難區(qū)分行人的問題，能穩(wěn)定地跟蹤行人目標(biāo)，提高檢測的準(zhǔn)確率。
[0008]為了達(dá)到上述目的，本發(fā)明的構(gòu)思是:當(dāng)前各種成熟與行人相關(guān)的檢測算法和機(jī)器人操作系統(tǒng)ROS (Robot Operating System)融合起來,采用機(jī)器人操作系統(tǒng)ROS分布式計(jì)算節(jié)點(diǎn)來計(jì)算行人的各種特征，并將計(jì)算的各種特征數(shù)據(jù)綜合融合，以達(dá)到在機(jī)器人移動過程中，能穩(wěn)定地跟蹤行人目標(biāo)，提高檢測的準(zhǔn)確率。[0009]根據(jù)上述發(fā)明構(gòu)思，本發(fā)明采用下述技術(shù)方案:
一種基于移動機(jī)器人平臺的分布式行人檢測系統(tǒng)，包括桌面計(jì)算機(jī)和微軟公司的Kinect XB0X360攝像頭,其特征在于:所述桌面計(jì)算機(jī)無線通信連接一個移動計(jì)算控制器，所述微軟公司的Kinect XB0X360攝像頭安裝在移動機(jī)器人上面，通過USB接口連接移動機(jī)器人控制器，所述移動機(jī)器人控制器獲取Kinect XB0X360攝像頭對行人攝取的RGB彩色和深度圖像經(jīng)過處理之后，再通過圖像傳輸鏈和數(shù)據(jù)傳輸鏈發(fā)送到桌面計(jì)算機(jī)。
[0010]一種基于移動機(jī)器人平臺的分布式的行人檢測方法，采用上述系統(tǒng)進(jìn)行檢測，其特征在于:其操作步驟如下:
(2.1)創(chuàng)建圖像獲取節(jié)點(diǎn):利用已知的機(jī)器人操作系統(tǒng)ROS的分布式計(jì)算特性，在移動機(jī)器人控制器攜帶的嵌入式操作電腦上創(chuàng)建打開Kinect XB0X360攝像頭的節(jié)點(diǎn)，獲取Kinect的圖像數(shù)據(jù)，并發(fā)布Kinect XB0X360攝像頭的RGB圖像數(shù)據(jù)和深度圖像數(shù)據(jù)；利用Zeroconf技術(shù)，移動機(jī)器人控制器攜帶的電腦通過網(wǎng)絡(luò)連接到桌面計(jì)算機(jī)；
(2.2)創(chuàng)建各計(jì)算節(jié)點(diǎn):Kinect XB0X360攝像頭發(fā)布的圖像數(shù)據(jù)包含RGB圖像，紅外圖像和深度圖像，各計(jì)算節(jié)點(diǎn)分別從上述圖像中計(jì)算與行人相關(guān)的信息；本步驟(2.2)包含以下計(jì)算節(jié)點(diǎn):
①梯度直方圖HOG節(jié)點(diǎn):梯度直方圖HOG節(jié)點(diǎn)訂閱KinectXB0X360攝像頭發(fā)布的RGB圖像數(shù)據(jù)，采用OpenCV圖像處理庫中集成的HOG算法提取圖像局部行人目標(biāo)的表象和形狀的HOG特征，然后利用支持向量機(jī)算法SVM進(jìn)行模式分類，檢測行人和確定行人所在的區(qū)域；
②人臉檢測節(jié)點(diǎn):機(jī)器人操作系統(tǒng)ROS中集成OpenCV開源圖像處理庫，直接調(diào)用OpenCV庫中人臉檢測算法創(chuàng)建人臉檢測節(jié)點(diǎn)，訂閱Kinect XB0X360攝像頭發(fā)布的RGB圖像，計(jì)算行人臉部所在的區(qū)域；
③行人上半身梯度直方圖HOG節(jié)點(diǎn):在室內(nèi)環(huán)境中，人體的下半身容易被遮擋，運(yùn)用OpenCV梯度直方圖HOG算法創(chuàng)建行人上半身檢測節(jié)點(diǎn)，檢測識別Kinect XB0X360攝像頭發(fā)布的RGB圖像中人體的上半身提高室內(nèi)環(huán)境行人檢測的準(zhǔn)確率；
④膚色檢測節(jié)點(diǎn):皮膚的檢測是圖片中行人存在的重要線索，在機(jī)器人操作系統(tǒng)ROS中創(chuàng)建膚色檢測節(jié)點(diǎn)，調(diào)用OpenCV圖像庫中的膚色檢測器檢測行人膚色區(qū)域；
⑤點(diǎn)云檢測節(jié)點(diǎn):根據(jù)人體的三維特征信息，創(chuàng)建點(diǎn)云數(shù)據(jù)檢測節(jié)點(diǎn)，訂閱KinectXB0X360攝像頭發(fā)布的點(diǎn)云數(shù)據(jù)，運(yùn)用PCL點(diǎn)云數(shù)據(jù)處理庫在三維空間位置中檢測出行人信息；
⑥姿態(tài)檢測節(jié)點(diǎn):骨骼追蹤技術(shù)通過處理深度數(shù)據(jù)來建立人體各個關(guān)節(jié)的坐標(biāo)，骨骼追蹤能夠確定人體的各個部分，利用Kinect XB0X360攝像頭的發(fā)布的數(shù)據(jù)信息，提取人體的骨骼坐標(biāo)組成人體骨骼框架，作為行人檢測的重要因素；
(2.3)創(chuàng)建人體信息融合節(jié)點(diǎn):將步驟(2.2)各計(jì)算節(jié)點(diǎn)的行人信息融合在一起，最終輸出行人檢測結(jié)果。
[0011]本發(fā)明與現(xiàn)有技術(shù)相比，具有如下顯而易見的突出實(shí)質(zhì)性特點(diǎn)和顯著優(yōu)點(diǎn):本發(fā)明在移動機(jī)器人平臺上更加準(zhǔn)確地檢測出行人。這樣在移動機(jī)器人平臺上，機(jī)器人能更好地在人的環(huán)境中人機(jī)交互?！緦＠綀D】

【附圖說明】
[0012]圖1為本發(fā)明的方法框圖。
[0013]圖2為本發(fā)明的一個實(shí)施例的系統(tǒng)結(jié)構(gòu)示意圖。
【具體實(shí)施方式】
[0014]下面結(jié)合附圖對本發(fā)明中的優(yōu)選實(shí)施例進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明的一部分實(shí)施例。
[0015]實(shí)施例一:
參見圖2，本基于移動機(jī)器人平臺的分布式行人檢測系統(tǒng)，包括桌面計(jì)算機(jī)(I)和微軟公司的Kinect XB0X360攝像頭(3)，其特征在于:所述桌面計(jì)算機(jī)(I)無線通信連接一個移動計(jì)算控制器(2)，所述微軟公司的Kinect XB0X360攝像頭(3)安裝在移動機(jī)器人上面，通過USB接口連接移動機(jī)器人控制器(2 )，所述移動機(jī)器人控制器(2 )獲取Kinect XB0X360攝像頭(3)對行人(4)攝取的RGB彩色和深度圖像經(jīng)過處理之后，再通過圖像傳輸鏈和數(shù)據(jù)傳輸鏈發(fā)送到桌面計(jì)算機(jī)(I)。
[0016]實(shí)施例二:
參見圖1，本基于移動機(jī)器人平臺的分布式行人檢測方法，采用上述系統(tǒng)進(jìn)行檢測，其特征在于將當(dāng)前各種成熟與行人相關(guān)的檢測算法和機(jī)器人操作系統(tǒng)ROS融合起來，采用機(jī)器人操作系統(tǒng)ROS分布式計(jì)算節(jié)點(diǎn)來計(jì)算行人的各種特征，并將計(jì)算的各種特征數(shù)據(jù)綜合融合，以達(dá)到在機(jī)器人移動過程中，能穩(wěn)定地跟蹤行人目標(biāo)，提高檢測的準(zhǔn)確率；
其操作步驟如下:
(2.1)創(chuàng)建圖像獲取節(jié)點(diǎn):利用已知的機(jī)器人操作系統(tǒng)ROS的分布式計(jì)算特性，在移動機(jī)器人控制器(2)攜帶的嵌入式操作電腦上創(chuàng)建打開Kinect XB0X360攝像頭(3)的節(jié)點(diǎn)，獲取Kinect的圖像數(shù)據(jù)，并發(fā)布Kinect XB0X360攝像頭(3)的RGB圖像數(shù)據(jù)和深度圖像數(shù)據(jù)；利用ZeiOconf技術(shù)，移動機(jī)器人控制器(2)攜帶的電腦通過網(wǎng)絡(luò)連接到桌面計(jì)算機(jī)(O;
(2.2)創(chuàng)建各計(jì)算節(jié)點(diǎn):Kinect XB0X360攝像頭(3)發(fā)布的圖像數(shù)據(jù)包含RGB圖像，紅外圖像和深度圖像，各計(jì)算節(jié)點(diǎn)分別從上述圖像中計(jì)算與行人(4)相關(guān)的信息；本步驟(2.2)包含以下計(jì)算節(jié)點(diǎn):
①梯度直方圖HOG節(jié)點(diǎn):梯度直方圖HOG節(jié)點(diǎn)訂閱KinectXB0X360攝像頭(3)發(fā)布的RGB圖像數(shù)據(jù)，采用OpenCV圖像處理庫中集成的HOG算法提取圖像局部行人(4)目標(biāo)的表象和形狀的HOG特征，然后利用支持向量機(jī)算法SVM進(jìn)行模式分類，檢測行人(4)和確定行人(4)所在的區(qū)域；
②人臉檢測節(jié)點(diǎn):機(jī)器人操作系統(tǒng)ROS中集成OpenCV開源圖像處理庫，直接調(diào)用OpenCV庫中人臉檢測算法創(chuàng)建人臉檢測節(jié)點(diǎn)，訂閱Kinect XB0X360攝像頭(3)發(fā)布的RGB圖像，計(jì)算行人(4)臉部所在的區(qū)域；
③行人上半身梯度直方圖HOG節(jié)點(diǎn):在室內(nèi)環(huán)境中，人體的下半身容易被遮擋，運(yùn)用OpenCV梯度直方圖HOG算法創(chuàng)建行人(4)上半身檢測節(jié)點(diǎn)，檢測識別Kinect XB0X360攝像頭(3)發(fā)布的RGB圖像中人體的上半身提高室內(nèi)環(huán)境行人(4)檢測的準(zhǔn)確率；
④膚色檢測節(jié)點(diǎn):皮膚的檢測是圖片中行人(4)存在的重要線索，在機(jī)器人操作系統(tǒng)ROS中創(chuàng)建膚色檢測節(jié)點(diǎn)，調(diào)用OpenCV圖像庫中的膚色檢測器檢測行人(4)膚色區(qū)域；
⑤點(diǎn)云檢測節(jié)點(diǎn):根據(jù)人體的三維特征信息，創(chuàng)建點(diǎn)云數(shù)據(jù)檢測節(jié)點(diǎn)，訂閱KinectXB0X360攝像頭(3)發(fā)布的點(diǎn)云數(shù)據(jù)，運(yùn)用PCL點(diǎn)云數(shù)據(jù)處理庫在三維空間位置中檢測出行人(4)信息；
⑥姿態(tài)檢測節(jié)點(diǎn):骨骼追蹤技術(shù)通過處理深度數(shù)據(jù)來建立人體各個關(guān)節(jié)的坐標(biāo)，骨骼追蹤能夠確定人體的各個部分，利用Kinect XB0X360攝像頭(3)的發(fā)布的數(shù)據(jù)信息，提取人體的骨骼坐標(biāo)組成人體骨骼框架，作為行人(4)檢測的重要因素；
(2.3)創(chuàng)建人體信息融合節(jié)點(diǎn):將步驟(2)各計(jì)算節(jié)點(diǎn)的行人(4)信息融合在一起，最終輸出行人(4)檢測結(jié)果。
[0017]以上所述，僅為本發(fā)明的【具體實(shí)施方式】，但本發(fā)明的保護(hù)范圍不僅局限于此，任何熟悉本領(lǐng)域的技術(shù)人員在本發(fā)明揭露的技術(shù)范圍內(nèi)，可輕易想到的變化和替換，都應(yīng)涵蓋在本發(fā)明的保護(hù)范圍之內(nèi)。因此，本發(fā)明的保護(hù)范圍應(yīng)為所述以權(quán)利要求的保護(hù)范圍為準(zhǔn)。
【權(quán)利要求】
1.一種基于移動機(jī)器人平臺的分布式行人檢測系統(tǒng)，包括桌面計(jì)算機(jī)(I)和微軟公司的Kinect XB0X360攝像頭(3)，其特征在于:所述桌面計(jì)算機(jī)(I)無線通信連接一個移動計(jì)算控制器(2)，所述微軟公司的Kinect XB0X360攝像頭(3)安裝在移動機(jī)器人上面，通過USB接口連接移動機(jī)器人控制器(2 )，所述移動機(jī)器人控制器(2 )獲取Kinect XB0X360攝像頭(3 )對行人(4 )攝取的RGB彩色和深度圖像經(jīng)過處理之后，再通過圖像傳輸鏈和數(shù)據(jù)傳輸鏈發(fā)送到桌面計(jì)算機(jī)(I)。
2.一種基于移動機(jī)器人平臺的分布式行人檢測方法，采用根據(jù)權(quán)利要求1所述的基于移動機(jī)器人平臺的分布式行人檢測系統(tǒng)進(jìn)行檢測，其特征在于:其操作步驟如下: (2.1)創(chuàng)建圖像獲取節(jié)點(diǎn):利用已知的機(jī)器人操作系統(tǒng)ROS的分布式計(jì)算特性，在移動機(jī)器人控制器(2)攜帶的嵌入式操作電腦上創(chuàng)建打開Kinect XB0X360攝像頭(3)的節(jié)點(diǎn)，獲取Kinect的圖像數(shù)據(jù)，并發(fā)布Kinect XB0X360攝像頭(3)的RGB圖像數(shù)據(jù)和深度圖像數(shù)據(jù)；利用ZeiOconf技術(shù)，移動機(jī)器人控制器(2)攜帶的電腦通過網(wǎng)絡(luò)連接到桌面計(jì)算機(jī)(O; (2.2)創(chuàng)建各計(jì)算節(jié)點(diǎn):Kinect XB0X360攝像頭(3)發(fā)布的圖像數(shù)據(jù)包含RGB圖像，紅外圖像和深度圖像，各計(jì)算節(jié)點(diǎn)分別從上述圖像中計(jì)算與行人(4)相關(guān)的信息；本步驟(2.2)包含以下計(jì)算節(jié)點(diǎn): ①梯度直方圖HOG節(jié)點(diǎn):梯度直方圖HOG節(jié)點(diǎn)訂閱KinectXB0X360攝像頭(3)發(fā)布的RGB圖像數(shù)據(jù)，采用OpenCV圖像處理庫中集成的HOG算法提取圖像局部行人(4)目標(biāo)的表象和形狀的HOG特征，然后利用支持向量機(jī)算法SVM進(jìn)行模式分類，檢測行人(4)和確定行人(4)所在的區(qū)域； ②人臉檢測節(jié)點(diǎn):機(jī)器人操作系統(tǒng)ROS中集成OpenCV開源圖像處理庫，直接調(diào)用OpenCV庫中人臉檢測算法創(chuàng)建人臉檢測節(jié)點(diǎn)，訂閱Kinect XB0X360攝像頭(3)發(fā)布的RGB圖像，計(jì)算行人(4)臉部所在的區(qū)域； ③行人上半身梯度直方圖HOG節(jié)點(diǎn):在室內(nèi)環(huán)境中，人體的下半身容易被遮擋，運(yùn)用OpenCV梯度直方圖HOG算法創(chuàng)建行人(4)上半身檢測節(jié)點(diǎn)，檢測識別Kinect XB0X360攝像頭(3)發(fā)布的RGB圖像中人體的上半身提高室內(nèi)環(huán)境行人(4)檢測的準(zhǔn)確率； ④膚色檢測節(jié)點(diǎn):皮膚的檢測是圖片中行人(4)存在的重要線索，在機(jī)器人操作系統(tǒng)ROS中創(chuàng)建膚色檢測節(jié)點(diǎn)，調(diào)用OpenCV圖像庫中的膚色檢測器檢測行人(4)膚色區(qū)域； ⑤點(diǎn)云檢測節(jié)點(diǎn):根據(jù)人體的三維特征信息，創(chuàng)建點(diǎn)云數(shù)據(jù)檢測節(jié)點(diǎn)，訂閱KinectXB0X360攝像頭(3)發(fā)布的點(diǎn)云數(shù)據(jù)，運(yùn)用PCL點(diǎn)云數(shù)據(jù)處理庫在三維空間位置中檢測出行人(4)信息； ⑥姿態(tài)檢測節(jié)點(diǎn):骨骼追蹤技術(shù)通過處理深度數(shù)據(jù)來建立人體各個關(guān)節(jié)的坐標(biāo)，骨骼追蹤能夠確定人體的各個部分，利用Kinect XB0X360攝像頭(3)的發(fā)布的數(shù)據(jù)信息，提取人體的骨骼坐標(biāo)組成人體骨骼框架，作為行人(4)檢測的重要因素； (2.3)創(chuàng)建人體信息融合節(jié)點(diǎn):將步驟(2)各計(jì)算節(jié)點(diǎn)的行人(4)信息融合在一起，最終輸出行人(4)檢測結(jié)果。
【文檔編號】G06F9/50GK103995747SQ201410196878
【公開日】2014年8月20日 申請日期:2014年5月12日 優(yōu)先權(quán)日:2014年5月12日
【發(fā)明者】羅均, 劉恒利, 李恒宇, 趙重陽, 謝少榮 申請人:上海大學(xué)