專利名稱：服務(wù)機(jī)器人抓取引導(dǎo)系統(tǒng)及其方法
技術(shù)領(lǐng)域：
本發(fā)明涉及的是一種機(jī)器人技術(shù)領(lǐng)域的系統(tǒng)及其方法，具體是一種服務(wù)機(jī)器 人抓取引導(dǎo)系統(tǒng)及其方法。
背景技術(shù)：
自1954年美國(guó)人Devol提出工業(yè)機(jī)器人的概念并申請(qǐng)專利以來，機(jī)器人技 術(shù)的發(fā)展經(jīng)歷了三個(gè)階段，第一階段的機(jī)器人是應(yīng)用于結(jié)構(gòu)化環(huán)境下的示教再 現(xiàn)型機(jī)械臂，沒有傳感裝置，只能完成既定重復(fù)性工作，不能感知環(huán)境信息并 做出響應(yīng)；第二階段的機(jī)器人裝備了一些傳感器，比如力傳感器，能夠與環(huán)境 發(fā)生簡(jiǎn)單的交互，但機(jī)器人不具備智能；第三階段的機(jī)器人裝備了多種傳感器， 比如視覺傳感器、激光傳感器、聲納傳感器等，并能夠?qū)Χ喾N傳感器的信息進(jìn) 行融合處理，顯示出一定的智能。隨著機(jī)器人傳感技術(shù)和信息融合處理技術(shù)的 發(fā)展，機(jī)器人技術(shù)發(fā)展的趨勢(shì)是從結(jié)構(gòu)化環(huán)境發(fā)展到非結(jié)構(gòu)化環(huán)境，從工業(yè)進(jìn) 入家庭。
家庭服務(wù)機(jī)器人通常應(yīng)具備一定的人機(jī)交互功能，自主移動(dòng)功能和物體識(shí) 別功能，能夠根據(jù)人的指令，自主移動(dòng)到指定位置點(diǎn)，拾取指定物體。機(jī)器人 自主移動(dòng)一般通過機(jī)器視覺實(shí)現(xiàn)。中國(guó)專利公開號(hào)CN 101308023A，
公開日2008 年11月19日，專利名稱基于異構(gòu)視覺傳感器系統(tǒng)的導(dǎo)航裝置和方法，公開 了一種機(jī)器人技術(shù)領(lǐng)域的基于異構(gòu)視覺傳感器系統(tǒng)的導(dǎo)航裝置和方法，裝置由 立體視覺傳感器和全維視覺傳感器結(jié)合而成，將全局路徑規(guī)劃和局部避障規(guī)劃 有機(jī)結(jié)合，可實(shí)現(xiàn)移動(dòng)機(jī)器人在未知環(huán)境下由起始點(diǎn)自主運(yùn)動(dòng)到給定的目標(biāo)點(diǎn)。
經(jīng)對(duì)現(xiàn)有技術(shù)文獻(xiàn)的檢索發(fā)現(xiàn)，中國(guó)專利授權(quán)號(hào)CN 100352623C，授權(quán)曰 2007年12月5日，專利名稱 一種自動(dòng)拾取物體的智能移動(dòng)機(jī)器人控制裝置及 方法，公開了一種用于半結(jié)構(gòu)化環(huán)境或非結(jié)構(gòu)化環(huán)境下自動(dòng)拾取物體的智能移 動(dòng)機(jī)器人控制裝置及方法，通過視覺自動(dòng)獲取目標(biāo)，自主動(dòng)態(tài)生成路徑規(guī)劃， 并將運(yùn)動(dòng)信息反饋到圖像處理模塊，構(gòu)成視覺閉環(huán)運(yùn)動(dòng)控制，到達(dá)目標(biāo)位置和目標(biāo)姿態(tài)。但由于光照變化、遮擋等因素，基于視覺的物體識(shí)別在實(shí)際應(yīng)用過 程中效果較差，識(shí)別能力有限，識(shí)別準(zhǔn)確率較低。而近年來興起的無(wú)線射頻識(shí)
別技術(shù)(RFID)，利用射頻信號(hào)通過空間耦合實(shí)現(xiàn)無(wú)接觸信息傳遞，能夠自動(dòng)識(shí) 別目標(biāo)對(duì)象并獲取相關(guān)數(shù)據(jù)，識(shí)別過程無(wú)須人工干預(yù)，已廣泛應(yīng)用于零售、物 流等產(chǎn)業(yè)。

發(fā)明內(nèi)容
本發(fā)明的目的在于針對(duì)現(xiàn)有技術(shù)的不足，提出一種基于機(jī)器視覺與RFID傳 感信息融合的服務(wù)機(jī)器人抓取引導(dǎo)系統(tǒng)及其方法，利用機(jī)器視覺實(shí)現(xiàn)移動(dòng)機(jī)器 人的定位和導(dǎo)航，利用RFID實(shí)現(xiàn)待拾取物品的識(shí)別，充分利用兩種傳感器的長(zhǎng) 處，為移動(dòng)機(jī)器人智能取物提供充足信息。
本發(fā)明是通過以下技術(shù)方案實(shí)現(xiàn)的-
本發(fā)明所涉及的服務(wù)機(jī)器人抓取引導(dǎo)系統(tǒng)包括圖像采集裝置，射頻感應(yīng)收 發(fā)裝置，視覺與射頻信息融合處理裝置。其中圖像采集裝置安裝于機(jī)器人頭 部，將釆集的移動(dòng)機(jī)器人周圍的全景視覺信息發(fā)送給視覺與射頻信息融合處理 裝置，射頻感應(yīng)收發(fā)裝置將讀取的射頻信息發(fā)送給視覺給射頻信息融合處理裝 置；視覺與射頻信息融合處理裝置安裝在機(jī)器人的車體上，分別與圖像采集裝 置和射頻感應(yīng)收發(fā)裝置相連。
所述的圖像采集裝置包含全景CCD攝像機(jī)，圖像采集卡。全景CCD攝像 機(jī)安裝于機(jī)器人頭部，用于采集移動(dòng)機(jī)器人周圍的全景視覺信息，供視覺與射 頻信息融合處理裝置利用該信息對(duì)機(jī)器人定位；圖像采集卡安裝于計(jì)算機(jī)上， 連接全景CCD攝像機(jī)和計(jì)算機(jī)，將全景CCD攝像機(jī)采集的視覺信息傳送至計(jì)算 機(jī)。
所述的射頻感應(yīng)收發(fā)裝置包括射頻標(biāo)簽和射頻感應(yīng)收發(fā)器
其中，射頻標(biāo)簽安裝在待取物品上或盛放待取物品容器上，所述射頻標(biāo)簽 為無(wú)源型射頻標(biāo)簽，含有物品種類、大小、重量等信息。
射頻感應(yīng)收發(fā)器安裝在機(jī)器人抓手部安裝，用于讀取待取物品上或盛放待 取物品容器上所安裝射頻標(biāo)簽的射頻信息。
所述的視覺與射頻信息融合處理裝置與全景CCD攝像機(jī)和射頻感應(yīng)收發(fā)器 分別相連，利用全景CCD攝像機(jī)提供的視覺信息對(duì)機(jī)器人定位，引導(dǎo)機(jī)器人運(yùn)
5動(dòng)到指定位置點(diǎn)；繼而利用安裝在機(jī)器人抓手部的射頻感應(yīng)收發(fā)器讀取待取物 品上或盛放待取物品容器上所安裝射頻卡的射頻信息，指導(dǎo)機(jī)器人抓取指定物
CI
叫o
本發(fā)明所涉及的服務(wù)機(jī)器人抓取引導(dǎo)方法，包括以下步驟
第一步，在待取物品上或盛放待取物品容器上安裝無(wú)源型射頻標(biāo)簽，并在 標(biāo)簽中寫入物品種類、大小、重量等信息；
第二步，使用全景CCD攝像機(jī)順序采集圖像，并將圖像序列保存在計(jì)算機(jī) 硬盤上，建立序列全維圖像庫(kù)；
第三步，用戶從圖像庫(kù)中指定一幅圖像，作為機(jī)器人的目標(biāo)位置，發(fā)出到 該位置取特定物品的指令；
第四步，接到指令后，機(jī)器人觸發(fā)全景CCD攝像機(jī)，在當(dāng)前位置拍攝一張 全維圖像；
第五步，通過圖像匹配，在圖像庫(kù)中搜尋與當(dāng)前全圍圖像相似度最高的圖 像，確定了當(dāng)前全圍圖像在序列全維圖像庫(kù)中的位置，實(shí)現(xiàn)了機(jī)器人的自定位；
第六步，在序列全維圖像庫(kù)中，以第五步中尋找到的圖像為起始圖像，以 用戶指定的圖像為目標(biāo)圖像，生成基于序列圖像的路徑；
第七步，沿第六步生成的基于序列圖像的路徑，機(jī)器人移動(dòng)到目標(biāo)圖像位 置后，用機(jī)器人抓手部安裝的射頻感應(yīng)收發(fā)裝置識(shí)別待取物品。
與現(xiàn)有技術(shù)相比，本發(fā)明將機(jī)器視覺與RFID融合應(yīng)用于服務(wù)機(jī)器人，能夠 充分發(fā)揮兩種傳感器的長(zhǎng)處，為移動(dòng)機(jī)器人智能取物提供充足信息，增強(qiáng)了識(shí) 別能力，提高了識(shí)別準(zhǔn)確率。


圖l為本發(fā)明的系統(tǒng)結(jié)構(gòu)框圖2為本發(fā)明基于序列全維圖像庫(kù)導(dǎo)航流程示意圖。
具體實(shí)施例方式
下面結(jié)合附圖對(duì)本發(fā)明的實(shí)施例作詳細(xì)說明本實(shí)施例在以本發(fā)明技術(shù)方 案為前提下進(jìn)行實(shí)施，給出了詳細(xì)的實(shí)施方式和具體的操作過程，但本發(fā)明的 保護(hù)范圍不限于下述的實(shí)施例。
如圖1所示，本實(shí)施例涉及的服務(wù)機(jī)器人抓取引導(dǎo)系統(tǒng)，由圖像采集裝置,射頻感應(yīng)收發(fā)裝置，視覺與射頻信息融合處理裝置組成，其中
所述的圖像采集裝置包含全景CCD攝像機(jī)，圖像采集卡。全景CCD攝像機(jī) 選用S0NY RPU-C2512全景攝像頭，200萬(wàn)象素，24位真彩色，安裝于機(jī)器人頭 部，鏡頭距地面1.52米，用于采集移動(dòng)機(jī)器人周圍的全景視覺信息，供視覺與 射頻信息融合處理裝置利用該信息對(duì)機(jī)器人定位；
所述的射頻感應(yīng)收發(fā)器選用HID MIFARE RFID讀卡器，讀寫距離為6至10 厘米，安裝于機(jī)器人抓手部，通過USB接口與電腦相連。
所述的視覺與射頻信息融合處理裝置選用HP Compaq nw8240筆記本電腦， 該電腦與全景CCD攝像機(jī)和射頻感應(yīng)收發(fā)裝置分別相連，利用全景CCD攝像機(jī) 提供的視覺信息對(duì)機(jī)器人定位，引導(dǎo)機(jī)器人運(yùn)動(dòng)到指定位置點(diǎn)；繼而利用安裝 在機(jī)器人抓手部的射頻感應(yīng)收發(fā)裝置讀取待取物品上或盛放待取物品容器上所 安裝射頻卡的射頻信息，指導(dǎo)機(jī)器人抓取指定物品。
如圖2所示，本實(shí)施例以抓取衣柜中指定衣服為例說明服務(wù)機(jī)器人抓取引 導(dǎo)方法。圖2為一常見家庭布局示意圖，包括餐桌、沙發(fā)、電視、衣柜l、衣柜 2、冰箱等常見家具及電器。本實(shí)施例所述的服務(wù)機(jī)器人抓取引導(dǎo)方法包括以下 步驟
第一步，在衣柜1中五件衣服的衣架上安裝無(wú)源型射頻標(biāo)簽，并在標(biāo)簽中 寫入衣服種類、重量信息；
第二步，在房間內(nèi)人工移動(dòng)機(jī)器人，以1至2米為步長(zhǎng)，采集多幅圖像。 本實(shí)施例中，分別將機(jī)器人移動(dòng)到圖2所示A、 B、 C、 D、 E、 F、 G、 H、 I、 J點(diǎn)， 在每個(gè)點(diǎn)使用SONY RPU-C2512全景CCD攝像機(jī)采集一副全維圖像，并將圖像以 JPEG格式順序保存在計(jì)算機(jī)硬盤上，分別命名為"A.jpg" 、 "B.jpg"、 "C. jpg，， 、"D.jpg，， 、"E.jpg，， 、 "F. jpg，， 、 "G. jpg，， 、 "H. jpg，， 、 "l.jpg，，、 "J. jpg"。圖像"A. jpg"至"J. jpg"便構(gòu)成了序列全維圖像庫(kù)，機(jī)器人在后 續(xù)抓取任務(wù)中以該圖像庫(kù)為參考地圖。
第三步，用戶從圖像庫(kù)中指定一幅圖像，本例中為在衣柜1前拍攝的 "H.jpg"，作為機(jī)器人的目標(biāo)位置，發(fā)出到該位置取特定物品的指令；
第四步，接到指令后，機(jī)器人觸發(fā)全景CCD攝像機(jī)，在當(dāng)前位置，即圖2 所示的S點(diǎn)拍攝一張全維圖像；
7第五步，提取S點(diǎn)拍攝圖像的SIFT特征點(diǎn)，并與圖像庫(kù)中所有圖像的特征 點(diǎn)進(jìn)行匹配，在圖像庫(kù)中搜尋與當(dāng)前圖像相似度最高的圖像，在本例中為 "D.jpg"，從而確定了當(dāng)前圖像在序列全維圖像庫(kù)中的位置，實(shí)現(xiàn)了機(jī)器人的 自定位；
第六步，在序列全維圖像庫(kù)中，以第五步中尋找到的圖像，即全維圖像 "D. jpg"為起始圖像，以用戶指定的圖像，即全維圖像"H. jpg"為目標(biāo)圖像， 生成基于序列圖像的路徑；
第七步，沿第六步生成的基于序列圖像的路徑，機(jī)器人移動(dòng)到目標(biāo)圖像位 置，即全維圖像"H. jpg"的位置，用機(jī)器人抓手部安裝的射頻感應(yīng)收發(fā)裝置識(shí) 別待取物品。
本實(shí)施例將全維視覺傳感器與RFID相結(jié)合，全維視覺傳感器用于機(jī)器人的 粗定位與導(dǎo)航，RFID用于抓取物的識(shí)別，充分利用兩種傳感器的長(zhǎng)處，實(shí)現(xiàn)服 務(wù)機(jī)器人在室內(nèi)環(huán)境下完成常見的抓取任務(wù)。
權(quán)利要求
1、一種服務(wù)機(jī)器人抓取引導(dǎo)系統(tǒng)，其特征在于，包括圖像采集裝置，射頻感應(yīng)收發(fā)裝置，視覺與射頻信息融合處理裝置，其中圖像采集裝置安裝于機(jī)器人頭部，將采集的移動(dòng)機(jī)器人周圍的全景視覺信息發(fā)送給視覺與射頻信息融合處理裝置，射頻感應(yīng)收發(fā)裝置將讀取的射頻信息發(fā)送給視覺給射頻信息融合處理裝置；視覺與射頻信息融合處理裝置安裝在機(jī)器人的車體上，分別與圖像采集裝置和射頻感應(yīng)收發(fā)裝置相連。
2、 根據(jù)權(quán)利要求l所述的服務(wù)機(jī)器人抓取引導(dǎo)系統(tǒng)，其特征是，所述的圖 像采集裝置，包含全景CCD攝像機(jī)，圖像采集卡，其中全景CCD攝像機(jī)安裝 于機(jī)器人頭部，與視覺與射頻信息融合處理裝置相連接，將采集的移動(dòng)機(jī)器人 周圍的全景視覺信息，發(fā)送給視覺與射頻信息融合處理裝置；圖像采集卡安裝 于計(jì)算機(jī)上，連接全景CCD攝像機(jī)和計(jì)算機(jī)，將全景CCD攝像機(jī)采集的視覺信 息傳送至計(jì)算機(jī)。
3、 根據(jù)權(quán)利要求l所述的服務(wù)機(jī)器人抓取引導(dǎo)系統(tǒng)，其特征是，所述的射 頻感應(yīng)收發(fā)裝置，包括射頻標(biāo)簽和射頻感應(yīng)收發(fā)器，其中射頻標(biāo)簽安裝在待 取物品上或盛放待取物品容器上，射頻感應(yīng)收發(fā)器安裝在機(jī)器人抓手部，與視 覺與射頻信息融合處理裝置相連接，讀取射頻標(biāo)簽的射頻信息，并將信息發(fā)送 給視覺與射頻信息融合處理裝置。
4、 根據(jù)權(quán)利要求l所述的服務(wù)機(jī)器人抓取引導(dǎo)系統(tǒng)，其特征是，所述的視 覺與射頻信息融合處理裝置，利用全景CCD攝像機(jī)提供的視覺信息對(duì)機(jī)器人定 位，引導(dǎo)機(jī)器人運(yùn)動(dòng)到指定位置點(diǎn)；利用安裝在機(jī)器人抓手部的射頻感應(yīng)收發(fā) 器讀取待取物品上或盛放待取物品容器上所安裝射頻卡的射頻信息，指導(dǎo)機(jī)器 人抓取指定物 品o
5、 根據(jù)權(quán)利要求l所述的服務(wù)機(jī)器人抓取引導(dǎo)系統(tǒng)，其特征是，所述射頻 標(biāo)簽為無(wú)源型射頻標(biāo)簽，含有物品種類、大小、重量信息。
6、 一種服務(wù)機(jī)器人抓取引導(dǎo)方法，其特征在于，包括以下步驟 第一步，在待取物品上或盛放待取物品容器上安裝無(wú)源型射頻標(biāo)簽，并在標(biāo)簽中寫入物品種類、大小、重量信息；第二步，建立序列全維圖像庫(kù)；第三步，從序列全維圖像庫(kù)中指定一幅圖像，作為機(jī)器人的目標(biāo)位置，發(fā) 出到該位置取特定物品的指令；第四步，機(jī)器人接到指令后，觸發(fā)全景CCD攝像機(jī)，在當(dāng)前位置拍攝一張 全維圖像；第五步，通過圖像匹配，實(shí)現(xiàn)機(jī)器人的自定位；第六步，在序列全維圖像庫(kù)中，以第五步中尋找到的圖像為起始圖像，以 用戶指定的圖像為目標(biāo)圖像，生成基于序列圖像的路徑；第七步，沿第六步生成的基于序列圖像的路徑，機(jī)器人移動(dòng)到目標(biāo)圖像位 置，用機(jī)器人抓手部安裝的射頻感應(yīng)收發(fā)器識(shí)別待取物品。
7、 根據(jù)權(quán)利要求6所述的服務(wù)機(jī)器人抓取引導(dǎo)方法，其特征是，所述的建 立序列全維圖像庫(kù)，是指使用全景CCD攝像機(jī)順序采集圖像，并將圖像序列保 存在計(jì)算機(jī)硬盤上。
8、 根據(jù)權(quán)利要求6所述的服務(wù)機(jī)器人抓取引導(dǎo)方法，其特征是，所述的通 過圖像匹配，實(shí)現(xiàn)機(jī)器人的自定位，是指在序列全維圖像庫(kù)中搜尋與當(dāng)前全圍 圖像相似度最高的圖像，確定當(dāng)前圖像在序列全維圖像庫(kù)中的位置。
全文摘要
一種機(jī)器人技術(shù)領(lǐng)域的服務(wù)機(jī)器人抓取引導(dǎo)系統(tǒng)及其方法，本發(fā)明系統(tǒng)包括圖像采集裝置，射頻感應(yīng)收發(fā)裝置，視覺與射頻信息融合處理裝置，圖像采集裝置安裝于機(jī)器人頭部，視覺與射頻信息融合處理裝置安裝在機(jī)器人的車體上，接收?qǐng)D像采集裝置傳來的全景視覺信息和射頻感應(yīng)收發(fā)裝置傳來的射頻信息；本發(fā)明方法包括以下步驟安裝無(wú)源型射頻標(biāo)簽；使用全景CCD攝像機(jī)采集圖像，建立序列全維圖像庫(kù)；發(fā)出到機(jī)器人的目標(biāo)位置取特定物品的指令；實(shí)現(xiàn)機(jī)器人的自定位；用機(jī)器人抓手部安裝的射頻感應(yīng)收發(fā)器識(shí)別待取物品。本發(fā)明利用全景視覺實(shí)現(xiàn)移動(dòng)機(jī)器人的定位和導(dǎo)航，利用RFID實(shí)現(xiàn)待拾取物品的識(shí)別，為移動(dòng)機(jī)器人智能取物提供充足信息。
文檔編號(hào)G01C21/00GK101559600SQ20091005078
公開日2009年10月21日 申請(qǐng)日期2009年5月7日 優(yōu)先權(quán)日2009年5月7日
發(fā)明者鎮(zhèn) 張, 曹其新, 揚(yáng) 楊, 羅偉杭, 陳培華 申請(qǐng)人:上海交通大學(xué)