一種基于rgb-d的樹上果實(shí)快速識別定位方法
【專利摘要】本發(fā)明公開了一種基于RGB?D的樹上果實(shí)快速識別定位方法，利用RGB?D傳感器可同步獲得坐標(biāo)對應(yīng)的深度與顏色信息的特點(diǎn)，自最近點(diǎn)開始進(jìn)行深度球面的逐層切割，其中片狀特征的葉子被深度球面切割僅得到非封閉曲線而不予處理，而對所有被深度球面切割獲得的封閉曲線，根據(jù)其短軸長度將顯著小于果實(shí)直徑的枝干與竹竿等剔除，進(jìn)一步將剩余的果實(shí)封閉曲線生成深度和顏色點(diǎn)云的三維輪廓，從而完成成熟果實(shí)的識別與定位。本發(fā)明利用空間實(shí)體果實(shí)與片狀葉子的幾何差異和RGB?D傳感器同步獲得坐標(biāo)、反射率、深度信息的優(yōu)勢，快速實(shí)現(xiàn)樹上成熟果實(shí)的識別和定法，而無須考慮對樹上果實(shí)識別定位形成最大困擾的遮擋問題，方法簡單可靠，實(shí)時(shí)性與實(shí)用性強(qiáng)，可應(yīng)用于樹上果實(shí)的快速識別定位。
【專利說明】
一種基于RGB-D的樹上果實(shí)快速識別定位方法
所屬技術(shù)領(lǐng)域
[0001]本發(fā)明涉及農(nóng)業(yè)機(jī)器人領(lǐng)域，特別涉及一種基于RGB-D的樹上果實(shí)快速識別定位方法。
【背景技術(shù)】
[0002]在機(jī)器人采摘中，樹上果實(shí)的識別與定位是關(guān)鍵技術(shù)難題。由于在自然條件下，傳統(tǒng)視覺技術(shù)存在對光線過于敏感、易受背景干擾、無法區(qū)分近色果葉和定位的匹配困難等不足，近年來利用深度信息實(shí)現(xiàn)果實(shí)識別定位已經(jīng)受到越來越多的重視。但單一的深度信息僅能進(jìn)行形狀分辨而無法獲得顏色差異，從而無法區(qū)分成熟和未成熟果實(shí)，同時(shí)仍易受復(fù)雜冠層空間內(nèi)的枝葉相互干擾;而將深度與可見光或紅外等信息的融合，則由于不同器件間的坐標(biāo)換算和圖像匹配而變得非常復(fù)雜，嚴(yán)重影響了其識別效果和實(shí)時(shí)性。RGB-D是可同步獲得深度與顏色信息的新型消費(fèi)級傳感器件，但現(xiàn)有基于RGB-D的識別定位方法仍主要延續(xù)傳統(tǒng)彩色圖像的分割處理方法，盡管利用深度信息使識別和定位效果獲得了一定改善，但長期困擾樹上果實(shí)識別定位的重疊遮擋等問題并未得到有效解決，識別可靠性和實(shí)時(shí)性亦不能滿足實(shí)際應(yīng)用的需要。

【發(fā)明內(nèi)容】

[0003]針對現(xiàn)有樹上果實(shí)識別定位方法的不足，本發(fā)明提供一種基于RGB-D的樹上果實(shí)快速識別定位方法，實(shí)現(xiàn)對樹上成熟目標(biāo)果實(shí)的快速準(zhǔn)確識別和定位。
[0004]為了解決以上技術(shù)問題，本發(fā)明采用的具體技術(shù)方案包括以下步驟:
[0005]步驟一，RGB-D傳感器(I)通過實(shí)時(shí)掃描，同步獲得前方植株冠層的根據(jù)坐標(biāo)一一對應(yīng)的深度和顏色數(shù)據(jù)(D，E) I (ο,θ)；
[0006]其中在極坐標(biāo)空間內(nèi)，以RGB-D傳感器為坐標(biāo)原點(diǎn)，每一坐標(biāo)點(diǎn)(D，0)的深度數(shù)據(jù)為D，每一坐標(biāo)點(diǎn)(D，Θ)的顏色數(shù)據(jù)為E。
[0007]步驟二，在深度數(shù)據(jù)中，先發(fā)現(xiàn)植株冠層內(nèi)被探測對象的最近點(diǎn)A;
[0008]步驟三，從最近點(diǎn)A開始，利用深度的數(shù)值Di = Da+i AD(i = l,2,---,n)進(jìn)行逐層切害J，其中Da為最近的被探測到對象的深度數(shù)據(jù)點(diǎn)A的深度值，ZD為逐層切割的深度間距，D1= DA+i A D為三維空間內(nèi)的球面。
[0009]果實(shí)(4)與枝干(7)、竹竿(8)等具備空間實(shí)體特征的對象被深度球面D1切割后，深度點(diǎn)云出現(xiàn)封閉曲線(2);而片狀特征的葉子(6)被深度球面D1切割后，深度點(diǎn)云僅出現(xiàn)非封閉曲線(3)。因此，對深度球面0:逐層切割，直至出現(xiàn)封閉曲線(2)，而所有非封閉曲線(3)被視為葉子(6)而不予處理；
[0010]步驟四，對所有封閉曲線(2)，計(jì)算其短軸長度L，并將所有短軸長度L超過枝干(7)與竹竿(8)的最大直徑值[L]的封閉曲線(2)所在對象視為果實(shí)(4)，而所有短軸長度L不超過枝干(7)與竹竿(8)的最大直徑值[L]的封閉曲線(2)所在對象被視為枝干(7)或竹竿(8)而不予進(jìn)一步處理；
[0011]步驟五，對所有短軸長度L超過枝干(7)與竹竿(8)的最大直徑值[L]的封閉曲線
(2)，利用深度點(diǎn)云構(gòu)造封閉曲線(2)所在果實(shí)(4)的3維輪廓；
[0012]步驟六，根據(jù)封閉曲線(2)的顏色數(shù)據(jù)與深度數(shù)據(jù)的一一對應(yīng)關(guān)系，獲得果實(shí)(4)的3維輪廓點(diǎn)云的顏色數(shù)據(jù)值，從而根據(jù)顏色進(jìn)行果實(shí)(4)的成熟度判斷；
[0013]步驟七，對成熟度達(dá)到采摘要求的成熟果實(shí)(5)，利用坐標(biāo)對成熟果實(shí)(5)的3維輪廓進(jìn)行空間定位，進(jìn)而完成采摘。
[OOM] 所述RGB-D傳感器為可同步獲得深度數(shù)據(jù)、顏色數(shù)據(jù)的Real sense、Kinect等的任一種。
[0015]所述果實(shí)為直徑顯著大于枝干(7)和竹竿(8)直徑的蘋果、番茄、桃、梨、柑橘等的任一種。
[0016]本發(fā)明具有有益效果。本發(fā)明利用空間實(shí)體果實(shí)與片狀葉子的幾何差異和RGB-D傳感器同步獲得坐標(biāo)、反射率、深度信息的優(yōu)勢，快速實(shí)現(xiàn)樹上成熟果實(shí)的識別和定法，而無須考慮對樹上果實(shí)識別定位形成最大困擾的遮擋問題，方法簡單可靠，實(shí)時(shí)性與實(shí)用性強(qiáng)。
【附圖說明】
[0017]圖1為本發(fā)明的方法流程圖。
[0018]圖2為基于RGB-D的植株冠層檢測場景示意圖。
[0019]圖3為果實(shí)的球面切割獲得封閉曲線示意圖。
[0020]圖4為葉子的球面切割獲得非封閉曲線示意圖。
[0021 ]圖5為封閉曲線的短軸長度示意圖。
[0022]圖中:1.RGB-D傳感器，2.封閉曲線，3.非封閉曲線，4.果實(shí)，5.成熟果實(shí)，6.葉子，
7.枝干，8.竹竿。
【具體實(shí)施方式】
[0023]下面結(jié)合附圖和具體實(shí)施例，對本發(fā)明的技術(shù)方案做進(jìn)一步詳細(xì)說明。
[0024]圖1展示了本發(fā)明的方法流程圖。
[0025]如圖1和圖2，本發(fā)明的具體識別定位實(shí)施過程如下:
[0026](I )RGB_D傳感器I通過實(shí)時(shí)掃描，同步獲得前方植株冠層的根據(jù)坐標(biāo)一一對應(yīng)的深度和顏色數(shù)據(jù)(D，E) I (d,0)；
[0027]其中在極坐標(biāo)空間內(nèi)，以RGB-D傳感器為坐標(biāo)原點(diǎn)，每一坐標(biāo)點(diǎn)(D，0)的深度數(shù)據(jù)為D，每一坐標(biāo)點(diǎn)(D，Θ)的顏色數(shù)據(jù)為E。
[0028](2)在深度數(shù)據(jù)中，先發(fā)現(xiàn)植株冠層內(nèi)被探測對象的最近點(diǎn)A;
[0029](3)從最近點(diǎn)A開始，利用深度的數(shù)值D1 = D^iADa = IA...，!!)進(jìn)行逐層切割，其中Da為最近的被探測到對象的深度數(shù)據(jù)點(diǎn)A的深度值，ZD為逐層切割的深度間距，D1 = D^iAD為三維空間內(nèi)的球面。
[0030]果實(shí)4與枝干7、竹竿8等具備空間實(shí)體特征的對象被深度球面D1切割后，深度點(diǎn)云出現(xiàn)封閉曲線2(圖3);而片狀特征的葉子6被深度球面D1切割后，深度點(diǎn)云僅出現(xiàn)非封閉曲線3(圖4)。因此，對深度球面0工逐層切割，直至出現(xiàn)封閉曲線2，而所有非封閉曲線3被視為葉子6而不予處理；
[0031](4)如圖5，對所有封閉曲線2，計(jì)算其短軸長度L，并將所有短軸長度L超過枝干7與竹竿8的最大直徑值[L]的封閉曲線2所在對象視為果實(shí)4，而所有短軸長度L不超過枝干7與竹竿8的最大直徑值[L]的封閉曲線2所在對象被視為枝干7或竹竿8而不予進(jìn)一步處理；
[0032](5)對所有短軸長度L超過枝干7與竹竿8的最大直徑值[L]的封閉曲線2，利用深度點(diǎn)云構(gòu)造封閉曲線2所在果實(shí)4的3維輪廓；
[0033](6)根據(jù)封閉曲線2的顏色數(shù)據(jù)與深度數(shù)據(jù)的一一對應(yīng)關(guān)系，獲得果實(shí)4的3維輪廓點(diǎn)云的顏色數(shù)據(jù)值，從而根據(jù)顏色進(jìn)行果實(shí)4的成熟度判斷；
[0034](7)對成熟度達(dá)到采摘要求的成熟果實(shí)5，利用坐標(biāo)對成熟果實(shí)5的3維輪廓進(jìn)行空間定位，進(jìn)而完成采摘。
【主權(quán)項(xiàng)】
1.一種基于RGB-D的樹上果實(shí)快速識別定位方法，其特征在于包括以下步驟: 步驟一，RGB-D傳感器(I)通過實(shí)時(shí)掃描，同步獲得前方植株冠層的根據(jù)坐標(biāo)一一對應(yīng)的深度數(shù)據(jù)和顏色數(shù)據(jù)(D，E) I (D,e); 其中在極坐標(biāo)空間內(nèi)，以RGB-D傳感器為坐標(biāo)原點(diǎn)，每一坐標(biāo)點(diǎn)(D，0)的深度數(shù)據(jù)為D，每一坐標(biāo)點(diǎn)(D，Θ)的顏色數(shù)據(jù)為E ； 步驟二，在深度數(shù)據(jù)中，先發(fā)現(xiàn)植株冠層內(nèi)被探測對象的最近點(diǎn)A; 步驟三，從最近點(diǎn)A開始，利用深度的數(shù)值D1 = DAi AD進(jìn)行逐層切割，其中Da為最近的被探測到對象的深度數(shù)據(jù)點(diǎn)A的深度值，ZD為逐層切割的深度間距，D1 = D^i AD為三維空間內(nèi)的球面;i = l，2，…，η; 果實(shí)(4)與枝干(7)、竹竿(8)等具備空間實(shí)體特征的對象被深度球面D1切割后，深度點(diǎn)云出現(xiàn)封閉曲線(2);而片狀特征的葉子(6)被深度球面D1切割后，深度點(diǎn)云僅出現(xiàn)非封閉曲線(3);因此，對深度球面0:逐層切割，直至出現(xiàn)封閉曲線(2)，而所有非封閉曲線(3)被視為葉子(6)而不予處理； 步驟四，對所有封閉曲線(2)，計(jì)算其短軸長度L，并將所有短軸長度L超過枝干(7)與竹竿(8)的最大直徑值[L]的封閉曲線(2)所在對象視為果實(shí)(4)，而所有短軸長度L不超過枝干(7)與竹竿(8)的最大直徑值[L]的封閉曲線(2)所在對象被視為枝干(7)或竹竿(8)而不予進(jìn)一步處理； 步驟五，對所有短軸長度L超過枝干(7)與竹竿(8)的最大直徑值[L]的封閉曲線(2)，利用深度點(diǎn)云構(gòu)造封閉曲線(2)所在果實(shí)(4)的三維輪廓； 步驟六，根據(jù)封閉曲線(2)的顏色數(shù)據(jù)與深度數(shù)據(jù)的一一對應(yīng)關(guān)系，獲得果實(shí)(4)的三維輪廓點(diǎn)云的顏色數(shù)據(jù)值ΖΖ，從而根據(jù)顏色數(shù)據(jù)值ZZ進(jìn)行果實(shí)(4)的成熟度判斷； 步驟七，對成熟度達(dá)到采摘要求的成熟果實(shí)(5)，利用坐標(biāo)對成熟果實(shí)(5)的三維輪廓進(jìn)行空間定位，進(jìn)而完成米摘。2.根據(jù)權(quán)利要求1所述的一種基于RGB-D的樹上果實(shí)快速識別定位方法，其特征在于:所述RGB-D傳感器為可同步獲得深度數(shù)據(jù)、顏色數(shù)據(jù)的Realsense、Kinect中的任一種。3.根據(jù)權(quán)利要求1所述的一種基于RGB-D的樹上果實(shí)快速識別定位方法，其特征在于:所述果實(shí)為直徑顯著大于枝干(7)和竹竿(8)直徑的蘋果、番茄、桃、梨、柑橘中的任一種。
【文檔編號】G06T7/00GK105825171SQ201610137746
【公開日】2016年8月3日
【申請日】2016年3月10日
【發(fā)明人】劉繼展, 周堯, 朱新新
【申請人】江蘇大學(xué)