本發(fā)明涉及機器人導航，尤其涉及一種用于雙臂機器人的自主導航方法、裝置及電子設備。

背景技術：

1、隨著工業(yè)自動化和智能制造的不斷發(fā)展，雙臂機器人在制造車間等復雜環(huán)境中的應用場景越來越廣泛。與工業(yè)機器人不同，雙臂機器人需要具備高度的自主能力，能夠根據(jù)環(huán)境變化自主感知、決策和導航。其中，在動態(tài)環(huán)境下實現(xiàn)安全、高效的自主導航是一個關鍵的技術挑戰(zhàn)。

2、傳統(tǒng)的機器人導航方法主要基于事先建立的靜態(tài)地圖和路徑規(guī)劃算法。這些方法在結構化環(huán)境中表現(xiàn)良好，但面對復雜動態(tài)場景如制造車間時，由于無法及時捕捉移動障礙物的變化，導致規(guī)劃路徑存在風險和低效率的問題。另一類新興的基于深度學習的端到端導航方法，雖然能夠直接從傳感器數(shù)據(jù)中預測出行走路徑，但由于缺乏對復雜環(huán)境約束的建模能力，生成的路徑質(zhì)量較低，無法滿足機器人實際導航的要求。

技術實現(xiàn)思路

1、本發(fā)明提供了一種用于雙臂機器人的自主導航方法、裝置及電子設備，以解決為雙臂機器人規(guī)劃的導航路徑難以匹配實際導航需求的問題。

2、根據(jù)本發(fā)明的一方面，提供了一種用于雙臂機器人的自主導航方法，該方法包括：

3、利用設置于雙臂機器人上的目標相機采集第一點云數(shù)據(jù)，以及，利用激光雷達獲取第二點云數(shù)據(jù)，其中，所述目標相機用于獲取彩色圖像和深度信息的相機；

4、基于所述第一點云數(shù)據(jù)和所述第二點云數(shù)據(jù)構建三維環(huán)境模型和動態(tài)障礙物模型，并將所述三維環(huán)境模型和所述動態(tài)障礙物模型進行融合，以獲得四維時空環(huán)境模型；

5、將所述四維時空環(huán)境模型輸入至時空注意力卷積網(wǎng)絡中進行時空語義分割，以獲得動態(tài)可行路徑，根據(jù)所述動態(tài)可行路徑和路徑?jīng)Q策網(wǎng)絡確定目標路徑，并根據(jù)所述目標路徑控制所述雙臂機器人自主導航至目標位置。

6、根據(jù)本發(fā)明的另一方面，提供了一種用于雙臂機器人的自主導航裝置，該裝置包括：

7、數(shù)據(jù)獲取模塊，用于利用設置于雙臂機器人上的目標相機采集第一點云數(shù)據(jù)，以及，利用激光雷達獲取第二點云數(shù)據(jù)，其中，所述目標相機用于獲取彩色圖像和深度信息的相機；

8、模型構建模塊，用于基于所述第一點云數(shù)據(jù)和所述第二點云數(shù)據(jù)構建三維環(huán)境模型和動態(tài)障礙物模型，并將所述三維環(huán)境模型和所述動態(tài)障礙物模型進行融合，以獲得四維時空環(huán)境模型；

9、路徑導航模塊，用于將所述四維時空環(huán)境模型輸入至時空注意力卷積網(wǎng)絡中進行時空語義分割，以獲得動態(tài)可行路徑，根據(jù)所述動態(tài)可行路徑和路徑?jīng)Q策網(wǎng)絡確定目標路徑，并根據(jù)所述目標路徑控制所述雙臂機器人自主導航至目標位置。

10、根據(jù)本發(fā)明的另一方面，提供了一種電子設備，所述電子設備包括：

11、至少一個處理器；以及

12、與所述至少一個處理器通信連接的存儲器；其中，

13、所述存儲器存儲有可被所述至少一個處理器執(zhí)行的計算機程序，所述計算機程序被所述至少一個處理器執(zhí)行，以使所述至少一個處理器能夠執(zhí)行本發(fā)明任一實施例所述的用于雙臂機器人的自主導航方法。

14、根據(jù)本發(fā)明的另一方面，提供了一種計算機可讀存儲介質(zhì)，所述計算機可讀存儲介質(zhì)存儲有計算機指令，所述計算機指令用于使處理器執(zhí)行時實現(xiàn)本發(fā)明任一實施例所述的用于雙臂機器人的自主導航方法。

15、根據(jù)本發(fā)明的另一方面，提供了一種計算機程序產(chǎn)品，其特征在于，所述計算機程序產(chǎn)品包括計算機程序，所述計算機程序在被處理器執(zhí)行時實現(xiàn)根據(jù)本發(fā)明任一實施例所述的用于雙臂機器人的自主導航方法。

16、本發(fā)明實施例的技術方案，通過利用設置于雙臂機器人上的目標相機采集第一點云數(shù)據(jù)，以及，利用激光雷達獲取第二點云數(shù)據(jù)，其中，所述目標相機用于獲取彩色圖像和深度信息的相機，能夠采用多個數(shù)據(jù)源獲取點云數(shù)據(jù)，為場景建模提供了豐富的數(shù)據(jù)支撐；然后，通過基于所述第一點云數(shù)據(jù)和所述第二點云數(shù)據(jù)構建三維環(huán)境模型和動態(tài)障礙物模型，并將所述三維環(huán)境模型和所述動態(tài)障礙物模型進行融合，以獲得四維時空環(huán)境模型，能夠完整描述復雜動態(tài)場景的空間幾何和時間演化信息，為雙臂機器人規(guī)劃安全、流暢的導航路徑提供了前提條件；最后，將所述四維時空環(huán)境模型輸入至時空注意力卷積網(wǎng)絡中進行時空語義分割，以獲得動態(tài)可行路徑，根據(jù)所述動態(tài)可行路徑和路徑?jīng)Q策網(wǎng)絡確定目標路徑，并根據(jù)所述目標路徑控制所述雙臂機器人自主導航至目標位置，有效解決了傳統(tǒng)幾何或?qū)W習方法難以應對復雜動態(tài)環(huán)境的局限性，能夠通過至時空注意力卷積網(wǎng)絡和路徑?jīng)Q策網(wǎng)絡快速、便捷且準確地生成高質(zhì)量的最優(yōu)路徑，實現(xiàn)了對雙臂機器人的精準安全控制。

17、應當理解，本部分所描述的內(nèi)容并非旨在標識本發(fā)明的實施例的關鍵或重要特征，也不用于限制本發(fā)明的范圍。本發(fā)明的其它特征將通過以下的說明書而變得容易理解。

技術特征：

1.一種用于雙臂機器人的自主導航方法，其特征在于，包括：

2.根據(jù)權利要求1所述的方法，其特征在于，所述基于所述第一點云數(shù)據(jù)和所述第二點云數(shù)據(jù)構建三維環(huán)境模型，包括：

3.根據(jù)權利要求2所述的方法，其特征在于，所述將所述第一點云數(shù)據(jù)和所述第二點云數(shù)據(jù)進行數(shù)據(jù)配準，包括：

4.根據(jù)權利要求1所述的方法，其特征在于，所述基于所述第一點云數(shù)據(jù)和所述第二點云數(shù)據(jù)構建三維環(huán)境模型和動態(tài)障礙物模型，包括：

5.根據(jù)權利要求1所述的方法，其特征在于，所述將所述三維環(huán)境模型和所述動態(tài)障礙物模型進行融合，以獲得四維時空環(huán)境模型，包括：

6.根據(jù)權利要求1所述的方法，其特征在于，所述將所述四維時空環(huán)境模型輸入至時空注意力卷積網(wǎng)絡中進行時空語義分割，以獲得動態(tài)可行路徑，包括：

7.根據(jù)權利要求6所述的方法，其特征在于，所述時空注意力卷積網(wǎng)絡包括時間編碼模塊、空間編碼模塊、時空融合模塊、時空注意力模塊以及三維反卷積模塊；所述將所述四維時空環(huán)境模型輸入至時空注意力卷積網(wǎng)絡中進行時空語義分割，得到時空語義特征，包括：

8.根據(jù)權利要求1所述的方法，其特征在于，在所述根據(jù)所述動態(tài)可行路徑和路徑?jīng)Q策網(wǎng)絡確定目標路徑之前，還包括：

9.一種用于雙臂機器人的自主導航裝置，其特征在于，包括：

10.一種電子設備，其特征在于，所述電子設備包括：

技術總結
本發(fā)明公開了一種用于雙臂機器人的自主導航方法、裝置及電子設備。其中，該方法包括：利用設置于雙臂機器人上的目標相機采集第一點云數(shù)據(jù)，以及，利用激光雷達獲取第二點云數(shù)據(jù)；基于所述第一點云數(shù)據(jù)和所述第二點云數(shù)據(jù)構建三維環(huán)境模型和動態(tài)障礙物模型，并將所述三維環(huán)境模型和所述動態(tài)障礙物模型進行融合，以獲得四維時空環(huán)境模型；將所述四維時空環(huán)境模型輸入至時空注意力卷積網(wǎng)絡中進行時空語義分割，以獲得動態(tài)可行路徑，根據(jù)所述動態(tài)可行路徑和路徑?jīng)Q策網(wǎng)絡確定目標路徑，并根據(jù)所述目標路徑控制所述雙臂機器人自主導航至目標位置。上述技術方案，能夠完整描述復雜動態(tài)場景的空間幾何和時演信息，為雙臂機器人規(guī)劃高質(zhì)量導航路徑。

技術研發(fā)人員：張杰雄,謝偉宏,佘鈺樟,劉向強,鄭浩聰,張瀚,吳添權,詹樺,邱宇航,邱樂琴,張湃,周景爍
受保護的技術使用者：廣東電網(wǎng)有限責任公司
技術研發(fā)日：
技術公布日：2024/10/21