一種基于現(xiàn)實場景的機器人模擬演練系統(tǒng)的構(gòu)建方法
【專利摘要】本發(fā)明公開了一種基于現(xiàn)實場景的機器人模擬演練系統(tǒng)的構(gòu)建方法，包括：獲取現(xiàn)實場景的深度圖像信息，并將深度圖像信息轉(zhuǎn)化成離散的三維點云數(shù)據(jù)；將三維點云數(shù)據(jù)解釋成機器人能夠理解的語義地圖；將離散的三維點云數(shù)據(jù)輸入三維建模軟件中對虛擬場景進行幾何建模，得到虛擬場景的三維實體模型；將三維實體模型導(dǎo)入到3DS MAX中貼圖渲染，得到三維空間場景模型；在3DS MAX中對機器人進行幾何建模，得到虛擬機器人模型；以及將三維空間場景模型和虛擬機器人模型導(dǎo)入到OGRE中構(gòu)建三維空間場景的物理模型和動力模型，建立虛擬的場景仿真系統(tǒng)。
【專利說明】一種基于現(xiàn)實場景的機器人模擬演練系統(tǒng)的構(gòu)建方法

【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于機器視覺及虛擬現(xiàn)實【技術(shù)領(lǐng)域】，具體涉及一種基于現(xiàn)實場景的機器人模擬演練系統(tǒng)的構(gòu)建方法。

【背景技術(shù)】
[0002]虛擬現(xiàn)實技術(shù)的不斷發(fā)展給危險環(huán)境下的機器人遠程遙操作帶來了福音。基于虛擬現(xiàn)實的機器人作業(yè)仿真系統(tǒng)包括操作者、遠程危險環(huán)境中的遙操作機器人、計算機生成的虛擬作業(yè)環(huán)境以及交互界面。操作者只需要通過生成的虛擬環(huán)境界面以及基于機器人多傳感器便能掌控遠程機器人作業(yè)信息、環(huán)境信息，最終實現(xiàn)對機器人在虛擬場景的模擬演練。
[0003]構(gòu)建機器人的模擬演練系統(tǒng)，首先需要構(gòu)建與現(xiàn)實環(huán)境的一致的虛擬環(huán)境。長期以來現(xiàn)實環(huán)境的三維重建與測量與虛擬環(huán)境重建是分離的，往往經(jīng)過現(xiàn)實環(huán)境的圖形圖像處理、CAD仿真建模和作業(yè)環(huán)境位姿建立等完成遙操作機器人機器虛擬作業(yè)環(huán)境的幾何建模和運動學(xué)建模，虛擬環(huán)境建模往往只能靠人工繪制及仿真使其與現(xiàn)實場景盡可能一致，這種虛擬環(huán)境建模往往不能真實反映現(xiàn)實機器人作業(yè)場景幾何實體模型，且人工繪制耗時較長。
虛擬現(xiàn)實首先需要對機器人作業(yè)現(xiàn)實場景進行三維重建，是機器人分析和理解工作環(huán)境的基礎(chǔ)，為機器人導(dǎo)航、避障以及現(xiàn)場作業(yè)目標(biāo)操作提供可靠的信息支持。三維重建過程中的無序點云需要解釋成實際意義的場景信息，讓機器人能夠理解其所處的場景信息，這樣的過程我們也稱之為構(gòu)建語義地圖。地圖構(gòu)建本質(zhì)上是一個將不同位置、視角下的局部場景進行對齊和融合的過程，對于底層的導(dǎo)航、避障等任務(wù)，尺度地圖即可滿足需求；但對于像人機交互、任務(wù)規(guī)劃之類的高層任務(wù)，則需要獲取抽象層次更高的場景表示形式，因此，需要借助場景分析手段將三維地圖解釋成機器人能夠理解的語義地圖。
[0004]現(xiàn)有的基于雙目立體視覺的三維重建易受光照、物體表面紋理等因素的影響，重建效果和實時性受限?；诩す鉁y量方法的三維重建缺乏紋理信息，且設(shè)備昂貴。
[0005]3DS MAX軟件是采用反向動力學(xué)的直覺特性動畫軟件，擅長貼圖渲染、環(huán)境模擬、場景仿真，缺點是建模周期長。模型相對粗糙，構(gòu)建的模型與設(shè)計的產(chǎn)品有一定的出入。而目前機械設(shè)計領(lǐng)域常用的三維建模軟件具有建模速度快、模型精確的優(yōu)點，缺點是貼圖、渲染能力不足，不具備環(huán)境模擬、場景仿真能力。


【發(fā)明內(nèi)容】

[0006]本發(fā)明提供了一種基于現(xiàn)實場景的機器人模擬演練系統(tǒng)的構(gòu)建方法，能實現(xiàn)三維現(xiàn)實場景直接轉(zhuǎn)換成機器人虛擬作業(yè)場景，無需人工繪制及仿真，機器人虛擬作業(yè)場景與現(xiàn)實場景的幾何模型完全一致。
[0007]本發(fā)明的一個實施例提供了一種基于現(xiàn)實場景的機器人模擬演練系統(tǒng)的構(gòu)建方法，包括: 獲取現(xiàn)實場景的深度圖像信息，并將深度圖像信息轉(zhuǎn)化成離散的三維點云數(shù)據(jù)；
將三維點云數(shù)據(jù)解釋成機器人能夠理解的語義地圖；
將離散的三維點云數(shù)據(jù)輸入三維建模軟件中對虛擬場景進行幾何建模，得到虛擬場景的三維實體模型；
將三維實體模型導(dǎo)入到3DS MAX中貼圖渲染，得到三維空間場景模型；
在3DS MAX中對機器人進行幾何建模，得到虛擬機器人模型；以及將三維空間場景模型和虛擬機器人模型導(dǎo)入到OGRE中構(gòu)建三維空間場景的物理模型和動力模型，在ODE中建立虛擬的場景仿真系統(tǒng)。
[0008]本發(fā)明提供的基于現(xiàn)實場景的機器人模擬演練系統(tǒng)的構(gòu)建方法，利用三維建模軟件建模速度快、模型精確的優(yōu)點和3DS MAX軟件擅長貼圖渲染、環(huán)境模擬、場景仿真的優(yōu)點，結(jié)合3DS MAX軟件和三維建模軟件對虛擬場景進行幾何建模，能實現(xiàn)三維現(xiàn)實場景直接轉(zhuǎn)換成機器人虛擬作業(yè)場景，無需人工繪制及仿真，建模所需時間短，機器人虛擬作業(yè)場景與現(xiàn)實場景的幾何模型完全一致。

【專利附圖】

【附圖說明】
[0009]圖1所示為本發(fā)明的基于現(xiàn)實場景的機器人模擬演練系統(tǒng)的構(gòu)建方法的一個實施例的流程圖。
[0010]圖2所示為基于本發(fā)明的方法建立的一個基于現(xiàn)實場景的機器人模擬演練系統(tǒng)的示意圖。

【具體實施方式】
[0011]為使本發(fā)明的目的、技術(shù)方案和優(yōu)點更加清楚，下面將結(jié)合本發(fā)明具體實施例及相應(yīng)的附圖對本發(fā)明技術(shù)方案進行清楚、完整地描述。
[0012]參考圖1，圖1所示為本發(fā)明的基于現(xiàn)實場景的機器人模擬演練系統(tǒng)的構(gòu)建方法的一個實施例100的流程圖。實施例100包括如下步驟101至106。
[0013]在步驟101中，獲取現(xiàn)實場景的深度圖像信息，并將深度圖像信息轉(zhuǎn)化成離散的三維點云數(shù)據(jù)。
[0014]在本發(fā)明的一個實施例中，可以利用深度傳感器Kinect來獲取現(xiàn)實場景的深度圖像信息，采用光編碼技術(shù)(light Coding)技術(shù)進行3D偵測，獲取深度圖像信息，通過內(nèi)置的芯片運算得到完整的點云坐標(biāo)，并在保留主要的幾何特征信息的前提下，采用八叉樹方法對點云數(shù)據(jù)進行精簡。
[0015]在步驟102中，將三維點云數(shù)據(jù)解釋成機器人能夠理解的語義地圖。
[0016]在本發(fā)明的一個實施例中，將三維點云數(shù)據(jù)解釋成機器人能夠理解的語義地圖的步驟進一步包括步驟201~203。
[0017]在步驟201中，先對點云場景進行分割，并通過平面檢測算法在大規(guī)模三維點集中找出大平面，進而去除平面點云完成對點云的初步分割；
在步驟202中，提取大平面的特征以及大平面間的關(guān)系，識別出地面、墻面和門等房間結(jié)構(gòu)，以及尺寸較大的桌面，并對剩余空間點進行分割、聚簇得到單個物體。
[0018]在步驟203中，對單個物體進行特征提取，得到其粗類別以及邊界框。由此，將無序點集轉(zhuǎn)換為帶有語義信息的三維拓撲地圖。
[0019]在步驟103中，將離散的三維點云數(shù)據(jù)輸入三維建模軟件中對虛擬場景進行幾何建模，得到虛擬場景的三維實體模型。三維建模軟件可以是UG、Pro/E、sol id works或solidedge等三維建模軟件。
[0020]在本發(fā)明的一個實施例中，三維建模軟件可以是Pro/E軟件。Pro/E在建立模型時允許從一個點集數(shù)據(jù)文件輸入數(shù)據(jù)，因此很容易實現(xiàn)與點云數(shù)據(jù)的接口。此類型點云數(shù)據(jù)文件的名稱以Pts為擴展名，此種點云數(shù)據(jù)文件都遵循如下的一般規(guī)則:文件為文本文件，每個點云數(shù)據(jù)的坐標(biāo)占一行，空行將被忽略。#用于標(biāo)記注釋行的開始，可置于行的任何位置。系統(tǒng)讀取數(shù)據(jù)行時，#后的內(nèi)容被忽略。每個點在一行內(nèi)用它的X、Y、Z三個坐標(biāo)值表示?？梢詫inect獲取的深度數(shù)據(jù)按照上述格式寫成包含人體表面的三維信息的pts點云數(shù)據(jù)文件后，再利用Pro/E軟件進行讀取，就可以實現(xiàn)點云數(shù)據(jù)的可視化。
[0021]在本發(fā)明的一個實施例中，采用Facet Feature小平面特征建模，它可以輸入三維坐標(biāo)測量所獲得的點云數(shù)據(jù)，糾正設(shè)備引起的點云錯誤，可以對點云消噪、平滑濾波，部分點云刪除和增補、經(jīng)過多視拼接、特征線提取、三角網(wǎng)絡(luò)劃分和三角平面處理等操作，最終獲得三維實體模型。
[0022]在步驟104中，將三維實體模型導(dǎo)入到3DS MAX中貼圖渲染，得到三維空間場景模型。
[0023]在步驟105中，在3DS MAX中對機器人進行幾何建模，得到虛擬機器人模型。
[0024]機器人模擬演練的作業(yè)仿真平臺中，為了保證虛擬機器人能有效模擬實際機器人，首先得要求虛擬機器人外觀形狀與實際機器人相同，組成虛擬機器人的各個零部件的形狀以及它們之間相對的尺寸比例也應(yīng)與實際機器人一致。另外，虛擬機器人需要能跟現(xiàn)實機器人做一樣的動作，必然要在機構(gòu)上做到跟現(xiàn)實機器人一樣，以實現(xiàn)對虛擬機器人的交互式控制，令其能夠在虛擬環(huán)境中按照操作人員的意愿做出相應(yīng)動作。
[0025]因此，在本發(fā)明的一個實施例中，對機器人進行幾何建模時，需要根據(jù)機器人的運動關(guān)節(jié)來拆分機器人的各部分構(gòu)件，利用3DS MAX建模工具對機器人各零部件建模建立各個部分幾何模型，創(chuàng)建相關(guān)的OGRE及ODE對象，形成配置文件，然后在ODE動力引擎中從機器人配置文件讀取機器人各零部件的幾何模型及相對位姿，最后將各零部件通過ODE定義的關(guān)節(jié)聯(lián)系在一起，將各個零部件裝配成一個可以活動的整體模型。
[0026]在步驟106中，將三維空間場景模型和虛擬機器人模型導(dǎo)入到OGRE中構(gòu)建三維空間場景的物理模型和動力模型，并在ODE中建立虛擬的場景仿真系統(tǒng)。
[0027]在本發(fā)明的一個實施例中，在3DS MAX軟件中貼圖渲染后，利用OGRE軟件渲染出虛擬三維場景，并用ODE軟件建立虛擬世界的物理模型，在此系統(tǒng)上易于進行可視化和交互式編程。
[0028]由于用3DS MAX制作三維模型或動畫后以3DS格式文保存文件，事實上OGRE不能識別3DS文件，OGRE能夠識別的是一種類似XML文件的OSM文件，所以必須對模型的源文件進行處理。因此，在本發(fā)明的一個實施例中，導(dǎo)出OSM格式文件需要安裝相應(yīng)的Ofus1n插件(為OGRE工程提供模型資源的3DS MAX轉(zhuǎn)換插件，使用它可以將3DS MAX的模型導(dǎo)出為OGRE可以識別的資源文件)，然后在OGRE中導(dǎo)入所生成的資源文件。
[0029]虛擬環(huán)境的建模是整個可視化仿真系統(tǒng)建立的基礎(chǔ)。因此，在本發(fā)明的一個實施例中，OGRE利用場景管理器來對場景進行組織，并在渲染之前對場景中可見物體的渲染順序進行排列，按照優(yōu)先級存儲到隊列當(dāng)中，以便于渲染系統(tǒng)進行渲染，所使用的場景圖結(jié)構(gòu)是八叉樹結(jié)構(gòu)。
[0030]在現(xiàn)實世界中的對象或物體除了具有外在的表現(xiàn)特征如外觀、質(zhì)感，還有自身的能力和行為，并服從物理世界的客觀規(guī)律。
[0031]因此，在本發(fā)明的一個實施例中，還需要對機器人進行運動建模以及環(huán)境的物理建模。運動建模主要用于確定機器人在世界坐標(biāo)系中的位置，以及機器人在虛擬世界中的運動。物體在三維空間的位姿變化包括物體的移動、縮放和旋轉(zhuǎn)，通常采用4X4的齊次變換矩陣來描述物體在三維空間的位姿變化，齊次變換矩陣的一般形式可由式(I)表示。
[0032]其中，R3x3是描述物體局部坐標(biāo)系B相對于世界坐標(biāo)系A(chǔ)的旋轉(zhuǎn)子矩陣，R 3xl是描述物體局部坐標(biāo)系的原點相對于世界坐標(biāo)系的原點的位置向量。采用齊次變換矩陣的方法可以節(jié)省計算量，平移、旋轉(zhuǎn)可以按照同一種方式定義，還可以復(fù)合，齊次變換矩陣的求逆相對簡單，所以比較適合復(fù)雜建模。
[0033]如式(2)所示，當(dāng)對物體進行縮放時，只需要在旋轉(zhuǎn)子矩陣R3x3的對角線元素乘以關(guān)于世界坐標(biāo)系A(chǔ)的三個坐標(biāo)軸的縮放因子，物體的旋轉(zhuǎn)只需要在旋轉(zhuǎn)子矩陣中進行變換。
[0034]在本發(fā)明的一個實施例中，在虛擬環(huán)境中，虛擬物體的物理建模包括定義物體的彈性、慣性、質(zhì)量、硬度、表面紋理(光滑或粗糙)等。將幾何建模和物體的行為規(guī)則與這些特性相結(jié)合起來，就可以形成虛擬物體的物理模型。
[0035]在本發(fā)明的一個實施例中，可以利用電液伺服系統(tǒng)的解析模型來實現(xiàn)虛擬機器人的控制系統(tǒng)，液壓缸在ODE中用滑動關(guān)節(jié)來表示。通過滑動關(guān)節(jié)可以獲取關(guān)節(jié)現(xiàn)在的位置，以此來模擬模型中的位移傳感器，通過輸入設(shè)置獲取目標(biāo)位置，同時，用PID控制器代替電液比例閥，用PID控制器輸出模擬液壓直接作用于滑動關(guān)節(jié)，以驅(qū)動虛擬液壓缸按用戶的輸入運動，進而驅(qū)動機械臂的作相應(yīng)的動作。
[0036]參考圖2，圖2所示為基于本發(fā)明的方法建立的一個基于現(xiàn)實場景的機器人模擬演練系統(tǒng)的示意圖。包括虛擬三維場景模塊，外部資源文件通過資源管理器導(dǎo)入到場景管理器模塊，機器人配置文件及外部資源文件通過場景管理器模塊生成場景文件，通過場景文件生成虛擬三維場景模塊；場景管理器模塊及虛擬三維場景模塊連接OGRE渲染隊列模塊；0GRE渲染隊列模塊連接顯示終端模塊，操作人員通過顯示終端模塊對系統(tǒng)進行監(jiān)視；所述虛擬場景內(nèi)設(shè)有虛擬機器人，所述虛擬機器人通過ODE動力引擎按照的機器人運動學(xué)模型提供動力完成仿真動作，操作人員操作鼠標(biāo)、鍵盤或手柄等外部設(shè)備通過OGRE幀監(jiān)聽器對虛擬機器人進行仿真控制。
[0037]資源管理器從外部文件中載入系統(tǒng)需要使用的資源，包括網(wǎng)格模型文件(.mesh)、材質(zhì)定義文件(.material)、骨賂動畫(.skeleton)、以及各種圖像文件，以備其它模塊調(diào)用。
[0038]場景管理器從場景文件中載入三維場景地形數(shù)據(jù)，建立三維場景，從機器人配置文件讀取機器人各零部件的幾何模型和相對位姿，從而創(chuàng)建出虛擬機器人。
[0039]OGRE幀監(jiān)聽器，負責(zé)循環(huán)監(jiān)聽用戶輸入，利用OIS模塊讀取鼠標(biāo)鍵盤消息，并將消息發(fā)送給虛擬機器人從而對機器人進行控制。
[0040] 雖然以上述較佳的實施例對本發(fā)明做出了詳細的描述，但并非用上述實施例限定本發(fā)明。本領(lǐng)域的技術(shù)人員應(yīng)當(dāng)意識到在不脫離本發(fā)明技術(shù)方案所給出的技術(shù)特征和范圍的情況下，對技術(shù)特征所作的增加、以本領(lǐng)域一些同樣內(nèi)容的替換，均應(yīng)屬本發(fā)明的保護范圍。
【權(quán)利要求】
1.一種基于現(xiàn)實場景的機器人模擬演練系統(tǒng)的構(gòu)建方法，其特征是，包括: 獲取現(xiàn)實場景的深度圖像信息，并將所述深度圖像信息轉(zhuǎn)化成離散的三維點云數(shù)據(jù)； 將所述三維點云數(shù)據(jù)解釋成機器人能夠理解的語義地圖； 將離散的三維點云數(shù)據(jù)輸入三維建模軟件中對虛擬場景進行幾何建模，得到虛擬場景的三維實體模型； 將所述三維實體模型導(dǎo)入到303嫩X中貼圖渲染，得到三維空間場景模型； 在303嫩X中對機器人進行幾何建模，得到虛擬機器人模型；以及 將三維空間場景模型和虛擬機器人模型導(dǎo)入到0--中構(gòu)建三維空間場景的物理模型和動力模型，在002中建立虛擬的場景仿真系統(tǒng)。
2.根據(jù)權(quán)利要求1所述的方法，其特征是，所述將三維點云數(shù)據(jù)解釋成機器人能夠理解的語義地圖的步驟包括: 先對點云場景進行分割，并通過平面檢測算法在大規(guī)模三維點集中找出大平面，進而去除平面點云完成對點云的初步分割； 提取所述大平面的特征以及大平面間的關(guān)系，識別出地面、墻面和門等房間結(jié)構(gòu)，以及尺寸較大的桌面，并對剩余空間點進行分割、聚簇得到單個物體；以及 對所述單個物體進行特征提取，得到其粗類別以及邊界框。
3.根據(jù)權(quán)利要求1或2所述的方法，其特征是，所述獲取現(xiàn)實場景的深度圖像信息，并將所述深度圖像信息轉(zhuǎn)化成離散的三維點云數(shù)據(jù)的步驟包括:將深度圖像信息轉(zhuǎn)化為世界坐標(biāo)系下的三維點云數(shù)據(jù)，并將彩色圖像中的顏色信息映射到三維點云中，形成三維點云數(shù)據(jù)。
4.根據(jù)權(quán)利要求3所述的方法，其特征是，還包括:在保留重建物體關(guān)鍵幾何特征信息的前提下，對點云數(shù)據(jù)進行精簡的步驟。
【文檔編號】G06T17/00GK104484522SQ201410754484
【公開日】2015年4月1日 申請日期:2014年12月11日 優(yōu)先權(quán)日:2014年12月11日
【發(fā)明者】劉桂華, 張華 , 史晉芳, 丁飛, 劉滿祿, 張靜, 肖宇峰, 楚紅雨, 王坤朋 申請人:西南科技大學(xué)