本發(fā)明涉及機器人避障，具體涉及一種基于機器視覺的機器人主動避障方法及其裝置。

背景技術(shù)：

隨著科技的發(fā)展，機器人的用途也越來越廣泛，特別是服務(wù)機器人在行進(jìn)的路徑上通常會遇到各種不同的障礙物，傳統(tǒng)的服務(wù)類機器人的避障的方法為利用深度相機、激光雷達(dá)、雙目視覺系統(tǒng)等獲取當(dāng)前場景的環(huán)境信息，然后采用可視圖法，柵格圖法，拓?fù)浞?，人工勢場法等獲取可通行的路徑進(jìn)而實現(xiàn)避障的功能，這種方式存在以下缺點：

1、智能化程度低，不能識別障礙物的類型，不能針對不同的障礙物的類型進(jìn)行不同的避障動作，且遇到人群比較密集的時候只會停止前進(jìn)并等待；

2、安全性低，面對運動中的障礙物，尤其是移動中的行人，服務(wù)機器人表現(xiàn)出的適應(yīng)性較差，容易同運動的障礙物發(fā)生碰撞；

3、交互性差，遇到行人目標(biāo)的障礙物時無任何的交互提示，實際運行時，服務(wù)機器人無法主動向周圍行人障礙發(fā)出警示，提醒行人注意安全，導(dǎo)致人機交互性差。

技術(shù)實現(xiàn)要素：

本發(fā)明的目的在于克服現(xiàn)有技術(shù)存在的以上問題，提供一種基于機器視覺的機器人主動避障方法及其裝置，實現(xiàn)智能程度高，安全性高，交互性強的服務(wù)機器人避障。

為實現(xiàn)上述技術(shù)目的，達(dá)到上述技術(shù)效果，本發(fā)明通過以下技術(shù)方案實現(xiàn)：

一種基于機器視覺的機器人主動避障方法，包括以下步驟：

獲取視覺信息，通過相機采集機器人前行方向視覺信息；

視覺信息解算，解算視覺信息得到對應(yīng)的3d點云圖；

障礙物檢測，判斷前進(jìn)方向上是否存在阻礙機器人前行的障礙，若存在障礙則進(jìn)入障礙物類型識別，若不存在障礙則機器人按原定的全局規(guī)劃路徑前行；

障礙物類型識別，利用視覺信息與行人標(biāo)準(zhǔn)視覺信息模板匹配，判斷障礙物是否為行人，若障礙物為行人則進(jìn)入行人避障模式，若障礙物為非行人則進(jìn)入非行人避障模式；

行人避障模式，計算并修正通行路徑，判斷路徑是否可以通行，若路徑可以通行則按計算路徑通行并通過語音提醒行人注意安全，若路徑不可以通行則停止前行并語音提示行人進(jìn)行避讓；非行人避障模式，計算并修正通行路徑，判斷路徑是否可以通行，若路徑可以通行則按計算路徑通行，若路徑不可以通行則停止前行并等待。進(jìn)一步的，所述的獲取視覺信息包括通過深度相機獲取機器人前進(jìn)方向深度圖信息。

進(jìn)一步的，所述的視覺信息解算包括利用深度圖信息解算3d點云，公式如下，

xworld、yworld、zworld對應(yīng)深度攝像機坐標(biāo)系下的世界坐標(biāo)，x、y是深度圖圖像坐標(biāo)系下的坐標(biāo)，deep是深度圖中(x,y)點處的深度值，cx、cy對應(yīng)圖像坐標(biāo)系下相機中心點的坐標(biāo)，tx、ty對應(yīng)單個像素點x方向和y方向的大小，fx、fy對應(yīng)x方向和y方向上的焦距信息。

進(jìn)一步的，所述的障礙物類型識別包括以下步驟：提取深度圖中障礙物邊緣信息，解算邊緣信息局部極大值，并以極大值點作為候選的行人頭部頂點，與行人標(biāo)準(zhǔn)視覺信息模板匹配，根據(jù)匹配結(jié)果判斷障礙物類型。

進(jìn)一步的，所述的模板匹配方法為基于chamfer匹配。

進(jìn)一步的，所述的障礙物類型識別中視覺信息還包括rgb圖像或灰度圖像。

一種基于機器視覺的機器人主動避障裝置，包括軟件模塊、硬件模塊；所述的硬件模塊包括一相機、一語音裝置、一處理器；所述的相機用于獲取機器人前行方向視覺信息；所述的語音裝置用于發(fā)出警示語提示行人注意安全或注意避讓；所述的處理器用于搭載軟件模塊，所述的軟件模塊與所述的相機、語音裝置通過所述的處理器聯(lián)接通訊；所述的軟件模塊用于根據(jù)視覺信息識別前行過程中的障礙物信息，并根據(jù)障礙物信息判斷選擇避障模式；所述的避障模式包括行人避障模式、非行人避障模式，根據(jù)選擇的避障模式執(zhí)行避障。進(jìn)一步的，所述的相機為深度相機。

進(jìn)一步的，所述的軟件模塊包括障礙檢測模塊、障礙識別模塊、路徑規(guī)劃模塊、語音提示模塊；所述的障礙檢測模塊用于根據(jù)深度相機獲取的深度圖檢測前進(jìn)方向上是否存在阻礙機器人前行的障礙；所述的障礙識別模塊用于根據(jù)深度圖識別障礙物是否為行人；所述的路徑規(guī)劃模塊用于根據(jù)障礙物信息規(guī)劃機器人前行路徑；所述的語音提示模塊用于控制所述的語音裝置發(fā)出警示語提示行人注意安全或注意避讓；；所述的行人避障模式包括通過所述的路徑規(guī)劃模塊計算并修正通行路徑，判斷路徑是否可以通行，若路徑可以通行則按計算路徑通行并通過所述的語音模塊提醒行人注意安全，若路徑不可以通行則通過所述的語音提示行人進(jìn)行避讓；所述的非行人避障模式包括通所述的路徑規(guī)劃模塊計算并修正通行路徑，判斷路徑是否可以通行，若路徑可以通行則按計算路徑通行，若路徑不可以通行則停止前行并等待。

進(jìn)一步的，所述的路徑規(guī)劃模塊采用的規(guī)劃算法包括最速下降算法、部分貪婪算法，dijkstra算法、floyed算法、spfa算法、圖論最短算法，遺傳算法、元胞自動機、免疫算法、禁忌搜索、模擬退火、人工神經(jīng)網(wǎng)絡(luò)、蟻群算法、粒子群算法。

本發(fā)明的有益效果是:本發(fā)明提供一種基于機器視覺的機器人主動避障方法，包括步驟獲取視覺信息，視覺信息解算，障礙物檢測、障礙物類型識別。本發(fā)明還涉及一種基于機器視覺的機器人主動避障裝置，本發(fā)明將障礙物的檢測、識別和避障結(jié)合，根據(jù)障礙物的不同采用不同的避障的策略。特別的，基于深度相機的障礙物的識別，將障礙物分為行人和非行人兩種類型，采用主動式避障，確保避障安全，提高機器人的智能性與交互性。

上述說明僅是本發(fā)明技術(shù)方案的概述，為了能夠更清楚了解本發(fā)明的技術(shù)手段，并可依照說明書的內(nèi)容予以實施，以下以本發(fā)明的較佳實施例并配合附圖詳細(xì)說明如后。本發(fā)明的具體實施方式由以下實施例及其附圖詳細(xì)給出。

附圖說明

此處所說明的附圖用來提供對本發(fā)明的進(jìn)一步理解，構(gòu)成本申請的一部分，本發(fā)明的示意性實施例及其說明用于解釋本發(fā)明，并不構(gòu)成對本發(fā)明的不當(dāng)限定。在附圖中：

圖1是本發(fā)明的一種基于機器視覺的機器人主動避障方法流程圖；

圖2是本發(fā)明的基于深度相機的機器人主動避障方法流程圖；

圖3是本發(fā)明的深度圖中障礙物邊緣信息示意圖；

圖4是本發(fā)明的基于深度相機的行人標(biāo)準(zhǔn)視覺信息模板示意圖；

圖5是本發(fā)明的一種基于機器視覺的機器人主動避障裝置組織結(jié)構(gòu)圖。

具體實施方式

下面將參考附圖并結(jié)合實施例，來詳細(xì)說明本發(fā)明。

參照圖1-5所示，一種基于機器視覺的機器人主動避障方法，如圖1、圖2所示，包括以下步驟：

獲取視覺信息，通過相機采集機器人前行方向視覺信息；優(yōu)選地，在一實施例中，視覺信息通過深度相機獲取機器人前進(jìn)方向深度圖信息。

視覺信息解算，解算視覺信息得到對應(yīng)的3d點云圖；在一實施例中，通過深度相機獲取的深度圖，將深度圖轉(zhuǎn)換為相機坐標(biāo)系下的3d點云圖，公式如下，

xworld、yworld、zworld對應(yīng)深度攝像機坐標(biāo)系下的世界坐標(biāo)，x、y是深度圖圖像坐標(biāo)系下的坐標(biāo)，deep是深度圖中(x,y)點處的深度值，cx、cy對應(yīng)圖像坐標(biāo)系下相機中心點的坐標(biāo)，tx、ty對應(yīng)單個像素點x方向和y方向的大小，fx、fy對應(yīng)x方向和y方向上的焦距信息。

障礙物檢測，判斷前進(jìn)方向上是否存在阻礙機器人前行的障礙，若存在障礙則進(jìn)入障礙物類型識別，若不存在障礙則機器人按原定的全局規(guī)劃路徑前行；通過在深度相機坐標(biāo)系下的3d點云信息進(jìn)行比對與篩選，篩選并記錄出3d點云中位于機器人原定路徑上的點，如該點存在則判斷存在障礙，一般的，服務(wù)機器人內(nèi)設(shè)有g(shù)ps模塊等運動定位模塊，通過原定路徑與機器人實體模型，能快速構(gòu)建機器人運動路徑區(qū)域，并結(jié)合運動定位，實時更新機器人運動位置，并同步至機器視覺及本實施例的深度相機中，實現(xiàn)運動坐標(biāo)系與視覺坐標(biāo)系的相互統(tǒng)一。

障礙物類型識別，利用視覺信息與行人標(biāo)準(zhǔn)視覺信息模板匹配，判斷障礙物是否為行人，若障礙物為行人則進(jìn)入行人避障模式，若障礙物為非行人則進(jìn)入非行人避障模式；在一實施例中，通過提取深度圖中障礙物邊緣信息，解算邊緣信息局部極大值，并以極大值點作為候選的行人頭部頂點，如圖3所示，小圓圈中為極大值點，將該點作為候選的行人頭部頂點，在候選的行人頭部頂點附近使用模板匹配的方式得到最終的人體上肢目標(biāo)，如圖4所示，根據(jù)匹配結(jié)果判斷障礙物類型，本在實施例中，模板匹配方法為基于chamfer匹配，chamfer匹配因其在目標(biāo)發(fā)生小幅旋轉(zhuǎn)、畸變及非對稱的情況下，仍能檢測出目標(biāo)物，具有良好的魯棒性，其計算公式如下：

式中，t＝{ti}為模板圖像的邊緣點集合；|t|表示集合t的點數(shù)；e＝{ej}為目標(biāo)圖像的邊緣點集合；ti和ej分別為t和e中的第i個、第j個邊緣點；dt(t,e)為模板t中的邊緣點到圖像e中最近像素點的平均距離；t和e2個邊緣相似度越高，dt(t,e)的值將越小，當(dāng)t和e是完全相同的邊緣的話dt(t,e)＝0。

行人避障模式，計算并修正通行路徑，判斷路徑是否可通行，若路徑可通行則按計算路徑通行并通過語音提醒行人注意安全，若路徑不可行則語音提示行人可否避讓。行人避障模式實時識別行人位置，根據(jù)當(dāng)前幀的行人位置信息判斷并修正通行路徑，對每一幀深度圖像信息進(jìn)行匹配判斷，更新行人動態(tài)，根據(jù)當(dāng)前幀的行人位置判斷是否可以通行，若路徑可以通行則按計算路徑通行并通過所述的語音模塊提醒行人注意安全，若路徑不可以通行則通過所述的語音提示行人進(jìn)行避讓。

非行人避障模式，計算并修正通行路徑，判斷路徑是否可通行，若路徑可通行則按計算路徑通行，若路徑不可通行則停止前行并等待。

應(yīng)當(dāng)理解，在計算并修正通行路徑時，篩選出的3d點云中位于機器人原定路徑上的點進(jìn)行包裹，包裹半徑根據(jù)機器人尺寸大小而定，包裹后的空間區(qū)域內(nèi)，對前行路徑進(jìn)行重新規(guī)劃，一般的規(guī)劃算法包括最速下降算法、部分貪婪算法，dijkstra算法、floyed算法、spfa算法、圖論最短算法，遺傳算法、元胞自動機、免疫算法、禁忌搜索、模擬退火、人工神經(jīng)網(wǎng)絡(luò)、蟻群算法、粒子群算法，算法為現(xiàn)有技術(shù)，根據(jù)實際應(yīng)用場景選取不同算法，在此不做過多敘述。

優(yōu)選地，在另一實施例中，選用非深度相機的工業(yè)相機獲取的視覺信息，在障礙物類型識別中視覺信息還包括rgb圖像或灰度圖像，通過對rgb圖像或灰度圖像進(jìn)行二制化、邊界提取，也可對提取的邊界信息解算邊界信息局部極大值，方法與障礙物類型識別中模板匹配相同，在此不再贅述。

一種基于機器視覺的機器人主動避障裝置，如圖5所示，包括軟件模塊、硬件模塊；所述的硬件模塊包括一相機、一語音裝置、一處理器；所述的相機用于獲取機器人前行方向視覺信息；所述的語音裝置用于發(fā)出警示語提示行人注意安全或注意避讓；所述的處理器用于搭載軟件模塊，所述的軟件模塊與所述的相機、語音裝置通過所述的處理器聯(lián)接通訊；所述的軟件模塊用于根據(jù)視覺信息識別前行過程中的障礙物信息，并根據(jù)障礙物信息判斷選擇避障模式；所述的避障模式包括行人避障模式、非行人避障模式，根據(jù)選擇的避障模式執(zhí)行避障。

優(yōu)選地，所述的相機為深度相機，所述的軟件模塊包括障礙檢測模塊、障礙識別模塊、路徑規(guī)劃模塊、語音提示模塊；所述的障礙檢測模塊用于根據(jù)深度相機獲取的深度圖檢測前進(jìn)方向上是否存在阻礙機器人前行的障礙；所述的障礙識別模塊用于根據(jù)深度圖識別障礙物是否為行人；所述的路徑規(guī)劃模塊用于根據(jù)障礙物信息規(guī)劃機器人前行路徑；所述的語音提示模塊用于控制所述的語音裝置發(fā)出警示語提示行人注意安全或提示避讓；所述的避障模式包括行人避障模式、非行人避障模式；所述的行人避障模式包括通過所述的路徑規(guī)劃模塊計算并修正通行路徑，判斷路徑是否可以通行，若路徑可以通行則按計算路徑通行并通過所述的語音模塊提醒行人注意安全，若路徑不可行則通過所述的語音提示行人進(jìn)行避讓；所述的非行人避障模式包括通所述的路徑規(guī)劃模塊計算并修正通行路徑，判斷路徑是否可通行，若路徑可以通行則按計算路徑通行，若路徑不可以通行則停止前行并等待。

本發(fā)明提供一種基于機器視覺的機器人主動避障方法與裝置，將障礙物的檢測、識別和避障結(jié)合，根據(jù)障礙物的不同采用不同的避障的策略。特別的，基于深度相機的障礙物的識別，將障礙物分為行人和非行人兩種類型，采用主動式避障，確保避障安全，提高機器人的智能性與交互性。

以上所述，僅為本發(fā)明的較佳實施例而已，并非對本發(fā)明作任何形式上的限制；凡本行業(yè)的普通技術(shù)人員均可按說明書附圖所示和以上所述而順暢地實施本發(fā)明；但是,凡熟悉本專業(yè)的技術(shù)人員在不脫離本發(fā)明技術(shù)方案范圍內(nèi)，利用以上所揭示的技術(shù)內(nèi)容而做出的些許更動、修飾與演變的等同變化，均為本發(fā)明的等效實施例；同時,凡依據(jù)本發(fā)明的實質(zhì)技術(shù)對以上實施例所作的任何等同變化的更動、修飾與演變等，均仍屬于本發(fā)明的技術(shù)方案的保護(hù)范圍之內(nèi)。