一種基于多攝像頭機(jī)器視覺(jué)的醫(yī)療吊臂自動(dòng)避障控制方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于自動(dòng)化控制、人工智能技術(shù)和機(jī)器視覺(jué)領(lǐng)域，具體涉及電機(jī)控制、機(jī)械臂路徑規(guī)劃、機(jī)器視覺(jué)檢測(cè)識(shí)別障礙物等方法。
技術(shù)背景
[0002]近年來(lái)，隨著現(xiàn)代工業(yè)和智能制造技術(shù)的不斷發(fā)展，各行各業(yè)都或多或少的在實(shí)際的生活、生產(chǎn)中使用了現(xiàn)代化智能自動(dòng)化設(shè)備。其中，智能醫(yī)療項(xiàng)目的發(fā)展也十分地迅速。并且已經(jīng)發(fā)展成為了一門系統(tǒng)的新興邊緣交叉綜合工程學(xué)科。而由于計(jì)算機(jī)技術(shù)、傳感技術(shù)、信號(hào)處理技術(shù)、人工智能技術(shù)和控制理論的不斷進(jìn)步，為設(shè)備狀態(tài)監(jiān)測(cè)與故障診斷技術(shù)提供了系統(tǒng)的理論工具和使用分析方法，使得其應(yīng)用價(jià)值更加顯著。
[0003]目前，國(guó)內(nèi)的醫(yī)療吊臂設(shè)備都是使用手動(dòng)的方式推動(dòng)。這樣，手術(shù)室的效率就會(huì)大大降低。而近年來(lái)，隨著國(guó)家對(duì)醫(yī)療方面的重視。對(duì)醫(yī)療器械的要求也在不斷提高，各大醫(yī)院也紛紛引進(jìn)了國(guó)外先進(jìn)的電控醫(yī)療吊塔。然而國(guó)內(nèi)醫(yī)療吊塔的發(fā)展并不理想，多數(shù)國(guó)產(chǎn)醫(yī)療吊塔還是只能靠手動(dòng)推動(dòng)，沒(méi)有實(shí)現(xiàn)自動(dòng)化，更不必說(shuō)實(shí)時(shí)避障等這樣的智能功能。
[0004]機(jī)械臂路徑規(guī)劃，基于得到的障礙物位置信息，實(shí)時(shí)計(jì)算、規(guī)劃最優(yōu)路徑，使機(jī)械臂能夠順利繞開(kāi)障礙物，并迅速到達(dá)目標(biāo)終點(diǎn)位置。
[0005]運(yùn)動(dòng)圖像障礙物識(shí)別，基于一般圖像處理過(guò)程。包括圖像采集，圖像預(yù)處理，圖像邊緣檢測(cè)，圖像邊緣提取，障礙物識(shí)別等步驟。

【發(fā)明內(nèi)容】

[0006]針對(duì)現(xiàn)有技術(shù)存在的缺陷，本發(fā)明的目的是提供一種基于多攝像頭機(jī)器視覺(jué)的醫(yī)療吊臂自動(dòng)避障控制方法，以適應(yīng)手術(shù)室現(xiàn)場(chǎng)環(huán)境，提高識(shí)別障礙物及其位置的準(zhǔn)確性、精確性、快速性以及魯棒性，優(yōu)化機(jī)械臂路徑規(guī)劃算法。
[0007]為達(dá)到上述目的，本發(fā)明采用了以下技術(shù)方案:
基于多攝像頭機(jī)器視覺(jué)的醫(yī)療吊臂自動(dòng)避障控制方法，包括以下步驟:
(1.1)，實(shí)時(shí)采集圖像數(shù)據(jù)；
(1.2)，將(1.1)采集到的圖像數(shù)據(jù)傳輸?shù)絇C機(jī)上；
(1.3)，將(1.2)中的圖像進(jìn)行預(yù)處理；
(1.4)，圖像檢測(cè)是否有障礙物，并且判斷障礙物位置信息；
(1.5)，將(1.4)中得到的障礙物信息傳輸給下位機(jī)電機(jī)控制系統(tǒng)；
(1.6)，電機(jī)控制系統(tǒng)對(duì)障礙物位置進(jìn)行分析、計(jì)算，實(shí)時(shí)規(guī)劃更新到達(dá)目標(biāo)位置的運(yùn)動(dòng)路徑；
(1.7)，電機(jī)控制系統(tǒng)按照(1.6)中所規(guī)劃的路徑運(yùn)行，避開(kāi)障礙物，運(yùn)動(dòng)到指定位置。
[0008]所述步驟(1.1)實(shí)時(shí)采集圖像數(shù)據(jù)，首先需要確定攝像頭安裝位置，為了更好地采集醫(yī)療吊臂末端周圍的圖像，根據(jù)醫(yī)院手術(shù)室的特點(diǎn)，以及醫(yī)療吊臂的結(jié)構(gòu)，設(shè)計(jì)了特殊的攝像頭放置位置。將攝像頭安裝在醫(yī)療吊臂末端托盤四周的底部，分別放置在四個(gè)方向上，總共四個(gè)攝像頭，可以采集醫(yī)療吊臂末端四個(gè)方向周圍的圖像。
[0009]所述步驟(1.4)所述圖像檢測(cè)是否有障礙物，并且判斷障礙物位置信息包括以下步驟:
(2.1)，對(duì)四個(gè)攝像頭同時(shí)采集彩色圖像，通過(guò)圖像拼接算法，再進(jìn)行灰度化處理，得到完整的灰度圖像。由于有多個(gè)攝像頭同時(shí)拍攝吊臂末端的各個(gè)方向上的圖像，每個(gè)攝像頭得到的圖像都只是吊臂末端周圍圖像的一部分，通過(guò)采用SURF特征的圖像拼接融合算法，將所得到的圖像融合為一張完整的吊臂末端周圍圖像。再對(duì)彩色圖像進(jìn)行灰度化處理，得到灰度圖像；
(2.2)，對(duì)處理得到的灰度圖像再進(jìn)行二值化處理，先使用0TSU算法，計(jì)算出自適應(yīng)最佳閾值，再將該閾值用于CANNY算子中，作為CANNY算法中的一個(gè)參數(shù)，對(duì)灰度圖像進(jìn)行處理，得到具有障礙物邊緣信息的二值圖像；
(2.3)，識(shí)別每個(gè)圖像中的邊緣信息，確定障礙物邊緣像素點(diǎn)坐標(biāo)；
(2.4)，通過(guò)各個(gè)攝像頭與吊臂的相對(duì)位置，進(jìn)行坐標(biāo)轉(zhuǎn)化，將各個(gè)圖像中障礙物的局部位置坐標(biāo)轉(zhuǎn)化為全局位置坐標(biāo)，即獲得障礙物位置相對(duì)于吊臂的坐標(biāo)。
[0010]所述步驟(1.6)所述的機(jī)械臂路徑規(guī)劃算法的實(shí)現(xiàn)，其步驟為:
(3.1)，對(duì)障礙物位置信息進(jìn)行坐標(biāo)轉(zhuǎn)換，確定其相對(duì)于吊臂末端的位置；
(3.2)，判斷障礙物是否處于現(xiàn)有規(guī)劃的路徑之上，若是，則重新規(guī)劃最優(yōu)路徑，以繞過(guò)障礙物，否則，繼續(xù)按照原規(guī)劃路徑前進(jìn)。
[0011]本發(fā)明與現(xiàn)有技術(shù)相比較，具有以下突出的實(shí)質(zhì)性特點(diǎn)和顯著的進(jìn)步:
(1)本發(fā)明使用了一種多攝像頭機(jī)器視覺(jué)系統(tǒng)，對(duì)圖像中障礙物的識(shí)別、定位更加準(zhǔn)確、精確，使整體系統(tǒng)的適應(yīng)性和魯棒性得到加強(qiáng)。
[0012](2)本發(fā)明引入了機(jī)械臂實(shí)時(shí)路徑規(guī)劃算法，可以在機(jī)械臂運(yùn)動(dòng)時(shí)，通過(guò)分析、計(jì)算實(shí)時(shí)更新的障礙物位置信息，實(shí)時(shí)地更細(xì)所規(guī)劃的路徑，達(dá)到動(dòng)態(tài)規(guī)劃的效果。
【附圖說(shuō)明】
[0013]圖1是本發(fā)明基于多攝像頭機(jī)器視覺(jué)的醫(yī)療吊臂自動(dòng)避障控制方法的主程序框圖。
【具體實(shí)施方式】
[0014]下面結(jié)合附圖和優(yōu)選實(shí)施例對(duì)本發(fā)明作進(jìn)一步的描述。
[0015]實(shí)施例:
如圖1所示，本基于多攝像頭機(jī)器視覺(jué)的醫(yī)療吊臂自動(dòng)避障控制方法，包括如下步驟:
(1.1)，實(shí)時(shí)采集圖像數(shù)據(jù)，即利用安裝在吊臂上的多個(gè)攝像頭，實(shí)時(shí)采集吊臂周圍的圖像數(shù)據(jù)。
[0016](1.2)，將采集到的圖像數(shù)據(jù)傳輸?shù)絇C機(jī)上。攝像頭采用USB接口，可以直接通過(guò)USB進(jìn)行數(shù)據(jù)傳輸，傳輸速度較快。
[0017](1.3)，對(duì)圖像進(jìn)行預(yù)處理，圖像預(yù)處理包括圖像直方圖均衡化、簡(jiǎn)單的圖像濾波等，使圖像相對(duì)于現(xiàn)場(chǎng)環(huán)境噪聲的影響變小，更為清晰，便于之后的處理。
[0018](1.4)，圖像檢測(cè)是否有障礙物，并且判斷障礙物位置信息，其步驟包括:對(duì)四個(gè)攝像頭同時(shí)采集彩色圖像，通過(guò)圖像拼接算法，再進(jìn)行灰度化處理，得到完整的灰度圖像。對(duì)處理得到的灰度圖像再進(jìn)行二值化處理，得到具有障礙物邊緣信息的二值圖像。識(shí)別每個(gè)圖像中的邊緣信息，確定障礙物邊緣像素點(diǎn)坐標(biāo)。最終判斷障礙物并最終得到障礙物位置?目息。
[0019](1.5)，將得到的障礙物信息傳輸給電機(jī)控制系統(tǒng)。通過(guò)PC機(jī)的串口，將障礙物信息傳輸給下位機(jī)控制系統(tǒng)。
[0020](1.6)，電機(jī)控制系統(tǒng)對(duì)障礙物位置進(jìn)行分析、計(jì)算，實(shí)時(shí)規(guī)劃更新到達(dá)目標(biāo)位置的運(yùn)動(dòng)路徑。其步驟包括:對(duì)障礙物位置信息進(jìn)行坐標(biāo)轉(zhuǎn)換，確定其相對(duì)于吊臂末端的位置;判斷障礙物是否處于現(xiàn)有規(guī)劃的路徑之上，若是，則重新規(guī)劃最優(yōu)路徑，以繞過(guò)障礙物，否則，繼續(xù)按照原規(guī)劃路徑前進(jìn)。
[0021 ] (1.7)，電機(jī)控制系統(tǒng)按照(1.6)中所規(guī)劃的路徑運(yùn)行，避開(kāi)障礙物，運(yùn)動(dòng)到指定位置。
【主權(quán)項(xiàng)】
1.基于多攝像頭機(jī)器視覺(jué)的醫(yī)療吊臂自動(dòng)避障控制方法，其特征在于，包括以下步驟: (1.1)，實(shí)時(shí)采集圖像數(shù)據(jù)； (1.2)，將(1.1)采集到的圖像數(shù)據(jù)傳輸?shù)絇C機(jī)上； (1.3)，將(1.2)中的圖像進(jìn)行預(yù)處理； (1.4)，圖像檢測(cè)是否有障礙物，并且判斷障礙物位置信息； (1.5)，將(1.4)中得到的障礙物信息傳輸給電機(jī)控制系統(tǒng)； (1.6)，電機(jī)控制系統(tǒng)對(duì)障礙物位置進(jìn)行分析、計(jì)算，實(shí)時(shí)規(guī)劃更新到達(dá)目標(biāo)位置的運(yùn)動(dòng)路徑； (1.7)，電機(jī)控制系統(tǒng)按照(1.6)中所規(guī)劃的路徑運(yùn)行，避開(kāi)障礙物，運(yùn)動(dòng)到指定位置。2.根據(jù)權(quán)利要求1所述的基于多攝像頭機(jī)器視覺(jué)的醫(yī)療吊臂自動(dòng)避障控制方法，其特征在于:所述步驟(1.1)實(shí)時(shí)采集圖像數(shù)據(jù)，首先需要確定攝像頭安裝位置，為了更好地采集醫(yī)療吊臂末端周圍的圖像，根據(jù)醫(yī)院手術(shù)室的特點(diǎn)，以及醫(yī)療吊臂的結(jié)構(gòu)，設(shè)計(jì)了特殊的攝像頭放置位置，將攝像頭安裝在醫(yī)療吊臂末端托盤四周的底部，分別放置在四個(gè)方向上，總共四個(gè)攝像頭，可以采集醫(yī)療吊臂末端四個(gè)方向周圍的圖像。3.根據(jù)權(quán)利要求1所述的基于多攝像頭機(jī)器視覺(jué)的醫(yī)療吊臂自動(dòng)避障控制方法，其特征在于:所述步驟(1.4)中的圖像檢測(cè)是否有障礙物，并且判斷障礙物位置信息包括以下步驟: (2.1)，對(duì)四個(gè)攝像頭同時(shí)采集彩色圖像，通過(guò)圖像拼接算法，再進(jìn)行灰度化處理，得到完整的灰度圖像，由于有多個(gè)攝像頭同時(shí)拍攝吊臂末端的各個(gè)方向上的圖像，每個(gè)攝像頭得到的圖像都只是吊臂末端周圍圖像的一部分，通過(guò)采用SURF特征的圖像拼接融合算法，將所得到的圖像融合為一張完整的吊臂末端周圍圖像，再對(duì)彩色圖像進(jìn)行灰度化處理，得到灰度圖像； (2.2)，對(duì)處理得到的灰度圖像再進(jìn)行二值化處理，先使用OTSU算法，計(jì)算出自適應(yīng)最佳閾值，再將該閾值用于CANNY算子中，作為CANNY算法中的一個(gè)參數(shù)，對(duì)灰度圖像進(jìn)行處理，得到具有障礙物邊緣信息的二值圖像； (2.3)，識(shí)別每個(gè)圖像中的邊緣信息，確定障礙物邊緣像素點(diǎn)坐標(biāo)； (2.4)，通過(guò)各個(gè)攝像頭與吊臂的相對(duì)位置，進(jìn)行坐標(biāo)轉(zhuǎn)化，將各個(gè)圖像中障礙物的局部位置坐標(biāo)轉(zhuǎn)化為全局位置坐標(biāo)，即獲得障礙物位置相對(duì)于吊臂的坐標(biāo)。4.根據(jù)權(quán)利要求1所述的基于多攝像頭機(jī)器視覺(jué)的醫(yī)療吊臂自動(dòng)避障控制方法，其特征在于:所述步驟(1.6)中的電機(jī)控制系統(tǒng)對(duì)障礙物位置進(jìn)行分析、計(jì)算，實(shí)時(shí)規(guī)劃更新到達(dá)目標(biāo)位置的運(yùn)動(dòng)路徑包括以下步驟: (3.1)對(duì)障礙物位置信息進(jìn)行坐標(biāo)轉(zhuǎn)換，確定其相對(duì)于吊臂末端的位置； (3.2)判斷障礙物是否處于現(xiàn)有規(guī)劃的路徑之上，若是，則重新規(guī)劃最優(yōu)路徑，以繞過(guò)障礙物，否則，繼續(xù)按照原規(guī)劃路徑前進(jìn)。
【專利摘要】本發(fā)明公開(kāi)了一種基于多攝像頭機(jī)器視覺(jué)的醫(yī)療吊臂自動(dòng)避障控制方法。本發(fā)明包括以下步驟：1）實(shí)時(shí)采集圖像數(shù)據(jù)；2）傳輸圖像數(shù)據(jù)到PC機(jī)；3）圖像預(yù)處理；4）圖像檢測(cè)是否有障礙物，并且判斷障礙物位置信息；5）將障礙物信息傳輸給下位機(jī)電機(jī)控制系統(tǒng)；6）電機(jī)控制系統(tǒng)對(duì)障礙物位置進(jìn)行分析、計(jì)算，實(shí)時(shí)規(guī)劃更新到達(dá)目標(biāo)位置的運(yùn)動(dòng)路徑；7）電機(jī)控制系統(tǒng)運(yùn)行，避開(kāi)障礙物，運(yùn)動(dòng)到指定位置。本發(fā)明運(yùn)用了機(jī)器視覺(jué)圖像處理的相關(guān)理論和路徑規(guī)劃理論，以保障自動(dòng)避障功能的實(shí)現(xiàn)，另外考慮到手術(shù)室復(fù)雜的現(xiàn)場(chǎng)環(huán)境對(duì)圖像的噪聲干擾，本發(fā)明還采用了一定的軟件濾波處理以增強(qiáng)整體算法的魯棒性和精確性，可以實(shí)現(xiàn)對(duì)障礙物的高精度識(shí)別以及對(duì)吊臂的精確避障控制。
【IPC分類】A61B34/00, G05D3/20
【公開(kāi)號(hào)】CN105468033
【申請(qǐng)?zhí)枴緾N201511004221
【發(fā)明人】王海寬, 周志境, 張銳, 費(fèi)敏銳, 尹志輝, 姜聞名
【申請(qǐng)人】上海大學(xué), 上海正華醫(yī)療設(shè)備有限公司
【公開(kāi)日】2016年4月6日
【申請(qǐng)日】2015年12月29日