本發(fā)明涉及自動機械技術(shù)領(lǐng)域，尤其是涉及一種基于機器視覺技術(shù)的智能桌面式機械臂系統(tǒng)。

背景技術(shù)：

機器人技術(shù)得到了快速的發(fā)展，各行各業(yè)都有其廣泛應(yīng)用，如：工業(yè)制造、生物醫(yī)療、緊急救災(zāi)等。音樂可以讓人消除工作緊張、減輕生活壓力、避免各類慢性疾病，所以聆聽音樂、鑒賞音樂，是現(xiàn)代人極為普遍的生活調(diào)劑。積木玩具的搭建，充滿了樂趣，是現(xiàn)代兒童普遍流行的一種兒童游戲。

如果有一種可以自主彈奏電子琴并且可以自主搭建積木玩具的桌面式機械臂系統(tǒng)，對于音樂愛好者，該系統(tǒng)將提供一種現(xiàn)代化的享受生活、評鑒音樂方式，甚至可以幫助歌手在演出時進(jìn)行電子琴的彈奏，節(jié)省人力又不失高端、華麗；對于兒童，該機械臂系統(tǒng)可以完成積木玩具的搭建，給好玩的小朋友們帶來無窮樂趣。

技術(shù)實現(xiàn)要素：

本發(fā)明的目的就是為了克服上述現(xiàn)有技術(shù)存在的缺陷而提供一種組件簡單、成本低廉的基于機器視覺技術(shù)的智能桌面式機械臂系統(tǒng)。

本發(fā)明的目的可以通過以下技術(shù)方案來實現(xiàn)：

一種基于機器視覺技術(shù)的智能桌面式機械臂系統(tǒng)，用于對桌面上應(yīng)用模塊進(jìn)行識別并操控應(yīng)用模塊，所述的智能桌面式機械臂系統(tǒng)包括上位機、下位機、機械臂與攝像頭，所述的攝像頭與上位機連接，所述的上位機還與下位機連接，所述的下位機與機械臂連接；所述的攝像頭拍攝桌面上應(yīng)用模塊的實時圖像并傳送給上位機，所述的上位機包括相互聯(lián)系的圖像處理模塊、動作指令模塊與計算模塊，所述的上位機圖像處理模塊識別桌面上應(yīng)用模塊的圖像，動作指令模塊根據(jù)桌面上應(yīng)用模塊的實時圖像信息生成動作指令，計算模塊根據(jù)動作指令自動生成機械臂末端每一時刻的位置坐標(biāo)，并且計算模塊將機械臂末端每一時刻的位置坐標(biāo)信息傳遞給下位機，下位機根據(jù)機械臂末端每一時刻的位置坐標(biāo)信息控制機械臂移動到每一時刻的指定位置坐標(biāo)，實現(xiàn)對桌面上應(yīng)用模塊的操控。

進(jìn)一步的，本發(fā)明的智能桌面式機械臂系統(tǒng)尤其適用于應(yīng)用模塊具體為已打開應(yīng)用程序頁面的智能終端的情形。

所述的桌面上應(yīng)用模塊具體為已打開應(yīng)用程序頁面的智能終端，所述的上位機的圖像處理模塊識別智能終端上應(yīng)用程序頁面的圖像，動作指令模塊根據(jù)桌面上智能終端上應(yīng)用程序頁面的實時圖像信息生成動作指令，計算模塊根據(jù)動作指令自動生成機械臂末端每一時刻的位置坐標(biāo)，并且計算模塊將機械臂末端每一時刻的位置坐標(biāo)信息傳遞給下位機，下位機根據(jù)機械臂末端每一時刻的位置坐標(biāo)信息控制機械臂移動到每一時刻的指定位置坐標(biāo)，實現(xiàn)對智能終端上應(yīng)用程序頁面的操控。

更近一步地，所述的桌面上應(yīng)用模塊具體為已打開電子琴操作界面的智能手機，所述的攝像頭拍攝桌面上智能手機上電子琴操作界面的實時圖像并傳送給上位機，所述的上位機的圖像處理模塊識別智能手機上電子琴操作界面上的按鍵位置，動作指令模塊根據(jù)智能手機上電子琴操作界面的實時圖像信息生成每一時刻的按鍵順序指令，計算模塊基于運動學(xué)逆解程序根據(jù)電子琴操作界面上的按鍵位置解算出機械臂對應(yīng)的關(guān)節(jié)轉(zhuǎn)角，并且計算模塊將機械臂對應(yīng)的關(guān)節(jié)轉(zhuǎn)角信息傳遞給下位機，下位機控制機械臂關(guān)節(jié)運動到關(guān)節(jié)對應(yīng)角度，從而實現(xiàn)對電子琴進(jìn)行彈奏。

進(jìn)一步的，本發(fā)明的智能桌面式機械臂系統(tǒng)尤其適用于應(yīng)用模塊具體為積木玩具的情形。

所述的桌面上應(yīng)用模塊具體為桌面上的積木玩具，所述的攝像頭拍攝桌面上積木玩具的實時圖像并傳送給上位機，所述的上位機的圖像處理模塊識別桌面上積木玩具形狀和位置，動作指令模塊根據(jù)桌面上積木玩具形狀和位置信息自動生成每一時刻的機械臂末端吸盤位置，計算模塊基于運動學(xué)逆解程序根據(jù)位置坐標(biāo)解算出機械臂對應(yīng)的關(guān)節(jié)轉(zhuǎn)角，并且計算模塊將機械臂對應(yīng)的關(guān)節(jié)轉(zhuǎn)角信息傳遞給下位機，下位機控制機械臂關(guān)節(jié)運動到關(guān)節(jié)對應(yīng)角度，從而使機械臂末端吸盤吸取積木進(jìn)行積木搭建。

所述的攝像頭與上位機之間通過數(shù)據(jù)線進(jìn)行連接。

所述的上位機與下位機之間通過數(shù)據(jù)線進(jìn)行連接。

進(jìn)一步地，所述的上位機上設(shè)有兩個USB接口，分別與下位機和攝像頭連接。

所述的上位機為可以直接發(fā)出操控命令的計算機。

所述的下位機為直接控制設(shè)備獲取設(shè)備狀況的計算機。

所述的機械臂為自動機器人領(lǐng)域常用機械臂。

與現(xiàn)有技術(shù)相比，本發(fā)明具有以下優(yōu)點及有益效果：攝像頭拍攝桌面上的物體，圖像處理程序識別桌面物體，結(jié)合圖像處理程序識別的結(jié)果，上位機自動生成機械臂末端每一時刻的位置坐標(biāo)，計算模塊基于運動學(xué)逆解計算方法根據(jù)位置坐標(biāo)解算出對應(yīng)的關(guān)節(jié)轉(zhuǎn)角，下位機控制關(guān)節(jié)運動到關(guān)節(jié)所對應(yīng)的角度，從而使機械臂末端到達(dá)目標(biāo)位置，執(zhí)行相關(guān)任務(wù)。

附圖說明

圖1為本發(fā)明智能桌面式機械臂系統(tǒng)硬件結(jié)構(gòu)示意圖；

圖2為本發(fā)明智能桌面式機械臂系統(tǒng)控制框圖；

圖3為電子琴彈奏時系統(tǒng)硬件結(jié)構(gòu)示意圖；

圖4為電子琴彈奏時系統(tǒng)控制框圖；

圖5為積木搭建時系統(tǒng)硬件結(jié)構(gòu)示意圖；

圖6為積木搭建時系統(tǒng)控制框圖。

圖中標(biāo)號：1、攝像頭，2、機械臂，3、下位機，4、上位機，5、桌面，6、應(yīng)用模塊，7、智能手機，8、積木模塊。

具體實施方式

下面結(jié)合附圖和具體實施例對本發(fā)明進(jìn)行詳細(xì)說明。

實施例1

一種基于機器視覺技術(shù)的智能桌面式機械臂系統(tǒng)，如圖1、圖2所示，用于對桌面5上應(yīng)用模塊6進(jìn)行識別并操控應(yīng)用模塊6，智能桌面式機械臂系統(tǒng)包括上位機4、下位機3、機械臂2與攝像頭1，上位機4上設(shè)有兩個USB接口，分別與下位機3和攝像頭1通過數(shù)據(jù)線連接。上位機4為可以直接發(fā)出操控命令的計算機。下位機3為直接控制設(shè)備獲取設(shè)備狀況的計算機。機械臂2為自動機器人領(lǐng)域常用機械臂。下位機3與機械臂2連接。

攝像頭1拍攝桌面上應(yīng)用模塊6的實時圖像并傳送給上位機4，上位機4包括相互聯(lián)系的圖像處理模塊、動作指令模塊與計算模塊，上位機圖像處理模塊識別桌面上應(yīng)用模塊的圖像，動作指令模塊根據(jù)桌面上應(yīng)用模塊的實時圖像信息生成動作指令，計算模塊根據(jù)動作指令自動生成機械臂末端每一時刻的位置坐標(biāo)，并且計算模塊將機械臂末端每一時刻的位置坐標(biāo)信息傳遞給下位機，下位機根據(jù)機械臂末端每一時刻的位置坐標(biāo)信息控制機械臂移動到每一時刻的指定位置坐標(biāo)，實現(xiàn)對桌面上應(yīng)用模塊的操控。

在圖像處理模塊含有圖像處理程序，動作指令模塊含有具體針對應(yīng)用模塊進(jìn)行操作的指令程序，計算模塊含有運動學(xué)逆解程序。

實施例2

一種基于機器視覺技術(shù)的智能桌面式機械臂系統(tǒng)，如圖3、圖4所示，用于對桌面5上智能手機7進(jìn)行識別并操控智能手機7的電子琴操作界面，智能桌面式機械臂系統(tǒng)包括上位機4、下位機3、機械臂2與攝像頭1，上位機4上設(shè)有兩個USB接口，分別與下位機3和攝像頭1通過數(shù)據(jù)線連接。上位機4為可以直接發(fā)出操控命令的計算機。下位機3為直接控制設(shè)備獲取設(shè)備狀況的計算機。機械臂2為自動機器人領(lǐng)域常用機械臂。下位機3與機械臂2連接。在圖像處理模塊含有圖像處理程序，動作指令模塊含有具體針對應(yīng)用模塊進(jìn)行操作的指令程序，計算模塊含有運動學(xué)逆解程序。

本實施例中，桌面上應(yīng)用模塊具體為已打開電子琴操作界面的智能手機，在電子琴彈奏時，從圖4中可知，上位機4由圖像處理程序、音樂生成模塊、運動學(xué)逆解、數(shù)據(jù)傳輸四個部分組成，上位機4是整個智能桌面式機械臂系統(tǒng)的核心，用來完成整個過程的數(shù)據(jù)控制。上位機4一方面對攝像頭1采集的圖像進(jìn)行處理，另一方面，產(chǎn)生正確的關(guān)節(jié)角度數(shù)據(jù)并傳輸給下位機3進(jìn)行機械臂2的運動控制。從圖4中可知，攝像頭實時采集智能手機7上電子琴圖像；上位機4分別用USB接口1、USB接口2與攝像頭1、下位機3進(jìn)行連接，完成數(shù)據(jù)傳輸；機械臂2由下位機控制，末端用來點奏電子琴。

實施例3

一種基于機器視覺技術(shù)的智能桌面式機械臂系統(tǒng)，如圖5、圖6所示，用于對桌面5上積木模塊8進(jìn)行識別并操控積木模塊8，智能桌面式機械臂系統(tǒng)包括上位機4、下位機3、機械臂2與攝像頭1，上位機4上設(shè)有兩個USB接口，分別與下位機3和攝像頭1通過數(shù)據(jù)線連接。上位機4為可以直接發(fā)出操控命令的計算機。下位機3為直接控制設(shè)備獲取設(shè)備狀況的計算機。機械臂2為自動機器人領(lǐng)域常用機械臂。下位機3與機械臂2連接。

本實施例中，桌面上應(yīng)用模塊具體為桌面上的積木模塊，攝像頭拍攝桌面上積木玩具的實時圖像并傳送給上位機，上位機的圖像處理模塊識別桌面上積木玩具形狀和位置，動作指令模塊根據(jù)桌面上積木玩具形狀和位置信息自動生成每一時刻的機械臂末端吸盤位置，計算模塊基于運動學(xué)逆解程序根據(jù)位置坐標(biāo)解算出機械臂對應(yīng)的關(guān)節(jié)轉(zhuǎn)角，并且計算模塊將機械臂對應(yīng)的關(guān)節(jié)轉(zhuǎn)角信息傳遞給下位機，下位機控制機械臂關(guān)節(jié)運動到關(guān)節(jié)對應(yīng)角度，從而使機械臂末端吸盤吸取積木進(jìn)行積木搭建。

攝像頭1實時采集積木堆和已搭建好城堡圖像，通過USB接口1將圖像實時傳輸給上位機圖像處理程序，積木搭建模塊結(jié)合圖像處理程序處理結(jié)果給出本次機械臂2末端吸盤位置坐標(biāo)，運動學(xué)逆解模塊將位置坐標(biāo)反解出關(guān)節(jié)轉(zhuǎn)角，并通過USB接口2傳輸給下位機3，下位機3控制機械臂2的運動，使末端吸盤吸取積木進(jìn)行本步積木搭建，整個過程不斷循環(huán)，直至城堡搭建完畢，圖6給定的是積木搭建時系統(tǒng)圖。

上述的對實施例的描述是為便于該技術(shù)領(lǐng)域的普通技術(shù)人員能理解和使用發(fā)明。熟悉本領(lǐng)域技術(shù)的人員顯然可以容易地對這些實施例做出各種修改，并把在此說明的一般原理應(yīng)用到其他實施例中而不必經(jīng)過創(chuàng)造性的勞動。因此，本發(fā)明不限于上述實施例，本領(lǐng)域技術(shù)人員根據(jù)本發(fā)明的揭示，不脫離本發(fā)明范疇所做出的改進(jìn)和修改都應(yīng)該在本發(fā)明的保護(hù)范圍之內(nèi)。