基于手勢識別的自動避障小車及其控制裝置和控制方法
【專利摘要】基于手勢識別的自動避障小車，涉及人機交互智能圖像信息處理，屬于基于深度相機非接觸式三維虛擬空間領(lǐng)域和雙目立體視覺領(lǐng)域，其車體前部設(shè)置分開的兩個攝像頭，車體內(nèi)部設(shè)置包含單片機的下位機，車體安置兩個無線wifi模塊，一個無線wifi模塊連接一個攝像頭，車體還安置一個藍牙模塊，兩個小車后輪分別連接著一個精密直流電機。上述自動避障小車的控制裝置，其深度體感相機連接上位機，上位機設(shè)置串口藍牙和一個無線wifi模塊。本發(fā)明通過手勢控制小車并繪制地圖，在自動運行模式下實現(xiàn)小車自動避障，利用自動控制、網(wǎng)絡(luò)通信和圖像處理技術(shù)，操作方便，適合在危險環(huán)境下檢查周圍環(huán)境是否有危險和在障礙物多的地形下進行搬運工作。
【專利說明】基于手勢識別的自動避障小車及其控制裝置和控制方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及人機交互智能圖像信息處理，屬于基于深度相機非接觸式三維虛擬空間領(lǐng)域和雙目立體視覺領(lǐng)域，具體涉及一種基于手勢識別的自動避障小車及其控制裝置和控制方法。
【背景技術(shù)】
[0002]在現(xiàn)在計算機普遍智能化的時代，人機交互智能圖像信息處理已成為計算機視覺領(lǐng)域的重要應(yīng)用。自上世紀(jì)90年代PC出現(xiàn)以來，人機交互這門交叉綜合學(xué)科，已成為用戶體驗的主流研究技術(shù)，體感交互模式的出現(xiàn)讓人機交互技術(shù)進入一個新時代。隨著用戶對層出不窮的移動智能設(shè)備的剛性需求，智能圖像處理愈趨向龐大復(fù)雜的數(shù)據(jù)處理及多功能應(yīng)用發(fā)展，由此為人機交互平臺帶來了更大的挑戰(zhàn)與機遇?，F(xiàn)在，計算機處理的交互信息量越來越龐大，促使日漸高效、穩(wěn)定、實時的新型交互技術(shù)飛速發(fā)展?，F(xiàn)代交互技術(shù)主要分為語言識別技術(shù)和身體語言識別技術(shù)，其中手勢識別是身體語言識別技術(shù)的重要分支技術(shù)。
[0003]隨著科學(xué)技術(shù)的發(fā)展，移動機器人的應(yīng)用領(lǐng)域越來越廣泛，同時對人類生產(chǎn)和生活帶來了重大影響。視覺作為機器人獲取周圍環(huán)境信息的重要手段，以信息量大為特點，對移動機器人自動導(dǎo)航和自動避障具有重要意義。避障小車有通過類似紅外傳感器實現(xiàn)硬件避障，但是這種避障方式只能在近距離避障，而且判斷不準(zhǔn)確。而雙目視覺通過視差獲取周圍環(huán)境的三維點云，可以精確得到障礙物離小車的距離，障礙物的左右邊距，可以為自動導(dǎo)航和自動避障提供很好的可行性方案。

【發(fā)明內(nèi)容】

[0004]本發(fā)明所要解決的技術(shù)問題是提供一種基于深度相機的手勢控制小車并繪制地圖，并能在自動運行模式下實現(xiàn)小車自動避障的算法及裝置，該裝置能有效以多種操作方式控制小車，并能自動避開障礙物，識別出地形并繪制地圖。該裝置利用自動控制技術(shù)、網(wǎng)絡(luò)通信技術(shù)、圖像處理技術(shù)，操作方便，且能繪制出地圖和小車此時在地圖中的坐標(biāo)位置，適合在危險環(huán)境下檢查周圍環(huán)境是否有危險和障礙物多的地形下搬運工作。
[0005]基于上述，本發(fā)明的第一個目的是提供一種基于手勢識別的自動避障小車。
[0006]本發(fā)明的基于手勢識別的自動避障小車，包括車體和輪子，其車體前部設(shè)置分開的兩個攝像頭，車體內(nèi)部設(shè)置包含單片機的下位機，車體安置兩個無線wifi模塊，一個無線wifi模塊連接一個攝像頭，車體還安置一個藍牙模塊，兩個小車后輪分別連接著一個精密直流電機。
[0007]小車上的無線wifi模塊將攝像頭獲取的視頻信號，通過編碼發(fā)送到上位端，上位機通過wifi熱點鏈接到wifi模塊，上位機再去解碼，并讀取視頻，再做后面的視頻處理過程。
[0008]由于有兩個wifi模塊，有兩個熱點，所以通過網(wǎng)口線，將兩個wifi模塊連起來，這樣上位機只需連接一個熱點，就可獲取兩路視頻信號。這種方案有利于簡化結(jié)構(gòu)。[0009]小車上除了兩個攝像頭，兩個wifi模塊，還有一個藍牙模塊，負責(zé)小車運動控制信號的傳輸。
[0010]兩個攝像頭是分開的，他們各自獲取各自的視頻圖像，通過圖像處理的方法，具體就是雙目視覺的方法，獲取深度圖，這個深度圖是實時移動的，因為小車在移動，獲取的深度圖是為了做自動避障。
[0011]本發(fā)明中，單片機優(yōu)選Atmegal28 AVR單片機。
[0012]本發(fā)明的第二個目的是提供上述自動避障小車的一種控制裝置。
[0013]上述自動避障小車的控制裝置，其深度體感相機連接上位機，上位機設(shè)置串口藍牙和一個無線wifi模塊。
[0014]作為優(yōu)選，深度體感相機選用Kinect體感相機。
[0015]本發(fā)明的第三個目的是提供上述自動避障小車的一種控制方法。
[0016]上述自動避障小車的控制方法，使用上述所述的控制裝置，在上位機中配置opencv和openni庫,上位機安裝地圖繪制算法、手勢識別算法、自動避障算法，手勢識別算法存儲手掌平面參數(shù)，在上述所述的自動避障小車下位機中安裝自動避障算法，然后按照下述步驟:
步驟I):將上位機的藍牙與車體藍牙配對，連接上位機的無線wifi與車體的無線wifi ；
步驟2):發(fā)出手勢。
[0017]本發(fā)明所述手勢包括:
手勢5:為停車手勢，表示小車立即停止，等待新的手勢；
手勢O:為進入手動控制模式手勢，移動該手勢到合適的位置，小車做相應(yīng)的移動；同時也是進入手勢控制狀態(tài)的手勢，只有檢測到手勢O后，手勢5或者手勢2才會進入算法中進行判斷；
手勢2:為進入自動控制模式手勢，小車按照程序自行移動。
[0018]所述手勢識別算法中，手勢通過kinect獲取，在上位機中獲取到圖像后，通過openni和opencv結(jié)合的方法,具體通過深度閾值獲取手勢(這是openni的功能),通過手勢圖像中凹凸點個數(shù)和最小hu矩方法，匹配手勢(這是用到了 opencv的方法)，手勢識別完以后，只需要發(fā)出手勢對應(yīng)的藍牙輸出信號給下位機控制即可。
[0019]當(dāng)手勢O進行移動，并超過移動最小距離3cm時，即進行判斷移動方向，根據(jù)移動方向，藍牙輸出對應(yīng)的控制信號。移動方向有以下四種:前進，后退，左拐，右拐。當(dāng)手勢偏離這幾個正對方向時，計算向哪邊的趨勢多，并輸出對應(yīng)控制信號。當(dāng)檢測到手勢5時，小車立即停止。也可通過手勢5移動手到適合kinect檢測的位置。當(dāng)檢測到手勢2時，小車進入自動控制模式，小車通過自動避障，進行運動。當(dāng)再次檢測到手勢5時，停止自動控制模式，并進入手動控制模式。
[0020]這里，手勢深度信息的閾值范圍控制在70cm?80cm ；
利用三維點云的計算公式得到手勢點云，然后對手勢點云做數(shù)據(jù)篩選；
具體過程是:通過深度體感相機獲取實時的深度圖像和RGB彩色圖像，利用Openni對圖像中人體進行用戶定位和骨骼跟蹤，根據(jù)人體跟蹤的骨骼關(guān)節(jié)信息提取出目標(biāo)手勢的關(guān)節(jié)點； 對手關(guān)節(jié)點進行跟蹤預(yù)測定位。設(shè)定以手關(guān)節(jié)點為中心的合適手勢區(qū)域范圍，同時設(shè)定手勢深度信息的閾值，結(jié)合場景深度圖像將手勢從背景圖像中分割出來，實時得到目標(biāo)手勢的深度信息和RGB彩色信息。
[0021]對分割后的手勢深度信息和RGB彩色信息，利用三維點云的計算公式得到手勢點云，計算后的點云數(shù)據(jù)只包括點的三維坐標(biāo)位置信息，然后對手勢點云做數(shù)據(jù)篩選，濾除掉手勢中的噪聲干擾點。
[0022]根據(jù)手勢幾何模型，找到手勢的最外輪廓，對比保存的手掌平面參數(shù)，利用最小hu矩法計算提取出手指輪廓的hu矩，將計算出的hu矩與模板的hu矩進行匹配，識別最相近的手勢hu矩值。
[0023]所述地圖繪制算法中，下位機的單片機通過外部中斷，獲取小車后輪轉(zhuǎn)動產(chǎn)生的脈沖，并通過定時中斷判斷小車脈沖數(shù)是否到達指定脈沖；
小車用紅點標(biāo)注，地圖原點為小車初始放置的位置，上位機檢測到更新數(shù)據(jù)后重新標(biāo)注小車紅點坐標(biāo)；
上位機讀取下位機傳送的電腦視頻流，并做雙目視差處理，獲取圖像視差，用視差圖得到空間點云，將空間點云中低于15cm的點云設(shè)為地面，高于15cm低于IOOcm的物體作為障礙物；
判別I軸低于15cm的為地面，提取從地面點集的外輪廓進行地圖繪制，即為小車經(jīng)過的外界地形。
[0024]具體過程是:通過小車后輪兩個精密直流電機，可以精確控制小車走的距離，量出小車輪子的直徑(小車輪子直徑是通過買來時廠家提供的技術(shù)參數(shù)獲得)，由此可以精確計算小車自行距離和轉(zhuǎn)彎角度。
[0025]由直流電機技術(shù)和小車后輪參數(shù)可知，小車后輪轉(zhuǎn)一圈，直流電機會產(chǎn)生650個脈沖，所以要使小車轉(zhuǎn)的角度對應(yīng)的脈沖數(shù)=Θ *360/650，小車直行的距離d=脈沖數(shù)*2n*R/650。下位機的AVR單片機通過外部中斷，獲取小車脈沖，并通過定時中斷判斷小車脈沖數(shù)是否到達指定脈沖。通過計算出的轉(zhuǎn)的角度和自行距離，距離和轉(zhuǎn)的角度發(fā)送到上位機，上位機檢測到更新數(shù)據(jù)后重新標(biāo)注小車紅點坐標(biāo)。
[0026]上位機讀取下位機傳到電腦視頻流，將兩個攝像頭獲取的視頻先做雙目標(biāo)定，再做立體矯正，獲取圖像視差，用視差圖得到空間點云。
[0027]上述的自動避障算法中，判別y軸高于15cm，低于IOOcm的為障礙物，提取障礙物點集，判斷z軸距離和X軸最左最右距離進行自動避障。
[0028]本發(fā)明中，控制裝置中的深度體感相機獲取人發(fā)出的手勢，上位機識別手勢，通過藍牙傳輸至下位機，下位機控制小車進行運動。同時下位機實時地將小車坐標(biāo)通過藍牙傳至上位機，上位機實時更新地圖，小車的攝像頭采集到的視頻流通過wifi傳輸?shù)缴衔粰C，上位機進行雙目視差圖像處理，獲取雙目圖像視差，用視差圖得到空間點云，將點云中低于15cm的點云設(shè)為地面，將高于15cm低于IOOcm的物體作為障礙物，將低于15cm的點集之中最外層的點畫在地圖上，即為小車經(jīng)過的外界地形。小車的下位機判別y軸高于15cm，低于IOOcm的障礙物，提取障礙物點集，判斷z軸距離和X軸最左最右距離，控制小車在自動控制模式下進行自動避障。【專利附圖】

【附圖說明】
[0029]圖1是本發(fā)明的手勢控制過程圖；
圖2是手勢5的手勢圖；
圖3是手勢O的手勢圖；
圖4是手勢2的手勢圖。
【具體實施方式】
[0030]基于手勢識別的自動避障小車，包括車體和輪子，其車體前部設(shè)置分開的兩個攝像頭，車體內(nèi)部設(shè)置包含單片機的下位機，車體安置兩個無線wifi模塊，一個無線wifi模塊連接一個攝像頭，車體還安置一個藍牙模塊，兩個小車后輪分別連接著一個精密直流電機。
[0031]通過網(wǎng)口線,將兩個wifi模塊連起來。
[0032]單片機優(yōu)選Atmegal28 AVR單片機。
[0033]上述自動避障小車的控制裝置，其深度體感相機連接上位機，上位機設(shè)置串口藍牙和一個無線wifi模塊。
[0034]深度體感相機選用Kinect體感相機。
[0035]見圖1。上述自動避障小車的控制方法，使用上述的控制裝置，在上位機中配置opencv和openni庫,上位機安裝地圖繪制算法、手勢識別算法、自動避障算法，手勢識別算法存儲手掌平面參數(shù)，在自動避障小車下位機中安裝自動避障算法，然后按照下述步驟:
步驟I):將上位機的藍牙與車體藍牙配對，連接上位機的無線wifi與車體的無線wifi ;設(shè)置小車上兩個無線wifi模塊的物理地址，模塊I的物理地址為192.168.1.1，模塊2的物理地址為192.168.1.2。通過網(wǎng)口線，將兩個wifi模塊連起來。
[0036]步驟2):發(fā)出手勢。
[0037]見圖疒圖4。手勢5:為停車手勢，表示小車立即停止，等待新的手勢；
手勢O:為進入手動控制模式手勢，移動該手勢到合適的位置，小車做相應(yīng)的移動；同時也是進入手勢控制狀態(tài)的手勢，只有檢測到手勢O后，手勢5或者手勢2才會進入算法中進行判斷；
手勢2:為進入自動控制模式手勢，小車按照程序自行移動。
[0038]所述手勢識別算法中，手勢通過kinect獲取，在上位機中獲取到圖像后，通過openni和opencv結(jié)合的方法,具體通過深度閾值獲取手勢(這是openni的功能),通過手勢圖像中凹凸點個數(shù)和最小hu矩方法，匹配手勢(這是用到了 opencv的方法)，手勢識別完以后，只需要發(fā)出手勢對應(yīng)的藍牙輸出信號給下位機控制即可。
[0039]當(dāng)手勢O進行移動，并超過移動最小距離3cm時，即進行判斷移動方向，根據(jù)移動方向，藍牙輸出對應(yīng)的控制信號。移動方向有以下四種:前進，后退，左拐，右拐。當(dāng)手勢偏離這幾個正對方向時，計算向哪邊的趨勢多，并輸出對應(yīng)控制信號。當(dāng)檢測到手勢5時，小車立即停止。也可通過手勢5移動手到適合kinect檢測的位置。當(dāng)檢測到手勢2時，小車進入自動控制模式，小車通過自動避障，進行運動。當(dāng)再次檢測到手勢5時，停止自動控制模式，并進入手動控制模式。
[0040]這里，手勢深度信息的閾值范圍控制在70cm?80cm ； 利用三維點云的計算公式得到手勢點云，然后對手勢點云做數(shù)據(jù)篩選；
具體過程是:通過深度體感相機獲取實時的深度圖像和RGB彩色圖像，利用Openni對圖像中人體進行用戶定位和骨骼跟蹤，根據(jù)人體跟蹤的骨骼關(guān)節(jié)信息提取出目標(biāo)手勢的關(guān)節(jié)點；
對手關(guān)節(jié)點進行跟蹤預(yù)測定位。設(shè)定以手關(guān)節(jié)點為中心的合適手勢區(qū)域范圍，同時設(shè)定手勢深度信息的閾值，結(jié)合場景深度圖像將手勢從背景圖像中分割出來，實時得到目標(biāo)手勢的深度信息和RGB彩色信息。
[0041]對分割后的手勢深度信息和RGB彩色信息，利用三維點云的計算公式得到手勢點云，計算后的點云數(shù)據(jù)只包括點的三維坐標(biāo)位置信息，然后對手勢點云做數(shù)據(jù)篩選，濾除掉手勢中的噪聲干擾點。
[0042]根據(jù)手勢幾何模型，找到手勢的最外輪廓，對比保存的手掌平面參數(shù)，利用最小hu矩法計算提取出手指輪廓的hu矩，將計算出的hu矩與模板的hu矩進行匹配，識別最相近的手勢hu矩值。
[0043]所述地圖繪制算法中，下位機的單片機通過外部中斷，獲取小車后輪轉(zhuǎn)動產(chǎn)生的脈沖，并通過定時中斷判斷小車脈沖數(shù)是否到達指定脈沖；
小車用紅點標(biāo)注，地圖原點為小車初始放置的位置，上位機檢測到更新數(shù)據(jù)后重新標(biāo)注小車紅點坐標(biāo)；
上位機讀取下位機傳送的電腦視頻流，并做雙目視差處理，獲取圖像視差，用視差圖得到空間點云，將空間點云中低于15cm的點云設(shè)為地面，高于15cm低于IOOcm的物體作為障礙物；
判別I軸低于15cm的為地面，提取從地面點集的外輪廓進行地圖繪制，即為小車經(jīng)過的外界地形。
【權(quán)利要求】
1.基于手勢識別的自動避障小車，包括車體和輪子，其特征在于:車體前部設(shè)置分開的兩個攝像頭，車體內(nèi)部設(shè)置包含單片機的下位機，車體安置兩個無線Wifi模塊，一個無線wif i模塊連接一個攝像頭，車體還安置一個藍牙模塊，兩個小車后輪分別連接著一個精密直流電機。
2.根據(jù)權(quán)利要求1所述的自動避障小車，其特征在于:單片機選用Atmegal28AVR單片機。
3.根據(jù)權(quán)利要求1所述的自動避障小車，其特征在于:兩個無線wifi模塊通過網(wǎng)口線連接。
4.權(quán)利要求1的基于手勢識別的自動避障小車的控制裝置，其特征在于:深度體感相機連接上位機，上位機設(shè)置串口藍牙和一個無線wifi模塊。
5.根據(jù)權(quán)利要求4所述的控制裝置，其特征在于:深度體感相機選用Kinect體感相機。
6.權(quán)利要求1所述的基于手勢識別的自動避障小車的控制方法，其特征在于:使用權(quán)利要求4所述的控制裝置,在上位機中配置opencv和openni庫，上位機安裝地圖繪制算法、手勢識別算法、自動避障算法，手勢識別算法存儲手掌平面參數(shù)，在權(quán)力要求I所述的自動避障小車下位機中安裝自動避障算法，然后按照下述步驟: 步驟I):將上位機的藍牙與車體藍牙配對，連接上位機的無線wifi與車體的無線wifi ； 步驟2):發(fā)出手勢。
7.根據(jù)權(quán)利要求6所述的控制方法，其特征在于:所述手勢包括: 手勢5:為停車手勢，表示小車立即停止，等待新的手勢； 手勢O:為進入手動控制模式手勢，移動該手勢到合適的位置，小車做相應(yīng)的移動；同時也是進入手勢控制狀態(tài)的手勢，只有檢測到手勢O后，手勢5或者手勢2才會進入算法中進行判斷； 手勢2:為進入自動控制模式手勢，小車按照程序自行移動。
8.根據(jù)權(quán)利要求6所述的控制方法，其特征在于:所述手勢識別算法中， 涉及手勢深度信息的閾值范圍控制在70cm~80cm ； 涉及利用三維點云的計算公式得到手勢點云，然后對手勢點云做數(shù)據(jù)篩選； 涉及根據(jù)手勢幾何模型，找到手勢的最外輪廓，對比保存的手掌平面參數(shù)，利用最小hu矩法計算提取出手指輪廓的hu矩，將計算出的hu矩與模板的hu矩進行匹配，識別最相近的手勢hu矩值。
9.根據(jù)權(quán)利要求6所述的控制方法，其特征在于:所述地圖繪制算法中， 涉及下位機的單片機通過外部中斷，獲取小車后輪轉(zhuǎn)動產(chǎn)生的脈沖，并通過定時中斷判斷小車脈沖數(shù)是否到達指定脈沖； 涉及小車用紅點標(biāo)注，地圖原點為小車初始放置的位置，上位機檢測到更新數(shù)據(jù)后重新標(biāo)注小車紅點坐標(biāo)； 涉及上位機讀取下位機傳送的電腦視頻流，并做雙目視差處理，獲取圖像視差，用視差圖得到空間點云，將空間點云中低于15cm的點云設(shè)為地面,高于15cm低于IOOcm的物體作為障礙物；涉及判別I軸低于15cm的為地面，提取從地面點集的外輪廓進行地圖繪制，即為小車經(jīng)過的外界地形。
10.根據(jù)權(quán)利要求6所述的控制方法，其特征在于:自動避障算法中，涉及判別y軸高于15cm，低于IOOcm的為障礙物，提取障礙物點集，判斷z軸距離和x軸最左最右距離進行自動避障。
【文檔編號】G05D1/02GK103955215SQ201410149890
【公開日】2014年7月30日 申請日期:2014年4月15日 優(yōu)先權(quán)日:2014年4月15日
【發(fā)明者】張彤, 蘆愛余, 莫建文, 劉鵬, 袁華, 陳利霞, 首照宇, 歐陽寧, 趙暉 申請人:桂林電子科技大學(xué), 桂林宇輝信息科技有限責(zé)任公司