帶有觸覺感知反饋的手勢實時交互系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于人機交互技術(shù)領(lǐng)域，特別涉及一種手勢實時交互系統(tǒng)。
【背景技術(shù)】
[0002]隨著科學(xué)技術(shù)越來越多地融入人們的生活，計算機已經(jīng)不再是單純的工程和科學(xué)工具，而開始被公認為醫(yī)療保健、教育、能源和環(huán)境保護等重大社會問題解決方案的重要組成部分。更自然、便捷的人機交互模式作為推動這一進程的核心技術(shù)之一，必將成為計算機科學(xué)和信息產(chǎn)業(yè)的重要研宄領(lǐng)域的發(fā)展方向。人機交互是一門跨學(xué)科的領(lǐng)域，從廣義上理解就是用戶體驗。人機交互領(lǐng)域涉及到的專業(yè)相當(dāng)廣泛，其中包括認知學(xué)、心理學(xué)和人機工程學(xué)等。在目前人機交互領(lǐng)域研宄中，我們手指的一個微小動作、聲波在空氣中的震動、目艮珠和舌頭的轉(zhuǎn)動、肌肉傳導(dǎo)的興奮，都可以成為信息傳導(dǎo)的載體。從交互模式上，從傳統(tǒng)的鼠標(biāo)鍵盤拓展到手勢、語音、體感、肌電、眼動等。
[0003]近些年，手勢交互因其工程實現(xiàn)可行性大，而逐漸成為最為近些年的研宄熱點，并取得了長足的發(fā)展，特別是一些以手勢交互技術(shù)為支撐的產(chǎn)品(如Leap Mot1nabox360)陸續(xù)上市更加推動了手勢交互技術(shù)的研宄的發(fā)展?，F(xiàn)有的產(chǎn)品和專利主要關(guān)注了基于計算機視覺的手勢識別技術(shù)與交互方法，均以視覺通路信息為主要信息輸入和判讀依據(jù)，而缺乏觸覺感知通道信息輔助判斷信息，降低了交互體驗和交互效率。

【發(fā)明內(nèi)容】

[0004]本發(fā)明的目的是提供一種簡單、有效、成本低的帶有觸覺感知反饋的手勢實時交互系統(tǒng)，解決手勢交互操作中控制信息感知不足的問題，使手勢交互更符合人的認知特性，提升手勢交互體驗和效率。
[0005]為實現(xiàn)上述目的，本發(fā)明采用技術(shù)方案如下:
[0006]帶有觸覺感知反饋的手勢實時交互系統(tǒng)，該系統(tǒng)包括計算機終端、顯示屏、兩臺手勢采集相機、兩個視頻采集卡、手勢操作區(qū)、兩個紅外燈陣列和兩個紅外燈陣列控制模塊；手勢采集相機安裝在手勢操作區(qū)兩側(cè)，使視頻采集范圍覆蓋手勢操作區(qū)；視頻采集卡接收手勢采集相機的視頻信號，并傳輸給計算機終端計算手勢控制信息；紅外燈陣列安裝在手勢操作區(qū)兩側(cè)并貼近同側(cè)手勢采集相機，照射方向與同側(cè)視頻采集相機照射光軸方向夾角小于10° ;紅外燈控制模塊接收計算機終端指令，控制紅外燈陣列的開關(guān)和光照強度。
[0007]該手勢實時交互系統(tǒng)還包括若干個觸覺反饋裝置；手勢操作區(qū)內(nèi)設(shè)定一個虛擬操作平面；觸覺反饋裝置安裝在手指、手背、小臂或上臂部位上，根據(jù)用戶操作手與虛擬操作平面的空間距離關(guān)系，給出不同強度的振動反饋刺激或微電流反饋刺激。
[0008]進一步地，所述觸覺反饋裝置由觸覺傳感器和無線網(wǎng)絡(luò)模塊組成，觸覺傳感器分為振動傳感器和微電流傳感器。
[0009]進一步地，虛擬操作平面設(shè)定為水平面、垂直面或斜面中的一種。
[0010]進一步地，所述兩臺手勢采集相機的光軸的夾角在30°至60°之間。
[0011]進一步地，所述手勢采集相機為灰度相機，所述灰度相機的鏡頭和CCD傳感器之間安裝紅外濾光鏡。
[0012]本發(fā)明所達到的有益效果:
[0013]為了解決手勢交互操作過程中普遍存在的信息反饋感知不足問題，本發(fā)明在手勢操作區(qū)內(nèi)定義虛擬操作平面，設(shè)計觸覺反饋裝置，佩戴在操作手的手指、手背、小臂或上臂部位上，在手勢交互操作中，用戶操作手靠近虛擬操作平面，根據(jù)用戶操作手與虛擬操作平面的空間距離關(guān)系，給出不同強度的振動反饋刺激或微電流反饋刺激，提高手勢交互操作的準確性。
【附圖說明】
[0014]圖1為本發(fā)明中手勢實時交互系統(tǒng)布局示意圖；
[0015]圖2為本發(fā)明中旋轉(zhuǎn)交互操作實驗示意圖。
[0016]圖中:1-計算機終端、2-顯示屏、3-手勢采集相機、4-紅外燈陣列、5-視頻采集卡、6-紅外燈陣列控制模塊、7-觸覺反饋裝置、8-手勢操作區(qū)。
【具體實施方式】
[0017]下面結(jié)合附圖和實施例對本發(fā)明作進一步詳細說明，有必要在此指出的是，以下【具體實施方式】只用于對本發(fā)明進行進一步的說明，不能理解為對本發(fā)明保護范圍的限制，該領(lǐng)域的技術(shù)熟練人員可以根據(jù)上述
【發(fā)明內(nèi)容】
對本發(fā)明作出一些非本質(zhì)的改進和調(diào)整。
[0018]如圖1所示，本實施方式中帶有觸覺感知反饋的手勢實時交互系統(tǒng)包括計算機終端1、顯示屏2、兩臺手勢采集相機3、兩個視頻采集卡5、手勢操作區(qū)8、兩個紅外燈陣列4、兩個紅外燈陣列控制模塊6和若干個觸覺反饋裝置7。
[0019]兩臺手勢采集相機3分別安裝在手勢操作區(qū)8兩側(cè)，光軸的夾角范圍在30°?60°，使視頻采集范圍覆蓋手勢操作區(qū)8。為增強手勢交互操作過程中的信息反饋感知，手勢操作區(qū)8內(nèi)，在兩臺手勢采集相機3的世界坐標(biāo)系中設(shè)定的一個虛擬操作平面，虛擬操作平面設(shè)定為水平面、垂直面或斜面中的一種。
[0020]優(yōu)選地，手勢采集相機3為灰度相機，灰度相機的鏡頭和CCD傳感器之間安裝紅外濾光鏡，濾除除紅外背景光之外的其它頻率的光，增強了手部區(qū)域圖像，達到更高的信噪比。
[0021]為了達到最優(yōu)的手部目標(biāo)增強效果，在圖像上增強手部區(qū)域?qū)Ρ榷龋瑴p少背景噪聲干擾，紅外燈陣列4安裝在手勢操作區(qū)8兩側(cè)并貼近同側(cè)手勢采集相機3，紅外燈陣列4的照射方向與同側(cè)視頻采集相機3照射光軸方向夾角小于10°。初始化紅外燈陣列控制模塊6，將雙手放置于手勢操作區(qū)8內(nèi)，利用計算機終端I上控制模塊，發(fā)送紅外燈陣列控制指令控制紅外燈陣列4開關(guān)和光照強度，以達到在兩臺手勢采集相機的圖像中，手部區(qū)域與背景區(qū)域有較大差別。
[0022]視頻采集卡5接收手勢采集相機3的視頻信號，并傳輸給計算機終端I進行處理。初始化視頻采集卡5，采集兩臺手勢采集相機3的手勢操作區(qū)圖像，并將圖像數(shù)據(jù)傳輸至計算機終端I，在計算機終端I上計算手部區(qū)域，提取關(guān)節(jié)點位置，利用兩臺手勢采集相機3的內(nèi)外參數(shù)，計算關(guān)節(jié)點空間三維位置，結(jié)合控制任務(wù)，識別手勢控制指令。
[0023]觸覺反饋裝置7由觸覺傳感器和無線網(wǎng)絡(luò)模塊組成，觸覺傳感器分為振動傳感器和微電流傳感器。為了提高手勢交互操作中控制信息感知，優(yōu)選地，在手指、手背、小臂或上臂部位上安裝觸覺反饋裝置7。配置IP地址，初始化觸覺反饋裝置7，根據(jù)觸發(fā)反饋機制，通過計算機終端I發(fā)送觸覺反饋指令以控制觸覺反饋裝置7狀態(tài)。
[0024]觸覺反饋裝置7在手勢交互操作中的作用和功效如下:
[002