三維空間中多點觸控與捕捉手勢運動的識別系統(tǒng)的制作方法
【專利摘要】本實用新型公開了一種三維空間中多點觸控與捕捉手勢運動的識別系統(tǒng)，屬于智能識別【技術(shù)領(lǐng)域】。本實用新型的三維空間中多點觸控與捕捉手勢運動的識別系統(tǒng)，包括一微型電腦主機、一激光投影儀、第一紅外攝像頭、第二紅外攝像頭、一LED照射燈、一字線型激光發(fā)射器和投影平面；所述激光投影儀將微型電腦主機處理內(nèi)容進行投射產(chǎn)生投影平面；所述一字線型激光發(fā)射器的照射平面與投影平面平行；所述第一紅外攝像頭與所述第二紅外攝像頭的視野覆蓋所述投影平面和空中手勢識別區(qū)域。本實用新型擺脫了目前手勢識別基于電腦顯示器的缺陷，使空中手勢識別系統(tǒng)可以方便應(yīng)用在投影儀演講演示等領(lǐng)域方面，并且識別精度高。
【專利說明】三維空間中多點觸控與捕捉手勢運動的識別系統(tǒng)

【技術(shù)領(lǐng)域】
[0001]本實用新型涉及一種智能識別系統(tǒng)，基于多攝像頭、利用紅外光照射進行手部姿態(tài)與位置的感知的方法，特別涉及一種三維空間中多點觸控與捕捉手勢運動的識別系統(tǒng)。
[0002]

【背景技術(shù)】
[0003]多年來，隨著多媒體技術(shù)的普及與發(fā)展，人們在對新型人機交互技術(shù)進行著不懈的探索。使用肢體、手勢等直觀的方式完成計算機的操縱，成為一個技術(shù)熱點。人的手部是一種復雜的執(zhí)行機制，其靈活度高、表現(xiàn)力豐富且可以完成精細的操作，但這些特性也使其姿態(tài)的手部識別與跟蹤成為計算機研究中的重大挑戰(zhàn)。
[0004]對手部運動的識別，可以通過多種方法實現(xiàn)，其中來自Nintendo公司的專利US20080291160A1提供了利用紅外傳感器和加速度傳感器捕獲用戶手部位置的方案。此外，現(xiàn)有技術(shù)中還有利用數(shù)據(jù)手套來輔助對手部姿態(tài)的識別的方案。這些方案實現(xiàn)了對手部運動的識別，但也存在著各種不足。缺點之一是價格昂貴。來自松下電器產(chǎn)業(yè)株式會社的CN1276572A提供了使用攝像頭對手部進行拍照，然后對圖像進行歸一化分析，并將歸一化得到的圖像進行空間投影，并將所得的投影坐標與預先存儲的圖像的投影坐標進行比較。該方法比較直觀，但需要經(jīng)過復雜的數(shù)學計算過程，且無法對手的空間位置進行識別與跟蹤。在手部運動感知領(lǐng)域存在著如何從獲取的圖像中有效的提取出手部的區(qū)域的問題，目前的技術(shù)存在環(huán)境光照條件對攝像頭獲取圖像信息中的手部信息提取存在很大干擾和影響，降低了使用設(shè)備的準確程度和方便程度。
[0005]目前,市場上存在微軟OmniTouch系統(tǒng)設(shè)計的Kinect體感搖控器和Leap mot1n公司推出的運動控制系統(tǒng)Leap 3D。
[0006]Leap mot1n公司推出運動控制系統(tǒng)Leap 3D,可以追蹤多個物體并識別手勢。當Leap 3D啟動時，即可生成一塊4立方英尺的3D空間，在此空間內(nèi)的手指動作都會被捕捉至IJ。Leap 3D由一塊USB設(shè)備和一套由公司設(shè)計的復雜軟件組成，USB設(shè)備中裝有標準的傳感器和攝像頭，可以追蹤多個物體并識別手勢。Leap 3D可以識別出在你手中的任何物體并且追蹤它們的動作。
[0007]另外，目前市場存在激光鍵盤，這種激光鍵盤的技術(shù)原理為投影元件先投影出鍵盤，手指按下投影同時發(fā)射出紅外線，當手出來的鍵盤符號時，會阻斷紅外線，造成一個反射信號，這時感知器就會感知到反射信號的對應(yīng)鍵盤坐標。另外也可以通過計算機視覺的方式，通過圖像來識別；通過攝像頭捕捉鍵盤區(qū)域的畫面并進行分析，判斷出鍵盤輸入事件。相對來說計算機視覺的硬件較為簡單，僅僅需要一個攝像頭，但單攝像頭存在識別精度不高的問題。
[0008]目前市場上還沒有出現(xiàn)一種人機交互技術(shù)可以實現(xiàn)在三維空間中同時進行平面虛擬圖像的多點觸摸、圖像追蹤掃描和空中手勢識別。
實用新型內(nèi)容
[0009]為克服現(xiàn)有技術(shù)中存在的缺點與不足，本實用新型的目的在于提供一種三維空間中多點觸控與捕捉手勢運動的識別系統(tǒng)，能夠通過投影方式顯示電腦中的信息，并實現(xiàn)在三維空間中同時進行平面虛擬圖像的多點觸摸、圖像追蹤掃描和空中手勢識別。
[0010]本實用新型的目的通過下述技術(shù)方案實現(xiàn):一種三維空間中多點觸控與捕捉手勢運動的識別系統(tǒng)，包括一微型電腦主機、一激光投影儀、第一紅外攝像頭、第二紅外攝像頭、一 LED照射燈、一字線型激光發(fā)射器和投影平面；所述激光投影儀將微型電腦主機處理內(nèi)容進行投射產(chǎn)生投影平面；所述一字線型激光發(fā)射器的照射平面與投影平面平行；所述第一紅外攝像頭與所述第二紅外攝像頭的視野覆蓋所述投影平面和空中手勢識別區(qū)域；
[0011]所述投影平面為激光投影儀投射的信息內(nèi)容在載體平面上形成；
[0012]所述載體平面為桌面、墻面或汽車前擋風玻璃面中的一種；也可以是任何平面載體；
[0013]所述空中手勢識別區(qū)域為第一紅外攝像頭、第二紅外攝像頭及LED照射燈的視野所共同覆蓋的空中區(qū)域；
[0014]所述第一紅外攝像頭和第二紅外攝像頭與投影平面的距離大于一字線型激光發(fā)射器與投影平面的距離；
[0015]所述激光投影儀，通過接收微型電腦主機的傳輸，顯示數(shù)據(jù)或投影平面(虛擬主機界面)投影，將待處理信息投影到投影平面；
[0016]所述LED照射燈，提供適宜的光照對空間區(qū)域內(nèi)的手勢增大明暗對比，加強識別目標與背景的亮度校正，便于紅外攝像頭獲取手部圖形信息，同時使設(shè)備在光線較暗的環(huán)境中也可以使用；
[0017]所述第一紅外攝像頭和第二紅外攝像頭，分別從第一視角和第二視角獲取攝像頭區(qū)域內(nèi)手勢活動的深度信息，通過圖像深度傳感器傳輸將信息傳輸?shù)轿⑿碗娔X主機，經(jīng)由微型電腦主機對兩個紅外攝像頭捕捉深度信息與手部圖形數(shù)字建模的模板數(shù)據(jù)庫進行綜合比對處理分析，對手勢所包含的指令信息進行反應(yīng)；
[0018]所述一字線型激光發(fā)射器，發(fā)射的一字型激光與投影平面平行，當手指按到投影平面時發(fā)射出的紅外線，被兩個紅外攝像頭捕捉；同時當手指貼近投影平面時，會阻斷發(fā)射的激光光路，造成一個反射信號，這時感知器就會感知到反射信號的相對位置相對于投影平面信息，在微型電腦主機進行信息處理后，確認手指位置，鑒別手指指令信息。
[0019]所述微型電腦主機包括攝像頭傳感器模塊、手部圖像提取模塊、微處理器模塊、圖像數(shù)據(jù)分析模塊、對比模塊、執(zhí)行模塊、激光投影控制模塊、重力感應(yīng)模塊和馬達旋轉(zhuǎn)模塊；
[0020]所述攝像頭傳感模塊，用于接收第一紅外攝像頭和第二紅外攝像頭獲取的圖像信息(包括虛擬圖像的多點觸摸、圖像追蹤掃描和空中手勢移動信息)，傳輸給手部圖像提取模塊進行手部圖像提取和數(shù)據(jù)輸出；
[0021]所述手部圖像提取模塊，接收攝像頭傳感模塊傳送的圖像信息，進行手部圖像提取數(shù)據(jù)，并將獲得的手部圖像提取數(shù)據(jù)傳輸給微處理器模塊進行數(shù)據(jù)輸出；其中，所述的手部圖像提取主要是獲取指尖骨骼、手掌骨骼、手腕骨骼和手指骨骼等手部節(jié)點部位的信息；
[0022]所述微處理器模塊，將接收的手部圖像提取數(shù)據(jù)向圖像數(shù)據(jù)分析模塊進行數(shù)據(jù)輸出；另外通過接收和處理激光投影控制模塊傳送的重力感應(yīng)信息，發(fā)出馬達旋轉(zhuǎn)指令到激光投影控制模塊；
[0023]所述圖像數(shù)據(jù)分析模塊，接收微處理器模塊輸出的手部圖像提取數(shù)據(jù)，將手部圖形提取數(shù)據(jù)信息與手部圖形數(shù)字建模的模板數(shù)據(jù)庫(通過對手部姿態(tài)與位置進行數(shù)字建模，生成模板數(shù)據(jù)庫)校正整合后，獲得手勢的移動信息數(shù)據(jù)，判斷出手指移動模式；
[0024]所述比對模塊，將圖像數(shù)據(jù)分析模塊獲得的手指移動模式與微型電腦主機中手部圖形建模的模板數(shù)據(jù)庫信息對比，判斷出手勢所給出的執(zhí)行信息；
[0025]所述執(zhí)行模塊，將對比模塊獲得執(zhí)行信息對投影平面信息內(nèi)容進行操作執(zhí)行指
/Jn ο
[0026]所述激光投影控制模塊，通過接受重力感應(yīng)模塊對微型電腦主機放置位置(如橫向放置或豎向放置)的重力感應(yīng)信息，傳輸給微處理器模塊，并接收微處理器模塊在經(jīng)過感應(yīng)信息的分析和處理后發(fā)出的執(zhí)行信息，將執(zhí)行信息轉(zhuǎn)化為執(zhí)行指令后，發(fā)送到馬達旋轉(zhuǎn)模塊，從而實現(xiàn)對激光投影儀和紅外攝像頭的調(diào)控(包括激光投影儀和紅外攝像頭的轉(zhuǎn)動、激光投影儀的投影內(nèi)容信息的自動校正調(diào)正和投影儀焦距自動調(diào)整)；同時在重力感應(yīng)器感應(yīng)到微型電腦主機橫向放置時，發(fā)出指令自動關(guān)閉一字線型激光發(fā)射器，避免了微型電腦主機橫向放置時，一字線型激光發(fā)射器的光信號干擾空中手勢識別的信號獲??；
[0027]所述重力感應(yīng)模塊，在微電腦主機放置后能夠獲取重力感應(yīng)的信息，并將重力感應(yīng)信息傳送給激光投影控制模塊，從而發(fā)揮通過重力感知獲悉微電腦主機的放置狀態(tài)(例如是水平放置或豎直放置)，自動調(diào)整激光投影儀的投影方向；
[0028]所述馬達旋轉(zhuǎn)模塊，通過接收激光投影控制模塊發(fā)送的執(zhí)行信息，發(fā)揮自動調(diào)整激光投影儀和紅外攝像頭，包括投影儀和紅外攝像頭的轉(zhuǎn)動、投影儀的投影內(nèi)容信息的自動校正調(diào)正和投影儀焦距自動調(diào)整。
[0029]進一步優(yōu)選的實施方式，所述微型電腦主機還包括通話模塊；
[0030]所述通話模塊，與微處理器模塊進行數(shù)據(jù)信息交換實現(xiàn)通話功能。
[0031]一種三維空間中多點觸控與捕捉手勢運動的識別方法，包括:
[0032]使所述激光投影儀通過接收微型電腦主機的傳輸，實現(xiàn)顯示數(shù)據(jù)或虛擬主機界面投影，將待處理信息投影到投影平面；
[0033]使所述LED照射燈提供適宜的光照對空間區(qū)域內(nèi)的手勢增大明暗對比，加強識別目標與背景的亮度校正，便于紅外攝像頭獲取手部圖形信息；
[0034]使所述一字線型激光發(fā)射器發(fā)射的束線型激光與投影平面平行，當手指按到投影平面時發(fā)射出的紅外線，被兩個紅外攝像頭捕捉；
[0035]使所述第一紅外攝像頭和第二紅外攝像頭，分別從第一視角和第二視角獲取攝像頭區(qū)域內(nèi)手勢活動信息，通過圖像傳感器傳輸將信息傳輸?shù)轿⑿碗娔X主機；
[0036]使所述微型電腦主機基于根據(jù)第一紅外攝像頭和第二紅外攝像頭拍攝傳輸?shù)牡谝灰暯呛偷诙暯堑膱D像信息(包括平面虛擬圖像的多點觸摸、圖像追蹤掃描和空中手勢移動信息)，經(jīng)過兩部分圖像信息與手部圖形建模的模板數(shù)據(jù)庫進行分析整合校正后，獲得手勢的移動信息數(shù)據(jù)，判斷出手指移動模式；將手指運動模式與微型電腦主機中運動執(zhí)行數(shù)據(jù)庫信息對比，判斷出手勢所給出的執(zhí)行信息；將獲得執(zhí)行信息對投影平面信息內(nèi)容進行操作執(zhí)行指示。
[0037]提供一種所述的三維空間中多點觸控與捕捉手勢運動的識別系統(tǒng)在圖像追蹤掃描中應(yīng)用，具體體現(xiàn)在:
[0038]使所述LED照射燈提供適宜的光照，對空間區(qū)域內(nèi)的手勢增大明暗對比，加強識別目標與背景的亮度校正，便于紅外攝像頭獲取手部圖形信息；
[0039]使所述一線型激光發(fā)射器發(fā)射的束線型激光與投影平面平行，當手指按到待追蹤掃描載體平面時發(fā)射出的紅外線，被兩個紅外攝像頭捕捉；
[0040]使所述第一紅外攝像頭和第二紅外攝像頭，分別從第一視角和第二視角獲取攝像頭區(qū)域內(nèi)觸摸手在待追蹤掃描載體(例如書籍等)的觸控截屏區(qū)域信息，通過圖像傳感器傳輸將信息傳輸?shù)轿⑿碗娔X主機；
[0041]使所述微型電腦主機基于根據(jù)第一紅外攝像頭和第二紅外攝像頭拍攝傳輸?shù)牡谝灰暯呛偷诙暯堑膱D像信息(即觸摸手在待追蹤掃描載體的觸控截屏區(qū)域信息)，經(jīng)過兩部分圖像信息與手部圖形數(shù)字建模的模板數(shù)據(jù)庫進行分析整合校正后，獲得手勢的移動信息數(shù)據(jù)，判斷出手指移動模式；將手指運動模式與微型電腦主機中運動執(zhí)行數(shù)據(jù)庫信息對t匕，判斷出手勢所給出的執(zhí)行信息；將獲得執(zhí)行信息對待追蹤掃描載體上的觸控截屏內(nèi)容進行掃描；
[0042]使所述激光投影儀通過接收微型電腦主機的傳輸，實現(xiàn)觸控截屏內(nèi)容投影到投影平面。
[0043]提供一種所述的三維空間中多點觸控與捕捉手勢運動的識別系統(tǒng)在車載地圖手勢控制中應(yīng)用，具體體現(xiàn)在:
[0044]使所述激光投影儀通過接收微型電腦主機的傳輸，在汽車前擋風玻璃投影電子地圖界面；
[0045]使所述第一紅外攝像頭和第二紅外攝像頭，分別從第一視角和第二視角獲取攝像頭區(qū)域內(nèi)手勢活動信息，通過圖像傳感器傳輸將信息傳輸?shù)轿⑿碗娔X主機；
[0046]使所述微型電腦主機基于根據(jù)第一紅外攝像頭和第二紅外攝像頭拍攝傳輸?shù)牡谝灰暯呛偷诙暯堑膱D像信息(即空中手勢移動)，經(jīng)過兩部分圖像信息與手部圖形建模的模板數(shù)據(jù)庫進行分析整合校正后，獲得手勢的移動信息數(shù)據(jù)，判斷出手指移動模式；將手指運動模式與微型電腦主機中運動執(zhí)行數(shù)據(jù)庫信息對比，判斷出手勢所給出的執(zhí)行信息；將獲得執(zhí)行信息對投影電子地圖界面信息內(nèi)容進行操作執(zhí)行指示。
[0047]本實用新型中的平面和空中的手勢識別原理為:利用激光三角測距原理用于手指空間坐標檢測，在一副畫面中找出每個手部關(guān)節(jié)相對畫面的位置(x，y)，并且手指距離投影平面的高度z，事實上就是在檢測手指的三維空間坐標(X，y, z)的變化信息，通過對手指三維空間坐標變化信息的辨識和判斷，對激光投影儀投射的微型電腦主機處理的信息進行操作和編輯。在虛擬圖像顯示觸控操作中，若手指接近投影平面，則會阻擋住一字型激光的通路而產(chǎn)生反射，反射的光點畫面會被兩個紅外攝像頭拍攝到；能夠?qū)臻g物體進行坐標定位，這是一個標準的三角測量法的結(jié)構(gòu)設(shè)置。
[0048]本實用新型中手部圖像建模的原理為:所述手部圖形建模的過程包括提取背景圖像、提取手部區(qū)域、提取動作數(shù)據(jù)和捕捉手部運動數(shù)據(jù)；具體過程為通過第一紅外攝像頭和第二紅外攝像頭進行圖形采集測距計算，分別捕捉第一視角和第二視角的圖像信息，提取手部姿態(tài)區(qū)域，計算圖像角度差異，圖像校正立體匹配，提取運動光斑區(qū)域，直角坐標面3D建模，獲得數(shù)字模型擬合，從而實現(xiàn)數(shù)據(jù)庫的手部動作以光標或模擬手來進行手勢操作。
[0049]本實用新型相對于現(xiàn)有技術(shù)具有如下的優(yōu)點及效果:
[0050]1.本實用新型使用兩個紅外攝像頭做雙目視覺處理，提取目標畫面物體的深度信息，通過拍攝物體產(chǎn)生的紅外線變化信息，并轉(zhuǎn)化為微型電腦主機處理信號；能夠極大的增加圖像捕捉能力，具有很好的攝像效果；同時通過兩個紅外攝像頭攝取的圖像信息，對手部位置信息進行修正，提高了手部運動信息識別的精度。
[0051]2.本實用新型將投影儀直接安裝在微型電腦主機，擺脫了目前手勢識別基于電腦顯示器的缺陷，使空中手勢識別系統(tǒng)在使用投影儀進行演講演示等方面被廣泛應(yīng)用，并且可以隨時隨地辦公，形體小，便于攜帶，提供了很大方便。
[0052]3.本實用新型通過LED照射燈和一線型激光照射器分別為空中手勢識別與虛擬圖像顯示觸控操作提供照射對比光源，將立體空間識別和平面觸控操作積于一個操作系統(tǒng)，同時提高了紅外攝像頭對手勢的辨識度。
[0053]4.本實用新型使用的地方非常廣泛，比如汽車內(nèi)，電視，電腦，手機和眼鏡等領(lǐng)域進行廣泛應(yīng)用。

【專利附圖】

【附圖說明】
[0054]圖1是本實用新型的三維空間中多點觸控識別系統(tǒng)的結(jié)構(gòu)示意圖；
[0055]圖2是本實用新型的三維空間中捕捉手勢運動的識別系統(tǒng)的結(jié)構(gòu)示意圖；
[0056]圖3是本實用新型的手勢識別過程中使用的手部模型的示意圖；
[0057]圖4是本實用新型的手部圖形數(shù)字建模的分析示意圖；
[0058]圖5是本實用新型的實施例中微型電腦主機的內(nèi)部組成模塊連接的框圖；
[0059]圖6是本實用新型在圖像追蹤掃描中應(yīng)用的結(jié)構(gòu)示意圖；
[0060]圖7是本實用新型在車載地圖手勢控制中應(yīng)用的結(jié)構(gòu)示意圖；
[0061]其中:1微型電腦主機，2激光投影儀，3第一紅外攝像頭，4第二紅外攝像頭，5LED照射燈，6 —字線型激光發(fā)射器，7投影平面，8指尖骨骼，9手掌骨骼，10手腕骨骼，11手指骨骼，12，待追蹤掃描載體，13觸控截屏，14觸摸手，15汽車前擋風玻璃投影地圖界面。

【具體實施方式】
[0062]下面結(jié)合實施例及附圖對本實用新型作進一步詳細的描述，但本實用新型的實施方式不限于此。
[0063]如圖1和圖2所示，本實用新型提供了一種三維空間中多點觸控與捕捉手勢運動的識別系統(tǒng)，包括一微型電腦主機1、一激光投影儀2、第一紅外攝像頭3、第二紅外攝像頭
4、一 LED照射燈5、一字線型激光發(fā)射器6和投影平面7 ;所述激光投影儀2將微型電腦主機I處理內(nèi)容進行投射產(chǎn)生投影平面7 ;所述一字線型激光發(fā)射器6的照射平面與投影平面7平行；所述第一紅外攝像頭3與所述第二紅外攝像頭4的視野覆蓋所述投影平面7和空中手勢識別區(qū)域；
[0064]所述投影平面7為激光投影儀2投射的信息內(nèi)容在載體平面上形成；
[0065]所述載體平面為桌面、墻面或汽車前擋風玻璃面中的一種；
[0066]所述空中手勢識別區(qū)域為第一紅外攝像頭3、第二紅外攝像頭4及LED照射燈5的視野所共同覆蓋的空中區(qū)域；
[0067]所述第一紅外攝像頭3和第二紅外攝像頭4與投影平面7的距離大于一字線型激光發(fā)射器6與投影平面7的距離；
[0068]所述激光投影儀2，通過接收微型電腦主機I的傳輸，顯示數(shù)據(jù)或投影平面7 (虛擬主機界面)投影，將待處理信息投影到投影平面；
[0069]所述LED照射燈5，提供適宜的光照對空間區(qū)域內(nèi)的手勢增大明暗對比，加強識別目標與背景的亮度校正，便于紅外攝像頭獲取手部圖形信息，同時使設(shè)備在光線較暗的環(huán)境中也可以使用；
[0070]所述第一紅外攝像頭3和第二紅外攝像頭4，分別從第一視角和第二視角獲取攝像頭區(qū)域內(nèi)手勢活動深度信息，通過圖像深度傳感器傳輸將信息傳輸?shù)轿⑿碗娔X主機1，經(jīng)由微型電腦主機I對兩個紅外攝像頭捕捉深度信息與手部圖形數(shù)字建模的模板數(shù)據(jù)庫進行綜合比對處理分析，對手勢所包含的指令信息進行反應(yīng)；
[0071]所述一字線型激光發(fā)射器6，發(fā)射的一字型激光與投影平面平行，當手指按到投影平面時發(fā)射出的紅外線，被兩個紅外攝像頭捕捉；同時當手指貼近投影平面時，會阻斷發(fā)射的激光光路，造成一個反射信號，這時感知器就會感知到反射信號的相對位置相對于投影平面信息，在微型電腦主機I進行信息處理后，確認手指位置，鑒別手指指令信息。
[0072]如圖5所示，本實用新型中所述微型電腦主機I包括攝像頭傳感器模塊、手部圖像提取模塊、微處理器模塊、圖像數(shù)據(jù)分析模塊、對比模塊、執(zhí)行模塊、激光投影控制模塊、重力感應(yīng)模塊和馬達旋轉(zhuǎn)模塊；
[0073]所述攝像頭傳感模塊，用于接收第一紅外攝像頭3和第二紅外攝像頭4獲取的圖像信息(包括虛擬圖像的多點觸摸、圖像追蹤掃描和空中手勢移動信息)，傳輸給手部圖像提取模塊進行手部圖像提取和數(shù)據(jù)輸出；
[0074]所述手部圖像提取模塊，接收攝像頭傳感模塊傳送的圖像信息，進行手部圖像提取數(shù)據(jù)，并將獲得的手部圖像提取數(shù)據(jù)傳輸給微處理器模塊進行數(shù)據(jù)輸出；其中，如圖3所示，所述的手部圖像提取主要是獲取指尖骨骼8、手掌骨骼9、手腕骨骼10和手指骨骼11等手部節(jié)點部位的信息；
[0075]所述微處理器模塊，將接收的手部圖像提取數(shù)據(jù)向圖像數(shù)據(jù)分析模塊進行數(shù)據(jù)輸出；另外通過接收和處理激光投影控制模塊傳送的重力感應(yīng)信息，發(fā)出馬達旋轉(zhuǎn)指令到激光投影控制模塊；
[0076]所述圖像數(shù)據(jù)分析模塊，接收微處理器模塊輸出的手部圖像提取數(shù)據(jù)，將手部圖形提取數(shù)據(jù)信息與手部圖形數(shù)字建模的模板數(shù)據(jù)庫(通過對手部姿態(tài)與位置進行數(shù)字建模，生成模板數(shù)據(jù)庫)校正整合后，獲得手勢的移動信息數(shù)據(jù)，判斷出手指移動模式；
[0077]所述比對模塊，將圖像數(shù)據(jù)分析模塊獲得的手指移動模式與微型電腦主機中手部圖形建模的模板數(shù)據(jù)庫信息對比，判斷出手勢所給出的執(zhí)行信息；
[0078]所述執(zhí)行模塊，將對比模塊獲得執(zhí)行信息對投影平面信息內(nèi)容進行操作執(zhí)行指
/Jn ο
[0079]所述激光投影控制模塊，通過接受重力感應(yīng)模塊對微型電腦主機放置位置(如橫向放置或豎向放置)的重力感應(yīng)信息，傳輸給微處理器模塊，并接收微處理器模塊在經(jīng)過感應(yīng)信息的分析和處理后發(fā)出的執(zhí)行信息，將執(zhí)行信息轉(zhuǎn)化為執(zhí)行指令后，發(fā)送到馬達旋轉(zhuǎn)模塊，從而實現(xiàn)對激光投影儀和紅外攝像頭的調(diào)控(包括激光投影儀和紅外攝像頭的轉(zhuǎn)動、激光投影儀的投影內(nèi)容信息的自動校正調(diào)正和投影儀焦距自動調(diào)整)；同時在重力感應(yīng)器感應(yīng)到微型電腦主機橫向放置時，發(fā)出指令自動關(guān)閉一字線型激光發(fā)射器，避免了微型電腦主機橫向放置時，一字線型激光發(fā)射器的光信號干擾空中手勢識別的信號獲??；
[0080]所述重力感應(yīng)模塊，在微電腦主機放置后能夠獲取重力感應(yīng)的信息，并將重力感應(yīng)信息傳送給激光投影控制模塊，從而發(fā)揮通過重力感知獲悉微電腦主機的放置狀態(tài)(例如是水平放置或豎直放置)，自動調(diào)整激光投影儀的投影方向；
[0081]所述馬達旋轉(zhuǎn)模塊，通過接收激光投影控制模塊發(fā)送的執(zhí)行信息，發(fā)揮自動調(diào)整激光投影儀和紅外攝像頭，包括投影儀和紅外攝像頭的轉(zhuǎn)動、投影儀的投影內(nèi)容信息的自動校正調(diào)正和投影儀焦距自動調(diào)整；
[0082]進一步優(yōu)選的實施方式，所述微型電腦主機還包括通話模塊；
[0083]所述通話模塊，與微處理器模塊進行數(shù)據(jù)信息交換實現(xiàn)通話功能。
[0084]一種三維空間中多點觸控與捕捉手勢運動的識別方法，包括:
[0085]使所述激光投影儀通過接收微型電腦主機的傳輸，實現(xiàn)顯示數(shù)據(jù)或虛擬主機界面投影，將待處理信息投影到投影平面；
[0086]使所述LED照射燈提供適宜的光照，對空間區(qū)域內(nèi)的手勢增大明暗對比，加強識別目標與背景的亮度校正，便于紅外攝像頭獲取手部圖形信息；
[0087]使所述一線型激光發(fā)射器發(fā)射的束線型激光與投影平面平行，當手指按到投影平面時發(fā)射出的紅外線，被兩個紅外攝像頭捕捉；
[0088]使所述第一紅外攝像頭和第二紅外攝像頭，分別從第一視角和第二視角獲取攝像頭區(qū)域內(nèi)手勢活動信息，通過圖像傳感器傳輸將信息傳輸?shù)轿⑿碗娔X主機；
[0089]使所述微型電腦主機基于根據(jù)第一紅外攝像頭和第二紅外攝像頭拍攝傳輸?shù)牡谝灰暯呛偷诙暯堑膱D像信息(包括平面虛擬圖像的多點觸摸、圖像追蹤掃描和空中手勢移動信息)，經(jīng)過兩部分圖像信息與手部圖形建模的模板數(shù)據(jù)庫進行分析整校正合后，獲得手勢的移動信息數(shù)據(jù)，判斷出手指移動模式；將手指運動模式與微型電腦主機中運動執(zhí)行數(shù)據(jù)庫信息對比，判斷出手勢所給出的執(zhí)行信息；將獲得執(zhí)行信息對投影平面信息內(nèi)容進行操作執(zhí)行指示。
[0090]如圖6所示，本實用新型提供一種所述的三維空間中多點觸控與捕捉手勢運動的識別系統(tǒng)在圖像追蹤掃描中應(yīng)用，具體體現(xiàn)在:
[0091]使所述LED照射燈提供適宜的光照，對空間區(qū)域內(nèi)的手勢增大明暗對比，加強識別目標與背景的亮度校正，便于紅外攝像頭獲取手部圖形信息；
[0092]使所述一線型激光發(fā)射器發(fā)射的束線型激光與投影平面平行，當手指按到待追蹤掃描載體平面時發(fā)射出的紅外線，被兩個紅外攝像頭捕捉；
[0093]使所述第一紅外攝像頭和第二紅外攝像頭，分別從第一視角和第二視角獲取攝像頭區(qū)域內(nèi)觸摸手14在待追蹤掃描載體12 (例如書籍等)的觸控截屏13區(qū)域信息，通過圖像傳感器傳輸將信息傳輸?shù)轿⑿碗娔X主機；
[0094]使所述微型電腦主機基于根據(jù)第一紅外攝像頭和第二紅外攝像頭拍攝傳輸?shù)牡谝灰暯呛偷诙暯堑膱D像信息(即觸摸手在待追蹤掃描載體的觸控截屏區(qū)域信息)，經(jīng)過兩部分圖像信息與手部圖形數(shù)字建模的模板數(shù)據(jù)庫進行分析整合校正后，獲得手勢的移動信息數(shù)據(jù)，判斷出手指移動模式；將手指運動模式與微型電腦主機中運動執(zhí)行數(shù)據(jù)庫信息對t匕，判斷出手勢所給出的執(zhí)行信息；將獲得執(zhí)行信息對待追蹤掃描載體上的觸控截屏內(nèi)容進行掃描；
[0095]使所述激光投影儀通過接收微型電腦主機的傳輸，實現(xiàn)觸控截屏內(nèi)容投影到投影平面。
[0096]如圖7所示，本實用新型提供一種所述的三維空間中多點觸控與捕捉手勢運動的識別系統(tǒng)在車載地圖手勢控制中應(yīng)用，具體體現(xiàn)在:
[0097]使所述激光投影儀通過接收微型電腦主機的傳輸，在汽車前擋風玻璃投影電子地圖界面15 ；
[0098]使所述第一紅外攝像頭和第二紅外攝像頭，分別從第一視角和第二視角獲取攝像頭區(qū)域內(nèi)手勢活動信息，通過圖像傳感器傳輸將信息傳輸?shù)轿⑿碗娔X主機；
[0099]使所述微型電腦主機基于根據(jù)第一紅外攝像頭和第二紅外攝像頭拍攝傳輸?shù)牡谝灰暯呛偷诙暯堑膱D像信息(即空中手勢移動)，經(jīng)過兩部分圖像信息與手部圖形建模的模板數(shù)據(jù)庫進行分析整校正合后，獲得手勢的移動信息數(shù)據(jù)，判斷出手指移動模式；將手指運動模式與微型電腦主機中運動執(zhí)行數(shù)據(jù)庫信息對比，判斷出手勢所給出的執(zhí)行信息；將獲得執(zhí)行信息對投影電子地圖界面信息內(nèi)容進行操作執(zhí)行指示。
[0100]本實用新型中的平面和空中的手勢識別原理為:利用激光三角測距原理用于手指空間坐標檢測，在一副畫面中找出每個手部關(guān)節(jié)相對畫面的位置(X，y)，并且手指距離投影平面的高度Z，事實上就是在檢測手指的三維空間坐標(X，y, z)的變化信息，通過對手指三維空間坐標變化信息的辨識和判斷，對激光投影儀投射的微型電腦主機處理的信息進行操作和編輯。在虛擬圖像顯示觸控操作中，若手指接近投影平面，則會阻擋住一字型激光的通路而產(chǎn)生反射，反射的光點畫面會被兩個紅外攝像頭拍攝到；能夠?qū)臻g物體進行坐標定位，這是一個標準的三角測量法的結(jié)構(gòu)設(shè)置。
[0101]本實用新型中所述手部圖像建模的原理如圖4所示:本實用新型中手部圖像建模的原理為:所述手部圖形建模的過程包括提取背景圖像、提取手部區(qū)域、提取動作數(shù)據(jù)和捕捉手部運動數(shù)據(jù)；具體過程為通過第一紅外攝像頭和第二紅外攝像頭進行圖形采集測距計算，分別捕捉第一視角和第二視角的圖像信息，提取手部姿態(tài)區(qū)域，計算圖像角度差異，圖像校正立體匹配，提取運動光斑區(qū)域，直角坐標面3D建模，獲得數(shù)字模型擬合，從而實現(xiàn)數(shù)據(jù)庫的手部動作以光標或模擬手來進行手勢操作。
[0102]上述實施例為本實用新型較佳的實施方式，但本實用新型的實施方式并不受上述實施例的限制，其他的任何未背離本實用新型的精神實質(zhì)與原理下所作的改變、修飾、替代、組合、簡化、添加均應(yīng)為等效的置換方式，都包含在本實用新型的保護范圍之內(nèi)。
【權(quán)利要求】
1.一種三維空間中多點觸控與捕捉手勢運動的識別系統(tǒng)，其特征在于包括一微型電腦主機、一激光投影儀、第一紅外攝像頭、第二紅外攝像頭、一 LED照射燈、一字線型激光發(fā)射器和投影平面；所述激光投影儀將微型電腦主機處理內(nèi)容進行投射產(chǎn)生投影平面；所述一字線型激光發(fā)射器的照射平面與投影平面平行；所述第一紅外攝像頭與所述第二紅外攝像頭的視野覆蓋所述投影平面和空中手勢識別區(qū)域； 所述投影平面為激光投影儀投射的信息內(nèi)容在載體平面上形成； 所述載體平面為桌面、墻面或汽車前擋風玻璃面中的一種； 所述空中手勢識別區(qū)域為第一紅外攝像頭、第二紅外攝像頭及LED照射燈的視野所共同覆蓋的空中區(qū)域； 所述第一紅外攝像頭和第二紅外攝像頭與投影平面的距離大于一字線型激光發(fā)射器與投影平面的距離。
2.根據(jù)權(quán)利要求1所述的三維空間中多點觸控與捕捉手勢運動的識別系統(tǒng)，其特征在于:所述激光投影儀，通過接收微型電腦主機的傳輸，顯示數(shù)據(jù)或投影平面投影，將待處理信息投影到投影平面； 所述LED照射燈，提供適宜的光照對空間區(qū)域內(nèi)的手勢增大明暗對比，加強識別目標與背景的亮度校正，便于紅外攝像頭獲取手部圖形信息，同時使設(shè)備在光線較暗的環(huán)境中也可以使用； 所述第一紅外攝像頭和第二紅外攝像頭，分別從第一視角和第二視角獲取攝像頭區(qū)域內(nèi)手勢活動深度信息，通過圖像深度傳感器傳輸將信息傳輸?shù)轿⑿碗娔X主機，經(jīng)由微型電腦主機對兩個紅外攝像頭捕捉深度信息與手部圖形數(shù)字建模的模板數(shù)據(jù)庫進行綜合比對處理分析，對手勢所包含的指令信息進行反應(yīng)； 所述一字線型激光發(fā)射器，發(fā)射的一字型激光與投影平面平行，當手指按到投影平面時發(fā)射出的紅外線，被兩個紅外攝像頭捕捉；同時當手指貼近投影平面時，會阻斷發(fā)射的激光光路，造成一個反射信號，這時感知器就會感知到反射信號的相對位置相對于投影平面信息，在微型電腦主機進行信息處理后，確認手指位置，鑒別手指指令信息。
3.根據(jù)權(quán)利要求1所述的三維空間中多點觸控與捕捉手勢運動的識別系統(tǒng)，其特征在于:所述微型電腦主機包括攝像頭傳感器模塊、手部圖像提取模塊、微處理器模塊、圖像數(shù)據(jù)分析模塊、對比模塊、執(zhí)行模塊、激光投影控制模塊、重力感應(yīng)模塊和馬達旋轉(zhuǎn)模塊； 所述攝像頭傳感模塊，用于接收第一紅外攝像頭和第二紅外攝像頭獲取的圖像信息，傳輸給手部圖像提取模塊進行手部圖像提取和數(shù)據(jù)輸出； 所述手部圖像提取模塊，接收攝像頭傳感模塊傳送的圖像信息，進行手部圖像提取數(shù)據(jù)，并將獲得的手部圖像提取數(shù)據(jù)傳輸給微處理器模塊進行數(shù)據(jù)輸出；其中，所述的手部圖像提取主要是獲取指尖骨骼、手掌骨骼、手腕骨骼和手指骨骼的手部節(jié)點部位信息； 所述微處理器模塊，將接收的手部圖像提取數(shù)據(jù)向圖像數(shù)據(jù)分析模塊進行數(shù)據(jù)輸出；并且微處理器模塊通過與通話模塊進行數(shù)據(jù)信息交換獲得通話功能；另外通過接收和處理激光投影控制模塊傳送的重力感應(yīng)信息，發(fā)出馬達旋轉(zhuǎn)指令到激光投影控制模塊； 所述圖像數(shù)據(jù)分析模塊，接收微處理器模塊輸出的手部圖像提取數(shù)據(jù)，將手部圖形提取數(shù)據(jù)信息與手部圖形數(shù)字建模的模板數(shù)據(jù)庫校正整合后，獲得手勢的移動信息數(shù)據(jù)，判斷出手指移動模式； 所述比對模塊，將圖像數(shù)據(jù)分析模塊獲得的手指移動模式與微型電腦主機中手部圖形建模的模板數(shù)據(jù)庫信息對比，判斷出手勢所給出的執(zhí)行信息； 所述執(zhí)行模塊，將對比模塊獲得執(zhí)行信息對投影平面信息內(nèi)容進行操作執(zhí)行指示； 所述激光投影控制模塊，通過接受重力感應(yīng)模塊對微型電腦主機放置位置的重力感應(yīng)信息，傳輸給微處理器模塊，并接收微處理器模塊在經(jīng)過感應(yīng)信息的分析和處理后發(fā)出的執(zhí)行信息，將執(zhí)行信息轉(zhuǎn)化為執(zhí)行指令后，發(fā)送到馬達旋轉(zhuǎn)模塊，從而實現(xiàn)對激光投影儀和紅外攝像頭的調(diào)控；同時在重力感應(yīng)器感應(yīng)到微型電腦主機橫向放置時，發(fā)出指令自動關(guān)閉一字線型激光發(fā)射器； 所述重力感應(yīng)模塊，在微電腦主機放置后能夠獲取重力感應(yīng)的信息，并將重力感應(yīng)信息傳送給激光投影控制模塊，從而發(fā)揮通過重力感知獲悉微電腦主機的放置狀態(tài)，自動調(diào)整激光投影儀的投影方向； 所述馬達旋轉(zhuǎn)模塊，通過接收激光投影控制模塊發(fā)送的執(zhí)行信息，發(fā)揮自動調(diào)整激光投影儀和紅外攝像頭。
4.根據(jù)權(quán)利要求3所述的三維空間中多點觸控與捕捉手勢運動的識別系統(tǒng)，其特征在于:所述微型電腦主機還包括通話模塊； 所述通話模塊，與微處理器模塊進行數(shù)據(jù)信息交換實現(xiàn)通話功能。
【文檔編號】G06F3/01GK203930682SQ201420174520
【公開日】2014年11月5日 申請日期:2014年4月11日 優(yōu)先權(quán)日:2014年4月11日
【發(fā)明者】周光磊 申請人:周光磊