專利名稱：一種非接觸式界面操作方法及系統(tǒng)的制作方法
一種非接觸式界面操作方法及系統(tǒng)
技術(shù)領(lǐng)域
本發(fā)明屬于電子設(shè)備操作控制技術(shù)及人機(jī)交互技術(shù)領(lǐng)域，尤其涉及一種非接觸式界面操作方法及系統(tǒng)。
背景技術(shù)：
觸摸屏作為一種新的電腦輸入設(shè)備，是簡(jiǎn)單、方便、自然的一種人機(jī)交互方式，用戶只要用手指碰到觸摸屏的圖符或文字，就可實(shí)現(xiàn)對(duì)主機(jī)的操作。針對(duì)現(xiàn)有的觸摸屏操作系統(tǒng)，必須通過(guò)手接觸屏幕表面才能實(shí)現(xiàn)觸摸控制，因此手在操作時(shí)只有點(diǎn)擊、滑動(dòng)等二維平面動(dòng)作，同時(shí)針對(duì)目前公共場(chǎng)所用到的ATM、取號(hào)機(jī)等都用到觸摸屏操作，大家都去接觸同一屏幕，會(huì)造成公眾的交叉感染，產(chǎn)生安全隱患。發(fā)明內(nèi)容
有鑒于此，本發(fā)明所要解決的技術(shù)問(wèn)題是提供一種非接觸式界面操作方法及系統(tǒng)。為了對(duì)披露的實(shí)施例的一些方面有一個(gè)基本的理解，下面給出了簡(jiǎn)單的概括。該概括部分不是泛泛評(píng)述，也不是要確定關(guān)鍵/重要組成元素或描繪這些實(shí)施例的保護(hù)范圍。其唯一目的是用簡(jiǎn)單的形式呈現(xiàn)一些概念，以此作為后面的詳細(xì)說(shuō)明的序言。
本發(fā)明公開(kāi)了一種非接觸式界面操作方法，包括記錄3D顯示的操作界面中操作點(diǎn)的第一坐標(biāo)；識(shí)別并記錄人手的第二坐標(biāo)；判斷所述第一坐標(biāo)與第二坐標(biāo)是否對(duì)應(yīng)，以使操作界面進(jìn)行響應(yīng)。
在一些可選的實(shí)施例中，所述的記錄第一坐標(biāo)包括通過(guò)3D方式顯示操作界面；以顯示器一角為坐標(biāo)原點(diǎn)確定第一坐標(biāo)系，確定操作界面中操作點(diǎn)在第一坐標(biāo)系中的坐標(biāo)。
在一些可選的實(shí)施例中，所述的記錄人手的第二坐標(biāo)包括通過(guò)兩個(gè)攝像頭采集人手的手勢(shì)及位置信息；以其中任一攝像頭為坐標(biāo)原點(diǎn)確定第二坐標(biāo)系，確定人手在第二坐標(biāo)系中的坐標(biāo)。
在一些可選的實(shí)施例中，所述的判斷是否對(duì)應(yīng)包括以顯示器一角為坐標(biāo)原點(diǎn)確定第一坐標(biāo)系，將所述第二坐標(biāo)轉(zhuǎn)換至所述第一坐標(biāo)系中；比較轉(zhuǎn)換后的第二坐標(biāo)與所述第一坐標(biāo)，若相同，則確定為對(duì)應(yīng)。
本發(fā)明的另一方面是提出了一種非接觸式界面操作系統(tǒng)，其特征在于，包括第一單元記錄3D顯示的操作界面中操作點(diǎn)的第一坐標(biāo)；第二單元識(shí)別并記錄人手的第二坐標(biāo)；判斷單元判斷所述第一坐標(biāo)與第二坐標(biāo)是否對(duì)應(yīng)，以使操作界面進(jìn)行響應(yīng)。
在一些可選的實(shí)施例中，所述的第一單元包括顯示模塊通過(guò)3D方式顯示操作界面；第一模塊以顯不器一角為坐標(biāo)原點(diǎn)確定第一坐標(biāo)系，確定操作界面中操作點(diǎn)在第一坐標(biāo)系中的坐標(biāo)。
在一些可選的實(shí)施例中，所述的第二單元包括采集模塊通過(guò)兩個(gè)攝像頭采集人手的手勢(shì)及位置信息；第二模塊以其中任一攝像頭為坐標(biāo)原點(diǎn)確定第二坐標(biāo)系，確定人手在第二坐標(biāo)系中的坐標(biāo)。
在一些可選的實(shí)施例中，所述的判斷單元包括轉(zhuǎn)換模塊以顯示器一角為坐標(biāo)原點(diǎn)確定第一坐標(biāo)系，將所述第二坐標(biāo)轉(zhuǎn)換至所述第一坐標(biāo)系中；比較模塊比較轉(zhuǎn)換后的第二坐標(biāo)與所述第一坐標(biāo)，若相同，則確定為對(duì)應(yīng)。
為了上述以及相關(guān)的目的，一個(gè)或多個(gè)實(shí)施例包括后面將詳細(xì)說(shuō)明并在權(quán)利要求中特別指出的特征。下面的說(shuō)明以及附圖詳細(xì)說(shuō)明某些示例性方面，并且其指示的僅僅是各個(gè)實(shí)施例的原則可以利用的各種方式中的一些方式。其它的益處和新穎性特征將隨著下面的詳細(xì)說(shuō)明結(jié)合附圖考慮而變得明顯，所公開(kāi)的實(shí)施例是要包括所有這些方面以及它們的等同。
本發(fā)明在3D空間中，通過(guò)肢體動(dòng)作對(duì)3D顯示的系統(tǒng)進(jìn)行操作，在操作時(shí)人可以在空間中做多種三維動(dòng)作，實(shí)現(xiàn)系統(tǒng)的多種操作，并且它不需要不接觸任何設(shè)備，避免公共場(chǎng)所的交叉感染。實(shí)現(xiàn)了不通過(guò)任何輸入設(shè)備，也不需要觸摸到主機(jī)，就可對(duì)3D顯示的操作系統(tǒng)進(jìn) 行操作，更加靈活的實(shí)現(xiàn)了人機(jī)交互。它適用于公共場(chǎng)所中的各種對(duì)外開(kāi)放設(shè)備， 如銀行ATM、取號(hào)機(jī)、通訊商的話費(fèi)繳納機(jī)，火車站和地鐵內(nèi)的自動(dòng)售票機(jī)等。
說(shuō)明書附I是本發(fā)明的方法示意圖；圖2是本發(fā)明的方法流程圖；圖3是本發(fā)明的系統(tǒng)示意圖；圖4是3D顯不原理圖；圖5是雙目攝像頭采集肢體位置示意圖；圖6是雙目攝像頭采集肢體位置示意圖；圖7是本發(fā)明兩種坐標(biāo)系空間不意圖；圖8是本發(fā)明操作系統(tǒng)效果圖；圖9是本發(fā)明實(shí)施例一效果圖；

圖10是本發(fā)明實(shí)施例一效果圖。
具體實(shí)施方式
以下描述和附圖充分地示出本發(fā)明的具體實(shí)施方案，以使本領(lǐng)域的技術(shù)人員能夠?qū)嵺`它們。其他實(shí)施方案可以包括結(jié)構(gòu)的、邏輯的、電氣的、過(guò)程的以及其他的改變。實(shí)施例僅代表可能的變化。除非明確要求，否則單獨(dú)的組件和功能是可選的，并且操作的順序可以變化。一些實(shí)施方案的部分和特征可以被包括在或替換其他實(shí)施方案的部分和特征。本發(fā)明的實(shí)施方案的范圍包括權(quán)利要求書的整個(gè)范圍，以及權(quán)利要求書的所有可獲得的等同物。在本文中，本發(fā)明的這些實(shí)施方案可以被單獨(dú)地或總地用術(shù)語(yǔ)“發(fā)明”來(lái)表示，這僅僅是為了方便，并且如果事實(shí)上公開(kāi)了超過(guò)一個(gè)的發(fā)明，不是要自動(dòng)地限制該應(yīng)用的范圍為任何單個(gè)發(fā)明或發(fā)明構(gòu)思。
本發(fā)明基于目前的3D顯示技術(shù)和機(jī)器視覺(jué)技術(shù)，將3D顯示的立體圖像和人的肢體在空間中對(duì)應(yīng)，如圖I所示；在視覺(jué)上形成肢體觸碰到空間中圖像的感覺(jué)，從而實(shí)現(xiàn)真實(shí)的隔空操作，即實(shí)現(xiàn)非接觸式操作。使人機(jī)交互更加靈活，并且不需要接觸任何設(shè)備，避免公共場(chǎng)所設(shè)備的交叉感染。
本發(fā)明提出的一種非接觸式界面操作方法，如圖2，具體流程如下步驟201 :記錄3D顯示的操作界面中操作點(diǎn)的第一坐標(biāo)；首先，對(duì)于系統(tǒng)操作界面，利用3D顯示技術(shù)，將系統(tǒng)操作界面在三維空間中顯示。3D顯示技術(shù)就是利用一系列的光學(xué)方法，使人的左右眼產(chǎn)生視差從而接收不同的畫面，在大腦形成3D立體效果。人雙眼能同時(shí)看同一方向，但是眼間距離越65mm，因此不能瞄上同一直線，在一定范圍內(nèi)雙眼看到的圖像有差異。
如圖4所示，左右眼分別看到左眼圖和右眼圖，那么視線在中間會(huì)有一個(gè)交點(diǎn)，在這個(gè)交叉處，視覺(jué)上會(huì)形成兩圖合成的立體圖像，這樣大腦將兩幅圖合成為一個(gè)在交點(diǎn)處立體圖。通過(guò)3D顯示原理，以顯示器的左上角為空間原點(diǎn)O,顯示器面為XY平面，垂直顯示器方向?yàn)閆軸，我們可以得到系統(tǒng)操作界面中操作點(diǎn)在三維空間中的坐標(biāo)W。
步驟202 :識(shí)別并記錄人手的第二坐標(biāo)；人看到三維顯示的立體操作界面，并通過(guò)肢體動(dòng)作對(duì)看到的界面進(jìn)行操作。用雙目攝像頭采集的肢體動(dòng)作。并對(duì)它進(jìn)行動(dòng)作識(shí)別，同時(shí)計(jì)算出肢體在運(yùn)動(dòng)中的3D坐標(biāo)。
如圖5和圖6所示，兩臺(tái)焦距為/的攝像機(jī)平行放置，光軸之間的距離為八圖5中的兩個(gè)矩形分辨表示左右攝像機(jī)的成像平面，O1和Or為左右攝像機(jī)的焦點(diǎn)，對(duì)于場(chǎng)景中的任意一點(diǎn)八在左右攝像機(jī)成像平面上的成像點(diǎn)分別為A和&，它們?cè)诔上衿矫嫔系某上褡鴺?biāo)(圖像坐標(biāo))為夕和7，則視差定義為= y - X r ;如6所示。
以圖5中的左攝像機(jī)焦點(diǎn)O1為原點(diǎn)，O1Or所在直線為Z軸，左攝像機(jī)光軸為Z軸， 垂直于^軸的為Y軸，則P點(diǎn)在O1坐標(biāo)系中的坐標(biāo)可以按照公式(I)計(jì)算d d d 步驟203 :判斷所述第一坐標(biāo)與第二坐標(biāo)是否對(duì)應(yīng)，以使操作界面進(jìn)行響應(yīng)。
通過(guò)步驟201和步驟202，我們計(jì)算出了操作點(diǎn)j, Z)的坐標(biāo)和人做動(dòng)作時(shí)的肢體坐標(biāo)W，由于兩個(gè)坐標(biāo)不是在同一坐標(biāo)系下，根據(jù)左攝像頭和顯示器的位置關(guān)系，將/7點(diǎn)轉(zhuǎn)換到和j點(diǎn)相同的坐標(biāo)系下，得到在同一坐標(biāo)系下的J, W。具體坐標(biāo)轉(zhuǎn)換方式如下由于攝像頭放在顯示器的上方，此處設(shè)左攝像頭與原點(diǎn)O的距離為7，即在以0為原點(diǎn)的空間坐標(biāo)系的X軸上，其光軸與X軸垂直，與XY平面夾角為〃，如圖7所示。
由步驟202中計(jì)算肢體坐標(biāo)時(shí)，以左攝像頭光軸為Z軸，那么設(shè)肢體坐標(biāo)點(diǎn)為P(x,y,z),則將/^轉(zhuǎn)換到以0為原點(diǎn)的空間坐標(biāo)系下的/，如下式所示疒 IX = X+I< y = ^jy2 +Z2 cos Θ(2)z = -Jy2 + Z2 sin Θ最后，利用識(shí)別技術(shù)判斷出人的肢體動(dòng)作，此動(dòng)作需要觸碰到在三維空間某一位置的操作點(diǎn)，若D和Zy兩點(diǎn)重合，說(shuō)明此動(dòng)作在空間中觸碰到視覺(jué)上三維顯示的操作點(diǎn)，但并非觸到顯示器本身，此時(shí)操作系統(tǒng)進(jìn)行動(dòng)作響應(yīng)，否則不響應(yīng)。
如圖8所示，人在顯示器前看到3D顯示的系統(tǒng)操作界面，然后在三維空間中用肢體動(dòng)作去操作，利用兩個(gè)攝像頭采集下人的動(dòng)作，利用識(shí)別跟蹤技術(shù)，確定肢體運(yùn)動(dòng)形式并記錄運(yùn)動(dòng)過(guò)程中的3D坐標(biāo)，根據(jù)運(yùn)動(dòng)形式以及肢體坐標(biāo)與界面操作點(diǎn)的坐標(biāo)對(duì)應(yīng)，來(lái)判斷系統(tǒng)是否響應(yīng)當(dāng)前操作。在上述這一過(guò)程中，在大腦視覺(jué)上人的肢體接觸到了系統(tǒng)操作界面，而在真實(shí)空間中，人體任何部分始終不用接觸顯示器，也不用借助其它的傳感裝置，僅僅在空間中系統(tǒng)界面顯示區(qū)域進(jìn)行運(yùn)動(dòng)，就可實(shí)現(xiàn)對(duì)系統(tǒng)的操作，因此實(shí)現(xiàn)了非接觸式操作。
具體實(shí)施例一本實(shí)施例模擬銀行辦理業(yè)務(wù)需要拿號(hào)排隊(duì)，取號(hào)機(jī)為非接觸式操作系統(tǒng)。
I.客戶站在取號(hào)機(jī)前，利用3D眼鏡或者其它技術(shù)看到在空間顯示的操作界面。界面示意圖如圖9所示；其中界面前面三個(gè)業(yè)務(wù)操作塊即客戶看到的3D顯示的界面，把取號(hào)機(jī)顯示器左上角當(dāng)作空間坐標(biāo)原點(diǎn)0，根據(jù)3D顯示原理計(jì)算出3D顯示的操作塊坐標(biāo)隊(duì)
2.客戶需要操作個(gè)人業(yè)務(wù)，伸手點(diǎn)擊顯示在空間的個(gè)人業(yè)務(wù)塊，處于顯示器處的兩個(gè)攝像機(jī)對(duì)手運(yùn)動(dòng)進(jìn)行采集，判斷是手指點(diǎn)擊動(dòng)作后，通過(guò)式(I)計(jì)算出手指的3D坐標(biāo) P,如圖10所示。
3.根據(jù)攝像頭A與0之間的位置關(guān)系，將手指坐標(biāo)產(chǎn)轉(zhuǎn)換到以0為原點(diǎn)的空間坐標(biāo)系下為廣，計(jì)算式(2)。若經(jīng)過(guò)轉(zhuǎn)換后的手指坐標(biāo)^與個(gè)人業(yè)務(wù)塊坐標(biāo)D相同，即在視覺(jué)上已經(jīng)點(diǎn)擊到界面中操作塊，此時(shí)操作系統(tǒng)給予響應(yīng)，打印出個(gè)人業(yè)務(wù)的排號(hào)紙條。
下面介紹本發(fā)明提出的非接觸式操作系統(tǒng)圖3為本發(fā)明的非接觸式操作系統(tǒng)結(jié)構(gòu)示意圖，該系統(tǒng)包括第一單元301、第二單元 302和判斷單元303。
上述第一單元301 :記錄3D顯示的操作界面中操作點(diǎn)的第一坐標(biāo)；上述第二單元302 :識(shí)別并記錄人手的第二坐標(biāo)；上述判斷單元303 :判斷所述第一坐標(biāo)與第二坐標(biāo)是否對(duì)應(yīng)，以使操作界面進(jìn)行響應(yīng)。
進(jìn)一步上述第一單元中301包括顯示模塊3011和第一模塊3012。
上述顯示模塊3011 :通過(guò)3D方式顯示操作界面；上述第一模塊3012:以顯示器一角為坐標(biāo)原點(diǎn)確定第一坐標(biāo)系，確定操作界面中操作點(diǎn)在第一坐標(biāo)系中的坐標(biāo)。
進(jìn)一步上述第二單元302包括采集模塊3021和第二模塊3022。
上述采集模塊3021 :通過(guò)兩個(gè)攝像頭采集人手的手勢(shì)及位置信息；上述第二模塊3022 :以其中任一攝像頭為坐標(biāo)原點(diǎn)確定第二坐標(biāo)系，確定人手在第二坐標(biāo)系中的坐標(biāo)。
進(jìn)一步上述判斷單元303包括轉(zhuǎn)換模塊3031和比較模塊3032。
上述轉(zhuǎn)換模塊3031 :以顯示器一角為坐標(biāo)原點(diǎn)確定第一坐標(biāo)系，將所述第二坐標(biāo)轉(zhuǎn)換至所述第一坐標(biāo)系中；上述比較模塊3032 :比較轉(zhuǎn)換后的第二坐標(biāo)與所述第一坐標(biāo)，若相同，則確定為對(duì)應(yīng)。
在上述的詳細(xì)描述中，各種特征一起組合在單個(gè)的實(shí)施方案中，以簡(jiǎn)化本公開(kāi)。不應(yīng)該將這種公開(kāi)方法解釋為反映了這樣的意圖，即，所要求保護(hù)的主題的實(shí)施方案需要比清楚地在每個(gè)權(quán)利要求中所陳述的特征更多的特征。相反，如所附的權(quán)利要求書所反映的那樣， 本發(fā)明處于比所公開(kāi)的單個(gè)實(shí)施方案的全部特征少的狀態(tài)。因此，所附的權(quán)利要求書特此清楚地被并入詳細(xì)描述中，其中每項(xiàng)權(quán)利要求獨(dú)自作為本發(fā)明單獨(dú)的優(yōu)選實(shí)施方案。
本領(lǐng)域技術(shù)人員還應(yīng)當(dāng)理解，結(jié)合本文的實(shí)施例描述的各種說(shuō)明性的邏輯框、模塊、電路和算法步驟均可以實(shí)現(xiàn)成電子硬件、計(jì)算機(jī)軟件或其組合。為了清楚地說(shuō)明硬件和軟件之間的可交換性，上面對(duì)各種說(shuō)明性的部件、框、模塊、電路和步驟均圍繞其功能進(jìn)行了一般地描述。至于這種功能是實(shí)現(xiàn)成硬件還是實(shí)現(xiàn)成軟件，取決于特定的應(yīng)用和對(duì)整個(gè)系統(tǒng)所施加的設(shè)計(jì)約束條件。熟練的技術(shù)人員可以針對(duì)每個(gè)特定應(yīng)用，以變通的方式實(shí)現(xiàn)所描述的功能，但是，這種實(shí)現(xiàn)決策不應(yīng)解釋為背離本公開(kāi)的保護(hù)范圍。
上文的描述包括一個(gè)或多個(gè)實(shí)施例的舉例。當(dāng)然，為了描述上述實(shí)施例而描述部件或方法的所有可能的結(jié)合是不可能的，但是本領(lǐng)域普通技術(shù)人員應(yīng)該認(rèn)識(shí)到，各個(gè)實(shí)施例可以做進(jìn)一步的組合和排列。因此，本文中描述的實(shí)施例旨在涵蓋落入所附權(quán)利要求書的保護(hù)范圍內(nèi)的所有這樣的改變、修改和變型。此外，就說(shuō)明書或權(quán)利要求書中使用的術(shù)語(yǔ) “包含”，該詞的涵蓋方式類似于術(shù)語(yǔ)“包括”，就如同“包括，·”在權(quán)利要求中用作銜接詞所解釋的那樣。此外，使用在權(quán)利要求書的說(shuō)明書中的任何一個(gè)術(shù)語(yǔ)“或者”是要表示“非排它性的或者”。
權(quán)利要求
1.一種非接觸式界面操作方法，其特征在于，包括記錄3D顯示的操作界面中操作點(diǎn)的第一坐標(biāo)；識(shí)別并記錄人手的第二坐標(biāo)；判斷所述第一坐標(biāo)與第二坐標(biāo)是否對(duì)應(yīng)，以使操作界面進(jìn)行響應(yīng)。
2.如權(quán)利要求I所述的方法，其特征在于，所述的記錄第一坐標(biāo)包括通過(guò)3D方式顯示操作界面；以顯示器一角為坐標(biāo)原點(diǎn)確定第一坐標(biāo)系，確定操作界面中操作點(diǎn)在第一坐標(biāo)系中的坐標(biāo)。
3.如權(quán)利要求I所述的方法，其特征在于，所述的記錄人手的第二坐標(biāo)包括通過(guò)兩個(gè)攝像頭采集人手的手勢(shì)及位置信息；以其中任一攝像頭為坐標(biāo)原點(diǎn)確定第二坐標(biāo)系，確定人手在第二坐標(biāo)系中的坐標(biāo)。
4.如權(quán)利要求I所述的方法，其特征在于，所述的判斷是否對(duì)應(yīng)包括以顯示器一角為坐標(biāo)原點(diǎn)確定第一坐標(biāo)系，將所述第二坐標(biāo)轉(zhuǎn)換至所述第一坐標(biāo)系中；比較轉(zhuǎn)換后的第二坐標(biāo)與所述第一坐標(biāo)，若相同，則確定為對(duì)應(yīng)。
5.一種非接觸式界面操作系統(tǒng)，其特征在于，包括第一單元記錄3D顯示的操作界面中操作點(diǎn)的第一坐標(biāo)；第二單元識(shí)別并記錄人手的第二坐標(biāo)；判斷單元判斷所述第一坐標(biāo)與第二坐標(biāo)是否對(duì)應(yīng)，以使操作界面進(jìn)行響應(yīng)。
6.如權(quán)利要求5所述的系統(tǒng)，其特征在于，所述的第一單元包括顯示模塊通過(guò)3D方式顯示操作界面；第一模塊以顯不器一角為坐標(biāo)原點(diǎn)確定第一坐標(biāo)系，確定操作界面中操作點(diǎn)在第一坐標(biāo)系中的坐標(biāo)。
7.如權(quán)利要求5所述的系統(tǒng)，其特征在于，所述的第二單元包括采集模塊通過(guò)兩個(gè)攝像頭采集人手的手勢(shì)及位置信息；第二模塊以其中任一攝像頭為坐標(biāo)原點(diǎn)確定第二坐標(biāo)系，確定人手在第二坐標(biāo)系中的坐標(biāo)。
8.如權(quán)利要求5所述的系統(tǒng)，其特征在于，所述的判斷單元包括轉(zhuǎn)換模塊以顯示器一角為坐標(biāo)原點(diǎn)確定第一坐標(biāo)系，將所述第二坐標(biāo)轉(zhuǎn)換至所述第一坐標(biāo)系中；比較模塊比較轉(zhuǎn)換后的第二坐標(biāo)與所述第一坐標(biāo)，若相同，則確定為對(duì)應(yīng)。
全文摘要
本發(fā)明公開(kāi)了一種非接觸式界面操作方法及系統(tǒng)，包括記錄3D顯示的操作界面中操作點(diǎn)的第一坐標(biāo)；識(shí)別并記錄人手的第二坐標(biāo)；判斷所述第一坐標(biāo)與第二坐標(biāo)是否對(duì)應(yīng)，以使操作界面進(jìn)行響應(yīng)；本發(fā)明在3D空間中，通過(guò)肢體動(dòng)作對(duì)3D顯示的系統(tǒng)進(jìn)行操作，在操作時(shí)人可以在三維空間中做多種動(dòng)作，實(shí)現(xiàn)系統(tǒng)的多種操作，使人機(jī)交互更加靈活，并且它不需要接觸任何設(shè)備，避免公共場(chǎng)所設(shè)備的交叉感染。
文檔編號(hào)G06F3/042GK102880352SQ201110193258
公開(kāi)日2013年1月16日 申請(qǐng)日期2011年7月11日 優(yōu)先權(quán)日2011年7月11日
發(fā)明者程懿遠(yuǎn), 胡洪磊, 王嘉, 鮑東山 申請(qǐng)人:北京新岸線移動(dòng)多媒體技術(shù)有限公司