專利名稱：多點觸控交互系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種多點觸控交互系統(tǒng)，特別是涉及一種在曲面投影上實現(xiàn)的多點觸 控交互的系統(tǒng)。
背景技術(shù)：
多點觸控(multi-touch)是基于圖像處理方法與硬件設(shè)備共同實現(xiàn)的交互方式， 不使用傳統(tǒng)的鍵盤、鼠標(biāo)等輸入設(shè)備，而使用各種手勢或者其他觸控物實現(xiàn)人機(jī)交互。多 點觸控的交互裝置按照制作原理主要分為電阻式觸控、電容式觸控、聲學(xué)式觸控、光學(xué)式觸 控。其中光學(xué)式觸控由于其成本較低，特別是大尺寸下易實現(xiàn)而受到廣泛關(guān)注。光學(xué)式的 多點觸控一般使用紅外光，如FI1R(受抑內(nèi)全反射多點觸控)、DI (散射光照射多點觸控)、 DSI (散射光平面多點觸控)、LLP (激光平面多點觸控)等方式，這些方式優(yōu)缺點各異，近年 來隨著iWione、Microsoft surface等產(chǎn)品的出現(xiàn)，多點觸控方式已逐漸走進(jìn)大眾視野，但 這些多點觸控的交互主要集中在平面上的應(yīng)用，在曲面上實現(xiàn)的多點觸控交互尚無應(yīng)用， 比如球面、柱面等。球面投影是近年來新出現(xiàn)的虛擬現(xiàn)實顯示設(shè)備，由于其投影屏幕的外形呈球形， 特別適合一些需要周視的投影界面需要，如地球等球體的內(nèi)容展示，球面投影具備的360° 的顯示范圍更可以滿足多用戶同時觀看的需要，而目前對于球面投影顯示的觸控大都是通 過間接地使用跟蹤球、平面觸控屏等其他非球面投影裝置來實現(xiàn)交互，使球面投影本身只 是一種顯示輸出設(shè)備而已，影響了交互的效果，并導(dǎo)致交互設(shè)備的組件的增加，給系統(tǒng)帶來 負(fù)擔(dān)，不利于交互的進(jìn)行。

發(fā)明內(nèi)容
鑒于上述問題，本發(fā)明旨在在提出一種在曲面投影上實現(xiàn)的多點觸控交互系統(tǒng)， 實現(xiàn)快速、準(zhǔn)確、簡便的在曲面上，特別是球面上的多點觸控交互。根據(jù)本發(fā)明的多點觸控交互系統(tǒng)，包括用作投影屏幕的漫反射球；向漫反射球 內(nèi)發(fā)射紅外光束的紅外光發(fā)射裝置；向漫反射球內(nèi)投影可見光圖像的投影裝置；收集被漫 反射球反射回的紅外光，以識別觸控點的紅外光收集裝置；以及控制裝置，該控制裝置根據(jù) 紅外光收集裝置采集的數(shù)據(jù)分析觸控點的位置和事件，解析位置以及事件以控制所述投影 裝置的顯示，實現(xiàn)交互。本發(fā)明的多點觸控交互系統(tǒng)，集合了曲面投影技術(shù)，圖像校正技術(shù)，圖像處理及觸 控點識別技術(shù)，球面手勢識別技術(shù)和球面標(biāo)定技術(shù)，將球面投影和與多點觸控技術(shù)有機(jī)結(jié) 合，實現(xiàn)了大視場投影下炫麗的交互效果。本發(fā)明的多點觸控交互系統(tǒng)能達(dá)到360°空間的 顯示，將圖片、視頻、地圖等多媒體信息，以現(xiàn)實的空間感、透視感呈現(xiàn)給觀察者，接受觀察 者實時的觸摸而進(jìn)行新穎有趣的交互。本發(fā)明的交互系統(tǒng)結(jié)構(gòu)簡單易行，在科普教育、展覽 展示、休閑娛樂等領(lǐng)域具有廣泛的應(yīng)用前景和很好的經(jīng)濟(jì)效益。


圖1為本發(fā)明實施例的球面多點觸控交互系統(tǒng)示意圖。圖為圖1所示系統(tǒng)在交互時IR攝像機(jī)獲得的圖像示例。圖3為本發(fā)明實施例的系統(tǒng)對紅外圖像處理的步驟流程圖。圖4為本發(fā)明實施例中圖像處理中的團(tuán)塊檢測算法框圖。圖5為本發(fā)明實施例中的觸控事件處理算法流程圖。圖6為本發(fā)明實施例的系統(tǒng)實現(xiàn)單手交互的手勢示意圖。圖7為本發(fā)明實施例的系統(tǒng)實現(xiàn)雙手交互的手勢示意圖。圖為交互手勢在平面上拖拽操作計算方法示意，圖8b為本發(fā)明實施例的交互 手勢在球面上的拖拽操作計算方法示意。圖中1漫反射球，2 LEDs，3魚眼鏡頭，4冷光鏡HR濾光片，6投影機(jī)，7計算機(jī)， 8 攝像機(jī)
具體實施例方式下面以球面投影的多點觸控交互系統(tǒng)為例，詳細(xì)闡述本發(fā)明的多點觸控交互系 統(tǒng)。1.球面投影與交互用紅外光學(xué)系統(tǒng)球面投影技術(shù)打破了以往投影圖像只能是平面規(guī)則圖形的局限，利用光學(xué)鏡頭， 將普通的平面影像進(jìn)行特殊的變換，投射到一個球形的屏幕內(nèi)側(cè)，形成一個內(nèi)投的球體影 像，觀察者在屏幕外側(cè)可看到屏幕上的圖像。用作投影的鏡頭除標(biāo)準(zhǔn)鏡頭外，根據(jù)視場角大小可分為廣角鏡頭(短焦鏡頭)、超 短焦廣角鏡頭、長焦鏡頭、魚眼鏡頭四種。普通的標(biāo)準(zhǔn)鏡頭，視場角一般在60°以下，通常應(yīng) 用于教學(xué)。廣角鏡頭根據(jù)投射比的大小，視場角可達(dá)60° -90°之間，在短距離內(nèi)投射大畫 面，如互動投影、多通道環(huán)幕投影立體投影、會議室等工程，投射畫面往往以4 3、16 9 平面顯示或者環(huán)形、柱形幕為主。魚眼鏡頭是一種有效的實現(xiàn)大視場方式的成像系統(tǒng)，視場 角達(dá)到120°以上。以魚眼鏡頭作為投影機(jī)的附加鏡頭，用于擴(kuò)大投影的視場，是解決近距 離投射大場景的優(yōu)選方式。根據(jù)本發(fā)明的球面多點觸控交互裝置，如圖1所示，主要依據(jù)DI (散射式照明)方 式的交互原理，在球內(nèi)表面覆蓋了一層散射材料形成漫反射球1，具有該漫反射層的球表面 起到投影屏幕的作用(內(nèi)投球)，在漫反射球1的底部有缺口，漫反射球1能夠滿足在豎直 截面上四0°投影角度，在水平截面上360°的投影角度上的圖像顯示及人機(jī)交互。一般 的，多點觸控交互裝置的球面投影屏置于高平臺上，漫反射球的直徑與高度和投影面積相 關(guān)，投影以高分辨率的DLP投影機(jī)實現(xiàn)。該投影機(jī)投影出的圖像，經(jīng)魚眼鏡頭3投射進(jìn)入漫 反射球內(nèi)，實現(xiàn)球面投影，其中魚眼鏡頭可由置于缺口處的支架安裝，在缺口處或部分伸入 缺口以投影圖像。在漫反射球1底部的缺口周圍設(shè)置有紅外光源2，向球內(nèi)發(fā)射紅外光作 為交互用的指示光，當(dāng)觀察者在球形投影屏幕上進(jìn)行的交互時(如使用手觸碰投影屏幕) 將引起球內(nèi)紅外光的變化，這些變化反映在紅外(IR)攝像機(jī)8拍攝的圖像上，通過對上述 紅外圖像進(jìn)行處理，可以獲知觀察者的意圖，從而實現(xiàn)交互。紅外攝像機(jī)8可置于漫反射球 1下方，正對上述缺口，或根據(jù)使用時空間位置的需要，借助反射或者折射光學(xué)器件，在其他位置收集來自漫反射球1方向的紅外光。圖1所示裝置給出了一種光路設(shè)置方式，投影機(jī)6和頂攝像機(jī)8分別置于冷光鏡 4的兩臂光路上。例如，冷光鏡呈45度時，投影機(jī)6投影出的圖像經(jīng)冷光鏡4反射進(jìn)入魚眼 鏡頭3，魚眼鏡頭3置于漫反射球1的缺口處，在魚眼鏡頭3上方、圍繞缺口，設(shè)置有一圈紅 外光源，如紅外LED或LD，從各方向上向漫反射球內(nèi)發(fā)射紅外光，在交互時，紅外光經(jīng)投影 屏幕反射沿缺口射出(即缺口為整個球體的光通過口 )，經(jīng)冷光鏡4透射進(jìn)入頂攝像機(jī)8。 這種光路設(shè)置方式實現(xiàn)了與投影機(jī)光線同光軸的觸控感應(yīng)，且布局緊湊，安裝簡便。為避免 光線的相互干擾，優(yōu)選的，在頂攝像機(jī)鏡頭前設(shè)置一頂濾光片5，在投影機(jī)鏡頭前設(shè)置一個 頂截止片，使得投影機(jī)只出射可見光圖像而頂攝影機(jī)僅收集到交互的紅外反射光。這些紅 外光由球形底部缺口處的紅外光源產(chǎn)生，該紅外光源的波長與上述紅外濾光片相匹配。例 如，本發(fā)明使用具有72°發(fā)射廣角的紅外LED，發(fā)射出880nm波長的光線，配合880nm的紅 外濾光片。由于魚眼鏡頭的使用，這臺攝像機(jī)能夠拍攝到球形表面的所有部分。這種以內(nèi)投球為投影屏幕，單臺高亮度流明的投影機(jī)投影圖像，配合魚眼鏡頭的 實現(xiàn)方式，視場廣，無需額外的軟件融合技術(shù)即實現(xiàn)了單投影機(jī)對球幕的投影。本領(lǐng)域技術(shù) 人員可以理解，圖1所示的光路設(shè)置方式僅為一種舉例，在不違背各部分功能和作用的前 提下對其做出的變換、部分組件的省略同樣可以作為本發(fā)明的交互裝置，包括但不限于，在 光路中將冷光鏡以透射可見光并反射紅外光的分光鏡代替，互換投影機(jī)和頂攝像機(jī)在兩 臂的位置；或以柱面、半球面等其他曲面屏幕形式，配合相應(yīng)的廣角鏡頭，實現(xiàn)曲面投影的 交互。2.球面投影圖像的校正眾所周知，焦距越短，視角越大，圖像產(chǎn)生的變形就越嚴(yán)重，在使用了魚眼鏡頭時， 需要對圖像進(jìn)行必要的處理，消除魚眼鏡頭帶來的畸變。由頂攝像機(jī)8獲得的紅外圖像如 圖2所示，其中圖加為原始圖像，圖2b為二值化圖像，圖2c為手指識別圖像。由于畸變， 圖像呈現(xiàn)出平面的輻射狀，而此部分圖像用于交互，消除畸變的處理不是必須的。而投影到 漫反射球的可見光圖像作為球面投影顯示給觀察者，必須要保證質(zhì)量，因此需要進(jìn)行3D笛 卡爾坐標(biāo)的反演變換，即3D坐標(biāo)的數(shù)據(jù)要改變成與投影相匹配的輻射狀圖形?；?nèi)Q于漫反射球的物理尺寸，主要是球的半徑和各個圖像像素點的在球面上 的位置。在球的物理尺寸確定后，一次校正后將數(shù)據(jù)保存，后續(xù)校正可直接調(diào)用。對于沒有 交互時的單純球面投影應(yīng)用，數(shù)據(jù)可以提前進(jìn)行畸變校正；而對于有交互時，投影要使用實 時校正計算。為了達(dá)到實時對交互的位置進(jìn)行校正，本發(fā)明使用vertexshader (頂點繪制) 的方法，給每一幀的圖像計算輻射狀圖形的頂點位置。給定的頂點數(shù)目越多，繪制的也越精 確，畸變校正的效果也越好。3.球面圖像處理及觸控點識別為實現(xiàn)人機(jī)交互，必須得到用于交互的物體(如，手指)在漫反射球上進(jìn)行觸控的 點的位置，并處理得到諸如手指按下、移動、抬起等觸控事件。整個球面投影圖像處理及觸控點識別流程如圖3所示。獲取紅外圖像后首先對其 進(jìn)行濾波和增強(qiáng)，去除高斯噪聲，增強(qiáng)信噪比；然后通過圖像分割算法得到前景信息，去除 背景信息的影響；對前景信息圖像進(jìn)行分析識別得到觸控點的位置；為了克服在手指移動 過程以及圖像跟蹤注冊過程中可能出現(xiàn)的點的抖動現(xiàn)象，將對輸出點的位置及事件進(jìn)行卡
6爾曼濾波以得到穩(wěn)定的輸出信息(如點的位置及點的狀態(tài)，即按下、移動、抬起等事件) ’最 后通過接口模塊將數(shù)據(jù)傳送給渲染弓I擎進(jìn)行交互效果渲染，得到自然的人機(jī)交互效果。3. 1團(tuán)塊檢測算法本發(fā)明的交互裝置中，使用團(tuán)塊檢測算法檢測頂攝像機(jī)攝取的圖像中的觸控點。 以如圖2所示的圖像為例，該圖像具有背景圖像簡單，前景圖像與背景圖像對比度高的特 點，同時考慮到算法的效率，因此選用了盡量簡單的團(tuán)塊檢測算法。團(tuán)塊檢測算法的流程如 圖4所示。首先，使用等式(1)對背景圖像做背景圖像累積，其中Acc為背景圖像像素的灰度 值，Image為當(dāng)前圖像像素的灰度值，α為背景累積系數(shù)。
權(quán)利要求
1.一種球面多點觸控交互系統(tǒng)，包括 用作投影屏幕的漫反射球；紅外光發(fā)射裝置，向漫反射球內(nèi)發(fā)射紅外光束； 投影裝置，向漫反射球內(nèi)投影可見光圖像，在漫反射球上實現(xiàn)圖像顯示； 紅外光收集裝置，收集被漫反射球反射回的紅外光，以識別觸控點； 控制裝置，連接至投影裝置和紅外光收集裝置，根據(jù)紅外光收集裝置采集的數(shù)據(jù)分析 觸控點的位置和事件，解析位置以及事件以控制所述投影裝置的顯示，實現(xiàn)交互。
2.一種曲面多點觸控交互系統(tǒng)，包括 曲面散射屏；向曲面散射投影屏進(jìn)行投影的投影裝置； 向投影空間內(nèi)發(fā)射紅外光的紅外光發(fā)射裝置；紅外光收集裝置，收集由觸控交互引起的從所述屏反射回的紅外光形成紅外光圖像； 以及控制裝置，連接至投影裝置和紅外光收集裝置，根據(jù)紅外光收集裝置采集的數(shù)據(jù) 分析觸控點的位置和事件，解析位置以及事件以控制所述投影裝置的顯示，實現(xiàn)交互。
3.如權(quán)利要求1或2的多點觸控交互系統(tǒng)，所述紅外光收集裝置前具有紅外濾光片，所 述紅外濾光片的中心波長與所述紅外光束波長相匹配；所述投影裝置中具有IR截止片。
4.如權(quán)利要求1或2的多點觸控交互系統(tǒng)，所述投影裝置由投影機(jī)和附加鏡頭構(gòu)成，所 述附加鏡頭為廣角鏡頭、超短焦廣角鏡頭、長焦鏡頭、數(shù)字魚眼鏡頭中的一種。
5.如權(quán)利要求1所述的球面多點觸控交互系統(tǒng)，所述漫反射球底部具有缺口，所述紅 外光發(fā)射裝置圍繞所述缺口。
6.如權(quán)利要求1或2的球面多點觸控交互系統(tǒng)，其特征在于所述系統(tǒng)還包括冷光鏡，對 紅外光和可見光進(jìn)行分束。
7.一種球面多點觸控的觸控點識別方法，包括 通過紅外發(fā)射裝置，向漫反射球內(nèi)發(fā)射紅外光束；紅外光收集裝置，收集從漫反射球內(nèi)被反射回的紅外光束；對漫反射球進(jìn)行多點觸控，使被反射回的紅外光束受影響，從而所述紅外光收集裝置 獲得包含有觸控點信息的紅外光圖像；處理所述紅外光圖像，分析識別得到觸控點的位置和事件。
8.如權(quán)利要求7所述的觸控點識別方法，其特征在于通過團(tuán)塊檢測算法來檢測觸控點 的位置。
9.如權(quán)利要求8所述的觸控點識別方法，所述的團(tuán)塊檢測算法包括以下步驟(1)使用等式(1)對背景圖像做背景圖像累積，Acc (x, y) = (1- α ) XAcc (χ, y) + α X Image (χ, y)(1)其中Acc為背景圖像像素的灰度值，Image為當(dāng)前圖像像素的灰度值，α為背景累積系數(shù)；(2)對采集的圖像進(jìn)行高斯濾波以濾除圖像的高斯噪聲；對圖像每個像素做自乘以增 強(qiáng)圖像中的團(tuán)塊亮斑的亮度；(3)對增強(qiáng)后的圖像與背景圖像進(jìn)行差分操作，得到前景圖像；(4)對得到的前景圖像進(jìn)行二值化、腐蝕、膨脹操作以得到包括團(tuán)塊的清晰黑白圖像。(5)使用邊緣檢測算法檢測所有團(tuán)塊的邊緣，并通過等式(2)計算每個團(tuán)塊的中心坐標(biāo)
10.如權(quán)利要求7或8所述的觸控點識別方法，其特征在于通過團(tuán)塊跟蹤算法，跟蹤觸 控點的運動。
11.如權(quán)利要求10所述的觸控點識別方法，上述團(tuán)塊跟蹤算法采用最小距離算法。
12.如權(quán)利要求11所述的觸控點識別方法，其中，定義由上一幀圖像得到的團(tuán)塊中 心坐標(biāo)為Old Blobs (Xold, Yold)，由本幀圖像得到的團(tuán)塊中心坐標(biāo)為New Blobs (Xnew, Ynew)，根據(jù)公式(3)計算新舊數(shù)據(jù)之間的歐式距離，根據(jù)公式(4)得到最佳相關(guān)系數(shù)D，
13.如權(quán)利要求12所述的觸控點識別方法，在公式(4)中加入一個角度控制項A得到 等式(5)，
14.如權(quán)利要求7所述的觸控點識別方法，對獲得的觸控點的位置及事件進(jìn)行卡爾曼 濾波以得到穩(wěn)定的輸出信息，以克服在手指移動過程以及圖像跟蹤注冊過程中可能出現(xiàn)的 點的抖動現(xiàn)象，通過接口模塊將數(shù)據(jù)傳送給渲染引擎進(jìn)行交互效果渲染以實現(xiàn)自然的人機(jī) 交互。
全文摘要
本發(fā)明涉及一種基于曲面的多點觸控交互系統(tǒng)技術(shù)領(lǐng)域，特別是球面多點觸控交互系統(tǒng)，該系統(tǒng)實現(xiàn)曲面投影顯示下的多點觸控交互，在實現(xiàn)球面投影顯示時，配合圖像的畸變校正以保證投影質(zhì)量，紅外光源作為交互用光，向投影屏幕投射紅外光，紅外攝像機(jī)收集由交互引起的反射的紅外光，獲得紅外光圖像，對紅外光圖像進(jìn)行處理，根據(jù)處理結(jié)果控制顯示，從而實現(xiàn)交互。這種球面多點觸控技術(shù)能夠滿足實時性、準(zhǔn)確性都比較高的要求，適用于多用戶，光線適合的室內(nèi)環(huán)境的球面交互展覽及其它相關(guān)應(yīng)用。
文檔編號G06F3/042GK102096529SQ201110029139
公開日2011年6月15日 申請日期2011年1月27日 優(yōu)先權(quán)日2011年1月27日
發(fā)明者孟艷, 李暉, 魏舜儀 申請人:北京威亞視訊科技有限公司