專利名稱：操控方法、操控裝置及電子裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視覺人機(jī)交互領(lǐng)域，尤其涉及一種操控方法、操控裝置及電子裝置。
背景技術(shù)：
雙目立體圖像為圖像建模技術(shù)的一種，它的目的在于利用立體圖像獲取環(huán)境的深度信息，并根據(jù)所述深度信息恢復(fù)物體的幾何模型包括從圖像中恢復(fù)物體的外觀、光照條件以及運(yùn)動(dòng)軌跡等多種屬性。因此還可以在已知少量幾何信息甚至沒有幾何信息的情況下，僅給予若干原始圖像繪制出在新視點(diǎn)下物體的成像。而立體圖像的主要優(yōu)點(diǎn)是利用兩個(gè)或多個(gè)攝像頭的圖像恢復(fù)出環(huán)境的深度信息，其中包括從攝像頭獲得的圖像中提取深度圖，并通過算法獲得高精度平滑的深度信息。所述算法包括SAD法、圖像切割法、置信算法、動(dòng)態(tài)規(guī)劃等。立體圖像的研究具有重要的應(yīng)用價(jià)值，其應(yīng)用包括移動(dòng)機(jī)器人的自主導(dǎo)航系統(tǒng)，航空及遙感測(cè)量，工業(yè)自動(dòng)化系統(tǒng)等。但上述立體圖像的研究僅用于立體顯示領(lǐng)域， 并未對(duì)獲得的立體圖像信息和電子裝置中的應(yīng)用操作，如手機(jī)中的應(yīng)用操作進(jìn)行結(jié)合。

發(fā)明內(nèi)容
本發(fā)明解決的問題是提供一種操控方法、操控裝置及電子裝置，通過人手對(duì)虛擬環(huán)境內(nèi)的虛擬物體進(jìn)行操控，將雙目立體圖像處理和電子裝置內(nèi)的應(yīng)用操作進(jìn)行結(jié)合，提高用戶的體驗(yàn)度。為解決上述問題，本發(fā)明提供一種操控方法，包括提供采集單元對(duì)人手進(jìn)行識(shí)另O，并按照采集頻率，采集人手的空間信息，包括采集人手圖像的深度信息，根據(jù)所述深度信息獲取人手的空間信息，所述采集單元包括雙攝像頭； 分析所述人手的空間信息， 并獲得與人手的運(yùn)動(dòng)軌跡對(duì)應(yīng)的軌跡數(shù)據(jù)；建立位于虛擬三維環(huán)境內(nèi)的虛擬物體；利用所述軌跡數(shù)據(jù)，建立人手與虛擬物體之間的操控關(guān)系，以對(duì)所述虛擬物體進(jìn)行操控?？蛇x的，所述雙攝像頭之間的相對(duì)距離固定，兩個(gè)攝像頭的中心距離范圍為 3cnT7cm ;所述采集頻率范圍為每秒10幀到每秒30幀?？蛇x的，所述對(duì)虛擬物體進(jìn)行操控為實(shí)時(shí)操控或延時(shí)操控?？蛇x的，所述獲得軌跡數(shù)據(jù)還包括建立人手模型，獲得所述與人手模型和人手對(duì)應(yīng)的軌跡數(shù)據(jù)?？蛇x的，所述建立人手模型包括首先采用骨骼模型識(shí)別，對(duì)采集單元獲得的圖像中人手的五個(gè)手指的中部關(guān)節(jié)和手腕部進(jìn)行識(shí)別，找到上述的對(duì)應(yīng)位置，并進(jìn)行標(biāo)識(shí)，作為標(biāo)點(diǎn)；通過計(jì)算上述標(biāo)點(diǎn)位移的軌跡數(shù)據(jù)，同時(shí)獲得五個(gè)手指的平均屈伸度及手掌的仰俯角和傾斜角的軌跡數(shù)據(jù)?？蛇x的，還包括建立位于所述虛擬三維環(huán)境內(nèi)的操控手，并建立操控手與人手之間的運(yùn)動(dòng)映射關(guān)系；通過所述操控手的運(yùn)動(dòng)狀態(tài)對(duì)虛擬物體進(jìn)行操控?？蛇x的，所述人手到操控手的運(yùn)動(dòng)映射的方法包括以下之一或組合指尖映射、關(guān)節(jié)角映射、關(guān)鍵點(diǎn)映射和基于被操作的虛擬物體的映射。
可選的，所述操控手包括操控手掌及與操控手掌關(guān)聯(lián)的操控手指?？蛇x的，所述操控手采用父子對(duì)象的拓?fù)浣Y(jié)構(gòu)，在所述操控手中，手掌為五個(gè)手指的父對(duì)象，沒有子對(duì)象；子對(duì)象作為一個(gè)對(duì)象成員加入父對(duì)象，成為父對(duì)象的一部分，對(duì)父對(duì)象進(jìn)行的各種操作同時(shí)對(duì)所述子對(duì)象有效?？蛇x的，所述操控包括對(duì)所述虛擬物體的抓移、移動(dòng)、釋放當(dāng)操控手與虛擬物體之間滿足抓取條件時(shí)，調(diào)用所述操控手中增加的子對(duì)象的操作函數(shù)，即當(dāng)滿足抓取條件時(shí)， 所述虛擬物體成為所述操控手的一個(gè)子對(duì)象，所述虛擬物體的坐標(biāo)系與操控手的坐標(biāo)系相對(duì)位置關(guān)系固化，虛擬物體被“抓取”，且隨著操控手一起被“移動(dòng)”；當(dāng)抓取條件不滿足時(shí)， 操控手將該子對(duì)象刪除，虛擬物體與操控手的坐標(biāo)系固化關(guān)系解除，虛擬物體被“釋放”?？蛇x的，所述操控手與虛擬三維環(huán)境的交互規(guī)則包括碰撞檢測(cè)方法和操控手抓取規(guī)則。 可選的，所述采集單元采集人手的空間信息包括通過采集單元中的雙攝像頭獲得兩幅人手圖像；通過分別在兩幅人手圖像中尋找對(duì)應(yīng)的匹配像素點(diǎn)，獲得空間點(diǎn)坐標(biāo)； 按照上述方法，通過計(jì)算每個(gè)像素點(diǎn)對(duì)應(yīng)的空間點(diǎn)坐標(biāo)，確認(rèn)整個(gè)圖像的深度信息，以獲得人手的空間信息；其中，查找匹配像素點(diǎn)的算法主要分為基于特征的和基于面積的匹配點(diǎn)搜尋兩種算法。本發(fā)明還提供一種利用所述操控方法的操控裝置，包括
采集單元，包括雙攝像頭，所述雙攝像頭設(shè)置有采集頻率，用于在環(huán)境中識(shí)別并采集人手的圖像信息，所述圖像包括所述圖像的深度信息，根據(jù)深度信息獲取人手的空間信息； 分析單元，對(duì)所述空間信息進(jìn)行分析，獲得與人手的運(yùn)動(dòng)軌跡對(duì)應(yīng)的軌跡數(shù)據(jù)；
虛擬單元,建立虛擬三維環(huán)境,所述虛擬三維環(huán)境中包括虛擬物體；
操控單元，利用所述軌跡數(shù)據(jù)，建立人手與虛擬物體之間的操控關(guān)系，以對(duì)所述虛擬物體進(jìn)行操控?？蛇x的，所述分析單元內(nèi)還包括人手建模單元，根據(jù)所述圖像信息，建立與人手對(duì)應(yīng)的人手模型，與人手對(duì)應(yīng)的軌跡數(shù)據(jù)同時(shí)與人手模型相對(duì)應(yīng)?？蛇x的，所述操控單元還包括操控手建模單元，用以在所述虛擬單元內(nèi)建立操控手，并通過所述操控手對(duì)所述虛擬物體進(jìn)行操控。本發(fā)明提供一種電子裝置，包括所述操控裝置?？蛇x的，所述電子裝置為移動(dòng)電話、計(jì)算機(jī)、游戲機(jī)或電視。與現(xiàn)有技術(shù)相比，本發(fā)明具有以下優(yōu)點(diǎn)
通過雙攝像頭，獲得圖像的深度信息，以獲得人手的空間信息，以獲得軌跡數(shù)據(jù)，并利用所述軌跡數(shù)據(jù)對(duì)虛擬物體進(jìn)行操控，將立體圖像和電子裝置內(nèi)的應(yīng)用操作進(jìn)行結(jié)合，提高用戶的體驗(yàn)度；
進(jìn)一步地，通過骨骼模型識(shí)別，建立與人手對(duì)應(yīng)的人手模型，以獲得同時(shí)與人手和人手模型對(duì)應(yīng)的軌跡數(shù)據(jù)，并利用所述軌跡數(shù)據(jù)對(duì)虛擬物體進(jìn)行操控，將立體圖像和電子裝置內(nèi)的應(yīng)用操作進(jìn)行結(jié)合，提高用戶的體驗(yàn)度；
進(jìn)一步地，還包括建立位于所述虛擬三維環(huán)境內(nèi)的操控手，并建立操控手與人手之間的運(yùn)動(dòng)映射關(guān)系；通過所述操控手的運(yùn)動(dòng)狀態(tài)對(duì)虛擬物體進(jìn)行操控，將立體圖像和電子裝置內(nèi)的應(yīng)用操作進(jìn)行結(jié)合，提高用戶的體驗(yàn)度。


圖I為本發(fā)明一個(gè)實(shí)施例的操控方法的方法流程示意圖。圖2為本發(fā)明一個(gè)實(shí)施例的操控方法的像素匹配示意圖。圖3為本發(fā)明一個(gè)實(shí)施例的操控方法的操控手結(jié)構(gòu)示意圖。圖4為本發(fā)明一個(gè)實(shí)施例的操控方法的操控手對(duì)虛擬物體的抓取示意圖。圖5為本發(fā)明一個(gè)實(shí)施例的操控裝置的結(jié)構(gòu)示意圖。
具體實(shí)施方式
、現(xiàn)有技術(shù)中，立體圖像僅用于立體圖像的顯示，并未對(duì)獲得的立體圖像信息和電子裝置中的應(yīng)用操作，如手機(jī)中的應(yīng)用操作進(jìn)行結(jié)合。為解決上述問題，本發(fā)明提供一種操控方法，通過人手對(duì)電子裝置內(nèi)的虛擬物體進(jìn)行操控，如圖I所示，包括
執(zhí)行步驟Si，提供采集單元對(duì)人手進(jìn)行識(shí)別，并按照采集頻率，采集人手的空間信息， 包括采集人手圖像的深度信息，根據(jù)所述深度信息獲取人手的空間信息，所述采集單元包括雙攝像頭；
執(zhí)行步驟S2，分析所述人手的空間信息，并獲得與人手的運(yùn)動(dòng)軌跡對(duì)應(yīng)的軌跡數(shù)據(jù)；
執(zhí)行步驟S3，建立位于虛擬三維環(huán)境內(nèi)的虛擬物體；
執(zhí)行步驟S4，利用所述軌跡數(shù)據(jù)，建立人手與虛擬物體之間的操控關(guān)系，以對(duì)所述虛擬物體進(jìn)行操控。本發(fā)明通過雙攝像頭，獲得圖像的深度信息，即獲得人手的立體信息，以獲得軌跡數(shù)據(jù)，并利用所述軌跡數(shù)據(jù)對(duì)虛擬物體進(jìn)行操控，將人手空間信息和電子裝置內(nèi)的應(yīng)用操作進(jìn)行結(jié)合，提高用戶的體驗(yàn)度。為了使本領(lǐng)域的技術(shù)人員可以更好的理解本發(fā)明，下面結(jié)合附圖詳細(xì)說明本發(fā)明的具體實(shí)施方式
。首先，執(zhí)行步驟SI，提供采集單元對(duì)人手進(jìn)行識(shí)別，并按照采集頻率，采集人手的圖像信息。所述采集單元為雙攝像頭，所述雙攝像頭之間的相對(duì)距離固定，兩個(gè)攝像頭的中心距離范圍為3cnT7cm。所述采集頻率范圍為每秒10幀到每秒30幀。包括首先需要對(duì)環(huán)境中識(shí)別出人手信息，若包含有所述人手信息，則按照采集頻率，采集人手的圖像信息；若無，則不進(jìn)行操作。其中所述圖像包括所述圖像的深度信息，所述雙攝像頭獲得人手所處位置的深度信息包括通過雙攝像頭獲得兩幅圖像信息；通過分別在兩幅圖像中尋找對(duì)應(yīng)的匹配像素點(diǎn)，獲得空間點(diǎn)坐標(biāo)；按照上述方法，通過計(jì)算每個(gè)像素點(diǎn)對(duì)應(yīng)的空間點(diǎn)坐標(biāo)，確認(rèn)整個(gè)圖像的深度信息；其中，查找匹配像素點(diǎn)的算法主要分為基于特征的和基于面積的匹配點(diǎn)搜尋兩種算法。具體地，所述圖像采集包括
步驟S11，通過雙攝像頭定標(biāo)確定雙攝像頭相對(duì)于三維空間的方位和投影參數(shù)，利用雙攝像頭對(duì)人手進(jìn)行采集圖像采集；
步驟S12，將步驟Sll采集的兩幅同一幀的圖像作為輸入，利用立體圖像的像素點(diǎn)匹配計(jì)算環(huán)境深度圖。其中，如圖2所示為本發(fā)明一個(gè)實(shí)施例的像素點(diǎn)匹配的方法示意圖。Cl和C2分別為兩個(gè)攝像頭的中心，對(duì)應(yīng)的，clc2為兩個(gè)攝像頭的中心連線的投影連線，P為空間中的三維點(diǎn)，Il和12為雙攝像頭分別獲取的左圖和右圖。上述圖形位于 XYZ軸的空間坐標(biāo)系中，Pl和P2為P在Il和12上的投影點(diǎn)。已知空間一個(gè)點(diǎn)P在兩幅圖像的投影點(diǎn)分別為Pl和P2，假如能夠?yàn)樽髨D上的每一個(gè)像素點(diǎn)Pl查找到其在右圖上的對(duì)應(yīng)點(diǎn)P2，則從兩幅圖像的投影中心Cl和C2出發(fā)，分別經(jīng)過該兩點(diǎn)將在空間中交于一點(diǎn)。理想情況下當(dāng)Pl和P2精確匹配時(shí)，所得到的空間點(diǎn)就是P1。按照上述方法，通過計(jì)算每個(gè)像素點(diǎn)對(duì)應(yīng)的三維坐標(biāo)，從而確認(rèn)整個(gè)環(huán)境的深度信息。其中，查找匹配像素點(diǎn)的算法主要分為基于特征的和基于面積的匹配點(diǎn)搜尋兩種算法。 通過上述算法，從雙攝像頭同時(shí)拍攝的兩張圖像中提取深度信息。接著，執(zhí)行步驟S2，分析由采集系統(tǒng)獲得的人手的圖像信息，并分析獲得與人手的運(yùn)動(dòng)軌跡對(duì)應(yīng)的軌跡數(shù)據(jù)。
其中，所述獲得軌跡數(shù)據(jù)還包括建立人手模型，獲得所述與人手模型和人手對(duì)應(yīng)的軌跡數(shù)據(jù)。所述建立人手模型包括首先采用骨骼模型識(shí)別，對(duì)采集單元獲得的圖像中人手的五個(gè)手指的中部關(guān)節(jié)和手腕部進(jìn)行識(shí)別，找到上述的對(duì)應(yīng)位置，并進(jìn)行標(biāo)識(shí)，作為標(biāo)點(diǎn)；通過計(jì)算上述標(biāo)點(diǎn)位移的軌跡數(shù)據(jù)，同時(shí)獲得五個(gè)手指的平均屈伸度及手掌的仰俯角和傾斜角的軌跡數(shù)據(jù)。執(zhí)行步驟S3和S4，建立位于虛擬三維環(huán)境內(nèi)的虛擬物體；并利用所述軌跡數(shù)據(jù)， 建立人手與虛擬物體之間的操控關(guān)系，以對(duì)所述虛擬物體進(jìn)行操控。其中，通過模擬現(xiàn)實(shí)的三維世界，并將其表現(xiàn)出來形成虛擬三維環(huán)境，為現(xiàn)有的較成熟的技術(shù)，不多加贅述。進(jìn)一步地，還包括建立位于所述虛擬三維環(huán)境內(nèi)的操控手，并建立操控手與人手之間的運(yùn)動(dòng)映射關(guān)系；通過所述操控手的運(yùn)動(dòng)狀態(tài)對(duì)虛擬物體進(jìn)行操控。具體地，建立要在虛擬三維環(huán)境中操控手的各種動(dòng)作，就必須先在電子裝置中用某種方法把手表示出來。對(duì)人手特征的描述成為手模型。分析人手的解剖結(jié)構(gòu)和運(yùn)動(dòng)特點(diǎn)是建立操控手的基礎(chǔ)。如將操控手模型進(jìn)行如下簡(jiǎn)化整個(gè)操控手由一個(gè)手掌、一個(gè)拇指及其它四個(gè)相鄰的手指組成，拇指包括遠(yuǎn)近兩個(gè)指段，其他四個(gè)手指則包括遠(yuǎn)、中、近三個(gè)指段，各部分均為剛體。上述人手的不同部分可視為不同的對(duì)象，并可將其屬性和對(duì)應(yīng)操作進(jìn)行封裝。對(duì)象的屬性包括所述對(duì)象的幾何模型、比例大小、轉(zhuǎn)角、位移、顏色、紋理、光照等特征，以及該對(duì)象所包含的子對(duì)象。對(duì)象的操作包括對(duì)特征屬性的讀取，更改、以及對(duì)子對(duì)象的查詢、 增加、刪減等。其中，人手各部分間存在運(yùn)動(dòng)繼承關(guān)系。為了方便準(zhǔn)確地表示這種運(yùn)動(dòng)繼承關(guān)系， 操控手的拓?fù)浣Y(jié)構(gòu)可采用“父子對(duì)象”的嵌套結(jié)構(gòu)，如圖3所示，在該操控手模型中，手掌 palm為五個(gè)手指拇指Thumb、食指Index、中指Middle、無名指Ring、小指Little的父對(duì)象，沒有子對(duì)象。子對(duì)象作為一個(gè)對(duì)象成員加入父對(duì)象，成為父對(duì)象的一部分，對(duì)父對(duì)象進(jìn)行的各種操作同時(shí)對(duì)所述子對(duì)象有效。各個(gè)子對(duì)象同時(shí)又有自己的相對(duì)獨(dú)立的操作方法， 這些操作只影響其本身。所以父對(duì)象的操作會(huì)同時(shí)作用于子對(duì)象，而子對(duì)象的操作則不會(huì)影響父對(duì)象。如在圖3中，Thumb-I表示拇指第一指段，即近指段，它是palm的子對(duì)象，同時(shí)又是遠(yuǎn)指段Thumb-2的父對(duì)象。Palm的各種操作對(duì)palm、Thumb-1、Thumb-2同時(shí)有效， Thumb-I的操作則對(duì)Thumb-1、Thumb-2有效，而Thumb-2的操作只對(duì)它本身有效，不會(huì)影響其他對(duì)象。其中，前述的人手模型的建立也可參照所述操控手的建立。建立所述操控手后，還包括建立操控手與人手之間的運(yùn)動(dòng)映射關(guān)系；并通過所述操控手的運(yùn)動(dòng)狀態(tài)對(duì)虛擬物體進(jìn)行操控。其中，運(yùn)動(dòng)映射的本質(zhì)是通過跟蹤人手的運(yùn)動(dòng)來控制操控手的運(yùn)動(dòng)，目的是讓操控手實(shí)現(xiàn)類似人手的復(fù)雜和多樣的操作。所述人手到操控手的運(yùn)動(dòng)映射的方法包括以下之一或組合指尖映射、關(guān)節(jié)角映射、關(guān)鍵點(diǎn)映射和基于被操作的虛擬物體的映射。在本實(shí)施例中，從人手指到操控手指的運(yùn)動(dòng)映射采用關(guān)節(jié)角映射各指段的關(guān)節(jié)角轉(zhuǎn)動(dòng)值取數(shù)據(jù)手套上相應(yīng)轉(zhuǎn)動(dòng)關(guān)節(jié)的傳感值；從人手掌到操控手掌的運(yùn)動(dòng)映射采用關(guān)鍵點(diǎn)映射；將這一坐標(biāo)系與操控手掌固化。假設(shè)由所述操控手所需的η個(gè)運(yùn)動(dòng)參數(shù)組成的向量為R= (rl、r2、r3、r4…、rn), 而由相應(yīng)的人手的軌跡數(shù)據(jù)的讀數(shù)組成的向量為T= (tl、t2、t3、t4 "、tn)，則R和T之間必然存在強(qiáng)耦合的映射關(guān)系，即f =TR0顯然，從人手到操控手的運(yùn)動(dòng)映射就是要找出對(duì)應(yīng)的映射關(guān)系f。實(shí)際上，由于不同操作者的手部尺寸不可能完全一樣，人手與操控手模型亦不可能完全匹配。所以，相應(yīng)的映射標(biāo)定過程必不可少。以手指關(guān)節(jié)轉(zhuǎn)動(dòng)角為例，若人手指關(guān)節(jié)可轉(zhuǎn)動(dòng)的角度范圍為(VTmax、VTmin)，定義操控手指關(guān)節(jié)可轉(zhuǎn)動(dòng)的 角度范圍為(VRmaX、VRmin)。若人手指關(guān)節(jié)轉(zhuǎn)動(dòng)值為Vin，則此時(shí)操控手指關(guān)節(jié)轉(zhuǎn)動(dòng)的角度值Vout應(yīng)滿足如下映射關(guān)系
f:Vout=(VRmax-VRmin) *(Vin-/Vtmin)/(VTmax-VTmin)
所述操控包括對(duì)所述虛擬三維環(huán)境中的虛擬物體的抓移、移動(dòng)、釋放當(dāng)操控手與虛擬物體之間滿足抓取條件時(shí)，調(diào)用所述操控手中增加的子對(duì)象的操作函數(shù)，即當(dāng)滿足抓取條件時(shí)，所述虛擬物體成為所述操控手的一個(gè)子對(duì)象，所述虛擬物體的坐標(biāo)系與操控手的坐標(biāo)系相對(duì)位置關(guān)系固化，虛擬物體被“抓取”，且隨著操控手一起被“移動(dòng)”;當(dāng)抓取條件不滿足時(shí)，操控手將該子對(duì)象刪除，虛擬物體與操控手的坐標(biāo)系固化關(guān)系解除，虛擬物體被“釋放”。得到人手的軌跡數(shù)據(jù)和位置信息后，計(jì)算確定人手的運(yùn)動(dòng)狀態(tài)，并提取操控手所需運(yùn)動(dòng)參數(shù)，然后將這些參數(shù)傳遞給操控手，操控手根據(jù)這些參數(shù)進(jìn)行運(yùn)動(dòng)。作為一個(gè)實(shí)施例，整個(gè)虛擬工作環(huán)境是在Open Inventor平臺(tái)上集成的，它包括操控手、虛擬物體及虛擬工作背景。操控手是人在虛擬工作環(huán)境中改造世界的工具，通過它對(duì)虛擬物體進(jìn)行操作。虛擬工作背景可以是事先構(gòu)造的虛擬環(huán)境，也可以是操作系統(tǒng)中用增強(qiáng)現(xiàn)實(shí)方法引入的現(xiàn)實(shí)環(huán)境。在虛擬工作環(huán)境中加入碰撞檢測(cè)算法和抓取規(guī)則后，操控手就可以對(duì)所述虛擬物體進(jìn)行抓取、移動(dòng)、旋轉(zhuǎn)、釋放等虛擬操作。在整個(gè)操作過程中，會(huì)生成圖像，用戶可直接在現(xiàn)實(shí)世界里進(jìn)行動(dòng)作操作，并對(duì)應(yīng)轉(zhuǎn)換成對(duì)虛擬三維環(huán)境的控制。所述對(duì)虛擬物體進(jìn)行操控為實(shí)時(shí)操控或延時(shí)操控。將人手的軌跡數(shù)據(jù)的運(yùn)動(dòng)信息對(duì)應(yīng)到操控手的運(yùn)動(dòng)后，再完成操控手與虛擬三維環(huán)境的交互，則需要建立操控手與虛擬三維環(huán)境的交互規(guī)則。所述交互規(guī)則包括碰撞檢測(cè)方法和操控手抓取規(guī)則。即必須能夠檢測(cè)虛擬物體與操控手之間的相互接觸和碰撞，否則就會(huì)出現(xiàn)物體之間相互穿透和彼此重疊等不真實(shí)的現(xiàn)象。具體地，所述碰撞檢測(cè)規(guī)則大致分為兩類空間分解法和層次包圍盒法。其中，所述層次包圍盒法的核心思想是用體積略大而幾何特征簡(jiǎn)單的包圍盒近似描述復(fù)雜的幾何對(duì)象。從而只需對(duì)包圍盒的重疊進(jìn)行進(jìn)一步的相交測(cè)試。對(duì)虛擬環(huán)境中的每一個(gè)幾何模型節(jié)點(diǎn)創(chuàng)建一個(gè)包圍盒。所述包圍盒可以固定的形狀或者動(dòng)態(tài)變化的形狀。進(jìn)一步地，若要實(shí)現(xiàn)動(dòng)態(tài)的包圍盒，如要實(shí)現(xiàn)實(shí)時(shí)動(dòng)態(tài)的碰撞檢測(cè)，就需要實(shí)時(shí)給出各個(gè)動(dòng)態(tài)幾何節(jié)點(diǎn)的包圍盒位置和姿態(tài)。即對(duì)應(yīng)地，在操控手的手掌和各手指關(guān)節(jié)處加上一個(gè)包圍盒，和虛擬三維環(huán)境中被抓取物體進(jìn)行碰撞檢測(cè)，那么操控手的各個(gè)包圍盒是動(dòng)態(tài)的，而被抓取物體的包圍盒是靜態(tài)的。進(jìn)一步地，還需要控制環(huán)境數(shù)據(jù)的對(duì)象，避免與環(huán)境中的其他對(duì)象發(fā)生碰撞。碰撞管理器可以對(duì)一個(gè)環(huán)境，也可以對(duì)一個(gè)對(duì)象或者一個(gè)位置檢測(cè)?？梢圆捎脤?duì)象的實(shí)際圖元 (比如點(diǎn)線面等)進(jìn)行碰撞檢測(cè)。為提高檢測(cè)的實(shí)用性，也可以采用對(duì)象的包裝盒。當(dāng)對(duì)象間的包圍盒發(fā)生碰撞，或?qū)ο髢?nèi)部的幾何圖元發(fā)生碰撞時(shí)，碰撞檢測(cè)管理器通過內(nèi)部的碰撞反饋函數(shù)，自動(dòng)跟蹤對(duì)象的運(yùn)動(dòng)軌跡。如當(dāng)以一個(gè)運(yùn)動(dòng)物體與一面墻發(fā)生碰撞時(shí)，對(duì)象將沿著墻相反的方向運(yùn)動(dòng)。
其中，操控手抓取規(guī)則包括操控手對(duì)虛擬物體的穩(wěn)定抓取的判斷目前主要有兩大類，一種是根據(jù)物理學(xué)中力和力矩的平衡原理，對(duì)被抓的虛擬物體進(jìn)行受力分析，當(dāng)該物體所受到的合力與合力矩均為零時(shí)，該物體被抓取，上述方法需要建立虛擬力模型。另一種方法就是通過分析人手抓取物體時(shí)的特點(diǎn)，如抓取姿態(tài)，與物體的接觸情況等，將所述操控手的姿態(tài)及與虛擬物體間的接觸情況與之進(jìn)行比較來判斷虛擬物體是否被穩(wěn)定抓持，即制定操控手抓取規(guī)則的方法。當(dāng)操控手和虛擬物體之間的關(guān)系滿足了抓取規(guī)則，則認(rèn)為操控手抓取了物體；此時(shí)將物體的基坐標(biāo)系附著在操控手模型上，從而使手的移動(dòng)帶動(dòng)虛擬物體的移動(dòng)；當(dāng)?shù)竭_(dá)目的地后，松開手指，此時(shí)操控手和虛擬物體之間的關(guān)系不再滿足抓取規(guī)則，從而解除附著關(guān)系，物體被釋放。作為一個(gè)實(shí)施例，抓取規(guī)則主要有如下
1)必須有三個(gè)或三個(gè)以上的手指(或指尖或手掌)與物體接觸，其中至少有三個(gè)接觸點(diǎn)不在同一條直線上；
2)任意兩個(gè)接觸面(平面或曲面)的法矢之間的夾角至少有一個(gè)大于某個(gè)預(yù)定一的臨界角度值。(在此設(shè)定該角度值為90度)
在同時(shí)滿足以上兩個(gè)條件時(shí)，則認(rèn)為此虛擬物體被抓取。如圖4所示，有三個(gè)手指(大拇指指尖、食指指尖和中指)與長方體接觸，而且三個(gè)接觸點(diǎn)不在同一直線上；三個(gè)接觸面的法矢N1、N2、N3兩兩之間組成三個(gè)夾角，其中，至少具有一個(gè)角是大于90度，因此被認(rèn)定該物體被抓取。其中，點(diǎn)G為物體的重心；N1和N2為單位法矢；N3為準(zhǔn)單位法矢。本發(fā)明還提供一種利用所述操控方法的操控裝置，包括
采集單元100，包括雙攝像頭，所述雙攝像頭設(shè)置有采集頻率，用于在環(huán)境中識(shí)別并采集人手的圖像信息，所述圖像包括所述圖像的深度信息，根據(jù)深度信息獲取人手的空間信息；
分析單元200，對(duì)所述空間信息進(jìn)行分析，獲得與人手的運(yùn)動(dòng)軌跡對(duì)應(yīng)的軌跡數(shù)據(jù)；
虛擬單元300，建立虛擬三維環(huán)境，所述虛擬三維環(huán)境中包括虛擬物體；操控單元400，利用所述軌跡數(shù)據(jù)，建立人手與虛擬物體之間的操控關(guān)系，以對(duì)所述虛擬物體進(jìn)行操控。進(jìn)一步地，所述分析單元內(nèi)還包括人手建模單元，根據(jù)所述圖像信息，建立與人手對(duì)應(yīng)的人手模型，與人手對(duì)應(yīng)的軌跡數(shù)據(jù)同時(shí)與人手模型相對(duì)應(yīng)。進(jìn)一步地，所述操控單元還包括操控手建模單元，用以在所述虛擬單元內(nèi)建立操控手，并通過所述操控手對(duì)所述虛擬物體進(jìn)行操控。本發(fā)明提供一種電子裝置，包括上述操控裝置。其中，所述電子裝置為移動(dòng)電話、 計(jì)算機(jī)、游戲機(jī)或電視。與現(xiàn)有技術(shù)相比，本發(fā)明具有以 下優(yōu)點(diǎn)
通過雙攝像頭，獲得圖像的深度信息，即獲得人手的空間信息，以獲得軌跡數(shù)據(jù)，并利用所述軌跡數(shù)據(jù)對(duì)虛擬物體進(jìn)行操控，將立體圖像和電子裝置內(nèi)的應(yīng)用操作進(jìn)行結(jié)合，提高用戶的體驗(yàn)度；
進(jìn)一步地，通過骨骼模型識(shí)別，建立與人手對(duì)應(yīng)的人手模型，以獲得同時(shí)與人手和人手模型對(duì)應(yīng)的軌跡數(shù)據(jù)，并利用所述軌跡數(shù)據(jù)對(duì)虛擬物體進(jìn)行操控，將立體圖像和電子裝置內(nèi)的應(yīng)用操作進(jìn)行結(jié)合，提高用戶的體驗(yàn)度；
進(jìn)一步地，還包括建立位于所述虛擬三維環(huán)境內(nèi)的操控手，并建立操控手與人手之間的運(yùn)動(dòng)映射關(guān)系；通過所述操控手的運(yùn)動(dòng)狀態(tài)對(duì)虛擬物體進(jìn)行操控，將立體圖像和電子裝置內(nèi)的應(yīng)用操作進(jìn)行結(jié)合，提高用戶的體驗(yàn)度。本發(fā)明雖然已以較佳實(shí)施例公開如上，但其并不是用來限定本發(fā)明，任何本領(lǐng)域技術(shù)人員在不脫離本發(fā)明的精神和范圍內(nèi)，都可以利用上述揭示的方法和技術(shù)內(nèi)容對(duì)本發(fā)明技術(shù)方案做出可能的變動(dòng)和修改，因此，凡是未脫離本發(fā)明技術(shù)方案的內(nèi)容，依據(jù)本發(fā)明的技術(shù)實(shí)質(zhì)對(duì)以上實(shí)施例所作的任何簡(jiǎn)單修改、等同變化及修飾，均屬于本發(fā)明技術(shù)方案的保護(hù)范圍。
權(quán)利要求
1.一種操控方法，其特征在于包括提供采集單元對(duì)人手進(jìn)行識(shí)別，并按照采集頻率，采集人手的空間信息，包括采集人手圖像的深度信息，根據(jù)所述深度信息獲取人手的空間信息，所述采集單元包括雙攝像頭；分析所述人手的空間信息，并獲得與人手的運(yùn)動(dòng)軌跡對(duì)應(yīng)的軌跡數(shù)據(jù)；建立位于虛擬三維環(huán)境內(nèi)的虛擬物體；利用所述軌跡數(shù)據(jù)，建立人手與虛擬物體之間的操控關(guān)系，以對(duì)所述虛擬物體進(jìn)行操控。
2.根據(jù)權(quán)利要求I所述的操控方法，其特征在于所述雙攝像頭之間的相對(duì)距離固定，兩個(gè)攝像頭的中心距離范圍為3cnT7Cm ;所述采集頻率范圍為每秒10幀到每秒30幀。
3.根據(jù)權(quán)利要求I所述的操控方法，其特征在于所述對(duì)虛擬物體進(jìn)行操控為實(shí)時(shí)操控或延時(shí)操控。
4.根據(jù)權(quán)利要求I所述的操控方法，其特征在于所述獲得軌跡數(shù)據(jù)還包括建立人手模型，獲得所述與人手模型和人手對(duì)應(yīng)的軌跡數(shù)據(jù)。
5.根據(jù)權(quán)利要求4所述的操控方法，其特征在于所述建立人手模型包括首先采用骨骼模型識(shí)別，對(duì)采集單元獲得的圖像中人手的五個(gè)手指的中部關(guān)節(jié)和手腕部進(jìn)行識(shí)別，找到上述的對(duì)應(yīng)位置，并進(jìn)行標(biāo)識(shí)，作為標(biāo)點(diǎn)；通過計(jì)算上述標(biāo)點(diǎn)位移的軌跡數(shù)據(jù)，同時(shí)獲得五個(gè)手指的平均屈伸度及手掌的仰俯角和傾斜角的軌跡數(shù)據(jù)。
6.根據(jù)權(quán)利要求I所述的操控方法，其特征在于還包括建立位于所述虛擬三維環(huán)境內(nèi)的操控手，并建立操控手與人手之間的運(yùn)動(dòng)映射關(guān)系；通過所述操控手的運(yùn)動(dòng)狀態(tài)對(duì)虛擬物體進(jìn)行操控。
7.根據(jù)權(quán)利要求6所述的操控方法，其特征在于所述人手到操控手的運(yùn)動(dòng)映射的方法包括以下之一或組合指尖映射、關(guān)節(jié)角映射、關(guān)鍵點(diǎn)映射和基于被操作的虛擬物體的映射。
8.根據(jù)權(quán)利要求6所述的操控方法，其特征在于所述操控手包括操控手掌及與操控手掌關(guān)聯(lián)的操控手指。
9.根據(jù)權(quán)利要求6所述的操控方法，其特征在于所述操控手采用父子對(duì)象的拓?fù)浣Y(jié)構(gòu)，在所述操控手中，手掌為五個(gè)手指的父對(duì)象，沒有子對(duì)象；子對(duì)象作為一個(gè)對(duì)象成員加入父對(duì)象，成為父對(duì)象的一部分，對(duì)父對(duì)象進(jìn)行的各種操作同時(shí)對(duì)所述子對(duì)象有效。
10.根據(jù)權(quán)利要求9所述的操控方法，其特征在于所述操控包括對(duì)所述虛擬物體的抓移、移動(dòng)、釋放當(dāng)操控手與虛擬物體之間滿足抓取條件時(shí)，調(diào)用所述操控手中增加的子對(duì)象的操作函數(shù)，即當(dāng)滿足抓取條件時(shí)，所述虛擬物體成為所述操控手的一個(gè)子對(duì)象，所述虛擬物體的坐標(biāo)系與操控手的坐標(biāo)系相對(duì)位置關(guān)系固化，虛擬物體被“抓取”，且隨著操控手一起被“移動(dòng)”；當(dāng)抓取條件不滿足時(shí)，操控手將該子對(duì)象刪除，虛擬物體與操控手的坐標(biāo)系固化關(guān)系解除，虛擬物體被“釋放”。
11.如權(quán)利要求6所述的操控方法，其特征在于，所述操控手與虛擬三維環(huán)境的交互規(guī)則包括碰撞檢測(cè)方法和操控手抓取規(guī)則。
12.如權(quán)利要求I所述的操控方法，其特征在于，所述采集單元采集人手的空間信息包括通過采集單元中的雙攝像頭獲得兩幅人手圖像；通過分別在兩幅人手圖像中尋找對(duì)應(yīng)的匹配像素點(diǎn)，獲得空間點(diǎn)坐標(biāo)；按照上述方法，通過計(jì)算每個(gè)像素點(diǎn)對(duì)應(yīng)的空間點(diǎn)坐標(biāo)，確認(rèn)整個(gè)圖像的深度信息，以獲得人手的空間信息；其中，查找匹配像素點(diǎn)的算法主要分為基于特征的和基于面積的匹配點(diǎn)搜尋兩種算法。
13.一種利用如權(quán)利要求I至12中任一項(xiàng)所述的操控方法的操控裝置，其特征在于，包括采集單元，包括雙攝像頭，所述雙攝像頭設(shè)置有采集頻率，用于在環(huán)境中識(shí)別并采集人手的圖像信息，所述圖像包括所述圖像的深度信息，根據(jù)深度信息獲取人手的空間信息； 分析單元，對(duì)所述空間信息進(jìn)行分析，獲得與人手的運(yùn)動(dòng)軌跡對(duì)應(yīng)的軌跡數(shù)據(jù)；虛擬單元,建立虛擬三維環(huán)境,所述虛擬三維環(huán)境中包括虛擬物體；操控單元，利用所述軌跡數(shù)據(jù)，建立人手與虛擬物體之間的操控關(guān)系，以對(duì)所述虛擬物體進(jìn)行操控。
14.如權(quán)利要求13所述的操控裝置，其特征在于，所述分析單元內(nèi)還包括人手建模單元，根據(jù)所述圖像信息，建立與人手 對(duì)應(yīng)的人手模型，與人手對(duì)應(yīng)的軌跡數(shù)據(jù)同時(shí)與人手模型相對(duì)應(yīng)。
15.如權(quán)利要求13所述的操控裝置，其特征在于，所述操控單元還包括操控手建模單元，用以在所述虛擬單元內(nèi)建立操控手，并通過所述操控手對(duì)所述虛擬物體進(jìn)行操控。
16.一種電子裝置，其特征在于，包括權(quán)利要求13所述的操控裝置。
17.如權(quán)利要求16所述的電子裝置，其特征在于，所述電子裝置為移動(dòng)電話、計(jì)算機(jī)、 游戲機(jī)或電視。
全文摘要
本發(fā)明提供一種操控方法，通過人手對(duì)虛擬三維環(huán)境內(nèi)的虛擬物體進(jìn)行操控，包括采集單元對(duì)人手進(jìn)行識(shí)別，并按照采集頻率，采集人手的圖像信息，所述采集單元包括雙攝像頭，所述圖像包括所述圖像的深度信息；分析所述人手的圖像信息，并獲得與人手的運(yùn)動(dòng)軌跡對(duì)應(yīng)的軌跡數(shù)據(jù)；建立位于虛擬三維環(huán)境內(nèi)的虛擬物體；利用所述軌跡數(shù)據(jù)，建立人手與虛擬物體之間的操控關(guān)系，對(duì)所述虛擬物體進(jìn)行操控。本發(fā)明還提供操控裝置和電子裝置。通過人手對(duì)電子裝置內(nèi)的虛擬物體進(jìn)行操控，將立體圖像和電子裝置內(nèi)的應(yīng)用操作進(jìn)行結(jié)合，提高用戶的體驗(yàn)度。
文檔編號(hào)G06F3/01GK102722249SQ201210181529
公開日2012年10月10日 申請(qǐng)日期2012年6月5日 優(yōu)先權(quán)日2012年6月5日
發(fā)明者楊健 申請(qǐng)人:上海鼎為軟件技術(shù)有限公司