一種信息物理空間的遠(yuǎn)程交互式操控系統(tǒng)及方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及物理信息融合環(huán)境下的人機(jī)交互技術(shù)，特別涉及一種人機(jī)交互系統(tǒng)與 人機(jī)交互方法。
【背景技術(shù)】
[0002] 物理信息融合技術(shù)，也就是虛擬現(xiàn)實(shí)是利用電腦模擬產(chǎn)生一個(gè)三維空間的虛擬世 界，提供使用者關(guān)于視覺(jué)、聽(tīng)覺(jué)、觸覺(jué)等感官的模擬，讓使用者如同身歷其境一般，可以及 時(shí)、沒(méi)有限制地觀察三度空間內(nèi)的事物。
[0003] 目前，在現(xiàn)有的虛擬現(xiàn)實(shí)系統(tǒng)中，只是將虛擬信息靜態(tài)的疊加現(xiàn)實(shí)在虛擬現(xiàn)實(shí)場(chǎng) 景中，而不能對(duì)物理信息融合場(chǎng)景下的虛擬現(xiàn)實(shí)模型進(jìn)行實(shí)時(shí)的人機(jī)操控。

【發(fā)明內(nèi)容】

[0004] 要解決的技術(shù)問(wèn)題
[0005] 為了避免現(xiàn)有技術(shù)的不足之處，本發(fā)明提出一種在虛擬現(xiàn)實(shí)融合系統(tǒng)下的實(shí)時(shí)人 機(jī)交互系統(tǒng)和方法。該系統(tǒng)可以遠(yuǎn)程的通過(guò)2D與3D交互相結(jié)合的方式，完成對(duì)信息物理 融合場(chǎng)景下的物理信息對(duì)象進(jìn)行實(shí)時(shí)的人機(jī)交互控制。
[0006] 技術(shù)方案
[0007] 一種信息物理空間的遠(yuǎn)程交互式操控系統(tǒng)，其特征在于包括人機(jī)交互模塊、物理 世界場(chǎng)景采集模塊、總處理器、物理信息融合模塊和視頻顯示模塊；所述的人機(jī)交互模塊包 括3D交互識(shí)別模塊和2D交互識(shí)別模塊：3D交互識(shí)別模塊用于對(duì)用戶手勢(shì)動(dòng)作進(jìn)行識(shí)別， 然后再對(duì)用戶的手勢(shì)動(dòng)作數(shù)據(jù)進(jìn)行處理，提取出用戶的手勢(shì)動(dòng)作三維坐標(biāo)值；2D交互識(shí)別 模塊用于進(jìn)行3D交互識(shí)別模塊操控的模式切換和對(duì)3D手勢(shì)交互模塊映射在虛擬場(chǎng)景范圍 進(jìn)行操控范圍的平移；物理世界場(chǎng)景采集模塊用于遠(yuǎn)程拍攝物理世界工作場(chǎng)景，將相關(guān)物 理對(duì)象世界坐標(biāo)傳輸給處理器；物理信息融合模塊用于將物理世界場(chǎng)景采集模塊遠(yuǎn)程拍攝 的相關(guān)物理對(duì)象世界范圍與虛擬場(chǎng)景范圍的虛擬場(chǎng)景坐標(biāo)融合統(tǒng)一在一起；視頻顯示模塊 用于顯示物理信息場(chǎng)景融合模塊的物理信息場(chǎng)景和人機(jī)交互模塊的人手參數(shù)化模型。
[0008] 所述的2D交互識(shí)別模塊由一塊2D的平面感應(yīng)板所組成。
[0009] 所述的3D交互識(shí)別模塊由至少一個(gè)微型RGB攝像頭和至少一個(gè)深度攝像頭組成。
[0010] 所述的物理世界場(chǎng)景采集模塊由至少一個(gè)攝像頭組成。
[0011] 所述的視頻顯示模塊為手機(jī)平板顯示屏、電腦顯示屏或眼鏡式微顯示屏。
[0012] 一種信息物理空間的遠(yuǎn)程交互式操控方法，其特征在于包括下述步驟：
[0013] 步驟1 :物理世界場(chǎng)景采集模塊獲取世界物理場(chǎng)景；
[0014] 步驟2 :總處理器將獲取的物理世界場(chǎng)景與信息對(duì)象融合在一起，轉(zhuǎn)換成物理信 息融合場(chǎng)景；
[0015] 步驟3 :人機(jī)交互模塊捕獲用戶2D和3D的交互指令；
[0016] 步驟4 :總處理器接收用戶2D和3D的交互指令，并將交互指令轉(zhuǎn)化為控制指令；
[0017] 步驟5 :總處理器根據(jù)控制指令控制物理信息目標(biāo)物體對(duì)象的變化；
[0018] 步驟6 :視頻顯示模塊顯示物理信息融合場(chǎng)景和人機(jī)交互模塊控制對(duì)象變化的實(shí) 時(shí)顯示。
[0019] 所述的步驟3包括下述步驟：
[0020] 步驟3a :人機(jī)交互模塊中的2D交互識(shí)別模塊識(shí)別用戶2D交互指令；
[0021] 步驟3b :人機(jī)交互模塊中的3D交互識(shí)別模塊識(shí)別用戶3D交互指令；
[0022] 步驟3c :2D交互識(shí)別模塊將平面感應(yīng)板坐標(biāo)系下的一點(diǎn)坐標(biāo)轉(zhuǎn)換至物理信息融 合場(chǎng)景下的圖像平面坐標(biāo)；
【主權(quán)項(xiàng)】
1. 一種信息物理空間的遠(yuǎn)程交互式操控系統(tǒng)，其特征在于包括人機(jī)交互模塊、物理世 界場(chǎng)景采集模塊、總處理器、物理信息融合模塊和視頻顯示模塊；所述的人機(jī)交互模塊包括 3D交互識(shí)別模塊和2D交互識(shí)別模塊：3D交互識(shí)別模塊用于對(duì)用戶手勢(shì)動(dòng)作進(jìn)行識(shí)別，然后 再對(duì)用戶的手勢(shì)動(dòng)作數(shù)據(jù)進(jìn)行處理，提取出用戶的手勢(shì)動(dòng)作三維坐標(biāo)值；2D交互識(shí)別模塊 用于進(jìn)行3D交互識(shí)別模塊操控的模式切換和對(duì)3D手勢(shì)交互模塊映射在虛擬場(chǎng)景范圍進(jìn)行 操控范圍的平移；物理世界場(chǎng)景采集模塊用于遠(yuǎn)程拍攝物理世界工作場(chǎng)景，將相關(guān)物理對(duì) 象世界坐標(biāo)傳輸給處理器；物理信息融合模塊用于將物理世界場(chǎng)景采集模塊遠(yuǎn)程拍攝的相 關(guān)物理對(duì)象世界范圍與虛擬場(chǎng)景范圍的虛擬場(chǎng)景坐標(biāo)融合統(tǒng)一在一起；視頻顯示模塊用于 顯示物理信息場(chǎng)景融合模塊的物理信息場(chǎng)景和人機(jī)交互模塊的人手參數(shù)化模型。
2. 根據(jù)權(quán)利要求1所述的信息物理空間的遠(yuǎn)程交互式操控系統(tǒng)，其特征在于所述的2D 交互識(shí)別模塊由一塊2D的平面感應(yīng)板所組成。
3. 根據(jù)權(quán)利要求1所述的信息物理空間的遠(yuǎn)程交互式操控系統(tǒng)，其特征在于所述的3D 交互識(shí)別模塊由至少一個(gè)微型RGB攝像頭和至少一個(gè)深度攝像頭組成。
4. 根據(jù)權(quán)利要求1所述的信息物理空間的遠(yuǎn)程交互式操控系統(tǒng)，其特征在于所述的物 理世界場(chǎng)景采集模塊由至少一個(gè)攝像頭組成。
5. 根據(jù)權(quán)利要求1所述的信息物理空間的遠(yuǎn)程交互式操控系統(tǒng)，其特征在于所述的視 頻顯示模塊為手機(jī)顯示屏、電腦顯示屏或眼鏡式微顯示屏。
6. -種信息物理空間的遠(yuǎn)程交互式操控方法，其特征在于包括下述步驟： 步驟1 :物理世界場(chǎng)景采集模塊獲取世界物理場(chǎng)景； 步驟2 :總處理器將獲取的物理世界場(chǎng)景與信息對(duì)象融合在一起，轉(zhuǎn)換成物理信息融 合場(chǎng)景； 步驟3 :人機(jī)交互模塊捕獲用戶2D和3D的交互指令； 步驟4 :總處理器接收用戶2D和3D的交互指令，并將交互指令轉(zhuǎn)化為控制指令； 步驟5 :總處理器根據(jù)控制指令控制物理信息目標(biāo)物體對(duì)象的變化； 步驟6 :視頻顯示模塊顯示物理信息融合場(chǎng)景和人機(jī)交互模塊控制對(duì)象變化的實(shí)時(shí)顯 不O
7. 根據(jù)權(quán)利要求6所述的信息物理空間的遠(yuǎn)程交互式操控方法，其特征在于所述的 步驟3包括下述步驟： 步驟3a :人機(jī)交互模塊中的2D交互識(shí)別模塊識(shí)別用戶2D交互指令； 步驟3b :人機(jī)交互模塊中的3D交互識(shí)別模塊識(shí)別用戶3D交互指令； 步驟3c :2D交互識(shí)別模塊將平面感應(yīng)板坐標(biāo)系下的一點(diǎn)坐標(biāo)轉(zhuǎn)換至物理信息融合場(chǎng) 景下的圖像平面坐標(biāo)；
其中（X，P，太P)為平面感應(yīng)板坐標(biāo)系下的一點(diǎn)坐標(biāo)；（μ，a，v， a)為（X，p，y' p) 映射到物理信息融合場(chǎng)景下的一點(diǎn)圖像坐標(biāo)； sx，Sy分別為平面感應(yīng)板上單位距離到物理信息融合場(chǎng)景中的顯示圖像在X軸和Y軸 的放縮比例系數(shù)；
步驟4 :3D交互識(shí)別模塊將世界空間中任意一點(diǎn)三維坐標(biāo)轉(zhuǎn)換至物理信息融合場(chǎng)景中 的圖像坐標(biāo)； 對(duì)相機(jī)進(jìn)行內(nèi)外參數(shù)的標(biāo)定，計(jì)算出相機(jī)的內(nèi)外參數(shù)相關(guān)矩陣參數(shù)；世界空間的任意 一點(diǎn)，通過(guò)相機(jī)內(nèi)外參數(shù)矩陣，映射到圖像上一點(diǎn)對(duì)應(yīng)的圖像坐標(biāo)，現(xiàn)實(shí)在虛擬場(chǎng)景之中； 世界空間中任意一點(diǎn)三維坐標(biāo)為A (xwa，ywa，zwa)，映射到物理信息融合場(chǎng)景中的圖像坐標(biāo)為 Α'（μ a，va)，則有以下關(guān)系：
其中kx= 〇 xf ;ky= 〇 yf ;σχ，％分別為成像平面到圖像平面上x(chóng)，y兩個(gè)方向上的放 縮比例系數(shù)；f為焦距； (Utl, Vtl)為圖像物理坐標(biāo)系原點(diǎn)在圖像坐標(biāo)系中的坐標(biāo)； n = [/7, ?y Ziz f是X軸在相機(jī)坐標(biāo)系中的方向向量； δ = [ox Oy (7_是Y軸在相機(jī)坐標(biāo)系中的方向向量； 5. Of aj是Z軸在相機(jī)坐標(biāo)系中的方向向量； = |/>、&凡]^是世界坐標(biāo)系原點(diǎn)在相機(jī)坐標(biāo)系中的位置； dx，dy為每一個(gè)像素點(diǎn)在X，y軸方向上的物理尺寸，則在虛擬場(chǎng)景顯示圖像與世界坐標(biāo) 的在x，y的比例系數(shù)分別為
步驟3d :總處理器將2D交互識(shí)別模塊映射過(guò)來(lái)的圖像平面坐標(biāo)與物理信息融合模塊 內(nèi)的物理信息融合場(chǎng)景的圖像平面坐標(biāo)進(jìn)行匹配； 步驟3e :總處理器將3D交互識(shí)別模塊映射過(guò)來(lái)的圖像平面坐標(biāo)與物理信息融合模塊 內(nèi)的物理信息融合場(chǎng)景的圖像平面坐標(biāo)進(jìn)行匹配； 步驟3f :總處理器將2D和3D交互識(shí)別模塊進(jìn)行融合匹配，完成物理信息融合場(chǎng)景下 的人機(jī)交互。
【專(zhuān)利摘要】本發(fā)明涉及一種信息物理空間的遠(yuǎn)程交互式操控系統(tǒng)及方法，該系統(tǒng)包括3D交互識(shí)別模塊、2D交互識(shí)別模塊、物理世界場(chǎng)景采集模塊、總處理器、物理信息融合模塊和視頻顯示模塊；該方法可以遠(yuǎn)程的通過(guò)2D與3D交互相結(jié)合的方式，完成對(duì)信息物理融合場(chǎng)景下的物理信息對(duì)象進(jìn)行實(shí)時(shí)的人機(jī)交互控制，與其他方法相比，該方法成本低廉，操作沉浸感強(qiáng)并且操作可以達(dá)到實(shí)時(shí)高效，對(duì)于未來(lái)的物理信息融合場(chǎng)景下人機(jī)交互有著非常廣闊的應(yīng)用前景。
【IPC分類(lèi)】G06F3-01, G06K9-00
【公開(kāi)號(hào)】CN104656893
【申請(qǐng)?zhí)枴緾N201510061485
【發(fā)明人】高鵬, 白曉亮, 張樹(shù)生, 何衛(wèi)平, 楊森
【申請(qǐng)人】西北工業(yè)大學(xué)
【公開(kāi)日】2015年5月27日
【申請(qǐng)日】2015年2月6日