專利名稱：一種立體交互系統(tǒng)的制作方法
技術領域：
本發(fā)明涉及立體交互技術，尤其涉及一種立體交互系統(tǒng)。
技術背景
目前的人機交互式系統(tǒng)的各種解決方案大都是基于2D顯示的基礎之上的，也就是說，用戶操作所帶來的直接顯示效果是以2D來展現(xiàn)的。更進一步，采用陰影，近大遠小等透視效果來近似模擬一種立體的感覺。
隨著3D顯示技術的發(fā)展，這種基于2D的顯示界面將帶來一系列的不符合常理的操作結果。因為3D帶給操作者的直觀顯示效果是，所有的操作界面是凸出，或者，凹進屏幕的。目前比較普遍的觸摸屏的手指或者操作筆都只能在屏幕上進行二維的操作，對于真正的3D操作界面，浮在空中或者凹進屏幕的界面，這種傳統(tǒng)的方式都會讓操作者感覺并沒有真正觸摸到實際的界面。
雖然目前的虛擬現(xiàn)實(VR)技術中有利用數(shù)據(jù)手套等去對在空間中的物體進行操作的技術。但是這種技術的實現(xiàn)復雜，比如需要精度很高的數(shù)據(jù)手套，能夠對整個虛擬空間建模的計算機系統(tǒng)，有時候還需要特殊的顯示頭盔才能屏蔽實際環(huán)境對虛擬環(huán)境的干擾。 相應地，使用者使用不便，成本也相當昂貴。因此在很多設備特別是移動設備上并不適合使用。發(fā)明內容
本發(fā)明要解決的技術問題是提供一種結合立體顯示來模擬立體交互時使用的操作棒。
為了解決上述問題，本發(fā)明提供了一種操作棒，包括外殼，還包括
以可伸縮的方式與所述外殼連接的可伸縮頭部；
通信單元，用于實現(xiàn)操作棒與被操作設備之間的信息交互；及
定位單元，用于實時檢測操作棒在空間中的位置和/或姿態(tài)，并將檢測到的三維位置信息傳送給通信單元發(fā)送。
較佳地，該操作棒還包括
伸縮感應單元，用于實時檢測操作棒可伸縮頭部的縮進長度并將檢測到的縮進長度的信息傳送給通信單元發(fā)送。
較佳地，該操作棒還包括
力反饋單元，用于根據(jù)所述通信單元接收的力反饋指令，執(zhí)行模擬力反饋的動作。
較佳地，
所述定位單元包括作運動軌跡檢測的傳感器，和/或作方位角檢測的傳感器，該運動軌跡的初始位置設置為操作棒初始狀態(tài)下在以顯示屏幕所在平面為基準的參照系中的相對位置。
較佳地，5
所述可伸縮頭部包括操作棒頭和抵頂于該操作棒頭和伸縮感應裝置之間的彈性部件；
所述伸縮感應單元采用壓力傳感的方式實現(xiàn)，用于感應所述彈性部件的壓力，轉化為相應的電信號并傳送給通信單元發(fā)送。
較佳地，
所述力反饋單元采用電子機械裝置實現(xiàn)，用于在收到力反饋指令后，模擬一個真實的被操作單元被按壓的震動。
較佳地，
所述可伸縮頭部遠離外殼的一端為一尖端。
上述方案所提供的操作棒具備定位單元和可伸縮頭部，可以知道操作棒的空間位置和姿態(tài)，從而可以獲得模擬立體交互時所需要的各種參數(shù)，并可以在接觸屏幕后發(fā)生縮進，使得觸控操作讓用戶感覺到更多的真實感。
本發(fā)明要解決的又一技術問題是提供一種可以結合立體顯示來模擬立體交互的立體交互方法和相應的被操作設備。
為了解決上述問題，本發(fā)明提供了一種立體交互方法，用于在被操作設備上模擬操作棒對感應屏幕上立體顯示的被操作單元的操作，該立體交互方法包括
根據(jù)被操作單元的立體圖像的視差確定被操作單元表面相對于屏幕的深度；
根據(jù)實時獲取的操作棒接觸部的三維位置信息確定操作棒接觸部的三維位置，比較操作棒接觸部的三維位置和所顯示的被操作單元表面的三維位置，實時判斷操作棒是否與被操作單元發(fā)生虛擬碰觸；
如判斷操作棒碰觸到被操作單元，通過對被操作單元的立體圖像的視差調整，模擬被操作單元被按壓時的深度變化。
較佳地，
所述操作棒接觸部的三維位置和被操作單元表面的三維位置均采用相對坐標來表示，該相對坐標以感應屏幕所在平面為參照系來確定。
較佳地，
所述根據(jù)實時獲取的操作棒接觸部的三維位置信息確定操作棒接觸部的三維位置，包括至少在所述操作棒不碰觸所述感應屏幕時，所述操作棒接觸部的三維位置根據(jù)接收的操作棒接觸部的三維坐標信息得到，或者，根據(jù)接收的操作棒上另一部位的三維坐標信息、操作棒的方位角信息及接觸部到該另一部位的固有距離計算得到。
較佳地，
所述根據(jù)實時獲取的操作棒接觸部的三維位置信息確定操作棒接觸部的三維位置，包括在所述操作棒碰觸所述感應屏幕時，所述操作棒接觸部的三維位置根據(jù)操作棒頭部的縮進長度、操作棒的方位角及操作棒與感應屏幕的碰觸位置計算得到。
較佳地，所述操作棒頭部的縮進長度是按以下方式實時獲取的
根據(jù)所述操作棒發(fā)來的縮進長度的信息確定；或者
根據(jù)所述感應屏幕上的壓力感應裝置的檢測結果計算得到；或者
根據(jù)接收的該操作棒的三維位置和姿態(tài)的信息確定操作棒接觸部的深度和操作棒與感應屏幕的夾角，然后計算得到所述操作棒頭部的縮進長度。
較佳地，
所述通過對被操作單元的立體圖像的視差調整，模擬被操作單元被按壓時的深度變化，包括
將實時獲取的操作棒接觸部相對于屏幕的深度作為被操作單元表面的深度，并根據(jù)該深度來調整被操作單元在立體圖像上的視差。
較佳地，
如判斷操作棒碰觸到被操作單元，所述被操作設備還向所述操作棒發(fā)送力反饋指令。
較佳地，
在判斷操作棒碰觸到被操作單元之后，還根據(jù)被操作單元表面的深度變化，判斷操作棒是否完成了對被操作單元的點擊操作，如是，則生成對該被操作單元的點擊命令。
相應地，本發(fā)明還提供了一種立體交互系統(tǒng)中的被操作設備，包括感應屏幕、通信裝置和圖像處理裝置，其特征在于，還包括交互控制裝置，其中
所述感應屏幕，用于顯示被操作單元的立體圖像；
所述通信裝置，用于實現(xiàn)交互控制裝置與操作棒之間的信息交互；
所述交互控制裝置包括
位置確定單元，用于根據(jù)實時獲取的操作棒接觸部的三維位置信息確定操作棒接觸部的三維位置；
虛擬碰觸檢測單元，用于根據(jù)操作棒接觸部的三維位置和所顯示的被操作單元表面的三維位置，實時判斷操作棒是否與被操作單元發(fā)生虛擬碰觸，如是，激活圖像處理裝置中的視差調整單元；
所述圖像處理裝置包括
深度計算單元，用于根據(jù)被操作單元的立體圖像的視差確定被操作單元表面相對于感應屏幕的深度，并通知虛擬碰觸檢測單元；及
視差調整單元，用于通過對被操作單元的立體圖像的視差調整，模擬被操作單元被按壓時的深度變化。
較佳地，
所述位置確定單元根據(jù)實時獲取的操作棒接觸部的三維位置信息確定操作棒接觸部的三維位置，包括至少在所述操作棒不碰觸所述感應屏幕時，根據(jù)接收的操作棒接觸部的三維坐標信息得到所述操作棒接觸部的三維位置；或者，根據(jù)接收的操作棒上另一部位的三維坐標信息、操作棒的方位角信息及接觸部到該另一部位的固有距離計算得到所述操作棒接觸部的三維位置。
較佳地，
所述交互控制裝置還包括實際碰觸檢測單元，用于在檢測到操作棒碰觸屏幕后， 將檢測到的碰觸位置通知位置確定單元；
所述位置確定單元根據(jù)實時獲取的操作棒接觸部的三維位置信息確定操作棒接觸部的三維位置，包括在所述操作棒碰觸所述感應屏幕時，根據(jù)操作棒頭部的縮進長度、 操作棒的方位角及操作棒與感應屏幕的碰觸位置計算得到所述操作棒接觸部的三維位置。
較佳地，
所述位置確定單元計算所述操作棒接觸部的三維位置使用的所述操作棒頭部的縮進長度是按以下方式實時獲取的
根據(jù)所述操作棒發(fā)來的縮進長度的信息確定；或者
根據(jù)所述感應屏幕上的壓力感應裝置的檢測結果計算得到；或者
根據(jù)接收的該操作棒的三維位置和姿態(tài)的信息確定操作棒接觸部的深度和操作棒與感應屏幕的夾角，然后計算得到所述操作棒頭部的縮進長度。
較佳地，
所述視差調整單元通過對被操作單元的立體圖像的視差調整，模擬被操作單元被按壓時的深度變化，包括將實時獲取的操作棒接觸部相對于屏幕的深度作為被操作單元表面的深度，并根據(jù)該深度來調整被操作單元在立體圖像上的視差。
較佳地，
所述虛擬碰觸檢測單元在判斷操作棒碰觸到被操作單元之后，還根據(jù)被操作單元表面的深度變化，判斷操作棒是否完成了對被操作單元的點擊操作，如是，則生成對該被操作單元的點擊命令。
較佳地，
所述虛擬碰觸檢測單元實時判斷操作棒碰觸到被操作單元時，還通過所述通信裝置向所述操作棒發(fā)送力反饋指令。
較佳地，
所述被操作設備為智能手機或平板電腦。
上述方案可以模擬操作棒對感應屏幕上立體顯示的被操作單元的操作，讓用戶感覺到更多的真實感，所感受的操作棒與屏幕的交互更加符合實際。
本發(fā)明要解決的又一技術問題是提供另一種可以結合立體顯示來模擬立體交互的立體交互方法和相應的被操作設備。
為了解決上述問題，本發(fā)明提供了一種立體交互方法，用于在被操作設備上通過立體顯示模擬操作棒伸入感應屏幕的操作，該立體交互方法包括
檢測操作棒是否碰觸所述感應屏幕；
操作棒碰觸所述感應屏幕時，根據(jù)實時獲取的操作棒縮進部分的三維位置信息和操作棒與感應屏幕的碰觸位置，計算出所述操作棒縮進部分的虛擬三維位置；
根據(jù)操作棒縮進部分的虛擬三維位置，實時繪制操作棒縮進部分的圖像，并將繪制的該圖像顯示在所述感應屏幕上。
較佳地，
所述根據(jù)實時獲取的操作棒縮進部分的三維位置信息計算出操作棒縮進部分的虛擬三維位置，包括
根據(jù)實時獲取的操作棒頭部的縮進長度、操作棒的方位角及操作棒與感應屏幕的碰觸位置，計算出操作棒縮進部分上至少一點的虛擬三維位置，再結合操作棒與感應屏幕的碰觸位置和操作棒可伸縮頭部的模型，計算出操作棒縮進部分的虛擬三維位置。
較佳地，所述操作棒頭部的縮進長度是按以下方式實時獲取的
根據(jù)所述操作棒發(fā)來的縮進長度的信息確定；或者
根據(jù)所述感應屏幕上的壓力感應裝置的檢測結果計算得到；或者
根據(jù)接收的該操作棒的三維位置和姿態(tài)的信息確定操作棒接觸部的深度和操作棒與感應屏幕的夾角，然后計算得到所述操作棒頭部的縮進長度。
較佳地，
所述根據(jù)實時獲取的操作棒縮進部分的三維位置信息計算出操作棒縮進部分的虛擬三維位置，包括
根據(jù)實時接收的操作棒的三維位置信息，得到或計算出操作棒接觸部的三維位置，結合操作棒與感應屏幕的碰觸位置和操作棒可伸縮頭部的模型，計算出操作棒縮進部分的虛擬三維位置。
較佳地，
所述實時繪制的操作棒縮進部分的圖像是立體圖像，該立體圖像是將設定或跟蹤得到的用戶觀看屏幕時左、右眼的三維位置作為左、右相機，將感應屏幕作為零視差面，繪制出所述操作棒縮進部分的左圖像和右圖像。
較佳地，
所述立體交互方法中使用的三維位置采用以感應屏幕所在平面為參照系確定的相對坐標來表示。
相應地，本發(fā)明還提供了一種立體交互系統(tǒng)中的被操作設備，包括感應屏幕、通信裝置和圖像處理裝置，其特征在于，還包括交互控制裝置，其中
所述感應屏幕，用于顯示被操作單元的立體圖像；
所述通信裝置，用于實現(xiàn)交互控制裝置與操作棒之間的信息交互；
所述交互控制裝置包括
位置確定單元，用于根據(jù)實時獲取的操作棒縮進部分的三維位置信息和操作棒與感應屏幕的碰觸位置，計算出操作棒縮進部分的虛擬三維位置；
實際碰觸檢測單元，用于在檢測到操作棒碰觸感應屏幕時，激活圖像處理裝置中的圖像繪制單元，并將操作棒和感應屏幕的碰觸位置通知位置確定單元；
所述圖像處理裝置包括
圖像繪制單元，用于根據(jù)操作棒縮進部分的虛擬三維位置，實時繪制操作棒縮進部分的立體圖像，并將繪制的該立體圖像顯示在所述感應屏幕上。
較佳地，
所述位置確定單元根據(jù)實時獲取的操作棒縮進部分的三維位置信息計算出操作棒縮進部分的虛擬三維位置，包括
根據(jù)實時獲取的操作棒頭部的縮進長度、操作棒的方位角及操作棒與感應屏幕的碰觸位置，計算出操作棒縮進部分上至少一點的虛擬三維位置，再結合操作棒與感應屏幕的碰觸位置和操作棒可伸縮頭部的模型，計算出操作棒縮進部分的虛擬三維位置。
較佳地，
所述位置確定單元按以下方式實時獲取所述操作棒頭部的縮進長度
根據(jù)所述操作棒發(fā)來的縮進長度的信息確定；或者
根據(jù)所述感應屏幕上的壓力感應裝置的檢測結果計算得到；或者
根據(jù)接收的該操作棒的三維位置和姿態(tài)的信息確定操作棒接觸部的深度和操作棒與感應屏幕的夾角，然后計算得到所述操作棒頭部的縮進長度。9
較佳地，
所述位置確定單元根據(jù)實時獲取的操作棒縮進部分的三維位置信息計算出操作棒縮進部分的虛擬三維位置，包括
根據(jù)實時接收的操作棒的三維位置信息，得到或計算出操作棒接觸部的三維位置，再結合操作棒與感應屏幕的碰觸位置和操作棒可伸縮頭部的模型，計算出操作棒縮進部分的虛擬三維位置。
較佳地，
所述圖像繪制單元實時繪制的操作棒縮進部分的圖像是立體圖像，該立體圖像是將設定或跟蹤得到的用戶觀看屏幕時左、右眼的三維位置作為左、右相機，將感應屏幕作為零視差面，繪制出所述操作棒縮進部分的左圖像和右圖像。
較佳地，
所述被操作設備為智能手機或平板電腦。
上述方案可以通過立體顯示模擬操作棒伸入感應屏幕的操作，讓用戶感覺到更多的真實感，所感受的操作棒與屏幕的交互更加符合實際。
本發(fā)明要解決的另一技術問題是提供一種可以讓用戶感覺到更多真實感的結合立體顯示來表示的立體交互系統(tǒng)。
為了解決上述問題，本發(fā)明提供了一種立體交互系統(tǒng)，包括被操作設備和操作棒；
所述被操作設備包括可顯示被操作單元的立體圖像的感應屏幕、交互控制裝置、 用于實現(xiàn)交互控制裝置與操作棒之間信息交互的通信裝置，以及圖像處理裝置；
所述交互控制裝置包括
第一位置確定單元，用于根據(jù)實時獲取的操作棒接觸部的三維位置信息確定操作棒接觸部的三維位置；
虛擬碰觸檢測單元，用于根據(jù)操作棒接觸部的三維位置和所顯示的被操作單元表面的三維位置，實時判斷操作棒是否與被操作單元發(fā)生虛擬碰觸，如是，激活圖像處理裝置中的視差調整單元；
所述圖像處理裝置包括
深度計算單元，用于根據(jù)被操作單元的立體圖像的視差確定被操作單元表面相對于感應屏幕的深度，并通知虛擬碰觸檢測單元；及
視差調整單元，用于通過對被操作單元的立體圖像的視差調整，模擬被操作單元被按壓時的深度變化。
較佳地，所述操作棒包括
定位單元，用于實時檢測操作棒在空間中的位置和/或姿態(tài)，并將檢測到的三維位置信息傳送給通信單元發(fā)送；
通信單元，用于實現(xiàn)操作棒與被操作設備之間的信息交互；
所述第一位置確定單元實時獲取的操作棒接觸部的三維位置信息是所述操作棒中的定位單元發(fā)送的。
較佳地，
所述定位單元包括作運動軌跡檢測的傳感器，和/或作方位角檢測的傳感器，該運動軌跡的初始位置設置為操作棒初始狀態(tài)下在以顯示屏幕所在平面為基準的參照系中的相對位置。
較佳地，所述立體交互系統(tǒng)還包括
定位輔助裝置，用于實時感知操作棒相對于感應屏幕的三維位置，并將感知到的三維位置的信息發(fā)送給所述第一位置確定單元。
較佳地，
所述第一位置確定單元根據(jù)實時獲取的操作棒接觸部的三維位置信息確定操作棒接觸部的三維位置，包括至少在所述操作棒不碰觸所述感應屏幕時，根據(jù)接收的操作棒接觸部的三維坐標信息得到所述操作棒接觸部的三維位置；或者，根據(jù)接收的操作棒上另一部位的三維坐標信息、操作棒的方位角信息及接觸部到該另一部位的固有距離計算得到所述操作棒接觸部的三維位置。
較佳地，
所述交互控制裝置還包括實際碰觸檢測單元，用于在檢測到操作棒碰觸屏幕后， 將檢測到的碰觸位置通知第一位置確定單元；
所述第一位置確定單元根據(jù)實時獲取的操作棒接觸部的三維位置信息確定操作棒接觸部的三維位置，包括在所述操作棒碰觸所述感應屏幕時，根據(jù)操作棒頭部的縮進長度、操作棒的方位角及操作棒與感應屏幕的碰觸位置計算得到所述操作棒接觸部的三維位置。
較佳地，
所述第一位置確定單元計算所述操作棒接觸部的三維位置使用的所述操作棒頭部的縮進長度，是根據(jù)操作棒或定位輔助裝置發(fā)送的該操作棒的三維位置和姿態(tài)的信息確定操作棒接觸部的深度和操作棒與感應屏幕的夾角，然后計算得到所述操作棒頭部的縮進長度。
較佳地，
所述視差調整單元通過對被操作單元的立體圖像的視差調整，模擬被操作單元被按壓時的深度變化，包括將實時獲取的操作棒接觸部相對于屏幕的深度作為被操作單元表面的深度，并根據(jù)該深度來調整被操作單元在立體圖像上的視差。
較佳地，
所述虛擬碰觸檢測單元在判斷操作棒碰觸到被操作單元之后，還根據(jù)被操作單元表面的深度變化，判斷操作棒是否完成了對被操作單元的點擊操作，如是，則生成對該被操作單元的點擊命令。
較佳地，
所述操作棒包括
力反饋單元，用于根據(jù)所述通信單元接收的力反饋指令，執(zhí)行模擬力反饋的動作；
通信單元，用于實現(xiàn)操作棒與被操作設備之間的信息交互；
所述虛擬碰觸檢測單元實時判斷操作棒碰觸到被操作單元時，還通過所述通信裝置向所述操作棒發(fā)送力反饋指令。
較佳地，11
所述操作棒包括一可伸縮頭部；
所述交互控制裝置還包括
第二位置確定單元，用于根據(jù)實時獲取的操作棒縮進部分的三維位置信息和操作棒與感應屏幕的碰觸位置，得到操作棒縮進部分的虛擬三維位置；
實際碰觸檢測單元，用于在檢測到操作棒碰觸感應屏幕時，激活圖像處理裝置中的圖像繪制單元，并將操作棒和感應屏幕的碰觸位置通知第二位置確定單元；
所述圖像處理裝置還包括
圖像繪制單元，用于根據(jù)操作棒縮進部分的虛擬三維位置，實時繪制操作棒縮進部分的立體圖像，并將繪制的該立體圖像顯示在所述感應屏幕上。
較佳地，
所述第二位置確定單元根據(jù)實時獲取的操作棒縮進部分的三維位置信息計算出操作棒縮進部分的虛擬三維位置，包括
根據(jù)實時獲取的操作棒頭部的縮進長度、操作棒的方位角及操作棒與感應屏幕的碰觸位置，計算出操作棒縮進部分上至少一點的虛擬三維位置，再結合操作棒與感應屏幕的碰觸位置和操作棒可伸縮頭部的模型，計算出操作棒縮進部分的虛擬三維位置。
較佳地，
所述第二位置確定單元計算操作棒縮進部分的虛擬三維位置時使用的操作棒頭部的縮進長度按以下方式得到根據(jù)接收的該操作棒的三維位置和姿態(tài)的信息確定操作棒接觸部的深度和操作棒與感應屏幕的夾角，然后計算得到所述操作棒頭部的縮進長度。
較佳地，
所述操作棒包括
可伸縮頭部；
伸縮感應單元，用于實時檢測操作棒可伸縮頭部的縮進長度并將檢測到的縮進長度的信息傳送給通信單元發(fā)送；
通信單元，用于實現(xiàn)操作棒與被操作設備之間的信息交互。
較佳地，
所述可伸縮頭部包括操作棒頭和抵頂于該操作棒頭和伸縮感應裝置之間的彈性部件；
所述伸縮感應單元采用壓力傳感的方式實現(xiàn)，用于感應所述彈性部件的壓力，轉化為相應的電信號并傳送給通信單元發(fā)送。
較佳地，
所述操作棒包括可伸縮頭部；
所述感應屏幕表面增設了一壓力感應裝置，用于檢測操作棒與感應屏幕碰觸時的壓力并將檢測結果發(fā)送到交互控制裝置，該壓力與操作棒頭部的縮進長度對應。
較佳地，
所述位置確定單元根據(jù)實時獲取的操作棒縮進部分的三維位置信息計算出操作棒縮進部分的虛擬三維位置，包括
根據(jù)實時接收的操作棒的三維位置信息，得到或計算出操作棒接觸部的三維位置，再結合操作棒與感應屏幕的碰觸位置和操作棒可伸縮頭部的模型，計算出操作棒縮進部分的虛擬三維位置。
較佳地，
所述圖像繪制單元實時繪制的操作棒縮進部分的圖像是立體圖像，該立體圖像是將設定或跟蹤得到的用戶觀看屏幕時左、右眼的三維位置作為左、右相機，將感應屏幕作為零視差面，繪制出所述操作棒縮進部分的左圖像和右圖像。
較佳地，
所述被操作設備為智能手機或平板電腦。
較佳地，
所述操作棒的頭部遠離外殼的一端為一尖端，該尖端構成了所述操作棒接觸部。
上述方案使用一種特殊的操作棒結合相應的具有立體顯示功能的被操作設備，實現(xiàn)了結合立體顯示來表現(xiàn)的一種立體交互，讓用戶感覺到更多的真實感，所感受的操作棒與被操作單元的交互更加符合實際。


圖1是本發(fā)明實施例對凸出屏幕的按鈕的觸控操作的示意圖2是本發(fā)明實施例對凹入屏幕的按鈕的觸控操作的示意圖3a是本發(fā)明實施例一操作棒的結構示意圖北是本發(fā)明實施例一操作棒中各單元的連接示意圖4是本發(fā)明實施例一被操作設備的結構示意圖5是本發(fā)明實施例一對在屏幕上立體顯示的被操作單元的觸碰操作的處理流程圖6a和圖6b是像素點的視差與深度的關系的示意圖7是本發(fā)明實施例一通過立體顯示模擬操作棒伸入感應屏幕的操作的處理流程圖8是通過屏幕上的壓力感應裝置檢測操作棒的縮進長度的示意圖。
具體實施方式
為使本發(fā)明的目的、技術方案和優(yōu)點更加清楚明白，下文中將結合附圖對本發(fā)明的實施例進行詳細說明。需要說明的是，在不沖突的情況下，本申請中的實施例及實施例中的特征可以相互任意組合。
實施例一
如圖1和圖2所示，本發(fā)明的立體交互系統(tǒng)包括操作棒和被操作設備，該被操作設備包括可進行立體顯示的感應屏幕，如為智能手機、平板電腦等。感應屏幕(以下簡稱為屏幕)上立體顯示的可操作單元(以按鈕為例，也可以是按鍵或其他圖標)在用戶看來，可能是凸出和凹入屏幕的。對于顯示為凸出屏幕的被操作單元進行觸控操作時，為了讓用戶感覺到更多的真實感，在操作棒的頭部達到被操作單元表面，即發(fā)生虛擬碰觸時，可以模擬該被操作單元被按壓時的視覺變化，同時還可以給用戶一定的力反饋，使用戶所感受的操作棒對被操作單元的觸控更加符合實際。而對于顯示為凹入屏幕的被操作單元進行觸控操作時，操作棒的頭部達到被操作單元表面之前就會接觸到屏幕，為了讓用戶感覺到更多的真實感，可以將操作棒的頭部設計為可伸縮的，繪制操作棒的縮進部分并在屏幕上立體顯示， 同時計算該頭部不伸縮時的三維位置，來判斷是否會發(fā)生虛擬碰觸，發(fā)生虛擬碰觸后可以采用上述相同的方式進行被操作單元的隨動顯示和力反饋處理。文中，三維位置信息可以是三維位置或者任何用于計算三維位置的信息如姿態(tài)、 縮進長度等。三維位置可以用三維坐標表示如χ，y, ζ坐標或用長度和方位角表示的極坐標。表示三維位置的坐標可以感應屏幕所在平面為參照系來確定，即是相對于感應屏幕的相對坐標。以智能手機為例，可以但不限于將屏幕的中點或某個端點作為坐標原點，垂直于屏幕的方向為Z軸，屏幕所在的平面為XY坐標軸表示的平面。請參照圖3a示出的結構示意圖和圖北示出的各單元連接的示意圖，該操作棒包括外殼101、可伸縮頭部102、通信單元103、定位單元104、力反饋單元105和伸縮感應單元 106，其中外殼101可以是便于握持的任何形狀，如筆狀等；可伸縮頭部102以可伸縮的方式與外殼101連接，可以采用現(xiàn)有的各種結構。文中將可伸縮頭部用于碰觸被操作單元的部位稱之為接觸部，較佳地，可伸縮頭部102遠離外殼的一端設計為一尖端，將該尖端作為操作棒的接觸部，也可以稱之為操作棒的觸點。通信單元103與定位單元104、力反饋單元105和伸縮感應單元106電連接，用于實現(xiàn)操作棒與被操作設備之間的信息交互?？梢圆捎脽o線通信方式如藍牙，無線USB等，也可以采用有線通信方式，如I2C，USB等。定位單元104，用于實時檢測操作棒在空間中的位置和姿態(tài)，并將檢測到的三維位置信息傳送給通信單元103發(fā)送。該定位單元可以包括作運動軌跡檢測的傳感器和作姿態(tài)檢測的傳感器。例如，現(xiàn)有的一些移動設備如iphone上，采用陀螺儀傳感器得到運動軌跡數(shù)據(jù)(可作為操作棒在空間中的位置信息)，同時采用加速度傳感器來得到方位角數(shù)據(jù)(可作為操作棒的姿態(tài)信息)。該運動軌跡的初始位置可以設置為操作棒初始狀態(tài)下定位單元 (或其他部位)在參照系中的相對位置。定位單元檢測到的三維位置信息可以是操作棒的三維位置和姿態(tài)的信息，根據(jù)該信息計算出的操作棒接觸部的三維位置或中間結果等。定位單元也可以采用地磁傳感器來實現(xiàn)。力反饋單元105，用于根據(jù)通信單元接收的力反饋指令，執(zhí)行模擬力反饋的動作。 例如，可以采用電子機械裝置作為力反饋單元，在收到力反饋指令后，模擬一個真實按鈕被按壓的震動，使得操作者能夠身歷其境的感受到3D界面的操作，以產生沉浸感。該電子機械模塊可以是電動震動馬達，人造肌肉膜或者是其他的模擬震動裝置。伸縮感應單元106，用于實時檢測操作棒頭部的縮進長度(即可伸縮頭部的縮進距離)并將檢測到的縮進長度的信息傳送給通信單元103發(fā)送。本實施例的伸縮感應單元采用壓力傳感的方式實現(xiàn)，相應地，可伸縮頭部102包括操作棒頭和抵頂于該伸縮感應單元和操作棒頭之間的彈性部件如彈簧，當可伸縮頭部的縮進長度變化時，該彈性部件對伸縮感應單元105的壓力產生變化，伸縮感應單元105可以將壓力轉化為相應的電信號并傳送給通信單元103發(fā)送。這樣，根據(jù)該電信號的大小即可以確定操作棒頭部的縮進長度。 需要說明的是，伸縮感應裝置的結構并不局限于此，可以有很多種的實現(xiàn)方式，如光電檢測寸。上述操作棒還可以包括如電池、充電裝置等輔助裝置，這里不再一一介紹。
如圖4所示，被操作設備包括感應屏幕10、通信裝置20和圖像處理裝置30。其中感應屏幕10，可顯示被操作單元的立體圖像。文中也簡寫為屏幕。通信裝置20，用于實現(xiàn)交互控制裝置與操作棒之間的信息交互。交互控制裝置30，包括第一位置確定單元301，用于根據(jù)實時獲取的操作棒接觸部的三維位置信息確定操作棒接觸部的三維位置。在所述操作棒不接觸屏幕時，可以根據(jù)接收的操作棒接觸部的三維坐標信息得到；或者，根據(jù)接收的操作棒上另一部位的三維坐標信息、操作棒的方位角信息及接觸部到該另一部位的固有距離計算得到。在操作棒接觸屏幕時，可根據(jù)操作棒頭部的縮進長度、操作棒的方位角及操作棒與感應屏幕的碰觸位置計算得到，其中，操作棒頭部的縮進長度又可以根據(jù)操作棒發(fā)來的縮進長度的信息確定。需要說明的是，操作棒碰觸屏幕前，操作棒接觸部的三維位置是實際位置，操作棒碰觸屏幕后，操作棒接觸部的三維位置是虛擬位置，文中其他地方不再特別說明。虛擬碰觸檢測單元302，用于根據(jù)操作棒接觸部的三維位置和所顯示的被操作單元表面的三維位置，實時判斷操作棒是否與被操作單元發(fā)生虛擬碰觸，如是，激活圖像處理裝置中的視差調整單元，并可通過通信裝置向操作棒發(fā)送力反饋指令。此外，還可以根據(jù)被操作單元表面的深度變化，判斷操作棒是否完成了對被操作單元的點擊操作，如是，則生成對該被操作單元的點擊命令。實際碰觸檢測單元303，用于在檢測到操作棒接觸感應屏幕時，激活圖像處理裝置中的圖像繪制單元，并將操作棒和感應屏幕的碰觸位置通知第一位置確定單元和第二位置確定單元。第二位置確定單元304，用于根據(jù)操作棒接觸部的三維位置，再結合操作棒與感應屏幕的碰觸位置和操作棒可伸縮頭部的模型，計算出操作棒縮進部分的虛擬三維位置。實時獲取的操作棒縮進部分的三維位置信息和操作棒與感應屏幕的碰觸位置，計算出操作棒縮進部分的虛擬三維位置。例如，根據(jù)實時獲取的操作棒頭部的縮進長度、操作棒的方位角及操作棒與感應屏幕的碰觸位置，計算出操作棒縮進部分上至少一點(如接觸部)的虛擬三維位置，再結合操作棒與感應屏幕的碰觸位置和操作棒可伸縮頭部的模型， 計算出操作棒縮進部分的虛擬三維位置。其中，接觸部的虛擬三維位置也可以根據(jù)實時獲取的操作棒的三維位置和姿態(tài)的信息得到或計算得到；操作棒頭部的縮進長度根據(jù)操作棒發(fā)來的縮進長度的信息確定。圖像處理裝置40，又包括深度計算單元401，用于根據(jù)被操作單元的立體圖像的視差確定被操作單元表面相對于屏幕的深度，并通知虛擬碰觸檢測單元。視差調整單元402，用于通過對被操作單元的立體圖像的視差調整，模擬被操作單元被按壓時的深度變化。例如，將實時獲取的操作棒接觸部相對于屏幕的深度作為被操作單元表面的深度，并根據(jù)該深度來調整被操作單元在立體圖像上的視差。圖像繪制單元403，用于根據(jù)操作棒縮進部分的虛擬三維位置，實時繪制操作棒縮進部分的圖像，并將繪制的該圖像顯示在感應屏幕上。較佳地，繪制的是立體圖像，例如，將設定或跟蹤得到的用戶觀看屏幕時左、右眼的三維位置作為左、右相機，將感應屏幕作為零視差面，繪制出所述操作棒縮進部分的左圖像和右圖像。上述圖像處理裝置可能還需要對要顯示的立體圖像進行其他的圖像處理，這里只對與本實施例相關的單元進行說明。下面介紹一下操作棒對在屏幕上立體顯示的被操作單元的觸碰操作的處理流程， 如圖5所示，包括步驟310，根據(jù)被操作單元的立體圖像的視差確定被操作單元表面相對于屏幕的深度；本實施例是通過立體圖像中左圖像和右圖像的視差形成立體顯示效果。圖6a和圖6b分別是具有視差d的像素點P在立體顯示時表現(xiàn)為凹入和凸出屏幕的示意圖，其中， 視差d是像素點P在立體圖像的左圖像和右圖像上的坐標之差，根據(jù)像素點的視差d以及用戶左、右眼的三維位置，就可以很容易的計算出像素點P相對于屏幕的深度即垂直距離。 被操作單元相對屏幕凸出時深度可以取正，凹入時可以取負，或者相反。用戶左、右眼的間距和觀看位置可以參照本領域的經驗值設定，這里不再詳細討論。如果有頭部跟蹤裝置，也可以使用跟蹤檢測到的左、右眼的三維位置來動態(tài)地計算視差，更為精確。由于被操作單元表面在屏幕上的位置是已知的，本步驟確定被操作單元表面相對屏幕的深度后，已得到被操作單元表面的三維位置。步驟320，根據(jù)實時獲取的操作棒接觸部的三維位置信息確定操作棒接觸部的三維位置；操作棒發(fā)送的操作棒接觸部的三維位置信息可以是操作棒接觸部在空間中的三維坐標，也可以是可推算出該三維坐標的其他信息。在操作棒不接觸屏幕時，操作棒接觸部的三維位置可以根據(jù)接收的操作棒接觸部的三維坐標信息得到，或者，根據(jù)接收的操作棒上另一部位的三維坐標信息、操作棒的方位角信息(如操作棒與屏幕的夾角和操作棒在屏幕上的投影與X軸或Y軸的夾角)及接觸部到該另一部位的固有距離計算得到。該計算可以在操作棒的定位單元中完成，也可以在被操作設備中完成。操作棒接觸屏幕時，也可以采用上段的方式確定操作棒接觸部的三維位置。由于操作棒接觸屏幕后，有操作棒與屏幕的碰觸位置和操作棒頭部的縮進長度等參數(shù)可以使用，因此可以根據(jù)操作棒頭部的縮進長度、操作棒的方位角及操作棒與感應屏幕的碰觸位置計算操作棒接觸部的三維位置，結果更為準確。其中，操作棒頭部的縮進長度可以根據(jù)所述操作棒發(fā)來的縮進長度的信息確定。步驟330，根據(jù)操作棒接觸部的三維位置和所顯示的被操作單元表面的三維位置， 判斷操作棒是否與被操作單元發(fā)生虛擬碰觸，如是，執(zhí)行步驟340，否則，返回步驟320 ；—般地，在操作棒接觸部的三維位置與被操作單元表面的三維位置重合或穿越時認為兩者發(fā)生虛擬碰觸。步驟340，通過對被操作單元的立體圖像的視差調整模擬被操作單元表面被按壓時的深度變化，并向操作棒發(fā)送力反饋指令。本步驟中，還可以根據(jù)被操作單元表面的深度變化，判斷操作棒是否完成了對被操作單元的點擊操作(有些按鈕被壓下一定位置后才視為選中)，如是，則生成對該被操作單元的點擊命令。
本步驟中，可以將實時獲取的操作棒接觸部相對于屏幕的深度作為被操作單元表面的深度，并根據(jù)該深度來調整被操作單元在立體圖像上的視差，如對左圖像和/或左圖像上的該被操作單元的像素點坐標進行平移處理。顯示出的被操作單元即可模擬出被操作單元被按壓時的深度變化。在另一實施例中，如果縮進長度較小，可以簡化中間過程的顯示，直接顯示被操作單元被按下到停止位置時的立體圖像。在又一實施例中，還可以逐次顯示被操作單元被按下到停止位置及中間的若干位置的立體圖像。請參照圖7，是通過立體顯示模擬操作棒伸入感應屏幕的操作的處理流程圖，包括步驟410，檢測操作棒是否碰觸屏幕，如是，執(zhí)行步驟420，否則繼續(xù)檢測；步驟420，根據(jù)實時獲取的操作棒縮進部分的三維位置信息及操作棒與感應屏幕的碰觸位置，計算出操作棒縮進部分的虛擬三維位置；計算操作棒縮進部分的虛擬三維位置時，可以根據(jù)實時獲取的操作棒頭部的縮進長度、操作棒的方位角及操作棒與感應屏幕的碰觸位置，計算出操作棒縮進部分上至少一點(如接觸部)的虛擬三維位置，再結合操作棒與感應屏幕的碰觸位置和操作棒可伸縮頭部的模型，計算出操作棒縮進部分的虛擬三維位置。也可以根據(jù)實時接收的操作棒的三維位置信息，得到或計算出操作棒接觸部的三維位置，結合操作棒與感應屏幕的碰觸位置和操作棒可伸縮頭部的模型，計算出操作棒縮進部分的虛擬三維位置。其中，操作棒頭部的縮進長度可以根據(jù)所述操作棒發(fā)來的縮進長度的信息確定。步驟430，根據(jù)操作棒縮進部分的虛擬三維位置，實時繪制操作棒縮進部分的立體圖像，將繪制的該立體圖像顯示在屏幕上。在繪制時，可以將設定或跟蹤得到的用戶觀看屏幕時左、右眼的三維位置作為左、 右相機，將感應屏幕作為零視差面，即可分別繪制出該縮進部分的左右圖像。完成本步驟之后，屏幕將顯示操作棒縮進部分的立體圖像，使得用戶看上去好象操作棒真的探進了屏幕一樣，增強了用戶立體交互時的真實感。從上述方案可以看出，本實施例實現(xiàn)了結合立體顯示來表現(xiàn)的一種觸控操作。為了讓用戶感覺到更多的真實感，以及所感受的操作棒與屏幕的交互更加符合實際，在操作棒中設置了對操作棒進行運動檢測的定位單元，可以實時檢測操作棒的位置和姿態(tài)。請再參照圖1所示，對于顯示為凸出屏幕的按鍵，在操作棒還沒有接觸屏幕但人眼感覺已接觸屏幕時，通過虛擬碰觸檢測獲知并改變該按鍵的顯示，使得其好象真的被按下一樣，同時可以通過力反饋單元給于用戶觸感。而對于顯示為凹入屏幕的按鍵，請再參照圖2，在操作棒已接觸屏幕但人眼感覺還沒有接觸按鍵時，操作棒頭部可以隨著操作者的動作而自動進行縮進，并向終端設備發(fā)送縮進長度的信息，終端設備繪制出該縮進部分的立體圖像并在屏幕上顯示，用戶感覺好象該操作棒真的伸入屏幕去點擊按鍵一樣，同時當操作棒做出其他動作時，比如左右移動，虛擬操作棒也將同時移動。伸入屏幕后可以通過虛擬碰觸檢測得知操作棒點中了按鍵，然后可以對被操作單元進行視差調整和力反饋的處理。作為本實施例一個簡化后的變例，可以取消與力反饋有關內容，不在操作棒中設置力反饋單元，也不在被操作設備中進行相關處理。其他實施例同此。在某種應用場景下，只涉及對顯示為凸出屏幕的被操作單元的操作，則針對該應用場景的實施例可以在本實施例的基礎上加以簡化，可以取消與伸縮操作相關的裝置和處
17理，如操作棒中的伸縮頭和伸縮感應單元可以取消，被操作設備的圖像處理裝置中的第二位置確定單元、圖像繪制單元可以取消，并且可以取消計算縮進長度、繪制虛擬操作棒等的處理。在某種應用場景下，只涉及對顯示為凹入屏幕的被操作單元的操作，則針對該應用場景的實施例可以在本實施例的基礎上加以簡化，操作棒中的定位單元可以取消作運動軌跡檢測的傳感器，因為只需要借助于操作棒的姿態(tài)、縮進長度和感應屏幕與操作棒的碰觸位置，即可完成虛擬碰觸檢測。實施例二與實施例一不同的是，本實施例的立體交互并不涉及操作棒對在屏幕上立體顯示的被操作單元的觸碰操作，而只涉及通過立體顯示模擬操作棒伸入感應屏幕的操作的處理。因此可以在實施例一的基礎上進行一些簡化。操作棒的結構可以與實施例一的操作棒相同。也可以作一些簡化，例如，定位單元可以只包括作姿態(tài)檢測的傳感器。被操作設備同樣包括感應屏幕、通信裝置和圖像處理裝置。感應屏幕和通信裝置與實施例一相同。交互控制裝置包括實際碰觸檢測單元，用于在檢測到操作棒接觸感應屏幕時，激活圖像處理裝置中的圖像繪制單元，并將操作棒和感應屏幕的碰觸位置通知位置確定單元。位置確定單元，用于根據(jù)實時獲取的操作棒縮進部分的三維位置信息和操作棒與感應屏幕的碰觸位置，計算出操作棒縮進部分的虛擬三維位置。例如，根據(jù)實時獲取的操作棒頭部的縮進長度、操作棒的方位角及操作棒與感應屏幕的碰觸位置，計算出操作棒縮進部分上至少一點(如接觸部)的虛擬三維位置，再結合操作棒與感應屏幕的碰觸位置和操作棒可伸縮頭部的模型，計算出操作棒縮進部分的虛擬三維位置。其中，接觸部的虛擬三維位置也可以根據(jù)實時獲取的操作棒的三維位置和姿態(tài)的信息得到或計算得到；操作棒頭部的縮進長度根據(jù)操作棒發(fā)來的縮進長度的信息確定。圖像處理裝置包括圖像繪制單元，同實施例一中的圖像繪制單元，用于根據(jù)操作棒縮進部分的虛擬三維位置，實時繪制操作棒縮進部分的立體圖像，并將繪制的該立體圖像顯示在感應屏幕上。本實施例通過立體顯示模擬操作棒伸入感應屏幕的操作的處理流程同實施例一。實施例三本實施例與實施例一基本相同，區(qū)別在于對操作棒的三維位置的檢測上。本實施例中，操作棒中沒有用于檢測位置和姿態(tài)的定位單元，需要使用其他的定位輔助裝置共同定位操作棒在空間中的三維坐標。該定位輔助裝置用于感知操作棒相對于感應屏幕的三維位置并將感知到的三維位置信息發(fā)送給被操作設備，其方式可以但不限于是(a)跟蹤裝置，如攝像機(camera)，通過該攝像機對操作棒進行跟蹤識別，確定操作棒的三維位置信息并發(fā)送給，該三維位置信息可以包括操作棒接觸部或其他部件的三維位置和操作棒的方位角的信息。
(b)紅外感應裝置，操作棒和被操作的設備上都要有這種裝置，一個作為發(fā)生裝置，一個作為接受裝置，由被操作設備或操作棒計算得到操作棒的三維位置信息。上述定位輔助裝置可以直接向被操作設備的交互控制裝置發(fā)送三維位置信息，也可以先發(fā)送到被操作單元的通信裝置，由該通信裝置提供給該交互控制裝置。本實施例對操作棒的三維位置的檢測也可以用于實施例一的變例和實施例二。在最簡單的一種方式下，操作棒不具有可縮進頭部和伸縮感應機構、定位單元和力反饋單元， 就如同普通的書寫筆一樣。操作棒的位置和姿態(tài)由定位輔助裝置進行檢測，在立體交互時只需要模擬對凸出屏幕的被操作單元的觸控操作，因此被操作設備上與操作棒縮進部分相關的定位和繪制的單元和處理均可以省略。實施例四本實施例與實施例一基本相同，區(qū)別在于操作棒中不設置縮進感應單元。對于操作棒碰觸屏幕后的縮進長度，通過另一方式進行計算。如圖8所示，本實施例在被操作設備的感應屏幕10的表面增加了一層特殊的壓力感應裝置101。例如，該壓力感應裝置可以是一種特殊的電容屏，當操作棒接觸到該電容屏后，該電容屏會隨著操作棒的壓力變化而發(fā)生電場的改變，這種電場的改變被檢測出來后， 可以發(fā)送到交互控制裝置。因為壓力與操作棒頭部的縮進長度具有對應關系，感知屏幕的電容電壓的變化就可以計算出操作棒頭部的縮進長度。進而確定操作棒接觸部的三維位置。也即，操作棒頭部的縮進長度也可以根據(jù)感應屏幕上的壓力感應裝置的檢測結果計算得到。本實施例對操作棒的縮進長度的檢測也可以用于實施例一的變例和實施例二。實施例五本實施例與實施例一基本相同，區(qū)別在于操作棒中不設置縮進感應單元。對于操作棒碰觸屏幕后的操作棒接觸部的三維位置，通過另一方式進行計算。因為沒有縮進感應單元，因此本實施例操作棒碰觸屏幕后不能獲取檢測到的操作棒頭部的縮進長度的信息。不過，由于操作棒中的定位單元可以實時檢測到操作棒的位置和姿態(tài)，因此，可以根據(jù)定位單元的檢測結果來推算縮進長度。根據(jù)定位單元檢測的操作棒的三維位置和姿態(tài)的信息，可以得到操作棒接觸部的深度及操作棒與感應屏幕的夾角，根據(jù)該深度和夾角即可計算出操作棒頭部的縮進長度。 得到該縮進長度后，結合操作棒的方位角及操作棒與感應屏幕的碰觸位置可計算出操作棒接觸部的三維位置。這種方式將定位單元的數(shù)據(jù)與實際碰觸位置的數(shù)據(jù)結合起來，可以保證定位精度，可以避免操作棒斷開等不良顯示效果的出現(xiàn)。本實施例對操作棒的縮進長度的檢測也可以用于實施例一的變例。容易理解，本實施例定位單元實時檢測到的操作棒的三維位置和姿態(tài)的信息也可以利用實施例二中的輔助裝置來提供。本領域普通技術人員可以理解上述方法中的全部或部分步驟可通過程序來指令相關硬件完成，所述程序可以存儲于計算機可讀存儲介質中，如只讀存儲器、磁盤或光盤等。可選地，上述實施例的全部或部分步驟也可以使用一個或多個集成電路來實現(xiàn)，相應地，上述實施例中的各模塊/單元可以采用硬件的形式實現(xiàn)，也可以采用軟件功能模塊的形式實現(xiàn)。本發(fā)明不限制于任何特定形式的硬件和軟件的結合。
以上所述僅為本發(fā)明的優(yōu)選實施例而已，并不用于限制本發(fā)明，對于本領域的技術人員來說，本發(fā)明可以有各種更改和變化。凡在本發(fā)明的精神和原則之內，所作的任何修改、等同替換、改進等，均應包含在本發(fā)明的保護范圍之內。
權利要求
1.一種立體交互系統(tǒng)，其特征在于，包括被操作設備和操作棒；所述被操作設備包括可顯示被操作單元的立體圖像的感應屏幕、交互控制裝置、用于實現(xiàn)交互控制裝置與操作棒之間信息交互的通信裝置，以及圖像處理裝置；所述交互控制裝置包括第一位置確定單元，用于根據(jù)實時獲取的操作棒接觸部的三維位置信息確定操作棒接觸部的三維位置；虛擬碰觸檢測單元，用于根據(jù)操作棒接觸部的三維位置和所顯示的被操作單元表面的三維位置，實時判斷操作棒是否與被操作單元發(fā)生虛擬碰觸，如是，激活圖像處理裝置中的視差調整單元；所述圖像處理裝置包括深度計算單元，用于根據(jù)被操作單元的立體圖像的視差確定被操作單元表面相對于感應屏幕的深度，并通知虛擬碰觸檢測單元；及視差調整單元，用于通過對被操作單元的立體圖像的視差調整，模擬被操作單元被按壓時的深度變化。
2.如權利要求1所述的立體交互系統(tǒng)，其特征在于所述操作棒包括定位單元，用于實時檢測操作棒在空間中的位置和/或姿態(tài)，并將檢測到的三維位置信息傳送給通信單元發(fā)送；通信單元，用于實現(xiàn)操作棒與被操作設備之間的信息交互；所述第一位置確定單元實時獲取的操作棒接觸部的三維位置信息是所述操作棒中的定位單元發(fā)送的。
3.如權利要求2所述的立體交互系統(tǒng)，其特征在于所述定位單元包括作運動軌跡檢測的傳感器，和/或作方位角檢測的傳感器，該運動軌跡的初始位置設置為操作棒初始狀態(tài)下在以顯示屏幕所在平面為基準的參照系中的相對位置。
4.如權利要求1所述的立體交互系統(tǒng)，其特征在于還包括定位輔助裝置，用于實時感知操作棒相對于感應屏幕的三維位置，并將感知到的三維位置的信息發(fā)送給所述第一位置確定單元。
5.如權利要求1或2或3或4所述的立體交互系統(tǒng)，其特征在于所述第一位置確定單元根據(jù)實時獲取的操作棒接觸部的三維位置信息確定操作棒接觸部的三維位置，包括至少在所述操作棒不碰觸所述感應屏幕時，根據(jù)接收的操作棒接觸部的三維坐標信息得到所述操作棒接觸部的三維位置；或者，根據(jù)接收的操作棒上另一部位的三維坐標信息、操作棒的方位角信息及接觸部到該另一部位的固有距離計算得到所述操作棒接觸部的三維位置。
6.如權利要求1或2或3或4所述的立體交互系統(tǒng)，其特征在于所述交互控制裝置還包括實際碰觸檢測單元，用于在檢測到操作棒碰觸屏幕后，將檢測到的碰觸位置通知第一位置確定單元；所述第一位置確定單元根據(jù)實時獲取的操作棒接觸部的三維位置信息確定操作棒接觸部的三維位置，包括在所述操作棒碰觸所述感應屏幕時，根據(jù)操作棒頭部的縮進長度、操作棒的方位角及操作棒與感應屏幕的碰觸位置計算得到所述操作棒接觸部的三維位置。
7.如權利要求6所述的立體交互系統(tǒng)，其特征在于所述第一位置確定單元計算所述操作棒接觸部的三維位置使用的所述操作棒頭部的縮進長度，是根據(jù)操作棒或定位輔助裝置發(fā)送的該操作棒的三維位置和姿態(tài)的信息確定操作棒接觸部的深度和操作棒與感應屏幕的夾角，然后計算得到所述操作棒頭部的縮進長度。
8.如權利要求1所述的立體交互系統(tǒng)，其特征在于所述視差調整單元通過對被操作單元的立體圖像的視差調整，模擬被操作單元被按壓時的深度變化，包括將實時獲取的操作棒接觸部相對于屏幕的深度作為被操作單元表面的深度，并根據(jù)該深度來調整被操作單元在立體圖像上的視差。
9.如權利要求1所述的立體交互系統(tǒng)，其特征在于所述虛擬碰觸檢測單元在判斷操作棒碰觸到被操作單元之后，還根據(jù)被操作單元表面的深度變化，判斷操作棒是否完成了對被操作單元的點擊操作，如是，則生成對該被操作單元的點擊命令。
10.如權利要求1所述的立體交互系統(tǒng)，其特征在于所述操作棒包括力反饋單元，用于根據(jù)所述通信單元接收的力反饋指令，執(zhí)行模擬力反饋的動作；通信單元，用于實現(xiàn)操作棒與被操作設備之間的信息交互；所述虛擬碰觸檢測單元實時判斷操作棒碰觸到被操作單元時，還通過所述通信裝置向所述操作棒發(fā)送力反饋指令。
11.如權利要求1或2或3或4所述的立體交互系統(tǒng)，其特征在于所述操作棒包括一可伸縮頭部；所述交互控制裝置還包括第二位置確定單元，用于根據(jù)實時獲取的操作棒縮進部分的三維位置信息和操作棒與感應屏幕的碰觸位置，得到操作棒縮進部分的虛擬三維位置；實際碰觸檢測單元，用于在檢測到操作棒碰觸感應屏幕時，激活圖像處理裝置中的圖像繪制單元，并將操作棒和感應屏幕的碰觸位置通知第二位置確定單元；所述圖像處理裝置還包括圖像繪制單元，用于根據(jù)操作棒縮進部分的虛擬三維位置，實時繪制操作棒縮進部分的立體圖像，并將繪制的該立體圖像顯示在所述感應屏幕上。
12.如權利要求11所述的立體交互系統(tǒng)，其特征在于所述第二位置確定單元根據(jù)實時獲取的操作棒縮進部分的三維位置信息計算出操作棒縮進部分的虛擬三維位置，包括根據(jù)實時獲取的操作棒頭部的縮進長度、操作棒的方位角及操作棒與感應屏幕的碰觸位置，計算出操作棒縮進部分上至少一點的虛擬三維位置，再結合操作棒與感應屏幕的碰觸位置和操作棒可伸縮頭部的模型，計算出操作棒縮進部分的虛擬三維位置。
13.如權利要求12所述的立體交互系統(tǒng)，其特征在于所述第二位置確定單元計算操作棒縮進部分的虛擬三維位置時使用的操作棒頭部的縮進長度按以下方式得到根據(jù)接收的該操作棒的三維位置和姿態(tài)的信息確定操作棒接觸部的深度和操作棒與感應屏幕的夾角，然后計算得到所述操作棒頭部的縮進長度。
14.如權利要求1所述的立體交互系統(tǒng)，其特征在于 所述操作棒包括可伸縮頭部；伸縮感應單元，用于實時檢測操作棒可伸縮頭部的縮進長度并將檢測到的縮進長度的信息傳送給通信單元發(fā)送；通信單元，用于實現(xiàn)操作棒與被操作設備之間的信息交互。
15.如權利要求14所述的立體交互系統(tǒng)，其特征在于所述可伸縮頭部包括操作棒頭和抵頂于該操作棒頭和伸縮感應裝置之間的彈性部件；所述伸縮感應單元采用壓力傳感的方式實現(xiàn)，用于感應所述彈性部件的壓力，轉化為相應的電信號并傳送給通信單元發(fā)送。
16.如權利要求1所述的立體交互系統(tǒng)，其特征在于 所述操作棒包括可伸縮頭部；所述感應屏幕表面增設了一壓力感應裝置，用于檢測操作棒與感應屏幕碰觸時的壓力并將檢測結果發(fā)送到交互控制裝置，該壓力與操作棒頭部的縮進長度對應。
17.如權利要求11所述的立體交互系統(tǒng)，其特征在于所述位置確定單元根據(jù)實時獲取的操作棒縮進部分的三維位置信息計算出操作棒縮進部分的虛擬三維位置，包括根據(jù)實時接收的操作棒的三維位置信息，得到或計算出操作棒接觸部的三維位置，再結合操作棒與感應屏幕的碰觸位置和操作棒可伸縮頭部的模型，計算出操作棒縮進部分的虛擬三維位置。
18.如權利要求11所述的立體交互系統(tǒng)，其特征在于所述圖像繪制單元實時繪制的操作棒縮進部分的圖像是立體圖像，該立體圖像是將設定或跟蹤得到的用戶觀看屏幕時左、右眼的三維位置作為左、右相機，將感應屏幕作為零視差面，繪制出所述操作棒縮進部分的左圖像和右圖像。
19.如權利要求1所述的立體交互系統(tǒng)，其特征在于 所述被操作設備為智能手機或平板電腦。
20.如權利要求1或2或10或14所述的立體交互系統(tǒng)，其特征在于所述操作棒的頭部遠離外殼的一端為一尖端，該尖端構成了所述操作棒接觸部。
全文摘要
一種立體交互系統(tǒng)，包括被操作設備和操作棒；被操作設備包括可顯示被操作單元的立體圖像的感應屏幕、交互控制裝置、用于實現(xiàn)交互控制裝置與操作棒之間信息交互的通信裝置，以及圖像處理裝置；交互控制裝置包括第一位置確定單元，用于確定操作棒接觸部的三維位置；虛擬碰觸檢測單元，用于實時判斷操作棒是否與被操作單元發(fā)生虛擬碰觸，如是，激活圖像處理裝置中的視差調整單元；圖像處理裝置包括深度計算單元，用于確定被操作單元表面相對于感應屏幕的深度，并通知虛擬碰觸檢測單元；及視差調整單元，用于模擬被操作單元被按壓時的深度變化。本發(fā)明實現(xiàn)了結合立體顯示來表現(xiàn)的一種立體交互，讓用戶感覺到更多的真實感。
文檔編號G06F3/041GK102508562SQ201110343598
公開日2012年6月20日 申請日期2011年11月3日 優(yōu)先權日2011年11月3日
發(fā)明者劉寧, 宋磊 申請人:深圳超多維光電子有限公司