專利名稱：一種用戶交互系統(tǒng)和方法
技術領域：
本發(fā)明涉及電子應用(application)技術領域,特別地,涉及一種用戶交互系統(tǒng)和方法。
背景技術：
1959年美國學者B.Shackel首次提出了人機交互工程學的概念。20世紀90年代后期以來，隨著高速處理芯片，多媒體技術和互聯(lián)網技術的迅速發(fā)展和普及，人機交互的研究重點放在了智能化交互、多模態(tài)(多通道)_多媒體交互、虛擬交互以及人機協(xié)同交互等方面，也就是放在以人為在中心的人機交互技術方面。人們對于現(xiàn)存的人機交互方式并不滿足，人們期望新一代的人機交互能像人與人交互一樣自然、準確和快捷。在20世紀90年代人機交互的研究進到了多模態(tài)階段，稱為人機自然交互(Human-Computer Nature Interaction, HCNI 或 Human-Machine NatureInteraction, HMNI)。用戶交互界面(User Interface, UI)設計是指對軟件的人機交互、操作邏輯、界面美觀的整體設計。在人和機器互動獲取信息、體驗的過程中，有一個媒介，即可視化的人機交互界面，以及相應于該人機交互界面的交互設備及方法。舉例來講，觸摸屏手機的出現(xiàn)把觸摸交互方式帶給了廣大消費大眾。與此同時，傳統(tǒng)鼠標、鍵盤的交互界面迅速轉向了適應于觸摸交互方式的交互界面。以蘋果的IOS以及Google的Android為例，用戶可以通過觸摸屏點擊或拖動屏幕上顯示的圖標，以進行相應的交互操作?？梢钥吹揭环N新的用戶交互界面及交互方法需要相應硬件及軟件的支持。
`
以目前主流智能手機、平板電腦為代表的平面觸摸交互設備讓人們可以通過觸摸這種所見即所得的方式與平面圖形交互界面進行交互。例如，用戶可以直接點擊界面中的方形應用圖標以進入該應用程序；可以按住某個應用程序圖標在屏幕上滑動以對該圖標進行平移拖拽操作等等。目前，微軟配合旗下游戲主機Xbox發(fā)布的體感交互附件Kinect使人機交互向著自然體感交互的方式邁了很大的一步。通過Kinect，用戶可以通過手勢與電視中顯示的交互界面進行自然地交互。交互界面中有一個圓形的圖標代表用戶的手的位置，用戶可以通過移動手來移動交互界面中的圓形圖標，當用戶通過移動手將交互界面中的圓形圖標移動到某一個應用圖標上并停留一定的時間，這將觸發(fā)一個類似于確認、進入、選擇的交互命令，從而進入該應用程序。然而，平面交互界面中內容的豐富程度受到較大限制。而且，Kinect通過移動光標到某按鍵上并停留一段時間的方式進行確認選擇，這種操作只能進行一種確認或進入的操作，交互的豐富性受到限制，此外用戶感覺不夠自然，交互操作時感受到拘束。

發(fā)明內容
有鑒于此，本發(fā)明實施方式提出一種用戶交互系統(tǒng)，以與三維立體交互界面進行交互。本發(fā)明實施方式還提出一種用戶交互方法，以與三維立體交互界面進行交互。本發(fā)明技術方案如下:一種用戶交互系統(tǒng)，該系統(tǒng)包括三維交互界面顯示模塊、手勢識別模塊和運算處理模塊，其中:三維交互界面顯示模塊，用于向用戶提供三維交互界面；手勢識別模塊，用于捕獲用戶瀏覽該三維交互界面做出的手勢移動軌跡信息和手勢形態(tài)信息，并將所述手勢移動信息和手勢形態(tài)信息發(fā)送到信息運算處理模塊；運算處理模塊，用于當判定該手勢移動軌跡信息與預先設定空間點之間的距離滿足預先設定的距離門限值，而且該手勢形態(tài)信息滿足預先設置的狀態(tài)切換條件時，確定相對應的交互操作命令，并將執(zhí)行 該交互操作命令后的三維交互結果界面發(fā)送給三維交互界面顯示模塊；三維交互界面顯示模塊，進一步用于向用戶提供所述三維交互結果界面。所述運算處理模塊為移動終端、智能電視、計算機或基于云計算的信息服務平臺。運算處理模塊，進一步用于在三維交互界面上顯示空間虛擬指針元素，所述空間虛擬指針元素在三維交互界面上的運動軌跡與用戶瀏覽該三維交互界面做出的手勢移動軌跡保持一致，而且所述空間虛擬指針元素在三維交互界面上的手勢形態(tài)與用戶瀏覽該三維交互界面做出的手勢形態(tài)保持一致。所述空間虛擬指針元素為手型點云形態(tài)、手型實體模型或手型透明輪廓。所述三維交互界面顯示模塊為3D電視、3D頭戴式顯示器、3D投影儀或3D全息顯
示裝置。該系統(tǒng)進一步包括佩戴于用戶頭部的視角感知單元；視角感知單元，用于感測用戶頭部運動信息，并將所述用戶頭部運動信息發(fā)送到運算處理模塊；運算處理模塊，還用于根據所述用戶頭部運動信息確定用戶實時視角，并實時向三維交互界面顯示模塊發(fā)送基于該用戶實時視角下的三維交互界面和三維交互結果界面。一種用戶交互方法，該方法包括:向用戶提供三維交互界面；捕獲用戶瀏覽該三維交互界面做出的手勢移動軌跡信息和手勢形態(tài)信息；當判定該手勢移動軌跡信息與預先設定空間點之間的距離滿足預先設定的距離門限值，而且該手勢形態(tài)信息滿足預先設置的狀態(tài)切換條件時，確定相對應的交互操作命令；向用戶提供對應于執(zhí)行該交互操作命令后的三維交互結果界面。該方法進一步包括:在三維交互界面上顯示空間虛擬指針元素，所述空間虛擬指針元素在三維交互界面上的運動軌跡與用戶瀏覽該三維交互界面做出的手勢移動軌跡保持一致，而且所述空間虛擬指針元素在三維交互界面上的手勢形態(tài)與用戶瀏覽該三維交互界面做出的手勢形態(tài)
保持一致。所述空間虛擬指針元素為手型點云形態(tài)、手型實體模型或手型透明輪廓。
所述手勢形態(tài)信息滿足預先設置的狀態(tài)切換條件包括:該手勢形態(tài)信息從第一狀態(tài)切換到不同于該第一狀態(tài)的第二狀態(tài)，所述第一狀態(tài)和第二狀態(tài)都從手勢狀態(tài)組中選擇，而且所述手勢狀態(tài)組包括:單手握拳、單手掌心朝上手掌伸開、單手掌心朝下手掌伸開、單手伸出單個手指、單手伸出任意兩個手指、單手伸出任意三個手指、單手伸出任意四個手指、雙手握拳、雙手掌心朝上手掌伸開、雙手掌心朝下手掌伸開、雙手伸出單個手指、雙手伸出任意兩個手指、雙手伸出任意三個手指、雙手伸出任意四個手指、雙手伸出任意五個手指、雙手伸出任意六個手指、雙手伸出任意七個手指、雙手伸出任意八個手指和雙手伸出任意九個手指。該方法進一步包括判斷該手勢移動軌跡信息與預先設定的移動軌跡信息特征是否匹配；其中當判定該手勢移動軌跡信息與預先設定的移動軌跡信息特征相匹配，而且該手勢形態(tài)信息滿足預先設置的狀態(tài)切換條件時，確定相對應的交互操作命令。從上述技術方案中可以看出，在本發(fā)明實施方式中，用戶交互系統(tǒng)包括三維交互界面顯示模塊、手勢識別模塊和運算處理模塊，其中:三維交互界面顯示模塊，用于向用戶提供三維交互界面；手勢識別模塊，用于捕獲用戶瀏覽該三維交互界面做出的手勢移動軌跡信息和手勢形態(tài)信息，并將所述手勢移動信息和手勢形態(tài)信息發(fā)送到信息運算處理模塊；運算處理模塊，用于當判定該手勢移動軌跡信息與預先設定空間點之間的距離滿足預先設定的距離門限值，而且該手勢形態(tài)信息滿足預先設置的狀態(tài)切換條件時，確定相對應的交互操作命令，并將執(zhí)行該交互操作命令后的三維交互結果界面發(fā)送給三維交互界面顯示模塊；三維交互界面顯示模塊，進一步用于向用戶提供所述三維交互結果界面。由此可見，應用本發(fā)明實施方式以后，通過虛擬的三維界面與用戶手勢之間的交互，實現(xiàn)了一種用戶與硬件設備之間交互與獲取信息的方式，極大地增強了用戶體驗。而且，本發(fā)明實施的交互方式非常`自然，符合人性的基本肢體動作(比如手勢)交互模式，而且降低了用戶對操作設備的學習成本，符合人體自然地交互操控與便攜信息處理硬件設備的分體設計，使人能夠更集中精力于其所關注的信息而不是硬件設備本身。而且，本發(fā)明實施方式還提出了一種自然交互技術的三維立體虛擬信息自然交互界面，該交互界面包含眾多三維立體可進行自然交互的元素。通過本發(fā)明實施方式所提出的解決方案，用戶可以自然地用手控制上述三維立體虛擬信息自然交互界面中對應于用戶手的虛擬指針，對三維立體虛擬信息自然交互界面進行自然交互。另外，本發(fā)明實施方式的獨特顯示方式使其受環(huán)境影響較小，給人提供高品質的感官體驗，并能夠保護信息的私密性。本發(fā)明實施方式通過直接視網膜掃描投影顯示方式可以將三維虛擬信息與現(xiàn)實實景融合在一起，給人提供增強現(xiàn)實的感官體驗，從而基于此可以衍生出大量的有意義的應用，進一步極大地提高用戶體驗。不僅于此，本發(fā)明實施方式可以應用與任何人機交互信息設備，其通用性將給人們帶來極大便利。


圖1為根據本發(fā)明實施方式的用戶交互系統(tǒng)結構示意圖；圖2為根據本發(fā)明實施方式的用戶交互方法流程示意圖3為根據本發(fā)明實施方式的點云形式指針元素示意圖；圖4為根據本發(fā)明實施方式的輪廓形式指針元素示意圖；圖5為根據本發(fā)明實施方式的實體模型形式指針元素示意圖；圖6為根據本發(fā)明實施方式的三維空間點陣解鎖界面示意圖；圖7為根據本發(fā)明實施方式的三維空間菜單選擇界面示意圖。
具體實施例方式為使本發(fā)明實施方式的目的、技術方案和優(yōu)點表達得更加清楚明白，下面結合附圖及具體實施例對本發(fā)明實施方式再作進一步詳細的說明。在本發(fā)明實施方式中，針對現(xiàn)有技術下各種電子設備(諸如便攜式電子設備)采用平面交互界面所導致的各種缺陷，提出了一種針對三維界面的用戶交互解決方案。在本發(fā)明實施方式中，可以使用多種方式產生虛擬三維屏幕界面，避免了采用物理顯示屏導致的各種問題，而且還不會影響背景視場，其產生的虛擬三維屏幕界面還可作為對現(xiàn)實實景的增強，能夠廣泛應用于增強現(xiàn)實(Augment Reality)技術。另外，本發(fā)明實施方式同時針對前述虛擬三維界面提出一種基于對人肢體動作(優(yōu)選為人的手勢)識別的人性化交互方案，此交互方案能夠無縫融合前述虛擬三維界面與人體的肢體動作操控信息。類似地，通過對一些基本的典型的操作識別進行優(yōu)化處理，形成一個穩(wěn)定的交互開發(fā)平臺，供開發(fā)者開發(fā)各式各樣應用。圖1為根據本發(fā)明實施方式的用戶交互系統(tǒng)結構示意圖。
·
如圖1所示，該系統(tǒng)包括三維交互界面顯示模塊101、手勢識別模塊102和運算處理模塊103。三維交互界面顯示模塊101，用于向用戶顯示三維交互界面；手勢識別模塊102，用于捕獲用戶瀏覽該三維交互界面做出的手勢移動軌跡信息和手勢形態(tài)信息，并將所述手勢移動信息和手勢形態(tài)信息發(fā)送到信息運算處理模塊；運算處理模塊103，用于當判定該手勢移動軌跡信息與三維交互界面上預先設定空間點之間的距離滿足預先設定的距離門限值，而且該手勢形態(tài)信息滿足預先設置的狀態(tài)切換條件時，確定相對應的交互操作命令，并將執(zhí)行該交互操作命令后的三維交互結果界面發(fā)送給三維交互界面顯示模塊；三維交互界面顯示模塊101，進一步用于向用戶提供所述三維交互結果界面。三維交互界面顯示模塊101可以從任意的三維信號提供源獲取三維交互界面顯示信號，并且基于三維交互界面顯示信號向用戶顯示三維交互界面。比如，三維交互界面顯示模塊101可以從運算處理模塊103獲取三維交互界面顯示信號，并且基于三維交互界面顯示信號向用戶提供三維交互界面?？蛇x地，三維交互界面顯示模塊101還可以從該系統(tǒng)之外的移動終端、計算機，甚至是基于云計算的信息服務平臺等三維信號提供源獲取三維交互界面顯示信號。其中，運算處理模塊103可以是具備計算能力的任意裝置。比如移動終端、計算機，甚至是基于云計算的信息服務平臺等。運算處理模塊103可以將三維交互界面上的任意空間點設置為交互點，當用戶手移動到與該交互點之間的距離滿足預先設定的距離門限值，而且手勢形態(tài)滿足預先設置的狀態(tài)切換條件時，確定相對應的交互操作命令，并將執(zhí)行該交互操作命令后的三維交互結果界面發(fā)送給三維交互界面顯示模塊101 ;三維交互界面顯示模塊101，進一步用于向用戶顯示所述三維交互結果界面。在一個實施方式中，預先設置的狀態(tài)切換條件可以包括:用戶的一只手在狀態(tài)一(例如手掌狀態(tài))下移動到某個特定位置，并轉變?yōu)闋顟B(tài)二 (例如握拳狀態(tài))，保持手在狀態(tài)二下向特定的方向(如上、下、左、右、前、后、左前，右前等等)或沿特定軌跡(如:閉合軌跡，擺動軌跡)下移動。當滿足了這種狀態(tài)切換條件后，可以觸發(fā)某種交互操作，實現(xiàn)特定的交互意圖?；跔顟B(tài)切換條件的不同，交互操作命令可以相應不同。三維交互界面顯示模塊101用于接受運算處理模塊103或其他三維立體交互信號提供源所提供的三維立體交互界面顯示信號，并向用戶呈現(xiàn)三維立體交互界面。三維交互界面顯示模塊101具備顯示三維立體內容的能力，具體可以是3D電視、3D頭戴式顯示器、3D投影設備或3D全息顯示裝置，等等。優(yōu)選地，運算處理模塊103與三維交互界面顯示模塊101之間的通信方式可以有多種具體實施形式，包括但是不局限于:無線寬帶傳輸、藍牙傳輸、紅外傳輸、移動通信傳輸或者有線傳輸等等。三維交互界面顯示模塊101通過上述通訊方式從任意的三維信號提供源接收三維交互界面顯示信號之后，對三維交互界面顯示信號進行調制解碼后，將三維交互界面顯示圖像直接投影到用戶視網膜上，使用戶感覺到前方出現(xiàn)一個虛擬的三維界面(優(yōu)選為增廣的屏幕)。用戶感興趣的信息將通過這個虛擬三維界面得以展現(xiàn)。三維交互界面顯示模塊101可以通過多種方式產生這個虛擬三維界面。比如，三維交互界面顯示模塊101具體可以是用戶頭戴式眼鏡式顯示器。該用戶頭戴式眼鏡式顯示器有兩個超微顯示屏對應于人的左右眼，通過精密光學透鏡放大超微顯示屏上的圖像，進而呈現(xiàn)于觀看者眼中虛擬增廣的屏幕圖像。此外，三維交互界面顯示模塊101還可以通過視網膜直接投影的方式產生虛擬三維界面。比如，三維交互界面顯示模塊101具體可以為直接視網膜投影裝置。在這種方式中，利用人的視覺暫留原理，三維交互界面顯示模塊101 (即直接視網膜投影裝置)中的顯示芯片接收三維交互界面顯示信號，進而對三維交互界面顯示模塊101中的微型激光發(fā)生器產生的紅綠藍激光進行調制，讓低功率激光快速地按指定順序在水平和垂直兩個方向上循環(huán)掃描，撞擊視網膜的一小塊區(qū)域使其產生光感，使人們感覺到三維圖像的存在，此種顯示方式可以不影響背景視場，三維虛擬屏幕疊加在真實視場上，進而可以提供增強現(xiàn)實的感官體驗。在一個實施方式中，當三維虛擬交互界面出現(xiàn)以后，用戶瀏覽三維虛擬交互界面，并且通過手勢來觸發(fā)交互過程。手勢(hand and gesture)識別模塊用于實時獲取用于識別判定用戶的手勢狀態(tài)以及手指三維空間相對位置坐標相關信息的數據。這種原始數據可以是實時的圖像數據，包括普通的RGB圖像數據，和/或包含深度信息的圖像數據，也可以包含來自某種位置定位傳感器的實時位置坐標數據與指令信息。在一個實施方式中，手勢識別模塊102可以是一種深度圖像傳感器。該深度圖像傳感器連續(xù)實時拍攝得到前方一定區(qū)域范圍內包含深度信息的圖像數據，當用戶的手出現(xiàn)在傳感器的視場區(qū)域中時，深度圖像傳感器得到的深度圖像數據包含用戶的手的位置形態(tài)信息。這些深度圖像數據通過有線或無線的方式發(fā)送給運算處理模塊103。在一個實施方式中，運算處理模塊103，進一步用于在三維交互界面上顯示空間虛擬指針元素，所述空間虛擬指針元素在三維交互界面上的運動軌跡與用戶瀏覽該三維交互界面做出的手勢移動軌跡保持一致，而且所述空間虛擬指針元素在三維交互界面上的手勢形態(tài)與用戶瀏覽該三維交互界面做出的手勢形態(tài)保持一致。優(yōu)選地，空間虛擬指針元素具體可以包括:手型點云形態(tài)、手型實體模型或手型透明輪廓，等等。優(yōu)選地，該系統(tǒng)可以進一步包括佩戴于用戶頭部的視角感知單元(圖中沒有示出)。視角感知單元，用于感測用戶頭部運動信息，并將所述用戶頭部運動信息發(fā)送到運算處理模塊103 ；運算處理模塊103，還用于根據所述用戶頭部運動信息確定用戶實時視角，并實時向三維交互界面顯示模塊101提供 基于該用戶實時視角下的三維交互界面和三維交互結果界面。運算處理模塊103通過一系列軟件算法，對接收到的包含了用戶手的當前狀態(tài)信息的數據進行分析處理，提取出用戶手指的三維空間相對位置信息以及手的形態(tài)信息，用于進一步對用戶交互意圖的判斷。運算處理模塊103可以判定出的手的當前狀態(tài)信息包括:單手握拳、單手掌心朝上手掌伸開、單手掌心朝下手掌伸開、單手伸出單個手指、單手伸出任意兩個手指、單手伸出任意三個手指、單手伸出任意四個手指、雙手握拳、雙手掌心朝上手掌伸開、雙手掌心朝下手掌伸開、雙手伸出單個手指、雙手伸出任意兩個手指、雙手伸出任意三個手指、雙手伸出任意四個手指、雙手伸出任意五個手指、雙手伸出任意六個手指、雙手伸出任意七個手指、雙手伸出任意八個手指和雙手伸出任意九個手指，等等。運算處理模塊103根據用戶的手的狀態(tài)以及手的空間相對位置，實時計算得到對應于三維立體交互界面(或空間)中對應于用戶手的手型指針元素的形態(tài)和位置，從而實現(xiàn)在三維立體交互界面中的手型指針元素可以實時與用戶的手的位置和形態(tài)相對應。同時，運算處理模塊103根據識別得到的用戶手勢狀態(tài)以及手的空間相對位置判斷用戶在三維立體交互界面中的交互意圖，并根據預設好的相應交互反饋實現(xiàn)用戶的相應交互意圖。運算處理模塊103可以根據以上處理結果實時渲染生成三維立體交互界面顯示信號，并將該顯示信號實時傳輸給三維交互界面顯示模塊101，從而使用戶能夠通過三維交互界面顯示模塊看到交互反饋結果。運算處理模塊103也可以將交互操作命令發(fā)送給三維交互界面顯示模塊，由三維交互界面顯示模塊向用戶提供對應于執(zhí)行該交互操作命令后的三維交互結果界面。具體地，運算處理模塊103通過一系列圖形圖像處理算法，對接收到的圖像數據進行分析，從圖像中識別提取出用戶的手以及相應的手指尖等一些手的特征點在深度圖像中的位置，再由圖像像素點的深度值，即物體距離深度圖像傳感器的距離以及深度圖像傳感器的水平及豎直視場角，即可反演推算出用戶手及特征點相對于深度圖像傳感器的相對空間三維位置坐標。
運算處理模塊103利用識別得到的用戶手及手的特征點的空間位置信息以及手的狀態(tài)信息可以實現(xiàn)用戶通過手與交互界面進行自然地交互?；谏鲜鲈敿毞治觯景l(fā)明實施方式還提出了一種用戶交互方法。圖2為根據本發(fā)明實施方式用戶交互方法流程圖。如圖2所示，該方法包括:步驟201:向用戶提供三維交互界面。步驟202:捕獲用戶瀏覽該三維交互界面做出的手勢移動軌跡信息和手勢形態(tài)信
息步驟203:當判定該手勢移動軌跡信息與三維交互界面上預先設定空間點之間的距離滿足預先設定的距離門限值，而且該手勢形態(tài)信息滿足預先設置的狀態(tài)切換條件時，確定相對應的交互操作命令。在一個實施方式中:該方法進一步包括判斷該手勢移動軌跡信息與預先設定的移動軌跡信息特征是否匹配；其中當判定該手勢移動軌跡信息與預先設定的移動軌跡信息特征相匹配，而且該手勢形態(tài)信息滿足預先設置的狀態(tài)切換條件時，確定相對應的交互操作命令。步驟204:向用戶提供對應于執(zhí)行該交互操作命令后的三維交互結果界面。優(yōu)選地，該方法進一步包括:在三維交互界面上顯示空間虛擬指針元素，所述空間虛擬指針元素在三維交互界面上的運動軌跡與用戶瀏覽該三維交互界面做出的手勢移動軌跡保持一致，而且所述空間虛擬指針元素在三維交互界面上的手勢形態(tài)與用戶瀏覽該三維交互界面做出的手勢形態(tài)
保持一致。在一個實施方式中，空間虛擬指針元素為手型點云形態(tài)、手型實體模型或手型透明輪廓。圖3為根據本發(fā)明實施方式的點云形式指針元素示意圖；圖4為根據本發(fā)明實施方式的輪廓形式指針元素示意圖；圖5為根據本發(fā)明實施方式的實體模型形式指針元素示意圖。在一個實施方式中，所述手勢形態(tài)信息滿足預先設置的狀態(tài)切換條件包括:該手勢形態(tài)信息從第一狀態(tài)切換到不同于該第一狀態(tài)的第二狀態(tài)，所述第一狀態(tài)和第二狀態(tài)都從手勢狀態(tài)組中選擇，而且所述手勢狀態(tài)組包括:單手握拳、單手掌心朝上手掌伸開、單手掌心朝下手掌伸開、單手伸出單個手指、單手伸出任意兩個手指、單手伸出任意三個手指、單手伸出任意四個手指、雙手握拳、雙手掌心朝上手掌伸開、雙手掌心朝下手掌伸開、雙手伸出單個手指、雙手伸出任意兩個手指、雙手伸出任意三個手指、雙手伸出任意四個手指、雙手伸出任意五個手指、雙手伸出任意六個手指、雙手伸出任意七個手指、雙手伸出任意八個手指和雙手伸出任意九個手指。下面具體描述一種在該手勢操作方式下的交互界面解鎖方法。圖6為根據本發(fā)明實施方式的三維空間點陣解鎖界面示意圖.
如圖6所示，三維交互界面中存在一個立方球形點陣列。用戶預設了一條三維路徑作為解鎖密碼。
在解鎖過程中，用戶的手進入手勢識別模塊的識別區(qū)域中，手勢識別模塊將實時的手勢數據(包括手勢移動軌跡信息和手勢形態(tài)信息)傳輸給運算處理模塊。運算處理模塊檢測到手的出現(xiàn)并實時分析手在三維空間位置的移動軌跡信息以及形態(tài)信息，并且在三維交互界面中生成對應用戶手的指針元素，該指針元素與用戶的手勢移動和形態(tài)保持一致。用戶控制狀態(tài)一(例如手掌狀態(tài))下的手移動指針元素到解鎖路徑的開始位置，然后用戶手狀態(tài)變?yōu)闋顟B(tài)二 (例如握拳狀態(tài))，保持握拳狀態(tài)并控制指針元素沿解鎖路徑進行移動，當移動到解鎖路徑末端時，觸發(fā)解鎖交互命令。下面具體描述一種在該手勢操作方式下進行菜單選擇的方法。圖7為根據本發(fā)明實施方式的三維空間菜單選擇界面示意圖。在三維交互界面中有一個用于激活選擇菜單的可交互元素，可交互元素既可以是三維虛擬交互空間中的某個特定的虛擬物體，也可以是交互界面中某些特定的區(qū)域。用戶通過移動在狀態(tài)一(例如手掌狀態(tài))下的手來移動交互界面中的手型指針元素到可交互元素的作用區(qū)域(比如:手型指針元素與可交互元素的距離小于某一個特定的門限值時)時，將觸發(fā)一個交互信號，該交互信號將使可交互兀素發(fā)生一個狀態(tài)變化，由一個一般的狀態(tài)轉變?yōu)闃酥局杀贿M一步交互的狀態(tài)，這種狀態(tài)變化包括:可交互元素A的顏色變化、和/或大小變化和/或提示聲音等等，從而提示用戶可以對其進行某種進一步的交互。接下來，用戶手的狀態(tài)從狀態(tài)一轉變?yōu)闋顟B(tài)二，用戶手的狀態(tài)變化將觸發(fā)一個交互信號，該交互信號標志著用戶開始基于可交互元素A進行進一步的交互操作，同時在交互界面中出現(xiàn)相應進一步交互操作的動態(tài)引導信息。在一個實施方式中，一種可能的動態(tài)引導信息為:可交互元素處生成三維分塊的餅型菜單，如圖7優(yōu)選的劃分為4個區(qū)域。每塊菜單項代表不同的交互意圖，不同區(qū)域所代表的交互意圖可以通過帶有·指向性含義的圖標或文字信息傳達給用戶。此時，三維交互界面中對應于用戶手的手型指針元素位于該虛擬交互球的中央，這時用戶通過手控制該手型指針元素向某個菜單項方向進行移動時，將激活相應移動方向上的代表某種交互意圖的交互區(qū)域，并向用戶實時傳達該區(qū)域被激活的相應反饋，這種反饋可以是該區(qū)域出現(xiàn)顏色、顏色亮暗、大小改變以及提示聲音等提示方式，并且隨著手型指針元素向著該方向的移動，對應的交互區(qū)域出現(xiàn)動態(tài)的帶一定透明度的顏色填充，填充飽滿度與交互球的球心與手型指針元素中心位置構成向量在該交互區(qū)域對應方向投影的長度成比例，即手型指針元素沿著該交互區(qū)域的方向移動越遠，該區(qū)域的填充飽滿度越高。手型指針元素沿該方向移動一定距離使該方向區(qū)域填充飽滿度達到100%，從而觸發(fā)該區(qū)域代表的交互意圖。綜上所述，在本發(fā)明實施方式中，用戶交互系統(tǒng)包括三維交互界面顯示模塊、手勢識別模塊和運算處理模塊，其中:三維交互界面顯示模塊，用于向用戶提供三維交互界面；手勢識別模塊，用于捕獲用戶瀏覽該三維交互界面做出的手勢移動軌跡信息和手勢形態(tài)信息，并將所述手勢移動信息和手勢形態(tài)信息發(fā)送到信息運算處理模塊；運算處理模塊，用于當判定該手勢移動軌跡信息與預先設定空間點之間的距離滿足預先設定的距離門限值，而且該手勢形態(tài)信息滿足預先設置的狀態(tài)切換條件時，確定相對應的交互操作命令，并將執(zhí)行該交互操作命令后的三維交互結果界面發(fā)送給三維交互界面顯示模塊；三維交互界面顯示模塊，進一步用于向用戶提供所述三維交互結果界面。本發(fā)明實施方式通過虛擬的三維界面與用戶手勢之間的交互，實現(xiàn)了一種用戶與硬件設備之間交互與獲取信息的方式，極大地增強了用戶體驗。而且，本發(fā)明實施的交互方式非常自然，符合人性的基本肢體動作(比如手勢)交互模式，而且降低了用戶對操作設備的學習成本，符合人體自然地交互操控與便攜信息處理硬件設備的分體設計，使人能夠更集中精力于其所關注的信息而不是硬件設備本身。而且，本發(fā)明實施方式還提出了一種自然交互技術的三維立體虛擬信息自然交互界面，該交互界面包含眾多三維立體可進行自然交互的元素。通過本發(fā)明實施方式所提出的解決方案，用戶可以自然地用手控制上述三維立體虛擬信息自然交互界面中對應于用戶手的虛擬指針，對三維立體虛擬信息自然交互界面進行自然交互。另外，本發(fā)明實施方式的獨特顯示方式使其受環(huán)境影響較小，給人提供高品質的感官體驗，并能夠保護信息的私密性。本發(fā)明實施方式通過直接視網膜掃描投影顯示方式可以將三維虛擬信息與現(xiàn)實實景融合在一起，給人提供增強現(xiàn)實的感官體驗，從而基于此可以衍生出大量的有意義的應用，進一步極大地提高用戶體驗。不僅于此，本發(fā)明實施方式可以應用與任何人機交互信息設備，其通用性將給人們帶來極大便利。以上所述，僅為本發(fā)明實施方式的較佳實施例而已，并非用于限定本發(fā)明實施方式的保護范圍。凡在本發(fā)明實施方式的精神和原則之內，所作的任何修改、等同替換、改進等，均應包含在本發(fā)明實施方式的`保護范圍之內。
權利要求
1.一種用戶交互系統(tǒng)，其特征在于，該系統(tǒng)包括三維交互界面顯示模塊、手勢識別模塊和運算處理模塊，其中: 三維交互界面顯示模塊，用于向用戶提供三維交互界面； 手勢識別模塊，用于捕獲用戶瀏覽該三維交互界面做出的手勢移動軌跡信息和手勢形態(tài)信息，并將所述手勢移動信息和手勢形態(tài)信息發(fā)送到信息運算處理模塊； 運算處理模塊，用于當判定該手勢移動軌跡信息與預先設定空間點之間的距離滿足預先設定的距離門限值，而且該手勢形態(tài)信息滿足預先設置的狀態(tài)切換條件時，確定相對應的交互操作命令，并將執(zhí)行該交互操作命令后的三維交互結果界面發(fā)送給三維交互界面顯示模塊； 三維交互界面顯示模塊，進一步用于向用戶提供所述三維交互結果界面。
2.根據權利要求1所述的用戶交互系統(tǒng)，其特征在于，所述運算處理模塊為移動終端、智能電視、計算機或基于云計算的信息服務平臺。
3.根據權利要求1所述的用戶交互系統(tǒng)，其特征在于， 運算處理模塊，進一步用于在三維交互界面上顯示空間虛擬指針元素，所述空間虛擬指針元素在三維交互界面上的運動軌跡與用戶瀏覽該三維交互界面做出的手勢移動軌跡保持一致，而且所述空間虛擬指針元素在三維交互界面上的手勢形態(tài)與用戶瀏覽該三維交互界面做出的手勢形態(tài)保持一致。
4.根據權利要求3所述的用戶交互系統(tǒng)，其特征在于，所述空間虛擬指針元素為手型點云形態(tài)、手型實體模型或手型透明輪廓。
5.根據權利要求1所述的用戶交互系統(tǒng)，其特征在于，所述三維交互界面顯示模塊為3D電視、3D頭戴式顯示器、3D投影儀`或3D全息顯示裝置。
6.根據權利要求5所述的用戶交互系統(tǒng)，其特征在于，該系統(tǒng)進一步包括佩戴于用戶頭部的視角感知單元； 視角感知單元，用于感測用戶頭部運動信息，并將所述用戶頭部運動信息發(fā)送到運算處理模塊； 運算處理模塊，還用于根據所述用戶頭部運動信息確定用戶實時視角，并實時向三維交互界面顯示模塊發(fā)送基于該用戶實時視角下的三維交互界面和三維交互結果界面。
7.一種用戶交互方法，其特征在于，該方法包括: 向用戶提供三維交互界面； 捕獲用戶瀏覽該三維交互界面做出的手勢移動軌跡信息和手勢形態(tài)信息； 當判定該手勢移動軌跡信息與預先設定空間點之間的距離滿足預先設定的距離門限值，而且該手勢形態(tài)信息滿足預先設置的狀態(tài)切換條件時，確定相對應的交互操作命令； 向用戶提供對應于執(zhí)行該交互操作命令后的三維交互結果界面。
8.根據權利要求7所述的用戶交互方法，其特征在于，該方法進一步包括: 在三維交互界面上顯示空間虛擬指針元素，所述空間虛擬指針元素在三維交互界面上的運動軌跡與用戶瀏覽該三維交互界面做出的手勢移動軌跡保持一致，而且所述空間虛擬指針元素在三維交互界面上的手勢形態(tài)與用戶瀏覽該三維交互界面做出的手勢形態(tài)保持—致。
9.根據權利要求7所述的用戶交互方法，其特征在于，所述空間虛擬指針元素為手型點云形態(tài)、手型實體模型或手型透明輪廓。
10.根據權利要求7所述的用戶交互方法，其特征在于，所述手勢形態(tài)信息滿足預先設置的狀態(tài)切換條件包括: 該手勢形態(tài)信息從第一狀態(tài)切換到不同于該第一狀態(tài)的第二狀態(tài)，所述第一狀態(tài)和第二狀態(tài)都從手勢狀態(tài)組中選擇，而且所述手勢狀態(tài)組包括: 單手握拳、單手掌心朝上手掌伸開、單手掌心朝下手掌伸開、單手伸出單個手指、單手伸出任意兩個手指、單手伸出任意三個手指、單手伸出任意四個手指、雙手握拳、雙手掌心朝上手掌伸開、雙手掌心朝下手掌伸開、雙手伸出單個手指、雙手伸出任意兩個手指、雙手伸出任意三個手指、雙手伸出任意四個手指、雙手伸出任意五個手指、雙手伸出任意六個手指、雙手伸出任意七個手指、雙手伸出任意八個手指和雙手伸出任意九個手指。
11.根據權利要求7所述的用戶交互方法，其特征在于，該方法進一步包括判斷該手勢移動軌跡信息與預先設定的移動軌跡信息特征是否匹配； 其中當判定該手勢移動軌跡信息與預先設定的移動軌跡信息特征相匹配，而且該手勢形態(tài)信息滿足預先設置的狀 態(tài)切換條件時，確定相對應的交互操作命令。
全文摘要
本發(fā)明實施方式公開了一種用戶交互系統(tǒng)和方法。三維交互界面顯示模塊，用于向用戶提供三維交互界面；手勢識別模塊，用于捕獲用戶瀏覽該三維交互界面做出的手勢移動軌跡信息和手勢形態(tài)信息，并將手勢移動信息和手勢形態(tài)信息發(fā)送到信息運算處理模塊；運算處理模塊，用于當判定該手勢移動軌跡信息與預先設定空間點之間的距離滿足預先設定的距離門限值，而且該手勢形態(tài)信息滿足預先設置的狀態(tài)切換條件時，確定相對應的交互操作命令，并將執(zhí)行該交互操作命令后的三維交互結果界面發(fā)送給三維交互界面顯示模塊；三維交互界面顯示模塊，進一步用于向用戶提供三維交互結果界面。
文檔編號G06F3/01GK103246351SQ20131019382
公開日2013年8月14日 申請日期2013年5月23日 優(yōu)先權日2013年5月23日
發(fā)明者劉廣松, 楊智 申請人:劉廣松