本發(fā)明虛擬現(xiàn)實領域，具體涉及一種基于腦機接口的虛擬現(xiàn)實多級菜單交互方法。

背景技術：

為幫助嚴重身體有缺陷的人群解決交流互動問題，在1991年wolpaw等人發(fā)表了通過改變腦電信號中的μ節(jié)律幅度來控制光標移動的成果，提出了一種全新的自動控制概念-大腦驅(qū)動控制技術bac，簡稱腦電控制，與手動控制、語音控制相比，腦電控制為利用大腦脈沖信號去控制計算機、發(fā)動機或者其它裝置。只需要提取相關腦電信號，經(jīng)過預處理后，經(jīng)過計算機模式識別分類后，就能通過不同的分類的信號，驅(qū)動計算機完全不同功能。自從bac技術問世以來，由于該項技術巨大的應用前景，可以應用于病人康復、軍事演練、場景模擬等，各國大量的研究人員投入了巨大的精力對相關技術進行了研究。

特別針對于在用來幫助身體有缺陷的人群進行交流互動的虛擬系統(tǒng)程序中，程序需要能夠執(zhí)行不同的功能，虛擬系統(tǒng)程序的界面通常比較復雜，一個虛擬系統(tǒng)程序往往具有多層次菜單跟選項模塊分別對應不同的功能。如何在一個具有多層次菜單跟功能模塊的虛擬系統(tǒng)中，進行快速的搜索、選擇和切換，達到特定的功能選擇，是一個關鍵問題，為了解決上述問題，提供一種基于腦機接口的虛擬現(xiàn)實多級菜單交互方法。

技術實現(xiàn)要素：

本發(fā)明針對現(xiàn)有技術的不足，提出一種基于腦機接口的虛擬現(xiàn)實多級菜單交互方法，具體技術方案如下：

一種基于腦機接口的虛擬現(xiàn)實多級菜單交互方法，其特征在于：

采用以下步驟，

步驟1：使用者戴上腦電采集帽，打開虛擬現(xiàn)實系統(tǒng)，進入腦機交互界面；

步驟2：在腦機交互界面生成有不同選項，每個選項對應一個p300虛擬鍵，使用者選擇需要的p300虛擬鍵；

步驟3：判斷該p300虛擬鍵對應的選項是否為子目錄，如果是則進入該子目錄，腦機交互界面更新為該子目錄的腦機交互界面，按照步驟2處理；

否則進入下一步驟；

步驟4：判斷該選項是否為文本輸入類型，若為文本輸入類型，則進入下一步驟，否則，進入步驟6；

步驟5：腦機交互界面切換為文本輸入界面，文本輸入界面的選擇字符均為p300虛擬鍵，使用者字符輸入完成后，按照輸入指令執(zhí)行對應的功能；

步驟6：執(zhí)行該選項的功能。

為更好的實現(xiàn)本發(fā)明，可進一步為：所述步驟2包括以下步驟：

步驟21：在腦機交互界面生成有不同選項，每個選項對應一個p300虛擬鍵；

步驟22：使用者注視著與需要選取選項對應的p300虛擬鍵；

步驟23：每個p300虛擬鍵隨機閃爍一次，在p300虛擬鍵閃爍的同時，腦電采集帽同步對頭皮腦電信號進行采集，將頭皮腦電信號進行帶通濾波，將腦電數(shù)據(jù)截取0-600ms的采樣點，對所述0-600ms的采樣點進行1/6下采樣，將該1/6下采樣數(shù)據(jù)構(gòu)成一個特征向量，計算機存儲每個p300虛擬鍵閃爍時，對應的特征向量；

步驟24：將上述步驟22至步驟23重復n遍，計算機對于所有的p300虛擬鍵均生成有對應的n個特征向量，該n個特征向量構(gòu)成特征向量集d1；

步驟25：將特征向量集d1通過分類系統(tǒng)進行分類，確定使用者選擇的p300虛擬鍵。

進一步地：所述步驟5包括以下步驟：

步驟51：腦機交互界面切換為文本輸入界面，文本輸入界面的選擇字符均為p300虛擬鍵；

步驟52：使用者注視著要選取的選擇字符；

步驟53：每個選擇字符隨機閃爍一次，在選擇字符閃爍的同時，腦電采集帽同步對頭皮腦電信號進行采集，將頭皮腦電信號進行帶通濾波，將腦電數(shù)據(jù)截取0-600ms的采樣點，對所述0-600ms的采樣點進行1/6下采樣，將該1/6下采樣數(shù)據(jù)構(gòu)成一個特征向量，計算機存儲每個選擇字符閃爍時對應的特征向量；

步驟54：將上述步驟52至步驟53重復n遍，計算機對于所有的選擇字符均生成有對應的n個特征向量，該n個特征向量構(gòu)成特征向量集d2；

步驟55：將特征向量集d2通過分類系統(tǒng)進行分類，確定使用者選擇的字符；

步驟56：按步驟52至步驟55重復，直到完成文本輸入；

步驟57：按照輸入指令執(zhí)行對應的功能。

本發(fā)明的有益效果為：第一，解決了目前基于虛擬現(xiàn)實的腦機交互方法中存在的單用戶、單一功能的局限性，該交互方法可以進行連續(xù)的交互操作。第二，能夠在文本輸入框、選擇項、多目錄之間進行查找切換，能夠深入到目錄最底層，進行的目標選擇。如果是文字輸入類目標，則界面切換為p300文本輸入界面，使用p300信號檢測實現(xiàn)文字輸入。如果不是文本輸入類目標。則通過p300腦電電位信息，以及虛擬現(xiàn)實反饋信息判定信息類型，完成交互。

附圖說明

圖1為本發(fā)明的流程圖；

圖2為本虛擬歌廳點歌系統(tǒng)的結(jié)構(gòu)圖；

圖3為腦機交互界面示意圖；

圖4為文本輸入框示意圖。

具體實施方式

下面結(jié)合附圖對本發(fā)明的較佳實施例進行詳細闡述，以使本發(fā)明的優(yōu)點和特征能更易于被本領域技術人員理解，從而對本發(fā)明的保護范圍做出更為清楚明確的界定。

本發(fā)明具體實施例如圖1至圖4所示，以一種虛擬現(xiàn)實歌廳點歌系統(tǒng)為例，一種基于腦機接口的虛擬現(xiàn)實多級菜單交互方法，

采用以下步驟，

步驟1：使用者戴上腦電采集帽，打開虛擬音樂點歌系統(tǒng)，進入腦機交互界面，該虛擬音樂點歌系統(tǒng)由四級子系統(tǒng)構(gòu)成；

步驟2：在腦機交互界面生成有歌星點歌、拼音點歌和歌名點歌三個選項，每個選項對應一個p300虛擬鍵；

步驟3：使用者注視著與需要選取選項對應的p300虛擬鍵，此處假設使用者盯著對應與歌名點歌選項相關的p300虛擬鍵；

步驟4：每個p300虛擬鍵隨機閃爍一次，在p300虛擬鍵閃爍的同時，腦電采集帽同步對頭皮腦電信號進行采集，將頭皮腦電信號進行帶通濾波，將腦電數(shù)據(jù)截取0-600ms的采樣點，對上述0-600ms的采樣點進行1/6下采樣，將該1/6下采樣數(shù)據(jù)構(gòu)成一個特征向量，計算機存儲每個p300虛擬鍵閃爍時對應的特征向量；

步驟5：將上述步驟4重復3遍，計算機對于所有的p300虛擬鍵均生成有對應的3個特征向量，該3個特征向量構(gòu)成特征向量集d1；

步驟6：將特征向量集d1通過分類系統(tǒng)進行分類，確定使用者選擇的p300虛擬鍵，此處，該p300虛擬鍵與歌名點歌選項對應，具體為，每個p300虛擬鍵把3輪中對應的3個向量特征的和進行疊加，再求平均，如第一個p300虛擬鍵的特征向量均值為d平均：

將每個p300虛擬鍵對應的3輪特征向量分別求d平均，得到特征向量集d1＝[d1,d2,d3]，將特征向量集d1＝[d1,d2,d3]進行分類和波形檢測，得到3個分類結(jié)果s＝[s1,s2,s3]和3個波形檢測結(jié)果w＝[w1,w2,w3]，其中對分類結(jié)果s只保留其最大的前2個分值并將其余置零；將分類結(jié)果s和波形檢測結(jié)果w相乘，得到r^t：

r^t是一個包含m個非零值的3維行向量；

遍歷r^t，若不存在則當前輪無目標輸出，返回步驟3繼續(xù)檢測；若存在則為目標輸出；

步驟7：判斷該p300虛擬鍵對應的選項是否為子目錄，該處子目錄為歌名點歌，如果是則進入子目錄，該處子目錄為歌名翻頁，腦機交互界面更新為歌名翻頁的腦機交互界面，按照步驟3至步驟6處理；

否則進入下一步驟；

步驟8：判斷該選項是否為文本輸入類型，該處為歌星點歌和拼音點歌，若為歌星點歌或者拼音點歌，則進入下一步驟，否則，進入步驟16；

步驟9：腦機交互界面切換為文本輸入界面，文本輸入界面的選擇字符均為p300虛擬鍵，該選擇字符共有28個字符；

步驟10：使用者注視著要選取的選擇字符；

步驟11：每個選擇字符隨機閃爍一次，在選擇字符閃爍的同時，腦電采集帽同步對頭皮腦電信號進行采集，將頭皮腦電信號進行帶通濾波，將腦電數(shù)據(jù)截取0-600ms的采樣點，對上述0-600ms的采樣點進行1/6下采樣(每6個采樣點選取一個)，將該1/6下采樣數(shù)據(jù)構(gòu)成一個特征向量，計算機存儲每個選擇字符閃爍時，對應的特征向量；

步驟12：將上述步驟11重復3遍，計算機對于28個選擇字符均生成有對應的3個特征向量；

步驟13：將28個字符中的每個選擇字符對應的3個特征向量分別通過分類系統(tǒng)進行分類，確定使用者選擇的字符，具體為：

n＝3表示共3輪，每個字符把3輪的3個向量特征和疊加，再求平均，如一個字符的特征向量均值為d平均：

將28個字符中每個字符對應的3輪特征向量分別求d平均，得到特征向量集d2＝[d1,d2,...,d28]，將該特征向量集d2＝[d1,d2,...,d28]進行分類和波形檢測，得到28個分類結(jié)果s＝[s1,s2,...，si,...,s28]和28個波形檢測結(jié)果w＝[w1,w2,...,wi,...,w28]，其中對分類結(jié)果s只保留其最大的前5個分值并將其余置零；將分類結(jié)果s和波形檢測結(jié)果w相乘，得到r^t：

r^t是一個包含m個非零值的28維行向量；

遍歷r^t，若不存在則當前輪無目標輸出，返回步驟10繼續(xù)檢測；若存在則為目標輸出；

步驟14：按步驟10至步驟13重復選擇，直到完成文本輸入，該處為歌星名字輸入完成或者拼音輸入完成；

步驟15：按照輸入指令執(zhí)行對應的功能；

步驟16：執(zhí)行播放音樂的功能。