專利名稱：基于運(yùn)動(dòng)軌跡識(shí)別的人機(jī)交互方法及裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及虛擬現(xiàn)實(shí)技術(shù)中的人機(jī)交互技術(shù)，具體是一種基于運(yùn)動(dòng)軌跡識(shí)別的人 機(jī)交互方法及裝置。
背景技術(shù)：
鼠標(biāo)、鍵盤等傳統(tǒng)計(jì)算機(jī)輸入設(shè)備具有體積大、受空間局限和需要輔助支撐物的 缺點(diǎn)，而基于非觸控式手勢(shì)識(shí)別的方法依靠手勢(shì)采集裝置獲取手勢(shì)數(shù)據(jù)并進(jìn)行識(shí)別，活動(dòng) 范圍大，特別適合于人遠(yuǎn)離計(jì)算機(jī)時(shí)的操控。因此，基于手勢(shì)識(shí)別等非傳統(tǒng)輸入方法的人機(jī) 交互技術(shù)，以其能遠(yuǎn)距離、方便、快捷的操控計(jì)算機(jī)，近年來受到了廣泛關(guān)注。非觸控式手勢(shì)識(shí)別一般使用攝像頭或者數(shù)據(jù)手套獲取手勢(shì)動(dòng)作，然后將手勢(shì)數(shù)據(jù) 傳送給手勢(shì)識(shí)別程序進(jìn)行識(shí)別?；跀?shù)據(jù)手套的方法，需要配戴專門的手勢(shì)獲取裝置，成本 高，不靈活；基于攝像頭的方法，不需要攜帶專門的設(shè)備，活動(dòng)范圍大，使用靈活，但手勢(shì)識(shí) 別過程較復(fù)雜，識(shí)別花費(fèi)的時(shí)間長(zhǎng)，識(shí)別準(zhǔn)確率不高，為了提高識(shí)別效率需要專門的識(shí)別硬 件。所以，傳統(tǒng)的基于非觸控式手勢(shì)識(shí)別方法都存在一定的缺陷。

發(fā)明內(nèi)容
本發(fā)明的主要目的在于針對(duì)現(xiàn)有技術(shù)存在的上述的缺陷，提供基于運(yùn)動(dòng)軌跡識(shí)別 的人機(jī)交互方法及裝置，可實(shí)現(xiàn)簡(jiǎn)單、高效和遠(yuǎn)距離的操控計(jì)算機(jī)。用戶只需手持一件標(biāo)識(shí) 物，通過向不同方向移動(dòng)標(biāo)識(shí)物來實(shí)現(xiàn)遠(yuǎn)距離操控計(jì)算機(jī)?；谶\(yùn)動(dòng)軌跡識(shí)別的人機(jī)交互方法具體步驟為(1)標(biāo)識(shí)物啟用檢測(cè)通過基于顏色直方圖匹配的方法檢測(cè)標(biāo)識(shí)物是否已啟用； 標(biāo)識(shí)物不使用時(shí)隱藏在用戶的口袋或者手中，初始時(shí)系統(tǒng)狀態(tài)為標(biāo)識(shí)物未啟用；未啟用階 段，標(biāo)識(shí)物啟用檢測(cè)模塊每隔0. 5秒捕獲一幀圖像進(jìn)行啟用檢測(cè)；當(dāng)用戶拿出標(biāo)識(shí)物并停 留約0. 5秒鐘，檢測(cè)模塊使用預(yù)置的當(dāng)前標(biāo)識(shí)物特征，在捕獲的圖像幀中搜索，如果存在匹 配項(xiàng)，系統(tǒng)狀態(tài)轉(zhuǎn)換為標(biāo)識(shí)物已啟用，并記錄標(biāo)識(shí)物的所在位置作為后續(xù)跟蹤的起始位置； 否則繼續(xù)保持標(biāo)識(shí)物未啟用狀態(tài)；(2)標(biāo)識(shí)物跟蹤通過基于Camshift的目標(biāo)跟蹤方法跟蹤標(biāo)識(shí)物的運(yùn)動(dòng)軌跡；用 戶手持標(biāo)識(shí)物停留后，便按照一定的軌跡移動(dòng)標(biāo)識(shí)物，移動(dòng)完成時(shí)間控制在1-2秒；當(dāng)系統(tǒng) 狀態(tài)轉(zhuǎn)換為標(biāo)識(shí)物已啟用時(shí)將觸發(fā)標(biāo)識(shí)物跟蹤模塊連續(xù)捕獲1. 5-2秒的視頻，對(duì)該視頻進(jìn) 行基于Camshift方法的標(biāo)識(shí)物跟蹤，獲得標(biāo)識(shí)物的運(yùn)動(dòng)軌跡；(3)軌跡識(shí)別通過基于人工神經(jīng)網(wǎng)絡(luò)的方法識(shí)別標(biāo)識(shí)物運(yùn)動(dòng)軌跡；運(yùn)動(dòng)軌跡的 編碼采用八方向歸一化鏈碼，在獲取標(biāo)識(shí)物運(yùn)動(dòng)軌跡后，將其輸入到已經(jīng)訓(xùn)練好的人工神 經(jīng)網(wǎng)絡(luò)中進(jìn)行識(shí)別；輸出結(jié)果與哪一種預(yù)置軌跡最接近，就被識(shí)別為此種軌跡；識(shí)別成功 后，根據(jù)預(yù)先定義的軌跡種類與計(jì)算機(jī)控制命令的對(duì)應(yīng)關(guān)系觸發(fā)該計(jì)算機(jī)控制命令，如鼠 標(biāo)左鍵單擊、雙擊。實(shí)現(xiàn)上述方法的裝置，包括標(biāo)識(shí)物，圖像采集模塊和圖像處理模塊，標(biāo)識(shí)物為彩
3色，手掌大小，顏色與用戶衣著及周圍環(huán)境有所區(qū)別即可，易于攜帶，是軌跡跟蹤的目標(biāo)物； 圖像采集模塊中的攝像頭面向用戶，負(fù)責(zé)采集用戶的圖像并輸入到圖像處理模塊中；圖像 處理模塊包括標(biāo)識(shí)物啟用檢測(cè)、標(biāo)識(shí)物跟蹤和運(yùn)動(dòng)軌跡識(shí)別3個(gè)子模塊，其中標(biāo)識(shí)物啟用 檢測(cè)模塊負(fù)責(zé)檢測(cè)標(biāo)識(shí)物是否已經(jīng)啟用，標(biāo)識(shí)物跟蹤模塊負(fù)責(zé)獲取標(biāo)識(shí)物的運(yùn)動(dòng)軌跡，運(yùn) 動(dòng)軌跡識(shí)別模塊負(fù)責(zé)識(shí)別出當(dāng)前運(yùn)動(dòng)軌跡的類型，并轉(zhuǎn)化為該類型對(duì)應(yīng)的計(jì)算機(jī)控制命 令。所述的圖像采集模塊包括一攝像頭，所述的圖像處理模塊包括一臺(tái)連接以上攝像 頭的計(jì)算機(jī)。本發(fā)明具有以下優(yōu)點(diǎn)和效果本發(fā)明是一種簡(jiǎn)單、便捷的人機(jī)交互方式，用戶僅需 手持一彩色標(biāo)識(shí)物，按照不同軌跡移動(dòng)標(biāo)識(shí)物，即可實(shí)現(xiàn)對(duì)計(jì)算機(jī)的簡(jiǎn)單控制；本發(fā)明使用 了基于運(yùn)動(dòng)軌跡識(shí)別的技術(shù)，解決了傳統(tǒng)的基于手勢(shì)識(shí)別技術(shù)中需要佩戴專門的設(shè)備，識(shí) 別過程復(fù)雜，需要專門的識(shí)別硬件的缺陷，提供了一種簡(jiǎn)單、高效的操作方式，可以遠(yuǎn)距離 操控計(jì)算機(jī)；本發(fā)明的裝置體積小巧，操作方便，只需將攝像頭連接到受控計(jì)算機(jī)，用戶手 持標(biāo)識(shí)物即可使用。


圖1為本發(fā)明實(shí)施例的硬件結(jié)構(gòu)示意圖；圖中標(biāo)記1_標(biāo)識(shí)物；2-攝像頭；3-受控計(jì)算機(jī)。圖2為本發(fā)明實(shí)施例的工作流程示意圖。
具體實(shí)施例方式實(shí)施例如圖1所示，基于運(yùn)動(dòng)軌跡識(shí)別的人機(jī)交互系統(tǒng)由標(biāo)識(shí)物1、圖像采集模塊(包括 攝像頭2)和圖像處理模塊(包括受控計(jì)算機(jī)3)3部分組成。標(biāo)識(shí)物1為彩色，手掌大小， 易于攜帶，顏色有別于用戶衣著及周圍環(huán)境，用戶可以方便的隱藏和展示標(biāo)識(shí)物，例如使用 橙紅色、直徑約為8cm的圓形硬紙片作為標(biāo)識(shí)物；圖像采集模塊包括一攝像頭2，負(fù)責(zé)實(shí)時(shí) 采集用戶的圖像并輸入到圖像處理模塊中，攝像頭2通過USB接口直接連接到受控計(jì)算機(jī) 3 ；圖像處理模塊運(yùn)行在受控計(jì)算機(jī)3上，負(fù)責(zé)處理采集到的圖像和觸發(fā)相應(yīng)受控計(jì)算機(jī)3 控制命令，包括3個(gè)子模塊標(biāo)識(shí)物啟用檢測(cè)、標(biāo)識(shí)物跟蹤和運(yùn)動(dòng)軌跡識(shí)別，其中標(biāo)識(shí)物啟 用檢測(cè)模塊負(fù)責(zé)檢測(cè)標(biāo)識(shí)物是否已經(jīng)啟用，標(biāo)識(shí)物跟蹤模塊負(fù)責(zé)獲得標(biāo)識(shí)物1的運(yùn)動(dòng)軌 跡，運(yùn)動(dòng)軌跡識(shí)別模塊負(fù)責(zé)識(shí)別出該運(yùn)動(dòng)軌跡的類型，并觸發(fā)其對(duì)應(yīng)的受控計(jì)算機(jī)3控制 命令。如圖2所示，本發(fā)明的工作流程如下首先，系統(tǒng)初始化需要預(yù)置當(dāng)前標(biāo)識(shí)物1特 征、自定義的運(yùn)動(dòng)軌跡種類及對(duì)應(yīng)的受控計(jì)算機(jī)3控制命令。標(biāo)識(shí)物1特征通過計(jì)算其顏色 直方圖得到，每種自定義的運(yùn)動(dòng)軌跡需要使用多個(gè)樣本輸入到運(yùn)動(dòng)軌跡識(shí)別模塊的人工神 經(jīng)網(wǎng)絡(luò)中進(jìn)行學(xué)習(xí)，訓(xùn)練好該人工神經(jīng)網(wǎng)絡(luò)分類器。系統(tǒng)初始化的狀態(tài)為標(biāo)識(shí)物1未啟用， 此時(shí)圖像采集模塊以0. 5秒采集一幀的頻率采集圖像，并輸入到圖像處理模塊的標(biāo)識(shí)物啟 用檢測(cè)中，如果此時(shí)用戶沒有展示出標(biāo)識(shí)物1，那么繼續(xù)保持標(biāo)識(shí)物未啟用狀態(tài)，以0. 5秒 的間隔采集圖像，不會(huì)進(jìn)入后續(xù)的跟蹤和識(shí)別；如果用戶展示出標(biāo)識(shí)物1并停留0. 5秒左右，由圖像采集的頻率可知必定能夠采集到包含了標(biāo)識(shí)物1的圖像，所以檢測(cè)模塊就能夠 檢測(cè)到該標(biāo)識(shí)物1，記錄其位置作為跟蹤的初始位置，系統(tǒng)狀態(tài)轉(zhuǎn)為標(biāo)識(shí)物1已啟用。同時(shí)， 標(biāo)識(shí)物跟蹤模塊將控制圖像采集模塊連續(xù)捕獲1. 5秒左右的視頻圖像，并使用Camshift目 標(biāo)跟蹤方法跟蹤標(biāo)識(shí)物1的運(yùn)動(dòng)軌跡。獲得軌跡之后，系統(tǒng)狀態(tài)轉(zhuǎn)為標(biāo)識(shí)物1未啟用，等待 用戶的下一次操作，同時(shí)軌跡識(shí)別模塊對(duì)獲取的運(yùn)動(dòng)軌跡進(jìn)行八方向歸一化鏈碼編碼，并 輸入到人工神經(jīng)網(wǎng)絡(luò)分類器中進(jìn)行識(shí)別，識(shí)別的軌跡種類將觸發(fā)對(duì)應(yīng)的受控計(jì)算機(jī)3控制 命令。
權(quán)利要求
1.一種基于運(yùn)動(dòng)軌跡識(shí)別的人機(jī)交互方法，其特征在于具體步驟為(1)標(biāo)識(shí)物啟用檢測(cè)通過基于顏色直方圖匹配的方法檢測(cè)標(biāo)識(shí)物是否已啟用；標(biāo)識(shí) 物不使用時(shí)隱藏在用戶的口袋或者手中，初始時(shí)系統(tǒng)狀態(tài)為標(biāo)識(shí)物未啟用；未啟用階段， 標(biāo)識(shí)物啟用檢測(cè)模塊每隔0. 5秒捕獲一幀圖像進(jìn)行啟用檢測(cè)；當(dāng)用戶拿出標(biāo)識(shí)物并停留約 0. 5秒鐘，檢測(cè)模塊使用預(yù)置的當(dāng)前標(biāo)識(shí)物特征，在捕獲的圖像幀中搜索，如果存在匹配項(xiàng)， 系統(tǒng)狀態(tài)轉(zhuǎn)換為標(biāo)識(shí)物已啟用，并記錄標(biāo)識(shí)物的所在位置作為后續(xù)跟蹤的起始位置；否則 繼續(xù)保持標(biāo)識(shí)物未啟用狀態(tài)；(2)標(biāo)識(shí)物跟蹤通過基于Camshift的目標(biāo)跟蹤方法跟蹤標(biāo)識(shí)物的運(yùn)動(dòng)軌跡；用戶手 持標(biāo)識(shí)物停留后，便按照一定的軌跡移動(dòng)標(biāo)識(shí)物，移動(dòng)完成時(shí)間控制在1-2秒；當(dāng)系統(tǒng)狀態(tài) 轉(zhuǎn)換為標(biāo)識(shí)物已啟用時(shí)將觸發(fā)標(biāo)識(shí)物跟蹤模塊連續(xù)捕獲1. 5-2秒的視頻，對(duì)該視頻進(jìn)行基 于Camshift方法的標(biāo)識(shí)物跟蹤，獲得標(biāo)識(shí)物的運(yùn)動(dòng)軌跡；(3)軌跡識(shí)別通過基于人工神經(jīng)網(wǎng)絡(luò)的方法識(shí)別標(biāo)識(shí)物運(yùn)動(dòng)軌跡；運(yùn)動(dòng)軌跡的編碼 采用八方向歸一化鏈碼，在獲取標(biāo)識(shí)物運(yùn)動(dòng)軌跡后，將其輸入到已經(jīng)訓(xùn)練好的人工神經(jīng)網(wǎng) 絡(luò)中進(jìn)行識(shí)別；輸出結(jié)果與哪一種預(yù)置軌跡最接近，就被識(shí)別為此種軌跡；識(shí)別成功后，根 據(jù)預(yù)先定義的軌跡種類與計(jì)算機(jī)控制命令的對(duì)應(yīng)關(guān)系觸發(fā)該受控計(jì)算機(jī)控制命令。
2.一種實(shí)現(xiàn)權(quán)利要求1所述方法的裝置，其特征在于包括標(biāo)識(shí)物(1)，圖像采集模塊和 圖像處理模塊；標(biāo)識(shí)物(1)為彩色，手掌大小，顏色與用戶衣著及周圍環(huán)境有所區(qū)別即可； 圖像采集模塊中的攝像頭(2)面向用戶；圖像處理模塊包括標(biāo)識(shí)物啟用檢測(cè)、標(biāo)識(shí)物跟蹤 和運(yùn)動(dòng)軌跡識(shí)別3個(gè)子模塊；所述的圖像處理模塊包括一臺(tái)連接上述攝像頭(2)的受控計(jì) 算機(jī)(3)。
全文摘要
本發(fā)明公開了基于運(yùn)動(dòng)軌跡識(shí)別的人機(jī)交互方法及裝置。該方法包括步驟標(biāo)識(shí)物啟用檢測(cè)、標(biāo)識(shí)物跟蹤和軌跡識(shí)別，根據(jù)用戶操作標(biāo)識(shí)物運(yùn)動(dòng)所形成的軌跡，識(shí)別軌跡的類型并觸發(fā)相應(yīng)的計(jì)算機(jī)控制命令來操控計(jì)算機(jī)。該裝置包括標(biāo)識(shí)物，圖像采集模塊和圖像處理模塊，首先通過圖像采集模塊實(shí)時(shí)采集用戶操作標(biāo)識(shí)物的圖像，然后輸入到圖像處理模塊中進(jìn)行標(biāo)識(shí)物啟用檢測(cè)、跟蹤和軌跡識(shí)別，最后將軌跡識(shí)別種類轉(zhuǎn)化成對(duì)應(yīng)的計(jì)算機(jī)控制命令。本發(fā)明提供了一種簡(jiǎn)單、便捷的人機(jī)交互方式，能實(shí)現(xiàn)遠(yuǎn)距離的操控計(jì)算機(jī)。
文檔編號(hào)G06F3/01GK102103409SQ20111002473
公開日2011年6月22日 申請(qǐng)日期2011年1月20日 優(yōu)先權(quán)日2011年1月20日
發(fā)明者楊鐵軍, 黃琳 申請(qǐng)人:桂林理工大學(xué)