光學(xué)和慣性體感數(shù)據(jù)融合的變電仿真人體運(yùn)動(dòng)捕捉方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及變電站仿真培訓(xùn)技術(shù)，具體是一種光學(xué)和慣性體感數(shù)據(jù)融合的變電仿 真人體運(yùn)動(dòng)捕捉方法。
【背景技術(shù)】
[0002] 變電站是電力系統(tǒng)的重要組成部分，隨著其自動(dòng)化程度的提高，對(duì)運(yùn)行維護(hù)人員 也提出了更高的要求。由于電力系統(tǒng)的特殊性，不能直接通過(guò)操作實(shí)際運(yùn)行中的電力設(shè)備 來(lái)進(jìn)行培訓(xùn)，因此進(jìn)行仿真培訓(xùn)就很有必要。變電站培訓(xùn)仿真系統(tǒng)(Transformer Training Simulator)是變電站培訓(xùn)的一種有效手段，是對(duì)理論學(xué)習(xí)和現(xiàn)場(chǎng)實(shí)踐學(xué)習(xí)的改進(jìn)和補(bǔ)充。 目前的變電站仿真培訓(xùn)軟件主要以接線圖、設(shè)備照片和現(xiàn)場(chǎng)錄像方式等常規(guī)多媒體方式作 為表現(xiàn)手段，其真實(shí)感、臨場(chǎng)感和表現(xiàn)力都有待改進(jìn)。由于變電站關(guān)鍵設(shè)備復(fù)雜、運(yùn)行安全 性要求高，運(yùn)行維護(hù)人員要在較短的時(shí)間內(nèi)掌握操作規(guī)程有很大難度。
[0003] 虛擬現(xiàn)實(shí)技術(shù)作為一種信息傳遞與交流的手段，可以直觀、逼真地為用戶提供設(shè) 備的結(jié)構(gòu)、操作規(guī)程、異常表現(xiàn)等可視化信息。虛擬現(xiàn)實(shí)軟件和硬件技術(shù)的迅速發(fā)展為其在 培訓(xùn)方面的應(yīng)用提供了基本條件和有力保障。采用虛擬現(xiàn)實(shí)技術(shù)和計(jì)算機(jī)仿真技術(shù)構(gòu)建合 適的可視化虛擬訓(xùn)練環(huán)境，代替物理樣機(jī)進(jìn)行訓(xùn)練，可有效克服利用實(shí)際設(shè)備進(jìn)行培訓(xùn)所 帶來(lái)的時(shí)間、場(chǎng)地和安全性上的限制，避免訓(xùn)練成本高和樣機(jī)易損壞等弊端。隨著虛擬現(xiàn)實(shí) (VR)技術(shù)的發(fā)展，采用VR技術(shù)為變電站仿真系統(tǒng)構(gòu)造虛擬環(huán)境，將大大提高變電站場(chǎng)景的 真實(shí)感和沉浸感，為變電站仿真培訓(xùn)工作帶來(lái)飛躍。通過(guò)虛擬現(xiàn)實(shí)技術(shù)構(gòu)建出逼真的變電 站三維場(chǎng)景及生產(chǎn)施工環(huán)境，通過(guò)虛擬化身在虛擬環(huán)境下完成動(dòng)作進(jìn)行任務(wù)訓(xùn)練，由沉浸 感環(huán)境充分體現(xiàn)變電站工作的難度和危險(xiǎn)性，以此提高受訓(xùn)人員在復(fù)雜現(xiàn)場(chǎng)正確操控的能 力，強(qiáng)化受訓(xùn)人員操控技能，提升受訓(xùn)人員的專業(yè)水平和心理適應(yīng)能力，提高應(yīng)對(duì)復(fù)雜危險(xiǎn) 工作時(shí)的效率，縮短上崗適應(yīng)期。
[0004] 沉浸式虛擬現(xiàn)實(shí)系統(tǒng)中，人體動(dòng)作的識(shí)別和跟蹤是人機(jī)交互的核心問題。運(yùn)動(dòng)捕 捉系統(tǒng)是一種用于準(zhǔn)確測(cè)量運(yùn)動(dòng)物體在三維空間運(yùn)動(dòng)狀況的高技術(shù)設(shè)備。運(yùn)動(dòng)捕捉 (motion capture)在國(guó)內(nèi)也稱動(dòng)作捕捉，是一個(gè)通過(guò)在時(shí)域上跟蹤一些關(guān)鍵點(diǎn)的運(yùn)動(dòng)來(lái)記 錄生物運(yùn)動(dòng)，然后將其轉(zhuǎn)換成可用的數(shù)學(xué)表達(dá)并合成一個(gè)單獨(dú)的3D運(yùn)動(dòng)的過(guò)程。20世紀(jì)80 年代，西蒙?弗雷澤大學(xué)（Simon Fraser University)的教授Calvert等人、麻省理工學(xué)院 (MIT)的Carol等人以及學(xué)者Robertson和Walters對(duì)運(yùn)動(dòng)捕捉技術(shù)進(jìn)行了深入的研究，推動(dòng) 了該技術(shù)的發(fā)展。20世紀(jì)90年代，以Tardif等人為代表的學(xué)者進(jìn)一步推動(dòng)了運(yùn)動(dòng)捕捉技術(shù)， 使得該技術(shù)日趨發(fā)展成熟。運(yùn)動(dòng)捕捉技術(shù)取得了突飛猛進(jìn)的發(fā)展，商業(yè)化的運(yùn)動(dòng)捕捉設(shè)備 相繼被推向市場(chǎng)，已被廣泛應(yīng)用于游戲、動(dòng)畫、人體工程學(xué)研究、模擬訓(xùn)練、虛擬現(xiàn)實(shí)等研究 領(lǐng)域。
[0005] 近年來(lái)，運(yùn)動(dòng)捕捉技術(shù)在訓(xùn)練和教育項(xiàng)目中得到了廣泛的應(yīng)用。馮利正等人分析 了運(yùn)動(dòng)捕捉技術(shù)在現(xiàn)代體育運(yùn)動(dòng)中的作用，提出可將該技術(shù)用于捕捉人體運(yùn)動(dòng)數(shù)據(jù)、運(yùn)動(dòng) 監(jiān)控、技術(shù)診斷與分析、輔助裁判裁決、運(yùn)動(dòng)康復(fù)等方面，但未給出具體的應(yīng)用實(shí)例。陳健等 人對(duì)采用運(yùn)動(dòng)捕捉技術(shù)獲取運(yùn)動(dòng)的關(guān)鍵參數(shù)、對(duì)技術(shù)動(dòng)作進(jìn)行量化分析的方法進(jìn)行了介 紹，并以劉翔的跨欄訓(xùn)練、高爾夫球輔助訓(xùn)練系統(tǒng)（GTRS-1)和舉重運(yùn)動(dòng)為例加以說(shuō)明。 Wright對(duì)利用運(yùn)動(dòng)捕捉技術(shù)進(jìn)行高爾夫教學(xué)訓(xùn)練作了詳細(xì)的調(diào)查研究，為教練及該領(lǐng)域研 究人員提供了理論參考。運(yùn)動(dòng)捕捉技術(shù)在其他訓(xùn)練和教學(xué)方面的應(yīng)用研究主要有Covaci等 人利用運(yùn)動(dòng)捕捉技術(shù)開發(fā)了一個(gè)虛擬的籃球訓(xùn)練系統(tǒng)，用戶可在沒有教師的情況下學(xué)習(xí)投 籃訓(xùn)練課程;張曉麗將運(yùn)動(dòng)捕捉技術(shù)應(yīng)用到了消防模擬訓(xùn)練，介紹了利用運(yùn)動(dòng)捕捉技術(shù)進(jìn) 行消防模擬訓(xùn)練的方法，并給出了基于運(yùn)動(dòng)捕捉技術(shù)的虛擬消防員在油罐滅火救援仿真訓(xùn) 練中的應(yīng)用案例。
[0006] 從已有的研究情況來(lái)看，使用最多的是光學(xué)式運(yùn)動(dòng)捕捉設(shè)備，以Vicon(維康）、 Motion Analysis(魔神）、Polhemus和3DSuit公司的產(chǎn)品居多。由于設(shè)備精密復(fù)雜，專業(yè)性 強(qiáng)，基于光學(xué)的大范圍運(yùn)動(dòng)捕捉系統(tǒng)造價(jià)高達(dá)幾十萬(wàn)至數(shù)百萬(wàn)，沉浸式虛擬現(xiàn)實(shí)系統(tǒng)的應(yīng) 用推廣往往受限于價(jià)格高昂的動(dòng)作捕捉設(shè)備。
[0007] 美國(guó)微軟公司在2010年11月推出了基于光學(xué)的體感游戲控制器Kinect。體感技術(shù) 的出現(xiàn)，被稱為人機(jī)交互的革命。Kinect配備有三個(gè)鏡頭，中間的鏡頭是RGB VGA攝像頭，左 右兩邊鏡頭則分別為紅外線發(fā)射器和紅外線CMOS攝像頭所構(gòu)成的3D深度感應(yīng)器。另外， Kinect還帶有一個(gè)馬達(dá)，可以調(diào)整攝像頭的上下角度，以適應(yīng)不同的應(yīng)用場(chǎng)合。傳統(tǒng)的攝像 機(jī)僅能獲取物體的RGB信息，而深度攝像機(jī)在獲取色彩信息的同時(shí)，通過(guò)發(fā)射紅外線，獲取 往返的相位差獲取深度信息。Kinect采用的是結(jié)構(gòu)光技術(shù)的一種變種。
[0008] Dimitrios Alexiadis，Petros Daras等人將Kinect應(yīng)用于舞蹈動(dòng)作評(píng)估及編輯 系統(tǒng)，通過(guò)將演員骨骼關(guān)節(jié)點(diǎn)運(yùn)動(dòng)與事先記錄的奧運(yùn)冠軍的骨骼關(guān)節(jié)點(diǎn)運(yùn)動(dòng)進(jìn)行對(duì)比，來(lái) 指導(dǎo)糾正演員的舞蹈動(dòng)作。John Stowers、Michael Hayes等人憑借Kinect可以廉價(jià)、精確 的獲取物體在三維空間中位置信息的功能，將其用來(lái)控制小型環(huán)境探測(cè)飛機(jī)的高度，并取 得了較好的效果。K.Lothrop等利用獲取的深度信息進(jìn)行人體與背景的分割，可進(jìn)行手語(yǔ)的 翻譯。M.Skubic等人利用Kinect對(duì)老人進(jìn)行監(jiān)護(hù)，通過(guò)骨骼跟蹤和深度圖像的分割獲取監(jiān) 護(hù)老人的步伐數(shù)據(jù)，包括步長(zhǎng)、步速、走路時(shí)間。廣東電網(wǎng)有限責(zé)任公司教育培訓(xùn)評(píng)價(jià)中心 的陳永波研究了基于Kinect體態(tài)識(shí)別的場(chǎng)景漫游技術(shù)，實(shí)現(xiàn)了虛擬人物在仿真場(chǎng)景中的漫 游和轉(zhuǎn)向控制。但Kinect的最佳捕捉范圍在2-3.5m的范圍內(nèi)，動(dòng)作識(shí)別率較高，在此范圍之 外識(shí)別率急劇下降；同時(shí)kinect體感捕捉交互技術(shù)在手勢(shì)和肢體旋轉(zhuǎn)識(shí)別方面還存在一些 不足，識(shí)別的精度與速度也有待提高。
[0009]隨著技術(shù)的發(fā)展，在機(jī)械電動(dòng)式的基礎(chǔ)上出現(xiàn)了微傳感器，它采用MEMS (Microelectro Mechanical Systems，微機(jī)電系統(tǒng))技術(shù)，集成傳感器和執(zhí)行器等器件，靈 敏度高、誤差小、價(jià)格低。將它放置在人體待測(cè)部位，配合無(wú)線傳感器網(wǎng)絡(luò)技術(shù)能可靠地獲 取人體運(yùn)動(dòng)的全面數(shù)據(jù)。無(wú)線微傳感器運(yùn)動(dòng)獲取系統(tǒng)能夠很好的突破光學(xué)動(dòng)作捕捉系統(tǒng)的 缺點(diǎn)，為獲取人體運(yùn)動(dòng)信息提供一種新的解決方案。慣性人體動(dòng)作捕捉技術(shù)借助無(wú)線傳感 器網(wǎng)絡(luò)，人體的運(yùn)動(dòng)形式將更加豐富，極大地?cái)[脫了光學(xué)器件對(duì)人體的約束，將獲取更加全 面的人體運(yùn)動(dòng)數(shù)據(jù)。
[0010]在基于慣性傳感器的人體運(yùn)動(dòng)捕捉方面，2011年，北京理工大學(xué)的劉博開展了基 于慣性傳感器動(dòng)作捕捉系統(tǒng)開發(fā)設(shè)計(jì);2012年，南京大學(xué)徐經(jīng)煒開展了基于無(wú)線傳感器的 人體行為識(shí)別研究；2013年山東大學(xué)李路進(jìn)行了基于多傳感器的人體運(yùn)動(dòng)模式識(shí)別研究； 2013年上海交通大學(xué)郭志虎進(jìn)行了基于微慣性全姿態(tài)測(cè)量人體運(yùn)動(dòng)捕捉系統(tǒng)研究。慣性傳 感器中的磁力計(jì)和加速度計(jì)在測(cè)量重力場(chǎng)和磁場(chǎng)的同時(shí)會(huì)受到高頻隨機(jī)噪聲的干擾，此外 信號(hào)在測(cè)量和傳輸過(guò)程中也會(huì)有不同程度的脈沖噪聲產(chǎn)生。陀螺儀主要用來(lái)測(cè)量載體的角 速度，積分運(yùn)算中的誤差會(huì)得到累積。
[0011] 綜上所述，目前應(yīng)用廣泛的光學(xué)跟蹤系統(tǒng)，由于其具有非接觸測(cè)量和可測(cè)高速運(yùn) 動(dòng)的物體等其他方式不具備的特點(diǎn)，在動(dòng)畫等娛樂產(chǎn)業(yè)得到了廣泛的應(yīng)用。但是光學(xué)跟蹤 系統(tǒng)也有其缺點(diǎn)，裝置標(biāo)定較為繁瑣、數(shù)據(jù)處理算法復(fù)雜、計(jì)算量大、當(dāng)光學(xué)標(biāo)記點(diǎn)被遮擋 時(shí)無(wú)法工作，大范圍運(yùn)動(dòng)捕捉系統(tǒng)造價(jià)高;Kinect作為基于光學(xué)跟蹤的體感設(shè)備，造價(jià)低， 但測(cè)量跟蹤范圍小，精度不高，不能實(shí)現(xiàn)精細(xì)動(dòng)作的識(shí)別?；趹T性傳感器的運(yùn)動(dòng)捕捉系統(tǒng) 存在無(wú)法進(jìn)行絕對(duì)定位，無(wú)法消除累計(jì)誤差等問題。
[0012] 2014年，浙江大學(xué)張姹研究了基于光學(xué)和慣性跟蹤數(shù)據(jù)融合的上肢運(yùn)動(dòng)測(cè)量技 術(shù)，取得了一定成果，但采用了美國(guó)Natural Point公司的光學(xué)跟蹤系統(tǒng)Optitrack，需要進(jìn) 行光學(xué)標(biāo)記點(diǎn)設(shè)置而且造價(jià)高；同時(shí)，僅開展了上肢運(yùn)動(dòng)建模工作，不能滿足變電仿真虛擬 環(huán)境中虛擬人全身運(yùn)動(dòng)捕捉的要求。