本發(fā)明涉及無(wú)人機(jī)系統(tǒng)
技術(shù)領(lǐng)域：
，具體涉及一種基于多傳感器測(cè)量與神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的無(wú)人機(jī)操作員狀態(tài)評(píng)估方法。
背景技術(shù)：
：隨著無(wú)人機(jī)自動(dòng)化程度的提高，操作員對(duì)無(wú)人機(jī)的控制由低級(jí)的基于行為的控制轉(zhuǎn)變?yōu)楦呒?jí)的基于知識(shí)的控制，這種基于知識(shí)的控制就是監(jiān)督控制。在監(jiān)督控制中，飛行控制是由系統(tǒng)自動(dòng)完成的，操作員主要是負(fù)責(zé)高層的任務(wù)管理和載荷管理。傳統(tǒng)指揮控制一架無(wú)人機(jī)經(jīng)常需要多個(gè)操作員，監(jiān)督控制則使得單個(gè)操作員控制多架無(wú)人機(jī)成為可能，一方面平臺(tái)自動(dòng)化程度的提高為這種轉(zhuǎn)變提供了技術(shù)支持，另一方面網(wǎng)絡(luò)中心戰(zhàn)要求平臺(tái)間的交互為這種轉(zhuǎn)變提供了動(dòng)力。在執(zhí)行任務(wù)過(guò)程中地面站操作員仍然擁有操縱飛機(jī)的最終決定權(quán)，無(wú)人機(jī)系統(tǒng)仍屬于人在回路的系統(tǒng)，其作戰(zhàn)使用離不開(kāi)人的指揮控制，大量的顯示信息及控制需求使地面站操作員的工作負(fù)荷和操作難度增大容易導(dǎo)致誤判和誤操作。公開(kāi)號(hào)為101868284A的專利文獻(xiàn)提出一種用于基于傳感器測(cè)量來(lái)提供交互性的方法及系統(tǒng)，是一種用于客人的傳感器測(cè)量來(lái)向體驗(yàn)場(chǎng)所的客人提供交互性的系統(tǒng)。公開(kāi)號(hào)為105082150A的專利文獻(xiàn)，公開(kāi)了一種基于用戶情緒及意圖識(shí)別的機(jī)器人人機(jī)交互方法，利用生物信號(hào)、面部表情以及利用語(yǔ)音交互實(shí)現(xiàn)人機(jī)交互，主要用于老人和小孩等使用者。公開(kāi)號(hào)為105292476A的專利文獻(xiàn)公開(kāi)了一種無(wú)人機(jī)的控制方法及系統(tǒng)，利用腦電波判斷無(wú)人機(jī)操作員大腦是否清醒。因此，從多傳感器測(cè)量角度，研究無(wú)人機(jī)操作人員工作狀態(tài)，為更好的監(jiān)督控制多無(wú)人機(jī)系統(tǒng)提供依據(jù)。技術(shù)實(shí)現(xiàn)要素：本發(fā)明提出了一種基于多傳感器測(cè)量與神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的無(wú)人機(jī)操作員狀態(tài)評(píng)估方法。多傳感器主要包括測(cè)量操作員姿態(tài)、面部表情、眼動(dòng)跟蹤、體溫，心率的傳感器，以及人腦意念的傳感器。利用這些傳感器獲取操作員狀態(tài)信息，構(gòu)建多維特征空間樣本庫(kù)。根據(jù)不同操作員的樣本，用神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練和學(xué)習(xí)，建立與上述傳感器特征與語(yǔ)義之間的映射關(guān)系，從而估計(jì)出操作員的決策等級(jí)。該方法適用于具有不同熟練程度的各種層次的無(wú)人機(jī)操作員，可以更加直觀的掌握操作員的實(shí)時(shí)狀態(tài)，估計(jì)操作員當(dāng)前是否適合該任務(wù)，以及對(duì)任務(wù)可做出相應(yīng)的調(diào)整。一種基于多傳感器測(cè)量與神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的無(wú)人機(jī)操作員狀態(tài)評(píng)估方法，包括以下步驟：步驟一：傳感器測(cè)量利用溫度傳感器檢測(cè)操作員的體溫，用于監(jiān)測(cè)操作員不同情緒變化下的體溫分布情況。利用心率傳感器檢測(cè)操作員的心率，用于監(jiān)測(cè)操作員不同狀態(tài)如興奮、疲勞狀態(tài)下的心率變化。利用人體動(dòng)作、姿態(tài)檢測(cè)的深度圖像傳感器檢測(cè)操作員的姿態(tài)行為，用于監(jiān)測(cè)操作員不同行為狀態(tài)下的姿態(tài)變化。利用面部表情的可見(jiàn)光圖像傳感器檢測(cè)操作員的面部表情，根據(jù)面部表情的變化檢測(cè)操作員的心情狀態(tài)。利用眼動(dòng)儀傳感器檢測(cè)人的眼睛關(guān)注度，以及根據(jù)眼睛的閉合情況檢測(cè)眼睛疲勞狀態(tài)。利用人腦意念傳感器檢測(cè)操作員是否注意力集中。步驟二、利用上述傳感器獲取的操作員狀態(tài)信息，構(gòu)建多維特征空間樣本庫(kù)；根據(jù)不同操作員的樣本，設(shè)計(jì)相應(yīng)的神經(jīng)網(wǎng)絡(luò)訓(xùn)練學(xué)習(xí)感知器，建立與上述傳感器特征與語(yǔ)義之間的映射關(guān)系。1)首先構(gòu)建多維的特征空間樣本庫(kù)人腦意念和眼動(dòng)跟蹤可以輸出操作員的關(guān)注度，體溫和面部表情可以輸出操作員的心情，姿態(tài)可以判斷操作員的肢體行為，心率、眼動(dòng)跟蹤以及姿態(tài)可以輸出操作員的疲勞度。基于上述狀態(tài)信息確定操作員狀態(tài)特征輸入矢量X(人腦意念x1，眼動(dòng)跟蹤x2，體溫x3，面部表情x4，姿態(tài)x5，心率x6)。同時(shí)，確定操作員狀態(tài)特征目標(biāo)矢量T(關(guān)注度T1，心情T(mén)2，肢體行為T(mén)3，疲勞度T4)。2)設(shè)計(jì)相應(yīng)的神經(jīng)網(wǎng)絡(luò)訓(xùn)練學(xué)習(xí)感知器①確定輸入矢量X，目標(biāo)矢量T，并由此確定各矢量的維數(shù)，r為輸入矢量P的維數(shù)，r＝6；s為目標(biāo)矢量T的維數(shù)，s＝4；確定網(wǎng)絡(luò)結(jié)構(gòu)大小的神經(jīng)元節(jié)點(diǎn)數(shù)目q＝44。其數(shù)學(xué)模型可表示為Y為神經(jīng)元輸出，f為神經(jīng)元非線性激勵(lì)函數(shù)，X＝(x1,x2,...,x6)為神經(jīng)元輸入，W＝(ω1,ω2,...,ω6)為權(quán)矢量，其中包含多個(gè)權(quán)值，θ為神經(jīng)元激活閾值。②參數(shù)初始化，賦給權(quán)矢量W在(-1,1)的隨機(jī)非零初始值，給出最大訓(xùn)練循環(huán)次數(shù)。③網(wǎng)絡(luò)表達(dá)式：根據(jù)輸入矢量X以及跟新權(quán)矢量W，計(jì)算網(wǎng)絡(luò)輸出矢量Y。④檢查：檢查輸出矢量Y與目標(biāo)矢量T是否相同，如果是，或已達(dá)最大循環(huán)次數(shù)，訓(xùn)練結(jié)束，否則轉(zhuǎn)入⑤。⑤學(xué)習(xí)，根據(jù)下式所示，感知器的學(xué)習(xí)規(guī)則調(diào)整權(quán)矢量W，并返回③。W＝W+EPTθ＝θ+E此處E為誤差矢量，E＝T-Y。3)最后建立與上述傳感器特征與語(yǔ)義之間的映射關(guān)系：首先對(duì)狀態(tài)模型進(jìn)行語(yǔ)義量化；選擇很多對(duì)形容詞用于建立操作員狀態(tài)模型形容詞集，形容詞集如表1所示：表11、悲傷的–快樂(lè)的5、輕松的–壓抑的2、疲勞的–平靜的6、注意力集中的–分散的3、焦慮的–中性的7、低頭的–抬頭的4、緊張的–放松的8、清晰的–模糊的針對(duì)表1中的各個(gè)形容詞隊(duì)，如“疲勞的–平靜的”，將其分為四個(gè)等級(jí)進(jìn)行評(píng)價(jià)，其評(píng)價(jià)可以是重度疲勞，輕微疲勞，良好，非常良好，分別對(duì)應(yīng)的邊界條件為t43，t42，t41，當(dāng)疲勞度T4大于操作員設(shè)定的閾值時(shí)T4＞t43，操作員重度疲勞，當(dāng)T4小于操作員設(shè)定的閾值時(shí)T4＜t41，操作員狀態(tài)非常良好；同樣的，將其他各形容詞隊(duì)分別將其分為四個(gè)等級(jí)進(jìn)行評(píng)價(jià)。然后建立狀態(tài)空間；首先獲得各測(cè)試用戶對(duì)某一狀態(tài)m的第n對(duì)形容詞的評(píng)價(jià)量化值，再對(duì)某一狀態(tài)m的第n對(duì)形容詞量化值求平均，獲得一維矩陣Ym＝[ym1,ym2,...,ymn]，并按照公式進(jìn)行標(biāo)準(zhǔn)化，得到矩陣Xm；式中設(shè)E為公共因子矩陣，Z為載荷矩陣，其中式中，公共因子矩陣E的第m行em＝(em1,em2,...,emn)對(duì)每一操作用狀態(tài)m在狀態(tài)空間的坐標(biāo)，載荷矩陣Z的第n行Zn＝(Zn1,Zn2,...,Znk)對(duì)應(yīng)形容詞n在K維空間的坐標(biāo)。再設(shè)U為獨(dú)特因子，D作為獨(dú)特因子的權(quán)值，為對(duì)獲得的矩陣X按公式做因子分析：X＝EZ'+UD通過(guò)以上步驟，將原先的N維操作員的狀態(tài)空間降至K維，形成K維的正交狀態(tài)空間，建立形容詞與操作員向量的映射。步驟三：構(gòu)建語(yǔ)義組合構(gòu)建的樹(shù)形結(jié)構(gòu)，給出操作員的狀態(tài)評(píng)估，估計(jì)操作員當(dāng)前是否適合該任務(wù)，以及對(duì)無(wú)人機(jī)任務(wù)控制站任務(wù)可做出相應(yīng)的調(diào)整。構(gòu)建語(yǔ)義組合構(gòu)建的樹(shù)形結(jié)構(gòu)，從葉子節(jié)點(diǎn)開(kāi)始，按照樹(shù)所表示的節(jié)點(diǎn)層次關(guān)系，從底層葉子節(jié)點(diǎn)開(kāi)始逐層向上進(jìn)行有序的組合，最終得到整個(gè)句子的語(yǔ)義表示。然后根據(jù)上述的語(yǔ)義量化，操作員關(guān)注度T1，心情T(mén)2，肢體行為T(mén)3，疲勞度T4，采用D-S證據(jù)決策，操作員的狀態(tài)評(píng)估為Q：λi為各種狀態(tài)的權(quán)值系數(shù)，其中λ1*T1+λ2*T2+λ3*T3+λ4*T＜1；最后給出操作員的狀態(tài)評(píng)估，估計(jì)操作員當(dāng)前是否適合該任務(wù)，以及對(duì)控制站任務(wù)可做出相應(yīng)的調(diào)整。當(dāng)Q大于操作員設(shè)定的閾值時(shí)Q＞Q1時(shí)，操作員不適合該任務(wù)，控制站自動(dòng)處理該任務(wù)，并且提醒操作員該休息下；當(dāng)Q0＜Q＜Q1時(shí)，操作員只適合部分該任務(wù)，控制站自動(dòng)處理該任務(wù)，然后提示操作員確認(rèn)該任務(wù)；當(dāng)Q＜Q0時(shí)，操作員適合該任務(wù)，控制站把該任務(wù)全權(quán)交給操作員。本發(fā)明提出了一種基于多傳感器測(cè)量與神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的無(wú)人機(jī)操作員狀態(tài)評(píng)估方法，建立與上述傳感器特征與語(yǔ)義之間的映射關(guān)系，從而估計(jì)出操作員的決策等級(jí)。該方法便于更加直觀地掌握操作員的實(shí)時(shí)狀態(tài)，估計(jì)操作員當(dāng)前是否適合該任務(wù)，以及對(duì)任務(wù)可做出相應(yīng)的調(diào)整。由于采用了神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法，可建立不同操作員的特征空間，因此，適用于具有不同熟練程度的各種層次的無(wú)人機(jī)操作員。附圖說(shuō)明圖1為本發(fā)明的流程圖，圖2為各個(gè)傳感器輸出操作員的各種狀態(tài)，圖3為神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖，圖4句子組合關(guān)系樹(shù)狀層次圖。具體實(shí)施方式下面結(jié)合附圖和具體實(shí)施方式對(duì)本發(fā)明作進(jìn)一步說(shuō)明。本發(fā)明旨在提供一種基于多傳感器測(cè)量與神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的無(wú)人機(jī)操作員狀態(tài)評(píng)估方法，建立與上述傳感器特征與語(yǔ)義之間的映射關(guān)系，從而估計(jì)出操作員的決策等級(jí)。該方法便于更加直觀地掌握操作員的實(shí)時(shí)狀態(tài)，估計(jì)操作員當(dāng)前是否適合該任務(wù)，以及對(duì)任務(wù)可做出相應(yīng)的調(diào)整。由于采用了神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法，可建立不同操作員的特征空間，因此，適用于具有不同熟練程度的各種層次的無(wú)人機(jī)操作員。下面結(jié)合附圖，說(shuō)明本方法的具體實(shí)施方式。如圖1所示為本發(fā)明的流程圖。無(wú)人機(jī)操作員狀態(tài)特征提取主要通過(guò)多種傳感器檢測(cè)無(wú)人機(jī)操作員的各種狀態(tài)信號(hào)。傳感器包括用于操作員體溫檢測(cè)的溫度傳感器，用于監(jiān)測(cè)操作員心率的心率傳感器，用于操作員人體動(dòng)作、姿態(tài)檢測(cè)的深度圖像傳感器，用于檢測(cè)操作員面部表情的可見(jiàn)光圖像傳感器，用于操作員眼睛關(guān)注度和眼睛疲勞檢測(cè)的眼動(dòng)儀傳感器，以及用于操作員人腦意念檢測(cè)的人腦意念傳感器。操作員的體溫檢測(cè)可以檢測(cè)不同情緒變化下的體溫；心率傳感器檢測(cè)人的心率變換，如在興奮、疲勞狀態(tài)下人的心率不同；人體動(dòng)作、姿態(tài)檢測(cè)傳感器檢測(cè)姿態(tài)行為，處于不同狀態(tài)的人，表現(xiàn)的姿態(tài)上也有可能不一樣；面部表情的傳感器可以檢測(cè)操作員心情狀態(tài)，比如開(kāi)心，憤怒等；眼睛關(guān)注度傳感器檢測(cè)人的關(guān)注度，也可以檢測(cè)疲勞狀態(tài)；人腦意念傳感器主要檢測(cè)操作員是否注意力集中。通過(guò)上述多種傳感器獲得這些特征量化后，根據(jù)不同操作員的樣本，在基于神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法上進(jìn)行訓(xùn)練，建立與上述傳感器特征與語(yǔ)義之間的映射關(guān)系，該映射關(guān)系主要是利用訓(xùn)練中的數(shù)據(jù)庫(kù)、知識(shí)庫(kù)、規(guī)則庫(kù)轉(zhuǎn)化的數(shù)值符號(hào)和語(yǔ)義概念合成，利用這些特征量化值作為特征輸入，通過(guò)語(yǔ)義輸出操作員各種狀態(tài)，估計(jì)該狀態(tài)下的操作員適合該任務(wù)的等級(jí)。最后無(wú)人機(jī)任務(wù)控制站系統(tǒng)以語(yǔ)義的方式反饋回操作員，使得操作員更加直觀的掌握實(shí)時(shí)的狀態(tài)信息。1)首先構(gòu)建多維的特征空間樣本庫(kù)圖2為各個(gè)傳感器輸出操作員的各種狀態(tài)，其中根據(jù)人腦意念和眼動(dòng)跟蹤可以輸出操作員的關(guān)注度，體溫和面部表情可以輸出操作員的心情，姿態(tài)可以判斷操作員的肢體行為，心率、眼動(dòng)跟蹤以及姿態(tài)可以輸出操作員的疲勞度。然后根據(jù)這些狀態(tài)輸出操作員的狀態(tài)負(fù)載等級(jí)，最后根據(jù)負(fù)載等級(jí)無(wú)人機(jī)任務(wù)控制站提示因該給予操作員的任務(wù)等級(jí)。因此，基于上述狀態(tài)信息確定操作員狀態(tài)特征輸入矢量X(人腦意念x1，眼動(dòng)跟蹤x2，體溫x3，面部表情x4，姿態(tài)x5，心率x6)，操作員狀態(tài)特征目標(biāo)矢量T(關(guān)注度T1，心情T(mén)2，肢體行為T(mén)3，疲勞度T4)。語(yǔ)義網(wǎng)是如何把特征向量構(gòu)建神經(jīng)網(wǎng)絡(luò)的語(yǔ)義基礎(chǔ)，如圖3所示為神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖，語(yǔ)義網(wǎng)是基于有向圖描述事物、概念、屬性、動(dòng)作、狀態(tài)及其之間的關(guān)聯(lián)關(guān)系的知識(shí)表示模式。在上文中獲得的目標(biāo)圖像特征，用語(yǔ)義網(wǎng)理論加以描述，分析目標(biāo)圖像特征信息與其內(nèi)容之間的內(nèi)在關(guān)聯(lián)關(guān)系。建立目標(biāo)圖像知識(shí)表示模式，為神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)圖像語(yǔ)義提供支持。神經(jīng)網(wǎng)絡(luò)信息存儲(chǔ)分布在連接權(quán)值上，使網(wǎng)絡(luò)局部輸入信息的不準(zhǔn)確并不會(huì)影響網(wǎng)絡(luò)輸出的正確性，具有較高的容錯(cuò)性和魯棒性。每個(gè)神經(jīng)元根據(jù)接收輸入信息獨(dú)立運(yùn)算，輸入下層處理，具有并行處理信息能力。神經(jīng)網(wǎng)絡(luò)將信息處理和信息存儲(chǔ)分離，反映了網(wǎng)絡(luò)對(duì)信息的記憶聯(lián)想能力。2)設(shè)計(jì)相應(yīng)的神經(jīng)網(wǎng)絡(luò)訓(xùn)練學(xué)習(xí)感知器①確定輸入矢量X，目標(biāo)矢量T，并由此確定各矢量的維數(shù)，r為輸入矢量P的維數(shù)，r＝6；s為目標(biāo)矢量T的維數(shù)，s＝4；確定網(wǎng)絡(luò)結(jié)構(gòu)大小的神經(jīng)元節(jié)點(diǎn)數(shù)目q＝44。其數(shù)學(xué)模型可表示為Y為神經(jīng)元輸出，f為神經(jīng)元非線性激勵(lì)函數(shù)，X＝(x1,x2,...,x6)為神經(jīng)元輸入，W＝(ω1,ω2,...,ω6)為權(quán)矢量，其中包含多個(gè)權(quán)值，θ為神經(jīng)元激活閾值。②參數(shù)初始化，賦給權(quán)矢量W在(-1,1)的隨機(jī)非零初始值，給出最大訓(xùn)練循環(huán)次數(shù)。③網(wǎng)絡(luò)表達(dá)式：根據(jù)輸入矢量X以及跟新權(quán)矢量W，計(jì)算網(wǎng)絡(luò)輸出矢量Y。④檢查：檢查輸出矢量Y與目標(biāo)矢量T是否相同，如果是，或已達(dá)最大循環(huán)次數(shù)，訓(xùn)練結(jié)束，否則轉(zhuǎn)入⑤。⑤學(xué)習(xí)，根據(jù)下式所示，感知器的學(xué)習(xí)規(guī)則調(diào)整權(quán)矢量W，并返回③。W＝W+EPTθ＝θ+E此處E為誤差矢量，E＝T-Y。3)最后建立與上述傳感器特征與語(yǔ)義之間的映射關(guān)系.操作員各種狀態(tài)模型建立。操作員各種狀態(tài)模型的建立主要包括兩步，一是對(duì)狀態(tài)模型進(jìn)行語(yǔ)義量化，二是建立狀態(tài)空間。選擇很多對(duì)形容詞用于建立操作員狀態(tài)模型形容詞集，形容詞對(duì)如表1所示：表1形容詞集1、悲傷的–快樂(lè)的5、輕松的–壓抑的2、疲勞的–平靜的6、注意力集中的–分散的3、焦慮的–中性的7、低頭的–抬頭的4、緊張的–放松的8、清晰的–模糊的針對(duì)表1中的各個(gè)形容詞隊(duì)，如“疲勞的–平靜的”，將其分為四個(gè)等級(jí)進(jìn)行評(píng)價(jià)，其評(píng)價(jià)可以是重度疲勞，輕微疲勞，良好，非常良好，分別對(duì)應(yīng)的邊界條件為t43，t42，t41，當(dāng)疲勞度T4大于操作員設(shè)定的閾值時(shí)T4＞t43，操作員重度疲勞，當(dāng)T4小于操作員設(shè)定的閾值時(shí)T4＜t41，操作員狀態(tài)非常良好。同樣的，將其他各形容詞隊(duì)分別將其分為多個(gè)等級(jí)進(jìn)行評(píng)價(jià)。如將關(guān)注度T1分為高度集中、集中、關(guān)注度低、沒(méi)關(guān)注四個(gè)等級(jí)，分別對(duì)應(yīng)的邊界條件為t13，t12，t11，當(dāng)關(guān)注度T1大于操作員設(shè)定的閾值時(shí)T1＞t13，操作員沒(méi)關(guān)注，當(dāng)T1小于操作員設(shè)定的閾值時(shí)T1＜t11，操作員高度集中。同理可將心情T(mén)2分為中性、厭惡、憤怒三個(gè)等級(jí)，將肢體行為T(mén)3分為直視、低頭、換動(dòng)三個(gè)等級(jí)。然后建立狀態(tài)空間：首先獲得各測(cè)試用戶對(duì)某一狀態(tài)m的第n對(duì)形容詞的評(píng)價(jià)量化值，再對(duì)某一狀態(tài)m的第n對(duì)形容詞量化值求平均，獲得一維矩陣Ym＝[ym1,ym2,...,ymn]，并按照公式進(jìn)行標(biāo)準(zhǔn)化，得到矩陣Xm；式中設(shè)E為公共因子矩陣，Z為載荷矩陣，其中式中，公共因子矩陣E的第m行em＝(em1,em2,...,emn)對(duì)每一操作用狀態(tài)m在狀態(tài)空間的坐標(biāo)，載荷矩陣Z的第n行Zn＝(Zn1,Zn2,...,Znk)對(duì)應(yīng)形容詞n在K維空間的坐標(biāo)；再設(shè)U為獨(dú)特因子，D作為獨(dú)特因子的權(quán)值，為對(duì)獲得的矩陣X按公式做因子分析：X＝EZ'+UD通過(guò)以上步驟，將原先的N維操作員的狀態(tài)空間降至K維，形成K維的正交狀態(tài)空間，建立形容詞與操作員向量的映射。語(yǔ)義組合構(gòu)建，由于語(yǔ)義組合構(gòu)建需要使用到文本不同成分之間的語(yǔ)義表達(dá)的組合關(guān)系，故需要把上述工具分析得到的結(jié)果按照分析器定義的依存關(guān)系次序進(jìn)行變換，就可以得到整個(gè)句子的組合關(guān)系樹(shù)狀層級(jí)圖，如圖4所示。按照?qǐng)D4所示的樹(shù)狀結(jié)構(gòu)，從葉子節(jié)點(diǎn)開(kāi)始，按照樹(shù)所表示的節(jié)點(diǎn)層次關(guān)系，從底層葉子節(jié)點(diǎn)開(kāi)始逐層向上進(jìn)行有序的組合，最終得到整個(gè)句子的語(yǔ)義表示。文中對(duì)上圖樹(shù)中兩個(gè)子節(jié)點(diǎn)進(jìn)行組合。然后根據(jù)語(yǔ)義組合構(gòu)建的樹(shù)形結(jié)構(gòu)，利用神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的結(jié)果填充不同類(lèi)型的語(yǔ)義詞，最后給出操作員的狀態(tài)評(píng)估，估計(jì)操作員當(dāng)前是否適合該任務(wù)，以及對(duì)任務(wù)可做出相應(yīng)的調(diào)整。采用D-S證據(jù)決策，操作員的狀態(tài)評(píng)估為Q。λi為各種狀態(tài)的權(quán)值系數(shù)，其中λ1*T1+λ2*T2+λ3*T3+λ4*T＜1。最后給出操作員的狀態(tài)評(píng)估，估計(jì)操作員當(dāng)前是否適合該任務(wù)，以及對(duì)控制站任務(wù)可做出相應(yīng)的調(diào)整。當(dāng)Q大于操作員設(shè)定的閾值時(shí)Q＞Q1時(shí)，操作員不適合該任務(wù)，控制站自動(dòng)處理該任務(wù)，并且提醒操作員該休息下。當(dāng)Q0＜Q＜Q1時(shí)，操作員只適合部分該任務(wù)，控制站自動(dòng)處理該任務(wù)，然后提示操作員確認(rèn)該任務(wù)。當(dāng)Q＜Q0時(shí)，操作員適合該任務(wù)，控制站把該任務(wù)全權(quán)交給操作員。對(duì)不同時(shí)刻下無(wú)人機(jī)操作員的狀態(tài)進(jìn)行檢測(cè)，檢測(cè)疲勞、心情、表情、關(guān)注度以及行為，建立特征矩陣X，然后根據(jù)語(yǔ)義組合已經(jīng)構(gòu)建的語(yǔ)義網(wǎng)絡(luò)采用神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方法，構(gòu)建語(yǔ)義學(xué)習(xí)的結(jié)果。當(dāng)操作員操作時(shí)間越長(zhǎng)時(shí)，操作員的狀態(tài)會(huì)變的不好，最后根據(jù)所有操作員的狀態(tài)利用D-S證據(jù)決策對(duì)數(shù)據(jù)的融合估計(jì)操作員是否適合該任務(wù)或者操作。該語(yǔ)義學(xué)習(xí)的結(jié)果如表2所示?？梢钥闯?，操作員連續(xù)工作的時(shí)間越長(zhǎng)，精神狀態(tài)越差，當(dāng)操作員連續(xù)工作1小時(shí)左右，操作員就不太適合該任務(wù)的操作，或者需要更換其他的任務(wù)，或者休息。表2神經(jīng)網(wǎng)絡(luò)語(yǔ)義學(xué)習(xí)不同時(shí)刻的無(wú)人機(jī)操作員狀態(tài)當(dāng)前第1頁(yè)1 2 3