技術特征：

1.一種基于多傳感器測量與神經網(wǎng)絡學習的無人機操作員狀態(tài)評估方法，其特征在于，包括以下步驟：

步驟一：傳感器測量

利用溫度傳感器檢測操作員的體溫，用于監(jiān)測操作員不同情緒變化下的體溫分布情況；利用心率傳感器檢測操作員的心率，用于監(jiān)測操作員不同狀態(tài)如興奮、疲勞狀態(tài)下的心率變化；利用人體動作、姿態(tài)檢測的深度圖像傳感器檢測操作員的姿態(tài)行為，用于監(jiān)測操作員不同行為狀態(tài)下的姿態(tài)變化；利用面部表情的可見光圖像傳感器檢測操作員的面部表情，根據(jù)面部表情的變化檢測操作員的心情狀態(tài)；利用眼動儀傳感器檢測人的眼睛關注度，以及根據(jù)眼睛的閉合情況檢測眼睛疲勞狀態(tài)；利用人腦意念傳感器檢測操作員是否注意力集中；

步驟二、利用上述傳感器獲取的操作員狀態(tài)信息，構建多維特征空間樣本庫；根據(jù)不同操作員的樣本，設計相應的神經網(wǎng)絡訓練學習感知器，建立與上述傳感器特征與語義之間的映射關系；

步驟三：構建語義組合構建的樹形結構，給出操作員的狀態(tài)評估，估計操作員當前是否適合該任務，以及對無人機任務控制站任務可做出相應的調整。

2.根據(jù)權利要求1所述的基于多傳感器測量與神經網(wǎng)絡學習的無人機操作員狀態(tài)評估方法，其特征在于，步驟二包括以下步驟：

1)首先構建多維的特征空間樣本庫

人腦意念和眼動跟蹤可以輸出操作員的關注度，體溫和面部表情可以輸出操作員的心情，姿態(tài)可以判斷操作員的肢體行為，心率、眼動跟蹤以及姿態(tài)可以輸出操作員的疲勞度；

基于上述狀態(tài)信息確定操作員狀態(tài)特征輸入矢量X(人腦意念x₁，眼動跟蹤x₂，體溫x₃，面部表情x₄，姿態(tài)x₅，心率x₆)，

同時，確定操作員狀態(tài)特征目標矢量T(關注度T₁，心情T₂，肢體行為T₃，疲勞度T₄)；

2)設計相應的神經網(wǎng)絡訓練學習感知器

①確定輸入矢量X，目標矢量T，并由此確定各矢量的維數(shù)，r為輸入矢量P的維數(shù)，r＝6；s為目標矢量T的維數(shù)，s＝4；確定網(wǎng)絡結構大小的神經元節(jié)點數(shù)目q＝4⁴；

其數(shù)學模型可表示為

$Y=f\left(\underset{i=1}{\overset{n}{\Σ}}\right({\mathrm{\ω}}_i,\mathrm{...}{x}_i)-\mathrm{\θ})$

Y為神經元輸出，f為神經元非線性激勵函數(shù)，X＝(x₁,x₂,...,x₆)為神經元輸入，W＝(ω₁,ω₂,...,ω₆)為權矢量，其中包含多個權值，θ為神經元激活閾值；

②參數(shù)初始化，賦給權矢量W在(-1,1)的隨機非零初始值，給出最大訓練循環(huán)次數(shù)；

③網(wǎng)絡表達式：根據(jù)輸入矢量X以及跟新權矢量W，計算網(wǎng)絡輸出矢量Y；

④檢查：檢查輸出矢量Y與目標矢量T是否相同，如果是，或已達最大循環(huán)次數(shù)，訓練結束，否則轉入⑤；

⑤學習，根據(jù)下式所示，感知器的學習規(guī)則調整權矢量W，并返回③；

W＝W+EP^T

θ＝θ+E

此處E為誤差矢量，E＝T-Y；

3)最后建立與上述傳感器特征與語義之間的映射關系：

首先對狀態(tài)模型進行語義量化；

選擇很多對形容詞用于建立操作員狀態(tài)模型形容詞集，形容詞集如表1所示：

表1

1、悲傷的–快樂的5、輕松的–壓抑的2、疲勞的–平靜的6、注意力集中的–分散的3、焦慮的–中性的7、低頭的–抬頭的4、緊張的–放松的8、清晰的–模糊的

針對表1中的各個形容詞隊，如“疲勞的–平靜的”，將其分為四個等級進行評價，其評價可以是重度疲勞，輕微疲勞，良好，非常良好，分別對應的邊界條件為t₄₃，t₄₂，t₄₁，當疲勞度T₄大于操作員設定的閾值時T₄＞t₄₃，操作員重度疲勞，當T₄小于操作員設定的閾值時T₄＜t₄₁，操作員狀態(tài)非常良好；同樣的，將其他各形容詞隊分別將其分為四個等級進行評價；

然后建立狀態(tài)空間；

首先獲得各測試用戶對某一狀態(tài)m的第n對形容詞的評價量化值，再對某一狀態(tài)m的第n對形容詞量化值求平均，獲得一維矩陣Y_m＝[y_m1,y_m2,...,y_mn]，并按照公式進行標準化，得到矩陣X_m；

$x_{mn}=\frac{y_{mn}-{\stackrel{\‾}{y}}_n}{s_n}$

式中

設E為公共因子矩陣，Z為載荷矩陣，其中

$\begin{array}{cc}Z=\left(\begin{array}{ccc}{z}_{11}& ...& z_{1k}\\ & ...& \\ z_{N1}& ...& z_{Nk}\end{array}\right)& E=\left(\begin{array}{ccc}{e}_{11}& ...& e_{1k}\\ & ...& \\ e_{M1}& ...& e_{Mk}\end{array}\right)\end{array}$

式中，公共因子矩陣E的第m行e_m＝(e_m1,e_m2,...,e_mn)對每一操作用狀態(tài)m在狀態(tài)空間的坐標，載荷矩陣Z的第n行Z_n＝(Z_n1,Z_n2,...,Z_nk)對應形容詞n在K維空間的坐標；

再設U為獨特因子，D作為獨特因子的權值，為對獲得的矩陣X按公式做因子分析：

X＝EZ'+UD

通過以上步驟，將原先的N維操作員的狀態(tài)空間降至K維，形成K維的正交狀態(tài)空間，建立形容詞與操作員向量的映射。

3.根據(jù)權利要求2所述的基于多傳感器測量與神經網(wǎng)絡學習的無人機操作員狀態(tài)評估方法，其特征在于，步驟三包括以下步驟：

構建語義組合構建的樹形結構，從葉子節(jié)點開始，按照樹所表示的節(jié)點層次關系，從底層葉子節(jié)點開始逐層向上進行有序的組合，最終得到整個句子的語義表示；然后根據(jù)上述的語義量化，操作員關注度T₁，心情T₂，肢體行為T₃，疲勞度T₄，采用D-S證據(jù)決策，操作員的狀態(tài)評估為Q：

$Q=\frac{{\mathrm{\λ}}_1*T_1+{\mathrm{\λ}}_2*T_2+{\mathrm{\λ}}_3*T_3+{\mathrm{\λ}}_4*T_4}{1-{\mathrm{\λ}}_1*T_1+{\mathrm{\λ}}_2*T_2+{\mathrm{\λ}}_3*T_3+{\mathrm{\λ}}_4*T_4}$

λ_i為各種狀態(tài)的權值系數(shù)，其中λ₁*T₁+λ₂*T₂+λ₃*T₃+λ₄*T＜1；

最后給出操作員的狀態(tài)評估，估計操作員當前是否適合該任務，以及對控制站任務可做出相應的調整：當Q大于操作員設定的閾值時Q＞Q₁時，操作員不適合該任務，控制站自動處理該任務，并且提醒操作員該休息下；當Q₀＜Q＜Q₁時，操作員只適合部分該任務，控制站自動處理該任務，然后提示操作員確認該任務；當Q＜Q₀時，操作員適合該任務，控制站把該任務全權交給操作員。