本發(fā)明涉及航空安全事件多模態(tài)數(shù)據(jù)處理與分類(lèi)識(shí)別，具體涉及一種跨模態(tài)交互補(bǔ)全的航空安全事件識(shí)別方法。

背景技術(shù)：

1、隨著移動(dòng)通信設(shè)備和互聯(lián)網(wǎng)絡(luò)的普及，當(dāng)航空空難事故發(fā)生時(shí)，目擊者可以方便地使用智能手機(jī)記錄空難發(fā)生時(shí)的場(chǎng)景，并通過(guò)社交媒體上傳相關(guān)的文本、圖像和視頻。這些數(shù)據(jù)通常帶有客觀(guān)的信息，并且能夠迅速傳播開(kāi)來(lái)，并用于間接信息的推演識(shí)別，以實(shí)現(xiàn)通過(guò)火源、煙的跡象，推測(cè)事故地點(diǎn)、原因和損害程度等。因此，充分利用社交媒體上的多模態(tài)數(shù)據(jù)，成為航空安全信息管理的重要補(bǔ)充措施。這些信息的收集和管理，可以為航空安全事件的后續(xù)分析提供重要依據(jù)。

2、然而，實(shí)際中的多模態(tài)數(shù)據(jù)發(fā)生模態(tài)缺失的現(xiàn)象較為普遍，即在某些情況下，文本、圖像或視頻中的某一模態(tài)可能缺失或不完整。這種模態(tài)缺失會(huì)對(duì)后續(xù)的數(shù)據(jù)處理和分析任務(wù)造成干擾，降低分析的準(zhǔn)確性和可靠性。現(xiàn)有的技術(shù)方法通常依賴(lài)于所有模態(tài)的完整性，缺乏有效的方法來(lái)應(yīng)對(duì)模態(tài)缺失的情況，導(dǎo)致在處理和分析多模態(tài)數(shù)據(jù)時(shí)，信息的利用效率不高，無(wú)法充分發(fā)揮多模態(tài)數(shù)據(jù)在航空安全事件分析中的潛力。

技術(shù)實(shí)現(xiàn)思路

1、鑒于上述問(wèn)題，本發(fā)明提供了一種跨模態(tài)交互補(bǔ)全的航空安全事件識(shí)別方法，解決了現(xiàn)有技術(shù)中航空安全事件判斷時(shí)模態(tài)不完整導(dǎo)致降低分析的準(zhǔn)確性和可靠性的技術(shù)問(wèn)題。

2、本發(fā)明提供了一種跨模態(tài)交互補(bǔ)全的航空安全事件識(shí)別方法，包括以下步驟：

3、步驟s1、將描述航空安全事件的文本、圖像和標(biāo)簽信息構(gòu)成的事件樣本的集合作為所述多模態(tài)航空安全事件數(shù)據(jù)集，其中事件樣本的形式包括：既存在文本又存在圖像、只存在文本不存在圖像以及只存在圖像不存在文本；對(duì)所述多模態(tài)航空安全事件數(shù)據(jù)集中的事件樣本的文本利用bert模型提取特征，對(duì)事件樣本的圖像利用resnet模型提取特征，對(duì)事件樣本的標(biāo)簽信息利用bert模型提取特征，最終得到文本特征和圖像特征，作為各事件樣本的特征；

4、步驟s2、確定變分自動(dòng)編碼器，所述變分自動(dòng)編碼器對(duì)所述事件樣本的特征進(jìn)行編碼，獲取事件樣本的潛在表示；

5、步驟s3、確定多源特征分類(lèi)模型，所述多源特征分類(lèi)模型對(duì)所述事件樣本的特征和潛在表示進(jìn)行特征融合和分類(lèi)；

6、步驟s4、基于所述存在模態(tài)缺失的多模態(tài)航空安全事件數(shù)據(jù)集，通過(guò)優(yōu)化所述變分自動(dòng)編碼器的損失、所述多源特征分類(lèi)模型的交叉熵?fù)p失、困難負(fù)采樣對(duì)比學(xué)習(xí)損失和缺失交互重構(gòu)損失，對(duì)所述變分自動(dòng)編碼器和多源特征分類(lèi)模型進(jìn)行訓(xùn)練；

7、步驟s5、將航空安全事件數(shù)據(jù)輸入訓(xùn)練好的變分自動(dòng)編碼器和多源特征分類(lèi)模型，得到事件類(lèi)型識(shí)別結(jié)果。

8、優(yōu)選地，步驟s1具體包括：

9、特征提取的表達(dá)式為：

10、ft＝bert(pt)，fv＝σ(resnet(fv)·wv)，fy＝bert(py)

11、其中，pt表示數(shù)據(jù)集中事件樣本的文本，bert(·)表示用bert模型進(jìn)行特征提取，ft表示bert模型提取的文本特征向量，pv表示數(shù)據(jù)集中事件樣本的圖像，wv表示維度變換矩陣，resnet(·)表示用resnet模型提取特征，σ(·)表示激活函數(shù)，fv表示resnet模型提取的圖像特征向量，py表示數(shù)據(jù)集中的多模態(tài)數(shù)據(jù)對(duì)應(yīng)的標(biāo)簽信息，fy表示標(biāo)簽信息的特征向量；

12、將標(biāo)簽信息的特征向量分別與圖像和文本的特征向量拼接，表達(dá)式如下：

13、fty＝ft：fy

14、fvy＝fv：fy

15、其中，ft|y為含有標(biāo)簽信息的文本特征，fv|y為含有標(biāo)簽信息的圖像特征，：表示拼接操作，將文本特征ft|y和圖像特征fv|y作為數(shù)據(jù)集中事件樣本的特征。

16、優(yōu)選地，步驟s2具體包括：

17、步驟s2-1、基于變分自動(dòng)編碼器構(gòu)建文本編碼器和文本解碼器，獲取文本編碼器的損失函數(shù)；

18、步驟s2-2、基于變分自動(dòng)編碼器構(gòu)建圖像編碼器和圖像解碼器，獲取圖像編碼器的損失函數(shù)；

19、步驟s2-3、結(jié)合文本編碼器和圖像編碼器的損失函數(shù)，得到變分自動(dòng)編碼器的總損失函數(shù)。

20、優(yōu)選地，步驟s2-1具體包括：建立文本編碼器和文本解碼器，所述文本編碼器將事件樣本的文本特征編碼為潛在表示，所述文本解碼器將所述潛在表示解碼為重建文本特征；文本編碼器的損失函數(shù)為：

21、

22、其中，表示文本解碼器的重建損失，dkl(q(zt|ft|y)||p(zt))表示測(cè)量kl散度得到的文本的先驗(yàn)正則化項(xiàng)，zt為文本潛在表示，q(zt|ft|y)為文本編碼器給定輸入ft|y時(shí)生成文本潛在表示zt的條件概率，p(ft|y|zt)為文本解碼器給定潛在表示zt時(shí)生成ft|y的條件概率；p(zt)是文本潛在表示zt的先驗(yàn)分布；

23、步驟s2-2具體包括：建立圖像編碼器和圖像解碼器，所述圖像編碼器將事件樣本的圖像特征編碼為潛在表示，所述圖像解碼器將所述潛在表示解碼為重建文本特征；圖像編碼器的損失函數(shù)為：

24、

25、其中，表示圖像解碼器的重建損失，dkl(q(zv|fv|y)||p(zv))表示測(cè)量kl散度得到的圖像的先驗(yàn)正則化項(xiàng)，zv為圖像潛在表示，q(zv|fv|y)為圖像編碼器給定輸入fv|y時(shí)生成文本潛在表示zv的條件概率，p(fv|y|zv)為圖像解碼器給定潛在表示zv時(shí)生成數(shù)據(jù)fv|y的條件概率；p(zv)是圖像潛在表示zv的先驗(yàn)分布；

26、步驟s2-3具體包括：結(jié)合文本編碼器和圖像編碼器的損失函數(shù)，得到變分自動(dòng)編碼器的總損失函數(shù)表達(dá)式為：

27、

28、優(yōu)選地，步驟s3具體包括：

29、步驟s3-1、基于transformer建立多源特征分類(lèi)模型，多源特征分類(lèi)模型對(duì)圖像特征和圖像潛在表示進(jìn)行深度融合得到圖像的融合特征，對(duì)文本特征和文本潛在表示進(jìn)行深度融合得到文本的融合特征，對(duì)圖像的融合特征和文本的融合特征進(jìn)行深度融合得到多模態(tài)融合特征；

30、步驟s3-2、將所述多模態(tài)融合特征投射到分類(lèi)的目標(biāo)空間中得到預(yù)測(cè)類(lèi)別，獲取交叉熵?fù)p失。

31、優(yōu)選地，步驟s3-1具體包括，通過(guò)以下表達(dá)式獲取多模態(tài)融合特征f：

32、fv＝attention(fv|y，zv，zv)

33、ft＝attention(ft|y，zt，zt)

34、f＝attention(ft，fv，fv)

35、其中，fv表示圖像的融合特征，ft表示文本的融合特征，f表示多模態(tài)融合特征，attention(·，·，·)為注意力計(jì)算；

36、步驟s3-2具體包括，通過(guò)以下表達(dá)式獲取預(yù)測(cè)類(lèi)別和交叉熵?fù)p失：

37、

38、其中，w為權(quán)重，b為偏置，relu(·)為激活函數(shù)，為預(yù)測(cè)的類(lèi)別標(biāo)簽，為預(yù)測(cè)標(biāo)簽值和真實(shí)標(biāo)簽值的交叉熵?fù)p失，y是真實(shí)的類(lèi)別標(biāo)簽；n為樣本總數(shù)，k為類(lèi)別數(shù)，i為事件樣本索引，k為類(lèi)別索引，yi，k為第i個(gè)樣本在第k類(lèi)的真實(shí)標(biāo)簽，為第i個(gè)樣本屬于第k類(lèi)的預(yù)測(cè)標(biāo)簽。

39、優(yōu)選地，步驟s4具體包括：

40、步驟s4-1、獲取正樣本，通過(guò)困難負(fù)采樣獲取負(fù)樣本，建立困難負(fù)采樣對(duì)比學(xué)習(xí)損失函數(shù)；

41、步驟s4-2、將文本潛在表示輸入到所述圖像解碼器中得到圖像重建特征，將圖像潛在表示輸入到所述文本解碼器中得到文本重建特征，建立缺失交互重構(gòu)損失函數(shù)；

42、步驟s4-3、通過(guò)優(yōu)化所述變分自動(dòng)編碼器損失、所述交叉熵?fù)p失、困難負(fù)采樣對(duì)比學(xué)習(xí)損失和缺失交互重構(gòu)損失，對(duì)所述變分自動(dòng)編碼器和多源特征分類(lèi)模型進(jìn)行訓(xùn)練。

43、優(yōu)選地，步驟s4-1具體包括：

44、確定正樣本對(duì)和負(fù)樣本對(duì)其中，表示第i個(gè)事件樣本的文本潛在表示，表示第i個(gè)事件樣本的圖像潛在表示，表示第j個(gè)事件樣本的圖像潛在表示，i，j為事件樣本索引并且i≠j；將所有的負(fù)樣本對(duì)構(gòu)成負(fù)樣本集合在負(fù)樣本集合中選擇相似度大于閾值τ的負(fù)樣本作為困難負(fù)樣本集合，表達(dá)式為：

45、

46、其中，表示負(fù)樣本對(duì)中兩個(gè)潛在表示之間的相似度，為困難負(fù)樣本集合；

47、計(jì)算困難負(fù)采樣對(duì)比學(xué)習(xí)損失函數(shù)：

48、

49、其中，表示對(duì)數(shù)據(jù)集中所有事件樣本對(duì)進(jìn)行遍歷，表示正樣本對(duì)中兩個(gè)潛在表示之間的相似度，表示引入的困難負(fù)采樣對(duì)比學(xué)習(xí)的損失函數(shù)。

50、步驟s4-2具體包括，通過(guò)以下方式計(jì)算圖像重建特征和文本重建特征：

51、f’v|y＝imagedecoder(zt)

52、f’t|y＝textdecoder(zv)

53、其中，f’v|y表示文本潛在表示生成的圖像重建特征，f’t|y表示利用圖像潛在表示生成的文本重建特征。imagedecoder和textdecoder分別為圖像解碼器和文本解碼器；

54、建立缺失交重構(gòu)損失函數(shù)表達(dá)式為：

55、

56、其中，為文本潛在表示生成對(duì)應(yīng)圖像特征的重構(gòu)損失，為圖像潛在表示生成對(duì)應(yīng)文本特征的缺失交互重構(gòu)損失，||·||表示l2范數(shù)。

57、優(yōu)選地，步驟s4-3具體包括：

58、建立總損失函數(shù)

59、

60、其中為調(diào)整比例權(quán)重；對(duì)所述總損失函數(shù)進(jìn)行最小化優(yōu)化，完成所述變分自動(dòng)編碼器和多源特征分類(lèi)模型的訓(xùn)練。

61、與現(xiàn)有技術(shù)相比，本發(fā)明至少具有如下有益效果：

62、(1)本發(fā)明考慮航空安全事件多模態(tài)數(shù)據(jù)集在收集過(guò)程中存在丟失和損壞從而導(dǎo)致模態(tài)信息不完整、易造成多模態(tài)信息未被充分挖掘和分類(lèi)任務(wù)精度低的問(wèn)題，利用預(yù)訓(xùn)練模型分別對(duì)多模態(tài)事件數(shù)據(jù)進(jìn)行特征提取，再通過(guò)建立編碼器，對(duì)不同模態(tài)的特征向量進(jìn)一步表征潛在分布，并通過(guò)跨模態(tài)語(yǔ)義對(duì)齊學(xué)習(xí)模塊和重構(gòu)對(duì)齊模塊減小模態(tài)間的差異性從而構(gòu)建缺失模態(tài)的高維特征向量，提供了模態(tài)不完整數(shù)據(jù)集的分類(lèi)精度。

63、(2)本發(fā)明采用了困難負(fù)采樣對(duì)比學(xué)習(xí)、均方誤差損失函數(shù)從特征空間中提高了不同模態(tài)之間的相似度，并引入了基于vae的編碼器融入事件標(biāo)簽信息構(gòu)建不同模態(tài)內(nèi)部的潛在分布，更加全面地描述了在特定標(biāo)簽下數(shù)據(jù)的特征向量表示。

64、(3)本發(fā)明考慮了缺失模態(tài)信息量存在局限性、不同模態(tài)的潛在分布存在干擾性的特點(diǎn)，結(jié)合多模態(tài)數(shù)據(jù)的原始特征向量，提供了基于transformer的深度學(xué)習(xí)特征融合模型，將已有數(shù)據(jù)知識(shí)實(shí)現(xiàn)了最大化利用、更精細(xì)的數(shù)據(jù)挖掘能力，從而提高了多模態(tài)數(shù)據(jù)的分類(lèi)精度。