亚洲狠狠干,亚洲国产福利精品一区二区,国产八区,激情文学亚洲色图

一種跨模態(tài)交互補(bǔ)全的航空安全事件識(shí)別方法

文檔序號(hào):39805250發(fā)布日期:2024-10-29 17:21閱讀:6來(lái)源:國(guó)知局
一種跨模態(tài)交互補(bǔ)全的航空安全事件識(shí)別方法

本發(fā)明涉及航空安全事件多模態(tài)數(shù)據(jù)處理與分類(lèi)識(shí)別,具體涉及一種跨模態(tài)交互補(bǔ)全的航空安全事件識(shí)別方法。


背景技術(shù):

1、隨著移動(dòng)通信設(shè)備和互聯(lián)網(wǎng)絡(luò)的普及,當(dāng)航空空難事故發(fā)生時(shí),目擊者可以方便地使用智能手機(jī)記錄空難發(fā)生時(shí)的場(chǎng)景,并通過(guò)社交媒體上傳相關(guān)的文本、圖像和視頻。這些數(shù)據(jù)通常帶有客觀(guān)的信息,并且能夠迅速傳播開(kāi)來(lái),并用于間接信息的推演識(shí)別,以實(shí)現(xiàn)通過(guò)火源、煙的跡象,推測(cè)事故地點(diǎn)、原因和損害程度等。因此,充分利用社交媒體上的多模態(tài)數(shù)據(jù),成為航空安全信息管理的重要補(bǔ)充措施。這些信息的收集和管理,可以為航空安全事件的后續(xù)分析提供重要依據(jù)。

2、然而,實(shí)際中的多模態(tài)數(shù)據(jù)發(fā)生模態(tài)缺失的現(xiàn)象較為普遍,即在某些情況下,文本、圖像或視頻中的某一模態(tài)可能缺失或不完整。這種模態(tài)缺失會(huì)對(duì)后續(xù)的數(shù)據(jù)處理和分析任務(wù)造成干擾,降低分析的準(zhǔn)確性和可靠性。現(xiàn)有的技術(shù)方法通常依賴(lài)于所有模態(tài)的完整性,缺乏有效的方法來(lái)應(yīng)對(duì)模態(tài)缺失的情況,導(dǎo)致在處理和分析多模態(tài)數(shù)據(jù)時(shí),信息的利用效率不高,無(wú)法充分發(fā)揮多模態(tài)數(shù)據(jù)在航空安全事件分析中的潛力。


技術(shù)實(shí)現(xiàn)思路

1、鑒于上述問(wèn)題,本發(fā)明提供了一種跨模態(tài)交互補(bǔ)全的航空安全事件識(shí)別方法,解決了現(xiàn)有技術(shù)中航空安全事件判斷時(shí)模態(tài)不完整導(dǎo)致降低分析的準(zhǔn)確性和可靠性的技術(shù)問(wèn)題。

2、本發(fā)明提供了一種跨模態(tài)交互補(bǔ)全的航空安全事件識(shí)別方法,包括以下步驟:

3、步驟s1、將描述航空安全事件的文本、圖像和標(biāo)簽信息構(gòu)成的事件樣本的集合作為所述多模態(tài)航空安全事件數(shù)據(jù)集,其中事件樣本的形式包括:既存在文本又存在圖像、只存在文本不存在圖像以及只存在圖像不存在文本;對(duì)所述多模態(tài)航空安全事件數(shù)據(jù)集中的事件樣本的文本利用bert模型提取特征,對(duì)事件樣本的圖像利用resnet模型提取特征,對(duì)事件樣本的標(biāo)簽信息利用bert模型提取特征,最終得到文本特征和圖像特征,作為各事件樣本的特征;

4、步驟s2、確定變分自動(dòng)編碼器,所述變分自動(dòng)編碼器對(duì)所述事件樣本的特征進(jìn)行編碼,獲取事件樣本的潛在表示;

5、步驟s3、確定多源特征分類(lèi)模型,所述多源特征分類(lèi)模型對(duì)所述事件樣本的特征和潛在表示進(jìn)行特征融合和分類(lèi);

6、步驟s4、基于所述存在模態(tài)缺失的多模態(tài)航空安全事件數(shù)據(jù)集,通過(guò)優(yōu)化所述變分自動(dòng)編碼器的損失、所述多源特征分類(lèi)模型的交叉熵?fù)p失、困難負(fù)采樣對(duì)比學(xué)習(xí)損失和缺失交互重構(gòu)損失,對(duì)所述變分自動(dòng)編碼器和多源特征分類(lèi)模型進(jìn)行訓(xùn)練;

7、步驟s5、將航空安全事件數(shù)據(jù)輸入訓(xùn)練好的變分自動(dòng)編碼器和多源特征分類(lèi)模型,得到事件類(lèi)型識(shí)別結(jié)果。

8、優(yōu)選地,步驟s1具體包括:

9、特征提取的表達(dá)式為:

10、ft=bert(pt),fv=σ(resnet(fv)·wv),fy=bert(py)

11、其中,pt表示數(shù)據(jù)集中事件樣本的文本,bert(·)表示用bert模型進(jìn)行特征提取,ft表示bert模型提取的文本特征向量,pv表示數(shù)據(jù)集中事件樣本的圖像,wv表示維度變換矩陣,resnet(·)表示用resnet模型提取特征,σ(·)表示激活函數(shù),fv表示resnet模型提取的圖像特征向量,py表示數(shù)據(jù)集中的多模態(tài)數(shù)據(jù)對(duì)應(yīng)的標(biāo)簽信息,fy表示標(biāo)簽信息的特征向量;

12、將標(biāo)簽信息的特征向量分別與圖像和文本的特征向量拼接,表達(dá)式如下:

13、fty=ft:fy

14、fvy=fv:fy

15、其中,ft|y為含有標(biāo)簽信息的文本特征,fv|y為含有標(biāo)簽信息的圖像特征,:表示拼接操作,將文本特征ft|y和圖像特征fv|y作為數(shù)據(jù)集中事件樣本的特征。

16、優(yōu)選地,步驟s2具體包括:

17、步驟s2-1、基于變分自動(dòng)編碼器構(gòu)建文本編碼器和文本解碼器,獲取文本編碼器的損失函數(shù);

18、步驟s2-2、基于變分自動(dòng)編碼器構(gòu)建圖像編碼器和圖像解碼器,獲取圖像編碼器的損失函數(shù);

19、步驟s2-3、結(jié)合文本編碼器和圖像編碼器的損失函數(shù),得到變分自動(dòng)編碼器的總損失函數(shù)。

20、優(yōu)選地,步驟s2-1具體包括:建立文本編碼器和文本解碼器,所述文本編碼器將事件樣本的文本特征編碼為潛在表示,所述文本解碼器將所述潛在表示解碼為重建文本特征;文本編碼器的損失函數(shù)為:

21、

22、其中,表示文本解碼器的重建損失,dkl(q(zt|ft|y)||p(zt))表示測(cè)量kl散度得到的文本的先驗(yàn)正則化項(xiàng),zt為文本潛在表示,q(zt|ft|y)為文本編碼器給定輸入ft|y時(shí)生成文本潛在表示zt的條件概率,p(ft|y|zt)為文本解碼器給定潛在表示zt時(shí)生成ft|y的條件概率;p(zt)是文本潛在表示zt的先驗(yàn)分布;

23、步驟s2-2具體包括:建立圖像編碼器和圖像解碼器,所述圖像編碼器將事件樣本的圖像特征編碼為潛在表示,所述圖像解碼器將所述潛在表示解碼為重建文本特征;圖像編碼器的損失函數(shù)為:

24、

25、其中,表示圖像解碼器的重建損失,dkl(q(zv|fv|y)||p(zv))表示測(cè)量kl散度得到的圖像的先驗(yàn)正則化項(xiàng),zv為圖像潛在表示,q(zv|fv|y)為圖像編碼器給定輸入fv|y時(shí)生成文本潛在表示zv的條件概率,p(fv|y|zv)為圖像解碼器給定潛在表示zv時(shí)生成數(shù)據(jù)fv|y的條件概率;p(zv)是圖像潛在表示zv的先驗(yàn)分布;

26、步驟s2-3具體包括:結(jié)合文本編碼器和圖像編碼器的損失函數(shù),得到變分自動(dòng)編碼器的總損失函數(shù)表達(dá)式為:

27、

28、優(yōu)選地,步驟s3具體包括:

29、步驟s3-1、基于transformer建立多源特征分類(lèi)模型,多源特征分類(lèi)模型對(duì)圖像特征和圖像潛在表示進(jìn)行深度融合得到圖像的融合特征,對(duì)文本特征和文本潛在表示進(jìn)行深度融合得到文本的融合特征,對(duì)圖像的融合特征和文本的融合特征進(jìn)行深度融合得到多模態(tài)融合特征;

30、步驟s3-2、將所述多模態(tài)融合特征投射到分類(lèi)的目標(biāo)空間中得到預(yù)測(cè)類(lèi)別,獲取交叉熵?fù)p失。

31、優(yōu)選地,步驟s3-1具體包括,通過(guò)以下表達(dá)式獲取多模態(tài)融合特征f:

32、fv=attention(fv|y,zv,zv)

33、ft=attention(ft|y,zt,zt)

34、f=attention(ft,fv,fv)

35、其中,fv表示圖像的融合特征,ft表示文本的融合特征,f表示多模態(tài)融合特征,attention(·,·,·)為注意力計(jì)算;

36、步驟s3-2具體包括,通過(guò)以下表達(dá)式獲取預(yù)測(cè)類(lèi)別和交叉熵?fù)p失:

37、

38、其中,w為權(quán)重,b為偏置,relu(·)為激活函數(shù),為預(yù)測(cè)的類(lèi)別標(biāo)簽,為預(yù)測(cè)標(biāo)簽值和真實(shí)標(biāo)簽值的交叉熵?fù)p失,y是真實(shí)的類(lèi)別標(biāo)簽;n為樣本總數(shù),k為類(lèi)別數(shù),i為事件樣本索引,k為類(lèi)別索引,yi,k為第i個(gè)樣本在第k類(lèi)的真實(shí)標(biāo)簽,為第i個(gè)樣本屬于第k類(lèi)的預(yù)測(cè)標(biāo)簽。

39、優(yōu)選地,步驟s4具體包括:

40、步驟s4-1、獲取正樣本,通過(guò)困難負(fù)采樣獲取負(fù)樣本,建立困難負(fù)采樣對(duì)比學(xué)習(xí)損失函數(shù);

41、步驟s4-2、將文本潛在表示輸入到所述圖像解碼器中得到圖像重建特征,將圖像潛在表示輸入到所述文本解碼器中得到文本重建特征,建立缺失交互重構(gòu)損失函數(shù);

42、步驟s4-3、通過(guò)優(yōu)化所述變分自動(dòng)編碼器損失、所述交叉熵?fù)p失、困難負(fù)采樣對(duì)比學(xué)習(xí)損失和缺失交互重構(gòu)損失,對(duì)所述變分自動(dòng)編碼器和多源特征分類(lèi)模型進(jìn)行訓(xùn)練。

43、優(yōu)選地,步驟s4-1具體包括:

44、確定正樣本對(duì)和負(fù)樣本對(duì)其中,表示第i個(gè)事件樣本的文本潛在表示,表示第i個(gè)事件樣本的圖像潛在表示,表示第j個(gè)事件樣本的圖像潛在表示,i,j為事件樣本索引并且i≠j;將所有的負(fù)樣本對(duì)構(gòu)成負(fù)樣本集合在負(fù)樣本集合中選擇相似度大于閾值τ的負(fù)樣本作為困難負(fù)樣本集合,表達(dá)式為:

45、

46、其中,表示負(fù)樣本對(duì)中兩個(gè)潛在表示之間的相似度,為困難負(fù)樣本集合;

47、計(jì)算困難負(fù)采樣對(duì)比學(xué)習(xí)損失函數(shù):

48、

49、其中,表示對(duì)數(shù)據(jù)集中所有事件樣本對(duì)進(jìn)行遍歷,表示正樣本對(duì)中兩個(gè)潛在表示之間的相似度,表示引入的困難負(fù)采樣對(duì)比學(xué)習(xí)的損失函數(shù)。

50、步驟s4-2具體包括,通過(guò)以下方式計(jì)算圖像重建特征和文本重建特征:

51、f’v|y=imagedecoder(zt)

52、f’t|y=textdecoder(zv)

53、其中,f’v|y表示文本潛在表示生成的圖像重建特征,f’t|y表示利用圖像潛在表示生成的文本重建特征。imagedecoder和textdecoder分別為圖像解碼器和文本解碼器;

54、建立缺失交重構(gòu)損失函數(shù)表達(dá)式為:

55、

56、其中,為文本潛在表示生成對(duì)應(yīng)圖像特征的重構(gòu)損失,為圖像潛在表示生成對(duì)應(yīng)文本特征的缺失交互重構(gòu)損失,||·||表示l2范數(shù)。

57、優(yōu)選地,步驟s4-3具體包括:

58、建立總損失函數(shù)

59、

60、其中為調(diào)整比例權(quán)重;對(duì)所述總損失函數(shù)進(jìn)行最小化優(yōu)化,完成所述變分自動(dòng)編碼器和多源特征分類(lèi)模型的訓(xùn)練。

61、與現(xiàn)有技術(shù)相比,本發(fā)明至少具有如下有益效果:

62、(1)本發(fā)明考慮航空安全事件多模態(tài)數(shù)據(jù)集在收集過(guò)程中存在丟失和損壞從而導(dǎo)致模態(tài)信息不完整、易造成多模態(tài)信息未被充分挖掘和分類(lèi)任務(wù)精度低的問(wèn)題,利用預(yù)訓(xùn)練模型分別對(duì)多模態(tài)事件數(shù)據(jù)進(jìn)行特征提取,再通過(guò)建立編碼器,對(duì)不同模態(tài)的特征向量進(jìn)一步表征潛在分布,并通過(guò)跨模態(tài)語(yǔ)義對(duì)齊學(xué)習(xí)模塊和重構(gòu)對(duì)齊模塊減小模態(tài)間的差異性從而構(gòu)建缺失模態(tài)的高維特征向量,提供了模態(tài)不完整數(shù)據(jù)集的分類(lèi)精度。

63、(2)本發(fā)明采用了困難負(fù)采樣對(duì)比學(xué)習(xí)、均方誤差損失函數(shù)從特征空間中提高了不同模態(tài)之間的相似度,并引入了基于vae的編碼器融入事件標(biāo)簽信息構(gòu)建不同模態(tài)內(nèi)部的潛在分布,更加全面地描述了在特定標(biāo)簽下數(shù)據(jù)的特征向量表示。

64、(3)本發(fā)明考慮了缺失模態(tài)信息量存在局限性、不同模態(tài)的潛在分布存在干擾性的特點(diǎn),結(jié)合多模態(tài)數(shù)據(jù)的原始特征向量,提供了基于transformer的深度學(xué)習(xí)特征融合模型,將已有數(shù)據(jù)知識(shí)實(shí)現(xiàn)了最大化利用、更精細(xì)的數(shù)據(jù)挖掘能力,從而提高了多模態(tài)數(shù)據(jù)的分類(lèi)精度。

當(dāng)前第1頁(yè)1 2 
網(wǎng)友詢(xún)問(wèn)留言 已有0條留言
  • 還沒(méi)有人留言評(píng)論。精彩留言會(huì)獲得點(diǎn)贊!
1