技術(shù)特征：

1.一種基于模態(tài)自適應(yīng)掩碼融合網(wǎng)絡(luò)的多模態(tài)情感識別方法，其特征在于，包括以下步驟：

2.如權(quán)利要求1所述的基于模態(tài)自適應(yīng)掩碼融合網(wǎng)絡(luò)的多模態(tài)情感識別方法，其特征在于，步驟s2具體包括：

3.如權(quán)利要求1所述的基于模態(tài)自適應(yīng)掩碼融合網(wǎng)絡(luò)的多模態(tài)情感識別方法，其特征在于，步驟s3具體包括：

4.如權(quán)利要求1至3任一項(xiàng)所述的基于模態(tài)自適應(yīng)掩碼融合網(wǎng)絡(luò)的多模態(tài)情感識別方法，其特征在于，步驟s4具體包括：

5.如權(quán)利要求4所述的基于模態(tài)自適應(yīng)掩碼融合網(wǎng)絡(luò)的多模態(tài)情感識別方法，其特征在于，步驟s4中，所述交叉注意力機(jī)制層的處理具體包括：

6.如權(quán)利要求4所述的基于模態(tài)自適應(yīng)掩碼融合網(wǎng)絡(luò)的多模態(tài)情感識別方法，其特征在于，步驟s4中，所述自掩碼機(jī)制模塊的處理具體包括：

7.如權(quán)利要求4所述的基于模態(tài)自適應(yīng)掩碼融合網(wǎng)絡(luò)的多模態(tài)情感識別方法，其特征在于，步驟s4中，所述損失函數(shù)的處理具體包括：

8.如權(quán)利要求1至3任一項(xiàng)所述的基于模態(tài)自適應(yīng)掩碼融合網(wǎng)絡(luò)的多模態(tài)情感識別方法，其特征在于，步驟s5具體包括：

9.一種計(jì)算機(jī)可讀存儲介質(zhì)，存儲有計(jì)算機(jī)程序，其特征在于，所述計(jì)算機(jī)程序由處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至8任一項(xiàng)所述的基于模態(tài)自適應(yīng)掩碼融合網(wǎng)絡(luò)的多模態(tài)情感識別方法。

10.一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序，其特征在于，所述計(jì)算機(jī)程序由處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至8任一項(xiàng)所述的基于模態(tài)自適應(yīng)掩碼融合網(wǎng)絡(luò)的多模態(tài)情感識別方法。

技術(shù)總結(jié)
本發(fā)明提供一種基于模態(tài)自適應(yīng)掩碼融合網(wǎng)絡(luò)（MAMF?Net）的多模態(tài)情感識別方法，包括：利用文本編碼模型將文本轉(zhuǎn)換為詞向量，并通過自注意力機(jī)制提取語義結(jié)構(gòu)特征。提取音頻上下文特征，并從梅爾頻譜圖中提取時(shí)間依賴特征。通過音頻引導(dǎo)式文本編碼器融合音頻和文本特征，同時(shí)采用自掩碼機(jī)制對遷移信息進(jìn)行遮擋，捕獲模態(tài)間的互補(bǔ)信息。使用多頭注意力機(jī)制綜合處理融合后的特征，并通過線性映射層轉(zhuǎn)換為情感類別的概率分布，根據(jù)概率分布確定并輸出最終的情感分類。本方法通過高效整合模態(tài)間信息，在情感識別任務(wù)中展現(xiàn)了顯著的性能提升，具有廣泛的應(yīng)用潛力。

技術(shù)研發(fā)人員：張永兵,李恒銳,劉紹輝,陳曉培,董春山
受保護(hù)的技術(shù)使用者：哈爾濱工業(yè)大學(xué)（深圳）（哈爾濱工業(yè)大學(xué)深圳科技創(chuàng)新研究院）
技術(shù)研發(fā)日：
技術(shù)公布日：2024/10/21