近日，煙臺大學計算機與控制工程學院劉志中教授團隊論文“Similar Modality Completion-Based Multimodal Sentiment Analysis under Uncertain Missing Modalities”被國際頂級期刊Information Fusion以長文錄用，該期刊為人工智能與計算機科學領域的國際權威刊物（中科院SCI一區，TOP期刊，影響因子18.6）。該研究成果以煙臺大學為第一單位，研究生孫宇航為第一作者，劉志中教授為通訊作者。合作單位包括Macquarie University、哈爾濱工業大學（威海）、Auckland University of Technology。
該論文針對“世界老齡化人群存在嚴重心理疾病而亟需研發一種多模態情緒識別（MSA）技術，從而能夠主動準確地識別出用戶的情緒，為其提供及時服務”這一現實需求，為解決不確定模態缺失場景下的多模態情緒識別問題，劉志中團隊創新性地提出了一種基于相似模態補全的多模態情緒識別模型（SMCMSA），如圖1所示。
圖1.不確定模態缺失下的多模態情感分析模型（SMCMSA）
SMCMSA模型構建了全模態樣本數據庫，使用預訓練的單模態情感分析模型對樣本數據進行情感標簽預測，通過設計兩個獨立的相似模態補全策略對缺失模態進行補全。對于補全后的數據，利用Transformer的Encoder模塊對文本、視頻和音頻模態進行編碼，并在預訓練模型指導下進行模態融合，提升表示質量，并運用基于決策級融合策略得到最終的識別結果。目前，該模型的情緒識別準確度處于領先水平。該研究工作得到了國家自然科學基金項目、山東省自然科學基金重點項目、山東省泰山特聘學者項目、澳大利亞研究理事會（ARC）未來獎學金和發現項目的支持。
論文鏈接：
https://www.sciencedirect.com/science/article/pii/S156625352400232X
來稿時間：5月8日 審核：劉希斌 責任編輯：安興爽
