会议介绍
IJCAI
论文简讯
现有基于二路跨模态单向注意力机制的Transformer网络只能学习得到单个源模态到单个目标模态的单向跨模态情感交互信息，无法充分学习得到多个模态之间的复杂多模态情感交互信息。针对多模态情感信息融合网路局部交互层面的模态个数和模态交互受限问题，我们提出了多路多模态注意力网络MMT，能够在单个多模态交互模块中学习得到任意多个模态的任意交互方向的多路多模态情感交互信息。
值得注意的是，与MMT相比，二路跨模态单向注意力网络则需要堆叠多个跨模态交互模块才能完成多模态情感分析任务。基于MMT，我们进一步构建得到一个分层多模态情感信息融合框架，采用循环迭代的方式将低层次多模态情感交互信息传送到下一层网络，学习得到高层次的复杂多模态情感交互信息。我们在多个公开多模态情感分析数据库上进行实验分析，实验结果证明了所提出的MMT以及多层多模态情感信息融合框架的优越性和有效性。
论文原文
https://www.ijcai.org/proceedings/2022/0480.pdf
