论文介绍
基于注意力的网络目前在多模态情感分析中确定了其有效性。然而，现有方法忽略了辅助模态的冗余。更重要的是，现有方法仅关注自上而下的注意力（静态过程）或自下而上的注意力（隐式过程），从而导致粗粒度的多模态情感上下文。
在本文中，在预处理期间，我们首先提出多模态动态增强块来捕获模态内情感上下文。这可以有效地减少辅助模态的模态冗余。此外，还提出了双向注意块，以通过新颖的双向多模态动态路由机制捕获细粒度的多模态情感上下文。具体来说，双向注意块首先突出显式和低级多模态情感上下文。然后，低级多模式上下文被传输到精心设计的双向多模式动态路由程序。这使我们能够动态更新和调查高级和更细粒度的多模态情感上下文。实验表明，我们的融合网络可以实现最先进的性能。值得注意的是，我们的模型在指标“Acc-7”上的表现优于最佳基线，提高了6.9%。
论文地址
https://ieeexplore.ieee.org/abstract/document/9932611
