论文介绍
本文研究的主要目的是获取一种紧致的，且与id信息无关的人脸表情表征。我们首次提出将表情特征建模为从id特征出发的一个差值向量，以这种显式方式去掉id的影响。为此，我们设计了一个pseudo-siamese结构的网络去学习这种差值。同时，为了加强网络在深层的学习能力，我们采用高阶多项式的方法替代一般的全连接层去完成从高维到低维的映射。另外，我们考虑到不同标注者存在一定的标注的噪音，我们增加了crowd layer学习不同标注者的偏差，使得学习到的表情表征更加鲁棒。最后，我们利用层级化的标注实现了数据增强。
定性和定量的实验结果表明，我们的方法在FEC数据集上达到了SOTA水平。同时在情绪识别，图像检索，以及人脸表情生成等应用上都有不错的效果。
我们还设计开发了一个表情三元组标注小程序，利用人的感知标注为我们提供更丰富，更细粒度的数据，通过这些数据可以帮助推进机器能力逼近人类的感知极限，为后续的工作提供基础。
论文地址
https://ieeexplore.ieee.org/document/9577420
