论文介绍
人脸替换是指将源人脸的身份信息转移到目标人脸，同时保持目标人脸的种属性（表情、姿势、头发、光照和背景等）。该技术在影视制作、个性化游戏CG、个性化虚拟形象等领域有着广泛的应用，具有巨大的研究价值。
然而，现有的人脸替换方法大多只能迁移人脸的五官特征而无法改变其轮廓，大大降低了人脸替换的相似度。为解决这一问题，我们提出了一种语义流引导的人脸替换模型（FlowFace），实现了既可以换五官也能改变脸型的换脸算法。FlowFace 通过两个阶段实现人脸的替换：脸型迁移阶段和五官迁移阶段。在脸型迁移阶段，我们借助三维人脸模型估计脸型变换语义流（Semantic Flow），实现对目标人脸形状的显性变形，实现从源人脸到目标人脸的脸型迁移。在五官迁移阶段，我们采用人脸掩码自动编码器(MAE) 将源人脸和目标人脸编码到特征空间，并设计了一种交叉注意力融合模块（Cross- Attention Fusion Module）自适应地将源人脸的身份特征与目标人脸的属性特征融合，进而解码出高保真高身份相似度的人脸替换结果。基于我们的设计，FlowFace在脸型迁移和五官迁移效果上达到了目前最先进的人脸替换效果，其对个性化虚拟形象、个性化游戏CG的制作具有重要的意义。
论文地址
https://ieeexplore.ieee.org/document/9893693
