论文介绍
人脸三维重建在很多领域都有应用，最近很多工作都是基于人脸三维形变模型（3D Morphable Model, 3DMM）的，但这类方法受限于3DMM的表达能力，因为构建3DMM的人脸数据有限，导致生成的人脸纹理不够真实。虽然最近有LSFM这样的大规模三维人脸数据集，但是其只公开了形状信息，纹理信息是不对外公开的。有一些方法借助这样一个含人脸纹理信息的大规模数据集，取得了一些不错的成果。然而对大部分研究人员来说，获得一个大规模包含人脸高清纹理信息的数据集是非常困难的。
最近可微渲染器的提出，使得以无监督的方式训练神经网络学习2D到3D的映射成为可能。这类方法的大体思路是，将二维空间的数据作为输入，输出物体的三维表示（Mesh网格、体素等）及相关的相机、光照参数等，然后通过可微渲染器将三维物体重新投影到二维空间，即可以根据二维输入数据和渲染结果定义损失函数进行训练。
因此，我们提出了一种可以不依赖于该类数据集的人脸三维重建方法，以生成带高保真纹理的三维人脸。我们提出的方法是一种由粗到细（Coarse-to-Fine）的流程，我们先一个由卷积神经网络（CNNs）构成的回归器来预测3DMM的身份、纹理等系数以及光照等参数，得到人脸的形状（以Mesh网格表示）和粗略的纹理（以网格的顶点颜色表示）。然后使用由两个图卷积网络（解码器和优化器）组成的纹理优化模块来对粗略的纹理进行优化。图卷积解码器以人脸识别网络提取的人脸特征向量为输入，而图卷积优化器则将粗略的纹理顶点颜色作为输入。结合这两者的信息，纹理优化模块能够生成更真实的纹理。
论文地址
https://arxiv.org/abs/2003.05653
