论文介绍
我们提出了一种新颖的单图像3D人脸重建方法，用于游戏中逼真的虚拟形象自动创建。尽管一些现有的3D人脸重建方法已经能够生成良好的几何体，但在纹理生成方面仍然存在一些不足，尤其是漫反射预测，这限制了在游戏或其他场景中的应用。这些方法的主要问题包括：照片中的细节没有准确还原，产生的漫反射过度平滑，遮挡和照明没有正确去除，等等。虽然有些方法收集高质量的3D人脸数据，以供神经网络学习生成逼真的3D人脸，但收集3D人脸数据的成本是昂贵的。为了解决上述问题，我们建议利用来自三个来源的数据，包括单个人脸图像、与人脸肖像配对的手动修复的漫反射图以及由预训练网络生成的单个ID的多张照片。为了充分利用这些数据，我们提出了一种三通道网络架构，该架构以人脸图像为输入，生成漫反射图、法线图以及姿态和光系数。通过将渲染结果与输入图像以及一些其他目标函数进行比较来优化网络参数。
论文地址
https://ieeexplore.ieee.org/document/9893688/
