网易伏羲开源的虚拟形象智能创建工具，从单张照片创建长相相似的指定游戏拓扑结构的人物形象。
项目背景
最近已经提出了许多基于深度学习的 3D 人脸重建方法，但是其中很少有在游戏中得到应用。当前的游戏角色定制系统要么要求玩家手动调整相当多的面部属性以获得所需的面部，要么面部形状和纹理的自由度有限。
在本文中，我们提出了一种自动角色面部创建方法，该方法可以从单个肖像中预测面部形状和纹理，并且可以集成到大多数现有的3D游戏中。尽管基于3D可变形人脸模型 (3DMM) 的方法可以从单张图像中恢复准确的3D人脸，但3DMM网格的拓扑结构与大多数游戏中使用的网格不同。为了获得保真度纹理，现有方法需要大量的人脸纹理数据进行训练，而构建这样的数据集既费时又费力。
此外，在实验室条件下收集的此类数据集可能无法很好地推广到野外情况。为了解决这些问题，我们提出：
1)一种低成本的面部纹理获取方法；
2)一种可以将 3DMM 网格形状转换为游戏的形状转移算法；
3)一种用于训练 3D 游戏人脸重建网络的新管道。
所提出的方法不仅可以产生类似于输入肖像的细致生动的游戏角色，而且可以消除光照和遮挡的影响。
实验表明，我们的方法优于游戏中使用的最先进的方法。
论文地址
https://arxiv.org/abs/2102.02371
Github地址
https://github.com/FuxiCV/MeInGame
