论文介绍
现有的游戏角色人脸自动创建算法，主要有基于关键点的模板匹配及基于骨骼的参数化捏脸方法。但受到参数范围的限制，这些方法无法很好地还原参数范围之外的人脸。而且，大部分方法都没有考虑贴图，少部分能够生成贴图的方法，也没有考虑光照和遮挡物的影响，其创建的三维人脸无法很好地应用在游戏中。
为了提高创建的游戏人脸的形状相似度，我们提出先使用业内成熟的基于3DMM和CNN的方法重建三维人脸，然后基于径向基函数插值的方法，将三维人脸的形状迁移到游戏三维人脸模板上。
为了进一步提高游戏三维人脸与输入照片的相似度，我们还生成了三维模型对应的贴图。由于没有公开的包含贴图的大规模三维人脸数据集，而且采集此类数据集的成本高昂，因此，我们提出了一种低成本的三维人脸及贴图数据集获取方案。同时，为了降低数据获取的成本，提高网络的鲁棒性，我们采取了半监督的训练方式。对于有真值的数据进行监督学习，而大部分无真值的数据则是基于可微渲染器进行自监督学习。
主观实验表明，我们的方法在约98%的测试用例上都优于其它现有方法。
论文地址
https://arxiv.org/abs/2102.02371
Github地址
https://github.com/FuxiCV/MeInGame
