论文介绍
迄今为止，在乐器演奏动画的自动生成方面所做的努力相对较少。由于音乐和人体运动之间本质上复杂的时间关系以及缺乏高质量的音乐播放运动数据集，这个问题具有挑战性。在这篇文章中，我们提出了一个基于深度学习的全自动框架，以根据新颖的古筝音乐输入合成逼真的上半身动画。
具体来说，基于录制的视听动作捕捉数据集，我们精心设计了一种基于生成对抗网络 (GAN) 的方法来捕捉音乐和人体动作数据之间的时间关系。在这个过程中，数据增强被用来提高我们处理各种古筝音乐输入的方法的泛化能力。通过广泛的客观和主观实验，我们表明我们的方法可以生成视觉上合理的古筝演奏动画，与输入的古筝音乐同步良好，并且它可以明显优于最先进的方法。此外，通过消融研究，我们验证了框架中精心设计的模块的贡献。
论文地址
https://ieeexplore.ieee.org/document/9551755
