论文介绍
使用深度学习来合成角色的可控运动是一种很有前途的方法,因为它可以在无需大量人力特征工程投入的的情况下学习紧凑的空间模型。为了从弱控制信号(如预设路径)中产生动态运动,现有方法通常需要辅助信息(如相位)来减轻运动模糊性,这限制了它们的泛化能力。由于过去的姿势通常包含有用的辅助提示,本文提出了一种与任务无关的深度学习方法,即多尺度控制信号感知变换器(MCS-T),该方法具有基于注意力的编码器-解码器架构,以隐式地发现辅助信息,从而合成可控运动,而无需明确地要求辅助信息,例如相位。
具体而言,设计了一个编码器,用多尺度骨架自适应地表达角色过去姿势的运动模式,以及一个由控制信号驱动的解码器,通过关注编码的过去运动模式来进一步合成和预测角色的状态。因此,它有助于缓解在不使用辅助信息的传统方法中经常出现的低响应性和缓慢过渡的问题。在现有的两足动物运动数据集上的定性和定量实验结果都证明了我们方法的有效性。特别是,MCS-T能够成功地生成与使用辅助信息的方法生成的运动相当的运动。
论文地址
https://fuxivirtualhuman.github.io/pdf/AAAI2023_MotSyn.pdf