Text-driven Visual Prosody Generation for Embodied Conversational Agents

近日，国际计算机图形与交互技术顶会（The ACM Special Interest Group on Computer Graphics，简称SIGGRAPH）公布论文接收结果：网易伏羲最新研究成果《Preconditioned Nonlinear Conjugate Gradient Method for Real-time Interior-point Hyperelasticity》成功入选。8月，团队成员将赴美国科罗拉多州丹佛市，在SIGGRAPH 2024大会上亲述报告，与全世界计算机图形爱好者展开交流。

近日，国际知识发现与数据挖掘大会 (ACM SIGKDD Conference on Knowledge Discovery and Data Mining，简称 KDD)公布了论文接收结果：网易伏羲共有四篇论文中稿Research Track和Applied Data Science Track。这四篇论文的研究方向涉及可解释性、在线营销、组合优化、主动学习等多个领域的关键问题，为数据科学领域带来了新的亮点。

论文所提出的方法能够在没有歌声数据的情况下，通过10个解码步骤为目标说话人合成高质量的歌声。

论文介绍了 Opencpop，这是一种公开可用的高质量普通话歌唱语料库，专为歌声合成(SVS)而设计。语料库包含100首流行的普通话歌曲，由一位女专业歌手演唱。音频文件以44,100赫兹的采样率以录音室质量录制，并提供相应的歌词和乐谱。

在本论文中，我们建立在识别合成框架的基础上，提出了一种基于说话人自适应的风格转换的一次性语音转换方法。

论文提出了VISinger，这是一个完整的端到端高质量歌声合成(SVS)系统，可直接从歌词和乐谱生成音频波形。我们的方法受到VITS的启发，它采用基于VAE的后验编码器，增强了基于标准化流的先验编码器和对抗解码器，以实现完整的端到端语音生成。

论文扩展了transformer模型来动态地进行实体状态更新和句子实现，以促进叙事性文本的生成。我们提出了一个对比框架来学习离散空间中的状态表征，并在解码器中插入额外的注意力层到解码器中，以更好地利用这些状态。

论文提出了LayerConnect(超网络辅助层间连接器)来提高推理效率。具体来说，在两个Transformer层之间插入一个具有线性结构的轻量级连接器，每个连接器内部的参数由一个由插值器和下采样器组成的超级网络进行调整。

随着神经文本生成模型(TGM)生成与人类书写无法区分文本的能力的发展，文本生成技术的滥用可能会产生严重后果。论文建议系统地研究人工生成的形式和范围，方法是破坏文本，用语言或统计特征代替它们，并应用综合梯度的可解释方法。

论文演示了QiuNiu中文歌词生成系统，它以段落级文本而不是一些属性或关键字为条件。通过使用段落级文本作为输入，生成的歌词内容有望反映用户需求的细微差别。QiuNiu系统支持短篇小说、散文、诗歌等多种形式的篇章级输入。