人工智能

网易有灵众包

网易灵动

机器学习

智能理疗机器人

算法的概念

人工神经网络

学术论文

自然语言处理NLP

深度学习

图像处理

Python实现算法

网易伏羲实验室汇集了众多来自国内外顶尖学府的高端人才，迄今已发表百余篇人工智能顶会论文，论文主题涵盖用户画像、强化学习、视觉计算、虚拟人、NLP、语音、音乐等方向。


近日，国际计算机图形与交互技术顶会（The ACM Special Interest Group on Computer Graphics，简称SIGGRAPH）公布论文接收结果：网易伏羲最新研究成果《Preconditioned Nonlinear Conjugate Gradient Method for Real-time Interior-point Hyperelasticity》成功入选。8月，团队成员将赴美国科罗拉多州丹佛市，在SIGGRAPH 2024大会上亲述报告，与全世界计算机图形爱好者展开交流。

SIGGRAPH 2024 | 物理模拟领域再攀高峰！网易伏羲最新技术成果成功入选

近日，国际知识发现与数据挖掘大会 (ACM SIGKDD Conference on Knowledge Discovery and Data Mining，简称 KDD)公布了论文接收结果：网易伏羲共有四篇论文中稿Research Track和Applied Data Science Track。这四篇论文的研究方向涉及可解释性、在线营销、组合优化、主动学习等多个领域的关键问题，为数据科学领域带来了新的亮点。


网易伏羲技术成果再获KDD认可，四篇入选论文展现AI研究领域深厚底蕴

论文所提出的方法能够在没有歌声数据的情况下，通过10个解码步骤为目标说话人合成高质量的歌声。

Learn2Sing 2.0: Diffusion and Mutual Information-Based Target Speaker SVS by Learning from Singing Teacher

论文介绍了 Opencpop，这是一种公开可用的高质量普通话歌唱语料库，专为歌声合成(SVS)而设计。语料库包含100首流行的普通话歌曲，由一位女专业歌手演唱。音频文件以44,100赫兹的采样率以录音室质量录制，并提供相应的歌词和乐谱。

Opencpop: A High-Quality Open Source Chinese Popular Song Corpus for Singing Voice Synthesis

在本论文中，我们建立在识别合成框架的基础上，提出了一种基于说话人自适应的风格转换的一次性语音转换方法。

One-shot Voice Conversion for Style Transfer based on Speaker Adaptation

论文提出了VISinger，这是一个完整的端到端高质量歌声合成(SVS)系统，可直接从歌词和乐谱生成音频波形。我们的方法受到VITS的启发，它采用基于VAE的后验编码器，增强了基于标准化流的先验编码器和对抗解码器，以实现完整的端到端语音生成。

Visinger: Variational Inference with Adversarial Learning for End-to-End Singing Voice Synthesis

论文扩展了transformer模型来动态地进行实体状态更新和句子实现，以促进叙事性文本的生成。我们提出了一个对比框架来学习离散空间中的状态表征，并在解码器中插入额外的注意力层到解码器中，以更好地利用这些状态。

Generating Coherent Narratives by Learning Dynamic and Discrete Entity States with a Contrastive Framework

论文提出了LayerConnect(超网络辅助层间连接器)来提高推理效率。具体来说，在两个Transformer层之间插入一个具有线性结构的轻量级连接器，每个连接器内部的参数由一个由插值器和下采样器组成的超级网络进行调整。

LayerConnect: Hypernetwork-Assisted Inter-Layer Connector to Enhance Parameter Efficiency

随着神经文本生成模型(TGM)生成与人类书写无法区分文本的能力的发展，文本生成技术的滥用可能会产生严重后果。论文建议系统地研究人工生成的形式和范围，方法是破坏文本，用语言或统计特征代替它们，并应用综合梯度的可解释方法。

Unraveling the Mystery of Artifacts in Model Generated Texts

论文演示了QiuNiu中文歌词生成系统，它以段落级文本而不是一些属性或关键字为条件。通过使用段落级文本作为输入，生成的歌词内容有望反映用户需求的细微差别。QiuNiu系统支持短篇小说、散文、诗歌等多种形式的篇章级输入。

QiuNiu: A Chinese Lyrics Generation System with Passage-Level Input

论文首次从PLM探索明喻知识，以在明喻的统一框架中解决SI和SG任务。我们框架的主干是用手动模式构造掩码句子，然后预测掩码位置的候选词。

Probing Simile Knowledge from Pre-trained Language Models

论文提出了一个名为LOT的以故事为中心的基准来评估中文长文本建模，该基准聚合了两个理解任务和两个生成任务。我们基于数百个单词的中文故事，为这些任务构建了新的数据集。

LOT: A Benchmark for Evaluating Chinese Long Text Understanding and Generation.

论文提出了最小编辑框架，该框架将基于给定概念对现有响应进行最小编辑。专注于人物角色，我们提出了Grounded Minimal Editor（GME），它通过解开和重组人物角色相关和人物角色不可知的部分来学习编辑。

Transferable Persona-Grounded Dialogues via Grounded Minimal Edits

论文提出了用于对话意图归纳的基于密度的深度聚类集成(DDCE)方法。与现有的基于K-means的方法相比，我们提出的方法在处理存在大量异常值的现实场景时更有效。

Dialog Intent Induction via Density-based Deep Clustering Ensemble

论文提出了一个上下文感知分类器来明确决定何时允许重复以及何时使用惩罚采样。这样的分类器可以很容易地与现有的解码方法集成，在适当的情况下减少重复，同时保持文本的多样性。实验结果表明，我们的方法可以生成更高质量和更真实的对话。

Taming Repetition in Dialogue Generation

论文探讨了一种基于适配器的无监督域自适应微调方法。具体来说，在PrLM中插入几个可训练的适配器模块，并通过在微调时固定原始PrLM的参数来保留嵌入的通用知识。

Unsupervised Domain Adaptation with Adapter

论文提出一种新的平滑方法，称为Smoothing with Fake Label。它将一部分预测概率共享给一个新的假类。我们的实验结果表明，该方法可以提高模型在大多数任务上的性能，并且在文本分类和跨语言传输任务上优于标签平滑。

Smoothing with Fake Label

论文在BERT和RoBERTa的隐藏状态向量中发现了持续异常神经元的情况，它们在所述向量中始终具有最小或最大值。

Positional Artefacts Propagate Through Masked Language Model Embeddings

论文提出了一种长文本生成模型，该模型可以在解码过程中在句子层面和话语层面表示前缀句子。

Long Text Generation by Modeling Sentence-Level and Discourse-Level Coherence

论文提出了OpenMEVA，这是一个评估开放式故事生成指标的基准。OpenMEVA提供了一个全面的测试套件来评估指标的能力。

OpenMEVA: A Benchmark for Evaluating Open-ended Story Generation Metrics

论文利用非平行语料中的对话数据训练具有特定风格的对话生成模型。利用逆向的语言模型从非平行语料中生成具有特定风格的问答对，然后使用这些问答对训练对话生成模型。

Stylized Dialogue Response Generation Using Stylized Unpaired Texts

论文提出了一种利用非对齐的句子进行对话增强的方法，该过程主要包含data-level distillation和model-level distillation两个部分。

Dialogue Distillation: Open-domain Dialogue Augmentation Using Unpaired Data

网易有灵智能创作平台是为了音乐作词人而打造，利用ai的能力辅助他们进行歌词的创作和修改，此系统还具有三个特点。

WangYiYouling: an AI-assisted Lyrics Creation System

论文提出了一种基于预训练的个性化对话模型，该模型可以使用人物角色稀疏对话数据生成连贯的响应。在该方法中，使用预先训练的语言模型来初始化编码器和解码器，并设计个人属性嵌入来通过将说话者的人物角色与对话历史一起编码来建模更丰富的对话上下文。

A Pre-training Based Personalized Dialogue Generation Model with Persona-sparse Data

论文提出了一种与任务无关的深度学习方法，即多尺度控制信号感知变换器（MCS-T），该方法具有基于注意力的编码器-解码器架构，以隐式地发现辅助信息，从而合成可控运动，而无需明确地要求辅助信息。

Multi-Scale Control Signal-Aware Transformer for Motion Synthesis without Phase

论文提出了一种形变-修补网络（deformation inpainting network）来实现高分辨率的面部配音。之前的方案都使用多层上采样层从隐空间编码合成像素，而形变-修补网络通过对参考图像的特征图进行形变来保留更多的高频纹理细节。

DINet: Deformation Inpainting Network for Realistic Facial Dubbing on High Resolution Video

论文提出了一种语义流引导的人脸替换模型（FlowFace），实现了既可以换五官也能改变脸型的换脸算法。FlowFace 通过两个阶段实现人脸的替换：脸型迁移阶段和五官迁移阶段。

FlowFace: Semantic Flow-guided Shape-aware Face Swapping

论文讲述了通过给定一段参考说话视频或者参考表情动画，从中提取出参考片段的说话风格，然后将说话风格嵌入到语音驱动的表情动画合成系统，从而实现风格可控的表情动画合成。

StyleTalk: One-shot Style-Controllable Talking Head Generation

论文提出多模态动态增强块来捕获模态内情感上下文，可以有效地减少辅助模态的模态冗余。

BAFN: Bi-direction Attention based Fusion Network for Multimodal Sentiment Analysis

自动面部情绪识别的这项工作中，论文基于135种情绪类别，通过收集大规模的135类FER图像数据集来研究相应的面部表情，并提出相应的面部情绪识别框架。

Semantic-Rich Facial Emotional Expression Recognition

论文提出了一种简单但有效的名为AdaAT（自适应仿射变换）的算子来实现错位图像生成。

Adaptive Affine Transformation: A Simple and Effective Operation for Spatial Misaligned Image Generation

论文提出了一种名为交叉超模态融合网络(CHFN)的新型端到端网络。CHFN是一种可解释的基于Transformer的神经模型，它为融合未对齐的多模态序列提供了一个有效的框架。

Dynamically Adjust Word Representations using Unaligned Multimodal Information

Paste You Into Game: Towards Expression and Identity Consistency Face Swapping

论文介绍为了从多个角度充分利用情感知识，我们利用了从Aff-Wild2 数据集中的视频剪辑中提取的口语、语音韵律和面部表情的多模态特征。基于这些特征，我们提出了一个统一的基于transformer的多模式框架，用于动作单元检测和表情识别。

Transformer-based Multimodal Information Fusion for Facial  Expression Analysis

论文开发了一种视听相关变换器（AVCT），旨在从输入音频中推断由基于关键点的密集运动场表示的说话运动。特别是，考虑到音频可能来自部署中的不同身份，我们结合音素来表示音频信号。通过这种方式，我们的AVCT可以有效地推广到其他身份所说的音频。

One-shot Talking Face Generation from Single-speaker Audio-Visual Correlation Learning

论文提出了一个基于深度学习的全自动框架，以根据新颖的古筝音乐输入合成逼真的上半身动画。基于录制的视听动作捕捉数据集，我们精心设计了一种基于生成对抗网络 (GAN) 的方法来捕捉音乐和人体动作数据之间的时间关系。

A Music-driven Deep Generative Adversarial Model for Guzheng Playing Animation

论文提出了一种数据驱动的动作插值方法，能够插值任意两段骨骼动画而无需额外的控制信号输入。我们提出了一种新的基于深度学习的网络, 称为"深度动作插值网络" (Deep Motion Interpolation Network / DMIN)。本文的方法从真实的动作捕捉数据中学习动作插值的模式，能够获取到人体动作的"速度，节奏 (rhythm)"等语义信息，并生成更加自然的过渡动画。

Learning a deep motion interpolation network for human skeleton animations

论文对头动单独建模，提出基于空间编码的神经网络进行自然的头动序列预测；为了对语音相关的整张图像的运动进行建模，本文提出使用语音先驱动生成整幅图的稠密运动场，再由稠密运动场引导图像合成。大量的实验结果证明，本文的方法可以得到同语音节奏一致的自然头动，并且将one-shot说话人脸视频的前沿合成效果往前推动了一大步。

Audio2Head: Audio-driven One-shot Talking-head Generation with Natural Head Motion

论文首次提出将表情特征建模为从id特征出发的一个差值向量，以这种显式方式去掉id的影响。为此，我们设计了一个pseudo-siamese结构的网络去学习这种差值。同时，为了加强网络在深层的学习能力，我们采用高阶多项式的方法替代一般的全连接层去完成从高维到低维的映射。另外，我们考虑到不同标注者存在一定的标注的噪音，我们增加了crowd layer学习不同标注者的偏差，使得学习到的表情表征更加鲁棒。最后，我们利用层级化的标注实现了数据增强。

Learning a Facial Expression Embedding Disentangled from Identity

论文o收集了一个in-the-wild的高清人脸audio-visual数据集YAD，YAD数据集比之前的in-the-wild数据集更加高清，比之前的in-the-lab数据集包含有更多的人物ID。其次，基于高清数据集YAD，我们借助3DMM将整个方法分成表情参数合成和视频图像合成两个阶段，在表情参数合成阶段中，我们使用multi-task的方法合成嘴唇运动参数、眉眼运动参数和头部运动参数。在视频图像合成阶段，我们使用稠密运动场替代landmark引导人脸图像生成，定性和定量结果表明我们的工作与之前的工作相比可以合成更加高清的视频。

Flow-based One-shot Talking Face Genaration with a High-resolution Audio-visual Dataset

论文首次提出了从文字生成说话人脸视频的算法框架，除了音视频同步的口型，还同时生成了与说话内容匹配的面部表情和与说话节奏匹配度韵律头动。

Write-a-speaker: Text-based Emotional and Rhythmic Talking-head Generation

论文提出了一种名为FReeNet的新型多身份人脸重演框架，用于将面部表情从任意源面部转移到具有共享模型的目标面部。提议的FReeNet由两部分组成：统一地标转换器（ULC）和几何感知生成器（GAG）。

FReeNet: Multi-Identity Face Reenactment

论文提出的VC系统，将新思想与 VC 中的多种有用思想相结合。VQ-VAE（矢量量化变分自动编码器）是一种将音素标记序列作为瓶颈特征进行恢复和编码的方法。考虑到音高信息为音调语言提供了更好的VC结果，并且在低资源数据集上单独建模共振峰掩码和音高更稳定。音素标记序列的正则化提供了更平滑和更自然的序列，并避免了过度拟合。

One-shot Voice Conversion using StarGAN

本论文的重点是是合成一个 虚拟角色说中文的眉毛和眼睑运动。本工作依赖于来自汉语为母语者的视听数据集。与以前使用语音韵律特征作为输入信号的工作不同，我们的工作尝试利用文本信息来计算眼眉和眼睑运动，统计框架提取输入和输出信号之间的时间关系。主观评估验证了计算所得的动画合理性。客观评估表明，由此产生的人类感知动画类似于人类运动捕捉数据，能够传达适当的情感。

Upper Facial Expression Generation with Text-to-Motion Generative Adversarial Neural Network

论文提到基于统计框架仅将文本信息作为输入来计算头部运动，为虚拟角色说中文时能够自动合成头部动作。结果表明，生成的头部动画能够提高观者感知的自然度，并证明头部动画与合成语音输入的同步性。

Text-driven Visual Prosody Generation for Embodied Conversational Agents

论文中通过解决两个关键挑战，首次探索了将隐式神经表示用于自主3D场景重建的可能性。与使用TSDF的变体或无视图规划的重建相比，该方法在渲染图像质量和重建的3D模型的几何质量的各种度量上都有显著改进。

NeurAR: Neural Uncertainty for Autonomous 3D Reconstruction with Implicit Neural Representations

论文提出了一个基于条带的多级步态识别网络，名为GaitStrip，以提取不同级别的综合步态信息。高级分支探索步态序列的上下文，而低级分支则侧重于详细的姿势变化。

GaitStrip: Gait Recognition via Effective Strip-based Feature Representations and Multi-Level Framework

论文提出了一个基于视觉的框架，用于视频中的动态天空替换和协调。此方法是纯粹基于视觉的，对捕获设备没有任何要求，并且可以很好地应用于任何在线或离线处理场景。

Castle in the Sky: Dynamic Sky Replacement and Harmonization in Videos

论文提出了Box Adjuster，这是一种基于强化学习的方法，用于调整每个文本边界框的形状，使其与文本识别模型更兼容。

Optimal Boxes: Boosting End-to-End Scene Text Recognition by Adjusting Annotated Bounding Boxes via Reinforcement Learning

论文提出了一种新的网络架构，即仿射卷积网络，它使基于CNN的方法能够处理空间上不对应的输入和输出图像，同时保持高保真质量输出。

High-Quality 3D Face Reconstruction with Affine Convolutional Networks

论文提出了一种三通道网络架构，该架构以人脸图像为输入，生成漫反射图、法线图以及姿态和光系数。通过将渲染结果与输入图像以及一些其他目标函数进行比较来优化网络参数。

Realistic Game Avatars Auto-Creation from Single Images via Three-pathway Network

论文提出了一种简单但有效的方法来解决统一框架下的多个运动完成问题，并在多个评估设置下在LaFAN1上实现了新的最先进的精度（比sota要高17%）。

A Unified Framework for Real Time Motion Completion

论文提出了一种新的递归前向网络（RFNet），它由三个模块组成：递归特征提取（RFE）、前向致密完成（FDC）和原始形状保护（RSP）。RFE从不同重复级别的不完整点云中提取多个全局特征，FDC以粗到细的方式生成点云。RSP引入了原始不完整模型的细节，以完善完成结果。

RFNet: Recurrent Forward Network for Dense Point Cloud Completion

论文提出了一个简单但强大的汉字字体生成框架ZiGAN，利用来自不同字符样式的几个成对样本来实现不同字形的结构之间的细粒度关联。实验表明，该方法在少样本汉字风格转换中具有最先进的泛化能力。


ZiGAN:Fine-grained Chinese Calligraphy Font Generation via a Few-shot Style Transfer Approach

论文提出了一个新的思路，用舞蹈专家视角来看待音乐舞蹈问题。团队首次尝试将传统舞蹈理论建模，即在逐片段的舞蹈动作检索框架下实现了自动编舞。基于上述设计，玩家可以在算法的基础上进一步编辑舞蹈动作，实现了以往被忽略的交互功能。

Automatic Translation of Music-to-Dance for In-Game Characters

论文计了一种全新的神经可微渲染器，它可以模仿矢量渲染器的行为，然后将画笔预测转换为参数搜索过程，即最大化输入与渲染输出之间的相似度。 实验表明，通过我们的方法生成的绘画在整体外观和局部纹理上都具有很高的保真度。 我们的方法也可以与神经风格迁移共同优化，后者可以进一步迁移其他图像的视觉样式。

Stylized Neural Painting

论文基于图注意力机制下的循环网络来模拟当前子图到目标节点的边的分布情况，为了在模型中加入对2D空间的理解，我们将3D场景渲染为2D，提取对应节点视觉特征，融合到循环网络中，由于图节点信息和2D场景信息来自不同的域，我们还加入一个全局的视觉内容-图节点匹配损失。

In-game Residential Home Planning via Visual Context-aware Global Relation Learning

论文进一步设计了一个轻量且有效的基于金字塔池化的非局部（non-local）模块以捕获不同尺度下不同人体部分的全局语义相关性。实验结果表明，我们的方法可以在较大的姿态差异下生成高质量的结果。

Structure-aware Person Image Generation with Pose Decomposition and Semantic Correlation

论文引入local-global机制，通过先将局部的五官迁移，然后用五官来指导生成整张脸简化了任务。实验表明，我们的方法能更好地保存原始人脸信息，生成更真实的图像。

One-shot Face Reenactment Using Appearance Adaptive Normalization

论文提出了一种低成本的三维人脸及贴图数据集获取方案。同时，为了降低数据获取的成本，提高网络的鲁棒性，我们采取了半监督的训练方式。对于有真值的数据进行监督学习，而大部分无真值的数据则是基于可微渲染器进行自监督学习。主观实验表明，我们的方法在约98%的测试用例上都优于其它现有方法。

MeInGame: Create a Game Character Face from a Single Portrait

为了在大的梯度区域中获得更准确的深度估计，必须获得具有空间和语义信息的高分辨率特征。论文提出了一种改进的DepthNet HR-Depth，它具有两种有效的策略。

HR-Depth : High Resolution Self-Supervised Monocular Depth Estimation

论文提出了角色自动创建方法，它可以根据玩家上传的单张照片创建出对应的游戏角色。该方法将捏脸这个艺术创作过程看做一个自监督学习的过程，并采用可微神经渲染的方式加以解决。

Neural Rendering for Game Character Auto-creation

论文提出了一个分层特征提取模块(HFEM)来提取多尺度的特征，这有助于集中于局部纹理和全局语义。然后，引入分层引导重建模块(HGRM)，以渐进的方式通过中间监督重建SR图像中更自然的结构纹理。最后，我们将HFEM和HGRM集成到一个名为分层生成对抗网络(HSR-GAN)的简单而高效的端到端框架中，以恢复一致的细节，从而获得语义合理和视觉逼真的结果。

Hierarchical Generative Adversarial Networks for Single Image Super-Resolution

论文提出了Dynamic Future Net，一个新的深度学习模型，我们通过构建一个在时间随机性方面具有非平凡建模能力的生成模型，明确关注上述运动随机性。鉴于数据量有限，我们的模型可以生成大量具有任意持续时间的高质量运动，以及在空间和时间上具有视觉说服力的变化。

Dynamic Future Net: Diversified Human Motion Generation

论文将图卷积引入人脸重演任务中，首先通过重建人脸三角网格获取人脸的表情和姿态信息，再通过图卷积生成光流图，最后生成的光流图用于图像变形来使得源图片和驱动图片对齐，并最终生成对应表情的人脸。

Mesh Guided One-shot Face Reenactment Using Graph Convolutional Networks

论文提出了“PokerFace-GAN”来进行无表情角色自动创建。我们首先搭建了可微的角色渲染器，它比此前的方法更具有灵活性。我们进一步结合对抗训练方法来把表情参数从捏脸参数中分离出来。由于该框架中的所有组件都是可微的，我们的方法可以很容易的在多任务自监督学习框架下进行训练。实验结果表明我们可以生成与输入图像高度相似的无表情游戏角色。

Neutral Face Game Character Auto-Creation via PokerFace-GAN

论文研究了通过单张图像无监督的估计人脸运动单元的强度的问题。由于表情参数和人脸参数是高度耦合的，这大大增加了人脸运动单元的估计难度。又因为人脸运动单元标注需要专业的知识，并且非常耗时耗力。为了解决这些问题，提出了一种无监督的人脸参数估计方法。

Unsupervised Learning Facial Parameter Regressor for Action Unit Intensity Estimation via Differentiable Renderer

论文提出在基于深度隐式域的方法中，采样方法的不同会对三维重建有明显的影响，研究了三维重建与采样星差异的关系。然后基于最远点采样算法，提出了一种采样方法，能从理论上提高网络的泛化性能，加快收敛；其次利用了物体的对称性，提出一种特征融合的方法解决了采样时物体的自遮挡问题。

Ladybird: Quasi-Monte Carlo Sampling for Deep Implicit Field Based 3D  Reconstruction with Symmetry

论文提出了一种倒置金字塔网络(IPN)，它暗示了人类由粗糙到精细的认知范式。该网络由全局和局部两个连续阶段组成。在全局阶段，引入类敏感上下文记忆网络(CCMNet)来学习判别支持-查询关系的嵌入，并基于上下文记忆预测查询到类的相似度。然后在局部阶段，进一步添加一个细粒度的校准来补充粗糙关系嵌入，以实现更精确的查询到类的相似度评价。

Few-shot Visual Learning with Contextual Memory and Fine-grained Calibration

论文提出了一个统一框架来解决混合图像分离问题，名为“深度对抗分解”。该框架在对抗训练的范式下可以解决线性和非线性的解混问题。考虑到图像混合的模糊性，本文引入了“分离判别器”用于判断输出的图像是否很好地被分解出来。

Deep Adversarial Decomposition: A Unified Framework for Separating Superimposed Images

论文提出了一种可以不依赖于该类数据集的人脸三维重建方法，以生成带高保真纹理的三维人脸。先一个由卷积神经网络（CNNs）构成的回归器来预测3DMM的身份、纹理等系数以及光照等参数，得到人脸的形状（以Mesh网格表示）和粗略的纹理（以网格的顶点颜色表示）。然后使用由两个图卷积网络（解码器和优化器）组成的纹理优化模块来对粗略的纹理进行优化。

Towards High-Fidelity 3D Face Reconstruction from In-the-Wild Images Using Graph Convolutional Networks

论文提出了一种新的三分支网络架构，称为特征解耦网络（FDN），这是一种更强大的架构，用于从单个RGB图像中估计无地标头部姿态。

FDN: Feature Decoupling Network for Head Pose Estimation

论文提出了一种快速鲁棒智能捏脸框架，该框架可以直接根据玩家的输入面部照片生成游戏中的角色。与此前基于神经风格迁移或单目三维人脸重建的方法不同，我们从不同的角度重新构建了角色自动创建过程。

Fast and Robust Face-to-Parameter Translation for Game Character Auto-creation

本文提出了一种基于深度学习的方法来自动计算生产角色基于骨架变形的皮肤权重。我们首先为输入角色网格构建一个图形及其关联的骨架层次结构。每个图形节点都对网格骨架属性进行编码。图和节点属性被送入我们的图卷积网络以预测皮肤权重图。


NeuroSkinning: Automatic Skin Binding for Production Characters with Deep Graph Networks

论文提出了一种端到端的深度学习方法，用于仅从音频生成实时面部动画。评估结果表明，此方法不仅可以从音频中生成准确的嘴唇运动，还可以成功地回归说话者随时间变化的面部运动。

Audio2Face: Generating Speech/Face Animation from Single Audio with Attention-Based Bidirectional LSTM Networks

论文以不同的视角来考察该问题，即从物理模型出发，将其看做是前景背景分离的过程并在数字抠图的范式下加以解决。我们进一步提出了一个生成对抗框架，该框架无需像素级的标注也无需用户交互。

Generative Adversarial Training for Weakly Supervised Cloud Matting

论文提出了根据玩家上传的人脸照片自动化创建游戏角色的方法。该方法将捏脸这个艺术创作过程看做人脸相似度度量问题和捏脸参数搜索问题并利用优化方法加以求解。

Face-to-Parameter Translation for Game Character Auto-Creation

论文提出了一个名为差异驱动多代理强化学习(DDMA)的通用框架，通过直接初始化和集中的多代理策略学习，此框架可以帮助加速学习过程并显著提高渐进性能。

DDMA: Discrepancy-Driven Multi-Agent Reinforcement Learning

论文提出了Individual Reward Assisted Team Policy Learning（IRAT），它从密集的个人奖励和稀疏的团队奖励中学习每个代理的两个策略并具有差异约束，以相互更新这两个策略。在不同场景（如Multi-Agent Particle Environment和Google Research Football Environment）中的实验结果表明，IRAT显著优于基线方法，可以在不偏离原始团队目标的情况下极大地促进团队策略学习，即使个人奖励具有误导性或与团队奖励冲突。

Individual Reward Assisted Multi-Agent Reinforcement Learning

论文提出了GBGallery，一个游戏bug数据库和一个可扩展框架，以实现自动游戏测试研究。在最初的版本中，GBGallery包含了5款游戏中的76个真实bug，并结合了5种最先进的测试技术进行对比研究，作为进一步研究的基础。借助GBGallery，我们进行了大规模的实证研究，发现当前的自动化游戏测试仍处于早期阶段，因此需要广泛研究游戏软件的新测试技术。对此，我们公开了GBGallery，希望能促进游戏测试研究。

GBGallery: A Game Testing Benchmark and Framework for the Next

论文提出了面向未来的缓存管理策略(FOCM)来应对手机游戏典型场景中的缓存管理问题。FOCM利用一个双马尔可夫模型来连接缓存管理的决策过程和游戏玩家的行为过程，从而更准确地建模未来的潜在访问请求。

A Future-Oriented Cache Management for Mobile Games

手机游戏GUI widget的高多样性和高密度特征可能是现有方法的主要原因，这需要新的研究方法和更好的行业实践。 我们专门为手机游戏设立了一个GUI部件检测baseline,提供了游戏UI数据集和最先进的GUI检测方法,也可以为用于进一步的基础研究(例如, 测试和分析)。  


An Empirical Study of GUI Widget Detection for Industrial Mobile Games

本论文提出了基于代码的数据增强技术来检测游戏GUI故障。在20个真实世界的游戏应用程序上对GLIB进行了评估，结果表明，GLIB在检测游戏GUI故障方面可以达到100%的准确率和99.5%的召回率。GLIB在14款现实世界游戏中的实际应用进一步证明，GLIB可以有效地发现GUI故障，到目前为止，报告的53个bug中有48个已经被确认和修复。

GLIB: Towards Automated Test Oracle for Graphically-Rich Applications

论文提出一种有reward约束的行为克隆方法(RCBC)。该方法结合了模仿学习与有约束的强化学习方法，利用人类示范数据学习类人行为，同时用奖励下限约束保证策略性能，使得策略优化过程中自动探索类人行为和最大化累积奖励的均衡点。文章在多个环境上进行实验，结果表明该方法能够在保证较好的累积奖励的前提下，学习到示范数据的类人行为。

Reward-ConstrainedBehaviorCloning

论文尝试解决奖赏塑形方法存在的问题，提出了一种能够自适应地利用给定附加奖励、有效甄别附加奖励好坏的新型奖赏塑形方法。

Learning to Utilize Shaping Rewards: A New Approach of Reward Shaping

论文提出了一种基于强化学习的回归测试技术，该技术可以探索不同版本的MMORPG游戏之间的差异性，从而检测出潜在的回归bug。通过对真实的商业角色扮演游戏逆水寒上的实验评估，证明了该技术的有效性和应用前景。

Regression Testing of Massively Multiplayer OnlineRole-Playing Games

伏羲实验室和天津大学的研究人员提出了一种称为Q值路径分解（QPD）的新方法，可以将系统的全局Q值分解为单个智能体的Q值。和以前的工作限制单个Q值和全局Q值的表示关系不同，我们将累积梯度归因技术运用到深度MARL中，沿着轨迹路径直接分解全局Q值来为智能体进行信度分配。

Q-value Path Decomposition for Deep Multiagent Reinforcement Learning

论文提出一种action balance exploration探索方法，来更加平衡的在状态空间中进行探索。在决定探索方向时，action balance exploration会考虑各个动作的已有执行次数，并选择不常执行的动作，进而达到寻找完全未知状态的目的。通过验证实验和真实游戏实验，我们展示了action balance exploration探索未知状态的能力，证明了其对于提升智能体最终表现的正向作用。


Exploring Unknown States with Action Balance

论文在强化学习中引入了这种注意力机制，将MDP建模中的Action元素作为注意力机制运算的重要依据，在强化学习智能体上实现了对这种“自上而下”的注意力机制的模拟。最终注意力机制的可视化结果证明了强化学习智能体学习到了符合人类常识的关注焦点，在完整Atari游戏集合上的实验证明了本文方法相较于对比方法可以明显的提升最终效果。

Reinforcement Learning with Action-Specific Focuses in Video Games

论文提出了一种新型的策略迁移框架PTF，该框架将多策略迁移问题建模为option learning problem，直接学习什么时候进行策略复用，复用哪一个策略，以及什么时候终止策略复用。在离散动作空间和连续动作空间问题的实验中，本文所提出的策略迁移框架PTF展现出显著优于现有迁移学习方法的加速效果。

Efficient Deep Reinforcement Learning via Adaptive Policy Transfer

论文提出了一个名为EMOGI的新框架，它可以在几乎没有领域知识的情况下自动生成所需的样式。更重要的是，EMOGI成功地创造了一系列不同的风格，提供了行为多样的游戏AI。经过真实商业游戏的评估表明，与现有算法相比，EMOGI在生成不同行为方面表现更好，并显著提高了游戏AI设计的效率。

Generating Behavior-Diverse Game AIs with Evolutionary Multi-Objective Deep Reinforcement Learning

论文提出了一套基于课程学习的整合框架，它主要由两大部分组成：第一部分是多个级联起来的基于课程学习智能体，用来对篮球中的多子任务分别进行学习，并且可以在学习过程中逐步建立起不同子任务的关系；第二部分是一个更高层的课程学习切换器，主要是针对多智能体系统中和协作相关的策略的学习，比如如何传球，帮队友挡拆。在和人类进行的线上测试中，我们这套算法可以达到70%的胜率，并且提升了游戏日活，给游戏带来更多潜在收益。

Mastering Basketball with Deep Reinforcement Learning: An Integrated Curriculum Training Approach

论文提出了一种新颖的策略传输框架(PTF)，利用这一想法来加速强化学习(RL)。此框架通过将多策略转移建模为选项学习问题来学习何时以及哪个源策略最适合重用于目标策略以及何时终止它。实验结果表明，它显著加快了学习过程，并在离散和连续动作空间的学习效率和最终性能方面超越了最先进的策略转移方法。

Efficient Deep Reinforcement Learning Through Policy Transfer

论文提出一种名为动作语义网络(ASN)的新型网络架构，ASN使用基于它们之间的动作语义的神经网络来表征不同动作对其他代理的影响。ASN可以轻松地与现有的深度强化学习(DRL)算法相结合，以提高其性能。

Action Semantic Network: Considering the Effects of Actions in Multiagent Systems

论文提出了一种新的动态多代理课程学习(DyMA-CL)，通过从小规模的多代理场景开始学习并逐步增加代理数量来解决大规模问题。实验结果表明，与最先进的深度强化学习方法相比，使用DyAN的DyMA-CL极大地提高了大规模多代理体学习的性能。
