A Pre-training Based Personalized Dialogue Generation Model with Persona-sparse Data

发布:2023-01-09 10:49:15
阅读:760
作者:张荣升、郑银河、毛晓曦、黄民烈
分享:复制链接

论文介绍

为对话系统赋予人物角色对于提供更人性化的对话至关重要。然而,由于在自然语言中体现个性的困难以及在大多数对话语料库中观察到的人物稀疏性问题,这个问题还没有得到很好的研究。本文提出了一种基于预训练的个性化对话模型,该模型可以使用人物角色稀疏对话数据生成连贯的响应。在该方法中,使用预先训练的语言模型来初始化编码器和解码器,并设计个人属性嵌入来通过将说话者的人物角色与对话历史一起编码来建模更丰富的对话上下文。

此外,为了将目标人物角色纳入解码过程并平衡其贡献,在解码器中设计了注意力路由结构,以使用动态预测的权重合并从目标人物角色和对话上下文中提取的特征。我们的模型可以在训练过程中以统一的方式使用人物角色稀疏对话,并且还可以控制在推理过程中展示的人物角色相关特征的数量。自动和手动评估都表明,所提出的模型在使用人物角色稀疏数据生成更连贯和人物角色一致的响应方面优于最先进的方法。

论文地址

https://arxiv.org/abs/1911.04700

扫码进群
微信群
免费体验AI服务