论文介绍
预训练语言模型的浪潮一直在不断提高机器生成对话的质量，但是，一些生成的响应仍然存在过度重复的问题，有时会重复话语中的单词，有时会在自生成的响应中重复单词，或者两个都出现。单词的不适当重复会明显降低生成文本的质量。惩罚采样是一种流行的解决方案，它降低了推理过程中现有单词的采样概率，但是，它很容易受到静态权重设置不当的影响。将它设置得太高会产生奇怪和不切实际的句子，而设置得太低会使抑制重复的任务。
为了弥补上述方法的不足，我们设计了一个上下文感知分类器来明确决定何时允许重复以及何时使用惩罚采样。这样的分类器可以很容易地与现有的解码方法集成，在适当的情况下减少重复，同时保持文本的多样性。实验结果表明，我们的方法可以生成更高质量和更真实的对话。
论文地址
https://arxiv.org/abs/2112.08657
