论文介绍
生成长而连贯的文本是一项重要且具有挑战性的任务，尤其是对于故事生成等开放式语言生成任务。尽管在句子内连贯性建模方面取得了成功，但现有的生成模型（例如BART）仍然难以在生成的文本中保持连贯的事件序列。我们推测，这是因为解码器很难在标记级共现之外的上下文中捕获高级语义和话语结构。
在本文中，我们提出了一种长文本生成模型，该模型可以在解码过程中在句子层面和话语层面表示前缀句子。为此，我们提出了两个预训练目标，通过预测句子间语义相似度和区分正常和无序的句子顺序来学习表示。大量实验表明，我们的模型可以生成比最先进的基线更连贯的文本。
论文地址
https://arxiv.org/abs/2105.08963
