Probing Simile Knowledge from Pre-trained Language Models

发布:2023-01-16 10:14:08
阅读:17440
作者:陈伟杰、常永炷、张荣升、浦嘉澍、陈观淡、张乐、席亚东、Yijiang Chen、Chang Su
分享:复制链接

论文介绍

明喻解释(SI)和明喻生成(SG)是NLP领域具有挑战性的任务,因为模型需要足够的世界知识来产生预测。以往的工作都是采用大量手工制作的资源将知识相关的内容带入模型中,这既费时又费力。近年来,基于预训练语言模型(PLM)的方法已成为NLP中的事实标准,因为它们从大型语料库中学习通用知识。PLM中嵌入的知识可能对SI和SG任务有用。然而,很少有作品对其进行探索。

在本文中,我们首次从PLM探索明喻知识,以在明喻的统一框架中解决SI和SG任务。我们框架的主干是用手动模式构造掩码句子,然后预测掩码位置的候选词。在此框架中,我们采用具有掩码语言模型(MLM)损失的二次训练过程(形容词-名词掩码训练)来增强掩码位置候选词的预测多样性。此外,应用模式集成(PE)和模式搜索(PS)来提高预测词的质量。最后,自动和人工评估证明了我们的框架在SI和SG任务中的有效性。

论文地址

https://arxiv.org/abs/2204.12807

扫码进群
微信群
免费体验AI服务