Unraveling the Mystery of Artifacts in Model Generated Texts

发布:2023-01-16 10:23:20
阅读:22701
作者:浦嘉澍、黄子怡、席亚东、陈观淡、陈伟杰、张荣升
分享:复制链接

论文介绍

随着神经文本生成模型(TGM)生成与人类书写无法区分文本的能力的发展,文本生成技术的滥用可能会产生严重后果。尽管神经分类器通常实现高检测精度,但其原因尚未得到很好的研究。以前的大多数工作都围绕着研究模型结构和解码策略对检测容易性的影响,但很少有人分析TGM留下的伪影形式。我们建议系统地研究人工生成的形式和范围,方法是破坏文本,用语言或统计特征代替它们,并应用综合梯度的可解释方法。

综合实验表明,伪影a)主要与标记共现有关,b)词汇开头的特征更重,c)在内容词中出现的次数多于停止词,d)有时以标记出现次数的形式有害,e)不太可能存在于高级语义或语法中,f)表现为高阶n元的低具体值。

论文地址

https://aclanthology.org/2022.lrec-1.744.pdf

扫码进群
微信群
免费体验AI服务