论文介绍
具有预训练语言模型(PrLM)的无监督领域自适应(UDA)取得了可喜的成果，因为这些预训练模型嵌入了从各个领域学习到的通用知识。然而，在小型特定领域语料库上微调PrLM的所有参数会扭曲学习到的通用知识，而且为每个领域部署一个完整的微调PrLM会很昂贵。
本文探讨了一种基于适配器的无监督域自适应微调方法。具体来说，在PrLM中插入几个可训练的适配器模块，并通过在微调时固定原始PrLM的参数来保留嵌入的通用知识。引入了域融合方案来使用混合域语料库训练这些适配器，以更好地捕获可转移的特征。在两个基准数据集上进行了详细的实验，结果表明我们的方法对于不同的任务、数据集大小和领域相似性是有效的。
论文地址
https://arxiv.org/abs/2111.00667
