论文介绍
预训练语言模型(PLM)是现代自然语言处理(NLP)的基石。然而，对PLM所有参数进行微调会降低效率。现有的参数有效方法通常侧重于减少PLM中的可训练参数，而忽略了推理速度，这限制了部署PLM的能力。
在本文中，我们提出了LayerConnect(超网络辅助层间连接器)来提高推理效率。具体来说，在两个Transformer层之间插入一个具有线性结构的轻量级连接器，每个连接器内部的参数由一个由插值器和下采样器组成的超级网络进行调整。我们对GLUE基准进行了实验。实验结果验证了模型的推理效率。与适配器相比，我们的模型参数降低到约11.75%，而性能下降保持在5%以下（平均2.5分）。
论文地址
https://aclanthology.org/2022.coling-1.276/
