论文介绍
标签平滑是许多领域广泛使用的技术。它可以防止网络过度自信。但是,它假设所有类的先验分布是均匀的。在这里,我们决定放弃这个假设并提出一种新的平滑方法,称为Smoothing with Fake Label。它将一部分预测概率共享给一个新的假类。我们的实验结果表明,该方法可以提高模型在大多数任务上的性能,并且在文本分类和跨语言传输任务上优于标签平滑。
论文地址
https://dl.acm.org/doi/10.1145/3459637.3482184
标签平滑是许多领域广泛使用的技术。它可以防止网络过度自信。但是,它假设所有类的先验分布是均匀的。在这里,我们决定放弃这个假设并提出一种新的平滑方法,称为Smoothing with Fake Label。它将一部分预测概率共享给一个新的假类。我们的实验结果表明,该方法可以提高模型在大多数任务上的性能,并且在文本分类和跨语言传输任务上优于标签平滑。
https://dl.acm.org/doi/10.1145/3459637.3482184