详解机器学习之自监督学习(SSL)

发布:2022-10-13 11:14:03
阅读:1588
作者:网络整理
分享:复制链接

自监督学习(SSL)是无监督学习下的一个子类别,它利用了未标记的数据。关键思想是允许模型在没有手动标签的情况下用学习数据表示。一旦模型学会了如何表示数据,那么它就可以用于具有较少标记数据的下游任务,并拥有比没有自监督学习模型更好的性能。

自监督学习(SSL)步骤

1.基于对数据的理解,以编程方式从未标记的数据中生成输入数据和标签

2.预训练:使用上一步中的数据/标签训练模型

3.微调:使用预训练的模型作为初始权重来训练感兴趣的任务

自监督学习(SSL)的重要性

自监督学习在文本、图像/视频、语音和图形等多个领域取得了成功。实际上,自监督学习有助于理解图形数据中存在的结构和属性信息,从无标记数据中挖掘有用的信息,因此擅长挖掘未标记的数据。

自监督学习(SSL)的类别

1.生成方法:恢复原始

信息非自回归:屏蔽标记/像素并预测屏蔽标记/像素(例如,屏蔽语言建模(MLM))

b.自回归:预测下一个标记/像素

2.预测任务:基于对数据的理解、聚类或扩充来设计标签

a:预测上下文(例如,预测图像块的相对位置,预测下一个片段是否是下一个句子)

b:预测聚类每个样本的id

c:预测图像旋转角度

3.对比学习(又名对比实例辨别):基于增强创建的正负样本对建立二元分类问题

4.自举方法:使用两个相似但不同的网络从同一样本的增强对中学习相同的表示

5.正则化:根据假设/直觉添加损失和正则化项:

a:正对应该相似

b:同一批次中不同样本的输出应该不同

扫码进群
微信群
免费体验AI服务