自监督学习（SSL）是无监督学习下的一个子类别，它利用了未标记的数据。关键思想是允许模型在没有手动标签的情况下用学习数据表示。一旦模型学会了如何表示数据，那么它就可以用于具有较少标记数据的下游任务，并拥有比没有自监督学习模型更好的性能。
自监督学习（SSL）步骤
1.基于对数据的理解，以编程方式从未标记的数据中生成输入数据和标签
2.预训练：使用上一步中的数据/标签训练模型
3.微调：使用预训练的模型作为初始权重来训练感兴趣的任务
自监督学习（SSL）的重要性
自监督学习在文本、图像/视频、语音和图形等多个领域取得了成功。实际上，自监督学习有助于理解图形数据中存在的结构和属性信息，从无标记数据中挖掘有用的信息，因此擅长挖掘未标记的数据。
自监督学习（SSL）的类别
1.生成方法：恢复原始
信息非自回归：屏蔽标记/像素并预测屏蔽标记/像素（例如，屏蔽语言建模（MLM））
b．自回归：预测下一个标记/像素
2.预测任务：基于对数据的理解、聚类或扩充来设计标签
a：预测上下文（例如，预测图像块的相对位置，预测下一个片段是否是下一个句子）
b：预测聚类每个样本的id
c：预测图像旋转角度
3.对比学习（又名对比实例辨别）：基于增强创建的正负样本对建立二元分类问题
4.自举方法：使用两个相似但不同的网络从同一样本的增强对中学习相同的表示
5.正则化：根据假设/直觉添加损失和正则化项：
a：正对应该相似
b：同一批次中不同样本的输出应该不同
