自监督学习(SSL)是一种监督学习形式，不需要人工输入来执行数据标记，其结果由无需任何人工输入的独立分析数据、标记和分类信息的模型获得。
通俗来讲，自监督学习通以无监督方式提供给它的未标记数据来生成监督信号。然后，该模型使用生成的高置信度数据标签在下一次迭代中训练模型，在每次迭代中用作基本事实的数据标签都发生了变化。
自监督学习与监督学习、无监督学习的关系
监督学习需要使用具有与之关联的高质量手动标签的数据来训练模型，以相应地调整模型权重。
自监督学习需要用数据和它们的标签来训练模型，但是这里的标签是由模型自己生成的，一开始是没有的。
无监督学习在没有可用标签的数据集上工作，这种学习范式试图在其训练的任何阶段，不使用标签的情况下理解所提供的数据。
自监督学习是无监督学习的一个子集，两者都只提供非结构化数据。但无监督学习致力于聚类、分组和降维，而自监督学习像其他监督模型一样执行分类、分割和回归等任务。
自监督学习的框架类型
基于能量的模型(EBM)
基于能量的模型尝试使用数学函数计算两个给定输入之间的兼容性。当给定两个输入时，如果EBM产生低能量输出，则意味着输入具有高兼容性；高能量输出表示高不相容性。
联合嵌入架构
联合嵌入架构是一个双分支网络，其中每个分支的结构都相同。向每个分支提供两个输入以计算它们单独的嵌入向量。网络头部有一个模块，它将两个嵌入向量作为输入并计算它们在潜在空间中的距离。
因此，当两个输入彼此相似时，计算的距离应该很小。可以轻松调整网络参数，以确保潜在空间中的输入彼此接近。
对比学习
在对比学习型SSL中，通过将称为“锚点”的输入，如文本、图像、视频片段与正面和负面示例进行对比来训练模型。正样本是指与锚点属于同一分布的样本，而负样本是指与锚点属于不同分布的样本。
非对比自监督学习(NC-SSL)
非对比自监督学习(NC-SSL)是一种学习范式，其中仅使用正样本对来训练模型，这与同时使用正样本对和负样本对的对比学习不同。然而，NC-SSL已经证明能够使用额外的预测器和停止梯度操作来学习仅具有正对的非平凡表示。
