自监督学习框架与监督学习、无监督学习之间的关联

自监督学习(SSL)是一种无需人工输入数据标记的监督学习形式。它通过独立分析数据、标记和分类信息的模型来获得结果，而无需任何人工干预。这种方法可以减少人工标注的工作量，提高训练效率，并且在大规模数据集上表现出色。SSL是一种有前景的学习方法，可以在各种领域中应用，如计算机视觉和自然语言处理。

自监督学习是一种利用未标记数据来生成监督信号的无监督学习方式。简单来说，它通过生成高置信度的数据标签来训练模型，然后在下一次迭代中使用这些标签。在每次迭代中，基于数据标签的基本事实都会发生变化。这种方法可以有效地利用未标记数据来提高模型的性能。

自监督学习与监督学习、无监督学习的关系

监督学习需要使用高质量手动标签的数据训练模型，并调整模型权重。

自监督学习使用数据和自动生成的标签来训练模型，一开始没有真实标签。

无监督学习在没有可用标签的数据集上工作，这种学习范式试图在其训练的任何阶段，不使用标签的情况下理解所提供的数据。

自监督学习是无监督学习的一个子集，两者都只提供非结构化数据。但无监督学习致力于聚类、分组和降维，而自监督学习像其他监督模型一样执行分类、分割和回归等任务。

自监督学习的框架类型

基于能量的模型(EBM)

基于能量的模型尝试使用数学函数计算两个给定输入之间的兼容性。当给定两个输入时，如果EBM产生低能量输出，则意味着输入具有高兼容性；高能量输出表示高不相容性。

联合嵌入架构

联合嵌入架构是一个双分支网络，其中每个分支的结构都相同。向每个分支提供两个输入以计算它们单独的嵌入向量。网络头部有一个模块，它将两个嵌入向量作为输入并计算它们在潜在空间中的距离。

因此，当两个输入彼此相似时，计算的距离应该很小。可以轻松调整网络参数，以确保潜在空间中的输入彼此接近。

对比学习

在对比学习型SSL中，通过将称为“锚点”的输入，如文本、图像、视频片段与正面和负面示例进行对比来训练模型。正样本是指与锚点属于同一分布的样本，而负样本是指与锚点属于不同分布的样本。

非对比自监督学习(NC-SSL)

非对比自监督学习(NC-SSL)是一种学习范式，其中仅使用正样本对来训练模型，这与同时使用正样本对和负样本对的对比学习不同。然而，NC-SSL已经证明能够使用额外的预测器和停止梯度操作来学习仅具有正对的非平凡表示。