A simple framework for contrastive learning of visual representations

算是昨天多对比实例学习的前传
讲的主要是SimCLR
Chen T., Kornblith S., Norouzi M., Hinton G. A Simple Framework for Contrastive Learning of Visual Representations. arXiv: Learning, 2020.
一个简单的视觉表征对比学习框架。
SimCLR代码，更新到v2
这篇论文似乎帮我把知识点串起来了

介绍

在无监督的情况下进行学习，解决方式通常有两种：生成式网络和判别式网络

• 生成式模型的思想是先估计联合概率密度 ，再通过贝叶斯公式求出
  其典型代表则是：朴素贝叶斯模型
• 判别式模型直接估算 ，或者也可像 SVM 那样，估算出输入和输出之间的映射，与概率无关
  其典型代表是：logistic 回归

生成方法学习在输入空间中生成像素
判别方法使用类似于用于监督学习的目标函数来学习表示，其中输入和标签都来自未标记的数据集。

表征学习和特征工程
表征学习：
是对输入的数据进行学习，其三个经典利用：

• 深度学习，包括大部分常见的模型如CNN/RNN/DBN等
• 某些无监督学习算法，如主成分分析(PCA)及自编码器（autoencoder）
• 某些树模型可以自动的学习到数据中的特征并同时作出预测

特征工程：
是人为的清洗数据

SImCLR作为对比自监督学习的优势在于：

• 用了数据增广。且，在数据增广方面 无监督对比学习比监督学习受益更多。
• 在表征学习和对比损失之间引入可学习的非线性变换，大大提高了表征学习的质量。
• 具有对比交叉熵损失优势的表征学习受益于规范化嵌入和适当调整的数。
• 对比学习有更大的batch size和更多的training steps 。像监督学习一样，受益于更深和更广泛的网络
  通过结合这些发现，SimCLR 优于之前在 ImageNet 上进行自监督和半监督学习的方法。

实现方法

对比学习框架

• 一个随机数据增广模块，生成一对正样本。在模块中，依次应用了三个简单的数据增广：随机裁剪（然后调整回原始大小），随机颜色失真和随机高斯模糊。
• 从增广的数据示例中提取表示向量的神经网络基编码器 f(·)，在这用了常见的ResNet。
• 一个小的神经网络投影头g(·) 将表示映射到应用对比损失的空间，g是带非线性变化隐藏层的多层感知机。
• 为对比预测任务定义的对比损失函数。
  
  

用的数据集

无监督预训练用 ImageNet ILSVRC-2012 数据集
在表征学习的结果上用了线性评估验证

设置的模型参数

使用 ResNet-50 作为基础编码器网络，并使用 2 层 MLP 投影头将表示投影到 128 维潜在空间。损失函数用了 NT-Xent，使用 LARS 进行优化，学习率为 4.8（= 0.3×BatchSize/256），权重衰减为 10−6。以 4096 的批量大小训练 100 个 epoch。此外，在前 10 个 epoch 中使用线性预热，并使用余弦衰减学习率，且无需重启调度。

对比表示学习用到的数据增广

作者在论文中考虑了几种常见的增强。
一种类型的增强涉及数据的空间/几何变换，例如裁剪和调整大小（水平翻转）、旋转(Gidaris et al, 2018) 和剪切掉(De-Vries & Taylor, 2017)。
另一种类型的增强涉及外观变换，例如颜色失真（包括颜色下降、亮度、对比度、饱和度、色调）（Howard, 2013; Szegedy et al., 2015）、高斯模糊和 Sobel 滤子。

作者做了多种实验，结论是random crop-ping and random color distortion最有效
并且发现自动增广没有简单的裁剪和复杂的数据失真组合效果好。
无监督的对比学习受益于更强的（颜色）数据增强。

词汇

cosine decay 余弦衰减
dis-criminative 判别式
generative 生成式
linear warmup 线性预热
representation learning 表征学习
weight decay 权重衰减