监督、自监督和无监督

Supervise learning

self supervise learning label 不需要特别雇佣人类去标记，他可以自动产生

"Self-supervised Learning "这个词，当初Yann LeCun说过，其实并不是一个老词。根据2019年4月在Facebook上的一个帖子，他说，我现在说的这个方法，他叫Self-supervised Learning。为什么不叫无监督学习呢？因为无监督学习是一个比较大的家族，里面有很多不同的方法，为了让定义更清晰，我们叫它 “自监督”，比如我们之前提到的cycle gan，也是无监督学习的一个案例，我们也不使用标注的配对数据，但是，它和Self-supervised Learning还是有点区别。在无监督学习的范畴内，有很多方法，Self-supervised Learning就是其中之一。

代表：BERT、GPT

首先你有大量的没有标注的资料,用这些没有标注的资料,你可以去训练一个模型,你必须发明一些不需要标注资料的任务,比如说做填空题,比如说预测下一个 Token

Self-supervised Learning

这个不用标注资料的学习叫做,Self-Supervised Learning,或者是也有人叫 Pre-Training,那用这些不用标注资料的任务,学完一个模型以后,它本身没有什麽用,BERT 只能做填空题,GPT 只能够把一句话补完,但是你可以把它用在其他下游的任务裡面

auto-encoder 我们虽然说他是一个 UNsupervised 的方法，但其实还是有一个 label，只不过这个 label 不需要人产生而已

auto-encoder：

cycle-GAN：

Unsupervise learning

例如对训练机器下棋这样的任务来说，我们不知道下一步到底应该落子在哪里，这样的问题可能是没有 label 的