Supervise learning
self supervise learning label 不需要特别雇佣人类去标记,他可以自动产生
"Self-supervised Learning "这个词,当初Yann LeCun说过,其实并不是一个老词。根据2019年4月在Facebook上的一个帖子,他说,我现在说的这个方法,他叫Self-supervised Learning。为什么不叫无监督学习呢?因为无监督学习是一个比较大的家族,里面有很多不同的方法,为了让定义更清晰,我们叫它 “自监督”,比如我们之前提到的cycle gan,也是无监督学习的一个案例,我们也不使用标注的配对数据,但是,它和Self-supervised Learning还是有点区别。在无监督学习的范畴内,有很多方法,Self-supervised Learning就是其中之一。
代表:BERT、GPT
首先你有大量的没有标注的资料,用这些没有标注的资料,你可以去训练一个模型,你必须发明一些不需要标注资料的任务,比如说做填空题,比如说预测下一个 Token
Self-supervised Learning
这个不用标注资料的学习叫做,Self-Supervised Learning,或者是也有人叫 Pre-Training,那用这些不用标注资料的任务,学完一个模型以后,它本身没有什麽用,BERT 只能做填空题,GPT 只能够把一句话补完,但是你可以把它用在其他下游的任务裡面
auto-encoder 我们虽然说他是一个 UNsupervised 的方法,但其实还是有一个 label,只不过这个 label 不需要人产生而已
auto-encoder:
cycle-GAN:
Unsupervise learning
例如对训练机器下棋这样的任务来说,我们不知道下一步到底应该落子在哪里,这样的问题可能是没有 label 的