元学习Meta Learning/Learning to learn

目录

元学习

训练

用途

学习方法

元学习和迁移学习的区别和联系

---

元学习

Meta Learning/Learning to learn即利用以往的知识经验来指导新任务的学习，使网络具备学会学习的能力，是解决小样本问题（Few-shot Learning）常用的方法之一。

训练

在元学习中，训练单位分层级了，第一层训练单位是任务，也就是说，元学习中要准备许多任务来进行学习，第二层训练单位才是每个任务对应的数据。(训练样本中的训练集一般称作support set，训练样本中的测试集一般叫做query set)

 图片来源：https://www.jianshu.com/p/0673fc7d7760

 

用途

优化超参数和神经网络、探索好的网络结构、小样本图像识别和快速强化学习等。

学习方法

（1）recurrent models

（2）metric learning

（3）learning optimizers

元学习和迁移学习的区别和联系

从目标上看，元学习和迁移学习的本质都是增加学习器在多任务的范化能力，但元学习更偏
重于任务和数据的双重采样，即任务和数据一样是需要采样的，具体来说对于一个10分类任
务，元学习通过可能只会建立起一个5分类器，每个训练的episode都可以看成是一个子任
务，而学习到的f(x)可以帮助在未见过的任务里迅速建立mapping。而迁移学习更多是指
从一个任务到其它任务的能力迁移，不太强调任务空间的概念。