课程导入20220625
P1:机器学习是什么?
machine learning=looking for function找函数f(x)
深度学习=机器学习的一个关键技术,用类神经网络
eg. x--f(x)--y
X:vector函数、Matrix矩阵、sequence序列等
Y:scalar数值,regression;classification分类;text,image等
P2:机器如何找函数?
1)L1-L5,supervised learning监督学习,收集一堆资料,做标注(labels),做训练
2)L7,self-supervised learning自监督学习,pre-train在训练之前做的事,做好基本技能。不需要标注,机器自动学习,先通过分辨简单任务就会完成复杂任务的处理。pre-trained Model(foundation Model)----Downstream Tasks
3)L6,Unsupervised learning非监督学习--Generative Adversarial Network生成对抗网络技术,只需要输入大量x,自动输出Y
4)L12,Reinforcement Learning(LR)强化学习.———不知道怎么标注,但是知道哪种结果是好坏
P3:其他进阶课题
L8,Anomaly Detection异常检测,让机器具备回答“我不知道”的能力
L9,Explainable AI可解释性AI,机器知道为什么答案是这样?
L10,Model Attack模型攻击,人类加入noise,对模型进行攻击
L11,Domain Adaptation域适应,训练数据与最终测试数据很不一致,需要适用
L13,Network Compression网络压缩,模型太大,将之变小
L14,Life-long Learning终生学习,为什么没有办法让机器一直学习新的技术
P4:学习如何学习learn to learn
L15:Meta Learning元学习,学习如何学习,机器基于经验发明新的模型算法。Few-shot learning只用少量的标注资料就可以学习=meta learning