Datawhale X 李宏毅苹果书 AI夏令营 第二章

2.1模型偏差

模型复杂度与目标函数复杂度的偏差

        模型太简单···无论如何训练都很难找到损失小的函数

        模型太复杂···过拟合

2.2如何优化

梯度下降算法

问题：容易停留在局部最优解

                优化程度可能较低···出现56层不如20层的情况（不是过拟合而是优化问题）

2.3过拟合

1.数据增强

        创造新数据···cv中的左右镜像

2.限制模型

        减少参数···全连接变卷积神经网络

        减少数据量

        其他方法···早停，正则化，dropout

2.4交叉验证

训练集 验证集

使用K折交叉验证

确保验证集表现最好

2.5不匹配

训练集与测试集不匹配导致落差

与过拟合不同，增加数据集徒劳