文章目录
一、过拟合
过拟合的原因
在于学习时过多的考虑如何提高对训练数据的正确分类，从而构建出过于复杂的决策树。
解决过拟合方法
1.增加训练数据：这是解决过拟合现象的根本办法，若没有过多的训练数据，我们可以自己增加一些假数据来在增加数据的数量，从而让模型的泛化能力增强。
2.控制模型的复杂度：过于复杂的模型容易造成过拟合现象。对于模型的设计而言，我们应该选择简单、合适的模型解决复杂的问题。
3.降低特征的数量：对于一些特征工程而言，可以降低特征的数量。删除冗余特征，人工选择保留哪些特征。
4.L1 / L2 正则化
L1正则化和L2正则化可以看做是损失函数的惩罚项。所谓"惩罚"是指对损失函数中的某些参数做一些限制。
以线性回归为例，使用L1正则化的模型建叫做Lasso回归，使用L2正则化的模型叫做Ridge回归（岭回归）。
优化目标：
min 1 N ∑ i = 1 N ( y i − ω T x i ) 2 \frac{1}{N}\displaystyle\sum_{i = 1}^{N}{(y_{i} -\omega^{T} x_{i})^{2} } N1i=1∑N(yi−ωTxi)2 式子(1）
加上L1正则项（lasso回归）：
min 1 N ∑ i = 1 N ( y i − ω T x i ) 2 + α ∣ ∣ w ∣ ∣ 1 \frac{1}{N}\displaystyle\sum_{i = 1}^{N}{(y_{i} -\omega^{T} x_{i})^{2} }+α||w||_1 N1i=1∑N(yi−ωTxi)2+α∣∣w∣∣1 式子（2）
加上L2正则项（岭回归）：
min 1 N ∑ i = 1 N ( y i − ω T x i ) 2 + α ∣ ∣ w ∣ ∣ 2 2 \frac{1}{N}\displaystyle\sum_{i = 1}^{N}{(y_{i} -\omega^{T} x_{i})^{2} }+α||w||_2^2 N
最低0.47元/天 解锁文章
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
