机器学习笔记（五）-正则化（Regularization）

本次学习笔记主要记录学习机器学习时的各种记录，包括吴恩达老师视频学习、李宏毅老师视频学习、周志华老师的《机器学习》（西瓜书）以及李航老师的《统计学习方法》。作者能力有限，如有错误等，望联系修改，非常感谢！

---

第一版       2021-09-26        初稿

---

一、过拟合问题

正则化改善或减少过度拟合化。

（1）第一个模型为线性模型，欠拟合，即具有高偏差；
（2）第二个模型拟合效果好；
（3）第三个模型过拟合，即具有高方差。
过拟合问题将会在变量过多的时候出现，这是训练出的h能很好地拟合训练集（J≈0）

x次数越高，拟合越好，但预测能力差。

处理过拟合问题：
（1）减少选取变量的数量：舍弃不重要的特征变量
（2）正则化：减小参数的大小

二、代价函数

加入惩罚：

加入正则化：

λ过大：

三、线性回归的正则化

正则化线性回归：
$$\begin{gathered} J\left(\theta \right)=\frac{1}{2m}\left[\sum _{i=1}^m{\left(h_{\theta }\left(x^{\left(i\right)}\right)-y^{\left(i\right)}\right)}^2+\lambda \sum _{j=1}^n{\theta }_j^2\right] \\ \underset{\theta }{} \end{gathered}$$