西瓜书+实战+吴恩达机器学习（四）监督学习之线性回归 Linear Regression

如果这篇文章对你有一点小小的帮助，请给个关注，点个赞喔，我会非常开心的~

0. 前言

线性回归试图学得一个线性模型以尽可能准确的预测实值输出。

$$f(x)=w^{T}x+b$$
其中，$x$为多元向量，$w$为权重向量，$b$为偏置。

1. 线性回归参数求解方法

梯度下降法：定义代价函数（例如：均方误差），按照梯度方向修改参数以最快降低代价函数，$w_j=w_j-\alpha \frac{1}{m}{\sum }_{i=1}^m({\hat{y}}^{(i)}-y^{(i)})x_j^{(i)}$。

正规方程：通过$\hat{w}=(X^{T}X{)}^{-1}{X}^{T}y$直接求解，当矩阵不可逆时（多发生在$n⩾m$时），可删除冗余的特征或采用正则化。

矩阵逆运算的时间复杂度通常为$O(n^3)$，所以当 n 较大时，建议使用梯度下降。

2. 线性回归正则化

2.1. 岭回归

L2范数正则化，又称作岭回归（ridge regression）。

正则化项表示为：$\lambda {\Vert w\Vert }_2^2$，对应正规方程表示为：$\hat{w}=(X^{T}X+\lambda I{)}^{-1}{X}^{T}y$。

2.2. LASSO

L1范数正则化，又称作LASSO（Least Absolute Shrinkage and Selection Operator）。

正则化项表示为：$\lambda {\Vert w\Vert }_1$

L1范数正则化比L2范数正则化更容易获得稀疏解。

3. 局部加权线性回归

局部加权线性回归（Locally Weighted Linear Regression）给待测点附近的每个点赋予一定的权值。

高斯核函数表示为：$w(i,i)=\exp (-\frac{{\Vert x^{(i)}-x\Vert }^2}{2{\sigma }^2})$

建立权值矩阵$W$，只含对角线元素，则正规方程表示为：$\hat{w}=(X^{T}WX{)}^{-1}{X}^{T}Wy$。

4. 广义线性模型

广义线性模型（generalized linear model）定义为：
$$y=g(w^{T}x+b)$$
其中，$g(\cdot )$称为联系函数，对数线性回归是$g(\cdot )=\exp (\cdot )$。

---

如果这篇文章对你有一点小小的帮助，请给个关注，点个赞喔，我会非常开心的~