线性回归算法

本文不讨论监督学习、非监督学习等概念，主要回顾一下线性回归算法的实现。

线性回归

简单的说线性回归就是用直线去拟合数据，因此找出直线同时说明这条直线是最合适的就是线性回归要做的事情。
既然要找直线，先写出直线方程

$$y(x) = wx + b$$
当有2个输入条件（节点），方程如下
$$y(x) = w_1x_1 + w_2x_2 +b$$
换用矩阵简单表示（ $w_0 = 1$）
$$y(x) = w^TX$$
扩展为n个输入条件
$$\hat{y} = \sum_{i=0}^{n} {w_ix_i} =w^TX$$
现在根据已知的x值求出最合适的 $w$。什么是最合适的？从最初的目标来看，希望找出的直线能够代表所有的输入数据。因此引入下面的误差值$\epsilon$
$$\epsilon^{(i)} =y^{(i)} - w^Tx^{(i)}$$
$y^{(i)}$表示标签值，也就是真实值。通过比较真实值和预测值（线性方程计算值）之间的差异来衡量线性方程。差异越小，表明线性方程越好。
下面 假设$\epsilon^{(i)}$独立同分布，且服从均值为0的正态分布。于是有了下面的正态分布公式
$$p(\epsilon^{(i)})=\frac {1} {\sqrt{2\pi}\sigma}exp(-\frac{(\epsilon^{(i)})^2}{2{\sigma}^2})$$
带入
$$p(y^{(i)}|x^{(i)};w)=\frac {1} {\sqrt{2\pi}\sigma}exp(-\frac{(y^{(i)}-w^Tx^{(i)})^2}{2{\sigma}^2})$$
我们希望概率越大越好，因为概率越大， $\epsilon^{(i)}$越接近0，表示误差越小。
根据上面的假设， $\epsilon^{(i)}$独立同分布。因而联合密度等于所有 $\epsilon$密度的乘积
$$P= \prod_{i=1}^{m}p(y^{(i)}|x^{(i)};w) = \prod_{i=1}^{m}\frac {1} {\sqrt{2\pi}\sigma}exp(-\frac{(y^{(i)}-w^Tx^{(i)})^2}{2{\sigma}^2})$$
上面这个式子的含义是指定 $x$和$w$值时 $y$的概率。也就是找到合适的$w$，使概率最大。继续往下，很容易想到极大似然估计，两边取对数
$$\begin{align*} \log P&= \sum_{i=1}^{m}\log p(y^{(i)}|x^{(i)};w) \\ &= m\log\frac {1}{\sqrt{2\pi}\sigma} - \frac {1}{\sigma^2}.\frac{1}{2}\sum_{i=1}^{m}(y^{(i)}-w^Tx^{(i)})^2 \end{align*}$$

记

$$J(w) = \frac{1}{2}\sum_{i=1}^{m}(y^{(i)}-\hat y^{(i)})^2$$ 其中 $\hat y^{(i)}= w^Tx^{(i)}$
对于P的最大值，也就是J的最小值。求导找极值点
$$J(w)=\frac{1}{2}\sum_{i=1}^{m}(y^{(i)}-\hat y^{(i)})^2=\frac{1}{2}(Xw-y)^T(Xw-y)$$

$$\begin{align*} \frac{\partial J(w)}{\partial w} &= \frac{\partial (\frac{1}{2}\sum_{i=1}^{m}(y^{(i)}-\hat y^{(i)})^2)}{\partial w} \\ &=\frac{\partial (\frac{1}{2}(Xw-y)^T(Xw-y) )}{\partial w}\\ &=\frac{\partial ( \frac{1}{2}(w^TX^TXw-w^TX^Ty-y^TXw+y^Ty))}{\partial w}\\ &=\frac{1}{2}(2X^TXw-X^Ty-(y^TX)^T)\\ &=X^TXw-X^Ty=0 \end{align*}$$
可知：
$$w=(X^TX)^{-1}X^Ty$$

梯度下降

梯度下降法是比较常见的求极值点的方法，小批量梯度下降法（Mini-Batch Gradient Descent，MBGD）类似，下面简单介绍
根据前面的分析，目标损失函数为

$$J(w) = \frac{1}{2m}\sum_{i=1}^{m}(y^{(i)}-\hat y^{(i)})^2$$ 其中 $\hat y^{(i)}= w^Tx^{(i)}$

求梯度：

$$\frac{\partial J(w)}{\partial w} =-\frac{1}{m}\sum_{i=1}^{m}(y^{(i)}-\hat y^{(i)})x^{(i)}$$
更新：
$$w=w-\alpha\frac{\partial J(w)}{\partial w}$$

其中$\alpha$为学习率，用来控制梯度下降中每次移动的速度。α的值需要调试：太小会使整个过程过慢，也容易陷入局部最优解；太大容易错过极值点。

---

另外也可以将b看成偏差，那么$\hat y= w^TX+b$，损失函数

$$J(w,b) = \frac{1}{2m}\sum_{i=1}^{m}(y^{(i)}-\hat y^{(i)})^2$$ 其中 $\hat y^{(i)}= w^Tx^{(i)}+b$

$$w=w-\alpha\frac{\partial J(w,b)}{\partial w}$$
$$b=b-\alpha\frac{\partial J(w,b)}{\partial b}$$