线性回归的详解

1、线性回归的基本形式

给定数据集 D = { ( x ⃗ 1 , y 1 ) , ( x ⃗ 2 , y 2 ) , … , ( x ⃗ m , y m ) } \mathcal{D} = \left\{ (\vec x_1,y_1),(\vec x_2,y_2),…,(\vec x_m,y_m) \right\} D={(x 1​,y1​),(x 2​,y2​),…,(x m​,ym​)} ，共m个样本，其中 ${\vec{x}}_i=(x_{i1},x_{i2},\dots ,x_{id})$ ,代表每条数据的d个不同属性，比如房价预测问题中的房屋面积，卧室数量，建造年份等。 $y_i\in R$，代表房屋的价格。回归问题主要是训练一个模型，通过房屋的不同属性拟合出房屋价格，即：
$$f(\vec{x})=w_1{x}_1+w_2{x}_2+\dots +w_d{x}_d+b$$
也可写成向量的形式：
$$f(\vec{x})={\vec{w}}^{\mathrm{T}}\vec{x}+b$$
其中$\vec{w}=(w_1,w_2,\dots ,w_d)$ 。

通过训练，求得最优的 $\vec{w},b$，线性回归模型也就确定下来了。

为了理解方便，我们先考虑一种简单的情形，输入数据的属性只有一个，即研究房屋的面积与房屋价格之间的关系，不考虑价格与其他房屋属性之间的关系。线性回归模型试图寻找最优的 $w,b$，使得预测的房价$f(x_i)=w{x}_i+b$ ,满足：$f(x_i)$尽可能的接近真实的房屋价格 $y_i$。

2、误差函数

如何训练求得最优的 $w,b$ 呢？

关键在于如何衡量$f(x)$和$y$ 之间的差别，常用的做法是使用均方误差进行性能度量，当均方误差最小时，此时的 $w,b$ 即为最优解。即：
$$\begin{array}{rl}(w^{\ast },b^{\ast })& =arg\underset{w,b}{\min }\sum _{i=1}^m(f(x_i)-y_i{)}^2\\ & =arg\underset{w,b}{\min }\sum _{i=1}^m(y_i-w{x}_i-b{)}^2\end{array}$$
注：均方误差的几何意义：欧氏距离。

3、如何求得最优解

3.1 最小二乘法

只要我们能够做到极小化误差函数，就能够得到最优解。求解$w,b$ 使得$E_{(w,b)}={\sum }_{i=1}^m(y_i-w{x}_i-b{)}^2$ 最小化的过程，称为线性回归的最小二乘“参数估计”。

因为这里的误差函数$E_{(w,b)}$ 是关于 $w,b$ 的凸函数，根据凸函数的定义可知，当他关于$w和b$ 的导函数为0时，可以求得$w$和$b$的最优解。
$$\begin{array}{rl}\frac{\partial E_{(w,b)}}{\partial w}& =\frac{\partial }{\partial w}\left[\sum _{i=1}^m{\left(y_i-w{x}_i-b\right)}^2\right]\\ & =\sum _{i=1}^m\frac{\partial }{\partial w}\left[{\left(y_i-w{x}_i-b\right)}^2\right]\\ & =\sum _{i=1}^m\left[2\cdot \left(y_i-w{x}_i-b\right)\cdot (-x_i)\right]\\ & =\sum _{i=1}^m\left[2\cdot \left(w{x}_i^2-y_i{x}_i+b{x}_i\right)\right]\\ & =2\cdot \left(w\sum _{i=1}^m{x}_i^2-\sum _{i=1}^m{y}_i{x}_i+b\sum _{i=1}^m{x}_i\right)\\ & =2\left(w\sum _{i=1}^m{x}_i^2-\sum _{i=1}^m\left(y_i-b\right)x_i\right)\end{array}$$

$$\begin{array}{rl}\frac{\partial E_{(w,b)}}{\partial b}& =\frac{\partial }{\partial b}\left[\sum _{i=1}^m{\left(y_i-w{x}_i-b\right)}^2\right]\\ & =\sum _{i=1}^m\frac{\partial }{\partial b}\left[{\left(y_i-w{x}_i-b\right)}^2\right]\\ & =\sum _{i=1}^m\left[2\cdot \left(y_i-w{x}_i-b\right)\cdot (-1)\right]\\ & =\sum _{i=1}^m\left[2\cdot \left(b-y_i+w{x}_i\right)\right]\\ & =2\cdot \left[\sum _{i=1}^{m}b-\sum _{i=1}^m{y}_i+\sum _{i=1}^{m}w{x}_i\right]\\ & =2\left(mb-\sum _{i=1}^m\left(y_i-w{x}_i\right)\right)\end{array}$$

令：
$$\{\begin{array}{lr}\frac{\partial E_{(w,b)}}{\partial w}=2\left(w{\sum }_{i=1}^m{x}_i^2-{\sum }_{i=1}^m\left(y_i-b\right)x_i\right)=0& \\ \frac{\partial E_{(w,b)}}{\partial b}=2\left(mb-{\sum }_{i=1}^m\left(y_i-w{x}_i\right)\right)=0& \end{array}$$

解得：
$$\{\begin{array}{lr}w=\frac{{\sum }_{i=1}^m{y}_i(x_i-\bar{x})}{{\sum }_{i=1}^m{x}_i^2-\frac{1}{m}({\sum }_{i=1}^m{x}_i{)}^2}& \\ b=\frac{1}{m}{\sum }_{i=1}^m(y_i-w{x}_i)& \end{array}$$

求得$w,b$ 即可的单变量回归模型。

对于多变量回归的情况，也就是预测房价时，除了考虑房屋面积，还要考虑卧室数量，建造年份等因素。为了便于讨论。把偏置b和w整合到一个向量中(下文出现的$\vec{w}$ 遵循这个标准)，此时：
$$\vec{w}=(w_1,w_2,\dots ,w_d;b)$$
注： $\vec{w}$ 默认列向量，${\vec{w}}^{\mathrm{T}}$ 为横向量，下同。

把m条数据的房屋价格也写成向量的形式：
$$\vec{y}=(y_1,y_2,\dots ,y_m)$$

相应的把数据 $\mathcal{D}$ 也进行改写，对于每一个数据扩展为 ${\vec{x}}_i=(x_{i1},x_{i2},\dots ,x_{id},1)$ (下文出现的${\vec{x}}_i$ 遵循这个标准)，整体数据集扩展为$m\times (d+1)$ 的矩阵$\text{X}$：
$$\text{X}=\left[\begin{array}{ccccc}{x}_{11}& x_{12}& \cdots & x_{1d}& 1\\ x_{21}& x_{22}& \cdots & x_{2d}& 1\\ ⋮& ⋮& \ddots & ⋮& ⋮\\ x_{m1}& x_{m2}& \cdots & x_{md}& 1\end{array}\right]$$
其中，每一行代表一个数据，改行的前d个元素对应房屋的d个属性值，最后一个元素置为1。

此时对于单个样本有：
$$f({\vec{x}}_i)={\vec{w}}^T\vec{x}$$

此时，
$$X\vec{w}=\left[\begin{array}{ccccc}{x}_{11}& x_{12}& \cdots & x_{1d}& 1\\ x_{21}& x_{22}& \cdots & x_{2d}& 1\\ ⋮& ⋮& \ddots & ⋮& ⋮\\ x_{m1}& x_{m2}& \cdots & x_{md}& 1\end{array}\right]\left[\begin{array}{c}{w}_1\\ w_2\\ ⋮\\ b\end{array}\right]=\left[\begin{array}{c}{w}_1{x}_{11}+w_2{x}_{12}+\dots +w_d{x}_{1d}+b\\ w_1{x}_{21}+w_2{x}_{22}+\dots +w_d{x}_{2d}+b\\ ⋮\\ w_1{x}_{m1}+w_2{x}_{m2}+\dots +w_d{x}_{md}+b\end{array}\right]$$
这样通过一次运算，就可求得所有的样本点的房屋价格。也不需要单独考虑 b 。

此时的最优解为：

$${\hat{\mathbf{w}}}^{\ast }=\underset{\hat{\mathbf{w}}}{\mathrm{argmin}}(\mathbf{y}-\mathbf{X}\hat{\mathbf{w}}{)}^{\mathrm{T}}(\mathbf{y}-\mathbf{X}\hat{\mathbf{w}})$$

均方误差为：
$$E_{\hat{w}}=(\mathbf{y}-\mathbf{X}\hat{\mathbf{w}}{)}^{\mathrm{T}}(\mathbf{y}-\mathbf{X}\hat{\mathbf{w}})$$
均方误差对 $\vec{w}$ 求导：
$$\frac{\partial E_{\hat{\mathbf{w}}}}{\partial \hat{\mathbf{w}}}=2{\mathbf{X}}^{\mathrm{T}}(\mathbf{X}\hat{\mathbf{w}}-\mathbf{y})$$
推导过程如下：
$$E_{\hat{\mathbf{w}}}=(\mathbf{y}-\mathbf{X}\hat{\mathbf{w}}{)}^{\mathrm{T}}(\mathbf{y}-\mathbf{X}\hat{\mathbf{w}})$$
展开可得：
$$E_{\hat{\mathbf{w}}}={\mathbf{y}}^{\mathrm{T}}\mathbf{y}-{\mathbf{y}}^{\mathrm{T}}\mathbf{X}\hat{\mathbf{w}}-{\hat{\mathbf{w}}}^{\mathrm{T}}{\mathbf{X}}^{\mathrm{T}}\mathbf{y}+{\hat{\mathbf{w}}}^{\mathrm{T}}{\mathbf{X}}^{\mathrm{T}}\mathbf{X}\hat{\mathbf{w}}$$

对$\hat{\mathbf{w}}$求导可得
$$\frac{\partial E_{\hat{\mathbf{w}}}}{\partial \hat{\mathbf{w}}}=\frac{\partial {\mathbf{y}}^{\mathrm{T}}\mathbf{y}}{\partial \hat{\mathbf{w}}}-\frac{\partial {\mathbf{y}}^{\mathrm{T}}\mathbf{X}\hat{\mathbf{w}}}{\partial \hat{\mathbf{w}}}-\frac{\partial {\hat{\mathbf{w}}}^{\mathrm{T}}{\mathbf{X}}^{\mathrm{T}}\mathbf{y}}{\partial \hat{\mathbf{w}}}+\frac{\partial {\hat{\mathbf{w}}}^{\mathrm{T}}{\mathbf{X}}^{\mathrm{T}}\mathbf{X}\hat{\mathbf{w}}}{\partial \hat{\mathbf{w}}}$$

由矩阵微分公式
$$\frac{\partial {\mathbf{a}}^{\mathrm{T}}\mathbf{x}}{\partial \mathbf{x}}=\frac{\partial {\mathbf{x}}^{\mathrm{T}}\mathbf{a}}{\partial \mathbf{x}}=\mathbf{a},\frac{\partial {\mathbf{x}}^{\mathrm{T}}\mathbf{A}\mathbf{x}}{\partial \mathbf{x}}=(\mathbf{A}+{\mathbf{A}}^{\mathrm{T}})\mathbf{x}$$

可得
$$\frac{\partial E_{\hat{\mathbf{w}}}}{\partial \hat{\mathbf{w}}}=0-{\mathbf{X}}^{\mathrm{T}}\mathbf{y}-{\mathbf{X}}^{\mathrm{T}}\mathbf{y}+({\mathbf{X}}^{\mathrm{T}}\mathbf{X}+{\mathbf{X}}^{\mathrm{T}}\mathbf{X})\hat{\mathbf{w}}$$

$$\frac{\partial E_{\hat{\mathbf{w}}}}{\partial \hat{\mathbf{w}}}=2{\mathbf{X}}^{\mathrm{T}}(\mathbf{X}\hat{\mathbf{w}}-\mathbf{y})$$
解得：
$${\hat{\mathbf{w}}}^{\ast }=({\mathbf{X}}^{\mathrm{T}}\mathbf{X}{)}^{-1}{\mathbf{X}}^{\mathrm{T}}\mathbf{y}$$

这里我们发现：当且仅当${\mathbf{X}}^{\mathrm{T}}\mathbf{X}$ 可逆时上式成立。${\hat{\mathbf{w}}}^{\ast }$ 有唯一解。

实际情况是，${\mathbf{X}}^{\mathrm{T}}\mathbf{X}$ 往往不是满秩矩阵，比如一些数据属性数目大于样本数，结合解方程组时，若因变量过多，则会出现多组解。选择哪一个解作为最终模型，将由算法的归纳偏好决定，常见的做法是引入正则项。

3.2 梯度下降法

我们也可以从梯度下降的角度来理解如何训练求得最优的 $w$呢？

梯度下降的核心是：设定初始参数$w_i$,不断迭代，使得$J(\hat{w})$最小化
$$w_j:=w_j-\alpha \frac{\partial J(w)}{\partial w}$$

$$J(\hat{w})=\frac{1}{2}\sum _{i=1}^m({\vec{w}}^{\mathrm{T}}{\vec{x}}_i-y_i{)}^2$$

根据梯度下降法则:
$$\begin{array}{rl}\frac{\partial J(\vec{w})}{\partial w_j}& =\frac{\partial }{\partial w_j}\frac{1}{2}\sum _{i=1}^n({\vec{w}}^{\mathrm{T}}{\vec{x}}_i-y_i{)}^2\\ & =2\ast \frac{1}{2}\sum _{i=1}^n({\vec{w}}^{\mathrm{T}}{\vec{x}}_i-y_i)\ast \frac{\partial }{\partial w_j}({\vec{w}}^{\mathrm{T}}{\vec{x}}_i-y_i)\\ & =\sum _{i=1}^n({\vec{w}}^{\mathrm{T}}{\vec{x}}_i-y_i)\ast \frac{\partial }{\partial w_j}(\sum _{j=0}^d{w}_j{x}_{ij}-y_i))\\ & =\sum _{i=1}^n({\vec{w}}^{\mathrm{T}}{\vec{x}}_i-y_i)x_{ij}\end{array}$$

$$w_j=w_j-\alpha \sum _{i=1}^n({\vec{w}}^{\mathrm{T}}{\vec{x}}_i-y_i)x_{ij}$$

注：下标 i 表示第几个样本点。

梯度下降法沿着图中的1-2-3-4路径逐步达到最小$J(\hat{w})$ 点。梯度下降法的缺陷：如果函数为非凸函数，有可能找到的并非全局最优值，而是局部最优值。

4、引入正则项的回归

介绍两种回归变体。

当样本数远小于特征数时，直接使用
$$\underset{\mathbf{w}}{\min }\sum _{i=1}^m{\left(y_i-{\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i\right)}^2$$

作为损失函数，很容易导致过拟合，我们在原有的误差函数上引入正则化项。

（1）先引入$L_2$ 范数：
$$\underset{\mathbf{w}}{\min }\sum _{i=1}^m{\left(y_i-{\mathbf{w}}^{\mathrm{T}}\mathbf{x}i\right)}^2+\lambda ||\mathbf{w}|{|}_2^2$$

其中 $\lambda >0$ , 上式即为“岭回归”的优化目标。

（2）引入$L_1$ 范数：
$$\underset{\mathbf{w}}{\min }\sum _{i=1}^m{\left(y_i-{\mathbf{w}}^{\mathrm{T}}\mathbf{x}i\right)}^2+\lambda ||\mathbf{w}|{|}_1$$

其中 $\lambda >0$ , 上式即为“LASSO 回归”的优化目标。

$L_1$范数与$L_2$范数正则化都有助于降低过拟合的风险，但是$L_1$ 范数更易获得“稀疏”解，即：使用$L_1$范数求得的模型$w$ 中会有更多的0。

如何理解这一点？为了分析方便，我们假定$x$仅有两个属性，即$\vec{w}=(w_1,w_2)$，建立以 $w_1,w_2$ 为坐标轴的坐标系。在坐标系中绘制如下方程：

（1） $L_1$ 范数等值线
$$||\vec{w}|{|}_1=|w_1|+|w_2|$$
（2） $L_2$ 范数等值线
$$||\vec{w}|{|}_2=\sqrt{|w_1{|}^2+|w_2{|}^2}$$

(3)平方误差项等值线
$$E=\sum _{i=1}^m(y_i-(w_1{x}_{i1}+w_1{x}_{i2}+b){)}^2$$

注：等值线即空间中取值相同的点连成的线，以$L_1$范数为例，分别在坐标轴中画出$|w_1|+|w_2|=1$ ，$|w_1|+|w_2|=2$ …$|w_1|+|w_2|=k$ （k为常数）的线，即$L_1$范数中取值相同的点连成的线。

由图可知：

（1）无论是“岭回归”还是“Lasso回归”，其最优解都出现在图中平方误差项等值线与相应的正则化等值线相交处。如：“Lasso回归”最优解可能是图中的B点，“岭回归”的最优解可能出现在图中的A点。

（2）采用$L_1$ 范数“Lasso回归”中的，平方误差项等值线与$L_1$的正则化等值线的交点往往出现在坐标轴上，即$w_1$ 或$w_2$ 为0；而“岭回归”中，交点往往出现在某个象限中，即$w_1$ 或$w_2$ 非0。即：$L_1$ 范数更易获得“稀疏”解（使用$L_1$范数求得的模型$w$ 中会有更多的0）。

说明：如果 $\vec{w}$ 中某些元素为0，意味着d个特征中对应着$\vec{w}$ 中的0分量的特征将会不起作用，这其实完成了嵌入式的特征选择，即：模型学习的同时进行特征选择。

5、为什么是均方误差

为什么均方误差作为性能的度量是合理的？我们从概率的角度来分析一下。

假设预测值$f(x_i)$与真实值 $y_i$ 之间的误差为 ${ϵ}_i$ ,那么真实值与预测值之间有如下关系：
$$y_i=f({\vec{x}}_i)+{ϵ}_i$$
经过训练得到最优的参数 $w,b$ ，使得$f(x_i)$ 与 $y_i$ 与是十分接近的，所以大部分样本的${ϵ}_i$ 都是趋近于0，所以，${ϵ}_i$ 可以看成高斯分布，即：
$${ϵ}_i\sim \mathcal{N}(0,{\sigma }^2)$$
高斯分布的概率密度函数为：
$$P({ϵ}_i)=\frac{1}{\sqrt{2\pi }\sigma }exp(-\frac{({ϵ}_i{)}^2}{2{\sigma }^2})$$
所以：
$$\begin{array}{rl}P(y_i|x_i;w)& =\frac{1}{\sqrt{2\pi }\sigma }exp(-\frac{({ϵ}_i{)}^2}{2{\sigma }^2})\\ & =\frac{1}{\sqrt{2\pi }\sigma }exp(-\frac{(y_i-f({\vec{x}}_i){)}^2}{2{\sigma }^2})\end{array}$$
即：在给定$w,x_i$的前提下：
$$\begin{gathered} y_i\sim \mathcal{N}(f({\vec{x}}_i),{\sigma }^2) \\ 其中：f({\vec{x}}_i)={\vec{w}}^T{\vec{x}}_i \end{gathered}$$

相当于我们已经知道$y_i$ 的分布即高斯分布，但是我们不知道他的参数 ${\vec{w}}^T$和$\sigma$, 而极大似然估计法来正是用来解决此类问题的。通过假设样本独立同分布，最大化似然函数，来进行参数估计。

补充一点：最大化似然函数的原理说简单点就是在一次观测中发生了的事件其概率应该大，概率大的事在观测中容易发生，所以我们希望让每一个$P(y_i|x_i;w)$都最大化，这等效于他们的乘积(或他们的乘积取对数)最大化。在这个前提下对参数进行估计。

构造似然函数为：
$$L(\vec{w})=\prod _{i=1}^{m}P(y_i|x_i;w)=\prod _{i=1}^m\frac{1}{\sqrt{2\pi }\sigma }exp(-\frac{(y_i-{\vec{w}}^T{\vec{x}}_i{)}^2}{2{\sigma }^2})$$

两边同时取对数：
$$\begin{array}{rl}InL(\vec{w})& =In\prod _{i=1}^m\frac{1}{\sqrt{2\pi }\sigma }exp(-\frac{(y_i-{\vec{w}}^T{\vec{x}}_i{)}^2}{2{\sigma }^2})\\ & =nIn\frac{1}{\sqrt{2\pi }\sigma }-\frac{1}{{\sigma }^2}\cdot \frac{1}{2}\sum _{i=1}^n((y^{(i)}-{\vec{w}}^T{\vec{x}}_i{)}^2\end{array}$$
最大化似然函数，即最小化 $\frac{1}{2}{\sum }_{i=1}^n((y^{(i)}-{\vec{w}}^T{\vec{x}}_i{)}^2$

此结果即为均方误差，因此用这个值作为代价函数来优化模型在统计学的角度是合理的。