经典线性回归

在此感谢 吴喜之 老师的耐心讲述，此系列博客记录 统计学 的学习历程。

概述

回归和分类：均为有指导学习，有一个抽象的函数模式。

y = f(X,Θ,ϵ)

f 是函数或算法模型。
y 是因变量, X 是自变量, Θ 是参数 (或模型选项), ϵ 是误差.。

---

[注]
当 y 为 数量变量 时为 回归；

当 y 为 分类 (定性) 变量 时为 分类 ；

可加误差形式 $y=f\left ( x,\Theta \right )+\epsilon$ ；

线性形式 $y=\beta _{0}+\sum_{i=1}^p \beta _{i}x_{i} + \epsilon$；

模型形式

线性模型.

x 为 1 个数量变量 的情况. 一般的模型形式为 $y = \beta _{0}+\beta _{1}x+\varepsilon$

假定 x 是一个非随机的数目, ϵ 是模型所无法描述的随机误差项。

假定其均值 E(ϵ) = 0。 因此 y 是一个随机变量, 其均值

$\mu = E\left ( y \right ) = \beta _{0}+\beta _{1}+E\left ( \epsilon \right )=\beta _{0}+\beta _{1}x$

这显然是平面上的一条截距为 β0, 斜率为 β1 的直线。

---

如果有 p 个数量自变量 x1,x2,...,xp, 则线性模型的一般形式可以写成
$y=\beta _{0}+\beta _{1}x_{1}+\beta _{2}x_{2} +\cdots +\beta _{p}x_{p}+\epsilon$

---

如果数据有 n 个观测值, 为 (y1,x11,...,x1p),(y2,x21,...,x2p),...,(yn,xn1,...,xnp), 那么, 对于这个数据的线性模型为
$y_{i}=\beta _{0}+\beta _{1}x_{i1}+\beta _{2}x_{i2} +\cdots +\beta _{p}x_{ip}+\epsilon$ ,$i=1,2,\cdots,n$

---

如果用 X 表示矩阵
$X= \begin{bmatrix} 1 & x_{11} & x_{12}&\cdots &x_{1p}\\ 1 & x_{21} & x_{22}&\cdots &x_{2p} \\ \vdots & \vdots & \vdots & \ddots & \vdots \\ 1 & x_{n1} & x_{n2}&\cdots &x_{np}\end{bmatrix}=\begin{bmatrix}1 & x_{1} & x_{2} & \cdots & x_{p}\end{bmatrix}$

记 β=(β0,β1,β2