简单线性回归解析-CSDN博客

本文链接：https://blog.csdn.net/zhousp123/article/details/112978403

本文详细介绍了简单线性回归的概念，包括最小二乘法的原理和应用。通过最小二乘法求解直线估计，探讨了残差估计、方差分析和相关系数。还涉及了残差的假设检验和线性回归的估计值性质。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

线性回归

简单线性回归：两个变量的相关关系

基本概念：

1、一般，在统计后，我们得到多组有X=( $X_1,X_2...X_p$ )的变量，以及Y变量，目的是找到两个随机变量之间的关系Y=f(X)。而这里我们假设关系是线性的。当然这一般需要先经过画图判断出来。

2、f是线性的,设 $f(x)=\beta_0+\beta_1x$ ，对统计数据( $x_i,y_i$ )有 $y_i=\beta_0+\beta_1x_i+\epsilon,\epsilon为残差$ ,我们使 $E[\epsilon]=0,计Var(\epsilon)=\sigma^2,则E[y|x]=E[\beta_0+\beta_1x+\epsilon]=\beta_0+\beta_1x,$ $Var(y|x)=Var(\beta_0+\beta_1x)+Var(\epsilon)=\sigma^2$
也就是说，我们可以用这种方法得到某个 $x_i$ 对应的 $y_i$ 的期望与方差,以下的Var/E都可以看做在x下的条件概率

3、我们用最小二乘法对直线进行估计

最小二乘法

1、最小二乘：使 $L=\sum \epsilon^2=\sum(y_i-\beta_0-\beta_1x_i)^2达到最小$ ，即 $L_{\beta_0}=-2\sum(y_i-\beta_0-\beta_1x_i)=0$ $L_{\beta_1}=\sum-2x_i(y_i-\beta_0-\beta_1x_i)=0$ ,
得到 $\beta_0=\overline{y}-\beta_1\overline{x},\beta_1=\frac{\sum x_iy_i-n\overline{x}\overline{y}}{\sum x_i^2-n\overline{x}^2}=\frac{\sum(x_i-\overline{x})(y_i-\overline{y})}{\sum(x_i-\overline{x})^2}=S_{xy}/S_{xx}$

2、根据最小二乘法得到的对y的估计是有残差的，对残差的估计：

1、 $SSE=\sum \epsilon_i^2=\sum(y_i-\hat{y_i})^2,\hat{\sigma}^2=\frac{SSE}{n-2}$ 这是对残差方差 $Var(y_i-\hat{y_i})/Var(\epsilon_i)$ 的无偏估计:
证明： $.$

2、 $SSE=SST-\hat{\beta_1}S_{xy}=SST-SSR,SST=\sum(y_i-\overline{y})^2$
证明： $SST=\sum(y_i-\overline{y})^2=\sum(y_i-\hat{y_i})^2+\sum(\hat{y_i}-\overline{y})^2+2\sum(y_i-\hat{y_i})(\hat{y_i}-\overline{y})$
$SSR=\sum(\hat{y_i}-\overline{y})^2=\sum(\hat{\beta_0}+\hat{\beta_1}x_i-(\hat{\beta_0}+\hat{\beta_1}\overline{x}))^2=\hat{\beta_1}^2S_{xx}=\hat{\beta_1}S_{xy}$
$\sum(y_i-\hat{y_i})(\hat{y_i}-\overline{y})=\sum(y_i-\hat{y_i})(\hat{\beta_0}+\hat{\beta_1}x_i-(\hat{\beta_0}+\hat{\beta_1}\overline{x}))=\hat{\beta_1}\sum(y_i-\hat{y_i})(x_i-\overline{x})$