简单线性回归笔记

本文详细介绍了简单线性回归的概念,包括最小二乘法的原理和应用。通过最小二乘法求解直线估计,探讨了残差估计、方差分析和相关系数。还涉及了残差的假设检验和线性回归的估计值性质。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

线性回归

简单线性回归:两个变量的相关关系

基本概念:

1、一般,在统计后,我们得到多组有X=( X 1 , X 2 . . . X p X_1,X_2...X_p X1,X2...Xp)的变量,以及Y变量,目的是找到两个随机变量之间的关系Y=f(X)。而这里我们假设关系是线性的。当然这一般需要先经过画图判断出来。

2、f是线性的,设 f ( x ) = β 0 + β 1 x f(x)=\beta_0+\beta_1x f(x)=β0+β1x,对统计数据( x i , y i x_i,y_i xi,yi)有 y i = β 0 + β 1 x i + ϵ , ϵ 为 残 差 y_i=\beta_0+\beta_1x_i+\epsilon,\epsilon为残差 yi=β0+β1xi+ϵ,ϵ,我们使 E [ ϵ ] = 0 , 计 V a r ( ϵ ) = σ 2 , 则 E [ y ∣ x ] = E [ β 0 + β 1 x + ϵ ] = β 0 + β 1 x , E[\epsilon]=0,计Var(\epsilon)=\sigma^2,则E[y|x]=E[\beta_0+\beta_1x+\epsilon]=\beta_0+\beta_1x, E[ϵ]=0,Var(ϵ)=σ2,E[yx]=E[β0+β1x+ϵ]=β0+β1x, V a r ( y ∣ x ) = V a r ( β 0 + β 1 x ) + V a r ( ϵ ) = σ 2 Var(y|x)=Var(\beta_0+\beta_1x)+Var(\epsilon)=\sigma^2 Var(yx)=Var(β0+β1x)+Var(ϵ)=σ2
也就是说,我们可以用这种方法得到某个 x i x_i xi对应的 y i y_i yi的期望与方差,以下的Var/E都可以看做在x下的条件概率

3、我们用最小二乘法对直线进行估计

最小二乘法

1、最小二乘:使 L = ∑ ϵ 2 = ∑ ( y i − β 0 − β 1 x i ) 2 达 到 最 小 L=\sum \epsilon^2=\sum(y_i-\beta_0-\beta_1x_i)^2达到最小 L=ϵ2=(yiβ0β1xi)2,即 L β 0 = − 2 ∑ ( y i − β 0 − β 1 x i ) = 0 L_{\beta_0}=-2\sum(y_i-\beta_0-\beta_1x_i)=0 Lβ0=2(yiβ0β1xi)=0 L β 1 = ∑ − 2 x i ( y i − β 0 − β 1 x i ) = 0 L_{\beta_1}=\sum-2x_i(y_i-\beta_0-\beta_1x_i)=0 Lβ1=2xi(yiβ0β1xi)=0,
得到 β 0 = y ‾ − β 1 x ‾ , β 1 = ∑ x i y i − n x ‾ y ‾ ∑ x i 2 − n x ‾ 2 = ∑ ( x i − x ‾ ) ( y i − y ‾ ) ∑ ( x i − x ‾ ) 2 = S x y / S x x \beta_0=\overline{y}-\beta_1\overline{x},\beta_1=\frac{\sum x_iy_i-n\overline{x}\overline{y}}{\sum x_i^2-n\overline{x}^2}=\frac{\sum(x_i-\overline{x})(y_i-\overline{y})}{\sum(x_i-\overline{x})^2}=S_{xy}/S_{xx} β0=yβ1x,β1=xi2nx2xiyinxy=(xix)2(xix)(yiy)=Sxy/Sxx

2、根据最小二乘法得到的对y的估计是有残差的,对残差的估计:

​ 1、 S S E = ∑ ϵ i 2 = ∑ ( y i − y i ^ ) 2 , σ ^ 2 = S S E n − 2 SSE=\sum \epsilon_i^2=\sum(y_i-\hat{y_i})^2,\hat{\sigma}^2=\frac{SSE}{n-2} SSE=ϵi2=(yiyi^)2,σ^2=n2SSE 这是对残差方差 V a r ( y i − y i ^ ) / V a r ( ϵ i ) Var(y_i-\hat{y_i})/Var(\epsilon_i) Var(yiyi^)/Var(ϵi)的无偏估计:
证明: . . .

​ 2、 S S E = S S T − β 1 ^ S x y = S S T − S S R , S S T = ∑ ( y i − y ‾ ) 2 SSE=SST-\hat{\beta_1}S_{xy}=SST-SSR,SST=\sum(y_i-\overline{y})^2 SSE=SSTβ1^Sxy=SSTSSR,SST=(yiy)2
证明: S S T = ∑ ( y i − y ‾ ) 2 = ∑ ( y i − y i ^ ) 2 + ∑ ( y i ^ − y ‾ ) 2 + 2 ∑ ( y i − y i ^ ) ( y i ^ − y ‾ ) SST=\sum(y_i-\overline{y})^2=\sum(y_i-\hat{y_i})^2+\sum(\hat{y_i}-\overline{y})^2+2\sum(y_i-\hat{y_i})(\hat{y_i}-\overline{y}) SST=(yiy)2=(yiyi^)2+(yi^y)2+2(yiyi^)(yi^y)
S S R = ∑ ( y i ^ − y ‾ ) 2 = ∑ ( β 0 ^ + β 1 ^ x i − ( β 0 ^ + β 1 ^ x ‾ ) ) 2 = β 1 ^ 2 S x x = β 1 ^ S x y SSR=\sum(\hat{y_i}-\overline{y})^2=\sum(\hat{\beta_0}+\hat{\beta_1}x_i-(\hat{\beta_0}+\hat{\beta_1}\overline{x}))^2=\hat{\beta_1}^2S_{xx}=\hat{\beta_1}S_{xy} SSR=(yi^y)2=(β0^+β1^xi(β0^+β1^x))2=β1^2Sxx=β1^Sxy
∑ ( y i − y i ^ ) ( y i ^ − y ‾ ) = ∑ ( y i − y i ^ ) ( β 0 ^ + β 1 ^ x i − ( β 0 ^ + β 1 ^ x ‾ ) ) = β 1 ^ ∑ ( y i − y i ^ ) ( x i − x ‾ ) \sum(y_i-\hat{y_i})(\hat{y_i}-\overline{y})=\sum(y_i-\hat{y_i})(\hat{\beta_0}+\hat{\beta_1}x_i-(\hat{\beta_0}+\hat{\beta_1}\overline{x}))=\hat{\beta_1}\sum(y_i-\hat{y_i})(x_i-\overline{x}) (yiyi^)(yi^<

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值