线性回归
简单线性回归:两个变量的相关关系
基本概念:
1、一般,在统计后,我们得到多组有X=( X 1 , X 2 . . . X p X_1,X_2...X_p X1,X2...Xp)的变量,以及Y变量,目的是找到两个随机变量之间的关系Y=f(X)。而这里我们假设关系是线性的。当然这一般需要先经过画图判断出来。
2、f是线性的,设 f ( x ) = β 0 + β 1 x f(x)=\beta_0+\beta_1x f(x)=β0+β1x,对统计数据( x i , y i x_i,y_i xi,yi)有 y i = β 0 + β 1 x i + ϵ , ϵ 为 残 差 y_i=\beta_0+\beta_1x_i+\epsilon,\epsilon为残差 yi=β0+β1xi+ϵ,ϵ为残差,我们使 E [ ϵ ] = 0 , 计 V a r ( ϵ ) = σ 2 , 则 E [ y ∣ x ] = E [ β 0 + β 1 x + ϵ ] = β 0 + β 1 x , E[\epsilon]=0,计Var(\epsilon)=\sigma^2,则E[y|x]=E[\beta_0+\beta_1x+\epsilon]=\beta_0+\beta_1x, E[ϵ]=0,计Var(ϵ)=σ2,则E[y∣x]=E[β0+β1x+ϵ]=β0+β1x, V a r ( y ∣ x ) = V a r ( β 0 + β 1 x ) + V a r ( ϵ ) = σ 2 Var(y|x)=Var(\beta_0+\beta_1x)+Var(\epsilon)=\sigma^2 Var(y∣x)=Var(β0+β1x)+Var(ϵ)=σ2
也就是说,我们可以用这种方法得到某个 x i x_i xi对应的 y i y_i yi的期望与方差,以下的Var/E都可以看做在x下的条件概率
3、我们用最小二乘法对直线进行估计
最小二乘法
1、最小二乘:使 L = ∑ ϵ 2 = ∑ ( y i − β 0 − β 1 x i ) 2 达 到 最 小 L=\sum \epsilon^2=\sum(y_i-\beta_0-\beta_1x_i)^2达到最小 L=∑ϵ2=∑(yi−β0−β1xi)2达到最小,即 L β 0 = − 2 ∑ ( y i − β 0 − β 1 x i ) = 0 L_{\beta_0}=-2\sum(y_i-\beta_0-\beta_1x_i)=0 Lβ0=−2∑(yi−β0−β1xi)=0 L β 1 = ∑ − 2 x i ( y i − β 0 − β 1 x i ) = 0 L_{\beta_1}=\sum-2x_i(y_i-\beta_0-\beta_1x_i)=0 Lβ1=∑−2xi(yi−β0−β1xi)=0,
得到 β 0 = y ‾ − β 1 x ‾ , β 1 = ∑ x i y i − n x ‾ y ‾ ∑ x i 2 − n x ‾ 2 = ∑ ( x i − x ‾ ) ( y i − y ‾ ) ∑ ( x i − x ‾ ) 2 = S x y / S x x \beta_0=\overline{y}-\beta_1\overline{x},\beta_1=\frac{\sum x_iy_i-n\overline{x}\overline{y}}{\sum x_i^2-n\overline{x}^2}=\frac{\sum(x_i-\overline{x})(y_i-\overline{y})}{\sum(x_i-\overline{x})^2}=S_{xy}/S_{xx} β0=y−β1x,β1=∑xi2−nx2∑xiyi−nxy=∑(xi−x)2∑(xi−x)(yi−y)=Sxy/Sxx
2、根据最小二乘法得到的对y的估计是有残差的,对残差的估计:
1、 S S E = ∑ ϵ i 2 = ∑ ( y i − y i ^ ) 2 , σ ^ 2 = S S E n − 2 SSE=\sum \epsilon_i^2=\sum(y_i-\hat{y_i})^2,\hat{\sigma}^2=\frac{SSE}{n-2} SSE=∑ϵi2=∑(yi−yi^)2,σ^2=n−2SSE 这是对残差方差 V a r ( y i − y i ^ ) / V a r ( ϵ i ) Var(y_i-\hat{y_i})/Var(\epsilon_i) Var(yi−yi^)/Var(ϵi)的无偏估计:
证明: . . .
2、 S S E = S S T − β 1 ^ S x y = S S T − S S R , S S T = ∑ ( y i − y ‾ ) 2 SSE=SST-\hat{\beta_1}S_{xy}=SST-SSR,SST=\sum(y_i-\overline{y})^2 SSE=SST−β1^Sxy=SST−SSR,SST=∑(yi−y)2
证明: S S T = ∑ ( y i − y ‾ ) 2 = ∑ ( y i − y i ^ ) 2 + ∑ ( y i ^ − y ‾ ) 2 + 2 ∑ ( y i − y i ^ ) ( y i ^ − y ‾ ) SST=\sum(y_i-\overline{y})^2=\sum(y_i-\hat{y_i})^2+\sum(\hat{y_i}-\overline{y})^2+2\sum(y_i-\hat{y_i})(\hat{y_i}-\overline{y}) SST=∑(yi−y)2=∑(yi−yi^)2+∑(yi^−y)2+2∑(yi−yi^)(yi^−y)
S S R = ∑ ( y i ^ − y ‾ ) 2 = ∑ ( β 0 ^ + β 1 ^ x i − ( β 0 ^ + β 1 ^ x ‾ ) ) 2 = β 1 ^ 2 S x x = β 1 ^ S x y SSR=\sum(\hat{y_i}-\overline{y})^2=\sum(\hat{\beta_0}+\hat{\beta_1}x_i-(\hat{\beta_0}+\hat{\beta_1}\overline{x}))^2=\hat{\beta_1}^2S_{xx}=\hat{\beta_1}S_{xy} SSR=∑(yi^−y)2=∑(β0^+β1^xi−(β0^+β1^x))2=β1^2Sxx=β1^Sxy
∑ ( y i − y i ^ ) ( y i ^ − y ‾ ) = ∑ ( y i − y i ^ ) ( β 0 ^ + β 1 ^ x i − ( β 0 ^ + β 1 ^ x ‾ ) ) = β 1 ^ ∑ ( y i − y i ^ ) ( x i − x ‾ ) \sum(y_i-\hat{y_i})(\hat{y_i}-\overline{y})=\sum(y_i-\hat{y_i})(\hat{\beta_0}+\hat{\beta_1}x_i-(\hat{\beta_0}+\hat{\beta_1}\overline{x}))=\hat{\beta_1}\sum(y_i-\hat{y_i})(x_i-\overline{x}) ∑(yi−yi^)(yi^<