回归分析

• 线性回归分析的内容

能否找到一个线性组合来说明一组自变量和因变量的关系

如果能的话，这种关系的强度有多大，也就是利用自变量的线性组合来预测因变量的能力有多强

整体解释能力是否具有统计上的显著性意义

在整体解释能力显著的情况下，哪些自变量有显著意义

• 回归分析的一般步骤

确定回归方程中的解释变量（自变量）和被解释变量（因变量）

确定回归方程

对回归方程进行各种检验

利用回归方程进行预测

一元线性回归模型的数学模型：

Y = β0 + β1X

        其中x为自变量；y为因变量；   β0为截距，即常量；   β1为回归系数，表明自变量对因变量的影响程度。

用最小二乘法求解方程中的两个参数，得到：

多元线性回归方程：

     y=β0+β1x1+β2x2+...+βkxk

n β 1 、 β 2 、 β k 为偏回归系数。

l 回归方程的拟合优度

        回归直线与各观测点的接近程度称为回归方程的拟合优度，也就是样本观测值聚集在回归线周围的紧密程度 。

1、离差平方和的分解：

    

建立直线回归方程可知：y的观测值的总变动 可由 来反映，称为总变差。引起总变差的原因有两个：

n 由于 x 的取值不同，使得与 x 有线性关系的 y 值不同；

n 随机因素的影响。

总离差平方和（SST)=剩余离差平方和(SST) +回归离差平方和（SSR)

    其中；SSR是由x和y的直线回归关系引起的，可以由回归直线做出解释；SSE是除了x对y的线性影响之外的随机因素所引起的Y的变动，是回归直线所不能解释的。

n β 1 表示在其他自变量保持不变的情况下，自变量 x 1 变动一个单位所引起的因变量 y 的平均变动。

2、可决系数
        回归平方和在总离差平方和中所占的比例可以作为一个统计指标，用来衡量 X 与 Y 的关系密切程度以及回归直线的代表性好坏，称为可决系数。

n 对于多元线性回归方程：
      

        在多元线性回归分析中，引起判定系数增加的原因有两个：一个是方程中的解释变量个数增多，另一个是方程中引入了对被解释变量有重要影响的解释变量。如果某个自变量引入方程后对因变量的线性解释有重要贡献，那么必然会使误差平方和显著减小，并使平均的误差平方和也显著减小，从而使调整的判定系数提高。所以在多元线性回归分析中，调整的判定系数比判定系数更能准确的反映回归方程的拟合优度。

• 回归方程的显著性检验（方差分析 F 检验）

        回归方程的显著性检验是要检验被解释变量与所有的解释变量之间的线性关系是否显著。

• 回归系数的显著性检验（ t 检验）

        回归系数的显著性检验是要检验回归方程中被解释变量与每一个解释变量之间的线性关系是否显著。

• 残差分析

        残差是指由回归方程计算得到的预测值与实际样本值之间的差距，定义为：

       

对于线性回归分析来讲，如果方程能够较好的反映被解释变量的特征和规律性，那么残差序列中应不包含明显的规律性。残差分析包括以下内容：残差服从正态分布，其平均值等于 0 ；残差取值与 X 的取值无关；残差不存在自相关；残差方差相等。     

1、对于残差均值和方差齐性检验可以利用残差图进行分析。如果残差均值为零，残差图的点应该在纵坐标为0的中心的带状区域中随机散落。如果残差的方差随着解释变量值（或被解释变量值）的增加呈有规律的变化趋势，则出现了异方差现象。

ps：残存的正态性检验除了残差直方图、P-P图之外还可以用非参数检验的单一样本KS检验（柯尔莫哥洛夫-斯摩洛夫检验），检验标准化残差分布与标准正态分布有无显著差异；

ps：残差的方差齐性可以观察标准化残差与标准化预测值的散点图，是否均匀分布在【-2，2】区间上（因为正态分布的面积比例为：均值加减1个标准差的面积为68%，加减2个标准差的面积为96%，3个标准差的面积为99%），且不存在明显趋势，趋势可以通过spearman等级相关系数来判断，检验不显著则异方差现象不明显，可以认为方差齐。

2 、 DW 检验。 DW 检验用来检验残差的自相关， DW=2 表示无自相关，在 0-2 之间说明存在正自相关，在 2-4 之间说明存在负的自相关。一般情况下， DW 值在 1.5-2.5 之间即可说明无自相关现象。

• 多重共线性分析

           多重共线性是指解释变量之间存在线性相关关系的现象。

1、容忍度：

         其中， R2是第i个解释变量与方程中其他解释变量间的复相关系数的平方，表示解释变量之间的线性相关程度。容忍度的取值范围在0-1之间，越接近0表示多重共线性越强，越接近1表示多重共线性越弱。

2、方差膨胀因子VIF。方差膨胀因子是容忍度的倒数。VIF越大多重共线性越强，当VIF大于等于10时，说明存在严重的多重共线性。   

3、特征根和方差比。根据解释变量的相关系数矩阵求得的特征根中，如果最大的特征根远远大于其他特征根，则说明这些解释变量间具有相当多的重复信息。如果某个特征根既能够刻画某解释变量方差的较大部分比例（0.7以上），又能刻画另一解释变量方差的较大部分比例，则表明这两个解释变量间存在较强的线性相关关系。

4、条件指数。指最大特征根与第i个特征根比的平方根。通常，当条件指数在0-10之间时说明多重共线性较弱；当条件指数在10-100之间说明多重共线性较强；当条件指数大于100时说明存在严重的多重共线性。

注：多元回归分析中，变量的筛选一般有向前筛选、向后筛选、逐步筛选三种基本策略。

• 向前筛选（ Forward ）策略：解释变量不断进入回归方程的过程。首先，选择与被解释变量具有最高线性相关系数的变量进入方程，并进行回归方程的各种检验；然后，在剩余的变量中寻找与被解释变量偏相关系数最高且通过检验的变量进入回归方程，并对新建立的回归方程进行各种检验；这个过程一直重复，直到再也没有可进入方程的变量为止。

• 向后筛选（ Backward ）策略：变量不断剔除出回归方程的过程。首先，所有变量全部引入回归方程，并对回归方程进行各种检验；然后，在回归系数显著性检验不显著的一个或多个变量中，剔除 t 检验值最小的变量，并重新建立 回归方程和进行各种检验；如果新建回归方程中所有变量的回归系数检验都显著，则回归方程建立结束。否则按上述方法再一次剔除最不显著的变量，直到再也没有可剔除的变量为止。

• 逐步筛选（ Stepwise ）策略：在向前筛选策略的基础上结合向后筛选策略，在每个变量进入方程后再次判断是否存在应该剔除出方程的变量。因此，逐步筛选策略在引入变量的每一个阶段都提供了再剔除不显著变量的机会。

【转】【SPSS】多元回归分析的一般步骤

【多元回归分析的前提条件】
（1）因变量与自变量的关系是“一次”，即“线性”。现实中这种关系本质上往往是非线性的。
（2）残差相互独立
（3）方差齐性，残差的方差为常数或因变量的方差为常数。
（4）残差服从正态分布，或因变量围绕其均值服从正态分布。

【操作步骤】
（1）处理数据，做序列图。
（2）因变量的自相关和偏相关检验观察趋势，通过Correlations表对因自变量的相关性有大致的了解。
（3）建立回归分析模型。一般采用进入法，进行最小二乘估计。

主要的分析指标：①R方、调整后的R方：判断模型的解释程度；
                ②DW值：是否在2附近，判断是否存在自相关，残差散点图也可以看自相关；

                       ③ANOVA：未解释的残差；
                ④F检验：显著性系数是否在要求的显著性水平之下，小于就不拒绝自变量对因变量有显著影响的原假设；
                ⑤相关系数，看常数项、自变量的系数估计值、标准差；
                ⑥t检验，小于0.05，则不决绝原假设，自变量显著；
                ⑦VIF，容差大于10，存在严重的共线性。
（4）异方差检验。通过残差散点图检验。保存模型的残差值，计算残差绝对值，对自变量和残差绝对值进行双变量相关分析，检验是否存在异方差。p值大于0.05，认为0.05水平下，不存在异方差。
（5）处理可能存在的问题。
     ①序列相关。可以采用Cochrane-Orcutt iterative least squares(COILS)方法进行自回归运算。也可同过ARIMA解决自相关的问题。
     ②共线性。如果回归分析的目的仅仅是用于预测或估计因变量的数值，则共线性不会对预测值的精度造成影响；如果回归分析的目的是找出变量之间的因果关系，则不允许有多重共线性，因为这时的回归方程的系数是不准确的，甚至系数的符号与实际分析都会相反；高阶模型或自变量有关联的模型通常都会存在共线性问题，减低的方法是采用数据变换的方式对原始数据进行处理。或者逐个删除存在共线性的自变量。
     ③异方差。解决异方差性最简便的方法是对变量进行变换，如取对数。如果通过函数变换的方式还不能解决问题，则只有通过所谓加权最小二乘法（Weighted least squares）的方法。

2 、可决系数（判定系数