假设检验知识总结

假设检验知识总结

假设检验的逻辑是什么？

从知乎上比较好的回答中可以总结出，
假设检验的基本逻辑是：

1. 不轻易拒绝假设
2. 小概率事件发生不正常

结合这两点，我们设置一个随机变量的区域，这个区域是偏离原假设的，并且发生在这个区域的概率很小，如果实际观察到的值还是出现在这个不太可能出现的范围内，则我们可以拒绝原假设

其中，区域对应的是临界值，发生在这个临界区间的概率称为显著性水平。

有两种方法可以决定是否拒绝原假设：

• 给定发生偏离原假设极端情况的概率(即显著性水平$\alpha$)，可以计算得到对应的临界值(参考下图，偏离原假设的阴影部分面积表示显著性水平，对应的坐标表示临界值)。
  若观察值在临界值范围内，表示出现这种现象是正常的，则可以接受原假设；若观察值超过临界值范围，，则表示在原假设下出现了不太可能的现象，则我们拒绝原假设

• 给定发生偏离原假设极端情况的概率，计算出现观察值以及比观察值还要偏离原假设的概率(这就是p值)，若$p>\alpha$，则表示观察值在临界值范围内，可以接受原假设(图1)；若$p<\alpha$，则表示观察值在临界值范围之外，拒绝原假设(如图2)

假设检验的原理

假设检验的基本概念

还是以射箭的例子来解释假设检验的一些基本概念：

1. 零假设(null hypothesis)：说白了就是你想证伪的假设，在射箭的例子里，就是我在吹牛皮，我的平均水平不是8环，记为$H_0:\mu =8$

2. 备择假设：是一种与原假设相反的关于总体的断言，在射箭的例子里，可能的备择假设有：

$H_1:\mu \ne 8$(即平均水平不是8环，对应双尾检验)

$H_1:\mu >8$(即平均水平大于8环，你还谦虚了，对应右尾检验)

$H_1:\mu <8$(即平均水平小于8环，你在吹牛，对应左尾检验)

从里面选择一个作为备择假设，一般来说，我们将希望证伪的假设作为原假设，希望予以支持的作为备择假设。所以，这里，我们选择你在吹牛作为备择假设，即$H_1:\mu <8$

3. 检验统计量：为了进行假设检验，我们从总体中随机抽取样本，计算相关统计量，该统计量随着假设检验的类型不同而不同，但要求在零假设下的分布必须是已知的(或假设的)(比如假设我的射箭靶数服从高斯分布)

• $p$: 检验的$p$值是零假设下，得到检验统计量或比样本值更极端的值的概率，$p$越小，就代表零假设成立的概率越小(为什么？因为$p$值代表的是在零假设下出现比观察值更极端的概率，比如我射击出了2环，但 $p$值显示出现比2环更极端的概率非常低，但现在却出现了，说明假设可能不靠谱)
• $\alpha$:显著性水平 $\alpha$是检验的一个阈值， $\alpha$的值必须在假设检验前确定好，例如0.05。然后比较$p$和$\alpha$
  • 如果一个检验的$p<\alpha$，检验拒绝零假设
  • 如果 $p>\alpha$，则没有足够的证据拒绝零假设
• 置信区间: 假设检验的结果用置信区间来表示。置信区间是一个估计值范围，其上界和下界是根据样本值和样本已知的抽样分布计算的。比如我们计算出我射箭的置信区间为$5\sim 7$环，则可以拒绝零假设
• 自由度: 某个统计量的计算方法中，允许变化的值(样本)的个数，本质上，自由度是做一个估计时，所拥有的独立信息(证据)的数量

假设检验步骤

1. 提出$H_0$和 $H_1$
2. 设定显著性水平$\alpha$
3. 选定统计方法，将样本观察值按照公式计算出统计量大小
4. 根据统计量的大小及其分布确定检验假设成立的可能性 $p$的大小，若 $p>\alpha$，结论为按所取显著性水平 $\alpha$不显著，无充足理由拒绝 $H_0$，若 $p<\alpha$，结论为显著，拒绝 $H_0$

假设检验的分类

假设检验分为三种

1. 分布检验，如Anderson-Darling和单样本Kolmogorov-Smirnov，用于检验样本数据是否来自具体特定分布的总体
2. 定位检验，如z检验和单样本t检验，用于检验样本数据是否来自具有特定均值或中值的总体
3. 离散度检验，如卡方检验，用于检验样本数据是否来自具有特定方差的总体

方差分析(ANOVA)

方差分析又称为$F$检验，是一种判定方差在类间和类内是否(明显)具有区别的一种方法。如果类内差异相对于类间差异较小，则可以推断出类与类之间是有明显差异的。

1-way ANOVA的基本思想

$F$检验的零假设为所有类的均值都相等，备择假设是所有类的均值不全相等(即至少有一个类的均值与其他具有显著差异)

ANOVA的核心思想可以用一句话总结：“所有样本的总差异可以分解为类间差异和类内差异”。

$$\underset{SST}{\underbrace{\sum _i\sum _j(y_{ij}-\bar{y}{)}^2}}=\underset{SSR}{\underbrace{\sum _j{n}_j({\bar{y}}_j-\bar{y}{)}^2}}+\underset{SSE}{\underbrace{\sum _i\sum _j(y_{ij}-{\bar{y}}_j{)}^2}}$$

设总样本数为$N$，类别数为 $k$( $k\ge 2$)，则

1. 总差异(SST): 所有样本与总体均值的差异
2. 类间差异(SSR): 类均值与总体均值的差异，类间差异的自由度为$k-1$，故类间差异的均方为 $\frac{SSR}{k-1}$
3. 类内差异(SSE): 类内每个样本与其所在类均值的差异，类内差异的自由度为$N-k$，因此类内差异的均方为 $\frac{SSE}{N-k}$

MSR和MSE的比值，就是$F$统计量。理论证明，当 $H_0$成立时， $F$统计量服从对应自由度分别为 $k-1,N-k$的 $F$分布， $F$值越接近1，就越没有理由拒绝 $H_0$，反之， $F$值越大，拒绝 $H_0$的理由就越充分

$$F=\frac{\frac{SSR}{k-1}}{\frac{SSE}{N-k}}=\frac{MSR}{MSE}\sim F_{k-1,N-k}$$