统计学习之假设检验

1、什么是假设检验

假设检验(hypothesis testing)，又称统计假设检验，是用来判断样本与样本、样本与总体的差异是由抽样误差引起还是本质差别造成的统计推断方法。显著性检验是假设检验中最常用的一种方法，也是一种最基本的统计推断形式，其基本原理是先对总体的特征做出某种假设，然后通过抽样研究的统计推理，对此假设应该被拒绝还是接受做出推断。

2、假设检验的相关概念

2.1原假设和备择假设

　     在参数假设检验中，总体的分布类型已知，假设检验的目的是对总体参数进行检验，为此，研究者需要事先提出某个假设，才能根据样本统计量判断假设是否真实。在参数假设检验中，“假设”是对总体参数的具体数值所作的陈述。为了使得作为证据的样本统计量必然支持且仅支持一个假设，要建立对于总体参数在逻辑上完备互斥的一对假设，即原假设(null hypothesis，记为H0H0),备择假设(alternative hypothesis，记为H1H1)。
　　原假设(又称零假设)，是假定总体参数未发生变化，备择假设(又称对立假设)，是假定总体参数发生变化。实际建立假设时，原假设与备择假设方向不同，会导致不同的结论，为此，在选择原假设和备择假设时，我们通常根据研究者是希望收集证据予以支持还是拒绝的判断作为选择依据。
　　在实际操作中，通常将研究者希望收集证据予以拒绝的假设作为原假设，而将研究者希望通过搜集证据予以支持的假设作为备择假设。比如，质量标准规定产品平均重量达到500克为合格品，质量检验人员通常希望找出不合格产品，则研究者希望通过收集证据予以支持的是该批产品，也就是该批产品平均重量不足500克。
　　在假设检验中，由于涉及到方向选择，而方向由备择假设决定，所有通常先建立备择假设，备择假设H1H1一旦建立，再根据完备与互斥性，那么原假设H0H0也就是确定了

2.2两类错误

假设检验的基本思想是利用“小概率事件”原理做出统计判断的，而“小概率事件”是否发生与一次抽样所得的样本及所选择的显著性水平α有关，由于样本的随机性及选择显著性水平α的不同，因此检验结果与真实情况也可能不吻合，从而假设检验是可能犯错误的   。

一般地，假设检验可能犯的错误有如下两类  ：

①当假设H0正确时，小概率事件也有可能发生，此时我们会拒绝假设H0。因而犯了“弃真”的错误，称此为第一类错误，犯第一类错误的概率恰好就是“小概率事件”发生的概率α，即  

P{拒绝H0/H0为真}=α

②当假设H0不正确，但一次抽样检验未发生不合理结果时，这时我们会接受H0，因而犯了“取伪”的错误，称此为第二类错误，记β为犯第二类错误的概率，即  

P{接受H0/H0不真}=β

理论上，自然希望犯这两类错误的概率都很小。当样本容量n固定时，α、β不能同时都小，即α变小时，β就变大；而β变小时，α就变大。一般只有当样本容量n增大时，才有可能使两者变小。在实际应用中，一般原则是：控制犯第一类错误的概率，即给定α，然后通过增大样本容量n来减小B。这种着重对第一类错误的概率α加以控制的假设检验称为显著性检验 

2.3显著性水平

假设检验是围绕对原假设内容的审定而展开的。如果原假设正确我们接受了（同时也就拒绝了备择假设），或原假设错误我们拒绝了（同时也就接受了备择假设），这表明我们作出了正确的决定。但是，由于假设检验是根据样本提供的信息进行推断的，也就有犯错误的可能。

有这样一种情况，原假设正确，而我们却把它当成错误的加以拒绝。犯这种错误的概率用α表示，统计上把α称为假设检验中的显著性水平 [3]  ，也就是决策中所面临的风险

2.4P值

 P值（P value）就是当原假设为真时所得到的样本观察结果或更极端结果出现的概率。如果P值很小，说明原假设情况的发生的概率很小，而如果出现了，根据小概率原理，我们就有理由拒绝原假设，P值越小，我们拒绝原假设的理由越充分。总之，P值越小，表明结果越显著。但是检验的结果究竟是“显著的”、“中度显著的”还是“高度显著的”需要我们自己根据P值的大小和实际问题来解决

通俗版的假设检验和什么是P值可参考知乎马同学的回答

2.5单侧检验和双侧检验

所谓单侧检验，是指当要检验的是样本所取自的总体的参数值大于或小于某个特定值时，所采用的一种单方面的统计检验方法。

单侧检验包括左单侧检验和右单侧检验两种。如果所要检验的是样本所取自的总体的参数值是否大于某个特定值时，则采用右单侧检验；反之，若所要检验的是样本所取自的总体的参数值是否小于某个特定值时，则采用左单侧检验。

双侧检验，就是指当统计分析的目的是要检验样本平均数和总体平均数，或样本成数有没有显著差异，而不问差异的方向是否是正差还是负差时，所采用的一种统计检验方法。

2.6置信区间

置信区间是指由样本统计量所构造的总体参数的估计区间。在统计学中，一个概率样本的置信区间（Confidence interval）是对这个样本的某个总体参数的区间估计。置信区间展现的是这个参数的真实值有一定概率落在测量结果的周围的程度，其给出的是被测量参数的测量值的可信程度，即前面所要求的“一个概率”。

3、假设检验的分类

• T test 小样本量(样本容量小于30)时用以比较两个平均值的差异是否显著
• Z test 大样本量(样本容量大于30)时用以比较两个平均值的差异是否显著
• 卡方检验 用以检验实验观测值与理论推断值是否一直：函数拟合时检验拟合的质量
• K-S检验 用以检验两个经验分布是否一致 或者一个经验分布与理论分布是否一致

4、参数估计和假设检验的联系和区别

联系：

1.都是根据样本信息对总体的数量特征进行推断；

2.都是以抽样分布为理论依据，建立在概率论基础之上的统计推断。

区别：

1.参数估计是以样本资料估计总体参数的真值，而假设检验是以样本资料对总体的先验假设是否成立；

2.参数估计中的区间估计是以样本统计量为中心的双侧之心区间，假设检验既有单侧检验又有双侧检验；

5参考文献

1、百度百科

2、数理统计讲义

3、沈南山著,数学教育测量与统计分析,中国科学技术大学出版社,2017.01

4、原假设与备择假设的联系与区别

5、统计学假设检验中 p 值的含义具体是什么？

6、如何理解 95% 置信区间？

7、常见假设检验类型对比