【算法分析】多个对比算法的统计检验方法

一、几种检验方法

先说结论：方差分析（或者用Kruskal Wallis）、秩和检验、Holm's method一定要做。

第一个用于确定所有算法有显著差异，第二个生成p-value用于对比，最后一个用于矫正临界值alpha。

如此对比结果才有说服力。

（1）方差分析（Analysis Of Variance，ANOVA）——推荐1

用于多组样本比较，方差齐，正态性。

（在两组和多组比较中，方差齐性的意思是比较各组的方差大小，看看各组的方差是不是差不多大小，如果差别太大，就认为是方差不齐，或方差不等。）

（2）T检验（T-test）

方差齐，正态性。不齐用矫正T检验。

详见：Python统计分析：[1]独立样本T检验

（3）秩和检验（ Wilcoxon rank sum test）——推荐2

非参数检验。不满足上面做这个。

排秩中的秩是什么？

答：按照变量“数学”中的数据大小进行排秩的，数据最小的排为1，然后以此类推。重复的数据秩次一样，秩次大小为排秩的平均值。比如有2个64，排在第4、5位，平均秩就为4.5。

（4）邦费罗尼校正（Bonferroni Correction）

多重假设的检验中使用的多种p值校正方法的一种保守方法，容易错误地接受零假设。

（5）霍尔姆方法（Holm’s Sequential Bonferroni Procedure，Holm’s method）——推荐3

邦费罗尼校正的一种矫正版本，没有邦费罗尼校正那么严格的条件。更容易发现显著差异，计算难度和邦费罗尼校正一样。

 

---

二、Holm's method详解

 

计算Holm-Bonferroni的公式是：

Where:

• Target alpha level = overall alpha level (usually .05),
• n = number of tests.

计算过程为：（