相关系数

统计三大相关系数

$Pearson$相关系数-连续变量

公式

$\rho =\frac{cov(X,Y)}{\sqrt{Var(X)Var(Y)}}$

$Var(X)=E[(X-E(X){)}^2]=E{X}^2-E(X{)}^2=\frac{1}{n}{\sum }_{i=1}^n(X_i-\bar{X}{)}^2$

$\bar{X}=E(X)$

$Var(Y)=E[(Y-E(Y){)}^2]=E{Y}^2-E(Y{)}^2=\frac{1}{n}{\sum }_{i=1}^n(Y_i-\bar{Y}{)}^2$

$\bar{Y}=E(Y)$

使用条件

• 连续型变量
• 两个变量分别服从正态分布，通常用t检验检查相关系数的显著性
• 两个变量的标准差不为0

总结

$pearson$描述的是线性相关关系，取值[-1, 1]。负数表示负相关，正数表示正相关。在显著性的前提下，绝对值越大，相关性越强。绝对值为0， 无线性关系；绝对值为1表示完全线性相关。

$spearman$相关系数-定序变量

公式

${\rho }_s=1-\frac{6{\sum }_{i=1}^n{d}_i^2}{n(n^2-1)}$

样例

X	排序X	X’	Y	排序Y	Y’	$d_i^2$
11	490	5	2	75	6	1
490	43	1	75	44	1	0
14	30	4	3	42	5	1
43	14	2	44	7	2	0
30	11	3	7	3	4	1
3	3	6	42	2	3	9

注：X’代表对应位置的X排序后的次序，如11排序后再第5位，其所对应的X’就为5.

$kendall$相关系数-分类变量

公式一

$\tau_{a} = \frac{C - D}{\frac{1}{2}N(N - 1)}\$

其中$C$表示$XY$中拥有一致性的元素的对数，$D$表示$XY$中不一致的元素的对数。

假设两个随机变量分别为$X$、$Y$（也可以看做两个集合），它们的元素个数均为$N$，两个随即变量取的第$i(1\le i\le N)$个值分别用$X_i$、$Y_i$表示。$X$与$Y$中的对应元素组成一个元素对集合$XY$，其包含的元素为$(X_i,Y_i)(1\le i\le N)$。当集合$XY$中任意两个元素$(X_i,Y_i)$与$(X_j,Y_j)$的排行相同时（也就是说当出现情况1或2时）；

• 情况1：$X_i>X_j$且$Y_i>Y_j$
• 情况2：$X_i<X_j$且$Y_i<Y_j$
• 情况3：$X_i>X_j$且$Y_i<Y_j$
• 情况4：$X_i<X_j$且$Y_i>Y_j$
• 情况5：$X_i=X_j$
• 情况6：$Y_i=Y_j$

一致性：情况1，情况2
不一致性：情况3，情况4
既不一致也不是不一致：情况5，情况6

适用条件

这一公式仅适用于集合X与Y中均不存在相同元素的情况（集合中各个元素唯一）。

公式二

${\tau }_b=\frac{C-D}{\sqrt{(N_3-N_1)(N_3-N_2)}}$

其中$N_3=\frac{1}{2}N(N-1);$ $N_1={\sum }_{i=1}^s\frac{1}{2}{U}_i(U_i-1);$ $N_2={\sum }_{i=1}^t\frac{1}{2}{V}_i(V_i-1);$

$N_1$、$N_2$分别是针对集合$X$、$Y$计算的，现在以计算$N_1$为例，给出$N_1$的由来（$N_2$的计算可以类推）：

将X中的相同元素分别组合成小集合，$s$表示集合X中拥有的小集合数（例如$X$包含元素：1 2 3 4 3 3 2，那么这里得到的$s$则为2，因为只有2、3有相同元素），$U_i$表示第i个小集合所包含的元素数。$N_2$在集合Y的基础上计算而得。

适用条件

这一公式适用于集合X或Y中存在相同元素的情况（当然，如果X或Y中均不存在相同的元素时，公式二便等同于公式一）。

公式三

公式三仅适用于表格表示的随机变量。

${\tau }_c=\frac{C-D}{\frac{1}{2}{N}^2\frac{M-1}{M}}$

通常人们会将两个随机变量的取值制作成一个表格，例如有10个样本，对每个样本进行两项指标测试X、Y（指标X、Y的取值均为1到3）。根据样本的X、Y指标取值，得到以下二维表格（表1）：

注：$X=2,Y=2$所对应的格子为2，表示$X$属性为2，$Y$属性为2的样本有2个

由表1可以得到$X$及$Y$的可以以集合的形式表示为：

X = { 1 , 1 , 2 , 2 , 2 , 2 , 2 , 3 , 3 , 3 } X=\{1, 1, 2, 2, 2, 2, 2, 3, 3, 3\} X={1,1,2,2,2,2,2,3,3,3}；

Y = { 1 , 2 , 1 , 1 , 2 , 2 , 3 , 2 , 3 , 3 } Y=\{1, 2, 1, 1, 2, 2, 3, 2, 3, 3\} Y={1,2,1,1,2,2,3,2,3,3}；

其中M表示长方形表格中行数与列数中较小的一个，即M表示$X,Y$中属性数较少的变量的属性数。