协方差和相关系数：从一个例子出发

前文

网上关于协方差的介绍很多，写得也都不错。比如：
文章1：协方差的意义
文章2：深入理解协方差
文章3：协方差矩阵的几何解释

前文提过的这里不多写。推荐阅读顺序：文章1 -> 文章2 -> 本文 -> 文章3。

首先对前文加以总结：

• 协方差与相关性
  • 当 $cov(X,Y)>0$时，表明 $X$与$Y$ 正相关；
  • 当 $cov(X,Y)<0$时，表明$X$与$Y$负相关；
  • 当 $cov(X,Y)=0$时，表明$X$与$Y$不相关。
• 两个因素会影响协方差的值：
  • 当$X$和$Y$各自的方差不变时，$X$和$Y$的正相关性越强烈，$cov(X,Y)$越大，$X$和$Y$的负相关性越强烈，$cov(X,Y)$；
  • 当$X$和$Y$的相关性不变时，$X$或$Y$的方差越大，协方差的绝对值越大。
• 相关系数${\rho }_{XY}=\frac{cov(X,Y)}{\sqrt{{\sigma }_X}\sqrt{{\sigma }_Y}}\in [-1,1]$
  • 如果${\rho }_{XY}=0$，说明$X$和$Y$不相关。
  • 如果${\rho }_{XY}=1$或${\rho }_{XY}=-1$，说明$X$和$Y$呈线性关系，即$Y=aX+b$（假设$X$或$Y$都是一维数据。）若$a$为正数则${\rho }_{XY}=1$，若$a$为负数则${\rho }_{XY}=-1$。

举个例子

假设我要斜着往左前方走。我每次向前迈一步，然后再向左迈一步。每一次我都争取做到向前那一步迈0.75米，向左那一步大迈0.5米。向前一步的误差（标准差）大约0.15米，向左一步的误差为0.1米。假设误差服从正太分布，前后方向为$x$方向，左右方向为$y$方向，那么我第$k$次移动后的位置$(x_k,y_k)$为：
$$\{\begin{array}{llc}{x}_k& =x_{k-1}+0.75+q_k^x& q_k^x\sim \mathcal{N}(0,0.15^2)\\ y_k& =y_{k-1}+0.5+q_k^y& q_k^x\sim \mathcal{N}(0,0.1^2)\end{array}$$

这还没完，因为我知道$q_k^x$和$q_k^y$并不是独立的。如果我向前那一步迈大了一点，很有可能我向左那一步也会迈大。换句话说，$q_k^x$和$q_k^y$正相关。假设相关系数为$\rho =0.7$。则协方差$cov(X,Y)=0.7\times 0.15\times 0.1=0.0105‬$。

进一步理解相关系数

那么，这个相关系数0.7到底是什么意思呢？我们来从图形上看。下图中的所有小图，横坐标为x轴，其范围为$[-4,4]$。纵坐标为y轴，其范围为$[-10,10]$。所有小图中，$X$和$Y$均服从正太分布，且其期望${\mu }_x={\mu }_y=0$。$X$的方差${\sigma }_x^2=1$。每个小图中有1000个随机采样点。每个小图不一样的是$Y$的方差${\sigma }_y^2$和相关系数$\rho$。每一行的${\sigma }_y^2$相同，其值标于左侧。每一列的相关系数$\rho$相同，其值标于上方。

从上图中可以看出，图形在$X$方向的跨度，是由${\sigma }_x^2$决定的。图形在$Y$方向的跨度，是由${\sigma }_y^2$决定的。$\rho$决定了图形的“厚度”。$\rho$越大，图形越细。图形细说明当$x$或$y$其中的一个值给定时，另一个变量的方差会减少，也就是其不确定性会减少。如果$\rho =1$，其图形就是一条直线。也就是说，知道一点的$x$的值时，也就知道了这一点的$y$的值。以上图右下角的小图为例（${\sigma }_y^2=10,\rho =0.9$），当$x$的值未知时，${\sigma }_y^2=10$。但如果我们知道了一个采样点的$x$值，比如说$x=3$，那么该采样点的$y$值的分布的方差${\sigma }_{y|x=3}^2<10$。 那这个值究竟等于多少呢？留给下一篇文章来讨论吧。