协方差矩阵的向量表示推导

多维随机变量的协方差矩阵

对多维随机变量$X=[X_1,X_2,\dots,X_n]^T$，我们往往需要计算各维度之间的协方差，这样协方差就组成了一个$n\times n$的矩阵，称为协方差矩阵。协方差矩阵是一个对角矩阵，对角线上的元素是各维度上随机变量的方差。 我们定义协方差为$\Sigma$, 矩阵内的元素$\Sigma_{ij}$为

$$\Sigma_{ij} = cov(X_i,X_j) = E[(X_i - E(X_i)) (X_j - E(X_j))]$$
协方差矩阵为
$$\Sigma = E[(X-E(X)) (X-E(X))^T]$$
$$= \left[ \begin{array}{cccc} cov(X_1,X_1) & cov(X_1,X_2) & \cdots & cov(X_1,X_n) \\ cov(X_2,X_1) & cov(X_2,X_2) & \cdots &cov(X_2,X_n) \\ \vdots & \vdots& \vdots & \vdots \\ cov(X_n,X_1) & cov(X_n,X_2,)&\cdots& cov(X_n,X_n) \end{array} \right]$$

样本的协方差矩阵

与上面的协方差矩阵相同，只是矩阵内各元素以样本的协方差替换。假设数据集$T=\{x_i\}_{i=1}^{m}$表示m个样本， 每个样本表示为$x_{i} =(x_{i1},x_{i2},\dots,x_{in})^T$ 。所有样本可以组成一个$m\times n$的矩阵。

$$X_{m\times n} = \left [\begin{array}{cccc} x_{11}&x_{12} & \cdots & x_{1n} \\ x_{21} & x_{22} & \cdots & x_{2n} \\ \vdots & \vdots & \vdots & \vdots \\ x_{m1} & x_{m2} & \cdots & x_{mn} \end{array} \right] = [c_1,c_2,\dots,c_n]$$
每一行代表一个对象，每一类代表一个维度，协方差矩阵，是求维度之间的相关性，而不是对象之间的，所以协方差矩阵的大小与维度相同。 $c_i$表示第i维的随机变量。
假设 $\bar{x} = (\bar{x}_1,\bar{x}_2,\dots,\bar{x}_n)$, 则有 $E(c_i) = \bar{x}_i$。
用 $\hat{\Sigma}$表示样本的协方差矩阵，则有
$$\hat{\Sigma} = \left[ \begin{array}{cccc} cov(c_1,c_1) & cov(c_1,c_2) & \cdots & cov(c_1,c_n) \\ cov(c_2,c_1) & cov(c_2,c_2) & \cdots &cov(c_2,c_n) \\ \vdots & \vdots& \vdots & \vdots \\ cov(c_n,c_1) & cov(c_n,c_2,)&\cdots& cov(c_n,c_n) \end{array} \right]$$
$$= \frac{1}{m-1} \left[ \begin{array}{cccc} \sum\nolimits_{i=1}^{m} (x_{i1} - \bar{x}_1)(x_{i1} - \bar{x}_1)& \sum\nolimits_{i=1}^{m} (x_{i1} - \bar{x}_1)(x_{i2} - \bar{x}_2) & \cdots & \sum\nolimits_{i=1}^{m} (x_{i1} - \bar{x}_1)(x_{in} - \bar{x}_n) \\ \sum\nolimits_{i=1}^{m} (x_{i2} - \bar{x}_2)(x_{i1} - \bar{x}_1)& \sum\nolimits_{i=1}^{m} (x_{i2} - \bar{x}_2)(x_{i2} - \bar{x}_2) & \cdots & \sum\nolimits_{i=1}^{m} (x_{i2} - \bar{x}_2)(x_{in} - \bar{x}_n) \\ \vdots & \vdots & \vdots & \vdots \\ \sum\nolimits_{i=1}^{m} (x_{in} - \bar{x}_n)(x_{i1} - \bar{x}_1)& \sum\nolimits_{i=1}^{m} (x_{in} - \bar{x}_n)(x_{i2} - \bar{x}_2) & \cdots & \sum\nolimits_{i=1}^{m} (x_{in} - \bar{x}_n)(x_{in} - \bar{x}_n) \end{array} \right]$$

$$= \frac{1}{m-1}\sum\nolimits_{i=1}^{m} \left[ \begin{array}{cccc} (x_{i1} - \bar{x}_1)(x_{i1} - \bar{x}_1)&(x_{i1} - \bar{x}_1)(x_{i2} - \bar{x}_2) & \cdots & (x_{i1} - \bar{x}_1)(x_{in} - \bar{x}_n) \\ (x_{i2} - \bar{x}_2)(x_{i1} - \bar{x}_1)& (x_{i2} - \bar{x}_2)(x_{i2} - \bar{x}_2) & \cdots & (x_{i2} - \bar{x}_2)(x_{in} - \bar{x}_n) \\ \vdots & \vdots & \vdots & \vdots \\ (x_{in} - \bar{x}_n)(x_{i1} - \bar{x}_1)& (x_{in} - \bar{x}_n)(x_{i2} - \bar{x}_2) & \cdots & (x_{in} - \bar{x}_n)(x_{in} - \bar{x}_n) \end{array} \right]$$

$$= \frac{1}{m-1}\sum\nolimits_{i=1}^{m} (x_i - \bar{x})(x_i - \bar{x})^T$$
这里分母为m−1是因为随机变量的数学期望未知，以样本均值代替，自由度减一。

更详细的请参考：
http://www.cnblogs.com/terencezhou/p/6235974.html

http://blog.csdn.net/thesnowboy_2/article/details/69564226#协方差