马氏距离 (马哈拉诺比斯距离) (Mahalanobis distance)

马氏距离(Mahalanobis distance)是由印度统计学家马哈拉诺比斯(P. C. Mahalanobis)提出的，表示点与一个分布之间的距离。它是一种有效的计算两个未知样本集的相似度的方法。与欧氏距离不同的是，它考虑到各种特性之间的联系，本文介绍马氏距离相关内容。

欧氏距离的缺点

距离度量在各个学科中有着广泛用途，当数据表示为向量$\overrightarrow{\mathbf{x}}={\left(x_1,x_2,\cdots ,x_n\right)}^T$和$\overrightarrow{\mathbf{y}}={\left(y_1,y_2,\cdots ,y_n\right)}^T$时，最直观的距离度量就是欧式距离了：

$$d(x,y):=\sqrt{{\left(x_1-y_1\right)}^2+{\left(x_2-y_2\right)}^2+\cdots +{\left(x_n-y_n\right)}^2}=\sqrt{\sum _{i=1}^n{\left(x_i-y_i\right)}^2}$$

但是这种度量方式没有考虑到各个维度之间的差异和相关等因素，不同的向量度量距离时权重都相同，这可能会对结果可信度产生干扰。

马氏距离

度量样本距离某个分布的距离，先将样本与分布标准化到多维标准正态分布后度量欧式距离

思想

• 将变量按照主成分进行旋转，消除维度间的相关性
• 对向量和分布进行标准化，让各个维度同为标准正态分布

推导

• 分布由$n$个$m$维向量刻画，即共$n$条数据，每条数据由一个$m$维向量表示：

$$X=\left[\begin{array}{cccc}{x}_{11}& x_{12}& \cdots & x_{1n}\\ x_{21}& x_{22}& & x_{2n}\\ ⋮& & \ddots & ⋮\\ x_{m1}& x_{m2}& \cdots & x_{mn}\end{array}\right]$$

• $X$的均值为${\mu }_X$
• $X$的协方差矩阵为:

$${\sum }_X=\frac{1}{n}(X-{\mu }_X)(X-{\mu }_X{)}^T$$

• 为消除维度间的相关性，通过一个$m\times m$的矩阵$Q^T$对$X$进行坐标表换，将数据映射到新的坐标系下，用$Y$表示：

$$Y=Q^{T}X$$

此时我们期望在$Q^T$的作用下，$Y$ 的向量表示中，不同维度之间是相互独立的，此时$Y$ 的协方差矩阵应该是一个对角矩阵（除对角线元素外，其余元素均为0）。

• Y 的均值：$u_Y=Q^T{u}_X$
• Y 的协方差矩阵：

$$\begin{array}{rl}{\Sigma }_Y& =\frac{1}{n}\left[Y-u_Y\right]{\left[y-u_Y\right]}^T\\ & =\frac{1}{n}\left[Q^T\left(X-u_x\right)\right]{\left[Q^T\left(X-u_X\right)\right]}^T\\ & =Q^T\frac{1}{n}\left(X-u_X\right){\left(X-u_X\right)}^{T}Q\\ & =Q^T{\Sigma }_{X}Q\end{array}$$

• 从这里可以发现，当 $Q $是$\Sigma_{X}$的特征向量组成的矩阵时，$\Sigma_{Y}$ 一定是对角矩阵，且值为每个特征向量对应的特征值。由于${\Sigma }_X$是对称矩阵，因此肯定可以通过特征分解得到 $Q$ ，且 $Q$ 是正交矩阵。

• ${\Sigma }_Y$的对角线元素含义为$Y$中每个向量的方差，因此均为非负值，从这个角度可以说明协方差矩阵的特征值为非负值。

• 而且事实上协方差矩阵本身就是半正定的，特征值均非负

• 不相关与独立的问题：

  • 此处我们说明了变换后的向量之间相关系数为0，也就是向量之间不相关
  • 而事实上独立是比不相关更强的约束，不相关往往不能推出独立
  • 但在高斯分布下，不相关和独立是等价的

接下来我们对向量进行标准化

• 当我们减去均值后，向量已经变成了0均值的向量，距离标准化仅差将方差变为1

• 在经历了$Y=Q^{T}X$变换后，$Y$的协方差矩阵已经成为了对角阵，对角线元素为$Y$中各个维度数据的方差，那么我们仅需让$Y$中各个维度数据除以该维度数据的标准差即可。

• 我们将去相关化、0均值化、标准化过后的数据记为$Z$：

  $$\begin{array}{rl}Z& =\left[\begin{array}{cccc}\frac{1}{{\sigma }_1}& & & \\ & \frac{1}{{\sigma }_2}& & \\ & & \ddots & \\ & & & \frac{1}{{\sigma }_n}\end{array}\right](Y-{\mu }_Y)\\ & ={\Sigma }_Y^{-\frac{1}{2}}{Q}^T(X-{\mu }_X)\\ & =(Q^T{\Sigma }_{X}Q{)}_{}^{-\frac{1}{2}}{Q}^T(X-{\mu }_X)\end{array}$$

• 而马氏距离就是度量纠正过后的向量$Z$到分布中心（原点）的欧式距离：

$$\begin{array}{lc}{D}_M(X)& =\sqrt{Z^{T}Z}\\ & =\sqrt{{\left(X-u_X\right)}^{T}Q{\left(Q^T{\Sigma }_{X}Q\right)}^{-\frac{1}{2}}{\left(Q^T{\Sigma }_{X}Q\right)}^{-\frac{1}{2}}{Q}^T\left(X-u_X\right)}\\ & =\sqrt{{\left(X-u_X\right)}^{T}Q{\left(Q^T{\Sigma }_{X}Q\right)}^{-1}{Q}^T\left(X-u_X\right)}\\ & =\sqrt{{\left(X-u_X\right)}^{T}Q{Q}^{-1}{\Sigma }_X^{-1}Q{Q}^T\left(X-u_X\right)}\\ & =\sqrt{{\left(X-u_X\right)}^T{\Sigma }_X^{-1}\left(X-u_X\right)}\end{array}$$

参考资料

• https://baike.baidu.com/item/%E9%A9%AC%E6%B0%8F%E8%B7%9D%E7%A6%BB/8927833?fr=aladdin
• https://zhuanlan.zhihu.com/p/109100222