文献阅读 - Distance Metric Learning for Large Margin Nearest Neighbor Classification

Distance Metric Learning for Large Margin Nearest Neighbor Classification

---

Weinberger K Q . Distance Metric Learning for Large Margin Nearest Neighbor Classification[J]. NIPS, 2005.

---

摘要

度量（metric）学习的目标是使得$k$个最近邻样本总是属于同一类别，且不同类别样本之间的距离很大。

无需修改即可处理多分类（multiway）问题

1 引言

kNN分类器对未标记样本的分类规则为：训练集中与其最近的$k$个样本投票表决，因此kNN分类器的性能取决于其采用的距离度量（distance metric）。

通常kNN分类器采用欧氏距离（Euclidean distance metric）衡量样本相似度，然而，欧氏距离完全不考虑训练集数据的统计特性。

相关文献指出：从标注样本中学习得到的距离度量，能够显著提高kNN的分类能力。

本文给出一种针对kNN分类器的马氏距离度量（Mahanalobis distance metric）学习方案，该度量的优化目标是$k$个最近邻样本总是属于同一类别，且不同类别样本之间的距离不小于某一余量（large margin）。

大余量最近邻（large margin nearest neighbor，LMNN）分类

2 模型

训练集为 { x i , y i } i = 1 n \left\{\mathbf{x}_{i}, y_{i} \right\}_{i = 1}^{n} { xi​,yi​}i=1n​，其中样本${\mathbf{x}}_i\in {\mathcal{R}}^d$，标签$y_i$为离散类别；

二进制矩阵 y i j ∈ { 0 , 1 } y_{ij} \in \{0, 1\} yij​∈{ 0,1}表示标签$y_i$和$y_j$是否相同；

通过学习线性变换（linear transformation）$\mathbf{L}:{\mathcal{R}}^d\to {\mathcal{R}}^d$，并将其用于计算平方距离：

$$\mathcal{D}({\mathbf{x}}_i,{\mathbf{x}}_j)=\Vert \mathbf{L}(\mathbf{x}$$