统计学习方法笔记 第三章 kNN算法总结(包含Python代码)

---

1. k近邻算法

1.1 kNN分类算法

1. 根据给定的的距离度量，在训练集$T$中找出与$x$最邻近的$k$个点，涵盖这$k$个点的$x$的邻域记作$N_k(x)$。
2. 在$N_k(x)$中根据分类决策规则(如多数表决)决定$x$的类别$y$:

$$y=arg\underset{c_j}{\max }\sum _{x_i\in N_k(x)}I(y_i=c_j),i=1,2,...,N:j=1,2,...,K$$

1.2 kNN回归算法

1. 根据给定的的距离度量，在训练集$T$中找出与$x$最邻近的$k$个点，涵盖这$k$个点的$x$的邻域记作$N_k(x)$。
2. 对距离最近的$k$个点的距离做倒数处理，作为距离权值。
   $$w_i=\frac{1}{dist(x_i)},i=1,2\dots k$$
3. 在$N_k(x)$中根据分类决策规则(加权表决)决定$x$的类别$y$:
   $$y=arg\underset{c_j}{\max }\sum _{x_i\in N_k(x)}(I(y_i=c_j)\cdot w_i),i=1,2,...,N:j=1,2,...,K$$

1.3 kNN离群点检测算法

1. 根据给定的的距离度量，在训练集$T$中找出与$x$最邻近的点，计算距离$dist(1)$。
2. 计算距离这个最邻近点的最邻近的$k$个点的距离平均值。
3. 比较最近邻距离 d i s t (