统计学习方法 第三章 | k近邻法

目录

1 k近邻算法

2 k近邻模型

2.1 模型

2.2 距离度量

2.3 k值的选择

2.4 分类决策规则

---

1 k近邻算法

• 3个基本要素：k值的选择 + 距离度量 + 分类决策规则
• k近邻算法：给定一个训练数据集，对于新的输入实例，在训练数据集中找到与该实例最邻近的k个实例，这k个实例的多数属于某个类，就把该输入实例分为这个类

2 k近邻模型

2.1 模型

k近邻模型就是根据三要素用所有训练实例把特征空间进行一个划分

2.2 距离度量

一般使用的是欧式距离

2.3 k值的选择

• 如果k较小，相当于用较小的邻域中的训练实例进行预测，“学习”的近似误差会减小，缺点是估计误差会增大，对近邻的实例非常敏感，如果刚好近邻是噪声，那预测就会出错。k值的减小意味着整体模型变得复杂（边界比较不圆滑），容易过拟合；
• 如果k较大，优点是减少学习的估计误差，但是缺点是近似误差会增大，即离输入实例较远的（不相似的）实例也会对预测起作用，使预测出错。k值的增大意味着模型变简单。
• 通常k取一个较小的值，然后采用交叉验证法选择最优的k值。

2.4 分类决策规则

一般是多数类决定输入实例的类

3 k近邻法的实现：kd树