K近邻算法是一种基于训练数据集的分类方法，通过计算新实例与训练集中各实例的距离，选取最近的K个邻居进行投票决定分类。K值选择对分类结果至关重要，当K=3时，绿色点被分类为红色；当K=5时，被分类为蓝色。本文探讨了KNN算法的要素及其实现。
K近邻算法：给定一个训练数据集，对新的的输入实例，在训练数据集中找到与该实例最邻近的的K个实例，这K个实例的多数属于某个类，就把该实例分为这个类。
K值选择、距离度量、以及分类决策(一般多数表决)为K近邻算法的三个基本要素。
K值选择:
从上图中我们可以看到，图中的有两个类型的样本数据，一类是蓝色的正方形，另一类是红色的三角形。而那个绿色的圆形是我们待分类的数据。
如果K=3，那么离绿色点最近的有2个红色三角形和1个蓝色的正方形，这3个点投票，于是绿色的这个待分类点属于红色的三角形。
如果K=5，那么离绿色点最近的有2个红色三角形和3个蓝色的正方形，这5个点投票，于是绿色的这个待分类点属于蓝色的正方形。
可见K值的选择对分类的结果还是有很大的影响。
数据集
测试代码
最低0.47元/天 解锁文章
扫一扫
3888
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
