分类算法学习之KNN算法（一）理论基础

KNN算法

1、算法原理

属于监督学习。
KNN（K Nearest Neighbors）根据全称我们可以从字面上了解，K个最近的邻居。K个最近邻居，毫无疑问，K的取值肯定是至关重要的。
KNN算法的原理：预测一个新的值x，根据它距离最近的K个点是什么类别来判断x属于哪个类别。

如上图所示，有两类不同的样本数据，分别用蓝色的小正方形和红色的小三角形表示，而图正中间的那个绿色的圆所标示的数据则是待分类的数据。这也就是我们的目的，来了一个新的数据点，我要得到它的类别是什么？好的，下面我们根据k近邻的思想来给绿色圆点进行分类。

• 如果K=3，绿色圆点的最邻近的3个点是2个红色小三角形和1个蓝色小正方形，少数从属于多数，基于统计的方法，判定绿色的这个待分类点属于红色的三角形一类。
• 如果K=5，绿色圆点的最邻近的5个邻居是2个红色三角形和3个蓝色的正方形，还是少数从属于多数，基于统计的方法，判定绿色的这个待分类点属于蓝色的正方形一类。

从上面例子我们可以看出，k近邻的算法思想非常的简单，也非常的容易理解，那么我们是不是就到此结束了，**该算法的原理我们也已经懂了，也知道怎么给新来的点如何进行归类，只要找到离它最近的k个实例，哪个类别最多即可。**还没有结束，比如k怎么确定的，k为多少效果最好呢？所谓的最近邻又是如何来判断给定呢？看下文

2、算法流程

2.1、输入：

训练数据集T=(x1,y1),(x2,y2),…,(xN,yN)
（其中，xi∈X⊆Rn为实例的特征向量，yi∈Y={c1,c2,…,ck}为实例的类别，i=1,2,…,N；实例特征向量x）

2.2、输出：实