Python数据挖掘实战——KNN算法（K最近邻节点算法，k-NearestNeighbor）

一、分类

    分类是用来预测类别数据的一种方法，可以用来预测未来一段时间内用户是否会流失，预测用户是否会响应你的促销活动，能够评估用户的信用度是好还是差的一系列分类预测问题。

二、概念

2.1监督学习（Supervised Learning）   

从给定标注的训练数据集中学习出一个函数，根据这个函数为新数据进行标注。（有因变量y）回归分类、分类、时间序列等。

2.2无监督学习（Unsupervised Learning）

    从给定五标注的训练数据中学习出一个函数，根据这个函数为所有数据标注。（聚类、因子、关联等）

2.3分类（Classification）

    分类算法通过对已知类别训练数据集的分析，从中发现分类规格，以此预测新数据的类别，分类算法属于监督学习。

三、KNN算法（k-NearestNeighbor）

    

    1.找一个距离，例如最小的圆圈，圈内的训练样本数为3个，其中一个为矩形、两个三角形，待分类的数据从距离上看很可能是三角形。但是把虚线放大，放大到虚线的圆圈，其中有3个蓝色的矩形，2个红色的三角形，如果用这个距离绿色的圆很可能是蓝色矩形的分类。

四、分类算法的验证方法——交叉验证（Cross Validation）

4.1训练集（Train Set）
    用来训练模型或确定模型参数的数据。

4.2测试机（Test Set）