机器学习实战—（K-近邻算法）

K-近邻算法工作原理：存在一个样本数据集合，并且样本集中都存在标签，输入没有标签的新数据后，将新数据的每个特征与样本集合中数据对应的特征进行比较，然后算法提取样本集中特征最相似数据（最近邻）的分类标签，一般来说只选择样本数据集中前k个最相似的数据，最后，选择k个最相似数据中出现次数最多的分类，作为新数据的分类。

K-近邻算法一般流程：
1.收集数据
2.准备数据
3.分析数据
4.训练数据（此步不适用与K-近邻算法）
5.测试算法
6.使用算法：首先需要输入样本数据和结构化的输出结果，然后运行K-近邻算法判定输入的数据分别属于那个分类，最后应用对计算出的分类执行后续处理

一、使用Python生成数据或导入数据

import numpy as np
import operator as op
import matplotlib as mp
from matplotlib import pyplot as plt
from os import listdir

#产生数据集和标签
def createDataSet():
    group = np.array([[1.0, 1.1],
                      [1.0, 1.0],
                      [0, 0],
                      [0, 0.1]])
    labels = ['A', 'A', 'B', 'B']
    return group,labels

二、实现K-近邻算法
此处使用的距离计算公式为欧式距离
算法步骤（对未知类别属性的数据集中的每个点依次执行以下操作）：
1.计算已知类别数据集中的点与当前点之间的距离
2.按照距离递增次序排序
3.选取当前点距离最小的k个点
4.确定前k个点所在类别的gailv5.返回前k个点出现的频率最高的类别作为当前点的预测分类

def classify0(inX, dataSet, labels, k):
    #获取训练集样本个数，以确定标签个数
    dataSetSize = dataSet.shape[0]
    #将标签向量扩展以便与样本作差分运算
    diffMat = np.tile(inX,(dataSetSize,1))-dataSet
    #差分矩阵行内元素乘方
    sqDiffMat = diffMat**2
    #行内元素相加
    sqDistance = sqDiffMat.sum(axis=1)
    #平方根运算得到测试样本与训练集中各个样本之间的距离矩阵
    distance = sqDistance**0.5
    #将距离矩阵按递增顺序排序，并获取排序后的元素索引值
    sortedDistIndicies = distance.argsort()
    #定义分类个数字典，key=分类标签，