二、机器学习算法(python)——kNN算法（k近邻算法）

kNN算法原理：

一个样本数据集合（训练样本集），该样本集中每个数据都存在标签，即已知样本集中每一数据与所属分类的对应关系。然后输入没有标签的新数据（待分类）；将新数据的每个特征与样本集中数据对应的特征进行比较，选择样本集中与新数据最相似的前k个数据（k不大于20的整数）；最后，选择k个最相似数据中出现次数最多的分类，作为新数据的分类。

优点：精度高、对异常值不敏感、无数据输入假定

缺点：计算复杂度高、空间复杂度高

一般流程：

• 计算已知类别数据集中的每个点与待分类点之间的距离
• 按照距离递增次序排列
• 选取与当前点距离最小的k个点
• 确定前k个点所在类别的出现频率
• 返回前k个点出现频率最高的类别作为当前点的预测分类

代码：

from numpy import *
import  operator

k = 3

x = array([0,0])#the Point input to classify

group = array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]])#dataset
labels = ['A','A','B','B']#the class
gsize = group.shape[0]#计算行数
knn= zeros(shape=(1,gsize))
inx = tile(x,(gsize,1))#将x在列方向上重复行数次
re = (inx-group)**2
for i in range(gsize):
    knn[0,i] = (re[i,0]+re[i,1])**0.5#欧氏距离

classcount = {}#创建空字典
#index = knn.argsort()[::-1]
index = argsort(knn)#递增排列索引
for j in range(k):
    gindex = int(index[0,j])
    glabel = labels[gindex]
    classcount[glabel] = classcount.get(glabel,0)+1#填充字典

sclasscount =sorted(classcount,key=classcount.__getitem__,reverse=True)
print(sclasscount[0])