机器学习实战 第2章 k-近邻算法

1.k-近邻算法概述

采用测量不同特征值之间的距离方法进行分类。

优点：精度高、对异常值不敏感、无数据输入假定。

缺点：计算复杂度高、空间复制度高。

适用数据范围：数值型和标称型

 

2.k-近邻算法原理

存在一个样本数据集合，也称作样本数据集，并且样本集中每个数据都存在标签，即我们知道样本集中每一数据与所属分类的对应关系。输入没有标签的新数据后，将新数据的每个特征与样本集中数据对应的特征进行比较，然后算法提取样本集中特征最相似数据（最近邻）的分类标签。

一般来说，我们只选择样本数据集中前k个最相似的数据，这就是k-近邻算法中k的出处，通常k是不大于20的整数。最后，选择k个最相似数据中出现次数最多的分类，作为新数据的分类。

 

3.代码小示例

# coding:utf-8

from numpy import *
import operator

def createDataSet():
    group = array([[1.0, 1.1], [1.0, 1.0], [0, 0], [0, 0.1]])
    labels = ['A', 'A', 'B', 'B']
    return group, labels

def classify0(inX, dataset, labels, k):
    datasetsize = dataset.shape[0]
    diffmat = tile(inX, (datasetsize, 1)) - dataset
    sqdiffmat = diffmat ** 2
    sqdistance = sqdiffmat.sum(axis=1)
    distances = sqdistance ** 0.5
    sorteddistances = distances.argsort()  # 这一步最关键，以值升序排列然后得出值所在原来数组的索引
    classcount = {}
    for i in range(k):
        votelabels = labels[sorteddistances[i]]
        classcount[votelabels] = classcount.get(votelabels, 0) + 1
    sortedclasscount = sorted(classcount.items(), key=operator.itemgetter(1), reverse=True) 
    return sortedclasscount[0][0]

dataset, labels = createDataSet()
inX = (0.2, 0.1)
print(classify0(inX, dataset, labels, 2))

# 注意，如果是python2，上文第22行中的classcount.items()

 

4.归一化

将所有特征值的权重归为一

具体计算公式：

newvalue = (oldvalue - min)/(max - min)

 

5.文中还有婚姻配对、手写数字识别

这里不一一阐述，具体原理一样