k-邻近算法学习笔记

目录

1 k-邻近算法概述

采用测量不同特征值之间的距离进行分类。

• 优点
  
  • 精度高；
  • 对异常数据不敏感。
• 缺点
  
  • 计算复杂度、空间复杂度高。

• 适用范围

  • 数值型和标称型
    
    • 标称型目标变量的结果只能是有限目标集中的某一个。
    • 数值型目标变量的结果可以在无限数集中取值，可以取任意的数。

• 工作原理

  • 我们已有一个训练样本集，知道样本集中的每一个数据与所属分类的关系。对输入的没有分类的数据，将这个新数据的各个特征与样本集中的特征进行比较，最后选择前k个最相似的数据的分类标签，这k个分类标签中出现最多的分类，我们就认为是这个没有分类数据的分类标签。

2 kNN.py

#!/usr/bin/env python
# -*- coding:utf-8 -*-


from numpy import *
import matplotlib
import matplotlib.pyplot as plt


# k-近邻算法
def classify0( X, dataSet, labels, k ):
    '''
    :type X:行向量（ 1*n ）
    :type dataSet:矩阵（ m*n ），和 X 列数相同
    :param labels:列向量（m*1）的转置，和 dataSet 的行数相同
    :param k:前 k 个最近的点
    :return:前 k 个中出现频率最高的 label
    '''

    # 获得 dataSet 的行数，即 dataSet 的规模，每一行是包含多个特征的实例.
    dataSetSize = dataSet.shape[0]

    # 产生一个和dataSet相同行、列数的测试数据dataX，
    # 按这样方法复制 np.tile( A, (Y, X) )
    # np.tile( A, (y, x) )：A先沿Y轴(竖着)复制 y 份，再沿X轴(横着)复制 x 份
    dataX = np.tile( X, (dataSetSize, 1) )

    # 算欧式距离
    diffMat = dataX - dataSet   # 求差
    sqDiffMat = diffMat**2
    sumSqDiffMat = sqDiffMat.sum( axis = 1 )        # 在 1轴（X轴）上进行求和
    distances = sumSqDiffMat**0.5
    # print( distances )


    # 排序，得到前 k 名
    distIndexSorted = distances.argsort()   # 默认从小到大


    # 统计前 k 个都是那些类别（标签）
    labFreqTopDistK = {}    # 前 K 个最近距离的实例的标签频率
    for i in range( k ):
        lab = labels[ distIndexSorted[i] ]
        labFreqTopDistK[lab] = labFreqTopDistK.get(lab, 0) + 1


    # 对标签频率进行排序
    labFreq = list( labFreqTopDistK.items() )           # type: list[tuple]
    labFreq.sort( key=lambda x : x[1] ,reverse = True)  # 参数 key 是比较列表元素的什么属性
    # print( labFreq )        # [ ('B', 2), ('A', 1) ]


    return labFreq[0][0]

• 分析数据

def drawData( x, y , labels):
    '''
    :param x: x轴数据
    :param y: y轴数据
    :param labels: 分类标签数据
    :return:
    '''
    fig = plt.figure()
    ax = fig.add_subplot(111)
        ax.scatter( x, y, s=15.0*np.array(labels), c=15.0*np.array(labels) )    # size, color
    plt.show()

# 获得约会数据
datingDataMat, datingLabels = file2matrix( 'datingTestSet2.txt' )
    for i in range( len(datingLabels) ):
        datingLabels[i] = eval( datingLabels[i] )

# 可视化
drawData( datingDataMat[:,0], datingDataMat[:,1], datingLabels)

3 demo:手写识别系统

3.1 将图像转化为测试数据

将图像格式处理为一个向量，即把32×32的矩阵转换为1×1024的向量。

# 将图像转化为向量
def img2vector(filename):
    returnVect = zeros((1,1024))
    fr = open(filename)
    for i in range(32):
        lineStr = fr.readline()
        for j in range(32):
            returnVect[0,32*i+j] = int(lineStr[j])
    return returnVect

3.2 hand writing测试代码

def handwritingClassTest():
    hwLabels = []
    # 获取目录内容
    trainingFileList = listdir('trainingDigits')
    m = len(trainingFileList)
    trainingMat = zeros((m,1024))
    for i in range(m):
        # 从文件名中解析数字 e.g."0_53.txt"
        fileNameStr = trainingFileList[i]
        fileStr = fileNameStr.split('.')[0]
        classNumStr = int(fileStr.split('_')[0])

        hwLabels.append(classNumStr)
        trainingMat[i,:] = img2vector('trainingDigits/%s' % fileNameStr)
    testFileList = listdir('testDigits')
    errorCount = 0.0
    mTest = len(testFileList)
    for i in range(mTest):
        fileNameStr = testFileList[i]
        fileStr = fileNameStr.split('.')[0]
        classNumStr = int(fileStr.split('_')[0])
        vectorUnderTest = img2vector('testDigits/%s' % fileNameStr)
        classifierResult = classify0(vectorUnderTest, trainingMat, hwLabels, 3)
        print("the classifier came back with: %d, the real answer is: %d" % (classifierResult, classNumStr))
        if (classifierResult != classNumStr): errorCount += 1.0
    print("\nthe total number of errors is: %d" % errorCount)
    print("\nthe total error rate is: %f" % (errorCount/float(mTest)))

结果

---

总结

k-近邻算法是分类数据最简单最有效的算法，也是我入门的算法。

---

end