第2章 k-近邻算法

CoderZhangSan

已于 2024-03-17 21:31:30 修改

阅读量793

点赞数 23

分类专栏：机器学习实战文章标签：机器学习 python

于 2024-03-17 10:35:31 首次发布

本文链接：https://blog.csdn.net/zhangsandidi/article/details/136778234

版权

机器学习实战专栏收录该内容

5 篇文章 0 订阅

订阅专栏

2.1 k-近邻算法概述

k-近邻算法采用测量不同特征值之间的距离方法进行分类。

k-近邻算法：

优点：精度高、对异常值不敏感、无数据输入假定。
缺点：计算复杂度高、空间复杂度高。
适用数据范围：数值型和标称型。
*标称型数据：是指只在有限目标集中取值的离散值，例如“真”或“假”。

工作原理：
存在一个样本数据集合，也称做训练样本集，并且样本集中每个数据都存在标签，即我们知道样本集中每一数据与所属分类的对应关系。
输入没有标签的数据后，将新数据的每个特征与样本集中数据对应的特征进行比较，然后算法提取样本集中特种最相似（最近邻）的分类标签。一般来所我们悬着样本数据集中前k个最相似的数据，通常k是不大于20的整数。最后，选择k个最相似数据中出现次数最多的分类，作为新数据的分类。

k-近邻算法的一般流程：

收集数据
准备数据
分析数据
训练算法
测试算法
使用算法

2.1.1 准备：使用Python导入数据

##导包
import numpy as np
import operator
import matplotlib
import matplotlib.pyplot as plt

def createDataSet() :
    group = np.array([[1.0, 1.1], [1.0, 1.0], [0, 0], [0, 0.1]])
    labels = ['A', 'A', 'B', 'B']
    return group, labels

2.1.2 实施kNN算法

算法描述：
对未知类别属性的数据集中的每个点依次执行以下操作：

计算已知类别数据集中的点与当前点之间的距离；
按照距离递增的次序排序；
选取与当前点距离最小的k个点；
确定前k个点所在类别的出现频率；
返回前k个点出现频率最高的类别作为当前点的预测分类。

k-近邻算法：

def classify0(inX, dataSet, labels, k):
    '''
        :param inX: 用于分类的输入向量
        :param dataSet: 输入的训练样本集
        :param labels: 标签向量
        :param k: 用于选择最近邻居的数目
        :return: 分类标签
    '''
    ## 计算距离
    """
    numpy array shape[] 获取行或列数 shape[0]代表行数，shape[1]代表列数。
    获取样本集的行数
    """
    dataSetSize = dataSet.shape[0]
    """
    numpy array tile 平铺所给的数组 
    使用欧式距离公式计算目标向量与样本集的差值数组
    """
    diffMat = np.tile(inX, (dataSetSize, 1)) - dataSet
    sqDiffMat = diffMat ** 2
    sqDistance = sqDiffMat.sum(axis=1)
    distance = sqDistance ** 0.5
    sortedDistIndicies = distance.argsort()
    ## 选择距离最小的k个点
    classCount = {}
    for i in range(k) :
        voteIlable = labels[sortedDistIndicies[i]]
        classCount[voteIlable] = classCount.get(voteIlable, 0) + 1
    ## 排序
    sortedClassCount = sorted(classCount.items(), key=operator.itemgetter(1), reverse=True)
    return sortedClassCount[0][0]

程序中，使用欧式距离公式，计算两个向量点xA和xB之间的距离：

$\sqrt{(xA_{0} - xB_{0})^{2} + (xA_{1} - xB_{1})^{2}}$

2.2 示例：使用k-近邻算法改进约会网站的配对效果

示例：在约会网站上使用k-邻近算法：
1. 收集数据：提供文本文件。
2. 准备数据：使用Python解析文本文件
3. 分析数据：使用Matplotlib画二维图
4. 训练算法：此步骤不适用k-近邻算法
5. 测试算法：部分数据作为测试样本
6. 使用算法：输入一些特征数据以判断对方是否为自己喜欢的类型

2.2.1 准备数据：从文本文件中解析数据

def file2matrix(filename) :
    '''
    :param filename: 文件名
    :return: returnMat 样本特征值矩阵，classLabelVector 样本类别数组
    '''
    ##喜爱程度字典
    love_dictionary = {'largeDoses': 3, 'smallDoses': 2, 'didntLike': 1}
    '''
    得到文件行数
    '''
    fr = open(filename)
    arrayOLines = fr.readlines()
    numberOfLines = len(arrayOLines)
    '''
    创建返回的Numpy矩阵
    '''
    returnMat = np.zeros((numberOfLines, 3))
    classLabelVector = []
    index = 0
    '''
    解析文件数据到列表
    '''
    for line in arrayOLines :
      line = line.strip()
      listFromLine = line.split('\t')
      returnMat[index, :] = listFromLine[0:3]
      if (listFromLine[-1].isdigit()):
          classLabelVector.append(int(listFromLine[-1]))
      else:
          classLabelVector.append(love_dictionary.get(listFromLine[-1]))
      index += 1
    return returnMat, classLabelVector

if __name__ == '__main__':
    datingDataMat, datingLabels = file2matrix('./resource/datingTestSet.txt')
    print(datingDataMat)
    print(datingLabels)

2.2.2 分析数据：使用Matplot创建散点图

def demo1ScatterPlot(mat, vector):
    fig = plt.figure()
    ax = fig.add_subplot(111)
    # ax.scatter(datingDataMat[:,1], datingDataMat[:,2])
    ax.scatter(mat[:, 1], mat[:, 2], 15.0 * np.array(vector), 15.0 * np.array(vector))
    plt.show()


if __name__ == '__main__':
    datingDataMat, datingLabels = file2matrix('./resource/datingTestSet.txt')
    demo1ScatterPlot(datingDataMat, datingLabels)

2.2.3 准备数据：归一化数值

在处理不同取值范围的特征值时，我们通常采用的方法是将数值归一化，如将取值范围处理为0到1或者-1到1之间。
下面的公式可以将任意范围的特征值转化为0到1区间内的值：
$n e w Va l u e = (o l d Va l u e - min) / (ma x - min)$

归一化特征值：

def autoNorm(dataSet) :
    '''

    :param dataSet: 数据集
    :return: 归一(标准)数据集 取值范围 最小值
    '''
    ##每列的最小值
    minVals = dataSet.min(0)
    ##每列的最大值
    maxVals = dataSet.max(0)
    ##取值范围
    ranges = maxVals - minVals
    normDataSet = np.zeros(np.shape(dataSet))
    m = dataSet.shape[0]
    ##按行平铺minvals，并与dataSet做减法
    normDataSet = dataSet - np.tile(minVals, (m, 1))
    ##特征值相除，归一化数值
    normDataSet = normDataSet / np.tile(ranges, (m, 1))
    return normDataSet, ranges, minVals



if __name__ == '__main__':
    datingDataMat, datingLabels = file2matrix('./resource/datingTestSet.txt')
    normMat, ranges, minVals = autoNorm(datingDataMat)
    print(normMat)
    print(ranges)
    print(minVals)

2.2.4 测试算法：作为完整程序验证分类器

分类器针对约会网站的测试代码：

def datingClassTest() :
    hoRatio = 0.10
    datingDataMat, datingLabels = file2matrix('./resource/datingTestSet.txt')
    normMat, ranges, minVals = autoNorm(datingDataMat)
    m = normMat.shape[0]
    numTestVecs = int(m * hoRatio)
    errorCount = 0.0
    for i in range(numTestVecs):
        classifierResult = classify0(normMat[i, :], normMat[numTestVecs:m, :], datingLabels[numTestVecs:m], 3)
        print("the classifier came back with: %d, the real answer is: %d" % (classifierResult, datingLabels[i]))
        if (classifierResult != datingLabels[i]): errorCount += 1.0
    print("the total error rate is: %f" % (errorCount / float(numTestVecs)))
    print(errorCount)



if __name__ == '__main__':
    datingClassTest()

2.2.5 使用算法：构建完整可用系统

约会网站预测函数：

def classifyPerson() :
    resultList = ['not at all', 'in small doses', 'in large doses']
    percentTats = float(input( \
        "percentage of time spent playing video games?"))
    ffMiles = float(input("frequent flier miles earned per year?"))
    iceCream = float(input("liters of ice cream consumed per year?"))
    datingDataMat, datingLabels = file2matrix('./resource/datingTestSet.txt')
    normMat, ranges, minVals = autoNorm(datingDataMat)
    inArr = np.array([ffMiles, percentTats, iceCream])
    classifierResult = classify0((inArr - minVals) / ranges, normMat, datingLabels, 3)
    print("You will probably like this person: %s" % resultList[classifierResult - 1])


if __name__ == '__main__':
    classifyPerson()

2.3 示例：手写识别系统

示例：使用k-近邻算法的手写识别系统
1. 收集数据：提供文本文件。
2. 准备数据：编写函数classify0()，将图像格式转换为分类器使用。
3. 分析数据：在Python命令提示符中检查数据，确保它符合要求。
4. 训练算法：此步骤不适用k-近邻算法。
5. 测试算法：编写行数使用提供的部分数据作为测试样本，测试样本与非测试样的区别在于测试样本已经完成分类数据，如果测试分类与实际类别不同，则标记为一个错误。
6. 使用算法：本例没有完成此步骤。

2.3.1 准备数据：将图像转换为测试向量

def img2vector(filename) :
    returnVect = np.zeros((1, 2024))
    fr = open(filename)
    for i in range(32) :
        lineStr = fr.readline()
        for j in range(32):
            returnVect[0, 32 * i + j] = int(lineStr[j])
    return returnVect


if __name__ == '__main__':
    testVector = img2vector("./resource/testDigits/0_13.txt")
    print(testVector[0, 0: 31])

2.3.2 测试算法：使用k-近邻算法识别手写数字

手写数字识别系统的测试代码：

def handwritingClassTest() :
    hwLebels = []
    trainingFileList = listdir('./resource/trainingDigits')
    m = len(trainingFileList)
    trainingMat = np.zeros((m, 1024))
    for i in range(m) :
        fileNameStr = trainingFileList[i]
        fileStr = fileNameStr.split('.')[0]
        classNumStr = int(fileStr.split('_')[0])
        hwLebels.append(classNumStr)
        trainingMat[i, :] = img2vector('./resource/trainingDigits/%s' % fileNameStr)
    testFileList = listdir('./resource/testDigits/')
    errorCount = 0;
    mTest = len(testFileList)
    for i in range(mTest) :
        fileNameStr = testFileList[i]
        fileStr = fileNameStr.split('.')[0]
        classNumStr = int(fileStr.split('_')[0])
        vectorUnderTest = img2vector('./resource/testDigits/%s' % fileNameStr)
        classifierResult = classify0(vectorUnderTest, trainingMat, hwLebels, 3)
        print("the classifier came back with: %d, the real answer is: %d" % (classifierResult, classNumStr))
        if (classifierResult != classNumStr): errorCount += 1.0
    print("\nthe total number of errors is: %d" % errorCount)
    print("\nthe total error rate is: %f" % (errorCount / float(mTest)))


if __name__ == '__main__':
    handwritingClassTest()

CoderZhangSan

关注

23
点赞
踩
26

收藏

觉得还不错? 一键收藏
3
评论
第2章 k-近邻算法

k-近邻算法采用测量不同特征值之间的距离方法进行分类。优点：精度高、对异常值不敏感、无数据输入假定。缺点：计算复杂度高、空间复杂度高。适用数据范围：数值型和标称型。*标称型数据：是指只在有限目标集中取值的离散值，例如“真”或“假”。工作原理：存在一个样本数据集合，也称做训练样本集，并且样本集中每个数据都存在标签，即我们知道样本集中每一数据与所属分类的对应关系。输入没有标签的数据后，将新数据的每个特征与样本集中数据对应的特征进行比较，然后算法提取样本集中特种最相似（最近邻）的分类标签。
复制链接

扫一扫