k-NN算法实现k-邻近算法实现

"""
将数据点(1, 1.1)定义为类A, 数据点(0, 0.1)定义为类B
k-邻近算法实现：
    １．计算已知类别数据集中的点与当前点之间的距离
    ２．按照距离递增次序排序
    ３．选取与当前点距离最小的ｋ个点
    ４．确定前ｋ个点所在的类别的出现频率
    ５．返回前ｋ个点出现频率最高的类别作为当前点的预测分类
"""
from numpy import *
import operator


def createDataSet():
    group = array([[1.0, 1.1], [1.0, 1.0], [0, 0], [0, 0.1]])
    labels = ["A", "A", "B", "B"]
    return group, labels


def classify0(inX, dataSet, labels, k):
    """
    共有四个输入参数：用于分类的输入向量是inX，输入的训练样本集为dataSet
    标签向量为labels, 最后的参数k表示用于选择最邻近的数目，其中标签向量的元素数目和
    矩阵dataSet的行数相同。计算的距离为欧氏距离
    :param inX:
    :param dataSet:
    :param labels:
    :param k:
    :return:
    """
    # 计算欧氏距离
    dataSetSize = dataSet.shape[0]  # dataSet.shape[0]输出的是数据集的行数，shape[1]输出的是数据集的列数
    diffMat = tile(inX, (dataSetSize, 1)) - dataSet  # tile函数共有两个参数，tile(A, reps), A指待输入数组，reps决定Ａ重复的次数，整个函数用于重复数组A来构建新的数组
    sqDiffMat = diffMat ** 2  # 计算欧氏距离
    sqDistances = sqDiffMat.sum(axis=1)  # 按行求和，
    distance = sqDistances ** 0.5  # 开根号，结果为该未知数据集到每一个已知数据集的欧氏距离

    # 选择距离最小的k个点
    sortedDistIndicies = distance.argsort()  # argsort()方法返回数组值从小到大的索引
    classCount = {}

    for i in range(k):
        voteIlabel = labels[sortedDistIndicies[i]]  # 获取所属类别
        classCount[voteIlabel] = classCount.get(voteIlabel, 0) + 1  # get方法返回指定键的值，如果不存在则返回默认值（０：设置默认值为０）
    sortedClassCount = sorted(classCount.items(), key=operator.itemgetter(1), reverse=True)  # items()返回字典列表操作后的迭代　　sorted(可迭代对象，　自定义的比较函数，　顺序默认为Fslse,正序)
    return sortedClassCount[0][0]
   



if __name__ == '__main__':
    group, labels = createDataSet()
    print(group)
    print(labels)
    result = classify0([0, 0], group, labels, 3)
    print(result)