机器学习算法之KNN_knnquery-CSDN博客

本文链接：https://blog.csdn.net/zhuguiqin1/article/details/121336598

KNN算法概述

KNN可以说是是最常用的分类算法之一，KNN算法是有监督学习中的分类算法，它看起来和另一个机器学习算法Kmeans有点像（Kmeans是无监督学习算法），但却是有本质区别的。

KNN算法原理

KNN的全称是K Nearest Neighbors，意思是K个最近的邻居，从这个名字我们就能看出一些KNN算法的蛛丝马迹了。K个最近邻居，毫无疑问，K的取值肯定是至关重要的。那么最近的邻居又是怎么回事呢？其实啊，KNN的原理就是当预测一个新的值x的时候，根据它距离最近的K个点是什么类别来判断x属于哪个类别。听起来有点绕，还是看看图吧。
在这里插入图片描述图中绿色的点就是我们要预测的那个点，假设K=3。那么KNN算法就会找到与它距离最近的三个点（这里用圆圈把它圈起来了），看看哪种类别多一些，比如这个例子中是蓝色三角形多一些，新来的绿色点就归类到蓝三角了。
在这里插入图片描述但是，当K=5的时候，判定就变成不一样了。这次变成红圆多一些，所以新来的绿点被归类成红圆。从这个例子中，我们就能看得出K的取值是很重要的。

明白了大概原理后，我们就来说一说细节的东西吧，主要有两个，K值的选取和点距离的计算。
距离计算
要度量空间中点距离的话，有好几种度量方式，比如常见的曼哈顿距离计算，欧式距离计算等等。不过通常KNN算法中使用的是欧式距离，这里只是简单说一下，拿二维平面为例，二维空间两个点的欧式距离计算公式如下：
$\rho=\sqrt{\left(x_{2}-x_{1}\right)^{2}+\left(y_{2}-y_{1}\right)^{2}}$
这个高中应该就有接触到的了，其实就是计算（x1,y1）和（x2,y2）的距离。拓展到多维空间，则公式变成这样：
$y):=\sqrt{\left(x_{1}-y_{1}\right)^{2}+\left(x_{2}-y_{2}\right)^{2}+\cdots+\left(x_{n}-y_{n}\right)^{2}}=\sqrt{\sum_{i=1}^{n}\left(x_{i}-y_{i}\right)^{2}}$
这样我们就明白了如何计算距离，KNN算法最简单粗暴的就是将预测点与所有点距离进行计算，然后保存并排序，选出前面K个值看看哪些类别比较多。但其实也可以通过一些数据结构来辅助，比如最大堆，这里就不多做介绍，有兴趣可以百度最大堆相关数据结构的知识。
KNN算法实现

# coding: utf-8
from sklearn.datasets import load_iris
from collections import Counter
import numpy as np

def knn(x, y, query, k=3, clf=True):
    #将x和y的值放入字典存储，字典的Key是tuple类型，存放的是特征值，每个Key对应的value存放的是标签值。
    history = {tuple(x_): y_ for x_, y_ in zip(x, y)}

    #将字典的每个item包含的是（key, value)。
    #对所有的item的按照和query的远近进行排序。并且取k个距离最近的值。
    #lambda表达式用来求得每个item和query的距离。
    neighbors = sorted(history.items(), key=lambda x_y: np.sum((np.array(x_y[0]) - np.array(query)) ** 2))[:k]
    #获取k个距离最近的点的标签值。
    neighbors_y = [y for x, y in neighbors]

    #Counter(neighbors_y)用于统计每个值出现的次数，并且返回一个字典，字典的key是每个值，value是次数。
    #most_common(n) 最常见的n个值，取值为1表示出现频率最高的值。运行返回的是一个list，每个元素是tuple，(value,出现次数）

    if clf: #分类任务
        return Counter(neighbors_y).most_common(1)[0][0] #返回最常见的value值，这个value值对应但就是类别值。
    else:
        #这个是编程了回归任务
        return np.mean(neighbors_y)

 if __name__ == '__main__':
    iris_x = load_iris()['data']
    iris_y = load_iris()['target']
    print(iris_x[0], iris_y[0])
    query = [5, 5, 4, 7]
    cls = knn(iris_x, iris_y, query, k=3, clf=True)
    print(cls)

运行结果

[5.1 3.5 1.4 0.2] 0
2

K值选择
通过上面那张图我们知道K的取值比较重要，那么该如何确定K取多少值好呢？答案是通过交叉验证（将样本数据按照一定比例，拆分出训练用的数据和验证用的数据，比如6：4拆分出部分训练数据和验证数据），从选取一个较小的K值开始，不断增加K的值，然后计算验证集合的方差，最终找到一个比较合适的K值。

通过交叉验证计算方差后你大致会得到下面这样的图：
在这里插入图片描述这个图其实很好理解，当你增大k的时候，一般错误率会先降低，因为有周围更多的样本可以借鉴了，分类效果会变好。但注意，和K-means不一样，当K值更大的时候，错误率会更高。这也很好理解，比如说你一共就35个样本，当你K增大到30的时候，KNN基本上就没意义了。

所以选择K点的时候可以选择一个较大的临界K点，当它继续增大或减小的时候，错误率都会上升，比如图中的K=10。具体如何得出K最佳值的代码，下一节的代码实例中会介绍。

KNN特点
KNN是一种非参的，惰性的算法模型。什么是非参，什么是惰性呢？

非参的意思并不是说这个算法不需要参数，而是意味着这个模型不会对数据做出任何的假设，与之相对的是线性回归（我们总会假设线性回归是一条直线）。也就是说KNN建立的模型结构是根据数据来决定的，这也比较符合现实的情况，毕竟在现实中的情况往往与理论上的假设是不相符的。

惰性又是什么意思呢？想想看，同样是分类算法，逻辑回归需要先对数据进行大量训练（tranning），最后才会得到一个算法模型。而KNN算法却不需要，它没有明确的训练数据的过程，或者说这个过程很快。

KNN算法的优势和劣势

KNN算法优点

简单易用，相比其他算法，KNN算是比较简洁明了的算法。即使没有很高的数学基础也能搞清楚它的原理。
模型训练时间快，上面说到KNN算法是惰性的，这里也就不再过多讲述。
预测效果好。
对异常值不敏感

KNN算法缺点

对内存要求较高，因为该算法存储了所有训练数据
预测阶段可能很慢
对不相关的功能和数据规模敏感