KNN的基础知识-课堂笔记

最新推荐文章于 2023-04-01 16:41:01 发布
最新推荐文章于 2023-04-01 16:41:01 发布
阅读量1.3w 收藏
点赞数
分类专栏： 数据分析之算法篇 文章标签： 算法 python 机器学习 java 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zyh960/article/details/119519904
版权

KNN的工作原理

通俗易懂的来说就是“近朱者赤近墨者黑”，就是计算出哪些是一类的，将它们区分出来

计算的过程分三步走：

  • 计算待分类物体与其他物体之间的距离
  • 统计距离最近的K个邻居
  • 对于K个最近的邻居，它们属于哪个分类最多，待分类物体就属于哪一类

K值如何选择

1、如果K值比较小，就相当于未分类物体与它的邻居非常接近才行。这样产生的一个问题就是，如果邻居点是个噪声点，那么未分类物体的分类也会产生误差，这样KNN分类就会产生过拟合

2、如果K值比较大，相当于距离过远的点也会对未知物体的分类产生影响，虽然这种情况的好处是鲁棒性强，但是不足也很明显，会产生欠拟合情况，也就是没有把未分类物体真正分类出来

所以K值都是需要我们去实践出来的，通过采用交叉验证的方式选取K值，交叉验证的思路就是把样本集中的大部分样本作为训练集，剩余的小部分样本用于预测，来验证分类模型的准确性，在knn算法中，我们一般会把K值选取在较小的范围内，同时在验证集上准确率最高的那一个最终确定作为K值

距离的计算方式

计算距离有五种方式：

  1. 欧氏距离
  2. 曼哈顿距离
  3. 闵可夫斯基距离
  4. 切比雪夫距离
  5. 余弦距离

前面三种是KNN最常用的距离

image-20210806172334349

image-20210806172349962

image-20210806172402105

image-20210806172411341

KD树

KNN的计算过程是大量样本点之间的距离，为了减少计算距离次数，提升KNN的搜索效率，KD树就出生了，KD树是对数据点在K纬空间中划分的一种数据结构，在KD树的构造中，每个节点都是K纬数值点的二叉树，既然是二叉树，就可以采用二叉树的增删改查的操作，提高搜索效率

KNN做回归

image-20210806172706899

总结

KNN的算法原理和工作流程是怎么样的，KNN中的K值是如何选择的

  • KNN算法的核心思想是如果一个样本在特征空间中的K个最相邻的样本中的大多数属于某一个类别，则该样本也属于这个类别，并具有这个类别上样本的特性。
  • 整个计算过程为三步
    • 计算待分类物体与其他物体之间的距离
    • 统计距离最近的K个邻居
    • 对应K个最近的邻居，它们属于哪个分类最多，待分类物体就属于哪一类
    • 我们一般采用交叉验证的方式选取K值
      对应K个最近的邻居，它们属于哪个分类最多，待分类物体就属于哪一类
    • 我们一般采用交叉验证的方式选取K值
  • 交叉验证的思路就是，把样本集中的大部分样本作为训练集，剩余的小部分样本用于预测，来验证分类模型的准确性，准确率最高的那一个最终确定作为K值
有猫腻妖
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
最近邻算法(KNN)
Y_hero的博客
03-17 4597
1.算法概述  目前，对于文本分类的研究已经取得了巨大的进展，常用的文本分类算法有最近邻算法(KNN)，支持向量机，人工神经网络，boosting，随机森林等。而KNN算法既是最简单的机器学习算法之一，也是基于实例的学习方法中最基本的，又是最好的文本分类算法之一。 基于实例的学习方法： 1.只是简单地把训练样例存储起来。等到输入一个新的查询实例时，才分析这个新实例和之前存储的实例之间的关系。**该...
KNN（K-Nearest Neighbor）算法.zip
最新发布
04-15
KNN（K-Nearest Neighbors）算法，即K最近邻算法，是一种基本且广泛使用的监督学习算法，主要用于分类和回归问题。它的核心思想是通过测量不同特征点之间的距离来进行分类或回归。 KNN（K-Nearest Neighbors）算法...
KNN基础知识
am_student的博客
12-19 481
KNN你学会了吗，进来看看！
knn----依靠一个点的基础实现
qq_41836726的博客
10-08 145
knn–依靠一个点的基础实现 knn是一个基础的分类的算法，它不像其他的神经网络算法，他只是通过简单的比较某个维度的几何距离（？？？）来实现分类的 import numpy as np import matplotlib.pyplot as plt import random # util function def getY(x): return 110-x+random.randin...
KNN
Whiteleaf3er的博客
11-24 348
一、一个用于聚类的算法，咨询查询聚类的相关知识，可再去了解聚类与分类，监督式等等 二、思路 1.列出m个（x，y）需要分的点，初始化黑色，K=3，给出3个随机初始中心点，初始化3个颜色 2.计算距离，得到关于每个点最近的中心点，让颜色与中心点相同表示一类 3.更新中心点：选取该类的点中的平均值 4.重复2，3，直到中心点不会变化 三、代码 可用jupyter在线实现，有兴趣把代码co...
KNN方法中关于K值的影响
fahaiL的博客
07-18 3734
from sklearn.datasets import load_iris from sklearn.cross_validation import train_test_split from sklearn.neighbors import KNeighborsClassifier from sklearn.cross_validation import cross_val_score impo
MATLAB实现KNN、SA-KNN、GOA-KNN分类预测对比（完整源码和数据）
11-19
MATLAB实现KNN、SA-KNN（模拟退火优化）、GOA-KNN（蝗虫优化算法）分类预测对比（完整源码和数据） 数据为多特征分类数据，输入多个特征，分三类。 运行环境MATLAB2018b及以上。
ML.zip_ML KNN_ML-KNN
09-23
knn和线性规划算法，使用python3编写。方便直接使用。后续相关算法会陆续上传。
K-近邻算法KNN学习笔记
01-27
本文来自于biaodianfu，文章介绍了在小程序端，使用腾讯云云智AI应用服务来进行人脸识别检测分析，实现人脸识别等功能。 K近邻法(k-nearestneighbor,k-NN)是1967年由CoverT和Hart P提出的一种基本分类与回归方法。...
knn算法--整理byGraceyan
10-21
根据以下视频整理的ppt，视频地址：https://study.163.com/course/courseMain.htm?courseId=1005709005
KNN介绍及参数分析
盏茶AI
05-25 9769
目录1.基本概念2.KNN2.1 KNN Classifier2.2 KNN Regressor2.3 距离3.细节讨论3.1 性能3.2 K值分配4.代码分析5.参考资料 1.基本概念 KNN(K-Nearest Neighbors, K近邻)是有监督学习中普遍使用的方法之一，其中，KNN分类器一般将观察值的类别判定为离它最近的k个观察值中所占比例最大的分类，KNN回归器一般将离它最近的k个观察值中的标签值进行平均处理。 2.KNN 2.1 KNN Classifier KNN(K-Nearest Nei
【KNN算法详解（用法，优缺点，适用场景）及应用】
分享关于数据的知识。
04-01 1万+
KNN（K Near Neighbor）：k个最近的邻居，即每个样本都可以用它最接近的k个邻居来代表。KNN算法属于监督学习方式的分类算法，我的理解就是计算某给点到每个点的距离作为相似度的反馈。简单来讲，KNN就是“近朱者赤，近墨者黑”的一种分类算法。KNN是一种基于实例的学习，属于懒惰学习，即没有显式学习过程。要区分一下聚类（如Kmeans等），KNN是监督学习分类，而Kmeans是无监督学习的聚类，聚类将无标签的数据分成不同的簇。
KNN算法常见问题总结
lizz2276的博客
04-30 9707
1 k近邻法（k-nearest neighbor, kNN） 给定测试实例，基于某种距离度量找出训练集中与其最靠近的k个实例点，然后基于这k个最近邻的信息来进行预测。 通常，在分类任务中可使用“投票法”，即选择这k个实例中出现最多的标记类别作为预测结果；在回归任务中可使用“平均法”，即将这k个实例的实值输出标记的平均值作为预测结果；还可基于距离远近进行加权平均或加权投票，距离越近的实例权重越大。...
K-近邻算法之K值的选择（带案例）
热门推荐
王涛涛的博客
11-10 1万+
三、K值的选择 K值选择问题，李航博士的一书「统计学习方法」上所说： 选择较小的K值，就相当于用较小的领域中的训练实例进行预测，“学习”近似误差会减小，只有与输入实例较近或相似的训练实例才会对预测结果起作用，与此同时带来的问题是“学习”的估计误差会增大，换句话说，K值的减小就意味着整体模型变得复杂，容易发生过拟合； 选择较大的K值，就相当于用较大领域中的训练实例进行预测，其优点是可以减少学...
KNN与k-means
qq_32895961的博客
08-17 214
K-means方法是一种非监督学习的算法，它解决的是聚类问题。 算法思想：以空间中k个点为中心进行聚类，对最靠近他们的对象归类，通过迭代的方法，逐次更新各聚类中心的值，直到得到最好的聚类结果。 具体步骤： 从n个数据中随机选择 k 个对象作为初始聚类中心； 根据每个聚类对象的均值（中心对象），计算每个数据点与这些中心对象的距离；并根据最小距离准则，重新对数据进行划分； 重新计算每个有变化的聚类簇...
KNN算法（K最近邻算法）详解
wangprince2017
08-20 2125
K 最近邻的核心数学知识是距离的计算和权重的计算。我们把需要预测的点作为中心点，然后计算其周围一定半径内的已知点距其的距离，挑选前 k 个点，进行投票，这 k 个点中，哪个类别的点多，该预测点就被判定属于哪一类。 1. 两点间距离公式 已知坐标系中有两个点，三角形坐标 (3,4) 和圆坐标 (7,7)，如图 1 所示，它们的距离应该如何计算呢？ 我们一般使用欧式距离，即高中学到的两点间的距离公式，如图 2 所示，它的本质就是勾股定理： a2+b2=c2 根据勾股定理，我们可计算两点之间的距离为 ..
KNN二分类和五分类算法
weixin_46737718的博客
11-14 2096
KNN算法简介 KNN（K-Nearest Neighbor）最邻近分类算法是数据挖掘分类（classification）技术中最简单的算法之一，其指导思想是”近朱者赤，近墨者黑“，即由你的邻居来推断出你的类别。 KNN最邻近分类算法的实现原理：为了判断未知样本的类别，以所有已知类别的样本作为参照，计算未知样本与所有已知样本的距离，从中选取与未知样本距离最近的K个已知样本，根据少数服从多数的投票法则（majority-voting），将未知样本与K个最邻近样本中所属类别占比较多的归为一类。 ...
使用KNN对点进行二分类
weixin_44928646的博客
02-26 1765
实现一个KNN对坐标点进行二分类分算法，将四个点分为两类，标签是：“A”，“B”，其中用到了matplotlib对图像进行处理。 import numpy as np import matplotlib.pyplot as plt #画图，把几个要分类的点画出来 import operator def createDataSet():#分类数据 group = np.array([ ...
利用KNN算法计算最近点
DF.W的那点浅薄的知识
04-21 805
所谓“物以类聚，人以群分”这句话用来描述KNN算法倒是挺合适的，我们用一个人接触的人来判断眼前的人的品行，同样也可以用一个样本点周围的点去评估这个点的性质。 先介绍一下背景：寻找空间中某一点最近的K点，利用这K个点的“性质”来对目标点进行某些操作。至于为什么要用KNN算法，其实很简单，我利用数组遍历的方式，左边是25000个点，右边是160000个点进行匹配，每一次从左边...
kNN与k-means的区别
05-05
kNN和k-means都是机器学习中常用的算法，但是它们的应用场景和实现方式有很大的不同。 首先，kNN（k-Nearest Neighbors）是一种监督学习算法，它是一种基于实例的学习方法，用于分类和回归。在分类问题中，给定一个...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

有猫腻妖

你的鼓励是我更新的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值