本文详细介绍了K近邻（K-NN）算法的基本原理、k近邻法的实现方法，特别是利用kd树进行高效搜索。k近邻算法依赖于k值的选择、距离度量和分类决策规则。kd树是一种有效的数据结构，能够加速搜索过程。文章还讨论了k近邻算法的优缺点、适用场景和如何选择合适的k值。
简介
k近邻法（k-nearest neighbor，k-NN）是一种基本分类与回归方法，常用于分类。k近邻算法简单、直观：给定一个训练数据集，对于新的输入实例，在训练数据集中找到与该实例最邻近的k个实例，这k个实例的多数属于某个类，就把该输入实例分为这个类。
基本原理
k近邻法实际上利用训练数据对特征向量空间进行划分，并作为其分类的“模型”。
k近邻的三个基本要素：k值的选择、距离度量及分类决策规则。
K近邻算法
输入：训练数据集
T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯   , ( x N , y N ) } T=\left\{\left(x_{1}, y_{1}\right),\left(x_{2}, y_{2}\right), \cdots,\left(x_{N}, y_{N}\right)\right\} T={
(x1,y1),(x2,y2),⋯,(xN,yN)}
其中， x i ∈ X ⊆ R n x_{i} \in \mathcal{X} \subseteq \mathbf{R}^{n} xi∈X⊆Rn 为实例的特征向量， y i ∈ Y = { c 1 , c 2 , ⋯   , c K } y_{i} \in \mathcal{Y}=\left\{c_{1}, c_{2}, \cdots, c_{K}\right\} yi∈Y={
c1,c2,⋯,cK}为实例的类别， i = 1 , 2 , ⋯   , N i=1,2,\cdots,N i=1,2,⋯,N ；实例特征向量 x x x：
输出：训练实例 x x x 所属的类别 y y y
（1）根据给定的距离度量，在训练集 T T T 中找出与 x x x 最邻近的 k k k个点，涵盖这 k k k 个点的邻域记作 N k ( x ) N_k(x) Nk(x)；
（2）在 N k ( x ) N_k(x) Nk(x)中根据分类决策规则（如多数表决）决定 x x x 的类别 y y y：
y = arg max c j ∑ x i ∈ N k ( x ) I ( y i = c j ) , i = 1 , 2 , ⋯   , N i j = 1 , 2 , ⋯   , K y=\arg \max _{c_{j}} \sum_{x_{i} \in N_{k}(x)} I\left(y_{i}=c_{j}\right), \quad i=1,2, \cdots, N_{i} \quad j=1,2, \cdots, K y=argcjmaxxi∈Nk(x)∑I(yi=cj
最低0.47元/天 解锁文章
6846
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
