![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
监督学习
文章平均质量分 87
张小莹说她很忙
坚持博客,记录进步点滴,相信积累的力量。
展开
-
【机器学习】决策树(上)
前言:决策树是一种基本的分类与回归算法。可以认为是if-then规则的集合,也可以认为是定义在特征空间与类空间上的条件概率分布。 学习时,利用训练数据,根据损失函数最小化原则建立决策树模型。 学习包括3个步骤:特征选择、决策树的生成、决策树的修建 一、决策树模型 更多参照博文 分类决策树模型:是一种描述对实例进行分类的树形结构。由结点和有向边组成。结点有两种类型:内部结点和叶结点。内部结点原创 2018-01-05 16:05:42 · 844 阅读 · 0 评论 -
降维-主成分分析
一、降维动机: 1.1、数据压缩:占内存小,可加快学习算法 下面举个小例子: 将数据从二维降至一维: 假使我们要采用两种不同的仪器来测量一些东西的尺寸,其中一个仪器测量结果的单位是英寸,另一个仪器测量的结果是厘米,我们希望将测量的结果作为我们机器学习的特征。现在的问题的是,两种仪器对同一个东西测量的结果不完全相等(由于误差、精度等),而将两者都作为 特征有些重复,因而,我们希望将这个二维的数原创 2018-01-10 08:48:38 · 874 阅读 · 0 评论 -
PCA推导
一、协方差、协方差矩阵: 方差是描述一维数据样本本身相对于均值的偏离程度。 思考:如果遇到含有多维数据的数据集,比如要统计多个学科的考试成绩,面对这样的数据集,我们当然可以按照每一维独立的计算其方差,但是通常我们还想了解更多,比如,某个考生数学成绩很好(数学成绩平均值高,且其方差小),他的物理成绩也很好(物理成绩平均值高,且其方差小),这些可以用均值和方差来描述,但是我们想要了解考生的数原创 2018-01-10 17:58:41 · 462 阅读 · 0 评论 -
k近邻
k近邻是一种基本的分类与回归方法。本文是结合李航统计学习方法与机器学习实战。主要讨论分类问题。 一、简介 输入:实例的特征向量,对应于特征空间中的点。 输出:实例的类别。 原理:假设给定一个训练数据集,其中的实例类别已定。分类时,对于新的实例,在训练集中找到与该实例最邻近的k个实例,通过多数表决等方式进行预测。 k紧邻法的三要素:k值的选择,距离度量,分类决策规则。 度量距离:特征空间原创 2018-01-04 10:26:22 · 485 阅读 · 1 评论 -
使用k-近邻算法改进约会网站的配对效果
有关k-近邻的理论知识以及算法实现,可查看上一篇博文k-近邻 此文以一个实际例子:使用k-近邻算法改进约会网站的配对效果。 在约会网站上使用k-近邻算法: 1、收集数据:提供文本文件 2、准备数据:使用python解析文本文件 3、测试算法:将数据集分为训练数据和测试数据。用训练数据训练分类器,用测试数据集评估分类器。 4、使用算法:输入一些特征数据来判断是否是自己原创 2018-01-04 15:08:51 · 1719 阅读 · 0 评论 -
用k-近邻算法:手写识别系统
用k-近邻算法:手写识别系统 一、准备数据:将图像转换为测试向量 我们将图像格式化处理为一个向量:把一个32x32的二进制图像矩阵转换为1x1024的向量。 还是在kNN.py文件中,编写将图像转换为向量的函数如下: #将图像转换为测试向量 def img2vector(filename): returnVect = zeros((1, 1024))#创建一个1x1024的nump原创 2018-01-05 10:40:43 · 384 阅读 · 0 评论 -
【机器学习】决策树(下)CART算法分类树、回归树
创建分支的伪代码如下: > if so return 类标签; else > 寻找划分数据集的最好特征 > 划分数据集 > 创建分支结点 > for 每个分支结点 > 调用函数createBranch并增加返回结点到分支结点中//递归调用createBranch() > return 分支结点C原创 2018-01-06 17:29:29 · 963 阅读 · 0 评论 -
【机器学习 】使用朴素贝叶斯进行文档分类
朴素贝叶斯的一般过程: 1、收集数据:任何方法 2、准备数据:需要数值型或者布尔型数据 3、分析数据:有大量特征时,绘制特征作用不大,此时使用直方图效果更好 4、训练算法:计算不同的独立特征的条件概率 5、测试算法:计算错误率 6、使用算法:常见的朴素贝叶斯应用是文档分类。可以在任何分类场景中使用朴素贝叶斯分类器,不一定非要文本。 思考:如果每个特征需要N原创 2018-01-07 20:05:56 · 2307 阅读 · 0 评论 -
使用朴素贝叶斯过滤垃圾邮件
使用朴素贝叶斯解决一些现实生活中的问题时,需要先从文本内容得到字符串列表,然后生成词向量。下面这个例子中,将了解朴素贝叶斯的一个著名的应用:电子邮件垃圾过滤。 (1)收集数据:提供文本文件 (2)准备数据:将文本文件解析成词条向量 (3)分析数据:检查词条确保解析的正确性 (4)训练算法:使用我们之前建立的trainNB()函数 (5)测试数据:使用classify原创 2018-01-08 22:22:07 · 1721 阅读 · 0 评论