Machine_learning
文章平均质量分 93
Lyndon_zheng
NTU 博一
关注:机器视觉、图像处理、场景理解、机器学习、人工智能和嵌入式系统等方向。
展开
-
机器学习笔记(1)
1、机器学习的主要任务是通过样本的特征进行分类,一般有两套独立的样本集:训练数据和测试数据。其中特征和属性通常是训练集样本的列,是独立测得结果,而测试数据集在测试阶段只输入特征,通过分类器来进行类别的标记,并与真值比较,得到分类器的精度。2、机器学习跟模式识别、统计学习、数据挖掘、计算机视觉、语音识别和自然语言处理等领域有深刻的联系。从研究内容来说,机器学习与模式识别、统计学习、数据挖掘有很大原创 2015-04-21 11:11:46 · 1165 阅读 · 0 评论 -
成为深度学习专家的七个步骤
PS:早上看到的一篇不错的原文,因为自己也正在进行这些学习研究,一路走来,觉得总结不错。本想要翻译出来的,发现有人这么做了,就直接转过来,一方面是给自己更多资源,另一方面是希望分享给更多的人。原文作者:Ankit Agarwal译者:Angulia Chao原文链接:https://www.linkedin.com/pulse/7-steps-bec转载 2015-12-15 20:40:00 · 2944 阅读 · 0 评论 -
机器学习(7)——支持向量机(三):线性支持向量机和软间隔最大化
前两章讨论支持向量机时,假设了数据最终是能完全被分开,即数据在原始特征空间或映射到高维特征空间之后能够完全正确分类。但是,这样绝对的分类存在一个明显的问题,如果模型中存在异常点,即使高维映射之后,能够完全正确分类,也可能导致模型复杂度过高,模型过拟合。虽然训练出来的模型能够在训练集上表现很好,但其泛化能力会很差。 如下图所示,明显蓝色框标记的两个白色点和两个红色点都是异常点,如果通过硬间隔SVM我原创 2015-12-29 22:47:45 · 5450 阅读 · 0 评论 -
机器学习(5)——决策树(下)算法实现
Decision tree在机器学习(5)——决策树(上)原理中介绍了决策树的生成和剪枝原理。介绍了CART,ID3,C4.5等算法的算法流程,其中CART算法可以实现回归和分类,是基于基尼不纯度实现的,这里并未实现。这里主要实现了ID3和C4.5算法,是基于信息熵的,在本处因为没有涉及剪枝,他们最终得到的结果都是一样的。我们先来看ID3的整个算法框架(C4.5也基本类似,不同之处是特征选取的区别)原创 2015-11-03 15:43:46 · 1887 阅读 · 0 评论 -
机器学习(5)——决策树(上)原理
Decision tree决策树是机器学习中一种基本的分类和回归算法,是依托于策略抉择而建立起来的树。其主要优点是模型具有可读性,分类速度快,易于理解。决策树的思想主要来源于Quinlan在1986年提出的ID3算法和1993年提出的C4.5算法,以及有Breiman等人在1984年提出的CART算法。由于本章内容较多,将分两篇介绍决策树的原理和算法实现。原创 2015-11-03 14:31:10 · 9171 阅读 · 1 评论 -
机器学习(6)——从线性回归到逻辑斯特回归
Linear Regression在学习李航《统计学习方法》的逻辑斯特回归时,正好coursera上相应的线性回归和逻辑斯特回归都学习完成,在此就一起进行总结,其中图片多来自coursera课程上。 线性回归是机器学习中很好理解的一种算法。我们以常见的房屋销售为例来进行简单分析: 假设我们统计的一个房屋销售的数据如下: 在此,我们从单一变量谈起,直观上比较容易理解。训练集定义为{(x(1)原创 2015-11-18 20:02:25 · 4720 阅读 · 0 评论 -
机器学习(7)——支持向量机(二):线性可分支持向量机到非线性支持向量机
线性可分支持向量机回顾前面总结了线性可分支持向量机,知道了支持向量机的最终目的就是通过“间隔最大化” 得到最优分类器,能够使最难区分的样本点得到最大的分类确信度,而这些难区分的样本就是支持向量。 还是如下图所示,超平面H1H_1 和 H2H_2 支撑着中间的决策边界,且到达决策边界的距离相等,都是最大几何间隔。而这两个超平面H1H_1 和 H2H_2 必定会有一些样本点,不然中间的间隔还可以继续扩原创 2015-12-08 23:04:33 · 5917 阅读 · 0 评论 -
机器学习笔记(4)——朴素贝叶斯
Naive Bayes朴素贝叶斯网络是贝叶斯分类器的一种,贝叶斯分类算法是统计学的一种分类方法,利用概率论和统计知识进行分类。其原理是利用贝叶斯公式根据样本的先验概率来计算其后验概率(即样本属于某一类的概率),然后选择具有最大后验概率的类作为该对象所属的类别。朴素贝叶斯分类以概率论为基础,有坚实的数学基础,以及稳定的分类效率,其优点是算法简单,在数据较少的情况下仍然准确。理论上朴素贝叶斯分类有最小的原创 2015-10-22 22:47:35 · 1469 阅读 · 0 评论 -
机器学习笔记(3)——K近邻法
K-nearest neighbor(KNN)kk近邻法一种基本的分类与回归方法,原理和实现都比较直观。其输入为样本的特征向量,输出为样本的类别,可以进行多类别分类。k近邻法是通过统计与未知样本最近点的训练样本的类别来投票决定未知样本的类别,不具有显式的学习过程。kk近邻法主要包含有kk值选择,距离度量以及分类决策规则三部分。1.kk近邻模型距离度量特征空间中两个样本的距离是两个样本的相似程度的反映原创 2015-10-19 15:09:29 · 1174 阅读 · 0 评论 -
机器学习笔记(2)——感知机
Perceptron(感知机)感知机是二分类的线性分类器,属于判别模型。由Rosenblatt在1957年提出,是神经网络和支持向量机(SVM)的基础。感知机本身相当于神经网络中的一个神经元,只能进行简单的线性分类。感知机的学习目标是通过训练数据得到线性划分的超平面。为此,引入基于分类误差的损失函数,利用梯度下降法对损失函数进行极小化,来求解感知机模型。原创 2015-10-17 14:31:49 · 1219 阅读 · 0 评论 -
一文读懂机器学习,大数据/自然语言处理/算法全有了……
本文摘自微信程序员平台,是看到的机器学习入门的不错资料,原文连接已不可知,在此就不添加了。一文读懂机器学习,大数据/自然语言处理/算法全有了……2015-01-06计算机的潜意识 数盟【数盟倡导“数据创造价值”,致力于打造最卓越的数据科学交流平台,为企业、个人提供最卓越的服务】在进入正题前,我想读者心中可能会有一个疑惑:机器学习有什么重要性,以至于要阅读完这篇非转载 2015-04-20 11:46:55 · 1253 阅读 · 0 评论 -
机器学习(7)——支持向量机(一):从感知机到线性可分支持向量机
前言支持向量机(support vector machine)本来是最早接触的机器学习算法,最初自己写的的机器视觉论文也用到了SVM,但和神经网络一样,一直觉得它是比较复杂的机器学习方法,需要深入的学习和研究。因此先是系统推导了李航的《机器学习》,之后学习Andrew Ng的机器学习课程,并看了july、pluskid等人的技术博客。也不能说自己精通了,只能算是学习笔记,总结一些自己能掌握的东西。原创 2015-12-06 00:26:09 · 3921 阅读 · 0 评论