机器学习
文章平均质量分 61
Glory_g
明日之我胸中有沟壑,立马振山河
展开
-
机器学习入门推荐
机器学习入门教程分享 经常会在一些社区类网站看到有人问如何入门和学习机器学习,于是,我在这里分享一些我学习机器学习这一段时间以来收集的各类比较好的教程。 我过滤掉了一些没什么用的教程和资料,因为那些确实没有用,而且看起来太多太繁琐,人的精力有限,只要能把这些资料看完,就已经可以变得很厉害了。 引用知乎上某个人的话:“任何列书单和在线视频超过10条的,基本都是混子。列了几十本书和几百小时在线视频转载 2017-09-26 00:14:53 · 476 阅读 · 0 评论 -
机器学习之学习向量量化(LVQ)
学习向量量化简介 :学习向量量化是一种聚类算法,我自己感觉这应该是一种监督学习算法吧,这种算法属于原型聚类,找到初始原型来刻画聚类结构,与一般聚类算法不同的是,(LVQ)这种算法数据样本带有监督信息标记算法思想 :通过数据集不断学习不断移动原型向量的位置,把高维空间划分成 n 个簇,每个原型向量代表一个聚类簇。算法流程 :初始化一组原型向量,初始化的方法一般为,从第q个簇里面随机找一个标记为tq的样原创 2017-12-01 11:20:25 · 9596 阅读 · 0 评论 -
贝叶斯分类器以及Python实现
贝叶斯分类器贝叶斯分类器的分类原理是通过某对象的先验概率,利用贝叶斯公式计算出其后验概率,即该对象属于某一类的概率,选择具有最大后验概率的类作为该对象所属的类。介绍一下先验概率:是指根据以往经验和分析得到的概率,就是我们可以通过我们已经得到的训练集得到的概率 后验概率:就是我们要求得、要预测的概率,并且通过这种概率去估计样本的可能类别。介绍一下贝叶斯公式 :可以看作是一种条件概率公式原创 2017-11-28 20:49:01 · 23674 阅读 · 3 评论 -
logistic 算法 及其代码实现
logistic regression model这个模型是用来解决分类问题的一种常用的模型,当然在解决这个种模型的时候仍然需要用到梯度下降法。 在这个模型中 我们设置一个个 cost function (x,y); 它等于下面的一个等式 关于这个公式的来源,并不是没有他内在的数学原理,他的数学原理需要用到概率论中的极大似然估计法,以及高等数学中的微积分,如果感兴趣的话可以看一下这原创 2017-11-08 11:09:11 · 6528 阅读 · 1 评论 -
支持向量机 (SVM) 以及 sklearn 实现
支持向量机支持向量机是一种非常强大的分类算法,它可以实现分两类,也可以实现分成多类,支持向量机与核函数的配合成功解决了逻辑回归表现出的不足之处,是数据挖掘的十大算法之一。对于分成两类的支持向量机在线性回归或者逻辑回归中,我们都是希望找到一个超级平面把两类不同的样本点分隔开,但是分割的线的位置我们无法确定,因为有可能存在好多这样的平面符合题意。我们最希望找到的还是“最中间”的那一个原创 2017-11-27 23:06:46 · 588 阅读 · 1 评论 -
机器学习之BP神经网络 以及 tensorflow 实现
BP (Back Propagation)神经网络简介 :先介绍一下神经元,在生物神经网络中,每个神经元与其它神经元相连,当一个神经元“兴奋”时,就会通过穿出神经向其它神经元发送化学物质,其它神经元会通过穿人神经接受信息然后再传递至神经中枢处理信息。现在机器学习中的神经网络就是基于生物学中的神经元模型的。一个一个的神经元与其它神经元相互连接构成所谓的神经网络。BP 神经网络分为两个过程原创 2017-12-01 16:54:35 · 25731 阅读 · 4 评论 -
机器学习之K均值算法 以及 c++ 实现
K 均值算法简介 :k均值算法是一种比较简单的聚类算法,它针对数据经行划分,得到最小平方误差,将数据聚集成一个一个的类别。这个式子在一定程度上表达了一个类之间的紧密程度。K均值算法的算法流程 :从样本集中随机选择k个样本作为初始化均值向量计算每一个样本到所有均值向量的的距离,根据距离的大小将所有的点归类通过求平均值的方法调整均值向量的位置重复2、3步骤知道目标函数收原创 2017-12-01 10:16:14 · 672 阅读 · 0 评论 -
机器学习之我见
关于机器学习 :打完了今年ACM 亚洲区域赛,打算入新坑了,应该会是图像处理或者自然语言处理吧,最近半年时间学了不少关于机器学习方面的东西,在迈入深度学习学习之前打算对自己所理解的机器学习做一个总结,然后迈入深度学习的坑写在前面的话:有人曾经说过 : 所有人在小学二年级就学会了写作,然而大多数人必须从事其它更重要的工作 。 我们可以理解这句话为,我们刚上大学就学会了敲代码,然而更多的人原创 2017-09-29 17:09:41 · 300 阅读 · 0 评论 -
K邻近算法 (KNN) 原理及 python 实现代码
K邻近算法思想 :在对于一个分类的问题而言,我们一般希望在已知样本点中找到一个和要预测的点完全相同的点,然后进行预测,但是由于我们的样本空间有限,所以不可能找到所有的要出现的点的全部集合。但是有一种直观的感受(据说是存在数学原理的)就是说一类相似事物,他们的特征非常接近,这说明什么呢 ? 说明 如果我们找不到与预测样本完全相同的特征点,但是我们可以找到离这个样本点最近的k个点,然后根据这k个点原创 2017-11-29 17:31:35 · 589 阅读 · 0 评论 -
机器学习聚类算法简介
算法的目的 :聚类算法是“无监督学习”中最常用的一个算法,通过对无标记训练样本的学习将数据集划分成若干个不相交的子集,来解释数据的内在性质以及规律,为进一步数据分析提供基础。也可以作为一个单独的过程,寻找数据内在的分布结构注意 : 类所对应的概念语义需要由使用者自己把握和命名。对于一个算法的评估我们需要对这种算法进行量化,比如手对于一般的基础算法,我们有时间复杂度、空间复杂度进行度量,对于监督学习我原创 2017-12-01 00:36:30 · 1168 阅读 · 0 评论 -
机器学习之Bagging 与 随机森林算法
在集成学习里面,有两种流派,一个是 boosting 流派,它的特点是对于各个学习器之间有着相互依赖的关系 (比如说在某一次算法结束后,分类错误的样本会增大比例,以引起下一次的训练时候的关注度),另一种是bagging 流派,它的特点是各个学习器之间没有任何的依赖关系,可以并行拟合。Bagging 原理从图中,我们可以看出, bagging 学习算法 没有 adaboost 算法那样的联系,它的关键原创 2017-11-30 22:37:12 · 2658 阅读 · 0 评论 -
机器学习 学习笔记
机器学习基本流程 给出训练集通过机器学习算法学习这个训练集给出一个x预测出一个y 两类问题 (回归问题、分类问题) 2.假设函数 和 代价函数 假设函数就是假设的一个可以很好拟合数据集数据的一个函数而代价函数则是一个关于假设函数里面所有参数的一个函数,我们的目的是使得代价函数(目标函数)最小化,低维度 (1、2) 可以通过图像可视化,高维就不可以 J(θ0,θ1)=12m∑原创 2017-10-01 15:17:40 · 215 阅读 · 0 评论 -
机器学习 学习笔记
今天学习了机器学习的第一个算法 : 针对单特征线性回归 和 多特征回归问题的梯度下降算法 这个算法的原理是高等数学中的微积分 (主要应用的是偏导数和 梯度的应用) 梯度的方向是 函数变换做快的方向,根据这个原理我们就可以设计出一个梯度下降算法。 假设 假设函数 为 h (x0,x1,x2,x3…xn) = a0x0 + a原创 2017-10-02 15:43:36 · 184 阅读 · 1 评论 -
机器学习 梯度下降法总结
梯度下降法 :就是我们在对于一个代价函数求出适合的参数值的时候经常使用的方法,首先 J (thete1,…,theten) 我们要使得这个函数最小化,就需要不断去逼近这些 thete 值,我们需要深刻理解导数、偏导数这些东西才能知道其中的原理,比如说导数是一个函数沿着x轴正方向的变化率,在偏导数中 对于一个变量 xi 对它的偏导数就着这个方向增长的最大变化率,所以在使用梯度下降的时候需要向反方向下降原创 2017-11-07 19:33:08 · 536 阅读 · 0 评论 -
机器学习 学习笔记
今天学习了关于机器学习的关于梯度下降法的一些需要注意的事项和一些有关的技巧还有另一种机器学习算法 : 正规方程法以及两者的优店和缺点关于剃度下降法 : 我们要选择合适的学习速率 这个学习速率需要我们不断的探索去发现,选择的速率过小可能导致收敛的速度慢,如果选择的学习速率过大甚至会导致函数自身不收敛,这样的话就 需要我们不断去尝试不同的学习速率找的一个合适的学习速率然后使用它。在使用剃度下降法的时原创 2017-11-07 17:39:50 · 225 阅读 · 0 评论 -
机器学习 学习笔记
关于分类算法 :在分类算法中分为多类分类算法和两类分类算法,我们一般研究的两类分类算法,我们需要预测一个东西的概率,根据概率的性质,我们需要保证这个值在 0-1 之间所以我们要构造一个函数使得它的取值范围在 0 - 1 之间,然后就可以当概率使用,在其值大于 0.5 的时候可以预测为1 然后剩下的可以预测为 0,这样就可以了。当然我们还需要一个预测函数 h(x) 去对这个进行一个预测 (个人感觉这个原创 2017-11-08 00:04:24 · 147 阅读 · 0 评论 -
机器学习 学习笔记
今天学习了关于机器学习的关于梯度下降法的一些需要注意的事项和一些有关的技巧还有另一种机器学习算法 : 正规方程法以及两者的优店和缺点关于剃度下降法 : 我们要选择合适的学习速率 这个学习速率需要我们不断的探索去发现,选择的速率过小可能导致收敛的速度慢,如果选择的学习速率过大甚至会导致函数自身不收敛,这样的话就 需要我们不断去尝试不同的学习速率找的一个合适的学习速率然后使用它。在使用剃度下降法的时原创 2017-11-08 10:48:02 · 155 阅读 · 0 评论 -
机器学习 学习笔记
关于梯度下降算法的优化与: 会有三种方法优化梯度下降算法: 1. 共轭梯度下降法 (conjugate) 2. 变尺度法 (BFGS) 3. 限制变尺度法 (L - BFGS)这些方法的好处是: 1. 不用选择学习速率 2. 收敛的速度快,执行效率高但是她们的缺点在于:实现她们的方法太复杂,所以我们就可以使用语言的内置库函数去实现这些算法。我们需要做的就是把代价函数写出来,然后写一个给代原创 2017-11-08 17:02:31 · 185 阅读 · 0 评论 -
机器学习之Adaboost算法
Adaboost 算法 ;先介绍一下 boost 算法 , boost 就是一种增强学习算法,通过弱学习器 (正确率略高于随机回答的学习器,这也是必须要满足的条件否则分这个算法无效)的一种结合得到一种强学习器的集成学习方法,有许多的boost 算法 Adaboost 就是其中的一种算法。Adaboost 算法思想 :这种算法的基本思想就是,用一些弱分类器通过集成学习的方法组合出一个强分类器,对于每次原创 2017-11-29 17:00:40 · 501 阅读 · 0 评论 -
决策树算法 及其 python 实现
决策树算法 :基本介绍 :决策树算法是一类算法的集合,决策树顾名思义是在一棵树上进行决策的方法,称之为决策树算法,决策树首先是一棵树,树的每一个节点表示对一个特征的判断,每一个叶子节点表示一种判断的结果,下面的例子生动地解释了决策树算法的基本思想 : 每一层对每一个不同的特征进行判断,最后到叶子节点得到判断的答案。决策树算法的基本流程与一般的树的算法一样,是一种递归的过原创 2017-11-29 21:43:49 · 822 阅读 · 0 评论