机器学习笔记
文章平均质量分 61
gangloveswei
这个作者很懒,什么都没留下…
展开
-
机器学习过程
这些日子一直在看机器学习的资料,主要是一些教程,以斯坦福大学Andrew Ng大牛的教程为主要依据。实话实说,机器学习真的很难,其分支深度学习更难,但是我也没有办法,必须硬着头皮上。希望自己能够尽快掌握知识吧。 写这份博客的目的一方面是激励自己学习,算作是一个学习笔记,另外是和大家相互讨论,我知道博客上已有很多高手,写了很多资料,但是我仍然希望自己能给原创 2015-06-05 13:58:32 · 274 阅读 · 0 评论 -
第一讲 什么是机器学习
机器学习火了这么多年,大家并没有对于其定义有所争议。其实我觉得这才是一个学科应该发展的趋势,没必要把所有的注意力放在定义上,真正定义清楚了能说明什么呢,总是停留在咬文嚼字上,于事无补。在我看来,机器学习无非是让机器有学习能力,能够分辨是非(分类),能够理解情境(回归)等等。Andrew Ng说过一段话,他们在做一个飞行器的项目,目的上让飞行器能够独立飞行,绕过障碍。他们在研究中发现为飞行器设定好路原创 2015-06-05 14:18:34 · 690 阅读 · 0 评论 -
机器学习第三讲 梯度下降法
梯度下降法上面我们了解了线性回归的一些知识,这一讲主要针对最为常用的,也是最为简单的梯度下降法用于训练线性回归模型。从上一讲我们可以知道,我们建立了房屋特征与价格的线性关系函数:,我们希望能够找到合适的,使得损失函数趋于最小,损失函数定义为: (1)有时,损失函数也定义为:原创 2016-03-16 16:32:52 · 654 阅读 · 2 评论 -
机器学习第四讲 牛顿下降法
牛顿下降法牛顿下降法(Newton descent method)是梯度下降法的一种改进算法,它收敛速度快,原理简单,深受欢迎。结合梯队下降的知识,我们希望通过迭代的方法找到能够使取得最小值,甚至为0。观察如下的变化图:从上图可以看出,首先确定,然后通过在这点画切线,与x轴的交点定为,然后依次进行递归:其中。因此我们得到如下的递归准则:代码如下:原创 2016-03-22 14:34:20 · 1427 阅读 · 0 评论 -
机器学习第二讲 线性回归
线性回归在现实中应用非常多,是最为简单的机器学习算法。我分为如下几个方面:1 线性回归的定义和来源2 梯队下降法3 牛顿下降法4 最小二乘法原创 2016-03-15 15:53:16 · 562 阅读 · 0 评论 -
机器学习第五讲 最小二乘法
第五讲 最小二乘法前面我们学习了梯度下降法进行线性回归建模,梯度下降法采用递归的形式,逐步寻找能够使得损失函数取得最小值的学习参数。本小节我们介绍最为常用的最小二乘法(Least Square Method, LSM)。该方法不需要通过迭代的方式,可以一步算得学习参数。在讲解之前,我们先学习一些矩阵的知识:(1)定义一个函数,它可以将一个矩阵的元素映射为一个实数。例如对于矩阵原创 2016-03-24 10:17:53 · 604 阅读 · 0 评论