- 博客(10)
- 资源 (8)
- 收藏
- 关注
翻译 生成学习算法之高斯判别分析模型
第四部分 生成学习算法到目前为止,我们主要讨论了建模——给定下的的条件分布——的学习算法。例如,逻辑回归把建模成,这里是sigmoid函数。在这些讲义中,我们将讨论一种不同形式的学习算法。考虑一个分类问题,在这个分类问题中,我们想基于一个动物的一些特征,来学习区分是大象()还是小狗()。给定一个训练集,一个诸如逻辑回归或感知器的算法(基本上)试图找到一条直线—也就是一个分界线—来
2016-08-28 15:29:44 6693 2
原创 指数族和几何分布
指数族和几何分布关于指数族和广义线性模型的相关知识,详情请点击。以为参数的指数分布为:(1)证明指数分布是指数族分布。于是,(2)使用具有几何反应变量的广义线性模型,执行回归,可得典型反应函数为:(3)给定一组训练集,令一个样本的log似然性为,下面我们求解随机梯度上升的更新规则。先写出,关于求导,得到
2016-08-26 15:02:38 3382
原创 多元最小二乘问题
多元最小二乘问题假设我们有一组训练集,对每一个样例我们有很多输出,所以在这里,并不是一个实数,而是一个有个元素的向量。我们希望使用一个线性模型来预测输出结果,设,这里。1)代价函数,下面我们将代价函数写成矩阵—向量符号的形式。设则:,经过观察,发现的值即为矩阵元素的平方和的一半,而我们知道(容易证明)矩阵的元素的平方和等于,所以
2016-08-26 09:59:20 2174
原创 牛顿法求解最小二乘问题(线性回归)
用牛顿法求解代价函数的最小值,这里是n维向量,是实数。解 牛顿法(详细点此)迭代公式为,这里,是关于的偏导数向量;是一个n x n被称作Hessian的矩阵,其元素为。先求关于的偏导数上式即为向量的第个元素,所以其中,然后求解海森矩阵,所以,从而选择随机初始值,一次迭代后,我们发现
2016-08-25 09:44:50 8391 3
翻译 监督学习之广义线性模型
第三部分 广义线性模型到目前为止,我们已经见到了一个回归的例子和一个分类的例子。在回归的例子里,我们有,在分类问题中我们有,和是某些合适定义的和的函数。在这节中,我们将会展示这两个方法都是一个更广泛模型族的特殊情况,(这个模型)被称作广义线性模型(GLMs)。我们也会展示GLM族的其他模型如何推导得出,如何被应用到其他分类和回归问题。8 指数族为了走进GLMs,我们将会以定
2016-08-24 14:26:25 1841
原创 浅谈对梯度下降法的理解
浅谈梯度下降法 如果读者对方向导数和梯度的定义不太了解,请先阅读上篇文章《方向导数与梯度》。 前些时间接触了机器学习,发现梯度下降法是机器学习里比较基础又比较重要的一个求最小值的算法。梯度下降算法过程如下:1)随机初始值;2)迭代,直至收敛。表示在处的负梯度方向,表示学习率。 在这里,简单谈一下自己对梯度下降法的理解。首先,要明确梯度是一个向量,是一个n元函
2016-08-19 14:04:11 20996 15
原创 方向导数与梯度
方向导数与梯度在许多问题中,不仅要知道函数在坐标轴方向上的变化率(即偏导数),而且还要设法求得函数在其他特定方向上的变化率。这就是接下来要谈论的方向导数。定义 1 设三元函数在点的某邻域内有定义,为从点出发的射线,为上且含于内的任一点,以表示与两点间与的距离,若极限存在,则称此极限为函数在点沿方向的方向导数,记作沿任一方向的方向导数与偏导数的关系由
2016-08-18 10:30:02 8835 3
翻译 监督学习之分类和逻辑回归
现在让我们谈论分类问题。这就像逻辑回归一样,除了我们想预测的值只能取很少数量的离散值。现在,我们将会聚焦二值分类问题,在这个问题中只能取两个值,0和1。(大多数我们在这里提到的将可以推广至多类问题。)比如说,如果我们正努力构建一个邮件的垃圾邮件分类器,可以是一封电子邮件的一些特征,如果它是一封垃圾邮件是1,否则是0。0也被称作负类,1被称作正类,有时候他们也由“-”和“+”符号表示。给定,相对应的
2016-08-13 13:02:59 7576
翻译 监督学习之线性回归(续)
本节接着监督学习——线性回归继续讲述线性回归相关知识。3 概率解释当面对一个回归问题,为什么线性回归,精确地说为什么最小二乘代价函数,是一个合理的选择?在这节中,我们将会给出一组概率假设,在这组假设下,最小二乘回归是可以很自然得到的算法。让我们假设目标变量和输入变量通过下面等式关联在这里,是误差项,捕捉了未建模的影响(比如如果有一些因素对预测房子的价格非常相关的,但
2016-08-12 16:21:26 787
翻译 监督学习之线性回归
一、监督学习让我们首先谈一些监督学习问题的例子。假定我们有一个数据集,数据集中给出了来自俄勒冈波特兰的47所房子的居住面积(living areas)和价格(price):我们可以将这些数据标识于图表上:给定这样的数据,我们如何学习基于居住面积的大小的函数,来预测波兰特其它房子的价格。为了建立以后使用的符号,我们使用表示“输入”变量(这个例子中的居住面积),也被称作
2016-08-06 16:35:17 2414 2
en.x-cube-classb-v2-3-0.zip
2020-01-10
en.stm8-safeclassb.zip
2020-01-10
Digital Design: Principles and Practices, 4th Edition
2018-12-27
学习opencv
2016-07-25
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人