machine learning
天空中的一缕微风
加油可以的哦
展开
-
回归-梯度下降法
导语 在上一节中,我们求解了OLS的解析式,但是对于样本数量较多的情况下,矩阵的求解过程计算量非常大,本节讨论的是线性回归中的梯度下降法。梯度下降法 梯度下降在李航的《统计学习方法》附录A里有比较详细的理论推导过程,大家可以参考。梯度下降是求解无约束最优化问题的一种最常见的方法,实现比较简单。它的核心在于迭代,即给定初值x(0)x^{(0)},通过不断迭代,来更新xx,使目标函数(线性回原创 2015-08-31 15:35:55 · 1715 阅读 · 0 评论 -
回归-用极大似然估计来解释最小二乘
导语 这是线性回归的第一篇,后面还有多篇,包括普通最小二乘、梯度下降、牛顿法等知识,本篇主要是阐述最小二乘法损失函数与高斯分布的联系,虽然逻辑回归也是线性回归的一个变种,但它主要是0-1分布,不在本篇讨论之列。损失函数 任何一本概率论书在讲线性回归时都会说到一个方法,叫做最小二乘法,这里先给出线性回归的定义式: y=θT∗Xy=\theta^T*X 这里是一种表达习惯,XX与θ\原创 2015-08-19 16:30:06 · 7156 阅读 · 2 评论 -
回归-普通最小二乘法(OLS)解析式推导
导语 上一篇文章中解释了最小二乘损失函数的由来,本篇将继续向下推导,即系数WW的推导。前置知识 里面用到了几个常见的与矩阵相关的求导公式 ∂Xθ∂X=XT\frac{\partial X\theta}{\partial X}=X^T ∂θTX∂θT=XT\frac{\partial \theta^TX}{\partial \theta^T}=X^T ∂θTX∂θ=X\frac{\p原创 2015-08-20 13:48:33 · 21257 阅读 · 0 评论 -
回归-逻辑回归
前言 前面一节介绍了梯度下降的概念,本质上它是一个优化问题,通过不断的迭代来求得局部最优值,本节将介绍一个非常有名的函数-sigmoid函数,而逻辑回归可以看成是一个线性回归的值再通过非线性函数sigmoid映射到0-1空间,逻辑回归的使用非常广泛,在广告点击、预测、分类中都有它的影子,同时,它也是神经网络中神经元的一种常见形式。sigmoid函数 sigmoidsigmoid函数是非常原创 2015-09-23 17:35:22 · 723 阅读 · 0 评论