MLAPP
文章平均质量分 89
存放从概率论视角理解机器学习这本书的读书笔记
只鸥周
这个作者很懒,什么都没留下…
展开
-
MLAPP 读书笔记 - 04-1 高斯模型(Gaussian models)
转载:cycleuser侵权立删,本意是为广大学习爱好者提供中文资料,同时在这里补充了图片,方便阅读,如果有任何法律问题,我会立即删除。本章要讲的是多元高斯分布(multivariate Gaussian),或者多元正态分布(multivariate normal ,缩写为MVN)模型,这个分布是对于连续变量的联合概率密度函数建模来说最广泛的模型了.未来要学习的其他很多模型也都是以此为基础的.然而很不幸的是,本章所要求的数学水平也是比很多其他章节都要高的.具体来说是严重依赖线性代数和矩阵积分.要应对高维数据原创 2023-08-18 16:40:57 · 295 阅读 · 1 评论 -
02-2Probability
转载自:cycleuser侵权立删,本意是为广大学习爱好者提供中文资料,同时在这里补充了图片,方便阅读,如果有任何法律问题,我会立即删除。前面的章节里,可以看出概率论在机器学习里面扮演了很重要的角色。所以本章就详细讲一下概率论。不过本章内容不可能面面俱到而且也不会过分强调细节,所以你最好还是找一本参考书来看看啥的。本章会涉及到后文要用到的很多关键概念和思路。在讲解具体内容之前,先停下来想一下,什么是概率?我们都很熟悉这种说法:一枚硬币人头朝上的概率是0.5.但这句话到底是什么意思?实际上对概率有两种不同解读原创 2023-08-16 18:25:26 · 82 阅读 · 1 评论 -
10 Directed graphical models (Bayes nets)
MLAPP 读书笔记 - 10 有向图模型(Directed graphical models)(贝叶斯网络(Bayes nets))A Chinese Notes of MLAPP,MLAPP 中文笔记项目https://zhuanlan.zhihu.com/python-kivy转载:cycleuser侵权立删,本意是为广大学习爱好者提供中文资料,同时在这里补充了图片,方便阅读,如果有任何法律问题,我会立即删除。10.1 概论以简单方式对待复杂系统的原则,我基本知道两个:首先就是模块化原创 2023-08-27 10:12:13 · 102 阅读 · 0 评论 -
MLAPP 读书笔记 - 05-1 贝叶斯统计(Bayesian statistics)
转载:cycleuser侵权立删,本意是为广大学习爱好者提供中文资料,同时在这里补充了图片,方便阅读,如果有任何法律问题,我会立即删除。之前咱们已经看到过很多不同类型的概率模型了,然后也讲了如何用这些模型拟合数据,比如讲到了如何去进行最大后验估计(MAP)参数θ^=argmaxp(θ∣D)\hat\theta =\arg\max p(\theta|D)θ^=argmaxp(θ∣D),使用各种不同先验等等.还讲了全后验(full posterior)p(θ∣D)p(\theta|D)p(θ∣D),以及一些原创 2023-08-19 16:54:40 · 530 阅读 · 0 评论 -
MLAPP 读书笔记 - 02-1 概率
概率论就是把常识降维表达成计算而已。—皮埃尔 拉普拉斯(Pierre Laplace)1812前面的章节里,可以看出概率论在机器学习里面扮演了很重要的角色。所以本章就详细讲一下概率论。不过本章内容不可能面面俱到而且也不会过分强调细节,所以你最好还是找一本参考书来看看啥的。本章会涉及到后文要用到的很多关键概念和思路。在讲解具体内容之前,先停下来想一下,什么是概率?我们都很熟悉这种说法:一枚硬币人头朝上的概率是0.5.但这句话到底是什么意思?实际上对概率有两种不同解读。原创 2023-08-27 12:15:20 · 267 阅读 · 0 评论 -
09 Generalized linear models and the exponential family
9.3 广义线性模型(Generalized linear models,缩写为GLMs)线性回归和逻辑回归都属于广义线性模型的特例(McCullagh and Nelder 1989).这些模型中输出密度都是指数族分布(参考本书9.2),而均值参数都是输入的线性组合,经过可能是非线性的函数,比如逻辑函数等等.下面就要详细讲一下广义线性模型(GLMs).为了记号简单,先看标量输出的情况.(这就排除了多远逻辑回归,不过这只是为表述简单而已.)9.3.1 基础知识要理解广义线性模型,首先要考虑一个标量响原创 2023-08-21 12:01:30 · 112 阅读 · 1 评论 -
01 Introduction
A Chinese Notes of MLAPP,MLAPP 中文笔记项目侵权立删,本意是为广大学习爱好者提供中文资料,同时在这里补充了图片,方便阅读,如果有任何法律问题,我会立即删除。原创 2023-08-15 11:17:57 · 57 阅读 · 0 评论 -
MLAPP 读书笔记 - 08-1 逻辑回归(Logistic regression)
MLAPP 读书笔记 - 08 逻辑回归(Logistic regression)A Chinese Notes of MLAPP,MLAPP 中文笔记项目https://zhuanlan.zhihu.com/python-kivy转载:cycleuser侵权立删,本意是为广大学习爱好者提供中文资料,同时在这里补充了图片,方便阅读,如果有任何法律问题,我会立即删除。8.1 概论构建概率分类器有一种方法是建立形式为p(y,x)p(y,x)p(y,x)的联合模型,然后以x为条件,推p(y∣x)p原创 2023-08-21 09:45:58 · 94 阅读 · 1 评论 -
03 Generative models for discrete data
转载自:cycleuser侵权立删,本意是为广大学习爱好者提供中文资料,同时在这里补充了图片,方便阅读,如果有任何法律问题,我会立即删除。在本书2.2.3.2中,提到了如何对一个特征向量 x 进行分类,使用了贝叶斯规则,构建了一个生成分类器(generative classifier),形式如下所示:p(y=c∣x,θ)∝p(x∣y=c,θ)p(y=c∣θ)p(y=c|x,\theta)\propto p(x|y=c,\theta)p(y=c|\theta)p(y=c∣x,θ)∝p(x∣y=c,θ)p(y原创 2023-08-17 09:43:42 · 84 阅读 · 1 评论 -
11_Mixture-Model-and-the-EM-algorithm
A Chinese Notes of MLAPP,MLAPP 中文笔记项目侵权立删,本意是为广大学习爱好者提供中文资料,同时在这里补充了图片,方便阅读,如果有任何法律问题,我会立即删除。原创 2023-08-27 11:07:11 · 43 阅读 · 0 评论 -
05 -2 Bayesian statistics
转载:cycleuser侵权立删,本意是为广大学习爱好者提供中文资料,同时在这里补充了图片,方便阅读,如果有任何法律问题,我会立即删除。之前咱们已经看到过很多不同类型的概率模型了,然后也讲了如何用这些模型拟合数据,比如讲到了如何去进行最大后验估计(MAP)参数θ^=argmaxp(θ∣D)\hat\theta =\arg\max p(\theta|D)θ^=argmaxp(θ∣D),使用各种不同先验等等.还讲了全后验(full posterior)p(θ∣D)p(\theta|D)p(θ∣D),以及一些原创 2023-08-19 16:54:02 · 316 阅读 · 0 评论 -
07 Linear regression
转载:cycleuser侵权立删,本意是为广大学习爱好者提供中文资料,同时在这里补充了图片,方便阅读,如果有任何法律问题,我会立即删除。线性回归是统计学和(监督)机器学习里面的基本主力.使用核函数或者其他形式基函数来扩展之后,还可以用来对非线性关系进行建模.把高斯输出换成伯努利或者多元伯努利分部,就还可以用到分类上面,这些后文都会讲到.所以这个模型很值得详细学习一下.在本书1.4.5已经看到过线性回归了,其形式为:p(y∣xθ)=N(y∣wTxσ2)p(y|x\theta)=N(y|w^Tx\sigma^2原创 2023-08-20 16:42:43 · 55 阅读 · 1 评论 -
MLAPP 读书笔记 - 04-2高斯模型(Gaussian models)
转载:cycleuser侵权立删,本意是为广大学习爱好者提供中文资料,同时在这里补充了图片,方便阅读,如果有任何法律问题,我会立即删除。本章要讲的是多元高斯分布(multivariate Gaussian),或者多元正态分布(multivariate normal ,缩写为MVN)模型,这个分布是对于连续变量的联合概率密度函数建模来说最广泛的模型了.未来要学习的其他很多模型也都是以此为基础的.然而很不幸的是,本章所要求的数学水平也是比很多其他章节都要高的.具体来说是严重依赖线性代数和矩阵积分.要应对高维数据原创 2023-08-18 16:40:25 · 79 阅读 · 1 评论 -
MLAPP 读书笔记 - 09-1广义线性模型(Generalized linear models)和指数族分布(exponential family)
MLAPP 读书笔记 - 09 广义线性模型(Generalized linear models)和指数族分布(exponential family)A Chinese Notes of MLAPP,MLAPP 中文笔记项目https://zhuanlan.zhihu.com/python-kivy转载:cycleuser侵权立删,本意是为广大学习爱好者提供中文资料,同时在这里补充了图片,方便阅读,如果有任何法律问题,我会立即删除。9.1 概论之前已经见到过很多概率分布了:正态(高斯)分布,原创 2023-08-21 12:02:01 · 149 阅读 · 1 评论 -
06 Frequentist statistics
转载:cycleuser侵权立删,本意是为广大学习爱好者提供中文资料,同时在这里补充了图片,方便阅读,如果有任何法律问题,我会立即删除。第五章中讲的都是贝叶斯统计学(Bayesian statistics).贝叶斯统计学被一些人认为有争议,不过在非统计学领域,贝叶斯统计的应用却没什么争议,比如医疗诊断(本书2.2.3.1)/垃圾邮件过滤(本书3.4.4.1)/飞机追踪(本书18.2.1)等.反对者的理由与统计模型参数和其他未知量之间的区别有关.然后就有人做出尝试,去避免把参数当作随机变量来推导统计学方法,这原创 2023-08-20 15:53:22 · 57 阅读 · 1 评论 -
04-3Gaussian models
转载:cycleuser侵权立删,本意是为广大学习爱好者提供中文资料,同时在这里补充了图片,方便阅读,如果有任何法律问题,我会立即删除。本章要讲的是多元高斯分布(multivariate Gaussian),或者多元正态分布(multivariate normal ,缩写为MVN)模型,这个分布是对于连续变量的联合概率密度函数建模来说最广泛的模型了.未来要学习的其他很多模型也都是以此为基础的.然而很不幸的是,本章所要求的数学水平也是比很多其他章节都要高的.具体来说是严重依赖线性代数和矩阵积分.要应对高维数据原创 2023-08-18 16:39:07 · 382 阅读 · 0 评论 -
08-2 Logistic regression
8.5 在线学习(Online learning)和随机优化(stochastic optimization)传统机器学习都是线下的,也就意味着是有一批量的数据,然后优化一个下面形式的等式:f(θ)=1N∑i=1Nf(θ,zi)f(\theta)=\frac{1}{N}\sum^N_{i=1}f(\theta,z_i)f(θ)=N1∑i=1Nf(θ,zi)(8.74)其中如果有zi=(xi,yi)z_i=(x_i,y_i)zi=(xi,yi)是监督学习情况(supervised case)原创 2023-08-21 09:45:31 · 99 阅读 · 1 评论