leo_fighting

1引言机器学习是近20多年兴起的一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科，其理论主要是设计和分析一些让计算机可以自动“学习”的算法。并且因其涉及了大量的统计学理论，机器学习与统计推断学联系尤为密切，故也被称为统计机器学习. 1.1学习资源有关机器学习的资源在网上有很多，在这里编者将按照书籍、视频教程、相关的国际期刊和会议做一个整理。...

主要内容  2 EM算法    2.1 引入           2.1.1 MLE回顾           2.1.2 高斯混合模型与EM算法           2.1.3 GMM的贝叶斯理解           2.1.4 EM算法的收敛性    2.2 算法       2.2.1 算法过程       2.2.2 总结    2.3 一些例...

目录 贝叶斯学习 1.1 MLE 1.2 MAP 1.3 贝叶斯估计  1 贝叶斯学习 本讲我们将为大家介绍贝叶斯学习的内容，着重分析最大似然估计以及贝叶斯估计这两种方法在参数估计问题上的差异。虽然这两种方法得到的结果通常是很接近的，但是其本质却有很大的差别。 最大似然估计将待估计的参数看做是确定性的量，只是其值我们暂时还不知道；而贝叶斯估计则将待估计的参...

目录1 引言2 隐马尔科夫模型（HMM）2.1 模型介绍2.2 HMM概率计算问题及其求解算法2.3 预测与学习2.4 HMM与动态系统3 小结参考文献 1 引言 上一讲已经提到生成式模型中的朴素贝叶斯算法。作为生成式模型中的一员，朴素贝叶斯主要对联合概率分布进行建模，通过假设各个输入特征之间条件独立，简化概率计算得到联合分布。该模型在垃圾邮件过滤等...

5 产生式模型5.1 产生式模型与判别式模型区别5.2 朴素贝叶斯5.2.1 原理与模型5.2.2 算法5.2.3 策略5.2.4 高斯判别分析5.3 隐马尔科夫模型5.3.1 模型5.3.2 推理：概率计算5 产生式模型5.1 产生式模型与判别式模型区别 结束了上节课具有和厦大精神（自强不息、止于至善）一样的boosting，这节课主要介绍了判...

本讲主要内容4 集成学习（下）    4.3 Boosting        4.3.1 AdaBoost        4.3.2 损失函数回顾        4.3.3 提升树（Boosting Trees）        4.3.4 正则化4 集成学习（下）4.3 Boosting 提升（Boosting）是一种常用的统计学习方法，在分类问题中，它通过...

主要内容：4 集成学习（下）4.1决策树    4.1.1  CART模型（见上讲）      4.1.2  特征选择    4.1.3  树的生成    4.1.4  模型选择4.2 随机森林    4.2.1 Randomized Decision Trees    4.2.2 Random Forests    4.2.3 Extremely Rand...

主要内容3 逻辑斯蒂回归（下）3.5 逻辑斯谛回归和凸优化问题3.5.1 什么是凸优化问题3.5.2 为什么说逻辑斯谛回归是一个凸优化问题3.6 多项逻辑斯谛回归3.6.1 模型3.6.2 策略3.6.3 算法3.6.4 正则化3.7 对比感知机、SVM和逻辑斯谛回归3.7.1 损失函数3.7.2 分离超平面3.7.3 算法性能4 集成学习（...

主要内容1. 补充  1.1 最小二乘法的概率解释2. 支持向量机   2.1 模型与策略   2.2 硬间隔最大化    2.2.1 函数间隔与几何间隔    2.2.2 间隔最大化原理    2.2.3 线性可分SVM学习算法——最大间隔法    2.2.4 最大间隔法示例    2.2.5 线性可分SVM学习的对偶算法    2.2.6 对偶学习算法示例  2.3 软间隔最大化（下）3. L...

主要内容2. 支持向量机(下)    2.3 软间隔最大化        2.3.1 线性支持向量机        2.3.2 学习的对偶算法    2.4 序列最小最优化算法        2.4.1 SMO算法及求解    2.5 SVM的损失函数解释    2.6 核函数的简要介绍        2.6.1 核技巧与常见核函数3. 逻辑斯蒂回归(上)    3.1 模型    3.2 决策边...

1   回顾回顾上一讲的机器学习三要素中的算法部分，当优化问题有解析解的时候，我们可以用:✔  最小二乘法(XTX)-1XTy✔  岭回归(XTX+λI)-1XTy并且我们推导了最小二乘的公式，接来下我们尝试从几何的角度解释这个问题。1.1最小二乘法的几何意义先说结论：最小二乘法的几何意义是高维空间中的一个向量在低维子空间的投影。结论比较抽象，我们通过一个简单的例子开始。考虑这样一个简单的问题，求...

贝叶斯学习 1.1 估计分布的参数:离散变量（多值） 1.2 估计分布的参数:离散变量（二值） 1.3 0-1分布的MLE/MAP/贝叶斯估计 1.4 估计分布的参数:单变量高斯,方差已知 1.5 估计分布的参数：单变量高斯,方差未知 1.6 估计模型的参数: 回归 1.7 线性回归的预测分布  上一讲讲到了贝叶斯学习法。这种学习方法与MLE和MAP最大的...