关注
分享
2019年3月份，学院开设一门机器学习的研究生课程，授课内容主要根据吴恩达的CS229讲义，故假借旁听的机会，辅以南大周志华的《机器学习》，我将一学期所学内容加以总结和整理，将其记录为一个系列笔记。
_Volcano
本博客暂停更新，新博客可见个人博客主页：
https://volcano-can.github.io
欢迎交流
展开
-
机器学习笔记——1 绪论
绪论首要问题： 什么是机器学习？从人的学习经验来看，我们能够总结日常生活经验，从而对新面临的情况做出决策。搬移到机器的层面，所谓经验是以数据的形式存在，因此我们需要从数据获得一定的模型，这中间的学习过程，正是机器学习发挥作用的地方，它类似与人的学习，这也正是其名字的由来。抽象地讲，从数据到模型的中间需要学习算法(关于如何学习的算法)。因此从这个层面来看，机器学习可以说是关于学习算法的学问...原创 2019-03-18 13:08:19 · 255 阅读 · 0 评论 -
机器学习笔记——2 简单线性模型及局部加权线性模型的基本原理和python实现（参数估计的两个基本角度：几何直观和概率直观。函数最值问题的两大基本算法：梯度方法与迭代方法）
简单线性模型线性模型是什么？线性模型是监督学习的各类学习算法最基本的一类学习算法，它的基本特性在于“线性”性质。线性是我们能处理的一类最简单的情况，同时其用处也非常广泛。其假设我们的样本空间χ\chiχ到标记空间γ\gammaγ之间的映射关系是线性的，如下所示：y=θ0x0+θ1x1+...+θnxny = \theta_0x_0+\theta_1x_1+...+\theta_nx_ny...原创 2019-04-11 22:51:19 · 1026 阅读 · 0 评论 -
机器学习笔记——3 logistic模型和probit模型基本原理，从哲学视角谈谈统一二者的潜变量模型
logistic模型和probit模型的统一及其拓展监督学习的两种类别在监督学习中，根据标签值的类型可以将其分为两类：一类是定量数据，其分为计量型和计数型，这种可以用上一节介绍的简单线性模型解决，一般可以称为回归问题。另一类即是属性数据，属性数据也有两种，分别是名义数据和有序数据，这一类的数据的数值大小已经没有运算的意义了，一般称为分类问题。分类问题的两个基本模型我们讨论的分类问...原创 2019-03-28 13:35:58 · 10281 阅读 · 0 评论 -
机器学习笔记——4 广义线性模型的基本思想和各个常用的回归特例(附logistic模型的python实现)
广义线性模型(Generalized Liner Model)的基本思想和常用的回归特例为什么需要广义线性模型？“广义”和“线性”的含义是什么？首先我们需要解释线性的重要性。线性之所以如此重要，其本质原因在于两方面：线性形式相对是简单的，而且我们擅长处理线性问题，无论是在工程实现上还是在数学分析上。在线性的世界里，无论是对象本身的描述还是变换的描述，我们都有很好的工具和语言去运用和表述它...原创 2019-04-09 00:48:23 · 1373 阅读 · 0 评论 -
机器学习笔记——5 生成学习算法(线性判别法LDA、二次判别法QDA及朴素贝叶斯NB算法的数学原理及其python实现)
生成学习算法（Generative Learning Algorithm）本篇介绍另外一种分类算法，这类算法跟之前广义线性模型下的各种分类特例，比如logit分类、softmax分类等，在基本思想有根本的不同，这类算法称为生成学习算法。本篇将首先介绍生成学习算法的基本思想，以此为基础，介绍在属性值为连续性和离散型下的两类常用的生成学习算法，分别是高斯判别分析(Guass Discriminat...原创 2019-04-10 13:46:19 · 1783 阅读 · 1 评论 -
机器学习笔记——6 支持向量机理论与核方法
支持向量机 (待续)原创 2019-05-26 18:59:19 · 148 阅读 · 0 评论 -
机器学习笔记——7 神经网络(一个BP神经网络的python实现：手写数字识别)
机器学习笔记——7 神经网络(一个BP神经网络的python实现：手写数字识别)本篇介绍神经网络，首先讨论神经网络的基本架构，然后讨论神经网络是依据什么进行学习的，进一步总结神经网络并讨论它的优势。然后我们具体的讨论BP神经网络，它基于梯度迭代算法，我们讨论它的递推式和梯度更新公式，最后利用理论上的讨论结果，用python具体地实现一个识别手写数字的BP神经网络。神经网络的基本架构网络层...原创 2019-09-06 01:40:34 · 2901 阅读 · 2 评论 -
机器学习笔记——8 学习的一般理论
机器学习笔记——9 统计学习的一般理论待续原创 2019-07-21 01:42:24 · 643 阅读 · 0 评论 -
机器学习笔记——9 模型选择与特征选择
机器学习笔记——8 模型选择与正则化###待续原创 2019-05-26 19:00:41 · 348 阅读 · 0 评论 -
机器学习笔记——10 上帝的算法EM算法
机器学习笔记——10 无监督学习及上帝的算法EM算法原创 2019-05-26 19:02:31 · 788 阅读 · 0 评论 -
机器学习笔记——11 混合高斯模型(Mixtures of Gaussian)：利用EM算法估计参数
机器学习笔记——11 混合高斯模型(Mixtures of Gaussian)：利用EM算法估计参数原创 2019-07-19 22:08:18 · 518 阅读 · 0 评论 -
机器学习笔记——12 主成分分析(PCA)和因子分析(FA)
机器学习笔记——12 主成分分析和因子分析原创 2019-07-22 01:59:33 · 1819 阅读 · 0 评论 -
机器学习笔记——13 独立成分分析（ICA）的原理及利用MLE求解解混矩阵
机器学习笔记——13独立成分分析原创 2019-07-19 17:36:02 · 4051 阅读 · 0 评论 -
机器学习笔记——14 矩阵谱分解与奇异值分解及其背后的线性算子理论 (实战项目：利用SVD进行图像压缩)
机器学习笔记——14 奇异值分解(图像压缩)原创 2019-07-17 14:44:23 · 1637 阅读 · 0 评论 -
机器学习笔记——15 强化学习：马尔可夫决策模型
机器学习笔记——15 马尔可夫模型原创 2019-09-03 22:07:59 · 896 阅读 · 0 评论 -
机器学习笔记——16 聚类(clustering)：系统聚类与k-means聚类及对“距离”的重新认识(实战项目：利用k-means实现对图像的压缩)
机器学习笔记——11 k-means聚类算法及其改进(利用k-means实现对图像的压缩)原创 2019-05-28 15:28:57 · 581 阅读 · 0 评论