张小彬的专栏

MLaPP 全称是 Machine Learning：A Probabilistic Prospective，是 2012 年出的一本讲机器学习的一本书。我们实验室在2016年秋季决定读这本书，但是只读前半部分基础的部分，具体安排见 CIS2016 。原书的封面见下图，我在读书的过程中，发现这本书的内容很难啃，但是干货很多，所以又不得不硬着头皮啃下去，只好边读书边写下笔记。感觉做笔记有很多的好处，

10.1 Introduction书里开头就引用了迈克尔·乔丹对图模型的理解，他说处理复杂系统有两个原则，模块性（modularity）个抽象性（abstraction），而概率论（probability theory）则通过因式分解（factorization）和求平均（averaging）深刻地实现了这两个原则。概率图模型有三大任务：表征（representatino），推断（Inference

9.1 Introduction前面讲过的很多概率分布其实都是属于指数家族簇，比如高斯，伯努利，泊松，狄利克雷分布等。当然，要除掉均匀分布和学生 t 分布。我们可以用指数家族分布来表示 class-conditional density，由此建立广义线性模型（GLM, Generalized Linear Model）这个生成分类器。9.2 The exponential family 指数家族指数

8.1 IntroductionLR 是一个非常重要的模型，几乎所有的机器学习职位面试都会问到。因此这章是重点，一定要看懂。8.2 Model specification把线性回归的高斯分布，换成伯努利分布，就成了逻辑斯特回归，不过这个模型其实是个分类模型，p(y|x,w)=Ber(y|sigm(wTx))p(y|\mathbf{x}, \mathbf{w}) = \text{Ber}(y|\tex

7.1 Introduction线性回归（Linear Regression）是统计学和机器学习中的主力军（work horse），当用核函数等做基函数扩充（basis function expansion）时，又可以模拟非线性关系。除了回归问题，如果用伯努利或者多努利分布代替高斯分布，那么就可以用来做分类问题（classification），下一章会讲。7.2 Model specificatio

6.1 Introduction频率学派统计学（frequentist statistics），经典统计学（classical statistics），或者叫正统的统计学（orthodox statistics），设计了一些不把参数当做随机变量的统计推断方法，从而避免了使用贝叶斯法则和先验。频率学派依赖于抽样分布（sampling distribution），而贝叶斯学派则依赖后验分布（poster

5.1 Introduction 介绍在第三章我们讨论了如果用最大化后验（MAP）做参数估计，即 θ^=argmaxp(θ|D)\hat\theta = \arg\max_p(\theta | \mathcal{D})，和计算全后验 p(θ|D)p(\theta|\mathcal{D}) 和计算后验预测密度（posterior predictive density） p(x|D)p(\mathbf{

4.1 Introduction 介绍4.1.1 Notation 符号一般矩阵用大写加粗的字母，向量用小写加粗字体。4.1.2 Basics 基础回顾一下多元高斯概率密度函数：N(x|μ,Σ)≜1(2π)D/2|Σ|1/2exp[−12(x−μ)TΣ−1(x−μ)]\mathcal{N}(\mathbf{x}|\boldsymbol{\mu}, \mathbf{\Sigma}) \triangle

3.1 Introduction生成模型（generative model）一般会按照下面的贝叶斯公式构造分类器：p(y=c|x,θ)∝p(x|y=c,θ)p(y=c|θ))p(y=c|\mathrm{x, \theta}) \propto p(\mathrm{x}|y=c, \theta)p(y=c|\theta))中间的 ∝\propto 符号表示“正比于”，即忽略了常系数。而概率 p(x|y=

2.1 Introduction 简介对概率一般有两种理解(interpretations)：frequentist interpretation, 这个层面上是说，概率可以看作是多次事件实验的发生的频率的逼近举个例子，假如进行很多次抛硬币实验，会发现最终硬币会出现正面的概率为0.5Bayesian interpretation, 贝叶斯派常把概率当做是量化事件不确定型的工具 原文 (p

1.1 Machine Learning: what and why?由于现在处于信息爆炸的时代，机器学习的意义在于，发现数据中的模式，并用于新数据的预测之中。而本书则会偏向于概率论的角度来看待机器学习。1.1.1 Types of Machine Learning机器学习大概分成下面三种，有监督学习predictive or supervised method给定训练集，求从输入到输出的映射。

11.1 Latent variable models 隐变量模型图模型尝试在不同的观察变量之间建立条件独立关系，另一种思路则是用隐变量模型，即 LVMs, Latent variable models，这种模型假设观察变量都是从一个共同的“隐变量”中得到的。隐变量的意思就是无法观测到，没有数据，可以人为定义个数和表示的含义。因此聚类算法中的簇就可以看做是隐变量，而有监督学习中如果给了簇的标定数据，