PRML笔记1-绪论部分多项式回归中的概率论

绪论

  绪论中首先指出“寻找数据中的模式问题是一个基本问题”。作者通过手写数字识别举了一个例子：手写体变化多端，我们如何正确的将手写数字识别出来呢？
  可能有人说，我们直接写程序给它设定规则就可以了，然而，由于总有我们考虑不到的手写体，每当发现新的程序识别不了的字符，我们必须增加新的规则，这就导致了规则的激增。比如下面的两个2，我们很难通过人工设定规则。

  或者这么理解，我们希望有一个映射，可以将输入的图像，映射成对应的数字。人工方法设定的映射函数可能会非常庞大，因此我们需要探索更省力、效率更高的方法，那就是机器学习。

  机器学习方法中，由N个数字图像 { x 1 , ⋯   , x N } \{x_1,\cdots,x_N\} {x1​,⋯,xN​}组成的集合叫做训练集(training set)，用来调节映射的参数。每个图像对应的数字都是已知的，使用目标向量(target vector) $t$来表示数字的类别标签。机器学习方法同样可以成是一个映射函数$f(x)$，他以图像$x$为输入，以向量$y$为输出。这里输出的$y$向量形式与目标向量$t$的形式相同。

1. 训练阶段：确定函数$f(x)$的精确形式，通过数字图像和已知标签来训练。
2. 测试阶段：使用函数$f(x)$预测新的图像（测试集）图像的标签。
3. 泛化问题：对训练集之外的数据的预测性能。
     另外原始的数字图像可能需要转换为新的变量空间（预处理）。如将图像转换为向量。如果训练图像进行了预处理，测试图像也需要进行相同的预处理。
   训练数据的样本包含输入向量以及对应目标向量的应用叫做有监督学习（supervised learning）问题。训练数据由一组输入向量$x$组成，没有任何对应的目标值。这叫无监督问题。反馈学习技术关注的问题是在给定的条件下，找到合适的动作，使得奖励达到最大值。
     绪论主要介绍本书中最重要的三个工具：概率论、决策论、信息论。

多项式曲线拟合

  从$sin(2\pi )$这个函数在0到1之间均匀取样，取样过程附加符合高斯分布的噪声，训练数据集由$x$的$N$次观测组成，$x\equiv (x_1,\cdots ,x_N{)}^T$，观测值$t$记作$t\equiv (t_1,\cdots ,t_N)$。
  现在假如我们只有训练数据集$x$和观测值集合$t$，如何预测新的$\hat{x}$的目标变量$\hat{t}$。由于数据采样存在干扰，因此对于一个给定的$\hat{x}$，$\hat{t}$具有不确定性。作者使用多项式函数来进行曲线拟合。$$y(x,w)=w_0+w_{1}x+w_2{x}^2+\cdots +w_M{x}^M=\sum _{j=0}^{M}w$$其中$M$是多项式的阶数，$x^j$表示$x$的$j$次幂。多项式系数$w_0,\cdots ,w_M$整体记作向量$\mathbf{w}$。注意：虽然多项式函数$y(x,\mathbf{w})$是$x$的一个非线性函数，但它是系数$\mathbf{w}$的一个线性函数。
  要想找到合适的$\mathbf{w}$的值，需要使用最小化误差函数(error function)实现。例如每个数据点$x_n$的预测值$y(x_n,\mathbf{w})$与目标值$t_n$差的平方和。最小化error function就可以找到合适的$\mathbf{w}$。 E ( w ) = 1 2 ∑ n = 1 N { y ( x n , w ) − t n } 2 E(\boldsymbol{w})=\frac{1}{2}\sum_{n=1}^N\{y(x_n,\boldsymbol{w})-t_n\}^2 E(w)=21​n=1∑N​{y(xn​,w)−tn​}2这是一个非负量，如果所有值都预测正确，误差函数$E(x)=0$。
误差函数是$\mathbf{w}$的二次函数，求导可得一个唯一解，这个解就是误差函数的最小值解${\mathbf{w}}^{\ast }$。
  下面还有一个问题需要解决，那就是多项式阶数$M$的取值，也就是$\mathbf{w}$这个向量取多长。

1. $M=0$ 水平直线
2. $M=1$ 直线
3. $M=3$ 拟合结果比较接近
4. $M=9$ 拟合的曲线剧烈震荡，完全通过所有点，误差函数为0，过拟合。
     按理说应该是$M$越大越好，为什么会出现震荡呢？作者说，直觉上讲，有着更大的$M$值的多项式被过分的调参，使得多项式被调节成了与目标值的随机噪声相符。我个人感觉应该是调节的时候把随机噪声也拟合进去了，因此震荡较大。然而随着训练数据集的增大$M$阶数增大后也有很好的性能，这个结果令人无法满意的一点是，我们不得不根据可得到的训练集的规模限制参数的数量。更加合理的解释是，根据待解决的问题的复杂性来选择模型的复杂性。因此后面会提到一个方法，使用贝叶斯模型，参数的有效数量会自动根据数据集的规模调节。

概率论

  加和规则：$$p(X)=\sum _{Y}p(X,Y)$$
  乘积规则：$$p(X,Y)=p(Y|X)p(X)$$
根据乘积规则，以及对称性$p(X,Y)=p(Y,X)$，可以得到两个条件概率之间的关系：
$$\begin{gathered} p(X,Y)=p(Y,X) \\ p(Y|X)p(X)=p(X|Y)p(Y) \\ p(Y|X)=\frac{p(X|Y)p(Y)}{p(X)} \end{gathered}$$
这就是贝叶斯定理，根据加和规则上述结果可以写作：
$$p(Y|X)=\frac{p(X|Y)p(Y)}{{\sum }_{Y}p(X,Y)}$$
  在多项式曲线拟合例子中的参数$\mathbf{w}$，我们观察到数据之前，对$\mathbf{w}$有一些假设，这以先验概率$p(\mathbf{w})$的形式给出。观测数据 D = { t 1 , ⋯   , t N } D=\{t_1,\cdots,t_N\} D={t1​,⋯,tN​}的效果可以通过条件概率$p(D|\mathbf{w})$表达，使用贝叶斯定理来表示多项式曲线拟合问题：
$$p(\mathbf{w}|D)=\frac{p(D|\mathbf{w})p(\mathbf{w})}{p(D)}$$它让我们能够通过后验概率$p(\mathbf{w}|D)$，在观测到$D$之后估计$\mathbf{w}$的不确定性。公式右边的$p(D|\mathbf{w})$(称做似然函数)是一个很有意思的量，它表示给定参数$\mathbf{w}$观测数据出现的可能性大小，关于$\mathbf{w}$的积分不一定等于一。公式中所有的量都是关于$\mathbf{w}$的函数，其中$p(D)=\int p(D|\mathbf{w})p(\mathbf{w})d\mathbf{w}$。频率学派和贝叶斯学派对与$\mathbf{w}$的值有不同看法，频率学派认为$\mathbf{w}$是一个固定的参数，常用最大似然估计，而贝叶斯学派认为$\mathbf{w}$通过概率分布表达，如自助法（bootstrap）。
  下面考虑最大似然估计高斯分布的情况，对于一元实值变量$x$，高斯分布被定义为：
N ( x ∣ μ , σ 2 ) = 1 ( 2 π σ 2 ) 1 2 e x p { − 1 2 σ 2 ( x − μ ) 2 } \mathcal{N}(x|\mu,\sigma^2)=\frac{1}{(2\pi\sigma^2)^\frac{1}{2}}exp\{-\frac{1}{2\sigma^2}(x-\mu)^2\} N(x∣μ,σ2)=(2πσ2)21​1​exp{−2σ21​(x−μ)2}
直观理解就是，给定均值$\mu$和方差${\sigma }^2$，$x$的分布。这里均值和方差也是未知的。
  现在假定我们有一个观测数据集$\mathbf{t}=(t_1,\cdots ,t_N{)}^T$，该数据集的各次观测结果是从一个符合高斯分布的数据集中独立取出来的，因此给定均值和方差，我们可以得到观测数据集$\mathbf{t}$中各次结果的联合概率：
$$p(\mathbf{t}|\mu ,{\sigma }^2)=\prod _{n=1}^N\mathcal{N}(t_n|\mu ,{\sigma }^2)$$
通过最大似然估计方法我们可以得到均值的最大似然解：
$${\mu }_{ML}=\frac{1}{N}\sum _{n=1}^N{t}_n$$
及方差的最大似然解：
$${\sigma }_{ML}^2=\frac{1}{N}\sum _{n=1}N(t_n-{\mu }_{ML}{)}^2$$因为$\mathbb{E}[{\sigma }_{ML}^2]=(\frac{N-1}{N}){\sigma }^2$，所以最大似然估计的缺点是低估方差（N较大时问题不大）。在实际问题中由于我们感兴趣的是参数很多的模型，所以最大似然的偏移问题会很严重。最大似然的偏移问题是上面多项式曲线拟合问题中遇到的过拟合问题的核心。
  现在回到曲线拟合的问题上，有$N$个输入$\mathbf{x}=(x_1,\cdots ,x_N{)}^T$和它们对应的目标值$\mathbf{t}=(t_1,\cdots ,t_N{)}^T$，假定给定$x$的值，对应的$t$值服从高斯分布，分布的均值为$y(x,\mathbf{w})$，因此有：
$$p(t|x,\mathbf{w},\beta )=\mathcal{N}(t|y(x,\mathbf{w}),{\beta }^{-1})$$，其中$\beta$为精度，它是分布方差的倒数，${\beta }^{-1}$为方差。通过最大似然方法决定未知参数$\mathbf{w}$和$\beta$的值，似然函数为：
$$p(\mathbf{t}|\mathbf{x},\mathbf{w},\beta )=\prod _{n=1}^N\mathcal{N}(t_n|y(x_n,\mathbf{w}),{\beta }^{-1})=\prod _{n=1}^N\frac{1}{(2\pi {)}^{\frac{1}{2}}{\beta }^{-\frac{1}{2}}}exp\frac{(t_n-y(x_n,\mathbf{w}){)}^2}{-2{\beta }^{-1}}$$，再次强调${\beta }^{-1}$为方差。两边取对数：
$$\begin{gathered} \ln p(\mathbf{t}|\mathbf{x},\mathbf{w},\beta )=-\sum _{n=1}^N\frac{(t_n-y(x_n,\mathbf{w}){)}^2}{2{\beta }^{-1}}-\sum _{n=1}^N\ln (2\pi {)}^{\frac{1}{2}}-\sum _{n=1}^N\ln {\beta }^{-\frac{1}{2}} \\ =-\frac{\beta }{2}\sum _{n=1}^N(t_n-y(x_n,\mathbf{w}){)}^2-\frac{N}{2}\ln (2\pi )+\frac{N}{2}ln\beta \end{gathered}$$
由于 { y ( x n , w ) − t n } 2 = { t n − y ( x n , w ) } 2 \{y(x_n,\boldsymbol{w})-t_n\}^2=\{t_n-y(x_n,\boldsymbol{w})\}^2 {y(xn​,w)−tn​}2={tn​−y(xn​,w)}2，因此对数似然函数为：
ln ⁡ p ( t ∣ x , w , β ) = − β 2 ∑ n = 1 N { y ( x n , w ) − t n } 2 + N 2 ln ⁡ β − N 2 ln ⁡ ( 2 π ) \ln{p}(\boldsymbol{t}|\boldsymbol{x},\boldsymbol{w},\beta)=-\frac{\beta}{2}\sum_{n=1}^N\{y(x_n,\boldsymbol{w})-t_n\}^2+\frac{N}{2}\ln{\beta}-\frac{N}{2}\ln{(2\pi)} lnp(t∣x,w,β)=−2β​n=1∑N​{y(xn​,w)−tn​}2+2N​lnβ−2N​ln(2π)求多项式系数的最大似然解${\mathbf{w}}_{ML}$，需要对$\mathbf{w}$求导，而后面两项与$\mathbf{w}$无关，只剩下对 − β 2 ∑ n = 1 N { y ( x n , w ) − t n } 2 -\frac{\beta}{2}\sum_{n=1}^N\{y(x_n,\boldsymbol{w})-t_n\}^2 −2β​∑n=1N​{y(xn​,w)−tn​}2求最大值，$\beta$只起到了缩放作用，因此等价与对 1 2 ∑ n = 1 N { y ( x n , w ) − t n } 2 \frac{1}{2}\sum_{n=1}^N\{y(x_n,\boldsymbol{w})-t_n\}^2 21​∑n=1N​{y(xn​,w)−tn​}2求最小值，有意思的是这就回到了最开始的最小化误差函数，在高斯噪声的假设下，平方和误差函数是最大化似然函数的一个自然结果。这时我们已经得到了类似刚开始多项式回归的参数$\mathbf{w}$。
  使用最大似然方法也可以得到方差${\beta }_{ML}^{-1}$的最大似然解
β M L − 1 = 1 N ∑ n = 1 N { y ( x n , w M L ) − t n } 2 \beta_{ML}^{-1}=\frac{1}{N}\sum_{n=1}^{N}\{y(x_n,\boldsymbol{w}_{ML})-t_n\}^2 βML−1​=N1​n=1∑N​{y(xn​,wML​)−tn​}2跟高斯分布一样，还是需要先确定${\mathbf{w}}_{ML}$再确定${\beta }_{ML}^{-1}$。现在可以对新的$x$进行预测了，预测结果通过给出$t$的概率分布的预测分布来表示：$$p(t|x,{\mathbf{w}}_{ML},{\beta }_{ML})=\mathcal{N}(t|y(x,{\mathbf{w}}_{ML}),{\beta }_{ML}^{-1})$$。