PRML笔记1-绪论部分多项式回归中的概率论

绪论

  绪论中首先指出“寻找数据中的模式问题是一个基本问题”。作者通过手写数字识别举了一个例子：手写体变化多端，我们如何正确的将手写数字识别出来呢？
  可能有人说，我们直接写程序给它设定规则就可以了，然而，由于总有我们考虑不到的手写体，每当发现新的程序识别不了的字符，我们必须增加新的规则，这就导致了规则的激增。比如下面的两个2，我们很难通过人工设定规则。

  或者这么理解，我们希望有一个映射，可以将输入的图像，映射成对应的数字。人工方法设定的映射函数可能会非常庞大，因此我们需要探索更省力、效率更高的方法，那就是机器学习。

  机器学习方法中，由N个数字图像 { x 1 , ⋯   , x N } \{x_1,\cdots,x_N\} { x1​,⋯,xN​}组成的集合叫做训练集(training set)，用来调节映射的参数。每个图像对应的数字都是已知的，使用目标向量(target vector) $t$来表示数字的类别标签。机器学习方法同样可以成是一个映射函数$f(x)$，他以图像$x$为输入，以向量$y$为输出。这里输出的$y$向量形式与目标向量$t$的形式相同。

1. 训练阶段：确定函数$f(x)$的精确形式，通过数字图像和已知标签来训练。
2. 测试阶段：使用函数$f(x)$预测新的图像（测试集）图像的标签。
3. 泛化问题：对训练集之外的数据的预测性能。
     另外原始的数字图像可能需要转换为新的变量空间（预处理）。如将图像转换为向量。如果训练图像进行了预处理，测试图像也需要进行相同的预处理。
   训练数据的样本包含输入向量以及对应目标向量的应用叫做有监督学习（supervised learning）问题。训练数据由一组输入向量$x$组成，没有任何对应的目标值。这叫无监督问题。反馈学习技术关注的问题是在给定的条件下，找到合适的动作，使得奖励达到最大值。
     绪论主要介绍本书中最重要的三个工具：概率论、决策论、信息论。

多项式曲线拟合

  从$sin(2\pi )$这个函数在0到1之间均匀取样，取样过程附加符合高斯分布的噪声，训练数据集由$x$的$N$次观测组成，$x\equiv (x_1,\cdots ,x_N{)}^T$，观测值$t$记作$t\equiv (t_1,\cdots ,t_N)$。
  现在假如我们只有训练数据集$x$和观测值集合$t$，如何预测新的$\hat{x}$的目标变量$\hat{t}$。由于数据采样存在干扰，因此对于一个给定的$\hat{x}$，$\hat{t}$具有不确定性。作者使用多项式函数来进行曲线拟合。$$y(x,w)=w_0+w_{1}x+w_2{x}^2+\cdots +w_M{x}^M=\sum _{j=0}^{M}w$$其中$M$是多项式的阶数，$x^j$表示$x$的$j$次幂。多项式系数$w_0,\cdots ,w_M$整体记作向量$\mathbf{w}$。注意：虽然多项式函数$y(x,\mathbf{w})$是$x$的一个非线性函数，但它是系数$\mathbf{w}$的一个线性函数。
  要想找到合适的$\mathbf{w}$的值，需要使用最小化误差函数(error function)实现。例如每个数据点$x_n$的预测值$y(x_n,\mathbf{w})$与目标值$t_n$差的平方和。最小化error function就可以找到合适的$\mathbf{w}$。 E ( w ) = 1 2 ∑ n = 1 N { y ( x n , w ) − t n } 2 E(\boldsymbol{w})=\frac{1}{2}\sum_{n=1}^N\{y(x_n,\boldsymbol{w})-t_n\}^2 E(w)=21​n=1∑N​{ y(xn​,w)−tn​}2这是一个非负量，如果所有值都预测正确，误差函数 E ( x ) = 0 E(x)=0