pattern recognition and machine learning 阅读笔记（1）

由于菜狗确实没怎么接触过PRML，所以将以最简单的方式去进行阅读——翻译+提问+理解，当然，如果大佬们看到我提出的问题也不要嘲笑我哈哈哈，如果我的理解有错误或者你们有合适的答案也可以在评论中告知，感谢感谢。

一、 Introduction

模式识别领域关注的是通过使用计算机算法自动发现数据中的规律，并利用这些规律采取行动，如将数据分类成不同的类别。

如果说对于一个识别笔迹的目标而言，采用一种机器学习方法可以得到更好的结果，在这种方法中，N个数字{X1，…， XN}称为训练集，用来调整自适应模型的参数。训练集中数字的类别是预先知道的，通常是通过单独检查它们并手工标记它们。我们可以用目标向量t表示一个数字的类别，对应数字的身份。对于每个数字图像x，都有一个这样的目标向量t。

运行机器学习算法的结果可以表示为函数y(x)，它以一个新的数字图像x作为输入，并生成一个输出向量y，以与目标向量相同的方式编码。函数y(x)的形式通过训练阶段基于训练数据所确定，（也称为学习阶段）。一旦模型经过训练，它就可以确定新的数字图像的身份，这些数字图像包含一个测试集。正确分类新例子而不同于那些用于训练的例子，这样的能力被称为泛化。（我的理解：所以泛化就是同一种算法对新的不同的样本的适应能力。泛化的目的就是通过训练，将前面提到的分类过程由人去实现转换到由计算机或算法去实现，且能保持一定的准确率）在实际应用中，输入向量的可变性会使训练数据只包含所有可能输入向量的很小一部分，因此泛化是模式识别的中心目标。在大多数实际应用中，通常对原始输入变量进行预处理，将其转换为一些新的变量空间，希望在这些变量空间中更容易解决模式识别问题。例如，在数字识别问题中，数字的图像通常被翻译和缩放，以便每个数字都包含在一个固定大小的框中。这大大减少了每个数字类别内的可变性，因为现在所有数字的位置和规模都是相同的，这使得后续的模式识别算法更容易区分不同类别。这个预处理阶段有时也被称为特征提取。注意，必须使用与训练数据相同的步骤对新的测试数据进行预处理。为了加快计算速度，也可以进行预处理。

例如，如果目标是在高分辨率视频流中实时检测人脸，计算机必须每秒处理大量像素，而将这些直接呈现给复杂的模式识别算法在计算上可能是不可行的。相反，我们的目标是找到能够快速计算的有用特性也保留有用的可区分性信息，使人脸从非人脸区别开来。然后，这些特征被用作模式识别算法的输入。

例如，评估矩形子区域上图像强度的平均值(Viola和Jones, 2004)，一组这样的特征可以证明在快速人脸检测中非常有效。因为这种特征的数量小于像素的数量，所以这种预处理是一种降维的形式。在预处理期间必须小心，因为信息经常会被丢弃，如果这些信息对问题的解决很重要，那么系统的整体准确性可能会受到影响。

训练数据包括输入向量及其相应目标向量的示例的应用被称为监督学习问题。像数字识别这样的例子，其目的是将每个输入向量分配给有限数量的离散类别中的一个（把多个内容分到有限个数量的集合中），这种情况被称为分类问题。如果期望的输出由一个或多个连续变量组成，则该任务称为回归（把这些数据通过一个函数进行表达）。回归问题的一个例子是对化学生产过程的产率的预测，该过程的输入包括反应物浓度、温度和压力。

在其他模式识别问题中，训练数据由一组输入向量x组成，没有任何对应的目标值。这种无监督学习问题的目标可能是在数据中发现一组类似的例子，这被称为聚类（在无监督的前提下，数据由自发性地进行了分类，或在某一范围内数据量大），或确定数据在输入空间中的分布，被称为密度估计，或将数据从高维空间投射到二维或三维，以实现可视化。

最后，强化学习技术(Sutton and Barto, 1998)关注的是在给定的情况下寻找合适的行动，以最大化奖励的问题。和监督学习相反，这里的学习算法没有给出最优输出的例子，而是必须通过尝试和错误的过程来发现它们。通常有一系列的状态和动作，其中学习算法与它的环境进行交互。在许多情况下，当前行动不仅会影响即时奖励，还会影响后续所有时间步骤的奖励。例如，通过使用适当的强化学习技术，神经网络可以学习玩双陆棋的游戏到一个很高的境界(Tesauro, 1994)。在这里，网络必须学会以棋盘的位置作为输入，随着掷骰子的结果，并产生一个强而有力的行动作为输出。这是通过让网络对抗自己的分身来实现的，在这过程中，可能尝试了得有100万次。一个主要的挑战是西洋双陆棋游戏可能包含许多步，但是只有在游戏的最后才能获得胜利的奖励。奖励必须适当地归功于导致它的所有操作，即使有些操作是好的，有些则不是。这是一个学分分配问题的例子。强化学习的一个普遍特征是在探索和利用之间进行权衡。探索是指系统尝试新的行为类型，以观察它们的有效性，而利用是指系统利用已知的可以产生高回报的行为。过于专注于勘探或开发将导致糟糕的结果。强化学习一直是机器学习研究的一个活跃领域。