周志华-西瓜书笔记(第二章)上

• 误差：学习器的实际预测输出与样本的真实输出之间的差异。而误差又分为训练误差（经验误差）和泛化误差，我们在训练过程中以降低训练误差为目标这样会导致过拟合的发生，显然训练误差不能作为衡量模型的性能的标准，所以我们还需要求得泛化误差来衡量模型的性能。

• 过拟合和欠拟合：在训练集表现的很好，但是泛化误差却很大的情况叫做过拟合。在训练集上表现的都很差的是欠拟合。目前欠拟合很好处理，但是过拟合才是目前面临的关键障碍，我们无法完全消除过拟合，只能尽可能缓解。

• 评估方法：即评估模型性能的方法，就只考虑泛化误差这一指标而言，以何种方式求得泛化误差就是评估的不同方法。但不同的评估方法都是需要将数据集划分成两个部分，即训练集和测试集，而泛化误差是从测试集上得来。

  留出法：最简单的按比例分割数据集的方法，一般是7比3的比例分割数据集，但其实在按比例分割数据集时根据每次随机抽取为训练集和测试集的可能性又多种，所以可以取每次测试结果的平均来作为最终结果。（需要注意的是尽可能使测试集和训练集的数据分布一致，以分层抽样的方式获得数据集，即使测试集和训练集之间各个类别所占比重一致）

  交叉验证法：将数据集以分层抽样的方式分成K份，其中每份都轮流作为测试集其它的为训练集，进行k次训练和测试，最终返回的是这个k个测试结果的平均值。和留出法相似的是，可以多次随机抽样分成K份，称为多少次k折交叉验证。当交叉验证法将一个样本化为一份，就变成了留一法，留一法不受随机划分的影响，并且训练的模型几乎用到了整个数据集，在固定参数下得到的模型也被认为更加接近预期，评估结果也更准确，但是缺点也很明显，当样本数量很大的时候，计算开销难以接受。

  自助法：部分解决了留一法的困境（获得和原始数据集一样大小的训练集，并且计算开销不会过大），通过在原始数据集里随机采样获得和原始数据集一样大小的训练集，而测试集选择那些没在训练集出现的样本，但随之而来的问题就是这种采样方式不是像留出法和交叉验证法那样保证了训练集和测试集和原来数据集是一样的数据分布，所以这会引起估计偏差。因此，在初始数据量足够的时候，留出法和交叉验证法更常用一些。公式如下：
  -调参与最终模型

  需要明确的是 使用普通的模型、超参数、数据集得到的是不同的模型。

  虽然在训练模型时我们只用了一部分数据进行训练，但一旦找到了好的超参数配置，我们需要用整个数据集重新训练模型，这才是最终的模型。

  测试集和验证集需要加以区分，测试集是用来得到泛化误差的，而验证集是用来调整超参数的。

  有些时候不需要再特别的划分训练集为训练集和验证集，例如虽说前面的交叉验证的得到的是训练集和测试集，但实际情况往往是测试集也常常用作验证集来选择超参数，而不会刻意的又在训练集上去区分训练集和验证集。