模型的评估方法

模型的评估方法

评估思路：

通过实验测试，对模型的泛化误差进行评估，选出泛化误差最小的模型。待测数据集全集未知，使用测试集进行泛化测试，测试误差（Testing Error)即为泛化误差的近似。

留出法

留出法（Hold-out）：将已知数据集分成两个互斥的部分，其中一部分用来训练模型，另一部分用来测试模型，评估其误差，作为泛化误差的估计。

     两个数据集的划分要尽可能保持数据分布一致性，避免因数据划分过程引入人为的偏差。

     数据分割存在多种形式会导致不同的训练集、测试集划分，单次留出法结果往往在偶然性，其稳定性较差，通常会进行若干次随机划分、重复实验评估取平均值作为评估结果。

     数据集拆分成两部分，每部分的规模设置会影响评估结果，测试、训练的比例通常为7：3、8：2等

交叉验证法

交叉验证法（Cross Validation）：将数据集划分k个大小相似的互斥的数据子集，子集数据尽可能保证数据分布的一致性（分层采样），每次从中选取一个数据集作为测试集，其余用作训练集，可以进行k次训练和测试，得到评估均值。该验证方法也称作k折交叉验证（k-fold Cross Validation）。使用不同的划分，重复p次，称为p次k这交叉验证。

留一法

留一法（Leave-One-Out,）：是k折交叉验证的特殊形式，将数据集分成两个，其中一个数据集记录条数为1，作为测试集使用，其余记录作为训练集训练模型。训练出的模型和使用全部数据集训练得到的模型接近，其评估结果比较准确。缺点是当数据集较大时，训练次数和计算规模较大。

自助法

自助法（Bootstrapping）：是一种产生样本的抽样方法，其实质是有放回的随机抽样。即从已知数据集中随机抽取一条记录，然后将该记录放入测试集同时放回原数据集，继续下一次抽样，直到测试集中的数据条数满足要求。

几种方法的适用场景

留出法：

实现简单、方便、在一定程度上能评估泛化误差

测试集和训练集分开，缓解了过拟合

一次划分，评估结果偶然性大

数据被拆分后，用于训练、测试的数据更少了

交叉验证法（留一法）：

K可以根据实际情况设置，充分利用了所有样本

多次划分，评估结果相对稳定

计算比较繁琐，需要进行k次训练和评估

自助法：

样本量较小时可以通过自助法产生多个自助样本集，且有约36.8%的测试样本

对于总体的理论分布没有要求

无放回抽样引入了额外的偏差

 

几种方法的选择：

已知数据集数量充足时，通常采用留出法或者k折交叉验证法

对于已知数据集较小且难以有效划分训练集/测试集的时候，采用自助法

对于已知数据集较小且可以有效划分训练集/测试集的时候，采用留一法