2021-03-17

第二章模型评估与选择
2.1经验误差与过拟合
样本数：m
错误数：a
错误率：a/m
精度：1-a/m
过拟合：当学习器把训练样本训练的过好，把训练样本本身的一些特性当做所有潜在样本的普遍的特性导致泛化性能下降。
P=NP
2.2评估方法
测试集与训练集应该相斥
留出法：直接将数据集D划分为两个相斥的集合，一个作为测试集一个作为训练集。，在使用留出法时一般要采用若干次随机划分重复进行实验评估后取平均值
交叉验证法：先将数据集划分为k个大小相似的互斥子集，尽量保持数据集分布的一致性，每次用k-1个子集的并集作为训练集，进行k次训练和测试
自助法：以自助采样法为基础，给定m个样本的数据集，对它进行采样产生数据集D’，每次随机从D中抽取一个，复制到D’，再放回D
自助法适用于数据集较小时难以有效划分训练集测试集时很有用