模型的评估方法:
- 留出法(hold-out):直接将X分解为两个不相交的集合,其中一个作为训练集,另一个作为测试集。常常将2/3-4/5的样本用作训练,其余用作测试。
- 交叉验证(cross validation):将数据集X分解为k个互补相交的子集,即
。然后每次用k-1个子集训练,剩余一个做测试,最终返回K个测试结果---k折交叉验证。
>留一法(Leave-One-Out):假设,满足k=n
错误率与精度:
在分类任务中,精度和错误率是最常用的模型性能度量。现在假设数据集D={(x1,y1),(x2,y2),...