周志华《机器学习》——模型的评估与选择

在一幅图解释机器学习中，我们假设要进行分辨西瓜好坏的任务。

如何从众多的评判方法中，选出更好的方法呢（也就是从假设空间到版本空间）

 

这个过程需要解决三个问题：

1、如何判断哪个方法更好？

      ——越好的方法，其判断结果应该越符合真实世界（设置合理的性能度量指标，衡量判断结果和真实世界的差距）

2、在什么数据集上测试方法的好坏？

      ——测试集应该能够代表真实世界，且不会影响到模型训练（合理分割测试集和训练集）

3、毕竟测试集只是真实世界的抽样，如何判断在测试集上的测试结果是不是适用于真实世界？

      ——进行统计学检验

 

接下来我们分别详述一下上述三个问题的解决方法：

 

1、如何判断哪个方法更好——设置性能度量指标

1.1 回归任务的常用性能度量是“均方误差”

1.2 分类任务的常用性能度量包括：

（1）错误度和精度：错误度是所有分类错误的样本占总样本的比例，精度是所有分类正确的样本占总样本的比例，二者相加等于1

（2）查准率、查全率和F1：

  查准率（precision）是所有预测为正的里面，×的比例，查全率（recall）是所有×中被预测为正的比例

           因为查准率和查全率通常二者不可得兼，为了统筹两个性能指标，比较到底哪个方法更好，我们提出了F1值

                         

            在不同的情况下，可以采用不同的F1变体：                     

            如：当查准率和查全率重要程度不一样时（逃犯检索系统，宁可错杀不可放过，所以查全率更重要），

            可以采用

                         

             或者有多个二分类混淆矩阵时，可以计算macro-F1或者micro-F1

（3）ROC和AUC

         ROC如是为每个测试样本产生一个“是正类”的概率，然后将所有样本按照概率进行排序

         最后从第一个到最后一个，依次计算，假如在此之前的所有样本都被划分为正类，之后的样本都被划分为负类，

         则分类器的TPR和FPR分别为多少。

         在坐标轴上，以TPR为纵轴，FPR为横轴

                        TPR=预测为正的×/全部×

                        FPR = 预测为负的·/全部·

最理想的分类结果是，所有正例都排在负例前面，

也就是分类器可以通过设定一个合适的阈值，将所有正例和所有负例完美分割开，

此时图像是一个（0，0）到（0,1），然后从（0，1）到（1,1）的折线，所以ROC图，越接近（0,1）点性能越好

AUC则是ROC曲线下方的面积。

（4）代价曲线

还是上述例子，在逃犯检索系统中，正反例被分类错的后果是不一样的，即代价敏感。

ROC统计的是错误的例子的数量占总数的百分比，因此不能反应出非均等代价下的性能。

因此提出代价曲线来解决非均等代价下模型性能的衡量问题。

（公式好复杂没看懂，待补充）

 结论是：

 代价曲线可以通过ROC图转化而来，

ROC图上每一点坐标均为（FPR,TPR）,根据FNR=1-TPR，绘制一条从（0，FPR）到（1,FNR）的线

画出ROC上没一点对应的线后，所有线段的下界围成的面积即为所有条件下学习器的期望总体代价

              

2、在什么数据集上测试方法的好坏？——设置测试集

（1）留出法

         直接将数据集D划分为互斥的训练集S和测试集T，通常选择三分之二到五分之四用于训练

         为了减小因为不同的S和T划分导致的测试结果的不同，可以将D随机抽取100次，

         生成100个测试集和训练集，进行100次训练和测试后返回测试的平均值

（2）交叉验证法

         将数据分为K个大小相似的互斥子集，每次选择一个子集用作测试，剩下的训练，最终返回K次测试的平均值。

         也可以进行p次k折较差验证后再取平均。

（3）自助法

         上述两个方法中都需要留出部分数据进行测试，从而减少了用于训练的数据，影响了模型的性能。

         自助法从包含m个样本的D中有放回的抽取m个样本放入D'，根据概率，

         m次抽取始终没有被放入D'的样本的的数量应该在36.8%附近。

         我们用D'训练，用包含一部分没见过的数据的D测试。

         自助法有效地保留了训练数据，因此在数据集较小，难以有效划分训练测试集的时候比较有用

         但是D'的数据分布改变了初始的数据分布，因此在训练数据较多时一般不采用。

         

3、如何判断在测试集上的测试结果是不是适用于真实世界？——进行统计假设检验