机器学习笔记（六）性能度量

即对学习器的泛化性能进行评估。

在度量时要有衡量模型泛化能力的评价标准。

性能度量反映了任务需求，在对比不同模型的能力时，使用不同的性能度量往往会导致不同的评判结果，这意味着模型的好坏是相对的，什么样的模型是好的，不仅取决于算法和数据，还取决于任务需求。

一.错误率与精度

错误率是分类错误的样本数占样本总数的比例，进度则是分类正确的样本数占样本总数的比例。

二.查准率、查全率与F1

查准率高即代表尽可能准确地把正的跳出来，查全率是指尽可能把正的全部挑出来，即宁可错杀也不放过。对于二分类问题，可以将样例根据真实类别与学习期预测类别的组合划分为真正例、假正例，真反例、假反例，设为TP\FP\TN\FN，显然有TP+FP+TN+FN=样例总数。分类结果的混淆矩阵如下所示

真实情况	预测结果
	正例	反例
正例	TP	FN
反例	FP	TN

查准率P和查全率R分别定义为

P=TP/(TP+FP)

R=TP/(TP+FN)

查准率和查全率是一组矛盾的度量，此高彼低。以查准率为纵坐标，查全率为横坐标，可以画出P-R图。

P-R图的特性：

若一个学习器的曲线被另一个学习器的曲线完全包住，就说明另外一个学期器比这个学习器性能好。

若发生了交叉，一般计算面积大的性能较好。

平衡点是曲线查全率与查准率相等时候的点，也可以通过此点判别。

F1=（2*P*R）/(P+R)=2*TP/(样例总数+TP-TN)也是一种判别方法。

在复杂情况下，还必须考虑到查全率或查准率的重要性，以及在多个混淆矩阵下求平均的方法。

三.ROC与AUC

很多学习器其实是为测试样本产生一个阈值，高于这个值就是正类，反之为反类。也可以称之为截断点。

在不同的任务中，我们要考虑到查准率和查全率的重要性的高低，这是我们可以借助ROC。

我们根据学习器的预测结果对样例进行排序，按此顺序逐个把样本作为正例进行测试，每次计算出TPR和FPR作为纵横轴。即真正例率和假正例率。

TPR=TP/(TP+FN)

FPR=FP/(TN+FP)

其特性与P-R图类似。AUC即指ROC曲线包括的面积。

形式化的看AUC考虑的是样本预测的排序质量，因此它与排序误差有紧密联系。

四.代价敏感错误率与代价曲线

在实际应用中，还必须考虑判断错误所付出的代价大小，例如在门禁系统中，若放进去一个坏人，或者把好人拦在门外，都会影响到用户的体验。

通常的方法应该是把任何错误都要设置一个权值，在算代价敏感错误率时，必须考虑到这个权值，不能简单的直接计算错误次数。