【Python机器学习 5-3】模型评价指标及模型选择

评估模型

不同的应用有着不同的目标，不同的评价指标

模型评价指标

准确率

准确率越高，模型不一定越好

准确率是常见的一种评估模型，但是准确率越高模型不一定越好。

举个例子

假设，在1000个样本中，有999个正样本，1个负样本（不均衡数据集） 如果全部预测正样本，就可以得到准确率99.9%！
这样的场景有：信用卡欺诈检测，离职员工检测等。
有些任务更关心的是某个类的准确率，而非整体的准确率。
比如预测病人是否患癌症，100个人只有1个人换癌症，模型的准确率为99%，但是此模型可能把本来患病的人预测成不患病，这样的情况是非常危险的。
既然准确率不足以进行模型评价，下面介绍几个模型评价的指标。

精确率，召回率

• 真正例(TP)
  预测值是1，真实值是1。被正确分类的正例样本。
• 假正例(FP)
  预测值是1，但真实值是0
• 真反例(TN)
  预测值是0，真实值是0
• 假反例(FN)
  预测值是0，但真实值是1。

正反例是相对于预测值来说的，预测值是1时即正例，预测值为0时范例。再次基础上，如果真实值与预测值一致，则是真的，反之为假的。这样就构成了上述四种评价指标。

根据上述的四种评价，我们可以组合成有意义的评价指标
•TPR(Recall，召回率)：TP/(TP + FN)，表示检测率，在所有实际值为1的样本中，被正确预测为1的比率
•Precision(精确率)： TP/(TP + FP) ，在所有预测值为1的样本中，被正确预测的比例
•FPR: FP/(TN+FP)，在所有实际值是0的样本中，被错误地预测为1的比例。
•F1
将召回率和精确率用一个数值表示，即F1

sklearn.metrics中包含常用的评价指标

1.求准确率
即所有预测值为1的样本中，被正确预测的比例

accuracy_score(y_true, y_pred, normalize=True, sample_weight=None)

参数：

• y_true ：验证集
• y_pred ：分类器的返回值
• normalize：默认值为True，返回正确分类的比例；如果为False，返回正确分类的样本数

2.求精确率
即所有预测值为1的样本中，被正确预测的比例

precision_score(y_true