机器学习---分类模型评估ROC

1.假设如下：

2.两个指标

(1)ROC曲线
TPR(ture-pos-rt)=TP/(TP+FN) #正样本召回率，也是正类分对的概率
FPR(false-pos-rt)=FP/(FP+TN) #负样本分错的比例，即，将实际负样本预测为正样本占整个负样本的比例, 所谓的假阳例。
两个指标的值均在0,1之间

横纵：负样本被分错的比例（实际负样本中），FNR
纵轴：正样本被分错的比例（实际正样本中）,TTR
意义： 如果FNR变换比TTR快，则表现差
如果TTR变换比FNR快，则表现好。
也就是，点A（FNR,TTR）,如果TTR>FNR,则优。
也就是曲线（curve）越靠进左上角，模型表现越好，也就是TTR越高，FNR越小越好。
画法： 取TTR
3）特殊点说明：
（0，0）全部预测为负样本。
（1,1）全部预测为正样本。
因此ROC曲线在对角线之上。
4）AUC:
ROC可以直观看出模型表现，但不能量化，因此AUC用来量化模型的优劣程度。AUC介于[0.5,1]之间。

（2）F1-score 二分类问题中
准确率： 预测正确正样本/预测为正样本
召回率: 预测正确正样本/实际样本正样本量