在信号检测理论中,接收者操作特征曲线(receiver operating characteristic curve,或者叫ROC曲线)是一种座标图式的分析工具,用于 :
(1) 选择最佳的信号侦测模型、舍弃次佳的模型。
(2) 在同一模型中设定最佳阈值。
在做决策时,ROC分析能不受成本/效益的影响,给出客观中立的建议。
举例来说,用血压值来检测一个人是否有高血压,测出的血压值是连续的实数,以收缩压140/舒张压90为阈值,阈值以上便诊断为有高血压,阈值未满者诊断为无高血压。
- 二元分类模型的个案预测有四种结局:
- 真阳性(TP):诊断为有,实际上也有高血压。
- 伪阳性(FP):诊断为有,实际却没有高血压。
- 真阴性(TN):诊断为没有,实际上也没有高血压。
- 伪阴性(FN):诊断为没有,实际却有高血压。
- TPR:在所有实际为阳性的样本中,被正确地判断为阳性之比率。
- TPR = TP/(TP+FN)
- FPR:在所有实际为阴性的样本中,被错误地判断为阳性之比率。
- FPR = FP/(FP+TN)
- ROC空间将伪阳性率(FPR)定义为 X 轴,真阳性率(TPR)定义为 Y 轴。给定一个二元分类模型和它的阈值,就能从所有样本的(阳性/阴性)真实值和预测值计算出一个 座标点 (X=FPR, Y=TPR)。
ROC曲线的绘图过程:给定m个正例,n个反例,根据学习器预测结果对样例进行排序,然后把分类阈值设为最大,即把所有样例均预测为反例,此时真正利率和假正利率均为0,在(0,0)处标记一个点,然后,将分类阈值设置为每个样例的预测值,即依次将每个样例划分为正例,然后用线段连接相邻节点即得。
从 (0, 0) 到 (1,1)的对角线将ROC空间划分为左上/右下两个区域,在这条线的以上的点代表了一个好的分类结果(胜过随机分类),而在这条线以下的点代表了差的分类结果(劣于随机分类)。
- 完美的预测是一个在左上角的点,在ROC空间座标 (0,1)点,X=0 代表着没有伪阳性,Y=1 代表着没有伪阴性。