目标分类指标
目标分类指标是指在机器学习和深度学习中,用于衡量模型对目标类别预测准确度的一系列评价标准。以下是一些常见的目标分类指标及其详细说明,并附上Python代码示例(以PyTorch为例):
-
准确率(Accuracy) :
准确率是分类问题中最直观的评估指标,它计算的是模型正确预测样本数占总样本数的比例。from sklearn.metrics import accuracy_score # 假设y_true是真实标签,y_pred是模型预测的标签 y_true = [0, 1, 2, 3, 4] y_pred = [0, 1, 2, 3, 4] accuracy = accuracy_score(y_true, y_pred) print(f"Accuracy: {accuracy}")
在PyTorch中,对于多分类任务,可以通过
torchmetrics.Accuracy()
来计算:from torchmetrics import Accuracy # 初始化Accuracy指标 acc = Accuracy() # 预测与真实标签 y_true = torch.tensor([0, 1, 2, 3, 4]) y_pred = torch.tensor([0, 1, 2, 3, 4]) # 更新指标并计算结果 acc.update((y_pred, y_true)) accuracy = acc.compute() print(f"Accuracy: {accuracy}")
-
精确率(Precision) :
精确率是在所有被模型预测为某个类别的样本中,真正属于这个类别的样本比例。from sklearn.metrics import precision_score # 计算某一类别的精确率 precision = precision_score(y_true, y_pred, pos_label=1) # PyTorch中可以使用`torchmetrics.Precision` from torchmetrics import Precision prec = Precision(num_classes=5) # 假设有5个类别 prec.update((y_pred.argmax(dim=-1), y_true)) precision = prec.compute()
-
召回率(Recall) :
召回率是在所有实际为某个类别的样本中,被模型正确预测为该类别的样本比例。from sklearn.metrics import recall_score recall = recall_score(y_true, y_pred, pos_label=1) # PyTorch中使用`torchmetrics.Recall` from torchmetrics import Recall rec = Recall(num_classes=5) rec.update((y_pred.argmax(dim=-1), y_true)) recall = rec.compute()
-
F1分数(F1 Score) :
F1分数是精确率和召回率的调和平均值,能同时兼顾精确率和召回率的表现。from sklearn.metrics import f1_score f1 = f1_score(y_true, y_pred, pos_label=1) # PyTorch中使用`torchmetrics.F1Score` from torchmetrics import F1Score f1_metric = F1Score(num_classes=5, average='weighted') # 可选'weighted', 'macro', 'micro'等 f1_metric.update((y_pred.argmax(dim=-1), y_true)) f1_score = f1_metric.compute()
请注意,以上示例中的pos_label
参数通常用于二分类问题中指定正类;对于多分类问题,需要根据实际情况选择合适的计算方式(如加权、宏平均或微平均)。在实际应用中,可能还需要结合混淆矩阵(Confusion Matrix)、AUC-ROC曲线等更多指标进行综合评估。
目标检测指标
目标检测是计算机视觉中的一个重要任务,用于确定图像中每个对象的位置和类别。以下是两个关键评价指标及其公式:
-
Intersection over Union (IoU) :
IoU 用来衡量模型预测的边界框(检测窗口 B)与真实标注的边界框(标记窗口 A)之间的重叠程度。它是两者交集面积与并集面积之比。计算公式为:
IoU(A, B) = |A ∩ B| / |A ∪ B|
其中:
- |A ∩ B| 表示 A 和 B 的交集面积。
- |A ∪ B| 表示 A 和 B 的并集面积。
IoU 值范围在 [0, 1] 之间,值越接近1表示预测框和真实框的重叠度越高,定位精度越好;值低于预设阈值(如0.5)通常被认为是不成功的检测。
-
Average Precision (AP) :
AP 是对每种类别的 Precision-Recall 曲线下面积的平均值,它综合了精确率(Precision)和召回率(Recall)两个指标来评估模型性能。对于每个类别,首先计算不同召回率下的精确率,然后通过插值得到曲线下的面积。-
Precision(精确率):正确检测到该类别的目标占所有被模型预测为该类别的比例。
Precision = TP / (TP + FP)
其中:
- TP(True Positive):正确识别并定位的物体数。
- FP(False Positive):错误地将非该类别的物体预测为此类别的次数。
-
Recall(召回率):正确检测到的该类别的目标占实际存在该类别目标的比例。
Recall = TP / (TP + FN)
其中:
- FN(False Negative):未能检测出的实际存在的该类别的物体数量。
-
AP(Average Precision):对各个召回率点上的 Precision 值进行积分或插值得到的平均值。
-
-
Mean Average Precision (mAP) :
mAP 是多个类别 AP 值的平均,用来评估多类别目标检测的整体性能。计算公式为:
mAP = mean(AP_1, AP_2, ..., AP_K)
其中 K 是类别总数。
在不同的数据集和竞赛中,比如 PASCAL VOC 和 COCO 数据集,会根据特定的 IoU 阈值(如 IoU@0.5 或者在一定范围内的平均,如 0.5:0.95)来计算 AP 和 mAP。