多类分类(Multi-label classification)性能评价之宏平均(macro-average)与微平均(micro-average)

最新推荐文章于 2024-06-19 16:49:02 发布
最新推荐文章于 2024-06-19 16:49:02 发布
阅读量9k 收藏 22
点赞数 4
分类专栏： ML

通常，我们在评价classifier的性能时使用的是accuracy

考虑在多类分类的背景下

accuracy = (分类正确的样本个数) / (分类的所有样本个数)

这样做其实看上去也挺不错的，不过可能会出现一个很严重的问题：例如某一个不透明的袋子里面装了1000台手机，其中有600台iphone6, 300台galaxy s6, 50台华为mate7,50台mx4(当然，这些信息分类器是不知道的。。。)。如果分类器只是简单的把所有的手机都预测为iphone6, 那么通过上面的公式计算的准确率accuracy为0.6，看起来还不错;可是三星，华为和小米的全部预测错了。如果再给一个袋子，里面装着600台galaxy s6, 300台mx4, 50台华为mate7,50台iphone，那这个分类器立马就爆炸了，连回家带孩子的要求都达不到

所以，仅仅用accuracy来衡量一个分类器的性能是很不科学的

为此，引入了宏平均(micro-average)的概念

介绍宏平均之前，还要介绍几个概念：

(1)precision(准确率，查准率)

(2)recall(召回率，查全率)

(3)F-measure

文字性的概念我就不水，我从符号上来表示一下吧：

多类分类问题中，分类结果一般有4种情况:

 

  • 属于类C的样本被正确分类到类C，记这一类样本数为 TP
  • 不属于类C的样本被错误分类到类C，记这一类样本数为 FN
  • 属于类别C的样本被错误分类到类C的其他类，记这一类样本数为 TN
  • 不属于类别C的样本被正确分类到了类别C的其他类，记这一类样本数为 FP                     

 

从字面意思上来说，某一类别C的准确率(查准率)可以理解为预测该类样本的准确性：

precision = TP / (TP + FN) 

这里很好理解， TP+FN实际上就是分类器在分类时，预测为类别C的样本个数

而某一个类别C的召回率(查全率)可以理解为，你预测正确的类别C的样本对于样本集中类别C的样本的覆盖程度，如果完全覆盖，那么recall就是100%

recall = TP / (TP + TN)

这里的TP+TN表示样本集中，真实类标为C的样本的个数

单一的用recall或者precision来评价分类器也是不合理的，譬如文章开头说到的那个简单的classifier

我们通过公式可以惊奇的发现在两个样本集上的recall都是100%，这是因为所有的iphone6样本，分类器都可以把它预测对，但是准确率就大不相同了；在第一个数据集上的准确率precision为0.6，但是第二个样本集上的准确率只有可怜的0.05；对于第二个样本集的结果，我可以说classifier很好，因为recall很高，也可以说classifier不好，因为precision很低。不过很明显，这些说法都是不合理的；综合考虑两种指标才是直观的比较可靠的指标。

现在就引入F-measure，计算公式如下

F- measure = (A + 1) * precision * recall / (A ^ 2 * precision + recall)

（不知道怎么写公式，就直接用文字写的，感觉有点挫）

如果A取1，那么F-measure实际上就是precison和recall的调和平均值2*precision*recall / (precision + recall)， 此时的F-measure就称为F1值

把这些概念说了， 就回到刚才的宏平均的计算

把所有类的F1值取一个算术平均就得到了Macro-average

微平均Micro-average=(TP + FP) / (TP + TN + FP + FN)

分母就是输入分类器的预测样本个数，分子就是预测正确的样本个数（无论类别）

微平均实际上就是在文章开头说的accuracy

 

写到这里就差不多了，最后以一个例子来收尾把

考虑现在输入分类器的样本有10个，他们属于类别A B C

假设这10个样本的真实类标为（有序）和分类器预测的类标分别是： 

真实：A A A C B C A B B C

预测：A A C B A C A C B C

precision= (test 交 train)/test

recall=(test 交 train)/train

 

precision(A) = 3(正确预测为A类的样本个数为3) / 4(预测为A类的样本数为4) = 0.75  recall(A) = 3 / 4(真实A类样本有4个) = 0.75  

precision(B) = 1 / 2 = 0.5   recall(B) = 1 / 3 = 0.3333

precision(C) = 2 / 3 = 0.6667  recall(C) = 2 / 3 = 0.6667

F值计算出来之后，取算术平均就是Macro-average

Micro-average = 6(预测正确的样本个数) / 10 = 0.6

 

宏平均比微平均更合理，但也不是说微平均一无是处，具体使用哪种评测机制，还是要取决于数据集中样本分布

多分类问题的“宏平均”（macro-average）与“微平均”(micro-average)
weixin_42677438的博客
08-03 7606
多分类问题的“宏平均”（macro-average）与“微平均”(micro-average)
​macro-F1（宏平均F1）​和micro-F1（微平均F1）
最新发布
编程小栈
03-26 883
在机器学习中，​macro-F1（宏平均F1）​和micro-F1（微平均F1）​是两种评估多分类任务性能的指标。它们的核心区别在于对各类别的权重分配方式不同，适用于不同的场景需求。用Macro-F1： 当类别不平衡​（如医疗诊断中的罕见病），且需要平等评估每个类别的表现时。 ​用Micro-F1： 当类别相对平衡​（如新闻分类），且更关注整体的准确率（尤其是大类样本的预测效果）。
多分类问题考察指标：宏平均（Macro-averaging）和微平均（Micro-averaging）
weixin_39490983的博客
04-24 6122
当我们的问题属于多分类问题时，考察在不同类别下综合考察分类器的优劣，需要引入宏平均（Macro-averaging）、微平均（Micro-averaging）。 宏平均（Macro-averaging）是指所有类别的每一个统计指标值的算数平均值，也就是宏精确率（Macro-Precision），宏召回率（Macro-Recall），宏F值（Macro-F Score），其计算公式如下： 宏查准率...
【分类模型评价】宏平均（macro avg）、微平均(micro avg)和加权平均(weighted avg)
热门推荐
Joker 007的博客
02-14 1万+
当我们使用 sklearn.metric.classification_report 工具对模型的测试结果进行评价时，会输出如下结果： 对于 精准率（precision ）、召回率（recall）、f1-score，他们的计算方法很多地方都有介绍，这里主要讲一下micro avg、macro avg 和weighted avg 他们的计算方式。 1、宏平均 macro avg: 对每个类别的 精准、召回和F1 加和求平均。 精准macro avg =(P_no+P_yes) / 2 =(0.24+0.73)
关于宏平均（Macro-averaging）和微平均（Micro-averaging）
chenpe32cp的博客
10-12 1万+
本为转载与此 今天在阅读周志华老师的《机器学习》一书时，看到性能度量这一小节，里面讲到了宏平均和微平均的计算方法，这也是我一直没有很清晰的一个概念，于是在看了之后又查阅了一些资料，但是还是存在一些问题，想和大家分享一下。 （1）召回率、准确率、F值 对于二分类问题，可将样例根据其真实类别和分类器预测类别划分为： 真正例（True Positive，TP）：真实类别为正例，预测类别为正例...
多标签分类问题multi-label recognition
08-31
在机器学习领域，多标签分类（Multi-Label Classification）是一种重要的任务，它涉及到对一个样本进行预测时，可能同时属于多个类别。与传统的单标签分类（一个样本仅属于一个类别）不同，多标签分类需要模型能够...
Multi-label-Classification:关于多标签学习的一切
04-17
然而，这些单一指标可能不足以全面反映模型性能，因此可能会使用宏平均（macro-average）和微平均（micro-average）来综合考虑所有标签。 最后，模型的优化通常涉及超参数调优，可以使用网格搜索、随机搜索或贝叶斯...
层级多标签文本分类问题的评价体系及程序
wanxueyao的博客
06-19 1384
本期的任务是对层级多标签文本分类问题的评价方法进行研究，并完成相应的程序。最开始以为是一个相当简单的问题，但稍微深入了解了一下，发现是个很有趣的问题。这篇文章整体写得有点乱，想要快速了解可以直接跳到4开始看。层级多标签文本分类问题，英文为Hierarchical-Multilabel-Text-Classification，简称hmtc，但因为并没有一个统一的中文翻译，也有不少人称其为层次多标签文本分类。层级多标签文本分类问题(HMTC)属于层级多标签分类问题(HMC)，尤其是在评价方法上没有任何区别。
One-Error多标签分类_论文阅读11——多标签特征选择
weixin_39854369的博客
10-20 1457
Multi-Label Informed Feature Selection大多数现有的多标签特征选择算法：1）解决多个单标签特征选择问题，2）直接使用不完善的标签，无法找到由多个标签共享的特征。论文提出了多标签信息特征选择框架MIFS，利用标签的相关性来选择多个标签的共享特征。为了减少不好的标签信息在发现标签相关性方面的负面影响，将多标签信息分解为一个低维空间（首先对标签进行降维），然后利用减少...
【机器学习-模型评价指标】宏平均（macro avg）、微平均(micro avg)和加权平均(weighted avg)
Joyeishappy的博客
08-11 1万+
我们使用 sklearn.metric.classification_report 工具对模型的测试结果进行评价时，会输出如下结果：（表格） 0 precision recall f1-score support 0 0.99 0.99 0.99 155 1 0.90 0.82 0.86 11 accuracy
(笔记)宏平均和微平均
qq_42008588的博客
04-29 2424
目录 应用场景：多分类 计算公式： 例子： 例（1） 宏平均： 微平均： 例（2）： 宏平均： 微平均： 例（3）： 区别+更详细的应用场景： 结论： 应用场景：多分类 计算公式： （转自：谈谈评价指标中的宏平均和微平均_chenpe32cp的博客-CSDN博客） 两句话就是： 宏平均先在每个类别上计算P、R、F值，再取平均，我猜它之所以叫宏平均就是因为它用到了÷n；（自己的猜测，帮助理解） 微平均看总体的P、R，然后计算F； 例子： 例（1） （链..
【机器学习】多分类任务的性能评价——宏平均和微平均
ccszbd的博客
05-24 1万+
很多时候我们有多个二分类混淆矩阵，例如进行多次训练/测试，每次得到一个混淆矩阵；或是在多个数据集上进行训练/测试，希望估计算法的“全局”性能；甚或是执行多分类任务，每两两类别的组合都对应一个混淆矩阵。总之，我们希望在n个二分类混淆矩阵上综合考察查准率和查全率。 二分类的分类结果混淆矩阵 真实情况/预测结果 正例 反例 正例 TP（真正例） FN（假反例） 反例 FP（假正例） ...
多分类中宏平均与微平均的区别
weixin_43461341的博客
09-02 1472
宏平均： 微平均： 宏平均和微平均的对比 如果每个class的样本数量差不多,那么宏平均和微平均没有太大差异 如果每个class的样本数量差异很大,而且你想: 更注重样本量多的class:使用宏平均 更注重样本量少的class:使用微平均 如果微平均大大低于宏平均,检查样本量多的class 如果宏平均大大低于微平均,检查样本量少的class ...
评价指标中的宏平均和微平均
qq_34126716的博客
09-21 9762
评价指标中的宏平均和微平均什么是召回率、准确率和F值？ 要理解宏平均和微平均，首先需要掌握召回率（R）、准确率（F）和F值。 什么是召回率、准确率和F值？ 对于二分类问题，可以将样例根据其真实类别和分类器类别划分为： 真正例（True Positive，TP）：真实类别为正例，预测类别为正例。 假正例（False Positive，FP）：真实类别为负例，预测类别为正例。 真负例（True Negative，TN）：真实类别为负例，预测类别为负例。 假负例（False Negative，FN）：真实类别为正
宏平均（macro avg）、微平均（micro avg）、加权平均（weighted avg)、精度（precision）、召回率recall、f1score、confusion matrix
咖乐部
11-04 8594
分类任务： 宏平均：对类的平均。有两类，直接 （0.24+0.73）/2 = 0.45 微平均：对每个样本的平均。样本总数有7535+22462个 ：0.24*7535+0.73*22462 加权平均：考虑了权重的宏平均。0.24*（7535/29997）+0.73*（22462/29997） 分类问题的几个评价指标（Precision、Recall、F1-Score、Micro-F1、Macro-F1）：https://blog.csdn.net/sinat_28576553/ar..
宏平均（Macro-averaging）、微平均（Micro-averaging）和权重平均（weight-averaging）的理解
Lisen’s blog
05-13 1万+
很多博客关于宏平均，微平均，权重平均介绍了一大堆的公式，让人看了一头雾水，本文主要重点介绍怎么计算，从实例出发，相信大家在跟着算完一遍之后就知道这三个平均的意思了。 相关定义： 真正例（True Positive，TP）：真实类别为正例，预测类别为正例。 假正例（False Positive，FP）：真实类别为负例，预测类别为正例。 假负例（False Negative，FN）：真实类别为正例，预测类别为负例。 真负例（True Negative，TN）：真实类别为负例，预测类别为负例。 以正例为例计算：
微平均micro-F1,宏平均macro-F2计算方法
liuweizj12的博客
07-09 6447
前言 F1是我们常用的衡量指标,不知道有多少同学和我一样,对micro macro一直似懂非懂,于是今天手动算了一下,分享给大家~ 相信大家看了就明白了 本文的前提是,读者已经懂了precision和recall的基本概念,不清楚的同学可以先去看一下其他的文章~ 差准率(precision)和查全率(recall) 对于二分类来说,可以将标签分为正类和负类,如下图 真实标签 ＼ 预测标签...
ROC - AUC（多分类）
03-25
### 多分类问题中的 ROC 和 AUC 在多分类问题中，传统的二分类 ROC 曲线和 AUC 需要扩展到多个类别上。通常的做法是通过一对多（One-vs-Rest, OvR）或一对一（One-vs-One, OvO）策略来处理多分类问题。 #### One-vs-Rest (OvR) 方法 在这种方法下，每个类别的样本被标记为正类，而其他所有类别的样本则被视为负类。这样可以构建 \( C \) 条独立的 ROC 曲线（\( C \) 是类别总数）。每条曲线对应于一个特定类别的性能表现[^1]。 对于每一类，计算其对应的 TPR（True Positive Rate）和 FPR（False Positive Rate），并绘制相应的 ROC 曲线。最终可以通过平均这些单类别的 AUC 值得到整体的 AUC 表现： \[ AUC_{macro} = \frac{1}{C} \sum_{i=1}^{C} AUC_i \] 其中，\( AUC_i \) 表示第 \( i \) 类别下的 AUC 值[^2]。 #### Micro 平均法 Micro 平均法则是在全局范围内统计真正例数（TP）、假正例数（FP）和真反例数（TN），从而统一计算整个数据集上的 TPR 和 FPR。这种方法不区分具体类别，而是将所有预测结果汇总在一起进行分析。这种方式更适合关注总体错误率的应用场景[^3]。 以下是基于 Python 的 `scikit-learn` 实现多分类 ROC-AUC 的代码示例： ```python from sklearn.datasets import make_classification from sklearn.model_selection import train_test_split from sklearn.preprocessing import label_binarize from sklearn.multiclass import OneVsRestClassifier from sklearn.linear_model import LogisticRegression from sklearn.metrics import roc_curve, auc, roc_auc_score import matplotlib.pyplot as plt from itertools import cycle import numpy as np # 创建模拟数据集 X, y = make_classification(n_samples=1000, n_classes=3, n_informative=3, random_state=42) # 将标签转换为 one-hot 编码形式 y_bin = label_binarize(y, classes=[0, 1, 2]) n_classes = y_bin.shape[1] # 划分训练集与测试集 X_train, X_test, y_train, y_test = train_test_split(X, y_bin, test_size=.5, random_state=42) # 使用逻辑回归作为基础分类器 classifier = OneVsRestClassifier(LogisticRegression()) y_score = classifier.fit(X_train, y_train).predict_proba(X_test) # 计算微平均 ROC 曲线和 AUC fpr_micro, tpr_micro, _ = roc_curve(y_test.ravel(), y_score.ravel()) auc_micro = auc(fpr_micro, tpr_micro) # 计算宏平均 ROC 曲线和 AUC fpr = dict() tpr = dict() roc_auc = dict() for i in range(n_classes): fpr[i], tpr[i], _ = roc_curve(y_test[:, i], y_score[:, i]) roc_auc[i] = auc(fpr[i], tpr[i]) all_fpr = np.unique(np.concatenate([fpr[i] for i in range(n_classes)])) mean_tpr = np.zeros_like(all_fpr) for i in range(n_classes): mean_tpr += np.interp(all_fpr, fpr[i], tpr[i]) mean_tpr /= n_classes fpr_macro = all_fpr tpr_macro = mean_tpr auc_macro = auc(fpr_macro, tpr_macro) plt.figure(figsize=(8, 6)) # 绘制微平均 ROC 曲线 plt.plot(fpr_micro, tpr_micro, label=f'Micro-average ROC curve (area = {auc_micro:.2f})', color='deeppink') # 绘制宏平均 ROC 曲线 plt.plot(fpr_macro, tpr_macro, label=f'Macro-average ROC curve (area = {auc_macro:.2f})', color='navy') # 添加对角线基线和其他设置 plt.plot([0, 1], [0, 1], 'k--') plt.xlim([0.0, 1.0]) plt.ylim([0.0, 1.05]) plt.xlabel('False Positive Rate') plt.ylabel('True Positive Rate') plt.title('Receiver Operating Characteristic for multi-class data') plt.legend(loc="lower right") plt.show() ``` 上述代码展示了如何利用 `scikit-learn` 库实现多分类问题中的 ROC 和 AUC 计算，并分别给出了 Macro 和 Micro 平均的结果可视化。 ---
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值