分类问题的评价指标

姓名：Jyx
描述：人工智能学习笔记

分类问题同回归问题一样，也可以采用损失函数作为评价指标，
**一、**以损失函数作为评价指标
   1.1 logistic／负log似然损失（log_loss):
$$\begin{gathered} -logloss=-\frac{1}{N}\sum _{i=1}^N\sum _{j=1}^M{y}_{ij}\log p_{ij} \\ \begin{array}{r}{y}_{ij}=\{\begin{array}{l}1,i\ne j\\ 0,i=j\end{array}\end{array},p_{ij}\text{代表预测为}i\text{类实际为第}j\text{类的概率,N代表样本数，M代表类别数} \end{gathered}$$
  1.2 0-1损失
$$MCE=-\frac{1}{N}\sum _{\widehat{y_i}\ne y_i}1$$
二、 混淆矩阵
  针对分类问题特有的评价指标
  2.1 混淆矩阵

	$pre{d}_1$	$pre{d}_0$	$\sum$
$rea{l}_1$	TP	FN	$N_{+}$
$rea{l}_0$	FP	TN	$N_{-}$
$\sum$	${\hat{N}}_{+}$	${\hat{N}}_{-}$

精度(accuracy)：$accuracy=\frac{TP+TN}{N}$
错误率(error rate):$errorrate=\frac{FP+FN}{N}$
$$\begin{array}{rl}& PPV(positivepredictivevalue)=\frac{TP}{TP+FN}=\frac{TP}{{\hat{N}}_{+}},\text{预测结果为真的样本中真正为真的比例}\\ & FDR(falsediscoverrate)=\frac{FN}{TP+FN}=1-PPV\\ & TPR=\frac{TP}{N_{+}},\text{预测为真的样本中真正为真的样本占真正为真的的样本的比例，又称为}recall\\ & FPR=\frac{FP}{N_{-}},\text{预测结果将多少假的样本预测成了真}\end{array}$$
  一点分析：f1 socre 与FPR, TPR之间的关系，
$$\begin{array}{rl}& \text{ 假定}{N}_p\text{代表样本中真正的正样本个数，}{N}_n\text{代表样本中真正的负样本个数}\\ & PPV=\frac{TP}{TP+FP}=\frac{N_p\mathrm{T}\mathrm{P}\mathrm{R}}{N_p\mathrm{T}\mathrm{P}\mathrm{R}+N_n\mathrm{F}\mathrm{P}\mathrm{R}}\\ & \mathrm{f}1\mathrm{s}\mathrm{c}\mathrm{o}\mathrm{r}\mathrm{e}=\frac{2}{\frac{1}{PPV}+\frac{1}{TPR}}=\frac{2{\mathrm{N}}_{\mathrm{p}}\mathrm{T}\mathrm{P}\mathrm{R}}{{\mathrm{N}}_{\mathrm{p}}+{\mathrm{N}}_{\mathrm{p}}\mathrm{T}\mathrm{P}\mathrm{R}+\mathrm{F}\mathrm{P}\mathrm{R}{\mathrm{N}}_{\mathrm{n}}}\\ & \text{令}\alpha =\frac{N_n}{N_p},\text{则}\\ & \mathrm{f}1\mathrm{s}\mathrm{o}\mathrm{c}\mathrm{r}\mathrm{e}=\frac{2\mathrm{T}\mathrm{P}\mathrm{R}}{1+\mathrm{T}\mathrm{P}\mathrm{R}+\alpha \mathrm{F}\mathrm{P}\mathrm{R}}\end{array}$$
参考wiki Positive and negative predictive values，Sensitivity and specificity
F1 score 是recall与precision的调和平均值,
即：
$$f1score=\frac{2}{\frac{1}{recall}+\frac{1}{precision}}=\frac{2}{\frac{1}{TPR}+\frac{1}{PPV}}$$
  2.2 ROC, Receiver operating characteristic
  对于某一特定的算法，在给定不同分类阈值的情况下得到一系列TPR,FPR,以FPR为横坐标，TPR为纵坐标绘图，得到的就是ROC曲线，曲线下的面积就是AUC，对于不同的算法，一般而言auc越高的算法性能越好

$$\mathrm{A}\mathrm{U}\mathrm{C}={\int }_0^1\mathrm{T}\mathrm{P}\mathrm{R}\mathrm{d}\mathrm{F}\mathrm{P}\mathrm{R}$$

  2.3 PR(Precision and recall) 曲线
    负样本非常多，因此$\mathrm{F}\mathrm{P}\mathrm{R}=\mathrm{F}\mathrm{P}/N_{-}$总是很小，考察TPR和FPR不是很有意义，这是候我们就只讨论正样本，考察TPR（recall）和PPV(pricision).,

  2.4 PR curve
    PR 曲线信息检索中定义的一种曲线，并不适用于一般的分类问题。假定k为每次检索返回的信息条目数量，很显然，根据我们的定义recall将随k的增大而增大，precision将随k的增大而减小。在不同的k下得到一组recall，pricision值，绘制在同一坐标系中就是PR曲线。

AP（average pricision): PR曲线下的面积就是AP
MAP(mean average pricision): 对多次查询得到的AP进行平均就是MAP
AP@K: 不计算全部，只计算pricision最高的前k个的AP
MAP@K多次查询AP@K的平均值