机器学习笔记-多分类学习，类别不平衡，决策树

读书笔记

多分类学习

基本思想：拆解法；将多分类任务拆解为若干个二分类任务求解，先对这些问题经拆分，为拆分出的每个二分类任务训练一个分类器，测试时，对这些分类器的预测结果进行集成以获得最终的多分类结果，

拆分策略：one vs one，一对一，将N个类别两两配对，产生，即N（N-1）/2个分类结果，最终结果通过投票产生，投票是把被预测的最多的类别作为最终分类结果。

         One vs rest，一对其余，每次将一个类的样例作为正样本，其他的作为负样本，训练N个分类器。选择预测置信度最大的标记类别作为分类结果。。

         ManyvsMany 多对多，每次将若干个类作为正样本，若干个类作为负样本，，MvM的正负样本设计必须有特殊的设计，最常用的是ECOC（Error Correcting Output Codes）。

分编码和解码两步走，编码：对N个类别做M次拆分，每次拆分将一部分做正样本，一部分做负样本，形成一个二分类训练集，如此可产生M个训练集，训练M个分类器。

解码：M个分类器分别对测试样本进行预测，这些预测标记形成一个编码，将这个预测编码与每个类别各自的编码进行比较，，返回其中距离最小的类别作为最终的预测结果。

如下是二元ECOC码

一些约束：ECOC对分离器具有一定的容错和纠错能力，这是说如果f2分类出错，从而导致-1，-1，+