chap 3 线性模型 [西瓜书学习笔记]

chap 3 线性模型

对率函数是任意阶可导的凸函数

多分类学习

MvM:

• ECOC, Error Correcting Output Codes
• DAG, Directed Acyclic Gragh
  比如，在图3.5中，分类器$f_2$将$C_1$类和$C_3$类的样例作为正例，$C_4$和$C_2$类作为反例。
  

类别不平衡问题 class-imbalance

问题描述：分类任务中不同类别的训练样例数目差别很大的情况。
不失一般性，本节假定正类样例较少，反类样例较多。

在我们用$y={\mathbf{w}}^T\mathbf{x}+b$对新样本$\mathbf{x}$进行分类时——是在用于测出的$y$值与一个阈值进行比较，分类器决策规则为：
$$if:y/(1-y)>1,then预测为正例$$ (3.46)
令$m^{+}$表示正例数目，$m^{-}$表示反例数目，则观测几率是$m^{+}/m^{-}$，由于我们通常假设训练集是真实样本总体的无偏估计，观测几率即代表了真实几率。
$$if:y/(1-y)>m^{+}/m^{-},then预测为正例$$(3.48)

无偏采样：真实样本的总体类别比例在训练集中得以保持

我们的分类器是基于3.46进行决策，因此，需要对其预测值进行调整，使其在基于3.46决策时，实际是在执行3.47，因此，另
$$\frac{y^{\prime }}{1-y^{\prime }}=\frac{y}{1-y}\times \frac{m^{+}}{m^{-}}$$
(3.48)
解决类不平衡的基本策略：再平衡/再缩放rescaling。

解决现实中没有“无偏采样”的做法：

• 欠采样/下采样(downsampling):对训练集里的反类进行欠采样，去除一些反例后再进行学习。

代表算法：EasyEnsemble

• 过采样/上采样(upsampling)：对训练集里的正例进行过采样，增加一些正例。

不能简单对初始正例样本进行重复采样，否则会造成严重过拟合，代表性算法：SMOTE

• 阈值移动(threshold-moving)：基于原始训练集进行学习，在训练好的分类器进行预测时将(3.48)嵌入到其决策过程中.

“再缩放”也是“代价敏感学习的基础”

阅读材料

稀疏表示 sparse representation

see chap11

习题

https://blog.csdn.net/icefire_tyh/article/details/52069025