《机器学习》阅读笔记（二）

《机器学习》阅读笔记（二）（待补充习题）

2 模型评估与选择

2.1 经验误差与过拟合

术语	en	描述
错误率	error rate	分类错误的样本数占样本总数的比例（$m$个样本中有$a$个样本分类错误，则错误率$E=a/m$）
精度	accuracy	精度=1-错误率（$1-a/m$）
误差	error	学习器的实际预测输出与样本的真实输出之间的差异
训练误差/经验误差	training error/empirical error	学习器在训练集上的误差
泛化误差	generalization error	在新样本上的误差
过拟合	overfitting	学习器把训练样本学得“太好”了的时候，很可能已经把训练样本自身的一些特点当作了所有潜在样本都会具有的一般性质，这样就会导致泛化性能下降
欠拟合	underfitting	与过拟合相对，对训练样本的一般性质尚未学好

2.2 评估方法

D = { x 1 , x 2 , … , x m } D=\{x_1,x_2,\dots,x_m\} D={x1​,x2​,…,xm​}
通过对$D$进行适当的处理，从中产生出训练集$S$和测试集$T$。

常见处理方法	en	描述	表示	注
留出法	hold-out	直接将数据集$D$划分为两个互斥的集合，其中一个集合作为训练集$S$，另一个作为测试集$T$	$D=S\cup T,S\cap T=\varnothing$	分层采样（保留类别比例的采样方式）/若干次随机划分、重复进行实验评估后取平均值
交叉验证法（$k$折验证法）	cross validation	先将数据集$D$划分为$k$个大小相似的互斥子集，每个子集都尽可能保持数据分布的一致性（分层抽样），每次使用$k-1$个子集的并集作为训练集，剩下的那个子集作为测试集；最终返回$k$个测试结果的均值	$D=D_1\cup D_2\cup \cdots \cup D_k,D_i\cap D_j=\varnothing (i\ne j)$	假定数据集$D$中包含$m$个样本，若令$k=m$，则得到了交叉验证法的一个特例：留一法
自助法	bootstrapping	给定包含$m$个样本的数据集$D$，对它进行采样产生数据集$D^{\prime }$：每次随机从$D$阿訇挑选一个样本，将其拷贝放入$D^{\prime }$，然后再将该样本放回到初始数据集$D$中，使得该样本在下次采样时仍有可能被采到；这个过程重复执行$m$次后，就得到了包含$m$个样本的数据集$D^{\prime }$。将$D^{\prime }$用作训练集，$D\backslash D^{\prime }$用作测试集（包外估计(out-of-bag-estimate)）	样本在$m$次采集中始终不被采到的概率是$(1-\frac{1}{m}{)}^m$，去极限得到为$\frac{1}{e}\approx 0.368$	-

2.2.4 调参与最终模型

验证集(validation set)：模型评估与选择中用于评估测试的数据集。

2.3 性能度量(performance measure)

预测任务中，给定 D = { ( x 1 , y i ) , ( x 2 , y i ) , … , ( x m , y m ) } D=\{(x_1,y_i),(x_2,y_i),\dots,(x_m,y_m)\} D={(x1​,yi​),(x2​,yi​),…,(xm​,ym​)}其中，$y_i$：示例$x_i$的真实标记
评估学习器$f$的的性能：把学习器预测结果$f(x)$与真实标记$y$进行比较。

任务类型	性能度量	en	数学公式	注
回归	均方误差	mean squared error	$E(f;D)=\frac{1}{m}\sum _{i=1}^m(f(x_i)-y_i{)}^2$	-
（一般）	均方误差	-	$E(f;\mathcal{D})={\int }_{x\sim \mathcal{D}}(f(x)-y{)}^{2}p(x)dx$	$\mathcal{D}$：数据分布；$p(\cdot )$：概率密度函数

2.3.1 错误率与精度

术语	定义（分类任务）	定义（一般）
错误率	$E(f;D)=\frac{1}{m}\sum _{i=1}^m\mathbb{I}(f(x_i)\ne y_i)$	$E(f;D)={\int }_{x\sim \mathcal{D}}\mathbb{I}(f(x)\ne y)p(x)dx$
精度	$acc(f;D)=\frac{1}{m}\sum _{i=1}^m\mathbb{I}(f(x_i)=y_i)=1-E(f;D)$	$$\begin{gathered} E(f;D)={\int }_{x\sim \mathcal{D}}\mathbb{I}(f(x)=y)p(x)dx \\ =1-E(f;\mathcal{D}) \end{gathered}$$

2.3.2 查准率、查全率与$F1$

二分类问题：

划分	en	简写
真正例	true positive	$TP$
假正例	false positive	$FP$
真反例	true negative	$TN$
假反例	false negative	$FN$

术语	en	描述
查准率$P$	precision	$P=\frac{TP}{TP+FP}$
查全率$R$	recall	$R=\frac{TP}{TP+FN}$

一般：
$$查全率\uparrow （所有都被选为正例，降低标准）\to 查准率\downarrow$$$$查准率\uparrow （只挑选最有把握的正例，提高标准）\to 查全率\downarrow$$
$\mathrm{P}-\mathrm{R}曲线$：根据学习器的预测结果对样例进行排序，排在前面的是学习器认为“最可能”是正例的样本，排在最后的则是学习器认为“最不可能”是正例的样本。按此顺序逐个把样本作为正例进行预测（逐个把样本分类置信度作为阈值，划分正反例，例如，置信度排序：$0.9,0.8,0.5,0.1$，若把$0.5$作为阈值，则高于$0.5$的作为正例，低于$0.5$作为反例），则每次可以计算出当前的查全率、查准率。以查准率为纵轴、查全率为横轴作图，就得到了查准率-查全率曲线。

$\mathrm{P}-\mathrm{R}$图直观地显示出学习器在样本总体上的查全率、查准率。在进行比较时，若一个学习器的$\mathrm{P}-\mathrm{R}$曲线被另一个学习器的曲线完全“包住”，则可断言后者的性能优于前者；如果两个学习器的$\mathrm{P}-\mathrm{R}$曲线发生了交叉，则难以一般性地断言两者孰优孰劣，只能在具体的查准率或查全率条件下进行比较

二分类问题个数	性能度量	描述
1	平衡点(Break-Even Point,BEP)	“查准率=查全率”时的取值。基于BEP比较时，认为BEP高的学习器优于BEP低的。
1	$F1$度量（更常用）	基于查准率与查全率的调和平均$$F1=\frac{2\times P\times R}{P+R}=\frac{2\times TP}{样例总数+TP-TN}$$
1	$F_{\beta }$（$F1$度量的一般形式）	基于查准率与查全率的加权调和平均$$\frac{1}{F_{\beta }}=\frac{1}{1+{\beta }^2}\cdot (\frac{1}{P}+\frac{{\beta }^2}{R})$$$$F_{\beta }=\frac{(1+{\beta }^2)\times P\times R}{({\beta }^2\times P)+R}$$其中，$\beta >0$：度量了查全率对查准率的相对重要性$$\{\begin{array}{rlr}\beta =1& & 退化为标准的F1\\ \beta >1& & 查全率有更大影响\\ \beta <1& & 查准率有更发影响\end{array}$$
n	宏查准率、宏查全率、宏$F1$	先在各混淆矩阵上分别计算出查准率和查全率，记为$(P_1,R_1),(P_2,R_2),\dots ,(P_n,R_n)$，再计算平均值，得到宏查准率、宏查全率以及相应的宏$F1$
n	微查准率、微查全率、微$F1$	先将各混淆矩阵的对应元素进行平均，得到$TP$、$FP$、$TN$、$FN$的平均值，分别记为$\overline{TP}$、$\overline{FP}$、$\overline{TN}$、$\overline{FN}$，再基于这些平均值计算微查准率、微查全率和微$F1$

性能度量	en	公式	绘图过程	性能判定标准
受试者工作特征	Receiver Operating Characteristic,ROC	$$TPR=\frac{TP}{TP+FN}$$$$FPR=\frac{FP}{TN+FP}$$“真正例率”(True Positive Rate,TPR)（纵轴） “假正例率”(False Positive Rate,FPR)（横轴）	1. 给定$m^{+}$个正例和$m^{-}$个反例，（排序） 2. 把分类阈值设为最大，即把所有样例均预测为反例，此时$TPR=RPR=0$，在坐标$(0,0)$处标记一个点 3. （预测） 4. 设前一个标记点坐标为$(x,y)$，那么 4.1当前若为真正例，则对应标记点的坐标为$(x,y+\frac{1}{m^{+}})$ 4.2当前若为假正例，则对应标记点的坐标为$(x+\frac{1}{m^{-}},y)$ 5. 用线段连接相邻点即得	若一个学习器的$\mathrm{R}\mathrm{O}\mathrm{C}$曲线被另一个学习器的曲线完全“包住”，则可断言后者的性能优于前者； 若两个学习器的$\mathrm{R}\mathrm{O}\mathrm{C}$曲线发生交叉，则难以一般性的断言两者孰优孰劣。 此时如果一定要进行比较，则较为合理的判据是比较$\mathrm{R}\mathrm{O}\mathrm{C}$曲线下的面积，即$\mathrm{A}\mathrm{U}\mathrm{C}$(Area Under ROC Curve)。
$\mathrm{A}\mathrm{U}\mathrm{C}$	Area Under ROC Curve	估算为$$\begin{gathered} AUC=\frac{1}{2}\sum _{i=1}^{m-1} \\ (x_{i+1}-x_i)\cdot (y_i+y_{i+1}) \end{gathered}$$	-	-
排序“损失”(loss)	-	给定$m^{+}$个正例和$m^{-}$个反例，令$D^{+}$和$D^{-}$分别表示正、反例集合，则$$\begin{gathered} {\ell }_{rank}= \\ \frac{1}{m^{+}{m}^{-}}\sum _{x^{+}\in D^{+}}\sum _{x^{-}\in D^{-}} \\ \left(\mathbb{I}\right(f(x^{+})<f(x^{-})) \\ +\frac{1}{2}\mathbb{I}(f(x^{+})=f(x^{-})\left)\right) \end{gathered}$$1. 若正例的预测值小于反例，则记一个“罚分” 2. 若相等，则记0.5个“罚分”$$AUC=1-{\ell }_{rank}$$	-	-

2.3.4 代价敏感错误率与代价曲线

1. 非均等代价(unequal cost)：为权衡不同类型错误所造成的不同损失，可为错误赋予“非均等代价”。
2. 代价矩阵(cost matrix)：$cos{t}_{ii}$：将第$i$类样本预测为第$j$类样本的代价
   1. $cos{t}_{ii}=0$
   2. $cos{t}_{01}>cos{t}_{10}$：将第0类判别为第1类所造成的损失更大
   3. $cos{t}_{01}$与$cos{t}_{10}$值的差别越大：损失程度相差越大
3. “代价敏感”(cost-sensitive)错误率： $$E(f;D;cost)=\frac{1}{m}(\sum _{x_i\in D^{+}}\mathbb{I}(f(x_i)\ne y_i)\times cos{t}_{01}+\sum _{x_i\in D^{-}}\mathbb{I}(f(x_i)\ne y_i)\times cos{t}_{10})$$

性能度量	en	公式	绘图过程	性能判定标准
代价曲线	cost curve	直接反映出学习器的期望总体代价 横轴：取值为$[0,1]$的正例概率代价$$P(+)cost=\frac{p\times cos{t}_{01}}{p\times cos{t}_{01}+(1-p)\times cos{t}_{10}}$$其中，$p$：样例为正例的概率 纵轴：取值为$[0,1]$的归一化代价$$\begin{gathered} cos{t}_{norm}= \\ \frac{FNR\times p\times cos{t}_{01}+FPR\times (1-p)\times cos{t}_{10}}{p\times cos{t}_{01}+(1-p)\times cos{t}_{10}} \end{gathered}$$其中： 1. $FPR$：假正例率 2. $FNR=1-TPR$：假反例率	ROC曲线上每一点对应了代价平面上的一条线段 1. ROC曲线上点的坐标为(FPR,TPR)，则可相应计算出FNR 2. 在代价平面上绘制从(0,FPR)到(1,FNR)的一条线段，线段下的面积即表示了该条件下的期望总体代价	将ROC曲线上的每个点转换为代价平面上的一条线段，然后取所有线段的下界，围成的面积即为在所有条件下学习器的期望总体代价

2.4 比较检验

$ϵ$：错误率

2.4.1 假设检验

根据测试错误率估推出泛化错误率的分布

1. 已知
   1. 泛化错误率$ϵ$：在一个样本上犯错的概率是$ϵ$
   2. 测试错误率$\widehat{ϵ}$：在$m$个测试样本中恰有$\widehat{ϵ}\times m$个被误分类
2. 假设检验
   1. 泛化错误率为$ϵ$的学习器：
      1. 将$m$中的$m^{\prime }$个样本误分类、其余样本全部分类正确的概率是$\left(\genfrac{}{}{0ex}{}{m}{m^{\prime }}\right){ϵ}^{m^{\prime }}(1-ϵ{)}^{m-m^{\prime }}$
      2. 恰将$\widehat{ϵ}\times m$个样本误分类的概率为
         $$P(\widehat{ϵ};ϵ)=\left(\genfrac{}{}{0ex}{}{m}{\widehat{ϵ}\times m}\right){ϵ}^{\widehat{ϵ}\times m}(1-ϵ{)}^{m-\widehat{ϵ}\times m}$$
         给定测试错误率，则解$\frac{\partial P(\widehat{ϵ};ϵ)}{\partial ϵ}=0$可知，$P(\widehat{ϵ};ϵ)$在$ϵ=\widehat{ϵ}$时最大$$|ϵ-\widehat{ϵ}|\uparrow \to P(\widehat{ϵ};ϵ)\downarrow$$符合二项分布（若$ϵ=0.3$，则10个样本中测的3个被误分类的概率最大）
   2. 使用“二项检验”(binomial test)来对“$ϵ⩽0.3$”这样的假设进行检验
   3. 一般地，考虑假设“$ϵ⩽{ϵ}_0$”，则在$1-\alpha$的概率内所能观测到的最大错误率计算$$\overline{ϵ}=\max ϵ\text{s.t.}\sum _{i={ϵ}_0\times m+1}^m\left(\genfrac{}{}{0ex}{}{m}{i}\right){ϵ}^i(1-ϵ{)}^{m-i}<\alpha$$结论：
      1. 若$\widehat{ϵ}<\overline{ϵ}$，假设“$ϵ⩽{ϵ}_0$”不能被拒绝，即以$1-\alpha$的置信度认为，学习器的泛化错误率不大于${ϵ}_0$
      2. 否则该假设可被拒绝
3. $t$检验(t-test)（用于多个测试错误率）
   1. 假定
      1. ${\widehat{ϵ}}_1,{\widehat{ϵ}}_2,\dots ,{\widehat{ϵ}}_k$：$k$个错误率
   2. 则
      1. $\mu$：平均错误率
      2. ${\sigma }^2$：方差
   3. 考虑$k$个测试错误率可看作泛化错误率${ϵ}_0$的独立采样，则$${\tau }_t=\frac{\sqrt{k}(\mu -{ϵ}_0)}{\sigma }\sim t(k-1)$$

2.4.2 交叉验证$t$检验

1. 成对$t$检验(paired t-tests)：
   1. 两个学习器A和B
   2. 均适用$k$折交叉验证法得到测试错误率
   3. ${ϵ}_i^A$和${ϵ}_i^B$是在相同的第$i$折训练/测试集上得到的结果
   4. 若两个学习器的性能相同，则它们使用相同的训练集/测试集得到的测试错误率应相等，即${ϵ}_i^A={ϵ}_i^B$。
2. 步骤：
   1. ${\Delta }_i={ϵ}_i^A-{ϵ}_i^B$（若两个学习器性能相同，则差值均值为0）
   2. 假设：学习器A与B性能相同
   3. 计算差值均值$\mu$和方差${\sigma }^2$，在显著性$\alpha$下，若变量$${\tau }_t=\left|\frac{\sqrt{k}\mu }{\sigma }\right|<t_{\alpha /2,k-1}$$则假设不能被拒绝。$t_{\alpha /2,k-1}$是自由度为$k-1$的$t$分布上尾部累积分布为$\alpha /2$的临界值。
3. 通常情况下样本有限，在使用交叉验证等实验估计方法时，不用轮次的训练集会有一定程度的重叠，这就使得测试错误率实际上并不独立，会导致过高估计假设成立的概率$\to$$5\times 2交叉验证$（5次2折交叉验证）

2.5 偏差与方差

1. 偏差-方差分解(bias-variance decomposition)：解释学习算法泛化性能。
   1. 记：
      1. $x$：测试样本
      2. $y_D$：$x$在数据集中的标记
      3. $y$：$x$的真实标记
      4. $f(x;D)$：训练集$D$上学得模型$f$在$x$上的预测输出
   2. 则
      1. 数学期望（回归）：$\overline{f}(x)={\mathbb{E}}_D[f(x;D)]$
      2. 方差（样本数相同的不同训练集）：$var(x)={\mathbb{E}}_D[(f(x;D)-\overline{f}(x){)}^2]$（数据扰动所造成的影响）
      3. 噪声：${\epsilon }^2={\mathbb{E}}_D[(y_D-y{)}^2]$（为便于讨论，假定噪声期望为0）（任何学习算法所能达到的期望泛化误差的下界，即刻画了学习问题本身的难度）
      4. 偏差（期望输出与真实标记的差别）：$bia{s}^2(x)=(\overline{f}(x)-y{)}^2$（学习算法本身的拟合能力）
   3. 分解期望泛化误差$$E(f;D)=bia{s}^2(x)+var(x)+{\epsilon }^2$$泛化误差$\to$偏差+方差+噪声$\Rightarrow$泛化能力$\to$学习算法能力+数据充分性+学习任务本身难度$\Rightarrow$好的泛化性能$\to$（偏差小）能够充分拟合数据+（方差小）使得数据扰动产生的影响小
2. 偏差-方差窘境(bias-variance dilemma)：$$\begin{array}{r}训练不足\to 拟合能力不够强\to 偏差\\ 训练加强\to 拟合能力足够\to 数据扰动影响大\to 方差\end{array}\}主导泛化错误率$$
   若训练数据自身的、非全局的特性被学习期学到了，则将发生过拟合。

习题（待补充）

1. $\left(\genfrac{}{}{0ex}{}{500}{350}\right)\times \left(\genfrac{}{}{0ex}{}{500}{350}\right)$种

P.S.:分层

2. $E(f;D)=\frac{1}{m}\sum _{i=1}^m\mathbb{I}(f(x_i)\ne y_i)$
   10折交叉验证法：E=0.5
   留一法：E=1

-	10折交叉验证法	留一法
训练集	90:45（正）+45（反）	99:49（正）+50（反）/50（正）+49（反）
测试集	10:5（正）+5（反）	1:1（正）/1（反）
$f(x_i)\ne y_i$概率	$\frac{1}{2}$	1/1
$E$	$0.5$	$\frac{1+1}{2}=1$

3. A的BEP值也比B高

$$若P=R即\frac{TP}{TP+FP}=\frac{TP}{TP+FN}$$
已知：（假设以下推理中分母均不为0）$$F{1}_A>F{1}_B$$$$\frac{2\times T{P}_A}{样例总数+T{P}_A-T{N}_A}>\frac{2\times T{P}_B}{样例总数+T{P}_B-T{N}_B}$$$$\frac{样本总数-T{N}_A}{T{P}_A}<\frac{样本总数-T{N}_B}{T{P}_B}$$$$\frac{T{P}_A+F{P}_A+F{N}_A}{T{P}_A}<\frac{T{P}_B+F{P}_B+F{N}_B}{T{P}_B}$$$$\frac{T{P}_A+F{P}_A}{T{P}_A}+\frac{T{P}_A+F{N}_A}{T{P}_A}<\frac{T{P}_B+F{P}_B}{T{P}_B}+\frac{T{P}_B+F{N}_B}{T{P}_B}$$
根据均值不等式：$$\frac{2}{\frac{1}{a}+\frac{1}{b}}=\frac{2ab}{a+b}⩽\sqrt{ab}⩽\frac{a+b}{2}$$（当且仅当a=b时取等号）
$$\because P=R$$$$\therefore \frac{TP+FP}{TP}=\frac{TP+FN}{TP}$$$$\therefore \frac{TP+FP}{TP}+\frac{TP+FN}{TP}=\frac{4}{P+R}$$$$\therefore P_A+R_A>P_B+R_B$$$$\therefore A的BEP值也比B高$$

可以考虑将AUC转换成一个$m^{+}\times m^{-}$的表格，计算每个点的过程即从原点向上或向右走的过程（待证）