西瓜书笔记

第一章 绪论

1、版本空间——图1.2的求法：

我觉得周老师可能是英文思维太强了，导致写出来的中文书有些时候比较拗口。比如说这个版本空间：

版本空间：
拗口的做法1：删去与正例不一致，与反例一致的假设
直观的做法2：留下与正例一致的假设，再去掉与反例一致的

书里貌似是说法1，这个比较难理解，按照这个来的做法也繁琐，比如[这个;]
但是换个说法，就很直观，那么 按照做法2就变成了下面的简单情况：

1、留下与正例1、2都一致的假设：

正例1反映出：色泽=（青绿，*）；根蒂=（蜷缩，*）；敲声=（浊响，*）；
正例2反映出：色泽=（乌黑，*）；根蒂=（蜷缩，*）；敲声=（浊响，*）；
版本空间需要满足全部正例子，故以上正例各属性分别各自取共同部分：
           色泽=（    * ）；根蒂=（蜷缩，*）；敲声=（浊响，*）
           
组合起来共4种：
色泽=（*）；根蒂=（蜷缩）；敲声=（浊响）
色泽=（*）；根蒂=（蜷缩）；敲声=（*）
色泽=（*）；根蒂=（*）；敲声=（浊响）
色泽=（*）；根蒂=（*）；敲声=（*）

2、删去与反例3、4一致的假设：

反例3反映出：色泽=（青绿，*）；根蒂=（硬挺，*）；敲声=（清脆，*）；
反例4反映出：色泽=（乌黑，*）；根蒂=（稍蜷，*）；敲声=（沉闷，*）；
删除1中4种组合满足3 or 4的情况：
色泽=（*）；根蒂=（*）；敲声=（*）

删去，得 版本空间
色泽=（*）；根蒂=（蜷缩）；敲声=（浊响）
色泽=（*）；根蒂=（蜷缩）；敲声=（*）
色泽=（*）；根蒂=（*）；敲声=（浊响）

第二章 模型评估与选择

1、公式2.21

$$\begin{array}{rl}{\ell }_{rank}& =\frac{1}{m^{+}{m}^{-}}\sum _{{\mathbf{x}}^{+}\in D^{+}}\sum _{{\mathbf{x}}^{-}\in D^{-}}\left(\mathbb{I}\left(f({\mathbf{x}}^{+})<f({\mathbf{x}}^{-})\right)+\frac{1}{2}\mathbb{I}\left(f({\mathbf{x}}^{+})=f({\mathbf{x}}^{-})\right)\right)\\ & =\frac{1}{m^{+}{m}^{-}}\sum _{{\mathbf{x}}^{+}\in D^{+}}\left[\sum _{{\mathbf{x}}^{-}\in D^{-}}\mathbb{I}\left(f({\mathbf{x}}^{+})<f({\mathbf{x}}^{-})\right)+\frac{1}{2}\cdot \sum _{{\mathbf{x}}^{-}\in D^{-}}\mathbb{I}\left(f({\mathbf{x}}^{+})=f({\mathbf{x}}^{-})\right)\right]\\ & =\sum _{{\mathbf{x}}^{+}\in D^{+}}\left[\frac{1}{m^{+}}\cdot \frac{1}{m^{-}}\sum _{{\mathbf{x}}^{-}\in D^{-}}\mathbb{I}\left(f({\mathbf{x}}^{+})<f({\mathbf{x}}^{-})\right)+\frac{1}{2}\cdot \frac{1}{m^{+}}\cdot \frac{1}{m^{-}}\sum _{{\mathbf{x}}^{-}\in D^{-}}\mathbb{I}\left(f({\mathbf{x}}^{+})=f({\mathbf{x}}^{-})\right)\right]\\ & =\sum _{{\mathbf{x}}^{+}\in D^{+}}\frac{1}{2}\cdot \frac{1}{m^{+}}\cdot \left[\frac{2}{m^{-}}\sum _{{\mathbf{x}}^{-}\in D^{-}}\mathbb{I}\left(f({\mathbf{x}}^{+})<f({\mathbf{x}}^{-})\right)+\frac{1}{m^{-}}\sum _{{\mathbf{x}}^{-}\in D^{-}}\mathbb{I}\left(f({\mathbf{x}}^{+})=f({\mathbf{x}}^{-})\right)\right]\end{array}$$
也就是梯形公式，求得是ROC曲线之上各梯形（矩形）面积之和：
$高=\frac{1}{m^{+}}$
$下底=\frac{1}{m^{-}}{\sum }_{{\mathbf{x}}^{-}\in D^{-}}\mathbb{I}\left(f({\mathbf{x}}^{+})<f({\mathbf{x}}^{-})\right)$
$上底=\frac{1}{m^{-}}{\sum }_{{\mathbf{x}}^{-}\in D^{-}}\mathbb{I}\left(f({\mathbf{x}}^{+})<f({\mathbf{x}}^{-})\right)+\frac{1}{m^{-}}{\sum }_{{\mathbf{x}}^{-}\in D^{-}}\mathbb{I}\left(f({\mathbf{x}}^{+})=f({\mathbf{x}}^{-})\right)$

2、代价曲线相关解释：见知乎