林轩田机器学习基石笔记（第16节）——概率论与机器学习建立连接

抽样与机器学习的对应关系

• 我们不知道罐子中橘色弹珠的数量比例，对应在机器学习中就是我们不知道在hypothesis中哪个h(x) 是我们要找的
• 弹珠表示x
• 橘色的弹珠代表 $h(x) \neq f(x)$
• 绿色的弹珠代表 $h(x) = f(x)$
• 抽样得到的橘色弹珠的比例对应机器学习中对应 $h(x) \neq f(x)$ 的几率

通过下图可以比较直观的看出：

$\\ $

现在引入两个值$E_{out}(h)$和$E_{in}(h)$对应抽样中的 μ 和 ν （其中 μ 代表真实的橘色弹珠比例，v代表抽样时橘色弹珠的比例）

• $E_{out}(h)$代表实际上$h(x) \neq f(x)$的比例，未知
• $E_{in}(h)$代表训练样本中$h(x) \neq f(x)$的比例，已知
• 最后用已知的$E_{in}(h)$推论未知的$E_{out}(h)$

如下图：

$\\ $

把$E_{out}(h)$和$E_{in}(h)$代入到霍夫丁不等式中得到：

$P[|v-μ|>\epsilon]\leq 2exp(-2\epsilon^2N)$
$\qquad \qquad \qquad \Downarrow$
$P[|E_{in}(h)-E_{out}(h)|>\epsilon]\leq 2exp(-2\epsilon^2N)$

在上一节我说，我们不需要关心 μ 是多少，所以在这里我们也不关心$E_{out}(h)$是多少，也不需要关心P是多少。

现在我们得到重要结论：根据霍夫丁不等式，我们可以由$E_{in}(h)$推论$E_{out}(h)$，即$E_{out}(h) \approx E_{out}(h)$。

当$E_{in}(h)$很小，即$h(x) \neq f(x)$在$E_{in}(h)$中出现很少，那么说明在$E_{out}(h)$中也会很少犯错。
$\\ $

$E_{in}(h)$依然还不是最优解

单个 h 的情况下，当N足够大的时候也会有$E_{out}(h) \approx E_{out}(h)$，但这并不代表该 h 就是我们想要的 h 使得$h=g$且$g \approx f$ 。

因为我们知道hypothesis中有很多的 h ，我们不能保证手上的这条 h 就是最好的那条，所以在以后的课程中我们还要介绍如何才能从hypothesis中选出最优的 h。

$\\ $
===========================懵逼分割线===========================

欢迎大家加入Q群讨论：463255841

===========================懵逼分割线===========================