林轩田机器学习基石笔记(第17节)——有限多个hypothesis如何选到合适的g

上一节我们讨论的问题对应的是单个hypothesis的情况,那么现在如果有多个hypothesis的情况下我们该如何选到最合适的 g 呢?

如果有一个 h(x) 在所有的训练数据中没有犯任何错误,那是否就意味着它就是我们所需要的 g 呢?答案是否定的!接下来我们就讨论这些问题。

霍夫丁不等式告诉我们,从罐子中取样大部分情况是能够反映真实的弹珠分布情况,即 Eout(h)Eout(h) E o u t ( h ) ≈ E o u t ( h ) 。但小部分情况下取样结果有可能与实际情况是不相符的,就比如某一次取样得到的全部都是绿色的弹珠,这时候我们不能因为这一次的取样结果就断定罐子中全部都是绿色弹珠,这样的样本我们称之为坏的样本(BAD Sample),即 Eout(h) E o u t ( h ) Eout(h) E o u t ( h ) 相差很远。hypothesis的数量越大,发生坏样本的几率越高。

穷举所有样本,对于单条hypothesis为坏样本的概率计算方法就是:用总概率P(D)乘以坏样本的数量,并全部累加起来。具体如下图:
这里写图片描述

如果现在有M条的hypothesis和5678抽样数据,那么我们该选择哪一笔抽样作为训练数据呢?要知道如果训练数据是坏样本,那么接下来的所有工作都有可能白费了,所以选择合适的资料成为了重中之重。如下图:
这里写图片描述
我们发现图中 D1 D 1 D5678 D 5678 对于所有的 h 几乎都是坏的样本,只有 D1126 D 1126 才算是合适的训练样本。只要数据对于某条 h 是不好的,我们就说它是坏的样本。

那么我们如何计算出所有BAD Sample的概率呢?
首先我们要把所有的 PD P D [BAD D]都加起来,即:
PD P D [BAD D]
= PD P D [BAD D for h 1 1 or BAD D for h 2 2 or … or BAD D for h M M ]
然后把括号拆开就得到如下式子,该式子叫uion bound
PD P D [BAD D for h 1 1 ]+ PD P D [BAD D for h 2 2 ]+…+ PD P D [BAD D for h M M ]
根据霍夫丁不等式 P[|Ein(h)Eout(h)|>ϵ]2exp(2ϵ2N) P [ | E i n ( h ) − E o u t ( h ) | > ϵ ] ≤ 2 e x p ( − 2 ϵ 2 N ) 我们知道我们可以不关心P和 Eout(h) E o u t ( h ) ,然后直接把上面的式子转换为下面的式子:
2exp(2ϵ2N) 2 e x p ( − 2 ϵ 2 N ) + 2exp(2ϵ2N) 2 e x p ( − 2 ϵ 2 N ) +…+ 2exp(2ϵ2N) 2 e x p ( − 2 ϵ 2 N )
又因为一共有M个训练样本,所以
2Mexp(2ϵ2N) 2 M e x p ( − 2 ϵ 2 N )

完整过程如下图:
这里写图片描述

现在我们已经保证了在多条hypothesis的情况下也能够选到合适的 g 了,但前提是hypothesis的个数是有限的,此处即为M。

===========================懵逼分割线===========================

欢迎大家加入Q群讨论:463255841

===========================懵逼分割线===========================

  • 1
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值