一、复习2D PLA算法
如下图所示,左边红色部分表示如果数据集
D
D
是线性可分的情况下,PLA算法最终会停下来,我们会得到一条能够把所有数据都二分为两类的线段,该线段能够保证在已知的数据上犯错的概率为0,即。
图中右边部分,则通过霍夫丁不等式从侧面证明了如果我们数据量够大,并且
dVC
d
V
C
已知的情况下,我们可以保证
Ein(g)≈Eout(g)
E
i
n
(
g
)
≈
E
o
u
t
(
g
)
。
左边和右边相互结合起来,我们推出了
Eout≈0
E
o
u
t
≈
0
。这正是我们前面所有课程苦苦证明的结果。
二、d维度二元分类的VC Dimension会不会是 dVC=d+1 d V C = d + 1 ?
我们已经知道1D Perceptrons的
dVC=2
d
V
C
=
2
,2D Perceptrons的
dVC=3
d
V
C
=
3
,那么d维Perceptrons的VC Dimension是多少呢?如下图:
观察1D和2D,我们发现 dVC d V C 似乎总是等于维数d加1,即 dVC=d+1 d V C = d + 1 。那么是否这就意味着所有的VC Dimension都是如此呢?沿着这一猜想,我们只需要证明 d+1≤dVC≤d+1 d + 1 ≤ d V C ≤ d + 1 就可以间接证明 dVC=d+1 d V C = d + 1 。
在进入正式的证明之前,我们先来复习一下矩阵的相关知识,因为接下来要用到。
![]()
![]()
![]()
![]()
![]()
![]()
这一节接下来的内容都是证明d维上的VC Dimension都是 d+1 d + 1 ,具体的证明过程我不甚了解,我这边只要记录结果就好了,以后有机会再回来看吧,要不然要卡在这里无法继续往下学习了,实在是太难。
===========================懵逼分割线===========================
欢迎大家加入Q群讨论:463255841
===========================懵逼分割线===========================