pac,概率近似正确学习模型
P
(
p
(
f
(
x
)
−
y
)
≤
ε
)
=
1
−
δ
P(p(f(x)-y)\leq\varepsilon)=1-\delta
P(p(f(x)−y)≤ε)=1−δ
让右侧尽可能为1
术语
示例instance是样本属性的集合,瓜的颜色,根蒂的样式
样例example是在示例结果上增加标签/结果属性(好瓜还是坏瓜)的集合
泛化可以理解为模型的推广,泛化阈指
ε
\varepsilon
ε的取值范围
验证集:训练集中专门用于调参数的集合。算法参数选定后,要用训练集+验证集重新训练最终模型
经验误差,在训练集上的误差
测试误差,在测试集上的误差
归纳偏好
奥卡姆剃刀原则中: 两个假设中哪个假设更简单是不容易判断的。
最简单的就是好的
NFL定理:没有免费的午餐,一个算法a,若在某些问题上比另一个算法b比好,则必存在另一些问题,b比a好。