目录
Step 1: Function with Unknown Parameters
浅谈机器学习原理
——再探宝可梦、数码宝贝分类器
Review: Basic Idea of ML
More parameters, easier to overfit.
Step 1: Function with Unknown Parameters
H表示未知参数h所有可能取值的集合
|H|表示在H里面有多少可能的选择,这个可能选择的数目叫做模型的复杂程度
Step 2: Loss of a function
Step 3: Optimization
Training Examples
What do we want? We want to sample good Dtrain.
关于sample训练资料的讨论
下面讨论sample到一组坏的训练资料的几率有多大,这个讨论具有普适性,与model、loss function这些都没有关系。首先定义什么叫做不好的Dtrain,如下图:
如下图,选取到不好的Dtrain的概率会小于图中红框部分的概率(红框中的概率是Dtrain is bad的概率的上界,但是在实际中,红框部分概率很容易出现大于1的情况,这时候这个上界的值是没有作用的)。降低这个上界的办法是使用更大的N(sample更多的训练资料)或降低|H|的值(|H|在上面有解释)
通常来说,训练资料的数量在实际应用中不是由我们自己决定的,而改变|H|的大小,如下图,large |H|会使得理想与现实相差很大,而small |H|会使得理想变得很差,要想鱼与熊掌兼得——Deep learning。