[机器学习]Lecture 2(Basic theory)：浅谈机器学习原理

目录

Review: Basic Idea of ML

Step 1: Function with Unknown Parameters

Step 2: Loss of a function

Step 3: Optimization

关于sample训练资料的讨论

---

浅谈机器学习原理

——再探宝可梦、数码宝贝分类器

Review: Basic Idea of ML

More parameters, easier to overfit.

Step 1: Function with Unknown Parameters

H表示未知参数h所有可能取值的集合

|H|表示在H里面有多少可能的选择，这个可能选择的数目叫做模型的复杂程度

Step 2: Loss of a function

Step 3: Optimization

Training Examples

 

 What do we want? We want to sample good Dtrain.

关于sample训练资料的讨论

下面讨论sample到一组坏的训练资料的几率有多大，这个讨论具有普适性，与model、loss function这些都没有关系。首先定义什么叫做不好的Dtrain，如下图：

如下图，选取到不好的Dtrain的概率会小于图中红框部分的概率（红框中的概率是Dtrain is bad的概率的上界，但是在实际中，红框部分概率很容易出现大于1的情况，这时候这个上界的值是没有作用的）。降低这个上界的办法是使用更大的N（sample更多的训练资料）或降低|H|的值（|H|在上面有解释）

通常来说，训练资料的数量在实际应用中不是由我们自己决定的，而改变|H|的大小，如下图，large |H|会使得理想与现实相差很大，而small |H|会使得理想变得很差，要想鱼与熊掌兼得——Deep learning。