Regularization -- 正则化

提到机器学习的过拟合问题，会想到用正则化来处理，正则化是什么意思呢？在知乎上看到一个很形象的解释。

首先，用一个例子来理解什么是过拟合，假设我们要根据特征分类{男人X，女人O}。

请看下面三幅图，x1、x2、x3；

这三幅图很容易理解：

1、 图x1明显分类的有点欠缺，有很多的“男人”被分类成了“女人”。

2、 图x2虽然有两个点分类错误，但是能够理解，毕竟现实世界有噪音干扰，比如有些人男人留长发、化妆、人妖等等。

3、 图x3分类全部是正确的，但是看着这副图片，明显觉得过了，连人妖都区分的出来，可想而知，学习的时候需要更多的参数项，甚至将生殖器官的形状、喉结的大小、有没有胡须特征等都作为特征取用了，总而言之f(x)多项式的N特别的大，因为需要提供的特征多，或者提供的测试用例中我们使用到的特征非常多(一般而言，机器学习的过程中，很多特征是可以被丢弃掉的)。

好了，总结一下三幅图：

x1我们称之为【欠拟合】

x2我们称之为【分类正拟合】，随便取的名字，反正就是容错情况下刚好的意思。

x3我们称之为【过拟合】，这种情况是我们不希望出现的状况，为什么呢？很简单，它的分类只是适合于自己这个测试用例，对需要分类的真实样本而言，实用性可想而知的低。

恩，知道了过拟合是怎么回事之后，我们来看一下如何去规避这种风险。先不管什么书上说的、老师讲的、经验之说之类的文言文。咱们就站在第一次去接触这种分类模型的角度去看待这个问题，发散一下思维，我们应该如何去防止过拟合？