快速弄懂机器学习里的集成算法：原理、框架与实战（一）

1.关于集成学习算法
集成学习算法，通俗地讲就是：三个臭皮匠，顶个诸葛亮，这在很多地方都有人提过。举个例子，比如你想第一本书，但是你不知道这本书怎么样，值不值得读，那么你可以通过打听，听取周围人的意见，得到对该书的一个基本评价，这是一种评价方式。你还可以通过京东、当当等电商网站上买书的人对该书的相关评论，得到一些意见，还有就是，你也可以通过豆瓣上对该书的评价，来获取相关信息。
这都是一些对该书评价的基本方法，最终的结果可能就是，你综合这几种意见，最后得到对该书的一个全面性评价，可能这种评价方式比你单纯依赖一种方式的效果好。
集成算法就是这样一种算法，它本身不是一个单独的机器学习算法，或者说没有自身的机器学习思维，而是采用集成的方式来完成对数据或事物的学习、训练过程。

2.关于集成学习算法的框架体系
集成学习算法作为机器学习里的一个分支，已形成了一套的理论体系，其相关概念也比较多，如个体学习器、结合策略、bagging、AdaBoost算法、XGB、LGBT等等，让初学者眼花缭乱，每个具体算法的原理不同又会让大家晕头转向。
实际上，这些繁多的内容背后，集成学习算法可以分成两大框架，这也是集成学习着重解决的两个算法。崔丽娟等（2007）在论文《基于分类的集成学习算法研究》中认为集成学习主要由两部分构成：个体生成方法与结论生成方法，这就是集成学习的两个框架。
本人认为，这两部分叫个体集成方法与结论集成方法更贴切，其中前者表示如何得到若干个个体学习器，针对的是每一个具体算法，我如何操作，来集成其优点，后者表示如何选择一种结合策略将个