集成学习与随机森林

最基本的思路：
 一、 voting - hard voting soft voting    =>区别在于少数服从多数带不带权重

 二、大批量集成学习克服voting模型少    1.对于samples方面 baging pasting   随机取样
                                                                 2.也可以用于features方面(random subspaces)   特征空间采样           

                                                                 3.二者兼备(random patches) 
                                                                 具体例子有： random forest extra-trees 

三、其他集成学习思路
           boosting - adaboosting gredient-boosting             驱动

                  区别： Adaboosting  尝试给分错的样本增加权重  使其他模型学习到这些样本  从而使所有样本被子模型学到

                            gredient-boosting后面模型 只学习前面错误的样本依次使错误样本得到正确分类
         

           stacking ->神经网络 深度学习 把前面模型预测的输出作为下一层的输入  并用一部分测试数据训练后面的子模型

                            堆叠直到最后输出