关于随机森林和GBDT的一些思考

问1：随机森林产生过程？
答1：1)从原始数据集中采用有放回抽样，构造子数据集。自数据集数据量与原数据集相同，数据集间及数据集内元素可重复。
    2)通过子数据集建立不同的决策树。随机森林的输出结果由不同决策树投票获得。
    3)决策树建立过程中，待选特征随机获得。
    4)使用bagging思想


问2：随机森林的优点有哪些？
答2：1)能够处理高纬度的特征，并且不用做特征选择
    2)训练完成后，能够给出哪些特征比较重要
    3)训练速度快，可以并行




问3：随机森林的缺点有哪些？
答3：1)噪音太大时容易产生过拟合


问4：GBDT产生过程？
答4：1)先使用全部样本建立第一棵树
    2)计算1~(i-1)残差，第i棵树去拟合该残差
    3)1~(i-1)残差 = 【样本真实值】- 【1~(i-1)棵树预测值之和】
    4)使用boosting思想，每一次训练都是为了改进上一次结果


问5：GBDT如何避免过拟合？
答5：1)使用缩减思想。y(1 ~ i) = y(1 ~ i-1) + step * yi 其中，step~（0.01~0.001）
    2)每次走一小步逼近结果，比每次迈一大步更容易避免过拟合




问6：GBDT的优点有哪些？
答6：1)可以解决非线性回归


问7：GBDT的缺点有哪些？
答7：1)无法并行化
    2)对异常点敏感