XGBoost学习

一、背景

    XGBoost是陈天奇博士 开发的Boosting库。它是一个大规模、分布式的通用Gradient Boosting（GBDT）库，它在Gradient Boosting框架下实现了GBDT和一些广义的线性机器学习算法。xgboost的github地址。

二、XGBoost简要介绍

    XGBoos是在AdaBoost和GBDT等提升算法基础上进行了优化的算法，一般来说，算法都是由模型、参数和目标函数三部分组成。模型可以理解为基函数(一个函数的固定形式，也就是函数只会在这个函数的基础上变化而不会丢掉的函数)和权重的组合即一类问题的算法。参数就是算法学习的结果，就像决策树学习产生的从根节点通往叶节点的路径q和每个叶节点上面的期望权重w，改变参数（q，w）就是改变已有模型。优化目标函数需要实现两个目的：第一：尽量让预测值接近真实值；第二：保证模型的泛化能力（GeneralizationAbility）。为达到第一点，我们可以最小化损失函数，对于第二点，我们可以最小化损失函数过程中加上控制模型复杂度的惩罚项，也可称为正则化项，如L1，L2损失。我们优化目标函数以达到误差和复杂度综合最优。

三、XGBoost安装以及可能遇到的问题

    一直遇到一个问题，就是在python32bit中，总是存在这memerror的情况。这是因为在32bit的情况下，python最大占用的内存为4G，这显然不能满足现在一些程序的需求。为解决这个问题，我将python32bit和python64bit共存在电脑上。一般使用64bit的python，这样就不会再出现内存不足的情况了。

遇到的问题如下：

1.安装winpython版本

   安装winpython时，开始安装的是WinPython-64bit-3.4.4.3Qt5，但是这个安装完成后，打不开spyder。然后安装了WinPython-64bit-2.7.6.4，这个的spyder可以打开，我也不知道为什么。Winpython自带有python2.7，而且是64bit的。

2.安装完winpython之后，打开cmd，命令行python,出现的是32bit的python，即为原来的python版本。

解决方法：

Path变量添加：D:\Program Files\WinPython-64bit-2.7.6.4\python-2.7.6.amd64

D:\Program Files\WinPython-64bit-2.7.6.4\python-2.7.6.amd64\Scripts

然后在C:\Python27中找到python.exe，将这个文件重命名为python2.exe

这样的话