AdaBoost算法2（基于单层决策树）

上节我们介绍了单层决策树的生成算法，今天我们就利用单层决策树创建完整的AdaBoost算法：

def adaBoostTrainDS(dataArr,classLabels,numIt=40):
    weakClassArr = []
    m = shape(dataArr)[0]
    D = mat(ones((m,1))/m)   
    aggClassEst = mat(zeros((m,1)))
    for i in range(numIt):
        bestStump,error,classEst = buildStump(dataArr,classLabels,D)
        alpha = float(0.5*log((1.0-error)/max(error,1e-16)))
        bestStump['alpha'] = alpha  
        weakClassArr.append(bestStump)                 
        expon = multiply(-1*alpha*mat(classLabels).T,classEst) 
        D = multiply(D,exp(expon))                             
        D = D/D.sum()
        aggClassEst += alpha*classEst
        aggErrors = multiply(sign(aggClassEst) != mat(classLabels).T,ones((m,1)))
        errorRate = aggErrors.sum()/m
        print "total error: ",errorRate
        if errorRate == 0.0: break
    return weakClassArr

该算法的输入包括数据集、类别标签以及迭代的次数，其中迭代次数是用户唯一需要自己指定的，但是当错误率为0时程序会自动终止，否则就迭代指定次数。aggClassEst用来记录数据点的类别估计值。然后一个循环进行迭代，首先调用函数建立一个单层决策树，然后计算该分类器的权重值alpha，权重值是基于每个弱分类器的错误率计算的来的.接下来的几行用来计算下一次迭代的D，具体怎么计算没搞明白，接下来的几行进行错误率累加计算，最后判断如果错误率为0就结束，最后返回整个决策树。接下来进行测试上述算法。

def adaClassify(datToClass,classifierArr):
    dataMatrix = mat(datToClass)
    m = shape(dataMatrix)[0]
    aggClassEst = mat(zeros((m,1)))
    for i in range(len(classifierArr)):
        classEst = stumpClassify(dataMatrix,classifierArr[i]['dim'],\
                                 classifierArr[i]['thresh'],\
                                 classifierArr[i]['ineq'])
        aggClassEst += classifierArr[i]['alpha']*classEst
        print aggClassEst
    return sign(aggClassEst)

该函数首先有两个输入参数分别为待测数据集和由多个弱分类器组成的数组，首先将测试数据集转换成矩阵，aggClassEst和上面函数中的功能一样。接着我们来看循环，首先利用每个弱分类器计算出分类结果，然后加权求和得出最后的结果，最后调用sign()函数得出最后预测结果