Logistic回归（改进的随机梯度上升）

上一节我们讨论的随机梯度上升算法在进行迭代的过程中回归系数会出现激烈的改变，这一节我们对上一节的算法进行改进：

def stocGradAscent1(dataMatrix, classLabels, numIter=150):
    m,n = shape(dataMatrix)
    weights = ones(n)   #initialize to all ones
    for j in range(numIter):
        dataIndex = range(m)
        for i in range(m):
            alpha = 4/(1.0+j+i)+0.0001   
            randIndex = int(random.uniform(0,len(dataIndex)))
            h = sigmoid(sum(dataMatrix[randIndex]*weights))
            error = classLabels[randIndex] - h
            weights = weights + alpha * error * dataMatrix[randIndex]
            del(dataIndex[randIndex])
    return weights

在这个改进的算法中我们增加了两处代码，步长会随着迭代的次数增加而不断减小，但是不会减小到0，如果处理的是动态变化的问题可以适当的加大常数项。第二处改进的地方是回归系数的更新是通过随机选取样本点来进行的。这样可以减少周期性的波动。