机器学习实战 第五章 Logistics回归

我喜欢偷懒，所以经常可以找到一些办法，用最小的代价获得尽可能大的成果，比如说我一天中有哪几个时间段工作效率最高，我就可以专门挑这些时间去学习；我下课了要去吃饭，就要选择最快到达食堂的交通方式以及路线…要想得出最合适的方案， 首先要不断去尝试各种路线，以“求最优学习时间”为例，我可以连着几天在不同时间点学习，每次学习完给自己的状态打分，最终得出一个 学习时间段-分数的数据集；然后就可以用这些数据去画一个散点图，若这些点试图产出一条直线或直线轮廓的过程，称为 拟合，专业术语“回归”则表示一种最佳的拟合。

1.基于Logistics回归和Sigmoid函数的分类

我希望输入样本后可以直接得出一个标签（数字化表示：不是0，就是1），在坐标轴显示的话就是一个阶跃函数，一种处理瞬间跳跃的办法就使用Sigmoid函数，如式1：
$$\sigma (z)=\frac{1}{1+e^{-z}}\text{\hspace{1em}(1)}$$

def f(z):
    y = 1 / (1 + e ** (-z))
    return y

若z范围不大，则图像比较平滑

若这个范围足够大，图像看起来就像是阶跃函数

可见Sigmoid函数值并不稳定，我希望能让这个值只有0,1两种选择，可以考虑为每个影响z值的特征均乘以一个回归系数再叠加，以得到的结果做一次分类（小于0.5置为0，大于等于0.5则置为1），最后实现二值化。

特征值乘以回归系数的表示如式2
$$z=w_0{x}_0+w_1{x}_1+...+w_n{x}_n\text{\hspace{1em}(2)}$$
$x_n$表示一系列特征，$w_n$表示对应的系数，用向量表示的话更好看些，如式3
$$z=w^{T}x\text{\hspace{1em}(3)}$$
书上对系数进行优化的方案是梯度上升算法，它的工作原理是：沿着函数的梯度方向，找出函数的最大值，如式4所示，在一个点有定义、可微的前提下，求x方向上的偏导(仅在x轴方向移动)
$$\nabla f(x,y)=\left\{\frac{\partial f(x,y)}{\partial x}\right\}\text{\hspace{1em}(4)}$$
从初始点开始计算，每到达一个点都会重新计算新的梯度、移动到下一个点，在这一迭代过程中，算法保证，每次都能取到最优方向。结果受迭代次数、移动量$\alpha$影响，如式5所示，迭代过程会一直进行，直到达到指定次数或结果达到预期成效
$$w:=w+\alpha {\nabla }_{w}f(w)\text{\hspace{1em}(5)}$$
类似的，有梯度下降算法，用来求最小值

2.训练算法：使用梯度上升找出最佳参数并绘制决策边界

处理的是一个txt文本文件，内含100个样本，具有x、y两种性质，标签为0或1

def loadDataSet():
    dataMat = []  # 创建数据列表
    labelMat = []  # 创建标签列表
    fr = open('testSet.txt')  # 打开文件
    for line in fr.readlines():  # 逐行读取
        lineArr = line.strip().split()  # 去回车，放入列表
        dataMat.append([1.0, float(lineArr[0]), float(lineArr[1])])  # 添加数据
        labelMat.append(int(lineArr[2]))  # 添加标签
    fr.close()  # 关闭文件
    return dataMat, labelMat  # 返回

计算Sigmoid值

def sigmoid(inX):
    return 1.0 / (1 + np.exp(-inX))

计算出最佳系数

def gradAscent(dataMatIn, classLabels):
    dataMatrix = np.mat(dataMatIn)  # 转换成numpy的mat
    labelMat = np.mat(classLabels).transpose()  # 转换成numpy的mat,并进行转置
    m, n = np.shape(dataMatrix)  # 返回dataMatrix的大小。m为行数,n为列数。
    alpha = 0.001  # 移动步长,也就是学习速率,控制更新的幅度。
    maxCycles = 500  # 最大迭代次数
    weights = np.ones((n, 1))
    for k in range(maxCycles):
        h = sigmoid(dataMatrix * weights)  # 梯度上升矢量化公式
        error = labelMat - h
        weights = weights + alpha * dataMatrix.transpose() * error
    return weights.getA()

绘制数据集并显示决策边界

def plotBestFit(weights):
    dataMat, labelMat = loadDataSet()  # 加载数据集
    dataArr = np.array(dataMat)  # 转换成numpy的array数组
    n = np.shape(dataMat)[0]  # 数据个数
    xcord1 = []
    ycord1 = []  # 正样本
    xcord2 = []
    ycord2 = []  # 负样本
    for i in range(n):  # 根据数据集标签进行分类
        if int(labelMat[i]) == 1:
            xcord1.append(dataArr[i, 1])
            ycord1.append(dataArr[i, 2])  # 1为正样本
        else:
            xcord2.append(dataArr[i, 1])
            ycord2.append(dataArr[i, 2])  # 0为负样本
    fig = plt.figure()
    ax = fig.add_subplot(111)  # 添加subplot
    ax.scatter(xcord1, ycord1, s=20, c='red', marker='s', alpha=.5)  # 绘制正样本
    ax.scatter(xcord2, ycord2, s=20, c='green', alpha=.5)  # 绘制负样本
    x = np.arange(-3.0, 3.0, 0.1)
    y = (-weights[0] - weights[1] * x) / weights[2]
    ax.plot(x, y)
    plt.title('BestFit')  # 绘制title
    plt.xlabel('X1')
    plt.ylabel('X2')  # 绘制label
    plt.show()

决策边界对样本进行划分的效果还可以，但还是有一些误差，书上用到“梯度上升算法”的改进：“随机梯度算法”，它只需要一个样本就可以完成一次迭代，而前者每次迭代都需要用到整个数据集，公式为
$$weights=weights+alpha\ast grand$$
如果数据集很大，那么用随机上升可以忽略掉一些样本细节从而提高效率，如果数据集很小，为了减小误差可以用梯度上升算法。

3.小结

逻辑回归模型的系数大小 应该是某个特征对结果的影响程度，对结果具有很好的解释性。这次只做了一个实验，用到100个样本，不过最终的决策边界也能够很好地实现分类。但是逻辑回归对坏值比较敏感，在样本少的情况下这种敏感表现得更明显（在文本里加了一个点[-10,10,1]）