机器学习（回归六）——逻辑回归

逻辑回归本质是分类问题，而且是二分类问题，不属于回归，为何把逻辑回归放到回归系统博客中呢？我们可以这样理解，逻辑回归就是用回归的办法来做分类。它是在线性回归的基础上，通过Sigmoid函数进行了非线性转换，从而具有更强的拟合能力。

Sigmoid函数

Sigmoid函数具体的计算公式如下：
$$g(z)=\frac{1}{1+e^{-z}}$$

当x为0时，Sigmoid函数值为0.5。随着x的增大，对应的Sigmoid值将逼近于1；而随着x的减小，Sigmoid值将逼近于0。两种坐标尺度下的Sigmoid函数图。上图的横坐标为-5到5，这时的曲线变化较为平滑；下图横坐标的尺度足够大，可以看到，在x = 0点处Sigmoid函数看起来很像阶跃函数，如果横坐标刻度足够大（上图中的下图），Sigmoid函数看起来很像一个阶跃函数。

Logistic回归分类器

为了实现Logistic回归分类器，我们可以在每个特征上都乘以一个回归系数，然后把所有的结果值相加，将这个总和代入Sigmoid函数中，进而得到一个范围在0~1之间的数值。任何大于0.5的数据被分入1类，小于0.5即被归入0类。所以，Logistic回归也可以被看成是一种概率估计。
$$p=h_{\theta }(x)=g({\theta }^{T}x)=\frac{1}{1+e^{-{\theta }^{T}x}}$$
所以说，Logistic回归分类器可以看成线性回归与sigmoid的混合函数，是一个二分类的模型（这里是取的0和1，有的算法是+1和-1）
$$y=\{\begin{array}{l}0\\ 1\end{array}$$
$$\hat{y}=\{\begin{array}{l}0,P(\hat{y}=1)>p\\ 1,P(\hat{y}=0)>p\end{array}$$
在用于分类时，实际上是找一个阈值，大于阈值的属于1类别，小于的属于0类别。（阈值是可根据具体情况进行相应变动的）

公式推导

\,	y=1	y=0
p(y|x)	$\theta$	$1-\theta$

我们假设
$$\begin{gathered} P(y=1│x;\theta )=h_{\theta }(x) \\ P(y=0│x;\theta )=1-h_{\theta }(x) \end{gathered}$$
把两个式子结合
$$P(y│x;\theta )={\left(h_{\theta }(x)\right)}^y{\left(1-h_{\theta }(x)\right)}^{1-y}$$
这是因为，我们期望的是，对于单个样本

• 当y=1时，我们期望 $h_{\theta }(x)$ 最大
• 当y=0时，我们期望 $1-h_{\theta }(x)$ 最大

所以综合起来：我们期望 $P(y│x;\theta )={\left(h_{\theta }(x)\right)}^y{\left(1-h_{\theta }(x)\right)}^{1-y}$ 最大

我们可以对所有样本取似然函数
$$\begin{array}{r}L(\theta )=p(\vec{y}|X;\theta )=\prod _{i=1}^{m}p\left(y^{(i)}|x^{(i)};\theta \right)=\prod _{i=1}^m{\left(h_{\theta }\left(x^{(i)}\right)\right)}^{y^{(i)}}{\left(1-h_{\theta }\left(x^{(i)}\right)\right)}^{\left(1-y^{(i)}\right)}\end{array}$$
累乘不好求，我们可以求其对数似然函数
$$\begin{array}{r}l(\theta )=\log L(\theta )=\sum _{i=1}^m\left(y^{(i)}\log h_{\theta }\left(x^{(i)}\right)\right)+\left(1-y^{(i)}\right)\log \left(1-h_{\theta }\left(x^{(i)}\right)\right)\end{array}$$

最值的问题，我们可以求导。
$$\begin{array}{rl}\frac{\partial l(\theta )}{\partial {\theta }_j}& =\sum _{i=1}^m\left(\frac{y^{(i)}}{h_{\theta }(x^{(i)})}-\frac{1-y^{(i)}}{1-h_{\theta }(x^{(i)})}\right)\cdot \frac{\partial h_{\theta }(x^{(i)})}{\partial {\theta }_j}\\ & =\sum _{i=1}^m\left(\frac{y^{(i)}}{g({\theta }^T{x}^{(i)})}-\frac{1-y^{(i)}}{1-g({\theta }^T{x}^{(i)})}\right)\cdot \frac{\partial g({\theta }^T{x}^{(i)})}{\partial {\theta }_j}\\ & =\sum _{i=1}^m\left(\frac{y^{(i)}}{g({\theta }^T{x}^{(i)})}-\frac{1-y^{(i)}}{1-g({\theta }^T{x}^{(i)})}\right)\cdot g({\theta }^T{x}^{(i)})\left(1-g({\theta }^T{x}^{(i)})\right)\cdot \frac{\partial ({\theta }^T{x}^{(i)})}{\partial {\theta }_j}\\ & =\sum _{i=1}^m\left(y^{(i)}\left(1-g({\theta }^T{x}^{(i)})\right)-(1-y^{(i)})g({\theta }^T{x}^{(i)})\right)\cdot X_j^{(i)}\\ & =\sum _{i=1}^m\left(y^{(i)}-g({\theta }^T{x}^{(i)})\right)\cdot X_j^{(i)}\end{array}$$

不难发现：和梯度下降的公式极其类似
$$\sum _{i=1}^m\left(h_{\theta }(x^{(i)})-y^{(i)}\right)x_j^{(i)}$$
这里需要补充一下，在上面求导的过程中，第二行到第三行省略了Sigmoid求导的过程，具体如下：

$$\begin{array}{rl}{g}^{{}^{\prime }}(z)& ={\left(\frac{1}{1+e^{-z}}\right)}^{{}^{\prime }}\\ & =\frac{e^{-z}}{(1+e^{-z}{)}^2}\\ & =\frac{1}{1+e^{-z}}\cdot \frac{e^{-z}}{1+e^{-z}}\\ & =\frac{1}{1+e^{-z}}\cdot \left(1-\frac{1}{1+e^{-z}}\right)\\ & =g(z)\cdot \left(1-g(z)\right)\end{array}$$

接着上面对数似然的求导结果。我们期望的是极大似然，可以进行一下转换，类似于梯度下降来求 $\theta$
$${\theta }_j={\theta }_j+\alpha \sum _{i=1}^m\left(y^{(i)}-h_{\theta }(x^{(i)})\right)\cdot x_j^{(i)}$$
上式为BGD
$${\theta }_j={\theta }_j+\alpha \left(y^{(i)}-h_{\theta }(x^{(i)})\right)x_j^{(i)}$$
上式为SGD

我们要让对数似然函数最大，也就是他的相反数 $-l(\theta )$ 最小。而 $-l(\theta )$ 最小化，则可以看成损失函数，求其最小化：
$$loss=-l(\theta )$$

先看一下极大似然估计
$$L(\theta )=\prod _{i=1}^{m}p\left(y^{(i)}|x^{(i)};\theta \right)=\prod _{i=1}^m{p}_i^{y^{(i)}}{\left(1-p_i\right)}^{1-y^{(i)}}$$
$$l(\theta )=\ln L(\theta )=\sum _{i=1}^m\ln \left(p_i^{y^{(i)}}{\left(1-p_i\right)}^{1-y^{(i)}}\right)$$

注意，这里 $$p_i=h_{\theta }(x^{(i)})=\frac{1}{1+e^{-{\theta }^T{x}^{(i)}}}$$

所以，我们可以得到损失函数：
$$\begin{array}{rl}loss& =-l(\theta )\\ & =-\sum _{i=1}^m\left(y^{(i)}\ln (p_i)+(1-y^{(i)})\ln (1-p_i)\right)\\ & =\sum _{i=1}^m\left(-y^{(i)}\ln (h_{\theta }(x^{(i)}))-(1-y^{(i)})\ln (1-h_{\theta }(x^{(i)}))\right)\end{array}$$
这个结果就是交叉熵损失函数。

总结

就一句话：通过以上过程，会发现逻辑回归的求解，跟线性回归的求解基本相同。