逻辑斯蒂回归详解

逻辑斯蒂分布

定义：设$X$ 是连续随机变量，$X$ 服从逻辑斯蒂分布是指$X$ 具有下列分布函数：
$$\begin{gathered} F(x)=P(X⩽x)=\frac{1}{1+e^{(-(x-\mu )/\gamma )}} \\ f(x)=\frac{\mathrm{d}F(x)}{\mathrm{d}x}=\frac{e^{(-(x-\mu )/\gamma )}}{\gamma (1+e^{(-(x-\mu )/\gamma )}{)}^2} \end{gathered}$$
式中： $\mu ,\gamma$ 为参数。

其函数图像如下：

二项逻辑斯蒂回归模型

二项逻辑斯蒂回归模型是一种分类模型，由条件概率分布$P(Y|X)$ 表示。$w=(w^{(1)},w^{(2)},\dots ,w^{(n)},b{)}^T$，$x=(x^{(1)},x^{(2)},\dots ,x^{(n)},1)$，分类模型的条件概率分布如下：
$$\begin{array}{r}P(Y=1|x)=\frac{\exp (w\cdot x)}{1+\exp (w\cdot x)}\\ P(Y=0|x)=\frac{1}{1+\exp (w\cdot x)}\end{array}$$
这是一个逻辑斯蒂分布，由逻辑斯蒂分布图可知：函数值越接近正无穷，概率值就越接近1，线性函数的值越接近负无穷，概率值就越接近0。

对于给定的输入实例$x$ 按照上式计算，比较两个条件概率值的大小，将$x$ 分到概率较大的哪一类。

定义事件的几率：事件发生的概率与事件不发生的概率的比值，所以其对数几率是：
$$logit(p)=\log \frac{p}{1-p}$$
逻辑斯蒂回归的对数几率为：
$$\log \frac{P(Y=1|x)}{1-P(Y=1|x)}=\log \frac{P(Y=1|x)}{P(Y=0|x)}=w\cdot x$$
从上式可知：在逻辑斯蒂回归模型中，输出$Y=1$ 的对数几率是输入x的线性函数。通过上式也可解得：
$$P(Y=1|x)=\frac{\exp (w\cdot x)}{1+\exp (w\cdot x)}$$
所以逻辑斯蒂回归又称“对数几率回归”。

模型的参数估计

对于给定数据集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , … , ( x N , y N ) } , x i ∈ R n , y i ∈ { 0 , 1 } T=\{(x_1,y_1),(x_2,y_2),\ldots,(x_N,y_N)\}, x_i \in \mathcal R^n, y_i \in\{0,1\} T={(x1​,y1​),(x2​,y2​),…,(xN​,yN​)},xi​∈Rn,yi​∈{0,1}，可以通过极大似然函数法估计模型的参数。

设：
$$P(Y=1|x)=\pi (x),P(Y=0|x)=1-\pi (x)$$
似然函数为：
$$\prod _{i=1}^N[\pi (x_i){]}^{y_i}[1-\pi (x_i){]}^{1-y_i}$$
对数似然函数为：
$$\begin{array}{rl}L(w)& =\log \prod _{i=1}^N[\pi (x_i){]}^{y_i}[1-\pi (x_i){]}^{1-y_i}\\ & =\sum _{i=1}^N[y_i\log (\pi (x_i))+(1-y_i)\log (1-\pi (x_i))]\\ & =\sum _{i=1}^N[y_i\log (\frac{\pi (x_i)}{1-\pi (x_i)})+\log (1-\pi (x_i))]\\ & =\sum _{i=1}^N[y_i(w\cdot x_i)-\log (1+\exp (w\cdot x_i))]\end{array}$$
注：上式的最后一步应用了逻辑斯蒂回归的对数几率关系。

对$L(w)$ 求极大值，得到$w$ 的估计值。

这样问题就变成了以对数似然函数为目标的最优化问题，该问题可以用牛顿法进行求解。

最大化似然函数等价于最小化下式：
$$l(w)=\sum _{i=1}^N[-y_i(w\cdot x_i)+\log (1+\exp (w\cdot x_i))]$$
$l(w)$ 是关于$w$ 的高阶可导连续凸函数， 采用牛顿法进行迭代求解。

$l(w)$ 是关于$w$ 的一阶导数，二阶导数分别为：
$$\begin{array}{rl}\frac{\partial l(w)}{\partial w}& =\sum _{i=1}^N[-y_i{x}_i+\frac{x_i\exp (w\cdot x_i)}{1+\exp (w\cdot x_i)}]\\ & =-\sum _{i=1}^N{x}_i\left(y_i-\frac{\exp (w\cdot x_i)}{1+\exp (w\cdot x_i)}\right)\\ & =-\sum _{i=1}^N{x}_i\left(y_i-P(Y=1|x)\right)\end{array}$$

$$\begin{array}{rl}\frac{{\partial }^{2}l(w)}{\partial w\partial w^T}& =\frac{\partial {\sum }_{i=1}^N\frac{x_i\exp (w\cdot x_i)}{1+\exp (w\cdot x_i)}}{\partial w^T}\\ & =\sum _{i=1}^N{x}_i\frac{(1+\exp (w\cdot x_i))\exp (w\cdot x_i)x_i-\exp (w\cdot x_i)\exp (w\cdot x_i)x_i}{(1+\exp (w\cdot x_i){)}^2}\\ & =\sum _{i=1}^N{x}_i{x}_i^T\frac{\exp (w\cdot x_i)}{(1+\exp (w\cdot x_i){)}^2}\\ & =\sum _{i=1}^N{x}_i{x}_i^{T}P(Y=1|x)(1-P(Y=1|x))\end{array}$$

其$t+1$ 轮迭代更新的公式为：
$$w^{(t+1)}=w^{(t)}-{\left(\frac{{\partial }^{2}l(w)}{\partial w\partial w^T}\right)}^{-1}\frac{\partial l(w)}{\partial w}$$

多项逻辑斯蒂回归

逻辑斯蒂回归如何用于多分类？主要是通过组合多个二分类器来实现多分类器的构造，假设有4个类别需要划分，类别分别为A，B，C，D。先选择一个类别作为主类别，假设选择D作为主类别。然后把A，B，C三个类分别的主类别D进行回归。所以会得到以下几个模型：

（1）类别A，类别D二项逻辑斯蒂回归模型，模型参数为$w_1$

（2）类别B，类别D二项逻辑斯蒂回归模型，模型参数为$w_2$

（3）类别C，类别D二项逻辑斯蒂回归模型，模型参数为$w_3$

分别计算：
$$\begin{array}{rl}P(Y=k|x)& =\frac{\exp (w_k\cdot x)}{1+{\sum }_{k=1}^{K-1}\exp (w_k\cdot x)},k=1,2,3\\ P(Y=K|x)& =\frac{1}{1+{\sum }_{k=1}^{K-1}\exp (w_k\cdot x)}K=4\end{array}$$
得到概率$P(Y=1|x),P(Y=2|x),P(Y=3|x),P(Y=4|x)$，其中最大的概率为其最终类别。

通过这个例子，可以看出:对于K分类，首先选出一个主类别，然后把主类别和其他的K -1 个类别分别进行二项逻辑斯蒂回归分类，所以多项逻辑斯蒂回归的模型为：
$$\begin{array}{rl}P(Y=k|x)& =\frac{\exp (w_k\cdot x)}{1+{\sum }_{k=1}^{K-1}\exp (w_k\cdot x)},k=1,2,\dots ,K-1\\ P(Y=K|x)& =\frac{1}{1+{\sum }_{k=1}^{K-1}\exp (w_k\cdot x)}\end{array}$$
接下来看看这个模型是如何推导出来的。

根据逻辑斯蒂回归的对数几率，计算$K-1$种可能的取值发生的概率相对取值$K$发生的概率的比值：
$$\begin{array}{rl}\ln \frac{P(Y=1|x)}{P(Y=K|x)}& =w_1\cdot x\\ \ln \frac{P(Y=2|x)}{P(Y=K|x)}& =w_2\cdot x\\ \cdots & \\ \ln \frac{P(Y=K-1|x)}{P(Y=K|x)}& =w_{K-1}\cdot x\end{array}$$
所以：
$$\begin{array}{rl}P(Y=1|x)& =P(Y=K|x)\exp (w_1\cdot x)\\ P(Y=2|x)& =P(Y=K|x)\exp (w_2\cdot x)\\ \cdots & \\ P(Y=K-1|x)& =P(Y=K|x)\exp (w_{K-1}\cdot x)\end{array}$$
观察式子，上式可以写成如下格式：
$$P(Y=k|x)=P(Y=K|x)\exp (w_k\cdot x),k=1,2,\dots ,K-1$$
因为最后得到的概率和为1，所以有
$$\begin{array}{rl}P(Y=K|x)& =1-\sum _{j=1}^{K-1}P(Y=j|x)\\ & =1-P(Y=K|x)\sum _{j=1}^{K-1}\exp (w_j\cdot x)\end{array}$$
解得：
$$P(Y=K|x)=\frac{1}{1+{\sum }_{j=1}^{K-1}\exp (w_j\cdot x)}$$
将$P(Y=K|x)$ 带入$P(Y=k|x),k=1,2,\dots ,K-1$，得：
$$\begin{array}{rl}P(Y=k|x)& =P(Y=K|x)\exp (w_k\cdot x),k=1,2,\dots ,K-1\\ & =\frac{1}{1+{\sum }_{j=1}^{K-1}\exp (w_j\cdot x)}\exp (w_k\cdot x),k=1,2,\dots ,K-1\\ & =\frac{\exp (w_k\cdot x)}{1+{\sum }_{j=1}^{K-1}\exp (w_j\cdot x)},k=1,2,\dots ,K-1\end{array}$$
这样就得到了最终得多分类模型：
$$\begin{array}{rl}P(Y=k|x)& =\frac{\exp (w_k\cdot x)}{1+{\sum }_{k=1}^{K-1}\exp (w_k\cdot x)},k=1,2,\dots ,K-1\\ P(Y=K|x)& =\frac{1}{1+{\sum }_{k=1}^{K-1}\exp (w_k\cdot x)}\end{array}$$