MLaPP Chapter 8 Logistic Regression 逻辑斯特回归

8.1 Introduction

LR 是一个非常重要的模型，几乎所有的机器学习职位面试都会问到。因此这章是重点，一定要看懂。

8.2 Model specification

把线性回归的高斯分布，换成伯努利分布，就成了逻辑斯特回归，不过这个模型其实是个分类模型，

$$p(y|\mathbf{x}, \mathbf{w}) = \text{Ber}(y|\text{sigm}(\mathbf{w}^T\mathbf{x}))$$ 其中 $$\text{sigm}(\eta) \triangleq \frac{e^\eta}{1+ e^\eta}$$ 表示 sigmoid function, or logit or logistic function.

最后 LR 学到的是一个线性决策面，而 $\mathbf{w}$ 就是该决策面的垂线（perpendicular）。

8.3 Model fitting 模型拟合

这一小节考虑怎么来估计 LR 中的参数，即 $\mathbf{w}$ 的取值。

8.3.1 MLE

$\text{LR}$ 里用的是伯努利分布（Bernoulli Distribution），其中只有一个参数 $\theta$，如果用

$$u_i = p(y_i = 1) = \text{sigm}(\mathbf{w}^T\mathbf{x}_i) = \frac{1}{1+e^{\mathbf{w}^T\mathbf{x}_i}}$$ 表示第 $i$ 个样本中 $y_i = 1$ 的概率，那么 $\text{LR}$ 的 negative log-likelihood 如下， $$\begin{align*} \text{NLL}(\mathbf{w}) & = -\sum_{i=1}^N \log [\mu_i^{\mathbb{I}(y_i = 1)} \times (1-\mu_i)^{\mathbb{I}(y_i = 0)}]\\ & = -\sum_{i=1}^N [y_i\log\mu_i + (1-y_i)\log(1-\mu_i)] \end{align*}$$ 这个就是交叉熵（cross entropy）损失函数。

也有另一种表示方法，令

$$\hat y_i \in \{-1, +1\},\quad p(y=1) = \frac1{1+\exp(-\mathbf{w}^T\mathbf{x})},\quad p(y=0) = \frac1{1+\exp(+\mathbf{w}^T\mathbf{x})}$$ 那么可以重写损失函数， $$\text{NLL}(\mathbf{w}) = \sum_{i=1}^N \log(1+\exp(-\hat y_i \mathbf{w}^T\mathbf{x}_i))$$

---

yu这个交叉熵损失函数并没有封闭式解（closed-form solution），而是只能通过优化算法（optimizatin algorithm）或者说叫做迭代（iterative）的算法来解决。（关于封闭式解，可以举计算 $\sqrt 8$ 的例子来说明。）

我们来算一下第一种 $\text{NLL}$ 的梯度回传，注意书里的 $f(\mathbf{w}) \triangleq \text{NLL}(\mathbf{w})$，且记住 sigmoid 函数的一阶导数为 $u_i' = u_i (1 - u_i)$，或者稍微推导一下吧，

$$u'(\alpha) = \left ( \frac1{1 + e^\alpha} \right )' = \frac{e^\alpha}{(1+e^\alpha)^2} = u(\alpha)(1 - u(\alpha))$$ 那么一阶导数就可以像下面这样计算啦，

g=ddwf(w)=−ddw∑i=1N[yilogμi+(1−yi)log(1−μi)]=∑i−(yiuiduidw+1−yi1−ui(−1)duidw)=∑iui−yiui(1−ui)duidw=∑iui−yiui(1−ui)duidαdαdw,α=wTxi,duidα=u′(α)=∑i