逻辑回归（对数几率回归，Logistic Regression）

什么是逻辑回归？

逻辑回归的实质是事件发生的概率除以事件不发生的概率后取对数。这种变换，将自变量和因变量的关系变成了线性的。逻辑回归经常被用于二分类问题。当然，它也是可以应用与多分类问题的。下面我们一步一步来看逻辑回归的数学推导。

逻辑回归的主要思想

首先，我们定义样本$x$的类后验概率估计：$p(y=1|x)$ 和 $p(y=0|x)$
则下面的对数几率函数反映了$x$作为正例的相对可能性：
$$ln\frac{p(y=1|x)}{p(y=0|x)}=w^{T}x+b(1)$$
显然，我们可以得到：
$$p(y=1|x)=\frac{e^{w^{T}x+b}}{1+e^{w^{T}x+b}}$$
如果我们将其转化为Sigmoid的形式，则：
$$\begin{array}{rlr}& p(y=1|x)=\frac{1}{1+e^{-(w^{T}x+b)}}& (2)\\ & p(y=0|x)=\frac{1}{1+e^{w^{T}x+b}}& (3)\end{array}$$
有了上面的两个概率，我们就可以用极大似然估计法去估计参数$w$和$b$了。为了简化计算，我们将采用对数似然(log-likelihood)：
l ( w , b ) = ∑ i = 1 m l n [ p ( y i ∣ x i , w , b ) ] ( 4 ) 给 定 数 据 集 { ( x i , y i ) } i = 1 m l(w,b)=\sum_{i=1}^{m}ln{[p(y_i|x_i,w,b)]}\qquad(4)\\ 给定数据集\{(x_i,y_i)\}_{i=1}^m l(w,b)=i=1∑m​ln[p(yi​∣xi​,w,b)](4)给定数据集{ (xi​,yi​)}i=1m​
上述最大似然函数是为了找到令各个样本属于其真实标记的可能性最大的参数$w$和$b$

---

如何求得参数$w$和$b$？

为了方便讨论，令$\beta =(w;b),\hat{x}(x;1)$, 假设每个样本用$n$个特征，下面的式子中$x_i$表示样本$x$的第$i$个特征。此时我们有：
$$\begin{array}{rl}& w^T+b={\beta }^T\hat{x}=w_1{x}_1+w_2{x}_2+w_3{x}_2+...+w_n{x}_n+b\\ & \hat{x}=\left(\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_n\\ 1\end{array}\right)\beta =(\begin{array}{c}\\ w_1\\ w_2\end{array}\end{array}$$