softmax回归详解

基本模型

Softmax 回归是logistic回归是用的一般形式，它将logistic 激活函数推广到C类(C是神经网络模型的输出),而不仅仅是两类,是一种多分类器,如果C = 2,那么Softmax实际上变回了 logistic 回归。

逻辑回归使用的是sigmoid函数，将$\mathbf{w}x+b$ 的值映射到(0, 1)的区间，输出的结果为样本标签等于1的概率值；而softmax回归采用的是softmax函数，将$\mathbf{w}x+b$的值映射到[0, 1]的区间，输出的结果为一个向量，向量里的值为样本属于每个标签的概率值。

如下图所示：

假设sigmoid模型共有$n$个输入，记$w_i=(w_{i1},w_{i2},\cdots ,w_{in},b{)}^T,i=1,2,\dots ,c;x^{(j)}=(x_{j1},x_{j2},\dots ,x_{jn},1),j=1,2,\dots ,m;$ ，一共$k$ 类，m个样本。

设：
$$z_i=w_{i}x+b_i$$

$$h_w(x^{(j)})=\left[\begin{array}{c}{p}_1\\ p_2\\ ⋮\\ p_c\end{array}\right]=\frac{1}{{\sum }_{i=1}^K{e}^{z_i}}\left[\begin{array}{c}{e}^{z_1}\\ e^{z_2}\\ ⋮\\ e^{z_k}\end{array}\right]$$
一共$k$个类别。上式结果向量中最大值得对应类别为最终类别。

损失函数

softmax分类的损失函数是最小化对数似然函数的负数：
$$\begin{array}{rl}L(w)& =-\log P(y^{(i)}|x^{(i)};w)\\ & =-\prod _{k=1}^K\log {\left(\frac{e^{z_i}}{{\sum }_{j=1}^K{e}^{z_j}}\right)}^{y_k}\\ & =-\sum _{k=1}^K{y}_k\log \left(\frac{e^{z_k}}{{\sum }_{j=1}^K{e}^{z_j}}\right)\end{array}$$
注： y k = I { y ( j ) = k } y_k = I\{y^{(j)} = k\} yk​=I{y(j)=k} 是指示函数，当$y^{(j)}=k$，即当第$j$个样本属于第$k$个类别时，指示函数为1。 或者理解为：某个样本$x$对应的标签$y$为一个向量：$y=(y_1,y_2,\dots ,y_K)$，其中只有一个元素是1，如$y=(1,0,\dots ,0)$ 。

我们的目标是：
$$\min L(w)$$

求解最优参数

通过梯度下降法则求解最优参数。

设：某个样本的第$i$ 个输出
$$s_i=\frac{e^{z_i}}{{\sum }_{j=1}^K{e}^{z_j}}i=1,2,\dots ,K$$
针对某一个样本：
$$\begin{array}{rl}\frac{\partial L}{\partial w_i}& =\frac{\partial L}{\partial z_i}\frac{\partial z_i}{\partial w_i}\\ \frac{\partial L}{\partial b_i}& =\frac{\partial L}{\partial z_i}\frac{\partial z_i}{\partial b_i}\end{array}$$
显然：
$$\begin{gathered} \frac{\partial z_i}{\partial w_i}=x \\ \frac{\partial z_i}{\partial b_i}=1 \end{gathered}$$
所以核心问题是求$\frac{\partial L}{\partial z_i}$：
$$\frac{\partial L}{\partial z_i}=\sum _{k=1}^K\left[\frac{\partial L}{\partial s_k}\frac{\partial s_k}{\partial z_i}\right]$$
先求$\frac{\partial L}{\partial s_k}$：
$$\frac{\partial L}{\partial s_k}=\frac{\partial \left(-{\sum }_{k=1}^K{y}_k\log s_k\right)}{\partial s_k}=-\frac{y_k}{s_k}$$

再求$\frac{\partial s_k}{\partial z_i}$ :

先来复习一下复合求导：
$$\begin{gathered} f(x)=\frac{g(x)}{h(x)} \\ {f}^{\prime }(x)=\frac{g^{\prime }(x)h(x)-g(x)h^{\prime }(x)}{[h(x){]}^2} \end{gathered}$$
所以，分两种情况讨论：

（1）当$k\ne i$时，那么：
$$\begin{array}{rl}\frac{\partial s_k}{\partial z_i}& =\frac{\partial \frac{e^{z_k}}{{\sum }_{j=1}^K{e}^{z_j}}}{\partial z_i}\\ & =\frac{-e^{z_k}\cdot e^{z_i}}{({\sum }_{j=1}^K{e}^{z_j}{)}^2}\\ & =-\frac{e^{z_k}}{{\sum }_{j=1}^K{e}^{z_j}}\frac{e^{z_i}}{{\sum }_{j=1}^K{e}^{z_j}}\\ & =-s_k{s}_i\end{array}$$
（2）当$k=i$时，那么：
$$\begin{array}{rl}\frac{\partial s_k}{\partial z_i}& =\frac{\partial s_i}{\partial z_i}=\frac{\partial \frac{e^{z_i}}{{\sum }_{j=1}^K{e}^{z_j}}}{\partial z_i}\\ & =\frac{e^{z_i}{\sum }_{j=1}^K{e}^{z_j}-(e^{z_i}{)}^2}{({\sum }_{j=1}^K{e}^{z_j}{)}^2}\\ & =\frac{e^{z_i}}{{\sum }_{j=1}^K{e}^{z_j}}\frac{{\sum }_{j=1}^K{e}^{z_j}-e^{z_i}}{{\sum }_{j=1}^K{e}^{z_j}}\\ & =s_i(1-s_i)\end{array}$$
所以：
$$\begin{array}{l}\frac{\partial \mathrm{L}}{\partial {\mathrm{z}}_i}={\sum }_{k=1}^K\left[\frac{\partial L}{\partial s_k}\frac{\partial s_k}{\partial z_i}\right]={\sum }_{k=1}^K\left[-\frac{y_k}{s_k}\frac{\partial s_k}{\partial z_i}\right]\\ =-\frac{y_i}{s_i}\frac{\partial s_i}{\partial z_i}+{\sum }_{k=1,k\ne i}^K\left[-\frac{y_k}{s_k}\frac{\partial s_k}{\partial z_i}\right]\\ =-\frac{y_i}{s_i}{s}_i\left(1-s_i\right)+{\sum }_{k=1,k\ne i}^K\left[-\frac{y_k}{s_k}\cdot -s_k{s}_l\right]\\ =y_i\left(s_i-1\right)+{\sum }_{k=1,k\ne i}^K{y}_k{s}_i\\ =-y_i+y_i{s}_i+{\sum }_{k=1,k\ne i}^K{y}_k{s}_i\\ =-y_i+s_i{\sum }_{k=1}^K{y}_k\end{array}$$
对于某个样本$x$对应的标签$y$为一个向量：$y=(y_1,y_2,\dots ,y_K)$，其中只有一个元素是1，如$y=(1,0,\dots ,0)$ 。所以有：${\sum }_{k=1}^K{y}_k=1$，所以：
$$\frac{\partial \mathrm{L}}{\partial {\mathrm{z}}_i}=s_i-y_i$$
所以最终结果为：
$$\begin{gathered} \frac{\partial L}{\partial w_i}=(s_i-y_i)x \\ \frac{\partial L}{\partial b_i}=s_i-y_i \end{gathered}$$
所以，更新法则如下：
$$\begin{gathered} w_i=w_i-\eta (s_i-y_i)x \\ {b}_i=b_i-\eta (s_i-y_i) \end{gathered}$$
直至收敛为之。