Softmax，Label Smoothing原理与其NVCaffe实现

背景

对于多分类的任务，最后通常会连接一个全连接层作为分类器，输出每个类别预测出的confidence scores。这些scores会被softmax归一化为一个概率分布，表示每一个类别的预测概率。假设共有K个类别，对类i，网络输出的confidence score为$z_i$，那么softmax得到的输出为$q_i=softmax(z_i)$，其中softmax的计算定义为：
$$q_i=\frac{exp(z_i)}{{\sum }_{j=1}^{K}exp(z_j)}$$

显然，有$q_i>0$和${\sum }_{i=1}^K{q}_i=1$，这是一个有效的概率分布。

假设图片的真实标签为$y$，我们通常会认为真实的概率分布应该为$p_i=1ifi=y$否则$p_i=0$。在训练时，就会最小化预测概率分布与真实概率分布的交叉熵：
$$l(p,q)=-\sum _{i=1}^K{p}_{i}log{q}_i$$

为了最小化交叉熵，最优的预测概率分布应为$z_y^{\ast }=inf$，且$z_i^{\ast }\to 0(i̸=y)$，也就是说，神经网络的输出会被鼓励尽量去增加正确标签与错误标签的输出值之差，这样就容易出现过拟合问题。

Label smoothing

Label smoothing最早在$Inceptionv2$中被提出，作为一种正则化手段，可以提高网络的top-1和top-5各0.2%

Label;smoothing将认为的真实概率分布改变为
p i = { 1 − ϵ if  i  =  y ϵ / ( K − 1 ) otherwise p_i = \begin{cases} 1-\epsilon & \text{if $i$ = $y$} \\ \epsilon/(K-1) & \text{otherwise} \end{cases} pi​={