metric deep learning loss

1. softmax loss

Forward:

$$Z_j={w^T_{{y_j}}x_i+b_{y_j}} （1）$$
$$p_j = \frac{e^{Z_j}}{\sum_k e^{Z_k}} （2）$$
$$L_k=-\sum_j q_{j,k} log {p_j}（3）$$
Backward:
$$\frac {\partial p_j}{\partial Z_m}=p_j(1-p_j),m=j$$
$$\frac {\partial p_j}{\partial Z_m}=-p_jp_m,m\ne j$$
$$\begin{array}{lcl} \frac {\partial L_k}{\partial Z_m} & = &-\sum_j q_{j,k}{\frac {\partial logp_j}{\partial Z_m}}\\ & = &-\sum_j q_{j,k}{\frac {1}{p_j}}{\frac {\partial p_j}{\partial Z_m}}\\ & = & -\sum_{j=m} q_{j,k}{\frac {1}{p_j}}p_j(1-p_j)-\sum_{m\ne j} q_{j,k}{\frac {1}{p_j}}(-p_jp_m)\\ & = & -\sum_{j=m} q_{j,k}(1-p_j)-\sum_{m\ne j} q_{j,k}(-p_m)\\ & = & -\sum_{j=m} q_{j,k}(1-p_j)-\sum_{m\ne j} q_{j,k}(-p_m)\\ & = & p_m - q_{m,k} \end{array}$$
$$\frac {\partial L_i}{\partial w_k} = \frac {\partial L_i}{\partial Z_m} \frac {\partial Z_m}{\partial w_k}=x_i^T(p_m-q_{m,i})$$
$$\nabla_{w_k} L=1/N \sum_i x_i^T(p_m-q_{m,i})+2\lambda w_k$$
交叉熵softmax注意事项：
1. 在用softmaxloss训练模型时，如果学习率太大，可能会导致loss=NAN。考虑上面第（2）式子，如果j=k时， $p_j$趋近于0，（3）loss就会nan。如果出现这种情况，可以考虑用较小的学习率。也有可能是初始化权重太大，尝试用不同的初始化策略，比如用xaiver把初始化的权重再除以10或100，尝试加batch_normalizetion层，可以把输出scale较小的范围。
2. 考虑数值计算稳定性情况下的Softmax损失函数
$$p_j = \frac{e^{Z_j-max(Z_j)}}{\sum_k e^{Z_k-max(Z_j)}}$$
因为指数计算和指数求和的结果可能非常大，会出现overflow,超出浮点数的范围。

2. Center loss

Foward:

$$L_c = \frac{1}{2} \sum_{i=1}^m{|| x_i - c_{y_i}||^2_2}$$
$x_i$：第i张图片的特征值
$c_{y_i}$：该图片所属分类的中心（该分类的特征值的中心）
Backward:
$$\frac {\partial L_c}{\partial x_i}=x_i-c_{y_i}$$
$$\nabla_{c_j}L_c=\frac {\sum_i \delta\{y_i=j\} (c_j-x_i)}{1+\sum_i \delta\{y_i=j\}}$$
在线更新 $c_j$:
$$c_{j+1}=c_j-\nabla_{c_j}L_c$$

3.Triplet Loss