机器学习中常见的损失函数及其应用场景

一、对于分类问题

以二分类为例， y ∈ { + 1 , − 1 } y \in \{+1,-1\} y∈{+1,−1}，损失函数通常表示为 $yf(x)$ 的递减函数。我们希望 $sign(f(x_i,\theta ))=y_i$

• 0-1损失函数
  $$L_{0-1}(f,y)=1_{fy\le 0}$$ 0-1损失函数可以直观的刻画分类的错误率，但是因为其非凸，非光滑的特点，使得算法很难对其进行直接优化

• Hinge损失函数(SVM)
  L h i n g e ( f , y ) = max ⁡ { 0 , 1 − f y } L_{hinge}(f, y)=\max\{0,1-fy\} Lhinge​(f,y)=max{0,1−fy} Hinge损失函数是0-1损失函数的一个代理损失函数，也是其紧上界，当 $fy\ge 0$ 时，不对模型做惩罚。可以看到，hinge损失函数在 $fy=1$ 处不可导，因此不能用梯度下降法对其优化，只能用次梯度下降法。

• Logistic损失函数
  $$L_{logistic}(f,y)={\log }_2(1+exp(-fy))$$Logistic损失函数是0-1损失函数的另一个代理损失函数，它也是0-1损失函数的凸上界，且该函数处处光滑。但是该损失函数对所有样本点都惩罚，因此对异常值更加敏感。当预测值 $f\in [-1,1]$时，另一个常用的代理损失函数是交叉熵损失函数

• Cross-Entropy损失函数
  $$L_{crossentropy}(f,y)=-{\log }_2(\frac{1+fy}{2})$$ 交叉熵损失函数也是0-1损失函数的光滑凸上界

• Exponential损失函数(AdaBoost)
  $$L_{exponential}(f,y)=e^{-fy}$$指数损失函数是AdaBoost里使用的损失函数，同样地，它对异常点较为敏感，鲁棒性不够

• Log损失函数(LR)
  $$L_{logloss}(y,p(y|x))=-\log (p(y|x))$$ 逻辑回归 $p(y|x)$ 的表达式如下：
  $$P(Y=y^{(i)}|x^{(i)},\theta )=\{\begin{array}{lr}{h}_{\theta }(x^{(i)})=\frac{1}{1+e^{-{\theta }^{T}x}},y^{(i)}=1& \\ & \\ 1-h_{\theta }(x^{(i)})=\frac{e^{-{\theta }^{T}x}}{1+e^{-{\theta }^{T}x}},y^{(i)}=0,& \end{array}$$ 将上面两个式子合并，可得第 $i$ 个样本被正确预测的概率
  $$P(Y=y^{(i)}|x^{(i)},\theta )=(h_{\theta }(x^{(i)}){)}^{y^{(i)}}(1-h_{\theta }(x^{(i)}){)}^{1-y^{(i)}}$$对于所有的样本，由于生成过程是独立的，因此
  $$P(Y|X,\theta )={\Pi }_{i=1}^N(h_{\theta }(x^{(i)}){)}^{y^{(i)}}(1-h_{\theta }(x^{(i)}){)}^{1-y^{(i)}}$$最终的损失函数如下：
  $$\mathcal{J}(\theta )=-\sum _{i=1}^N[y^{(i)}\log (h_{\theta }(x^{(i)}))+(1-y^{(i)})\log (1-h_{\theta }(x^{(i)}))]$$

二、回归问题

对于回归问题，$Y$ = $\mathbb{R}$，我们希望 $f(x^{(i)},\theta )$ = $y^{(i)}$

• 平方损失函数(最小二乘法)
  $$L_{square}(f,y)=(f-y{)}^2$$平方损失函数是光滑的，可以用梯度下降法求解，但是，当预测值和真实值差异较大时，它的惩罚力度较大，因此对异常点较为敏感。

• 绝对损失函数
  $$L_{absolute}(f,y)=|f-y|$$绝对损失函数对异常点不那么敏感，其鲁棒性比平方损失更强一些，但是它在$f$ = $y$ 处不可导.

• Huber损失函数
  $$L_{Huber}(f,y)=\{\begin{array}{lr}\frac{1}{2}(f-y{)}^2,|f-y|\le \delta & \\ & \\ \delta |f-y|-\frac{1}{2}{\delta }^2,|f-y|>\delta ,& \end{array}$$Huber损失函数在 $|f-y|$ 较小时为平方损失，在 $|f-y|$ 较大时为线性损失，且处处可导，对异常点鲁棒性较好。

• Log-cosh损失函数
  $$L_{log-cosh}(f,y)=\log (\cosh (f-y))$$其中 $\cosh (x)=(e^x+e^{-x})/2$，log-cosh损失函数比均方损失函数更加光滑，具有huber损失函数的所有优点，且二阶可导。因此可以使用牛顿法来优化计算，但是在误差很大情况下，一阶梯度和Hessian会变成定值，导致牛顿法失效。

• 分位数损失函数
  $$L_{\gamma }(f,y)=\sum _{i:y_i<f_i}(1-\gamma )|y_i-f_i|+\sum _{i:y_i\ge f_i}\gamma |y_i-f_i|$$预测的是目标的取值范围而不是值。$\gamma$ 是所需的分位数，其值介于0和1之间，$\gamma$ 等于0.5时，相当于MAE。
  设置多个 $\gamma$ 值，得到多个预测模型，然后绘制成图表，即可知道预测范围及对应概率(两个 $\gamma$ 值相减)