常用损失函数详解

1、平方损失：

平方损失也可以理解为是最小二乘法，一般在回归问题中比较常见，最小二乘法的基本原理是：最优拟合直线是使各点到回归直线的距离和最小的直线，即平方和最。同时在实际应用中，均方误差也经常被用为衡量模型的标准：

2、对数损失：

一般的概率模型或者是分类问题，大都使用对数损失函数作为衡量损失的标准，首先给出对数损失函数的标准形式：

观察可以发现，对于对数损失按照样本求和之后，对数的位上会变成条件概率的积，这个时候就非常有意思了，而对于概率模型而言，条件概率基于样本的积就是模型的似然函数，再取对数以后也是表征似然函数，综上可以看出，概率模型的对数损失函数的最小值就是似然函数的最大值，也就是说求解最大似然就是最优化对数损失。

具体点分析，如果按照概率值划分0和1（类似LR，多分类概率问题），对数损失可以表示为：

而如果按照二分类（-1和1表示），对数损失函数可以表示为：

平方损失函数非常直观，它直接度量了真实回归模型与假设回归模型之间的差异; 而对数损失则是度量了真实条件概率分布与假定条件概率分布之间的差异，这也是概率模型与非概率模型的问题. 非概率模型的学习通过预先选定损失函数如平方损失，hinge损失，指数损失等0-1损失的替代品，然后通过最小化平均损失的形式来学习函数模型; 而概率模型的学习则是预先选定条件分布的形式，然后通过最小化某种概率分布距离的形式来学习分布模型。