损失函数是机器学习算法中的目标,是用来评定数据建模程度的方法。如果预测值和实际结果偏差较远,损失函数的值就会偏大,反之则较小。
损失函数从广义层面分为两类:回归损失函数和分类损失函数。
回归损失
均方误差、平方损失、L2损失
这个函数的含义很明确,就是观测值和实际值的平方误差,这个损失函数的梯度属性较好,比较容易求得最低值。
L1损失
MAE计算会比较困难,需要使用线性规划的工具来计算梯度,这个损失函数对于异常值更加稳健,因为它不使用平方。
平方偏差误差
正负差可以抵消,实际应用中没有这么准确。