机器学习-目标函数-总结

目标函数思维导图

总结：

1.分类任务

1. 交叉墒损失函数在一般的分类问题上最为常用，而且效果还比合页损失函数要好
2. 合页损失函数在支持向量机的分类当中最为常见，有时也会作为神经网络的目标函数
3. 坡道损失函数可以消除合页损失函数在抵抗噪声能力差的问题，可以提升模型的泛化能力，其中的s一般依靠类别数C而定（-1/（C-1）），称之为截断点。
4. 大间隔交叉墒损失函数强调不仅要求分类准确，而且要求分开的类保持较远的距离，可以防止模型过拟合现象发生。效果优于交叉墒和合页损失函数，主要是对比不同的权重参数向量的夹角。主要考虑的是增大类间距离
5. 中心损失函数主要考虑减小类内差异。增加交叉墒损失函数的调节项。在人脸识别领域有较大的优势，也可以防止过拟合现象发生，类内差异减小，特征分辨能力增强。

2.回归任务

L1->L2->TB的演变过程，主要看图，TB更好，增加截断点，可以克服在回归任务中的澡点影响

3.标记任务

KL散度