模型训练优化trick

训练优化trick
从数据、loss、训练效果角度，优化训练
数据：
数据不均衡：数据增强增加类别较少一类
数据量较小：数据增强
loss：
1.train loss动荡较大：减小lr
2.train loss下降缓慢：增大lr，增大batch size
3.train loss不断下降，test loss趋于不变，过拟合：（1）正则化和降维（2）降低模型复杂度 （3）获取更多数据集、数据增强
4.train loss趋于不变，test loss不断下降：数据集有问题，检查数据集
5.train loss趋于不变，test loss趋于不变：学习瓶颈，减小lr,增大batch size
6.train loss不断上升，test loss不断上升：数据清洗，超参设置不当
7.train loss不下降：
（1）初始化建议xaiver normal或者he normal
（2）正则化过度导致欠拟合，检查L1、L2和Dropout
（3）激活函数一般使用ReLu，有效避免梯度消失
（4）优化器
（5）学习率
（6）训练时间不足
（7）batch size过小，loss动荡，难以收敛，过大收敛过快陷入局部最优解
8.test loss不下降：（1）场景不一致（2）噪声
效果：
1.训练集效果好，测试集效果不好，过拟合：
（1）正则化和降维
（2）降低模型复杂度
（3）获取更多数据集、数据增强
2.训练集合测试集效果都不好，欠拟合：数据增强、降低模型复杂度
3.分类测试结果，某一类效果不佳：数据增强该类
4.检测测试结果，某一类效果不佳：数据增强该类；小、中、大目标某一种效果不好，数据增强该目标，调整anchor设置

数据增强方式介绍：
翻转，旋转，裁剪，缩放，平移，抖动、Mixup、Cutout、Cutmix、Mosaci等
分类：Mixup, Cutmix、Cutout
检测：Cutout、Random Erasing、GridMask
小目标检测：Mosaci