dropout_ratio越大舍弃的信息越多,loss下降的越慢,准确率增加的越慢
有时候 dropout_ratio 过大, 两次运行的结果还不同, 对比dropout_ratio: 0.9时候的两张截图中的loss。
第一张中loss在2左右,没问题;
第二张种loss在87左右,明显不对;
这时候要调小dropout_ratio ;
一般的dropout_ratio 绝对不能超过0.7, 最佳的是在0.5以下
dropout_ratio: 0.1
dropout_ratio: 0.2
dropout_ratio: 0.3
dropout_ratio: 0.4
dropout_ratio: 0.5
dropout_ratio: 0.6
dropout_ratio: 0.7
dropout_ratio: 0.8
dropout_ratio: 0.9