今天写程序发现学习率不同导致训练中的损失值有着明显的差异,
在我使用learning_rate = 0.001的时候,损失值上来为5…,而当我使用learning_rate = 0.00001的时候,损失值上来就为8.3309e-04,所以损失值会影响刚开始的学习率???
不同的epoch过程之中损失值的变化不同,第一个epoch到第二个epoch之间损失值一般会下降的较为明显,因为此时模型已经经历过第一波数据的训练了,而第二个epoch之后的损失值往往变化得不是特别明显,因为此时模型已经达到了一个比较好的状态了