1.根据迭代步数来调节:
fixed
step
exp
inv
multistep
poly
sigmoid
上面的调节参数和图示可以参考:https://blog.csdn.net/cuijyer/article/details/78195178
上面的数学公式可以参考:https://www.cnblogs.com/yinheyi/p/7297644.html
上面的torch实现接口调用可参考:pytorch_optim_学习率调整策略
官网接口调用参考:https://pytorch.org/docs/master/optim.html#algorithms