在复现机器学习代码的时候遇到了这个问题,尽管设置了固定的随机种子,每次运行生成的随机数还是不一样,具体表现为:
1.代码版本从tensorflow转换到pytorch后,随机数改变
这个很好理解,毕竟不同框架生成随机数的机制都不一样
# tensorflow
tf.random.set_seed(1)
#pytorch
torch.manual_seed(1)
torch.cuda.manual_seed_all(1)
2.同一份代码在不同设备上结果也不一样
这个也可以理解,安装的python和random库都不一样
3.用到了GPU但是设置不一样
这个是最匪夷所思的,明明我就只有一块GPU,设置方式一居然没有办法让每次运行的结果一样,而且在这个基础上跑代码得到的各种曲线也非常奇怪,最后换成方法二定义随机数种子才固定下来
# 方法一
torch.cuda.manual_seed(seed)
# 或者
if torch.cuda.is_available():
torch.cuda.manual_seed_all(seed)
#方法二
torch.cuda.manual_seed_all(seed)
具体更深层次的原因没有继续寻找了,不得不说机器学习真的是玄学
补充个比较详细的参考链接Pytorch坑——模型可复现性实现,随机种子设置_bob模型复现-CSDN博客