load_state_dict时候报了cuda out of memory

最新推荐文章于 2022-12-08 12:06:14 发布
最新推荐文章于 2022-12-08 12:06:14 发布
阅读量747 收藏
点赞数
分类专栏： Debug之路
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zjs975584714/article/details/110959035
版权

我加载的模型明明可以装进去但是显存溢出，更神奇的是比如我第一个python文件已经load好在跑了，第二个文件load同一个pth文件就不行了，更有甚者我第一个这时候再运行也不行了。

我不明白原因，但是有个规律可以参考：就是如果我第一个文件已经load进来这个pth正在跑，别的文件好像就不能再去load这个pth了（在跑完第一个前），即使我复制一份也不太行。。神奇，我就直接找了另一个pth拿过来试了试发现就可以了

Black_And_Black
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Optimizer load_state_dict() problem
LongXinKou的博客
10-04 928
在训练MADDPG模型时，可以从环境中或者已有模型中加载获得初始的MADDPG模型。基于上面的解决思路，我们可以首先从环境中创建初始的maddpg模型。接着修改agent的。通过在网上查询，终于找到了一种可行的解决方案，也就是。相反的只需要重新创建一个优化器即可。代码，在加载模型时不加载优化器模型。终于，我们成功的将模型加载上了！将模型装在到gpu上了。但是我在加载后也通过。
checkpoint = torch.load(args.state_dict) -＞RuntimeError: CUDA error: out of memory
如人饮水、冷暖自知
03-28 484
进行eval，加载模型到gpu时，出现错误：RuntimeError: CUDA error: out of memory 疑似原因：有一个相似的模型（网络结构名相同，通道数不同）在另一块gpu上训练着，导致加载错误 解决办法：先停止相似模型的训练 ...
Pytorch Error:RuntimeError:CUDA error: out of memory [in torch.load]
Anthony's Blog
06-24 1331
Error: 当加载模型时： model.load_state_dict(torch.load('xxx.pth')) Error:RuntimeError:CUDA error: out of memory 解决方法
【RuntimeError: CUDA error: out of memory】pytorch4.0+py3.6+[LinearStyleTransfer项目]
fmx的专栏
10-21 1216
记录项目LinearStyleTransfer所遇到的问题： 附上项目链接：LinearStyleTransfer 按照github所述，安装好环境（我的环境） pytorch0.4.1 python3.6 cuda8.0 opencv3.4 所需模型：models 一、环境准备妥当，运行测试文件TestArtistic.py时，报错： 查了一些原因，有说是pytorch版本...
pytorch加载模型torch.load报cuda out of memory
l316652494的博客
05-25 635
当服务器中有多张显卡时可能会出现这个问题。 解决方法参考： pytorch加载模型torch.load报cuda out of memory解决方案 pytorch在加载模型时CUDA error: out of memory
pytorch 状态字典:state_dict使用详解
09-18
在加载时，首先实例化模型，然后调用`model.load_state_dict(torch.load(PATH))`，这样模型就会恢复到保存时的状态。需要注意的是，加载后应该调用`model.eval()`将模型置于评估模式，因为在训练和评估模式下，像...
解决Tensorflow2.0 tf.keras.Model.load_weights() 报错处理问题
09-16
在TensorFlow 2.0中，`tf.keras.Model.load_weights()` 是一个非常有用的函数，用于加载预先训练好的权重到模型中，以便继续训练或进行预测。然而，在实际操作中，可能会遇到一些报错，本文将针对这些问题提供解决...
hermite_dict.rar_dict matlab_hermite
07-14
this is generate the dictionary for hermite polynomials . can be use din compression sensing.
LL.zip_android Star-Di_dict_star-dict_字典
09-21
标题中的"LL.zip"是一个压缩文件的名称，它包含了与Android平台上的Star-Dict字典相关的数据。Star-Dict是一款开源的、功能强大的字典软件，支持多种操作系统，包括Linux、Windows以及移动平台如Android。这个"LL....
解决pytorch的optim.load_state_dict将变量还原到CPU上的问题
qq_19313495的博客
04-16 4051
最近在学习使用pytorch，遇到一个坑。 从中断的训练中继续训练需要重新加载检查点，而有一些优化器（比如adam）的一些变量需要被保存到检查点中。 而在使用load_state_dict()还原时，有可能会将这些变量还原到CPU上，如下面的代码这样： model = Model() optimizer = Optim() checkpoint = torch.load(ckp_path) model.load_state_dict(checkpoint["model"]) optimizer.lo
pytorch加载和保存模型
weixin_36670529的博客
05-13 1093
方法一(推荐)： 第一种方法也是官方推荐的方法，只保存和恢复模型中的参数。 保存 torch.save(the_model.state_dict(), PATH) 恢复 the_model = TheModelClass(*args, **kwargs) the_model.load_state_dict(torch.load(PATH)) 使用这种方法，我们需要自己导入模...
Error(s) in loading state_dict for ModelMain
jacke121的专栏
08-01 5736
  原代码： net = ModelMain(config, is_training=is_training) net.train(is_training) net = nn.DataParallel(net) net = net.cuda() Error(s) in loading state_dict for ModelMain   原因： cuda版的torch，把代码去掉...
pytorch加载模型torch.load报cuda out of memory解决方案
Flying_sfeng的博客
11-04 6597
当服务器中有多张显卡时可能会出现这个问题。 模型参数加载： model_recover = torch.load(args.model_recover_path) 报错如下： RuntimeError: CUDA error: out of memory 原因： 当使用torch.load加载模型参数时，会默认加载在第一块GPU0上，当GPU0没有在使用时，问题不大，但是显存被占满时这时候就加载不了了。 解决方法： model_recover = torch.load(args.model_recove
windows10使用cuda11搭建pytorch深度学习框架——运行Dlinknet提取道路(二)——代码运行问题解决
Laney_Midory的博客
01-11 1896
运行程序 去github上下载Dlinknet的代码 https://github.com/zlckanata/DeepGlobe-Road-Extraction-Challenge 直接使用anaconda的powershell运行程序 python train.py 出现错误 RuntimeError: An attempt has been made to start a new process before the… 参考这篇博文 我采用了 去掉num_workers参数解决 下一个问题接踵而至
深度学习训练模型时，GPU显存不够怎么办？
idol24的博客
12-08 5052
作者丨游客26024@知乎（已授权）编辑丨极市平台来源丨https://www.zhihu.com/question/461811359/answer/2492822726题外话，我为什么要写这篇博客，就是因为我穷！没钱！租的服务器使用多GPU时一会钱就烧没了（gpu内存不用），急需要一种trick，来降低内存加速。回到正题，如果我们使用的数据集较大，且网络较深，则会造成训练较慢，此时我们要想加...
Pytorch 神经网络（ out of memory )
科研学习笔记！
01-13 1988
一、从头开始训练的时候正常，大概占了4/5的显存容量，然后中断了， 再resume 就会出现out of memory ？ 因为你 load checkpoint 的时候把参数加载到 显存 里面了；而且大概率你的code是这么写的然后报的错： model = Network().cuda() # 这里如果你存下来的权重device在cuda上，那么将自动载入GPU; 此时 model在GPU...
pytorch 在验证时出现CUDA error: out of memory
热门推荐
Nick Blog
01-22 1万+
虽然使用net.eval()调到了验证阶段，但是还是要使用 with torch.no_grad(): outputs = Net_(inputs) 来取消验证阶段的loss。 个人猜测出现此原因是由于梯度在验证阶段不回传，造成梯度的累计。 我做实验发现，在验证阶段，batch0不会报错，batch1就报错。...
pytorch-load_state_dict占用额外显存
RichardoMu的博客
07-16 1295
当你用 checkpoint = torch.load("checkpoint.pth") model.load_state_dict(checkpoint["state_dict"]） 这样load一个 pretrained model 的时候，torch.load() 会默认把load进来的数据放到0卡上，这样4个进程全部会在0卡占用一部分显存。 解决的方法也很简单，就是把load进来的数据map到cpu上 checkpoint = torch.load("checkpoint.pth", map_l
autoDL CUDA error: out of memory
最新发布
08-17
- *1* *2* *3* [完美解決pytorch载入预训练权重时出现的CUDA error: out of memory](https://blog.csdn.net/Davidietop/article/details/126803809)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值