python内存溢出机制

本文讨论了在运行Python程序时遇到的机箱红灯常亮和系统卡死问题,原因是内存不断增长导致的内存溢出。通过检查代码,发现在循环中将张量转换为list的操作占用了大量内存。尝试使用`del`和`gc.collect()`清理内存,但效果不理想。优化方案是避免在内存中进行大数据操作,并及时释放不再使用的变量,以防止内存过度消耗。
摘要由CSDN通过智能技术生成

之前跑程序的时候,遇到了机箱的红灯一直亮着并且机器卡死的情况,通过排查ubuntu系统之中的系统监视器以及任务管理器之中的显存,排查的结果发现由于内存的不断增长导致机器出现卡死的问题,这里就引出一个机制,就是python相应的内存溢出
核心代码

for batch_token_ids,batch_labels in tqdm(content_dataset,colour='blue'):
	batch_token_ids = torch.tensor([batch_token_ids.tolist()],dtype=long).to(device)
	batch_labels = torch.tensor([batch_labels.tolist()],dtype=long).to(device)

这一句的调用过程之中出现了内存不断增长的情况,经过分析之后发现batch_token_ids.tolist()这一操作数据是在内存之中操作的,所以如果想要内存不满机器不死机的情况下,就必须进行清理
如果修改成为如下的内容

for batch_token_ids,batch_labels in tqdm(content_dataset,colour='blue'):
	curent_batch_token_ids = batch_token_ids.tolist()
	current_batch_labels = batch_labels.tolist()
	......
	

但是这样操作然仍不行,需要定时清除相应的内存内容

for batch_token_ids,batch_labels in tqdm(content_dataset,colour='blue'):
	current_batch_token_ids = batch_token_ids.tolist()
	current_batch_labels = batch_labels.tolist()
	...
	del(current_batch_token_ids)
	del(current_batch_labels)
	gc.collect()

另外如果出现问题的前面代码运行时间过长导致排查程序的速度过慢,可以考虑优化前面部分的代码,减少前面部分代码的运行时间,从而能够尽快的发现问题。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值