程序停止后GPU仍被占用

最新推荐文章于 2024-06-25 11:13:16 发布
最新推荐文章于 2024-06-25 11:13:16 发布
阅读量1.2w 收藏 21
点赞数 10
分类专栏： 解决方案 python 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zzldm/article/details/81663339
版权

在跑深度学习程序的时候，有时强制终止程序，可是程序占用的GPU资源仍然没有被释放，被这个坑了好久，还以为是GPU一直被别人抢占了，结果是GPU资源泄露。

可以使用这个命令查看Linux系统GPU的使用情况

nvidia-smi

得到如图结果
GPU资源使用情况

此时可以手动kill掉占用GPU的进程，以此来释放GPU资源

kill -9 49461

若是使用了Screen命令在后台运行的程序终止后占用了GPU，也可以先关掉所有了Screen窗口来释放GPU

killall screen

当然直接kill掉进程也是可以的

濯君
关注
专栏目录
记录 | ubuntu程序终止，显卡仍然被占用问题
极智视界
01-28 459
记录 | ubuntu程序终止，显卡仍然被占用问题
实验室服务器使用指南06：kill-9杀不死进程及无进程占用GPU但显存占用大
qq_41876456的博客
12-21 1364
参考资料 杀掉kill -9杀不死的进程 nvidia-smi无进程占用GPU但GPU显存被占用很多 1.最初是想杀掉8208这个进程，然后很自然地就想kill -9 8208 2.用了kill -9这个命令之后就发现Process name没了，但还是占用内存 3.然后使用cat /proc/8208/status这个命令找到8208这个pid号的父目录ppid 8207,再把父目录杀掉 4.然后8208这个pid果然被杀掉了，但是仍然占用内存？？？ 5.于是使用fuser -v /dev/nv
解决GPU 显存未能完全释放
最新发布
不忘初心，方得始终
06-25 636
算法同学反馈显存未能完全释放。
【服务器使用】Linux系统下使用kill命令杀死进程后仍占用GPU显存
phoebeXD的博客
10-26 2778
在服务器上跑深度学习模型时，使用kill命令杀死进程后，使用nvidia-smi命令发现Processes是消失了，但显存仍有一部分被占用。本来以为可能是有僵尸进程，后来分析应该是有子进程的内存没有释放掉？
解决程序已关闭GPU还在占用的问题
weixin_42051797的博客
06-13 3123
终端使用命令 nvidia-smi 查看正在使用GPU运行的程序，然后使用命令（将PID进行具体替换）即可 kill -9 PID
终止进程后，GPU显存仍被占用问题 | kill -9彻底杀死进程 | ps aux|grep python
weixin_47700137的博客
11-12 2569
终止进程后，GPU显存仍被占用问题 | kill -9彻底杀死进程 | ps aux|grep python
深度学习训练已经停止了，可GPU内存还在占用着，怎么办？
u014264373的博客
08-19 1万+
该情况通常发生在非正常中断GPU下发生，如手动暂停了训练。然后发现，再一次训练的时候出现错误： RuntimeError: CUDA out of memory. Tried to allocate 736.00 MiB (GPU 0; 10.92 GiB total capacity; 2.26 GiB already allocated; 412.38 MiB free; 2.27 GiB reserved in total by PyTorch) 在终端查看GPU使用情况： 哎，GPU真的一
深度学习训练已经停止(强行中断)了，可GPU内存还在占用着，如何解决？
10-09 4101
watch --color -n1 gpustat -cpu 用户：xujiping 已经结束训练了，但是GPU的内存仍然在占用 top：查看进程 U :输入用户名 找到 python train.py 的进程号 ctrl + c 退出 kill -9 进程号：杀死残留的进程 这时占用的GPU内存就被释放了 reference：https://blog.csdn.net/u014264373/article/details/108106316 ...
linux清理gpu内存,GPU内存在CUDA脚本执行后无法自行释放
weixin_42317730的博客
05-07 1521
执行CUDA脚本后,我的显卡保留内存有问题(即使使用cudaFree()).在启动时,Total Used内存大约为128MB,但在脚本运行后,执行时内存不足.NVIDIA-SMA:+------------------------------------------------------+| NVIDIA-SMI 340.29 Driver Version: 340.29 ...
在Linux上用GPU跑代码遇到的问题(杂七杂八)
qq_41487723的博客
09-13 1369
一、深度学习PyTorch，TensorFlow中GPU利用率较低，CPU利用率很低，且模型训练速度很慢的问题总结与分析 https://blog.csdn.net/qq_32998593/article/details/92849585 总结相当到位，很有用！！
从CPU与GPU利用率，到GPU与CPU差别的思考
小宇宙的专栏
12-28 7847
注：本版关于GPU的内容均是是经过实测数据提供，具有版权所有 简介： GPU与CPU貌似差别不大的两个东西，然而，从逻辑结构，到原理，到性能，到功能，再到在物理设备中扮演的角色来讲，压根就不是同一个东西，甚至可以说，完全不可以类比。 首先考虑GPU利用率： 因为要对GPU物理设备进行压力测试和功耗测试，那么就需要设定GPU利用率分别为25%，50%，75%，100%类似的参数，那么这样的
程序退出后，gpu显存还是被占用
qq_38055396的博客
04-09 2440
查看显存占用的pid nvidia-smi 查看进程 fuser -v /dev/nvidia* 查看该进程的信息 ps -f -p 123456(进程pid) 杀死该进程 kill -9 123456（pid）
服务器kill掉的进程为什么还占内存
薰珞婷紫小亭子的博客
11-17 1803
服务器kill掉的进程为什么还占内存
解决进程杀死，显存仍在的问题
热门推荐
u013548568的博客
05-13 1万+
1、用nvidia-smi也好，top也好都找不到kill掉的进程了，但是显存仍然占用没有被释放，怎么办呢？毕竟top也找不到进程号呀 用以下指令查找出top没有而他有的进程 fuser -v /dev/nvidia* 逐个kill掉top中不显示的进程就可以了...
Ubuntu系统kill后，显示看不到进程，但GPU显存仍被占用问题
qq_35608277的博客
09-18 1452
Ubuntu系统有时候会出现GPU显存显示占满，但是使用nvidia-smi命令 kill python 后仍然显示内存占用。
频繁开关运行pycharm程序，导致GPU被沾满的解决办法
insanegtp的博客
04-08 3658
本人频繁在pycharm下run程序，经常终止，可能其后台运行的Python程序没有关闭，所以耗尽GPU资源。现象是占用GPU的进场ID为空，即nvidia-smi后，没有进程使用GPU，但每块GPU的内存确被使用很多。。。。。fuser -v /dev/nvidia*会发现很多Python在运行，故粗暴地kill这些进程ID就可以了。。。。。。。ID乍一看很多，杀死一两个就不剩几个了。。。。本方...
程序退出后依旧占用GPU和内存资源时强制kill掉进程的方法
小C的博客
12-13 5596
【时间】2018.12.13 【题目】程序退出后依旧占用GPU和内存资源时强制kill掉进程的方法 当使用GPU跑程序时，程序退出后依旧占用GPU和内存资源，进程依旧存在时，可以用下面的方法强制kill掉进程： （1）请先查看占用资源的进程归属方是谁，以及运行的是什么指令：    ps -f PID号 （2）然后确认该进程可以kill掉情况下直接杀掉：     kill -9 PID号 ...
GPU显存未释放问题
qq_35366466的博客
01-13 1907
我们正在使用TensorFlow或pytorch写程序的时候，有时会在控制台将程序杀死，但是有时候程序已经结束了，用nvidia-smi也看到程序已经停止，但是GPU还占着内存没有释放。 这是因为，在使用pytorch设置多线程（threads）进行数据读取（data_loader）时，其实是假的多线程，而是开了N个子进行进行模拟多线程工作，所以在程序跑完或者中途kill掉主进程的话，子进程的G...
进程Kill杀死后GPU显存没有释放仍然被占用(僵尸进程)
qq_37591986的博客
06-09 8204
一行指令杀死占用显存的僵尸进程
清除tensorflow占用显存
05-18
在使用 TensorFlow 进行机器学习训练时，可能会遇到显存不足的问题，这时候可以使用以下方法来清除 TensorFlow 占用的显存： ...注意，这会导致所有正在运行的 TensorFlow 程序停止，因此请谨慎使用。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值