针对显存超过某个阈值，自动重启程序

最新推荐文章于 2024-01-08 22:02:39 发布

喝粥也会胖的唐僧

最新推荐文章于 2024-01-08 22:02:39 发布

阅读量698

点赞数 1

分类专栏： Python

本文链接：https://blog.csdn.net/zhou_438/article/details/118550098

版权

GPU 显存监控自动重启 pynvml 进程管理

关键词由CSDN通过智能技术生成

Python 专栏收录该内容

126 篇文章 10 订阅

订阅专栏

import pynvml
import time
import os,signal

pynvml.nvmlInit()
handle = pynvml.nvmlDeviceGetHandleByIndex(0)
meminfo = pynvml.nvmlDeviceGetMemoryInfo(handle)


while True:
    _used=meminfo.used
    _total=meminfo.total
    if _used>_total*0.98:
        l=pynvml.nvmlDeviceGetComputeRunningProcesses(handle)
        _len=len(l)
        if _len>0:
            for i in l:
                _pid=i.pid
                os.kill(_pid, signal.SIGKILL)
         #start
        os.system('nohup python  main.py')
    else:time.sleep(1)

此处是针对显存大于容量的98%j就自动重启程序