PyTorch 单卡多卡训练模型常用命令

linux系统查看gpu情况的三个命令：

watch -n 1 nvidia-smi （是nvidia-smi命令的扩展，即实时查看gpu情况，每1秒刷新一次）

nvidia-smi

gpustat (安装命令 pip/pip3 install gpustat)

单卡训练方式：

1. 在代码中指定gpu来训练模型

device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")

"cuda:0" 这部分的数字即gpu的序号。

然后，对于要放在这张卡的模型和数据：

model = Model().to(device)

inputs = b_x.to(device)

labels = b_y.to(device)

2. 在命令行（终端）中指定gpu来训练

在代码中只需要：

model = Model().cuda()

inputs = b_x.cuda()

labels = b_y.cuda()

在终端运行程序的命令：

CUDA_VISIBLE_DEVICES=0 python train.py # 0即gpu的序号 python train.py 是本来要运行的命令。

算了 再续着吧。。。。。

多卡训练方式：

import torch.nn

import os

os.environ[‘CUDA_VISIBLE_DEVICES’] = “2,3” # 只允许本程序使用的gpu序号

model=nn.DataParallel(model)