NVIDIA查看CPU、内存、GPU、DLA使用情况

其它相关《英伟达显卡监控工具nvtop使用方法》

1 jetson 查看方法

-----------------------------------2020.3.6更新--------------------------------------

官方新推出 jtop 工具，专门用来查看 jetson 的 CPU、GPU 等信息，使用方法也很简单

安装方法

sudo -H pip install jetson-stats

使用方法，直接在命令行输入

jtop

就会有显示输出

-----------------------------------2021.7.6更新--------------------------------------

对于 Xavier NX 和 AGX 设备，还有 DLA 硬件可以调用，实现加速功能，但目前还没有一个比较好的方式来查看其占用情况，只能看到其是否被调用，如下

cat /sys/devices/platform/host1x/15880000.nvdla0/power/runtime_status   #DLA0
cat /sys/devices/platform/host1x/158c0000.nvdla1/power/runtime_status   #DLA1

如果想要持续观察，可以结合 watch 指令，比如 1s 输出一次

watch -n 1 "cat /sys/devices/platform/host1x/15880000.nvdla0/power/runtime_status"   #DLA0
watch -n 1 "cat /sys/devices/platform/host1x/158c0000.nvdla1/power/runtime_status"   #DLA1

-----------------------以下为旧版本内容，可以不再使用-------------------

内存

free -m

系统内核

uname -a

CPU信息

lscpu

USB设备

lsusb

CPU占用情况

sudo apt-get install htop
htop

 CPU 百分比中有不同的颜色，颜色含义如下

• 蓝色：显示低优先级进程使用的CPU的百分比。
• 绿色：显示普通用户拥有的进程使用的CPU的百分比。
• 红色：显示系统进程使用的CPU的百分比。
• 青色：显示Steal时间使用的CPU的百分比。

GPU 使用情况

sudo tegrastats

会输出如下所示的内容，注意一定要加sudo，否则输出的信息不完整

RAM 1920/7851MB (lfb 1131x4MB) cpu [9%@345,off,off,9%@345,13%@345,13%@345] EMC 6%@1600 APE 150 NVDEC 1164 GR3D 7%@114

具体含义为

RAM  就是内存占用
cpu  当然就是CPU占用率了，TX2一共6个核，显示每核的占用情况
EMC – external memory controller, 就是外存控制器    单位  bus%@MHz
AVP – audio/video processor, TX2 自带的音频视频ASIC处理器  单位 processor%@MHz
NVDEC – NVIDIA video decoder engine,  TX2 带有视频编解码hevc的加速器   %MHz
GR3D – GPU, processor，      GPU的主频      %@MHz

2 dGPU 查看方法

对于dGPU 设备，如 2080，TITAN V，T4 等大卡，NVIDIA自带了一个nvidia-smi的命令行工具，会显示显存使用情况：

$ nvidia-smi

显示结果如下

但是只能输出一次结果，我们在训练数据的时候，想实时观察 GPU 的利用情况，因此需要添加一个定时输出的功能。这时候就需要用到 watch 命令，来周期性地执行 nvidia-smi 命令了。

watch 的基本用法是：

$ watch [options]  command

最常用的参数是 -n， 后面指定是每多少秒来执行一次命令。

我们设置每 1s 显示 GPU 使用情况：

$ watch -n 1 nvidia-smi

显示结果如下

实现了周期性显示 GPU 利用情况的功能，CPU 显示仍可以用 htop 指令实现

另外一种方法是使用 nvtop，查看《英伟达显卡监控工具nvtop使用方法》