CPU-CUDA-cuDNN介绍安装及基本用法

目录

一、介绍

二、安装

三、使用

---

一、介绍

1. GPU (Graphics Processing Unit): 图像处理器，相比CPU有更多的运算单元ALU，擅长并行计算。
    -----------------------------

    查看集成显卡和独立显卡

lspci | grep VGA
lspci | grep NVIDIA

    -----------------------------

================================================================================
2. CUDA Driver: NVIDIA的显卡驱动程序
    -----------------------------
    检查NVIDIA驱动是否安装

nvidia-settings

    -----------------------------
================================================================================
3. CUDA (Compute Unified Device Architecture): 是NVIDIA推出的用于NVIDIA GPU的并行计算框架。
    CUDA和CUDA Driver不是一一对应，可安装CUDA的多个版本。
    -----------------------------
    查看CUDA版本命令(三个)+pytorch应该对应的cuda版本

nvcc -V
nvcc --version
cat /usr/local/cuda/version.txt

print(torch.version.cuda) # 查看当前torch应该对应的cuda版本，并不是系统的cuda版本

    -----------------------------
================================================================================
4. CUDA Toolkit: 主要包含了CUDA-C和CUDA-C++编译器、库、代码示例，CUDA开发工具。
    通常在安装CUDA Toolkit的时候会默认安装CUDA Driver
================================================================================
5. NVCC: CUDA的编译器
================================================================================
6. cuDNN (CUDA Deep Neural Network library): 用于深层神经网络的GPU加速库。
    cuDNN为深度神经网络中的标准流程提供了高度优化的实现方式，例如convolution、pooling、normalization以及activation layers的前向以及后向过程。
    -----------------------------
    查看cuDNN版本+pytorch应该对应的cudnn版本

cat /usr/local/cuda/include/cudnn_version.h | grep CUDNN_MAJOR -A 2

print(torch.backends.cudnn.version()) # 查看当前torch应该对应的cudnn版本，不是系统已经安装的版本

    -----------------------------

---

二、安装

.....................................

---

三、使用

1.监控显卡运行

nvidia-smi
watch -n 1 nvidia-smi  # 1 代表隔1秒刷新一次，可改为0.5，0.1等等
gpustat # 安装命令：pip install gpustat

参考：
[1] https://blog.csdn.net/qq_42406643/article/details/109545766?utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7EBlogCommendFromMachineLearnPai2%7Edefault-3.control&depth_1-utm_source=distribute.pc_relevant.none-task-blog-2%7Edefault%7EBlogCommendFromMachineLearnPai2%7Edefault-3.control
[2] https://blog.csdn.net/qq_34649170/article/details/90050132?utm_medium=distribute.pc_relevant_t0.none-task-blog-2%7Edefault%7EBlogCommendFromMachineLearnPai2%7Edefault-1.baidujs&depth_1-utm_source=distribute.pc_relevant_t0.none-task-blog-2%7Edefault%7EBlogCommendFromMachineLearnPai2%7Edefault-1.baidujs