ubuntu系统（6）：Nvidia Docker配置cuda+pytorch【纯小白版】

已于 2023-12-21 10:32:41 修改
阅读量2.7k 收藏 29
点赞数 22
分类专栏： linux系统 ubuntu系统 文章标签： ubuntu docker linux
于 2023-12-21 10:06:55 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhenz0729/article/details/135113577
版权

目录

一、安装Nvidia Docker

二、安装显卡驱动

1、安装驱动

2、检查显卡驱动版本

3、查询驱动版本和显卡相关信息

三、Docker hub安装pytorch和对应版本cuda

1、在Docker hub中查询对应版本镜像

​编辑2、查询pytorch/pytorch的镜像

3、devel版本和runtime版本的区别

4、拉取对应版本镜像

5、查看拉取完成的镜像

6、生成容器

四、进入容器并查询相关信息

1、进入容器

2、打印环境变量

3、查询本地安装的软件和程序

4、显示NVIDIA CUDA 编译器（nvcc）的版本信息

前期因为要安装东西需要cuda10+的环境，查了部分资料发现对这方面的介绍不是很详细，所以结合前期整理的笔记，写一个比较详细的纯小白教程。

还要特别注意的是：此版本为Ubuntu20.04，默认的python版本为3.10。

一、安装Nvidia Docker

可以直接参考另一篇教程Ubuntu20.04 Nvidia Docker 安装-CSDN博客，写的很详细。

注意安装完毕后再进行下一步。

二、安装显卡驱动

1、安装驱动

sudo apt list nvidia-driver*

2、检查显卡驱动版本

lspci -k | grep -A 2 -i "VGA"

将输出当前主机的显卡驱动版本和驱动程序的详细版本。

3、查询驱动版本和显卡相关信息

nvidia-smi

提示当前系统中的信息：

  1. 显卡信息：显示系统中安装的 NVIDIA 显卡的详细信息，包括显卡型号、设备ID、总线ID等。

  2. 驱动程序版本：显示当前系统中所使用的 NVIDIA 显卡驱动程序的版本号。

  3. GPU使用情况：显示每个显卡的使用情况，包括GPU利用率、显存使用情况、温度、风扇转速等。

  4. 进程信息：显示正在使用显卡资源的进程列表，包括进程ID、进程名称、GPU使用情况等。

  5. 其他相关信息：还会显示一些其他的诊断信息，如显卡电源状态、PCIe链接状态等。

三、Docker hub安装pytorch和对应版本cuda

显卡驱动安装成功后：

1、在Docker hub中查询对应版本镜像

2、查询pytorch/pytorch的镜像

选择需要的版本

3、devel版本和runtime版本的区别

  1. Devel版本（pytorch:2.0.1-cuda11.7-cudnn8-devel）：
    • Devel版本是用于开发和构建PyTorch的版本。
    • 它包含了用于编译和构建PyTorch库的开发工具和依赖项。
    • Devel版本通常用于构建自定义的PyTorch扩展、模型库或其他与PyTorch相关的软件。
    • 它包含了用于调试和开发的符号表和调试工具，可以帮助开发者进行错误排查和调试。
  2. Runtime版本（pytorch:2.0.1-cuda11.7-cudnn8-runtime）：
    • Runtime版本是用于运行PyTorch应用程序的版本。
    • 它包含了PyTorch库和必要的运行时依赖项，但不包含开发工具和符号表。
    • Runtime版本通常用于在生产环境中部署和运行PyTorch应用程序。
    • 它不包含用于编译和构建自定义扩展或库的工具，因此不适用于开发新的PyTorch功能或调试代码。

总结：

Devel版本适用于开发者构建和扩展PyTorch，它包含了开发工具和依赖项，以及用于调试和错误排查的工具。Runtime版本适用于在生产环境中运行PyTorch应用程序，它只包含必要的运行时依赖项，不包含开发工具和符号表。【所以建议直接用devel版本的】

4、拉取对应版本镜像

我用的是pytorch:2.0.1-cuda11.7-cudnn8的devel版本，直接复制上述后面的命令行。

docker pull pytorch/pytorch:2.0.1-cuda11.7-cudnn8-devel

输出表明你已成功下载了pytorch/pytorch镜像的特定版本2.0.1-cuda11.7-cudnn8-devel到本地。可以使用该镜像来创建和运行基于PyTorch的容器。

  • Pulling from pytorch/pytorch：表示正在从pytorch/pytorch镜像仓库中拉取镜像。
  • Pull complete：表示已成功下载一个镜像层。
  • Digest：表示镜像的摘要，用于唯一标识镜像的内容。
  • Status: Downloaded newer image for pytorch/pytorch:2.0.1-cuda11.7-cudnn8-devel：表示已成功下载标签为2.0.1-cuda11.7-cudnn8-devel的pytorch/pytorch镜像。

5、查看拉取完成的镜像

docker images

6、生成容器

nvidia-docker run --gpus all -itd --name=alpa_test pytorch/pytorch:2.0.1-cuda11.7-cudnn8-devel

其中是命名叫alpa_test，可以使用容器ID或容器名称直接进入容器。

截止到这一步就可以直接使用带有cuda+pytorch的容器了。

四、进入容器并查询相关信息

1、进入容器

docker exec -it alpa_test bash

2、打印环境变量

echo $LD_LIBRARY_PATH

3、查询本地安装的软件和程序

ls /usr/local/

4、显示NVIDIA CUDA 编译器（nvcc）的版本信息

nvcc -V

zhenz0729
关注
  • 22
    点赞
  • 踩
  • 29
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
如何在 Docker 容器中使用 NVIDIA GPU
学海无涯苦作舟的博客
12-16 4012
Docker 容器不会自动看到您系统的 GPU。这会导致依赖 GPU 的工作负载（例如机器学习框架）的性能降低。以下是将主机的 NVIDIA GPU 公开给容器的方法。 让 GPU 在 Docker 中工作 Docker 容器共享您主机的内核，但带有自己的操作系统和软件包。这意味着它们缺少用于与 GPU 交互的 NVIDIA 驱动程序。默认情况下，Docker 甚至不会向容器添加 GPU，因此普通人docker run根本看不到您的硬件。 概括地说，让 GPU 工作是一个两步过程：在映像中安装驱动程序，然.
Docker 中的 Cuda：变得简单
iCloudEnd的博客
03-12 1386
随着 GPU 技术的不断进步，许多机器学习和深度学习任务都需要 GPU 来进行高效计算。但是，设置和管理基于 GPU 的环境可能非常具有挑战性，尤其是在处理多个软件依赖项和版本时。Docker 容器通过使您能够将应用程序和依赖项打包到一个可以在任何机器上运行的单个可移植容器中来解决此问题，而不管底层硬件和软件配置如何。在这篇博文中，我们将指导您完成设置支持 CUDA 的 Docker 容器的过程，这将使您能够轻松运行基于 GPU 的应用程序。
安装使用NVIDIA-Docker——可使用GPU的Docker容器
m0_67390379的博客
04-28 1万+
参考网址： https://www.cnblogs.com/wuchangsoft/p/9767074.html nvidia-docker是一个可以使用GPU的docker，nvidia-docker是在docker上做了一层封装，通过nvidia-docker-plugin，然后调用到docker上，其最终实现的还是在docker的启动命令上携带一些必要的参数。因此在安装nvidia-docker之前，还是需要安装docker的。 docker一般都是使用基于CPU的应用，而如果是GPU的话，就需要安装
在服务器部署Nvidia-Docker全流程，附Dockerfile
最新发布
weixin_44455827的博客
03-28 2761
在服务器使用docker可以使管理员能够对服务器用户进行更便捷的管理，相比于基于anaconda环境的管理，用户之间不共享工作空间，管理员只对用户暴露服务器端口和数据集，用户可以自定义介入密码，安全性更高。本文分别给出了当前版本基于镜像与Dockerfile在服务器部署Nvidia-Docker的全部流程，推荐使用dockerfile。出现现象在exec时添加进容器的环境变量在通过ssh启动时找不到，原因是exec时自动加了一些环境变量。修改ssh文件信息，允许root用户使用ssh登录。
深度学习docker环境配置之nvidia-docker安装使用
qq_41776453的博客
03-27 9604
docker容器技术–。：Anaconda用于隔离不同的python环境；docker可以理解成在你的机器里面安装了一个独立的系统，因此它可以隔离不同的CUDA环境，还有着独立的文件系统，防止别人删掉你的实验和环境等。
nvidia-docker 使用
reno_yuan的博客
11-04 568
docker 17.03.2-ce 使用GPU
docker 利用docker拉取Nvidia/cuda官方镜像，部署深度学习环境
热门推荐
guoqingru0311的博客
08-09 2万+
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 利用docker拉取Nvidia/cuda官方镜像，部署深度学习环境1、拉取Nvidia/cuda官方镜像2、生成容器3、在容器内安装深度学习环境前言一、pandas是什么？二、使用步骤1.引入库2.读入数据总结 1、拉取Nvidia/cuda官方镜像 docker pull nvidia/cuda:10.0-base NVIDIA官方提供的docker镜像nvidia/cuda，里面已经编译安装了cuda,但需完善并安装cudnn.注
[Docker] Ubuntu系统下Nvidia docker安装
豆芽菜
08-31 5750
官方安装指导大法好，见链接 以Ubuntu为例： # Add the package repositories distribution=$(. /etc/os-release;echo $ID$VERSION_ID) curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add - curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/n
docker之pytorch+CUDA
ziliwangmoe的博客
12-26 1007
docker之pytorch+CUDA
docker-pytorch：PyTorch的Docker映像
02-04
PyTorch Docker映像 Ubuntu + PyTorch + CUDA（可选）要求为了使用此映像，您必须安装Docker Engine。 上了设置Docker Engine的说明。CUDA要求如果您具有兼容CUDA的NVIDIA图形卡，则可以使用启用CUDA的PyTorch映像...
PyTorch-build:提供适用于各种环境的PyTorch的Docker构建序列
03-31
提供适用于各种环境的Docker PyTorch构建序列。 1. Docker映像环境 Ubuntu 20.04 x86_64 CUDA 11.2 cuDNN 8.1 PyTorch v1.8.1（从源代码构建。它将在Docker构建过程中自动下载。） TorchVision v0.9.1 ...
Vitis-AI3.0版本（gpu版本）pytorch及pytorch优化器docker镜像
04-09
本资源为Vitis-AI3.0版本docker镜像的.tar文件的下载链接，适用于NVIDIA显卡硬件平台，内置pytorch量化编译器镜像以及pytorch优化器镜像 使用方法： 使用docker load指令将镜像文件导入后（导入后可以使用docker ...
GPU-Jupyterhub：设置一个Jupyterhub Docker容器以生成具有GPU支持（包含Tensorflow，Pytorch和Keras）的Jupyter Notebook
02-04
Jupyter Notebook映像有一个，基于CUDA10.0和Ubuntu18.04。 它会从Jupyterhub（由Dockerfile.jupyterhub定义，位于Jupyterhub_Image文件夹下）中取代。 有关更多详细信息，请访问我们的网站 编辑了仓库： 删除了...
onnx2tensorRt:tensorRt推断darknet2onnx pytorch2onnx mxnet2onnx
04-12
张量推论 author is leilei ... docker-cuda10.2 + ubuntu16.04 or ubuntu18.04 (1) yolov4(v3) tensorRt inference python version (2) yolov5 tensorRt inference python version (3) insightface gend
深度学习——docker安装nvidia-container-toolkit的步骤与执行过程中的一些报错
weixin_43948284的博客
07-05 4476
注：从2021年12月之后，NVIDIA已经停止了对nvidia-docker2的维护和更新，转而推荐使用NVIDIA Container Toolkit来支持容器内的GPU加速。想要在docker镜像中使用nvidia gpu进行加速，就需要安装nvidia-container-toolkit 或 nvidia-docker2工具包。最后，build一个新的容器查看能否使用nvidia gpu进行加速。最后，删除上一步列出的文件应该可以解决原始错误。，获取具有（可能）冲突引用的文件列表。
ubuntu下Anaconda环境安装GPU的pytorch(docker镜像)
yusude123456的博客
11-09 579
网上的解决方法是添加清华源的镜像，但我的已经是清华源镜像了，所以解决方法是把timeout放大，600还是不行，把时间延长到1000.0就成功安装了。官网wget拉取linux的annaconda下载后，bash安装即可(因为实验室服务器没有梯子，个人是下载到了本地然后scp传输到了服务器)其中的 -c pytoch -c nvidia 建议去掉 因为有这个会默认按照annaconda的官网地址下载。后来网上查询清华镜像问题，很多都是不全的镜像，安装起来很容易装成cpu版本。👆最后采取的这一篇的安装方法。
在Windows系统的Docker容器中运行Pytorch
weixin_45477628的博客
04-25 1839
因为要入门深度学习，所以想使用Pytorch进行算法开发，又恰好看到了Docker技术（把环境与代码打包，实现快速的迁移部署），种种特性深深吸引了我，但是实践过程中发现使用Docker容器进行算法开发并不是很容易。各种安装包错综复杂，先后顺序理不清楚，所以按照我的理解重新梳理一下流程。等我有钱了一定要买个能用docker的电脑！1.电脑上安装好wsl2，docker，Nvidia驱动，cuda toolkits，然后容器内就可以访问GPU了。也就是容器内使用nvidia-smi就会有反应了。
pytorch docker GPU环境安装
my blogs
03-11 304
一.确保nvidia-docker安装 查看系统版本 root@3a7dee2ecfb3:/# cat /etc/issue Ubuntu 16.04.6 LTS \n \l 切换docker镜像 systemctl daemon-reload systemctl restart docker 查看cuda和cudnn版本 [root@bogon pytorch]# cat /usr/local/cuda/version.txt CUDA Version 9.1.85 [root@bogon pytor.
新建包含cuda和cudnn的docker
Blankit1的博客
10-31 761
背景：服务器的cudnn版本太低了，没有权限去修改。故新建包含cuda和cudnn的docker步骤。
docker cuda cudnn安装
05-12
安装Docker 1. 更新系统：sudo apt-get update 2. 安装必要的软件：sudo apt-get install apt-transport-https ca-certificates curl gnupg-agent software-properties-common 3. 添加Docker官方的GPG密钥：curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add - 4. 添加Docker源：sudo add-apt-repository "deb [arch=amd64] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable" 5. 再次更新系统：sudo apt-get update 6. 安装Docker：sudo apt-get install docker-ce docker-ce-cli containerd.io 7. 验证Docker是否安装成功：sudo docker run hello-world 安装CUDA和cuDNN 1. 下载CUDA和cuDNN的压缩包 2. 安装CUDA：sudo dpkg -i cuda-repo-ubuntu1604-8-0-local-ga2_8.0.61-1_amd64.deb && sudo apt-get update && sudo apt-get install cuda 3. 解压cuDNN：tar -xzvf cudnn-8.0-linux-x64-v6.0.tgz 4. 复制cuDNN的文件到CUDA的目录下：sudo cp cuda/include/cudnn.h /usr/local/cuda-8.0/include && sudo cp cuda/lib64/libcudnn* /usr/local/cuda-8.0/lib64/ 5. 修改环境变量：echo 'export LD_LIBRARY_PATH=/usr/local/cuda-8.0/lib64:$LD_LIBRARY_PATH' >> ~/.bashrc && source ~/.bashrc 6. 验证CUDA和cuDNN是否安装成功：nvcc -V 注意事项： 1. 安装时要根据自己的系统版本和CUDA版本进行选择。 2. 安装完毕后，重启电脑以使环境变量生效。 3. 安装过程中可能需要下载大量的文件，需要耐心等待。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值