【Docker】使用docker配置深度学习开发环境

最新推荐文章于 2024-05-09 06:55:25 发布
置顶 最新推荐文章于 2024-05-09 06:55:25 发布
阅读量585 收藏 1
点赞数
分类专栏： 工具 文章标签： docker
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhicai_liu/article/details/107543342
版权

1、run一个cuda环境：

docker run --runtime=nvidia -v /home:/home -w /home/jay -it --entrypoint bash -d --name pytorch1.3-lzc -h pytorch1.3 --shm-size 32G nvidia/cuda:10.1-cudnn7-devel-ubuntu16.04

2、进入容器之后，“啥都没有！！！”，先换apt源：

  • 可先解决上网问题，然后直接使用阿里云的源，不使用内网服务器上的源（源比较旧）；
  • 编辑 /etc/apt/sources.list；
  • 输入一下内容：
# 内网服务器的源
deb [arch=amd64] http://192.168.202.12/apt/mirror/mirrors.aliyun.com/ubuntu/ xenial main restricted universe multiverse
deb [arch=amd64] http://192.168.202.12/apt/mirror/mirrors.aliyun.com/ubuntu/ xenial-security main restricted universe multiverse
deb [arch=amd64] http://192.168.202.12/apt/mirror/mirrors.aliyun.com/ubuntu/ xenial-updates main restricted universe multiverse
deb [arch=amd64] http://192.168.202.12/apt/mirror/mirrors.aliyun.com/ubuntu/ xenial-proposed main restricted universe multiverse
deb [arch=amd64] http://192.168.202.12/apt/mirror/mirrors.aliyun.com/ubuntu/ xenial-backports main restricted universe multiverse

# 以上为内网服务器上的源，可能不够用，可加入以下源：
deb http://mirrors.aliyun.com/ubuntu/ xenial main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ xenial-security main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ xenial-updates main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ xenial-proposed main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ xenial-backports main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ xenial main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ xenial-security main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ xenial-updates main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ xenial-proposed main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ xenial-backports main restricted universe multiverse

  • 换成以上内容以后，一定要更新源：

apt-get update
  • 运行以上命令会卡住，原因是找不着nvidia驱动和cuda的源，删除：
rm -rf /etc/apt/sources.list.d
  • 再次更新源，成功：
apt-get update

3、安装vim:

apt-get install vim

4、安装Python3.5，安装之后直接输入Python，会找不到，输Python3.5就好了，在bash里设置一下就好了：

apt-get install python3.5

5、安装pip:

apt-get install python3-pip

6、更新pip:

pip3 install --upgrade pip

7、升级pip后出现ImportError: cannot import name main：

  • 解决办法：

    cd /usr/bin
vim pip3

# 将下面3行：
from pip import main
if __name__ == '__main__':
    sys.exit(main())

# 改成：
from pip import __main__
if __name__ == '__main__':
    sys.exit(__main__._main())
  • 参考资料：升级pip后出现ImportError: cannot import name main

8、更换pip源：

  • 编辑~/.pip/pip.conf，没有的话就新建，加入以下内容（其他源自行搜索）：
[global]
index-url = http://mirrors.aliyun.com/pypi/simple
trusted-host = mirrors.aliyun.com

# 其他源：
  阿里云 https://mirrors.aliyun.com/pypi/simple/
  中国科技大学 https://pypi.mirrors.ustc.edu.cn/simple/
  豆瓣(douban) http://pypi.douban.com/simple/
  清华大学 https://pypi.tuna.tsinghua.edu.cn/simple/
  中国科学技术大学 http://pypi.mirrors.ustc.edu.cn/simple/

9、解决上网问题，在bashrc里面编辑proxy

至此，基本配置已完成，使用apt install安装软件没有问题，使用pip安装各种Python包也没有问题。

 

Optional：

1、将shell由bash换成zsh：

  • 安装zsh：
apt-get install zsh
  • （optional）更换shell（安装好oh-my-zsh之后，自动切换成zsh）：
chsh -s /bin/zsh

# 换回bash：
chsh -s /bin/bash

2、安装oh-my-zsh（安装的时候会让你选是否将默认shell换成zsh，选y）：

# 安装wget
apt-get install wget
# 安装curl
apt-get install curl
# 安装git
apt-get install git
# 安装oh-my-zsh
sh -c "$(curl -fsSL https://raw.githubusercontent.com/robbyrussell/oh-my-zsh/master/tools/install.sh)"
# 或者
sh -c "$(wget https://raw.githubusercontent.com/robbyrussell/oh-my-zsh/master/tools/install.sh -O -)"

3、更换zsh主题：

# 打开配置文件
vim ~/.zshrc

# 更改主题
ZSH_THEME="frisk"

4、安装tmux：

apt-get install tmux

 

修改默认Python：

# 查看系统中有哪些Python版本：
ls /usr/bin/python*

# 打开用户配置文件：
vim ~/.zshrc

#添加新的别名来修改默认Python版本：
alias python='/usr/bin/python3.5'

参考：【Python】Ubuntu修改默认Python版本

 

在docker里安装opencv，调用时报错：

1、报错：ImportError: libgthread-2.0.so.0: cannot open shared object file: No such file or directory

apt-get install libglib2.0-dev

2、报错：ImportError: libSM.so.6: cannot open shared object file: No such file or directory

# 安装apt-file
apt-get install apt-file
# 更新
apt-file update
# 寻找依赖
apt-file search libSM.so.6
# 安装依赖
apt-get install libsm6

3、报错：ImportError: libXrender.so.1: cannot open shared object file: No such file or directory

apt-get install libxrender1

4、日！终于行了！

 

 

修改容器的挂载目录：

提交现有容器为新镜像，然后重新运行它：

# 查看现有容器id
docker ps -a
# 提交现有容器为新镜像
docker commit 5a3422adeead newimagename
# 重新运行，挂载/mnt/data
docker run --runtime=nvidia -v /home:/home -v /mnt/data:/mnt/data -w /home/jay -it --entrypoint bash -d --name pytorch1.3.1-lzc -h pytorch --shm-size 32G pytorch1.3-cuda10.1:latest

参考：docker-修改容器的挂载目录三种方式

 

解决docker容器内ubuntu镜像中文乱码问题：

  • 在ubantu系统中设置；
# 编辑zshrc或者bashrc
vim ~/.zshrc
# or
vim ~/.bashrc

# 在最后添加以下3句；
export LC_ALL="C.UTF-8"
export LANG="C.UTF-8"
export LANGUAGE="C.UTF-8"
  • 退出容器（CTRL+P  CTRL+Q），重新登入就好了。

参考：docker 学习 - 解决ubuntu镜像中文乱码问题

Docker容器开发环境转移

使用场景：

在84服务器上配置好一个docker环境之后，想把该环境部署到10服务器上使用

# 将84服务器上的docker容器提交为镜像
docker commit container_id image_name:tag
# 将镜像打包为压缩文件
docker save image_id -o /somepath/image_name.tar
# 将镜像的压缩文件传输到10服务器
scp /somepath/image_name.tar jay@192.168.202.10:~/packages
# 在10服务器上将压缩文件load为镜像
docker load < image_name.tar 
# 此时，在10服务器上运行docker ps，便可以看到该镜像，但是其image_name和tag均为none，重命名镜像：
docker tag IMAGEID(镜像id) REPOSITORY:TAG（仓库：标签）
# 接下来，将镜像run起来就好了。
zhicai_liu
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
docker之构建docker开发环境
西邮记的专栏
01-23 820
os：centos6.5 1 安装工具 git：yum install git make：yum install make 2 安装docker docker的build环境本身就是个container，所以先安装个docker。 这个网上有很多资料，或者安装github上docker的指导。 3 获取docker源码 git clone https://git@github.
Docker最全教程之使用Docker搭建Java开发环境
wj1314250的博客
01-19 1937
前言 Java是一门面向对象的优秀编程语言，市场占有率极高，但是在容器化实践过程中，发现官方支持并不友好，同时与其他编程语言的基础镜像相比（具体见各语言镜像比较），确实是非常臃肿。 Java Java是一门面向对象编程语言，不仅吸收了C++语言的各种优点，还摒弃了C++里难以理解的多继承、指针等概念，因此[Java语言具有功能强大和简单易用两个特征。Java语言作为静态面向对象编程语言的代表，极好地实现了面向对象理论，允许程序员以优雅的思维方式进行复杂的编程。 Java具有简单性、面向对象、分布式、健壮性、
docker 命令实用指南
David's Notes
06-07 2656
Docker 使用命令
【博客501】Nvidia docker runtime原理
qq_43684922的博客
09-24 5612
docker 本身并不原生支持GPU，但使用docker的现有功能可以对GPU的使用进行支持。如上所述，通过 --device 来指定挂载的GPU设备，通过 -v 来将宿主机上的 nvidia gpu 的命令行工具和相关的依赖库挂载到容器。这样，在容器中就可以看到和使用宿主机上的GPU设备了。这样使用，对于GPU的可用性（哪些GPU是空闲的等）需要人为的判断，效率很低。
ImportError: libgthread-2.0.so.0: cannot open shared object file: No such file or directory
最新发布
qq_34425255的博客
05-09 325
【代码】ImportError: libgthread-2.0.so.0: cannot open shared object file: No such file or directory。
docker和nvidia-docker的安装以及错误记录
fxmtb的博客
05-10 3076
docker和nvidia-docker的安装以及错误记录
docker启动时 --runtime=nvidia找不到
weixin_55587481的博客
02-06 513
增加deamon.jspn配置。
docker 常用指令
weixin_42427947的博客
12-22 131
docker常用指令 查看本地所有镜像 docker images 查看所有container docker ps -a 进入一个已经运行的container docker exec -it 容器id /bin/bash 使用nvidia-docker来运行docker docker run --runtime nvidia -it --rm --network host --workdir 容器内工作路径 --name 名字1 --hostname 名字2 镜像名:镜像TAG /bi
基于PyCharm+Docker构建深度学习开发环境操作指南1
08-08
基于Docker镜像部署SSH服务 基于基础镜像，启动容器（注意映射本地的XXX端口：容器的22端口），并在容器中部署open-ssh服务（注意配置文件的修改）
PyCharm使用Docker镜像搭建Python开发环境
12-23
本文将介绍如何利用PyCharm来连接Docker镜像，从而搭建Python开发环境。 首先，我们需要准备一下工具： PyCharm专业版 Docker 我们用一个示例项目来演示在PyCharm中如何利用Docker镜像搭建Python开发环境。项目的...
docker + pycharm+GPU 远程开发配置环境教程.pdf
11-23
* 使用 Docker + PyCharm 可以实现远程开发环境的配置，提高开发效率。 六、Dockerfile 基本操作 * Dockerfile 是一个文本文件，用于构建 Docker 镜像。 * Dockerfile 的内容包括了构建镜像需要的命令和参数。 * ...
BAT面试14： 谈谈 docker 在深度学习任务中的应用1
08-03
这时候docker出现了，docker是一种容器区别于虚拟机，使用docker你可以打包、发布、运行任何应用程序，如果你经常碰到开发环境与生产环境不一致，或者经
Ubuntu20.04-nvidia-nvidia-docker离线资源
07-22
NVIDIA Docker是NVIDIA公司为支持GPU加速的Docker容器提供的一种解决方案，特别适用于运行需要GPU支持的计算密集型任务，如深度学习、高性能计算（HPC）和图形密集型应用。 标题“Ubuntu20.04-nvidia-nvidia-docker...
docker19.03+调用宿主机nvidia显卡，配置默认runtime=nvidia
Briwisdom的博客
01-20 1万+
如果想在容器里调用宿主机的nvidia显卡加速运算，docker 19.03+版本摒弃了之前的nvidia-docker2的实现方式，docker 运行镜像时候只需在run 后加--gpus all的参数，但是在docker-compose里确没有--gpus=all或者runtime=nvidia的参数让docker调用nvidia显卡，之前还以为了nvidia-docker官方没有跟上dock...
docker学习笔记
m0_59092234的博客
05-01 819
docker学习笔记 常用的镜像: docker pull anibali/pytorch:cuda-10.0 删除none的镜像: #!/bin/bash docker ps -a | grep “Exited” | awk ‘{print $1}’ | xargs docker stop docker ps -a | grep “Exited” | awk ‘{print $1}’ | xargs docker rm docker images | grep none | awk ‘{print $3
【Ubuntu】为Docker安装NVIDIA运行时环境（NVIDIA Container Runtime for Docker）
xst_3300
12-20 2659
这样，您的Ubuntu系统上的Docker就已配置为使用NVIDIA容器运行时了。确保您的NVIDIA显卡驱动和CUDA工具包也已正确安装，以便与Docker容器一起使用。首先，确保您的系统已经安装了Docker。编辑或创建Docker的配置文件（如果不存在）如果一切正常，您应该能够看到NVIDIA的。命令的输出，显示了GPU的详细信息。
docker使用过程中最常用的几个命令
maidabu的博客
01-15 295
文章开始,先简单介绍一下docker中镜像与容器的概念: 以C++类为比喻,镜像就好比C++写好的类,容器就是C++类实例化后的对象,创建容器之前必须有镜像. 1 通过Dockerfile编译生成镜像 #test/face为生成的镜像名,用户可以自定义;最后面的符号.代表在当前目录下查找Dockerfile文件 sudo docker build -t="test/face" . 2 根据已有...
nvidia-docker的安装 runtime=nvidia的使用
热门推荐
周大侠的博客
06-17 1万+
1. 移除nvidia-docker 1.0 docker volume ls -q -f driver=nvidia-docker | xargs -r -I{} -n1 docker ps -q -a -f volume={} | xargs -r docker rm -f sudo yum remove nvidia-docker 2. 設定repository distribut...
Linux下使用容器配置nvidia，cuda，cudann，tensorflow-gpu，以及pycharm远程连接服务器
qq_40305923的博客
11-14 687
这里指的是不安装cuda安装包中自带的显卡驱动，如果有驱动且版本对的上就可以取消。1.在主机终端输入nvidia-smi，查看服务器支持的cuda版本，这里显示最高可支持11.4版本的CUDA，然后根据下表tensorflow版本和cuda，cudnn的对应关系。这里需要查询下刚刚创建好的容器ID，在主机下运行以下命令可以显示所有状态的容器，然后我们根据显示表格内容中的容器名称找到对应的容器ID即可：如下图。3.至此，我们完成了CUDA的安装操作，但是需要进一步配置对应的环境变量。
docker配置深度学习环境
07-28
要在Docker中配置深度学习环境，您可以按照以下步骤进行操作： 1. 安装Docker：如果您还没有安装Docker，请根据您的操作系统（Windows、Mac或Linux）在Docker官方网站上下载并安装Docker。 2. 创建一个Docker镜像：您可以使用已经预先配置好的深度学习镜像，例如NVIDIA提供的nvidia-docker镜像，或者您可以自己构建一个包含必要组件和库的镜像。在这里，我们以自己构建镜像为例。 3. 编写Dockerfile：创建一个名为Dockerfile的文本文件，在其中定义您的镜像。以下是一个示例Dockerfile： ``` FROM nvidia/cuda:11.2.0-cudnn8-runtime-ubuntu20.04 # 安装系统依赖 RUN apt-get update && apt-get install -y \ python3 \ python3-pip \ git \ && rm -rf /var/lib/apt/lists/* # 安装深度学习相关库 RUN pip3 install tensorflow-gpu==2.4.1 \ keras==2.4.3 \ numpy \ matplotlib \ jupyterlab # 设置工作目录 WORKDIR /app # 复制项目代码到容器中 COPY . /app # 设置启动命令 CMD ["jupyter", "lab", "--ip=0.0.0.0", "--port=8888", "--allow-root"] ``` 在上述示例中，我们使用了基于Ubuntu 20.04的NVIDIA CUDA和cuDNN的运行时镜像，并安装了Python、Git以及一些常用的深度学习库。您可以根据自己的需求自定义Dockerfile。 4. 构建镜像：在创建好Dockerfile后，使用以下命令在终端中构建镜像（确保当前目录包含Dockerfile）： ``` docker build -t deep-learning-env . ``` 这将会根据Dockerfile创建一个名为deep-learning-env的镜像。 5. 运行容器：运行以下命令启动一个容器，并将本地的一个目录挂载到容器中，以便在容器中进行文件的读写操作： ``` docker run -it --gpus all -v /path/to/local/directory:/app deep-learning-env ``` 在上述命令中，`/path/to/local/directory`是您本地文件系统中的目录，您可以将其替换为您自己的目录。这样，您就可以在容器中进行深度学习相关的开发和实验了。 希望以上步骤能帮助您成功配置深度学习环境。如有任何问题，请随时向我提问。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值