在docker中安装联邦学习fedml框架

本文详细介绍了如何在docker环境下安装和配置FedML,包括使用ufoym/deepo镜像,创建overlay网络,设置容器间的通信,解决Python版本问题,配置无密码SSH,安装必要依赖,并进行分布式测试。
摘要由CSDN通过智能技术生成

在docker中安装联邦学习fedml框架

这里主要介绍docker容器跨物理机的分布式fedml的安装方法

fedml的官方安装教程:http://doc.fedml.ai/#/installation-distributed-computing

由于官方的安装教程不是基于docker的,由于某些原因,本人需要在docker环境中安装fedml

几个关键的步骤是:

  1. 在你的多个物理节点中启动多个docker容器,作为部署fedml的节点。docker容器可以预留出几个端口,用来起jupyter服务之类的。参考:
    docker run --gpus all -itd --privileged --name=fedml_x -p 1000-1010:1000-1010 ufoym/deepo /bin/bash

    这里推荐用镜像ufoym/deepo,这个镜像已经把gpu环境以及torch和tf安装好了。

  2. 要让这多个docker容器组成集群,这样容器之间才可以相互发送数据,如果你的容器全是在同一台物理机上,那么就没必要组成集群了,直接把它们当成物理机按照官方文档部署就可以了。这里有个注意的点,笔者之前对docker不熟悉,一开始把容器的ip设置为宿主机的ip,然后通过修改ssh的端口号做无密码登录,但是这样会在mpirun那里碰到问题,mpirun命令会随机占用一个容器中可用的端口号,而且没法设置,也就没法做容器和宿主的端口映射,这里浪费了很多时间,其实同节点的docke
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值