AssertionError: Default process group is not initialized

最新推荐文章于 2023-11-24 21:15:00 发布

zouxiaolv

最新推荐文章于 2023-11-24 21:15:00 发布

阅读量139

点赞数

文章标签： python 深度学习

本文链接：https://blog.csdn.net/zouxiaolv/article/details/131849325

版权

该代码段展示了如何使用PyTorch的torch.distributed模块初始化一个进程组，采用gloo通信库，通过文件系统进行进程间协调，设置rank为0，world_size为1，适用于单机分布式训练场景。

摘要由CSDN通过智能技术生成

放在开头部分

>>> import torch.distributed as dist
>>> dist.init_process_group('gloo', init_method='file:///tmp/somefile', rank=0, world_size=1)

关注