[完美有效] Accelerate的使用说明

已于 2023-12-12 11:24:47 修改
阅读量5.7k 收藏 35
点赞数 20
分类专栏： Diffusion专门研究-SAM专门研究 文章标签： 人工智能
于 2023-11-27 12:10:10 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zjc910997316/article/details/134642194
版权

1. (答题法)通过accelerate config，设置多卡(GPU)使用方法

终端输入指令，生成问答页面

accelerate config


这个方法也是可以的

2. (直接修改法)通过修改default.yaml文件，设置多卡(GPU)使用方法

后面修改直接找到这个yaml文件进行修改即可

cd ~/.cache/huggingface/accelerate

vim default_config.yaml
进入vim进行修改（需要先进行accelerate才会有这个文件生成）
 

3 单卡(GPU)使用方法

vim default_config.yaml
进入vim进行修改
gpu_ids是all
num_processes是1

运行指令CUDA_VISIBLE_DEVICES=4 sh test_ours.sh
就可以在第四块显卡上运行了


 

计算机视觉-Archer
关注
  • 20
    点赞
  • 踩
  • 35
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
HuggingFace——Accelerate的使用
c___c18的博客
10-31 1万+
HuggingFace----Accelerate的使用
accelerate:训练和使用具有多GPU，TPU，混合精度的NLP模型的简单方法
03-29
在任何类型的设备上运行* raw * PyTorch培训脚本 易于整合 :hugging_face: 为喜欢编写PyTorch模型的训练循环但不愿编写和维护使用多GPU / TPU / fp16的样板代码的PyTorch用户创建了Accelerate。 :hugging_face: 准确加速摘要，仅加速与多GPU / TPU / fp16相关的样板代码，而其余代码保持不变。 这是一个例子： import torch import torch.nn.functional as F from datasets import load_dataset + from accelerate import Accelerator + accelerator = Accelerator() - device = 'cpu' + device = accelerator.device model = torch.nn.Transformer().
ChatGLM、ChatGLM2微调日记
VirusBenn的博客
07-20 317
微调是基于github的项目进行微调的。
accelerate加速器指定GPU卡号进行训练多个进程
热门推荐
iin729的博客
05-24 1万+
假如你的服务器有 4 GPUs. 首先，确保安装了accelerate命令。没有安装的话执行 pip installaccelerate 第二，确保CUDA_VISIBLE_DEVICES命令存在。 第三，配置一个默认的运行配置文件 default_config.yaml compute_environment: LOCAL_MACHINE distributed_type: MULTI_GPU fp16: false machine_rank: 0 main_process_ip: nu.
accelerate设置单GPU
最新发布
qq_33582683的博客
04-17 343
【代码】accelerate设置单GPU。
acclerate config配置 方向键失效
duoyasong5907的博客
03-01 196
windows 方向键
TRL代码示例概述
发呆的比目鱼的博客
11-21 313
TRL代码示例概述
Accelerate库详解
qq_45058947的博客
08-02 3192
是 Hugging Face 公司开发的一个 Python 库，旨在简化并优化在各种环境中进行深度学习训练的过程，包括单机、多 GPU、TPU 和各种分布式训练环境。这个库提供了一种通用的 API，可以方便地将原来只能在单个设备上运行的代码扩展到多设备和分布式环境。命令进行配置，这个命令会提供一个交互式的界面来帮助你进行配置。完成配置后，会生成一个。在运行你的训练脚本之前，首先需要配置你的运行环境。然后，你需要对你的训练脚本进行一些修改以适应。如果你需要进行数据并行，使用。文件，记录了你的配置信息。
多机多卡训练SD系列模型（四）
m0_62881125的博客
10-10 2438
Accelerate是为PyTorch用户设计的库，旨在简化分布式训练和混合精度训练过程。它提供了一种轻松加速和扩展PyTorch训练脚本的方式，无需编写繁琐的样板代码。Accelerate的API相对简单，仅包含一个Accelerator对象类，使用户能够更轻松地利用多GPU、TPU等计算资源，同时保持对训练循环的完全控制。
HuggingFace Accelerate解决分布式训练
qq_40519226的博客
03-24 5136
由于项目代码比较复杂且可读性差…，尝试使用Hugging Face的Accelerate实现多卡的分布式训练。
accelerate 自定义单GPU
WGS.
05-06 1823
accelerate 自定义单GPU
AccelerateDecelerateInterpolator.rar_Accelerate
09-19
在Android开发中，动画是提升用户体验的关键因素之一。`...通过深入研究这两个文件，开发者可以学习如何在自己的Android项目中有效地使用这个插值器，为用户提供更加细腻和真实的交互感受。
egret_test.rar_Accelerate
09-24
《Egret_test.rar_Accelerate：提升性能的关键步骤》 在计算机编程领域，优化代码性能是一项至关重要的任务，特别是在开发游戏或者图形密集型应用时。标题中的"egret_test.rar_Accelerate"暗示了一个针对Egret引擎...
FastSwiftBlur:通过Apple Accelerate Framework具有非常快速的模糊图像的演示项目
05-17
这是一个演示项目，通过Apple Accelerate框架具有非常快速的模糊图像。 技术 iPhone上有很多图像处理方法。 其中之一是非常受欢迎的CIFilter ，另一个是Accelerate框架中的vImage 。 vImage使用CPU的矢量处理器来...
crc32-pclmul_asm.rar_Accelerate
09-19
压缩包中的文件"crc32-pclmul_asm.c"很可能包含了使用C语言编写的源代码，其中包含了调用PCLMULQDQ指令的汇编代码段。这样的实现通常需要对底层硬件有深入的理解，以便正确地编写和集成汇编代码。开发人员可能需要...
Py之accelerate：accelerate的简介、安装、使用方法之详细攻略
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
06-10 1万+
​ Py之accelerate：accelerate的简介、安装、使用方法之详细攻略 目录 accelerate的简介 accelerate的安装 accelerate的使用方法 accelerate的简介 Accelerate 是一个为 PyTorch 用户设计的库，旨在帮助简化分布式训练和混合精度训练的过程。它提供了一种简单且灵活的方式来加速和扩展您的 PyTorch 训练脚本，而无需编写冗长的样板代码。使用户能够更轻松地利用大规模计算资源并加速模型训练过程
Accelerate launch pytorch分布式训练
人工智能曾小健
07-04 4672
在实践中，这意味着：你必须特别注意让你的输入中的所有张量具有相同的形状（所以没有动态填充），并且不应该使用具有。在单个进程上执行的语句：有些语句只需要在特定的进程上执行而无需在所有进程上执行，如数据下载、记录日志、以及打印进度条。上同时部署你的脚本会带来一个复杂的问题：虽然每个进程都是按顺序执行所有指令，但有些可能比其他的快。的模块不应该在不同的设备上分割。这可能会导致明显的减速，因为所有的进程都需要与它们进行更多次的通信。首先，你应该等待所有的进程到达脚本中的 “延迟执行” 所描述的那个点。
使用hugging face开源库accelerate进行多GPU（单机多卡）训练卡死问题
EstrangedZ的博客
10-14 4199
单机多卡训练出现[E ProcessGroupNCCL.cpp:828] [Rank 1] Watchdog caught collective operation timeout: WorkNCCL(OpType=BROADCAST, Timeout(ms)=1800000) ran for 1808499 milliseconds before timing out.的解决方案
accelerate config使用
07-27
您可以使用命令行工具accelerate config来快速配置和测试您的训练环境。只需在您的机器上运行"accelerate config"命令即可。这将为您提供一个可选的命令行界面，让您轻松配置和测试训练环境，而无需记住如何使用torch.distributed.run或编写特定的TPU训练启动器。\[1\] #### 引用[.reference_title] - *1* *2* [Py之accelerate：accelerate的简介、安装、使用方法之详细攻略](https://blog.csdn.net/qq_41185868/article/details/131137548)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] - *3* [HuggingFace——Accelerate的使用](https://blog.csdn.net/c___c18/article/details/127616417)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

计算机视觉-Archer

图像分割没有团队的同学可加群

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值