transformers模型加载与seed随机状态

最新推荐文章于 2024-05-10 21:07:33 发布
最新推荐文章于 2024-05-10 21:07:33 发布
阅读量889 收藏
点赞数
分类专栏： 笔记 NLP 文章标签： 深度学习 python pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ziuno/article/details/126918257
版权
笔记 同时被 2 个专栏收录
34 篇文章 0 订阅
订阅专栏
NLP
14 篇文章 0 订阅
订阅专栏

Transformers的模型加载会改变seed的随机状态

这里使用了一个自己写的库进行测试：py-seeds（直接pip就可以安装，目前是0.0.2版本）

import py_seeds
from transformers import AutoModel


def state_str(state_dict):
    random_state = str(state_dict["random"])
    numpy_state = str(state_dict["numpy"][0]) + str(state_dict["numpy"][1].tolist())
    torch_state = str(state_dict["torch"].numpy().tolist())
    torch_cuda_state = "".join([str(i.numpy().tolist()) for i in state_dict["torch_cuda"]])
    return random_state + numpy_state + torch_state + torch_cuda_state


# not load model
state = py_seeds.get_seed_state()
now_state = py_seeds.get_seed_state()
print(state_str(state) == state_str(now_state))
# True: no change to the random state

# load model
model = AutoModel.from_pretrained('roberta-base')
now_state = py_seeds.get_seed_state()
print(state_str(state) == state_str(now_state))
# False: the loading of transformers model would change the random state

# set state after loading
py_seeds.set_seed_state(state)
now_state = py_seeds.get_seed_state()
print(state_str(state) == state_str(now_state))
# True: must set state after loading to keep the random state same

True
False
True

使用了一种很简易的方式进行状态间对比：把所有表示状态的变量都转换为list再转换为str，并拼接，判断两个状态代表的字符串是否相同（不可以用hash）

总结

transformers的模型的from_pretrained将会改变随机状态，如果需要确保随机状态一致，最好在加载完后重新设定一遍随机状态（适用于训练过程中的断点恢复，避免训练出错后恢复随机状态不一致）
（tokenizer的from_pretrained并不会影响随机状态）

笔者语

真的是一个很小的点，本来以为只有在训练的过程才涉及到随机状态的改变，没有想到一个加载的过程也会影响，试了好久才发现，希望能给大家避避坑吧～
可能考虑在下一个版本的py-seeds里更新成更方便判断是否相同的功能～

ziuno
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hugging Face教程 - 1、transformers模型库
m0_46850835的博客
11-07 1220
hugging face学习教程- 1、transformers模型库
使用 Transformers 优化文本转语音模型 Bark
Hugging Face
08-23 396
???? Transformers 提供了许多最新最先进 (state-of-the-art, SoTA) 的模型，这些模型横跨多个领域及任务。为了使这些模型能以最佳性能运行，我们需要优化其推理速度及内存使用。???? Hugging Face 生态系统为满足上述需求提供了现成且易于使用的优化工具，这些工具可应用于库中的所有模型。用户只需添加几行代码就可以轻松 减少内存占用 并 提高推理速度。在本实战教程中，...
Transformers中加载预训练模型的过程剖析(一)
最新发布
Axlsss的博客
05-10 1282
Transformers中加载预训练模型的过程剖析
如何生成文本: 通过 Transformers 用不同的解码方法生成文本
Hugging Face
04-24 440
简介近年来，随着以 OpenAI GPT2 模型 为代表的基于数百万网页数据训练的大型 Transformer 语言模型的兴起，开放域语言生成领域吸引了越来越多的关注。开放域中的条件语言生成效果令人印象深刻，典型的例子有: GPT2 在独角兽话题上的精彩续写，XLNet 以及 使用 CTRL 模型生成受控文本 等。促成这些进展的除了 transformer 架构的改进和大规模无监督训练数据外，更好...
Pytorch快速入门
Cyberfish1120的博客
06-15 500
简例 import torch """第一步：定义自己的模型""" class MyModel(torch.nn.Module): def __init__(self): super().__init__() # 声明并初始化模型所需的神经网络层 self.mlp = torch.nn.Linear(1, 1) # y = ax + b形式 def forward(self, x): # 将__init__()声明的网
【Hugging Face】Transformer.TrainingArguments Parameters/参数
SkyTai的博客
07-06 1774
【代码】【Hugging Face】Transformer.TrainingArguments Parameters/参数。
Transformers
sikh_0529的博客
09-09 1万+
这可以学习（使用权重），或者我们可以使用可以更好地扩展的固定函数来创建在推理期间未观察到的长度的位置编码.这允许不同的头部学习独特的表示，同时保持复杂性，因为我们将输入分成更小的子空间。这有效地允许我们使用非常大的序列的固定函数来表示每个标记的相对位置。而且因为我们已经将位置编码限制为与我们的编码输入具有相同的维度，所以我们可以简单地将它们连接起来，然后再将它们输入到多头注意力头中。这种类型的注意力涉及将我们编码的输入序列投影到三个矩阵上，查询（Q）、键（K）和值（V），我们学习它们的权重。
sentence-transformers/allenai-specter 模型
06-28
可用于语义聚合任务中的文本编码器，它将句子和段落映射到 768 维密集向量空间，是 sentence_transformers 库的模型之一，官网下载速度缓慢，容易被墙，下载解压后，可以参考此文章进行模型本地加载 ...
sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 模型
06-30
它将句子和段落映射到 384 维密集向量空间，可用于聚类或语义搜索等任务，是 sentence_transformers 库的模型之一，官网下载速度缓慢，容易被墙，下载解压后，可以参考此文章进行模型本地加载 ...
基于torch transformers 直接加载bert预训练模型计算句子相似度
02-05
本篇主要介绍如何利用PyTorch库中的Transformers模块直接加载BERT（Bidirectional Encoder Representations from Transformers）预训练模型，来计算两个句子的相似度。 首先，BERT是一种基于Transformer架构的预...
transformers pytorch 版语言模型 源码
08-17
标题 "transformers PyTorch版语言模型 源码" 提到的核心概念是`transformers`，这是一个在自然语言处理（NLP）领域广泛应用的库，由Hugging Face团队开发。`transformers`库提供了多种预训练的深度学习模型，如BERT...
smaller-transformers:加载您需要的东西
05-26
该存储库共享较小版本的多语言转换器，这些转换器保留与原始转换器提供的表示相同的表示。 这个想法来自一个简单的观察：经过大量的多语言预训练之后，并不需要所有的嵌入来执行微调和推理。 实际上，很少有人会需要...
BertTokenizer警告Be aware, overflowing tokens are not returned for the setting you have chosen, i.e. s
亓官劼的博客
03-02 3697
BertTokenizer警告Be aware, overflowing tokens are not returned for the setting you have chosen, i.e. sequence pairs with the ‘longest_first’ truncation strategy. So the returned list will always be empty even if some tokens have been removed.   大家好，我是亓官劼（q
关于少样本Transformer微调的稳定性
发呆的比目鱼的博客
07-05 725
关于少样本Transformer微调的稳定性 Introduction 微调 Transformer 模型往往表现出训练不稳定。即使具有相同的超参数值（学习率、批量大小等），不同的随机种子也会导致截然不同的结果。这个问题更加明显，尤其是在小数据集上使用大型Transformer时。 本notebook将深入探讨少样本微调优化过程和技术的不同方面。目标是更好地理解我们必须处理一些样本微调问题的不同补救措施。 Problem 自 BERT 引入以来，Transformer 微调过程的不稳定性就已为人所知，从那时
数据增强、随机种子、cifar图像识别
weixin_45797937的博客
03-20 1378
数据增强 主要是这部分代码，transform的一些列api， def load_data(batch_size): train_loader = torch.utils.data.DataLoader( datasets.MNIST('../data', train=True, download=True, transform=transforms.Compose([ transfo
transformer，nlp,gpt2，打卡第二次
weixin_42896263的博客
01-26 171
from transformers import pipeline, set_seed from transformers import Conversation import time tic=time.time() conversational_pipeline = pipeline("conversational") que_list=["Going to the movies tonight - any suggestions?","What's the last book you have re
Transformers实际应用案例
weixin_46726459的博客
12-09 1673
Transformers实际应用案例 尝试使用transformers库提供的各种pipelineTransformers实际应用案例1--情感分类(Sequence Classification)2--智能填词(Masked Language Modeling)3--文本生成Text Generation4--抽取式问答Extractive Question Answering5--Translation翻译 首先安装transformers pip install transformers impo
使用huggingface的Transformers预训练自己的bert模型+FineTuning
热门推荐
Wisley的读书笔记分享
04-13 3万+
将“softmax+交叉熵”推广到多标签分类问题： https://zhuanlan.zhihu.com/p/138117543 SGM https://github.com/lancopku/SGM
huggingface transformers实战系列-06_文本摘要
yanqianglifei的专栏
04-08 6172
文本摘要实战：基于预训练模型实现文本摘要任务，基于pegasus实现对话文本摘要
transformers做cifar10图像分类任务训练和测试最后画出曲线图并保存模型
05-27
好的，针对您的问题，我将为您提供一份基于 Transformers 实现 CIFAR-10 图像分类任务的 Python 代码。请注意，由于训练时间较长，我将仅提供代码框架，您可以按照注释中的提示进行修改和完善。 ```python import torch from torch import nn from torch.utils.data import DataLoader from torchvision import datasets, transforms from transformers import ViTModel, ViTForImageClassification, ViTConfig, AdamW, get_linear_schedule_with_warmup # 设置随机种子 torch.manual_seed(42) # 定义超参数 BATCH_SIZE = 32 LEARNING_RATE = 2e-5 EPOCHS = 10 WARMUP_STEPS = 1000 # 加载 CIFAR-10 数据集 transform = transforms.Compose([ transforms.Resize((224, 224)), transforms.ToTensor(), transforms.Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5)) ]) train_dataset = datasets.CIFAR10(root='./data', train=True, download=True, transform=transform) test_dataset = datasets.CIFAR10(root='./data', train=False, download=True, transform=transform) train_loader = DataLoader(train_dataset, batch_size=BATCH_SIZE, shuffle=True) test_loader = DataLoader(test_dataset, batch_size=BATCH_SIZE, shuffle=False) # 加载 ViT 模型 config = ViTConfig(image_size=224, num_classes=10, hidden_size=768, num_hidden_layers=12, num_attention_heads=12) model = ViTForImageClassification(config) # 定义损失函数和优化器 criterion = nn.CrossEntropyLoss() optimizer = AdamW(model.parameters(), lr=LEARNING_RATE) # 设置学习率调度器 total_steps = len(train_loader) * EPOCHS scheduler = get_linear_schedule_with_warmup(optimizer, num_warmup_steps=WARMUP_STEPS, num_training_steps=total_steps) # 训练模型 for epoch in range(EPOCHS): model.train() for i, (images, labels) in enumerate(train_loader): optimizer.zero_grad() outputs = model(images) loss = criterion(outputs.logits, labels) loss.backward() torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm=1.0) optimizer.step() scheduler.step() if i % 100 == 0: print(f'Epoch [{epoch+1}/{EPOCHS}], Step [{i+1}/{len(train_loader)}], Loss: {loss.item():.4f}') # 测试模型 model.eval() with torch.no_grad(): correct = 0 total = 0 for images, labels in test_loader: outputs = model(images) _, predicted = torch.max(outputs.logits.data, 1) total += labels.size(0) correct += (predicted == labels).sum().item() accuracy = 100 * correct / total print(f'Test Accuracy: {accuracy:.2f}%') # 保存模型 torch.save(model.state_dict(), 'vit_cifar10.pth') ``` 在上述代码中，我们首先使用 PyTorch 内置的 `datasets` 和 `transforms` 模块加载并预处理 CIFAR-10 数据集；然后使用 Transformers 提供的 `ViTForImageClassification` 类定义 ViT 模型，并使用 AdamW 优化器和学习率调度器进行训练；最后在测试集上评估模型，并使用 `torch.save()` 方法保存模型参数。 您可以根据自己的需要对代码进行修改和完善，例如调整超参数、使用其他预训练模型等。在训练完成后，您可以使用 Matplotlib 绘制训练和测试曲线图，例如： ```python import matplotlib.pyplot as plt # 绘制训练和测试曲线图 plt.plot(train_losses, label='Training loss') plt.plot(test_losses, label='Testing loss') plt.legend() plt.show() ``` 其中 `train_losses` 和 `test_losses` 分别为每个 epoch 的训练损失和测试损失。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值