RuntimeError: CUDA error: device-side assert triggered排错

最新推荐文章于 2023-06-16 18:36:09 发布
最新推荐文章于 2023-06-16 18:36:09 发布
阅读量225 收藏 1
点赞数
分类专栏： pytorch报错
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/znevegiveup1/article/details/119480515
版权
本文探讨了一起由于词汇表大小与神经网络嵌入层不匹配导致的问题。在构建模型时，定义的word_embeddings层大小为(6930, 768)，但实际词汇表包含9448个单词，这种不一致可能导致模型训练出错或性能下降。解决此类问题的关键在于确保模型组件与输入数据的一致性。
摘要由CSDN通过智能技术生成

这个问题我的产生是由于embedding层数不一致造成的，

self.word_embeddings = nn.Embedding(config.vocab_size,config.hidden_size,padding_idx=config.pad_token_id)

定义的self.word_embeddings的对应值为

(word_embeddings): Embedding(6930, 768, padding_idx=0)

而实际上vocab.txt的词汇表有9448个单词

唐僧爱吃唐僧肉
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
RuntimeError: CUDA error: device-side assert triggered报错
ruichuang2的博客
07-08 492
在加载数据的时候Dataloader()加上drop_last=True，就好了。这个报错，依次排除了是不是因为数据包含nan；
RuntimeError: CUDA error: device-side assert triggered
阿文
11-27 2799
RuntimeError: CUDA error: device-side assert triggered /pytorch/aten/src/THCUNN/BCECriterion.cu:57: void bce_updateOutput_no_reduce_functor<Dtype, Acctype>::operator()(const Dtype *, const Dty...
RuntimeError: CUDA error: device-side assert triggeredCUDA kernel errors might be asynchronously re
最新发布
m0_74982304的博客
06-16 8998
解决办法：先测试自己的代码有没有代码上的问题，再考虑有没有cuda内存泄漏的问题，但内存泄漏基本上不会发生。在消除这两种可能后，可以在代码最前面加上下面这段代码，这个方法是gpt告诉我的，这也是报错中所提示的，但是并没有解决我的问题，各位老铁不妨一试。我用的是COCO2017数据集，这个数据集比较大，其中图片很多，我在我的dataloader中将所有图片都调成了[3,256,256]的大小。有意思的是，在训练最开始时一切顺利，到了几千张图片后就发生了上述的报错。到此为止跑了十几万张图片都没有再报错。
cuda error:device-side assert triggered解决办法
BeckyWan_的博客
05-29 311
可能原因：网络中设定的class的数目与真实标签数不匹配。解决方法：修改class数目。
有关torch.nn.embedding的bug解决记录
谁谓荼苦，其甘如荠
10-13 1万+
废话少叙，直接上Traceback File "/home/shenfei1/anaconda3/envs/bert/lib/python3.6/site-packages/torch/nn/functional.py", line 1484, in embedding return torch.embedding(weight, input, padding_idx, scale_grad_by_freq, sparse) RuntimeError: Expected tensor fo
解决问题：pytorch CUDA error: device-side assert triggered
qq_29134801的博客
11-26 3863
x = (x - u) / torch.sqrt(s + self.variance_epsilon) RuntimeError: CUDA error: device-side assert triggered 原则，不要去怀疑底层库的东西，那都是别人测试了很多遍的东西。 出现这个错误，一般是embedding不匹配。 比如我这里，我的错误是embedding写成了embedding...
pytorch报错：RuntimeError: CUDA error: device-side assert triggered究极解决方案
Matrix-yang的博客
12-22 1万+
原因 模型的数据处理出了问题，一般是类似与数组访问越界的问题 1.例如分类的标签是数据处理的时候是1-10，但是torch在计算交叉熵是默认是0-9 2.embedding模块的词表长度问题，比如embedding中词表总长度是100，但是具体数据的token_id超过100，也会报错。 3.其他越界问题 错误定位 torch在使用cuda计算是报错的位置的代码不一定是错的，所以这点一定要注意（推测cuda并行计算，不能清楚的定位到具体错误位置） 这时候要注意一点，把所有数据，模型不要放在cuda上计算，将
RuntimeError: CUDA error: device-side assert triggered解决方法
GrandpaTong的博客
04-13 9640
这里写自定义目录标题如何解决总结：数值越界，自己debug 发现出现错误的代码位置，核实附近的函数以及输入，看看到底是哪里越界了，然后想办法解决越界问题。 如何解决 因为大家的代码各不相同，所以每个人都要根据自己的情况来修改代码。产生这个错误的原因就是输入的数值超过索引的界限。举一个不太恰当的例子，a = [0,1,2] 如果你想获得a[99] 就会出现索引越界。 那么我们如果在pytorch中出现这个问题，可能是因为1.损失函数，如BCE损失函数接受的范围为[0,1]，如果你没有做softmax归一化将
pytorch模型提示超出内存RuntimeError: CUDA out of memory.
01-20
跑模型时出现RuntimeError: CUDA out of memory.错误 查阅了许多相关内容，原因是：GPU显存内存不够 简单总结一下解决方法： 将batch_size改小。 取torch变量标量值时使用item()属性。 可以在测试阶段添加如下代码：...
Python RuntimeError: thread.__init__() not called解决方法
09-22
然而，在使用`threading.Thread`进行多线程编程时，可能会遇到`RuntimeError: thread.__init__() not called`这样的错误。这个错误通常意味着你没有正确地初始化`threading.Thread`的实例。 在标题和描述中提到的...
RuntimeError: DataLoader worker (pid(s) 9528, 8320) exited unexpectedly
01-06
RuntimeError: DataLoader worker (pid(s) 9528, 8320) exited unexpectedly 去网上搜教程，说是在loader定义的时候多进程的参数指定的问题，我的loader定义如下 loader = Data.DataLoader( dataset=torch_dataset,...
yolov5-3.1版本训练时可能会报错及修改方法汇总
08-20
一、 RuntimeError: a view of a leaf Variable that requires grad is being used in an in-place operation 在 yolov5-3.1 版本训练时，可能会出现上述报错。这是因为 PyTorch 中的叶变量（leaf Variable）要求 ...
RuntimeError: cuda runtime error : device-side assert triggered
Cindy_lxy的博客
05-10 2922
这个错误整了我一天时间，所以特此记录一下，如果大家也碰到希望能够避雷！！！ 这个错误是在运行PyTorch代码出错，我碰到的原因是神经网络init定义时给的参数出错。 （具体是nn.Embedding(vocab_size,embed_dim)中vocab_size传错参数导致的） 【1】网上有人说这是gpu坏了，不能运行，首先可以通过： import torch torch.cuda.is_available() 测试，就可以排除这种问题。所一般不是cuda或者机器的问题 注：对于报错，不要
RuntimeError: CUDA error: device-side assert triggered void cunn_ClassNLLCriterion_updateOutput_k
阿辉的博客
06-27 1万+
RuntimeError: CUDA error: device-side assert triggered /opt/conda/conda-bld/pytorch_1549628766161/work/aten/src/THCUNN/ClassNLLCriterion.cu:105: void cunn_ClassNLLCriterion_updateOutput_kernel(Dtype *...
RuntimeError 之 : CUDA error: device-side assert triggered
qq_41368074的博客
06-02 5516
我们在使用Pytorch时会遇到这种错误，这种错误往往是因为你的标签数据里出现了超出标签范围的值，比如说你要做100个动作的动作识别，那么你的标签范围应该是0,1,2.....99.一般我们采用从0开始的计数方式，但是如果你的标签数据里出现了诸如-1或100这样不再此范围中的数据时，便会报此错误。解决办法就是确认你的标签的范围，以及你产生标签的方式，是不是从1开始计数的。或者一切会导致标签出错的原因。 ...
踩坑记：RuntimeError: CUDA error: device-side assert triggered
weixin_40313940的博客
06-28 7263
GAT分类的时候，遇到 RuntimeError: CUDA error: device-side assert triggered 原因是数据的类别和num_classes不一致造成的。 比如我的数据总共有10类，但是类别数是从1-10，而一般的分类程序是从0-9，所以会出现这个问题，将数据类别改成从0开始就好。 ...
【RuntimeError: CUDA error: device-side assert triggered】问题与解决
热门推荐
ball is life
07-09 5万+
RuntimeError: CUDA error: device-side assert triggered以及Assertion `index >= -sizes[i] && index < sizes[i] && "index out of bounds"` failed.BUG解决思路
CUDA error: device-side assert triggered CUDA kernel errors问题解决
小姑仔的博客
01-05 9135
今天在写pytorch代码的时候，报了这样的一个错误 CUDA error: device-side assert triggered CUDA kernel errors might be asynchronously reported at some other API call,so the stacktrace below might be incorrect. For debugging consider passing CUDA_LAUNCH_BLOCKING=1. 这个问题的解决只要在前面加
runtimeerror: cuda error: device-side assert triggered
04-30
runtimeerror: cuda error: device-side assert triggered 是 CUDA（Compute Unified Device Architecture）在执行GPU计算时发生了错误的提示。在GPU计算过程中，如果程序发现了不符合预期的操作或者输入，就会触发...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值