pytorch：解决训练数据不能被batchsize整除

最新推荐文章于 2022-06-28 17:09:07 发布
最新推荐文章于 2022-06-28 17:09:07 发布
阅读量1.2w 收藏 30
点赞数 16
分类专栏： pytorch学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhangqiqiyihao/article/details/118088321
版权
在训练seq2seq模型时，如果数据量不能被batch size整除，最后一个批次的数据可能会导致形状不匹配问题。为解决此问题，可以在PyTorch的DataLoader中设置`drop_last=True`，这样可以自动丢弃最后一个不足batch size的数据，确保每个epoch内数据的完整性和批处理的一致性。这是一个简单而有效的方法，尤其适用于大量数据的情况。
摘要由CSDN通过智能技术生成

训练seq2seq模型时，训练数据一般都不能刚好和batchsize成整数倍数关系。
那么在每个epoch训练中，最后会剩余一组数据量<batchsize的数据。
此时这些数据可能会不适合编写的网络形状，或者代码中reshape形状的部分，在rnn中还会不匹配隐状态形状。
因为我的训练数据量很大，所以直接把最后一个不足batch的数据组抛弃就好。

train_loader = Data.DataLoader(MyDataSet(train_enc_inputs, train_dec_inputs, train_dec_outputs), BATCH_SIZE, True,drop_last=True)

解决这个问题，在pytorch中使用dataloader加载数据，只需要在参数里加一个

drop_last=True

就可以了，十分方便！

y hat
关注
  • 16
    点赞
  • 踩
  • 30
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
PyTorch 训练时中遇到的卡住停住等问题
yyywxk的博客
05-24 6万+
- 问题描述 使用 PyTorch 框架训练模型，训练第一个 epoch 时，在最后一个 batch 处卡死，卡了一天都没有动弹，而 CPU 和 GPU 都处于正常运行的状态，程序也没有报错，并且之前训练一直都是正常的。最终，只能通过 Ctrl+C 强制性暂停。如下图所示。 - 可能的原因 搜索文章发现，有人出现这种问题是和 cv2.imread 有关，用 OpenCV 的接口进行数据读取，而没有用 PIL，导致出现 OpenCV与Pytorch互锁的问题，关闭OpenCV的多线程即可解决问题1 2。 但
[Pytorch]最后一个batch数据量小于batch_size的问题及解决方案
weixin_66896881的博客
01-13 3301
最后一个batch数据量小于batch_size的问题及解决方案
Pytorch每次训练到Epoch1最后出现size不匹配的一个可能原因
NLOS的博客
08-20 4922
原因： 在网络本身有随机变量的情况下，随机变量很可能是在定义网络时按照预设的batchSzie确定的维度。这样，如果总的训练集的Size不能被batchSize整除，就会出现网络输入数据的Size和生成的随机变量的size在Batchsize那个维度上不匹配的问题，从而报错。 解决： 调整BatchSize使其能够整除Size； 或 调整数据集大小使其能够被BatchSize整除。 或 检查输入数据的batchsize，当它和预设的batchsize不匹配时强行补齐； 总结 之..
pytorch：batchsize不能整除训练数据大小的解决方案
york1996的博客
09-03 1万+
本文讨论的是不使用dataloader的情况下，怎么解决batchsize不能整除训练数据大小的问题。 方案1，寻找可以整除训练数据大小的batchsize 比如训练数据一共50000万个，每个批次35个数据就不合适，可以设置成50个。 方案2，舍弃不能整除的部分数据 比如，batchsize是50，训练数据总个数是50025，那么就要舍弃最后的25个训练数据。 方案3，增加训练数据 ...
pytorch读取数据集问题
m0_51644024的博客
11-25 1604
当用自己的图数据跑别人的图神经网络代码时出现的问题，数据集的数据不同，结果出错。 错误： # size [batch_size, cHeads, centrs, graphsize] dist = torch.sum(torch.abs(points - batch_centroids_broad) ** 2, 4) RuntimeError: The size of tensor a (450) must match the size of tensor b (5) at non-singleton..
Pytorch-DataLoader笔记
m0_56945333的博客
02-26 790
用于深度学习的DataLoader定义格式
Pytorch：批量数据（batch）分割
01-20
在大量数据中学习中，小批量（batch）梯度下降是一种比较好的方式，每次选取一小部分数据来进行参数更新，既能沿着较好的方向更新，又能兼顾训练的效率 另外，从数据集中随机（不连续）抽取数据也是可以减弱数据...
pytorch：pytorch模型训练的主要步骤
最新发布
07-27
代码中主要包含pytorch模型训练的主要步骤，可以根据需要自定义模型、数据集，并进行训练。
深度学习框架PyTorch：入门与实践_高清1
08-04
《深度学习框架PyTorch：入门与实践》是一本针对PyTorch这一深度学习框架的教程，旨在帮助读者快速掌握PyTorch的基础知识并实践应用。PyTorch因其简洁的设计、直观的接口、高效的执行速度和高度的灵活性，自2017年...
pytorch dataloader 取batch_size时候出现bug的解决方式
09-17
今天小编就为大家分享一篇pytorch dataloader 取batch_size时候出现bug的解决方式，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
early-stopping-pytorch:提前停止PyTorch
05-10
提早停止是一种正则化形式，用于避免过度拟合训练数据集。 提前停止跟踪验证损失，如果损失连续连续几个时期停止减少，则训练将停止。 该EarlyStopping类pytorchtool.py用于创建一个对象来跟踪验证损失的同时培养了...
PSENet.pytorch:PSENet的pytorch重新实现
04-22
渐进式规模扩展网络的形状鲁棒文本检测要求pytorch 1.1 火炬视觉0.3 pyclipper 的opencv3 gcc 4.9+更新20190401 加笔者损失，结果在比较下载icdar 2015上的resnet50和resnet152模型： 提取代码：rxjf资料准备遵循...
pytorch 样本数据无法整除batchsize怎么办
weixin_44177594的博客
07-05 2179
pytorch 样本数据无法整除batchsize怎么办 train_loader = DataLoader(dataset, batch_size=args.batch_size, shuffle=False, drop_last=True) 在加载数据集的时候，加入 drop_last=True
Dataset和DataLoader
weixin_42887772的博客
06-28 657
我们一般使用for循环来训练神经网络，在每次的迭代过程，从DataLoader中取出batchsize的数据，然后前向传播反向传播一次，更新参数一次 在加载batch数据的时候，torch创建一个可迭代的Dataset对象（需要重写__getitem__（）和__len__（）两个方法），然后与DataLoader一起使用；DataLoader： 构造一个整数索引的采样器来获取Dataset的数据创建Dataset对象： 需要重写 getitem 方法和 len 方法。 前者通过提供索引返回数据，也就是提供
Block 签名信息的使用
王二东的博客
04-27 834
Block在OC中却是一个非常神奇的存在,即具备了对象的特性(具备isa指针),又具备了方法的特性(具有自己的实现函数),这就自然而然注定了Block会与众不同.除了常规使用之外,还可以利用Block做一些"骚操作". Block签名 在OC中中所有的方法都有编码信息,签名信息包含了方法的参数类型和返回值类型等信息.对于对象的实例方法可以利用 Method method =...
神经网络中epoch、batch、batch_size、epoch、iteration理解
热门推荐
qq_36998053的博客
03-01 1万+
1 epoch 当一个完整的数据集通过神经网络一次并且返回一次的过程称为一个epoch。 然而，当一个epoch对于计算机太过庞大时，就需要把它分成多个小块。 2 batch 在不能将数据一次性通过神经网络的适合，就需要将数据集分成几个batch。 3 batch_size 直观的理解 一个batch中的样本总数（一次训练所选取的样本数）。batch_size的大小影响模型的优化程度和速度。同时其直接影响到GPU内存的使用情况，假如你GPU显存不大，该数值最好设置小一点。 提出batch_size
pytorch中DataLoader详解
EMIvv的博客
01-15 5679
import torch import torch.utils.data as Data if __name__ == '__main__': torch.manual_seed(1) # reproducible BATCH_SIZE = 5 # 批训练的数据个数 x = torch.linspace(11, 20, 10) # x data: tensor([11., 12., 13., 14., 15., 16., 17., 18., 19., 20.]) .
jupyter：查看和修改当前jupyter环境
zhangqiqiyihao的博客
03-26 1万+
一、查看当前python版本 import sys print(sys.version) print(sys.executable) 第一行输出当前python版本 第二行输出解释器路径 二、添加环境到jupyter中 python -m ipykernel install --name name
pytorch训练时数据不整除batchsize
07-14
### 回答1： 在使用PyTorch进行模型训练时，数据不一定会完全整除batch size，即训练集中的样本数量不能被batch size整除得到一个整数结果。这种情况在实际应用中很常见，并且PyTorch提供了一些处理方法来处理这种情况。 第一种方法是将丢失的不足一个batch size的数据丢弃，这种方法简单直接，但会导致数据的浪费。这种做法适用于样本数量很大，略微丢失一部分数据不会对训练结果产生显著影响的情况。 第二种方法是通过在数据集中添加额外的样本，使得总样本数量能够整除batch size。这种方法可以使用一些数据增强技术，如图像翻转、旋转、缩放等，生成一些与原始样本类似但不完全相同的样本。这样可以保证所有样本都被用于训练，并且不会出现数据浪费的情况。 第三种方法是使用PyTorch的sampler，例如RandomSampler或SequentialSampler，来处理数据不整除batch size的情况。这些sampler可以控制数据加载的顺序和方式，确保每个batch的大小符合要求，即使总样本数量不能被batch size整除。 总之，对于数据不整除batch size的情况，我们可以通过丢弃部分数据、添加额外的样本或使用sampler等方法来处理。具体选择哪种方法取决于实际问题的特点和数据集的规模。 ### 回答2： 当pytorch训练时数据不整除batch size时，会出现最后一个batch大小小于设定的batch size的情况。在处理这个问题时，可以使用以下两种方法： 1. 丢弃余下的数据：一种简单的处理方式是丢弃余下的数据，确保所有的batch大小一致。如果数据集的大小不能被batch size整除，最后一个batch中剩余的数据会被丢弃。这种方法的好处是代码实现简单，但可能会浪费一些数据。 2. 动态调整batch大小：另一种处理方式是动态调整最后一个batch的大小，使其能够包含剩余的数据。例如，可以根据数据集的大小，将最后一个batch size设置为能够包含剩余数据的最小值，而其他batch size保持不变。这种方法需要一些额外的计算去确定最后一个batch的大小，但确保了所有的数据都能够被使用。 无论采用哪种方法，需要注意的是，在数据不整除batch size的情况下，最后一个batch的大小会发生变化，可能会对模型的训练结果产生一些影响。因此，在使用这些方法时，需要进行相关的实验和评估，确保模型的性能和效果仍然能够达到预期。 ### 回答3： 当使用PyTorch训练时，数据不整除批次大小是一个常见的情况。在这种情况下，可能会有一个或多个训练示例无法放入一个批次中，因为它们的数量不能被批次大小整除。 这种情况下，PyTorch通常有两种处理方式： 1. 去掉无法放入批次中的示例：在训练过程中，可以选择丢弃无法放入批次中的那些训练示例。这种情况下，相当于忽略了这些示例的训练，可能会导致训练数据的损失一定的准确性，但也能够保证批次训练的正常进行。 2. 动态调整批次大小：另一种处理方式是在训练过程中动态调整批次大小，以确保所有训练示例都能够得到使用。这意味着在每个批次中，最后一个没有填满的位置将留空或使用不足一个批次大小的示例数量。这种方法保证了所有示例都能够被用于训练，但可能会带来一些计算上的额外开销，因为每个批次的大小可能是不统一的。 总之，当训练时数据不整除批次大小时，可以选择去掉无法放入批次的示例或动态调整批次大小。具体使用哪种处理方法取决于情境和需求。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值