pytorch Dataset and Datasetloader

最新推荐文章于 2023-11-04 20:22:49 发布
最新推荐文章于 2023-11-04 20:22:49 发布
阅读量1.9k 收藏 2
点赞数
分类专栏： pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhangjipinggom/article/details/100310823
版权

在使用pytorch构架数据集的时候，使用torch.utils.data.Dataset和torch.utils.data.DataLoader会大大提高效率，且基本能满足需求。
这里主要记录个人对于torch.utils.data.Dataset和torch.utils.data.DataLoader的理解

1. torch.utils.data.Dataset:
pytorch对于Dataset的原始定义是比较简单的：

而我们在定义自己的数据集时，是继承这个类再进行的定义的，并且继承后一定要重写 __len__(self)和__getitem__(self, index)这两个函数，例如：

我认为这里最重要的就是我画横线的三个函数，也是自己新建的数据库中必须包含的三个函数。
__len__(): 这个比较还理解，返回文件的个数；
__init__(): 初始化函数，init里包含的性质也就是自己新建的数据集包含的性质；
__getitem__():  我认为这个函数是Dataset类最重要的一个函数。因为他决定了你之后用torch.utils.data.DataLoader之后返回的内容。开始我一直不知道这个函数在什么时候会被调用，因为在类内部找不到调用这个函数的地方，而它又不像__init__()会被默认调用。原来是在后面使用torch.utils.data.DataLoader时才会调用这个函数。后面说再详细点。
其他函数可以根据需要再常规定义。

 

2. torch.utils.data.DataLoader
Dataloader的定义复杂一些，函数也更多。
|
在使用dataloader的时候：


在运行到画红线的地方会进入到Dataset的__getitem__()里面，返回的是一个迭代器，这个迭代器的内容是N个batch_size的数据，所以用 in 来得到各个batch的数据。
在读取数据的过程中，如果Dataset写不好，生成这个迭代器的过程是很费时间的，会减慢训练速度。

zhangjipinggom
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
PyTorch学习笔记（三）——Dataset和DataLoader
⚡
05-05 3268
目录一、一级目录1.1 二级目录1.1.1 三级目录 一、一级目录 1.1 二级目录 1.1.1 三级目录
Pytorch-DataLoader(数据迭代器)
算法与编程之美
11-29 1633
在没有用pytorch之前，读取数据一般时写一个load_data的函数，在里面导入数据，做一些数据预处理，这一部分就显得很烦索。对于深度学习来说，还得考虑batch的读取、GPU的使用、数据增强、数据乱序读取等等，所以需要有一个模块来集中解决这些事情，所以就有了data_loader的机制。Dataloader的处理逻辑是先通过Dataset类里面的__getitem__函数获取单个的数据，...
pytorch sampler对数据进行采样
TH_NUM的博客
07-01 3万+
PyTorch中还单独提供了一个sampler模块，用来对数据进行采样。常用的有随机采样器：RandomSampler，当dataloader的shuffle参数为True时，系统会自动调用这个采样器，实现打乱数据。默认的是采用SequentialSampler，它会按顺序一个一个进行采样。这里介绍另外一个很有用的采样方法： WeightedRandomSampler，它会根据每个样本的权重选取数...
Pytorch学习（一） --- 数据加载之Dataset类和DataLoader类
梦坠凡尘
03-30 5649
在进行深度学习任务时，一个完整的baseline通常分为以下几个部分： 定义模型。这里需要构建网络模型，后面用这个模型去训练。 定义数据增强。这里主要是在数据量少的情况下，对数据进行一些增强，比如平移，翻转，裁剪等操作，以提高模型的泛化能力（这一步不是必须的）。 定义数据加载。这里定义数据加载器，使得模型训练时模型能源源不断地获取数据进行训练。对于Pytorch而言，数据记载主要需要用到Data...
Dataset和Dateloader学习
qq_43712409的博客
03-28 806
batch_sampler (Sampler, optional) – 和 sampler 类似，但是一次返回的是一个batch内所有样本的index。timeout (numeric, optional) – 如果是正数，表明等待从worker进程中收集一个batch等待的时间，若超出设定的时间还没有收集到，那就不收集这个内容了。(default: 0)(default: 0)batch_size (python:int, optional) – 一个batch含有多少样本 (default: 1)。
pytorch中的Dataset和Dataloder
cobracanary的博客
08-11 537
这是pytorch中用于加载数据的两个类，在torch.utils.data包下。 首先继承Dataset类，实现三个方法：__init__(),__getitem__(),__len__()。init方法中初始化数据，getitem方法中根据指定的index找到数据，len方法返回数据的长度。 之后我们new一个Dataloder类，传入我们new的Dataset对象，指定每次需要取得数据的batch_size，shuffle即数据是否要打乱。new完之歌对象之后，就可以遍历获得数据。 import pa
pytorch加载自己的数据集，重写Dataset类
赵凯月的博客
06-17 693
len 方法，提供了dataset的大小； getitem 方法， 该方法支持从 0 到 len(self)的索引。 #filenames是训练数据文件名称列表，labels是标签列表 class MyDataset(Dataset): def __init__(self, filenames, labels, transform): self.filenames = filenames self.labels = labels self.trans
pytorch .pt格式的MNIST数据集
11-12
train_loader = torch.utils.data.DataLoader(train_dataset, batch_size=64, shuffle=True) test_loader = torch.utils.data.DataLoader(test_dataset, batch_size=64, shuffle=False) ``` 这样，我们就可以直接...
面向Windows在C++中调用Pytorch模型（MNIST手写体数字识别）
11-01
for i, (images, labels) in enumerate(train_loader): # 前向传播 outputs = model(images) loss = criterion(outputs, labels) # 反向传播和优化 optimizer.zero_grad() loss.backward() optimizer.step...
pytorch_mnist-python源码.zip
最新发布
05-02
train_loader = torch.utils.data.DataLoader(train_dataset, batch_size=batch_size, shuffle=True) test_loader = torch.utils.data.DataLoader(test_dataset, batch_size=batch_size, shuffle=False) ``` **5. ...
pytorch minst手写数据集
03-08
train_loader = torch.utils.data.DataLoader(train_dataset, batch_size=batch_size, shuffle=True) test_loader = torch.utils.data.DataLoader(test_dataset, batch_size=batch_size, shuffle=False) ``` `...
MNIST数据集！！！
02-24
MNIST（Modified National Institute of Standards and Technology）数据集是一个广泛使用的手写数字识别数据库，它在机器学习领域中被用作基准测试，特别是在图像分类任务上。这个数据集由LeCun、Yann、Bottou、...
pytorch学习（二）——Dataset和DataLoader
ifhuke的博客
10-22 1153
pytorch的Dataset，DataLoader，Python的迭代器和生成器
Torch - Dataset和Dataloader的解读和使用
sunghosts的专栏
04-19 1250
Pytorch中的Dataset和Dataloader。Dataset允许你自定义自己的数据集，用来存储样本及其对应的标签。而Dataloader则是在Dataset的基础上将其包装为一个可迭代对象，以便我们更方便地（小批量）访问数据集。Data SizeBatch SizeIterationEpochDataLoader到这里应该就PyTorch的数据集和数据传递机制应该就比较清晰明了。Dataset负责建立索引到样本的映射，DataLoader。
Pytorch的torch.utils.data中Dataset以及DataLoader等详解
一名在读大学生，正在学习深度学习，会定期分享一些该领域内容。欢迎大家一起交流学习~
08-20 6940
是PyTorch提供的一个模块，用于处理和加载数据。该模块提供了一系列工具类和函数，用于创建、操作和批量加载数据集。下面是Dataset: 定义了抽象的数据集类，用户可以通过继承该类来构建自己的数据集。Dataset用于访问单个样本，__len__用于返回数据集的大小。: 继承自Dataset类，用于将张量数据打包成数据集。它接受多个张量作为输入，并按照第一个输入张量的大小来确定数据集的大小。DataLoader: 数据加载器类，用于批量加载数据集。
【PyTorch】torch.utils.data.Dataset 介绍与实战
weixin_44211968的博客
03-25 1万+
本文介绍了 torch.utils.data.Dataset
pytorch框架学习(dataset类代码)
这个博主不懒，但Ta什么也没写~（私信互关24小时必回）
11-04 268
该专栏的前几篇介绍完了yolov5的基本框架，本章开始将进行pytorch的框架学习，如果你也跟我一样是个深度学习小白想要学习yolo算法，下面给出一点学习方向的建议——dataset直译为数据集，个人理解成两个含义：①数据集文件：也就是从网络上、或者别人分享，然后我们下载、解压后放在电脑硬盘中的一个文件，常见的数据集由训练集（train）和测试集（val）两部分组成，两者都有数量很多的图片，前者用来训练模型，后者用来测试训练好的模型。
pytorch构建自定义dataset及一些经验
喜欢企鹅的博客
01-09 9099
pytorch自定义dataset和Dataloader的使用以及自己的一些经验.
【plt】subplot设置子图大小
热门推荐
zhangjipinggom的博客
01-07 5万+
仅记录 1. 问题描述： 想设置每个子图的大小 2. 实现代码： fig, (axes1, axes2) = plt.subplots(2, 1, figsize=(100, 10)) axes1.plot(np.arange(time_length), np.zeros(time_length)) axes2.plot(np.arange(time_length), np.zeros(t...
acgan pytorch
04-04
ACGAN stands for Auxiliary Classifier Generative Adversarial Networks. It is a type of generative model that uses deep neural networks to generate new data samples that mimic a given dataset. ACGANs also have an auxiliary classifier that helps to generate samples with specific attributes or labels. PyTorch is a popular deep learning framework used for building and training neural networks. PyTorch provides a simple and efficient way to build ACGAN models. To build an ACGAN in PyTorch, you would typically: 1. Define the generator and discriminator networks using PyTorch's nn.Module class. 2. Implement the loss functions for the generator and discriminator networks. 3. Train the ACGAN model using PyTorch's built-in optimization functions and training loops. Here is an example of PyTorch code for building an ACGAN: ``` import torch import torch.nn as nn import torch.optim as optim class Generator(nn.Module): def __init__(self): super(Generator, self).__init__() # define generator network architecture def forward(self, z, y): # generate new samples based on noise vector z and label y class Discriminator(nn.Module): def __init__(self): super(Discriminator, self).__init__() # define discriminator network architecture def forward(self, x, y): # classify whether input x is real or fake based on label y # define loss functions adversarial_loss = nn.BCELoss() auxiliary_loss = nn.CrossEntropyLoss() # initialize generator and discriminator networks generator = Generator() discriminator = Discriminator() # define optimizer for each network optimizer_G = optim.Adam(generator.parameters(), lr=0.0002, betas=(0.5, 0.999)) optimizer_D = optim.Adam(discriminator.parameters(), lr=0.0002, betas=(0.5, 0.999)) # train ACGAN model for epoch in range(num_epochs): for i, (real_images, real_labels) in enumerate(data_loader): # train discriminator with real images discriminator.zero_grad() real_validity = discriminator(real_images, real_labels) real_loss = adversarial_loss(real_validity, torch.ones(real_validity.size()).cuda()) real_loss.backward() # train discriminator with fake images z = torch.randn(batch_size, latent_dim).cuda() fake_labels = torch.randint(0, num_classes, (batch_size,)).cuda() fake_images = generator(z, fake_labels).detach() fake_validity = discriminator(fake_images, fake_labels) fake_loss = adversarial_loss(fake_validity, torch.zeros(fake_validity.size()).cuda()) fake_loss.backward() # train generator generator.zero_grad() gen_images = generator(z, fake_labels) gen_validity = discriminator(gen_images, fake_labels) gen_loss = adversarial_loss(gen_validity, torch.ones(gen_validity.size()).cuda()) aux_loss = auxiliary_loss(fake_labels, fake_labels) g_loss = gen_loss + aux_loss g_loss.backward() # update discriminator and generator parameters optimizer_D.step() optimizer_G.step() # print training progress print("[Epoch %d/%d] [Batch %d/%d] D_loss: %.4f G_loss: %.4f" % (epoch+1, num_epochs, i+1, len(data_loader), (real_loss+fake_loss).item(), g_loss.item())) ``` In the above code, we define a Generator and Discriminator network, loss functions, and optimizers. We then train the ACGAN model by alternating between training the discriminator and generator networks on batches of real and fake data samples. The generator network is trained to generate new samples that fool the discriminator network, while also generating samples with specific attributes or labels.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值