保姆级使用PyTorch训练与评估自己的EfficientNetV2网络教程

最新推荐文章于 2025-04-07 21:48:39 发布
最新推荐文章于 2025-04-07 21:48:39 发布
阅读量6.1k 收藏 62
点赞数 17
分类专栏： 图像分类 文章标签： pytorch python 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zzh516451964zzh/article/details/129443407
版权

在这里插入图片描述

文章目录

前言

项目地址：https://github.com/Fafa-DL/Awesome-Backbones

操作教程：https://www.bilibili.com/video/BV1SY411P7Nd

EfficientNetV2原论文：点我跳转

如果你以为该仓库仅支持训练一个模型那就大错特错了，我在项目地址放了目前支持的42种模型（LeNet5、AlexNet、VGG、DenseNet、ResNet、Wide-ResNet、ResNeXt、SEResNet、SEResNeXt、RegNet、MobileNetV2、MobileNetV3、ShuffleNetV1、ShuffleNetV2、EfficientNet、RepVGG、Res2Net、ConvNeXt、HRNet、ConvMixer、CSPNet、Swin-Transformer、Vision-Transformer、Transformer-in-Transformer、MLP-Mixer、DeiT、Conformer、T2T-ViT、Twins、PoolFormer、VAN、HorNet、EfficientFormer、Swin Transformer V2、MViT V2、MobileViT、DaViT、RepLKNet、BEiT、EVA、MixMIM、EfficientNetV2），使用方式一模一样。且目前满足了大部分图像分类需求，进度快的同学甚至论文已经在审了

0. 环境搭建&快速开始

  • 这一步我也在最近录制了视频

最新Windows配置VSCode与Anaconda环境

『图像分类』从零环境搭建&快速开始

  • 不想看视频也将文字版放在此处。建议使用Anaconda进行环境管理，创建环境命令如下
conda create -n [name] python=3.6 其中[name]改成自己的环境名，如[name]->torch，conda create -n torch python=3.6
  • 我的测试环境如下
torch==1.7.1
torchvision==0.8.2
scipy==1.4.1
numpy==1.19.2
matplotlib==3.2.1
opencv_python==3.4.1.15
tqdm==4.62.3
Pillow==8.4.0
h5py==3.1.0
terminaltables==3.1.0
packaging==21.3
  • 首先安装Pytorch。建议版本和我一致，进入Pytorch官网，点击 install previous versions of PyTorch，以1.7.1为例，官网给出的安装如下，选择合适的cuda版本
# CUDA 11.0
pip install torch==1.7.1+cu110 torchvision==0.8.2+cu110 torchaudio==0.7.2 -f https://download.pytorch.org/whl/torch_stable.html

# CUDA 10.2
pip install torch==1.7.1 torchvision==0.8.2 torchaudio==0.7.2

# CUDA 10.1
pip install torch==1.7.1+cu101 torchvision==0.8.2+cu101 torchaudio==0.7.2 -f https://download.pytorch.org/whl/torch_stable.html

# CUDA 9.2
pip install torch==1.7.1+cu92 torchvision==0.8.2+cu92 torchaudio==0.7.2 -f https://download.pytorch.org/whl/torch_stable.html

# CPU only
pip install torch==1.7.1+cpu torchvision==0.8.2+cpu torchaudio==0.7.2 -f https://download.pytorch.org/whl/torch_stable.html
  • 安装完Pytorch后，再运行
pip install -r requirements.txt

python tools/single_test.py datas/cat-dog.png models/mobilenet/mobilenet_v3_small.py --classes-map datas/imageNet1kAnnotation.txt

1. 数据集制作

1.1 标签文件制作

  • 将项目代码下载到本地
    在这里插入图片描述

  • 本次演示以花卉数据集为例，目录结构如下：

├─flower_photos
│  ├─daisy
│  │      100080576_f52e8ee070_n.jpg
│  │      10140303196_b88d3d6cec.jpg
│  │      ...
│  ├─dandelion
│  │      10043234166_e6dd915111_n.jpg
│  │      10200780773_c6051a7d71_n.jpg
│  │      ...
│  ├─roses
│  │      10090824183_d02c613f10_m.jpg
│  │      102501987_3cdb8e5394_n.jpg
│  │      ...
│  ├─sunflowers
│  │      1008566138_6927679c8a.jpg
│  │      1022552002_2b93faf9e7_n.jpg
│  │      ...
│  └─tulips
│  │      100930342_92e8746431_n.jpg
│  │      10094729603_eeca3f2cb6.jpg
│  │      ...
  • 在Awesome-Backbones/datas/中创建标签文件annotations.txt，按行将类别名 索引写入文件；
daisy 0
dandelion 1
roses 2
sunflowers 3
tulips 4

在这里插入图片描述

1.2 数据集划分

  • 打开Awesome-Backbones/tools/split_data.py
  • 修改原始数据集路径以及划分后的保存路径，强烈建议划分后的保存路径datasets不要改动，在下一步都是默认基于文件夹进行操作
init_dataset = 'A:/flower_photos' # 改为你自己的数据路径
new_dataset = 'A:/Awesome-Backbones/datasets'
  • 在Awesome-Backbones/下打开终端输入命令：
python tools/split_data.py
  • 得到划分后的数据集格式如下：
├─...
├─datasets
│  ├─test
│  │  ├─daisy
│  │  ├─dandelion
│  │  ├─roses
│  │  ├─sunflowers
│  │  └─tulips
│  └─train
│      ├─daisy
│      ├─dandelion
│      ├─roses
│      ├─sunflowers
│      └─tulips
├─...

1.3 数据集信息文件制作

  • 确保划分后的数据集是在Awesome-Backbones/datasets下，若不在则在get_annotation.py下修改数据集路径；
datasets_path   = '你的数据集路径'
  • 在Awesome-Backbones/下打开终端输入命令：
python tools/get_annotation.py
  • 在Awesome-Backbones/datas下得到生成的数据集信息文件train.txt与test.txt
    在这里插入图片描述

2. 修改参数文件

  • 每个模型均对应有各自的配置文件，保存在Awesome-Backbones/models下

  • 由backbone、neck、head、head.loss构成一个完整模型

  • 找到EfficientNetV2参数配置文件，可以看到所有支持的类型都在这，且每个模型均提供预训练权重
    在这里插入图片描述

  • 在model_cfg中修改num_classes为自己数据集类别大小

  • 按照自己电脑性能在data_cfg中修改batch_size与num_workers

  • 若有预训练权重则可以将pretrained_weights设置为True并将预训练权重的路径赋值给pretrained_weights

  • 若需要冻结训练则freeze_flag 设置为True，可选冻结的有backbone, neck, head

  • 在optimizer_cfg中修改初始学习率，根据自己batch size调试，若使用了预训练权重，建议学习率调小

  • 学习率更新详见core/optimizers/lr_update.py，同样准备了视频『图像分类』学习率更新策略|优化器

  • 更具体配置文件修改可参考配置文件解释，同样准备了视频『图像分类』配置文件补充说明

3. 训练

  • 确认Awesome-Backbones/datas/annotations.txt标签准备完毕
  • 确认Awesome-Backbones/datas/下train.txt与test.txt与annotations.txt对应
  • 选择想要训练的模型，在Awesome-Backbones/models/下找到对应配置文件，以efficientnetv2_b0为例
  • 按照配置文件解释修改参数
  • 在Awesome-Backbones路径下打开终端运行
python tools/train.py models/efficientnetv2/efficientnetv2_b0.py

在这里插入图片描述

4. 评估

  • 确认Awesome-Backbones/datas/annotations.txt标签准备完毕
  • 确认Awesome-Backbones/datas/下test.txt与annotations.txt对应
  • 在Awesome-Backbones/models/下找到对应配置文件
  • 在参数配置文件中修改权重路径，其余不变
ckpt = '你的训练权重路径'
  • 在Awesome-Backbones路径下打开终端运行
python tools/evaluation.py models/efficientnetv2/efficientnetv2_b0.py

在这里插入图片描述

  • 单张图像测试，在Awesome-Backbones打开终端运行
python tools/single_test.py datasets/test/dandelion/14283011_3e7452c5b2_n.jpg models/efficientnetv2/efficientnetv2_b0.py

在这里插入图片描述
至此完毕，实在没运行起来就去B站看我手把手带大家运行的视频教学吧～

5. 其他教程

除开上述，我还为大家准备了其他一定用到的操作教程，均放在了GitHub项目首页，为了你们方便为也粘贴过来

有任何更新均会在Github与B站进行通知，记得Star与三连关注噢～

PyTorch深度学习实战（1）——神经网络与模型训练过程详解
盼小辉丶的博客
05-28 8万+
在本节中，我们将了解传统机器学习与人工神经网络间的差异，并了解如何在实现前向传播之前连接网络的各个层，以计算与网络当前权重对应的损失值；实现反向传播以优化权重达到最小化损失值的目标。并将实现网络的所有关键组成——前向传播、激活函数、损失函数、链式法则和梯度下降，从零开始构建并训练了一个简单的神经网络。
PyTorch深度学习实战（3）——使用PyTorch构建神经网络
热门推荐
盼小辉丶的博客
06-13 7万+
PyTorch 是一个用于构建深度神经网络的库，具有灵活性和可扩展性，可以轻松自定义模型。在本节中，我们将使用 PyTorch 库构建神经网络，利用张量对象操作和梯度值计算更新网络权重，并利用 Sequential 类简化网络构建过程，最后还介绍了如何使用 save、load 方法保存和加载模型，以节省模型训练时间。
EfficientNet-Pytorch:在EfficientNet上训练自己的数据集的演示
05-12
高效网式火炬 在EfficientNet上训练自己的数据集的演示 感谢> ，我只是简单地演示如何基于EfficientNet-Pytorch训练自己的数据集。 步骤1：准备自己的分类数据集 然后，数据目录应如下所示： -dataset\ -model\ -train\ -1\ -2\ ... -test\ -1\ -2\ ... 步骤2：训练和测试 （1）您可以通过修改line 169来选择是否自动下载预训练模型。 可以在> 上获得预训练的模型。 您可以在eff_weights文件夹下下载它们。 （2）更改一些设置以匹配您的数据集。 即line13-22 run efficientnet_sample.py to start train and test
Efficientnet 训练自己的数据集
hasque2019的博客
12-14 4013
from __future__ import print_function, division import torch import torch.nn as nn import torch.optim as optim from torch.autograd import Variable from torchvision import datasets, models, transforms import time import os from efficientnet_pytorch import
EfficientNetV2论文精读(十四)：翻译+学习笔记+pytorch代码复现
最新发布
智算学术的博客
04-07 728
上一篇给大家讲解了2019年google发表的EfficientNetV1版本网络，今天给大家带来EfficientNetV2版本的详解，因为谷歌更看重技术落地和影响力，不需要通过顶会发表来证明自己，所以 EfficientNetV2 直接发布在 arXiv，以更快、更自由的方式公开，同时保护商业利益和技术节奏。EfficientNetV2 在训练速度优化方面，在保持推理性能的同时，更关注模型的训练效率，在efficientNetV1的基础上引入Fused-MBConv 模块，并。
pytorch 训练EfficientnetV2
qq_55068938的博客
05-31 1836
前不久用pytorch复现了efficientnetv2的网络结构，但是后边自己一直有其他事情再做，所以训练部分的文章拖到了现在。EfficientnetV1训练Flask部署EfficientnetV1分类网络pytorch构建EfficientnetV2网络结构然后，本篇的训练代码也是基于v1的训练代码完成，所以和官方会有差距。
Pytorch版的Efficientnet训练自己的数据集
qq_55068938的博客
12-26 1万+
文章目录前言一、环境搭建二、数据准备1.数据摆放2、训练集和验证集切分三、训练1.预训练模型下载2.加载模型3.数据读取部分4、学习率衰减策略5、完整训练代码：四、测试1、完整测试代码：2、结果：总结 前言   最近，自己需要一个分类网络来完成一项任务，于是便想起了身边人推荐过的Efficientnet，据说效果是较为稳定的，所以自己来一探究竟，示例的话就用个最简单的二分类吧。 一、环境搭建 本人使用的环境为: python3.6 torch=1.5 torchvision =0.6.0 open
EfficientNet 训练测试自己的分类数据集
Levi的博客
04-24 1万+
EfficientNet 训练测试自己的分类数据集 Google团队19年的EfficientNet和EfficientDet在图像分类和目标检测方面都取得了惊艳的效果。EfficientNet既快又准，目测这两年将会成为比ResNet更广泛使用的Backbone。下面简单介绍在自己的分类数据集上运行EfficientNet。 1. 准备代码 Pytorch版本官方代码在这：EfficientNe...
EfficientNetV2：训练速度快了5~10x，更小，更快，精度更高的EfficientNet
我爱计算机视觉
04-12 1049
本文转自AI公园。作者：Mostafa Ibrahim编译：ronghuaiyang导读相比于之前的SOTA，训练速度快了5~10x，而且性能更高。论文链接：https://arxiv.o...
经典CNN模型（十三）：EfficientNetV2（PyTorch详细注释版）
qq_51872445的博客
08-15 9685
EfficientNet V2 是 EfficientNet 系列的第二代模型，由谷歌的研究人员在 2021 年的 ICML 会议上提出。EfficientNet V2 继承了EfficientNet V1的核心理念，即复合缩放方法(Compound Scaling)，但在此基础上进行了多项改进，以实现更小的模型体积、更快的训练速度和更好的参数效率。
efficientnetv2.pytorch:EfficientNetV2的PyTorch实现
04-06
请继续关注ImageNet的预训练权重。 致谢 该实现是从或大量借用的，请考虑以下内容 @InProceedings{Li_2019_ICCV, author = {Li, Duo and Zhou, Aojun and Yao, Anbang}, title = {HBONet: Harmonious Bottleneck on...
EfficientNet-PyTorch:EfficientNet和EfficientNetV2的PyTorch实现（即将推出！）
05-10
EfficientNetV2是卷积网络的新家族，与以前的模型相比，它具有更快的训练速度和更好的参数效率。 为了开发该系列模型，我们将训练感知的神经体系结构搜索和缩放结合使用，以共同优化训练速度和参数效率。 从富含新...
EffcientNetV2:使用PyTorch的EfficientNetV2实现
04-16
使用PyTorch的实现 火车 通过更改train.py data_dir来修改imagenet路径 python train.py Number of parameters: 23941296 Time per operator type: 1636.49 ms. 79.33%. Conv 247.179 ms. 11.9822%. Sigmoid 141.509 ms. 6.85977%. Mul 17.3817 ms. 0.842592%. Add 12.8334 ms. 0.622111%. FC 7.49557 ms. 0.363354%. ReduceMean 2062.88 ms in Total FLOP per operato
pytorch-image-models:PyTorch图像模型，脚本，预训练权重-ResNet，ResNeXT，EfficientNet，EfficientNetV2，NFNet，视觉转换器，MixNet，MobileNet-V3V2，RegNet，DPN，CSPNet等
05-12
PyTorch图像模型 赞助商 非常感谢我的的支持！ 除了以上链接的赞助商之外，我还从以下位置获得了硬件和/或云资源： 英伟达（ ） TFRC（ ） 我很幸运能够自己投入大量时间和金钱来支持这个项目和其他开源项目。 ...
EfficientNet 训练自己的分类数据集
qq_41672428的博客
01-12 4011
参考乱觉先森的这篇文章：EfficientNet 训练测试自己的分类数据集 1、下载代码 Levigty/EfficientNet-Pytorch可快速使用。（这里顺便提一下EfficientNet的pytorch版官方代码） 2、准备数据集 格式如下： 3、下载预训练模型 可复制链接至迅雷下载更快https://github.com/lukemelas/EfficientNet-PyTorch/releases/download/1.0/efficientnet-b0-355c32eb..
【图像分类】用通俗易懂代码的复现EfficientNetV2，入门的绝佳选择（pytorch）
AI浩
06-02 1万+
上周学习了EfficientNetV2的论文，并对其进行了翻译，如果对论文感兴趣的可以参考我的文章：https://blog.csdn.net/hhhhhhhhhhwwwwwwwwww/article/details/117399085
【读点论文】EfficientNetV2: Smaller Models and Faster Training 训练感知的神经架构搜索+自适应的渐近训练方法优化训练（TPU，大数据量）
白水空空
05-29 921
EfficientNetV2: Smaller Models and Faster Training Abstract 本文介绍了EfficientNetV2，这是一个新的卷积网络系列，与以前的模型相比，具有更快的训练速度和更好的参数效率。为了开发这些模型，本文采用了训练感知的神经结构搜索和缩放的组合，共同优化训练速度和参数效率。这些模型是从富含Fused-MBConv等新操作的搜索空间中搜索出来的。本文的实验表明，EfficientNetV2模型的训练速度比最先进的模型快得多，而体积却小到6.8倍。 本
EfficientNetV2 Smaller Models and Faster Training
weixin_37958272的博客
12-13 2428
EfficientNetV2: Smaller Models and Faster Training https://arxiv.org/pdf/2104.00298.pdf 本文介绍了一种新的卷积网络族EfficientNetV2，它具有比以往的模型更快的训练速度和更好的参数效率。为了开发这些模型，我们结合使用training-aware神经结构搜索和缩放，共同优化训练速度和参数效率。该模型在搜索空间中加入了新的操作，如fusion - mbconv。我们的实验表明，effecentnetv2模型的训练速
Efficientnet_pytorch训练自己的数据集，并对数据进行分类
Whisper_lg的博客
06-06 1万+
准备训练的数据集 由于我原本的数据集是没有经过任何处理的，格式如图所示： data文件夹对应的图像集的标签在training.csv文件夹中，如图所示： 而输入的图像文件却需要满足ImageFolder的格式： class ImageFolder(DatasetFolder): """A generic data loader where the images are arranged in this way: :: root/dog/xxx.png root/d
efficientnetv2训练自己数据集
01-07
### 使用 EfficientNetV2 训练自定义数据集 为了使用 EfficientNetV2 模型训练自定义数据集，需遵循一系列特定的操作流程来准备环境、处理数据以及配置模型。以下是详细的指南。 #### 准备工作 安装必要的库和依赖项对于启动项目至关重要。确保 TensorFlow 和其他所需工具已正确设置： ```bash pip install tensorflow==2.10.0 # 或者更高版本 pip install tf-models-official ``` #### 数据预处理 考虑到不同框架对输入格式的要求各异，在此之前应先将标签好的图像从 Pascal VOC 转换成 COCO 格式的 JSON 文件[^2]。这一步骤可以通过执行 `make_main_txt.py` 及 `appliance.py` 来完成，这两个脚本负责创建所需的训练验证分割列表并转换标注文件至目标格式。 一旦完成了上述准备工作，则可继续进行下一步——调整路径并将生成的训练与验证集复制到新的工程项目目录内以便后续操作。 #### 构建 EfficientNetV2 模型 TensorFlow 官方提供了官方实现方式用于构建 EfficientNetV2 模型架构。通过调用如下 Python API 即可轻松获取预定义网络结构实例: ```python import tensorflow as tf from official.vision.image_classification import efficientnet_model_builder_v2 def build_efficientnetv2(input_shape=(224, 224, 3), num_classes=1000): model = efficientnet_model_builder_v2.EfficientNetV2( model_name="efficientnetv2-s", # 支持多种变体："b0","m","l" input_specs=tf.keras.layers.InputSpec(shape=input_shape), classes=num_classes, include_top=True # 如果只想提取特征则设为False ) return model ``` 该函数允许指定输入尺寸 (`input_shape`) 和分类数目 (`num_classes`) 参数来自定义最终层输出维度以适应具体应用场景需求。 #### 加载与增强数据集 为了让模型更好地泛化性能，通常会对原始图片实施随机变换作为扩增手段之一；同时利用 TensorFlow 的 Dataset API 实现高效读取与批量化加载过程： ```python image_size = (224, 224) data_dir = 'path/to/your/dataset' batch_size = 32 train_ds = tf.keras.preprocessing.image_dataset_from_directory( data_dir, validation_split=0.2, subset='training', seed=123, image_size=image_size, batch_size=batch_size) val_ds = tf.keras.preprocessing.image_dataset_from_directory( data_dir, validation_split=0.2, subset='validation', seed=123, image_size=image_size, batch_size=batch_size) ``` 此处假设数据已被划分为训练集和测试集两个子文件夹存放于同一上级目录之下，并且每类样本各自占据独立的小分区。 #### 编译与训练模型 最后一步涉及编译所建立起来的神经网络对象并通过 fit 方法传入先前整理完毕的数据流来进行迭代优化直至收敛为止： ```python model.compile(optimizer='adam', loss='sparse_categorical_crossentropy', metrics=['accuracy']) history = model.fit(train_ds, epochs=epochs, validation_data=val_ds) ``` 以上就是基于 TensorFlow 平台采用 EfficientNetV2 进行迁移学习从而针对个人兴趣领域内的视觉识别任务开展研究工作的基本步骤概述[^1]。
评论 10
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

啥都生

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值