ViT-B参数量计算

最新推荐文章于 2024-08-10 10:45:33 发布
最新推荐文章于 2024-08-10 10:45:33 发布
阅读量1w 收藏 22
点赞数 5
分类专栏： CV 文章标签： cv
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zkxhlbt/article/details/115471463
版权
本文详细介绍了ViT-B模型的参数量计算，包括Patch embedding的768*768参数，Transformer block中注意力机制和FFN的参数，以及Layernorm的gamma和beta参数。总计约86M参数。
摘要由CSDN通过智能技术生成

ViT-B: layers=12,hidden_size=768,MLP_size=3072,heads=12,params=86M,image_size=384+1

参考：https://blog.csdn.net/weixin_43922901/article/details/102602557

1 Patch embedding

在这里插入图片描述
patch_dim = 16163, dim = hidden_size = 768
所以参数量为768*768

2 Transformer block(attention+FFN)

attention: 这一部分的参数主要来源于x->q,k,v所要进行的linear变换，即 w q w_q w

最低0.47元/天 解锁文章
zkxhlbt
关注
专栏目录
【指标原理】CNN和ViT的FLOPs、参数量计算
cjy_colorful0806的博客
03-14 2235
FLOPs（Floating Point Operations）是浮点运算次数的缩写，其计算包括所有的浮点数加法、减法、乘法和除法运算。在深度学习领域，FLOPs特别用来量化一个神经网络模型进行一次前向传播所需的浮点运算数量，这对于评估模型的计算效率和资源需求非常有用。
深度学习中参数量与计算量的理解
Monster_H7的博客
07-18 4012
接下来要分别概述以下内容： 　　１　首先什么是参数量，什么是计算量 　　２　如何计算　参数量，如何统计　计算量 　　３　换算参数量，把他换算成我们常用的单位，比如:mb 　　４　对于各个经典网络，论述他们是计算量大还是参数两，有什么好处 　　５　计算量，参数量分别对显存，芯片提出什么要求，我们又是怎么权衡 １　首先什么是计算量，什么是参数量 　　计算量对应我们之前的时间复杂度，参数量对应于我们之前的空间复杂度，这么说就很明显了 也就是计算量要看网络执行时间的长短，参数量要看占用显存的量.
详解-大模型推理（Llama3）相关参数和显存计算！
最新发布
2401_85375186的博客
08-10 1841
LLM 推理任务需要大量的算力，将现代 GPU 推向极限。过去两年， LLM 训练和推理优化相关的研究进展速度惊人，每六个月就会出现新的突破。今天的分享主要，为大家介绍LLM 推理领域所必备的一些基本数学与概念，这包含了Llama3的以及，对于张量、矩阵等基本数学原理本文不会赘述。我们先来看看标准的架构。左图来自于大模型技术的起源之作《Attention is all you need》，这是一个标准的transformer结构，由左侧的和右侧的两部分构成。
Vit、Swin、CAT、Davit计算量计算方式
qq_61902743的博客
03-23 532
计算几个典型Transformer架构注意力的计算量，包括VIT，swin,CAT,Davit
谷歌「钞」能力 | 最强ViT模型来了！220亿参数
CV_Autobot的博客
02-19 1539
本文提出了迄今为止最大的密集视觉 ViT 模型 ViT- 22B，具有220亿参数。并发现超大 ViT 病态训练的不稳定性，这种不稳定性组织了模型尺度的进一步扩展。作者通过仔细设计模型，以较高的效率实现模型并行训练。
CV开启大模型时代！谷歌发布史上最大ViT：220亿参数，视觉感知力直逼人类
weixin_48827824的博客
04-13 870
ViT模型何时才能破万亿？Transformer无疑是促进自然语言处理领域繁荣的最大功臣，也是GPT-4等大规模语言模型的基础架构。不过相比语言模型动辄成千上万亿的参数量，计算机视觉领域吃到Transformer的红利就没那么多了，目前最大的视觉Transformer模型ViT-e的参数量还只有40亿参数。最近谷歌发布了一篇论文，研究人员提出了一种能够高效且稳定训练大规模Vision Transformers(ViT)模型的方法，成功将ViT的参数量提升到220亿。
媲美全局注意力！百度、港大提出双边局部注意力ViT：引入特征空间，显著降低计算量...
Paper weekly
04-28 593
©作者|马昊宇来源|机器之心在这项研究中，来自百度研究院和香港大学的研究者重新思考了局部自注意力机制，提出了特征空间局部注意力（feature-space local attention 或简称 FSLA）。Vision Transformer 舍弃了 ConvNet 先验信息，通过引入自注意力机制对远距离特征依赖进行建模，提升了模型的表征能力。然而 Vision...
Vision Transformer（ViT-Base-16）处理CIFAR-100模式识别任务（基于Pytorch框架）
Mathematic_Van的博客
02-28 5652
ViT-B-16是Vision Transformer（ViT）模型的一个变体，由Google在2020年提出。ViT模型是一种应用于图像识别任务的Transformer架构，它采用了在自然语言处理（NLP）中非常成功的Transformer模型，并将其调整以处理图像数据。
模型M-BERT-Base-ViT-B.zip
04-07
在“Base”配置下，它可能具有适中的参数量，以平衡性能和计算效率。 **文件名称列表** - **M-BERT-Base-ViT-B.pt**：这是一个PyTorch格式的模型权重文件，通常包含了模型训练后的参数，可以加载到相应的模型结构中...
最强Transformer发布！谷歌大脑提出ViT-G：缩放视觉Transformer，高达90.45%准确率！
jacke121的专栏
06-12 4857
Scaling Vision Transformers 论文：https://arxiv.org/abs/2106.04560 本文改进了ViT的架构和训练，减少了内存消耗并提高了模型的准确性！最终成功训练了一个具有20亿参数的ViT模型：ViT-G，在ImageNet上达到了90.45%的Top-1准确率。作者单位：谷歌大脑（苏黎世），有原ViT一作和二作 1简介 视觉Transformer(ViT)等基于注意力的神经网络最近在许多计算机视觉基准测试中取得了最先进的结果。比例是获得出色结果的主
2021-vit
haizhi1234的博客
05-16 781
问题/目的 transformer结构在nlp领域效果很好，理论认为此种结构在cv领域应该也能大放异彩，于是将transformer结构迁移至cv领域。 结论 将transformer结构先进行超大数据集预训练，然后迁移至相关cv任务，效果不亚于甚至超过很多cnn结构 创新点 1、网络结构 将HWC的图片拆分成N个PPC个patches，N=HW/P^2。使用一种可训练映射方式将小块flattern到D个，D为Transfomer的每层向量大小（这一条尚未完全理解）。 embedding预留第
Arxiv2021 | 屏蔽自编码器是可扩展的视觉学习器
shenlanshenyanai的博客
12-03 490
本文表明，掩码自编码器(MAE) 是用于计算机视觉的可扩展自监督学习器。我们的 MAE 方法很简单：我们屏蔽输入图像的随机块并重建丢失的像素。它基于两个核心设计。 首先，我们开发了一个非对称编码器-解码器架构，其中一个编码器只对可见的补丁子集进行操作（没有掩码标记），还有一个轻量级的解码器，可以从潜在表示和掩码标记重建原始图像。其次，我们发现掩饰的比例很高 ，输入图像的 75%，产生一个重要且有意义的自我监督任务。结合这两种设计使我们能够高效地训练大型模型：我们加速训练（3 倍或更多）并提高准确性。我们的
参数量下降85%，性能全面超越ViT：全新图像分类方法ViR
深度学习技术前沿
01-12 511
来源：机器之心ViT 还不够完美？来自华东师范大学等机构的研究者提出了全新的图像分类方法 ViR，在模型和计算复杂性方面都优于 ViT。近一年来，视觉 Transformer(ViT)在图...
TNT中transformer block的计算量和参数量的计算
00000cj的博客
05-31 1071
本文对标准transformer block的FLOPs和参数量，以及TNT block中的FLOPs和参数量进行的详细的推导。
【计算机视觉 | 目标检测】术语理解6：ViT 变种（ ViT-H、ViT-L & ViT-B）、bbox（边界框）、边界框的绘制（含源代码）
wzk4869的博客
05-30 1万+
【计算机视觉 | 目标检测】术语理解6：ViT 变种（ ViT-H、ViT-L & ViT-B）、bbox（边界框）、边界框的绘制（含源代码）
新一代大核卷积反超ViT和ConvNet！同参数量下性能、精度、速度完胜
学姐带你玩AI的博客
06-14 957
它使用较大的卷积核来处理图像数据，以提高模型对视觉信息的理解和处理能力。这种类型的网络能够捕捉到更多的空间信息，因为它的大步长和大感受野可以一次性覆盖图像的更多区域。比如美团提出的PeLK网络，内核大小可以达到101x101，同参数量下性能反超 ViT，目前已被CVPR 2024收录。更值得一提的，大核卷积网络不仅在性能上有所提升，在ImageNet分类等任务上，也展现出了优于ViT和ConvNet架构的效果。
深度学习之图像分类（十八）-- Vision Transformer(ViT)网络详解
热门推荐
木卯_THU的博客
09-09 3万+
深度学习之图像分类（十八）Vision Transformer(ViT)网络详解 目录深度学习之图像分类（十八）Vision Transformer(ViT)网络详解1. 前言2. ViT 模型架构2.1 Embedding 层2.2 Transformer Encoder 层2.3 MLP Head 层2.4 ViT B/162.5 ViT 模型参数3. Hybrid 混合模型4. 代码 上节有讲 Transformer 中的 Self-Attention 结构。本节学习 Vision Transform
SAM大模型遥感领域测评
futuregislab的博客
05-23 3381
项目地址：SAM被誉为图片领域中的ChatGPT，可以对图片中的所有对象进行分割。以大家熟知的PS抠图功能类比，过去实现抠图大体上有两种打法：1.经过大量训练，分割出特定对象，比如抠人的模型，抠衣服的模型，抠动物的模型等；2.分割时尽可能的通用，分割后再进行微调。实际应用中，这两种方案混合出现，进而实现自动抠图的效果。但SAM依赖庞大的参数量和海量训练数据。
ViT-base和ViT-large的区别
05-20
ViT-base和ViT-large是Vision Transformer模型的两个不同规模的版本。ViT-base相对较小，拥有12个Transformer编码器层和768个隐藏单元，总共含有约8500万个参数。而ViT-large则更大，拥有24个Transformer编码器层和1024个隐藏单元，总共含有约3.4亿个参数。 ViT-large相比于ViT-base具有更深的网络结构和更多的参数，因此能够学习到更复杂的特征表达。这使得ViT-large在处理更复杂的视觉任务时表现更优秀，但同时也需要更多的计算资源和更长的训练时间。因此，在实际应用中需要根据具体任务的要求和计算资源的可用性来选择使用哪一个模型。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值