CNN图像的尺寸和参数计算（深度学习）

最新推荐文章于 2023-10-30 20:35:32 发布
最新推荐文章于 2023-10-30 20:35:32 发布
阅读量4.8k 收藏 34
点赞数 7
分类专栏： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhonglongshen/article/details/116457890
版权

分享一些公式计算张量的尺寸，以及CNN中参数的计算。
以Alexnet网络为例，以下是该网络的参数结构图。
在这里插入图片描述
AlexNet网络的层结构如下：
1.Input: 图像的尺寸是2272273.

2.Conv-1: 第1层卷积层的核大小11*11，96个核。步长(stride)为4，边缘填充（padding）为0。

3.MaxPool-1: 池化层-1对Conv-1进行池化，尺寸为3*3，步长为2.

4.Conv-2: 核尺寸：5*5，数量：256，步长：1，填充：2

5.MaxPool-2: 尺寸：3*3，步长：2

6.Conv-3: 核尺寸：3*3，数量：384，步长：1，填充：1

7: Conv-4: 结构同Conv-3.

  1. Conv-5: 核尺寸：3*3，数量：256，步长：1，填充：1

  2. MaxPool-3: 尺寸：3*3，步长：2

10.FC-1: 全连接层1共有4096个神经元。

11.FC-1: 全连接层2共有4096个神经元。

12.FC-3: 全连接层3共有1000个神经元。

接下来，我们对以上的网络结构进行描述：

1.如何计算张量（图像）的尺寸；

2.如何计算网络的总参数；

卷积层（Conv Layer）的输出张量的大小
定义如下：
O=输出图像的尺寸
I=输入图像的尺寸
K=卷积层的核尺寸
N=核数量
S=移动步长
P=填充数

输出图像尺寸的计算公式如下：
在这里插入图片描述
输出图像的通道数等于核数量N。
示例：AlexNet中输入图像的尺寸为2272273.第一个卷积层有96个尺寸为11113的核。步长为4，填充为0.


输出的图像为55x55x96（每个核对应1个通道）。

池化层（MaxPool Layer）的输出张量（图像）的大小
定义如下：
O=输出图像的尺寸。
I=输入图像的尺寸。
S=移动步长
PS=池化层尺寸
输出图像尺寸的计算公式如下：
在这里插入图片描述
不同于卷积层，池化层的输出通道数不改变。

示例：每1层卷积层后的池化层的池化层尺寸为33，步长为2。根据前面卷积层的输出为5555*96。池化层的输出图像尺寸如下：
在这里插入图片描述
输出尺寸为27x27x96.

全连接层（Fully Connected Layer）的输出张量（图像）的大小

全连接层输出向量长度等于神经元的数量。

通过AlexNet改变张量（图像）的尺寸的结构如下:

在AlexNet网络中，输出的图像尺寸为2272273.

Conv-1,尺寸变为555596,池化层后变为272796。

Conv-2,尺寸变为2727256,池化层后变为1313256.

Conv-3,尺寸变为1313384,经过Conv-4和Conv-5变回1313256.

最后,MaxPool-3尺寸缩小至66256.

图像通过FC-1转换为向量40961.通过FC-2尺寸未改变.最终,通过FC-3输出10001的尺寸张量.

接下来,计算每层的参数数量.

Conv Layer参数数量

在CNN中，每层有两种类型的参数：weights核biases。总参数数量为所有weights核biases的总和。
定义如下：
WC=卷积层的weights数量

BC=卷积层的biases数量

PC=所有参数的数量

K=核尺寸

N=核数量

C =输入图像通道数
卷积层中,核的深度等于输入图像的通道数.于是每个核有K*K个参数.并且有N个核.由此得出以下的公式.

在这里插入图片描述
示例:AlexNet网络中,第1个卷积层,输入图像的通道数©是3,核尺寸(K)是11*11,核数量是96. 该层的参数计算如下：

在这里插入图片描述
计算出Conv-2, Conv-3, Conv-4, Conv-5 的参数分别为 614656 , 885120, 1327488 和884992.卷积层的总参数就达到3,747,200.

Fully Connected (FC) Layer参数数量
在CNN中有两种类型的全连接层.第1种是连接到最后1个卷积层,另外1种的FC层是连接到其他的FC层.两种情况我们分开讨论.

类型1:连接到Conv Layer

定义如下:

Wcf= weights的数量

Bcf= biases的数量
O= 前卷积层的输出图像的尺寸

N = 前卷积层的核数量

F = 全连接层的神经元数量

在这里插入图片描述
示例: AlexNet网络中第1个FC层连接至Conv Layer.该层的O为6,N为256,F为4096.
在这里插入图片描述
参数数目远大于所有Conv Layer的参数和.
类型2:连接到FC Layer

定义如下:

Wff= weights的数量

Bff= biases的数量

Pff= 总参数的数量

F= 当前FC层的神经元数量

F-1 = 前FC层的神经元数量

在这里插入图片描述
示例:AlexNet的最后1个全连接层, F-1=4096,F=1000 .

在这里插入图片描述

1*1卷积理解

1.增加网络的深度，添加非线性

其一：
其一：

这个就比较好理解了，1x1 的卷积核虽小，但也是卷积核，加 1 层卷积，网络深度自然会增加。

其实问题往下挖掘，应该是增加网络深度有什么好处？为什么非要用 1x1 来增加深度呢？其它的不可以吗？

其实，这涉及到感受野的问题，我们知道卷积核越大，它生成的 featuremap 上单个节点的感受野就越大，随着网络深度的增加，越靠后的 featuremap 上的节点感受野也越大。因此特征也越来越形象，也就是更能看清这个特征是个什么东西。层数越浅，就越不知道这个提取的特征到底是个什么东西。

在这里插入图片描述
解释：

好比以上这个图，当层数越浅时，我们只能看到low level parts 也就是一些细节的纹理，并不知道这个纹理是来自于车轮，车身，还是其他哪里。但是随着网络层数的加深，感受野增大，到了mid level parts时，就可以看到车的一部分零件了，比如看到了车轮，车窗，但是看不完。到了层数很深后，就是high level parts了，可以看到这个物品是个完整的车子，或者是其他一个什么东西。
其二：

但有的时候，我们想在不增加感受野的情况下，让网络加深，为的就是引入更多的非线性。而 1x1 卷积核，恰巧可以办到。

我们知道，卷积后生成图片的尺寸受卷积核的大小和卷积核个数影响，但如果卷积核是 1x1 ，个数也是 1，那么生成后的图像长宽不变，厚度为1。

但通常一个卷积层是包含激活和池化的。也就是多了激活函数，比如 Sigmoid 和 Relu。

所以，在输入不发生尺寸的变化下，加入卷积层的同时引入了更多的非线性，这将增强神经网络的表达能力。

2.升维或者降维

大家可以看下面这张图：

参考

https://www.cnblogs.com/touch-skyer/p/9150039.html

https://blog.csdn.net/yaochunchu/article/details/95527760

老三是只猫
关注
  • 7
    点赞
  • 踩
  • 34
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
机器学习笔记 - 2、CNN中的参数计算
学以致用 知行合一
01-15 1794
主要有两个部分的参数需要计算，一个是卷积后的尺寸，另一个是池化后的尺寸。先看一些具体的比较简单的例子，方便去数。最后再给出通用的计算公式。
基于深度学习的数字图像处理pptx.pptx
08-03
卷积神经网络（Convolutional Neural Networks, CNN）是一类包含卷积计算且具有深度结构的前馈神经网络（Feedforward Neural Networks），是深度学习（deep learning）的代表算法之一，CNN 被广泛应用于计算机视觉、...
CNN 参数计算
weixin_33810006的博客
06-28 376
CNN 时间计算复杂度与空间复杂度 即，连续个数与参数个数， 每一个连接都意味着一个计算， 每一个参数都意味一个存储单元。 只计算主要部分。 CNN局部连接与权值共享 如图所示： 全连接：如左图所示，全连接情况下，输入图片为1000x1000像素的图片， 隐藏层为同样的1000x1000个神经元(即1M)；每个神经元都与所有的输入像素相连接，总计10^12权值(即，可训练参数)； 局部连接：如...
CNN中参数计算
xavier_muse的博客
03-22 492
参数量=kernel_size* kernel_size* 输入通道数* 输出通道数（即卷积核的个数）+bias bias = 卷积核的个数 如：输入 10* 10* 3 卷积核5* 5* 10，参数量=5 * 5* 3* 10+10=760 ...
cnn常用参数记录
weixin_30262255的博客
03-08 358
1. epoch 在代码中经常见到n_epochs这个参数，该参数到底是什么意思呢？答案如下： 在一个epoch中，所有训练集数据使用一次 oneepoch= one forward pass and one backward pass ofallthe training examples 2. batch_size 一般情况下，一个训练集中会有大量的samples，为了提高训练...
CNN参数的计算(转)
wxfu2010的博客
07-30 1696
1、基本计算原理 　　 　　动态过程： 　　滤波器（过滤器：filter）的权值是根据你要检测的特征来决定的，在深度学习中，也即是要经过训练得到。检测的特征不同，权值就不一样。 　　如上单层的图像一般表示的是灰白图，既是没有颜色的，有颜色的RGB图像，会包含三个相同大小的图层，这时对应的滤波器也要变成三层，滤波器的层数（通道数）必须时刻与图像层数保持一致。。。 　　 　　注意输出的是一个单层图 　　 　　因为当一个三通道的过滤器与图像进行卷积时，是直接对27个数去加权计算它们的和得到
CNN中参数计算公式
梧桐林木
07-31 1615
参数数量计算就是 kernel_size*kernel_size*kernel_numbers*input_channels
利用深度学习和图像处理检测脑瘤
最新发布
03-01
通过医学影像分析，结合深度学习和图像处理算法，实现对脑部MRI图像的自动识别和分析。该项目提供了一个端到端的解决方案，可用于辅助医生进行脑瘤诊断和治疗规划。 该项目的关键特点包括： 深度学习模型： 项目...
深度学习CNN算法原理 深度学习原理.pdf
04-13
深度学习CNN算法原理是神经网络中的一种前馈神经网络，通常包含数据输入层、卷积计算层、ReLU激活层、池化层、全连接层（INPUT-CONV-RELU-POOL-FC）。卷积神经网络（CNN）是一种前馈神经网络，通过卷积运算来代替...
深度学习(图像分类ViT, visiontransformer)
01-23
这些文档主要介绍了深度学习模型中的一些关键组件，包括自注意力机制、前馈神经网络和Transformer模块等。它们适用于需要深入理解这些概念以构建自己的神经网络模型的读者，包括机器学习研究人员、深度学习工程师和...
深度学习CNN原理介绍 深度学习原理.pdf
04-13
深度学习CNN原理介绍是深度学习领域中的一个重要组成部分，它是指使用人工神经网络来模拟人类的视觉系统，以识别图像中的对象和模式。CNN的架构简单来说就是：图像经过两次的卷积、池化、Fully Connected，就是CNN的...
cnn的特点和参数计算
qq_27009517的博客
05-08 2591
文章目录1.层级结构1.1.数据输入层/ Input layer1.2.卷积计算层/ CONV layer1.3.激励层 (ReLU)1.3.1.sigmoid1.3.2. ReLU1.3.3. Leaky ReLU1.4.池化层 / Pooling layer1.5.全连接层 / FC layer2.典型的CNN3.fine-tuning4.CNN的常用框架5.CNN训练注意事项5.1.Mi...
CNN卷积神经网络模型的参数量、计算量计算方法（概念版）
IT菜鸟
10-30 6060
CNN卷积神经网络模型的参数量、计算量计算方法（概念版）
关于CNN中特征图大小的计算公式
weixin_30763397的博客
04-01 3091
先给出的卷积层输出大小的的计算公式（这里假设输入矩阵和卷积核都是方阵，不是方阵其实也类似）： n’= (n-k)/s+1 其中，n’是卷积层输出的size，n是输入方阵的size, k是卷积核的size, s是移动的步长。即输入n*n的矩阵，用k*k的卷积核对输入进行卷积，得到大小为n’*n’的特征图。 一直疑惑要怎么理解这个式子，虽然验证过多个卷积计算，证明feature map的...
CNN 模型计算力（flops）和参数（parameters）数量计算
qq_35608277的博客
11-30 276
对于一个卷积层，假设其大小为：h * w * c * n (其中c为：input channel, n为：output channel , h w为kernel的尺寸),输出的feature map尺寸为H * W； #paras = n * (h * w *c + 1) #FLOPs = H * W * n * (h * w * c +1) https://blog.csdn.net/xjcoolice/article/details/121197950 https://www.
CNN特征图尺寸及感受野计算方式
brave_555的博客
12-23 1717
1.普通卷积 特征图尺寸：o=[(i-k+2p)/s]+1 其中o为output尺寸，k为kernel_size，i为input尺寸，s为步长，p为padding 感受野： a)第一层卷积层的输出特征图像素的感受野的大小等于滤波器的大小； b)深层卷积层的感受野大小和它之前所有层的滤波器大小和步长有关系； c)计算感受野大小时，忽略了图像边缘的影响，即不考虑padding的大小。 2.空洞卷积 ...
CNN卷积输出尺寸计算
xuefengxiaoyang的博客
07-06 2900
摘要： CNN在执行卷积时，因为卷积核的大小通常大于1，并且滑动步长也不一定为1，所以会导致卷积操作输出的特征图大小比输入特征图要小，如果想控制输出特征图的大小，在不改变卷积核尺寸及滑动步长的情况下，就需要在特征图的边界进行填充(padding)，在TensorFlow框架中，可以使用SAME（自动填充，使输出特征图尺寸和输入尺寸一样）和VALID（不做填充，会导致输出尺寸比输入要小）来处理pa...
通过例子详解CNN感受野参数计算原理
ltshan139的专栏
04-03 843
前言 网上介绍卷积网络感受野(Receptive Field)参数计算往往都是通过代码来进行得，容易看的云里雾里。我这里通过一个例子来解释感受野参数原理以及通过公式来手算它们。 感受野参数概念 感受野参数主要有3个： jump：就是卷积特征图上移动一个像素，反映在输入图像（源图像）上实际上移动了多少个像素。其值用j表示。 receptive field size: 即感受野大小。 它得...
CNN中卷积层输入与输出尺寸的计算细节
非晚非晚的博客
03-21 8135
输入矩阵格式：四个维度，依次为：样本数、图像高度、图像宽度、图像通道数 输出矩阵格式：与输出矩阵的维度顺序和含义相同，但是后三个维度（图像高度、图像宽度、图像通道数）的尺寸发生变化。 权重矩阵（卷积核）格式：同样是四个维度，但维度的含义与上面两者都不同，为：卷积核高度、卷积核宽度、输入通道数、输出通道数（卷积核个数）...
pytorch调用一维CNN计算输入数据
09-17
### 回答1： 以下是使用PyTorch计算一维卷积神经网络的示例代码： ``` import torch import torch.nn as nn # 定义一个一维卷积神经网络 class Net(nn.Module): def __init__(self): super(Net, self).__init__() self.conv1 = nn.Conv1d(1, 10, kernel_size=3) self.conv2 = nn.Conv1d(10, 20, kernel_size=3) self.fc1 = nn.Linear(20*8, 64) self.fc2 = nn.Linear(64, 10) def forward(self, x): x = nn.functional.relu(self.conv1(x)) x = nn.functional.max_pool1d(x, kernel_size=2) x = nn.functional.relu(self.conv2(x)) x = nn.functional.max_pool1d(x, kernel_size=2) x = x.view(-1, 20*8) x = nn.functional.relu(self.fc1(x)) x = self.fc2(x) return x # 示例数据，形状为(batch_size, channel, sequence_length) x = torch.randn(64, 1, 100) # 初始化模型 model = Net() # 计算输出 output = model(x) print(output.shape) # 输出形状为(batch_size, num_classes) ``` 在这个示例中，我们定义了一个名为 `Net` 的一维卷积神经网络，并使用随机数据作为输入进行计算。这个网络包含两个卷积层和两个全连接层，并使用ReLU激活函数和最大池化操作。最后输出一个形状为(batch_size, num_classes)的张量，其中 `num_classes` 是输出类别数。 ### 回答2： 在PyTorch中调用一维CNN进行输入数据的计算相对简单。首先，我们需要导入必要的库和模块： ```python import torch import torch.nn as nn ``` 接下来，我们可以创建一个自定义的一维CNN模型，并定义其中的网络结构。例如，我们可以定义一个包含卷积层、池化层和全连接层的一维CNN模型： ```python class OneDimensionalCNN(nn.Module): def __init__(self): super(OneDimensionalCNN, self).__init__() self.conv1 = nn.Conv1d(1, 16, kernel_size=3, stride=1, padding=1) self.pool = nn.MaxPool1d(kernel_size=2, stride=2) self.fc1 = nn.Linear(16 * 10, 10) def forward(self, x): x = self.pool(torch.relu(self.conv1(x))) x = x.view(-1, 16 * 10) x = self.fc1(x) return x ``` 在上述代码中，我们定义了一个包含一个输入通道、16个输出通道、卷积核大小为3的卷积层（Conv1d）和一个大小为2的最大池化层（MaxPool1d）。然后，我们将扁平化的输出数据通过一个全连接层（Linear）转换为最后的输出结果。 接下来，我们可以实例化这个自定义模型： ```python model = OneDimensionalCNN() ``` 然后，我们需要将输入数据转换为PyTorch的Tensor对象，并传入模型进行计算。假设我们有输入数据x，其形状为(batch_size, sequence_length, input_size)，可通过以下方式计算输出结果： ```python input_data = torch.tensor(x, dtype=torch.float32) output = model(input_data) ``` 最后，输出的结果将是一个形状为(batch_size, num_classes)的Tensor对象，其中num_classes是模型最后一层的输出大小。我们可以通过对这个输出进行进一步的处理、分类或回归等任务。 以上是使用PyTorch调用一维CNN进行输入数据计算的简单示例。该过程可以根据具体的需求和数据进行灵活的调整和修改。 ### 回答3： 要使用PyTorch来调用一维卷积神经网络（CNN）计算输入数据，我们需要按照以下步骤进行操作： 1. 导入所需的库： ``` python import torch import torch.nn as nn import torch.nn.functional as F ``` 2. 定义一个继承自`nn.Module`的类，表示我们的一维CNN模型： ``` python class OneDimCNN(nn.Module): def __init__(self): super(OneDimCNN, self).__init__() self.conv1 = nn.Conv1d(in_channels, out_channels, kernel_size) # 定义其他层... def forward(self, x): x = self.conv1(x) # 经过其他层... return x ``` 在这个类中，我们可以定义一个或多个一维卷积层（`nn.Conv1d`），并在`forward()`方法中按照网络的前向传播顺序将输入数据传递给这些层。 3. 创建该模型的实例： ``` python model = OneDimCNN() ``` 4. 准备输入数据： ``` python # 假设我们有一批大小为(batch_size, input_channels, input_length)的输入数据 input_data = torch.randn(batch_size, input_channels, input_length) ``` 5. 使用模型进行计算： ``` python output = model(input_data) ``` 这将使输入数据通过模型的前向传播函数，并返回输出结果。 需要注意的是，具体的`in_channels`、`out_channels`和`kernel_size`等参数需要根据你的任务和数据的特定要求来进行设置或调整。 这样，我们就可以使用PyTorch调用一维CNN对输入数据进行计算了。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值