卷积神经网络(一)——基础知识

已于 2022-02-26 22:24:53 修改
阅读量2k 收藏 6
点赞数
分类专栏： 深度学习 文章标签： cnn 神经网络 深度学习
于 2020-01-30 18:13:48 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhao_crystal/article/details/104117171
版权

目录

1. 卷积神经网络的结构

1.1 卷积神经网络

1.1.1 基本结构

1.1.2 作用

1.2 全卷积神经网络

1.2.1 基本结构 

1.2.2 作用

2. 卷积网络解决的问题

2.1 局部连接——图像的区域性

2.2 参数共享——图像特征与位置无关

3. 卷积操作 

3.1 卷积

3.2 步长

3.3 padding

3.4 多通道的处理

3.5 多个卷积核

3.6 池化 

3.6.1 最大值池化

3.6.2 平均值池化 

3.6.3 池化特点

3.7 激活函数

3.8 总结 

4. 实战

1. 卷积神经网络的结构

1.1 卷积神经网络

1.1.1 基本结构

（卷积层 + （可选）池化层）* N + 全连接层 * M

全连接层：

将上一层输出展开并连接到每一个神经元上

即普通神经网络层

相比于卷积层，参数数目较大（参数数目=Ci*Co，Ci /Co为输入输出通道数目）

1.1.2 作用

分类任务

回归任务

1.2 全卷积神经网络

1.2.1 基本结构 

（卷积层 + （可选）池化层）* N + 反卷积层*K

Q： 做pooling使图像变小，最后怎样得到和输入图像同等大小的输出呢？

利用反卷积层，当卷积层的步长>1时，使图像size变小，若设置卷积层步长<1，就能使得一个比较小的二维特征图——>大特征图（即反卷积）

1.2.2 作用

物体分割

2. 卷积网络解决的问题

参数过多：计算资源不足；容易过拟合，需要更多训练数据；收敛到较差的局部极值。

神经网络全连接&卷积局部连接

图像的特点：

图像的区域性，即某一区域内像素点特征类似。（某一像素为头发，其周围的的像素点也为头发的特征值）——>局部连接。

图像特征和位置无关（比如：人像在图片区域向左移或向右移，代表眼睛特征的像素点的位置就有了变化，即某一特征值的位置不是固定的）——>参数共享（强制每个神经元和图像的连接都使用同样的参数）

2.1 局部连接——图像的区域性

相邻区域的像素所代表的信息很接近。

举例：

  1. 图像大小1000 * 1000
  2. 下一层神经元为10^6
  3. 局部连接范围为10*10
  4. 全连接参数为10*10*10^6=10^8

2.2 参数共享——图像特征与位置无关

(脸在图片上的哪个位置都可以)

即每个卷积核的参数都是一样的。

举例：

  1. 图像大小1000 * 1000
  2. 下一层神经元为10^6
  3. 局部连接范围为10*10
  4. 全连接参数为10*10=10^2

3. 卷积操作 

3.1 卷积

3.2 步长

3.3 padding

卷积核在图像上划过之后，输出的size相对于输入的size来说变小了。若有多个卷积层，每个卷积层图像都变小一点。

Case1: 当图像本来就比较小时，多加几个卷积层，图像的size可能为1，很不直观。

Case2: 对于1个大的图像来说，图像size本来是整数，经过卷积层，变为非整数。

故，需要用到padding，使得输出的size不变或者不出现case1，case2的现象。（padding的size和卷积核的size有关）

3.4 多通道的处理

每个通道上卷积的参数不共享。在做计算的过程中，每个通道上的卷积的参数和相应的通道上的输入做内积，然后将3个通道上得到的同样位置上的内积的结果相加来作为输出神经元的值。

 对于单通道：通过点积乘法得到结果。

对于多通道：每个通道通过点积乘法得到结果，再将每个通道的结果相加。最终得到单通道的输出。

3.5 多个卷积核

多个卷积核，提取多个特征，多个卷积核的参数不共享。

3.6 池化 

池化的默认步长 == kernel_size, 不补零，若不用padding，将多余的值直接去掉。

3.6.1 最大值池化

3.6.2 平均值池化 

 

3.6.3 池化特点

  • 常使用不重叠，不补零
  • 没有用于求导的参数
  • 池化层参数为步长和池化核大小
  • 用于减少图像尺寸，从而减少计算量
  • 一定程度平移鲁棒（比如猫在图像上平移了一段，池化操作之后和平移前的结果是一样的）
  • 损失了空间位置精度（精度和计算量之间的权衡）

3.7 激活函数

激活函数有哪些，详见：深度学习基础知识_zhao_crystal的博客-CSDN博客

一般在卷积中，使用RELU激活函数。

3.8 总结 

p = 边距（padding）

s = 步长（stride）

输出尺寸 =  （输入大小 - 卷积核 + padding）/stride + 1 （有待验证）

参数数目 = Kw * Kh * Ci * Co

Ci：输入通道数

Co：输出通道数

Kw，Kh：卷积核的长宽

4. 实战

 代码详见：https://github.com/crystal30/Deep-learning convnet.ipynb # 卷积神经网络

zhao_crystal
关注
  • 0
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
深度学习——卷积神经网络
01-20
卷积神经网络 文章目录卷积神经网络一、卷积神经网络基础1.基础知识2.卷积层的简洁实现3.池化二、LeNet三、常见的一些卷积神经网络1.AlexNet2.VGG3.NiN4.GoogLeNet   一、卷积神经网络基础 1.基础知识 二维互相关(cross-correlation)运算：输入一个二维数组和核数组（卷积核或过滤器），卷积核在输入数组上滑动，在每个位置上与输入子数组按元素相乘并求和，取得一个输出的二维数组。如图中所示：19=0×0+1×1+3×2+4×3，25=1×0+2×1+4×2+5×3，…… 二维卷积层：将输入和卷积核做互相关运算，再加上一个偏差得到输出。此外，将核数组上
实战：神经网络多任务之图像识别与实例分割——直播回放
06-17
本课程旨在帮助同学们掌握深度学习基础知识点，对复杂的卷积神经网络模型进行通俗解读，逐步迈向深度学习两大核心模型-使用当下主流深度学习框架进行实战任务，实例演示《神经网络多任务——图像识别与实例分割》，...
卷积神经网络基础知识
weixin_44498476的博客
04-13 1万+
卷积神经网络基础知识:输入输出、网络结构、损失函数和评价指标。
卷积神经网络（CNN）——基础知识整理
最新发布
不要给自己设限，尝试更多可能（思所向 皆可往）
03-29 1994
卷积神经网络的基本知识： 既然叫卷积神经网络，这里面首先是卷积，然后是神经网络，是二者的一个结合，卷积这个概念实际上来自信号处理领域，一般是对2个信号进行卷积运算，见下图：
【深度学习】计算机视觉（五）——卷积神经网络详解
RK_Dangerous的博客
07-08 7580
在之前学习的基础上，对神经网络进一步学习
CNN基础知识笔记
zxmyoung的博客
10-24 1万+
1. 卷积神经网络的概念 上世纪60年代，Hubel等人通过对猫视觉皮层细胞的研究，提出了感受野这个概念，到80年代，Fukushima在感受野概念的基础之上提出了神经认知机的概念，可以看作是卷积神经网络的第一个实现网络，神经认知机将一个视觉模式分解成许多子模式（特征），然后进入分层递阶式相连的特征平面进行处理，它试图将视觉系统模型化，使其能够在即使物体有位移或轻微变形的时候，也能完成识别。 卷积神经网络是多层感知机（MLP）的变种，由生物学家休博尔和维瑟尔在早期关于猫视觉皮层的研究发展而来，视觉皮层的
深度学习03-卷积神经网络(CNN)
liaomin416100569的专栏
05-12 2万+
CNN，即卷积神经网络（Convolutional Neural Network），是一种常用于图像和视频处理的深度学习模型。与传统神经网络相比，CNN 有着更好的处理图像和序列数据的能力，因为它能够自动学习图像中的特征，并提取出最有用的信息。CNN 的一个核心特点是卷积操作，它可以在图像上进行滑动窗口的计算，通过滤波器（又称卷积核）和池化层（Max Pooling）来提取出图像的特征。卷积操作可以有效地减少权重数量，降低计算量，同时也能够保留图像的空间结构信息。
FCN（全卷积神经网络）详解
热门推荐
晓野豬
09-27 6万+
文章目录简介核心思想网络结构上采样 Upsampling跳级结构CNN与FCN的区别与联系网络训练过程存在问题【参考】 简介 全卷积网络（Fully Convolutional Networks，FCN）是Jonathan Long等人于2015年在Fully Convolutional Networks for Semantic Segmentation一文中提出的用于图像语义分割的一种框架，是深度学习用于语义分割领域的开山之作。FCN将传统CNN后面的全连接层换成了卷积层，这样网络的输出将是热力图而非类
卷积神经网络入门基础知识
WUHU648的博客
11-17 6040
一、卷积神经网络（CNN）定义 卷积神经网络（convolutional neural network, CNN），是一种专门用来处理具有类似网格结构的数据的神经网络。卷积网络是指那些至少在网络的一层中使用卷积运算来替代一般的矩阵乘法运算的神经网络。 经典神经网络的结构： LeNet-5 AlexNet VGG 二、DNN与CNN的区别 上图为DNN神经网络图，DNN内部的神经网络层可以分为三类，输入层，隐藏层和输出层，一般来说第一层是输出层，最后一层是输出层，而中间的层数都是隐藏层。 上图为CN
FCN全卷积神经网络
m0_46409054的博客
11-01 3405
FCN-深度学习图像分割经典网络解析1
全卷积神经网络(FCN)
qq_37497304的博客
08-30 3790
全卷积神经网络（Fully Convolutional Networks for Semantic Segmentation）第一次将卷积神经网络结构应用到图像语义分割领域，是开山之作。
全卷积网络(FCN)
m0_56175815的博客
07-16 677
义分割是对图像中的每个像素分类。全卷积网络（fully convolutional network，FCN）采用卷积神经网络实现了从图像像素到像素类别的变换。与我们之前在图像分类或目标检测部分介绍的卷积神经网络不同，这是通过在前面引入的转置卷积（transposed convolution）实现的。
人工智能应用基础：卷积神经网络.pptx
05-16
卷积神经网络基础 《人工智能应用基础》 《人工智能应用基础》 全称：Convolutional Neural Network，CNN 一种前馈神经网络 基于生物学上感受野(Receptive Field) 的机制 一个神经元的感受野是指特定区域 特点 ...
基于卷积神经网络(CNN)和CIFAR10数据集的图像智能分类 Web 应用
03-08
基于卷积神经网络(CNN)和CIFAR10数据集的图像智能分类 Web 应用 Intelligent Image Classification Web Applcation based on Convolutional Neural Networks and the CI….zip 适合学习/练手、毕业设计、课程设计、...
零基础入门深度学习(系列) 中文PDF完整版
04-25
无论即将到来的是大数据时代还是人工智能时代，...零基础入门深度学习(4) - 卷积神经网络 零基础入门深度学习(5) - 循环神经网络 零基础入门深度学习(6) - 长短时记忆网络(LSTM) 零基础入门深度学习(7) - 递归神经网络
8--全卷积网络（FCN）
garbage回收中心
09-01 2020
全卷积网络（fully convolutional network，FCN）采用卷积神经网络实现了从图像像素到像素类别的变换。全卷积网络通过转置卷积，将中间层输出特征图的高宽转化为原始图像的高宽，实现了输出的类别预测与输入图像在像素级别上具有一一对应关系，通道维的输出即该位置对应像素的类别预测。...
全卷积神经网络（FCN）论文笔记
charles_zhang_的博客
04-28 3467
全卷积神经网络（FCN）论文笔记 Fully Convolutional Networks for Semantic Segmentation Abstract 卷积网络是一种功能强大的视觉模型，可以产生特征的层次结构。我们证明了卷积网络本身，经过端到端训练的像素到像素，在语义分割方面超过了最先进的水平。我们的关键洞察是构建“完全卷积”网络，该网络接收任意大小的输入，并通过有效的推理和学习产生相应大小的输出。我们定义并详细描述了完全卷积网络的空间，解释了它们在空间密集型预测任务中的应用，并与先前的模型建立了
【深度学习】：小白也能看懂的卷积神经网络
极歌科技
08-09 1003
小编在市面看了很多介绍计算机视觉的知识，感觉都非常深奥，难以理解和入门。因此总结出了一套容易理解的教程，希望能够和大家分享。 一.人工神经网络 人工神经网络是一种模拟人脑构建出来的神经网络，每一个神经元都具有一定的权重和阈值。仅有单个神经元的图例如下所示： 从中可以看到每一个神经元具有一个输入Input Layer，一个输出Ouput Layer。一般情况下，Input Lay...
全卷积网络FCN详解
tt丫的博客
02-21 1万+
入门小菜鸟，希望像做笔记记录自己学的东西，也希望能帮助到同样入门的人，更希望大佬们帮忙纠错啦~侵权立删。 一、FCN提出原因 为了解决图像分割这种像素级别的问题。 图像分类是图像级别的，一般使用CNN为基础框架进行分类，但是CNN难以应用于图像分割 原因： （1）CNN在进行卷积和池化过程中丢失了图像细节，即feature map size渐渐减小，因此不能很好指出物体的具体轮廓，指出每个像素具体属于哪个物体，从而无法做到精确的分割。 （2）一般CNN分类网络都会在最后加入一些全连接层，经过s
卷积神经网络——全连接操作
09-11
全连接操作是卷积神经网络（Convolutional Neural Network, CNN）中的一种常见操作，也被称为全连接层或者密集连接层。在卷积神经网络中，全连接层通常紧跟在卷积层和池化层之后。 在卷积神经网络中，卷积层和池化...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值