深度学习基础系列：DenseNet

最新推荐文章于 2022-09-21 22:29:27 发布
最新推荐文章于 2022-09-21 22:29:27 发布
阅读量562 收藏
点赞数
分类专栏： 深度学习基础
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zsddragon/article/details/98657931
版权
本文介绍了DenseNet，一种在CVPR2017获得最佳论文的深度学习模型。DenseNet通过特征重用和旁路连接缓解了梯度消失问题，减少了参数数量，并提高了网络训练的效率。它使用紧密连接结构，每个层的输出与后续所有层相连，以增强特征复用。此外，DenseNet还包含瓶颈层和过渡层以压缩参数和降低冗余。
摘要由CSDN通过智能技术生成

深度学习基础系列：DenseNet

DenseNet概述
作为CVPR2017年的Best Paper, DenseNet脱离了加深网络层数(ResNet)和加宽网络结构(Inception)来提升网络性能的定式思维,从特征的角度考虑,通过特征重用和旁路(Bypass)设置,既大幅度减少了网络的参数量,又在一定程度上缓解了gradient vanishing问题的产生.结合信息流和特征复用的假设,DenseNet当之无愧成为2017年计算机视觉顶会的年度最佳论文.

卷积神经网络在沉睡了近20年后,如今成为了深度学习方向最主要的网络结构之一.从一开始的只有五层结构的LeNet, 到后来拥有19层结构的VGG, 再到首次跨越100层网络的Highway Networks与ResNet, 网络层数的加深成为CNN发展的主要方向之一.

随着CNN网络层数的不断增加,gradient vanishing和model degradation问题出现在了人们面前,BatchNormalization的广泛使用在一定程度上缓解了gradient vanishing的问题,而ResNet和Highway Networks通过构造恒等映射设置旁路,进一步减少了gradient vanishing和model degradation的产生.Fractal Nets通过将不同深度的网络并行化,在获得了深度的同时保证了梯度的传播,随机深度网络通过对网络中一些层进行失活,既证明了ResNet深度的冗余性,又缓解了上述问题的产生. 虽然这些不同的网络框架通过不同的实现加深的网络层数,但是他们都包含了相同的核心思想,既将feature map进行跨网络层的连接.

DenseNet作为另一种拥有较深层数的卷积神经网络,具有如下优点:
(1) 相比ResNet拥有更少的参数数量.
(2) 旁路加强了特征的重用.
(3) 网络更易于训练,并具有一定的正则效果.
(4) 缓解了gradient vanishing和model degradation

最低0.47元/天 解锁文章
zsddragon
关注
专栏目录
TF2.0深度学习实战（八）：搭建DenseNet稠密神经网络
不积跬步，无以至千里！
05-03 6298
全网最全的《TF2.0深度学习实战：图像分类/目标检测》教程，小白看了都会！
深度学习之CNN深度卷积神经网络-DenseNet（进阶）
最新发布
学习中
11-21 873
如果卷积网络在靠近输入的层和靠近输出的层之间包含较短的连接，则可以训练它们更深入，更准确和有效。在本文中，我们支持此结论并介绍了密集卷积网络（DenseNet），该网络将每个层以前馈方式连接到每个其他层。具有L层的传统卷积网络具有L个连接——每个层与其后续层之间有一个连接——我们的网络具有个连接。对于每个层，所有先前层的特征图都用作输入，而其自己的特征图则用作所有后续层的输入。
卷积神经网络回顾之DenseNet、SENet、MobileNet系列、ShuffleNet系列
迷路的咸鱼的博客
05-07 3491
网络整理DenseNet (2017)SENet (2017)MobileNet (2018)ShuffleNet (2018) DenseNet (2017)   DenseNet 是CVPR2017 best paper《Densely Connected Convolutional Networks》中提出的，它并没有像之前的网络从增加网络的深度和宽度的角度来提升网络性能，而是借鉴了ResN...
深度学习_DenseNet
Supre_yuan的博客
10-06 316
ResNet极大地改变了如何参数化深层网络中函数的观点。稠密连接网络（DenseNet）在某种程度上是ResNet的逻辑扩展。让我们先从数学上了解下。 从ResNet到DenseNet 回想一下任意函数的泰勒展开式，它把这个函数分解成越来越高阶的项。在xxx接近0时， f(x)=f(0)+f′(0)x+f′′(0)2!x2+f′′′(0)3!x3+… f(x)=f(0)+f^{\prime}(0) x+\frac{f^{\prime \prime}(0)}{2 !} x^{2}+\frac{f^{\prim
论文阅读 || 图像分类系列 —— DenseNet（很详细）
magic_ll的博客
11-07 7302
目录 1 网络结构加深的演变 2 Dense模块的介绍 3 DenseNet实现过程 3.1 DenseNet优点 3.2 网络结构 4 实验 4.1 数据处理 4.2 模型训练超参数 4.3 在CIFAR和SVHN上的实验结果 4.4 ImageNet分类结果 5. 讨论 论文地址：Densely Connected Convolutional Networks 1 网...
【卷积神经网络系列】九、DenseNet
traveller的博客
09-21 291
DenseNet
DenseNet
weixin_41172694的博客
02-11 8494
版权声明：本文为博主原创文章，未经博主允许不得转载 论文：Densely Connected Convolutional Networks 链接：https://arxiv.org/abs/1608.06993 第三方代码： CVPR2017的最佳论文 论文详解： 作为CVPR2017年的Best Paper, DenseNet脱离了加深网络层数(ResNet)和加宽网络结构(In...
深度学习基础系列：VGG
zsddragon的博客
08-04 1549
深度学习基础系列：VGG Visual Geometry Group是牛津大学的一个科研团队。他们推出的一系列深度模型，被称作VGG模型。 论文名：《Very Deep Convolutional Networks for Large-Scale Visual Recognition》 VGG的结构图如下： 该系列包括A/A-LRN/B/C/D/E等6个不同的型号。其中的D/E，根据其神经网络的...
深度学习基础系列：CNN模型及其应用
zsddragon的博客
08-06 1407
深度学习基础系列：CNN模型及其应用 CNN发展： LeNet ：LeNet是卷积神经网络的祖师爷LeCun在1998年提出，用于解决手写数字识别的视觉任务。 AlexNet：AlexNet在2012年ImageNet竞赛中以超过第二名10.9个百分点的绝对优势一举夺冠，从此深度学习和卷积神经网络名声鹊起，深度学习的研究如雨后春笋般出现，AlexNet的出现可谓是卷积神经网络的王者归来。 VGG...
resnet和densenet系列模型结构图可视化
Together_CZ的博客
01-17 4194
最近正好在做实验，就找时间画了一下实践效果比较好的resnet和densenet两个系列的各个经典模型的结果示意图，这里先贴出来，后续找时间整理下代码出来，我们先来一睹为快吧。 ResNet-18 ResNet-34 ResNet-50 ResNet-101 ResNet-152 ResNext-50 接下来是DenseNet系列的。 ...
DenseNet解析
m0_56192771的博客
04-27 4475
1 前言 在计算机视觉领域，卷积神经网络（CNN）已经成为最主流的方法，比如最近的GoogLenet，VGG-19，Incepetion等模型。CNN史上的一个里程碑事件是ResNet模型的出现，ResNet可以训练出更深的CNN模型，从而实现更高的准确度。ResNet模型的核心是通过建立前面层与后面层之间的“短路连接”（shortcuts，skip connection），这有助于训练过程中梯度的反向传播，从而能训练出更深的CNN网络。今天我们要介绍的是DenseNet模型，它的基本思路与ResNet一致
轻量级网络：DenseNet
qq_38156104的博客
08-04 1660
目录 Insight DenseNet ResNets Dense connectivity Composite function Pooling layers Growth rate Bottleneck layers Compression 实验 架构 Classification Results on CIFAR and SVHN Accuracy Capacity Parameter Efficiency Overfitting Classificatio...
[网络结构]DenseNet网络结构
热门推荐
weixin_41798111的博客
01-15 4万+
论文：https://arxiv.org/pdf/1608.06993.pdf 参考文献： https://blog.csdn.net/u014380165/article/details/75142664 https://blog.csdn.net/qq_14845119/article/details/79272082 与残差网络的区别： 残差网络是加上跳转链接，非线性映射关...
DenseNet算法详解
程序员养成日记
07-06 770
论文：密集连接卷积网络 论文链接：https：//arxiv.org/pdf/1608.06993.pdf 代码的github链接：https：//github.com/liuzhuang13/DenseNet MXNet版本代码（有ImageNet预训练模型）：https： //github.com/miraclewkf/DenseNet 文章详解： DenseNet（密集卷...
DenseNet(Densely Connected Convolutional Networks)学习笔记
与贰的博客
07-14 9387
这篇论文是CVPR 2017的最佳论文，即16年的resnet之后这篇文章提出了DenseNet这样一个全新的网络框架，丰富了自LeNet至今的CNN网络体系。本着学习的态度，我趁这个周末上午学习了DenseNet的框架，主要介绍DenseNet的结构特点以及他与ResNet之间的对比。一、介绍CNN网络已经是近几年来用于视觉物体检测的最主要的机器学习方法了。尽管它才被提出来二十年左右，但是高速发...
DenseNet算法详解——思路就是highway，DneseNet在训练时十分消耗内存
djph26741的博客
05-12 1079
论文笔记：Densely Connected Convolutional Networks(DenseNet模型详解) 2017年09月28日 11:58:49 阅读数：1814 [ 转载自http://www.yyliu.cn/post/7cabb4ff.html ] CVPR 2017上，清华大学的Zhuang Liu、康奈尔大学的Gao Hu...
Densenet学习笔记
xjz18298268521的博客
01-16 5186
Densenet总结 论文：《Densely Connected Convolutional Networks》 论文链接：https://arxiv.org/pdf/1608.06993.pdf 代码的github链接：https://github.com/liuzhuang13/DenseNet Caffe版本的GitHub链接：https://github.com/shicai/
DenseNet论文解读理解
blank_tj的博客
09-09 7956
论文名称：Densely Connected Convolutional Networks 论文链接：https://arxiv.org/pdf/1608.06993.pdf 代码的github链接：https://github.com/liuzhuang13/DenseNet DenseNet 作者在开头讲述了诸如ResNets、FractalNets、Highway等网络，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值