CNN-net-structure
zhuiqiuk
这个作者很懒,什么都没留下…
展开
-
Spatial Transformer Networks
TF code: https://github.com/kevinzakka/spatial-transformer-network一、相关背景如果网络能够对经过平移、旋转、缩放及裁剪等操作的图片得到与未经变换前相同的检测结果,我们就说这个网络具有空间变换不变性(将平移、旋转、缩放及裁剪不变性统称为空间不变性)。具有空间变换不变性的网络能够得到更精确地分类结果。传统CNN网络的池化层具有平...转载 2019-02-14 17:50:09 · 21646 阅读 · 5 评论 -
SVDNet for Pedestrian Retrieval:CNN到底认为哪个投影方向是重要的?
SVDNet for Pedestrian Retrieval:CNN到底认为哪个投影方向是重要的?文章链接:arXiv:1703.05693代码链接:syfafterzy/SVDNet-for-Pedestrian-Retrieval1.背景简介近年来,行人再识别问题(Person-reID)研究热度逐渐上升。与人脸识别相比,它在采集图像时不需要行人主动配合,在安防等领域具...转载 2019-03-11 23:14:41 · 400 阅读 · 0 评论 -
CVPR 2019 | 用异构卷积训练深度CNN:提升效率而不损准确度
对于深度卷积神经网络而言,准确度和计算成本往往难以得兼,研究界也一直在探索通过模型压缩或设计新型高效架构来解决这一问题。印度理工学院坎普尔分校的一篇 CVPR 论文则给出了一个新的思路——使用异构的卷积过滤器;实验表明这种方法能在保证准确度的同时显著降低计算成本。选自arXiv,作者:Pravedra Singh等,机器之心编译,参与:熊猫。论文:https://arxiv.org/a...转载 2019-03-18 23:47:15 · 2244 阅读 · 0 评论 -
变形卷积核、可分离卷积?CNN中十大拍案叫绝的操作!
原文链接:https://mp.weixin.qq.com/s/iN2LDAQ2ee-rQnlD3N1yawCNN从2012年的AlexNet发展至今,科学家们发明出各种各样的CNN模型,一个比一个深,一个比一个准确,一个比一个轻量。我下面会对近几年一些具有变革性的工作进行简单盘点,从这些充满革新性的工作中探讨日后的CNN变革方向。注:水平所限,下面的见解或许有偏差,望大牛指正。另外只介...转载 2019-04-04 04:17:43 · 943 阅读 · 0 评论 -
SKNet——SENet孪生兄弟篇
Selective Kernel Networks启发自皮质神经元根据不同的刺激可动态调节其自身的receptive field,是结合了SE operator,Merge-and-Run Mappings,以及 attention on inception block 思想的产物。从设计理念上来讲也比较simple,即对所有的 > 1 的卷积kernel进行 Selective Kern...转载 2019-03-31 13:06:44 · 3691 阅读 · 2 评论 -
图像金字塔(Python实现)
图像金字塔(Python实现)1 简介在图像处理中常常会调整图像大小,最长的就是放大(zoom in)和缩小(zoom out),尽管集合变换也可以实现图像放大或者缩小一个图像金字塔式一系列的图像组成,最底下一张式图像尺寸最大,最上方的图像尺寸最小,从空间上从上向下看,就可以看成埃及金字塔.高斯金字塔–用来对 图像进行降采样拉普拉斯金字塔–用来重建一张图片根据他的上层降采样图片2 高斯...转载 2019-04-25 23:15:13 · 5132 阅读 · 0 评论 -
Incremental Learning
2018-2019 Paper:Multi-task settings:Class-incremental Learning via Deep Model Consolidation https://arxiv.org/abs/1903.07864v1End-to-end Incremental Learninghttps://github.com/fmcp/EndToEndI...原创 2019-04-19 17:03:10 · 2536 阅读 · 1 评论 -
tensorflow卷积神经网络中的padding参数最详细解释!
tensorflow卷积神经网络中的padding参数最详细解释!当使用tensorflow创建卷积神经网络时,肯定要用到卷积层和池化层,tendorflow关于建立卷积层和池化层的API都有padding这个参数,如下所示:- tf.nn.conv2d(input,filter,strides,padding)- tf.nn.max_pool(input,ksize,strides,...转载 2019-05-19 15:30:17 · 3796 阅读 · 1 评论 -
ICML 2019 | Hinton等人新研究:如何更好地测量神经网络表示相似性
作者:Simon Kornblith、Mohammad Norouzi、Honglak Lee、Geoffrey Hinton参与:可可、路近期很多研究试图通过对比神经网络表示来理解神经网络的行为。谷歌大脑 Simon Kornblith、Geoffrey Hinton 等人的一项新研究引入了 centered kernel alignment (CKA) 作为相似性指数,并分析 CKA...转载 2019-05-27 12:56:14 · 1836 阅读 · 0 评论 -
论文分享--A Strong Baseline for Re-ID
https://zhuanlan.zhihu.com/p/65631409https://zhuanlan.zhihu.com/p/61831669分享最近读到的一篇论文Bag of Tricks and A Strong Baseline for Deep Person Re-identification,这篇文章对person reid问题中的训练技巧进行了一个很好的总结,并提出了一个...转载 2019-05-28 09:51:16 · 3109 阅读 · 0 评论 -
Bag of Tricks for Convolutional Neural Networks
https://zhuanlan.zhihu.com/p/51870052刚刚看了Bag of Tricks for Image Classification with Convolutional Neural Networks,一篇干货满满的文章,同时也可以认为是GluonCV 0.3: 超越经典的说明书,通过这个说明书,我们也拥有了超越经典的工具箱。我们都知道trick在CNNs中的重...转载 2019-05-28 11:03:31 · 342 阅读 · 0 评论 -
深度学习干货学习(2)—— triplet loss
https://blog.csdn.net/Lucifer_zzq/article/details/81271260一、Triplet结构:triplet loss是一种比较好理解的loss,triplet是指的是三元组:Anchor、Positive、Negative:整个训练过程是: 首先从训练集中随机选一个样本,称为Anchor(记为x_a)。 然后再随机选取...转载 2019-05-28 15:21:44 · 4358 阅读 · 0 评论 -
深度学习干货学习(1)——center loss
在构建loss时pytorch常用的包中有最常见的MSE、cross entropy(logsoftmax+NLLLoss)、KL散度Loss、BCE、HingeLoss等等,详见:https://pytorch-cn.readthedocs.io/zh/latest/package_references/torch-nn/#loss-functions这里主要讲解一种考虑类间距离的Cente...转载 2019-05-28 15:25:46 · 782 阅读 · 0 评论 -
GPU 显存不足怎么办?
前言最近跑的模型都比较大,尤其是Bert, 这真的是难为我 1080ti 了, 在Bert的Example中,官方提供了一些 Trick 来帮助我们加速训练,很良心, 但感觉还不够,于是花费一些时间整理出一个 Trick 集合,来帮助我们在显存不足的时候来嘿嘿嘿。本文分为两大部分,第一部分引入一个主题:如何估计模型所需显存, 第二个主题:GPU显存不足时的各种 Trick 。监控 GP...转载 2019-06-05 23:36:08 · 24612 阅读 · 8 评论 -
两篇论文之CNN中正交操作
CNN的权值正交性和特征正交性,在一定程度上是和特征表达的差异性存在一定联系的。 下面两篇论文,一篇是在训练中对权值添加正交正则提高训练稳定性,一篇是对特征添加正交性的损失抑制过拟合。第一篇:Orthonormality RegularizationXie D, Xiong J, Pu S. All You Need is Beyond a Good Init: Exploring ...转载 2019-03-07 18:29:09 · 217 阅读 · 1 评论 -
不用重新训练,直接将现有模型转换为 MobileNet
作者 |autocyz来源 |https://zhuanlan.zhihu.com/p/54425450原文 |http://bbs.cvmart.net/articles/301从MobileNet中的深度可分卷积(Depthwise Separable Convolution)讲起看过MobileNet的都知道,MobileNet最主要的加速就是因为深度可分卷积(D...转载 2019-03-07 09:50:31 · 1465 阅读 · 1 评论 -
[论文笔记][ICLR-2019] Slimmable Neural Networks
Slimmable Neural Networks论文地址:https://arxiv.org/abs/1812.08928Github:https://github.com/JiahuiYu/slimmable_networksOpenReviews:https://openreview.net/forum?id=H1gMCsAqY7Motivation移动端的应用对算法运行效...转载 2019-03-02 19:24:18 · 761 阅读 · 0 评论 -
详细解读Spatial Transformer Networks(STN)-一篇文章让你完全理解STN了
目录STN的作用 1.1 灵感来源 1.2 什么是STN?STN的基本架构Localisation net是如何实现参数的选取的? 3.1 实现平移 3.2 实现缩放 3.3 实现旋转 3.4 实现剪切 3.5 小结Grid generator实现像素点坐标的对应关系 4.1 为什么会有坐标的问题? 4.2 仿射变换关系Sampler实现坐标求解的可微性 5.1 小...转载 2019-02-14 18:01:46 · 3408 阅读 · 0 评论 -
Residual Attention Network for Image Classification论文精读及源码
Introduction首先作者介绍了在视觉领域中Attention也发挥着很大的作用,Attention不止能使得运算聚焦于特定区域,同时也可以使得该部分区域的特征得到增强,同时'very deep'的网络结构结合残差连接(Residual Network)在图像分类等任务中表现出了极好的性能。基于这两点考量,作者提出了残差注意力网络(Residual Attention Network),...转载 2019-02-14 18:43:38 · 774 阅读 · 2 评论 -
【人体姿态】 Stacked Hourglass Networks for Human Pose Estimation
Newell, Alejandro, Kaiyu Yang, and Jia Deng. “Stacked hourglass networks for human pose estimation.” arXiv preprint arXiv:1603.06937 (2016).code github: https://github.com/princeton-vl/pose-hg-train...转载 2019-02-14 21:21:59 · 2288 阅读 · 0 评论 -
add attention method
(1) Densely Connected CNN with Multi-scale Feature Attention for Text ClassificationAdd attention on the last layer before classification.(2) Attention-Mechanism-Containing Neural Networks for H...原创 2019-02-15 14:26:00 · 455 阅读 · 0 评论 -
AAAI 2019 论文解读:卷积神经网络继续进步
机器之心卷积神经网络(CNN)近年来已经取得了很大的成功,但研究者仍在进一步推进研究前沿,提出新的思路和方法。在本文中,技术分析师 Joshua Chou 将解读三篇有关卷积神经网络的 AAAI 2019 论文。其中第一篇提出了一种 dropout 改进方法,第二篇和第三篇则是图卷积网络方面的研究。机器之心原创,作者:Joshua Chou,编辑:Haojin Yang。分析师简介:Jo...转载 2019-02-12 17:59:51 · 9952 阅读 · 0 评论 -
AI所有领域最优论文+代码查找神器:966个ML任务、8500+论文任你选
查找论文及对应源码的神器 Papers With Code 刚刚推出了最新版本,可以用图形界面查找你想要的 SOTA 实现,从应用领域到具体任务再到实现代码一步到位。据网站开发者介绍,里面包含了 966 个机器学习任务、515 个评估排行榜(以及当前最优结果)、8625 篇论文(带源码)、704 个数据集。网站地址:https://paperswithcode.com/sotaPapers...转载 2019-02-12 18:09:27 · 1029 阅读 · 0 评论 -
CNN-Attention
Attention Mechanism可以帮助模型对输入的X每个部分赋予不同的权重,抽取出更加关键及重要的信息,使模型做出更加准确的判断,同时不会对模型的计算和存储带来更大的开销,这也是Attention Mechanism应用如此广泛的原因。 之前在做知识库问答和阅读理解问答的研究中都用到了attention机制,效果确实比较显著(虽然减慢训练速度的效果也比较显著…)。在是谷歌发布论文Atte...转载 2019-02-14 14:49:20 · 9232 阅读 · 1 评论 -
论文阅读: 图像分类中的注意力机制(attention)
本文简要总结一下attention机制在图像分类任务中的应用。attention作为一种机制,有其认知神经或者生物学原理: 注意力的认知神经机制是什么? 如何从生物学的角度来定义注意力? 在计算机视觉领域,注意力机制有各种不同形式的实现,可以大致分为soft attention和hard attention[1]。Soft attention的典型例子是stn[3],Residual Att...转载 2019-02-14 14:54:08 · 2135 阅读 · 0 评论 -
YOLOv3:An Incremental Improvement全文翻译
原标题: YOLOv3: An Incremental Improvement原作者: Joseph Redmon Ali Farhadi翻译者: AmusiYOLO官网:YOLO: Real-Time Object Detection论文链接:https://pjreddie.com/media/files/papers/YOLOv3.pdfYoutube:https://www....转载 2019-03-05 15:59:49 · 2610 阅读 · 0 评论 -
Darknet YOLOv3 资源合集
首先目标检测的入门文档:知乎-目标检测https://zhuanlan.zhihu.com/p/34142321voc版本数据集制作:voc格式数据集https://blog.csdn.net/ch_liu23/article/details/53558549yolo主页:yolo homehttps://pjreddie.com/darknet/yolo/yolo AB代...转载 2019-03-05 17:14:42 · 1002 阅读 · 0 评论 -
[CVPR2019]:专门为卷积神经网络设计的训练方法:RePr Improved Training of Convolutional Filters
CVPR2019年的一篇文章RePr: Improved Training of Convolutional Filters这篇文章初看abstract和introduction,差点以为是model pruning,看到后面发现是针对卷积神经网络的训练方法,而且这个方法比较简单,但文章通过大量的分析和实验,验证了提出的训练方法非常有效,在cifar、ImageNet、VQA、object ...转载 2019-03-05 19:01:10 · 2450 阅读 · 4 评论 -
CNN 论文阅读
参考网站:知乎,计算机视觉论文速递 https://zhuanlan.zhihu.com/c_1725076741. 《CBAM: Convolutional Block Attention Module》ECCV 2018CBAM integrated with a ResBlock in ResNetAbstract:我们提出了卷积块注意力模块(CB...原创 2019-03-05 19:03:58 · 1024 阅读 · 0 评论 -
秒懂!何凯明的深度残差网络PPT是这样的|ICML2016 tutorial
雷锋网(公众号:雷锋网)注:何凯明博士,2007年清华大学毕业之后开始在微软亚洲研究院(MSRA)实习,2011年香港中文大学博士毕业后正式加入MSRA,目前在Facebook AI Research (FAIR)实验室担任研究科学家。曾以第一作者身份拿过两次CVPR最佳论文奖(2009和2016)——其中2016年CVPR最佳论文为图像识别中的深度残差学习(Deep Residual Learn...转载 2017-07-13 20:02:42 · 969 阅读 · 0 评论 -
CVPR 2019 Oral 论文解读 | 百度提出关于网络压缩和加速的新剪枝算法
AI 科技评论按:百度关于网络压缩和加速的论文《 Filter Pruning via Geometric Median for Deep Convolutional Neural Networks Acceleration》被 CCF A 类学术会议 CVPR 2019 收录为 Oral 论文,这篇论文提出了新的基于滤波器的几何中心(geometric median)的剪枝算法,来对神经网络进行...转载 2019-05-29 12:17:48 · 1132 阅读 · 0 评论