![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
文章平均质量分 79
心态已炸_沉迷学习
这个作者很懒,什么都没留下…
展开
-
Pytorch 1.3.0 量化介绍
量化介绍量化指的是使用比浮点精度更少的比特数来进行yi计算和存储的技术。一个量化后的模型使用整数tensor而不是浮点数tensor来执行一部分或全部的操作。这是一种更紧凑的模型表现方式,并且可以利用许多硬件平台上的高性能向量操作。PyTorch支持INT8的量化,相比于FP32,模型大小减少了4x,对内存带宽的需求也减少了4x。INT8操作的硬件支持使得其计算通常要比FP32快2-4倍。量化主...原创 2019-10-12 16:55:12 · 12954 阅读 · 13 评论 -
KITTI数据集百度云下载
百度云链接:KITTI原创 2018-07-25 10:53:22 · 20442 阅读 · 17 评论 -
一篇还算详细的Faster RCNN计算流程介绍
以RBG大神的Faster RCNN源码与一部分自己修改的多图片多gpu的faster rcnn源码为例,介绍下整个网络的计算流程与中间涉及的blobs维度,以防止自己以后再忘记其中的细节Data的读取格式要想对模型进行训练,首先需要准备好数据,确定训练数据的格式,包括如何读入、如何遍历、数据增强与label形式等方面。对于Faster RCNN,其数据的读取定义为一个基类imdb,即ima...原创 2019-07-25 19:49:17 · 1573 阅读 · 0 评论 -
使用NCNN benchmark测出每一层的时间
腾讯NCNN框架中自带了测模型推理时间和每层时间的功能,然而,这些功能并没有文档写明白如何使用,也没有默认开启和计算每层的平均时间,为了更好地进行速度的测试,我重写了NCNN源码,并以此文记录下以下功能是如何实现的。效果在手机上,给出任何一个网络可以用的ncnn param文件,可以得到以下的结果:loop_count = 10num_threads = 4powersave = 2o...原创 2019-01-20 17:19:48 · 3079 阅读 · 0 评论 -
Softmax,Label Smoothing原理与其NVCaffe实现
背景对于多分类的任务,最后通常会连接一个全连接层作为分类器,输出每个类别预测出的confidence scores。这些scores会被softmax归一化为一个概率分布,表示每一个类别的预测概率。假设共有K个类别,对类i,网络输出的confidence score为ziz_izi,那么softmax得到的输出为qi=softmax(zi)q_i = softmax(z_i)qi=softm...原创 2019-01-13 22:14:10 · 1477 阅读 · 0 评论 -
PyTorch中BN层与CONV层的融合(merge_bn)
之前发了很久之前写好的一篇关于Caffe中merge_bn的博客,详情可见Caffe中BN层与CONV层的融合(merge_bn)今天由于工作需要要对PyTorch模型进行merge_bn,发现网上貌似还没有类似的现成代码,决定自己写个脚本,思路和方法见上面的博客即可,具体的步骤如下:要求安装的包有numpytorch, torchvisioncv2准备好自己的PyTorch...原创 2018-11-29 21:30:33 · 11828 阅读 · 25 评论 -
Caffe中BN层与CONV层的融合(merge_bn)
半年前写的博客,今天发现没有发出去,还好本地有md的文档,决定重新发一下毕竟网上来回抄袭的blog太多了,代码质量也莫得保证原理BN层的融合即为将caffe中BN层与Scale层融合进Convolution的权重之中,把三层减少为一层,适用于训练完成的模型部署阶段,而不能用在训练中。融合BN与卷积要求BN层位于卷积之后,且融合后的卷积层参数convolution_param中的bias_t...原创 2018-11-29 16:30:24 · 5099 阅读 · 13 评论 -
Large Kernel Matters论文解读
Introduction这篇文章来自于17年的ICCV会议,作者来自清华与旷视,这篇文章提出大的卷积核对分割网络非常重要,并使用论文中提出的GCN(Global Convolution Network)显著提高了分割的精度。这篇文章还有一个后续,叫做ExFuse,但ExFuse这篇文章更多的是各种小trick的叠加,质量一般。 ExFuse的论文全称为ExFuse: Enhancing Fe...原创 2018-07-20 11:28:37 · 2239 阅读 · 2 评论 -
Dilated Residual Network论文解读
Introduction这篇文章来自于17年CVPR,同样是对空洞卷积的思考,但这篇文章不是把空洞卷积变着法得用在语义分割上,而是重新回到了图像分类领域,在看这篇文章的同时可以结合旷视和清华一起提出的另一篇论文DetNet一起阅读,这两篇论文都是利用了空洞卷积作为Backbone,把它的应用从分割扩展到了分类与检测。 DetNet: A Backbone network for Obj...原创 2018-07-12 17:12:55 · 7681 阅读 · 3 评论 -
DeepLabv3:Rethinking Atrous Convolution for Semantic Image Segmentation论文解读
Introduction这篇文章是DeepLab系列文章的第三篇,也可以说是DeepLabv3. 这篇文章主要是对DeepLab系列的不断改进,在介绍这篇文章之前,我们先来看一下DeepLab系列论文的大致内容。Dilated ConvolutionDilated Convolution,也可以叫做空洞卷积,最早在文章 Multi-Scale Context Aggrega...原创 2018-07-05 11:47:36 · 778 阅读 · 0 评论 -
Laplacian Pyramid Reconstruction and Refinement for Semantic Segmentation论文解读
Introduction这篇文章介绍了空间信息与语义信息的原则并提出两种方法显著提高了分割的结果: 首先,文章提出池化破坏了通道内部的空间信息,因为池化之前的卷积可以认为其融合了多个通道空间信息并编码得到高维向量。当然这个问题大家都知道。越低的层得到的分割边缘越清晰位置越明确分辨率也越高,但很多错误分类结果;而高层得到的分割则更正确但边缘也更模糊,不够锐利。于是文章使用了一种data-ada...原创 2018-06-28 11:09:52 · 1618 阅读 · 0 评论 -
Understanding Convolution for Semantic Segmentation论文解读
Introduction这篇文章完成于17年,一作来自于图森科技。这篇文章的主要贡献来自于提出了标准空洞卷积存在的“gridding issue”问题,并着手提出了叫做混合空洞卷积(Hybrid Dilated Convolution, HDC)的模块来解决这个问题。文章首先把分割网络分为编码器和解码器,由于任务不同,卷积的形式也有不同,因此文章试图将两个encoder与decoder部分...原创 2018-07-09 19:52:09 · 1504 阅读 · 0 评论 -
ParseNet: Looking wider to see better论文解读
Introduction这篇文章提出了ParseNet,一个端到端的用于语义分割的卷及神经网络,这篇文章最大的贡献在于使用了全局语义信息(Global Context)来做分割,ParseNet可以直接对网络中任意一层进行全局池化得到一个代表全图特征的特征图,并利用这个特征图进行分割。 可是为什么加入了全局信息就会改善分割的结果呢? 对于CNN来说,由于池化层的存在,卷积核的感受野(Rec...原创 2018-06-29 17:14:09 · 6916 阅读 · 0 评论 -
COCO2017数据集api说明
什么是COCO?COCO数据集是Microsoft制作收集用于Detection + Segmentation + Localization + Captioning的数据集,本人收集了其2017年的版本,一共有25G左右的图片和600M左右的标签文件。 COCO数据集共有小类80个,分别为 [‘person’, ‘bicycle’, ‘car’, ‘motorcycle’, ‘ai...原创 2018-05-08 16:31:53 · 31083 阅读 · 21 评论 -
从AlexNet开始(一)
从AlexNet开始(一)不可否认,深度学习的热潮正是由2012年AlexNet的出现而引发的,因此,学习AlexNet网络的结构,对于CNN的学习与理解是不可或缺的。在本篇博客中,将会对AlexNet的论文进行翻译与解读,并在下一篇博客中试图使用ALexNet的网络构建思想去建立一个简单的CNN模型用来对CIFAR-10数据集进行分类。AlexNet论文题目: ImageNet原创 2018-01-05 16:05:29 · 13986 阅读 · 7 评论