- 博客(23)
- 收藏
- 关注
RSS订阅原创 Pytorch 1.3.0 量化介绍
量化介绍量化指的是使用比浮点精度更少的比特数来进行yi计算和存储的技术。一个量化后的模型使用整数tensor而不是浮点数tensor来执行一部分或全部的操作。这是一种更紧凑的模型表现方式，并且可以利用许多硬件平台上的高性能向量操作。PyTorch支持INT8的量化，相比于FP32，模型大小减少了4x，对内存带宽的需求也减少了4x。INT8操作的硬件支持使得其计算通常要比FP32快2-4倍。量化主...
2019-10-12 16:55:12
12868
13
原创 一篇还算详细的Faster RCNN计算流程介绍
以RBG大神的Faster RCNN源码与一部分自己修改的多图片多gpu的faster rcnn源码为例，介绍下整个网络的计算流程与中间涉及的blobs维度，以防止自己以后再忘记其中的细节Data的读取格式要想对模型进行训练，首先需要准备好数据，确定训练数据的格式，包括如何读入、如何遍历、数据增强与label形式等方面。对于Faster RCNN，其数据的读取定义为一个基类imdb，即ima...
2019-07-25 19:49:17
1559
原创 Python2.7与Python3.5共存Caffe
先简单说一下我的环境：我用的是Ubuntu16.04，电脑中有两个版本的Caffe，分别是NVCaffe-0.17-dev与BVLC Caffe 1.0版本。由于工作需要，两个版本的caffe都要用，因此想要尝试在Python2.7中使用NVCaffe，在Python3.5中使用BVLC Caffe。电脑装有CUDA9.0+CUDNNv7，显卡为GTX1080。经过一番折腾终于搞定，记录下来以备...
2019-03-30 19:33:24
1318
原创 使用NCNN benchmark测出每一层的时间
腾讯NCNN框架中自带了测模型推理时间和每层时间的功能，然而，这些功能并没有文档写明白如何使用，也没有默认开启和计算每层的平均时间，为了更好地进行速度的测试，我重写了NCNN源码，并以此文记录下以下功能是如何实现的。效果在手机上，给出任何一个网络可以用的ncnn param文件，可以得到以下的结果：loop_count = 10num_threads = 4powersave = 2o...
2019-01-20 17:19:48
3064
原创 Softmax，Label Smoothing原理与其NVCaffe实现
背景对于多分类的任务，最后通常会连接一个全连接层作为分类器，输出每个类别预测出的confidence scores。这些scores会被softmax归一化为一个概率分布，表示每一个类别的预测概率。假设共有K个类别，对类i，网络输出的confidence score为ziz_izi，那么softmax得到的输出为qi=softmax(zi)q_i = softmax(z_i)qi=softm...
2019-01-13 22:14:10
1467
原创 PyTorch中BN层与CONV层的融合（merge_bn）
之前发了很久之前写好的一篇关于Caffe中merge_bn的博客，详情可见Caffe中BN层与CONV层的融合（merge_bn）今天由于工作需要要对PyTorch模型进行merge_bn，发现网上貌似还没有类似的现成代码，决定自己写个脚本，思路和方法见上面的博客即可，具体的步骤如下：要求安装的包有numpytorch, torchvisioncv2准备好自己的PyTorch...
2018-11-29 21:30:33
11763
25
原创 Caffe中BN层与CONV层的融合（merge_bn）
半年前写的博客，今天发现没有发出去，还好本地有md的文档，决定重新发一下毕竟网上来回抄袭的blog太多了，代码质量也莫得保证原理BN层的融合即为将caffe中BN层与Scale层融合进Convolution的权重之中，把三层减少为一层，适用于训练完成的模型部署阶段，而不能用在训练中。融合BN与卷积要求BN层位于卷积之后，且融合后的卷积层参数convolution_param中的bias_t...
2018-11-29 16:30:24
5082
13
原创 Cityscapes数据集百度云下载
Cityscapes数据集是一个计算机视觉语义分割数据集，多说无益，百度云链接如下：Cityscapes需要解压gtFine.zip 没有包含coarse的标注
2018-07-25 10:52:07
47315
85
原创 Large Kernel Matters论文解读
Introduction这篇文章来自于17年的ICCV会议，作者来自清华与旷视，这篇文章提出大的卷积核对分割网络非常重要，并使用论文中提出的GCN（Global Convolution Network）显著提高了分割的精度。这篇文章还有一个后续，叫做ExFuse，但ExFuse这篇文章更多的是各种小trick的叠加，质量一般。 ExFuse的论文全称为ExFuse: Enhancing Fe...
2018-07-20 11:28:37
2234
2
原创 Dilated Residual Network论文解读
Introduction这篇文章来自于17年CVPR，同样是对空洞卷积的思考，但这篇文章不是把空洞卷积变着法得用在语义分割上，而是重新回到了图像分类领域，在看这篇文章的同时可以结合旷视和清华一起提出的另一篇论文DetNet一起阅读，这两篇论文都是利用了空洞卷积作为Backbone，把它的应用从分割扩展到了分类与检测。 DetNet: A Backbone network for Obj...
2018-07-12 17:12:55
7638
3
原创 Understanding Convolution for Semantic Segmentation论文解读
Introduction这篇文章完成于17年，一作来自于图森科技。这篇文章的主要贡献来自于提出了标准空洞卷积存在的“gridding issue”问题，并着手提出了叫做混合空洞卷积（Hybrid Dilated Convolution， HDC）的模块来解决这个问题。文章首先把分割网络分为编码器和解码器，由于任务不同，卷积的形式也有不同，因此文章试图将两个encoder与decoder部分...
2018-07-09 19:52:09
1491
原创 DeepLabv3:Rethinking Atrous Convolution for Semantic Image Segmentation论文解读
Introduction这篇文章是DeepLab系列文章的第三篇，也可以说是DeepLabv3. 这篇文章主要是对DeepLab系列的不断改进，在介绍这篇文章之前，我们先来看一下DeepLab系列论文的大致内容。Dilated ConvolutionDilated Convolution，也可以叫做空洞卷积，最早在文章 Multi-Scale Context Aggrega...
2018-07-05 11:47:36
773
原创 ParseNet: Looking wider to see better论文解读
Introduction这篇文章提出了ParseNet，一个端到端的用于语义分割的卷及神经网络，这篇文章最大的贡献在于使用了全局语义信息（Global Context）来做分割，ParseNet可以直接对网络中任意一层进行全局池化得到一个代表全图特征的特征图，并利用这个特征图进行分割。 可是为什么加入了全局信息就会改善分割的结果呢？ 对于CNN来说，由于池化层的存在，卷积核的感受野（Rec...
2018-06-29 17:14:09
6878
原创 Laplacian Pyramid Reconstruction and Refinement for Semantic Segmentation论文解读
Introduction这篇文章介绍了空间信息与语义信息的原则并提出两种方法显著提高了分割的结果： 首先，文章提出池化破坏了通道内部的空间信息，因为池化之前的卷积可以认为其融合了多个通道空间信息并编码得到高维向量。当然这个问题大家都知道。越低的层得到的分割边缘越清晰位置越明确分辨率也越高，但很多错误分类结果；而高层得到的分割则更正确但边缘也更模糊，不够锐利。于是文章使用了一种data-ada...
2018-06-28 11:09:52
1611
原创 阿里实习生笔试2018编程题之八阵图
5月11号晚上7点开始的阿里笔试，当时有点着急没写出来，现在把代码码出来，题目没有记录下来，以后再补充。输入第一行是矩阵的行数 第二行是矩阵的列数 后面则是矩阵内容输入范例： 20 20 34 0 0 0 0 0 0 0 0 0 0 0 0 0 0 10 0 0 0 30 0 23 10 5 5...
2018-05-11 22:13:36
1064
原创 COCO2017数据集api说明
什么是COCO？COCO数据集是Microsoft制作收集用于Detection + Segmentation + Localization + Captioning的数据集，本人收集了其2017年的版本，一共有25G左右的图片和600M左右的标签文件。 COCO数据集共有小类80个，分别为 [‘person’, ‘bicycle’, ‘car’, ‘motorcycle’, ‘ai...
2018-05-08 16:31:53
31017
21
原创 Python各种文件IO操作
Python各种文件IO操作有段时间不打代码就会忘记各种文件的读取和存储，不如自己整理一个，忘了就来看下图片图片的读取使用PIL库from PIL import Imageimg = Image.open(img_path) 可以非常方便得对img进行图像的各种变换 如果需要存成numpy数组，使用import numpy as npnp_img = np.a...
2018-04-24 17:51:36
664
原创 Python3.6.0下实现矩阵乘法
Python3.6.0下实现矩阵乘法在数学建模的比赛时，有时候不能使用python的第三方库，很多函数只好自己写。 网上有很多矩阵乘法的实现，但没有能在python3.6.0下使用的，所以自己做了点修改：令aa = [[1, 3, 5], [2, 4, 6]]bb = [[1], [2], [1]]定义函数def matmul(self, A, B): ...
2018-03-14 11:08:31
1211
2
原创 从AlexNet开始（二）：利用AlexNet结构学习tensorflow
从AlexNet开始（二）本篇博客将会介绍如何改进AlexNet的网络结构使其应用于CIFAR-10数据集的图像分类，并给出大部分代码，代码使用python语言与tensorflow框架。CIFAR-10数据集简介CIFAR数据集是由深度学习三大牛之一的Hinton大佬的两个大弟子Alex Krizhevsky与Ilya Sutskever收集的一个用于普适物体识别的数据集，其
2018-01-10 20:31:44
1773
原创 Tensorboard报错No dashboards are active for the current data set
问题：win10系统，cmd命令行里输入 tensorboard –logdir=log_dir其中log_dir表示summary存储的路径，得到 TensorBoard 0.1.8 at http://balabala:6006 (Press CTRL+C to quit)在浏览器里打开该网址，tensorboard报错 No dashboards ar...
2018-01-08 10:04:01
7297
3
原创 从AlexNet开始（一）
从AlexNet开始（一）不可否认，深度学习的热潮正是由2012年AlexNet的出现而引发的，因此，学习AlexNet网络的结构，对于CNN的学习与理解是不可或缺的。在本篇博客中，将会对AlexNet的论文进行翻译与解读，并在下一篇博客中试图使用ALexNet的网络构建思想去建立一个简单的CNN模型用来对CIFAR-10数据集进行分类。AlexNet论文题目： ImageNet
2018-01-05 16:05:29
13982
7
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人