z小白的博客

驽马十驾,功在不舍

深度学习中的卷积类型

简介 使用卷积操作的动机是让网络关注有意义的局部特征,同时因为其参数共享的机制,能够极大地降低参数量,提高计算效率。深度学习发展至今,衍生出了多种卷积类型。除了常规卷积外,还有转置卷积、空洞卷积、可分离卷积等。 常规卷积 以2D卷积为例,一个卷积操作通常包含以下几个参数: 5x5常规卷积...

2019-05-13 16:07:27

阅读数 10

评论数 0

SincNet: 一种可解释的卷积滤波器结构

简介 深度学习发展至今,在很多人工智能应用领域扮演者重要的角色。深度学习能够从数据中学习复杂而抽象的特征表示,但是这个充满意义的学习模式目前依然缺乏“可解释”性,也就是常说的“黑盒子”。例如,深度学习模型对对抗性实例(adversarial examples)极其敏感(模型表现不好),使得研究者...

2019-02-19 21:42:07

阅读数 361

评论数 0

浅析Batch Normalization

深度神经网络难训练 一个重要的原因就是深度神经网络涉及很多层的叠加,每一层的参数变化都会导致下一层输入数据分布的变化,随着层数的增加,高层输入数据分布变化会非常剧烈,这就使得高层需要不断适应低层的参数更新。为了训练好模型,我们需要谨慎初始化网络权重,调整学习率等。 原理分析 为了解决这个问题...

2019-01-07 20:46:14

阅读数 78

评论数 0

【深度学习】ResNet解读及代码实现

简介 ResNet是何凯明大神在2015年提出的一种网络结构,获得了ILSVRC-2015分类任务的第一名,同时在ImageNet detection,ImageNet localization,COCO detection和COCO segmentation等任务中均获得了第一名,在当时可谓是...

2018-10-30 16:52:44

阅读数 5367

评论数 0

【深度学习】GoogLeNet系列解读 —— Inception v4

目录 GoogLeNet系列解读 Inception v1 Inception v2 Inception v3 Inception v4 简介 在介绍Inception v4之前,首先说明一下Inception v4没有使用残差学习的思想。大部分小伙伴对Inception v4存在一...

2018-10-29 14:11:15

阅读数 3923

评论数 0

【深度学习】GoogLeNet系列解读 —— Inception v3

目录 GoogLeNet系列解读 Inception v1 Inception v2 Inception v3 Inception v4 Inception v3 Inception v3整体上采用了Inception v2的网络结构,并在优化算法、正则化等方面做了改进,总结如下: ...

2018-10-28 17:04:23

阅读数 3190

评论数 0

【深度学习】GoogLeNet系列解读 —— Inception v2

目录 GoogLeNet系列解读 Inception v1 Inception v2 Inception v3 Inception v4 简介 GoogLeNet凭借其优秀的表现,得到了很多研究人员的学习和使用,因此Google又对其进行了改进,产生了GoogLeNet的升级版本,也...

2018-10-28 14:23:19

阅读数 2877

评论数 0

【深度学习】1x1卷积的作用

1x1卷积最初引起研究者的重视应该是在Network in Network这篇文章里,后面在GoogLeNet和ResNet中都使用了1x1卷积,那么1x1卷积到底有什么用呢? 我认为主要作用有三点: 1. 实现跨通道的信息交互和整合。1x1卷积核只有一个参数,当它作用在多通道的feature...

2018-10-27 19:46:28

阅读数 3001

评论数 0

【深度学习】GoogLeNet系列解读 —— Inception v1

目录 GoogLeNet系列解读 Inception v1 Inception v2 Inception v3 Inception v4 简介 GoogLeNet网络核心模块是Inception module,一共经历了4代,其中第一代网络获得了2014年ILSVRC竞赛的分类任务第...

2018-10-27 18:28:32

阅读数 3099

评论数 0

【深度学习】Alexnet网络分析及代码实现

简介 Alexnet是2012年ImageNet比赛的冠军Hinton及其学生Alex Krizhevsky提出,并以其姓名命名的网络。Alexnet的提出也正式掀起了深度学习的热潮,激发了研究者对深度学习的热情。虽然后面出现了更为优秀的VGGNet、GooLeNet、ResNet等网络,但是A...

2018-10-27 10:22:00

阅读数 2394

评论数 0

【深度学习】VGGNet解读及代码实现

这篇文章不仅仅关注于VGGNet的网络结构,重点在于分析VGGNet设计者当时的出发点,以及能带给我们什么启发。 简介 VGGNet由牛津大学的视觉几何组(Visual Geometry Group)提出,获得了2014年ILSVRC竞赛的分类任务第二名和定位任务第一名,主要贡献在于证明了使用...

2018-10-26 18:39:30

阅读数 2084

评论数 0

【深度学习】分类指标accuracy,recall,precision等的区别

在机器学习里面做一些分类任务时,经常会使用到一些评价指标,下面就一些常用的指标进行详细的说明。 上图表示为一个二分类的混淆矩阵(多分类同理,只需要把不属于当前类的其他类都考虑为负例),表格中的四个参数说明: True Positive(TP):预测为正例,实际为正例 False Posi...

2018-10-26 14:35:04

阅读数 3336

评论数 5

Ubuntu16.04下安装PyTorch(Anaconda3+pycharm+pytorch+GPU)

TensorFlow 安装教程: GPU:https://blog.csdn.net/zzc15806/article/details/80652749 CPU:https://blog.csdn.net/zzc15806/article/details/73662491 一、安装显卡驱动 ...

2018-08-14 16:37:29

阅读数 9127

评论数 0

【深度学习】深度学习资料

持续更新 学习清单 深度学习圣经:《深度学习》(《Deep Learning》)GitHub地址:https://github.com/exacity/deeplearningbook-chinese 各种框架(keras, pytorch, tensorflow, etc)实现简单深度学习...

2018-07-23 14:36:44

阅读数 1191

评论数 0

【深度学习】深度学习中的参数(parameters)和超参数(hyper-parameters)

深度学习中有一些易混淆的概念,根据我自己的理解对这些概念做一个简单的总结,如有错误之处,欢迎指正。 参数(parameters):指的是模型可以根据所输入的数据自动学习出来的变量。常见的模型参数有神经网络中的权重、支持向量机中的支持向量等。 超参数(hyper-parameters):超参数的...

2018-06-25 19:23:01

阅读数 2427

评论数 0

【深度学习】Mixup: Beyond Empirical Risk Minimization

一、相关理论 Mixup是MIT和FAIR在ICLR 2018上发表的文章中提到的一种数据增强算法。在介绍mixup之前,我们首先简单了解两个概念:经验风险最小化(Empirical risk minimization,ERM)和邻域风险最小化(Vicinal Risk Minimization...

2018-06-14 20:48:59

阅读数 2006

评论数 0

【深度学习】Deep Forest:gcForest算法理解

一、相关理论 本篇博文主要介绍南京大学周志华教授在2017年提出的一种深度森林结构——gcForest(多粒度级联森林)。近年来,深度神经网络在图像和声音处理领域取得了很大的进展。关于深度神经网络,我们可以把它简单的理解为多层非线性函数的堆叠,当我们人工很难或者不想去寻找两个目标之间的非线性映射...

2018-06-13 19:29:16

阅读数 2947

评论数 0

Ubuntu16.04下安装Keras(Anaconda3+TensorFlow)

依赖:TensorFlow,Anaconda TensorFlow(附Anaconda安装)安装教程参考: GPU:https://blog.csdn.net/zzc15806/article/details/80652749 CPU:https://blog.csdn.net/zzc158...

2018-06-11 16:06:54

阅读数 1431

评论数 0

Ubuntu16.04下安装tensorflow(Anaconda3+pycharm+tensorflow+GPU)

CPU版本安装教程:https://blog.csdn.net/zzc15806/article/details/73662491 一、安装显卡驱动 将NVIDIA驱动更改如下:   二、安装CUDA 8.0 2.1 下载 下载地址:https://developer.nvid...

2018-06-11 15:47:29

阅读数 3372

评论数 0

Keras可视化工具

Keras可通过TensorBoard来可视化训练过程,以回调函数的形式提供TensorBoard的功能。 TensorBoard是TensorFlow提供的可视化工具,该回调函数将日志信息写入TensorBorad,使得你可以动态的观察训练和测试指标的图像以及不同层的激活值直方图。 ker...

2018-03-27 12:34:49

阅读数 2040

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭